基于大数据平台的日志分析

随着科学技术的不断发展，互联网的应用在人们的生活中不断传播，用户在互联网上的各种日常行为都将被记录下来。由而产生日志，这些日志是非常重要的，如何处理这些日志数据已经成为了学术界的焦点。以Apache Hadoop集群为例，本文使用现有的大数据平台框架技术。针对大数据离线数据处理的需求，结合Hadoop、Hive的技术特点，提出了大数据的处理方案，使用Hive Sql结合linux定时任务作为大数据处理综合方案。
本文通过搭建Hadoop平台对 ngnix日志数据进行处理分析，分析得出ngnix日志 PV前十， UV排行、ip来源分布、请求来源占比、各种http状态码的占比、用户点击顺序排名。实验结果验证了Hadoop平台实现大数据处理和分析的能力，以及良好的集群性能。以及通过使用Hadoop和Hive进行分析，得出使用网站的用户情况。

关键词：日志分析；大数据平台；Hadoop；Hive

*若需了解更多与协助请咨询↓→[电脑QQ][手机QQ]【数据协助】