【功能介绍】
1. java爬取【豆瓣电影】网站中电影数据, 保存为data.csv文件, 数据量2万+
2. data.csv上传到hadoop集群环境
3. MR 数据清洗data.csv
4.Spark汇总处理, 将Spark处理的结果数据保存到本地Mysql数据库中
5. Springboot+Vue+Echarts+MySQL 显示数据分析结果
数据维度分别为【热门电影类型】【电影简介词云】【各国家电影数量】【电影评分排名】【各年份上映电影数】
【电影类型评分均值】【电影评论热度排名】【导演拍摄电影数量】
【运行环境】 Idea JDK Maven XShell VM虚拟机 Mysql
【技术栈】 springboot vue echarts Hadoop Spark mysql
下载全套