需要本项目的可以私信博主!!!
在大数据时代背景下,数据积累导致大数据行业的人才需求快速上升,大量的招聘信息被发布在招聘平台上。深入研究这些信息能帮助相关人士更好地理解行业动态,并对其未来发展进行预测。本文主要通过分析51job网站上的大数据职位招聘信息,进行一次可视化的呈现。
本研究首先使用Python爬虫技术,抓取51job网站的所有大数据相关职位信息。接着利用Python的数据清理技术,处理数据的重复项和异常项。然后,我们使用Python的统计排序技术对数据进行分析,并通过Python数据可视化技术将分析结果呈现出来。最后,我们使用机器学习技术预测大数据相关职位的平均薪资。
根据51job的大数据职位招聘信息可视化结果,我们可以看到大数据招聘岗位正在持续增长,这意味着社会对大数据专业人才的需求也在持续增长。大数据职位主要集中在一线城市,大多数职位来自私企和上市公司,主要集中在计算机软件、房地产和互联网行业。同时,大数据职位的薪资和福利待遇一般都很优厚。这些信息为求职者提供了选择大数据职位的参考。
通过预测模型,求职者可以提前了解即将应聘的大数据职位的预期薪资,预测模型的准确率可高达99%。
基于网络爬虫技术实现51job网站上大数据专业相关招聘信息的爬取,主要利用的是网络爬虫技术中的xpath方法和谷歌浏览器的开发者工具实现。
首先利用谷歌浏览器登录51job网站,利用谷歌浏览器的开发者工具查看网页中的cookie、useragent等标识,并且通过网站的搜索功能和翻页功能查看url的变化。
图3-1 谷歌浏览器的开发者工具页面
在以上的一系列爬取操作之后,共爬取到54950条数据,主要获取了十二个字段的大数据专业相关岗位信息,具体的字段以及含义如下表。
图3-2 爬取数据运行结果
表3-1 字段的含义解释
字段 |
含义 |
job_name |
职位名称 |
company_name |
公司名称 |
low_salary |
最低薪资(万/月) |
High_salary |
最高薪资(万/月) |
yaoqiu |
要求 |
job_place |
工作地点 |
company_nature |
公司性质 |
job_content |
工作内容 |
company_content |
公司详情 |
release |
发布时间 |
job_class |
职位类别 |
fuli |
公司福利 |
首先是利用collections库的Counter函数对数据的重复值进行查看,这边主要是对岗位的url进行了统计查看,可以通过结果看出,每个url都只出现了一次,也就是说,每条数据都只出现了一次,并未出现重复值,因此,不用对数据进行去重操作。
图3-3 重复值统计结果
图3-4 最高薪资异常值处理前后对比图
图3-5 最低资异常值处理前后对比图
图3-6 最高薪资和最低薪资盒图
图3-7 占比率前十类别运行结果
图3-8 平均最高薪资前十类别运行结果
图3-9 平均最低薪资前十类别运行结果
从岗位信息来看,每个岗位所在的城市不同,而每个城市的发展水平有差异,
图3-10 大数据相关职位主要分布的前十城市运行结果
通过岗位信息对各个公司的大数据专业相关岗位数量进行统计分析。首先,通过列表将各个公司性质的大数据专业相关岗位进行统计,然后通过排序得出职位数量最多的前十个公司性质。
图3-11 公司性质前十运行结果
大数据专业相关岗位也分为很多种不同的岗位,
图3-12 数量前十的岗位运行结果
目前需求量最大的十个岗位,令求职者关注的应该是这些岗位的薪资,因此,对这十个岗位进行了平均最高薪资和平均最低薪资的分析。
图3-13 前十岗位对应的最高和最低薪资运行结果
为了验证大数据专业相关岗位在当前社会的真实发展趋势,以及社会对该岗位的需求增长趋势,对每日发布岗位的数量进行分析。根据日期对发布的岗位数量进行统计。
图3-14 每日发布数量运行结果
根据职位类别的数量统计,对所有职位类别进行词云图呈现,从词云图可以看出计算机软件、互联网、电子商务、计算机服务等职位类别对大数据专业相关岗位的需求比较大,求职者在求职的时候可以先考虑这些岗位类别的招聘。
图3-15 职位类别的词云图展示
图3-16 职位类别的最高薪资和最低薪资的散点热力图展示
图3-17 各类别平均薪资的分箱图展示
根据占比率前十的职位类别统计,对职位类别进行环状扇形图的呈现。根据环状扇形形图可以看出,计算机软件、房地产、互联网/电子商务的职位占比是比较大的,如果求职者想要取得更多的就业机会,可以优先选择这三个职位类别。
图3-18 占比率前十的职位类别环状扇形图展示
根据平均最低薪资前十和平均最高薪资的职位类别统计,对职位类别进行柱状图的呈现。根据柱状图,可以看到前十职位类别的平均最低薪资都在1.4万/月以上,前十职位类别的平均最高薪资都在2.2万/月以上。
图3-19 最低薪资前十职位类别的柱状图展示
图3-20 最高薪资前十职位类别的柱状图展示
根据各城市的大数据专业相关岗位数量统计,对城市职位分布进行中国地图热力图呈现。从图中可以看出,上海是大数据专业相关岗位需求量最大的城市,其次是广东,第三梯队是北京、江苏,浙江、四川和湖北排在第四梯队。可以看出,北上广作为一线城市,对大数据专业相关岗位的需求是更为迫切的。
图3-21 各城市大数据岗位数量的中国地图热力图展示
根据前十公司性质的大数据专业相关岗位数量统计,对公司性质进行条形图呈现。从条形图可以看出,民营公司占比最大,占66.15%,其次是上市公司和国企。
图3-22 岗位数量前十公司性质的条形图展示
根据各职位名称的数量统计,对职位数量进行条形图呈现和环状扇形图呈现。从条形图和环状扇形图可以看出,大数据开发工程师需求最旺盛,占比48%。其次是大数据分析工程师,占比15%。
图3-23 发布数量前十岗位的条形图展示
图3-24 发布数量前十岗位占比的环状扇形图展示
根据前十职位的平均最高薪资和最低薪资统计,对薪资进行双折线图进行呈现。从图中可以看出,这些薪资岗位的薪资都相对平均,十分稳定。
3-25 前十岗位的最高和最低薪资的双折线图展示
根据每日发布的职位数量统计
3-26 每日发布岗位数量的折线图展示
将数据中的福利字段(fuli)进行词云图呈现
3-27 岗位福利的词云图展示
图3-28 特征的相关性热力图展示
图3-29 随机森林模型预测准确率运行结果
图3-30 xgboost预测准确率运行结果
图3-31 随机森林的平均薪资预测结果
利用数据对模型的训练过程,我利用plot_learning_curve()对模型的学习曲线进行了呈现,可以看出,模型在训练的过程中,准确率是在不断增加的。
图3-32 模型学习曲线折线图展示文章来源:https://www.uudwc.com/A/59jzA/
每文一语
纸上得来终觉浅,绝知此事要躬行文章来源地址https://www.uudwc.com/A/59jzA/