|
|
|
|
移动端

Python拉勾网数据采集与可视化

本文是先采集拉勾网上面的数据,采集的是Python岗位的数据,然后用Python进行可视化。主要涉及的是爬虫&数据可视化的知识。先用Python来抓取拉勾网上面的数据,采用的是简单好用的requests模块。

作者:挖掘机小王子来源:Python中文社区|2018-03-07 11:35

技术沙龙 | 6月30日与多位专家探讨技术高速发展下如何应对运维新挑战!


全文简介

本文是先采集拉勾网上面的数据,采集的是Python岗位的数据,然后用Python进行可视化。主要涉及的是爬虫&数据可视化的知识。

爬虫部分

先用Python来抓取拉勾网上面的数据,采用的是简单好用的requests模块。主要注意的地方是,拉勾网属于动态网页,所以会用到浏览器的F12开发者工具进行抓包。抓包以后会发现,其实网页是一个POST的形式,所以要提交数据,提交的数据如下图:

Python拉勾网数据采集与可视化

真实网址是:https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&isSchoolJob=0

在上图也可以轻松发现:kd是查询关键词,pn是页数,可以实现翻页。

代码实现

  1. import requests # 网络请求 
  2. import re 
  3. import time 
  4. import random 
  5.  
  6. # post的网址 
  7. url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&isSchoolJob=0' 
  8.  
  9. # 反爬措施 
  10. header = {'Host''www.lagou.com'
  11. 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
  12. 'Accept''application/json, text/javascript, */*; q=0.01'
  13. 'Accept-Language''zh-CN,en-US;q=0.7,en;q=0.3'
  14. 'Accept-Encoding''gzip, deflate, br'
  15. 'Referer''https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput='
  16. 'Content-Type''application/x-www-form-urlencoded; charset=UTF-8'
  17. 'X-Requested-With''XMLHttpRequest'
  18. 'X-Anit-Forge-Token''None'
  19. 'X-Anit-Forge-Code''0'
  20. 'Content-Length''26'
  21. 'Cookie''user_trace_token=20171103191801-9206e24f-9ca2-40ab-95a3-23947c0b972a; _ga=GA1.2.545192972.1509707889; LGUID=20171103191805-a9838dac-c088-11e7-9704-5254005c3644; JSESSIONID=ABAAABAACDBABJB2EE720304E451B2CEFA1723CE83F19CC; _gat=1; LGSID=20171228225143-9edb51dd-ebde-11e7-b670-525400f775ce; PRE_UTM=; PRE_HOST=www.baidu.com; PRE_SITE=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DKkJPgBHAnny1nUKaLpx2oDfUXv9ItIF3kBAWM2-fDNu%26ck%3D3065.1.126.376.140.374.139.129%26shh%3Dwww.baidu.com%26sht%3Dmonline_3_dg%26wd%3D%26eqid%3Db0ec59d100013c7f000000055a4504f6; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGRID=20171228225224-b6cc7abd-ebde-11e7-9f67-5254005c3644; index_location_city=%E5%85%A8%E5%9B%BD; TG-TRACK-CODE=index_search; SEARCH_ID=3ec21cea985a4a5fa2ab279d868560c8'
  22. 'Connection''keep-alive'
  23. 'Pragma''no-cache'
  24. 'Cache-Control''no-cache'
  25.  
  26. for n in range(30): 
  27.      
  28.     # 要提交的数据 
  29.     form = {'first':'false'
  30.             'kd':'Python'
  31.             'pn':str(n)} 
  32.      
  33.     time.sleep(random.randint(2,5)) 
  34.      
  35.     # 提交数据 
  36.     html = requests.post(url,data=form,headers = header) 
  37.      
  38.     # 提取数据 
  39.     data = re.findall('{"companyId":.*?,"positionName":"(.*?)","workYear":"(.*?)","education":"(.*?)","jobNature":"(.*?)","financeStage":"(.*?)","companyLogo":".*?","industryField":".*?","city":"(.*?)","salary":"(.*?)","positionId":.*?,"positionAdvantage":"(.*?)","companyShortName":"(.*?)","district"',html.text) 
  40.      
  41.     # 转换成数据框 
  42.      
  43.     data = pd.DataFrame(data) 
  44.      
  45.     # 保存在本地 
  46.     data.to_csv(r'D:\Windows 7 Documents\Desktop\My\LaGouDataMatlab.csv',header = Falseindex = False, mode = 'a+'
  47.      

注意:抓取数据的时候不要爬取太快,除非你有其他的反爬措施,比如更换IP等,另外不需登录,我在代码加入了time模块,用于限制爬取速度。

数据可视化

下载下来的数据长成这个样子:

Python拉勾网数据采集与可视化

注意标题(也就是列明)是我自己添加的。

导入模块并配置绘图风格

  1. import pandas as pd # 数据框操作 
  2. import numpy as np  
  3. import matplotlib.pyplot as plt # 绘图 
  4. import jieba # 分词 
  5. from wordcloud import WordCloud # 词云可视化 
  6. import matplotlib as mpl  # 配置字体 
  7. from pyecharts import Geo # 地理图 
  8.  
  9. mpl.rcParams["font.sans-serif"] = ["Microsoft YaHei"
  10. # 配置绘图风格 
  11. plt.rcParams["axes.labelsize"] = 16.    
  12. plt.rcParams["xtick.labelsize"] = 14. 
  13. plt.rcParams["ytick.labelsize"] = 14. 
  14. plt.rcParams["legend.fontsize"] = 12. 
  15. plt.rcParams["figure.figsize"] = [15., 15.] 

注意:导入模块的时候其他都容易解决,除了wordcloud这个模块,这个模块我建议大家手动安装,如果pip安装的话,会提示你缺少C++14.0之类的错误,导致安装不上。手动下载whl文件就可以顺利安装了。

数据预览

  1. # 导入数据 
  2. data = pd.read_csv('D:\\Windows 7 Documents\\Desktop\\My\\LaGouDataPython.csv',encoding='gbk')  # 导入数据 
  3. data.head() 

 Python拉勾网数据采集与可视化

read_csv路径不要带有中文

  1. data.tail() 

 Python拉勾网数据采集与可视化

学历要求

  1. data['学历要求'].value_counts().plot(kind='barh',rot=0)  
  2. plt.show() 

 Python拉勾网数据采集与可视化

工作经验

  1. data['工作经验'].value_counts().plot(kind='bar',rot=0,color='b'
  2. plt.show() 

Python拉勾网数据采集与可视化

Python热门岗位

  1. final = ''   
  2. stopwords = ['PYTHON','python','Python','工程师','(',')','/'] # 停止词 
  3. for n in range(data.shape[0]): 
  4.      
  5.     seg_list = list(jieba.cut(data['岗位职称'][n])) 
  6.     
  7.     for seg in seg_list:   
  8.         if seg not in stopwords:   
  9.                 final = final + seg + ' ' 
  10. # final 得到的词汇 

Python拉勾网数据采集与可视化

工作地点

  1. data['工作地点'].value_counts().plot(kind='pie',autopct='%1.2f%%',explode = np.linspace(0,1.5,25))  
  2. plt.show() 

Python拉勾网数据采集与可视化

工作地理图

  1. # 提取数据框 
  2. data2 = list(map(lambda x:(data['工作地点'][x],eval(re.split('k|K',data['工资'][x])[0])*1000),range(len(data)))) 
  3. # 提取价格信息 
  4. data3 = pd.DataFrame(data2) 
  5. # 转化成Geo需要的格式 
  6. data4 = list(map(lambda x:(data3.groupby(0).mean()[1].index[x],data3.groupby(0).mean()[1].values[x]),range(len(data3.groupby(0))))) 
  7. # 地理位置展示 
  8. geo = Geo("全国Python工资布局""制作人:挖掘机小王子", title_color="#fff", title_pos="left", width=1200, height=600, 
  9. background_color='#404a59'
  10. attr, value = geo.cast(data4) 
  11. geo.add("", attr, value, type="heatmap", is_visualmap=True, visual_range=[0, 300], visual_text_color='#fff'
  12. # 中国地图Python工资,此分布是最低薪资 
  13. geo 

关于作者:

姓名:麦艳涛(原姓貊)

网名:挖掘机小王子

个人网站:挖掘机小王子

【编辑推荐】

  1. 关于Python数据分析的入门指南
  2. 使用python+机器学习方法进行情感分析(详细步骤)
  3. 从0到1:Python爬虫知识点梳理
  4. 用Python研究了三千套房子,告诉你究竟是什么抬高了房价?
  5. 基于Python实现的微信好友数据分析
【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

网络管理员备考训练——计算机与网络基础知识

本书是根据全国计算机技术与软件专业技术资格(水平)考试《网络管理员考试大纲》所要求的考试范围而编写的试题集。全书共分10个单元,同步...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊