前言
毕业找工作,在职人员换工作,离职人员找工作……不管什么人群,应聘求职,都需要先分析对应的招聘岗位,岗位需求是否和自己匹配,常见的招聘平台有:BOSS直聘、拉钩招聘、智联招聘等,我们通常的方法都是,打开招聘网站,搜索职位关键字,然后一页一页的逐个查看,觉得还不错的岗位就投递一下简历,或者和招聘负责人聊一下,那么有没有办法,能一次性把相关的招聘岗位列出来,方便快速的分析,答案当然有的……
我想做什么
最近我也在考虑新的工作机会,所以,为了方便才这么做的;下面给大家看个东西,打开后面的链接BOSS直聘的100个PHP招聘岗位
可以看到,这是表格的形式展示了100个PHP的招聘岗位,没错,这就是我爬取的BOSS直聘网的PHP招聘岗位,为啥是100个呢,我也不敢问啊,毕竟BOSS直聘官网限制了10页,通过爬取数据,然后生成markdown
表格文件,最后展示在有道分享中,就是上面大家看到的那个了,话不多说,开搞。
运行环境
Python运行环境:Windows + python3.6
用到的模块:requests、bs4
如未安装的模块,请使用pip instatll xxxxxx
进行安装,例如:pip install requests
爬取Boss直聘数据
在这里,非常不建议大家使用自己的IP去爬取BOSS直聘的数据,因为分分钟就会进小黑屋了,所以,这里,我们走的代理IP,关于代理IP的,我在上篇文章,已经有说到过,大家不明白的可以回头看看;还有在header
头传的cookie
值是必传的,大家可以在浏览器中刷新BOSS直聘网站,然后打开F12
的Network
中找到,复制过来就能用,而且需要更换,不要一直用同个cookie
去爬取全部数据,多尝试都懂的……
1 | def get_url_html(self, url, cookie): |
完整源码
老规矩,代码我已经上传了GitHub(GitHub源码地址),但是呢,作为一个热心的搬瓦工,为了方便部分人想偷懒,不直接去交友网站查看,我在这里也贴一下源码出来吧,如果有啥问题,最好还是去交友网站找我,请接码……
1 | #!/usr/bin/env python |
最后
如果大家有任何问题,都可以留言给我,大家相互学习……
希望所有正在找工作的小伙伴们都能马上收到满意的Offer,多薪少活那种!
哦对了,在线求职,本人在深圳拍(P)簧(H)片(P),如果大家觉得有适合我的工作,可以推荐给我的,不胜感谢。