Category: Python

How To Scrape Amazon at Scale With Python Scrapy, And Never Get Banned

With thousands of companies offering products and price monitoring solutions for Amazon, scraping Amazon is big business. But for anyone who’s tried to scrape it at…

linked-in get email info via python

前言： 几个月前，应朋友要求，写了一个linkedin爬虫，难度不大，但功能还算好玩，所以就整理了一下放出来了。代码见Github：LinkedinSpider。 爬虫功能：输入一个公司名称，抓取相关员工的linkedin数据，字段见下方截图。 正文： 先来说一下linkedin的限制: 不登录的状态，不能进行搜索，但是可以查看某个用户的linkedin信息（不够全）。 linkedin可以搜用户（最多显示100页），也可以搜公司，但不能查看公司下面的员工信息（显示的是“领英会员”，没有权限查看详细内容，要求先建立联系，如下图，可能开通linkedin高级账号可以查看，未知）。 那么如果要抓取某个公司员工的linkedin信息，该怎么做？ 方法一、银子多，开通高级账号也许可以查看。 方法二、去搜linkedin用户，尽量抓取全量的linkedin用户，从中筛选出某公司的员工。（难度在于如何搜用户，并且因为页数限制，几乎无法抓取全量）。 方法三、借助第三方平台。暂时未发现哪些网站有用到linkedin的数据，但是灵机一动想到了百度收录！我们用百度搜索，搜某个公司名，域名要求linkedin.com（例如抓取对象为百度，可以在百度搜索中搜 “百度 site:linkedin.com”），从中筛选出linkedin用户ID，有了用户ID我们就可以直接去linkedin抓员工信息了。 我们现在用的就是方法三。说一下爬虫流程： 先登录linkedin，带着linkedin的Cookie进行百度搜索，从中筛选出linkedin用户的（跳转到linkedin的）跳转链接，然后抓取、解析。 注意：为了抓取到最新的数据，一般不直接抓取百度收录到的内容，只是通过百度收录抓取到用户ID；另外，要待着linkedin的Cookie去打开搜索出来的链接，不然会跳转到linkedin登录页面，或者抓取到的信息不全。 结语： 代码放在Github，链接上文有提。此文主要作注释说明。 这只是一个小爬虫，我想要分享的，不仅仅是linkedin的登录、linkedin数据的抓取和解析，更重要的，是通过百度收录抓取目标数据这个方法。 对于做爬虫，或者是想学爬虫的同学来说，路子一定要宽，只要能够保证数据准确、完整，应该从各个途径去嗅探、抓取数据，抓取难度越小、速度越快，就越好！ 转载请注明出处，谢谢！（原文链接：http://blog.csdn.net/bone_ace/article/details/71055153）

python login and craw email address

1、需求 最近受人之托，帮忙用python开发程序实现爬取大连海事大学信箱的2000条数据（主题和意见建议）保存到excel中。 2、项目分析 首先，我们打开信箱列表链接http://oa.dlmu.edu.cn/echoWall/listEchoWall.do如图所示： 但是列表页中只有主题，获取意见建议必须进入到详情页面，当点击某一条时发现跳转到登录页面                     https://id.dlmu.edu.cn/cas/login，这就说明获取想要的数据必须登录之后才可以，如图所示： 我们打开chrome的开发者工具，填写好提前准备好的账户密码，点击登录，在开发者工具中查看登录的请求如下所示： 通过观察我们发现登录过程中除了输入的账户密码还有其他的几个参数，其中有几个参数为空，说明可以不用传。 接着往下看登录成功之后，直接跳转到详情页面： 通过观察我们可以看到在请求详情页面时候带有cookie，还有其他参数4个，经过测试我们发现只要带pkId这个参数就可以获取到详情页面，pkId可以在列表页中获取到。 至此，整个请求的过程我们已经分析完毕。 首先，我们来简单介绍一下项目中使用到的几个工具包：requests、bs4、xlwt requests 是一个很实用的Python HTTP客户端库,由于这个过程需要登录，并且获取详情时候需要带有cookie信息，所以我们决定采用requests工具包，requests的Session可以自动保持cookie,不需要手动维护cookie的内容。 bs4 是一个可以从HTML或XML文件中提取数据的Python库，这是一个特别方便的工具包，亲测好用。 xlwt 是Python用来写Excel文件的包。…

sh auto push static content to github -gogit

2016-03-28 发布 一个结合crontab定时推送github或coding库小玩意  gogit  2.5k 次阅读  ·  读完需要 4 分钟 0   gogit 一个结合crontab定时推送github或coding库小玩意。 Github:https://github.com/HavenShen/gogit 注：运行此玩意的电脑，必须可运行python、已经配置好github和coding使用ssh key 无密钥通道git的ssh获取方式(推荐使用常年不关机的linux服务器)。 配置参考：Git配置安装使用教程操作github上传克隆数据 安装 1.克隆此库 git clone [email protected]:HavenShen/gogit.git 配置推送github同时提交coding库 1.在自己的github和coding中创建自己的新库…

How To Crawl A Web Page with Scrapy and Python 3

Introduction Web scraping, often called web crawling or web spidering, or “programatically going over a collection of web pages and extracting data,” is a powerful tool…