python login and craw email address
1、需求 最近受人之托，帮忙用python开发程序实现爬取大连海事大学信箱的2000条数据（主题和意见建议）保存到excel中。 2、项目分析 首先，我们打开信箱列表链接http://oa.dlmu.edu.cn/echoWall/listEchoWall.do如图所示： 但是列表页中只有主题，获取意见建议必须进入到详情页面，当点击某一条时发现跳转到登录页面 https://id.dlmu.edu.cn/cas/login，这就说明获取想要的数据必须登录之后才可以，如图所示： 我们打开chrome的开发者工具，填写好提前准备好的账户密码，点击登录，在开发者工具中查看登录的请求如下所示： 通过观察我们发现登录过程中除了输入的账户密码还有其他的几个参数，其中有几个参数为空，说明可以不用传。 接着往下看登录成功之后，直接跳转到详情页面： 通过观察我们可以看到在请求详情页面时候带有cookie，还有其他参数4个，经过测试我们发现只要带pkId这个参数就可以获取到详情页面，pkId可以在列表页中获取到。 至此，整个请求的过程我们已经分析完毕。 首先，我们来简单介绍一下项目中使用到的几个工具包：requests、bs4、xlwt requests 是一个很实用的Python HTTP客户端库,由于这个过程需要登录，并且获取详情时候需要带有cookie信息，所以我们决定采用requests工具包，requests的Session可以自动保持cookie,不需要手动维护cookie的内容。 bs4 是一个可以从HTML或XML文件中提取数据的Python库，这是一个特别方便的工具包，亲测好用。 xlwt 是Python用来写Excel文件的包。…
