查看: 1122|回复: 6

[微计划] 爬虫学习

签到天数: 126 天

连续签到: 1 天

[LV.7]常住居民III

14 主题	60 好友	3万积分

区版主

积分: 35598

发表于 2022-6-28 17:14:21 | 显示全部楼层 |阅读模式

╱人◕‿‿◕人╲定下契约

您需要登录才可以下载或查看，没有账号？╱人◕‿‿◕人╲订下契约（注册新用户）

x

跟着“州的先生”写的博客试着实践，博客地址：
https://zmister.com/archives/category/scrap/pythonscrapbook/

[发帖际遇]: 路人鬼花费8 枚宅币购买爱豆拍的写真集.

幸运榜 / 衰神榜

自力更生，放弃，卒。

使用道具举报

路人鬼

签到天数: 126 天

连续签到: 1 天

[LV.7]常住居民III

14 主题	60 好友	3万积分

区版主

积分: 35598

楼主| 发表于 2022-6-28 17:28:58 | 显示全部楼层

今天已经进行到了入门三（爬取腾讯新闻的内容）
可能是因为现在腾讯新闻已经不是简单的静态网页，因此直接用博客中的代码没法爬取到需要的内容，所以我把对象换成了宅子的水区，试着爬取了水区的帖子题目和链接。
另外值得注意的一个地方是网页源码中标签<a>的‘class’属性值中包含空格（a:s xst），在使用select函数时要输入a.s.xst。

自力更生，放弃，卒。

回复支持反对

使用道具举报

路人鬼

签到天数: 126 天

连续签到: 1 天

[LV.7]常住居民III

14 主题	60 好友	3万积分

区版主

积分: 35598

楼主| 发表于 2022-6-29 18:06:51 | 显示全部楼层

今天进行到了第五章，以今日头条为例子学习了爬取JS动态网页的方法，顺便把昨天的腾讯新闻拿来练习了。

自力更生，放弃，卒。

回复支持反对

使用道具举报

路人鬼

签到天数: 126 天

连续签到: 1 天

[LV.7]常住居民III

14 主题	60 好友	3万积分

区版主

积分: 35598

楼主| 发表于 2022-6-30 17:24:43 | 显示全部楼层

今天进行到第6章多线程的操作，比较摸鱼。

自力更生，放弃，卒。

回复支持反对

使用道具举报

路人鬼

签到天数: 126 天

连续签到: 1 天

[LV.7]常住居民III

14 主题	60 好友	3万积分

区版主

积分: 35598

楼主| 发表于 2022-7-1 17:16:18 | 显示全部楼层

今天进行到第七章使用selenium爬取qq空间说说。有一些没有解决的问题：
1. 登录qq空间的时候有图形验证码，不知道怎么使用python通过。即使手动通过后也还是会被检测到异常登录，最后其实还是手机扫码登录的；
2.不是很理解样例代码中转换frame的意义，可能需要学习一下html的相关内容；
3.根据id，class name，css selector等寻找元素的方法的细节不太明白。

自力更生，放弃，卒。

回复支持反对

使用道具举报