'利用切片爬取先知'

发表于 更新于 分类于 阅读次数：

一个简单的脚本，利用切片爬取先知社区的标题、文章链接、作者、作者主页、文章分类、发表时间、评论数，写的很辣鸡，大佬就当个笑话。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
import requests

response = requests.get('https://xz.aliyun.com/?page=1').text
table = response.find('<table class="table topic-list">')
_table = response.find('</table>')
connet = response[table:_table]
c = connet.split('<tr><td>')

for n in range(1, 31):
    d = c[n].split(r'<a href="')[1]
    authorurl = d.split(r'">')[0]   # 作者链接

    e = d.split(r'">')[1]
    author = e.split(r'</a> /')[0]  # 作者

    f = c[n].split(r'">')[8]
    tags = f.split(r'</a>')[0]  # 分类

    time = c[n].split(r'/ ')[1][0:10]   # 时间

    g = c[n].split(r'">')[5]
    title = g.split(r'</a>')[0]     #标题

    h = c[n].split(r'href="')[2]
    titleurl = h.split(r'">')[0]

    j = c[n].split(r'<span class="pull-right"><span class="badge badge-hollow text-center ">')[1]
    number = j.split('</span>')[0]

    with open(r"D:\xz.txt", "a", encoding='utf-8') as file:  # 在D盘中打开/创建一个名为先知的txt文件
        file.write('标题：' + title.strip() + '\n')  # 向文件中写入title的字符串(即文章的标题)，并换行
        file.write('文章链接：' + 'https://xz.aliyun.com' + titleurl + '\n')  # 向文件中写入文章的链接，并换行
        file.write('作者：' + author + '\n')
        file.write('作者主页：' + 'https://xz.aliyun.com' + authorurl + '\n')
        file.write('文章分类：' + tags + '\n')
        file.write('发表时间：' + time + '\n')
        file.write('评论数：' + number + '\n\n')

效果