g

admin3周前未分类24
os
bs4 BeautifulSoup
requests
csv

ShanHaiSpider:
    ():
        .url = .dir = os.path.exists(.dir):
            os.makedirs(.dir)

    (, url): resp = requests.get(=url)
        resp.content.decode()

    ():
        html = .get_html(.url)
        soup = BeautifulSoup(html, )
        bookcont_list = soup.select()
        book bookcont_list:
            a_list = book.find_all()
            a a_list:
                content_href = a.get()
                content_href=+content_href
                content_name = a.text
                file_name = os.path.join(.dir, % content_name)
                .get_data_and_save(file_name, content_href)

    (, file_name, link):
        content = .get_html(link)
        soup = BeautifulSoup(content, )
        content_list = soup.select()
        content = .join([c.get_text().strip() c content_list])
        (content)
        (file_name, , =, =) f:
            writer = csv.writer(f)
            writer.writerow([content])

    ():
        .get_name_and_link()

__name__ == :
    spider = ShanHaiSpider()
    spider.run()


返回列表

上一篇:pc

下一篇:d

相关文章

python练习

pymysql conn=pymysql.connect(     =,     =,  &nbs...

kspy

kspy

sjuang.docx...

C++ 基本语法

C++ 程序可以定义为对象的集合,这些对象通过调用彼此的方法进行交互。现在让我们简要地看一下什么是类、对象,方法、即时变量。对象 - 对象具有状态和行为。例如:一只狗的状态 - 颜色、名称、...

pysjB

pysjB

2023-2024A(二)学期《数据采集技术》A卷—韩林芮(中职软件与信息服务专业2021年级).docx2022-2023B(二)学期《数据采集技术》B卷—韩林芮(中职软件与信息服务专业2021年级...

mysql

mysql

22软件大专1班MySQL课堂笔记.docx这份文档提供了MySQL数据库的全面课堂笔记,内容详实,覆盖了数据库的多个关键领域。以下是详细的知识点总结:### 数据库基本操作- **创建数据库**:使...

pyks

pyks

...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。
召唤伊斯特瓦尔