5.3 做一个爬虫

<div class="article-card">
  <h2>文章标题</h2>
  <a href="/blog/article-slug">链接</a>
  <span class="tag">标签</span>
  <time>2025-01-15</time>
  <p class="excerpt">摘要内容...</p>
</div>

写一个 Python 爬虫，抓取 https://www.notta.ai/en/blog 的所有文章信息：

## 目标字段
- title：文章标题
- url：文章完整链接（需要拼接域名）
- tags：标签列表（可能有多个，用逗号分隔）
- published_date：发布日期（格式化为 YYYY-MM-DD）
- excerpt：文章摘要

## 技术要求
- 使用 requests + BeautifulSoup
- 支持分页抓取（检测"下一页"按钮，直到没有下一页为止）
- 每次请求间隔 3 秒，避免被封
- 遇到 4xx/5xx 错误自动重试 3 次
- 添加合适的 User-Agent 头部

## 数据存储
- 保存到 data/notta_blog.csv
- 每次运行只抓取新增文章（用 url 作为唯一标识）
- 如果 CSV 已存在，读取已有的 url 列表，跳过重复内容

## 日志要求
- 打印当前抓取进度（第 X 页 / 共 Y 篇文章）
- 记录失败的请求（URL + 错误原因）
- 最后输出总结（新增 X 篇，跳过 Y 篇，失败 Z 篇）

请生成完整的可运行代码。

# 安装依赖
pip install requests beautifulsoup4 pandas
 
# 运行脚本
python crawl_notta.py

# 打印 HTML 源码，检查选择器
print(soup.prettify()[:500])
 
# 逐步验证选择器
articles = soup.find_all('div', class_='article-card')
print(f'找到 {len(articles)} 篇文章')
for article in articles[:3]:  # 只看前 3 个
    print(article.find('h2').text.strip())
 
# 检查请求是否成功
print(f'状态码: {response.status_code}')
print(f'响应头: {response.headers}')

请把这个爬虫脚本改造成 Streamlit 应用：

## 界面需求
- 输入框：目标 URL、最大页数
- 按钮：开始抓取、停止、导出 CSV
- 进度条：显示当前抓取进度
- 表格：实时展示已抓取的数据
- 日志区域：滚动显示运行日志

## 功能要求
- 点击「开始」后在后台运行爬虫
- 支持随时停止
- 抓取完成后可下载 CSV

pip install streamlit
streamlit run app.py

请修改爬虫脚本，把数据写入飞书多维表格：

## 飞书配置
- App ID: xxx
- App Secret: xxx
- 表格 Token: xxx
- 字段映射：title → 标题字段，url → 链接字段，等等

## 技术要求
- 使用飞书开放平台 Python SDK
- 每抓取 10 条批量写入一次
- 写入前检查 URL 是否已存在，避免重复
- 失败时记录日志但继续执行

pip install lark-oapi

# 编辑定时任务
crontab -e
 
# 每天早上 9 点执行
0 9 * * * /usr/bin/python3 /path/to/crawl_notta.py >> /path/to/crawl.log 2>&1

name: Daily Crawler
 
on:
  schedule:
    - cron: '0 1 * * *'  # 每天 UTC 1:00（北京时间 9:00）
  workflow_dispatch:  # 支持手动触发
 
jobs:
  crawl:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      - uses: actions/setup-python@v4
        with:
          python-version: '3.10'
      - run: |
          pip install -r requirements.txt
          python crawl_notta.py
      - uses: actions/upload-artifact@v3
        with:
          name: crawl-results
          path: data/*.csv

import openai
 
# 为每篇文章生成摘要
for article in articles:
    summary = openai.ChatCompletion.create(
        model="gpt-4o-mini",
        messages=[{
            "role": "user",
            "content": f"请用一句话总结这篇文章：\n{article['title']}\n{article['excerpt']}"
        }]
    )
    article['ai_summary'] = summary['choices'][0]['message']['content']

请把爬虫改为使用 Playwright：
- 等待页面完全加载后再抓取
- 支持滚动加载更多内容
- 截图保存当前页面状态

pip install playwright
playwright install chromium

# scheduler.py
TASKS = [
    {'name': 'Notta Blog', 'script': 'crawl_notta.py', 'cron': '0 9 * * *'},
    {'name': 'Airtable', 'script': 'crawl_airtable.py', 'cron': '0 10 * * *'},
]
 
# 按计划执行每个任务
for task in TASKS:
    run_crawler(task['script'])
    log_result(task['name'], result)