DadaoTask

95 Commits 2 Branches 0 Tags

3 Commits

Include renames

Author	SHA1	Message	Date
Steven	626f83fb9c	feat(wechat): 微信里发一条链接，正文和配图抓下来存成知识 CI / backend (push) Canceled after 0s Details 公众号的文章也能抓：走 mp.weixin.qq.com 的 DOM（#js_content），按 data-src 取图，不靠通用抽取器——它会把公众号的图全丢掉。正文里的外链图下载进我们自己的存储（最多 12 张、单张 8 MB），地址改成 /attachments/{id}/raw?签名：公众号那边一换图，外链就是一排红叉。抓取入口谁都能触发，所以只允许公网地址（内网段、回环、链路本地、保留段、解析不出的域名一律拒绝），否则就是个 SSRF 跳板。抓不到要说人话："这个链接没抓下来（原因）。想直接记成任务的话，加「任务：」前缀再发一次。" 反爬验证页、SPA 空壳都走这条路。 - 新增 services/article.py：extract_url / parse / fetch / store_images / compose_body - wechat_intake：整条消息是链接时走抓取，落知识草稿，回「已存成知识草稿：标题」 - 依赖 trafilatura==2.0.0（装法见 requirements.txt 注释：必须逐个装再 --no-deps） - 测试 9 例：链接判定、公众号解析、验证页、通用页裁导航、SSRF 拒绝、图片本地化、失败提示	2026-11-06 00:54:21 +08:00
Steven	1e8cd01b3d	fix(integrations): 扫码确认后不再 500，回话不带链接，栏目改叫「机器人」 CI / backend (push) Canceled after 0s Details 1. 扫码确认那一刻页面报「服务器内部错误」：`bot_channel` 的轮询口子直接 `current_setting('app.bot_channel', true)::uuid`，而事务级 set_config 提交后会把连接上的变量还原成空串而不是 NULL，空串 cast 就 InvalidTextRepresentation。迁移 0015 改成 nullif(...,'')::uuid，与 app_ws_id() 同一写法。 2. 微信回话只回「已保存任务：…」／「已保存知识草稿：…」，不再带站点链接（PUBLIC_BASE_URL 是内网地址，手机上打不开）。 3. 栏目名「接入」改名「机器人」；页面标题与提示文案同步。 pytest 151 passed；ruff check/format 干净；tsc 0；vite build 通过； web/e2e/integrations.mjs 7 项全绿。	2026-11-05 23:22:49 +08:00
Steven	8436c0edbf	feat(integrations): 微信要先扫码配对，改成 iLink 扫码登录 + 长轮询 CI / backend (push) Canceled after 0s Details 上一版按"webhook + URL 里带令牌"自己编了一套，用户当场指出微信必须先扫码配对。现在照腾讯 iLink Bot 协议自己做客户端：取二维码 → 手机扫码确认 → 存加密登录态 → 后端长轮询收消息 → 用 context_token 回话。独立实现，不依赖 DSH 的运行环境。后端 - wechat_ilink.py：get_bot_qrcode / get_qrcode_status / getupdates / sendmessage， bot_token 用 Fernet（密钥由 JWT_SECRET 派生）加密入库，日志与接口都不回明文 - wechat_intake.py：一句话 → 任务或知识草稿，前缀识别、#标签、首行标题 - wechat_bot.py：每条通道一个轮询任务，启动时按 status='active' 恢复； message_id 去重；errcode -14 转 expired 让用户重新扫 - api/integrations.py 重写成扫码三接口 + 停用/断开/最近消息 - 迁移 0013（登录态列）、0014（轮询入口按 app.bot_channel 主键的 RLS 口子） Web - 接入页改成扫码流程：页面里画出二维码、每 2 秒问一次状态、连上显示微信用户与最近消息验证 - pytest 149 passed（新增 test_wechat_bot 9 例） - ruff check / ruff format --check 干净；tsc 0；vite build ✓ - web/e2e/integrations.mjs 7 项 ALL PASS（拿的是微信真二维码）教训：接入第三方协议先去已有实现里找协议，别从直觉倒推。	2026-11-05 23:03:18 +08:00

Author

SHA1

Message

Date

Steven

626f83fb9c

feat(wechat): 微信里发一条链接，正文和配图抓下来存成知识

CI / backend (push) Canceled after 0s

Details

公众号的文章也能抓：走 mp.weixin.qq.com 的 DOM（#js_content），
按 data-src 取图，不靠通用抽取器——它会把公众号的图全丢掉。

正文里的外链图下载进我们自己的存储（最多 12 张、单张 8 MB），
地址改成 /attachments/{id}/raw?签名：公众号那边一换图，外链就是一排红叉。

抓取入口谁都能触发，所以只允许公网地址（内网段、回环、链路本地、
保留段、解析不出的域名一律拒绝），否则就是个 SSRF 跳板。

抓不到要说人话："这个链接没抓下来（原因）。想直接记成任务的话，
加「任务：」前缀再发一次。" 反爬验证页、SPA 空壳都走这条路。

- 新增 services/article.py：extract_url / parse / fetch / store_images / compose_body
- wechat_intake：整条消息是链接时走抓取，落知识草稿，回「已存成知识草稿：标题」
- 依赖 trafilatura==2.0.0（装法见 requirements.txt 注释：必须逐个装再 --no-deps）
- 测试 9 例：链接判定、公众号解析、验证页、通用页裁导航、SSRF 拒绝、图片本地化、失败提示

2026-11-06 00:54:21 +08:00

Steven

1e8cd01b3d

fix(integrations): 扫码确认后不再 500，回话不带链接，栏目改叫「机器人」

CI / backend (push) Canceled after 0s

Details

1. 扫码确认那一刻页面报「服务器内部错误」：`bot_channel` 的轮询口子直接
   `current_setting('app.bot_channel', true)::uuid`，而事务级 set_config 提交后
   会把连接上的变量还原成空串而不是 NULL，空串 cast 就 InvalidTextRepresentation。
   迁移 0015 改成 nullif(...,'')::uuid，与 app_ws_id() 同一写法。
2. 微信回话只回「已保存任务：…」／「已保存知识草稿：…」，不再带站点链接
   （PUBLIC_BASE_URL 是内网地址，手机上打不开）。
3. 栏目名「接入」改名「机器人」；页面标题与提示文案同步。

pytest 151 passed；ruff check/format 干净；tsc 0；vite build 通过；
web/e2e/integrations.mjs 7 项全绿。

2026-11-05 23:22:49 +08:00

Steven

8436c0edbf

feat(integrations): 微信要先扫码配对，改成 iLink 扫码登录 + 长轮询

CI / backend (push) Canceled after 0s

Details

上一版按"webhook + URL 里带令牌"自己编了一套，用户当场指出微信必须先扫码配对。
现在照腾讯 iLink Bot 协议自己做客户端：取二维码 → 手机扫码确认 → 存加密登录态 →
后端长轮询收消息 → 用 context_token 回话。独立实现，不依赖 DSH 的运行环境。

后端
- wechat_ilink.py：get_bot_qrcode / get_qrcode_status / getupdates / sendmessage，
  bot_token 用 Fernet（密钥由 JWT_SECRET 派生）加密入库，日志与接口都不回明文
- wechat_intake.py：一句话 → 任务或知识草稿，前缀识别、#标签、首行标题
- wechat_bot.py：每条通道一个轮询任务，启动时按 status='active' 恢复；
  message_id 去重；errcode -14 转 expired 让用户重新扫
- api/integrations.py 重写成扫码三接口 + 停用/断开/最近消息
- 迁移 0013（登录态列）、0014（轮询入口按 app.bot_channel 主键的 RLS 口子）

Web
- 接入页改成扫码流程：页面里画出二维码、每 2 秒问一次状态、连上显示微信用户与最近消息

验证
- pytest 149 passed（新增 test_wechat_bot 9 例）
- ruff check / ruff format --check 干净；tsc 0；vite build ✓
- web/e2e/integrations.mjs 7 项 ALL PASS（拿的是微信真二维码）

教训：接入第三方协议先去已有实现里找协议，别从直觉倒推。

2026-11-05 23:03:18 +08:00