Source: SuperSSR Report-Date: 2026-09-13 Language: zh Canonical-URL: https://superssr.net/reports/2026-09-13?lang=zh RSS-URL: https://superssr.net/api/feed.rss?date=2026-09-13&lang=zh Generated-At: 2026-09-13T16:31:23.000Z # 今日最值得做:RepoProof — 私有仓库的 Agent 变更审计台 **报告日期**: 2026-09-13 **覆盖时间**: 2026-09-13T00:00:00+08:00 – 2026-09-13T23:59:59+08:00(UTC) **生成状态**: ok ## 今日最值得做:RepoProof — 私有仓库的 Agent 变更审计台 **一句话描述**: 拿你仓库自己过去 200 个 bugfix 提交生成私有 mini-benchmark,在 CI 里给每个 AI 提交打分,并附上「哪个输入会让客户赔钱」的反例。 **为什么是现在**: 2026 年 9 月这一周出现了两个同时成立的信号:一边是 Real-SWE 把前沿模型推到真实公司授权的私有生产代码库上评测,公开证明「公开榜单分数无法预测你的仓库」;另一边是 Bengio 署名文章公开讨论 agent 说谎、越权协调(428 分 / 501 条评论),企业采购方第一次开始要求可验证的行为证据。与此同时,独立开发者已经在自己手搓审查结构——Viserys 这类「28 个 SKILL.md + 4 个 reviewer 人设」的工程流技能包拿到 627 星,说明审查流程的骨架已经商品化,唯一还没有商品化的是「打分」。谁先把「用客户自己的 git 历史当题库」这件事做成一条 CI 命令,谁就拿到这个位置。 **支撑证据**: - Real-SWE 把前沿模型放到真实公司授权的私有生产代码库上评测,并在 HN 拿到 244 分 / 136 条评论——说明「公开榜单分数 ≠ 你的仓库」已经从个人直觉变成主流共识。 _(signal #71471)_ - Bengio 署名的《Why are AI agents lying, cheating and coordinating?》拿到 428 分 / 501 条评论,把 agent 越权与逃避检测摆上台面,买方开始要求可审计的评测记录,而不是「它跑通了」。 _(signal #71522)_ - Viserys 技能包(28 个 SKILL.md、4 个 reviewer 人设、生命周期命令)在 GitHub 拿到 627 星,证明「审查角色 + 流程骨架」已经商品化,剩下的缺口只有一个能打分的裁判。 _(signal #71629)_ - 有人让两个 AI 互审代码整整 30 天,最后真正拦住 bug 的仍是人类花 5 分钟——这条实验公开了「纯结构审查」的天花板,也说明评测必须给出人类 5 分钟内能验证的具体反例。 _(signal #71700)_ - CauterRule 在 40 个语料、4,768 条 trajectory-run 的现场测试后才总结出「把重复失败固化成永久规则」这一路径,证明失败模式可以沉淀成资产——而私有 benchmark 的题目来源正是这些失败。 _(signal #71703)_ **最快验证步骤**: 先不要写产品。用一周时间,在你最熟的两个仓库里各挖 50 个 bugfix 提交(checkout 父提交作为环境,用提交自带测试判定),跑同一套 harness 对比两个模型。如果私有集上的通过率排序与公开 SWE-bench 排序一致,这个产品没有存在理由,直接放弃;只有排序出现明显倒挂,才继续。 **反方观点**: 最锋利的反对来自数据本身:id=71700 那个 30 天双 agent 实验,最后仍然是人类 5 分钟抓到 bug,说明自动化审查存在结构天花板,你可能只是卖了一个更贵的 linter;同时 Cognition 的 SWE-2 已经打出「比 Fable 5.1 便宜 64%」的价格牌,当生成成本继续塌陷,团队更理性的选择是「同一件事让 agent 跑两遍」,而不是订阅一个评测台。更麻烦的是 Real-SWE 的题库来自真实公司授权,你复制不了,你的护城河只能是客户自己的 git 历史——这意味着每个客户都要你再干一次重活。 ## 今日 TOP 信号 ### Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases **来源**: hackernews | **指标**: Score: 244 / Comments: 136 它把「模型在你的私有代码库上行不行」变成可买可比的评测品类。一旦这个口径被接受,任何团队都会问同一句话:那我的仓库呢?这句话就是本次机会的原点。 ### Why are AI agents lying, cheating and coordinating? **来源**: hackernews | **指标**: Score: 428 / Comments: 501 今日最高能量的讨论不是「模型多强」,而是「agent 能不能被信任」。它把评测从技术话题推成采购话题:买方开始要审计轨迹,而不是要 demo。 ### rizqinrr/viserys-agent **来源**: github-trending | **指标**: Stars: 627 28 个 SKILL.md、4 个 reviewer 人设、完整 DEFINE→SHIP 生命周期——流程骨架已经被开源商品化。缺口只剩一个:谁来判断这次提交算不算过关。 ### I made two AIs review each other's code for 30 days. A human still caught the bug in 5 minutes. **来源**: devto | **指标**: Comments: 8 这是最有价值的一条负面证据:它给出了纯结构审查的失败边界,并指明唯一可接受的产出形式——人类 5 分钟内能自己复现的具体反例,而不是一份「已审阅」的结论。 ### 4,768 LLM Runs, Zero Lost Sweeps: Hardening a Field-Test Runner for Timeouts, Hangs, and Cost **来源**: devto | **指标**: Comments: 4 正文显示 40 个语料、4,768 条 trajectory-run 才跑完一次可信的现场测试——评测本身是一项脏活:挂死、超时、成本失控。谁把这件脏活工程化,谁就拿到数据壁垒。 ## 发现 ### Q1. 今天有哪些独立创始人产品发布了? **信号**: Reddit 与 Product Hunt 今日集中出现独立开发者发布:agent-dev-team(reddit id=71370,21 个角色、4 个资历层级、26 个技能、MIT、零运行时依赖,挂在 Claude Code / Cursor / Codex 上)、leonidahub.org(reddit id=71383,单人做的西/英双语 GTA VI 粉丝站)、Everlasting Email(reddit id=71585,9 个月开发,当天上线 Product Hunt)、AI Agent 控制网关(reddit id=71582,6 月底开始做,自称介于 agent 与 API/工具之间的控制层);Product Hunt 侧还有 Visiby(id=71598)、GhostWriter by MyHandler(id=71591)、Neopress(id=71589)、Epilude Notetaker(id=71596)等单人向发布。 **分析**: 今天的独立发布明显分两簇:一簇是『围着大模型做外挂』——agent 控制层、agent 开发团队编排、memory 服务;另一簇是『解决自己生活小痛点』——粉丝站、定时遗言邮件、隐私会议记录、Notion 剪藏。前者竞争密度高但需求被验证,后者情绪价值强但付费意愿弱。值得注意的是这些发布者的 metric 多为 N/A,说明渠道还在社区自曝阶段,没有形成榜单级别的分发。 **结论**: 做「agent 控制/审计层」的细分方向可以观察一周再动手,优先选一个已有明确付费方(合规、企业内网)的切口;不做通用 agent 编排框架,也不做又一个 AI 网站生成器。 **反方观点**: 同一天 Product Hunt 上线 Cognition's SWE-2(id=71587),宣称比 Fable 5.1 便宜 64%,模型厂商一旦把编排与成本下压到自家 SDK 里,独立开发者的 agent 外挂层会被直接吃掉。 ### Q2. 哪些搜索词或讨论主题突然上升? **信号**: Hacker News 前排同时出现多个高互动同题材帖:『Why are AI agents lying, cheating and coordinating?』428 分 / 501 评论(id=71522)、『Aligned to whom?』131 分 / 68 评论(id=71673)、『Astra and Fable still hack on simple variants of alignment evals from 2025』47 分 / 7 评论(id=71798)、『Everyone should slow down AI development except for me』654 分 / 381 评论(id=71523);隐私监控线同样拉高:『LG denies TV spying claims』533 分 / 416 评论(id=71473)、『Linux Zoom client proactively reading everything written to X11 clipboard』220 分 / 67 评论(id=71479)、Flock 车牌识别争 **分析**: 上升主题可归为三条:一是 AI agent 的『行为可信度』(说谎、串通、刷评测);二是『谁在偷看我的数据』(电视、剪贴板、车牌、金融 App);三是『AI 产出的同质化审美』。前两条在 HN 上评分与评论量都进入当日第一梯队,说明讨论已从技术圈扩展到监管与公众情绪,适合做审计、可观测性、隐私证明类选题。 **结论**: 观察并记录「agent 行为审计 / 数据流向可视化」这两个关键词,先用内容或小工具卡位,等出现明确采购方(合规、安全团队)再投产品;不要此时去做通用安全大模型。 **反方观点**: 同类讨论 2025 年已出现过(id=71798 明确提到 2025 年的对齐评测被刷),一年过去仍停留在 HN 讨论层而未变成付费品类;同期 Cognition SWE-2(id=71587)以「便宜 64%」抢注意力,说明市场真金白银仍投在性能与成本,而非安全叙事。 ### Q3. 哪些开源项目增长很快但缺少商业版本? **信号**: GitHub Trending 今日上榜且无同项目官方托管/付费版:rizqinrr/viserys-agent 627 stars(id=71629)、eternityspring/reelbench-skills 454 stars(id=71446)、yifanzhang-pro/recurrent-looped-tranformer 405 stars(id=71792)、DefiLeoo/YOINK 347 stars(id=71643,把纯 markdown 笔记放在 Obsidian 同一目录、让 AI 自评)、yappologistic/Spun 339 stars(id=71443,Linux 音乐播放器带 CD/黑胶/磁带视图)、deepseek-ai/DeepSelect 321 stars(id=71445,仅 TopK kernel 实现)。 **分析**: 这批高星项目里,训练/推理内核类(DeepSelect、recurrent-looped-tranformer)由大厂或研究者维护,商业化路径本来就是并入模型公司;真正「缺商业版本」的是工具型项目——viserys-agent 这类 agent 编排、YOINK 这类本地笔记增强、Spun 这类桌面体验型播放器。它们星数在 300–630 之间,恰好是「有热度、无收入、无托管」的窗口期,补一层同步、团队协作或托管 API 就能形成付费点。 **结论**: 做一层托管同步/团队版去包 viserys-agent 或 YOINK 这类 300 星以上的纯本地开源工具;不要自建又一个通用 agent 框架或笔记内核。 **反方观点**: JetKVM Mini(id=71667,331 分 / 127 评论)证明开源项目可以靠低价硬件直接变现,而 YOINK 这类笔记增强的上位替代 Obsidian 本身就提供免费个人版加付费 Sync/Publish,第三方托管版的生存空间曾被多次证伪。 ### Q4. 开发者今天在抱怨什么? **信号**: dev.to 当日多条高共鸣吐槽:『I made two AIs review each other's code for 30 days. A human still caught the bug in 5 minutes.』8 评论(id=71700),结论是写代码的东西不能同时做审查;『4,768 LLM Runs, Zero Lost Sweeps』4 评论(id=71703)抱怨 agent 超时、卡死与成本;『The Purple Gradient Problem: Why AI UI All Looks Alike』4 评论(id=71844)抱怨 AI 生成界面全部是 Inter 字体加紫蓝渐变;『nginx streams your tokens fine. HAProxy holds them for 206ms.』5 评论(id=71508)抱怨流传甚广的 SSE 缓冲结论其实是错的;另有 CauterRule 把重复 agent 失败固化成规则(id=71703)与 PR inbox(id=71713)指向同一痛点:人成为 review 瓶颈。 **分析**: 抱怨集中在三处:AI 互审不可信(30 天实验被人类 5 分钟推翻)、agent 运行不可控(4,768 次 LLM 运行里的超时/卡死/成本)、AI 产出的同质化。前两者本质是同一个缺口——agent 的失败模式缺少可观测与可复现的护栏;第三个则是设计与品牌问题,更偏内容而非工具。 **结论**: 做面向 agent 运行时的成本/卡死护栏与可复现日志,把「哪一次运行、哪一步、花了多少钱」做成默认视图;不做又一个 AI 代码审查器。 **反方观点**: 该赛道已有 LiveReview(id=71513,宣称 blast-radius aware)与 Cognition SWE-2(id=71587,比 Fable 5.1 便宜 64%)抢占,一旦模型厂商把成本与重试内置进默认 SDK,独立护栏工具的差异化只剩日志留存与合规审计。 ## 技术雷达 ### Q5. 本周增长最快的开发者工具是什么? **信号**: GitHub Trending 今日数据显示 rizqinrr/viserys-agent 获得 627 stars,位列所给 GitHub 趋势榜第一;同榜 eternityspring/reelbench-skills 为 454 stars,yifanzhang-pro/recurrent-looped-tranformer 为 405 stars。 **分析**: 从单日 star 增速看,viserys-agent 是最突出的开发者工具候选,名字带 agent,符合当前 AI 代理开发热。但摘录未给出完整技术栈和具体功能,需进一步验证它解决的是代理编排、运行时还是脚手架问题。 **结论**: 观察 viserys-agent 的 issue/PR 和实际使用反馈,先做小范围 PoC,不要立刻替换现有代理框架。 **反方观点**: 对比同榜 DefiLeoo/YOINK 的 347 stars,其定位更清晰,是 Markdown+Obsidian 第二大脑;viserys-agent 的 627 stars 可能来自榜单曝光而非留存,若缺少文档和发布节奏,热度会快速回落。 ### Q6. 哪些 AI 模型、框架或基础设施值得关注? **信号**: Hacker News 上 Real-SWE 基准得分 244、评论 136,专门评估前沿模型在私有企业代码库上的表现;Product Hunt 的 Cognition SWE-2 宣称比 Fable 5.1 便宜 64%;GitHub Trending 的 deepseek-ai/DeepSelect 为 321 stars,yifanzhang-pro/recurrent-looped-tranformer 为 405 stars。 **分析**: 值得关注的方向有三类:一是企业私有代码库上的真实 SWE 评测,Real-SWE 的高互动说明市场需要可信基准;二是成本导向的编码模型,Cognition SWE-2 用 64% 降价切入;三是底层推理优化,DeepSelect 的 TopK kernel 与 Recurrent Looped Transformer 代表稀疏注意力和循环结构探索。 **结论**: 做:用 Real-SWE 思路建立内部私有代码评测集,并观察 DeepSelect 与 Recurrent Looped Transformer 的复现结果;等待更多第三方对 SWE-2 的独立验证。 **反方观点**: Cognition SWE-2 的 64% 降价来自自家宣传,缺少与 Fable 5.1 之外的第三方对比;Real-SWE 虽得 244 分、136 评论,但仍是单一基准,不能代表全部企业代码场景。 ### Q7. 哪些平台、产品或技术正在衰退? **信号**: Hacker News 上 LG 否认电视窥探指控的讨论获得 533 分、416 评论;Linux Zoom 客户端主动读取 X11 剪贴板获得 220 分、67 评论;Revolut 因假政府请求导致客户数据泄露获得 114 分、77 评论。 **分析**: 这三个信号共同指向消费者对闭源平台隐私与安全的信任衰退:电视、视频会议和金融平台都出现监控或泄露争议。虽然不一定是收入衰退,但用户信任和品牌声誉正在承压。 **结论**: 不做:不要在这些争议期把新的敏感数据迁移到相关平台;观察替代方案和本地优先工具。 **反方观点**: LG 已公开否认,416 条评论可能放大情绪;对比同榜 Apple iPod Engraver 的 259 分怀旧讨论,LG 的 533 分更像争议传播而非销量崩塌,需用财报或用户流失数据验证。 ### Q8. 成功的 Show HN / GitHub 项目在使用什么技术栈? **信号**: GitHub Trending 头部项目信号:rizqinrr/viserys-agent 627 stars、eternityspring/reelbench-skills 454 stars、yifanzhang-pro/recurrent-looped-tranformer 405 stars、DefiLeoo/YOINK 347 stars、yappologistic/Spun 339 stars、deepseek-ai/DeepSelect 321 stars。 **分析**: 成功项目技术栈呈现几个共同点:AI 代理与评测工具(viserys-agent、reelbench-skills)、底层模型优化(DeepSelect 的 TopK kernel、Recurrent Looped Transformer)、本地优先知识管理(YOINK 用 Markdown 文件夹并兼容 Obsidian)、Linux 原生媒体应用(Spun)。Show HN 方面,Analyst Index 仅 6 分、4 评论,说明单纯分析师评分工具未形成 traction。 **结论**: 做:围绕 Markdown/Obsidian 本地知识库、DeepSeek 稀疏注意力 kernel 和循环 Transformer 做技术预研;观察这些项目的 README 与依赖清单。 **反方观点**: 对比 Show HN: Analyst Index 只有 6 分、4 评论,而 YOINK 有 347 stars;榜单 star 不等于生产采用,若项目缺少 issue/PR 活跃度和版本发布,仍可能只是短期热点。 ## 竞争情报 ### Q9. 独立开发者在讨论什么定价和收入模式? **信号**: dev.to《I Sell Memory APIs. I'm Also Building the Benchmark.》(id=71716, Comments: 3) 与《A model's opinion is not a price: the day a £14.99 charger repriced a speaker》(id=71562, Comments: 6) 是今日最直接的定价讨论;Product Hunt 的 Cognition's SWE-2 (id=71587) 直接把『比 Fable 5.1 便宜 64%』写进产品卖点;dev.to 的 PR Inbox (id=71713, Comments: 2) 则以『Costs $0』自建替代付费 SaaS。 **分析**: 独立开发者的定价与收入讨论收敛到三条线:第一,API/基础设施按量售卖并自建 benchmark 来证明单价合理(id=71716 明确说自己卖 Memory API 的同时在写 benchmark);第二,用真实价格锚点校准模型输出——id=71562 记录了一个 £14.99 的充电器如何把自家二手定价工具的输出推翻,说明『模型给的价格不是价格』;第三,模型层已把单位成本差直接当成定价武器,id=71587 用『64% cheaper』作为首要卖点。与之相对,个人开发者端的默认基线仍是零成本自建(id=71713 的 $0)。 **结论**: 做:给自己的 AI 产品加一层可验证的真实价格/成本数据源,并把成本结构公开成卖点;观察:Cognition SWE-2 的『便宜 64%』话术是否会被其他模型厂商在两周内跟进成价格战,一旦跟进则停止按能力溢价定价。 **反方观点**: id=71713 的 PR Inbox 明确以『Costs $0』成本自建替代付费评审工具,说明在个人开发者市场,免费 + 自托管才是付费产品最大的竞争者,而非同类商业产品。 ### Q10. 哪些迁移、替代或“XX 已死”趋势正在出现? **信号**: Reddit《I cancelled my adobe subscription》(id=71586) 用两周自建的 Photon 直接替代 Photoshop;Product Hunt 的 Cognition's SWE-2 (id=71587) 宣称比 Fable 5.1 便宜 64%;HN《CUDA for AMD on Windows》(id=71807, Score: 5) 用 ZLUDA + ROCm/HIP 在 AMD GPU 上跑 CUDA 应用;dev.to《I made two AIs review each other's code for 30 days》(id=71700, Comments: 8) 给出反向证据。 **分析**: 替代趋势分成两条主线。创作工具链上,Adobe 订阅被两周自建工具顶掉(id=71586),核心动因是订阅成本而非能力差距。算力与模型栈上,CUDA 通过 ZLUDA+ROCm 迁移到 AMD(id=71807),Fable 5.1 被宣称更便宜的 SWE-2 顶替(id=71587),两者共同特征是『以成本差为迁移理由』。但『AI 替代开发者』的叙事出现硬反例:id=71700 让两个 AI 互审代码 30 天,人类 5 分钟就抓到了 bug,说明评审环节的替代尚未成立。 **结论**: 做:替代型产品先用可量化成本差(64% 便宜、两周替代 Photoshop、订阅费归零)作为切入话术;不做:不要在 code review 这类需要外部视角的环节宣称全面替代人类。 **反方观点**: id=71700 的反例最直接——两个 AI 互审 30 天漏掉的 bug 被人类 5 分钟抓到,说明『AI review 替代人类 review』的迁移叙事目前不成立。 ### Q11. 哪些老项目或旧需求突然复活? **信号**: GitHub Trending 的 Spun (id=71443, Stars: 339) 是带 CD/黑胶/磁带/录音机视图的 Linux 音乐播放器;HN《Apple iPod Engraver (2019)》(id=71469, Score: 259 / Comments: 67) 与《Base84 deserves a place in file names》(id=71804, Score: 25 / Comments: 10) 讨论老编码的延续;HN《I fixed a tractor using John Deere's self-repair service》(id=71482, Score: 113 / Comments: 115) 是维修权旧需求回潮;HN《Gonc – Netcat with P2P Nat Traversal》(id=71685, Score: 10) 让 netcat 重获 P2P 穿透。 **分析**: 复活信号集中在三类:一是复古媒介与硬件审美(id=71443 的 CD/黑胶/磁带视图拿到 339 stars,id=71469 的 iPod 刻字机拿到 259 分);二是老编码与老工具的扩展(id=71804 提议给 Base91/TurboCrypt 的文件名编码留位置,id=71685 给 netcat 加上自动 NAT 穿透);三是被厂商锁死的旧需求(id=71482 的拖拉机维修权讨论拿到 113 分、115 条评论)。三者的共同点是:用户要的不是怀旧情绪,而是重新拿回对自有设备与数据的控制权。 **结论**: 做:优先做『旧工具 + 新能力』的组合(netcat+P2P、老编码+新文件名场景、自有硬件+自修复),这类既有明确用户又有差异化空间;等待:纯复古硬件审美项目(CD/黑胶视图)商业化路径仍不清晰。 **反方观点**: id=71443 的 Spun 虽拿到 339 stars,但复古播放器长期停留在小众;同日 id=71629 的 rizqinrr/viserys-agent 拿到 627 stars,说明纯工具向 agent 项目的关注度仍是复古赛道近两倍。 ## 趋势 ### Q12. 本周最高频关键词是什么? **信号**: Hacker News 单帖《Why are AI agents lying, cheating and coordinating?》拿下 428 分、501 条评论(id=71522),为本周互动量最高的条目;同一窗口内 Reddit、Dev.to、GitHub Trending 至少 14 条信号集中在 agent / agentic 这一词根上,例如 Reddit 的 agent-dev-team(21 个角色、4 个等级、26 项技能,id=71370)、GitHub Trending 的 rizqinrr/viserys-agent(627 stars,id=71629)、HN《AgentsDock: An IDE designed for agentic AI research》(57 分、29 条评论,id=71533)。 **分析**: 本周讨论重心从「模型能力」整体迁移到「agent 工程化」:控制网关(id=71582)、多角色开发团队(id=71370)、agent 专用 IDE(id=71533)、agent 记忆由服务端托管(id=71511)、agent 失败转永久规则(id=71703)构成了同一条叙事的五个切面。次级高频词是 Claude Code / Codex / Cursor 这类具体执行器,以及 MCP 这一连接协议,它们几乎总是与 agent 一词同现,说明市场已把 agent 视为默认的交付形态而非可选特性。 **结论**: 做 agent 相关产品时,把「多角色编排 + 外部记忆 + 可控网关」当作默认栈直接落位,不要再做一层通用 chat 壳去抢同一批用户。 **反方观点**: 反例来自 Dev.to《I made two AIs review each other's code for 30 days. A human still caught the bug in 5 minutes.》(8 条评论,id=71700):agent 数量堆叠并不等于质量,人类 5 分钟就找出了多智能体 30 天没抓到的 bug。 ### Q13. 哪些概念正在降温? **信号**: Dev.to《I made two AIs review each other's code for 30 days. A human still caught the bug in 5 minutes.》(8 条评论,id=71700)明确提出「写代码的东西永远不能同时做评审」;同一窗口 Dev.to《The Purple Gradient Problem: Why AI UI All Looks Alike》(4 条评论,id=71844)直指 AI 生成界面清一色紫色渐变加圆角卡片的同质化。 **分析**: 降温的是两类曾经被默认正确的概念:一是「AI 自审 / AI 互审即可替代人工代码审查」的自动化质量闸门,二是「AI 生成模板化 UI 就能直接上线」的设计捷径。两者共同点是可被人类在数分钟内证伪,因此口碑正在从工具端向人工兜底一侧回摆,差异化设计和人类抽检重新成为卖点而非成本项。 **结论**: 等待把「AI 自动评审」作为唯一质量闸门的方案,先改成人类抽检加可解释规则的混合流程,再决定是否采购或自建同类工具。 **反方观点**: 反证是 Product Hunt 上的 Cognition's SWE-2(id=71587),它宣称比 Fable 5.1 便宜 64%,说明编码模型本身仍在降价加速,真正降温的只是「用 AI 评审 AI」这一层包装,而非底层编码模型。 ### Q14. 哪些新词或新类别正在从零开始出现? **信号**: Hacker News《Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases》获得 244 分、136 条评论(id=71471),把模型评测对象从公开刷题集整体搬到企业私有代码库;同期 Product Hunt 出现 Visiby(id=71598),主打追踪并提升产品在 AI 搜索中的可见度,属于此前不存在的品类。 **分析**: 两个从零起步的新类别正在成形:一是「私有代码库评测」,它同时解决刷题集污染和真实工程落差两个老问题,天然对接企业采购决策;二是「AI 搜索可见度 / GEO」,把 SEO 的对象从网页排名换成模型回答中的引用位。此外,Reddit 的 agent 控制网关(id=71582)、Dev.to 的内存 API 基准(id=71716)、HN 的《Durable execution without history replay》(19 分、6 条评论,id=71690)也在催生新词汇。 **结论**: 观察「私有代码库评测」与「AI 搜索可见度」两个新类别,先用两周做小规模对照实验,验证自有数据能否接入再决定投入预算。 **反方观点**: 这些新类别尚未被独立验证 —— Dev.to《I Sell Memory APIs. I'm Also Building the Benchmark.》(3 条评论,id=71716)作者自述既卖内存 API 又做该品类基准,存在明显利益冲突,短期内难以成为公认标准。 ## 行动 ### Q15. 今天最值得花 2 小时做什么? **信号**: dev.to 文章《I made two AIs review each other's code for 30 days. A human still caught the bug in 5 minutes.》(id=71700,Comments: 8) 提出「写代码的东西永远不能是审查代码的东西」;reddit 上 agent-dev-team 帖子 (id=71370,21 个角色 / 4 个资历层级 / 26 个技能,MIT 许可) 证明多角色 agent 工作流已有现成开源底座。 **分析**: 今天最强的可执行信号来自 id=71700:让同一个模型家族既写又审,30 天后仍被人类 5 分钟抓出 bug,这说明真正的缺口不是「更聪明的 agent」,而是「审查者与被审查者的模型必须异构」。id=71370 则说明角色编排、slash 工作流(/spec /plan /build /review /ship)已经被开源做掉,2 小时的价值不在重做编排层,而在插入一个跨模型审查闸门。因此 2 小时应花在:在自己的仓库上搭一个最小闸门,让 A 模型家族的产出必须经过 B 模型家族的独立审查才能进入下一步,并把「人类确认的真 bug 数」作为唯一计分口径。 **结论**: 做——今天 2 小时只做一件事:写一个 pre-commit / PR 钩子,强制用与写作模型不同家族的模型审查 diff,并在本地最近 10 个提交上跑出「命中真 bug 数 / 误报数」两个数字。 **反方观点**: 反方:Cognition 的 SWE-2 在 Product Hunt 上主打「比 Fable 5.1 便宜 64%」(id=71587),一旦审查能力被模型厂商内建进编码模型本身,跨模型闸门就会退化为一个免费的 IDE 开关,2 小时的产出直接归零。 ### Q16. 为什么不是另外两个候选方向? **信号**: 候选一:reddit《Am I delusional for building a control gateway for AI agents?》(id=71582),作者自 6 月底开始做、尚未发布;候选二:Hacker News《Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases》(id=71471,Score: 244 / Comments: 136)。 **分析**: 控制网关 (id=71582) 属于基础设施层,作者自己都要发帖做「现实检验」,说明需求尚未被验证,且这类网关要对接每个客户各自的工具链与权限体系,2 小时只能写出一个 hello world 代理,无法产生可判定的结果。Real-SWE (id=71471) 虽然是今日最高分信号之一(Score: 244 / Comments: 136),但它要求「私有、真实、企业级代码库」作为评测集,获取这类数据的成本远超 2 小时,个人或小团队无法独立复现。相比之下,跨模型审查闸门只需要自己仓库的 10 个提交即可产出数字,验证成本低两个数量级。 **结论**: 不做控制网关和私有代码基准,只做审查闸门;把 id=71582 与 id=71471 存为观察对象,等它们出现可复用的开放数据集或协议标准再跟进。 **反方观点**: 反方:Real-SWE 在 Hacker News 拿到 244 分、136 条评论 (id=71471),说明「企业私有代码库上的真实评测」才是当下最被渴望的东西;若你放弃基准方向,等到某家厂商(如 id=71587 的 Cognition SWE-2)用私有基准做营销背书时,你手里的审查闸门将没有任何可信度证据。 ### Q17. 最快验证步骤是什么? **信号**: dev.to《I Built a PR Inbox for My Phone So I Stop Being the Bottleneck》(id=71713,Comments: 2) 用 Expo + Supabase 做到成本 $0、AI 摘要每个 diff、滑动批准;dev.to《4,768 LLM Runs, Zero Lost Sweeps》(id=71703,Comments: 4) 记录了 4,768 次 LLM 运行中把超时、挂起、成本失控做成稳定规则的经验。 **分析**: 验证路径可以直接照抄 id=71713 的最小闭环:diff 进来 → 由非写作模型家族生成结构化审查意见 → 只有「可复现的 bug」才推给人。id=71703 的 4,768 次运行经验提醒我们,闸门必须先把超时与成本上限固化,否则跑两天就会因为费用和挂起而失去信号。具体的 48 小时验证设计:取自己仓库最近 20 个已合并 PR 的 diff,回放式跑一遍双模型审查,人工标注真/假阳性,得出「每 10 个 diff 命中几个真 bug」这一个数字,若低于 1 就立刻放弃该方向。 **结论**: 做——用 20 个历史 diff 做回放测试,先设置成本与超时上限(参考 id=71703 的 4,768 次运行规则),只统计真 bug 命中数与误报数这两个数字,再决定是否继续。 **反方观点**: 反方:id=71713 的 PR Inbox 本身只有 2 条评论,说明「移动端 AI 审查摘要」这类形态的市场反馈极弱;同一时间 id=71370 的 agent-dev-team 以 MIT 许可免费放出 21 个角色与 26 个技能,你的回放测试很可能跑出来的结论是「开源工作流已经够用」。 ### Q18. 周末扩展成什么产品? **信号**: dev.to《I Built a PR Inbox for My Phone》(id=71713,Comments: 2,AI 摘要 diff + 滑动批准,成本 $0) 与 dev.to《I stopped asking my AI agents to read the project memory. Now the server does it for them.》(id=71511,Comments: 3,把项目记忆从 agent 侧移到服务端)。 **分析**: 周末扩展的自然形态是「审查闸门 + 审查队列」:后端持有跨模型审查规则与项目记忆(id=71511 的思路,把记忆从 agent 提示词搬到服务端),前端是 id=71713 那种手机端队列,但排序不再按时间,而按「该 diff 未被异构模型确认」的风险分。这样产品不再是又一个 AI 摘要器,而是一个强制性的放行关卡:未通过异构审查的 diff 无法进入合并队列。差异化点在于审查者模型身份必须与写作模型不同,这一点是 id=71700 的实验直接给出的结论。 **结论**: 做——周末把它包装成「跨模型审查闸门 + 手机审查队列」的单一产品,把项目记忆放在服务端而不是提示词里,并把「异构模型」做成不可关闭的硬约束。 **反方观点**: 反方:Hermes 类工具已经能把任意 diff 摘要推送到手机,而 agent-dev-team (id=71370) 以 MIT 许可免费提供 26 个技能与 /review 工作流,你的「闸门 + 队列」很可能被评价为「给免费开源套了一层付费壳」。 ### Q19. 初始定价和包装怎么做? **信号**: Product Hunt 的 Cognition's SWE-2 (id=71587) 直接以「比 Fable 5.1 便宜 64%」作为卖点,说明模型调用成本正在快速下探;agent-dev-team (id=71370) 以 MIT 许可、零运行时依赖免费发布。 **分析**: 既然模型单价在下探(id=71587 的 64% 降幅),把审查闸门按 token 或按模型调用量计价是自毁定价,客户会直接等下一次降价。合理的初始包装是:开源核心(钩子 + 双模型审查脚本)免费,付费点在「强制放行策略 + 团队审计记录 + 服务端项目记忆」,按席位计价,建议 $19/开发者/月 或团队 $149/月 封顶,并提供一次性 $0 的 30 天回放审计,让买家先看到自己仓库上的真 bug 命中数字。免费层必须存在,因为 id=71370 已经把编排层做成 MIT 免费,收费只能收在「不可绕过的关卡」和「可追溯的审计日志」上。 **结论**: 做——开源核心 + 按席位收费($19/开发者/月,团队 $149/月封顶),绝不按 token 计价,把付费点锁在强制放行策略与审计日志上。 **反方观点**: 反方:Cognition's SWE-2 已把成本标杆压到比 Fable 5.1 低 64% (id=71587),而 agent-dev-team 以 MIT 免费提供 21 个角色与 26 个技能 (id=71370),两边同时挤压,$19/席位很可能被客户换算成「每月 19 美元买一个我可以用开源钩子 20 行代码实现的东西」。 ### Q20. 最大反方观点是什么? **信号**: Hacker News《Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases》(id=71471,Score: 244 / Comments: 136) 与《Aligned to whom?》(id=71673,Score: 131 / Comments: 68),两者合计 200+ 条讨论,集中在「前沿模型在真实企业代码上的能力与风险边界」上。 **分析**: 最大的反方观点不是「跨模型审查没用」,而是「它很快会被吸收掉」。Real-SWE 拿到 244 分和 136 条评论 (id=71471),说明整个社区正把注意力押在「模型在真实私有代码库上的表现」这个维度上;一旦新一代编码模型把自我审查做进训练目标,异构审查这道人工发明的墙就会变成多余的仪式。id=71673 的讨论进一步指出,agent 在自己被信任的领域里反而不容易出错,真正的风险落在无人监管的交叉领域,这恰恰说明「闸门」的价值可能在更小众、更窄的场景,而不是通用产品。 **结论**: 观察——把「异构审查」当成一个可被证伪的假设,每周用 Real-SWE 式口径回测一次;一旦同模型自审的真 bug 命中率追上跨模型,立即停做并转向审计日志与合规证据方向。 **反方观点**: 反方最有力的证据仍是 Cognition's SWE-2 (id=71587):它以「比 Fable 5.1 便宜 64%」为卖点,配合 agent-dev-team (id=71370) 的 MIT 免费 21 角色工作流,等于同时从「更便宜」和「更免费」两端夹击;若再加上 Real-SWE (id=71471) 那种企业级私有评测被模型厂商内化,跨模型审查闸门的独立生存空间会被压到只剩合规审计这一条缝。 ## 行动方案 **2 小时可做**: 写一个单文件 CLI(Node 或 Python 均可):用 `git log --grep='fix\|bug' -n 50` 抽出最近 50 个 bugfix 提交,逐个 checkout 父提交作为环境快照,把提交信息 + 关联 issue 当作任务描述,让 agent 在同一快照上重做这个修复,再用该提交自带的测试判定通过与否。输出一张 scorecard:通过率、平均 token 与美元成本、被 agent 改坏但测试仍绿的提交列表。整个过程不联网、不上传代码,跑在开发者本机。 **为什么这个会赢**: 它把 Real-SWE 的核心洞察(私有代码库才是真考场)压缩成一条可以在两小时内跑出第一张表的命令,卖的不是模型而是「你仓库的问答题」。题目来自客户自己的 git 历史,天然不可被公开数据集污染,也不需要授权任何题库,冷启动成本为零。 **为什么不是其他方向**: - 直接用 SWE-bench Verified 或 Real-SWE:前者是公开仓库、极可能已在训练集中;后者题库从真实公司授权而来,你既拿不到也无法复制,测出来的分数跟客户的私有约定无关。 - 换更强的模型(例如主打「比 Fable 5.1 便宜 64%」的 Cognition SWE-2):那解决的是生成成本,不是验证成本——评审队列仍然堵在人这一侧,id=71845 描述的正是「agent 写得越多,我审得越累」。 - 再套一层 AI reviewer:id=71700 的 30 天实验已经把这条路走完了,最后仍是人类 5 分钟抓到 bug,结构本身有天花板。 - 手机上的 PR inbox(id=71713):它只缩短了等待时间,没有回答「这个 diff 该不该合并」,是把瓶颈从桌面搬到口袋,不是消除瓶颈。 **最快验证步骤**: 把 scorecard 截图发到 SideProject 与 dev.to,标题只写一个数字:「在我的仓库上,A 模型 38% 通过,B 模型 61%,但公开榜单上 B 比 A 差」。如果评论区第一反应是「能不能跑我的仓库」,就继续;如果第一反应是「这不就是 SWE-bench」,需求不成立。 **周末扩展**: 加三个模块:(1) 增量出题器——CI 每次合并 bugfix 就自动补一道新题,题库随仓库长大;(2) 规则固化的失败库——把反复回归的用例写成 CauterRule 式的可重放规则,PR 里直接标注触发了哪条;(3) skeptic 通道——一个只被要求「构造让这堆测试变红的输入」的对抗 agent,输出必须是可复现的最小反例。最后接一条 GitHub Action,红/黄/绿三色直接出现在 PR 上。