Frontline Lab 摘要与来源
想给智能手表、家居这些小设备塞个 AI,几百 MB 的模型放不下,联网调接口又不安全。 Cactus 团队的 Needle 2 走了条极小路线,将 4500 万参数模型压成一个 14MB 文件,跑起来只吃 28MB 内存。 它专门干三件事,听懂指令去调工具、操作设备、从一段文字里抽出结构化数据。 输出被语法约束框着走,返回的一定是标准格式数据,程序拿来就能用。 每次回答还带一个把握分数,拿得准的自己办,拿不准的转给云端大模型,这个分工想得挺清楚。 GitHub: Python 装上就能用,给函数写好说明它就知道什么
这份简报保留原始来源,摘要和编辑判断都可以回到原文独立核验。
来源署名X · @GitHub_Daily
打开原始来源