tlj · 大模型工程落地，正在主攻智驾 / 具身
我做大模型工程的全链路落地——从数据清洗、QLoRA 微调、评估方法论到 vLLM 部署量化，在一个真实的内容合规质检项目里完整跑通过。现在我把这套能力迁移到智能驾驶和具身智能方向（VLA），这是我接下来主攻的领域。
下面这些是真实的工程复盘——踩过的坑、做过的取舍、算过的账，不是教程，是现场。
Find me on
北京 · 想交流或提建议，写信 [email protected] / [email protected]，或在任意文章里划线给我留言。
实习项目
内容合规质检模型微调（实习）
把 Qwen2.5-14B 微调成按平台规则做内容合规质检、并精确溯源到具体规则的模型，覆盖四平台。从 exp_005 一路折腾到 exp_010，真正的难点是搞清楚溯源率到底该怎么算。
→ 实习期间独立完成 6+ 次微调实验 + 三阶段推理 + AWQ 量化部署；识破 loss、准确率、溯源率多重假象
- Qwen2.5-14B
- QLoRA
- DeepSpeed ZeRO-2
- vLLM
- AWQ INT4
围绕这个项目的 7 篇复盘，从数据、训练、评估到踩坑：
智驾 / 具身（VLA）
我正在把大模型工程能力往具身 / 驾驶方向迁移。最近在一张免费 T4 上把 OpenVLA 在 LIBERO 机器人基准上闭环评测跑通了（含量化对照）——这条线从“读论文”落到了“真跑过 SOTA”。诚实说：有分量的训练和原创工作还在做，但地基在一块块搭。
在免费 T4 上把 OpenVLA 在 LIBERO 跑通：VLA 闭环评测 + 量化对照
在一张白嫖的 Kaggle T4 上,把 OpenVLA 7B 在 LIBERO 机器人操作基准上闭环评测全 10 任务,亲手测出 4-bit→8-bit→bf16 的量化-性能曲线。但真正的料,是 2026 新镜像跑 2024 代码趟出来的 9 个工程坑,和一次 83%→64% 的主动纠错。
→ OpenVLA 7B 在 LIBERO 闭环评测全 10 任务;量化曲线 4-bit 64% → 8-bit 76.7% → 论文 84.7%;2026 镜像跑 2024 代码的 9 个工程坑
其他精选项目
- 保障大脑：大型活动要加多少基站，让公式算、让 AI 写
某 AI 创新赛参赛作品。大型活动通信保障智能体——给定人数，确定性工程模型（Erlang B 语音 + 5G 吞吐）算出要临时加多少基站、多少应急通信车，AI 只负责把硬数字翻译成方案、再用异构第二个 AI 交叉验证。核心是「计算与 AI 分离」：数字有据可查，AI 碰不到、也就编不了。
- 归墟 / guixu：把 AI 协作的完整过程原样存下来
一个反 summary 的 append-only 冷存储——不做 memory、不做提炼,把 AI 协作的完整原始上下文原封不动留住,需要时整段喂给新模型去复用。赌注是:模型是 runtime,原始上下文是程序。
- Screenwright：小说转剧本工作台
把一部小说自动转成结构化剧本（YAML），还能行级溯源回原文、按媒介（电影/剧集/短剧）重渲染、把内心戏外化成镜头语言。技术含量不在调 API，在四个工程取舍。
- 语音日历
说一句话就能记日程。Azure 语音转文字 + 自写中文时间解析 + 冲突检测，端到端把口语变成结构化日程。22 个 PR、153 个测试全绿，连第三方返回的数组顺序变了都被一个虚惊抓出来。
- 声绘 VoiceDraw：一个会画画的 Agent
纯语音控制的命令式绘图 Agent。技术含量不在「语音转图」，在把绘图变成结构化推理 + 工具调用——画布即记忆，LLM 推理的是 JSON 不是像素。不是文生图，是能跟你对话改图的设计师 agent。