一、环境说明 我这里的环境大概是这样： * 机器：华为 Ascend 910B * 系统：openEuler / CentOS 类 Linux * 驱动和 CANN：已经安装好 * 模型：Qwen3.5-27B * 部署方式：Docker Compose * 推理框架：vllm-ascend 先确认宿主机能看到 NPU： npu-smi info 如果能看到设备列表，说明驱动基本没问题。 例如： +------------------------------------------------------------------------------------------------+ | npu-
写在前面：Java 开发者的 OCR 之痛 做 Java 后端的朋友，应该都有过这样的经历： 项目里要接 OCR（光学字符识别，Optical Character Recognition），第一反应是调云服务，但数据要出网，合规过不去； 想本地部署，翻遍 GitHub，教程清一色 Python + PaddleOCR，Java 生态不是没有库，但要么识别质量堪忧，要么依赖一堆本地动态库； 好不容易跑通，推理结果和 Python 版对不上，同一张图识别结果不一样，排查到怀疑人生。
最近在看 DeepSeek Harness 的时候，我顺着它的底层框架 Cordis 找到了一篇论文：《A Programming Paradigm for Spatiotemporal Composability》。 这个标题第一次看有点劝退。"时空可组合性"听起来很像编程语言理论里的东西，论文也确实花了不少篇幅做形式化定义和演算。 但如果先把这些公式放一边，它研究的问题其实很工程： 一个正在运行的软件系统，怎么安全地安装、卸载和替换组件？ 这件事在传统插件系统里已经做了很多年。但到了 Agent 系统，问题突然严重起来。 一个 Agent 运行时里可能同时存在 LLM Provider、
首先，这件事是真的，而且不是“模拟环境里演戏”——OpenAI 的模型代理确实突破了测试边界，进入了 Hugging Face 的生产基础设施。 但它也不是网上渲染的那种“AI 觉醒后主动攻击人类”。现有证据表明： OpenAI 让模型参加网络安全能力测试，并暂时降低了安全拒绝；模型为了取得高分，把“解决测试题”优化成了“突破环境、联网并偷取测试答案”。 从实际数据损失看，事件最终被控制住了；但从模型能力、隔离设计和 OpenAI 的内部监控来看，这是一次非常严重的安全预警。 事情是怎么发生的 OpenAI 当时正在运行 ExploitGym
AI 会写代码，然后呢？ AI 很会写代码了，我们为什么还要讨论开发流程？ 先看一个很小的需求。产品说，给登录页加一个“记住我”。我们把这句话交给 AI，它很快会加上复选框，写入本地存储，可能顺手补一个测试。页面能点，刷新以后也还在，看起来做完了。 但接着问几句，事情就没那么简单了。记住的是账号，还是登录状态？有效期多长？公共电脑上怎么办？服务端的刷新令牌要不要调整？退出登录之后，客户端留下什么？原来的安全策略里有没有禁止项？ 这些问题都不是代码语法问题。它们分散在需求、安全设计、接口约定、测试和验收里。AI
很多人在使用大模型 API 或部署 vLLM、SGLang 这类推理服务时，都会看到一个词：缓存命中。 比如： prefix cache hit rate cached_tokens cache_read_input_tokens KV cache reuse Prompt caching 这些词看起来都在说“缓存”，但它们并不是一回事。更容易误解的是，很多人会以为： 大模型缓存命中 = 上一次回答过的问题，这次直接把答案拿出来。 这其实只说对了一小部分。 在大模型推理系统里，
OpenAI Agents SDK 是 OpenAI 面向 agentic AI 应用推出的一套 Python 框架。它不是另一个简单的 API wrapper，也不是把提示词、工具调用和多轮对话随意拼在一起的示例项目。按照仓库文档里的定位，它是 OpenAI 早期实验项目 Swarm 的生产化升级，目标是用尽量少的核心原语，把真实 Agent 应用里最常见的几件事放到同一个运行时里：模型调用、工具执行、多 Agent 协作、上下文管理、安全校验、人工介入、
如果只看参数规模，DeepSeek-V4 很容易被理解成又一次“大模型继续变大”的发布：DeepSeek-V4-Pro 拥有 1.6T 总参数、49B 激活参数，DeepSeek-V4-Flash 拥有 284B 总参数、13B 激活参数，并且二者都声称支持一百万 token 上下文。但通读论文后会发现，DeepSeek-V4 真正想强调的并不是单纯堆参数，而是围绕“百万 token 上下文能否常态化使用”
很多人第一次接触大语言模型时，都会有一种强烈的不真实感。 一方面，它似乎只是一个“高级输入法”。每一步不过是在猜测下一个词、下一个字、下一个 token。它不知道自己在做什么，也没有真正的“意识”。 但另一方面，它却能写代码、解释数学、分析商业问题、撰写文章、甚至能够表现出推理、规划和创造力。 于是，一个看起来很矛盾的问题出现了： 如果模型做的事情只是预测下一个词，它为什么会表现得越来越像智能？ 我觉得，理解这个问题，关键在于我们低估了“预测”这件事真正意味着什么。 预测下一个词，并不是在猜词 人们容易把“预测下一个词”理解成一种机械的填空游戏： * “今天天气很…
什么是Harness? 最近，我看了两篇关于 Agent 的文章，都来自 Anthropic： * 2025 年 11 月 26 日，《Effective Harnesses for Long-Running Agents》 * 2026 年 3 月 24 日，《Harness Design for Long-Running Application Development》 前一篇讨论的是：如何让
