最近折腾了一阵华为昇腾 910B，目标很简单：在自己的机器上把 Qwen3.5 系列模型跑起来，而且最好还能兼容 OpenAI API、支持工具调用、支持超长上下文。 最后我选择了 vllm-ascend。 这一套下来，最大的感受是： * 能跑，而且跑得不算慢(至少在 Ascend上 不算慢) * 但坑也不少 * 很多问题不是模型的问题，而是镜像、驱动、卡型、参数组合的问题 下面放一个性能测试图: 一、环境说明 我这里的环境大概是这样： * 机器：华为
功能点 * 基于令牌窗口的多轮对话 * 多用户 * 多会话 * 聊天记录持久化 实现思路 使用大模型流式输出接口 + Langchain4J的记忆管理 + Redis缓存 + 数据库持久化 进行实现 使用 spring-webflux 进行流式输出 Langchain4J版本: 1.3.0 此时的最新版 数据库设计 我们首先需要先设计两个表来存储聊天数据，这样在用户更换了设备也可以同步之前的聊天记录 ai_chat_log 对话记录表 create table ai_chat_log ( id bigint
启动命令 docker run -itd \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /usr/
上一个文章，我们已经成功在昇腾910B平台上部署了Qwen3,现在我们就利用已经配置好环境的容器，制作一个专门方便部署的推理镜像 制作镜像 编写python脚本用来自动设置推理配置文件 vim /usr/local/Ascend/update_mindie_config.py 在文件中写入下面的代码 import sys import json import argparse import os parser = argparse.ArgumentParser(description="") parser.add_argument("--model&
终于拿到了华为的最新版本Mindie镜像 mindie_2.0.T17.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz 终于可以在昇腾平台上部署Qwen3了 Qwen3简介 Qwen3是Qwen系列中最新一代的大型语言模型，提供了密集和混合专家(MoE)模型的全面套件。基于广泛的训练，Qwen3在推理、指令遵循、代理功能和多语言支持方面取得了很大的进展，主要具有以下功能： * 思维模式（用于复杂的逻辑推理、数学和编码）和非思维模式（用于高效、通用的对话）在单个模型内无缝切换，
千问3已经发布几天了，华为公开最新的Mindeie镜像，我们可以暂时使用vllm-ascend进行推理 下载镜像 docker pull quay.io/ascend/vllm-ascend:v0.8.4rc2 下载模型 我们这里以Qwen3-32B为例，其它模型同理 权重在这里下载: https://www.modelscope.cn/models/Qwen/Qwen3-32B 下载到你想要的位置 编写启动命令 docker run --rm -d
LLMs.txt：AI 时代的新型网络标准解析 在当今快速发展的 AI 时代，一个新的网络标准正在悄然兴起 —— LLMs.txt。这个标准虽然简单，却可能对未来的 AI 搜索和内容理解产生深远影响。今天，让我们一起深入了解这个创新性的提案。 什么是 LLMs.txt？ LLMs.txt 是一个为大语言模型（LLMs）优化的网站内容标准。与面向搜索引擎的 robots.txt 和 sitemap.xml 不同，LLMs.txt 专门设计用于帮助
AI 应用程序并没有官方概念，简单来说就是一个程序中应用到了AI，这个程序就可以算是AI 应用程序 为什么开发AI应用程序？ 大模型的能力很强大，但是如果我们只是把它应用在对话方面，那就太大材小用了。 我们之前讲过了RAG和Agent智能体，那么我们如何在生活中或者生产中使用它们呢？ 为了更方便的使用，比如知识库，我们就可以通过代码，编写一套系统，将RAG的相关内容开发进这套系统中，为用户提供一个可视化页面，用户能够方便的使用RAG知识库，这套系统就是AI应用程序。 同样的，如果我们厌倦了手动编写PPT，那么是不是可以利用大模型来生成PPT？答案是可以的，我们通过代码开发一套系统，代码中提前设置好相关的提示词，比如根据用户给的资料生成PPT大纲(具体提示词怎么写，可以参考02_提示词工程)，然后在通过代码告诉模型对它自己生成的大纲进行内容补充，最后把模型生成的标题、内容全部替换进提前准备好的PPT模板，就自动生成了一个PPT，这个过程中，
智能体是什么 智能体的英文是 Agent，AI 业界对智能体提出了各种定义。个人理解，智能体是一种通用问题解决器。从软件工程的角度看来，智能体是一种基于大语言模型的，具备规划思考能力、记忆能力、使用工具函数的能力，能自主完成给定任务的计算机程序。 大语言模型很强大，就像人类的大脑一样拥有思考的能力。如果人类只有大脑，没有四肢，没有工具，是没办法与世界互动的。如果我们能给大模型配备上四肢和工具呢？大模型是不是就会打破次元壁，从数字世界走向现实世界，与现实世界实现梦幻联动呢？ 大语言模型（后文将用 LLM 指代）可以接受输入，可以分析&推理、可以输出文字\代码\媒体。
构建一个可以在单个查询中多次运行RAG系统的一个重要特性是聊天逻辑，考虑到对话上下文，就像在 LLM 时代之前的经典聊天机器人一样。这是支持后续问题，重复指代，或任意用户命令相关的以前对话上下文所必需的。查询压缩技术可以同时考虑聊天上下文和用户查询。 有几种方法可以实现上下文压缩: 一种流行且相对简单的 ContextChatEngine，首先检索与用户查询相关的上下文，然后将其连同聊天历史从存缓发送给 LLM，让 LLM 在生成下一个答案时能够意识到前一个上下文。 另一种更复杂的实现是 CondensePlusContextMode，在每次交互中，聊天历史记录和最后一条消息被压缩成一个新的查询(这个查询是由模型自行生成的)，然后这个查询进入索引，检索到的上下文被传递给 LLM连同原始用户消息来生成一个答案。
