最近折腾了一阵华为昇腾 910B，目标很简单：在自己的机器上把 Qwen3.5 系列模型跑起来，而且最好还能兼容 OpenAI API、支持工具调用、支持超长上下文。 最后我选择了 vllm-ascend。 这一套下来，最大的感受是： * 能跑，而且跑得不算慢(至少在 Ascend上 不算慢) * 但坑也不少 * 很多问题不是模型的问题，而是镜像、驱动、卡型、参数组合的问题 下面放一个性能测试图: 一、环境说明 我这里的环境大概是这样： * 机器：华为
简介 Qwen3-ASR 系列包括 Qwen3-ASR-1.7B 和 Qwen3-ASR-0.6B，支持 52 种语言和方言的语言识别与语音识别（ASR）。两者均利用大规模语音训练数据以及其基础模型 Qwen3-Omni 强大的音频理解能力。实验表明，1.7B 版本在开源 ASR 模型中达到业界领先水平，并可与最强的商业闭源 API 相媲美。主要特性如下： * 一体化：Qwen3-ASR-
大多数人把 Claude Code 当成"更强的 Copilot"在用。 打开终端，输入指令，等它写代码。这个用法没错，但你可能错过了它真正的价值。 Claude Code 不是代码补全工具，也不是简单的 AI 对话助手。它是一个基于文件系统作为上下文、终端为交互方式、操作系统为执行环境的通用 Agent 产品。换句话说，它是一个超级智能体。 这个定位的差异，决定了你能用它做什么。如果只是写代码，那它和 Cursor、GitHub Copilot
AI时代的挑战 在 AI 大模型盛行的今天，字符串处理变得比以往任何时候都更加重要 提示词工程（Prompt Engineering）： * 需要精确构造和格式化输入文本 * 多行提示词需要合理的缩进和格式 * 动态参数需要安全的字符串拼接 AI 输出处理： * 大模型返回的结果往往包含多余的空白、转义字符 * 输出格式不稳定，需要大量的 ETL（提取、转换、加载）过程 * 需要清洗、标准化处理来保证数据质量 实际场景： // AI 返回的不稳定输出 String aiResponse = """ { "name&
实现效果 实现思路（Architecture & Design） 1. 系统目标与边界 * 目标：将任意常见音频/视频格式经转码为 16k 单声道 WAV → 做说话人分离（Diarization）→ 对每个说话人片段进行ASR 转写 → 轻量标点/情绪/语言修正 → 输出结构化分段结果。 * 交互形态：提供 1. 同步 HTTP（小中型文件） 2. 异步 HTTP + Redis（大文件） 3. WebSocket
功能点 * 基于令牌窗口的多轮对话 * 多用户 * 多会话 * 聊天记录持久化 实现思路 使用大模型流式输出接口 + Langchain4J的记忆管理 + Redis缓存 + 数据库持久化 进行实现 使用 spring-webflux 进行流式输出 Langchain4J版本: 1.3.0 此时的最新版 数据库设计 我们首先需要先设计两个表来存储聊天数据，这样在用户更换了设备也可以同步之前的聊天记录 ai_chat_log 对话记录表 create table ai_chat_log ( id bigint
启动命令 docker run -itd \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /usr/
上一个文章，我们已经成功在昇腾910B平台上部署了Qwen3,现在我们就利用已经配置好环境的容器，制作一个专门方便部署的推理镜像 制作镜像 编写python脚本用来自动设置推理配置文件 vim /usr/local/Ascend/update_mindie_config.py 在文件中写入下面的代码 import sys import json import argparse import os parser = argparse.ArgumentParser(description="") parser.add_argument("--model&
终于拿到了华为的最新版本Mindie镜像 mindie_2.0.T17.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz 终于可以在昇腾平台上部署Qwen3了 Qwen3简介 Qwen3是Qwen系列中最新一代的大型语言模型，提供了密集和混合专家(MoE)模型的全面套件。基于广泛的训练，Qwen3在推理、指令遵循、代理功能和多语言支持方面取得了很大的进展，主要具有以下功能： * 思维模式（用于复杂的逻辑推理、数学和编码）和非思维模式（用于高效、通用的对话）在单个模型内无缝切换，
千问3已经发布几天了，华为公开最新的Mindeie镜像，我们可以暂时使用vllm-ascend进行推理 下载镜像 docker pull quay.io/ascend/vllm-ascend:v0.8.4rc2 下载模型 我们这里以Qwen3-32B为例，其它模型同理 权重在这里下载: https://www.modelscope.cn/models/Qwen/Qwen3-32B 下载到你想要的位置 编写启动命令 docker run --rm -d
