-
Java 新增的 String 处理的 9 个现代化方法,轻松应对大模型输出
AI时代的挑战 在 AI 大模型盛行的今天,字符串处理变得比以往任何时候都更加重要
-
音频转写 + 说话人分离设计与实现思路
实现效果 实现思路(Architecture & Design) 1. 系统目标与边界
-
Langchain4J实现大模型聊天程序
功能点 基于令牌窗口的多轮对话 多用户 多会话 聊天记录持久化 实现思路 使用大模型流式输出接口 + Langchain4J的记忆管理 + Redis缓存 + 数据库持久化 进行实现 使用 spring-webflux 进行流式输出 Langchain4J版本: 1.3.0 此时的最新版
-
昇腾910B部署千问3(Qwen3)大模型-封装推理镜像
上一个文章,我们已经成功在昇腾910B平台上部署了Qwen3,现在我们就利用已经配置好环境的容器,制作一个专门方便部署的推理镜像 制作镜像 编写python脚本用来自动设置推理配置文件 vim /usr/local/Ascend/update_mindie_config.py 在文件中写入下面的代码
-
昇腾910B部署千问3(Qwen3)大模型
终于拿到了华为的最新版本Mindie镜像 mindie_2.0.T17.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz 终于可以在昇腾平台上部署Qwen3了 Qwen3简介 Qwen3是Qwen系列中最新一代的大型语言模型,提供了密集和混合
-
使用vllm-ascend在昇腾910B部署千问3(Qwen3)
千问3已经发布几天了,华为公开最新的Mindeie镜像,我们可以暂时使用vllm-ascend进行推理 下载镜像 docker pull quay.io/ascend/vllm-ascend:v0.8.4rc2 下载模型 我们这里以Qwen3-32B为例,其它模型同理 权重在这里下载: https:
-
AI时代的网站新身份证:LLMs.txt介绍
LLMs.txt:AI 时代的新型网络标准解析 在当今快速发展的 AI 时代,一个新的网络标准正在悄然兴起 —— LLMs.txt。这个标准虽然简单,却可能对未来的 AI 搜索和内容理解产生深远影响。今天,让我们一起深入了解这个创新性的提案。
-
AI 应用程序
AI 应用程序并没有官方概念,简单来说就是一个程序中应用到了AI,这个程序就可以算是AI 应用程序 为什么开发AI应用程序? 大模型的能力很强大,但是如果我们只是把它应用在对话方面,那就太大材小用了。
-
AI Agent 智能体
智能体是什么 智能体的英文是 Agent,AI 业界对智能体提出了各种定义。个人理解,智能体是一种通用问题解决器。从软件工程的角度看来,智能体是一种基于大语言模型的,具备规划思考能力、记忆能力、使用工具函数的能力,能自主完成给定任务的计算机程序。 大语言模型很强大,就像人类的大脑一样拥有思考的能力。
-
基于RAG的聊天引擎
构建一个可以在单个查询中多次运行RAG系统的一个重要特性是聊天逻辑,考虑到对话上下文,就像在 LLM 时代之前的经典聊天机器人一样。这是支持后续问题,重复指代,或任意用户命令相关的以前对话上下文所必需的。查询压缩技术可以同时考虑聊天上下文和用户查询。 有几种方法可以实现上下文压缩: 一种流行且相对简