-
Java 新增的 String 处理的 9 个现代化方法，轻松应对大模型输出
AI时代的挑战 在 AI 大模型盛行的今天，字符串处理变得比以往任何时候都更加重要…
-
音频转写 + 说话人分离设计与实现思路
实现效果 实现思路（Architecture & Design） 1. 系统目标与边界…
-
Langchain4J实现大模型聊天程序
功能点 基于令牌窗口的多轮对话 多用户 多会话 聊天记录持久化 实现思路 使用大模型流式输出接口 + Langchain4J的记忆管理 + Redis缓存 + 数据库持久化 进行实现 使用 spring-webflux 进行流式输出 Langchain4J版本: 1.3.0 此时的最新版…
-
Python minio fget_object 等操作报错AccessDenied的问题
起因是发现 fget_object 方法一直报AccessDenied,但是无论怎样排查 AK/SK都是权限正常的，并且在Java的框架中所有都是正常的。 然后直接尝试直接使用 ip:9000 连接，是正常使用的，所以问题出在了代理上。 我们使用nginx 反向代理了9000端口，看日志发现，所有H…
-
MindIE部署Qwen2.5-VL-7b-Instruct
启动命令 docker run -itd \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ …
-
昇腾910B部署千问3(Qwen3)大模型-封装推理镜像
上一个文章，我们已经成功在昇腾910B平台上部署了Qwen3,现在我们就利用已经配置好环境的容器，制作一个专门方便部署的推理镜像 制作镜像 编写python脚本用来自动设置推理配置文件 vim /usr/local/Ascend/update_mindie_config.py 在文件中写入下面的代码…
-
昇腾910B部署千问3(Qwen3)大模型
终于拿到了华为的最新版本Mindie镜像 mindie_2.0.T17.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz 终于可以在昇腾平台上部署Qwen3了 Qwen3简介 Qwen3是Qwen系列中最新一代的大型语言模型，提供了密集和混合…
-
使用vllm-ascend在昇腾910B部署千问3(Qwen3)
千问3已经发布几天了，华为公开最新的Mindeie镜像，我们可以暂时使用vllm-ascend进行推理 下载镜像 docker pull quay.io/ascend/vllm-ascend:v0.8.4rc2 下载模型 我们这里以Qwen3-32B为例，其它模型同理 权重在这里下载: https:…
-
Spring AI注解式AI服务开发
AI Services是什么 AI Services 的设计灵感来源于 Spring Data JPA 和 Retrofit 等框架，采用声明式接口定义所需的 API，然后由框架自动生成实现该接口的代理对象。这种方法隐藏了与 LLM 交互的复杂性，提供了简单直观的 API。 AI Services …
-
昇腾910B启动千问QwQ-32B
下载模型 GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/Qwen/QwQ-32B.git git lfs pull 启动模型 docker run -itd --name llm-QWQ \ --device=/de…