-
Python minio fget_object 等操作报错AccessDenied的问题
起因是发现 fget_object 方法一直报AccessDenied,但是无论怎样排查 AK/SK都是权限正常的,并且在Java的框架中所有都是正常的。 然后直接尝试直接使用 ip:9000 连接,是正常使用的,所以问题出在了代理上。 我们使用nginx 反向代理了9000端口,看日志发现,所有H…
-
MindIE部署Qwen2.5-VL-7b-Instruct
启动命令 docker run -itd \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ …
-
昇腾910B部署千问3(Qwen3)大模型-封装推理镜像
上一个文章,我们已经成功在昇腾910B平台上部署了Qwen3,现在我们就利用已经配置好环境的容器,制作一个专门方便部署的推理镜像 制作镜像 编写python脚本用来自动设置推理配置文件 vim /usr/local/Ascend/update_mindie_config.py 在文件中写入下面的代码…
-
昇腾910B部署千问3(Qwen3)大模型
终于拿到了华为的最新版本Mindie镜像 mindie_2.0.T17.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz 终于可以在昇腾平台上部署Qwen3了 Qwen3简介 Qwen3是Qwen系列中最新一代的大型语言模型,提供了密集和混合…
-
使用vllm-ascend在昇腾910B部署千问3(Qwen3)
千问3已经发布几天了,华为公开最新的Mindeie镜像,我们可以暂时使用vllm-ascend进行推理 下载镜像 docker pull quay.io/ascend/vllm-ascend:v0.8.4rc2 下载模型 我们这里以Qwen3-32B为例,其它模型同理 权重在这里下载: https:…
-
Spring AI注解式AI服务开发
AI Services是什么 AI Services 的设计灵感来源于 Spring Data JPA 和 Retrofit 等框架,采用声明式接口定义所需的 API,然后由框架自动生成实现该接口的代理对象。这种方法隐藏了与 LLM 交互的复杂性,提供了简单直观的 API。 AI Services …
-
昇腾910B启动千问QwQ-32B
下载模型 GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/Qwen/QwQ-32B.git git lfs pull 启动模型 docker run -itd --name llm-QWQ \ --device=/de…
-
AI时代的网站新身份证:LLMs.txt介绍
LLMs.txt:AI 时代的新型网络标准解析 在当今快速发展的 AI 时代,一个新的网络标准正在悄然兴起 —— LLMs.txt。这个标准虽然简单,却可能对未来的 AI 搜索和内容理解产生深远影响。今天,让我们一起深入了解这个创新性的提案。…
-
AI 应用程序
AI 应用程序并没有官方概念,简单来说就是一个程序中应用到了AI,这个程序就可以算是AI 应用程序 为什么开发AI应用程序? 大模型的能力很强大,但是如果我们只是把它应用在对话方面,那就太大材小用了。…
-
AI Agent 智能体
智能体是什么 智能体的英文是 Agent,AI 业界对智能体提出了各种定义。个人理解,智能体是一种通用问题解决器。从软件工程的角度看来,智能体是一种基于大语言模型的,具备规划思考能力、记忆能力、使用工具函数的能力,能自主完成给定任务的计算机程序。 大语言模型很强大,就像人类的大脑一样拥有思考的能力。…