-
模型量化
模型量化（quantization）指的是用更少的bit表示模型参数，从而减少模型的大小，加速推理过程的技术。 模型量化是把模型的参数从FP32映射到nbit位的过程, 简单来说就是在定点数与浮点数等数据之间建立一种数据映射关系, 使得以较小的精度损失代价获得了较好的收益。 例如FP32-->INT…
-
大模型蒸馏
大模型蒸馏（Large Model Distillation），简单来说，就是将一个复杂的大模型（教师模型）的知识迁移到一个较小的模型（学生模型）中。就像老师把自己渊博的知识传授给学生，让学生能够在资源有限的情况下，尽可能地表现出和老师相似的能力。 大模型蒸馏的原理 大模型蒸馏借鉴了教育领域的“知识…
-
提示词工程
提示词工程 什么是提示词工程？ 提示词工程，或称Prompt Engineering，是一种专门针对语言模型进行优化的方法。它的目标是通过设计和调整输入的提示词（prompt），来引导这些模型生成更准确、更有针对性的输出文本。 在与大型预训练语言模型如GPT、DeepSeek等交互时，给定的提示词会…
-
大模型相关概念
什么是大模型？ 大模型即大参数模型，就是指具有数千万甚至数亿参数的深度学习模型。近年来，随着计算机技术和大数据的快速发展，深度学习在各个领域取得了显著的成果，如自然语言处理，图片生成，工业数字化等。为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。 大模型通常由深度神…
-
离线部署Kubernetes-镜像下载
离线条件下通过kubesphere部署Kubernetes，需要将镜像提前下载到离线环境的镜像仓库中 下载镜像 首先需要在有网络的电脑或服务器上讲镜像下载下来 pull-images.sh #!/bin/bash # docker pull registry.cn-beijing.aliyuncs.…
-
Gitlab Admin管理页面提示500内部错误(500 Internal error)的解决办法
Gitlab迁移后，Admins管理区域大部分设置项无法保存，报500错误 排查后问题是： 数据无法通过gitlab-secrets.json解密 排查命令: sudo gitlab-rake gitlab:doctor:secrets…
-
Windows、Office 一键激活工具
…
-
ToolBench样式指南
内容修饰 标题 <tool-mtitle title="居中标题"></tool-mtitle> <tool-mtitle title="居中标题"></tool-mtitle> 小标签 type支持自定义 可以仿照插件中的相关CSS实现自定义小标签备注功能 <tool-sign type="gpt…
-
[ChatGPT] 使用Python对接OpenAi APi 实现智能QQ机器人(五) - 接入互联网
Openai于北京事件2023年6月14日，北美事件13日发布了新版本模型、gpt-3.5-turbo-0613、gpt-3.5-turbo-16k、gpt-3.5-turbo-16k-0613、gpt-4-0613。其中版本号带0613的支持函数调用，我们可以利用这一功能实现GPT接入互联网…
-
Open AI代理失效问题
之前的代码中预置了我自己的代理，所以才能在国内直接使用现在之前的代理不能使用了，请自己手动替换在QBot.py文件中搜索https://chat-gpt.aurorax.cloud将其替换成https://gpt.lucent.blog目前的代码里一共有三个地方需要替换…