基于部署conda，python部署xinference

1，下载Miniconda（轻量级）

①下载Miniconda安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

②运行脚本

bash Miniconda3-latest-Linux-x86_64.sh

③初始化Conda：安装完成后，运行以下命令以初始化Conda：

~/miniconda3/bin/conda init

④重启终端：关闭病重新打开终端，或者运行以下命令使更改生效

source ~/.bashrc

⑤安装验证

Conda –version

2,创建单独环境

conda create -n xinference python=3.10

3，进入xin

conda activate xin

4，安装

pip install "xinference[all]" -i Simple Index

6，启动

在以上操作正确的安装完成后，就可以执行本地的启动了

# 前台(拉起xinference服务)

xinference-local –host 0.0.0.0 –port 9997

# 后台

nohup xinference-local –host 0.0.0.0 –port 9997 & > output.log

找个浏览器，然后输入你部署的服务器的ip地址加端口

1. 量化后的大模型：模型压缩或优化的过程中，将深度学习模型的权重和激活值从原始的高精度（通常是32位浮点数，即FP32）降低到较低精度（如8位整数、4位整数等）的过程。量化的目的是减少模型的内存占用和计算复杂度，从而加快推理速度并降低硬件的要求，尤其是在资源受限的过程中。
2. 部署大模型参数含义

①Model Engine：运行到哪些引擎上面

②Model Formate:模型的保存格式和文件格式

③Model Size:模型的参数数量，以10亿为单位，决定了模型的大小和复杂性

④Quantization：量化，node代表没有量化

作者：一个人的敲代码