下面哪个后端软件使得在CPU下进行大模型推理成为可能?
下面哪个后端软件使得在CPU下进行大模型推理成为可能?
A.Transformers
B.GGML
C.DeepSpeed
D.SGLang
正确答案:B
下面哪项不是大模型服务前端提供的功能?
A、WebUl服务界面
B、本地图形化服务界面
C、API调用
D、请求负载均衡
正确答案:D
下面哪个后端软件使得在CPU下进行大模型推理成为可能?
A.Transformers
B.GGML
C.DeepSpeed
D.SGLang
正确答案:B
下面哪项不是大模型服务前端提供的功能?
A、WebUl服务界面
B、本地图形化服务界面
C、API调用
D、请求负载均衡
正确答案:D
热门答案