本地小模型

在内置模型上做轻量推理

这个应用做什么

不依赖外部服务,直接在本机跑小参数量模型。需要先装微软的 Foundry Local 应用,模型由它自己管理,不走能力包分发。

包含的组件

安装后这些组件会加入客户端的运行环境,不用单独再装。

foundry-local-sdk-winml

说明

依赖微软 Foundry Local 应用,模型由该应用下载