IT之家最新公开信息显示,IT之家 10 月 14 日消息,英特尔今日宣布推出 Intel Inference Microservices 服务,这是一套面向大语言模型推理的容器化微服务方案,目标是让企业在已有的至强处理器上直接获得经过调优的模型推理能力,无需再花费数天时间进行手动硬件优化。 在该模式下,每个微服务都是一个独立容器,通过 OpenAI 兼容 API 对外提供单个模型的服务,并在启动时自动检测所在的英特尔处理器型号,应用英特尔针对该模型和该硬件预先验证过的配置参数。 英特尔指出,让大语言模型给出回复并不困难,难的是在既有硬件上稳定、高质量地重复这一过程。精度设置、计算任务在核心之间的分配方式、内存跨 NUMA 节点的布局,以及推理引擎使用哪些指令集,都取决于模型本身和底层处理器。更换模型,合适的参数就变了;

这项动态涉及OpenAI、英特尔的设备、芯片或算力能力。判断实际价值时,需要同时核对正式规格、兼容平台、功耗与上市范围;演示结果、工程样品和量产产品不能混为一谈。

准备购买或部署的用户可以先确认型号、内存或显存、驱动版本和所在地区的供货信息。开发者还应等待官方文档与独立测试,再决定是否调整现有硬件方案。