《英特尔我国：2024公有云和互联网立异实践陈述》环绕英特尔在公有云和互联网范畴的立异实践打开，介绍了英特尔AI产品组合、软件东西，以及在不一样的职业的运用事例和解决计划。
1. 大言语模型推理优化：大言语模型推理面对硬件需求高、GPU本钱昂扬等应战。百度智能云千帆大模型渠道运用英特尔至强可扩展处理器资源加快推理，如根据第五代至强可扩展处理器，Llama - 2 - 7b模型输出Token吞吐进步，首Token时延下降 。我国电信引进第五代至强可扩展处理器构建网络大模型推理算力计划，运用其多核、高功能及AI加快引擎，进步推理效能，削减相关本钱，计划已在多个运维场景运用 。
2. 传统深度学习优化：在传统深度学习方面，各企业凭借英特尔处理器及有关技能进步功能。阿里妈妈选用第五代至强可扩展处理器，结合英特尔AMX及软件计划，为引荐体系加快，进步了引荐作用和吞吐功能。腾讯云的百度ERNIE - Tiny运用内置英特尔AMX的第四代至强可扩展处理器，合作优化办法，大幅度的进步推理功率 。
3. 英特尔AI产品与东西：英特尔具有丰厚的AI产品组合，包含至强处理器、数据中心GPU Flex系列等。至强处理器一直在晋级，如第五代至强可扩展处理器内核数量添加、内存带宽进步，内置多种AI加快引擎。英特尔还供给了全面的AI软件东西组合，如oneAPI AI Analytics东西套件、OpenVINO东西套件、xFasterTransformer等，这些东西可加快AI开发与布置，进步练习和推理功能 。
4. 运用事例效果明显：京东云、火山引擎、金山云等企业经过选用英特尔处理器及有关技能，对云服务器进行晋级，进步了大模型推理功能。京东云搭载第五代至强可扩展处理器的云服务器，经过英特尔AMX进步了模型推理功能；火山引擎第三代弹性核算云服务器实例g3i引进第五代至强可扩展处理器，通用功能与运用场景功能大幅度的进步；金山云新一代云服务器运用第四代至强可扩展处理器及英特尔AMX，有用进步了大模型推理功能 。
