在消费者品尝和玩ChatGPT等消费AI应用后，企业也迎来了AI发展的转折点。与2023年企业纷纷训练自己的大模型相比，2024年企业对大模型的关注转向推理，实现差异化和实现。一方面，企业部署大模型给计算架构带来了新的挑战；另一方面，企业对推理的重视也使其对计算架构的选择多样化。   “随着越来越多的通用大模型得到培训，今年企业的重点转向了推理。英特尔市场营销集团副总裁、中国数据中心销售总经理庄告诉《中国电子新闻》，“我们看到一些客户愿意尝试使用CPU做大模型推理，一些互联网公司，以前提供基于GPU的大模型服务，现在也提供基于CPU的大模型，特别是在推理方面。”   企业迎来大模型部署浪潮   企业级场景正成为人工智能大模型的蓝海市场。根据市调机构的数据，预计2026年80%的企业将使用生成式人工智能，至少50%的企业将计算和部署边缘机器学习或深度学习，以提高企业的竞争力。在企业支出方面，预计今年生成人工智能投资将达到400亿美元，到2027年将达到1510亿美元。   庄秉翰指出，企业人工智能的发展可分为三个阶段。一是人工智能辅助阶段，人工智能作为企业的辅助工具，提供会议纪要总结、大纲提炼、文生图等辅助功能。第二，在人工智能助手阶段，人工智能可以自动化各个领域的工作流程，为客户提供行程管理等助手功能和智能客户服务功能。三是全功能人工智能阶段，人工智能提供全方位、更准确的自动化服务，为企业经营带来更大的价值。   无论是在人工智能助手阶段还是全功能人工智能阶段，最大的挑战都是企业数据与通用模型的结合。   “企业对如何保存和使用自己的数据有明确的规定，如传统数据，哪些数据应该在公共云或私有云中使用。然而，现有的人工智能模型大多是通用模型。一旦企业将数据上传到这些人工智能模型中进行细化和升华，就存在数据泄露的风险，也会影响企业的竞争力。因此，我们提出了企业人工智能的概念，其核心是帮助企业以更开放、更大规模、更可靠的方式释放人工智能潜力。庄秉翰告诉《中国电子报》记者。   根据技术架构，企业人工智能能力的建设可分为四个层次。一是可获得性和隐私性的底层算力。二是基础设施可扩展性和标准化。例如，在私有云中部署人工智能的企业可以使用单节点、多节点和平均部署，或者根据企业的发展计划逐渐从单节点的小集群转向更大的集群，这需要计算能力基础设施的可扩展性和标准化。三是软件生态安全可靠。第四，应用生态方便开放。   面对企业人工智能的部署需求，英特尔建立了一个开放的生态堆栈，包括计算能力、基础设施、软件和应用程序。计算生态包括基于酷睿处理器和VPRO商用PC芯片平台的AI PC，基于强处理器，Gaudi 边缘AI和数据中心AI，AI加速芯片，ARC显卡。生态基础设施包括OEM、ODM、CSP(云服务供应商)、OSV(操作系统集成商)等。   CPU成为AI推理选项   2023年，AI大模型迎来了“百模大战”的盛况。然而，在大模型登陆期的过程中，企业越来越关注大模型的投入产出比和后续盈利能力，这也反映在企业对底层计算能力结构的选择上。   庄秉翰在接受《中国电子报》独家采访时表示，2023年，企业更注重培训、性能、成本和功耗。“百模大战”现象出现了，因为企业都想训练自己的一般大模型。   随着越来越多的通用大模型的培训，今年企业的关注转向了推理。对于企业来说，大型模型需要实现和盈利，但目前市场上的大型模型大多是基于开源，培训数据相似，难以通过差异化获利。企业人工智能可以使企业在大模型培训过程中整合自己的数据，使大模型能够真正帮助企业解决业务问题，提高产品竞争力。   企业对大模型盈利能力的重视也体现在底层计算能力架构的选择上。庄秉翰说，基于大规模的计算能力部署，推理需要考虑智算中心的成本、功耗和整体运行维护。在这种趋势下，一些企业正试图用CPU做大模型推理。从许多情况下可以看出，CPU可以支持130亿参数以下大模型的推理。   “对于一些企业来说，大模型部署正处于初始阶段。如果立即部署一个大的GPU集群，对运营、维护和开发都是一个巨大的挑战。如果采用逐步部署生成式人工智能的节奏，可以通过CPU进行一些大模型的应用部署。当不需要生成大模型时，它也可以转换为通用应用程序，这也是实现利润的一种方式。我们可以看到，一些客户愿意尝试使用CPU进行大型模型推理，一些互联网公司以前提供基于GPU的大型模型服务，但现在他们也提供基于CPU的大型模型，特别是在推理方面。庄秉翰告诉《中国电子报》记者。   计算能力架构的选择也与企业类型和阶段密切相关。英特尔市场营销集团副总裁、中国云与行业解决方案部总经理梁雅丽表示，企业应根据当地情况选择最合适的人工智能战略，并根据战略选择最合适的基础设施和架构。   “对于头部互联网和大型模型公司来说，今年面临的挑战是大型模型的着陆和实现。对于其他企业来说，如何选择合适的大型模型融入生产或业务流程，以创造价值，是一个更重要的命题。梁雅丽告诉《中国电子新闻》，“当大型模型和生成人工智能的热度消退，需要实现和产生价值时，我们需要考虑实施的经济适用性和最合适的解决方案。”   (来源:中国电子报)