NPU是一种专为实现以低功耗加速AI推理而打造的处理器，其架构随着新AI算法、模型和用例的发展不断演进。一个优秀的、专用的定制化NPU设计必须要在性能、工号、效率、可编程性和面积之间进行权衡取舍，才能够为处理AI工作负载做出正确的选择，与AI行业方向保持高度一致。
早在2015年，面向音频和语音AI用例而设计的NPU就诞生了，这些用例基于简单卷积神经网络(CNN)并且主要需要标量和向量数学运算。从2016年开始，拍照和视频AI用例大受欢迎，出现了基于Transformer、循环神经网络(RNN)、长短期记忆网络(LSTM)和更高维度的卷积神经网络(CNN)等更复杂的全新模型。这些工作负载需要大量张量数学运算，因此NPU增加了张量加速器和卷积加速，让处理效率大幅提升。
到了2023年，大语言模型(LLM)一比如Llama 2-7B，和大视觉模型(LVM)一比如 StableDiffusion赋能的生成式AI使得典型模型的大小提升超过了一个数量级。除计算需求之外，还需要重点考虑内存和系统设计，通过减少内存数据传输以提高性能和能效。未来预计将会出现对更大规模模型和多模态模型的需求。
2024年被普遍视为AI PC元年，根据Canalys预测，到2027年，AI PC出货量将超过1.7亿台，其中近60%将部署在商用领域。为了顺应PC行业的发展潮流，并显著提高端侧AI能力，英特尔、AMD、高通等头部芯片厂商也正努力将专用NPU集成到CPU中，相关产品及路线图已经得到公布。
尽管AI PC实际市场表现取决于生态系统的协作水平，但毫无疑问的是，集成了NPU的中央处理器将驱动新一轮AI PC的发展。与此同时，如何在电脑处理器中发挥出NPU的最大功效，也成为了业内热议的话题。
