7B/1.5B模型DeepSeek成功在瑞芯微RK3576/RK3588本地部署！

摘要：本文基于瑞芯微RK3576和RK3588国产平台对DeepSeek-R1的7B和1.5B模型进行了全面的性能测评，并整理完整的本地部署测评步骤，提供所需的完整测试文件，方便用户进行快速评估。同时可提供安全稳定且即插即用的RK3588/RK3576开发板及主控芯片。

扫码可申请样片以及获取产品技术规格书

瑞芯微RK3588/RK3576助力香橙派5成功本地运行deepseek-r1 1.5B语言大模型，展现出卓越的性能与适配性。端侧运行时，RK3588凭借自身架构和NPU算力，可流畅运行1.5B模型，生成速度每秒十几token，其能力范围可以覆盖6B、7B模型，虽运行效率和流畅度略低，但足见其强大算力与适配能力。

瑞芯微RK3576为4核Cortex-A72@2.2GHz + 4核Cortex-A53@2.0GHz + 6TOPS算力NPU处理器，RK3588为4核Cortex-A76@2.4GHz + 4核Cortex-A55@1.8GHz + 6TOPS算力NPU处理器，它们在能源电力、工业控制、智慧医疗、仪器仪表等领域有着广泛应用。

AI界新星DeepSeek（中文名：深度求索）在近期迅速崛起，凭借低成本、高性能的AI模型火爆全网。其核心是一个强大的语言模型，能够理解自然语言并生成高质量文本，此外DeepSeek免费向全球开发者开放，加速了AI技术普及。

在RK3588/RK3576上部署Deepseek可以通过瑞芯微官方的 RKLLM量化部署。

图 3 7B/1.5B模型性能测评数据

RKLLM-Toolkit 是为用户提供在计算机上进行大语言模型的量化、转换的开发套件。通过该工具提供的Python接口可以便捷地完成以下功能：

1.模型转换：支持部分格式的大语言模型转换为RKLLM 模型转换后的 RKLLM 模型能够在 Rockchip NPU 平台上加载使用2.量化功能：支持将浮点模型量化为定点模型

RKLLM-Toolkit支持将Hugging Face模型或GGUF模型转换为适配瑞芯微NPU的RKLLM模型。RKLLM Runtime负责加载RKLLM-Toolkit转换得到的RKLLM模型，并在RK3576/RK3588本地通过调用NPU驱动，加速RKLLM模型的推理。

DeepSeek转换完成的RKLLM模型如下图所示：

然后将其传输到开发板上，使用对应的可执行文件运行即可，运行之后如下图所示：

接下来向该模型提出问题即可，回复内容如下所示：

在回复的过程中查看CPU和NPU的利用率，可以看到CPU的占用率为84%，并且调用了NPU的3个核心进行加速推理：

（图源创龙科技）

快包电子平台推出了很多设计优化的RK3588主板方案，它们都是稳定出货、即插即用，在具体场景实现应用的产品。

瑞芯微RK3588工控机开发板

方案简介：

方案基于Rockchip新一代旗舰 RK3588处理器开发设计，采用先进8nm制程工艺集成4核Cortex-A76+4核Cortex-A55架构，主频最高达2.4GHZ，支持8K超清显示，四屏异显，内置瑞芯微自研三核NPU，综合算力可达6TOPS。

方案特点：

1.6 TOPS算力加持，赋能人工智能应用

2.提供多种显示接口，支持四屏异显

3.提供丰富的CPU接口资源，满足计算链接存储需求

4.支持多种操作系统和二次开发

5.支持双千兆网口通讯

应用场景：

AGV、边缘计算、智慧大屏、高端平板、智能NVR、可视化网关等领域。

瑞芯微3588直播一体机

方案简介：

瑞芯微 3588 直播机是一款即插即用直播机方案，方案可供直播机设备终端制造商开发自定义直播机。该直播机主板采用RK3588高端8核处理器，6T算力，屏幕分辨率最大可支持1920*1080，并配有两个USB3.0、一个Type-C全功能接口，方便客户组合外设，设置WiFi和4G互联，监控外设录像/编辑，快速导入产品创新。

方案特点：

SOC ：RockChip RK3588

CPU ：4×Cortex-A76+4×Cortex-A55

GPU ：ARM Mali-G610 MP4 四核 GPU

NPU ：6TOPS

应用场景：

教学培训、直播带货、产品宣传

瑞芯微RK3588边缘计算盒子

方案简介：

瑞芯微RK3588边缘计算盒子，主频高达2.4GHz，适用于边缘计算，广告机，miniPC整机，工控一体机，零售机和快递柜。支持安卓12系统，内嵌高性能AI加速硬件，支持6T算力NPU.板载LPDDR4/LPDDR4X 8G内存，EMMC标配128GB（最大可选512GB），支持WIFI6通信、10000M以太网。可直接驱动1920*1080液晶屏。

方案特点：

1.RK3588超强CPU搭载Android 12系统，速度更快，性能更强。

2.支持PCIE WIFI6，BT5.0，双天线。

3.网口设计，支持一个1000M网口。

4.分辨率最大支持4K@60。

应用场景：

边缘计算，广告机，miniPC整机，工控一体机，零售机和快递柜

扫码可申请样片以及获取产品技术规格书