超低成本！千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型！

发布时间：2025-02-27 阅读量：2806 来源: 我爱方案网作者: bebop

摘要：使用瑞芯微RK3588本地部署DeepSeek，意味着千元级硬件即可本地化高效运行1.5B/7B DeepSeek模型，无需联网就可在本地处理数据，不需要将数据传输到云端，减少了网络延迟，可以快速响应应用，同时也减少了数据传输到云端时被窃取的问题，不需要借助云端就可以处理数据，也就降低了成本。快包平台可提供安全稳定且即插即用的RK3588开发板及主控芯片，帮助工程师快速实现DeepSeek应用部署。

扫码可申请免费样片以及获取产品技术规格书

RK3588是瑞芯微电子推出的一款高性能处理器，采用先进的8nm制程工艺，集成了四核Cortex-A76和四核Cortex-A55 CPU，以及Mali-G610 MP4 GPU。更重要的是，RK3588内置了独立的NPU（神经网络处理单元），可提供高达6TOPS的AI算力，为运行复杂的深度学习模型提供了强劲动力。

AI界新星DeepSeek（中文名：深度求索）在近期迅速崛起，凭借低成本、高性能的AI模型火爆全网。其核心是一个强大的语言模型，能够理解自然语言并生成高质量文本，此外DeepSeek免费向全球开发者开放，加速了AI技术普及。

在RK3588上部署Deepseek可以通过瑞芯微官方的 RKLLM量化部署，步骤如下：

1、环境搭建

基于Ubuntu系统安装RKLLM-Toolkit，创建Python3.8的Conda环境，安装量化工具链。

2、模型转换

通过transform.py脚本加载模型，结合量化校正数据集，指定目标平台为RK3588，生成适配NPU的.rkllm文件。

3、本地推理

调用RKLLM API实现交互式对话，支持多线程与NPU核心调度，1.5B模型响应延迟低至毫秒级。

本次测试使用的DeepSeek-R1-Distill-Qwen1.5B和DeepSeek-R1-Distill-Qwen7B模型，均为蒸馏模型，通过rkllm-toolkit转换成RK3588开发板支持运行的rkllm格式模型，采用w8a8量化算法，压缩模型体积同时保持精度，1.5B模型仅需1.89GB存储，7B模型仅需7.63GB存储。

DeepSeek转换完成的RKLLM模型如下图所示：

然后将其传输到开发板上，使用对应的可执行文件运行即可，运行之后如下图所示：

接下来向该模型提出问题即可，回复内容如下所示：

在回复的过程中查看CPU和NPU的利用率，可以看到CPU的占用率为84%，并且调用了NPU的3个核心进行加速推理：

本地部署，释放边缘AI潜力

RK3588成功在本地部署DeepSeek，意味着无需将数据上传至云端，在设备端即可完成复杂的AI计算任务，这将带来以下优势：

更低延迟： 本地处理数据，无需网络传输，显著降低延迟，满足实时性要求高的应用场景，例如工业机器视觉、自动驾驶等。
更高隐私： 敏感数据无需上传至云端，有效保护用户隐私和数据安全，适用于智慧医疗、金融支付等领域。
更低成本： 减少对云服务的依赖，降低网络带宽和云存储成本，更适合大规模部署。

应用场景广泛，赋能千行百业

RK3588与DeepSeek的结合，为边缘AI应用提供了强大的硬件和软件支持，将赋能以下场景：

智能安防： 在智能摄像头、门禁系统等设备中，利用DeepSeek实现人脸识别、行为分析、异常检测等功能，提升安防效率和准确性。
工业视觉： 在工业生产线中，利用DeepSeek实现产品质量检测、设备状态监控、机器人引导等功能，提高生产效率和产品质量。
智慧医疗： 在医疗影像设备中，利用DeepSeek辅助医生进行疾病诊断和治疗方案制定，提高诊断准确性和效率。
其他领域： 包括智能零售、智慧交通、智能家居等，RK3588和DeepSeek的组合将为各行各业带来创新应用。

快包电子平台推出了很多设计优化的RK3588主板方案，它们都是稳定出货、即插即用，在具体场景实现应用的产品。

瑞芯微RK3588工控机开发板

方案简介：

方案基于Rockchip新一代旗舰 RK3588处理器开发设计，采用先进8nm制程工艺集成4核Cortex-A76+4核Cortex-A55架构，主频最高达2.4GHZ，支持8K超清显示，四屏异显，内置瑞芯微自研三核NPU，综合算力可达6TOPS。

方案特点：

1.6 TOPS算力加持，赋能人工智能应用

2.提供多种显示接口，支持四屏异显

3.提供丰富的CPU接口资源，满足计算链接存储需求

4.支持多种操作系统和二次开发

5.支持双千兆网口通讯

应用场景：

AGV、边缘计算、智慧大屏、高端平板、智能NVR、可视化网关等领域。

瑞芯微3588直播一体机

方案简介：

瑞芯微 3588 直播机是一款即插即用直播机方案，方案可供直播机设备终端制造商开发自定义直播机。该直播机主板采用RK3588高端8核处理器，6T算力，屏幕分辨率最大可支持1920*1080，并配有两个USB3.0、一个Type-C全功能接口，方便客户组合外设，设置WiFi和4G互联，监控外设录像/编辑，快速导入产品创新。

方案特点：

SOC ：RockChip RK3588

CPU ：4×Cortex-A76+4×Cortex-A55

GPU ：ARM Mali-G610 MP4 四核 GPU

NPU ：6TOPS

应用场景：

教学培训、直播带货、产品宣传

瑞芯微RK3588边缘计算盒子

方案简介：

瑞芯微RK3588边缘计算盒子，主频高达2.4GHz，适用于边缘计算，广告机，miniPC整机，工控一体机，零售机和快递柜。支持安卓12系统，内嵌高性能AI加速硬件，支持6T算力NPU.板载LPDDR4/LPDDR4X 8G内存，EMMC标配128GB（最大可选512GB），支持WIFI6通信、10000M以太网。可直接驱动1920*1080液晶屏。

方案特点：

1.RK3588超强CPU搭载Android 12系统，速度更快，性能更强。

2.支持PCIE WIFI6，BT5.0，双天线。

3.网口设计，支持一个1000M网口。

4.分辨率最大支持4K@60。

应用场景：

边缘计算，广告机，miniPC整机，工控一体机，零售机和快递柜

扫码可申请免费样片以及获取产品技术规格书

相关资讯

高性能定制化电源电池方案：驱动AGV、叉车与换电领域的核心动力引擎

在工业4.0与智能制造浪潮的推动下，AGV（自动导引运输车）、智能叉车、换电机器人等设备已成为现代化仓储物流及生产体系中不可或缺的关键角色。而这一切高效、稳定运行的背后，都离不开一个强大的“动力心脏”——高性能、高可靠性的电源电池解决方案。我爱方案网推荐一款基于TI（德州仪器）平台开发、可成熟量产的定制化电源电池方案，正以其卓越的技术优势与高度的灵活性，在众多领域发挥着核心作用。

基于龙芯LS1C300的充电桩主控核心板：国产自主，接口丰富的智能充电解决方案

随着新能源汽车产业的迅猛发展，作为基础设施的充电桩正朝着智能化、网络化和高可靠性的方向快速演进。充电桩的主控核心板作为其“大脑”，其性能与稳定性直接决定了整个充电系统的效率与用户体验。我爱方案网推荐一款基于龙芯LS1C300处理器、具备完全自主知识产权IP的充电桩主控核心板方案，凭借其丰富的接口、强悍的扩展能力和稳定的性能，正成为推动行业升级的关键力量。

英特尔赛扬J4125工业控制主板：高性能、多接口的智能工控解决方案

在工业自动化、智能终端设备快速发展的今天，一款稳定可靠、接口丰富且具备强劲处理能力的工业主板成为各类应用场景的核心支撑。我爱方案网推荐CX-J4125主板，作为一款基于Intel赛扬J4125处理器的高性能无风扇工控主板，凭借其出色的兼容性、灵活的扩展能力以及宽压供电设计，正广泛应用于金融、零售、医疗、广告机、自助终端和工业自动化设备等领域。

基于STM32F407的工业级Modbus TCP远程IO模块：打造高可靠性工业自动化神经末梢

在工业自动化系统向网络化、智能化加速演进的时代，对生产现场数据的精准采集和对执行机构的可靠控制，构成了整个系统的基石。传统的分布式IO方案往往面临布线复杂、抗干扰能力差、扩展不灵活等挑战。我爱方案网推荐一款基于高性能STM32F407 MCU、支持Modbus TCP协议的高集成度远程IO模块，凭借其卓越的工业特性、丰富的功能接口以及稳定的网络通信能力，为构建现代工业控制系统提供了理想的终端解决方案。

48V转24V工业电源转换器方案：为叉车系统提供高效可靠电力核心

在现代工业领域，稳定高效的电源转换解决方案对设备性能至关重要。特别是在叉车等工业车辆中，如何将动力电池的高压电源高效转换为控制系统和传感器所需的稳定低压电源，直接关系到整车的可靠性和工作效率。我爱方案网推荐一款基于NXP平台的48V转24V/300W工业电源转换器方案，分析其技术特点和行业应用价值。