快手部署业界最先进GPU计算平台，为2亿日活提供保障

日活超过2亿的快手，库存短视频超过130亿条，仍以每日超过1500万条短视频上传的速度新增，拥有海量超大数据应用场景。快手基础设施的规模已经处于国内顶级互联网公司头部行列。目前快手服务器规模已经超过十万台，数据总量达到EB级别，每天新增数据超过5PB。

为保障千亿级别数据量的处理和基础设施稳定、高效运行，快手服务器选型和业务优化团队(以下简称“快手SAT团队”)选用合作伙伴英伟达新一代图灵架构的TESLAT4/V100，在业内率先完成计算架构的全新升级。

据了解，快手SAT团队的成员经验丰富，人均工作经验在10年左右，专注于硬件方面的成员大多来自于海内外大型服务器或者硬件厂商，专注于软件方面的成员大多数来自国内头部互联网企业。正是这样的一个软硬结合的团队，给快手超过2亿的日活量级提供了坚实的保障。

据快手SAT团队研发人员介绍，快手大数据应用场景如视频推荐平台、音视频理解、风控、商业化广告、强化学习等都是公司的核心业务，多个业务场景数据处理需求量大，英伟达推出新的特斯拉架构产品之后，SAT团队将TESLAT4/V100GPU的引入列为首要任务，使用新一代的GPU，搭配现有的计算平台(CPU、FPGA等)，第一时间将TESLAT4引入到新的套餐上，同时以最快速度适配给公司内的核心业务，保障硬件基础架构走在业界前列。

GPU架构优化性能提升2倍成本节省30%

针对快手快速增长的业务需求，既需要尽可能的满足业务灵活多变的需求，又不能使得套餐数量过于发散，同时要兼顾成本优化目标，所面临的问题十分复杂。为最大限度的平衡需求和复杂性，快手SAT团队最终决定引入了2个GPU套餐，搭配虚拟化容器，满足不同业务场景下的不同需求。

GPU服务器特别是多卡GPU服务器在实际计算中，普遍会面临CPU性能成为瓶颈的问题。为了解决CPU性能瓶颈、GPU利用率不高的问题，快手SAT团队联合算法团队，通过在Resnet50/SSD上将Resize、Augment等从CPU端迁移至GPU端的方法，将CPU的loading逐步迁移到GPU上，进一步利用了GPU强大的计算能力，解放了CPU，达到了CPU和GPU之间的最佳的均衡计算效果。

GPU之间的性能均衡是另一个问题。部分业务场景的模型体积非常巨大，单GPU显存往往没有办法存下整个模型，这时候通常会将模型存在内存中，由CPU来进行相对应的运算操作，快手SAT团队通过优化CPU亲和性，避免了负载不均和查找路径较远的问题。

快手的训练模型要求精度较高，之前普遍使用FP32，模型较大，目前正在慢慢使用混合精度来替代原来方案，性能得到明显提升。在实际使用中，快手SAT团队也发现AMP(自动混合精度)虽然使用起来简单，但并不能适配所有业务。所以需要快手SAT团队和业务团队一起尝试不同方法，结合FP32、AMP以及手动混合精度等手段为业务方的训练提供最佳的计算性能。

推理模型相对于训练模型，普遍存在batchsize较小的问题，需要对内存进行频繁的读写访问，同时推理相较于训练，要求的精度没有那么高。为解决这些问题，同时为更好的利用新架构中的TensorCore的性能，快手SAT团队在第一时间引入了TensorRT，帮助业务快速使用在GPU上，使得运行速度大大提升，编译后的代码所占内存的大小大大缩减。

解码H264：T4/P4=2.6倍左右;解码Hevc：T4/P4=4倍左右。在Hevc下的高性能，得益于T4的2个nvdec引擎，解码Hevc时比H264投入的计算单元更多，T4的FastPreset与P4的Slowpreset在质量和并发数量上大致相当。

(图示：使用TensorRT-Inference-Server，对比text-classification，性能提升2倍左右)

从以上对比图中可以看出，通过现阶段GPU计算架构的优化，业务的性能平均增长了2倍，成本较之前节省了30%以上。