发布时间：2019-10-17 阅读量：1133 来源: 智东西 发布人: Jane
10月17日消息，去年10月谷歌发布的BERT模型已经在阅读理解测试中全面超越人类，今天微软的UniLM模型将这一领域的研究推向了新的高度。
据外媒报道，微软近日推出的UniLM AI训练模型通过改变传统AI系统学习方式，成功实现单向预测，突破了自然语言处理中大量文本修改的瓶颈。
一、改变双向预测方式
语言模型预训练（Language model pretraining）是一种机器语言处理技术，它通过依据文本预测词汇的方式，教会机器学习系统（machine learning systems）如何把文本情景化地表述出来。它代表了自然语言处理（natural language processing）领域的最新突破。
目前，像谷歌的BERT模型，是双向预测，也就是根据左右两侧的词汇来预测，因此不适合大量文本的处理。
▲谷歌BERT模型
为此，微软科学家们研究出了UniLM（UNIfied pre-trained Language Model）这种新模型。该模型可以完成单向、序列到序列（sequence-to-sequence）和双向预测任务，并且可以针对自然语言的理解和生成进行微调（fine-tuned）。
微软表示它在各类常见的基础测试中都要优于BERT，并且在自然语言处理的一些测试项目中取得了该领域的最新突破。
二、“变形金刚”的威力
▲UniLM模型概览
UniLM模型是一个多层网络，其核心是由Transformer AI模型组成的，这些模型针对大量文本进行了共同的预训练，并针对语言建模进行了优化。
跟其他AI系统学习预测方式不同的是，Transformer AI将每个输出元素都连接到每个输入元素。它们之间的权重是可以动态调整的。
微软研究人员认为，经过预训练的UniLM与BERT类似，可以进行微调以适应各种下游任务。但是与BERT不同，UniLM可以通过一种特殊方式（using different self-attention masks），汇总不同类型语言模型的上下文。
此外，Transformer网络可以共享从历史训练中学到的数据，不仅使学习到的文本表示更加通用，也降低了对单一任务的处理难度。
三、学海无涯
微软研究人表示，UniLM通过学习英语维基百科（English Wikipedia）和开源BookCorpus的文章后，已经拥有高达28996的词汇量。并且在预培训后，UniLM的跨语言任务表现也非常好。
团队人员表示，UniLM未来发展的空间还很大，例如在“网络规模（web-scale）”的文本语料库上训练较大的模型来突破当前方法的局限性。
他们还希望让UniLM在跨语言任务中取得更大突破。
结语：自然语言处理领域的重大突破
自然语言处理，是人工智能界、计算机科学和语言学界所共同关注的重要问题，它对于实现人机间的信息交流起着重要作用。
谷歌BERT和微软的UniLM是这一领域的开拓者，后者通过单向预测突破了大量文本处理的难题，进而提升了此类AI在实际应用中的价值。
此次谷歌霸主地位被动摇，也势必将在该领域引发更加精彩的AI大战。
原文来源：Venturebeat
2025年6月20日，IOTE 2025·上海站在上海新国际博览中心N5馆圆满收官！ 在万物智联的时代洪流中，物联网技术正以前所未见的速度重塑世界，驱动千行百业向智能化、数字化加速跃迁。本届展会以“生态智能，物联全球”为核心主题，携手全球移动通信标杆盛会MWC上海，不仅呈现了一场前沿技术的饕餮盛宴，更是物联网与移动通信深度融合、共绘发展新图景的生动实践，为全球AIoT产业的蓬勃脉动注入强劲活力与动能。
在工业自动化、新能源汽车、高效电源等应用领域日益追求高功率密度与高可靠性的今天，高性能的栅极驱动器扮演着至关重要的角色。它们作为功率开关器件（如IGBT、SiC MOSFET、GaN HEMT）与控制信号之间的关键"桥梁"，其性能直接决定了系统效率、开关速度、电磁兼容性（EMC）以及整体可靠性。本文将聚焦行业备受关注的意法半导体新一代集成化方案（STDRIVE102H/BH）、圣邦微电子的三相驱动器（SGM58000）以及安森美的双通道高端驱动（NCD57252），进行深度对比分析，揭示各自优势及适用场景，为工程师选型决策提供专业参考。
工业数字化转型加速推动预测性维护需求增长，尤其桥梁、大型建筑等基础设施的结构健康监测（SHM）领域。传统高精度加速度传感器长期面临偏移漂移大、环境适应性弱等痛点。村田制作所最新推出的SCA3400系列数字三轴MEMS加速度传感器，以≤0.5mg的偏移寿命漂移值突破行业极限，为工业设备状态监测树立新标杆。
全球智能手机芯片领域正迎来新一轮工艺迭代浪潮。知名研究机构Counterpoint Research最新报告指出，3nm及更先进的2nm制程技术将在2026年占据智能手机应用处理器（SoC）出货总量的近三分之一（约33%），成为驱动高端设备性能跃升的核心引擎。这一演变标志着半导体制造技术对移动终端能力的决定性影响达到新高度。
2025年6月24日，全球半导体巨头罗姆（ROHM）宣布其第四代碳化硅（SiC）MOSFET裸芯片已成功集成至丰田汽车面向中国市场推出的纯电动SUV车型"bZ5"的牵引逆变器系统。该技术突破由罗姆与中国正海集团合资设立的上海海姆希科半导体有限公司（HAIMOSIC）实现规模化量产，标志着中日产业链协作在高端功率模块领域取得实质性进展。
