人工智能难点：自然语言处理

发布时间：2018-01-2 阅读量：1102 来源: 我爱方案网作者:

如果单从NLP字母缩写包含很多意思:有数学的非线性规划(Non-linear programming)医学的无光感(No light perception)心理学的神经语音规划 (Neuro-linguistic programming)计算机科学与语言学转换的领域(natural language processing)

这里指的是计算机科学与语言学转换的领域。(NLP)是人工智能和语言学领域的分支学科。(人工智能主要包含以下几个方面: 自动推理-计算语言学-计算机视觉-进化计算-专家系统-自然语言处理-机器人学)自然语言处理(NLP)是信息时代最重要的技术之一。理解复杂的语言也是人工智能的重要组成部分。NLP的应用无处不在，因为人们用语言进行大部分沟通:网络搜索，广告，电子邮件，客户服务，语言翻译，发布学报告等等。NLP应用背后有大量的基础任务和机器学习模型。

什么是自然语言处理

NLP是计算机以一种聪明而有用的方式分析，理解和从人类语言中获取意义的一种方式。通过利用NLP，开发者可以组织和构建知识来执行自动摘要，翻译，命名实体识别，关系提取，情感分析，语音识别和话题分割等任务。

自然语言处理如何工作

目前NLP的方法是基于深度学习，这是一种AI，它检查和使用数据中的模式来改善程序的理解。深度学习模型需要大量的标记数据来训练和识别相关的相关性，汇集这种大数据集是当前NLP的主要障碍之一。早期的NLP方法涉及更基于规则的方法，在这种方法中，简单的机器学习算法被告知要在文本中查找哪些单词和短语，并在这些短语出现时给出特定的响应。但深度学习是一个更灵活，直观的方法，在这个方法中，算法学会从许多例子中识别说话者的意图，就像孩子如何学习人类语言一样。

自然语言应用

NLP算法通常基于机器学习算法。NLP可以依靠机器学习来自动学习这些规则，而不是手工编码大量的规则集，通过分析一系列的例子(如，一个大的数据库，像一本书，直到一堆句子的集合)，并且做一个静态的推论。一般来说，分析的数据越多，模型越精确。社交媒体分析是NLP使用的一个很好的例子。品牌在线跟踪对话以了解客户的意见，并洞悉用户行为。

开源的NLP库Apache OpenNLP:一种机器学习工具包，提供标记器，句子分段，词性标注，命名实体提取，分块，解析，共参考解析等等。自然语言工具包(NLTK):提供用于处理文本，分类，标记化，词法分析，标记，解析等模块的Python库。斯坦福的NLP:一套NLP工具，提供词性标注，命名实体识别器，共识解析系统，情感分析等等。

视频资料查找斯坦福大学NLP - Dan JurafskyChris Manning教授自然语言处理 - 密歇根大学 (IIT Bombay计算机科学与工程系Pushpak Bhattacharyya教授的自然语言处理)自然语言理解:基础和艺术西蒙斯学院自然语言处理导论 - 剑桥编码学院

处理的主要范畴文本朗读(Text to speech)/语音合成(Speech synthesis)语音识别(Speech recognition)中文自动分词(Chinese word segmentation)词性标注(Part-of-speech tagging)句法分析(Parsing)自然语言生成(Natural language generation)文本分类(Text categorization)信息检索(Information retrieval)信息抽取(Information extraction)文字校对(Text-proofing)问答系统(Question answering)机器翻译(Machine translation)自动摘要(Automatic summarization)文字蕴涵(Textual entailment)

使用NLP构建您自己的RSS阅读器

可以使用以下算法在30分钟内构建机器学习RSS阅读器:ScrapeRSS从RSS提要中获取标题和内容;Html2Text保留重要的文本，但从文档中去除所有的HTML;AutoTag使用潜在的Dirichlet分配来识别文本中的相关关键字;情感分析然后用来确定文章是积极的，消极的还是中立的;Summarizer终于被用来识别关键句子。

本文参考资料：WikipediaThe Stanford NLP GroupCourseraMatt KiserMargaret Rouse

方案超市都是成熟的量产方案和模块，欢迎合作：

D380语音识别智能耳机方案
 Wifi/GSM智能早教机器人Y01
W801+ 智能手表