NNLP

自然语言处理的历史、技术与实践

12 篇 · 2.9 万字

12 篇
从第一篇开始 →
  1. 01 初识NLP 什么是自然语言处理 人类用自然语言与计算机之间进行通信的技术,属于语言学与计算机科学的交叉学科,会涉及到数学,统计学,线性代数,概率论,认知心理学等多门学科的知识。 数学是整个机器学习的核心与理论指导,涉及到概率论,矩阵… 3 分钟 ✓
  2. 02 NLP发展史 自然语言处理早期发展史 自然语言处理的发展史其实也是机器翻译的发展史,上世纪40年代,先进的国家尝试研究机器翻译,基于对机器翻译的热情,开始研究语言与计算机相结合的这些工作的研究,基于时代环境,计算机发展,国际局势等各方… 4 分钟 ✓
  3. 03 多任务学习 新世纪的里程碑事件:多任务学习 多学习任务进而提升泛化和迁移能力 第二个:词向量 词向量(word Vector),或者又称为词嵌入(word Embedding)或者词的分布式表达(distributed repres… 4 分钟 ✓
  4. 04 NLP的应用 自然语言处理的应用 词向量是用来描述词与词之间的关系或者说一个文本他的意思是什么 辅助医疗咨询 分析病理文本,文本结构化,文本标注,优秀的医生就是经验和专业知识的累加,AI都可以学习这两方面的知识 教育 自适应学习(Ad… 5 分钟 ✓
  5. 05 研究与工程实践 自然语言处理与工程实践:研究vs工程实践 在公司里面做实践项目与学术性的工作有什么差别 在学术环境,人们更关系训练,而在生产中,人们跟关心服务 我们在生产环境下可能回了很多的经历提升了训练精度,但是给用户的体验可能是等待… 4 分钟 ✓
  6. 06 编辑距离与动态规划算法 编辑距离与动态规划 编辑距离 这是Leetcode上面中高等难度的题目,在计算文本相似性的时候,经常会用到编辑距离。它指的是两个字串之间,由一个转成另一个所需的最少的编辑操作的次数。通常来说,编辑距离越小,说明两个文本的… 2 分钟 ✓
  7. 07 文本处理技术 文本处理技术 文本分析流程 1. 原始数据(Raw data)网页文本 新闻 报告 2. 如果是中文需要segmentation分词 3. 清洗的操作:清洗内容是无用的标签,特殊符号,停用此,如果是英文法文等需要大写转小… 7 分钟 ✓
  8. 08 文本处理技术-文本纠错 文本纠错技术 文本纠错又称为拼写错误或者拼写检查,一般存在两大纠错类型: 1. Non word 拼写错误 2. Real word 拼写错误 Non word 拼写错误 表示词汇本身在词典中就不存在,比如要求写成了药求… 4 分钟 ✓
  9. 09 关键词提取 基于特征统计 有的时候一篇文章可能只是需要关注这些关键词就够了,在有些场景下很可能就是某下关键词影响最后的分类结果,所以关键词提取也是一个很重要的预处理层面。我们基于一些特征来看看这个词是不是重要,最常见有一下几种: 1. 词频:一个… 6 分钟 ✓
  10. 10 数据不平衡 比如有错误的文本要比正常的文本要少 处理数据不平衡 数据重采样 主要包括两个方面: 1. 上采样Over sample:增加量少的样本数,最简单的方式直接随机复制 2. 下采样Under sample:删除量多类别的样本… 4 分钟 ✓
  11. 11 NLP入门(四)命名实体识别(NER) %E5%91%BD%E5%90%8D%E5%AE%9E%E4%BD%93%E8%AF%86%E5%88%AB(NER) 1.webp) 山阴少年关注 0.5382018.11.14 20:24:20字数 1,086阅读 … 17 分钟 ✓
  12. 12 TTS 实时语音克隆(翻译) 原作者是LIEGE University master Corentin Jemine,这是一个github开源项目,主要是实现实时语音克隆。 Abstract 摘要 Recent advances in deep le… 12 分钟 ✓