dbpedia学习笔记.pdf

DBpedia 学习笔记 By Nancy Liu 一． 概述 1. DBpedia 产生动机：由于Wikipedia 固有结构的限制，使得一些查询无法实现，如“流过莱茵 河的所有河”，“意大利 18 世纪之后的作曲家”。DBpedia 从Wikipedia 中抽取结构化的信息， 并建立语义网络。 2. DBpedia 项目开始时间，2006 年。 3. 本文将从 DBpedia 的知识抽取框架、DBpedia 本体、DBpedia 与 Linked Data 三个方面来介绍 DBpedia. 二． 抽取框架 1. 整体框架 a) 输入：一种是Wikipedia 仓库，一种是MediaWiki 提供的API 。 b) 解析：将Wikipedia 中获取的源码转换为抽象语法树。 c) 抽取：每一个 Wikipedia 的页面就是一个抽象语法树，对这个抽象语法树进行信息抽取， 比如标签、摘要、地理坐标等。每一个抽取都利用一个抽象语法树，并生成一系列 RDF 声明。 d) 输出：将得到的RDF 声明写入槽。 下图示意了DBpedia 的抽取框架： 2. 抽取器 DBpedia 抽取的内容主要来自Wikipedia 的信息框以及页面中的标记。 其中通常位于右上角的信息框又称为DBpedia 最主要抽取的对象。 如搜索”ford”. （如下图）这个信息框可以提供结构化的信息。 DBpedia 的抽取器可以分为以下四类： a) 基于映射的信息框抽取器 解决的问题是从infoBox 提取数据映射到ontology. infoBox 即Wikipedia 中右上角的框，ontology 对应的是DBpedia 中的本体。 b) 信息框“生”信息抽取 解决的问题是从infoBox 提取数据直接存到RDF. 即将infoBox 中的属性-值对存放至 RDF 中，这种方式产生的 数据语义并不丰富，质量还有待提高。 c) 特征提取 特征提取是利用一些抽取器将某一个确定的特征从Wikipedia 的一篇文章（也可以理解为一个网页，不限于infobox ）中抽 取出来，比如抽取一个坐标或者标签。 d) 统计的抽取 一些自然语言处理相关的抽取器，将所有Wikipedia 的页面中 的数据汇总起来，使能够提供一些统计值，比如页面链接数 量、词数。 3. 信息框“生”信息抽取 直接将信息框数据存入RDF 数据。 如下图所示： 可以发现生成的 RDF 有两个问题：一个是资源无法关联到相关类别；二是对于 engine ， production 这样的属性，语义并不明确。这也是为什么需要一个基于映射的信息框抽取。 4. 基于映射的信息框抽取 由于信息框的多样性以及上文所讨论的，“生”数据质量有待提高，基于映射的信息框抽取被 提出。 它完成了将一个Infobox 对应到一个DBpedia 的本体(ontology)中。其中Infobox 的属性对应了 ontology 的属性。 比如一个映射如下： 上面的映射的例子中，将infobox 的时间对应到了开始时间和结束时间，将infobox 中的engine 对应到了排放量和功率两个值，这样就可以更加准确、具有语义的将Infobox 的信息映射出来。 得到了新的RDF 节点如下： DBpedia 的基于映射抽取器为了实现映射的准确性和实时性，允许用户新建和编辑，和 Wikipedia 的开发性相“映射”。 DBpedia 同时提供了三个工具，分别是映射检验器、抽取测试器、映射工具，供用户使用。 5. URI 模式 对于每一个Wikipedia 中的文章，将会有一些URI 与之对应。 在DBpedia 中主要有三个命名空间： /resource/：与Wikipedia 中的网页一一对应。 /resource/：与infobox 中的属性一一对应。 /reso