迁移学习中的domain adaptation的定义说特征空间相同,这里指的是什么意思?

迁移学习中的domain adaptation的定义说特征空间相同,这里指的是什么意思?
关注者
66
被浏览
25,725
登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏

我的理解是:

1. 首先,Transfer Learning or Domain Adaptation 的研究是基于两个(或多个)不同域(Domain)的,它的目的是从一个域中(Source Domain)中学习一些知识,并将其迁移到另外一个域(Target Domain)中来增强目标任务的性能。而这个域的定义是基于特征空间的。

2. 那什么是特征那? 在进行迁移之前,我们要首先通过一些能够定量化的参量来描述一个事物或问题的属性,比如,我们描述一个人时可以采用身高L体重M,这些参量是对所研究事物某些方面特点的定量化描述,但是通常一个事物或问题存在许多特征来描述其特点,比如除了身高和体重外还可以由肤色等特征来进行描述,而特征的选择是影响学习任务性能的重要问题。

3. 知道了特征,那什么是特征空间那?我们还应用上面的例子来进行说明,我们用身高L体重M来描述一个人的特点,那么就可以应用这两个量所构成的平面上的某一点来描述一个人的特点,比如一个人身高1.7米,重200kg。那么,这个平面上的每一个点都描述了一个由这两个参量描述的人的特点(无论合不合理)。我们把这个数学意义上够描述所有可能性的“容器”称为特征空间。扩展一下,如果有n个特征向量,那么它们共同张成的空间称为n维特征空间,这个空间内的每一个点描述了一个可能的事物,这个事物在该问题中由n个属性描述。



4. 对于一个迁移学习问题而言,两个域的特征空间相同的意思是,对于这两个域我们应用了相同的属性来描述事物的特点(但是,并不是说两个域相同了,因为还有边缘概率密度是否相等的问题)。该类迁移学习被称为homogeneous transfer learning。

======================================================

2020-03-29更新:

可能对条件概率分布的理解有些困难,我再尝试补充一下:

概率分布描述的是所述事件发生可能性的大小。对应“域”中定义的条件概率分布,其描述的是特征向量取某一个时的概率是多少。直观一点可以理解为样本处于特征空间中某一个位置的可能性大小(因为样本的特征值对应其在特征空间内的位置)

展示了一个2维特征空间的例子,图中展示了一个在Feature1和Feature2张成空间内以f(F1,F2)为概率分布的“域”,从图中发现这个“域”中的样本落在Feature1∈[0,4], Feature2∈[0,4]时的概率很高,而处于其他位置的可能性很低。通过特定的分布函数f(F1,F2)描述了域内样本在特征空间内的分布形态。对应到实际的问题,也就是描述了所关心问题的特点,比如在图像分类任务中描述了某个特定来源的图片倾向于处于特征空间内的什么位置。