如何评价自动化所余山组在Nature子刊Machine Intelligence的新作？

大致浏览了论文，个人理解，从基本思路上，就是对于新任务数据，通过投影操作，仅保留与前期任务正交部分的数据作为新任务的分类信息。直观上，就是对不同的任务，在不同的正交的数据子空间上完成任务。

这里有两个问题：

（1）第一，是否不同的任务，不同的正交子空间的数据是否可以提供足够的信息。这本身是个问题。当然，对于图像输入，可能因为图像空间的巨大而训练数据的有限，我们可能有充分的空间在不同的数据子空间上获取充分的信息。但是，始终这是个潜在的问题，特别是如果是针对大数据集的时候，投影之后能剩下多少有用信息呢？

（2）即使是进行了投影，用正交的子空间的信号调整网络配置，理论上还是会对前期任务造成扰动，毕竟投影是线性的，而网络是非线性的，正交的信号通过非线性的网络的时候，还是会互相影响的而非绝对分离的，我们没有证据假定正交空间的信号通过网络的信息流动模式是无关的。所以，投影并不能屏蔽后续任务对前期任务的影响，特别是如果任务之间有相似性的时候。

（3）感觉系统性能比较好的原因还是无论是信号还是网络配置空间相对于训练数据是严重过参数化的，即使不同的信号子空间或者相应的网络中信息流动模式有相互影响，这个影响统计上也是弱的，在高维上我们有充分的自由度来实现模式的（自然）分离。

（4）最后一点，感觉这个工作和对抗样本问题有交叉或者互补，对抗样本是寻找对前期任务有明显影响的方向然后调整网络减弱这些方向的影响，这里是寻找没有明显影响的方向调整网络增加这些方向上数据的影响。但是对抗样本是要看对网络输出的影响，这里仅仅是通过一些假定，直接认为在输入端正交，那么对网络的影响就会小，就是没有考虑网络的特性。是不是应该学习对抗样本，寻找对输出影响小的信号方向，然后进行投影？这样就把网络的特征考虑进去了？

（5）如果考虑分离，那么除了在输入端进行投影分离，完全也可以在网络结构上进行分离，这样就变成了不同任务使用不同的子网络了。我不知道，人类语言系统在学习不同的语言的时候是不是使用了不同的物理区域，还是不同语言会共享相同的区域？希望对此了解的先生赐教。如果是前者，那么说明分离网络也不失为一种可行方案，如果是后者，人类是怎么做的呢？因为有大脑受损后，会损失某种语言功能的例子，是不是人类还是采用分离的结构？至少不是完全共享的？