如何评价Hinton提出的Forward-Forward方法?

发布时间:
2024-10-10 12:25
阅读量:
2

NeurIPS现场听的,说实话听完跟听科幻小说一样,深受震撼,但非常兴奋,Hinton的talk结束之后就去看论文了。

我是做实验物理的,所以最care的还是这个东西能用在物理里面。现在想到了两个可能的应用:一个是做模拟。现在物理圈子用ML做模拟的一般喜欢用differentiable simulation,但事实上很多物理过程是不可微的,那么用这个FF的方法是不是可以绕过那些不可微的过程来生成物理事件?第二个是Hinton讲的所谓“mortal computing”,简单来说就是用FF网络实现模拟电路上的机器学习。这个也很有意思,毕竟很多物理实验的前端都是模拟电路,那么是不是可能在那里面加一个FF网络?

其实我最喜欢的部分还是Hinton关于梦的比喻,这是我现场照的照片:

Hinton的理论是:人脑是一个大型FF网络。人在醒着的时候连续接受正样本,而在睡着的时候,脑子里的FF网络开始不断生成负样本并训练(FF可以自己生成负样本,不需要额外的负样本)。这样正负样本达到平衡,人才能保持正常精神状态;如果人一直不睡觉,FF网络时候正样本没有负样本,那么训练就会崩溃。

最后想说一句,作为1947年出生的人,Hinton在一头白发的74岁高龄,依然不断的探索新领域。还是要革了自己提出的back propagation的命,并且自己写matlab代码验证自己的想法,真的很佩服这样的科学家。论文,荣誉,金钱都是身外之物,求知欲才是一名科研工作者最闪耀的勋章。

END