您的位置:www.85058.com > 互联网资讯 > 自动化所在人脑视觉信息编解码研究方面取得新

自动化所在人脑视觉信息编解码研究方面取得新

发布时间:2019-10-22 21:26编辑:互联网资讯浏览(138)

    www.85058.com 1

    现代认知神经科学以及功能磁共振成像技术(functional Magnetic Resonance Imaging, fMRI)的不断发展使得采用科学手段对大脑视觉皮层信号进行解读成为可能。研究人脑视觉信息解码模型不仅可以加深人们对人脑视觉信息处理机制的研究,还可以有力地促进新一代脑-机接口(Brain-Computer Interface, BCI)技术的发展。

    还记得电影《黑客帝国》里的情节吗?仅需要通过电脑物理性地连接到大脑,就可以下载新的知识技能,从而将其内化为自身本领。如今,这一切仿佛就要如数上演。

    尽管现有的视觉信息解码模型在对大脑信号的分类、识别任务上表现良好,但是试图通过大脑视觉皮层信号精确重建视觉刺激内容仍然非常困难。阻碍人们有效地进行视觉信息解码的因素主要包括 fMRI 数据维度高、样本量小、噪声严重、解码模型不科学等。传统的基于多体素模式分析(Multi-Voxel Pattern Analysis, MVPA)的视觉信息解码方法直接在高维的 fMRI 体素空间和视觉图像像素空间建立映射关系,这种解码方法很容易造成对冗余或噪声体素的过拟合。此外,现有的视觉信息解码方法大多数基于对视觉图像的线性变换,没有结合人脑视觉系统的信息处理机制,解码效果差并且缺乏生物学基础。

    近日,研究人员“解码”出大脑对某种行为或者技能的学习过程,以期望对另一个大脑重现这个过程时,便可使其掌握到相应技能。

    中国科学院自动化研究所研究员何晖光团队近年来一直致力于更复杂刺激(如人脸,自然图像,乃至动态视觉刺激)的大脑解码工作,继去年关于“利用fMRI信号重建图像”的工作被MIT Technology Review头条报道后,基于以往工作积累,提出了一种基于贝叶斯深度学习的大脑视觉信息解码模型,针对基于fMRI数据的视觉神经信息编解码问题,提出了统一的多视图深度生成式模型(Deep Generative Multi-view Model, DGMM),为基于大脑信号的视觉图像重建问题提供了有效的解决方案。相关研究成果“Reconstructing Perceived Images from Human Brain Activities with Bayesian Deep Multi-view Learning”近日已在神经网络及机器学习领域国际期刊IEEE Transactions on Neural Networks and Learning Systems 在线发表,为脑-机接口的进一步研究打下了坚实的基础。

    这听起来真让人激动啊,传说中的技能终于要实现了吗?不过,目前研究成果还只是最初级阶段。研究人员称,未来几年内,其最直接的应用前景仍限于临床医学的脑部康复治疗上。

    该研究以一种科学合理的方式建立起了视觉图像和大脑响应之间的关系,将视觉图像重建问题转化成多视图隐含变量模型中缺失视图的贝叶斯推断问题。受人脑视觉信息处理机制(层次化、Bottom-up、Top-down)的启发,团队采用了深度神经网络从视觉图像中逐层提取视觉特征和概念,提高了模型的表达能力和可解释性;受视觉区域的体素感受野和视觉信息的稀疏表达准则的启发,团队采用了稀疏贝叶斯学习从大量体素中自动筛选出对视觉信息解码贡献较大的体素,提高了模型的稳定性和泛化能力。深度生成式多视图模型充分利用了 fMRI 体素之间的相关性信息,有效抑制了体素噪声的干扰,增强了算法的鲁棒性。得益于贝叶斯方法的优点,深度生成式多视图模型能够方便灵活地融合先验知识,进而提升预测性能。大量的实验结果验证了深度生成式多视图模型的优越性。新算法为大脑信号解码问题提供了一个行之有效的通用框架,具有很强的可扩展性,允许从不同角度对其进行扩展以适应不同任务。该项目不仅为探究大脑的视觉信息处理机制提供了一个强有力的工具,而且为脑-机接口的发展提供了技术支持,将对类脑智能的发展起到一定的促进作用。

    这是美国波士顿大学和日本京都ATR计算神经学研究室的研究人员的共同研究课题,其目的是掌握大脑对不同技能的学习过程,主要利用的技术是fMRI(功能性磁共振仪),选取了成年人的视觉感知学习(visual perceptual learning)作为“解码-复制”的对象,据称人体的该项技能,是可以通过反复训练而得到显著提高的。

    www.85058.com,论文的第一作者是博士生杜长德。该工作同时受到国家自然科学基金重点项目、中科院先导项目以及中科院青促会优秀会员项目的资助。

    波士顿大学脑神经科学家Takeo Watanabe 介绍说,在研究过程中他们主要使用了“fMRI 神经反馈解码(decoded fMRI neurofeedback)”来模拟视觉皮层的活动,使用的实验道具是视觉神经学中经常使用的“Gabor Patch”图像。据称,通过被测试者对该类图像的辨别能力,可以判断其大脑皮质中视力神经部分对影像信息的接收和反应速度,还能检测大脑视觉处理中的黑白对比敏感度。同时,临床也有用该类图片作为训练,以改善视神经对影响成形的处理过程,提高视觉清晰度。

    论文链接

    www.85058.com 2

    www.85058.com 3

    不同频率分割下的“Gabor Patch”图像

    图1:基于贝叶斯深度多视图学习的视觉信息编解码框架

    在实验过程中,共有16名参与人员,年龄分布在20到38周岁,11名男性和5名女性,视力正常。

    www.85058.com 4

    实验过程如下四步:

    图2:深度生成式多视图模型

    www.85058.com 5

    本文由www.85058.com发布于互联网资讯,转载请注明出处:自动化所在人脑视觉信息编解码研究方面取得新

    关键词: