-
人工智能驱动的闭环神经调控算法与芯片
闭环神经调控系统对大脑神经活动进行实时监测，并检测神经信号中与发病相关的特征，最后再按需进行神经系统刺激，可实现精准、个性化的治疗方案，是神经调控的未来发展方向。然而，现有的MCU或DSP无法满足复杂生物信号特征提取、分类的算力要求和低功耗要求，导致现有的闭环调控设备治疗效果差、待机时间短。我们提出了在片上集成微瓦级(μW)低功耗神经网络实现精准闭环调控的路径[TBIOCAS'20, TCAS-II'22] 。首先，我们对基于CNN网络[AICAS'20, AICAS'21]、BNN网络[BIOCAS'20]以及SNN网络[ISCAS'21]的神经信号处理算法进行了各种尝试，并取得了优于传统方法的分类效果。我们结合神经信号特点和网络架构搜索、剪枝以及量化技术将网络规模进一步压缩至100KB以下[TBME'21]。在上述算法基础上，我们还设计流片了专用的低功耗生物信号处理芯片[TBIOCAS'23]，通过可重构设计，该芯片实现了对上述多种网络类型的支持，具备高效的生物信号处理和标志物分类能力。该芯片通过事件驱动的工作方式实现了μW级别的功耗，为下一代智能闭环神经调控系统提供了关键技术支持。
除此之外，针对脑电信号本身，我们还提出基于GAN网络的数据增广技术[TBME'22]以及基于知识蒸馏的跨个体训练方法[JNE'22]，来弥补颅内脑电信号缺乏、数据分布不均的问题以及个体差异性大等问题，并把疾病检测任务从传统的二元分类转换为发作概率的预测，同时降低了预测的延迟[Expert Syst. Appl.'24]。
-
类脑计算芯片与系统
使用尖峰神经网络设计的神经形态处理器，在能效和性能方面比传统处理器具有显著优势，因此在边缘计算系统里具有巨大的应用潜力。我们利用神经形态计算来完成生物信号处理，包括低功耗的ECG信号处理[ISCAS'22]、癫痫信号处理[ISCAS'21]、新型的脉冲编码方式[ISCAS'23] 、可推广到一般生物信号处理的通用神经形态计算框架[Front. Neurosci.'23]以及支持片上学习和不同模态的神经形态处理器[ISCAS'22, ASSCC'22, TBioCAS'23]来满足穿戴式和植入式等边缘设备的功耗和性能要求。
我们同时也希望在类脑芯片上高效地集成数量众多的类脑神经元来完成更加复杂与智能的任务，为此我们研究多核类脑处理器中的路由协议与相关电路来降低处理器延迟和相应的功耗开销[AICAS'23]。同时，为了解决大规模类脑模型部署中数据访存带来的功耗、延迟开销，以及高度稀疏化数据带来的吞吐率下降问题，我们还设计了具备高度并行化和非结构化稀疏感知的类脑处理芯片，实现了0.078pJ/SOP的卓越性能[CICC'24]。 通过"脑科学与类脑研究"重大项目课题的牵引，我们后续将在无人车、机器人以及无人机等场景中应用大规模集成的类脑芯片与系统。
-
高通量侵入式脑机接口芯片与系统
侵入式脑机接口在大脑与机器之间构建一条直接、高效的信息交互通路，是一项具有广阔想象和应用空间的前沿技术，而其中的脑机接口芯片作为关键器件，需要在极低的功耗和面积下实现成百上千通道的脑信号的读取和传输，这对芯片设计带来了巨大挑战[TCAS-II'22]。芯片功耗主要来源于高通量数据的传输，因此从降低系统功耗的角度出发，我们利用压缩感知和人工智能方法，实现了对采样数据的16倍低损压缩[TNSRE'23]，并进一步利用软硬件协同设计方式实现了低功耗约束下的片上部署 [TBIOCAS'23]。利用该技术，即使使用低功耗的蓝牙通讯，仍然可实现对上百通道的神经信号实时传输。除此之外，通过在片上集成事件驱动采样[APCCAS'22]并保留尖峰电位，还可实现上百倍的数据压缩[AICAS'23]。降低数据率的同时，我们还研究基于IR-UWB的通讯模块来提高数据传输能效，进一步降低数据传输过程中的能耗。
为了在有限的硅面积上集成更多的高质量信号读出通道，我们还设计了基于交流耦合斩波稳定的小面积(0.048mm2)、低功耗(2.47μW)放大器。该放大器具有可配置的高通截止频率、超低截止频率以及低噪声(1.7μVrms)等特点[TBIOCAS'23]。利用集成快速时分复用、片上事件驱动采样、IR-UWB传输等几项技术，我们在40nm工艺下实现了0.0032mm2，1.38μW每通道的神经信号记录芯片[CICC'24]，为实现超高密度低功耗脑机接口系统建立了基础。 通过"2024浙江省尖兵研发攻关计划"项目的牵引，我们将在2024年初完成数百通道读出前端的开发，并完成相应脑机接口微系统的集成与动物实验。
-
侵入式脑机接口汉语解码
脑机接口技术中，将脑电信号转换为语音或相关的运动信号，以帮助中风或渐冻症等患者恢复沟通能力，是最具挑战性的任务之一，世界上仅有少数研究机构具备将脑电翻译为字母语言(英语和荷兰语)的能力。为此，我们开发了世界上首个专门针对汉语言设计的解码系统，它能将语音相关的立体脑电图（sEEG）信号解码成完整的中文句子，可实现所有汉语发音的解码。
我们的研究团队从汉语发音音节的声母、声调和韵母三个要素出发，设计覆盖所有407个汉语拼音音节以及汉语发音特点的语音库并同步收集脑电信号，构建了超过100小时的汉语语音-sEEG数据库。通过人工智能模型训练，构建了针对汉字发音音节三要素（声母、声调和韵母）的预测模型，并最终通过一个语言模型对所有预测得到的元素进行整合，结合语义信息生成最可能的完整汉语句子。在超过100次随机选择的2个字符-15个字符的复杂交流场景解码测试后，所有参与者字符错误率中位数平均仅为29%，部分参与者通过脑电解码得到的句子完全正确率达到了30%，该研究成果已以预印本[Acoustic inspired brain-to-sentence decoder for logosyllabic language]形式发布。
-
基于神经形态处理和光遗传的视网膜假体
视网膜假体可以帮助患有严重年龄相关性黄斑变性(AMD)或视网膜色素变性(RP)的患者恢复视力。传统的假体试图通过将光信号转化为电刺激来模拟视网膜细胞的活动，以产生或者恢复患者的视觉感觉。视网膜假体对光信号的处理机制对视觉的恢复效果起到至关重要的作用，我们首先综述了视觉恢复中所采用的信号处理算法[JNE'23]，为了更好的拟合视网膜的功能，我们从仿生角度出发提出了首先利用DVS传感器对视觉信息进行脉冲编码，再结合神经形态处理器进行脉冲处理的新型架构，该架构可产生与生物视网膜高度类似的脉冲信号，在高度拟态视网膜的信息处理机制的同时，实现了系统的低功耗，为后续穿戴或植入视网膜假体方案提供了可能性，被[JBHI'22]作为封面文章报道。 在该框架基础上，我们进一步采用尖峰循环神经网络来提高模拟视网膜功能，与真实视网膜信号的皮尔逊相关系数达到了0.93 [Neural Netw.'23]。
-
高动态图像处理算法与芯片
人眼可以同时感受自然界极弱和极强的光线，其动态范围超过120dB。然而，目前的图像传感器动态范围大约在60-70dB左右，难以覆盖人类视觉的动态范围。为了弥补图像传感器动态范围的不足，我们对高动态场景进行多次曝光构建了高动态场景数据库[arXiv'21]，并通过将同一像素在不同曝光度和不同尺度下的映射值进行融合得到高动态图像[AVSS'17]。利用积分直方图以及引导滤波器，我们对算法性能进行了优化和提升，使其可以将高动态图像场景中的极暗和极亮区域的细节展现得淋漓尽致[CAMSAP'17, arXiv'21]。该展示页面展示了经过该算法处理后的高动态图像效果。在经过移动端GPU优化后，该算法被成功应用到手机移动端[arXiv'21]。为了优化和控制图像中的纹理细节，我们利用拉普拉斯金字塔将图像拆解到多个拉普拉斯空间，然后通过神经网络对不同尺度下的纹理进行增强，最后通过优化后的拉普拉斯金字塔恢复出高动态图像。该算法通过对不同尺度纹理的权重调整，可以对图像细节的展现度进行调节[arXiv'21]，该展示页面展示了经处理后高动态图像效果。
为了在低成本的摄像头上实现高动态图像处理，我们还设计了基于局部映射的高动态图像处理算法和FPGA硬件实现 [EL'18]，以及基于尾数-指数表达的全局图像处理算法和FPGA硬件实现[TCAS-II'19]。
-
人工智能视觉芯片
视觉芯片旨在模拟人的视觉信息处理方式，以期望实现或超越人类视觉系统的功能和性能。在高速目标追踪、图像识别等领域具有广泛的应用前景。我们研发了国内最早的1000fps高速视觉芯片[JSSC'14]，在高帧率下实现了简单特征的提取与分类功能。为了进一步解决高速目标追踪过程中遮挡、形变等问题,我们设计了具备像素级特征处理和区域级局部特征处理的异构视觉芯片[EL'14, TCSVT'18]以及与之对应的像素级、区域级特征提取算法[EL'14, EL'16]。通过协同设计视觉芯片和算法，我们的目标追踪系统能够在每秒1000帧的速度下，稳定地追踪目标，即使目标发生形变或被遮挡也能够有效运作[TSMCS'16, Sci. China Inf. Sci'17]
2015年左右，我们首次将卷积神经网络的处理机制引入视觉芯片中，将原有的区域级处理过度为卷积处理，从而实现更加智能的特征提取和分类，并在RISC指令集上进行扩展，实现卷积神经网络算法的快速部署。该架构采用65nm标准CMOS工艺制程流片，在200 MHz 系统时钟下达到 413GOPS 的峰值运算性能，能够高效地完成包括完成人脸识别、目标检测等多种计算机视觉和人工智能算法[Infrared Laser Eng.'20]。该芯片被应用于高速遥感图像检测[J. Infrared Millim. Waves'19]并为后续多款中科院半导体所研发的视觉芯片[TCAS-II'22, JSSC'23]建立了架构基础。