在微观世界里，每一个细胞都是一个繁忙的城市，而分子们则是这个城市中的居民。想象一下，如果我们能够追踪这些居民的每一个动作，或许便能够揭开生命奥秘的一角。这就是科学家们在活细胞中进行 3D 单粒子跟踪 (single particle tracking, SPT) 的宏伟目标。通过这项技术，人们能够观察分子在细胞中的每一个动作，从而理解它们如何相互作用，构建起复杂的生命体。

但是，要在微观世界中进行精确的跟踪并非易事。想象一下，在一部枪战电影中，要追踪一颗快速移动的子弹已经足够困难了，而分子的运动速度远超子弹，运动轨迹的复杂程度更是超乎想象。科学家们面临的挑战就像是要在一场漫天飞舞的雪花中，追踪每一片雪花的轨迹一样艰难。

为了在细胞的三维空间中实时、精确地追踪分子的运动，厦门大学方宁教授团队基于深度学习研发了一种自动化、高速、多维的单粒子追踪系统，打破了细胞微环境中纳米颗粒旋转追踪的局限性，实现了在纳米尺度下，全方位、精准追踪活细胞内单分子/单个纳米颗粒，不仅追踪了其在三维空间的位移，还首次观测到分子/纳米颗粒的旋转运动。目前，该论文已经发表于权威期刊 Nano Letters。

研究亮点：

构建了一个集成深度学习算法的单粒子跟踪系统，克服了低信噪比 (S/N) 条件下旋转跟踪的局限性

该系统可用于跟踪活细胞中各向异性金纳米颗粒探针的三维方向，具有高定位精度 (<10 nm) 和时空分辨率 (0.9ms)

该系统具备比传统方法更好的鲁棒性和抗噪性，已经通过活细胞内沿微管 (microtubule) 运输的货物运动研究证明有效性

SPT 系统：自动、高速、多维的单粒子追踪系统

为了更全面地了解活细胞的动态过程，该研究首先开发了一种多维成像设备：

自动高速多维 SPT 成像装置示意图

如上图所示，该成像装置集成了双焦平面成像 (bifocal plane imaging)、视差显微镜 (parallax microscopy) 和自动追踪功能 (autotracking capabilities)。

双焦平面成像

光束经过凝聚镜 (condenser) 后，通过物镜 (OBJ) 和物镜扫描仪 (OS) ，并通过在采集光路中插入反射透射比为 7:3 的分束器 (BS)，能够将采集到的信号分成两个成像通道（聚焦通道和散焦通道），从而实现双焦平面成像。在离焦通道中插入一个 750mm 的凸透镜 (上图中 L1)，在聚焦通道和离焦通道之间建立约 900 nm 的轴向分离，从而可产生最合适的离焦图案。

视差显微镜

采集到的信号被一个楔形棱镜 (WP) 分裂成两个镜像和垂直排列的图像。该装置通过记录探头在不同 z 轴位置的两幅图像之间的距离，建立 Δy 与 Δz 之间的精确关系，并构建校准曲线。然后，通过计算探针的两个镜像点在 x-y 平面上的距离来确定探针的 z 轴位置。

自动跟踪功能

该装置集成了一个自动反馈跟踪系统，该系统由一个压电物镜扫描仪 (p-725.4CD)，一个控制器 (E-709) 组成。当探头的 z 轴运动导致两个镜面点之间的距离发生变化时，自动跟踪程序会根据变化值计算出目标扫描仪需要移动的距离。

模型架构：输入层+4 个卷积块+3 个全连接层

为了保证数据分布的多样性，该研究通过缩放图像、添加不同程度的高斯噪声以及执行位置变换，将相同比例的模拟数据和实验数据混合，进行训练和验证。

受视觉几何组模型 (Visual Geometry Group, VGG) 的启发，该研究通过将输入图像映射到三维方向 (方位角 φ 和极角 θ)，构建了一个卷积神经网络模型。

一般而言，卷积块 (convolutional blocks) 的数量对于有背景的多层图像特征提取至关重要。因此，该研究使用 1-4 个卷积块分别测试了 CNN 架构。研究结果表明，具有 4 个卷积块的 CNN 模型误差最小。

多维成像系统

从结果来看，该研究的 CNN 模型最终由一个输入层、4 个卷积块和 3 个全连接 (fully connected, FC) 层组成。其中：

输入层可接受固定大小的图像，并且能够将其转换为张量形式传递下去。

4 个卷积块包含多个卷积层和池化层 (pooling layers)：

a. 4 个卷积块中分别含 64、128、256、512 个卷积核，所有卷积核的大小都是 3×3，每个卷积层都通过批归一化 (batch normalization) 和整流线性单元 (ReLU) 激活函数，保证模型能够更快收敛并防止过度拟合，同时还增强了神经网络的非线性映射能力；

b. 池化层在保证平移不变性 (translation invariance) 的同时，减少了网络的计算参数。

3 个全连接层，分别包含 2048、2048 和 451 个神经元，能够将卷积层和池化层提取的特征整合到更高层次的表达中，使网络能够做出更复杂的决策和分类。

深度学习图像识别算法

通过对 CNN-exp、CNN-sim 和 CNN-sim+exp 三种模型的损失曲线进行研究，结果表明，对于模拟数据集，CNN 模型可以在 30 次 epoch 后达到收敛。相比之下，使用实验数据集进行训练则需要大约 90 个 epoch 才能收敛。另外，CNN-sim+exp 模型的收敛速度相对较快。

抗噪性能评估与货物运动研究，CNN 模型更具优势

在实际应用过程中，高时空分辨率和细胞活力会影响活细胞成像。因此，该研究测试了 CNN 模型在 4、2 和 1.4 等不同信噪比条件下的抗噪性和鲁棒性，并与传统的 CC (correlation coefficient) 方法进行对比。

CNN 模型和 CC 方法的成像研究结果

研究结果表明，当信噪比为 4 时，CNN 和 CC 方法都表现出良好的性能和较小的误差，误差均小于 2°；当信噪比降至 2 时，CNN 方法的误差增值仅相当于 CC 方法的五分之一；当信噪比为 1.4，CC 方法无法分辨粒子方向，而 CNN 模型的误差仍在可接受范围内。

这表明在低信噪比环境下，CNN 模型比 CC 方法具有更强的抗噪性和鲁棒性。

货物运输的三维轨迹图

由 ATP 水解产生的能量是驱动细胞内分子进行货物运输的「马达」。因此，货物的特征性平移和旋转运动可提供货物与驱动蛋白结合状态的大量信息，并为阐明货物-马达-微管 (microtubule) 相互作用的研究提供了全新角度。简单来讲，该研究通过自动高速多维 SPT 成像装置结合深度学习模型 (CNN-sim+exp 模型)，研究了活细胞中驱动蛋白沿微管骨架运输货物的动态过程。

在整个运输过程中，货物共经历了两个暂停阶段和几个主动运输阶段。

在第一个暂停阶段，货物的旋转自由度很小，这表明它处于紧密附着模式。在两个暂停阶段之间，货物处于主动运输阶段，自动跟踪系统记录了约 300nm 的轴向位移，这是传统成像方法难以获得的。

在第二个暂停阶段，货物的运动状态不断地在 tight attachment 和 tethered rotation 之间切换。在 tight attachment 模式，货物可通过多种驱动蛋白与微管紧密连接，很少自由旋转。在 tethered rotation 模式下，货物与微管相连之间的结合松散，并且不断寻找、连接新的微管。总的来说，这一系列运动突出了细胞内运输的动态性和复杂性，以及驱动蛋白在促进货物沿着微管轨道运动中的作用。

在美工作 13 载后回归母校

基于对研究人员的深度挖掘，本篇论文的通讯作者——厦门大学方宁教授走进了我们的视野。从求学经历来看，方宁教授可谓是「一路成才，回馈母校」的典范。

1998 年，方宁教授在厦门大学化学系毕业后，先后在加拿大英属哥伦比亚大学和美国能源部埃姆斯国家实验室开展博士及博士后研究，分别师从 David D.Y.Chen 陈大勇教授和国际著名分析化学家 Edward S. Yeung 教授。

方宁教授

在美国工作 13 载后，方宁教授早已升任佐治亚州立大学正教授。为了在国内光学成像领域做出贡献，方宁教授于 2021 年全职回国，以特聘教授的身份加盟厦门大学化学化工学院，开发化学及生物光学成像技术, 并依托这些开创性的工具在纳米材料、催化、以及生物物理等领域，开展单分子、单颗粒级别的研究工作，至今已在 Nature Catalysis, Nature Cell Biology, Chemical Reviews, Nature Communications, Science Advances, JACS, Angewandte Chemie等期刊发表论文 90 余篇。

目前，方宁教授在厦门大学自主搭建了单分子、单颗粒、光学显微成像实验室，围绕分子与纳米材料的光学成像领域，开发了单颗粒旋转追踪技术、拉曼光谱 + 先进成像、激光片层扫描成像、超分辨率光学成像、全内反射荧光、全内反射暗场等六大研究方向，在国内。单分子、单颗粒、光学显微成像领域成绩突出。

早在 2021 年，方宁教授团队就曾先后开发出全新的单粒子旋转追踪系统和三维角度单粒子追踪技术，在阐明受体介导内吞机制和实时解析囊泡在细胞中运输的旋转动力学方面取得了突破性进展。面对汹涌而来的 AI 浪潮，该团队敏锐察觉出 AI 技术在光学成像领域的突出价值，本次研究就是使用深度学习/AI 辅助成像对活细胞生命过程研究的第一步。

方宁教授团队认为，将 AI 引入实验需要在图像的自动识别、运动模式及细胞行为的分类以及预测三大领域取得突破。本次研究成果正是对基于计算模拟生成的数据对图像自动识别的第一阶段取得的阶段性成果。目前，该团队正在对第二阶段的细胞生物过程进行识别和判定。

毫无疑问，当三大阶段均被完成，研究人员或能将对药物递送的进程与结果进行预测，这也将会领国内制药行业之先。

来源: HyperAI超神经