WO2023102774A1 - 一种基于人机交互的声操控方法及系统 - Google Patents

Abstract

本申请涉及一种基于人机交互的声操控方法及系统。所述方法包括：向声镊设备的腔室中注入微粒；采集腔室图像，并将所述腔室图像同步传输至显示终端进行显示；通过所述显示终端获取目标微粒的期望位移坐标，并将所述期望位移坐标传输至控制终端；通过控制终端采用控制算法计算出将所述目标微粒移动到期望位移坐标时叉指换能器所需的激励信号，通过所述激励信号激励叉指换能器生成对应的声场模型，对所述腔室中的目标微粒进行声操控。本申请可以在任意场景对复杂环境下的微粒进行精准操控，减少环境复杂性带来的操控困难。

Description

一种基于人机交互的声操控方法及系统 技术领域

本申请属于声操控技术领域，特别涉及一种基于人机交互的声操控方法及系统。

背景技术

声镊(Acoustic Tweezers，声学镊子)是利用声辐射力原理来捕获和控制微小粒子的一种前沿技术，可以在大尺寸范围内精确地操控细胞等微小颗粒。声镊技术利用声场与身处其中的物体之间的相互作用，使得物体对其吸收或散射从而产生能量转移，即物体受到了声辐射力(Acoustic Radiation Force,ARF)。在生物医学方面，由于声镊的多功能性和生物相容性使得其在细胞和颗粒分选方面有许多应用，包括细胞分选(cell sorting)、细胞图案化排列(cell patterning)、血细胞分离、细胞或颗粒运输、富集稀有细胞或癌细胞等。

现有技术中，绝大多数声镊是依靠围绕腔室的换能器阵列产生驻波并通过由这些驻波以周期性模式形成的声学陷阱进行操控的。而迄今为止，类似的声操控方法主要限于二进制的控制动作(声场开/关)、频率调制、多频率切换以创建特定的操控模式或者通过一些人工结构使其能够局部影响声场进而实现操控，在很大程度上限制了颗粒的可操控性，而且这种操控是预定义的，并非通用任务下以任意声场进行工作。

现有的声操控技术主要包括：

一、基于驻波的声操控：该技术可以捕获微粒集体也可以对微粒进行分类，但是波节与波腹在空间上的多重性排除了其特异性的选择，并且需要根据目标的特性，波源的频率相位对空间的尺寸与位置进行调整，同时需要设计一些人工结构用于辅助操控，无法实现实时任意的操控。

二、基于声流的声操控:由于气泡和基于微结构的现象是非线性的，同时微结构的设计是需要预定义的，无法做出实时的改变，在该技术中的声镊存在低空间分辨率的缺点。

三、基于单束声波的声操控：由于声波的波长需要小于被捕获粒子或细胞的大小，在使用该技术时需要较高的工作频率。

四、基于人机交互的微机器人声学运输：该技术的声操控是一维的，而且微流体的流动方向是相反的，说明位于同一操控器不同侧面的粒子无法同时获得相同的运动方向。

五、基于深度学习的声操控：由于人工智能领域的发展，将人工智能算法结合在声场构建上也是一种便于简化操控系统的方式。但深度学习的训练需要大量的训练集，而采集这些训练集的成本较高，存在精度低路径偏差不连贯与平滑，且时间开销大的缺点。

发明内容

本申请提供了一种基于人机交互的声操控方法及系统，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种基于人机交互的声操控方法，包括：

向声镊设备的腔室中注入微粒；

采集腔室图像，并将所述腔室图像同步传输至显示终端进行显示；

通过所述显示终端获取目标微粒的期望位移坐标，并将所述期望位移坐标传输至控制终端；

通过控制终端采用控制算法计算出将所述目标微粒移动到期望位移坐标 时叉指换能器所需的激励信号，通过所述激励信号激励叉指换能器生成对应的声场模型，对所述腔室中的目标微粒进行声操控。

本申请实施例采取的技术方案还包括：所述向声镊设备的腔室中注入微粒前还包括：

将至少两对叉指换能器与腔道进行绑定，并使所述至少两对叉指换能器分布排列在腔室周围，形成声镊设备；所述声镊设备为声表面波微流控芯片；所述至少两对叉指换能器的分布方式包括圆形、矩形或螺旋形。

本申请实施例采取的技术方案还包括：所述采集腔室图像，并将所述腔室图像同步传输至显示终端进行显示具体为：

通过显微成像设备采集腔室图像，并通过无线通信模块将所述腔室图像同步传输至显示终端进行显示；所述无线通信模块包括蓝牙、WIFI、NFC、Zig-Bee或UWB；所述显示终端包括手机、平板或电脑。

本申请实施例采取的技术方案还包括：所述通过所述显示终端获取目标微粒的期望位移坐标具体为：

通过所述显示终端接收用户选择的需要操控的目标微粒，并采集用户操控目标微粒移动时的离散坐标数据；

将所述离散坐标数据组成一个队列数据，计算所述队列数据的分布聚类得到稳定的坐标点，并对所述坐标点进行平滑处理，得到接近用户操控意图的期望位移坐标。

本申请实施例采取的技术方案还包括：所述通过所述显示终端接收用户选择的需要操控的目标微粒，并采集用户操控目标微粒移动时的离散坐标数据具体为：

采用触控、语音、视线、键鼠或手柄从所述显示终端的显示屏上选择需要移动的目标微粒，并对所述目标微粒进行移动。

本申请实施例采取的技术方案还包括：所述通过所述显示终端获取目标微粒的期望位移坐标还包括：

通过所述显示终端设置移动所述目标微粒的目的点或路径点，根据所述目的点或路径点自动规划移动路径，并根据所述移动路径对所述目标微粒进行自动操控。

本申请实施例采取的技术方案还包括：所述将所述期望位移坐标传输至控制终端具体为：

通过有线方式或无线方式将所述期望位移坐标传输至控制终端。

本申请实施例采取的技术方案还包括：所述控制终端包括FPGA或波形发声器。

本申请实施例采取的技术方案还包括：所述通过所述激励信号激励叉指换能器生成对应的声场模型具体为：

测量叉指换能器的脉冲响应，并通过线性叠加各个激励信号的脉冲响应计算出传递函数，根据所述传递函数得到信号源-声场的函数：

|S>＝H|E>

其中S表示声场模式，E表示信号输入，H为传递函数；

通过频谱的逆滤波算法从期望输出|S>确定最优输入|E>；

记录所有叉指换能器的空间脉冲响应(H matrix)：

将H矩阵从空间域变换到频谱域；

通过H的彭诺斯广义逆计算，得出一个从期望输出|S>确定的最优输入|E>；

将最优输入|E>通过傅里叶反变换得到叉指换能器所需的激励信号。

本申请实施例采取的另一技术方案为：一种基于人机交互的声操控系统，包括：

声镊设备：用于注入待操控的微粒；

显微成像设备：用于采集腔室图像，并将所述腔室图像同步传输至显示终端进行显示；

显示终端：用于获取目标微粒的期望位移坐标，并将所述期望位移坐标传输至控制终端；

控制终端：用于采用控制算法计算出将所述目标微粒移动到期望位移坐标时叉指换能器所需的激励信号，通过所述激励信号激励叉指换能器生成对应的声场模型，对所述声镊设备中的目标微粒进行声操控。

相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的基于人机交互的声操控方法及系统通过显示终端同步显示腔室图像，并获取用户的操控意图，计算出与操控意图接近的期望位移坐标，将期望位移坐标传输给控制终端，控制终端通过控制算法计算出将目标微粒移动到期望位移坐标时叉指换能器所需的激励信号，从而通过激励信号激励叉指换能器生成对应的声场模型，实现对腔室中的目标微粒进行与用户操控意图相对应的声操控。本申请实施例可以在任意场景对复杂环境下的微粒进行精准操控，可以在复杂环境下实时操控粒子进行任意路径的移动，减少环境复杂性带来的操控困难。

附图说明

图1是本申请实施例的基于人机交互的声操控方法的流程图；

图2为本申请实施例中叉指换能器的驻波受力图，其中(a)为散落分布的微粒示意图，(b)为由多对叉指换能器生成的驻波声场，微粒都被捕获在驻 波节点处的示意图；

图3为本申请实施例的基于人机交互的声操控系统结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

请参阅图1，是本申请实施例的基于人机交互的声操控方法的流程图。本申请实施例的基于人机交互的声操控方法包括以下步骤：

S10：通过多对叉指换能器制备声镊设备；

本步骤中，声镊设备为SAW(Surface Acoustic Wave，声表面波)微流控芯片，通过等离子处理的方式将多对叉指换能器与腔道进行绑定，形成SAW微流控芯片。腔道的材料包括但不限于PDMS(Polydimethylsiloxane，聚二甲基硅氧烷)或其他高分子材料及单晶硅材料。SAW微流控芯片主要由至少两对叉指换能器和压电基底组成，多对叉指换能器以圆形、矩形或螺旋形等形式分布排列在腔室周围，用于生成二维声表面波驻波声场。每对叉指换能器的共振频率均不一样，可以使得生成的二维声表面波驻波声场便于分离各个方向上的微粒。同时，为了获得更加精确与复杂的二维声场，还可以增加叉指换能器的数量，通过将叉指换能器增加为两对以上，以提高声场的复杂度，可根据任意声场的分辨率提高效率与精确度。为获得较大的机电耦合系数，叉指换能器的压电基底为128°YX双面抛光的铌酸锂晶体。SAW微流控芯片的制备工艺为MEMS(Micro-Electro-Mechanical System，微机电系统)技术，制备流程包括涂胶、光刻、镀膜、剥离、等离子处理等工艺。MEMS技术的性能一致性良好， 并且成本低廉，可大量生产。且在对不同的目标细胞进行分选，可以通过调整算法达到目的，降低了重复制作芯片的成本。

S20：将悬浮液中的微粒注入到声镊设备的腔室中；

S30：通过显微成像设备采集腔室图像，并通过无线通信模块将腔室图像同步传输至显示终端进行显示；

本步骤中，无线通信模块包括但不限于蓝牙、WIFI、NFC(Near Field Communication，近场通信)，Zig-Bee(紫蜂)或UWB(Ultra Wide Band，超宽带)等。通过无线通信模块可以实时将显微成像设备下的腔室图像同步显示在显示终端上，用户可通过显示终端对腔室图像中的目标微粒进行操作，并通过无线通信模块将用户在显示终端上的操作手势上传到控制终端，进而对腔室中的目标微粒进行声操控。本发明在有线的基础上增加了无线通信模块，增加了系统的应用场景。

S40：通过显示终端接收用户选择的腔室图像中需要操控的目标微粒，并采集用户操控目标微粒移动时的离散坐标数据；

本步骤中，本申请实施例中，显示终端包括但不限于手机、平板或电脑等智能设备。用户可采用触控、语音、视线、键鼠、手柄等方式从显示终端的显示屏上选择需要移动的目标微粒，并对选择的目标微粒进行移动操作，在此基础上，还可利用光、电、磁等方法对选择的目标微粒进行操控。

进一步地，本申请实施例还包括自动化的路径规划模块，在极端恶劣的操作环境下，用户可通过显示终端的路径规划模块设置移动目标微粒的目的点或路径点，由系统进行自动化路径规划以及操控。

S50：将采集到的离散坐标数据组成一个队列数据，通过计算队列数据的分布聚类得到稳定的坐标点，并对坐标点进行平滑处理，得到更为接近用户操 控意图的期望位移坐标；

S60：将期望位移坐标传输到控制终端，控制终端采用控制算法计算出将目标微粒移动到期望位移坐标时叉指换能器所需的激励信号；

本步骤中，控制终端包括FPGA等高性能单片机或Verasonics等波形发声器。期望位移坐标的传输方式包括有线传输或无线传输。在有线传输中，显示终端采用USB Type C(一种USB接口外形标准)与HDMI(High Definition Multimedia Interface，高清多媒体接口)与控制终端连接，并达到20ms的时间分辨率。在有线传输中，可以选择性地操控多个对象并进行指定位置的移动与排列。在无线传输时，可低延迟地远程操控对象，并在通信环境或操控环境下具有一定的智能辅助效果，纠正并优化操控轨迹。

S70：根据计算得到的激励信号激励叉指换能器生成对应的声场模型，控制腔室中的目标微粒向期望位移坐标移动，实现基于人机交互的声操控；

本步骤中，本申请实施例中，需要生成任意声场并通过任意声场来操控微粒移动任意路径点。对于腔室中的微粒，需要将任意声场分解为各个叉指换能器系统并推导出传递函数，根据传递函数，分别激励每一个换能器以形成所需的声场。声场模型构建方式具体为：

对一对叉指换能器施加连续正弦信号，在腔道内形成二维声表面波驻波声场，二维声表面波驻波声场作用于微粒的平均声辐射力可以表示为：

式中P(r,t)为t时刻r位置的声压，V(t)为t时刻微粒的体积。k,ω分别为声波数和声波频率；R为微粒半径，(ω为微粒的谐振频率，A为速度势的复振幅，ρ为流体密度，d为微粒到最近驻波节点的距离。具体如图2所示，为本申请实施例中叉指换能器的驻波受力图，其中(a)为散落分布的微粒，(b)为由 多对叉指换能器生成的驻波声场，微粒都被捕获在驻波节点处。

通过调整施加在叉指换能器上的激励信号的相对相位，驻波压力节点的位置随之移动，从而使得微粒发生移动。微粒在x轴和y轴方向上的位移可以由下式定义：

式中

与

分别表示x轴和y轴上的叉指换能器的相对相位；n为相对相位从0°改变到360°的重复次数。微粒的移动完全依赖于x、y两个方向上的相对相位，因此可以通过精确同步地调制x和y方向的相对相位来驱动微粒沿任意轨迹运动。此外，由于微粒的相对相位和位移之间的单调关系，微粒可以在微通道内任意距离移动。

多对叉指换能器的任意声场模型的构建需要通过在多普勒测振仪等设备上测量叉指换能器的脉冲响应，并通过线性叠加各个激励信号的脉冲响应计算出其传递函数，进而得到信号源-声场的函数：

|S>＝H|E>  (3)

上式中，S表示声场模式，E表示信号输入，H为传递函数，即信号输入E经过传递函数H会得到理想状态下的声场模式S。传递函数H是一个系数矩阵，可以理解为一个线性方程组，因此也可以通过神经网络或线性回归器等模型拟合。

本申请实施例通过频谱的逆滤波算法进行|E>的计算，其计算过程具体包括四个：

S71：记录所有叉指换能器的空间脉冲响应(H matrix)：

S72：将H矩阵从空间域变换到频谱域，使其频域响应更明显：

S73：通过H的彭诺斯广义逆计算，得出一个从期望输出|S>确定的最优信号输入|E>。

S74：将|E>通过傅里叶反变换得到随时间变化的激励信号。

本步骤中，本申请实施例使用逆滤波的方式构建声场模型，减少了对复杂声场构建的工作量，并可以根据实际响应进行计算，保证了结果的可靠性。

本申请实施例中，还可以采用深度学习或有限元法进行声场模型的构建。通过大量成对的数据(声场-信号输入)作为训练集进行声场模型构建，得到一个近似解，并在使用过程中逐渐适用当下环境的响应。

在进行声操控过程中，因为实际操控的响应不一定会与理想模型一致，也不一定能与用户的操控行为完全同步，需要由系统进行基于视觉反馈的修正与优化，系统基于实际移动情况与用户的操控行为进行误差调整。本申请实施例采用RL(Reinforcement Learning，强化学习)算法作为辅助修正，根据理想移动位置与实际操控手势之间的视觉误差反馈对声操控进行一定的补偿，提高系统操控的精准度。强化学习包括但不限于DQN、Policy Gradient、Actor-Critic或其他非机器学习方法。RL模型由策略函数与价值函数组成，策略函数由卷积神经网络(Convolutional Neural Network,CNN)作为策略生成模型，并通过ε贪婪算法以小步长进行小幅度的偏差修正策略以确定理想模型与实际环境的补偿，同时ε贪婪算法可以作为随机性策略避免陷入闭环的循环选择。价值函数用于评估马尔可夫决策(Markov Decision Process,MDP)中当下策略与画面状态转移对达到目标点的综合价值，用于在策略选择中偏向于价值更高、靠性更强的操作。

本申请实施例通过人机交互进行声操控，用户可以实时更改操控行为以实时改变微粒的位置，无需重新预定义路径，实现任意轨迹的声操控。通过本发 明不仅可以实现对细胞、有机微粒、无机微粒的操控，也可以实现对纳米生物颗粒以及线虫等小动物的操控。微粒的聚集与分选仅仅依靠分析结果调节叉指换能器的激励信号，不需要改变声表面波微流控芯片的结构，具有较好的普遍适用性。

基于上述，本申请实施例的基于人机交互的声操控方法通过显示终端同步显示腔室图像，并获取用户的操控意图，计算出与操控意图接近的期望位移坐标，将期望位移坐标传输给控制终端，控制终端通过控制算法计算出将目标微粒移动到期望位移坐标时叉指换能器所需的激励信号，从而通过激励信号激励叉指换能器生成对应的声场模型，实现对腔室中的目标微粒进行与用户操控意图相对应的声操控。本申请实施例可以在任意场景对复杂环境下的微粒进行精准操控，不仅可以在复杂环境下实时操控粒子进行任意路径的移动，还可以结合机器学习算法开发基于图像识别的智能操控系统，为体内复杂环境下的靶向给药，微型机器人推动，微反应器的功能性操作，多个细胞间任意性的操作等应用提供开发基础。

请参阅图3，为本申请实施例的基于人机交互的声操控系统结构示意图。本申请实施例的基于人机交互的声操控系统包括：

声镊设备10：用于注入待操控的微粒；

显微成像设备20：用于采集腔室图像，并将腔室图像同步传输至显示终端进行显示；

显示终端30：用于获取目标微粒的期望位移坐标，并将期望位移坐标传输至控制终端；

控制终端40：用于采用控制算法计算出将目标微粒移动到期望位移坐标时叉指换能器所需的激励信号，通过激励信号激励叉指换能器生成对应的声场 模型，对声镊设备10中的目标微粒进行声操控。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1. 一种基于人机交互的声操控方法，其特征在于，包括：

   向声镊设备的腔室中注入微粒；

   采集腔室图像，并将所述腔室图像同步传输至显示终端进行显示；

   通过所述显示终端获取目标微粒的期望位移坐标，并将所述期望位移坐标传输至控制终端；

   通过控制终端采用控制算法计算出将所述目标微粒移动到期望位移坐标时叉指换能器所需的激励信号，通过所述激励信号激励叉指换能器生成对应的声场模型，对所述腔室中的目标微粒进行声操控。
2. 根据权利要求1所述的基于人机交互的声操控方法，其特征在于，所述向声镊设备的腔室中注入微粒前还包括：

   将至少两对叉指换能器与腔道进行绑定，并使所述至少两对叉指换能器分布排列在腔室周围，形成声镊设备；所述声镊设备为声表面波微流控芯片；所述至少两对叉指换能器的分布方式包括圆形、矩形或螺旋形。
3. 根据权利要求1所述的基于人机交互的声操控方法，其特征在于，所述采集腔室图像，并将所述腔室图像同步传输至显示终端进行显示具体为：

   通过显微成像设备采集腔室图像，并通过无线通信模块将所述腔室图像同步传输至显示终端进行显示；所述无线通信模块包括蓝牙、WIFI、NFC、Zig-Bee或UWB；所述显示终端包括手机、平板或电脑。
4. 根据权利要求3所述的基于人机交互的声操控方法，其特征在于，所述通过所述显示终端获取目标微粒的期望位移坐标具体为：

   通过所述显示终端接收用户选择的需要操控的目标微粒，并采集用户操控目 标微粒移动时的离散坐标数据；

   将所述离散坐标数据组成一个队列数据，计算所述队列数据的分布聚类得到稳定的坐标点，并对所述坐标点进行平滑处理，得到接近用户操控意图的期望位移坐标。
5. 根据权利要求4所述的基于人机交互的声操控方法，其特征在于，所述通过所述显示终端接收用户选择的需要操控的目标微粒，并采集用户操控目标微粒移动时的离散坐标数据具体为：

   采用触控、语音、视线、键鼠或手柄从所述显示终端的显示屏上选择需要移动的目标微粒，并对所述目标微粒进行移动。
6. 根据权利要求5所述的基于人机交互的声操控方法，其特征在于，所述通过所述显示终端获取目标微粒的期望位移坐标还包括：

   通过所述显示终端设置移动所述目标微粒的目的点或路径点，根据所述目的点或路径点自动规划移动路径，并根据所述移动路径对所述目标微粒进行自动操控。
7. 根据权利要求6所述的基于人机交互的声操控方法，其特征在于，所述将所述期望位移坐标传输至控制终端具体为：

   通过有线方式或无线方式将所述期望位移坐标传输至控制终端。
8. 根据权利要求7所述的基于人机交互的声操控方法，其特征在于，所述控制终端包括FPGA或波形发声器。
9. 根据权利要求1至8任一项所述的基于人机交互的声操控方法，其特征在于，所述通过所述激励信号激励叉指换能器生成对应的声场模型具体为：

   测量叉指换能器的脉冲响应，并通过线性叠加各个激励信号的脉冲响应计算出传递函数，根据所述传递函数得到信号源-声场的函数：

   |S>＝H|E>

   其中S表示声场模式，E表示信号输入，H为传递函数；

   通过频谱的逆滤波算法从期望输出|S>确定最优输入|E>；

   记录所有叉指换能器的空间脉冲响应(H matrix)：

   将H矩阵从空间域变换到频谱域；

   通过H的彭诺斯广义逆计算，得出一个从期望输出|S>确定的最优输入|E>；

   将最优输入|E>通过傅里叶反变换得到叉指换能器所需的激励信号。
10. 一种基于人机交互的声操控系统，其特征在于，包括：

    声镊设备：用于注入待操控的微粒；

    显微成像设备：用于采集腔室图像，并将所述腔室图像同步传输至显示终端进行显示；

    显示终端：用于获取目标微粒的期望位移坐标，并将所述期望位移坐标传输至控制终端；

    控制终端：用于采用控制算法计算出将所述目标微粒移动到期望位移坐标时叉指换能器所需的激励信号，通过所述激励信号激励叉指换能器生成对应的声场模型，对所述声镊设备中的目标微粒进行声操控。

Images