WO2019037582A1

WO2019037582A1 - 一种图像处理方法及装置

Info

Publication number: WO2019037582A1
Application number: PCT/CN2018/098388
Authority: WO
Inventors: 欧阳聪星
Original assignee: 欧阳聪星
Priority date: 2017-08-25
Filing date: 2018-08-02
Publication date: 2019-02-28
Also published as: TW201913576A; TWI691933B; EP3675037A4; EP3675037A1; CN107644454B; CN107644454A; US20200184723A1; US10937238B2

Abstract

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置，该方法为，接收内窥器发送的用户的图像数据，进行保存、拼接，获得拼接后的图像数据；根据保存的三维图像框架数据库，确定拼接后的图像数据对应的区块，并确定该区块在保存的用户的三维图像轮廓中的位置，并将拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，更新当前保存的用户的三维图像模型；展示更新后的用户的三维图像模型，这样，基于三维图像框架数据库和三维图像轮廓，无需对口腔连续有序扫描，就可以重构出口腔三维图像，动态展示，提升用户互动效果，很好地支持用户自助式的三维真彩取模。

Description

一种图像处理方法及装置

本申请要求在2017年08月25日提交中国专利局、申请号为201710744863.3、发明名称为“一种图像处理方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

传统的口腔内窥器是用于牙科光学取模的一种设备，在使用时需要把取模用的光学枪头在用户上牙列、下牙列有序移动，不支持扫描枪头在口腔内随意漫游，专业性很强，用户互动效果差，需要专业人士才能操作。

目前，也出现了一种用户自助式的口腔内窥器，用户手持这种设备，将摄像头部分放入口腔，转动摄像头对口腔进行内窥。但内窥图像每次只能看到一个很小的局部，虽然也能看到牙齿的画面，但难以确认这是哪一颗牙的画面，也不知道当前所看到的细节处于口腔的哪个具体位置。并且，缺乏三维图像信息，无法对接全口牙列取模，无法实时生成当下的全口牙列数字化模型，因而也无法支撑牙套式洁齿器3D打印等牙科应用。

发明内容

本发明实施例提供一种图像处理方法及装置，以解决现有技术中口腔图像呈现的用户互动效果差、难以支持用户自助式的三维真彩取模的问题。

本发明实施例提供的具体技术方案如下：

一种图像处理方法，包括：

步骤A：接收内窥器发送的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据，并且所述图像数据的类型为深度图像；

步骤B：保存接收到的图像数据，并分别判断保存的图像数据相互之间是否能够拼接，当确定能够拼接时，将保存的图像数据进行拼接，获得拼接后的图像数据；

步骤C：根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，并将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像数据以及每个区块的图像的位置信息；

步骤D：根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型；其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓；

步骤E：展示更新后的所述用户的三维图像模型。

较佳的，所述区块的图像数据包括：编号信息、图像特征信息；

所述区块的图像的位置信息包括：每个区块相互之间的空间位置关系；

所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。

较佳的，根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，具体包括：

根据预设的图像模式识别算法，基于所述三维图像框架数据库中区块的图像特征信息，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系；

根据区块相互之间的空间位置关系和/或编号信息，确定拼接后的图像数据对应的所述三维图像框架数据库中区块，在所述用户的三维图像轮廓中的位置。

若所述内窥器中包括至少两个预设的相对位置固定的摄像单元，则根据预设的内窥器中每一个摄像单元在内窥器中的相对空间位置关系，以及所述图像数据中携带的摄像单元的标识，分别确定所述拼接后的图像数据的相对空间位置关系；

根据预设的图像模式识别算法，基于所述三维图像框架数据库中区块的图像特征信息、和拼接后的图像数据的相对空间位置关系，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系；

较佳的，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配时，进一步包括：

当确定拼接后的图像数据至少对应两个区块时，则根据所述三维图像框架数据库中预设的区块相互之间的空间位置关系，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系。

较佳的，进一步包括：

若获得至少两组第一映射关系，则根据每组第一映射关系的置信度，从所述至少两组第一映射关系中，选择出第一预设数目的第一映射关系，并将所述选择出的第一预设数目的第一映射关系，用于下一次接收到内窥器发送的用户的图像数据时，计算第一映射关系中，以使针对下一次接收到的图像数据，分别获得基于所述选择出的第一预设数目的第一映射关系的各映射关系，直到获取到不大于第二预设数目的最大值个第一映射关系时，分别判断第二预设数目个第一映射关系中，每组第一映射关系的叠加置信度，若判断出所述第二预设数目个第一映射关系中任意一组映射关系的叠加置信度不小于预设阈值，则将所述任意一组第一映射关系，作为拼接后的图像数据与所述三维图像框架数据库中区块的第二映射关系。

较佳的，将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，具体包括：

根据所述三维图像框架数据库中区块的边界特征信息，从所述拼接后的图像数据中提取出属于对应的区块的三维曲面图像；其中，所述图像特征信息中至少包括区块的边界特征信息；

将提取出的三维曲面图像替换所述用户的三维图像轮廓中对应的确定的位置上的图像，获得重构后的三维图像数据。

较佳的，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型，具体包括：

将所述重构后的三维图像数据，替换掉当前保存的所述用户的三维图像模型中对应的确定的位置上的图像；

进一步包括：

根据更新后的所述用户的三维图像模型，获取更新后的所述用户的三维图像模型对应的三维图像轮廓，并根据所述更新后的所述用户的三维图像模型对应的三维图像轮廓，更新保存的所述用户的三维图像轮廓。

较佳的，进一步包括：

当再次接收到内窥器发送的用户的图像数据，返回执行所述步骤B。

较佳的，展示更新后的所述用户的三维图像模型之后，进一步包括：

接收用户的操作指令，并根据所述操作指令，对展示的更新后的所述用户的三维图像模型执行相应的操作。

一种图像处理装置，包括：

接收单元，用于接收内窥器发送的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据，并且所述图像数据的类型为深度图像；

处理单元，用于保存接收到的图像数据，并分别判断保存的图像数据相互之间是否能够拼接，当确定能够拼接时，将保存的图像数据进行拼接，获得拼接后的图像数据；并根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，并将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像数据以及每个区块的图像的位置信息，以及，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型；其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓；

展示单元，用于展示更新后的所述用户的三维图像模型。

较佳的，根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，处理单元具体用于：

较佳的，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配时，处理单元进一步用于：

较佳的，处理单元进一步用于：

较佳的，将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，处理单元具体用于：

较佳的，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型，处理单元具体用于：

处理单元进一步用于：

较佳的，接收单元进一步用于：当再次接收到内窥器发送的用户的图像数据，并所述处理单元进一步用于返回执行所述保存接收到的图像数据，并分别判断保存的图像数据相互之间是否能够拼接，当确定能够拼接时，将保存的图像数据进行拼接，获得拼接后的图像数据；并根据保存的三维图像框架数据库和保存的所述用户的三维图像轮廓，确定所述拼接后的图像数据对应于所述用户的三维图像轮廓中的位置，并将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，以及，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型。

操作单元，用于接收用户的操作指令，并根据所述操作指令，对展示的更新后的所述用户的三维图像模型执行相应的操作。

本发明实施例中，接收内窥器发送的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据，并且所述图像数据的类型为深度图像；保存接收到的图像数据，并分别判断保存的图像数据相互之间是否能够拼接，当确定能够拼接时，将保存的图像数据进行拼接，获得拼接后的图像数据；根据保存的三维图像框架数据库和保存的所述用户的三维图像轮廓，确定所述拼接后的图像数据对应于所述用户的三维图像轮廓中的位置，并将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据；根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型；其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓；展示更新后的所述用户的三维图像模型，这样，根据建立的三维图像框架数据库和用户的三维图像轮廓，接收到图像数据时，进行保存、拼接，对拼接后的图像数据进行处理、重构等操作，获得重构后的三维图像，并实时更新当前保存的用户的三维图像模型，进而进行展示，不需要内窥器对口腔连续有序扫描，用户可以使用内窥器随意扫描口腔，只要获得口腔内表面各处图像数据而不论是否有序，就可以重构出口腔的三维图像，提高了三维图像重构效率，并且，不需要专业人士操作，很好地支持了用户自助式口腔内窥，以及不仅可以呈现用户口腔的三维图像，而且可以动态进行展示，展示效果更好，提升了用户的使用体验和互动效果，可以很好地支持用户自助式的三维真彩取模。

而且，由于本发明实施例中建立了三维图像框架数据库，所述三维图像框架数据库中至少包括预划分的三维图像框架的每一个区块，并建立了完整的区块的标签体系，每一个区块括：编号信息、名称信息、档案属性描述信息、三维曲面图样、图像特征信息，以及每一个区块相互之间的空间位置关系等。这使得本发明的图像处理装置在对接收到的图像数据进行处理的过程中，能获取从内窥器接收到的图像数据的语义信息。这就为采用人工智能技术来开展口腔内窥影像检查创造了条件。

附图说明

图1为本发明实施例一提供的三维图像处理方法流程图；

图2为本发明实施例四提供的初始展示三维图像；

图3为本发明实施例四提供的在扫描过程中展示的三维图像；

图4为本发明实施例四提供的扫描完成后展示的三维图像；

图5为本发明实施例五提供的环境架构示意图；

图6为本发明实施例六提供的三维图像处理装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有技术中口腔图像呈现用户互动效果差、难以支持用户自助式口腔三维真彩扫描的问题，本发明实施例中，建立了三维图像框架数据库和三维图像轮廓，对接收到的图像数据进行处理，重构于用户的三维图像轮廓上，可以实现三维口腔图像的建立，并且可以动态展示重构的三维图像。

下面通过具体实施例对本发明方案进行详细描述，当然，本发明并不限于以下实施例。

值得说明的是，本发明实施例中，主要针对口腔三维图像的重构，其中，内窥器可以为口腔内窥器，当然，本发明实施例中，并不仅限于口腔三维图像，对于其它领域的三维图像重构同样也可以适用，下面仅以口腔为例进行说明。

实施例一：

参阅图1所示，本发明实施例中，图像处理方法的具体流程如下：

步骤100：接收内窥器发送的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据，并且所述图像数据的类型为深度图像。

实际中，用户经常会有想要查看口腔的图像的需求，例如，牙疼时或某个牙坏掉时，通过口腔内窥器扫描口腔，可以得到口腔中的图像，但是，现有技术中，扫描口腔后，只能得到局部的图像，不能呈现整体的三维图像，用户无法看到自己口腔的整体三维画面，也无法确定坏掉的牙或出现问题的部位具体在口腔的哪个位置。目前，也有一种可以呈现口腔的三维图像的技术，在三维图像重构过程中，设定一个唯一的初始区域，之后，就把前述初始区域作为唯一的锚定点，对前端采集到的图像序列依次不断做图像拼接，从而不断扩大前述区域并衍生为主体区域，在口腔中连续扫描直到扫描完成。但是，这种方法，在三维重构过程中，如果采集到的某个图像数据与前述初始区域或主体区域无法拼接，则会把该图像数据丢弃，即无法随意扫描用户想看到的部位，用户只能看到一个由前述唯一初始区域连续拼接而形成的三维图像。

本发明实施例中，将接收到图像数据，直接重构于用户的三维图像轮廓中，不仅可以呈现口腔的三维图像，而且可以支持多初始区域扫描拼接，用户可以随意扫描口腔中的任意部位，并且，可以看到图像在口腔中的具体位置，用户可以清楚地看到自己口腔的轮廓和三维图像。

其中，内窥器，例如为口腔内窥器，该内窥器中设置有摄像单元，用于拍摄图像，内窥器中可以设置有一个摄像单元，也可以设置有多个摄像单元，并且，拍摄到的图像数据的类型为深度图像，也就是RGBD图像，为三维真彩图像，这样可以获取图像的三维信息，便于后续进行三维图像重构。

步骤110：保存接收到的图像数据，并分别判断保存的图像数据相互之间是否能够拼接，当确定能够拼接时，将保存的图像数据进行拼接，获得拼接后的图像数据。

其中，获得的拼接后的图像数据，表示所有经过拼接处理后的图像数据，其中，不仅包括能够拼接，并拼接成功、与其他图像数据拼接后组成的更大面积的图像数据，还包括经过判断后拼接不成功，依旧孤立存在的图像数据。

本发明实施例中，每次接收到图像数据时，都会进行保存，并确定当前保存的所有的图像数据相互之间是否能够拼接，不仅仅只是针对一次接收的到图像数据，是针对当前保存的所有的图像数据，先判断是否能够拼接。

这是因为，对于口腔中内窥器，为便于用户使用的舒适性和便利性，一般比较小，其每一个摄像单元一般采用微焦距的摄像单元。对于微焦距的摄像单元，每次采集到的图像多数情况下都是面积很小的一块曲面，例如，面积为2mm*2mm或3mm*3mm，多数情况下无法完全覆盖一个区块，只是一个区块的局部表面，因此，可以先把图像数据进行拼接，再进行匹配，可以提高匹配的效率和准确性。

并且，每次接收到的图像数据都会进行保存，也就是说，判断是否能够拼接时，保存的图像数据中不仅包括本次接收到的图像数据，还包括之前所有接收到的图像数据，如果这些图像其中部分能够拼接，先进行拼接再匹配，也可以减少图像数目，减少图像与区块的匹配次数，减少时间，也提高了执行效率。

步骤120：根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，并将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像数据以及每个区块的图像的位置信息。

本发明实施例中，预先建立了口腔的三维图像框架数据库和三维图像轮廓。

其中，所述区块的图像数据包括：编号信息、图像特征信息。

所述区块的图像的位置信息包括：每个区块相互之间的空间位置关系。

其中，所述图像特征信息至少包括图像的形状、色彩和纹理相关的参数信息。

所述用户的三维图像轮廓，是基于所述三维图像框架数据库或所述用户的三维图像模型得到的；其中，所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。

也就是说，本发明实施例中，建立了口腔的三维图像框架数据库和相应的三维图像轮廓，并对口腔进行了区块的划分，以及记录了相关的各种信息，这样，给本发明实施例中，实现口腔的三维图像的重构提供了技术基础和支持，具体地，对于三维图像框架数据库和三维图像轮廓，将在下文再详细进行介绍。

执行步骤120时，具体包括：

首先，根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置。

其中，执行该步骤具体的方式，将在下文再进行详细说明。

然后，将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据。

具体地：

1)根据所述三维图像框架数据库中区块的边界特征信息，从所述拼接后的图像数据中提取出属于对应的区块的三维曲面图像；其中，所述图像特征信息中至少包括区块的边界特征信息。

这样，根据区块的边界特征信息，可以确定每个区块的边界特征，例如，某拼接后的图像数据P(a)对应于区块1，但P(a)中可能覆盖多于该区块1的信息，这时，可以根据区块1的边界特征信息，按照边界从P(a)中提取相应的三维曲面图像。

又例如，对于某些面积大的区块，例如，上颌牙槽嵴唇侧黏膜区块，该区块上界为上口腔前庭沟的黏膜反折线，与上唇黏膜区块相接。下界与上牙列牙龈唇侧面相接。左界与上颌牙槽嵴左颊侧黏膜区块相接。右界与上颌牙槽嵴右颊侧黏膜区块相接。

如果此时获得的拼接后的图像数据，仅是该区块的一部分，则也可以按照该区块的各边界特征信息，进行提取，例如，该拼接后的图像数据是该区块的，仅包含该区块上界特征信息，从上界到下界中间的部分图像，则在提取时，可以根据该区块的上界特征信息，去除上界的外部图像数据，保留属于该区块的上界以及上界向内的图像数据。

这时，从拼接后的图像数据中一次提取出来的该区块的三维曲面图像只是该区块的一个局部图像。之后展示时，展示的该区块图像也只是该区块已经提取出的局部三维曲面图像。之后，随着扫描和图像拼接的继续进行，就能逐步展示出该区块的完整三维曲面图像。2)将提取出的三维曲面图像替换所述用户的三维图像轮廓中对应的确定的位置上的图像，获得重构后的三维图像数据。

其中，将提取出的三维曲面图像替换所述用户的三维图像轮廓中对应的确定的位置上的图像，还可以分为以下几种情况：

第一种情况：具体包括：

首先，根据所述第一映射关系或第二映射关系，确定拼接后的图像数据对应于所述三维图像框架数据库中的区块。

然后，根据区块相互之间的空间位置关系和/或编号信息，分别判断拼接后的图像数据对应于所述三维图像框架数据库中的区块，是否在所述用户的三维图像轮廓中存在。

最后，若是，则直接将提取出的三维曲面图像替换所述用户的三维图像轮廓中对应的区块的图像；

若否，则根据区块相互之间的空间位置关系，确定拼接后的图像数据对应于所述三维图像框架数据库中的区块，在所述用户的三维图像轮廓中的位置，并在所述用户的三维图像轮廓中的位置上增加对应的区块，以及若所述用户的三维图像轮廓中的位置上已有其它区块，则将所述其它区块删除，以及，将提取出的三维曲面图像替换所述增加的对应的区块的图像。

也就是说，在重构三维图像时，替换用户的三维图像轮廓中对应的确定的位置上的图像时，可能会对三维图像轮廓有以下几种操作：直接替换区块的图像、增加或删除区块后再替换其图像。例如，图像1对应三维图像框架数据库中的区块a、图像2对应三维图像框架数据库中的区块b、图像3对应三维图像框架数据库中的区块c，并且，区块b在区块a和区块c之间，分别与区块a和区块c相邻，则若在该用户的三维图像轮廓中，区块a和区块c是相邻的，没有包括区块b，则将图像1和图像3直接替换三维图像轮廓中区块a和区块c的图像，并在区块a和区块c中间增加区块b，并将图像2替换在三维图像轮廓中增加的区块b的图像。

具体地，再列举以下场景进行说明。

1)区块删减操作。

例如，用户因外伤或牙病造成左下4牙齿脱落。若用户的左下4牙齿脱落，在内窥图像数据中表现为：

1)左下3牙齿远中邻接面区块左侧的牙间缝空间会比较大，而此牙间缝的左侧是左下5牙齿近中邻面区块。

2)左下3牙齿远中邻面左侧相接的牙龈沟再往左侧相接的龈乳突区块的面积比较大，该龈乳突区块延展成为下牙槽嵴顶端覆盖的黏膜区块。该黏膜区块的左侧通过牙龈沟与左下5牙齿近中邻面相接。

因此，在图像重构过程中，将把左下4牙齿的相关区块剔除，包括：左下4牙齿颊侧区块、左下4牙齿近中邻面区块、左下4牙齿远中邻面区块、左下4牙齿咬合面区块、左下4牙齿舌侧区块、左下4龈乳突区块等。以上就是图像三维重构处理过程中的区块删减操作。

2)区块增加操作。

例如，用户左下2牙齿舌侧存在牙结石症状。若用户左下2牙齿舌侧存在牙结石症状，在内窥图像数据中表现为：

1)用户左下2牙齿舌侧区块的下界至少有部分边界与牙结石区块的上界相接，而非与左下2舌侧牙龈区块相接。

2)牙结石区块的下界与左下2舌侧牙龈区块相接。

因此，在图像重构过程中，将在左下2牙齿舌侧区块和左下2舌侧牙龈区块之间增加一个牙结石区块(例如：区块编号为2412203)。以上就是图像三维重构处理过程中的区块增加操作。

3)例如，用户的三维图像轮廓中的口腔黏膜区块的中间有溃疡区块，后来已经好转，该溃疡区块消失了。重构后，替换掉三维图像轮廓中口腔黏膜区块的图像，由于没有获得溃疡区块的图，这时，口腔黏膜区块中间的溃疡区块就被口腔黏膜区块对应的拼接后的图像数据直接覆盖了。

这样，在更新用户的三维图像轮廓，从更新后的三维图像模型中提取轮廓时，针对该口腔黏膜区块，直接提取到的就是替换后口腔黏膜区块的拼接后的图像数据的轮廓，就不会有溃疡区块的轮廓了。在所述用户的三维图像轮廓中，该溃疡区块被覆盖掉了并被删除。

第二种情况：具体包括：

首先，根据所述第一映射关系或第二映射关系，确定拼接后的图像数据对应于最新的三维图像框架数据库中对应的区块。

然后，分别判断拼接后的图像数据是否是相邻的，若是，则进一步确定拼接后的图像数据对应的所述三维图像框架数据库中区块，在所述用户的三维图像轮廓中的位置是否是相邻的，若不相邻，则在所述用户的三维图像轮廓中，将相邻的拼接后的图像数据对应的区块之间的各区块进行删除。

例如，用户之前扫描时，有左下2牙齿舌侧存在牙结石症状，后来，经过洗牙治疗后，去除了左下2牙齿舌侧的牙结石症状。

则若用户经洗牙治疗去除了左下2牙齿舌侧的牙结石症状，在内窥图像数据中表现为：1)用户左下2牙齿舌侧区块的下界与左下2舌侧牙龈区块的上界相接。

2)用户左下2牙齿舌侧区块的下界与左下2舌侧牙龈区块的上界之间的位置上没有其他区块。

因此，在图像重构过程中，将把左下2牙齿舌侧区块和左下2舌侧牙龈区块之间的牙结石区块(如：区块编号为2412203)删除。以上就是内窥图像三维重构处理过程中的区块删除操作。

这样，本发明实施例中，进一步地经过区块增加或删除，得到的三维图像，可以更加反映用户口腔的真实状态，例如，用户的三维图像轮廓中有4个相连的区块，依次为区块a、区块b、区块c、区块d。根据拼接后的图像数据，确定删除了区块b，区块a和区块d之间通过区块c相连，则将区块a和区块c、区块d拼接。在展示时，用户会看到，区块a和区块d之间仅通过区块c相连，而原属于区块b的位置则变成空余的部分，直接会显示透明，不包括任何图像。

当然，并不仅限于上述几种情况，还可以包括其它情况，例如，也可以替换某个区块的一部分的图像，本发明实施例中并不进行限制，都可以基于本发明实施例中的方法，将提取出的三维曲面图像替换用户的三维图像轮廓中对应的确定的位置上的图像，实现更新用户的三维图像轮廓的效果。

也就是说，本发明实施例中，接收内窥器发送的图像数据，进行保存和拼接，对拼接后的图像数据进行识别和匹配，映射到区块上，确定拼接后的图像数据对应于用户三维图像轮廓上的位置，进而可以将拼接后的图像数据中属于对应的区块的三维曲面图像，替换三维图像轮廓中对应的确定的位置上的图像，这样，不管用户口腔中实际的区块和三维图像轮廓中区块是否完全一样，都可以更新为用户实际的口腔图像。

进一步地，替换完之后，该区块相接的其它区块，相应地往外移动位置或向里移动位置，保证替换后，相接的区块仍然是相接的。

例如，对于用户口腔中的某颗牙的区块，可能该用户这颗牙比较大，而三维图像轮廓中这颗牙的区块的面积比较小，这时，根据区块的边界特征信息，提取出该区块的三维图像曲面，直接替换三维图像轮廓中这颗牙的区块的图像，得到的用户的三维图像轮廓中，该区块和该用户实际中该牙的区块相同。

步骤130：根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型；其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓。

执行步骤130时，具体包括：

将所述重构后的三维图像数据，替换掉当前保存的所述用户的三维图像模型中对应的确定的位置上的图像。

这样，每次得到重构后的三维图像数据后，都可以不断地替换用户的三维图像模型中相应位置上的图像，实现动态更新用户的三维图像模型的效果。

进一步地，还可以更新用户的三维图像轮廓，具体为：

这样，可以针对不同的用户，会有相应的符合该用户的口腔三维图像轮廓，在之后再进行扫描口腔时，可以更容易看到该用户实际的口腔图像信息，并且，不断更新用户的三维图像模型和该用户的三维图像轮廓，也可以提高匹配的效率和准确性。

这样，可以不仅保存该用户的三维图像轮廓，还同时保存该用户的三维图像模型，根据该更新后的该用户的三维图像模型，构建一个针对该用户的口腔内窥图像数据库，这样，可以针对不同的用户，分别记录不同用户的口腔状况，便于后续进行跟踪查询，例如，可以追踪该用户的口腔健康状况，跟踪口腔治疗情况等。

步骤140：展示更新后的所述用户的三维图像模型。

进一步地，当再次接收到内窥器发送的用户的图像数据，返回执行上述步骤110。

这样，本发明实施例中，一开始展示给用户的是三维图像轮廓，随着不断的重构完成，每次重构完成，就会更新当前保存的用户的三维图像模型，进而展示更新后的用户的三维图像模型，由于三维图像轮廓中包含的是预设的单一颜色和单一纹理的图像，例如为灰色的图像，而获取到的图像数据为三维真彩图像，包括实际的各种颜色的纹理，更新后，用户可以看到，一开始展示的用户的三维图像模型，逐渐被三维真彩图像替换，可以看作，逐渐点亮三维图像模型，当扫描完成后，用户看到的就是包括颜色和纹理等信息的三维真彩图像。

进一步地，执行步骤140之后还包括：

例如，用户可以放大或缩小该用户的三维图像模型，也可以转动该用户的三维图像模型，以便用户更清楚地查看该用户的三维图像模型。

本发明实施例中，预设三维图像框架数据库和三维图像轮廓，接收到内窥器发送的用户图像数据后，进行拼接，将拼接后的图像数据重构于用户的三维图像轮廓中对应的确定的位置上，并更新当前保存的用户的三维图像模型，展示更新后的用户的三维图像模型，这样，在三维重构过程中，只要能识别出摄像单元前端采集到的三维真彩图像信息对应于口腔中的哪一个区块，就会用采集到的该区块的三维真彩曲面图像替换原三维图像轮廓中该区块对应位置的缺省曲面图像，并在用户的终端上进行展示，不需要确定一个唯一的初始区域后再进行拼接，因此，可以显著提高三维重构的效率，这样，不仅可以获得用户口腔的三维图像，使得用户可以查看口腔的具体部位，而且，用户可以随意扫描口腔中的任意位置，无需在口腔中从唯一的初始区域连续扫描，便于用户使用，提升了用户的使用体验，进而动态展示扫描到的口腔的三维图像，呈现效果更好，更加方便灵活。

并且，本发明实施例中建立了三维图像框架数据库和三维图像轮廓，在用户执行扫描操作之前，一开始展示的三维图像模型为一个三维图像轮廓，随着用户在口腔中的扫描操作，获得更多的口腔的图像数据，就可以基于本发明实例中的方法，实现重构和更新，这样，三维图像中的各个区块就会逐渐被三维真彩图像替换，而尚未完成重构和更新的部分，依旧展示的是三维图像轮廓上缺省的图像，因此，用户可以直观地感知到哪些部分尚未重构，或未扫描到，用户可以自主配合，通过操作内窥器，使得内窥器漫游到那些依旧为缺省图像的区块。这样，内窥器上的各个摄像单元就可以更多采集到那些依旧为缺省图像的区块的口腔三维真彩图像。最终，内窥器的摄像单元采集到的三维真彩图像，将逐渐覆盖整个口腔内表面，将获得全口腔数码内窥影像，不需要专业人士操作，可以更好地支持用户自助式的口腔内窥扫描。

实施例二：

下面对实施例一中执行步骤120中，根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，其具体执行方式进行介绍：

具体为：至少根据所述三维图像框架数据库中区块的图像特征信息，确定所述拼接后的图像数据对应于所述用户的三维图像框架数据库中的区块，以及，根据所述拼接后的图像数据对应于所述用户的三维图像框架数据库中的区块，确定所述拼接后的图像数据对应于所述用户的三维图像轮廓中的位置。

具体地，分为以下几种方式：

第一种方式：

1)根据预设的图像模式识别算法，基于所述三维图像框架数据库中区块的图像特征信息，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系。

本发明实施例中，针对所有用户的口腔建立三维图像框架数据库，其中每一个区块的图像，均是三维真彩曲面，可以获取其图像特征信息，用于之后的图像匹配。

具体地，本发明实施例中，例如，可以采用区块穷举匹配方式，即可以根据三维图像框架数据库中每一个区块的图像特征信息，将拼接后的图像数据与三维图像框架数据库中每一个区块进行匹配。

又例如，可以将三维图像框架数据库中的区块，根据区域进行划分，在匹配时，可以先确定拼接后的图像数据属于哪个区域，然后直接根据对应区域中的区块的图像特征信息，进行匹配，就不需要与三维图像框架数据库中每一个区块进行匹配了。

2)根据区块相互之间的空间位置关系和/或编号信息，确定拼接后的图像数据对应的所述三维图像框架数据库中区块，在所述用户的三维图像轮廓中的位置。

这样，根据第一映射关系，就可以确定图像数据对应的在三维图像框架数据库中的区块，再确定在三维图像框架数据库中的区块，在用户的三维图像轮廓中的位置，进而就可以确定拼接后的图像数据在用户的三维图像轮廓中的位置。

也就是说，本发明实施例中，能够对内窥器采集到的图像进行识别匹配，进而可以确定该图像对应于口腔中的具体位置，即可以判断出内窥器采集到的三维真彩图像对应于口腔中的哪一个或哪些区块。

第二种方式：

1)若所述内窥器中包括至少两个预设的相对位置固定的摄像单元，则根据预设的内窥器中每一个摄像单元在内窥器中的相对空间位置关系，以及所述图像数据中携带的摄像单元的标识，分别确定所述拼接后的图像数据的相对空间位置关系。

本发明实施例中，内窥器中也可以设置多个摄像单元，并且，预先设定这多个摄像单元在内窥器中的相对位置。

例如，有六个摄像单元，分别为摄像单元A、摄像单元B、摄像单元C和摄像单元D、摄像单元E和摄像单元F。其中，各个摄像单元固定预设的相对空间位置关系为：摄像单元A与摄像单元B互为对侧，摄像单元A与口腔内窥器的拉伸部在同一侧。摄像单元C与摄像单元D互为对侧。摄像单元E与摄像单元F互为对侧。摄像单元A、B连线与摄像单元C、D连线相互垂直，为正交关系。摄像单元A、B连线与摄像单元E、F连线相互垂直，为正交关系。摄像单元C、D连线与摄像单元E、F连线相互垂直，为正交关系。沿着摄像单元A、B连线从摄像单元B一侧向摄像单元A(也即拉伸部一侧)所在的一侧看，摄像单元C在左侧，摄像单元D在右侧，摄像单元E在上侧，摄像单元F在下侧。

内窥器对摄像单元采集到图像数据，都增加相应的摄像单元的标识，进而就可以根据摄像单元的相对空间位置关系，确定拍摄到的图像数据之间的相对空间位置关系。

2)根据预设的图像模式识别算法，基于所述三维图像框架数据库中区块的图像特征信息、和拼接后的图像数据的相对空间位置关系，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系。

3)根据区块相互之间的空间位置关系和/或编号信息，确定拼接后的图像数据对应的所述三维图像框架数据库中区块，在所述用户的三维图像轮廓中的位置。

第二种方式在第一种方式的基础上，针对内窥器中采用多个摄像单元以形成球状视野的布局方案，可以同时接收多个摄像单元同时采集到的图像数据，提高图像模式识别的准确性和效率，也可以减少识别操作，即确定映射关系所需的时间。

例如，通过摄像单元A实际获取了同时涵盖左下5第二前磨牙舌侧区块和左下6第一磨牙舌侧区块的图像信息P(A)之后，根据预设的图像模式识别算法和各个牙面区块的图像特征信息，获知该图像P(A)中涵盖相邻的前磨牙舌侧区块和磨牙舌侧区块，获得图像信息P(A)与区块之间的映射关系有四种可能，分别是：左下5第二前磨牙舌侧区块+左下6第一磨牙舌侧区块、或右下5第二前磨牙舌侧区块+右下6第一磨牙舌侧区块、或左上5第二前磨牙舌侧区块+左上6第一磨牙舌侧区块、或右上5第二前磨牙舌侧区块+右上6第一磨牙舌侧区块。

并且，在获取图像信息P(A)期间，还通过其他摄像单元B、C、D、E、F同步采集到的图像，获取到了图像信息P(B)、P(C)、P(D)、P(E)、P(F)。

基于上述摄像单元A、摄像单元B、摄像单元C和摄像单元D、摄像单元E和摄像单元F之间相对空间位置关系，则若图像信息P(B)的上方为软腭黏膜，下方为舌面，图像信息 P(E)为硬腭黏膜，图像信息P(F)为舌面，这就进一步印证了图像信息P(A)为舌侧区块的曲面图像，而口腔内窥器当前位于用户的固有口腔中。图像信息P(C)中有咬合间隙处的口腔黏膜，图像信息P(D)中有其他下牙的舌侧曲面图像。因此，这就可以确定口腔内窥器当前位于用户固有口腔的左侧，而图像信息P(A)涵盖的是用户左下牙舌侧的曲面图像。综上，就可以判断，图像信息P(A)对应的是用户左下5第二前磨牙舌侧区块和左下6第一磨牙舌侧区块。

进一步地，第二种方式中，可以利用多个摄像单元之间的相对空间位置关系，这样，同时接收到多个摄像单元拍摄到的图像数据后，将这些图像数据进行保存和拼接，进而将拼接后的图像数据与三维图像框架数据库进行匹配识别，会分别对应相应的区块，并且，一般不是相接的区块，这就相当于可以同时构建多个初始区域，初始区域不是唯一的，例如为Q(0，m；m＝1,2，3，4，5，6)。

这样，无需用户在口腔中接续扫描某一部位，可以随意扫描口腔中的任何部位，随着用户将内窥器在口腔内部漫游扫描，内窥器中每一个摄像单元就可以采集到更多的图像数据，进而，可以基于接收到的更多的图像数据，继续进行匹配并拼接，可以使得每一个初始区域Q(0，m；m＝1，2，3，4,5,6)的图像面积逐渐扩大，多个初始区域可以并行进行图像拼接，由此可以形成多个衍生的主体区域Q(n，m；m＝1，2，3，4，5，6)，直到扫描完成或生成完整的口腔三维图像，可以极大地提高三维重构的效率。

第三种方式：基于第一种方式和第二种方式，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配时，进一步包括：

也就是说，第三种方式，可以是在第一种方式和第二种方式的基础上，进一步依据区块之间的空间位置关系，提高识别的准确性和效率。

本发明实施例中，在建立的三维图像框架数据库中，记录了各个区块之间的空间位置关系，例如为，每一个区块相互之间的邻接关系，这些邻接关系包括：前界、后界、左界、右界、上界、下界，等等，这使得即使当获取了足以涵盖一个区块全部表面的一幅图像信息也难以通过图像模式识别确定这个图像对应的区块时，可以继续执行拼接操作以获取更大范围的曲面图像信息直至覆盖多个区块。这时，就可以根据多个区块相互之间的邻接关系，把多个区块的曲面图像作为一个整体来做模式识别，就可以去除很多不确定性，提高识别匹配的准确性，缩短识别操作所需的时间。

例如，获取了涵盖左下5第二前磨牙的舌侧区块的一幅图像信息P(a)，由于左下4第一前磨牙舌侧区块、左下5第二前磨牙舌侧区块相似度较高，可能仅通过图像模式识别的图像特征匹配，难以确定最终的映射关系。

随着用户把口腔内窥器在自己口腔内部漫游，内窥器采集到更多图像信息并回传，可以继续执行拼接操作并使得P(a)图像面积逐渐扩大。当P(a)图像面积扩大为同时涵盖左下5第二前磨牙舌侧区块和左下6第一磨牙舌侧区块的图像信息P(b)之后，根据预设的图像模式识别算法和各个牙面区块的图像特征信息，可以获知该图像P(b)中涵盖相邻的左下前磨牙舌侧区块和左下磨牙舌侧区块。因磨牙与前磨牙的舌侧区块曲面形状有明显区别，而左下4第一前磨牙舌侧区块与左下6磨牙舌侧区块没有邻接关系，因此，就可以确定，图像信息P(b)涵盖的是左下5第二前磨牙舌侧区块和左下6第一磨牙舌侧区块，P(a)对应的是左下5第二前磨牙舌侧区块。

值得说明的是，本发明实施例中，第一种方式可以针对内窥器中只有一个或多个摄像单元的情况，而第二种方式针对的是内窥器中有多个摄像单元的情况，第三种方式对于内窥器中只有一个或多个摄像单元的情况也都是适用的。

第一种方式，主要基于图像模式识别，确定拼接后的图像数据与三维图像框架数据库中区块的映射关系；第二种方式中可以进一步参考摄像单元的相对空间位置关系，提高确定拼接后的图像数据与区块映射关系的准确性和效率，可以更加准确地确定拍摄到的数据对应于口腔中的具体位置；第三种方式，在第一种方式和第二种方式的基础上，可以进一步参考区块之间的空间位置关系，也可以提高确定拼接后的图像数据与区块的映射关系的准确性。

进一步地，基于上述第一种方式、第二种方式和第三种方式，还包括：

上述整个过程，可以看作是一个搜索树构建的过程，例如，内窥器中设置有8个摄像单元，则每次可以接收到8个摄像单元拍摄到的图像数据，即8个RGBD图像，第一预设数目为3，第二预设数目为1000。

(1)假设第一次接收到图像数据后，得到n(n>1)组第一映射关系，则根据置信度，从这n组第一映射关系中，选择出置信度较大的前3组映射关系，例如，分别为n(11)、n(12) 和n(13)，这时，共有3组。

(2)第二次接收到图像数据后，基于n(11)、n(12)和n(13)这三组映射关系，分别得到相应的n组第一映射关系，即n(11)下有1,2,3，...n组，n(12)下有1,2,3，...n组，n(13)下有1,2,3，...n组，分别从每组中再选择置信度较大的前3组，分别为n(111)、n(112)、n(113)，n(121)、n(122)、n(123)，以及n(131)、n(132)、n(133)，这时，共有3^2＝9组。

(3)第三次接收到图像数据后，基于n(111)、n(112)、n(113)，n(121)、n(122)、n(123)，以及n(131)、n(132)、n(133)这9组映射关系，分别得到相应的n组第一映射关系，即n(111)下有1,2,3，...n组，n(112)下有1,2,3，...n组，n(113)下有1,2,3，...n组，依次类推，然后，分别从每组中再选择置信度较大的前3组，分别为n(1111)、n(1112)、n(1113)，n(1121)、n(1122)、n(1123)，....，n(1331)、n(1332)、n(1333)，这时，共有3^3＝27组。

(4)依次类推，直到第m次接收到图像数据后，可以得到3^m组映射关系，若3^m为不大于1000的最大值，则进行决策，从这3^m组中，选择其中一组叠加置信度最大的一组，作为拼接后的图像数据与区块的第二映射关系，即最终的映射关系，之后就可以基于第二映射关系，将拼接后的图像数据重构于三维图像轮廓上对应的确定的位置上，获得重构后的三维图像数据，进而更新用户的三维图像模型，并进行展示。

例如，步骤1：获取到了包括左下5第二前磨牙舌侧区块局部表面的一幅图像信息P(1)之后，根据预设的图像模式识别算法和各个区块的图像特征信息，假设获得P(1)的映射关系是牙齿表面相关区块，可以得到多组第一映射关系，而非牙龈表面或舌面或各类口腔黏膜表面等等相关区块。

步骤2：之后，随着用户把口腔内窥器在自己口腔内部漫游，采集到更多图像信息并回传，继续执行拼接操作并使得P(1)图像面积逐渐扩大。当P(1)面积扩大为涵盖左下5第二前磨牙整个舌侧区块的图像信息P(2)之后，根据预设的图像模式识别算法和各个牙面区块的图像特征信息，基于P(1)对应的映射关系，获得P(2)的映射关系是前磨牙舌侧区块，例如，左下4第一前磨牙或左下5第二前磨牙，或者是右下4第一前磨牙、右下5第二前磨牙、左上4第一前磨牙、左上5第二前磨牙、右上4第一前磨牙、右上5第二前磨牙等其他前磨牙。

步骤3：随着用户把口腔内窥器在自己口腔内部漫游，获取到更多的图像数据，当P(2)面积扩大为同时涵盖左下5第二前磨牙舌侧区块和左下6第一磨牙舌侧区块的图像信息P(3)之后，根据预设的图像模式识别算法和各个牙面区块的图像特征信息，可以得到该图像中涵盖相邻的左下前磨牙舌侧区块和左下磨牙舌侧区块。因磨牙与前磨牙的舌侧区块的曲面形状有明显区别，而左下4第一前磨牙舌侧区块与左下6第一磨牙舌侧区块没有邻接关系，因此，根据置信度，可以确定图像信息P(3)涵盖的是左下5第二前磨牙舌侧区块和左下6第一磨牙舌侧区块。

本发明实施例中，可以设置内窥器中摄像单元的拍摄间隔时间，例如，每秒20帧，这样，可以在很短时间内获取到多次拍摄到的图像数据，进而在执行上述过程时，时间也比较短，也不会影响后续的展示过程，用户不会有停顿的感知，不影响用户的使用体验。

也就是说，本发明实施例中，可能并不是每次接收到图像数据时，都可以得到最终的映射关系，但随着获取到更多的图像数据，可以依次进行确定，得到置信度最大的一组映射关系，进而再进行图像重构和更新展示，这样，可以进一步提高准确性。

实施例三：

基于上述实施例中，下面对三维图像框架数据库和三维图像轮廓进行详细介绍。

1)三维图像框架数据库。

本发明实施例中，三维图像框架数据库，基于人类口腔的各种情况进行构建，该三维图像框架数据库存储了人类口腔的三维图像模型的通用框架数据，该框架数据涵盖了各种情况下人类口腔全部表面区域的图像特征信息，例如形状特征、色彩特征、纹理特征等信息。这些情况包括成年人的健康口腔正常场景、口腔脏污场景、口腔病理场景、口腔畸形场景、口腔外伤场景、乳牙向恒牙成长的替牙期场景，也包括儿童的健康口腔正常场景、口腔脏污场景、口腔病理场景、口腔畸形场景、口腔外伤场景、乳牙萌出期场景。随着本发明方法和装置的普及使用，本发明的人类全口腔内表面三维图像框架数据库还可以进行不断更新和扩展，例如，可以增加新的口腔病理场景下的图像特征信息，或增加新的口腔外伤场景下的图像特征信息。这样，可以进一步提高匹配的准确性。

其中，三维图像框架数据库中至少包括预划分的三维图像框架的每一个区块。本发明实施例中，在划分区块时，可以直接将三维图像框架划分成各个区块，当然，在划分区块时，也可以先划分出区域，然后在每一个区域中划分各个区块，这样划分效率更高，本发明实施例中，对此并不进行限制。

下面是以划分成区域和区块为例，进行说明的。本发明实施例中，根据人类口腔通用模型的实际形状和面积，确定各个区域和各个区块的空间布局，把全口腔内表面划分为一系列相互交接的区域，每一个区域划分为一系列相互交接的区块。

a、区域。

本发明实施例中，区域的划分，可以根据口腔中各部分的功能进行划分。并且，各个区域也至少有一个编号信息。

例如，可以将口腔内表面划分为14个区域，分别为：口腔前庭的前壁面区域、口腔前庭的后壁面区域、上口腔前庭沟区域、下口腔前庭沟区域、左咬合间隙区域、右咬合间隙区域、上牙列区域、下牙列区域、上颌牙槽嵴底面区域、下颌牙槽嵴顶面区域、固有口腔上壁面区域、固有口腔底壁面区域、舌体上表面区域、舌体下表面区域。

其中，每个区域对应一个编号信息，例如，分别依次为1、2、3、4、5、6、7、8、9、 10、11、12、13、14。

具体地，对于口腔中区域的划分，本发明实施例中，并不进行限制，目的是将口腔划分为各个可以区分的区域，并且各个区域可以相接组成完整的口腔的结构。

b、区块。

本发明实施例，在划分区块时，遵循的原则是：一个区块的内部尽量为单一纹理、尽量单一颜色，且尽量接近平面布局。

其中，区块的面积大小、具体形状，本发明实施例中，并不进行限制，可以综合考虑三维图像的精度要求和计算量要求予以确定。

其中，区块的图像数据包括：编号信息、图像特征信息。

区块的图像的位置信息包括：每个区块相互之间的空间位置关系。

本发明实施例中，对每一个区块与其他区块之间的表面相接关系和相对空间位置关系做了系统化的梳理和描述，每一个区块都有自己唯一的标签(例如，名称及其编号)和相关图像特征信息等，建立了完整的区块的标签体系，可以很快找到每个区块，并且，可以获知每个区块的图像特征信息。

其中，建立的区块的标签体系，每一个区块至少包括：编号信息、图像特征信息，以及每一个区块相互之间的空间位置关系，还可以包括名称信息、档案属性描述信息、三维曲面图样等。

例如，对于编号为2的口腔前庭的后壁面区域，可以划分为6个区块，分别为：区块(2.1)，上颌牙槽嵴唇侧黏膜区块。区块(2.2)，上颌牙槽嵴左颊侧黏膜区块相接。区块(2.3)，上颌牙槽嵴右颊侧黏膜区块。区块(2.4)：下颌牙槽嵴唇侧黏膜区块。区块(2.5)，下颌牙槽嵴左颊侧黏膜区块。区块(2.6)，下颌牙槽嵴右颊侧黏膜区块。

这样，可以根据编号信息，索引到某个区块，并且也可以知道该区块图像特征信息，也包括边界特征信息等。

同样地，本发明实施例中，对于区域中的区块的划分，也不进行限制，可以根据实际情况进行划分，保证各个区块可以组成完整的相应的区域。

也就是说，本发明实施例中，构建的三维图像框架数据库，不仅对口腔进行了区域和区块的划分，还建立了区块的标签体系，可以很准确地标识口腔中的各个位置，便于进行三维图像匹配和重构。并且，这使得本发明的图像处理装置在对接收到的图像数据进行处理的过程中，能获取从内窥器接收到的图像数据的语义信息，为采用人工智能技术开展口腔内窥影像检查创造条件。

2)三维图像轮廓。

本发明实施例中，三维图像轮廓存储了人类全口腔内表面各个区域(含各个区块)的三维图像的形状轮廓数据。

其中，用户的三维图像轮廓至少存储了所述用户的口腔中各个区块的三维图像的形状轮廓数据。

用户的三维图像轮廓，是基于所述三维图像框架数据库或所述用户的三维图像模型得到的；其中，所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。

也就是说，本发明实施例中，三维图像轮廓中涵盖了口腔内窥全景的各个区块的缺省图像。三维图像轮廓中的各个区块的缺省图像仅仅包括各个区块的三维曲面形状，且为单一颜色+单一纹理，也即不含各个区块的真彩颜色和实际纹理。例如，设置三维图像轮廓中各个区块缺省图像的三维曲面的外表面仅为光滑纹理的深灰色。

并且，本发明实施例中，在实际使用时，可以根据每个用户的实际情况，更新该用户的三维图像轮廓，随着不同用户的使用，针对每个用户，就会有属于自己口腔的三维图像轮廓。

例如，用户首次使用时，一开始展示的是根据用户年龄信息预设的标准三维图像轮廓。随着用户使用口腔内窥器扫描口腔，不断采集口腔中的图像，基于上述本发明实施例中的图像处理方法，进行拼接、识别、重构等操作，只要完成了一个区块的处理，就会用采集到的该区块的三维真彩曲面图像替换原轮廓中该区块的缺省曲面图像，并在用户终端上进行展示。

随着三维图像轮廓中的一个又一个区块的缺省曲面图像不断被采集到的三维真彩曲面图像所替换，不断地更新用户的三维图像模型，用户终端上展示的口腔内窥三维真彩曲面图像越来越完整，而原三维图像轮廓遗留的缺省曲面图像越来越少。用户完成全口腔内窥采集后，用户终端上展示的口腔内窥全景图像，就全部由三维真彩曲面图像拼接组成。

进而，可以根据最后展示的三维真彩曲面图像，即更新后的用户的三维图像模型，从中提取出三维图像轮廓，更新之前预设的标准三维图像轮廓，当该用户下一次再使用口腔内窥器时，一开始展示的就是该用户上一次更新后的三维图像轮廓，也就是说，所有不同用户第一次使用时，展示的都是根据用户年龄信息预设的标准三维图像轮廓，随着不同用户的使用，三维图像轮廓进行更新，是跟用户相关的，可以表示该用户实际的口腔三维图像轮廓，针对不同的用户，之后三维图像轮廓不断更新，得到的三维图像轮廓是不同的。

实施例四：

下面采用一个具体的应用场景对上述实施例作出进一步详细说明。具体参阅图2所示，本发明实施例中，图像处理方法的实现的示意图。

例如，内窥器为口腔内窥器，口腔内窥器将采集到的口腔图像上传到智能终端，智能终端执行本发明实施例中的图像处理方法，并在智能终端中动态展示口腔的三维图像。

其中，智能终端，例如为手机、电脑等，本发明实施例中，并不进行限制，也可以是云端执行匹配重构等操作，并在手机侧进行展示口腔的三维图像。

首先，当用户使用口腔内窥器扫描口腔，并确定口腔内窥器与智能终端通信连接时，参阅图2所示，在智能终端中初始展示用户的三维图像模型为预设的三维图像轮廓。此时，均是灰色的单一颜色、单一纹理的图像。

然后，随着用户在口腔中的扫描，口腔内窥器中摄像单元会拍摄口腔中的三维真彩图像，并上传给智能终端，智能终端基于上述本发明实施例中的图像处理方法，将接收到三维真彩图像重构于用户的三维图像轮廓中对应的确定的位置上，并更新当前保存的用户的三维图像模型，进而展示更新后的用户的三维图像模型，例如，参阅图3所示，为在扫描过程中，重构了部分三维图像时，展示的更新后的用户的三维图像模型。从图3中可以看到，上颚面保留原始框架，不点亮；舌背面保留原始框架，不点亮；上牙列从右边数第一、第二颗牙的颚侧面区块点亮，表示已完成扫描；上牙列其他各个牙齿保留原始框架，不点亮；下牙列从左边数第三、第四颗牙的舌侧面区块点亮，表示已完成扫描；下牙列其它各个牙齿保留原始框架，不点亮。其中，值得说明的是，已经点亮的部分实际中是三维真彩图像，此处仅是为了与未点亮的部分进行区分，采用更深的灰色来进行说明。

此时，已经重构完成的部分，展示的用户真实的口腔的三维真彩图像，包括实际的颜色和纹理等信息，未被重构的部分，仍然展示的是三维图像轮廓中预设的灰色的单一颜色单一纹理的图像。

最后，当扫描完成，或三维图像轮廓中所有区块都被替换完成后，用户停止扫描，例如，参阅图4所示，扫描完成后，当前展示的是所有区块都重构完成后的三维图像模型，此时，展示的就是一个包括颜色、纹理等信息的三维真彩图像，(其中，图4中也同样仅是为了与未点亮的部分进行区分，采用更深的灰色来进行说明)。并且，该三维真彩图像和用户口腔的图像一致，可以真实反映用户口腔的图像和状况。

实施例五：

基于上述实施例，参阅图5所示，本发明实施例五中，一种应用场景的环境架构示意图。

可以开发一个应用软件，用于实现本发明实施例中的图像处理方法，并且，该应用软件可以安装在用户终端，用户终端分别与内窥器和网络子系统连接，实现通信。

其中，用户终端可以为手机、电脑、ipad等任何智能设备，本发明实施例五中仅以手机为例进行说明。

例如，用户使用内窥器扫描口腔，采集口腔中图像，内窥器将采集到的图像发送给用户终端，用户终端通过网络子系统，从服务器获取三维图像框架数据库和三维图像轮廓，进而对接收到的图像数据进行处理，进行保存和拼接，确定拼接后的图像数据对应于用户的三维图像轮廓中的位置，并将拼接后的图像数据重构于用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，进而更新当前保存的用户的三维图像模型，进行展示，完成口腔内窥扫描，获得用户口腔的三维图像。

实施例六：

基于上述实施例，参阅图6所示，本发明实施例中，图像处理装置，具体包括：

接收单元60，用于接收内窥器发送的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据，并且所述图像数据的类型为深度图像；

处理单元61，用于保存接收到的图像数据，并分别判断保存的图像数据相互之间是否能够拼接，当确定能够拼接时，将保存的图像数据进行拼接，获得拼接后的图像数据；并根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，并将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像数据以及每个区块的图像的位置信息，以及，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型；其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓；

展示单元62，用于展示更新后的所述用户的三维图像模型。

较佳的，根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，处理单元61具体用于：

较佳的，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配时，处理单元61进一步用于：

较佳的，处理单元61进一步用于：

较佳的，将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，处理单元61具体用于：

较佳的，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型，处理单元61具体用于：

处理单元61进一步用于：

较佳的，接收单元60进一步用于：当再次接收到内窥器发送的用户的图像数据，并所述处理单元61进一步用于返回执行所述保存接收到的图像数据，并分别判断保存的图像数据相互之间是否能够拼接，当确定能够拼接时，将保存的图像数据进行拼接，获得拼接后的图像数据；并根据保存的三维图像框架数据库和保存的所述用户的三维图像轮廓，确定所述拼接后的图像数据对应于所述用户的三维图像轮廓中的位置，并将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，以及，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型。

操作单元63，用于接收用户的操作指令，并根据所述操作指令，对展示的更新后的所述用户的三维图像模型执行相应的操作。

值得说明的是，本发明实施例中，上述接收单元60、处理单元61、展示单元62和操作单元63，都可以集成在一个用户终端中，例如都集成在手机中，当然，也可以分开，例如，对于带有手柄的内窥器，可以将接收单元60和处理单元61集成在内窥器的手柄中，展示单元62和操作单元63集成在手机中；又或者，将接收单元60，以及处理单元61的部分功能集成在内窥器的手柄中，处理单元61的其它功能、展示单元62和操作单元63集成在手机中，在实际实现时，都是可以的，本发明实施例中并不进行限制。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

一种图像处理方法，其特征在于，包括：

步骤A：接收内窥器发送的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据；

步骤B：保存接收到的图像数据，并分别判断保存的图像数据相互之间是否能够拼接，当确定能够拼接时，将保存的图像数据进行拼接，获得拼接后的图像数据；

步骤C：根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，并将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像数据以及每个区块的图像的位置信息；

步骤D：根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型；其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓；

步骤E：展示更新后的所述用户的三维图像模型。
如权利要求1所述的方法，其特征在于，所述区块的图像数据包括：编号信息、图像特征信息；

所述区块的图像的位置信息包括：每个区块相互之间的空间位置关系；

所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。
如权利要求2所述的方法，其特征在于，根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，具体包括：

根据预设的图像模式识别算法，基于所述三维图像框架数据库中区块的图像特征信息，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系；

根据区块相互之间的空间位置关系和/或编号信息，确定拼接后的图像数据对应的所述三维图像框架数据库中区块，在所述用户的三维图像轮廓中的位置。
如权利要求2所述的方法，其特征在于，根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，具体包括：

若所述内窥器中包括至少两个预设的相对位置固定的摄像单元，则根据预设的内窥器中每一个摄像单元在内窥器中的相对空间位置关系，以及所述图像数据中携带的摄像单元的标识，分别确定所述拼接后的图像数据的相对空间位置关系；

根据预设的图像模式识别算法，基于所述三维图像框架数据库中区块的图像特征信息、和拼接后的图像数据的相对空间位置关系，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系；

根据区块相互之间的空间位置关系和/或编号信息，确定拼接后的图像数据对应的所述三维图像框架数据库中区块，在所述用户的三维图像轮廓中的位置。
如权利要求3或4所述的方法，其特征在于，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配时，进一步包括：

当确定拼接后的图像数据至少对应两个区块时，则根据所述三维图像框架数据库中预设的区块相互之间的空间位置关系，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系。
如权利要求5所述的方法，其特征在于，进一步包括：

若获得至少两组第一映射关系，则根据每组第一映射关系的置信度，从所述至少两组第一映射关系中，选择出第一预设数目的第一映射关系，并将所述选择出的第一预设数目的第一映射关系，用于下一次接收到内窥器发送的用户的图像数据时，计算第一映射关系中，以使针对下一次接收到的图像数据，分别获得基于所述选择出的第一预设数目的第一映射关系的各映射关系，直到获取到不大于第二预设数目的最大值个第一映射关系时，分别判断第二预设数目个第一映射关系中，每组第一映射关系的叠加置信度，若判断出所述第二预设数目个第一映射关系中任意一组映射关系的叠加置信度不小于预设阈值，则将所述任意一组第一映射关系，作为拼接后的图像数据与所述三维图像框架数据库中区块的第二映射关系。
如权利要求3-6任一项所述的方法，其特征在于，将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，具体包括：

根据所述三维图像框架数据库中区块的边界特征信息，从所述拼接后的图像数据中提取出属于对应的区块的三维曲面图像；其中，所述图像特征信息中至少包括区块的边界特征信息；

将提取出的三维曲面图像替换所述用户的三维图像轮廓中对应的确定的位置上的图像，获得重构后的三维图像数据。
如权利要求1-7任一项所述的方法，其特征在于，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型，具体包括：

将所述重构后的三维图像数据，替换掉当前保存的所述用户的三维图像模型中对应的确定的位置上的图像；

进一步包括：

根据更新后的所述用户的三维图像模型，获取更新后的所述用户的三维图像模型对应的三维图像轮廓，并根据所述更新后的所述用户的三维图像模型对应的三维图像轮廓，更新保存的所述用户的三维图像轮廓。
如权利要求1-8任一项所述的方法，其特征在于，进一步包括：

当再次接收到内窥器发送的用户的图像数据，返回执行所述步骤B。
如权利要求1所述的方法，其特征在于，展示更新后的所述用户的三维图像模型之后，进一步包括：

接收用户的操作指令，并根据所述操作指令，对展示的更新后的所述用户的三维图像模型执行相应的操作。
一种图像处理装置，其特征在于，包括：

接收单元，用于接收内窥器发送的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据；

处理单元，用于保存接收到的图像数据，并分别判断保存的图像数据相互之间是否能够拼接，当确定能够拼接时，将保存的图像数据进行拼接，获得拼接后的图像数据；并根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，并将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像数据以及每个区块的图像的位置信息，以及，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型；其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓；

展示单元，用于展示更新后的所述用户的三维图像模型。
如权利要求11所述的装置，其特征在于，所述区块的图像数据包括：编号信息、图像特征信息；

所述区块的图像的位置信息包括：每个区块相互之间的空间位置关系；

所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。
如权利要求12所述的装置，其特征在于，根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，处理单元具体用于：

根据预设的图像模式识别算法，基于所述三维图像框架数据库中区块的图像特征信息，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系；

根据区块相互之间的空间位置关系和/或编号信息，确定拼接后的图像数据对应的所述三维图像框架数据库中区块，在所述用户的三维图像轮廓中的位置。
如权利要求12所述的装置，其特征在于，根据保存的三维图像框架数据库，确定所述拼接后的图像数据对应的区块，并确定该区块在保存的所述用户的三维图像轮廓中的位置，处理单元具体用于：

若所述内窥器中包括至少两个预设的相对位置固定的摄像单元，则根据预设的内窥器中每一个摄像单元在内窥器中的相对空间位置关系，以及所述图像数据中携带的摄像单元的标识，分别确定所述拼接后的图像数据的相对空间位置关系；

根据预设的图像模式识别算法，基于所述三维图像框架数据库中区块的图像特征信息、和拼接后的图像数据的相对空间位置关系，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系；

根据区块相互之间的空间位置关系和/或编号信息，确定拼接后的图像数据对应的所述三维图像框架数据库中区块，在所述用户的三维图像轮廓中的位置。
如权利要求13或14所述的装置，其特征在于，分别将所述拼接后的图像数据与所述三维图像框架数据库中区块的图像进行匹配时，处理单元进一步用于：

当确定拼接后的图像数据至少对应两个区块时，则根据所述三维图像框架数据库中预设的区块相互之间的空间位置关系，获得拼接后的图像数据与所述三维图像框架数据库中区块的第一映射关系。
如权利要求15所述的装置，其特征在于，处理单元进一步用于：

若获得至少两组第一映射关系，则根据每组第一映射关系的置信度，从所述至少两组第一映射关系中，选择出第一预设数目的第一映射关系，并将所述选择出的第一预设数目的第一映射关系，用于下一次接收到内窥器发送的用户的图像数据时，计算第一映射关系中，以使针对下一次接收到的图像数据，分别获得基于所述选择出的第一预设数目的第一映射关系的各映射关系，直到获取到不大于第二预设数目的最大值个第一映射关系时，分别判断第二预设数目个第一映射关系中，每组第一映射关系的叠加置信度，若判断出所述第二预设数目个第一映射关系中任意一组映射关系的叠加置信度不小于预设阈值，则将所述任意一组第一映射关系，作为拼接后的图像数据与所述三维图像框架数据库中区块的第二映射关系。
如权利要求13-16任一项所述的装置，其特征在于，将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，处理单元具体用于：

根据所述三维图像框架数据库中区块的边界特征信息，从所述拼接后的图像数据中提取出属于对应的区块的三维曲面图像；其中，所述图像特征信息中至少包括区块的边界特征信息；

将提取出的三维曲面图像替换所述用户的三维图像轮廓中对应的确定的位置上的图像，获得重构后的三维图像数据。
如权利要求11-17任一项所述的装置，其特征在于，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型，处理单元具体用于：

将所述重构后的三维图像数据，替换掉当前保存的所述用户的三维图像模型中对应的确定的位置上的图像；

处理单元进一步用于：

根据更新后的所述用户的三维图像模型，获取更新后的所述用户的三维图像模型对应的三维图像轮廓，并根据所述更新后的所述用户的三维图像模型对应的三维图像轮廓，更新保存的所述用户的三维图像轮廓。
如权利要求11-18任一项所述的装置，其特征在于，接收单元进一步用于：当再次接收到内窥器发送的用户的图像数据，并所述处理单元进一步用于返回执行所述保存接收到的图像数据，并分别判断保存的图像数据相互之间是否能够拼接，当确定能够拼接时，将保存的图像数据进行拼接，获得拼接后的图像数据；并根据保存的三维图像框架数据库和保存的所述用户的三维图像轮廓，确定所述拼接后的图像数据对应于所述用户的三维图像轮廓中的位置，并将所述拼接后的图像数据重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，以及，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型。
如权利要求11所述的装置，其特征在于，展示更新后的所述用户的三维图像模型之后，进一步包括：

操作单元，用于接收用户的操作指令，并根据所述操作指令，对展示的更新后的所述用户的三维图像模型执行相应的操作。