WO2020098566A1 - 三维建模的方法、设备及计算机可读存储介质 - Google Patents
三维建模的方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- WO2020098566A1 WO2020098566A1 PCT/CN2019/116576 CN2019116576W WO2020098566A1 WO 2020098566 A1 WO2020098566 A1 WO 2020098566A1 CN 2019116576 W CN2019116576 W CN 2019116576W WO 2020098566 A1 WO2020098566 A1 WO 2020098566A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- target object
- image
- dimensional model
- initial
- feature points
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Definitions
- Embodiments of the present invention provide a method and equipment for three-dimensional modeling, which can effectively improve the efficiency of three-dimensional modeling and reduce the calculation amount of three-dimensional modeling.
- the method provided by the embodiment of the present invention uses the image acquired in real time to establish a three-dimensional model of the initial known part of the target object, and then based on the matching result of the three-dimensional model of the initial known part and the model library, the initial unknown part of the target object can be guessed Three-dimensional model, without the need to take a full-angle shot of the target object to build a complete three-dimensional model, thus greatly saving the amount of calculation and calculation time.
- the assigning feature points corresponding to the initial unknown part of the target object according to the tracking result includes:
- the feature points corresponding to the initial unknown part of the target object are assigned according to the image point information of the converted known part.
- the initial unknown part of the target object may be converted into a known part to be captured by the image acquisition device.
- the model of the transformed known part can be used to update Guess the model of the unknown part, thereby improving the accuracy of the model. And by tracking feature points and assigning feature points to update the initial unknown 3D model, the model update accuracy and efficiency are higher.
- a processor is configured to implement the steps of any of the foregoing method embodiments when executing the computer program.
- a model guessing module used to match the three-dimensional model of the initial known part with multiple models in the model library, and determine the three-dimensional model of the initial unknown part of the target object according to the matching result;
- the device provided by the embodiment of the present invention uses the image acquired in real time to establish a three-dimensional model of the initial known part of the target object, and then based on the matching result of the three-dimensional model of the initial known part and the model library, the initial unknown part of the target object can be guessed Model, without the need to take a full-angle shot of the target object to build a complete three-dimensional model, thus greatly saving the calculation amount and calculation time.
- the three-dimensional model of the dynamic body including the three-dimensional model of the initial known part and / or the three-dimensional model of the initial unknown part.
- the image of the target object further includes color information
- the device further includes a color restoration module for:
- an embodiment of the present invention provides a three-dimensional modeling method, including:
- an embodiment of the present invention provides a three-dimensional modeling device, including:
- an embodiment of the present invention provides a three-dimensional modeling apparatus.
- the apparatus includes:
- FIG. 1 is a flowchart of a three-dimensional modeling method provided by an embodiment of the present invention.
- FIG. 2 is a flowchart of another three-dimensional modeling method provided by an embodiment of the present invention.
- FIG. 3 is a schematic structural diagram of a three-dimensional modeling device provided by an embodiment of the present invention.
- the real-time images collected by the image collection device are cached according to a predetermined cache format.
- the embodiment of the present invention does not limit a specific cache format.
- the cache may be cached in a queue or in a stack. After the method provided by the embodiment of the present invention is triggered, a predetermined number of images are read from the cache for three-dimensional modeling of the target object.
- the image is updated in the cache in real time, that is, after an image is read, the same number of images are updated in the cache.
- Step 103 Match the three-dimensional model of the initial known part with multiple models in the model library, and determine the three-dimensional model of the initial unknown part of the target object according to the matching result.
- matching is performed by an artificial intelligence algorithm. That is, using a known complete three-dimensional model as a sample training model library.
- the embodiment of the present invention does not specifically limit the algorithm used in the training model library.
- the image in the cache is read in real time, and the target object is tracked by matching feature points.
- the position and posture of the target object may change. Therefore, the three-dimensional model of the target object needs to be updated according to the tracking result.
- the process of target tracking if the initial unknown part of the target object is converted into a known part, then after determining that the initial unknown part of the target object is converted into a known part according to the tracking result, according to The converted image point information of the known part assigns a feature point corresponding to the initial unknown part of the target object.
- the unknown part of the target object may be converted into a known part to be photographed by the image acquisition device.
- the method provided by the embodiment of the present invention only updates the dynamic body, which can further improve the processing efficiency of dynamic modeling and reduce the calculation amount.
- the image of the target object further includes color information
- the method further includes:
- the method provided by the embodiment of the present invention sorts the color information and depth information of each feature point in the model, and performs color restoration on the three-dimensional model according to the sorting result, thereby improving the accuracy of color restoration.
- the RGB-D camera caches the images collected in real time into the memory, and the processor matches the color information in the color image collected by the RGB-D camera with the depth information in the depth image;
- the processor continues to read the real-time image acquisition process and assigns the value to the unassigned point (that is, according to the subsequent acquisition).
- the original image is converted from the initial unknown part to the known part), the restored value is not updated as data in the general library, but as a newly created data update; after the initial unknown part is converted to the known part, the corresponding feature point is marked as Assignment points, through repeated updating of values and part of the data collection and updating of the target object, can gradually improve the accuracy of the three-dimensional model of the target object.
- the model building module is used to three-dimensionally model the target object according to the images of the previous N frames to obtain a three-dimensional model of the initially known part of the target object;
- a model guessing module used to match the three-dimensional model of the initial known part with multiple models in the model library, and determine the three-dimensional model of the initial unknown part of the target object according to the matching result;
- the initial unknown part of the target object may be converted into a known part to be captured by the image acquisition device.
- the model of the transformed known part can be used to update Guess the model, thereby improving the accuracy of the model.
- the image of the target object further includes color information
- the device further includes a color restoration module for:
- Step 203 Use the feature points of the target object to establish a three-dimensional model of the target object
- the method provided by the embodiment of the present invention can realize the color restoration of the three-dimensional model by sorting the depth information and color information of the feature points, and the color restoration accuracy is high.
- An embodiment of the present invention provides a three-dimensional modeling device.
- the device includes:
- the device provided by the embodiment of the present invention may further include a target tracking module, configured to track the feature points of the target object using the image after the image of the previous N frames.
- These computer program instructions may also be stored in a computer-readable memory that can guide a computer or other programmable data processing device to work in a specific manner, so that the instructions stored in the computer-readable memory produce an article of manufacture including an instruction device, the instructions The device implements the functions specified in one block or multiple blocks of the flowchart one flow or multiple flows and / or block diagrams.
- These computer program instructions can also be loaded onto a computer or other programmable data processing device, so that a series of operating steps are performed on the computer or other programmable device to produce computer-implemented processing, which is executed on the computer or other programmable device
- the instructions provide steps for implementing the functions specified in one block or multiple blocks of the flowchart one flow or multiple flows and / or block diagrams.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种三维建模的方法、设备及计算机可读存储介质。其方法包括：获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括深度信息；根据前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型；将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型；利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。本发明实施例提供的方法大大降低了三维建模的运算量，提高了三维建模的处理效率。
Description
本申请要求申请号为201811338115.6、申请日为2018年11月12日、发明名称为“三维建模的方法及设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本发明涉及计算机技术领域，尤其涉及三维建模的方法、设备及计算机可读存储介质。
随着计算机技术的发展，基于RGB-D摄像机采集到的数据进行三维建模广泛应用于多种应用场景。
以单台RGB-D摄像机进行数据采集为例，除非摄像机围绕目标物体旋转一周，或者目标物体在摄像机的取景范围内旋转一周，否则摄像机无法采集到目标物体的全角度数据，也就无法建立目标物体的完整三维模型。
因此，现有技术中，若需要对目标物体进行完整建模，需要等待采集到目标物体的全角度数据后，利用采集到的所有数据进行建模，其计算量大且效率较低。
发明内容
本发明实施例提供一种三维建模的方法及设备，可以有效提高三维建模的效率，降低三维建模的运算量。
第一方面，本发明实施例提供一种三维建模的方法，该方法包括：
获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括深度信息；
根据前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型；
将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型；
利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。
本发明实施例提供的方法，利用实时获取的图像建立目标物体的初始已知部分的三维模型，进而基于初始已知部分的三维模型与模型库的匹配结果，可以猜想目标物体的初始未知部分的三维模型，而无需对目标物体进行全角度拍摄后才能建立完整的三维模型，因此大大节省了运算量及运算时间。
在上述方法实施例中，其建模方式为动态建模，即可以对目标物体进行跟踪，从而动态更新模型。相应的，所述利用前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型，包括：根据前N帧所述图像确定所述目标物体的特征点；根据前N帧所述图像中对应的图像点信息对所述目标物体的初始已知部分对应的特征点赋值，并利用所述目标物体的初始已知部分对应的特征点建立所述目标物体的初始已知部分的三维模型；
所述利用前N帧所述图像之后图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新，包括：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的特征点取值进行更新和/或对初始未知部分对应的特征点赋值。
在此基础上，更具体的，所述根据跟踪结果对所述目标物体的初始未知部分对应的特征点赋值，包括：
根据跟踪结果确定所述目标物体的初始未知部分转换为已知部分后，根据所述转换后的已知部分的图像点信息对所述目标物体的初始未知部分对应的特征点赋值。
在图像采集设备移动或者目标物体移动过程中，目标物体的初始未知部分可能会转换为已知部分从而被图像采集设备拍摄到，这种情况下，可以利用变换后的已知部分的模型更新之前猜想得到的未知部分的模型，从而提高模型的精度。且通过跟踪特征点，并对特征点赋值的方式进行初始未知三维模型的更新，其模型更新精度及效率更高。
在上述任意方法实施例的基础上，所述利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新，包括：
利用所述前N帧图像之后的图像对所述目标物体进行跟踪，根据跟踪结果确定所述目标物体的动态体和静态体；
对所述动态体的三维模型进行更新，所述动态体的三维模型包括所述初始已知部分的三维模型和/或初始未知部分的三维模型。
本发明实施例提供的方法，仅对动态体进行更新，可以进一步提高动态建模的处理效率并降低运算量。
在上述任意方法实施例的基础上，所述目标物体的图像还包括色彩信息，该方法还可以包括：
确定所述目标物体的特征点的顺序，所述特征点在每帧图像中的顺序不变；
按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；
根据排序结果确定目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；
利用特征点的顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。
本发明实施例提供的方法，对模型中各个特征点进行排序，进而对特征点在各帧中对应的色彩信息和深度信息进行排序，根据排序结果对三维模型进行色彩还原，从而提高色彩还原的精度。
在上述任意方法实施例的基础上，该方法还包括：
获取所述目标物体的完整三维模型并输出。
第二方面，本发明实施例提供一种三维建模的设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任意方法实施例的步骤。
第三方面，本发明实施例提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述任意方法实施例的步骤。
第四方面，本发明实施例提供一种三维建模的装置，该装置包括：
图像获取模块，用于获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括深度信息；
模型建立模块，用于根据前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型；
模型猜想模块，用于将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型；
目标跟踪模块，用于利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。
本发明实施例提供的装置，利用实时获取的图像建立目标物体的初始已知部分的三维模型，进而基于初始已知部分的三维模型与模型库的匹配结果，可以猜想目标物体的初始未知部分的模型，而无需对目标物体进行全角度拍摄后才能建立完整的三维模型，因此大大节省了运算量及运算时间。
在上述装置实施例中，其建模方式为动态建模，即可以对目标物体进行跟踪，从而动态更新模型。相应的，本发明实施例提供的装置中，模型建立模块用于：根据前N帧所述图像确定所述目标物体的特征点；根据前N帧所述图像中对应的图像点信息对所述目标物体的初始已知部分对应的特征点赋值，并利用所述目标物体的初始已知部分对应的特征点建立所述目标物体的初始已知部分的三维模型；目标跟踪模块用于：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的特征点取值进行更新和/或对初始未知部分对应的特征点赋值。
在此基础上，更具体的，所述目标跟踪模块具体用于：
根据跟踪结果确定所述目标物体的初始未知部分转换为已知部分后，根据所述转换后的已知部分的图像点信息对所述目标物体的初始未知部分对应的特征点赋值。
在图像采集设备移动或者目标物体移动过程中，目标物体的初始未知部分可能会转换为已知部分从而被图像采集设备拍摄到，这种情况下，可以利用变换后的已知部分的模型更新之前猜想得到的模型，从而提高模型的精度。
在上述任意方法实施例的基础上，所述目标跟踪模块具体用于：
利用所述前N帧图像之后的图像对所述目标物体进行跟踪，根据跟踪结果确定所述目标物体的动态体和静态体；
对所述动态体的三维模型进行更新，所述动态体的三维模型包括所述初始已知部分的三维模型和/或初始未知部分的三维模型。
本发明实施例提供的装置，仅对动态体进行更新，可以进一步提高动态建模的处理效率并降低运算量。
在上述任意装置实施例的基础上，所述目标物体的图像还包括色彩信息，该装置还包括色彩还原模块，用于：
确定所述目标物体的特征点的顺序，所述特征点在每帧图像中的顺序不变；
按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；
根据排序结果确定目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；
利用特征点的顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。
本发明实施例提供的装置，对模型中各个特征点进行排序，进而对特征点在各帧中对应的色彩信息和深度信息进行排序，根据排序结果对三维模型进行色彩还原，从而提高色彩还原的精度。
在上述任意装置实施例的基础上，该装置还包括输出模块，用于：
获取所述目标物体的完整三维模型并输出。
第五方面，本发明实施例提供一种三维建模的方法，包括：
获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括色彩信息和深度信息；
根据前N帧所述图像确定目标物体的特征点；
利用所述目标物体的特征点建立所述目标物体的三维模型；
确定所述目标物体的特征点顺序，所述特征点在每帧图像中的顺序不变；
按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；
根据排序结果确定所述目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；
利用特征点顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。
本发明实施例提供的方法，通过对特征点进行排序，进而对特征点在各帧中对应的深度信息和色彩信息进行排序，从而可以实现对三维模型的色彩还原，且色彩还原的精度较高。
在此基础上，本发明实施例提供的方法还可以利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪。
第六方面，本发明实施例提供一种三维建模的设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述第五方面的方法的步骤。
第七方面，本发明实施例提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第五方面的方法的步骤。
第八方面，本发明实施例提供一种三维建模的装置，该装置包括：
图像获取模块，用于获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括色彩信息和深度信息；
特征点确定模块，用于根据前N帧所述图像确定目标物体的特征点；
三维建模模块，用于利用所述目标物体的特征点建立所述目标物体的三维模型；
特征点排序模块，用于确定所述目标物体的特征点顺序，所述特征点在每帧图像中的顺序不变；按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；
色彩信息查找模块，用于根据排序结果确定所述目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；
色彩还原模块，用于利用特征点顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。
本发明实施例提供的装置，通过对特征点的深度信息和色彩信息进行排序，从而可以实现对三维模型的色彩还原，且色彩还原的精度较高。
在此基础上，本发明实施例提供的装置还可以包括目标跟踪模块，用于利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪。
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例提供的一种三维建模方法流程图；
图2为本发明实施例提供的另一种三维建模方法流程图；
图3为本发明实施例提供的三维建模的设备的结构示意图。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明实施例的技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明实施例技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
本发明实施例提供的方法可以应用于多种硬件系统的应用场景。若以图像采集设备来划分应用场景，本发明实施例提供的方法适用于基于单台图像采集设备采集到的图像进行三维建模，本发明实施例提供的方法也适用于基于多台图像采集设备采集到的图像进行三维建模。其中，上述图像采集设备能够获取深度信息，可以是单目摄像机，也可 以是多目摄像机，可以是独立的摄像机，也可以是其他电子设备的图像采集组件(例如智能手机的摄像头)，可以是采用3D结构光的摄像机，也可以是采用ToF(Time Of Flight，飞行时间)技术的摄像机。优选地，本发明实施例所使用的图像采集设备为RGB-D摄像机。
本发明实施例提供一种三维建模的方法，请参考图1，包括：
步骤101、获取图像采集设备实时采集到的包含目标物体的图像。
本发明实施例中，图像采集设备采集到的图像包括深度信息，还包括图像信息(例如色彩信息)，以RGB-D摄像机为例，其采集到的图像包括色彩图像和深度图像，色彩图像与深度图像的分辨率相同，相同像素点的色彩信息与深度信息匹配。
步骤102、根据前N帧图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型。
其中，N为不小于1的整数，该步骤即利用图像采集设备实时采集到的前N帧图像对目标物体进行初始建模。目标物体在初始建模所利用到的图像中的可见部分称为初始已知部分，目标物体在初始建模所利用到的图像中的不可见部分称为初始未知部分。
优选地，图像采集设备采集到的实时图像按照预定的缓存格式进行缓存，本发明实施例不限定具体的缓存格式，例如，可以以队列的方式进行缓存，也可以以栈的方式进行缓存。本发明实施例提供的方法被触发后，从缓存中读取预定数量的图像用于对目标物体进行三维建模。
三维建模即利用读取到的前N帧图像确定目标物体的特征点，初始已知部分对应的每个特征点在图像中对应有图像点，根据这些图像点的信息(例如深度信息、色彩信息、图像点坐标信息等)对初始已知部分对应的特征点赋值，并利用目标物体的初始已知部分对应的特征点建立目标物体的初始已知部分的三维模型。
本发明实施例中，根据图像的深度信息可以对摄像机进行标定，进而可以根据标定结果确定目标物体的特征点。
缓存中实时更新图像，即有图像被读取后，则更新相同数量的图像到缓存中。
步骤103、将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型。
本发明实施例中，模型匹配的实现方式有多种，优选地，通过人工智能算法进行匹配。即，利用已知的完整三维模型作为样本训练模型库。本发明实施例不对训练模型库所使用的算法进行具体限定。
通过将初始已知部分的三维模型与模型库进行匹配，可以预测目标物体的初始未知部分的三维模型。一种实现方式中，匹配结果即为目标物体的初始未知部分的三维模型，相应的，模型库中将完整三维模型进行若干分类，其中一个特殊分类为对称模型分类，即若初始已知部分的三维模型与已知模型库中的其他分类均不匹配，则将其归为对称模型分类，该分类的匹配结果为对称匹配，即目标物体被认为是对称物体，将初始已知部分的三维模型进行对称变换后作为其初始未知部分的三维模型。另一种实现方式中，匹配结果可能为匹配失败，这种情况下，认为目标物体为对称物体，将初始已知部分的三维模型进行对称变换后作为其初始未知部分的三维模型。
本发明实施例中，可以进一步根据目标物体的初始已知部分的三维模型和初始未知部分的三维模型获得目标物体的初始完整三维模型。其中，可以为目标物体的初始未知部分分配存储空间，将其对应的特征点的信息保存在该存储空间中，而非保存在通用库中。
步骤104、利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。
更具体的，其实现方式可以但不仅限于是：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的特征点取值进行更新和/或对初始未知部分对应的特征点赋值。
本发明实施例提供的方法，利用实时获取的图像建立目标物体的初始已知部分的三维模型，进而基于初始已知部分的三维模型与模型库的匹配结果，可以猜想目标物体的初始未知部分的模型，而无需对目标物体进行全角度拍摄后才能建立完整的三维模型，因此大大节省了运算量及运算时间。
在上述方法实施例中，其建模方式为动态建模，即可以对目标物体进行跟踪，从而动态更新模型。
仍以上述缓存方式为例，实时读取缓存中的图像，通过特征点匹配的方式对目标物体进行跟踪。
本发明实施例中，由于图像采集设备的移动或者目标物体的移动，目标物体的位置和姿态可能发生改变，因此，需要根据跟踪结果对目标物体的三维模型进行更新。
在此基础上，更具体的，在目标跟踪的过程中，若目标物体的初始未知部分转换为了已知部分，那么根据跟踪结果确定所述目标物体的初始未知部分转换为已知部分后， 根据所述转换后的已知部分的图像点信息对所述目标物体的初始未知部分对应的特征点赋值。
在图像采集设备移动或者目标物体移动过程中，目标物体的未知部分可能会转换为已知部分从而被图像采集设备拍摄到，这种情况下，可以利用采集到的已知部分的模型更新之前猜想得到的模型，从而提高模型的精度。
在上述任意方法实施例的基础上，上述步骤104的实现方式有多种，例如，利用所述前N帧图像之后的图像对所述目标物体进行跟踪，根据跟踪结果确定所述目标物体的动态体和静态体；对所述动态体的三维模型进行更新，所述动态体的三维模型包括所述初始已知部分的三维模型和/或初始未知部分的三维模型。
本发明实施例提供的方法，仅对动态体进行更新，可以进一步提高动态建模的处理效率并降低运算量。
在上述任意方法实施例的基础上，所述目标物体的图像还包括色彩信息，该方法还包括：
确定所述目标物体的特征点的顺序，所述特征点在每帧图像中的顺序不变；
按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；
根据排序结果确定目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；
利用特征点的顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。
本发明实施例提供的方法，对模型中各个特征点的色彩信息和深度信息进行排序，根据排序结果对三维模型进行色彩还原，从而提高色彩还原的精度。
在上述任意方法实施例的基础上，该方法还包括：
获取所述目标物体的完整三维模型并输出。
更优选的，将目标物体的完整三维模型处理为通用格式后输出。
其中，目标物体的完整三维模型包括初始完整三维模型和实时更新的完整三维模型。
下面以一具体应用场景为例，对本发明实施例提供的具体实现方式进行详细说明。
在该应用场景中，智能移动终端包括RGB-D摄像头、处理器和存储器。
其中，RGB-D摄像头将实时采集到的图像缓存到存储器中，处理器对RGB-D摄像头采集到的色彩图像中的色彩信息和深度图像中的深度信息进行匹配；
处理器读取缓存中的图像，根据缓存中的图像对目标物体进行三维建模，得到初始已知部分的三维模型，该初始已知部分的三维模型包括目标物体的初始已知部分对应的特征点构成的点云；
处理器将初始已知部分的三维模型与模型库进行匹配，得到目标物体的初始未知部分的三维模型，该初始未知部分的三维模型包括目标物体的初始未知部分对应的特征点构成的点云。
处理器对当前的初始已知部分的三维模型中的特征点进行赋值，并将其标记为赋值状态，处理器对当前的初始未知部分的三维模型中的特征点标记为未赋值状态。
处理器继续读取缓存中的图像，利用读取到的图像对目标物体进行跟踪，根据跟踪结果对目标物体的三维模型进行更新。
上述处理过程中，具体的，处理器定标当前目标物体，以目标物体为参照物进行空间追踪，反向定标当前摄像头拍摄位置及角度，并记录。
在当前摄像头移动过程中，或者当前目标物体活动过程中，摄像头实时采集多帧目标物体的图像，通过帧变化，还原目标物体的初始状态，进行动态体判断追踪。即，如果目标物体的部分位置变化，则排除未变化部分(即静态体)，提取目标物体动态变化的部分(即动态体)进行位置动作判断，对于不规则形状的动态体，将其与数据库中存储的数据进行匹配，从而猜想还原目标物体的初始未知部分，并标记误差，作为后续更正；处理器继续读取实时采集图像的过程中，将标记未赋值点部分进行赋值(即根据后续采集到的图像，由初始未知部分转换为已知部分)，还原数值不作为通用库中的数据更新，作为新创建数据更新；初始未知部分转换为已知部分后，将对应的特征点标记为已赋值点，经过反复更新数值及对目标物体推进放大的部分数据采集更新，可逐渐提高目标物体的三维模型精度。
另一方面，处理器对目标物体的三维模型进行色彩还原。具体的，处理器获取目标物体的特征点对应坐标处的深度信息及深度信息匹配的当前色彩信息，并转化为可用于模型的uv坐标，通过当前每帧图像的特征点所匹配的深度信息还原模型本身，还原过程中，需要判断当前模型中特征点的状态是否为已赋值状态，如当前模型的特征点为已赋值状态，判断当前状态是否发生变化，未发生变化的部分，贴图区域不进行更新，已发生变化部分，通过匹配深度值，计算当前深度值位置进行更新。
模型的特征点在采集中处于无序列状态，需要重新计算序列，才可以重新跟踪特征点，重新组合序列根据需求确定精度，不超过需求精度最大值，进行排序重组。在对应 了深度信息后，需要根据已有模型更新后的深度信息，对当前采集部分深度信息进行重新组合，并对特征点重新排序。并将重新排列后的特征点序列赋值模型数据，对应颜色部分更新完毕。
采集追踪模型过程中，可通过采集多个帧的图形数据，进行位置计算，并辅助当前模型数据进行更新，使模型精度提升。
色彩数据在采集完成以后，根据模型及动作变化更新，追踪结束后，根据色彩坐标值，获取色彩图形范围，并重新提取范围颜色，将所有部分范围颜色进行组合，合成模型颜色部分。并作为建模贴图更新存储。
本发明实施例提供的方法，在完成三维建模后，可以实时输出给本地的显示屏，也可以实时传输给其他电子设备。
本发明实施例不对模型输出的实现方式进行具体限定。优选地，采用通用格式进行输出。更具体的，将已赋值数据进行存储，并对数据库进行更新后，导出已成型建模，需要所有序列有序排列，并分割非建模部分，(如环境深度值影响部分)并通过相同追踪点(重建模型部分，相同的序列位置)创建可追踪部分。记录动作数据，实现通用追踪效果，及通用贴图。模型可根据需求转换任意通用格式导出，记录数据部分为结构体，同时存储深度及颜色两部分数据。
本发明实施例提供一种三维建模的装置，该装置包括：
图像获取模块，用于获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括深度信息；
模型建立模块，用于根据前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型；
模型猜想模块，用于将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型；
目标跟踪模块，用于利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。
本发明实施例提供的装置，利用实时获取的图像建立目标物体的初始已知部分的三维模型，进而基于初始已知部分的三维模型与模型库的匹配结果，可以猜想目标物体的初始未知部分的模型，而无需对目标物体进行全角度拍摄后才能建立完整的三维模型，因此大大节省了运算量及运算时间。
在上述装置实施例中，其建模方式为动态建模，即可以对目标物体进行跟踪，从而动态更新模型。相应的，本发明实施例提供的装置中，模型建立模块用于：根据前N帧所述图像确定所述目标物体的特征点；根据前N帧所述图像中对应的图像点信息对所述目标物体的初始已知部分对应的特征点赋值，并利用所述目标物体的初始已知部分对应的特征点建立所述目标物体的初始已知部分的三维模型；目标跟踪模块用于：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的特征点取值进行更新和/或对初始未知部分对应的特征点赋值。
在此基础上，更具体的，所述目标跟踪模块具体用于：
根据跟踪结果确定所述目标物体的初始未知部分转换为已知部分后，根据所述转换后的已知部分的图像点信息对所述目标物体的初始未知部分对应的特征点赋值。
在图像采集设备移动或者目标物体移动过程中，目标物体的初始未知部分可能会转换为已知部分从而被图像采集设备拍摄到，这种情况下，可以利用变换后的已知部分的模型更新之前猜想得到的模型，从而提高模型的精度。
在上述任意方法实施例的基础上，所述目标跟踪模块具体用于：
利用所述前N帧图像之后的图像对所述目标物体进行跟踪，根据跟踪结果确定所述目标物体的动态体和静态体；
对所述动态体的三维模型进行更新，所述动态体的三维模型包括所述初始已知部分的三维模型和/或初始未知部分的三维模型。
本发明实施例提供的装置，仅对动态体进行更新，可以进一步提高动态建模的处理效率并降低运算量。
在上述任意装置实施例的基础上，所述目标物体的图像还包括色彩信息，该装置还包括色彩还原模块，用于：
确定所述目标物体的特征点的顺序，所述特征点在每帧图像中的顺序不变；
按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；
根据排序结果确定目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；
利用特征点的顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。
本发明实施例提供的装置，对模型中各个特征点进行排序，进而对特征点在各帧中对应的色彩信息和深度信息进行排序，根据排序结果对三维模型进行色彩还原，从而提高色彩还原的精度。
在上述任意装置实施例的基础上，该装置还包括输出模块，用于：
获取所述目标物体的完整三维模型并输出。
本发明实施例提供一种三维建模的方法，如图2所示，包括：
步骤201、获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括色彩信息和深度信息；
步骤202、根据前N帧所述图像确定目标物体的特征点；
步骤203、利用所述目标物体的特征点建立所述目标物体的三维模型；
本发明实施例不对三维建模的具体实现方式进行限定。
可采用现有任意的三维建模方式，也可以采用上述方法实施例提供的建模方式。
步骤204、确定所述目标物体的特征点顺序，所述特征点在每帧图像中的顺序不变；
其中，可以由用户指定特征点的顺序，也可以按照预定的规则自动确定特征点的顺序。
步骤205、按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；
步骤206、根据排序结果确定所述目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；
步骤207、利用特征点顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。
本发明实施例提供的方法，通过对特征点的深度信息和色彩信息进行排序，从而可以实现对三维模型的色彩还原，且色彩还原的精度较高。
在此基础上，本发明实施例提供的方法还可以利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪。
本发明实施例中，上述色彩还原过程以及三维建模过程的具体实现方式可以参照前述实施例的描述，此处不再赘述。
本发明实施例提供一种三维建模的装置，该装置包括：
图像获取模块，用于获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括色彩信息和深度信息；
特征点确定模块，用于根据前N帧所述图像确定目标物体的特征点；
三维建模模块，用于利用所述目标物体的特征点建立所述目标物体的三维模型；
特征点排序模块，用于确定所述目标物体的特征点顺序，所述特征点在每帧图像中的顺序不变；按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；
色彩信息查找模块，用于根据排序结果确定所述目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；
色彩还原模块，用于利用特征点顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。
本发明实施例提供的装置，通过对特征点的深度信息和色彩信息进行排序，从而可以实现对三维模型的色彩还原，且色彩还原的精度较高。
在此基础上，本发明实施例提供的装置还可以包括目标跟踪模块，用于利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪。
图3示出了本发明实施例提供的三维建模的设备的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：
如图3所示，本发明实施例提供一种三维建模的设备，包括存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序，所述处理器302执行所述计算机程序时实现上述三维建模的方法。其中，存储器301与处理器302之间通过内部总线进行通信。
本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述三维建模的方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
- 一种三维建模的方法，其特征在于，包括：获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括深度信息；根据前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型；将所述初始已知部分的三维模型与模型库中的多个模型进行匹配，根据匹配结果确定所述目标物体的初始未知部分的三维模型；利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新。
- 根据权利要求1所述三维建模的方法，其特征在于，所述利用前N帧所述图像对目标物体进行三维建模，得到所述目标物体的初始已知部分的三维模型，包括：根据前N帧所述图像确定所述目标物体的特征点；根据前N帧所述图像中对应的图像点信息对所述目标物体的初始已知部分对应的特征点赋值，并利用所述目标物体的初始已知部分对应的特征点建立所述目标物体的初始已知部分的三维模型；所述利用前N帧所述图像之后图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新，包括：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的特征点取值进行更新和/或对初始未知部分对应的特征点赋值。
- 根据权利要求2所述三维建模的方法，其特征在于，所述根据跟踪结果对所述目标物体的初始未知部分对应的特征点赋值，包括：根据跟踪结果确定所述目标物体的初始未知部分转换为已知部分后，根据所述转换后的已知部分的图像点信息对所述目标物体的初始未知部分对应的特征点赋值。
- 根据权利要求1至3任一项所述三维建模的方法，其特征在于，所述利用所述前N帧图像之后的图像对所述目标物体进行跟踪，并根据跟踪结果对所述目标物体的初始已知部分的三维模型和/或初始未知部分的三维模型进行更新，包括：利用所述前N帧图像之后的图像对所述目标物体进行跟踪，根据跟踪结果确定所述目标物体的动态体和静态体；对所述动态体的三维模型进行更新，所述动态体的三维模型包括所述初始已知部分的三维模型和/或初始未知部分的三维模型。
- 根据权利要求2或3所述三维建模的方法，其特征在于，所述目标物体的图像还包括色彩信息，该方法还包括：确定所述目标物体的特征点的顺序，所述特征点在每帧图像中的顺序不变；按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；根据排序结果确定目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；利用特征点的顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。
- 根据权利要求1至3任一项所述三维建模的方法，其特征在于，该方法还包括：获取所述目标物体的完整三维模型并输出。
- 一种三维建模的方法，其特征在于，包括：获取图像采集设备实时采集到的包含目标物体的图像，所述图像包括色彩信息和深度信息；根据前N帧所述图像确定目标物体的特征点；利用所述目标物体的特征点建立所述目标物体的三维模型；确定所述目标物体的特征点顺序，所述特征点在每帧图像中的顺序不变；按照时序对所述目标物体的特征点对应的色彩信息和深度信息进行排序；根据排序结果确定所述目标物体的各个特征点当前的深度信息，并根据当前的深度信息查找对应的色彩信息；利用特征点顺序及查找到的色彩信息对所述目标物体的三维模型进行色彩还原。
- 根据权利要求7所述三维建模的方法，其特征在于，该方法还包括：利用前N帧所述图像之后的图像对所述目标物体的特征点进行跟踪。
- 一种三维建模的设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现权利要求1至8任一项所述三维建模的方法的步骤。
- 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至8任一项所述三维建模的方法的计算机程序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811338115.6 | 2018-11-12 | ||
| CN201811338115.6A CN111179408B (zh) | 2018-11-12 | 2018-11-12 | 三维建模的方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020098566A1 true WO2020098566A1 (zh) | 2020-05-22 |
Family
ID=70655566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2019/116576 WO2020098566A1 (zh) | 2018-11-12 | 2019-11-08 | 三维建模的方法、设备及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111179408B (zh) |
| WO (1) | WO2020098566A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114329724A (zh) * | 2021-12-31 | 2022-04-12 | 北京泰豪智能工程有限公司 | 基于视觉的建筑信息模型bim更新方法及系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758055A (zh) * | 2020-12-28 | 2022-07-15 | 中兴通讯股份有限公司 | 三维模型生成方法、xr设备及存储介质 |
| CN112686988B (zh) * | 2020-12-31 | 2024-07-23 | 北京北信源软件股份有限公司 | 三维建模方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100303289A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
| CN104077804A (zh) * | 2014-06-09 | 2014-10-01 | 广州嘉崎智能科技有限公司 | 一种基于多帧视频图像构建三维人脸模型的方法 |
| CN105279786A (zh) * | 2014-07-03 | 2016-01-27 | 顾海松 | 物体三维模型的获取方法和系统 |
| CN105335984A (zh) * | 2014-06-19 | 2016-02-17 | 株式会社理光 | 跟踪对象的方法和装置 |
| CN105913492A (zh) * | 2016-04-06 | 2016-08-31 | 浙江大学 | 一种rgbd图像中物体形状的补全方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050712B (zh) * | 2013-03-15 | 2018-06-05 | 索尼公司 | 三维模型的建立方法和装置 |
| CN105913429B (zh) * | 2016-04-12 | 2019-03-08 | 工业和信息化部电信研究院 | 智能终端用户视觉感知响应时延指标的计算方法 |
| CN107134008A (zh) * | 2017-05-10 | 2017-09-05 | 广东技术师范学院 | 一种基于三维重建下的动态物体识别的方法及系统 |
-
2018
- 2018-11-12 CN CN201811338115.6A patent/CN111179408B/zh active Active
-
2019
- 2019-11-08 WO PCT/CN2019/116576 patent/WO2020098566A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100303289A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
| CN104077804A (zh) * | 2014-06-09 | 2014-10-01 | 广州嘉崎智能科技有限公司 | 一种基于多帧视频图像构建三维人脸模型的方法 |
| CN105335984A (zh) * | 2014-06-19 | 2016-02-17 | 株式会社理光 | 跟踪对象的方法和装置 |
| CN105279786A (zh) * | 2014-07-03 | 2016-01-27 | 顾海松 | 物体三维模型的获取方法和系统 |
| CN105913492A (zh) * | 2016-04-06 | 2016-08-31 | 浙江大学 | 一种rgbd图像中物体形状的补全方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114329724A (zh) * | 2021-12-31 | 2022-04-12 | 北京泰豪智能工程有限公司 | 基于视觉的建筑信息模型bim更新方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179408A (zh) | 2020-05-19 |
| CN111179408B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN108537876B (zh) | 三维重建方法、装置、设备及存储介质 | |
| CN108961390B (zh) | 基于深度图的实时三维重建方法 | |
| CN107247834B (zh) | 一种基于图像识别的三维环境模型重构方法、设备及系统 | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| KR20200005999A (ko) | 듀얼 이벤트 카메라를 이용한 slam 방법 및 slam 시스템 | |
| WO2020098566A1 (zh) | 三维建模的方法、设备及计算机可读存储介质 | |
| CN110648363B (zh) | 相机姿态确定方法、装置、存储介质及电子设备 | |
| JP2016161569A (ja) | オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム | |
| CN109711472B (zh) | 训练数据生成方法和装置 | |
| CN111080776B (zh) | 人体动作三维数据采集和复现的处理方法及系统 | |
| CN107862733B (zh) | 基于视线更新算法的大规模场景实时三维重建方法和系统 | |
| CN116977522A (zh) | 三维模型的渲染方法、装置、计算机设备和存储介质 | |
| US20210012568A1 (en) | Methods, devices and computer program products for gradient based depth reconstructions with robust statistics | |
| CN111161398B (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| WO2023116430A1 (zh) | 视频与城市信息模型三维场景融合方法、系统及存储介质 | |
| CN109318227B (zh) | 一种基于人形机器人的掷骰子方法及人形机器人 | |
| CN117274515A (zh) | 基于ORB和NeRF映射的视觉SLAM方法及系统 | |
| CN110544278B (zh) | 刚体运动捕捉方法及装置、agv位姿捕捉系统 | |
| US20230162392A1 (en) | Lidar mapping | |
| CN110188630A (zh) | 一种人脸识别方法和相机 | |
| CN110378948B (zh) | 3d模型重建方法、装置及电子设备 | |
| US20230100238A1 (en) | Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object | |
| CN109544530A (zh) | X射线头影测量图像结构特征点自动定位方法及系统 | |
| Khan et al. | Skeleton based human action recognition using a structured-tree neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19885160 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 31/08/2021) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19885160 Country of ref document: EP Kind code of ref document: A1 |