WO2021052121A1 - 一种基于激光雷达和摄像头的物体识别方法和装置 - Google Patents

一种基于激光雷达和摄像头的物体识别方法和装置 Download PDF

Info

Publication number
WO2021052121A1
WO2021052121A1 PCT/CN2020/111232 CN2020111232W WO2021052121A1 WO 2021052121 A1 WO2021052121 A1 WO 2021052121A1 CN 2020111232 W CN2020111232 W CN 2020111232W WO 2021052121 A1 WO2021052121 A1 WO 2021052121A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
camera
image
point cloud
cloud data
Prior art date
Application number
PCT/CN2020/111232
Other languages
English (en)
French (fr)
Inventor
于毅欣
Original Assignee
于毅欣
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 于毅欣 filed Critical 于毅欣
Publication of WO2021052121A1 publication Critical patent/WO2021052121A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • Step 4 In actual operation, the software system generates depth image information according to the point cloud data currently obtained by the user-side lidar.
  • Figure 2 A schematic diagram of the distribution and orientation of the mechanical lidar and camera, top view.
  • a depth image conversion domain value (range value) according to the range of the lidar (for example, 150 meters) and the size of the object to be identified (for example, a ball with a radius of 1 meter),
  • the range of the lidar for example, 150 meters
  • the size of the object to be identified is a ball with a radius of 1 meter (2 meters in the depth direction)
  • the usable range is 10-15000 (150 divided by 15000 is the length of centimeters, which means the length of centimeters is the depth.
  • the value of precision is used as the range value for converting the depth value into the image color value (ie, a two-dimensional data).
  • Step 4 Use the depth image information and the image frame information of the camera to generate two experience libraries through neural network related technology and ⁇ or convolutional neural network related technology.
  • Step 6 Perform image retrieval on the generated depth image information, and use the experience library generated by the depth information to find the image information that meets the conditions.
  • This image information includes the rectangle information relative to the upper left corner of the depth image.

Abstract

一种基于激光雷达和摄像头的物体识别方法和装置，其特征在于，包括：激光雷达，摄像头，软件系统。所述激光雷达是通过发射激光来进行测距以获取点云数据的激光设备。所述摄像头是固定在某个或某几个方向上的一个或多个摄像头。所述软件系统是根据激光雷达的点云数据和摄像头的图像帧来识别出物体的系统。本发明用来识别交警、各种路标牌、路障、红绿灯等特定物体。本发明能够至少一定程度上区分出交警海报照片和交警本人，区分出广告灯箱中的模特和道路上相同样子的行人等待识别内容。

Description

一种基于激光雷达和摄像头的物体识别方法和装置 技术领域
本发明涉及识别领域，具体涉及一种基于激光雷达和摄像头的物体识别方法和装置。
背景技术
本发明提供一种基于激光雷达和摄像头的物体识别方法和装置，通过激光雷达结合摄像头来采集待识别物体的数据，训练成经验库，在实际使用时，通过激光雷达和摄像头的数据来识别出目标物体，本发明使用多个经验库结合的方法来增强识别效果。本发明可以用来识别交警、各种路标牌、路障、红绿灯等特定物体。相比于很多传统的识别方法，本发明能够至少一定程度上区分出交警海报照片和交警本人，区分出广告灯箱中的模特和道路上相同样子的行人等待识别内容。
发明内容
一种基于激光雷达和摄像头的物体识别装置，其特征在于，包括：激光雷达，摄像头，软件系统。
所述激光雷达是通过发射激光来进行测距以获取点云数据的激光设备。
所述摄像头是固定在某个或某几个方向上的一个或多个摄像头。
所述软件系统是根据激光雷达的点云数据和摄像头的图像帧来识别出物体的经验系统。
优选地，校准激光雷达和摄像头的朝向角度，使两者同步满足互相覆盖或部分覆盖，并满足一定相对成角，如果有必要则生成摄像头的配置信息(包含内容例如摄像头编号和角度偏移)。
优选地，当激光雷达或摄像头可能被移动或转向时，可以对激光雷达和摄像头分别添加陀螺仪(电子陀螺仪)来方便动态校准，此时软件系统可以根据两个陀螺仪的轴向读数来计算两个设备的实际成角偏移。
一种基于激光雷达和摄像头的物体识别方法，其特征在于，包括：
步骤一：使用激光雷达对特定待识别的物体进行扫描得到点云数据，并根据此点云数据生成深度图像信息，并同时根据摄像头采集图像帧信息。
步骤二：使用所述深度图像信息来生成卷积神经网络经验库或神经网络 经验库。
步骤三：使用所述图像帧信息来生成卷积神经网络经验库或神经网络经验库。
步骤四：实际操作时软件系统根据用户端激光雷达当前获得的点云数据生成深度图像信息。
步骤五：对生成的深度图像信息进行图像检索，使用深度信息生成的经验库，来找到满足条件的图像信息。
步骤六：软件系统对摄像头捕捉到的图像帧信息在“步骤五”中找到的深度图像信息的满足匹配情况的位置的对应图像帧位置进行检索，再次确认满足匹配条件则认为是发现了目标物。
优选地，使用本发明装置对待识别物体进行采样时，可以对采样信息进行预处理以模拟较远的各种距离时的激光雷达获得的点云数据信息和摄像头捕捉到的图像帧信息，也可以进行多种距离的采样以省去部分对较远的各种距离的数据采样结果的模拟计算。
优选地，作为一种可选的实施方式，在将待识别物体的点云数据转化成深度图像时，可以根据待识别物体点云数据的值域范围来调整深度信息到深度图像的转换域值(范围值)，也可以根据激光雷达的探测范围来设置深度信息到深度图像的转换域值(范围值)。
优选地，作为一种可选的实施方式，可以将采样得到的点云数据进行转化(例如每隔两个点取一个点)来模拟待识别物体在距离较远处的点云数据采样，以减少采样次数或增多样本数量，此时摄像头收集到的图像帧数据也要根据点云数据的转化情况来相应的缩放以模拟距离较远处的摄像头收集到的图像帧数据信息。
优选地，所述“步骤三”生成的经验库是区别于“步骤二”生成的经验库的另一个经验库，此经验库是根据摄像头收集到的待识别物体的图像帧信息建立的，而“步骤二”生成的经验库是根据点云数据转换成的深度图像信息建立的。
优选地，作为一种可选的实施方式，这里可以根据具体实现方案来变换生成深度图像信息的转换域值(范围值)，例如使用激光雷达的探测范围来设置深度信息到深度图像的转换域值(范围值)，或使用待识别物体点云数据的值域 范围来调整深度信息到深度图像的转换域值(范围值)。
可选地，作为一种可选的实施方式，对生成的深度信息图像进行卷积神经网络的检索，返回匹配率满足某一阈值或达到判定规则的图像信息。
进一步地，所述返回匹配率满足某一阈值的图像信息中包含相对于深度图像左上角的位置偏移的矩形信息。
优选地，根据“步骤五”中通过搜索获得的深度图像中检索出的图像信息的矩形信息，来搜索摄像头捕捉到的图像帧信息的对应位置，使用图像信息经验库进行卷积神经网络的检索。
优选地，如果图像帧信息的图像搜索也满足匹配率超过某阈值或达到判定规则，则认为是找到了待识别物体。
优选地，所述深度图像信息可以是一个二维数据信息。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1基于深度图像信息生成的经验库和基于摄像头图像帧生成的经验库的概念示意图。
图2机械式激光雷达和摄像头的一种分布、朝向示意图，顶视图。
图3固态激光雷达和摄像头的一种分布、朝向示意图，顶视图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
步骤1：首先对激光雷达和摄像头进行设备校准，当使用的是机械式激光雷达的时候，假设摄像头的fov(field of view视域)是90度角，则可以在摄像头的图像中心的深度方向(通常是z轴或左手坐标系的z轴)与激光雷达坐标系在垂直水平面的轴向的0度角(轴向角度)，90度角，180度角，270度角分别部署摄像头，并且将摄像头的id和相对角度信息储存到相关配置文件中，配置文件中也可以预存各个摄像头与激光雷达的偏移信息或相对坐标信息。
步骤2：使用激光雷达对特定待识别的物体进行扫描得到点云数据，并根据此点云数据生成深度图像信息，并同时根据0度角的摄像头采集图像帧信息，将这些图像信息用于经验库的数据依据。
进一步地，在生成深度图像信息时，需要根据激光雷达的测距范围(例如150米)和待识别物体的大小(例如1米半径的球)生成一个深度图像的转换域值(范围值)，例如150米的测距范围，待识别物体的大小是1米半径的球(深度方向2米)，则可以使用范围是10-15000(150除以15000的长度是厘米也就是以厘米长度为深度精度)的值来做为将深度数值转换成图像颜色数值(即一个二维数据)的范围值。
步骤3：使用“步骤1”中生成的数据进行处理，对于点云数据每隔两个点取一个点(或求这两个点的平均信息生成一个新点)，然后对摄像头采集到的图像帧进行缩小(缩小到原来宽度和高度的一半)，获得的新点云数据和图像帧数据作为新的采样数据，用来作为经验库的数据依据。
进一步地，可以对点云数据每隔N个点取一个点(或求这N个点的平均信息生成一个新点)，然后对摄像头采集到的图像帧进行缩小(缩小到原来宽度和高度的N分之一)，获得的新点云数据和图像帧数据作为新的采样数据，用来作为经验库数据依据。
步骤4：使用深度图像信息和摄像头的图像帧信息分别通过神经网络相关技术和\或卷积神经网络相关技术生成两个经验库。
步骤5：实际使用时，对激光雷达生成的点云数据生成四张深度图像信息。
进一步地，作为一种可选的实施方式，在确定每个深度图像信息的数值时，可以使用点云数据中每个点的距离值来除以之前提到的深度转换成图像颜色数值的范围值来得到结果值(类似于灰度图中的亮度)。
进一步地，作为一种可选的实施方式，此处可以将深度图像信息分成四份来分别检索，四份分别是垂直水平面的轴向角度(-45度到45度)，(45度到135度)，(135度到225度)，(225度到315度)的范围。分成四份之后，还要对相连图像的接缝处各生成一张图片来进行一次检索，例如每个接缝处各取左右图像的一定角度(例如15度角)合成一张图片来检索，这里说的左右接缝就是将360度环形图像信息分开的四处地方的接缝左右图像。
进一步地，作为一种可选的实施方式，也可以只生成一张深度图像信息，此时只对唯一的左右接缝处进行单独的检索处理(此时接缝处可以在-45度角位置)，即连接左右接缝处的图像生成一张图像来检索，以保证刚好被接缝处分开的物体也能够获得整体的检索，此处说的左右接缝处就是将360度环形图像信息分开的地方。
步骤6：对生成的深度图像信息进行图像检索，使用深度信息生成的经验库，来找到满足条件的图像检索信息，此图像检索信息包括相对于深度图像左上角的矩形信息。
步骤7：用“步骤6”中得到矩形信息找到摄像头图像帧中的对应位置(此处也可以按照图像大小的某个比例来将矩形放大得到的扩展后的搜索矩形，例如整体图像的64分之一的大小放大)进行图像帧经验库的检索，如果检索到满足匹配条件或匹配率超过阈值则认为是发现了目标物。
实施例2
当固态激光雷达和摄像头搭配时，尽量选择视角(或者说视场角度或fov)相同的设备。
步骤1：首先对激光雷达和摄像头进行设备校准，当使用的是固态激光雷达时，可以对一个固态激光雷达只部署一个摄像头，并且调整摄像头图像中心的深度方向(通常是z轴或左手坐标系的z轴)与固态激光雷达点云数据中心的坐标系在垂直水平面的轴向的0度方向的同方向。
步骤2：使用激光雷达对特定待识别的物体进行扫描得到点云数据，并根据此点云数据生成深度图像信息，并同时使用摄像头采集图像帧信息。
进一步地，在生成深度图像信息时，需要根据激光雷达的测距范围(例如90米)和待识别物体的大小(例如1米半径的球)生成一个深度图像的转换域值(范围值)，例如90米的测距范围，待识别物体的大小是1米半径的球(深度方向2米)，则可以使用范围是10-9000(90除以9000的长度是厘米也就是以厘米长度为深度精度)的值来做为深度转换成图像颜色数值的范围值。
步骤3：使用“步骤1”中生成的数据进行处理，对于点云数据每隔两个点取一个点(或求这两个点的平均信息生成一个新点)，然后对摄像头采集到的图像帧进行缩小(缩小到原来宽度和高度的一半)，获得的新点云数据和图像帧 数据作为新的采样数据，用来作为经验库数据依据。
进一步地，可以对点云数据每隔N个点取一个点(或求这N个点的平均信息生成一个新点)，然后对摄像头采集到的图像帧进行缩小(缩小到原来宽度和高度的N分之一)，获得的新点云数据和图像帧数据作为新的采样数据，用来作为经验库数据依据。
步骤4：使用深度图像信息和摄像头的图像帧信息分别通过神经网络相关技术和\或卷积神经网络相关技术生成两个经验库。
步骤5：实际使用时，对激光雷达生成的点云数据生成深度图像信息(类似于3D视锥投影的过程)。
进一步地，作为一种可选的实施方式，在确定每个深度图像信息的数值时，可以使用点云数据中每个点的距离值来除以之前提到的深度转换成图像颜色数值的范围值来得到结果值(类似于灰度图中的亮度)。
进一步地，此种方案由于生成非360度环视的点云数据，所以不需要像“实例1”中那样对深度图像边缘的拼接等操作。
步骤6：对生成的深度图像信息进行图像检索，使用深度信息生成的经验库，来找到满足条件的图像信息，此图像信息包括相对于深度图像左上角的矩形信息。
步骤7：用“步骤6”中得到矩形信息找到摄像头图像帧中的对应位置(此处也可以按照图像大小的某个比例来将矩形放大得到的扩展后的搜索矩形，例如整体图像的64分之一的大小放大)进行图像帧经验库的检索，如果检索到满足匹配条件(例如匹配率超过阈值)则认为是发现了目标物。
以上是本发明的具体实施方式，但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此本发明的保护范围应以权利要求书所限定的保护范围为准。

Claims (10)

  1. 一种基于激光雷达和摄像头的物体识别装置，其特征在于，包括：激光雷达，摄像头，软件系统；
    所述激光雷达是通过发射激光来进行测距以获取点云数据的激光设备；
    所述摄像头是固定在某个或某几个方向上的一个或多个摄像头；
    所述软件系统是根据激光雷达的点云数据和摄像头的图像帧来识别出物体的系统。
  2. 一种基于激光雷达和摄像头的物体识别方法，其特征在于，包括：
    步骤一：使用激光雷达对特定待识别的物体进行扫描得到点云数据，并根据此点云数据生成深度图像信息，并同时根据摄像头采集图像帧信息；
    步骤二：使用所述深度图像信息来生成卷积神经网络经验库或神经网络经验库；
    步骤三：使用所述图像帧信息来生成卷积神经网络经验库或神经网络经验库；
    步骤四：实际操作时软件系统根据用户端激光雷达当前获得的点云数据生成深度图像信息；
    步骤五：对生成的深度图像信息进行图像检索，使用深度信息生成的经验库，来找到满足匹配条件的图像信息；
    步骤六：软件系统对摄像头捕捉到的图像帧信息在“步骤五”中找到的深度图像信息的满足匹配情况的位置的对应图像帧位置进行检索，再次确认满足匹配条件则认为是发现了目标物。
  3. 根据权利要求2所述的“步骤一”，其特征在于，使用激光雷达对特定待识别的物体进行扫描得到点云数据，并根据此点云数据生成深度图像信息，并同时根据摄像头采集图像帧信息，包括：
    校准激光雷达和摄像头的朝向角度，使两者同步满足互相覆盖或部分覆盖，并满足一定相对成角，如果有必要则生成摄像头的配置信息(包含内容例如摄像头编号和角度偏移)；
    使用本发明装置对待识别物体进行采样时，可以对采样信息进行预处理以模拟较远的各种距离时的激光雷达获得的点云数据信息和摄像头捕捉到的图像帧信息，也可以进行多种距离的采样以省去部分对较远的各种距离的数据采样结果的模拟计算。
  4. 根据权利要求2所述的“步骤二”，其特征在于，使用所述深度图像信息来生 成卷积神经网络经验库或神经网络经验库，包括：
    作为一种可选的实施方式，在将待识别物体的点云数据转化成深度图像时，可以根据待识别物体点云数据的值域范围来调整深度信息到深度图像的转换域值(范围值)，也可以根据激光雷达的探测范围来设置深度信息到深度图像的转换域值(范围值)；
    作为一种可选的实施方式，可以将采样得到的点云数据进行转化(例如每隔两个点取一个点)来模拟待识别物体在距离较远处的点云数据采样，以减少采样次数或增多样本数量，此时摄像头收集到的图像帧数据也要根据点云数据的转化情况来相应的缩放以模拟距离较远处的摄像头收集到的图像帧数据信息。
  5. 根据权利要求2所述的“步骤三”，其特征在于，使用所述图像帧信息来生成卷积神经网络经验库或神经网络经验库，包括：
    所述“步骤三”生成的经验库是区别于“步骤二”生成的经验库的另一个经验库，此经验库是根据摄像头收集到的待识别物体的图像帧信息建立的，而“步骤二”生成的经验库是根据点云数据转换成的深度图像信息建立的。
  6. 根据权利要求2所述的“步骤四”，其特征在于，实际操作时软件系统根据用户端激光雷达当前获得的点云数据生成深度图像信息，包括：
    作为一种可选的实施方式，这里可以根据具体实现方案来变换生成深度图像信息的转换域值(范围值)，例如使用激光雷达的探测范围来设置深度信息到深度图像的转换域值(范围值)，或使用待识别物体点云数据的值域范围来调整深度信息到深度图像的转换转换域值(范围值)。
  7. 根据权利要求2所述的“步骤五”，其特征在于，对生成的深度图像信息进行图像检索，使用深度信息生成的经验库，来找到满足条件的图像信息，包括：作为一种可选的实施方式，对生成的深度信息图像进行卷积神经网络的检索，返回匹配率满足某一阈值或达到判定规则的图像信息；
    进一步地，所述返回匹配率满足某一阈值的图像信息中包含相对于深度图像左上角的位置偏移的矩形信息。
  8. 根据权利要求2所述的“步骤六”，其特征在于，软件系统对摄像头捕捉到的图像帧信息在“步骤五”中找到的深度图像信息的满足匹配情况的位置的对应图像帧位置进行检索，再次确认满足匹配条件则认为是发现了目标物，包括：
    根据“步骤五”中通过搜索获得的深度图像中检索出的图像信息的矩形信息，来搜索摄像头捕捉到的图像帧信息的对应位置，使用图像信息经验库进行卷积神经网络的检索；
    如果图像帧信息的图像搜索也满足匹配率超过某阈值或达到判定规则，则认为是找到了待识别物体。
  9. 一种计算机可读写介质，其上存储有计算机程序和相关数据，其特征在于，所述程序被处理器执行时实现本发明的相关计算功能和内容。
  10. 一种电子设备，其特征在于，包括：
    一个或多个处理器；
    一个或多个显卡(可选)；
    存储装置，用于存储一个或多个程序。
PCT/CN2020/111232 2019-09-20 2020-08-26 一种基于激光雷达和摄像头的物体识别方法和装置 WO2021052121A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910890625.2A CN110706278A (zh) 2019-09-20 2019-09-20 一种基于激光雷达和摄像头的物体识别方法和装置
CN201910890625.2 2019-09-20

Publications (1)

Publication Number Publication Date
WO2021052121A1 true WO2021052121A1 (zh) 2021-03-25

Family

ID=69195853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/111232 WO2021052121A1 (zh) 2019-09-20 2020-08-26 一种基于激光雷达和摄像头的物体识别方法和装置

Country Status (2)

Country Link
CN (1) CN110706278A (zh)
WO (1) WO2021052121A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114425774A (zh) * 2022-01-21 2022-05-03 深圳优地科技有限公司 机器人行走道路的识别方法、识别设备以及存储介质
CN115856829A (zh) * 2023-02-06 2023-03-28 山东矩阵软件工程股份有限公司 一种雷达三维数据转换的图像数据识别方法及系统
CN116819489A (zh) * 2023-08-25 2023-09-29 摩尔线程智能科技(北京)有限责任公司 动态物体检测方法、模型训练方法、装置、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706278A (zh) * 2019-09-20 2020-01-17 异起(上海)智能科技有限公司 一种基于激光雷达和摄像头的物体识别方法和装置
CN111814764B (zh) * 2020-08-27 2023-08-18 北京交跃通达检测科技有限公司 一种遗撒物确定系统
CN116168366B (zh) * 2023-01-19 2023-12-05 北京百度网讯科技有限公司 点云数据生成方法、模型训练方法、目标检测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213794A1 (en) * 2004-03-26 2005-09-29 Omron Corporation Vehicle detection apparatus and method
CN106991370A (zh) * 2017-02-28 2017-07-28 中科唯实科技（北京）有限公司 基于颜色和深度的行人检索方法
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109143260A (zh) * 2018-09-29 2019-01-04 北京理工大学 一种三维固态面阵激光雷达人脸识别装置及方法
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110706278A (zh) * 2019-09-20 2020-01-17 异起(上海)智能科技有限公司 一种基于激光雷达和摄像头的物体识别方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213794A1 (en) * 2004-03-26 2005-09-29 Omron Corporation Vehicle detection apparatus and method
CN106991370A (zh) * 2017-02-28 2017-07-28 中科唯实科技（北京）有限公司 基于颜色和深度的行人检索方法
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109143260A (zh) * 2018-09-29 2019-01-04 北京理工大学 一种三维固态面阵激光雷达人脸识别装置及方法
CN109444911A (zh) * 2018-10-18 2019-03-08 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN110706278A (zh) * 2019-09-20 2020-01-17 异起(上海)智能科技有限公司 一种基于激光雷达和摄像头的物体识别方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114425774A (zh) * 2022-01-21 2022-05-03 深圳优地科技有限公司 机器人行走道路的识别方法、识别设备以及存储介质
CN114425774B (zh) * 2022-01-21 2023-11-03 深圳优地科技有限公司 机器人行走道路的识别方法、识别设备以及存储介质
CN115856829A (zh) * 2023-02-06 2023-03-28 山东矩阵软件工程股份有限公司 一种雷达三维数据转换的图像数据识别方法及系统
CN116819489A (zh) * 2023-08-25 2023-09-29 摩尔线程智能科技(北京)有限责任公司 动态物体检测方法、模型训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110706278A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
WO2021052121A1 (zh) 一种基于激光雷达和摄像头的物体识别方法和装置
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
Scaramuzza et al. Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes
US8467810B2 (en) Method and system for reporting errors in a geographic database
US20200082614A1 (en) Intelligent capturing of a dynamic physical environment
JP2019530035A (ja) 在庫追跡のための複数のカメラシステム
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
Ardeshir et al. Geo-semantic segmentation
WO2022078442A1 (zh) 一种基于光扫描和智能视觉融合的3d信息采集方法
CN111028358A (zh) 室内环境的增强现实显示方法、装置及终端设备
Zhang et al. Vehicle global 6-DoF pose estimation under traffic surveillance camera
Shao et al. A low-cost integrated sensor for measuring tree diameter at breast height (DBH)
CN111914790B (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
JP2023523364A (ja) 視覚測位方法、装置、機器及び可読記憶媒体
CN113763438A (zh) 一种点云配准方法、装置、设备及存储介质
WO2023103883A1 (zh) 对象自动标注方法、装置、电子设备及存储介质
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
US20220414925A1 (en) Tracking with reference to a world coordinate system
Mossel Robust 3D position estimation in wide and unconstrained indoor environments
Fathi Videogrammetric Roof Surveying Using a Hybrid Structure from Motion Approach
Altuntas Pair-wise automatic registration of three-dimensional laser scanning data from historical building by created two-dimensional images
CN113538510A (zh) 一种生产线上工件实时追踪与定位装置
Li et al. A monocular visual SLAM system augmented by lightweight deep local feature extractor using in-house and low-cost LIDAR-camera integrated device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20866792

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20866792

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20866792

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 22.05.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20866792

Country of ref document: EP

Kind code of ref document: A1