KR100920931B1 - Method for object pose recognition of robot by using TOF camera - Google Patents

Method for object pose recognition of robot by using TOF camera Download PDF

Info

Publication number
KR100920931B1
KR100920931B1 KR1020070117082A KR20070117082A KR100920931B1 KR 100920931 B1 KR100920931 B1 KR 100920931B1 KR 1020070117082 A KR1020070117082 A KR 1020070117082A KR 20070117082 A KR20070117082 A KR 20070117082A KR 100920931 B1 KR100920931 B1 KR 100920931B1
Authority
KR
South Korea
Prior art keywords
image
recognized
group data
point
point group
Prior art date
Application number
KR1020070117082A
Other languages
Korean (ko)
Other versions
KR20090050567A (en
Inventor
전세웅
이종배
박창우
김봉석
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020070117082A priority Critical patent/KR100920931B1/en
Publication of KR20090050567A publication Critical patent/KR20090050567A/en
Application granted granted Critical
Publication of KR100920931B1 publication Critical patent/KR100920931B1/en

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/20—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits characterised by logic function, e.g. AND, OR, NOR, NOT circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Abstract

본 발명은 TOF(Time of Flight) 카메라를 이용한 로봇의 물체 자세 인식방법에 관한 것으로서, TOF 카메라를 이용하여 인식 대상 물체의 거리 정보 이미지를 획득하고, 일반 영상 카메라를 통해 촬영한 영상 이미지에서 에지(Edge) 이미지를 검출한 후, 거리 정보 이미지와 에지 이미지를 AND 연산하여 인식 대상 물체의 실효성 있는 특징점(Constrained Feature)들로 이루어진 3차원 점군 데이터(3D Point Cloud)를 획득하고, 이를 데이터 베이스에 저장된 인식 대상 물체 전체의 3차원 점군 데이터와 정합함으로써, 인식 대상 물체의 자세를 인식하는 것을 특징으로 한다.The present invention relates to a method for recognizing an object posture of a robot using a time of flight (TOF) camera, and to acquire a distance information image of an object to be recognized using a TOF camera, After detecting the edge image, the distance information image and the edge image are ANDed to obtain 3D point cloud data consisting of effective feature points of the object to be recognized, and stored in the database. The posture of the object to be recognized is recognized by matching with three-dimensional point group data of the entire object to be recognized.

본 발명에 의하면, 유리나 투명 아크릴판과 같은 비 시인성 물체들의 경우에도 양질의 3차원 점군 데이터를 얻을 수 있고, 실효성 있는 특징점(Constrained Feature)들로 이루어진 3차원 점군 데이터(3D Point Cloud)를 사용함으로써, ICP(Iterative Closest Point) 알고리즘 수행시 작업 시간을 획기적으로 줄일 수 있다.According to the present invention, even in the case of non-visible objects such as glass or transparent acrylic plates, high-quality three-dimensional point group data can be obtained, and by using three-dimensional point group data (3D Point Cloud) composed of effective feature points (Constrained Features) As a result, the work time can be drastically reduced when the iterative closest point algorithm is executed.

로봇, 물체 자세 인식, TOF 카메라, 3D Point Cloud, 특징점 Robot, Object Pose Recognition, TOF Camera, 3D Point Cloud, Feature Point

Description

ＴＯＦ 카메라를 이용한 로봇의 물체 자세 인식 방법{ Method for object pose recognition of robot by using TOF camera }Method for object pose recognition of robot by using TOF camera}

본 발명은 TOF(Time of Flight) 카메라를 이용한 로봇의 물체 자세 인식방법에 관한 것으로, 보다 상세하게는 로봇이 가정 또는 공장 현장에 있어서 물체의 종류를 알고 있다고 하였을 때, 물체의 자세(Pose)를 정확히 인식하여 파지하도록 하기 위한 물체 자세 인식 방법에 관한 것이다.The present invention relates to a method for recognizing an object posture of a robot using a time of flight (TOF) camera, and more particularly, when a robot knows an object type at a home or factory site, the pose of the object is determined. The present invention relates to a method for recognizing an object posture for accurately recognizing and gripping.

최근 로봇 산업은 산업용 로봇에서 출발하여 군사용이나 과학기술 용도를 벗어나 가정용 로봇으로까지 그 활동 영역을 넓혀가고 있다. Recently, the robot industry is starting to move from industrial robots to military robots and science and technology.

여기서, 로봇이 주어진 임무를 수행하기 위해서는 물체 인식(Object Recognition) 기술이 필수적이다. 물체 인식 기술이란 영상 처리를 통해 일정 공간 속에 놓인 컵, 책상, 의자, 전화 등과 같이 다양한 물체들을 구분해내는 기술을 말한다.Here, object recognition technology is essential for a robot to perform a given task. Object recognition technology refers to a technology that distinguishes various objects such as cups, desks, chairs, and telephones placed in a certain space through image processing.

예를 들어, 가정용 로봇에게 "식탁 위에 있는 빵을 갖고 와라"고 명령했을 때, 가정용 로봇이 "식탁"과 "빵"이 무엇인지 그리고 어디에 있는지를 인식해야 한 다.For example, when ordering a home robot to "take bread on the table," the home robot needs to recognize what the "table" and "bread" are and where it is.

물체 인식 기술은 1970년대 컴퓨터가 본격적으로 나오면서부터 활발히 연구되어 왔고, 1980년대에 2차원 모양 매칭에 기반하여 주로 산업 비전에서 부품 검사 등에 이용되었으며, 1980년대 말부터 3차원 모델기반의 물체 인식 기술이 활발히 연구되었다. 특히 3차원 다면체 인식을 위해 얼라인먼트(Alignment) 기법이 성공적으로 적용되었다.Object recognition technology has been actively studied since the computer came out in the 1970s, and was mainly used for inspection of parts in industrial vision based on two-dimensional shape matching in the 1980s. Actively studied. In particular, the alignment technique has been successfully applied for 3D polyhedral recognition.

그리고 1990년대 중반부터 영상기반기법이 대두되면서 좀 더 본격적인 물체인식연구가 진행되었는데, PCA(Principle Component Analysis)와 같은 주성분 분석기법을 이용한 물체 인식 기술이 그 중 한 예이다.In addition, as image-based techniques emerged in the mid-1990s, more full-scale object recognition research has been conducted. For example, object recognition technology using principal component analysis such as PCA (Principle Component Analysis) is one example.

물체 인식 기술 중 3차원 인식 기술은 물체에 대한 3차원 정보를 추출하는 단계, 3차원 영상 데이터로부터 물체의 기하학적인 특징을 추출하는 단계, 추출된 기하학적인 특징의 유효성을 검증하는 단계, 실측 데이터와 데이터 베이스 내의 데이터를 서로 비교 분석하는 단계, 물체를 인식하는 단계 등으로 구분되어 진행된다.Among the object recognition technologies, the three-dimensional recognition technology includes extracting three-dimensional information about an object, extracting geometric features of the object from the three-dimensional image data, validating the extracted geometric features, and measuring the measured data. The data is classified into a step of comparing and analyzing data in the database and a step of recognizing an object.

종래의 물체 인식 기술은 데이터 베이스 상에 있는 물체와 인식 대상 물체 전체의 3차원 점군(3D Point Cloud) 데이터를 이용하여 정합하는 과정을 수행함으로써, 물체를 인식하는데 많은 시간이 소요된다는 문제점이 있다.Conventional object recognition technology has a problem in that it takes a long time to recognize the object by performing a matching process using the 3D point cloud data of the entire object and the object to be recognized in the database.

그리고, 종래에는 스테레오 카메라를 이용하여 3차원 점군(3D Point Cloud) 데이터를 획득하였는데, 인식 대상 물체에 특징(Feature)이 없는 경우, 예를 들면 유리나 투명 아크릴판과 같은 물체 또는 인식 대상 물체와 주위 배경이 동일한 색상을 가지는 경우 등에는 양질의 3차원 점군 데이터를 획득하기 어렵고, 조명의 영향을 많이 받는다는 문제점이 있다.In addition, conventionally, a 3D point cloud data was acquired using a stereo camera. When the object to be recognized does not have a feature, for example, an object such as glass or a transparent acrylic plate or an object to be recognized and surroundings When the background has the same color, there is a problem that it is difficult to obtain high quality 3D point group data and is affected by illumination.

따라서, 물체를 인식하는데 소요되는 시간을 줄이고, 비 시인성 물체의 경우에도 양질의 3차원 점군 데이터를 획득할 수 있는 방안이 필요하다.Accordingly, there is a need for a method of reducing the time required to recognize an object and obtaining high quality 3D point group data even in the case of non-visible objects.

이와 같은 문제점을 해결하기 위한 본 발명의 TOF 카메라를 이용한 로봇의 물체 자세 인식 방법의 바람직한 실시예는, 인식 대상 물체 전체의 3차원 점군 데이터(3D Point Cloud)를 획득하여 데이터 베이스에 저장하는 단계와, TOF(Time of Flight) 카메라 및 일반 영상 카메라로 상기 인식 대상 물체를 각각 촬영한 후, 상기 촬영한 영상으로부터 3차원 점군 데이터를 획득하는 단계와, 상기 데이터 베이스에 저장된 물체 전체의 3차원 점군 데이터와 상기 촬영한 영상으로부터 획득한 3 차원 점군 데이터를 정합하여 상기 촬영한 인식 대상 물체의 자세를 인식하는 단계를 포함하여 이루어지며, 상기 3차원 점군 데이터는 상기 인식 대상 물체의 실효성 있는 특징점(Constrained Feature)들로 이루어지는 것을 특징으로 한다.In order to solve the above problems, a preferred embodiment of a method for recognizing an object pose of a robot using a TOF camera according to the present invention includes obtaining and storing 3D point cloud data of an entire object to be recognized in a database; Photographing the object to be recognized with a time of flight (TOF) camera and a general video camera, and then obtaining 3D point group data from the photographed image, and 3D point group data of the entire object stored in the database. And matching the 3D point group data acquired from the captured image to recognize the posture of the photographed object to be recognized, wherein the 3D point group data is an effective feature point of the object to be recognized. It is characterized by consisting of.

여기서, 상기 인식 대상 물체 전체의 3차원 점군 데이터(3D Point Cloud)를 획득하는 단계는, 상기 인식 대상 물체의 전면부의 3차원 점군 데이터를 획득하는 단계와, 상기 인식 대상 물체의 후면부의 3차원 점군 데이터를 획득하는 단계와, 상기 인식 대상 물체의 전면부의 3차원 점군 데이터와 상기 인식 대상 물체의 후면부의 3차원 점군 데이터를 병합(Merge)하는 단계를 포함하여 이루어지는 것을 특징으로 한다.The acquiring three-dimensional point cloud data of the entire object to be recognized may include acquiring three-dimensional point group data of a front part of the object to be recognized, and a three-dimensional point group of a rear part of the object to be recognized. And acquiring data and merging three-dimensional point group data of the front part of the object to be recognized and three-dimensional point group data of the rear part of the object to be recognized.

또한, 상기 3차원 점군 데이터의 획득은, 상기 TOF 카메라를 이용하여 상기 인식 대상 물체의 거리 정보 이미지를 획득하는 단계와, 상기 일반 영상 카메라를 통해 촬영한 영상 이미지에서 상기 인식 대상 물체의 에지(Edge) 이미지를 검출하는 단계와, 상기 거리 정보 이미지와 상기 에지 이미지를 AND 연산하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In addition, the 3D point group data acquisition may include obtaining a distance information image of the object to be recognized by using the TOF camera, and an edge of the object to be recognized in the image image captured by the general video camera. Detecting an image; and ANDing the distance information image and the edge image.

본 발명에 의하면, IR TOF(Time of Flight) 카메라를 이용하여 물체의 거리 정보를 획득하기 때문에, 유리나 투명 아크릴판과 같은 비 시인성 물체들의 경우에도 물체의 거리 정보를 정확히 얻을 수 있으며 조명의 영향도 받지 않아 양질의 3D 점군 데이터를 얻을 수 있다.According to the present invention, since the distance information of the object is acquired by using an IR Time of Flight (TOF) camera, even in the case of non-visible objects such as glass or transparent acrylic plate, the distance information of the object can be obtained accurately and the influence of illumination You can get high quality 3D point cloud data.

그리고, 본 발명은 3D Point Cloud를 획득하는 방식에 있어서, TOF 카메라를 이용하여 거리 정보를 획득하고, 일반 영상 카메라로 촬영한 영상에서 캐니 에지 이미지를 추출한 후, 상기 거리 정보 이미지와 캐니 에지 이미지를 AND 연산하여 획득함으로써, 점 군의 개수가 줄어들어 ICP(Iterative Closest Point) 알고리즘 수행시 작업 시간을 획기적으로 줄일 수 있다.In the method of obtaining a 3D point cloud, the present invention obtains distance information using a TOF camera, extracts a canny edge image from an image captured by a general video camera, and then extracts the distance information image and the canny edge image. By performing an AND operation, the number of point groups can be reduced, thereby significantly reducing the work time when performing an iterative closest point (ICP) algorithm.

또한, 본 발명에 의해 획득한 3D Point Cloud는 인식 대상 물체의 실효성 있는 특징점(Constrained Feature) 들로 이루어지기 때문에, 3D Point Cloud의 점 군의 개수가 줄어들더라도 인식 대상 물체의 3차원 정보를 잘 반영하게 된다.In addition, since the 3D point cloud obtained by the present invention is composed of effective feature points of the object to be recognized, even if the number of point groups of the 3D point cloud is reduced, the 3D information of the object to be recognized is well reflected. Done.

이하, 도 1 내지 도 4를 참조하여 본 발명의 TOF(Time of Flight) 카메라를 이용한 로봇의 물체 자세 인식 방법에 대해 상세히 설명한다.Hereinafter, a method of recognizing an object posture of a robot using a time of flight (TOF) camera of the present invention will be described in detail with reference to FIGS. 1 to 4.

본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the present invention, and may be changed according to intention or custom of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification.

도 1은 본 발명의 TOF 카메라를 이용한 로봇의 물체 자세 인식 방법의 개괄 적인 흐름을 나타낸 순서도이다.1 is a flow chart showing an overview of a method for recognizing an object posture of a robot using a TOF camera of the present invention.

이에 도시된 바와 같이, 먼저 로봇이 파지하고자하는 물체 전체의 3D Point Cloud(3차원 점군 데이터)를 획득하여 데이터 베이스에 저장한다(S 100). 여기서, 상기 획득한 3D Point Cloud는 상기 물체의 실효성 있는 특징점(Constrained Feature)들로 이루어진다.As shown in the drawing, first, a 3D point cloud (three-dimensional point group data) of the entire object to be gripped by the robot is obtained and stored in the database (S 100). Here, the acquired 3D point cloud is composed of effective feature points (Constrained Features) of the object.

이때, 상기 물체 전체의 3D Point Cloud DB를 생성하는 방법은 다음과 같다. 즉, TOF 카메라 및 일반 영상 카메라로 상기 물체의 전면부를 촬상하여 전면부의 3D Point Cloud를 획득하고, TOF 카메라 및 일반 영상 카메라로 상기 물체의 후면부를 촬상하여 후면부의 3D Point Cloud를 획득한 후, 이를 정교하게 병합(Merge)하여 상기 물체의 전체 3D Point Cloud를 획득한다. At this time, the method for generating the 3D Point Cloud DB of the entire object is as follows. That is, the front part of the object is captured by a TOF camera and a general video camera to obtain a 3D point cloud of the front part, and the rear part of the object is obtained by a TOF camera and a general video camera to obtain a 3D point cloud of the rear part, Finely merge to obtain the full 3D Point Cloud of the object.

다음으로, 로봇의 TOF 카메라 및 일반 영상 카메라를 이용하여 현재 공간상에 있는 인식 대상 물체의 3D Point Cloud를 획득한다(S 110). 여기서, 3D Point Cloud는 상기 인식 대상 물체의 실효성 있는 특징점(Constrained Feature)들로 이루어진다.Next, the 3D Point Cloud of the object to be recognized in the current space is acquired using the TOF camera and the general video camera of the robot (S 110). Here, the 3D Point Cloud is composed of effective feature points of the object to be recognized.

상기 단계 S 100 및 단계 S 110에서, 상기 물체의 3D Point Cloud를 획득하는 과정은 이후에 자세히 설명하기로 한다.In the step S 100 and step S 110, the process of obtaining the 3D Point Cloud of the object will be described in detail later.

이어서, 상기 인식 대상 물체의 3D Point Cloud와 데이터 베이스 상에 저장되어 있는 3D Point Cloud를 정합(Matching) 하는 과정을 수행함으로써, 현재 공간 상에 있는 인식 대상 물체의 포즈가 데이터 베이스 상에 저장된 기준 포즈에서 어느 정도 변화하여 있는지를 검출한다(S 120).Subsequently, by matching the 3D Point Cloud of the object to be recognized with the 3D Point Cloud stored on the database, the pose of the object to be recognized in the current space is stored in the database. It is detected how much changes in (S 120).

여기서, 공간좌표(X, Y, Z)의 형태로 구성된 상기 3D Point Cloud는 각기 획득한 위치 및 물체의 포즈가 서로 다르기 때문에 이를 정합하는 데에는 수학적인 방법이 필요하며, 이때 사용되는 알고리즘으로 ICP(Iterative Closest Point) 알고리즘이 있다.Here, the 3D Point Cloud configured in the form of spatial coordinates (X, Y, Z) requires a mathematical method to match since the acquired positions and poses of the objects are different from each other. Iterative Closest Point) algorithm.

상기 ICP 알고리즘은 두 개의 3차원 점군 데이터(3D Point Cloud)의 대응관계를 모르는 상황에서도 적용가능하다는 장점이 있다.The ICP algorithm has an advantage that it can be applied even in a situation in which the correspondence of two 3D point cloud data is not known.

상기 ICP 알고리즘을 통해 두 개의 3차원 점군 데이터 사이의 관계를 나타내는 벡터 즉, 회전 벡터(Rotation Vector)와 병진 벡터(Translation Vector)를 구할 수 있으며, 이를 통해 현재 공간상에 있는 물체의 포즈(Pose)가 데이터 베이스 상에 저장된 물체의 기준 포즈와 얼마만큼의 변화(즉, 회전 및 이동의 변화)가 있는지를 정확히 인식할 수 있게 된다. Through the ICP algorithm, a vector representing a relationship between two three-dimensional point group data, that is, a rotation vector and a translation vector, can be obtained, and through this, a pose of an object in a current space is obtained. Can accurately recognize the reference pose of the object stored on the database and how much change (i.e., change in rotation and movement) occurs.

한편, ICP 알고리즘을 통해 인식 대상 물체의 3D Point Cloud와 데이터 베이스 상에 저장되어 있는 3D Point Cloud를 정합하는 과정을 살펴보면 다음과 같다.Meanwhile, the process of matching the 3D Point Cloud of the object to be recognized with the 3D Point Cloud stored in the database through the ICP algorithm is as follows.

i) 입력된 두 영상 데이터 간에 미리 정의된 영역에서 데이터의 각 점마다 대응하는 가장 가까운 모델의 점 집합(Point Set)을 찾는다. 이때 각 점들 간의 거리는 유클리디안 거리(Euclidean Distance)를 이용하여 계산한다.i) Find the point set of the closest model corresponding to each point of the data in the predefined area between the two input image data. At this time, the distance between each point is calculated using the Euclidean distance.

ii) 상기 구해진 각 점 집합(Point Set) 간의 거리를 최소화하는 3차원 변환 파라미터 즉, 회전 벡터(Rotation Vector)와 병진 벡터(Translation Vector)를 구한다. ii) A three-dimensional transformation parameter, that is, a rotation vector and a translation vector, is minimized to minimize the distance between the obtained point sets.

iii) 상기 점 집합(Point Set) 간의 정합을 위해 상기 ii) 과정에서 구한 회전 벡터(Rotation Vector) 및 병진 벡터(Translation Vector)를 적용하여 데이터 점들을 변환한다. iii) In order to match the point set, data points are transformed by applying a rotation vector and a translation vector obtained in step ii).

즉, 상기 병진 벡터(Translation Vector)를 통해 대상 데이터를 이동시키면서 두 영상 데이터에서 거리가 가장 가까운 점 집합을 찾고, 그 거리를 최소화시키는 회전 벡터(Rotation Vector)를 구하여 두 영상 데이터를 일치시켜 나간다.That is, while moving the target data through the translation vector, a point set closest to the distance is found from the two image data, and a rotation vector for minimizing the distance is obtained to match the two image data.

iv) 거리 오차가 최소가 될 때까지 위의 과정을 반복하여 두 영상 데이터를 일치시킨다.iv) Repeat the above procedure until the distance error is minimum to match the two image data.

이와 같이 ICP 알고리즘을 이용한 3차원 영상 정합 과정을 도 2에서 개략적으로 나타내었다.As described above, the 3D image registration process using the ICP algorithm is schematically illustrated in FIG. 2.

본 발명에서는 먼저 로봇이 파지하고자 하는 물체의 모든 3차원 좌표값을 알고 있는 기준 모델을 정하여 두고, 현재 공간상에 있는 상기 물체를 촬영하여 얻어진 3차원 좌표값들이 기준 모델의 3차원 좌표값들로부터 얼마만큼 차이가 있는지를 계산하여 주어진 물체의 포즈를 인식하도록 하는데, 이때 기준 모델과 현재 얻어진 영상을 정합하는 방법으로 ICP 알고리즘을 사용한다.In the present invention, first, a reference model that knows all three-dimensional coordinate values of an object to be gripped by a robot is determined, and three-dimensional coordinate values obtained by photographing the object in the current space are determined from three-dimensional coordinate values of the reference model. By calculating how much difference there is to recognize the pose of a given object, ICP algorithm is used as a method of matching the reference model and the currently obtained image.

또한, 본 발명에서는 물체의 3D Point Cloud를 획득하는 경우, 물체의 전체 면에 대한 점군 데이터가 아닌 물체의 실효성 있는 특징점(Constrained Feature)들로 이루어진 점군 데이터를 사용한다.In addition, in the present invention, when obtaining the 3D Point Cloud of the object, the point group data consisting of effective feature points (Constrained Features) of the object is used instead of the point group data for the entire surface of the object.

도 3은 본 발명의 3D Point Cloud를 획득하는 과정을 나타낸 순서도이다. 이러한 과정은 물체 전체의 3D Point Cloud DB를 생성(즉, 물체의 전면부의 3D Point Cloud를 획득할 때와 물체의 후면부의 3D Point Cloud를 획득할 때)하는 경우와, 현재 공간상에 있는 인식 대상 물체의 3D Point Cloud를 획득하는 경우에 모두 사용된다.3 is a flowchart illustrating a process of acquiring a 3D point cloud of the present invention. This process involves creating a 3D Point Cloud DB of the entire object (i.e. when acquiring the 3D Point Cloud at the front of the object and acquiring the 3D Point Cloud at the back of the object), and the recognition object currently in space. Used to acquire 3D Point Cloud of an object.

먼저, 로봇의 IR TOF(Time of Flight) 카메라로 현재 공간상에 있는 인식 대상 물체를 촬영하여 상기 인식 대상 물체의 거리 정보 및 3차원 좌표값을 획득한다(S 200).First, an object to be recognized in the current space is photographed by an IR TOF (IR TOF) camera of a robot to obtain distance information and three-dimensional coordinate values of the object to be recognized (S 200).

본 발명에서는 IR TOF 카메라를 이용하여 인식 대상 물체의 3차원 공간상에서의 거리 및 위치 정보를 얻게 되는데, 여기서 TOF(Time of Flight)는 적외선(Infrared Ray)이 방출된 후, 전방의 장애물에 반사되어 검출되는 시간을 의미한다.In the present invention, the IR TOF camera is used to obtain the distance and position information in the three-dimensional space of the object to be recognized, where the TOF (Time of Flight) is reflected by an obstacle in front of the infrared ray after being emitted (Infrared Ray) It means the time detected.

상기 TOF(Time of Flight)를 통한 거리 측정 방식에 대해 도 4를 참조하여 살펴보기로 한다. A distance measurement method through the time of flight (TOF) will be described with reference to FIG. 4.

이에 도시된 바와 같이, TOF(Time of Flight)는 적외선이 IR TOF 카메라의 발광 소자에서 방출된 시각 tt와 상기 적외선이 전방의 장애물에 반사되어 검출된 시각 tr의 차이에 의한 값으로 다음과 수학식 1과 같이 정의된다.As shown in the drawing, the time of flight (TOF) is a value obtained by a difference between a time t t when infrared rays are emitted from a light emitting device of an IR TOF camera and a time t r detected when the infrared rays are reflected by an obstacle in front of the camera. It is defined as in Equation 1.

TOF = tr - tt TOF = t r -t t

그리고, 상기 IR TOF 카메라를 통해 측정되는 물체의 거리 d는 다음 수학식 2와 같이 나타낼 수 있다.The distance d of the object measured by the IR TOF camera may be expressed by Equation 2 below.

d = (c × TOF)/2d = (c × TOF) / 2

여기서, c는 적외선의 속도를 의미한다.Here, c means the speed of infrared rays.

상기 IR TOF(Time of Flight) 카메라를 이용하면 상기 인식 대상 물체의 거리 정보 및 위치 정보를 명확히 알 수 있으며, 조명 등 다른 환경에 영향을 받지 않는다는 장점이 있다.Using the IR Time of Flight (IR TOF) camera can clearly know the distance information and the location information of the object to be recognized, and has the advantage of not being affected by other environments such as lighting.

즉, IR TOF(Time of Flight) 카메라는 적외선을 방출한 후, 전방의 물체에 반사되는 적외선을 검출하는 방식이기 때문에, 유리나 투명 아크릴판과 같은 비 시인성 물체들의 경우에도 물체의 거리를 정확히 계산할 수 있고, 물체와 주위 배경의 색상이 동일한 경우에도 물체를 쉽게 식별하여 거리를 검출할 수 있으며, 조명에도 영향을 받지 않는 장점이 있다.In other words, since IR TOF (Infrared Time of Flight) camera emits infrared rays and detects infrared rays reflected by the object in front of it, even the non-visible objects such as glass or transparent acrylic plate can accurately calculate the distance of the object. In addition, even when the object and the surrounding background are the same color, the object can be easily identified to detect the distance, and there is an advantage that the light is not affected.

다음으로, 일반 영상 카메라를 이용하여 인식 대상 물체를 촬영한 후, 촬영한 영상에서 인식 대상 물체의 에지(Edge)를 추출한다(S 210).Next, after photographing the object to be recognized using a general video camera, the edge of the object to be detected is extracted from the captured image (S210).

즉, 본 발명에서는 두 대의 카메라를 이용하게 되는데, 인식 대상 물체의 거리 정보 및 위치 정보는 TOF 카메라를 이용하여 얻게 되고, 인식 대상 물체의 영상 정보는 일반 영상 카메라를 이용하여 얻는다.That is, in the present invention, two cameras are used. Distance information and position information of the object to be recognized are obtained using a TOF camera, and image information of the object to be recognized is obtained by using a general video camera.

상기 인식 대상 물체의 에지(Edge)는 캐니 에지 알고리즘(Canny Edge Algorithm)을 이용하여 추출하는 것이 바람직하다.The edge of the object to be recognized is preferably extracted using a Canny Edge Algorithm.

상기 캐니 에지 알고리즘은 i) 이미지에 존재하는 대부분의 실제 에지(Edge)를 추출할 수 있어야 하고(Good Detection), ii) 추출된 에지는 실제 이미지 내에서 가능한 가까이 있어야 하며(Good Localization), iii) 이미지 내의 주어진 에지는 단 한 번만 표시되어야 하고, 이미지의 잡음이 잘못된 에지를 만들어서는 안 된다(Minimum Response)는 조건을 만족하여 우수한 성능을 나타낸다.The Canny edge algorithm must: i) be able to extract most of the actual edges present in the image (Good Detection), ii) the extracted edges should be as close as possible within the actual image (Good Localization), iii) A given edge in an image should be displayed only once and the noise in the image should not produce false edges (Minimum Response), which satisfies the condition and shows excellent performance.

본 발명에서 캐니 에지 알고리즘을 사용하여 인식 대상 물체의 에지를 추출하는 과정은 다음과 같다.In the present invention, the process of extracting the edge of the object to be recognized using the Canny edge algorithm is as follows.

step 1. 먼저 이미지 내의 잡음(Noise)을 줄이기 위해 가우시안 필터(Gaussian Filter)를 이용하여 평활화(Equalization)를 실시한다. 이때, 가우시안 마스크(Gaussian Mask)를 크게 할수록 잡음에 대한 민감도는 떨어지게 된다.step 1. First, equalization is performed using a Gaussian filter to reduce noise in the image. At this time, as the Gaussian mask is increased, the sensitivity to noise decreases.

step 2. x, y 축 소벨 연산자(Sobel Operator)를 사용하여 기울기(Gradient)의 크기를 계산하고, 상기 소벨 연산자에 의해 구해진 x, y 축 벡터를 이용해 기울기의 방향을 구한다.step 2. The magnitude of the gradient is calculated using the Sobel Operator on the x and y axes, and the direction of the slope is obtained using the x and y axis vectors obtained by the Sobel operator.

step 3. 정해진 기울기 방향에 따라 비 최대치 억제(non-maximum suppression) 과정을 적용한다. 이는 정해진 기울기 방향에 존재하는 평활화된 픽셀(equalized pixel) 값 중 최대 값(maximum)을 제외하고 0으로 지정하는 것으로, 최소한의 에지를 구할 수 있게 된다.step 3. A non-maximum suppression process is applied according to the determined slope direction. This is set to 0 except for the maximum value of the equalized pixel values existing in the predetermined tilt direction, so that the minimum edge can be obtained.

step 4. 에지(Edge)의 결정은 히스테리시스(Hysteresis)라는 기법을 통해 이루어지며, 이 방법은 에지를 이루는 픽셀(Pixel) 값의 편차가 클 경우 단일한 임계(Threshold) 값이 적용되었을 때 에지의 일정 부분이 제거되는 것을 방지하기 위한 것이다.step 4. The edge is determined by a technique called hysteresis. This method uses the edge of the edge when a single threshold is applied when the pixel value of the edge is large. This is to prevent the removal of certain parts.

따라서, 로우(Low)와 하이(High) 두 개의 임계값이 사용되며, 하이(High) 보다 큰 값은 edge로 간주하고, 로우(Low) 보다 작은 값은 non-edge로 간주한다. 그리고 로우(Low)와 하이(High) 사이의 값은 주변에 하이(High) 이상인 값이 있을 경우 에지로 간주한다.Therefore, two thresholds, Low and High, are used. Values greater than High are considered edges and values less than Low are considered non-edges. The value between Low and High is regarded as an edge when there is a value above High.

이어서, 상기 TOF 카메라로 촬영한 거리 정보 이미지와 인식 대상 물체의 에지(Edge) 이미지를 앤드(AND) 연산하여 3D Point Cloud를 획득한다(S 220).Subsequently, an AND operation is performed on the distance information image photographed by the TOF camera and an edge image of the object to be recognized to obtain a 3D point cloud (S220).

즉, TOF 카메라를 이용하여 3D 정보가 포함되어 있는 거리 정보를 획득하고, 일반 영상 카메라로 촬영한 영상으로부터 캐니 에지 알고리즘을 통해 2차원 에지 데이터를 추출한 후, 상기 거리 정보와 에지 데이터를 AND 연산한다.That is, distance information including 3D information is obtained by using a TOF camera, 2D edge data is extracted from the image photographed by a general video camera through a Canny edge algorithm, and the distance information and the edge data are ANDed. .

상기 거리 정보 이미지와 캐니 에지 이미지를 AND 연산하여 얻어지는 것이 실효성있는 특징점 에지(Constrained Feature Edge)인데, 이것이 촬영 영상의 3D Point Cloud가 된다.The result obtained by performing an AND operation on the distance information image and the canny edge image is a constrained feature edge, which becomes a 3D point cloud of a captured image.

이와 같이 본 발명은 3D Point Cloud를 획득하는 방식에 있어서, TOF 카메라를 이용하여 거리 정보를 획득하고, 일반 영상 카메라로 촬영한 영상에서 캐니 에 지 이미지를 추출한 후, 상기 거리 정보 이미지와 캐니 에지 이미지를 AND 연산하는 것에 그 특징이 있다.As described above, in the method of obtaining a 3D point cloud, the present invention obtains distance information by using a TOF camera, extracts a canny edge image from an image captured by a general video camera, and then the distance information image and canny edge image. It is characterized by AND operation of.

이러한 방식으로 3D Point Cloud를 획득하면 점 군의 개수가 줄어들어 ICP(Iterative Closest Point) 알고리즘 수행시 작업 시간을 획기적으로 줄일 수 있다.Acquiring the 3D Point Cloud in this way reduces the number of point groups, which can dramatically reduce the work time when performing the Iterative Closest Point (ICP) algorithm.

본 발명에 의해 획득한 3D Point Cloud는 인식 대상 물체의 실효성 있는 특징점(Constrained Feature) 들로 이루어지기 때문에, 3D Point Cloud의 점 군의 개수가 줄어들더라도 인식 대상 물체의 3차원 정보를 잘 반영하며, 그로 인해 ICP(Iterative Closest Point) 알고리즘 수행시 두 영상 간의 정합에 지장을 주지 않는다.Since the 3D point cloud obtained by the present invention is composed of effective feature points of the object to be recognized, even if the number of point groups of the 3D point cloud is reduced, the 3D information of the object to be recognized is well reflected. Therefore, it does not interfere with registration between two images when performing the ICP (Iterative Closest Point) algorithm.

즉, 기존에는 ICP(Iterative Closest Point) 알고리즘 수행시 작업 시간을 줄이고자 3D Point Cloud의 점 군의 개수를 줄였을 때, 3D Point Cloud에 인식 대상 물체의 3차원 정보가 제대로 반영되지 않아 매칭이 잘 되지 않았는데, 본 발명에 의하면 이러한 문제를 해결할 수 있게 된다.In other words, when reducing the number of point groups in the 3D Point Cloud to reduce the work time when performing the Iterative Closest Point (ICP) algorithm, the 3D point cloud does not properly reflect the 3D information of the object to be recognized so that the matching is good. The present invention can solve this problem.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. Although the present invention has been described in detail with reference to exemplary embodiments above, those skilled in the art to which the present invention pertains can make various modifications to the above-described embodiments without departing from the scope of the present invention. I will understand.

그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되 며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims below and equivalents thereof.

도 1은 본 발명의 TOF 카메라를 이용한 로봇의 물체 자세 인식 방법의 개괄적인 흐름을 나타낸 순서도.1 is a flow chart illustrating a general flow of a method for recognizing an object posture of a robot using a TOF camera of the present invention.

도 2는 ICP 알고리즘을 이용한 3차원 영상 정합 과정을 나타낸 도면.2 is a view showing a three-dimensional image registration process using the ICP algorithm.

도 3은 본 발명의 3D Point Cloud를 획득하는 과정을 나타낸 순서도.3 is a flowchart illustrating a process of obtaining a 3D Point Cloud of the present invention.

도 4는 거리 측정에 있어서 TOF(Time of Flight)를 나타낸 그래프.4 is a graph showing time of flight (TOF) in distance measurement.

Claims (7)

인식 대상 물체 전체의 3차원 점군 데이터(3D Point Cloud)를 획득하여 데이터 베이스에 저장하는 단계;Obtaining 3D point cloud data of the entire object to be recognized and storing the same in 3D point cloud; TOF(Time of Flight) 카메라 및 일반 영상 카메라로 상기 인식 대상 물체를 각각 촬영한 후, 상기 촬영한 영상으로부터 3차원 점군 데이터를 획득하는 단계; 및Photographing the object to be recognized by a time of flight (TOF) camera and a general video camera, respectively, and then obtaining 3D point group data from the photographed image; And 상기 데이터 베이스에 저장된 물체 전체의 3차원 점군 데이터와 상기 촬영한 영상으로부터 획득한 3차원 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합한 결과에 따른 포즈 변화에 따라 상기 촬영한 인식 대상 물체의 자세를 인식하는 단계를 포함하여 이루어지며,The 3D point group data of the entire object stored in the database and the 3D point group data obtained from the photographed image are matched using an iterative closest point (ICP) algorithm, and the photographed image is changed according to a pose change according to the matching result. Recognizing a posture of the object to be recognized is made, 상기 데이터 베이스에 저장되거나 촬영한 영상으로부터 획득되는 각 3차원 점군 데이터는 상기 인식 대상 물체의 실효성 있는 특징점(Constrained Feature)들로 이루어지는 것을 특징으로 하는 TOF 카메라를 이용한 로봇의 물체 자세 인식 방법.Each 3D point group data stored in the database or obtained from the captured image is composed of effective feature points (Constrained Features) of the object to be recognized, the object pose recognition method of the robot using a TOF camera. 제1항에 있어서,The method of claim 1, 상기 인식 대상 물체 전체의 3차원 점군 데이터(3D Point Cloud)를 획득하는 단계는,Acquiring 3D point cloud data of the entire object to be recognized may include: 상기 인식 대상 물체의 전면부의 3차원 점군 데이터를 획득하는 단계;Acquiring 3D point group data of the front part of the object to be recognized; 상기 인식 대상 물체의 후면부의 3차원 점군 데이터를 획득하는 단계; 및Acquiring 3D point group data of a rear part of the object to be recognized; And 상기 인식 대상 물체의 전면부의 3차원 점군 데이터와 상기 인식 대상 물체의 후면부의 3차원 점군 데이터를 병합(Merge)하는 단계를 포함하여 이루어지는 것을 특징으로 하는 TOF 카메라를 이용한 로봇의 물체 자세 인식 방법.And merging three-dimensional point group data of the front part of the object to be recognized and three-dimensional point group data of the rear part of the object to be recognized. 삭제delete 제1항에 있어서,The method of claim 1, 상기 촬영한 인식 대상 물체의 자세를 인식하는 단계는,Recognizing the posture of the photographed object to be recognized, 상기 ICP(Iterative Closest Point) 알고리즘을 수행한 결과 얻어진 회전 벡터(Rotation Vector) 및 병진 벡터(Translation Vector)를 이용하되,Using a rotation vector and a translation vector obtained as a result of performing the iterative closest point (ICP) algorithm, 상기 병진 벡터(Translation Vector)를 통해 대상 데이터를 이동시키면서 두 영상 데이터에서 거리가 가장 가까운 점 집합을 찾고, 그 거리를 최소화시키는 회전 벡터(Rotation Vector)를 구하여 두 영상 데이터를 일치시켜 정합하는 것을 특징으로 하는 TOF 카메라를 이용한 로봇의 물체 자세 인식 방법.While moving the target data through the translation vector, find a point set closest to the distance from the two image data, obtain a rotation vector that minimizes the distance, and match and match the two image data. Robot object pose recognition method using a TOF camera. 제1항 또는 제2항에 있어서,The method according to claim 1 or 2, 상기 데이터 베이스에 저장되거나 촬영한 영상으로부터 획득되는 3차원 점군 데이터의 획득은,Acquiring three-dimensional point group data obtained from an image stored in the database or photographed, 상기 TOF 카메라를 이용하여 상기 인식 대상 물체의 거리 정보 이미지를 획득하는 단계;Acquiring a distance information image of the object to be recognized using the TOF camera; 상기 일반 영상 카메라를 통해 촬영한 영상 이미지에서 상기 인식 대상 물체의 에지(Edge) 이미지를 검출하는 단계; 및Detecting an edge image of the object to be recognized from the image image captured by the general image camera; And 상기 거리 정보 이미지와 상기 에지 이미지를 AND 연산하는 단계를 포함하여 이루어지는 것을 특징으로 하는 TOF 카메라를 이용한 로봇의 물체 자세 인식 방법.And an AND operation on the distance information image and the edge image. 제5항에 있어서,The method of claim 5, 상기 에지(Edge) 이미지의 검출은,Detection of the edge image, 캐니 에지 알고리즘(Canny Edge Algorithm)을 이용하는 것을 특징으로 하는 TOF 카메라를 이용한 로봇의 물체 자세 인식 방법.Object pose recognition method of a robot using a TOF camera, characterized by using the Canny Edge Algorithm. 제5항에 있어서,The method of claim 5, 상기 에지(Edge) 이미지를 검출하는 단계는,Detecting the edge image, 상기 인식 대상 물체의 영상에 가우시안 필터(Gaussian Filter)를 이용하여 평활화(Equalization)를 실시하는 단계;Performing equalization on the image of the object to be recognized using a Gaussian filter; 미분 연산자를 이용하여 상기 영상의 기울기(Gradient) 크기 및 기울기 방향 을 구하는 단계;Obtaining a gradient magnitude and a gradient direction of the image using a differential operator; 상기 기울기 방향에 따라 상기 영상에 비 최대치 억제(non-maximum suppression)과정을 적용하는 단계; 및Applying a non-maximum suppression process to the image according to the tilt direction; And 히스테리시스(Hystersis) 기법을 사용하여 상기 영상의 에지를 검출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 TOF 카메라를 이용한 로봇의 물체 자세 인식 방법.A method of recognizing the object pose of a robot using a TOF camera, comprising detecting an edge of the image using a hysteresis technique.
KR1020070117082A 2007-11-16 2007-11-16 Method for object pose recognition of robot by using TOF camera KR100920931B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070117082A KR100920931B1 (en) 2007-11-16 2007-11-16 Method for object pose recognition of robot by using TOF camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070117082A KR100920931B1 (en) 2007-11-16 2007-11-16 Method for object pose recognition of robot by using TOF camera

Publications (2)

Publication Number Publication Date
KR20090050567A KR20090050567A (en) 2009-05-20
KR100920931B1 true KR100920931B1 (en) 2009-10-12

Family

ID=40859013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070117082A KR100920931B1 (en) 2007-11-16 2007-11-16 Method for object pose recognition of robot by using TOF camera

Country Status (1)

Country Link
KR (1) KR100920931B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8755630B2 (en) 2010-11-05 2014-06-17 Samsung Electronics Co., Ltd. Object pose recognition apparatus and object pose recognition method using the same
US9103663B2 (en) 2011-12-29 2015-08-11 Samsung Electronics Co., Ltd. Depth sensor, method of calculating depth in the same
KR20200129399A (en) 2019-05-08 2020-11-18 주식회사 바이오로그디바이스 the method for recognizing a face using ToF camera
US11080878B2 (en) 2018-11-01 2021-08-03 Samsung Electronics Co., Ltd. Method and apparatus for detecting 3D object from 2D image
KR20220082310A (en) 2020-12-10 2022-06-17 주식회사 리페어코리아 Operation method of the automatic driving following mobility utilizing the TOF camera and machine learning algorithm

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700595B1 (en) * 2010-01-05 2017-01-31 삼성전자주식회사 Face recognition apparatus and method thereof
KR101120632B1 (en) * 2010-04-21 2012-03-20 주식회사 매크로그래프 Method for registration of point cloud animation and device using the same
KR101681538B1 (en) 2010-10-20 2016-12-01 삼성전자주식회사 Image processing apparatus and method
KR101642964B1 (en) 2010-11-03 2016-07-27 삼성전자주식회사 Apparatus and method for dynamic controlling integration time of depth camera for accuracy enhancement
KR101686079B1 (en) 2010-12-27 2016-12-13 삼성전자주식회사 Apparatus and method for generating depth image
KR101151962B1 (en) * 2011-02-16 2012-06-01 김석중 Virtual touch apparatus and method without pointer on the screen
KR101235432B1 (en) * 2011-07-11 2013-02-22 김석중 Remote control apparatus and method using virtual touch of electronic device modeled in three dimension
KR101272458B1 (en) * 2012-05-11 2013-06-07 김석중 virtual touch apparatus and method without pointer on the screen
KR101387892B1 (en) * 2012-06-29 2014-04-21 인텔렉추얼디스커버리 주식회사 Apparatus and method for recognizing motion using temperature information
KR102307610B1 (en) * 2014-01-29 2021-10-05 엘지이노텍 주식회사 Apparatus for detecting depth map
KR102487533B1 (en) * 2015-06-12 2023-01-13 삼성전자주식회사 X-ray apparatus and method for scanning thereof
US10943401B2 (en) 2019-02-01 2021-03-09 International Business Machines Corporation Active visual recognition in mobile augmented reality
KR102063845B1 (en) * 2019-06-21 2020-01-08 국방과학연구소 Apparatus and method for measurement based on images
US11023730B1 (en) 2020-01-02 2021-06-01 International Business Machines Corporation Fine-grained visual recognition in mobile augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128550A (en) * 1995-10-31 1997-05-16 Omron Corp Method and device for processing image
JP2000293695A (en) 1999-04-08 2000-10-20 Fanuc Ltd Picture processor
KR20040097904A (en) * 2003-05-12 2004-11-18 화낙 가부시끼가이샤 Image processing apparatus
KR100585709B1 (en) 2004-12-29 2006-06-07 엘지전자 주식회사 Motion tracing apparatus and method for robot cleaner

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128550A (en) * 1995-10-31 1997-05-16 Omron Corp Method and device for processing image
JP2000293695A (en) 1999-04-08 2000-10-20 Fanuc Ltd Picture processor
KR20040097904A (en) * 2003-05-12 2004-11-18 화낙 가부시끼가이샤 Image processing apparatus
KR100585709B1 (en) 2004-12-29 2006-06-07 엘지전자 주식회사 Motion tracing apparatus and method for robot cleaner

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8755630B2 (en) 2010-11-05 2014-06-17 Samsung Electronics Co., Ltd. Object pose recognition apparatus and object pose recognition method using the same
US9103663B2 (en) 2011-12-29 2015-08-11 Samsung Electronics Co., Ltd. Depth sensor, method of calculating depth in the same
US11080878B2 (en) 2018-11-01 2021-08-03 Samsung Electronics Co., Ltd. Method and apparatus for detecting 3D object from 2D image
KR20200129399A (en) 2019-05-08 2020-11-18 주식회사 바이오로그디바이스 the method for recognizing a face using ToF camera
KR20220082310A (en) 2020-12-10 2022-06-17 주식회사 리페어코리아 Operation method of the automatic driving following mobility utilizing the TOF camera and machine learning algorithm

Also Published As

Publication number Publication date
KR20090050567A (en) 2009-05-20

Similar Documents

Publication Publication Date Title
KR100920931B1 (en) Method for object pose recognition of robot by using TOF camera
KR100930626B1 (en) Object Posture Recognition Method of Robot with Stereo Camera
US10083512B2 (en) Information processing apparatus, information processing method, position and orientation estimation apparatus, and robot system
US10456918B2 (en) Information processing apparatus, information processing method, and program
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
JP4923101B2 (en) Method and apparatus for three-dimensional reconstruction by discriminating spatial correspondence between images
JP2011123071A (en) Image capturing device, method for searching occlusion area, and program
US9886769B1 (en) Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
KR102011564B1 (en) System and method for automatic selection of 3d alignment algorithms in a vision system
JP7339316B2 (en) System and method for simultaneous consideration of edges and normals in image features by a vision system
Tran et al. Non-contact gap and flush measurement using monocular structured multi-line light vision for vehicle assembly
JP6817742B2 (en) Information processing device and its control method
Huang et al. Mobile robot localization using ceiling landmarks and images captured from an rgb-d camera
CN108519075B (en) Space multi-target pose measurement method
Dune et al. One click focus with eye-in-hand/eye-to-hand cooperation
KR20150142475A (en) Apparatus for obstacle detection and method thereof
Zeise et al. Temperature correction and reflection removal in thermal images using 3D temperature mapping
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
WO2018065757A1 (en) Proximity sensor and corresponding distance measuring method
Pudics et al. Safe robot navigation using an omnidirectional camera
Wang et al. An automatic self-calibration approach for wide baseline stereo cameras using sea surface images
CN113723432B (en) Intelligent identification and positioning tracking method and system based on deep learning
KR20090070258A (en) Procedure for estimating real-time pointing region using 3d geometric information
KR101668649B1 (en) Surrounding environment modeling method and apparatus performing the same
Chakravorty et al. Automatic image registration in infrared-visible videos using polygon vertices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170523

Year of fee payment: 8

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190930

Year of fee payment: 11