KR101819730B1 - 3차원 객체 검출 및 자세추정 방법 - Google Patents

3차원 객체 검출 및 자세추정 방법 Download PDF

Info

Publication number
KR101819730B1
KR101819730B1 KR1020160047591A KR20160047591A KR101819730B1 KR 101819730 B1 KR101819730 B1 KR 101819730B1 KR 1020160047591 A KR1020160047591 A KR 1020160047591A KR 20160047591 A KR20160047591 A KR 20160047591A KR 101819730 B1 KR101819730 B1 KR 101819730B1
Authority
KR
South Korea
Prior art keywords
point
point cloud
model
descriptor
dimensional
Prior art date
Application number
KR1020160047591A
Other languages
English (en)
Other versions
KR20170119496A (ko
Inventor
윤국진
김수아
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020160047591A priority Critical patent/KR101819730B1/ko
Publication of KR20170119496A publication Critical patent/KR20170119496A/ko
Application granted granted Critical
Publication of KR101819730B1 publication Critical patent/KR101819730B1/ko

Links

Images

Classifications

    • H04N13/0007—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 3차원 객체 검출 및 자세추정 방법에 관한 것으로서, 검출대상 모델을 촬영하여 상기 모델에 대한 포인트 클라우드(point cloud)를 생성하는 모델 스캐닝 단계와, 촬영기기를 통해 촬영된 촬영 영상에서 상기 모델을 검출하기 위해 상기 촬영 영상에 대한 포인트 클라우드를 생성하는 장면 스캐닝 단계와, 상기 모델에 대한 포인트 클라우드와 상기 촬영영상에 대한 포인트 클라우드를 매칭하는 특징점 매칭 단계와, 사익 매칭된 포인트들로 상기 촬영영상에서 상기 객체를 검출하거나 상기 객체의 자세를 추정하는 모델 검출 및 자세 추정 단계를 포함한다.
본 발명에 따른 3차원 객체 검출 및 자세추정 방법은 검출 대상 모델에 대한 포인트 클라우드를 여러 단계로 다운 샘플링하고, 촬영 영상의 포인트 클라우드와 매칭 시에 포인트 밀도를 비교하여 포인트 밀도가 비솟한 특징점끼리 매칭하므로 촬영 거리 및 촬영 각도에 따라 발생하는 매칭 오류를 줄일 수 있다는 장점이 있다.

Description

3차원 객체 검출 및 자세추정 방법{Method for 3D object detection and pose estimation}
본 발명은 3차원 객체 검출 및 자세추정 방법에 관한 것으로서, 더욱 상세하게는 포인트 클라우드의 포인트 밀도에도 불변한 3차원 객체 검출 및 자세 추정의 정확성을 제공하는 3차원 객체 검출 및 자세추정 방법에 관한 것이다.
최근 키넥트(Kinect) 및 Xtion 등의 보급에 따라 양질의 3차원 포인트 클라우드를 얻을 수 있고, 해당 분야에 대한 연구가 활발하게 이루어지고 있다. 깊이 인식 카메라를 이용한 기존의 물체 인식 연구에서는 물체의 각 점에서 표면특성에 대한 3차원 기술자(descriptor)를 생성하고, 이를 군집화하여 다른 물체와 서로 비교하는 방법으로 객체 검출 및 자세를 추정한다.
그러나 검출대상 모델을 모델링하고, 로봇과 같은 기기에서 주위환경을 촬영할 경우, 촬영기기로부터 모델까지의 거리 및 촬영각도에 따라 각 포인트 클라우드들 사이에 포인트 밀도차이가 발생한다. 상기 포인트 밀도차이는 잘못된 특징점 매칭 결과를 유발하고, 이에 따라 촬영영상에서 잘못된 객체 검출 및 포즈 정보의 결과를 도출할 수 있는 문제점이 있다.
공개특허공보 제10-2015-0109901호: 객체 검출 방법
본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 검출대상 모델에 대한 포인트 클라우드를 여러 단계로 다운 샘플링하고, 촬영영상에 대한 포인트 클라우드와의 매칭 시에 포인트 밀도를 비교하는 방법을 도입하여, 포인트 밀도에 불변한 3차원 객체 검출 및 자세 추정 방법을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 3차원 객체 검출 및 자세 추정방법은 촬영기기로부터 검출대상 객체가 포함된 촬영영상을 제공받아 상기 촬영영상에 대한 포인트 클라우드(point cloud)를 생성하는 장면 스캐닝 단계와, 상기 촬영영상으로부터 상기 객체를 검출하기 위해 상기 객체에 대응되는 형상의 모델을 촬영하여 상기 모델에 대한 포인트 클라우드를 생성하는 모델 스캐닝 단계와, 상기 모델에 대한 포인트 클라우드와 상기 촬영영상에 대한 포인트 클라우드를 매칭하는 특징점 매칭단계와, 상기 특징점 매칭단계에 의해 매칭된 상기 포인트들을 통해 상기 촬영영상에서 상기 객체를 검출하거나 상기 객체의 자세를 추정하는 모델 검출 및 자세 추정단계를 포함한다.
상기 특징점 매칭단계는 상기 모델에 대한 포인트 클라우드를 이루는 포인트들 중 적어도 하나의 제1키포인트를 선정하고, 상기 촬영영상에 대한 포인트 클라우드를 이루는 포인트들 중 적어도 하나의 제2키포인트를 선정하는 키포인트 선정단계와, 상기 키포인트 선정단계가 완료되면 상기 모델에 대한 포인트 클라우드 중 일부를 걸러내어 포인트 밀도가 상이한 다수의 기준 포인트 클라우드를 생성하는 필터링 단계와, 상기 기준포인트 클라우드들 및 촬영영상 포인트 클라우드에서 3차원 기술자(3D descriptor)를 각각 생성하는 기술자 생성단계와, 상기 기준 포인트 클라우드들과 촬영영상에 대한 포인트 클라우드의 포인트 밀도를 비교하고, 상기 기준포인트 클라우드들 중 상기 촬영영상에 대한 포인트 클라우드와 포인트 밀도가 유사한 기준포인트 클라우드를 샘플 포인트 클라우드로 선정하는 포인트 밀도 비교단계와, 상기 포인트 밀도 비교단계 이후에, 상기 샘플 포인트 클라우드와 상기 촬영영상 포인트 클라우드의 3차원 기술자를 매칭하는 기술자 매칭 단계를 포함한다.
상기 필터링 단계는 상기 모델에 대한 포인트 클라우드의 3차원 공간을 육면체 형상인 다수의 복셀 그리드로 분할하는 공간 분할단계와, 상기 복셀 그리드에 포함된 포인트의 밀도가 기설정된 값에 도달하도록 상기 복셀 그리드에 포함된 포인트들을 걸러내는 다운 샘플링 단계를 포함한다.
상기 공간 분할단계에서, 상기 복셀 그리드의 크기를 다양하게 변경하고, 각각의 변경된 크기의 상기 복셀 그리드로 상기 모델에 대한 포인트 클라우드의 3차원 공간을 분할하여 다수의 기준 포인트 클라우드를 생성하는 것이 바람직하다.
상기 다운샘플링 단계에서, 각 상기 기준 포인트 클라우드들의 상기 복셀 그리드에 포함된 포인트 밀도를 기설정된 값이 되도록 상기 포인트를 다단으로 다운 샘플링한다.
상기 기술자 생성단계는 상기 필터링 단계 이후에, 상기 촬영 영상에 대한 포인트 클라우드와의 매칭을 위해 상기 제1키포인트 및 제2키포인트에 대한 3차원 기술자를 각각 생성하는 것이 바람직하다.
상기 기술자 매칭 단계는 상기 기준 포인트 클라우드들 중 상기 촬영 영상에 대한 포인트 클라우드와 포인트 밀도가 가장 유사한 기준 포인트 클라우드와, 포인트 밀도가 두번째로 유사한 기준 포인트 클라우드를 상기 샘플 포인트 클라우드로 선정한다.
상기 기술자 매칭 단계는 상기 샘플 포인트 클라우드의 3차원 기술자 중 상기 촬영 영상에 대한 포인크 클라우드의 3차원 기술자와 가장 유사한 포인트를 대응점으로 선정하는 3차원 기술자 매칭 단계를 더 포함한다.
상기 제1키포인트에 대한 3차원 기술자는 상기 제1키포인트로부터 기설정된 소정 반경 내의 포인트들이 갖는 법선 벡터 간의 각도관계를 표현하는 점 특징 히스토그램(Point Feature Histogram)인 것이 바람직하다.
상기 제1키포인트에 대한 3차원 기술자는 상기 제1키포인트로부터 기설정된 소정 반경 내의 포인트들이 갖는 법선 벡터 간의 각도관계 및 색상 관계를 표현하는 점 특징 히스토그램 알지비(Point Feature Histogram RGB: PFH-RGB)이다.
상기 모델 검출 및 자세 추정단계는 상기 제2키포인트들에 대한 3차원 기술자와 상기 제1키포인트에 대한 3차원 기술자를 상호비교하여 상기 촬영영상에 포함된 상기 객체를 검출하거나 상기 객체의 자세를 추정한다.
상기 제2키포인들에 대한 3차원 기술자는 상기 제2키포인트로부터 기설정된 소정 반경 내의 포인트들이 갖는 법선 벡터 간의 각도관계를 표현하는 점 특징 히스토그램(Point Feature Histogram)인 것이 바람직하다.
상기 제2키포인들에 대한 3차원 기술자는 상기 제2키포인트로부터 기설정된 소정 반경 내의 포인트들이 갖는 법선 벡터 간의 각도관계 및 색상 관계를 표현하는 점 특징 히스토그램 알지비(Point Feature Histogram RGB: PFH-RGB)이다.
상기 촬영기기는 카메라와 3차원 깊이 센서를 포함하는 키넥트(kinect)인 것이 바람직하다.
상기 모델 스캐닝 단계에서, 카메라와 3차원 깊이 센서를 포함한 키넥트를 통해 상기 모델을 촬영하여 획득한 상기 모델의 이미지 정보 및 3차원 깊이 정보를 토대로 상기 모델에 대한 포인트 클라우드를 생성한다.
본 발명에 따른 3차원 객체 검출 및 자세 추정 방법은 검출대상 모델에 대한 포인트 클라우드를 어러단계로 다운 샘필링하고, 촬영 영상의 포인트 클라우드와 매칭 시에 포인트 밀도를 비교하여 포인트 밀도가 비슷한 특징점끼리 매칭하므로 촬영 거리 및 촬영 각도에 따라 발생하는 매칭 오류를 줄일 수 있다는 장점이 있다.
도 1은 본 발명에 따른 3차원 객체 검출 및 자세 추정방법에 대한 순서도이고,
도 2는 도 1의 3차원 객체 검출 및 자세 추정방법의 특징점 매칭 단계에 대한 순서도이고,
도 3은 본 발명에 따른 3차원 객체 검출 및 자세 추정방법의 밀도 설정단계에서의 실제 모델에 대한 다수의 기준 포인트 클라우드에 대한 도면이고,
도 4는 본 발명에 따른 3차원 객체 검출 및 자세 추정방법을 수행하기 위한 6개의 모델에 대한 사진이고,
도 5는 도 4의 각 모델들에 대한 실측 대응점 수에 대한 계산된 대응점 수에 대한 비율을 나타낸 그래프들이고,
도 6은 본 발명에 따른 3차원 객체 검출 및 자세 추정방법과 종래의 방법을 이용한 객체 검출 결과를 나타낸 사진들이고,
도 7은 키넥트로부터 모델의 이격거리에 따라 자세 추정 오류 값을 비교하기 위해 키넥트와 모델의 세팅 관계를 나타낸 사진이고,
도 8은 본 발명에 따른 3차원 객체 검출 및 자세 추정방법과 종래의 방법에 의해 키넥트(센서)로부터 이격거리에 따른 도 4의 6개 모델에 대한 회전 평균 오차 값이 도시된 그래프들이고,
도 9는 본 발명에 따른 3차원 객체 검출 및 자세 추정방법과 종래의 방법에 의해 키넥트(센서)로부터 이격거리에 따른 도 4의 6개 모델에 대한 병진(竝進) 평균 오차 값이 도시된 그래프들이고,
도 10 및 도 11은 모델의 회전각도에 따라 자세 추정 오류 값을 검출하기 위해 키넥트와 모델의 세팅 관계를 나타낸 사진이고,
도 12는 본 발명에 따른 3차원 객체 검출 및 자세 추정방법과 종래의 방법에 의해 모델의 회전각도에 따른 도 4의 6개 모델에 대한 회전 평균 오차 값 및 병진(竝進) 평균 오차 값이 도시된 그래프들이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 3차원 객체 검출 및 자세 추정방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1에는 본 발명에 따른 3차원 객체 검출 및 자세추정 방법에 대한 순서도가 도시되어 있다.
도면을 참조하면, 3차원 객체 검출 및 자세추정 방법은 장면 스캐닝 단계(S110), 모델 스캐닝 단계(S120), 특징점 매칭 단계(S130) 및 모델 검출 ㅁLC 자세 추정단계(S140)를 포함한다.
장면 스캐닝 단계(S110)는 촬영기기로부터 검출대상 객체가 포함된 촬영영상을 제공받아 상기 촬영영상에 대한 포인트 클라우드(point cloud)를 생성하는 단계이다. 이때, 상기 촬영기기는 로봇과 같은 장비에 설치된 키넥트와 같이 카메라와 3차원 깊이 센서를 포함한다. 상기 촬영기기로부터 획득한 로봇 주위 환경에 대한 이미지 정보와 3차원 깊이 정보를 토대로 포인트 클라우드 라이브러리를 통해 촬영 영상에 대한 3차원 포인트 클라우드를 생성한다. 이때, 촬영 영상에 대한 포인트 클라우드 중 키포인트를 선정할 수 있다. 촬영 영상에 대한 포인트 클라우드에서 색상이 변하는 부분이나 모델의 외측면이 굴곡지거나 급격히 변형되는 지점을 키포인트로 선정할 수 있고, 키포인트 선정은 종래에 일반적으로 사용되는 키포인트 선정 알고리즘을 사용할 수 있다.
모델 스캐닝 단계(S120)는 상기 촬영영상으로부터 객체를 검출하기 위해 객체에 대응되는 형상의 모델을 촬영하여 상기 모델에 대한 포인트 클라우드를 생성하는 단계이다. 검출대상 모델을 카메라와 3차원 깊이 센서를 포함한 키넥트(Microsoft Kinect V2)를 이용하여 모델의 이미지 정보와 3차원 깊이 정보를 획득한다. 그런 다음에, 포인트 클라우드 라이브러리(Point Cloud Library:PCL)를 통해 상기 모델에 대한 3차원 포인트 클라우드(point cloud)를 생성한다.
특징점 매칭 단계(S130)는 모델링 단계를 통해 획득한 상기 모델에 대한 포인트 클라우드를 매칭하는 단계로서, 모델에 대한 포인트 클라우드를 다운 샘플링하여 샘플 포인트 클라우드르 생성하고, 3차원 기술자를 생성하는 포인트 밀도 비교 후 3차원 기술자를 매칭하는 단계이다.
도 2에는 특징점 매칭 단계(S130)에 대한 순서도가 도시되어 있다. 상기 특징점 매칭단계(S130)는 키포인트 선정단계(S131), 필터링 단계, 매칭단계를 포함한다.
키포인트 선정단계(S131)는 모델 검출 및 자세 추정(S140)에서 객체 검출 및 자세 추정을 위해 모델에 대한 포인트 클라우드를 이루는 포인트들 중 다수의 제1키포인트를 선정하고, 촬영영상에 대한 포인트 클라우드를 이루는 포인트들 중 다수의 제2키포인트를 선정하는 단계이다. 모델에 대한 포인트 클라우드 및 촬영영상에 대한 포인트 클라우드에서 색상이 변하는 부분이나 모델의 외측면이 굴곡지거나 급격히 변형되는 지점을 각각 제1키포인트 및 제2키포인트로 선정할 수 있고, 제1키포인트 및 제2키포인트 선정은 종래에 일반적으로 사용되는 키포인트 선정 알고리즘을 사용할 수 있다.
필터링 단계는 키포인트 선정단계(S131)가 완료되면, 모델에 대한 포인트 클라우드 중 일부를 걸러내어 포인트 밀도가 상이한 다수의 기준 포인트 클라우드를 생성하는 단계이다. 필터링 단계는 공간 분할단계(S132), 다운 샘플링 단계를 포함한다.
공간 분할단계(S132)는 모델에 대한 포인트 클라우드의 3차원 공간을 육면체 형상인 다수의 복셀 그리드로 분할하는 단계이다. 이때, 복셀 그리드의 크기를 다양하게 변경하고, 변경된 각각 크기의 복셀 그리드로 상기 모델에 대한 포인트 클라우드의 3차원 공간을 분할하여 다수의 기준 포인트 클라우드를 생성한다.
즉, 하나의 모델에 대한 포인트 클라우드를 제1크기의 복셀 그리드들로 분할한 제1기준 포인트 클라우드, 제1크기보다 큰 제2크기의 복셀 그리드들로 분할한 제2기준 포인트 클라우드, 제2크기보다 큰 제3크기의 복셀 그리드로 분할한 제3기준 포인트 클라우드, 제3크기보다 큰 제4크기의 복셀 그리드로 분할한 제4기준 포인트 클라우드, 제4크기보다 큰 제5크기의 복셀 그리드로 분할한 제5기준 포인트 클라우드를 생성한다. 이때, 복셀 그리드는 변의 길이가 일정한 정육면체이고, 복셀 그리디의 크기는 정육면체의 변의 길이를 의미한다.
다운 샘플링 단계(S133)는 복셀 그리드에 포함된 포인트의 밀도가 기설정된 값에 도달하도록 상기 복셀 그리드에 포함된 포인트들을 걸러내는 단계이다. 즉, 각 기준 포인트 클라우드들의 복셀 그리드에 포함된 포인트의 밀도를 기설정된 값이 되도록 포인트를 필터링한다.
도 3에는 실제 모델에 대한 다수의 기준 포인트 클라우드가 도시되어 있다. 이때, 모델은 펭귄 인형이며, 왼쪽에서 오른쪽으로 갈수록 복셀 그리드의 한변의 크기가 1mm, 3mm, 4mm, 6mm, 8mm이다.
상기 매칭단계는 기술자 생성단계(S134), 포인트 밀도 비교단계(S135) 및 기술자 매칭 단계(S136)를 포함한다.
기술자 생성단계(S134)는 기준 포인트 클라우드들 및 촬영영상에 대한 포인트 클라우드에서 3차원 기술자(descriptor)를 각각 생성하는 단계이다. 이때, 상기 기술자 생성단계(S134)는 필터링 단계 이후에, 상기 촬영 영상에 대한 포인트 클라우드와의 매칭을 위해 상기 제1키포인트 및 제2키포인트에 대한 3차원 기술자를 각각 생성하는 것이 바람직하다.
이때, 상기 3차원 기술자는 점 특징 히스토그램(Point Feature Histogram)이거나 점 특징 히스토그램 알지비(Point Feature Histogram RGB: PFH-RGB)인 것이 바람직하다.
상기 점 특징 히스토그램은 상기 제1키포인트 및 제2키포인트로부터 기설정된 소정 반경 내의 포인트들이 갖는 법선 벡터 간의 각도관계를 표현하는 히스토그램이다. 점 특징 히스토그램을 계상하기 위해 제1키포인트 및 제2키포인트로부터 기설정된 소정 반경 내 존재하는 임의의 두 포인트(ps, pt)에서의 법선 벡터(u,v,w)를 기반으로 Darboux 좌표계를 하기의 수식1과 같이 정의하고, 이를 기준으로 법선 벡터와 좌표계가 이루는 각도 특징<α,φ, θ>를 하기의 수식2와 같이 계산한다.
Figure 112016037489507-pat00001
여기서, u는 포인트(ps)에서 표면 법선(surface normal)을 의미한다.
Figure 112016037489507-pat00002
한편, 점 특징 히스토그램 알지비는 상기 제1키포인트로부터 기설정된 소정 반경 내의 포인트들이 갖는 법선 벡터 간의 각도관계 및 색상 관계를 표현하는 히스토그램이다. 점 특징 히스토그램 알지비는 점 특징 히스토그램에 색상 관계를 더 추가한 것이다. 색상 관계는 광학 특성 <cR, cG, cB> 로 표현된다. 상기 광학특성<cR, cG, cB> 은 임의의 포인트들(ps, pt)의 색상 비율
Figure 112016037489507-pat00003
로 계산된다. 이때, cS는 ps의 색상 값이고, ct는 pt의 색상 값이다. 그리고, cR은 적색(Red) 색상 채널에서의 임의의 포인트들(ps, pt)의 색상 비율
Figure 112016037489507-pat00004
이고, cG는 녹색(Green) 색상 채널에서의 임의의 포인트들(ps, pt)의 색상 비율
Figure 112016037489507-pat00005
이고, cB는 파란색(Blue) 색상 채널에서의 임의의 포인트들(ps, pt)의 색상 비율
Figure 112016037489507-pat00006
이다.
상기 점 특성 히스토그램 알지비는 법선 벡터 간의 각도특성 및 광학 특성들로 이루어져있다.
포인트 밀도 비교단계(S135)(S135)는 다운 샘플링 단계(S133) 이후에 복셀 그리드 내부의 포인트 밀도가 설정된 기준 포인트 클라우드들 중 촬영 영상에 대한 포인트 클라우드와의 매칭을 위한 샘플 포인트 클라우드를 선정하는 단계이다.
이때, 작업자는 상기 기준 포인트 클라우드들 중 상기 촬영 영상에 대한 포인트 클라우드와 포인트 밀도가 가장 유사한 기준 포인트 클라우드와, 두번째로 유사한 기준 포인트 클라우드를 상기 샘플 포인트 클라우드로 선정한다. 상기 포인트 밀도 비교단계(S135)(S135)는 하기의 수학식3과 같이 표현된다.
Figure 112016037489507-pat00007
Figure 112016037489507-pat00008
여기서,
Figure 112016037489507-pat00009
는 모델에 대한 기준 포인트 클라우드의 각 포인트에 대한 포인트 밀도이고,
Figure 112016037489507-pat00010
는 촬영 영상에 대한 포인트 클라우드의 각 포인트에 대한 포인트 밀도이다.
Figure 112016037489507-pat00011
이고,
Figure 112016037489507-pat00012
인데, NM은 모델에 대한 기준 포인트 클라우드의 키 포인트 수이고, NS는 촬영영상에 대한 포인트 클라우드의 키포인트 수이다.
이때, 하기의 수학식 4에 기재된 손실함수
Figure 112016037489507-pat00013
에 의해 기준 포인트 클라우드들과 촬영 영상에 대한 포인트 클라우드의 밀도의 유사성을 측정한다.
Figure 112016037489507-pat00014
여기서, k={1, ... ,Nscale}이고, Nscale은 스케일의 수 즉, 기준 포인트 클라우드들을 생성하는데 기준이 된 복셀 그리드의 크기 수이다.
그런 다음, 상기 기준 포인트 클라우드로부터 계산된 각 손실함수 값들 중에 값이 가장 작은 스케일과 두번째로 작은 스케일의 기준 포인트 클라우드들을 샘플 포인트 클라우드로 선택한다. 즉, 상기 모델 포인트 클라우드를 여러 단계로 다운 샘플링하여 다수의 기준 포인트 클라우드를 선정하고, 선정된 상기 기준 포인트 클라우드들 중 상기 촬영영상에 대한 포인트 클라우드와의 손실함수 값이 가장 작은 기준 포인트 클라우드와, 손실함수 값이 두번째로 작은 기준 포인트 클라우드를 상기 샘플 포인트 클라우드로 선정한다.
기술자 매칭 단계(S136)는 장면 스캐팅 단계를 통해 획득한 상기 촬영 영상에 대한 포인트 클라우드에 대해 상기 샘플 포인트 클라우드를 매칭하는 단계이다. 이때, 선정된 두 개의 샘플 포인트 클라우드의 제1키포인트에 대한 3차원 기술자와 제2키포인트들에 대한 3차원 기술자를 상호 비교한다.
상기 모델 검출 및 자세 추정단계(S140)는 상기 제1키포인트에 대한 3차원 기술자와 상기 제2키포인트들에 대한 3차원 기술자를 상호 비교하여 상기 촬영영상에 포함된 상기 객체를 검출하거나 상기 객체의 자세를 추정하는 단계이다.
검출단계(S140)는 장면 스캐닝 단계를 통해 획득한 상기 촬영 영상에 대한 포인트 클라우드에 대해 상기 샘플 포인트 클라우드를 매칭하여 상기 촬영 영상에서의 상기 모델을 검출하거나 상기 모델의 자세를 추정하는 단계이다. 또한, 상기 3차원 기술자는 점 특징 히스토그램(Point Feature Histogram)이거나 점 특징 히스토그램 알지비(Point Feature Histogram RGB: PFH-RGB)인 것이 바람직하다. 상기 점 특징 히스토그램 및 점 특징 히스토그램 알지비는 상술되어 있으므로 상세한 설명은 생략한다.
상술된 바와 같이 구성된 본 발명에 따른 3차원 객체 검출 및 자세추정 방법을 이용한 결과값을 상세히 설명하면 다음과 같다. 먼저, 도 4에 도시된 6개의 모델을 모델링 하고, 상기 모델에 대응되는 객체가 포함된 환경을 촬영하여 상호 매칭 작업을 수행했다. 도 4의 모델은 왼쪽에서 오른쪽으로, 티거(Tigger) 인형, 슈퍼맨(Super man) 인형, 애니메이션 캐릭터인 뽀로로(Pororo) 인형, 애니메이션 캐릭터인 펫티(Petty) 인형, 육면체의 주스 용기(Juice) 및 과자 상자(Berry box)이다.
촬영 영상에 대한 검출 정확성을 파악하기 위해 하기의 수학식 5를 사용하였다.
Figure 112016037489507-pat00015
여기서, grouthtruth correspondence는 모델에 대한 샘플 포인트 클라우드와 촬영 영상의 포인트 클라우드 사이에 동일한 3차원 좌표에 존재하는 포인트 대응점이고, correct correspondences는 본 발명의 3차원 객체 검출 및 자세추정 방법에 의해 매칭된 모델에 대한 샘플 포인트 클라우드와 촬영 영상의 포인트 클라우드 사이의 대응점이다.
도 5에는 복셀 그리드 크기에 따른 각 모델에 대한 상기 수학식 5의 결과 값이 그래프로 도시되어 있다. 이때, 적색의 꺽은 선 그래프는 각 모델을 종래의 방법으로 매칭한 결과 값이고, 녹색의 꺽은 선 그래프는 본 발명에 따른 3차원 객체 검출 및 자세추정 방법을 통해 매칭된 결과 값이다. 도 5에 도시된 바와 같이 본 발명에 따른 3차원 객체 검출 및 자세추정 방법이 종래의 객체 추정방법에 비해 특징점 매칭 정확도가 높다는 것을 알 수 있다.
또한, 도 6에는 실제 촬영된 촬영 영상에서 모델을 검출하는 사진이 도시되어 있다. 여기서, 최좌측에 위치한 사진은 실제 촬영된 영상이고, 가운데 이미지는 종래의 방법으로 검출된 객체가 칼라로 표현된 사진이고, 최우측 이미지는 본 발명에 따른 3차원 객체 검출 및 자체추정 방법에 따라 검출된 객체가 칼라로 표현된 사진이다. 도면을 참조하면, 본 발명에 따른 3차원 객체 검출 및 자세추정 방법이 종래의 객체 추정방법에 비해 객체 검출 수가 많고, 객체 검출 정확도가 높다는 것을 알 수 있다.
한편, 본 발명에 따른 3차원 객체 검출 및 자세 추정 방법을 이용한 촬영기기 즉, 키넥트로부터 이격거리에 따른 자세 추정 결과를 상세히 설명하면 다음과 같다.
먼저, 도 7에 도시된 바와 같이 키넥트로부터 비교적 근접한 거리 즉, 키넥트로부터 Z축 방향으로 63cm 이격되게 모델을 위치시키고, 상기 모델을 촬영하여 모델에 대한 3차원 포인트 클라우드를 생성한다. 또한, 키넥트를 모델로부터 Z축 방향의 이격거리를 71cm에서 119cm으로 변경하며 촬영하여 촬영 영상에 대한 포인트 클라우드를 생성한다. 이때, 종래의 방법과 본 발명에 따른 3차원 객체 검출 및 자세 추정 방법에 따른 자세 추정을 비교한다.
자세 추정은 일반적으로 회전과 포즈 해석 오류에 의해 평가된다. 그러므로 하기의 수학식 6과 같이 실측한 객체의 자세에 대한 포즈 오류에 대한 기준을 정의한다.
Figure 112016037489507-pat00016
CGT와 CS는 각각 실측된 장면의 모델 자세 및 계산된 모델 자세에서의 카메라 자세이다. 그리고, PGT는 실측된 객체 자세이고, PEST는 계산된 객체 자세이다. 실측된 객체 자세 PGT는 모델로부터 63cm 이격된 위치에 키넥트를 세팅하고 촬영하여 생성한 포인트 클라우드와 모델로부터 67cm 이격된 위치에 키넥트를 세팅하고 촬영하여 생성한 포인트 클라우드 사이에, ICP(Iterative Closest Point)를 이용하여 잘 정렬된 포즈로 정의된다.
하기의 수학식 7과 같이, 수학식 6의 오류 매트릭스로부터 회전 매트릭스와 병진 벡터(translation vector)를 분석한다.
Figure 112016037489507-pat00017
여기서, Rerr은 회전 매트릭스의 로드리게스 식(Rodrigues formula)에 의한 회전 오차이고, terr은 변환 백터의 L-2 표준(L-2 norm)에 의한 변환 오류이다.
도 8 및 도 9에는 키넥트(센서)로부터 이격거리에 따른 도 4의 6개 모델에 대한 평균 자세 오차 값이 도시되어 있다. 이때, 적색의 꺽은 선 그래프는 각 모델을 종래의 방법에 의한 오류 값이고, 녹색의 꺽은 선 그래프는 본 발명에 따른 3차원 객체 검출 및 자세추정 방법에 의한 오류 값이다. 도면을 참조하면, 본 발명에 따른 3차원 객체 검출 및 자세추정 방법은 종래의 방법에 비해 평균 자세 오차 값이 비교적 적다는 것을 알 수 있다. 다만, 모델과 키넥트 사이의 이격거리가 87cm, 95cm 및 111cm 일 경우, 본 발명의 3차원 객체 검출 및 자세 추정 방법에 따른 변환 평균 오차 값이 종래의 방법의 변환 평균 오차 값보다 크게 나타나나 그 차이가 크지 않다.
한편, 본 발명에 따른 3차원 객체 검출 및 자세 추정 방법을 이용한 객체의 회전에 따른 자세 추정 결과를 상세히 설명하면 다음과 같다.
먼저, 각 모델의 정면에서 촬영하여 모델에 대한 포인트 클라우드를 생성하고, 상기 모델을 왼쪽 또는 오른쪽으로 소정의 각도로 회전시켜 촬영하여 촬영 영상에 대한 포인트 클라우드를 생성한다. 이때, 실측 객체 자세는 모델의 정면에서 촬영하여 생성한 포인트 클라우드와, 모델을 왼쪽 및 오른쪽으로 각각 5°만큼 회전시키며 촬영하여 생성한 포인트 클라우드 사이에 잘 정렬된 포즈로 정의된다. 이때, 종래의 방법과 본 발명에 따른 3차원 객체 검출 및 자세 추정 방법에 따른 자세 추정을 비교한다.
자세 추정은 일반적으로 회전과 자세 해석 오류에 의해 평가된다. 그러므로 상기의 수학식 6과 같이 실측한 객체의 자세에 대한 포즈 오류에 대한 기준을 정의한다. 또한, 상기의 수학식 7과 같이, 수학식 6의 오류 매트릭스로부터 회전 매트릭스와 변환 벡터(translation vector)를 분석한다.
도 12에는 도 4의 6개 모델의 회전각도에 대한 평균 자세 오차 값이 도시되어 있다. 도면을 참조하면, 상측의 두 그래프는 모델을 왼쪽으로 회전시키면서, 회전각도에 따른 회전 평균 오차 값 및 회전각도에 따른 변환 평균 오차 값을 나타낸 것이고, 하측의 두 그래프는 모델을 오른쪽으로 회전시키면서, 회전각도에 따른 회전 평균 오차 값 및 회전각도에 따른 변환 평균 오차 값을 나타낸 것이다. 이때, 적색의 꺽은 선 그래프는 각 모델을 종래의 방법에 의한 오류 값이고, 녹색의 꺽은 선 그래프는 본 발명에 따른 3차원 객체 검출 및 자세추정 방법에 의한 오류 값이다. 도면을 참조하면, 본 발명에 따른 3차원 객체 검출 및 자세추정 방법은 종래의 방법에 비해 평균 자세 오차 값이 비교적 적다는 것을 알 수 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
S110: 장면 스캐닝 단계
S120: 모델 스캐닝 단계
S130: 특징점 매칭단계
S131: 키포인트 선정단계
S132: 공간 분할단계
S133: 다운 샘플링 단계
S134: 기술자 생성단계
S135: 포인트 밀도 비교단계
S136: 기술자 매칭 단계
S140: 모델 검출 및 자세 추정 단계

Claims (15)

  1. 촬영기기로부터 검출대상 객체가 포함된 촬영영상을 제공받아 상기 촬영영상에 대한 포인트 클라우드(point cloud)를 생성하는 장면 스캐닝 단계와;
    상기 촬영영상으로부터 상기 객체를 검출하기 위해 상기 객체에 대응되는 형상의 모델을 촬영하여 상기 모델에 대한 포인트 클라우드를 생성하는 모델 스캐닝 단계와;
    상기 모델에 대한 포인트 클라우드와 상기 촬영영상에 대한 포인트 클라우드를 매칭하는 것으로서, 상기 촬영영상에 대한 포인트 클라우드의 포인트 밀도와 유사한 포인트 밀도를 갖도록 상기 모델에 대한 포인트 클라우드를 일부 걸러낸 다음, 상기 촬영영상에 대한 포인트 클라우드와 매칭하는 특징점 매칭단계와;
    상기 특징점 매칭단계에 의해 매칭된 상기 포인트들을 통해 상기 촬영영상에서 상기 객체를 검출하거나 상기 객체의 자세를 추정하는 모델 검출 및 자세 추정단계;를 포함하고,
    상기 특징점 매칭단계는
    상기 모델에 대한 포인트 클라우드를 이루는 포인트들 중 적어도 하나의 제1키포인트를 선정하고, 상기 촬영영상에 대한 포인트 클라우드를 이루는 포인트들 중 적어도 하나의 제2키포인트를 선정하는 키포인트 선정단계와,
    상기 키포인트 선정단계가 완료되면 상기 모델에 대한 포인트 클라우드 중 일부를 걸러내어 포인트 밀도가 상이한 다수의 기준 포인트 클라우드를 생성하는 필터링 단계와,
    상기 기준포인트 클라우드들 및 촬영영상 포인트 클라우드에서 3차원 기술자(3D descriptor)를 각각 생성하는 기술자 생성단계와,
    상기 기준 포인트 클라우드들과 촬영영상에 대한 포인트 클라우드의 포인트 밀도를 비교하고, 상기 기준포인트 클라우드들 중 상기 촬영영상에 대한 포인트 클라우드와 포인트 밀도가 유사한 기준포인트 클라우드를 샘플 포인트 클라우드로 선정하는 포인트 밀도 비교단계와,
    상기 포인트 밀도 비교단계 이후에, 상기 샘플 포인트 클라우드와 상기 촬영영상 포인트 클라우드의 3차원 기술자를 매칭하는 기술자 매칭 단계를 포함하는 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 필터링 단계는
    상기 모델에 대한 포인트 클라우드의 3차원 공간을 육면체 형상인 다수의 복셀 그리드로 분할하는 공간 분할단계와,
    상기 복셀 그리드에 포함된 포인트의 밀도가 기설정된 값에 도달하도록 상기 복셀 그리드에 포함된 포인트들을 걸러내는 다운 샘플링 단계를 포함하는 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  4. 제3항에 있어서,
    상기 공간 분할단계에서, 상기 복셀 그리드의 크기를 다양하게 변경하고, 각각의 변경된 크기의 상기 복셀 그리드로 상기 모델에 대한 포인트 클라우드의 3차원 공간을 분할하여 다수의 기준 포인트 클라우드를 생성하는 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  5. 제4항에 있어서,
    상기 다운샘플링 단계에서, 각 상기 기준 포인트 클라우드들의 상기 복셀 그리드에 포함된 포인트 밀도를 기설정된 값이 되도록 상기 포인트를 다단으로 다운 샘플링하는 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  6. 제1항에 있어서,
    상기 기술자 생성단계는 상기 필터링 단계 이후에, 상기 촬영 영상에 대한 포인트 클라우드와의 매칭을 위해 상기 제1키포인트 및 제2키포인트에 대한 3차원 기술자를 각각 생성하는 것을 특징으로 하는 3차원 객체 검출 및 자세추정방법.
  7. 제1항에 있어서,
    상기 기술자 매칭 단계는
    상기 기준 포인트 클라우드들 중 상기 촬영 영상에 대한 포인트 클라우드와 포인트 밀도가 가장 유사한 기준 포인트 클라우드와, 포인트 밀도가 두번째로 유사한 기준 포인트 클라우드를 상기 샘플 포인트 클라우드로 선정하는 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  8. 제1항에 있어서,
    상기 기술자 매칭 단계는
    상기 샘플 포인트 클라우드의 3차원 기술자 중 상기 촬영 영상에 대한 포인크 클라우드의 3차원 기술자와 가장 유사한 포인트를 대응점으로 선정하는 3차원 기술자 매칭 단계를 더 포함하는 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  9. 제6항에 있어서,
    상기 제1키포인트에 대한 3차원 기술자는 상기 제1키포인트로부터 기설정된 소정 반경 내의 포인트들이 갖는 법선 벡터 간의 각도관계를 표현하는 점 특징 히스토그램(Point Feature Histogram)인 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  10. 제6항에 있어서,
    상기 제1키포인트에 대한 3차원 기술자는 상기 제1키포인트로부터 기설정된 소정 반경 내의 포인트들이 갖는 법선 벡터 간의 각도관계 및 색상 관계를 표현하는 점 특징 히스토그램 알지비(Point Feature Histogram RGB: PFH-RGB)인 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  11. 제1항에 있어서,
    상기 모델 검출 및 자세 추정단계는
    상기 제2키포인트들에 대한 3차원 기술자와 상기 제1키포인트에 대한 3차원 기술자를 상호비교하여 상기 촬영영상에 포함된 상기 객체를 검출하거나 상기 객체의 자세를 추정하는 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  12. 제6항에 있어서,
    상기 제2키포인들에 대한 3차원 기술자는 상기 제2키포인트로부터 기설정된 소정 반경 내의 포인트들이 갖는 법선 벡터 간의 각도관계를 표현하는 점 특징 히스토그램(Point Feature Histogram)인 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  13. 제6항에 있어서,
    상기 제2키포인들에 대한 3차원 기술자는 상기 제2키포인트로부터 기설정된 소정 반경 내의 포인트들이 갖는 법선 벡터 간의 각도관계 및 색상 관계를 표현하는 점 특징 히스토그램 알지비(Point Feature Histogram RGB: PFH-RGB)인 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  14. 제1항에 있어서,
    상기 촬영기기는 카메라와 3차원 깊이 센서를 포함하는 키넥트(kinect)인 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
  15. 제1항에 있어서,
    상기 모델 스캐닝 단계에서, 카메라와 3차원 깊이 센서를 포함한 키넥트를 통해 상기 모델을 촬영하여 획득한 상기 모델의 이미지 정보 및 3차원 깊이 정보를 토대로 상기 모델에 대한 포인트 클라우드를 생성하는 것을 특징으로 하는 3차원 객체 검출 및 자세추정 방법.
KR1020160047591A 2016-04-19 2016-04-19 3차원 객체 검출 및 자세추정 방법 KR101819730B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160047591A KR101819730B1 (ko) 2016-04-19 2016-04-19 3차원 객체 검출 및 자세추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160047591A KR101819730B1 (ko) 2016-04-19 2016-04-19 3차원 객체 검출 및 자세추정 방법

Publications (2)

Publication Number Publication Date
KR20170119496A KR20170119496A (ko) 2017-10-27
KR101819730B1 true KR101819730B1 (ko) 2018-01-17

Family

ID=60300364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160047591A KR101819730B1 (ko) 2016-04-19 2016-04-19 3차원 객체 검출 및 자세추정 방법

Country Status (1)

Country Link
KR (1) KR101819730B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019143174A1 (ko) * 2018-01-20 2019-07-25 삼성전자 주식회사 3차원 이미지에 대한 데이터를 처리하기 위한 방법 및 장치
US11295532B2 (en) 2018-11-15 2022-04-05 Samsung Electronics Co., Ltd. Method and apparatus for aligning 3D model
KR20220106567A (ko) 2021-01-22 2022-07-29 한길씨앤씨 주식회사 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640175A (zh) 2018-06-21 2020-09-08 华为技术有限公司 一种物体建模运动方法、装置与设备
CN111524217A (zh) * 2019-02-02 2020-08-11 宁波艾腾湃智能科技有限公司 一个新型的提高素描形准度的方法与应用系统
CN112016354B (zh) * 2019-05-30 2024-01-09 中国科学院沈阳自动化研究所 一种基于视觉识别的运粮车粮箱装载状态检测方法
CN110827382A (zh) * 2019-11-11 2020-02-21 杭州都市高速公路有限公司 一种装配式涵洞管片弧形铰缝构造尺寸的自动检验方法
KR102407729B1 (ko) * 2020-04-10 2022-06-13 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
CN113111741B (zh) * 2021-03-27 2024-05-07 西北工业大学 一种基于三维特征点的装配状态识别方法
KR102378892B1 (ko) * 2021-06-17 2022-03-28 주식회사 인피닉 3d 점군 데이터 일괄 처리 방법
CN113706620B (zh) * 2021-10-22 2022-03-22 杭州迦智科技有限公司 一种基于参照对象的定位方法、定位装置、可移动平台
KR20230166319A (ko) 2022-05-30 2023-12-07 동아대학교 산학협력단 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체
KR102623494B1 (ko) 2022-12-27 2024-01-10 동아대학교 산학협력단 포즈인식 패키지를 이용한 보행 분석 장치, 방법 및 프로그램 기록 매체
KR102548786B1 (ko) * 2023-01-04 2023-06-29 영남대학교 산학협력단 라이다 센서를 이용하여 공간 모델을 생성하는 장치, 방법 및 시스템
CN116614614B (zh) * 2023-07-19 2023-10-31 中国科学院自动化研究所 三维相机的自适应距离控制方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054736B1 (ko) * 2010-05-04 2011-08-05 성균관대학교산학협력단 3차원 물체 인식 및 자세 추정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054736B1 (ko) * 2010-05-04 2011-08-05 성균관대학교산학협력단 3차원 물체 인식 및 자세 추정 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019143174A1 (ko) * 2018-01-20 2019-07-25 삼성전자 주식회사 3차원 이미지에 대한 데이터를 처리하기 위한 방법 및 장치
US11317074B2 (en) 2018-01-20 2022-04-26 Samsung Electronics Co., Ltd. Method and apparatus for processing data for three-dimensional image
US11295532B2 (en) 2018-11-15 2022-04-05 Samsung Electronics Co., Ltd. Method and apparatus for aligning 3D model
KR20220106567A (ko) 2021-01-22 2022-07-29 한길씨앤씨 주식회사 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법

Also Published As

Publication number Publication date
KR20170119496A (ko) 2017-10-27

Similar Documents

Publication Publication Date Title
KR101819730B1 (ko) 3차원 객체 검출 및 자세추정 방법
CN102834845B (zh) 用于多摄像装置校准的方法与装置
US8817071B2 (en) Context constrained novel view interpolation
JP6091560B2 (ja) 画像解析方法
JP6216508B2 (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
US7894636B2 (en) Apparatus and method for performing facial recognition from arbitrary viewing angles by texturing a 3D model
US20120206438A1 (en) Method for Representing Objects with Concentric Ring Signature Descriptors for Detecting 3D Objects in Range Images
US10460471B2 (en) Camera pose estimating method and system
EP2751777A1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
JP5833507B2 (ja) 画像処理装置
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
CN109740659B (zh) 一种图像匹配方法及装置、电子设备、存储介质
WO2017146955A1 (en) Systems and methods for estimating pose of textureless objects
JP2009014415A (ja) 物体認識装置および物体認識方法
JP6429466B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
US11475629B2 (en) Method for 3D reconstruction of an object
JP6606340B2 (ja) 画像検出装置、画像検出方法およびプログラム
JP7298687B2 (ja) 物体認識装置及び物体認識方法
JP6278757B2 (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
WO2017042852A1 (en) Object recognition appratus, object recognition method and storage medium
WO2021014538A1 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
Pellejero et al. Automatic computation of the fundamental matrix from matched lines
Rodrigues et al. 3d modelling and recognition
Le et al. Geometry-Based 3D Object Fitting and Localizing in Grasping Aid for Visually Impaired

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant