KR20150073679A - 구형 물체를 이용한 다시점 깊이 센서의 보정 방법 및 이를 이용하는 다시점 깊이 센서 - Google Patents

구형 물체를 이용한 다시점 깊이 센서의 보정 방법 및 이를 이용하는 다시점 깊이 센서 Download PDF

Info

Publication number
KR20150073679A
KR20150073679A KR1020130161665A KR20130161665A KR20150073679A KR 20150073679 A KR20150073679 A KR 20150073679A KR 1020130161665 A KR1020130161665 A KR 1020130161665A KR 20130161665 A KR20130161665 A KR 20130161665A KR 20150073679 A KR20150073679 A KR 20150073679A
Authority
KR
South Korea
Prior art keywords
depth
spherical object
information
sensors
depth sensors
Prior art date
Application number
KR1020130161665A
Other languages
English (en)
Inventor
박순용
최성인
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020130161665A priority Critical patent/KR20150073679A/ko
Publication of KR20150073679A publication Critical patent/KR20150073679A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

본 발명은 위치가 고정된 복수의 깊이 센서가 제1위치로부터 제n위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에 따라 획득하는 단계, 각각의 위치에서 획득한 구형 물체의 깊이 정보를 이용하여 각각의 위치에 대한 구형 물체의 중심점의 좌표를 추출하는 단계 및 추출한 구형 물체의 중심점의 좌표를 이용하여 복수의 깊이 센서의 시점 간의 변환 정보를 구하는 단계를 포함하는 다시점 깊이 센서의 보정 방법에 관한 것이다.

Description

구형 물체를 이용한 다시점 깊이 센서의 보정 방법 및 이를 이용하는 다시점 깊이 센서{METHOD OF CALIBRATION OF MULTI-VIEW DEPTH SENSOR USING A SPHERICAL OBJECT AND APPARATUS USING THE SAME}
본 발명은 다시점 깊이 센서의 보정 방법 및 이를 이용하는 다시점 깊이 센서에 관한 것이다.
본 발명은 과제고유번호 2013-D-7213-010107, "휴대용 3D 스캐너"에 관한 연구 과제의 결과물이다.
복수의 깊이 센서를 이용하여 깊이 영상을 획득하고, 실시간으로 정합하여 하나의 3차원 단일 모델을 생성하는 것을 3차원 완전 모델링이라고 한다. 3차원 완전 모델링을 위한 3차원 정합 기술은 서로 다른 좌표계에서 획득된 3차원 정보를 하나의 공통된 좌표계로 변환하는 것이다. 각각의 깊이 센서에서 획득되는 깊이 정보는 각 센서별 지역좌표계 내에 존재하기 때문에 각 센서별 깊이 정보를 모두 하나의 공통된 좌표계로 이동시킬 필요가 있다. 이를, 깊이 센서의 보정이라고 한다.
기존의 깊이 센서는 하나의 방향에서만 물체의 거리 정보를 획득하는 데 주로 사용되었기 때문에 깊이 센서가 아닌 다수의 일반 RGB 컬러 카메라의 보정은 소개되어 있으나 복수의 깊이 센서의 보정에 대한 기술은 거의 없는 실정이다. 또한, 기존의 보정 방법은 특수 보정 장치가 필요하다는 단점이 있었다.
본 발명의 목적은 구형 물체를 이용하여 복수의 깊이 센서 간의 좌표계를 통일시키는 방법을 제공하는 데 있다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 다시점 깊이 센서의 보정 방법은 위치가 고정된 복수의 깊이 센서가 제1위치로부터 제n위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에 따라 획득하는 단계, 상기 각각의 위치에서 획득한 상기 구형 물체의 깊이 정보를 이용하여 상기 각각의 위치에 대한 상기 구형 물체의 중심점의 좌표를 추출하는 단계 및 추출한 상기 구형 물체의 중심점의 좌표를 이용하여 상기 복수의 깊이 센서의 시점 간의 변환 정보를 구하는 단계를 포함할 수 있다.
실시예에서, 상기 n은 3 이상일 수 있다.
실시예에서, 상기 획득하는 단계는 상기 복수의 깊이 센서가 깊이 이미지를 획득하는 단계 및 획득한 상기 깊이 이미지에서 상기 구형 물체의 표면 정보를 저장하는 단계를 포함할 수 있다.
실시예에서, 상기 구형 물체의 표면 정보를 저장하는 단계는 상기 복수의 깊이 센서가 획득한 RGB 영상에서 구형 물체 영역을 추출하는 단계 및 추출된 상기 구형 물체 영역의 깊이 정보를 획득하는 단계를 포함할 수 있다.
실시예에서, 상기 구형 물체 영역을 추출하는 단계는 이전 프레임에서 추출된 상기 구형 물체의 영역 주변에서부터 탐색하여 수행될 수 있다.
실시예에서, 상기 구형 물체 영역을 추출하는 단계는 상기 복수의 깊이 센서가 동시에 상기 구형 물체 영역을 탐색하지 못하거나 상기 구형 물체 영역의 면적이 미리 설정된 면적 이하인 경우에는 추출하지 않을 수 있다.
실시예에서, 상기 복수의 깊이 센서의 시점 간의 변환 정보를 구하는 단계는 RANSAC(RANdom Sample Consensus) 알고리즘을 이용하여 상기 복수의 깊이 센서의 각각의 시점에서 구한 상기 구형 물체의 중심점의 좌표 간의 오차가 미리 설정된 값 이하인 경우, 상기 변환 정보 추출을 중지할 수 있다.
본 발명의 실시예에 따르면, 상기 방법 중 어느 하나의 방법을 컴퓨터에서 실행되기 위한 프로그램으로 제작하여 기록한 기록 매체일 수 있다.
본 발명의 실시예에 따른 다시점 깊이 센서는 물체의 깊이 이미지를 획득할 수 있는 복수의 깊이 센서 및 상기 복수의 깊이 센서가 획득한 깊이 이미지를 처리하는 처리부를 포함하고, 상기 복수의 깊이 센서는 제1위치로부터 제n위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에 따라 획득하고, 상기 처리부는 상기 각각의 위치에서 획득한 상기 구형 물체의 깊이 정보를 이용하여 상기 각각의 위치에 대한 상기 구형 물체의 중심점의 좌표를 추출하고, 추출한 상기 구형 물체의 중심점의 좌표를 이용하여 상기 복수의 깊이 센서 시점 간의 변환 정보를 구할 수 있다.
실시예에서, 상기 복수의 깊이 센서는 3개 이상의 깊이 센서를 포함할 수 있다.
실시예에서, 상기 복수의 깊이 센서는 획득한 RGB 영상에서 구형 물체 영역을 추출하고, 추출한 상기 구형 물체 영역에서 상기 구형 물체 영역의 깊이 정보를 획득하며, 상기 구형 물체 영역의 정보를 저장할 수 있다.
본 발명의 일 측면에 따르면, 복수의 깊이 센서를 포함하는 다시점 깊이 센서에서 깊이 센서 간의 좌표계를 통일시키는 방법을 제공할 수 있다.
본 발명의 효과가 상술한 효과들로 한정되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면들로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1 내지 도 4는 본 발명의 실시예에 따른 다시점 깊이 센서의 보정 방법을 설명하기 위한 도면이다.
도 5 내지 도 8은 본 발명의 실시예에 따른 다시점 깊이 센서의 보정 방법을 4개의 깊이 센서를 이용하여 수행한 결과를 나타낸 것이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
본 발명은 구형 물체를 이용하여 복수의 깊이 센서들의 시점을 보정하는 방법에 관한 것이다. 본 발명에서 다시점 깊이 센서란, 복수의 깊이 센서들을 포함하는 장치를 의미한다. 본 발명의 실시예에 따르면, 하나의 3차원 물체를 모델링 공간 내에서 이동시키면서 실시간으로 3차원 물체의 깊이 영상을 획득하고, 획득한 영상에서 3차원 물체의 중심점의 좌표를 추출한 후, 추출한 3차원 물체의 중심점의 좌표를 이용하여 깊이 센서 간의 보정을 수행할 수 있다. 이하에서는 3차원 물체의 예시로써, 구형 물체를 이용하여 깊이 센서 간의 보정을 수행하는 과정을 첨부된 도면을 참조하여 보다 상세히 설명할 것이다.
도 1 내지 도 4는 본 발명의 실시예에 따른 다시점 깊이 센서의 보정 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 다시점 깊이 센서의 보정 방법은 제1위치로부터 제n위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에서 획득하는 단계(S10), 각각의 위치에 대한 구형 물체의 중심점의 좌표를 추출하는 단계(S20) 및 추출한 구형 물체의 중심점의 좌표를 이용하여 복수의 깊이 센서의 시점 간의 변환 정보를 획득하는 단계(S30)를 포함한다.
실시예에서, 제1위치로부터 제n위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에서 획득하는 단계(S10)는 위치가 고정된 복수의 깊이 센서에 의해 수행될 수 있다. 도 2를 참조하면, 제1위치로부터 제n위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에서 획득하는 단계(S10)는 깊이 이미지를 획득하는 단계(S12) 및 구형 물체의 표면 정보를 저장하는 단계(S14)를 포함한다.
깊이 이미지를 획득하는 단계(S12)는 상술한 것처럼, 위치가 고정된 복수의 깊이 센서에 의해 수행된다. 이 때, 구형 물체를 포함한 전체 깊이 이미지가 깊이 센서에 의해 획득될 수 있다. 도 3을 참조하면, 위치가 고정된 복수의 깊이 센서(12, 14, 16, 18)과 구형 물체(20)가 도시되어 있다. 구형 물체가 도 3에 도시된 점선을 따라 이동하는 동안 복수의 깊이 센서(12, 14, 16, 18)는 실시간으로 구형 물체의 깊이 이미지를 획득할 수 있다. 도 3에는 깊이 센서가 4개인 것으로 도시되어 있으나, 깊이 센서의 개수는 필요에 따라 달라질 수 있다. 그리고, 구형 물체의 깊이 이미지는 적어도 3개의 다른 위치에서 획득할 수 있다.
다시 도 2를 참조하면, 구형 물체의 표면 정보를 저장하는 단계(S14)는 RGB 영상에서 구형 물체 영역을 추출하는 단계(S16) 및 구형 물체 영역에서 구형 물체의 깊이 정보를 획득하는 단계(S18)를 포함한다.
RGB 영상에서 구형 물체의 영역을 추출하는 단계(S16)는 획득한 전체 깊이 이미지로부터 추출할 수 있다. 백색의 구형 물체를 사용하여 구형 물체의 영역을 보다 효율적으로 추출할 수 있다. 실시예에서, 구형 물체의 영역을 추출하는 단계(S16)는 이전 프레임에서 추출한 구형 물체의 영역 정보를 이용하여 수행될 수 있다. 실시간으로 깊이 이미지를 획득하고 있기 때문에, 전체 깊이 이미지에서 현재 프레임의 구형 물체의 영역의 위치는 이전 프레임의 구형 물체의 영역의 위치와 크게 다르지 않다. 따라서, 이전 프레임에서 추출한 구형 물체의 영역 정보를 이용함으로써, 보다 빠르게 현재 프레임의 구형 물체의 영역 정보를 추출할 수 있다. 실시예에서, 보다 정확한 보정을 위해 복수의 깊이 센서가 획득한 전체 이미지 중 하나의 전체 이미지에서 구형 물체 영역이 탐색되지 않으면, 해당 프레임은 사용되지 않을 수 있다. 그리고, 탐색된 구형 물체 영역의 면적이 소정의 값보다 작은 경우에도 해당 프레임은 사용되지 않을 수 있다.
구형 물체 영역에서 구형 물체의 깊이 정보를 획득하는 단계(S18)는 추출한 구형 물체의 영역 정보를 이용하여 수행될 수 있다. 전체 깊이 이미지에 대해 깊이 정보를 획득하는 것이 아니라, 추출한 구형 물체의 영역에 대해서만 깊이 정보를 획득하기 때문에, 깊이 정보 획득이 효율적으로 수행될 수 있다.
다시 도 1을 참조하면, 각각의 위치에 대한 구형 물체의 중심점의 좌표를 추출하는 단계(S20)는 각각의 깊이 센서 또는 처리부에서 수행될 수 있다. 구형 물체의 중심점의 좌표는 후술할 방법에 의해 구해진다.
구형 물체의 표면에 대한 깊이 정보를 획득하면, 구형 물체의 중심점의 좌표를 추정할 수 있다. 구형 물체의 중심점의 좌표를 (Xc, Yc, Zc)라 하고, 구형 물체 표면의 한 점의 좌표를 (X, Y, C)라 할 때, 수학식 1로 두 점의 관계를 표현할 수 있다.
Figure pat00001
여기서 R은 구형 물체의 반지름을 의미한다. 구형 물체의 부분적인 3차원 표면에 대한 충분한 3차원 점군(Points Clouds)이 있으면, 구형 물체의 중심점에 대한 3차원 좌표를 획득할 수 있다.
추출한 구형 물체의 중심점의 좌표를 이용하여 복수의 깊이 센서의 시점 간의 변환 정보를 획득하는 단계(S30)는 처리부에 의해 수행될 수 있다. 도 4를 참조하면, 제1시점과 제2시점에서 획득할 수 있는 3차원 점 3개가 도시되어 있다. 3차원 점들의 좌표는 각각 제1시점에서 P1, P2, P3로 표현되고, 제2시점에서 Q1, Q2, Q3로 표현된다. 제1시점과 제2시점 사이의 변환 관계를 T1 ,2 라고 하면 T1 ,2 는 Rotation 변환 R과 Translation 변환 t로 표현되며, 이론적으로는 T1 ,2 는 물체의 서로 다른 3 개의 위치 정보를 이용하여 구할 수 있다. 만약, 3개 이상의 3차원 점들이 있다면 LSM(Least Square Minimization) 방법으로 변환 관계를 구할 수 있다.
상술한 방법으로 구형 물체의 3차원 깊이 정보를 획득하여 복수의 깊이 센서를 보정하고 동기화할 수 있다. 그리고, 동기화된 복수의 깊이 센서로 동시에 구형 물체의 형상을 획득한다면, 복수의 깊이 센서가 획득한 구형 물체의 3차원 깊이 정보는 동일한 위치의 구형 물체에 대한 3차원 깊이 정보라 가정할 수 있다. 도 1 내지 도 4에서는 구형 물체를 사용하여 깊이 센서 간의 보정 방법을 도시하고 있으나, 구형 물체는 예시적인 것이며, 필요에 따라 다양한 형상의 3차원 물체를 이용할 수 있다.
도 5 내지 도 8은 본 발명의 실시예에 따른 다시점 깊이 센서의 보정 방법을 4개의 깊이 센서를 이용하여 수행한 결과를 나타낸 것이다.
도 5를 참조하면, 4개의 깊이 센서 각각의 RGB 영상에서 구형 물체의 영역을 추출한 모습이 도시되어 있다. 추출된 구형 물체의 영역은 붉은 색의 원으로 표시하였으며, 이 영역의 3차원 깊이 정보를 매 프레임마다 저장한다. 상술하였듯이, 구형 물체 영역을 보다 효율적으로 탐색하기 위해서 이전 프레임에서 추출된 구형 물체 영역 주변에서 현재 프레임의 구형 물체 영역을 탐색할 수 있다. 보정을 위해 사용한 구형 물체의 3차원 깊이 정보만을 저장하는 경우에는 초당 20프레임 이상의 속도로 정보를 획득할 수 있었다.
도 6은 복수의 깊이 센서가 획득한 구형 물체의 부분적인 3차원 점군(Points Clouds) 정보를 나타낸 것이다. 도 6에 도시된 바와 같이, 각 시점에서 획득한 구형 물체의 3차원 깊이 정보는 구형 물체의 부분적인 모습을 갖게 된다. 도 6에 도시된 3차원 점군 정보를 이용하여 구형 물체의 중심점의 좌표를 추출할 수 있다. 중심점의 좌표를 추출할 때, 구형 물체의 중심점들 사이의 오차가 미리 설정된 값 이하가 되면 변환 알고리즘을 중단할 수 있다.
본 발명의 효과를 검증하기 위한 실험에서는 약 300~500 프레임의 3차원 깊이 정보를 사용하였고, 각 프레임에서 4개의 깊이 센서에서 획득한 구형 물체의 부분적 표면에 대한 3차원 깊이 정보를 사용하였다. 그리고 RANSAC(Random Sample Consensus) 알고리즘을 사용하여 중심점이 잘못 계산된 프레임들을 제외하고, 구형 물체의 중심점들 사이의 오차가 10mm이하가 되면 변환 알고리즘을 중지하였다. 그리고 추출된 구형 물체의 중심점의 좌표를 이용하여 복수의 깊이 센서 시점 간의 변환 관계를 구할 수 있다. 실시예에서, 하나의 깊이 센서의 좌표계를 기준으로 하여 다른 깊이 센서들의 좌표계를 변환하도록 보정할 수 있다.
도 7 및 도 8은 구형 물체의 중심점들이 보정 이전과 보정 이후에 각각 어떻게 변환되었는지 도시한 것이다. 깊이 센서에 따라 다른 색상으로 도시되어 있다.
도 7을 참조하면, 시점 보정 이전에는 동일한 구형 물체에 대한 깊이 정보가 독립적인 좌표계를 가지고 있으므로 구형 물체의 중심점들이 서로 어긋나 있음을 알 수 있다. 이와 달리, 도 8을 참조하면, 본 발명의 다시점 깊이 센서의 보정 방법을 이용하여 4개의 깊이 센서 간의 변환 관계를 추정한 후, 구형 물체의 중심점들을 정합한 결과를 도시한 것인데, 각각의 깊이 센서에서 추정된 구형 물체의 중심점들이 서로 일치하고 있음을 알 수 있다. 또한, 중심점들의 연속적인 궤적이 구형 물체가 이동한 경로임을 알 수 있다.
상술한 본 발명의 실시예에 따른 다시점 깊이 센서의 보정 방법은 복수의 깊이 센서와 복수의 깊이 센서가 획득한 깊이 이미지를 처리하는 처리부를 포함하는 다시점 깊이 센서에 의해 수행될 수 있다. 도 4에 도시된 것처럼, 본 발명의 실시예에 따른 다시점 깊이 센서는 복수의 깊이 센서(10) 및 처리부(미도시)를 포함할 수 있다. 복수의 깊이 센서는 제1깊이 센서(12), 제2깊이 센서(14), 제3깊이 센서(16) 및 제4깊이 센서(16)을 포함한다. 깊이 센서의 개수는 필요에 따라 변형될 수 있다.
전술한 본 발명의 실시예에 따른 다시점 깊이 센서의 보정 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있다.
이상의 실시예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시예들도 본 발명의 범위에 속할 수 있음을 이해하여야 한다. 예를 들어, 본 발명의 실시예에 도시된 각 구성 요소는 분산되어 실시될 수도 있으며, 반대로 여러 개로 분산된 구성 요소들은 결합되어 실시될 수 있다. 따라서, 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.
12, 14, 16, 18: 깊이 센서

Claims (11)

  1. 위치가 고정된 복수의 깊이 센서가 제1위치로부터 제n위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에 따라 획득하는 단계;
    상기 각각의 위치에서 획득한 상기 구형 물체의 깊이 정보를 이용하여 상기 각각의 위치에 대한 상기 구형 물체의 중심점의 좌표를 추출하는 단계; 및
    추출한 상기 구형 물체의 중심점의 좌표를 이용하여 상기 복수의 깊이 센서의 시점 간의 변환 정보를 구하는 단계;
    를 포함하는 다시점 깊이 센서의 보정 방법.
  2. 제1항에 있어서,
    상기 n은 3 이상인 다시점 깊이 센서의 보정 방법.
  3. 제1항에 있어서,
    상기 획득하는 단계는
    상기 복수의 깊이 센서가 깊이 이미지를 획득하는 단계; 및
    획득한 상기 깊이 이미지에서 상기 구형 물체의 표면 정보를 저장하는 단계;
    를 포함하는 다시점 깊이 센서의 보정 방법.
  4. 제3항에 있어서,
    상기 구형 물체의 표면 정보를 저장하는 단계는
    상기 복수의 깊이 센서가 획득한 RGB 영상에서 구형 물체 영역을 추출하는 단계; 및
    추출된 상기 구형 물체 영역의 깊이 정보를 획득하는 단계;
    를 포함하는 다시점 깊이 센서의 보정 방법.
  5. 제4항에 있어서,
    상기 구형 물체 영역을 추출하는 단계는
    이전 프레임에서 추출된 상기 구형 물체의 영역 주변에서부터 탐색하여 수행되는 다시점 깊이 센서의 보정 방법.
  6. 제4항에 있어서,
    상기 구형 물체 영역을 추출하는 단계는
    상기 복수의 깊이 센서가 동시에 상기 구형 물체 영역을 탐색하지 못하거나 상기 구형 물체 영역의 면적이 미리 설정된 면적 이하인 경우에는 추출하지 않는 다시점 깊이 센서의 보정 방법.
  7. 제1항에 있어서,
    상기 복수의 깊이 센서의 시점 간의 변환 정보를 구하는 단계는
    RANSAC(RANdom Sample Consensus) 알고리즘을 이용하여 상기 복수의 깊이 센서의 각각의 시점에서 구한 상기 구형 물체의 중심점의 좌표 간의 오차가 미리 설정된 값 이하인 경우, 상기 변환 정보 추출을 중지하는 다시점 깊이 센서의 보정 방법.
  8. 제1항 내지 제7항의 방법 중 어느 한 항의 방법을 컴퓨터에서 실행되기 위한 프로그램으로 제작하여 기록한 기록 매체.
  9. 물체의 깊이 이미지를 획득할 수 있는 복수의 깊이 센서; 및
    상기 복수의 깊이 센서가 획득한 깊이 이미지를 처리하는 처리부;
    를 포함하고,
    상기 복수의 깊이 센서는 제1위치로부터 제n위치로 이동하는 구형 물체의 깊이 정보를 각각의 위치에 따라 획득하고,
    상기 처리부는 상기 각각의 위치에서 획득한 상기 구형 물체의 깊이 정보를 이용하여 상기 각각의 위치에 대한 상기 구형 물체의 중심점의 좌표를 추출하고, 추출한 상기 구형 물체의 중심점의 좌표를 이용하여 상기 복수의 깊이 센서 시점 간의 변환 정보를 구하는 다시점 깊이 센서.
  10. 제9항에 있어서,
    상기 복수의 깊이 센서는 3개 이상의 깊이 센서를 포함하는 다시점 깊이 센서.
  11. 제9항에 있어서,
    상기 복수의 깊이 센서는 획득한 RGB 영상에서 구형 물체 영역을 추출하고, 추출한 상기 구형 물체 영역에서 상기 구형 물체 영역의 깊이 정보를 획득하며, 상기 구형 물체 영역의 정보를 저장하는 다시점 깊이 센서.
KR1020130161665A 2013-12-23 2013-12-23 구형 물체를 이용한 다시점 깊이 센서의 보정 방법 및 이를 이용하는 다시점 깊이 센서 KR20150073679A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130161665A KR20150073679A (ko) 2013-12-23 2013-12-23 구형 물체를 이용한 다시점 깊이 센서의 보정 방법 및 이를 이용하는 다시점 깊이 센서

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130161665A KR20150073679A (ko) 2013-12-23 2013-12-23 구형 물체를 이용한 다시점 깊이 센서의 보정 방법 및 이를 이용하는 다시점 깊이 센서

Publications (1)

Publication Number Publication Date
KR20150073679A true KR20150073679A (ko) 2015-07-01

Family

ID=53787154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130161665A KR20150073679A (ko) 2013-12-23 2013-12-23 구형 물체를 이용한 다시점 깊이 센서의 보정 방법 및 이를 이용하는 다시점 깊이 센서

Country Status (1)

Country Link
KR (1) KR20150073679A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180079111A (ko) * 2016-12-30 2018-07-10 동의대학교 산학협력단 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180079111A (ko) * 2016-12-30 2018-07-10 동의대학교 산학협력단 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치

Similar Documents

Publication Publication Date Title
US11051000B2 (en) Method for calibrating cameras with non-overlapping views
JP5952001B2 (ja) 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム
US8447099B2 (en) Forming 3D models using two images
US9754165B2 (en) Automated graph local constellation (GLC) method of correspondence search for registration of 2-D and 3-D data
CN104205826B (zh) 用于重建高密度三维图像的设备和方法
US20150287203A1 (en) Method Of Estimating Imaging Device Parameters
US9361731B2 (en) Method and apparatus for displaying video on 3D map
US20220078385A1 (en) Projection method based on augmented reality technology and projection equipment
WO2015108996A1 (en) Object tracking using occluding contours
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
US20170147609A1 (en) Method for analyzing and searching 3d models
US9317968B2 (en) System and method for multiple hypotheses testing for surface orientation during 3D point cloud extraction from 2D imagery
Rocca et al. Head pose estimation by perspective-n-point solution based on 2d markerless face tracking
CN112348890A (zh) 一种空间定位方法、装置及计算机可读存储介质
Ayaz et al. Multiview registration-based handheld 3D profiling system using visual navigation and structured light
KR20150073679A (ko) 구형 물체를 이용한 다시점 깊이 센서의 보정 방법 및 이를 이용하는 다시점 깊이 센서
KR20160052256A (ko) 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
Simon Automatic online walls detection for immediate use in AR tasks
Ahmed et al. A system for 3D video acquisition and spatio-temporally coherent 3D animation reconstruction using multiple RGB-D cameras
Gorovyi et al. Advanced image tracking approach for augmented reality applications
Mkhitaryan et al. RGB-D sensor data correction and enhancement by introduction of an additional RGB view
Southey et al. Object discovery through motion, appearance and shape
KR101766864B1 (ko) 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 이를 위한 장치
US9961327B2 (en) Method for extracting eye center point

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application