KR20190078890A

KR20190078890A - 그리드 기반의 평면 추정 방법 및 장치

Info

Publication number: KR20190078890A
Application number: KR1020170180641A
Authority: KR
Inventors: 김지연; 박승인; 안민수
Original assignee: 삼성전자주식회사
Priority date: 2017-12-27
Filing date: 2017-12-27
Publication date: 2019-07-05
Also published as: US20190197772A1; US10628999B2; KR102509823B1

Abstract

그리드 기반의 평면 추정 방법 및 장치가 개시된다. 일 실시예에 따른 평면 추정 방법은 타겟 영상을 복수의 그리드 셀들로 분할하고, 복수의 그리드 셀들 각각에서 선택된 참조 특징 점에 기초하여 초기 평면을 추정하고, 타겟 영상에서 추출된 특징 점들을 초기 평면과 동일한 평면상에 위치하는 인라이어 또는 초기 평면과 다른 평면상에 위치하는 아웃라이어로 분류하고, 인라이어 및 아웃라이어의 분포에 기초하여 복수의 그리드 셀들 중에 경계 그리드 셀들을 선택하고, 선택된 경계 그리드 셀들에 기초하여 초기 평면에 관한 확장 평면을 추정하는 단계들을 포함한다.

Description

그리드 기반의 평면 추정 방법 및 장치{METHOD AND APPARATUS FOR ESTIMATING PLANE BASED ON GRIDS}

아래 실시예들은 그리드 기반의 평면 추정 방법 및 장치에 관한 것이다.

평면 추정은 입력 영상에서 평면 영역을 식별하는 기법을 나타낸다. 예를 들어, 평면 추정에 따라 입력 영상에서 책상 영역이 식별될 수 있다. 추정된 평면은 입력 영상에 나타난 객체들의 구조적 특성을 파악하는데 이용될 수 있다. 예를 들어, 추정된 평면은 증강 현실(augmented reality, AR)에서 가상 객체가 실객체와 상호작용(interaction)하는 것을 표현하는데 이용될 수 있다. AR은 사용자가 보는 현실 세계에 가상 객체를 오버랩하여 함께 보여주는 기술로, 평면의 경계가 정확하게 추정되어야 가상 객체가 자연스러운 위치에 표시될 수 있다.

일 실시예에 따르면, 평면 추정 방법은 타겟 영상을 복수의 그리드 셀들로 분할하는 단계; 상기 복수의 그리드 셀들 각각에서 선택된 참조 특징 점에 기초하여 초기 평면을 추정하는 단계; 상기 타겟 영상에서 추출된 특징 점들을 상기 초기 평면과 동일한 평면상에 위치하는 인라이어(inlier) 또는 상기 초기 평면과 다른 평면상에 위치하는 아웃라이어(outlier)로 분류하는 단계; 상기 인라이어 및 상기 아웃라이어의 분포에 기초하여 상기 복수의 그리드 셀들 중에 경계 그리드 셀들을 선택하는 단계; 및 상기 선택된 경계 그리드 셀들에 기초하여 상기 초기 평면에 관한 확장 평면을 추정하는 단계를 포함한다.

상기 평면 추정 방법은 상기 타겟 영상에서 상기 특징 점들을 추출하는 단계; 및 상기 추출된 특징 점들의 분포를 제어하는 단계를 더 포함할 수 있다.

상기 추출된 특징 점들의 분포를 제어하는 단계는 상기 복수의 그리드 셀들 중에 불균형 분포를 갖는 그리드 셀을 식별하는 단계; 상기 식별된 그리드 셀을 멀티 그리드로 분할하는 단계; 및 상기 멀티 그리드에서 특징 점들을 재추출하는 단계를 포함할 수 있다.

상기 초기 평면을 추정하는 단계는 상기 복수의 그리드 셀들 중에 일부 그리드 셀들을 샘플링하는 단계; 상기 샘플링된 일부 그리드 셀들 각각에서 참조 특징 점을 선택하는 단계; 및 상기 선택된 참조 특징 점을 꼭지점으로 갖는 평면을 상기 초기 평면으로 추정하는 단계를 포함할 수 있다.

상기 초기 평면을 추정하는 단계는 상기 복수의 그리드 셀들 각각에서 선택된 참조 특징 점에 기초하여 제1 평면을 결정하는 단계; 상기 참조 특정 점에 대응하는 참조 영상의 특징 점에 기초하여 제2 평면을 결정하는 단계; 상기 제1 평면 및 상기 제2 평면 간의 변환 함수를 결정하는 단계; 상기 변환 함수에 기초하여 상기 제1 평면 상 제1 특징 점들을 상기 제2 평면에 투영함으로써, 상기 제2 평면 상의 투영 점들을 결정하는 단계; 및 상기 제1 특징 점들에 대응하는 상기 제2 평면 상 제2 특징 점들 및 상기 결정된 투영 점들 간의 차이에 기초하여 상기 제1 평면을 상기 초기 평면으로 추정하는 단계를 포함할 수 있다.

상기 타겟 영상은 입력 영상의 복수의 프레임들 중 제1 프레임에 대응할 수 있고, 상기 참조 영상은 상기 입력 영상의 상기 복수의 프레임들 중 제2 프레임에 대응할 수 있다. 상기 타겟 영상은 스테레오 영상 중 제1 촬영 위치에서 촬영된 영상에 대응할 수 있고, 상기 참조 영상은 상기 스테레오 영상 중 제2 촬영 위치에서 촬영된 영상에 대응할 수 있다.

상기 경계 그리드 셀들은 상기 인라이어 및 상기 아웃라이어를 모두 포함하는 제1 타입의 그리드 셀, 상기 인라이어만 포함하는 그리드 셀들 중 상기 아웃라이어만 포함하는 그리드 셀에 접해있는 제2 타입의 그리드 셀, 및 상기 아웃라이어만 포함하는 그리드 셀들 중 상기 인라이어만 포함하는 그리드 셀에 접해있는 제3 타입의 그리드 셀 중 적어도 하나를 포함할 수 있다.

상기 확장 평면을 추정하는 단계는 상기 선택된 경계 그리드 셀들 내에서 경계 라인을 추정하는 단계; 및 상기 추정된 경계 라인에 기초하여 상기 확장 평면을 추정하는 단계를 포함할 수 있다.

상기 경계 라인은 상기 선택된 경계 그리드 셀들 내 픽셀들의 컬러 정보, 강도(intensity) 정보 및 깊이 정보 중 적어도 하나에 기초하여 추정될 수 있다.

상기 평면 추정 방법은 상기 타겟 영상에서 상기 인라이어를 제거하는 단계; 및 상기 복수의 그리드 셀들 중 상기 인라이어만 포함하는 그리드 셀들을 비활성화시키는 단계를 더 포함할 수 있다.

상기 평면 추정 방법은 상기 제거된 인라이어를 제외한 나머지 특징 점들에 기초하여 제2 초기 평면을 추정하는 단계; 상기 나머지 특징 점들을 상기 제2 초기 평면에 관한 인라이어 또는 아웃라이어로 분류하는 단계; 상기 제2 초기 평면에 관한 인라이어 및 아웃라이어의 분포에 기초하여 활성화 상태의 그리드 셀들 중 제2 경계 그리드 셀들을 선택하는 단계; 및 상기 제2 경계 그리드 셀들에 기초하여 제2 확장 평면을 추정하는 단계를 더 포함할 수 있다.

상기 평면 추정 방법은 상기 아웃라이어에 기초하여 제2 초기 평면을 추정하는 단계; 상기 제2 초기 평면에 관한 인라이어 및 아웃라이어의 분포에 기초하여 제2 경계 그리드 셀들을 선택하는 단계; 및 상기 제2 경계 그리드 셀들에 기초하여 제2 확장 평면을 추정하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 평면 추정 장치는 프로세서; 및 상기 프로세서에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 타겟 영상을 복수의 그리드 셀들로 분할하고, 상기 복수의 그리드 셀들 각각에서 선택된 참조 특징 점에 기초하여 초기 평면을 추정하고, 상기 타겟 영상에서 추출된 특징 점들을 상기 초기 평면과 동일한 평면상에 위치하는 인라이어(inlier) 또는 상기 초기 평면과 다른 평면상에 위치하는 아웃라이어(outlier)로 분류하고, 상기 인라이어 및 상기 아웃라이어의 분포에 기초하여 상기 복수의 그리드 셀들 중에 경계 그리드 셀들을 선택하고, 상기 선택된 경계 그리드 셀들에 기초하여 상기 초기 평면에 관한 확장 평면을 추정한다.

도 1은 일 실시예에 따른 평면 추정 장치의 동작을 나타낸 도면.
도 2는 일 실시예에 따른 평면 추정 방법을 나타낸 동작 흐름도.
도 3은 일 실시예에 따른 멀티 그리드를 생성하는 과정을 나타낸 도면.
도 4는 일 실시예에 따른 후보 초기 평면을 결정하는 과정을 나타낸 도면.
도 5는 일 실시예에 따른 인라이어 및 아웃라이어를 나타낸 도면.
도 6은 일 실시예에 따른 그리드화 과정을 나타낸 도면.
도 7은 일 실시예에 따른 초기 평면의 추정 과정을 나타낸 도면.
도 8은 일 실시예에 따른 확장 평면의 추정 과정을 나타낸 도면.
도 9는 일 실시예에 따른 멀티 평면의 추정 과정을 나타낸 도면.
도 10은 일 실시예에 따른 평면 추정 방법을 나타낸 동작 흐름도.
도 11은 일 실시예에 따른 평면 추정 장치를 나타낸 블록도.

아래 개시되어 있는 특정한 구조 또는 기능들은 단지 기술적 개념을 설명하기 위한 목적으로 예시된 것으로서, 아래 개시와는 달리 다른 다양한 형태로 실시될 수 있으며 본 명세서의 실시예들을 한정하지 않는다.

제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 평면 추정 장치의 동작을 나타낸 도면이다. 도 1을 참조하면, 평면 추정 장치(100)는 입력 영상을 수신하고, 입력 영상 내 평면의 경계를 나타내는 경계 정보를 출력한다.

평면 추정 장치(100)는 타겟 영상을 복수의 그리드 셀(grid cell)들로 분할하고, 타겟 영상에서 특징 점(feature point)들을 추출한다. 평면 추정 장치(100)는 추출된 특징 점들을 그리드 셀 별로 분류할 수 있다. 타겟 영상은 입력 영상의 일부일 수 있다. 예를 들어, 입력 영상이 복수의 프레임들로 구성된 모노(mono) 영상인 경우 타겟 영상은 복수의 프레임들 중 어느 하나의 프레임일 수 있다.

평면 추정 장치(100)는 복수의 그리드 셀들 중 일부 그리드 셀들을 선택하고, 선택된 일부 그리드 셀들 각각에서 참조 특징 점(110)을 선택한다. 평면 추정 장치(100)는 그리드 셀들을 제1 값만큼 임의로 선택할 수 있다. 제1 값은 미리 정해질 수 있으며, 도 1은 제1 값이 4인 경우를 나타낸다. 평면 추정 장치(100)는 선택된 그리드 셀들 각각에서 참조 특징 점(110)을 제2 값만큼 임의로 선택할 수 있다. 제2 값은 미리 정해질 수 있으며, 도 1은 제2 값이 1인 경우를 나타낸다. 참조 특징 점들은 제1 값 및 제2 값의 곱만큼 선택될 수 있다. 초기 평면이 추정되는 영역의 균형을 맞추기 위해 제2 값은 작은 수로 정해질 수 있다. 평면 추정 장치(100)는 참조 특징 점(110)에 기초하여 초기 평면(120)을 추정한다. 참조 특징 점(110)을 꼭지점으로 갖는 평면이 초기 평면(120)으로 추정될 수 있다.

평면 추정 장치(100)는 초기 평면(120)에 기초하여 경계 그리드 셀(boundary grid cell, 130)를 선택한다. 평면 추정 장치(100)는 타겟 영상 내 특징 점들을 초기 평면(120)과 동일한 평면상에 위치하는 인라이어(inlier) 또는 초기 평면(120)과 다른 평면상에 위치하는 아웃라이어(outlier)로 분류할 수 있다. 평면 추정 장치(100)는 인라이어 및 아웃라이어의 분포에 기초하여 경계 그리드 셀(130)을 선택할 수 있다. 예를 들어, 평면 추정 장치(100) 인라이어 및 아웃라이어를 모두 포함하는 제1 타입의 그리드 셀, 인라이어만 포함하는 그리드 셀들 중 아웃라이어만 포함하는 그리드 셀에 접해있는 제2 타입의 그리드 셀, 및 아웃라이어만 포함하는 그리드 셀들 중 인라이어만 포함하는 그리드 셀에 접해있는 제3 타입의 그리드 셀 중 적어도 하나를 경계 그리드 셀(130)로 선택할 수 있다.

평면 추정 장치(100)는 경계 그리드 셀(130)에 기초하여 초기 평면(120)에 관한 확장 평면(150)을 추정할 수 있다. 예를 들어, 평면 추정 장치(100)는 경계 그리드 셀(130) 내에서 경계 라인(140)을 추정할 수 있고, 경계 라인(140)에 기초하여 확장 평면(150)을 추정할 수 있다. 평면 추정 장치(100)는 확장 평면(150)을 나타내는 경계 정보를 출력할 수 있다. 예를 들어, 경계 정보는 경계 라인(140)에 대응하는 픽셀들의 좌표 값들을 포함할 수 있다.

일 실시예에 따르면, 경계 정보는 증강 현실(augmented reality, AR)의 제어에 이용될 수 있다. 예를 들어, 경계 정보는 AR에서 가상 객체를 배치하는데 이용될 수 있다. 가상 객체는 경계 정보에 따라 추정된 평면 상에 배치될 수 있으며, 가상 객체가 추정된 평면의 가장자리에 위치할 경우 가상 각체가 아래로 떨어지는 모션이 연출될 수 있다. 또한, 경계 정보는 현실 객체의 경계를 강조하거나, 현실 객체의 표면에 텍스처를 입히는데 이용될 수 있다. 경계 정보에 따라 현실 객체의 경계가 식별될 수 있으므로, 사용자가 관심을 보이는 현실 객체, 사용자에게 위험이 되는 현실 객체, 혹은 AR로 제공된 부가 정보에 대응하는 현실 객체 등의 경계가 강조되거나, 표면에 텍스처가 표시될 수 있다.

다른 실시예에 따르면, 경계 정보는 인공 지능(artificial intelligence, AI) 로봇이 주변의 지형지물을 파악하는데 이용될 수 있다. 인공 지능 로봇은 경계 정보에 따라 추정된 평면을 통해 로봇의 이동 경로를 스케줄링할 수 있다. 예를 들어, 로봇은 현재 위치하는 평면의 가장자리를 인식하고 경로를 변경하거나, 현재 위치하는 평면 및 주변 평면 간의 위치 관계를 파악하여 이동 경로를 설정할 수 있다. 그 밖에도, 경계 정보는 다양한 실시예를 통해 평면을 식별하거나, 식별된 평면을 활용하는데 이용될 수 있다.

도 2는 일 실시예에 따른 평면 추정 방법을 나타낸 동작 흐름도이다. 도 2를 참조하면, 단계(201)에서, 평면 추정 장치는 입력 영상을 획득한다. 입력 영상은 타겟 영상(target image) 및 참조 영상(reference image)을 포함할 수 있고, 적어도 하나의 카메라를 통해 획득될 수 있다. 평면 추정 장치는 참조 영상을 이용하여 타겟 영상 내에서 평면을 추정할 수 있다.

일 실시예에 따르면, 적어도 하나의 카메라는 모노 카메라일 수 있다. 모노 카메라는 복수의 프레임들을 포함하는 모노 영상을 생성하고, 해당 모노 영상을 평면 추정 장치에 입력 영상으로 제공할 수 있다. 이 경우, 입력 영상의 복수의 프레임들 중 제1 프레임은 타겟 영상에 대응할 수 있고, 입력 영상의 복수의 프레임들 중 제2 프레임은 참조 영상에 대응할 수 있다. 제1 프레임 및 제2 프레임은 서로 연속적인 프레임이거나 불연속적인 프레임일 수 있다.

특징 점에 특정한 평면 상에 위치하는지 판단하기 위해 특징 점의 3D 좌표가 필요할 수 있다. 특징 점의 3D 좌표를 얻기 위해 참조 영상이 이용될 수 있다. 보통 3D 좌표를 얻기 위해 깊이 카메라(depth camera), 혹은 스테레오 카메라(stereo camera)가 이용될 수 있지만, 실시예에 따른 평면 추정 장치는 모노 카메라의 복수의 프레임들을 이용하여 3D 좌표를 얻을 수 있다. 예를 들어, 평면 추정 장치는 제1 프레임의 제1 특징 점 및 제1 특징 점에 대응하는 제2 프레임의 제2 특징 점을 서로 비교하여 특징 점들의 3D 정보를 획득할 수 있다.

다른 실시예에 따르면, 적어도 하나의 카메라는 스테레오 카메라일 수 있다. 스테레오 카메라는 서로 이격된 제1 카메라 및 제2 카메라를 포함하는 것으로 가정한다. 스테레오 카메라는 복수의 프레임들을 포함하는 스테레오 영상을 생성하고, 해당 스테레오 영상을 평면 추정 장치에 입력 영상으로 제공할 수 있다. 이 경우, 스테레오 영상 중 제1 카메라에 의해 촬영된 제1 영상은 타겟 영상에 대응할 수 있고, 스테레오 영상 중 제2 카메라에 의해 촬영된 제2 영상은 참조 영상에 대응할 수 있다. 평면 추정 장치는 제1 영상의 제1 특징 점 및 제1 특징 점에 대응하는 제2 영상의 제2 특징 점을 비교하여 특징 점들의 3D 정보를 획득할 수 있다.

또 다른 실시예에 따르면, 적어도 하나의 카메라는 컬러 카메라 및 깊이 카메라를 포함할 수 있다. 이 경우, 컬러 카메라의 컬러 영상은 타겟 영상에 대응할 수 있고, 깊이 카메라의 깊이 영상은 참조 영상에 대응할 수 있다. 평면 추정 장치는 깊이 영상의 깊이 정보를 이용하여 컬러 영상 내 특징 점들의 3D 정보를 획득할 수 있다.

단계(202)에서, 평면 추정 장치는 타겟 영상을 복수의 그리드 셀들로 분할하여 그리드화한다. 일 실시예에 따르면, 추출된 평면을 이용하는 어플리케이션의 특성에 따라 분할되는 그리드 셀들의 수가 조절될 수 있다. 예를 들어, 근거리에서 촬영된 객체와 같은 넓은 평면을 이용하는 어플리케이션의 경우 그리드 셀들의 수는 적어질 수 있고, 이에 따라 그리드 셀들의 사이즈는 커질 수 있다. 혹은, 원거리에서 촬영된 객체와 같은 좁은 평면을 이용하는 어플리케이션의 경우 그리드 셀들의 수는 많아질 수 있고, 이에 따라 그리드 셀들의 사이즈는 작아질 수 있다. 평면 추정 장치는 어플리케이션의 특성에 관한 정보, 혹은 그리드 셀들의 수에 관한 설정 값을 수신하고, 이에 따라 그리드 셀들의 수를 조절할 수 있다.

단계(203)에서, 평면 추정 장치는 타겟 영상에서 특징 점들을 추출한다. 특징 점은 일정한 임계치에 기초하여 추출될 수 있다. 예를 들어, 특정한 픽셀들이 형성하는 형상에 대응하는 수치가 임계치보다 크면 해당 픽셀들에 관해 특징 점들이 추출될 수 있다. 이 경우, 임계치가 낮을수록 많은 특징 점들이 추출될 수 있으며, 평면 추정 장치는 적절한 수의 특징 점들을 확보하기 위해 임계치를 조절할 수 있다. 타겟 영상에서 특징 점들이 추출되면, 평면 추정 장치는 추출된 특징 점들을 참조 영상의 대응 점들과 매칭할 수 있고, 상기 추출된 특징 점들이 속하는 그리드 셀 별로 특징 점들을 분류할 수 있다. 매칭된 특징 점과 대응 점은 물리적으로 같은 점을 의미할 수 있다. 참조 영상의 대응 점들과 매칭되지 않은 타겟 영상의 특징 점들은 타겟 영상에서 제거될 수 있다.

단계(202) 및 단계(203)의 동작 순서는 실시예에 따라 바뀔 수 있다. 예를 들어, 도 2에는 그리드화 이후 특징 점이 추출되는 것으로 도시되어 있으나, 반대로 특징 점이 추출된 이후 그리드화가 진행될 수도 있다.

단계(204)에서, 평면 추정 장치는 특징 점들의 분포가 적절한지 결정한다. 특징 점들의 분포가 적절한 것으로 결정되면 단계(205)가 수행될 수 있고, 특징 점들의 분포가 적절하지 않은 것으로 결정되면 단계(204)가 수행될 수 있다. 특정 그리드 셀이 불균형 분포를 갖는 경우, 평면 추정 장치는 해당 그리드 셀에서 특징 점들의 분포가 적절하지 않은 것으로 보고 해당 그리드 셀 내 특징 점들의 분포를 제어할 수 있다. 불균형 분포는 특징 점들이 그리드 셀 내에서 지나치게 한쪽에 몰려있는 분포를 포함할 수 있다. 평면 추정 장치는 특징 점들의 분포를 제어하기 위해, 단계(204)에서 복수의 그리드 셀들 중에 불균형 분포를 갖는 그리드 셀을 식별하고, 단계(202)에서 상기 식별된 그리드 셀을 멀티 그리드로 분할하고, 단계(203)에서 멀티 그리드 셀에서 특징 점들을 재추출 할 수 있다.

도 3은 일 실시예에 따른 멀티 그리드를 생성하는 과정을 나타낸 도면이다. 도 3을 참조하면, 타겟 영상(300) 내 그리드 셀(310)에 불균형 분포(315)가 존재한다. 평면 추정 장치는 타겟 영상(300) 내 복수의 그리드 셀들 중에 불균형 분포(315)를 갖는 그리드 셀(310)을 식별하고, 그리드 셀(310)을 멀티 그리드(320)로 분할할 수 있다. 평면 추정 장치는 멀티 그리드(320)에서 특징 점들을 재추출할 수 있다. 예를 들어, 평면 추정 장치는 멀티 그리드(320)의 셀들 중에 특징 점이 추출되지 않은 셀들을 위해, 특징 점 추출을 위한 임계치를 낮게 조절할 수 있다. 임계치 조절에 따라 특징 점이 추출되지 않은 셀들에서 특징 점들이 추출될 수 있다.

다시 도 2를 참조하면, 단계(205)에서, 평면 추정 장치는 참조 특징 점을 선택한다. 평면 추정 장치는 복수의 그리드 셀들 중 일부 그리드 셀들을 선택하고, 선택된 일부 그리드 셀들 각각에서 참조 특징 점을 선택할 수 있다. 평면 추정 장치는 그리드 셀들을 제1 값만큼 임의로 선택하고, 선택된 그리드 셀들 각각에서 참조 특징 점을 제2 값만큼 임의로 선택할 수 있다. 따라서, 참조 특징 점들은 제1 값 및 제2 값의 곱만큼 선택될 수 있다.

단계(206)에서, 평면 추정 장치는 후보 초기 평면을 결정한다. 참조 특징 점들을 꼭지점으로 갖는 평면을 참조 평면이라고 할 경우, 참조 평면 내의 특징 점들이 참조 평면과 임계치 이내의 거리에 위치하는 것으로 확인되면, 참조 평면이 후보 초기 평면으로 결정될 수 있다.

도 4는 일 실시예에 따른 후보 초기 평면을 결정하는 과정을 나타낸 도면이다. 도 4를 참조하면, 평면 추정 장치는 참조 영상(420)에서 타겟 영상(410)의 참조 특징 점(411)에 대응하는 참조 영상(420)의 특징 점(421)을 추출할 수 있다. 평면 추정 장치는 참조 특징 점(411)에 기초하여 제1 평면(412)을 결정하고, 특징 점(421)에 기초하여 제 1 평면(412)에 대응하는 제2 평면(422)을 결정할 수 있다.

평면 추정 장치는 제1 평면(412) 및 제2 평면(422) 간의 변환 함수를 결정할 수 있다. 예를 들어, 평면 추정 장치는 참조 특징 점(411) 및 특징 점(421)에 기초하여 변환 함수를 결정할 수 있다. 평면 추정 장치는 상기 결정된 변환 함수에 기초하여 제1 평면(412) 상의 제1 특징 점들을 제2 평면(422) 상에 투영함으로써, 제2 평면(422) 상의 투영 점들을 결정할 수 있다. 제2 평면(422) 상에는 제1 특징 점들에 대응하는 제2 특징 점들이 존재할 수 있다. 제1 특징 점은 제1 평면(411) 상에 존재하는 특징 점을 의미하고, 제2 특징 점은 제2 평면(422) 상에 존재하는 특징 점을 의미한다. 제1 특징 점 및 제2 특징 점은 동일한 객체를 지시할 수 있으며, 대응 쌍으로 지칭될 수 있다. 제2 특징 점은 제1 특징 점의 대응 점이고, 제1 특징 점의 투영 점은 제1 특징 점이 변환 함수에 기초하여 제2 평면(422)에 투영된 것이므로, 제2 특징 점 및 투영 점은 서로 다른 개념을 나타낸다.

평면 추정 장치는 제1 특징 점들의 투영 점들 및 제2 특징 점들 간의 차이에 기초하여 제1 평면(412)을 후보 초기 평면으로 결정할 수 있다. 여기서, 차이는 위치 차이, 혹은 거리를 의미할 수 있다. 일 실시예에 따르면, 변환 함수에 따른 변환 결과는 투영 점들의 좌표 값을 포함할 수 있다. 평면 추정 장치는 변환 결과에 따른 투영 점들의 좌표 값 및 제2 특징 점들의 좌표 값 간의 차이를 일정한 임계치와 비교하고, 그 차이가 임계치보다 작다면 제1 평면(412)을 후보 초기 평면으로 결정할 수 있다.

다시 도 2를 참조하면, 단계(207)에서, 평면 추정 장치는 반복이 필요한지 결정한다. 예를 들어, 평면 추정 장치는 최적의 초기 평면을 얻기 위해 복수의 후보 초기 평면들을 준비한 뒤 복수의 후보 초기 평면들 중에 초기 평면을 추정할 수 있다. 복수의 후보 초기 평면들을 준비하기 위해 단계들(205, 206)이 반복될 수 있다. 얼마나 반복할지 판단하기 위한 기준으로서 총 반복 횟수 K가 정해지거나, 혹은 필요한 후보 초기 평면들의 수 L이 정해질 수 있다. K가 정해진 경우 단계들(205, 206)은 K만큼 반복될 수 있다. 혹은, L이 결정된 경우 단계들(205, 206)은 후보 초기 평면들이 L만큼 결정될 때까지 반복될 수 있다. 추가 반복이 필요한 경우 단계(205)가 수행될 수 있고, 더 이상 반복이 필요하지 않다면 단계(208)이 수행될 수 있다.

단계(208)에서, 평면 추정 장치는 초기 평면을 추정한다. 일 실시예에 따르면, 평면 추정 장치는 후보 초기 평면들 중에 가장 많은 인라이어를 포함하는 후보 초기 평면을 초기 평면으로 결정할 수 있다. 인라이어는 후보 초기 평면과 동일한 평면 상에 위치하는 특징 점을 의미한다.

단계(209)에서, 평면 추정 장치는 타겟 영상 내 특징 점들을 인라이어 또는 아웃라이어로 분류한다. 도 5는 일 실시예에 따른 인라이어 및 아웃라이어를 나타낸 도면이다. 도 5를 참조하면, 기준 평면(500)이 존재할 때, 기준 평면(500)과 동일한 평면상에 위치하는 것이 인라이어(510)이고, 기준 평면(500)과 다른 평면상에 위치하는 것이 아웃라이어(520)이다. 평면 추정 장치는 타겟 영상 내 특정 특징 점에 변환 함수를 적용하여 변환 결과를 생성하고, 변환 결과가 참조 영상 내 대응 점에 근접할 경우 해당 특징 점을 인라이어로 분류할 수 있다. 변환 결과가 참조 영상 내 대응 점에 근접하지 않을 경우, 평면 추정 장치는 해당 특징 점을 아웃라이어로 분류할 수 있다. 여기서, 대응 점에 근접하는지는 초기 평면의 결정 시 이용된 임계치에 기초하여 판단될 수 있다.

단계(210)에서, 평면 추정 장치는 인라이어 및 아웃라이어의 분포에 기초하여 타겟 영상의 그리드 셀들 중에 경계 그리드 셀들을 선택한다. 경계 그리드 셀은 그리드 셀들 중에 평면의 경계를 포함할 확률이 높은 셀을 나타낸다. 특정 그리드 셀이 인라이어 및 아웃라이어를 모두 포함하는 경우 해당 그리드 셀에 평면의 경계가 존재할 확률이 높다. 또한, 인접한 두 그리드 셀들 중 어느 하나는 인라이어만 포함하고, 나머지 하나는 아웃라이어만 포함하는 경우, 이들 두 그리드 셀들에 평면의 경계가 존재할 확률이 높다. 따라서, 경계 그리드 셀들은 인라이어 및 아웃라이어를 모두 포함하는 제1 타입의 그리드 셀, 인라이어만 포함하는 그리드 셀들 중 아웃라이어만 포함하는 그리드 셀에 접해있는 제2 타입의 그리드 셀, 및 아웃라이어만 포함하는 그리드 셀들 중 인라이어만 포함하는 그리드 셀에 접해있는 제3 타입의 그리드 셀 중 적어도 하나를 포함할 수 있다.

단계(211)에서, 평면 추정 장치는 경계 그리드 셀들 내에서 경계 라인을 추정한다. 경계 라인은 경계 그리드 셀들 내 픽셀들의 컬러 정보, 강도(intensity) 정보 및 깊이 정보 중 적어도 하나에 기초하여 추정될 수 있다. 여기서, 강도 정보는 픽셀에 나타난 빛의 강도에 대응할 수 있고, 깊이 정보는 매칭된 특징 점들 간의 디스패리티(disparity)에 기초하여 계산될 수 있다. 컬러가 크게 변하는 픽셀 영역, 강도가 크게 변하는 픽셀 영역 및 깊이가 크게 변하는 픽셀 영역에는 평면의 경계가 존재할 확률이 높다. 따라서, 평면 추정 장치는 이들 정보를 이용하여 경계 그리드 셀들 내에서 경계 라인을 추정할 수 있다.

단계(212)에서, 평면 추정 장치는 경계 라인에 기초하여 확장 평면을 추정한다. 평면 추정 장치는 경계 라인으로 구분되는 평면을 확장 평면으로 추정할 수 있다. 평면 추정 장치는 확장 평면을 나타내는 경계 정보를 출력할 수 있다. 예를 들어, 경계 정보는 확장 평면의 경계 라인에 대응하는 픽셀들의 좌표 값을 포함할 수 있다.

도 6은 일 실시예에 따른 그리드화 과정을 나타낸 도면이다. 도 6을 참조하면, 타겟 영상(620)은 타겟 영상(610)이 복수의 그리드 셀들로 분할된 것을 나타내고, 타겟 영상(630)은 타겟 영상(620)의 일부 그리드 셀이 멀티 그리드로 분할된 것을 나타낸다.

도 7은 일 실시예에 따른 초기 평면의 추정 과정을 나타낸 도면이다. 도 7을 참조하면, 타겟 영상(710)에 포함된 복수의 특징 점들에서 기준 특징 점(715)이 선택되고, 타겟 영상(720)에서 기준 특징 점(715)에 기초하여 초기 평면(725)이 추정된다. 초기 평면(725)은 복수의 후보 초기 평면들 중에 인라이어를 가장 많이 포함하는 것일 수 있다.

도 8은 일 실시예에 따른 확장 평면의 추정 과정을 나타낸 도면이다. 도 8을 참조하면, 타겟 영상(810)에서 특징 점들은 인라이어 또는 아웃라이어로 분류된다. 검은 점이 인라이어를 나타내고, 흰 점이 아웃라이어를 나타낸다.

타겟 영상(820)에서 경계 그리드 셀이 선택된다. 인라이어 및 아웃라이어를 모두 포함하는 제1 타입의 그리드 셀(821), 인라이어만 포함하는 그리드 셀들 중 아웃라이어만 포함하는 그리드 셀에 접해있는 제2 타입의 그리드 셀(822), 및 아웃라이어만 포함하는 그리드 셀들 중 인라이어만 포함하는 그리드 셀에 접해있는 제3 타입의 그리드 셀(823)이 경계 그리드 셀로 선택되었다. 멀티 그리드의 경우, 멀티 그리드 셀 각각에 관해 경계 그리드 셀에 속하는지 판단될 수 있다. 타겟 영상(820)에서 그리드 셀의 무늬들은 각각 인라이어 및 아웃라이어를 모두 포함하는 그리드 셀, 인라이어만 포함하는 그리드 셀, 또는 아웃라이어만 포함하는 그리드 셀을 나타낸다. 타겟 영상(830)에는 타겟 영상(820)에 기초하여 선택된 경계 그리드 셀(831)이 나타나 있다.

타겟 영상(830)에서 그리드 셀의 무늬들은 각각 경계 그리드 셀 또는 경계를 포함하지 않는 그리드 셀을 나타낸다. 타겟 영상(840)에는 경계 그리드 셀(831)에 기초하여 추정된 경계 라인(841) 및 경계 라인(841)에 기초하여 추정된 확장 평면(842)이 나타나 있다.

도 9는 일 실시예에 따른 멀티 평면의 추정 과정을 나타낸 도면이다. 평면 추정 장치는 타겟 영상에서 멀티 평면을 추정할 수 있다. 평면 추정 장치는 첫 번째 평면을 추정하기 위해 사용된 데이터를 이용하여 두 번째 평면을 추정할 수 있다. 예를 들어, 평면 추정 장치는 타겟 영상의 특징 점들 중 첫 번째 평면의 인라이어를 제거하고, 타겟 영상의 그리드 셀들 중 첫 번째 평면의 인라이어만 포함하는 그리드 셀들을 비활성화시킬 수 있다. 타겟 영상(910)은 인라이어 제거 동작 및 그리드 셀들 비활성화 동작이 적용된 상태를 나타내며, 실시예에 따라 인라이어 제거 동작 및 그리드 셀들 비활성화 동작 중 어느 하나만 수행될 수도 있다.

평면 추정 장치는 나머지 특징 점들 및 활성화 상태의 그리드 셀들에 기초하여 두 번째 평면을 추정할 수 있다. 나머지 특징 점들은 인라이어 제거 동작 이후에 남아있는 특징 점들을 의미하며, 첫 번째 평면의 아웃라이어에 대응할 수 있다. 그 밖에, 두 번째 평면을 추정하는 과정은 첫 번째 평면을 추정하는 과정과 동일하다.

예를 들어, 평면 추정 장치는 활성화 상태의 그리드 셀들 중 일부의 그리드 셀들을 선택하고, 선택된 일부의 그리드 셀들에서 기준 특징 점들을 선택할 수 있다. 평면 추정 장치는 선택된 기준 특징 점들에 기초하여 제2 초기 평면을 추정하고, 나머지 특징 점들을 제2 초기 평면에 관한 인라이어 또는 아웃라이어로 분류할 수 있다. 평면 추정 장치는 상기 분류된 인라이어 및 아웃라이어의 분포에 기초하여 활성화 상태의 그리드 셀들 중 제2 경계 그리드 셀들을 선택할 수 있고, 제2 경계 그리드 셀들에 기초하여 제2 확장 평면을 추정할 수 있다.

타겟 영상(920)은 앞서 추정된 첫 번째 평면(921) 및 이번에 추정된 두 번째 평면(922)을 나타낸다. 도 9에서는 두 평면들을 추정하는 것이 설명되었으나, 타겟 추정 장치는 상술된 동작에 기초하여 셋 이상의 평면들을 추정할 수 있다.

도 10은 일 실시예에 따른 평면 추정 방법을 나타낸 동작 흐름도이다. 도 10을 참조하면, 단계(1010)에서, 평면 추정 장치는 타겟 영상을 복수의 그리드 셀들로 분할한다. 단계(1020)에서, 평면 추정 장치는 복수의 그리드 셀들 각각에서 선택된 참조 특징 점에 기초하여 초기 평면을 추정한다. 단계(1030)에서, 평면 추정 장치는 타겟 영상에서 추출된 특징 점들을 초기 평면과 동일한 평면상에 위치하는 인라이어 또는 초기 평면과 다른 평면상에 위치하는 아웃라이어로 분류한다. 단계(1040)에서, 평면 추정 장치는 인라이어 및 아웃라이어의 분포에 기초하여 복수의 그리드 셀들 중에 경계 그리드 셀들을 선택한다. 단계(1050)에서, 평면 추정 장치는 선택된 경계 그리드 셀들에 기초하여 초기 평면에 관한 확장 평면을 추정한다. 그 밖에, 평면 추정 방법에서 도 1 내지 도 9를 통해 설명된 내용이 적용될 수 있다.

도 11은 일 실시예에 따른 평면 추정 장치를 나타낸 블록도이다. 도 11을 참조하면, 일 실시예에 따른 평면 추정 장치(1100)는 카메라(1110), 디스플레이(1120), 프로세서(1130) 및 메모리(1140)를 포함한다. 다른 실시예에 따르면, 평면 추정 장치(1100)는 도 11과는 달리 카메라(1110) 및 디스플레이(1120)를 포함하지 않고, 프로세서(1130) 및 메모리(1140)를 포함할 수 있다.

카메라(1110)는 현실 세계를 촬영하고 입력 영상을 생성한다. 생성된 입력 영상은 프로세서(1130) 및 메모리(1140)에 제공될 수 있다. 실시예에 따라, 카메라(1110)는 모노 영상을 생성하는 모노 카메라를 포함하거나, 스테레오 영상을 생성하는 스테레오 카메라를 포함하거나, 혹은 컬러 영상을 생성하는 컬러 카메라와 깊이 영상을 생성하는 깊이 카메라를 포함할 수 있다.

메모리(1140)는 프로세서(1130)에서 읽을 수 있는 명령어, 평면 추정에 사용되는 알고리즘 및 데이터를 포함할 수 있다. 프로세서(1130)는 메모리(1140)에 저장된 명령어를 읽어올 수 있고, 명령어가 프로세서(1130)에서 실행되면 프로세서(1130)는 평면 추정을 위한 동작들을 수행할 수 있다. 예를 들어, 프로세서(1130)는 타겟 영상을 복수의 그리드 셀들로 분할하고, 복수의 그리드 셀들 각각에서 선택된 참조 특징 점에 기초하여 초기 평면을 추정하고, 타겟 영상에서 추출된 특징 점들을 초기 평면과 동일한 평면상에 위치하는 인라이어 또는 초기 평면과 다른 평면상에 위치하는 아웃라이어로 분류하고, 인라이어 및 아웃라이어의 분포에 기초하여 복수의 그리드 셀들 중에 경계 그리드 셀들을 선택하고, 선택된 경계 그리드 셀들에 기초하여 초기 평면에 관한 확장 평면을 추정할 수 있다. 프로세서(1130)는 상기 추정된 확장 평면에 대응하는 경계 정보를 생성할 수 있다.

디스플레이(1120)는 프로세서(1130)의 명령에 따라 평면 추정과 관련된 정보를 표시할 수 있다. 예를 들어, 디스플레이(1120)는 현실 세계가 나타난 입력 영상에 평면에 관한 정보를 오버랩하여 표시할 수 있다. 평면에 관한 정보는 입력 영상 내 평면의 경계, 입력 영상 내 평면에 입힌 텍스처, 및 입력 영상 내 평면 상의 가상 객체를 포함할 수 있다.

일 실시예에 따르면, 평면 추정 장치(1100)는 전자 장치의 적어도 일부로 구현될 수 있다. 여기서, 전자 장치는 PC와 같은 컴퓨팅 디바이스이거나, 스마트 폰, 태블릿 PC 및 노트북과 같은 포터블 디바이스이거나, TV, HUD(head up display)와 같은 디스플레이 디바이스이거나, 스마트 안경, 스마트 워치, 스마트 밴드 및 스마트 웨어와 같은 웨어러블 디바이스일 수 있다. 평면 추정 장치(1100)는 입출력 장치(미도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

타겟 영상을 복수의 그리드 셀들로 분할하는 단계;
상기 복수의 그리드 셀들 각각에서 선택된 참조 특징 점에 기초하여 초기 평면을 추정하는 단계;
상기 타겟 영상에서 추출된 특징 점들을 상기 초기 평면과 동일한 평면상에 위치하는 인라이어(inlier) 또는 상기 초기 평면과 다른 평면상에 위치하는 아웃라이어(outlier)로 분류하는 단계;
상기 인라이어 및 상기 아웃라이어의 분포에 기초하여 상기 복수의 그리드 셀들 중에 경계 그리드 셀들을 선택하는 단계; 및
상기 선택된 경계 그리드 셀들에 기초하여 상기 초기 평면에 관한 확장 평면을 추정하는 단계
를 포함하는 평면 추정 방법.
제1항에 있어서,
상기 타겟 영상에서 상기 특징 점들을 추출하는 단계; 및
상기 추출된 특징 점들의 분포를 제어하는 단계
를 더 포함하는, 평면 추정 방법.
제2항에 있어서,
상기 추출된 특징 점들의 분포를 제어하는 단계는
상기 복수의 그리드 셀들 중에 불균형 분포를 갖는 그리드 셀을 식별하는 단계;
상기 식별된 그리드 셀을 멀티 그리드로 분할하는 단계; 및
상기 멀티 그리드에서 특징 점들을 재추출하는 단계
를 포함하는, 평면 추정 방법.
제1항에 있어서,
상기 초기 평면을 추정하는 단계는
상기 복수의 그리드 셀들 중에 일부 그리드 셀들을 샘플링하는 단계;
상기 샘플링된 일부 그리드 셀들 각각에서 참조 특징 점을 선택하는 단계; 및
상기 선택된 참조 특징 점을 꼭지점으로 갖는 평면을 상기 초기 평면으로 추정하는 단계
를 포함하는, 평면 추정 방법.
제1항에 있어서,
상기 초기 평면을 추정하는 단계는
상기 복수의 그리드 셀들 각각에서 선택된 참조 특징 점에 기초하여 제1 평면을 결정하는 단계;
상기 참조 특정 점에 대응하는 참조 영상의 특징 점에 기초하여 제2 평면을 결정하는 단계;
상기 제1 평면 및 상기 제2 평면 간의 변환 함수를 결정하는 단계;
상기 변환 함수에 기초하여 상기 제1 평면 상 제1 특징 점들을 상기 제2 평면에 투영함으로써, 상기 제2 평면 상의 투영 점들을 결정하는 단계; 및
상기 제1 특징 점들에 대응하는 상기 제2 평면 상 제2 특징 점들 및 상기 결정된 투영 점들 간의 차이에 기초하여 상기 제1 평면을 상기 초기 평면으로 추정하는 단계
를 포함하는, 평면 추정 방법.
제5항에 있어서,
상기 타겟 영상은 입력 영상의 복수의 프레임들 중 제1 프레임에 대응하고, 상기 참조 영상은 상기 입력 영상의 상기 복수의 프레임들 중 제2 프레임에 대응하는, 평면 추정 방법.
제5항에 있어서,
상기 타겟 영상은 스테레오 영상 중 제1 촬영 위치에서 촬영된 영상에 대응하고, 상기 참조 영상은 상기 스테레오 영상 중 제2 촬영 위치에서 촬영된 영상에 대응하는, 평면 추정 방법.
제1항에 있어서,
상기 경계 그리드 셀들은 상기 인라이어 및 상기 아웃라이어를 모두 포함하는 제1 타입의 그리드 셀, 상기 인라이어만 포함하는 그리드 셀들 중 상기 아웃라이어만 포함하는 그리드 셀에 접해있는 제2 타입의 그리드 셀, 및 상기 아웃라이어만 포함하는 그리드 셀들 중 상기 인라이어만 포함하는 그리드 셀에 접해있는 제3 타입의 그리드 셀 중 적어도 하나를 포함하는, 평면 추정 방법.
제1항에 있어서,
상기 확장 평면을 추정하는 단계는
상기 선택된 경계 그리드 셀들 내에서 경계 라인을 추정하는 단계; 및
상기 추정된 경계 라인에 기초하여 상기 확장 평면을 추정하는 단계
를 포함하는, 평면 추정 방법.
제9항에 있어서,
상기 경계 라인은 상기 선택된 경계 그리드 셀들 내 픽셀들의 컬러 정보, 강도(intensity) 정보 및 깊이 정보 중 적어도 하나에 기초하여 추정되는, 평면 추정 방법.
제1항에 있어서,
상기 타겟 영상에서 상기 인라이어를 제거하는 단계; 및
상기 복수의 그리드 셀들 중 상기 인라이어만 포함하는 그리드 셀들을 비활성화시키는 단계
를 더 포함하는, 평면 추정 방법.
제11항에 있어서,
상기 제거된 인라이어를 제외한 나머지 특징 점들에 기초하여 제2 초기 평면을 추정하는 단계;
상기 나머지 특징 점들을 상기 제2 초기 평면에 관한 인라이어 또는 아웃라이어로 분류하는 단계;
상기 제2 초기 평면에 관한 인라이어 및 아웃라이어의 분포에 기초하여 활성화 상태의 그리드 셀들 중 제2 경계 그리드 셀들을 선택하는 단계; 및
상기 제2 경계 그리드 셀들에 기초하여 제2 확장 평면을 추정하는 단계
를 더 포함하는, 평면 추정 방법.
제1항에 있어서,
상기 아웃라이어에 기초하여 제2 초기 평면을 추정하는 단계;
상기 제2 초기 평면에 관한 인라이어 및 아웃라이어의 분포에 기초하여 제2 경계 그리드 셀들을 선택하는 단계; 및
상기 제2 경계 그리드 셀들에 기초하여 제2 확장 평면을 추정하는 단계
를 더 포함하는, 평면 추정 방법.
제1항 내지 제13항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 저장매체.
프로세서; 및
상기 프로세서에서 읽을 수 있는 명령어를 포함하는 메모리
를 포함하고,
상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 타겟 영상을 복수의 그리드 셀들로 분할하고, 상기 복수의 그리드 셀들 각각에서 선택된 참조 특징 점에 기초하여 초기 평면을 추정하고, 상기 타겟 영상에서 추출된 특징 점들을 상기 초기 평면과 동일한 평면상에 위치하는 인라이어(inlier) 또는 상기 초기 평면과 다른 평면상에 위치하는 아웃라이어(outlier)로 분류하고, 상기 인라이어 및 상기 아웃라이어의 분포에 기초하여 상기 복수의 그리드 셀들 중에 경계 그리드 셀들을 선택하고, 상기 선택된 경계 그리드 셀들에 기초하여 상기 초기 평면에 관한 확장 평면을 추정하는, 평면 추정 장치.
제15항에 있어서,
상기 프로세서는
상기 복수의 그리드 셀들 각각에서 선택된 참조 특징 점에 기초하여 제1 평면을 결정하고, 상기 참조 특정 점에 대응하는 참조 영상의 특징 점에 기초하여 제2 평면을 결정하고, 상기 제1 평면 및 상기 제2 평면 간의 변환 함수를 결정하고, 상기 변환 함수에 기초하여 상기 제1 평면 상 제1 특징 점들의 변환 결과를 생성하고, 상기 생성된 변환 결과 및 상기 제2 평면 상 제2 특징 점들 간의 차이에 기초하여 상기 제1 평면을 상기 초기 평면으로 추정하는, 평면 추정 장치.
제15항에 있어서,
상기 경계 그리드 셀들은 상기 인라이어 및 상기 아웃라이어를 모두 포함하는 제1 타입의 그리드 셀, 상기 인라이어만 포함하는 그리드 셀들 중 상기 아웃라이어만 포함하는 그리드 셀에 접해있는 제2 타입의 그리드 셀, 및 상기 아웃라이어만 포함하는 그리드 셀들 중 상기 인라이어만 포함하는 그리드 셀에 접해있는 제3 타입의 그리드 셀 중 적어도 하나를 포함하는, 평면 추정 방법.
제15항에 있어서,
상기 프로세서는
상기 선택된 경계 그리드 셀들 내에서 경계 라인을 추정하고, 상기 추정된 경계 라인에 기초하여 상기 확장 평면을 추정하는, 평면 추정 장치.
제18항에 있어서,
상기 경계 라인은 상기 선택된 경계 그리드 셀들 내 픽셀들의 컬러 정보, 강도(intensity) 정보 및 깊이 정보 중 적어도 하나에 기초하여 추정되는, 평면 추정 장치.