KR101410273B1

KR101410273B1 - 증강현실 응용을 위한 환경 모델링 방법 및 장치

Info

Publication number: KR101410273B1
Application number: KR1020120100320A
Authority: KR
Inventors: 우운택; 이원우
Original assignee: 한국과학기술원
Priority date: 2012-09-11
Filing date: 2012-09-11
Publication date: 2014-06-20
Also published as: KR20140033868A

Abstract

본 발명은 증강현실 응용을 위한 환경 모델링 방법에 있어서, 카메라를 통해 2차원 영상을 획득하고, 사용자 상호작용을 통해 상기 획득된 영상에서 기설정된 수의 소실점을 추정하고, 앞쪽 면을 정의하는 과정과, 상기 추정된 소실점과 정의된 앞쪽 면을 이용하여 상기 2차원 영상으로부터 3차원 지역의 깊이를 결정을 통해 평면을 산출하여 3차원 박스 모델을 획득하는 과정과, 상기 3차원 박스 모델이 획득된 영상으로부터 특징점을 검출하고, 가속도 센서의 센싱 정보를 통해 획득된 중력 정보를 이용하여 상기 검출된 특징점을 중력-정렬 이미지의 특징점으로 매칭하는 과정과, 상기 특징점 매칭을 통해 3차원 복원을 수행하여 가상 어노테이션을 생성하는 과정을 포함함을 특징으로 한다.

Description

증강현실 응용을 위한 환경 모델링 방법 및 장치{METHOD AND APPARATUS FOR ENVIRONMENT MODELING FOR AR}

본 발명은 휴대단말을 통해 획득된 영상을 통해 실내/실외 환경의 모델을 단순화시켜 생성하고, 이를 통해 증강현실 응용 방법 및 장치를 제공하고자 한다.

증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.

모바일폰과 같은 장치를 통해 실제 환경에 가상 어노테이션 (Virtual annotations)을 생성하고 탐색하는 것은 전형적인 모바일 증강현실 (AR) 어플리케이션이다. 증강현실 환경에서의 어노테이션 (AR annotation) 이란 실제 환경의 어떤 객체에 정합되어 있는 가상의 정보를 의미한다. AR 어노테이션 저작 방법은 주로 실외 AR 어플리케이션들에 초점이 맞춰져 있다. Junaio와 같은 AR 브라우저들은 가상 정보를 실외 장면에 씌우는데에 GPS와 방향 센서들에 의존하고 있다. 이후 컴퓨터 시각 기반 기술들이 이용되어 왔다. Langlotz et al.은 복잡한 3차원 복원 과정을 거치지 않는 파노라마 기반 접근법을 제안했다 [16]. 이 방법은 광역 장면에서 AR 어노테이션의 등록을 지원하기 위한 3차원 복원 데이터와 결합하여 더욱 더 확장되었다.

실내 장면에서의 위치추정과 항법 시스템은 광범위하게 연구되어왔지만 상대적으로 가상 어노테이션의 생성에는 많은 연구가 이루어지지 않아왔다. Kim et al.은 방을 상자 모델로 근사하는 상호작용적 모델링 접근법을 제안하고 이를 가상 어노테이션을 생성하는데 참조했다. 이 경우 실내 환경의 3차원 구조를 알아내기 위해 센서 정보에 의존하기 때문에 실제 환경을 그대로 반영하지 못하고 대략적인 추정에 근거하여 모델을 생성한다. Visual SLAM과 같은 접근은 AR 어노테이션 생성에 실내와 실외 장면 모두에서 활용될 수 있다. 하지만 이러한 접근들은 환경을 모델로 표현하지 않고 점 데이터로만 표현하므로 환경의 구조를 알아내기는 어렵다. 최근 깊이 정보를 얻어내는 Depth 카메라 기반의 접근이 실내 환경 모델을 구축하는데 쓰이고 있으나 [7, 11], 모바일폰 환경에서는 아직 사용하기 어렵다.

또한, Manhattan [6] 가정을 만족하는 전형적인 복도 장면은 일반적으로 4 평면(천장, 바닥 및 두 개의 옆 벽면)으로 이루어져있다. 이는 3차원에서 상자 모델로 표현하기 충분하다. 복도 장면을 복원하기 위해서 상호작용의 대상이 되는 3차원의 관심 영역을 구체적으로 지정할 필요가 있다(예: 상자의 8개 꼭지점). 그러나 3차원 공간을 2차원 이미지 상에서 결정짓는 것은 카메라로부터 실제 환경의 영상을 획득 시 발생하는 시점 왜곡과 깊이 정보의 손실로 인해 정확한 3차원 영역을 정의하기 어렵다. 사용자가 이미지에 있는 상자 모델의 8개의 꼭지점을 지정하더라도 2D 영상으로부터 해당 점들의 깊이 값을 알아내는 것은 불가능하다.

이러한 문제를 바로잡힌 이미지 위에서 이루어지는 두 단계의 사용자 상호작용을 통해 다뤄보겠다. 첫번째 단계에서는 사용자가 관심 3차원 지역의 (정면/앞 평면)을 정의한다. 다음 단계에서 사용자에 의해 3차원 공간의 깊이가 결정된다. 상자 모델을 얻은 이후에 장면의 특징점들이 검출되고 3차원으로 복원된다. 이러한 상호작용 모델링 과정이 그림1에 나타나있다. 복도 장면의 3차원 복원을 위한 다른 방법도 있는데, 기하학적 추론을 기반으로 실내 장면을 자동으로 복원해주는 것이다[10, 17]. 하지만 기하학적 추론은 많은 계산 과정을 요하기 때문에 이러한 방법은 계산 성능이 낮은 모바일 폰과 같은 장치에서 사용하기에는 부적절하다.

따라서 본 발명은 휴대단말을 통해 획득된 영상을 통해 실내/실외 환경의 모델을 단순화 시켜 생성하고, 이를 통해 증강현실 응용을 제공하기 위하여 현대 건물에서의 일반적인 복도에 명시적으로 초점을 맞추고, 복도 장면에서 장면에 맞는 가상 어노테이션에 대한 생성을 제공하고자 한다.

본 발명의 일 견지에 따르면, 증강현실 응용을 위한 환경 모델링 방법에 있어서, 카메라를 통해 2차원 영상을 획득하고, 사용자 상호작용을 통해 상기 획득된 영상에서 기설정된 수의 소실점을 추정하고, 앞쪽 면을 정의하는 과정과, 상기 추정된 소실점과 정의된 앞쪽 면을 이용하여 상기 2차원 영상으로부터 3차원 지역의 깊이를 결정을 통해 평면을 산출하여 3차원 박스 모델을 획득하는 과정과, 상기 3차원 박스 모델이 획득된 영상으로부터 특징점을 검출하고, 가속도 센서의 센싱정보를 통해 획득된 중력 정보를 이용하여 상기 검출된 특징점을 중력-정렬 이미지의 특징점으로 매칭하는 과정과, 상기 특징점 매칭을 통해 3차원 복원을 수행하여 가상 어노테이션을 생성하는 과정을 포함함을 특징으로 한다.

본 발명의 다른 견지에 따르면, 증강현실 응용을 위한 환경 모델링 장치에 있어서, 가속도 센서부와, 영상을 획득하는 촬영부와, 상기 촬영부로부터 획득된 영상에서 기설정된 수의 소실점과 복수의 평면을 추정하고, 상기 추정된 소실점 및 평면을 이용하여 상기 2차원 영상으로부터 3차원 지역의 깊이를 결정하여 3차원 박스 모델을 획득하여 특징점을 검출하고, 상기 가속도 센서부로부터 획득된 중력 정보를 이용하여 상기 검출된 특징점을 중력-정렬 이미지의 특징점으로 매칭하고, 상기 특징점 매칭을 통해 3차원 복원을 수행하여 가상 어노테이션을 생성하도록 제어하는 제어부를 포함함을 특징으로 한다.

본 발명은 증강현실 응용을 위한 상호작용 기반 환경 모델링 수행 시 카메라의 이동으로 인해 왜곡을 포함하는 영상에서 호모그래피 모델을 이용하여 상기 영상에 포함된 왜곡을 보정할 수 있을 뿐만 아니라, 사용자가 터치스크린의 터치를 통해 직관적으로 모델링하고자 하는 영역을 정의하므로 터치 상호작용을 통해 사용자들이 직관적으로 3D 공간을 정의 가능한 효과가 있다. 또한 실내 환경 모델 생성을 통해 상호작용의 대상이 되는 공간의 3차원 구조를 알고 있으므로, AR 어노테이션 생성 시 실제 공간의 구조에 맞추어 어노테이션을 정합할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링 방법에 관한 전체 흐름도.
도 2는 본 발명의 일 실시 예에 따른 증강현실을 응용을 위한 환경 모델링 방법에 관한 세부 흐름도.
도 3은 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링 방법에 있어서, 복도를 촬영하여 획득된 복도 이미지의 상호작용 모델에 대한 화면 예시도.
도 4는 본 발명의 실시 예에 따른 증강현실 응용을 위한 환경 모델링에 있어서, 원본 이미지의 특징점 매칭과 중력-정렬 이미지의 특징점 매칭을 보인 화면 예시도.
도 5는 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링에 있어서, 복원된 복도 모델과 현실공간에 올려진 가상 어노테이션을 보인 화면 예시도.
도 6은 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링에 있어서, 원본(ORI)과 중력-정렬(GA) 이미지들의 특징점 매칭 결과를 보인 화면 예시도.
도 7은 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링 장치에 관한 상세 블록도.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명은 휴대단말을 통해 획득된 영상을 통해 실내/실외 환경의 모델을 단순화시켜 생성하고, 이를 통해 증강현실 응용을 제공하는 것으로, 보다 상세하게는 사용자가 모델링하고자 하는 영역을 정의할 때, 카메라로부터 획득된 영상 대신 소실점 추정을 통해 보정된 영상을 사용하기 위해 카메라를 통해 획득된 영상에서 소실점 추정 및 앞쪽 면을 정의하고, 이를 통해 2차원 영상으로부터 3차원 지역의 깊이를 결정하고 평면을 산출하여 3차원 박스 모델을 획득하고, 상기 3차원 박스 모델이 획득된 영상으로부터 특징점을 검출하고, 가속도 센서의 센싱정보를 통해 획득된 중력 정보를 이용하여 상기 검출된 특징점을 중력-정렬 이미지의 특징점으로 매칭함으로써 3차원 복원을 수행하여 가상 어노테이션을 생성함으로써 증강현실 응용을 위한 상호작용 비간 환경 모델링 수행 시 카메라의 이동으로 인해 왜곡을 포함하는 영상에서 호모그래피 모델을 이용하여 상기 영상에 포함된 왜곡을 보정할 수 있을 뿐만 아니라, 사용자가 터치스크린의 터치를 통해 직관적으로 모델링하고자 하는 영역을 정의하므로 터치 상호작용을 통해 사용자들이 직관적으로 3D 공간을 정의 가능한 기술을 제공하고자 한다.

이하, 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링 방법에 대해 도 1 및 도 2를 참조하여 자세히 살펴보기로 한다.

먼저, 도 1은 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링 방법에 관한 전체 흐름도이다.

도 1을 참조하면, 먼저 110 과정에서 카메라를 통해 획득된 영상을 프레임 단위로 저장하고, 상기 저장된 프레임 단위의 객체가 입력된 2차원 영상 데이터를 입력받는다.

112 과정에서는 상기 획득된 영상에서 기설정된 수의 소실점을 추정하고, 114 과정에서는 상기 소실점이 추정된 영상에서 앞쪽 면을 추정한다.

116 과정에서는 상기 추정된 소실점과, 정의된 앞쪽 면을 이용하여 상기 2차원 영상으로부터 3차원 지역의 깊이를 결정하고, 상기 깊이 결정을 통해 118 과정에서는 평면을 산출하여 120 과정에서 3차원 박스 모델을 획득한다.

122 과정에서는 상기 3차원 박스 모델 획득된 영상으로부터 특징점을 검출하고, 124 과정에서 가속도 센서의 센싱정보를 통해 획득된 중력 정보를 이용하여 상기 검출된 특징점을 중력-정렬 이미지의 특징점으로 매칭한다.

126 과정에서는 상기 특징점 매칭을 통해 3차원 복원을 수행하고, 이를 통해 128 과정에서는 가상 어노테이션 생성을 수행한다.

다음으로, 도 2는 본 발명의 일 실시 예에 따른 증강현실을 응용을 위한 환경 모델링 방법에 관한 세부 흐름도로서, 도 1에 도시된 각 동작을 상세한 흐름도이다.

도 2를 참조하면, 210 과정에서는 카메라를 통해 획득된 영상으로부터 소정의 이미지를 획득하고, 212 과정에서는 상기 획득된 이미지상에서 소실점을 추정한다.

이때, 상기 소실점 추정은 상기 획득된 이미지로부터 적어도 하나 이상의 선분을 검출하고, 상기 검출된 선분에서 기설정된 역치 이하의 선분들을 제거하고, 상기 기설정된 역치 이상의 선분 중 X, Y, Z축에 각각 대응하는 소실점으로부터 추정된다.

214 과정에서는 상기 획득된 영상 내에 존재하는 패턴 영상 간에 호모그래피(homography)를 산출하고, 216 과정에서 상기 획득된 이미지로부터 카메라의 이동 방향 및 속도에 따라 발생된 시점 왜곡을 제거한다.

이때, 상기 시점 왜곡 제거는 카메라 영상에 투영된 왜곡을 포함하는 이미지들에 대한 회전 행렬을 획득하고, 상기 두 영상 이미지들에서 서로 대응되는 점들을 통해 와핑 호모 그래피 하기의 [수학식 1]을 적용하여 왜곡이 보정된 이미지를 획득하여 수행된다.

더욱 상세하게는,

과

가 존재하는 경우, C2는 입력 이미지에 대응되고, 회전 행렬

을 아는 경우, C1, C2와 관계가 있는 와핑(warping) 호모그래피 HR은 하기의 수학식과 같다.

(여기서,

은 카메라

의 포즈(pose)를

,

의 포즈

를 알고 있을 때, 영상들 사이의 와핑 트랜스포메이션(warping transformation)을 구하는 공식,

은 입력 이미지에서의 카메라의 시점

과 왜곡이 보정된 이미지에서의 카메라의 시점

사이에 존재하는 회전 변환 행렬, K는 카메라의 고유 파라미터를 담고 있는 3x3 행렬,

은 카메라

과

사이의 거리를 나타내는 transslation 벡터,

은 카메라

와 평면 사이의 거리)

또한, 상기 추정된 소실점들로부터 계산된

을 획득할 수 있다.

은 표준화를 뜻하고, 변환은 없기 때문에 (t=0) 상기 수학식 1은 간단하게 하기의 수학식 3과 같이 된다.

호모그래피를 사용하면, 이미지 I로부터 바로잡은 이미지 I'를 얻을 수 있다. 또한, 원본 이미지에서의 Vz를 바로잡은 이미지에서의 V'z로 와핑한다. 이때, 소실점은 회전에만 종속적이기 때문에 바로잡힌 소실점 Vz는 카메라의 주점에 자리한다.

218 과정에서는 상기 왜곡이 제거된 이미지 내에서 발생된 사용자 제스처를 통해 정의된 꼭지점 좌표 및 연결 정보를 입력받아 정의하여 이를 통해 220 과정에서 정면을 정의한다.

상기 꼭지점 좌표는 상기 이미지가 디스플레이된 터치스크린 상에서 사용자 인터럽트와의 상호작용을 통해 형성된 사각형의 각 꼭지점 좌표를 통해 정의된다.

여기서, 도 3을 참조하면, 도 3은 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링 방법에 있어서, 복도를 촬영하여 획득된 복도 이미지의 상호 작용 모델에 대한 화면 예시도로서, (a)는 입력 이미지, (b)는 바로잡은 이미지, (c) 및 (d)는 사용자 제스처를 통한 상호작용동작, (e)는 특징점이 복원된 이미지, (f)는 3D 모델을 보인 것으로, 사용자 상호작용의 첫 번째 단계는 도 3에 도시된 바와 같이 복도 이미지의 사각형 지역을 정의하고, 상기 정면을 정의하기 위해서는 먼저 평면의 4 꼭지점을 결정하고, 상기 결정된 네 꼭지점에 대응하는 네 꼭지점 3차원 점들을 복원한다. 이때, 사용자는 휴대단말의 터치스크린에 사각형을 도 3의 (c) 및 (d)에 도시된 바와 같이 사각형을 표시함으로써 지역의 네 꼭지점을 지정할 수 있다. 이러한 동작은 I'에서 수평, 수직 방향에서 시점 왜곡이 없기 때문에 사용자가 직관적으로 수행할 수 있다. 상기 바로 잡힌 이미지에서 평면의 네 꼭지점이 결정이 된 후에 일정 깊이로 백-프로젝션(back-projection)을 함으로써 네 꼭지점을 계산한다. 상기 이미지의 규모에 대한 정보가 없기 때문에 정면에 대한 임의의 깊이 값을 할당한다.

계속해서, 222 과정에서는 상기 정의된 꼭지점 좌표 중 특정 꼭지점 좌표를 선택하고, 224 과정에서는 상기 선택된 꼭지점 좌표로부터 수직방향으로 발생된 사용자 제스처에 대응하는 선을 이용하여 깊이를 결정한다.

더욱 상세하게는, 3차원 지역의 깊이를 결정을 통해 평면을 산출하여 3차원 박스 모델을 구축하기 위해서는 후면의 네 꼭지점이 필요하고, 상기 후면의 네 꼭지점 좌표는 정면의 네 꼭지점 좌표와 X, Y 좌표는 같으나, Z 좌표는 다르기 때문에 터치스크린 내에서 사용자 제스처를 통해 발생된 수직방향의 사용자 터치 상호작용이 후면의 깊이를 결정하는데 사용된다. 상기 정면의 네 꼭지점 중 하나를 선택하고, 상기 V'z와 정면의 네 꼭지점 좌표를 연결하는 선을 계산한다. 상기 수직방향으로의 사용자 손끝의 움직임은 선을 따르는 움직임으로 전환되고, 이는 후면의 꼭지점 하나의 위치를 결정한다. 후면의 네 꼭지점의 X 및 Y 좌표는 이미 알기 때문에 깊이를 결정하는 것은 용이하다. 사용자가 손가락 끝을 터치스크린에서 움직임에 따라 계산된 후면은 사용자 피드백을 제공하기 위해 스크린에 실시간으로 시각화된다.

또한, 상기 사용자 제스처는 사용자 접촉에 기인하여 터치스크린 상에서 발생되는 포인팅(pointing)동작으로, 상기 포인팅 동작의 움직임에 따라 상기 터치스크린 상에 실시간으로 시각화된다.

226 과정에서는 상기 정의된 정면 및 깊이 결정을 통해 상기 이미지의 평면을 산출하고, 228 과정에서는 상기 이미지의 평면으로부터 특징점을 추출 및 매칭한다.

즉, 상기 정면 및 후면에서 모든 8개의 꼭지점이 결정된 후에, 복도 이미지의 네 평면(천장, 바닥, 두 개의 옆 벽면)을 계산하고, 마스크 이미지를 생성한다. 평면이 정의된 후에는 자세 추정을 위해 평면에서 특징점들을 복원한다. 본 발명에서 적용된 대상 장면은 많은 특징점을 추출하기에 충분한 풍부한 텍스처를 포함하고 있다고 가정했다. I'에서 꼭지점은 FAST corner detector[20]에 의해서 검출된다. 오직 마스크 이미지 안에 있는 꼭지저만 고려한다. 그 다음, 특징 표시자들은 검출된 특징점들로부터 추출된다. 본 발명에서는 BRIEF feature descriptor[4]가 빠른 속도를 보이기에 이를 사용했다. 마지막으로 특징점들과 대응하는 3차원 점들은 천장, 바닥 및 두 개의 옆 벽면의 평면으로 back-projecting 됨으로써 복원된다. 특징점들의 복원은 상술한 도 3의 횐색 점으로 묘사되었다.

이후 230 과정에서는 상기 추출된 특징점으로부터 6자유도 자세를 추정한다.

다시 말해, 본 발명에서는 실시간으로 자세 추정의 기본적인 절차를 수행하는 것으로, 예컨대 코너 검출, 기술자 매칭, 그리고 2D-3D 관련성으로부터 자세 계산 동작을 의미한다. 상기 특징점 매칭을 위해서 사용할 BRIEF 기술자는 자세 불변성을 고려하지 않는다. 이런 이유로 만약 카메라가 특히 롤 회전한다면 특징점이 제대로 매칭되지 않는다. 이러한 한계점을 극복하기 위해서 입력된 원본 이미지 대신 중력-정렬 이미지라고 불리는 휘어진 이미지에서의 특징점 매칭을 수행하였다.

중력벡터

를 가지는 영상 프레임

가 주어졌을 때, 카메라에 투영됨에 따라 수직 방향

에서의 소실점이 대략적으로 추정된다. 즉,

로 나타낼 수 있다. 그 다음 선 Iv는

를 통과하고 고유의 매개변수의 주요한 점은 방향 벡터로서 정의되고 나타내어진다.

. Iv의 방향으로부터 2D 회전 변환 R을 계산한다.

(여기서,

는 수직방향의 소실점과 영상의 프린시플 포인트(principal point)를 연결하는 직선, 상기

의 방향을 유닛 벡터(unit vector)로 나타내면 2 차원 벡터인

임)

이미지

에

을 적용시킴으로써 중력-정렬 이미지

를 만들어 낸다. 원본 이미지의 수직방향은 중력의 방향에 맞추어 정렬된다. 그리고 이것은 roll 회전으로의 방향 불변성을 제공한다. 중력을 사용하는 아이디어는 [15]의 Gravity-aligned Feature Descriptor'의 방법과 유사하다. 하지만 본 논문의 방법은 입력 이미지 그 자체를 변환시키고 존재하는 특성 기술자들이 수정 없이 적용될 수 있다.

일단 중력-정렬 이미지

가 얻어지면, 코너를 검출하고 그로부터 BRIEF 특징 기술자를 추출한다. 참조 데이터에서의 기술자 매칭 후에

의 매칭된 특징점의 좌표들은

로 인해

로 변환된다. 여기도 6자유도 자세가 RANSAC을 이용한 2D-3D 관련성으로부터 추정된다.

여기서, 도 4를 참조하면, 도 4는 본 발명의 실시 예에 따른 증강현실 응용을 위한 환경 모델링에 있어서, 원본 이미지의 특징점 매칭과 중력-정렬 이미지의 특징점 매칭을 보인 화면 예시도로서, 이는 카메라의 회전 운동에서의 특징점 결과를 보여준다. 원본 이미지에서 특징점 매칭을 수행할 때, 자세 불변성의 부족 때문에 BRREF는 매칭이 용이하지 않고, 이와 반대로 중력-정렬 이미지를 사용했을 때에는 매칭 성과가 향상되었다.

실험적 결과

본 발명이 적용된 실험은 iOS 5.0 플랫폼에서 실행되었고 iPhone 4S 하드웨어를 사용하였다. 실험을 위해 사용한 비디오의 크기는 360x480이다. 알고리즘 실행을 위해서 OpenCV 2.4.0 라이브러리가 사용되었다. GPU에서의 중력-정렬 이미지 발생은 OpenGL ES 셰이더 언어로 쓰여진다. 소실점 추정은 선 분할의 개수에 따라 12초가 걸린다. 두 단계 인터랙션과 특징점 복원은 오직 몇 초밖에 걸리지 않는다. 특징점 검출와 포즈 추정은 초당 10-15프레임씩 실행된다. 중력-정렬 이미지 생성은 텍스처로의 복제와 GPU부터의 리드백을 포함하여 5-7ms이 걸린다.

상호적인 모델링 결과

도 5는 복도 장면 재현하고 가상의 내용물을 올려놓았다. 처음 두 열에서 볼 수 있듯이 사용자의 간단한 상호작용을 통해서 정확한 모델이 생성된다. 마지막 열에서는 사용자가 만들어낸 가상의 어노테이션(annotation)을 나타내준다. 장면의 구조를 알고 있기 때문에 사용자는 단순한 피킹(picking) 상호작용을 통해 장면의 기하학구조에 맞추어 가상의 어노테이션을 만들 수 있다. 비록 준비되지 않은 장면에 있다고 하더라도 우리의 상호작용적 모델링은 복도의 모델을 생성할 수 있다. 따라서 다른 화면 비율을 갖는 복도들을 다룰 수 있다. 본 논문의 방법은 마지막 행에서 보이는 것과 같이 잠재적으로 박스 모델로 근사할 수 있는 외부 장면에서도 적용가능하다. 이 경우, 카메라 운동이 회전으로 제한되어 있다면, 자세 추정은 안정적이다. 만약 평행이동 운동이 나타난다면, 특징점의 부정확한 3D좌표 때문에 추정된 자세는 어긋날 것이다.

특징점 매칭

도 6은 원본(ORI)과 중력-정렬(GA) 이미지의 매칭된 특징점의 수를 보여준다. 카메라가 roll동작으로 작은 방향을 가졌다면 매칭 성과는 두 경우가 유사하다. 하지만, 카메라가 회전하게 되면 중력-정렬 이미지가 좋은 성과를 보여주는 것에 비해 원본 이미지의 성과는 나빠진다. 본 논문에서는 또한 SIFT [9], SURF [3], 그리고 ORB [21]와 같은 다른 종류의 기술자들로도 같은 실험을 하였다. 그 결과 모두 같은 경향을 나타내었다. 따라서 결과에서 보는 것과 같이 중력-정렬 이미지는 특징점 매칭에 유용하다.

결론

현재의 실행을 통해서 특징점 기술자들의 규모 변화와 특징점 추적은 고려할 수 없다.

그것들은 이 연구의 논점에서 벗어나 있기 때문이다. 하지만 그 문제들은 잘 알려진 문제이고 [13, 23]과 같이 몇몇의 해결책들이 존재하기 때문에 이러한 특징들을 우리의 연구에 추가하는 것은 간단하다. 본 발명에서는 복도 장면이 평면의 표면에 존재한다고 가정하였다. 하지만 몇몇의 3D 물체들이 복도 공간 안에 존재하는 것이 자연스럽다. 이러한 경우에는 사용자가 움직임에 따라 잘못된 3D 특징점 좌표를 얻기 때문에 자세 추정이 불안정하다. 가능한 해결책은 [10, 8]과 같이 정밀한 장면 분석과 장면 복원을 위한 다양한 단서들을 조합하여 더 정확한 장면 복원을 하는 것이다.

이상에서는, 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링 방법에 관해 살펴보았다.

이하, 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링 장치에 관해 도 7을 참조하여 살펴보기로 한다.

도 7은 본 발명의 일 실시 예에 따른 증강현실 응용을 위한 환경 모델링 장치에 관한 상세 블록도이다.

도 7을 참조하면, 본 발명이 적용된 증강현실 응용을 위한 환경 모델링 장치(700)은 촬영부(710), 제어부(712), 가속도 센서(726) 및 입력부(728)을 포함한다.

상기 제어부(712)는 촬영부(710)로부터 획득된 영상에서 기설정된 수의 소실점과 복수의 평면을 추정하고, 상기 추정된 소실점 및 평면을 이용하여 상기 2차원 영상으로부터 3차원 지역의 깊이를 결정하여 3차원 박스 모델을 획득하여 특징점을 검출하고, 상기 가속도 센서부(726)로부터 획득된 중력 정보를 이용하여 상기 검출된 특징점을 중력-정렬 이미지의 특징점으로 매칭하고, 상기 특징점 매칭을 통해 3차원 복원을 수행하여 가상 어노테이션을 생성하도록 제어한다.

더욱 상세하게는, 상기 제어부(712)는 상기 촬영부(710)로부터 획득된 영상으로부터 소정의 이미지를 캡처하고, 상기 캡처된 이미지 상에서 소실점을 추정하는 소실점 추정부(714)와, 상기 획득된 영상 내에 존재하는 패턴 영상 간에 호모그래피를 산출하여 상기 획득된 이미지로부터 카메라의 이동 방향 및 속도에 따라 발생된 시점 왜곡을 제거하는 왜곡 보정부(716)와, 상기 왜곡 보정부(716)로부터 왜곡이 제거된 이미지 내에서 발생된 사용자 제스처를 통해 정의된 꼭지점 좌표 및 연결 정보를 입력받아 정면을 정의하는 좌표 정의부(718)와, 상기 정의된 꼭지점 좌표 중 입력부(728)를 통해 특정 꼭지점 좌표를 선택받고, 상기 선택된 꼭지점 좌표로부터 수직방향으로 발생된 사용자 제스처에 대응하는 선을 이용하여 깊이를 결정하는 깊이 결정부(720)와, 상기 정의된 정면 및 깊이 결정을 통해 상기 이미지의 평면을 산출하는 평면 산출부(722)와, 상기 산출된 이미지의 평면으로부터 특징점을 추출하여 6자유도 자세를 추정하는 자세 추정부(724)를 포함한다.

상기 소실점 추정부(714)는 상기 획득된 이미지로부터 적어도 하나 이상의 선분을 검출하고, 상기 검출된 선분에서 기설정된 역치 이하의 선분들을 제거하고, 상기 기설정된 역치 이상의 선분 중 X, Y, Z축에 각각 대응하는 소실점으로부터 추정한다.

상기 왜곡 보정부(716)는 카메라 영상에 투영된 왜곡을 포함하는 이미지들에 대한 회전 행렬을 획득하고, 상기 두 영상 이미지들에서 서로 대응되는 점들을 통해 와핑 호모그래피

를 적용하여 왜곡이 보정된 이미지를 획득하여 수행한다.

상기와 같이 본 발명에 따른 증강현실 응용을 위한 환경 모델링 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

710: 촬영부 712: 제어부
714: 소실점 추정부 716: 왜곡 보정부
718: 좌표 정의부 720: 깊이 결정부
722: 평면 산출부 724: 자세 추정부
726: 가속도 센서 728: 입력부

Claims

증강현실 응용을 위한 환경 모델링 방법에 있어서,
카메라를 통한 2차원 영상을 획득하고, 사용자 상호작용을 통해 상기 획득된 영상에서 기설정된 수의 소실점을 추정하고, 앞쪽 면을 정의하는 과정과,
상기 추정된 소실점과 정의된 앞쪽 면을 이용하여 상기 2차원 영상으로부터 3차원 지역의 깊이를 결정을 통해 평면을 산출하여 3차원 박스 모델을 획득하는 과정과,
상기 3차원 박스 모델이 획득된 영상으로부터 특징점을 검출하고, 가속도 센서의 센싱정보를 통해 획득된 중력 정보를 이용하여 상기 검출된 특징점을 중력-정렬 이미지의 특징점으로 매칭하는 과정과,
상기 특징점 매칭을 통해 3차원 복원을 수행하여 가상 어노테이션을 생성하는 과정을 포함함을 특징으로 하는 증강현실 응용을 위한 환경 모델링 방법.
제1항에 있어서, 상기 가상 어노테이션을 생성하는 과정은,
카메라를 통해 획득된 영상으로부터 소정의 이미지를 획득하고, 상기 획득된 이미지 상에서 소실점을 추정하는 과정과,
상기 획득된 영상 내에 존재하는 패턴 영상 간에 호모그래피(homography)를 산출하여 상기 획득된 이미지로부터 카메라의 이동 방향 및 속도에 따라 발생된 시점 왜곡을 제거하는 과정과,
상기 왜곡이 제거된 이미지 내에서 발생된 사용자 제스처를 통해 정의된 꼭지점 좌표 및 연결 정보를 입력받아 정면을 정의하는 과정과,
상기 정의된 꼭지점 좌표 중 특정 꼭지점 좌표를 선택하고 상기 선택된 꼭지점 좌표로부터 수직방향으로 발생된 사용자 제스처에 대응하는 선을 이용하여 깊이를 결정하는 과정과,
상기 정의된 정면 및 깊이 결정을 통해 상기 왜곡이 제거된 이미지의 평면을 산출하고, 상기 왜곡이 제거된 이미지의 평면으로부터 특징점을 추출하는 과정과,
상기 추출된 특징점으로부터 6자유도 자세를 추정하는 과정을 포함함을 특징으로 하는 증강현실 응용을 위한 환경 모델링 방법.
제1항에 있어서, 상기 소실점을 추정하는 과정은,
상기 획득된 이미지로부터 적어도 하나 이상의 선분을 검출하고, 상기 검출된 선분에서 기설정된 역치 이하의 선분들을 제거하고, 상기 기설정된 역치 이상의 선분 중 X, Y, Z축에 각각 대응하는 소실점으로부터 추정됨을 특징으로 하는 증강현실 응용을 위한 환경 모델링 방법.
제2항에 있어서, 상기 시점 왜곡을 제거하는 과정은,
적어도 둘 이상의 카메라 영상에 투영된 왜곡을 포함하는 이미지들에 대한 회전 행렬을 획득하고, 상기 왜곡을 포함하는 이미지들에서 서로 대응되는 점들을 통해 와핑 호모그래피

를 적용하여 왜곡이 보정된 이미지를 획득되어 수행됨을 특징으로 하는 증강현실 응용을 위한 환경 모델링 방법.
(여기서,
은 카메라
의 포즈(pose)를
,
의 포즈
를 알고 있을 때, 영상들 사이의 와핑 트랜스포메이션(warping transformation)을 구하는 공식,
은 입력 이미지에서의 카메라의 시점
과 왜곡이 보정된 이미지에서의 카메라의 시점
사이에 존재하는 회전 변환 행렬, K는 카메라의 고유 파라미터를 담고 있는 3x3 행렬,
은 카메라
과
사이의 거리를 나타내는 transslation 벡터,
은 카메라
와 평면 사이의 거리)
제2항에 있어서, 상기 꼭지점 좌표는,
상기 왜곡이 제거된 이미지가 디스플레이된 터치스크린 상에서 사용자 인터럽트와의 상호작용을 통해 형성된 사각형의 각 꼭지점 좌표를 통해 정의됨을 특징으로 하는 증강현실 응용을 위한 환경 모델링 방법.
제2항에 있어서,
상기 정의된 꼭지점 좌표와 X, Y 좌표는 동일하고 Z 좌표가 상이한 후면의 4개의 꼭지점 좌표를 정의하는 과정을 더 포함함을 특징으로 하는 증강현실 응용을 위한 환경 모델링 방법.
제2항에 있어서, 상기 깊이를 결정하는 과정은,
상기 사용자 제스처에 대응하는 선을 통해 상기 왜곡이 제거된 이미지 후면의 꼭지점 좌표 중 하나의 위치를 결정하고, 상기 위치 결정된 꼭지점 좌표의 X 및 Y 좌표를 이용하여 결정됨을 특징으로 하는 증강현실 응용을 위한 환경 모델링 방법.
제2항에 있어서, 상기 사용자 제스처는,
사용자 접촉에 기인하여 터치스크린 상에서 발생되는 포인팅(pointing)동작으로, 상기 포인팅 동작의 움직임에 따라 상기 터치스크린 상에 실시간으로 시각화됨을 특징으로 하는 증강현실 응용을 위한 환경 모델링 방법.
제1항에 있어서, 상기 중력-정렬 이미지는,
프레임 단위의 객체가 입력된 영상으로부터 중력벡터
를 가지는 소정의 프레임 내 수직 방향에서의 추정된 소실점과, 상기 수직 방향을 통과하는 소정의 선분과 , 방향 벡터로 정의되는 고유의 매개변수의 점을 통해 상기 소정의 선분
의 방향으로부터 영상을 회전시키는 2차원 회전 변환 행렬
을 하기의 수학식을 통해 계산하여 상기 소정의 프레임에 적용하여 생성됨을 특징으로 하는 증강현실 응용을 위한 환경 모델링 방법.
[수학식]

(여기서,
는 수직방향의 소실점과 영상의 프린시플 포인트(principal point)를 연결하는 직선, 상기
의 방향을 유닛 벡터(unit vector)로 나타내면 2 차원 벡터인
임)
증강현실 응용을 위한 모델링 장치에 있어서,
가속도 센서부와,
영상을 획득하는 촬영부와,
상기 촬영부로부터 획득된 영상에서 기설정된 수의 소실점과 복수의 평면을 추정하고, 상기 추정된 소실점 및 평면을 이용하여 상기 촬영부로부터 획득된 영상으로부터 3차원 지역의 깊이를 결정하여 3차원 박스 모델을 획득하여 특징점을 검출하고, 상기 가속도 센서부로부터 획득된 중력 정보를 이용하여 상기 검출된 특징점을 중력-정렬 이미지의 특징점으로 매칭하고, 상기 특징점 매칭을 통해 3차원 복원을 수행하여 가상 어노테이션을 생성하도록 제어하는 제어부를 포함함을 특징으로 하는 증강현실 응용을 위한 환경 모델링 장치.
제10항에 있어서, 상기 제어부는,
상기 촬영부로부터 획득된 영상으로부터 소정의 이미지를 캡처하고, 상기 캡처된 이미지 상에서 소실점을 추정하는 소실점 추정부와,
상기 획득된 영상 내에 존재하는 패턴 영상 간에 호모그래피를 산출하여 상기 획득된 이미지로부터 카메라의 이동 방향 및 속도에 따라 발생된 시점 왜곡을 제거하는 왜곡 보정부와,
상기 왜곡 보정부로부터 왜곡이 제거된 이미지 내에서 발생된 사용자 제스처를 통해 정의된 꼭지점 좌표 및 연결 정보를 입력받아 정면을 정의하는 좌표 정의부와,
상기 정의된 꼭지점 좌표 중 입력부를 통해 특정 꼭지점 좌표를 선택받고, 상기 선택된 꼭지점 좌표로부터 수직방향으로 발생된 사용자 제스처에 대응하는 선을 이용하여 깊이를 결정하는 깊이 결정부와,
상기 정의된 정면 및 깊이 결정을 통해 상기 왜곡이 제거된 이미지의 평면을 산출하는 평면 산출부와,
상기 산출된 이미지의 평면으로부터 특징점을 추출하여 6자유도 자세를 추정하는 자세 추정부를 포함함을 특징으로 하는 증강현실 응용을 위한 환경 모델링 장치.
제11항에 있어서, 상기 소실점 추정부는,
상기 획득된 이미지로부터 적어도 하나 이상의 선분을 검출하고, 상기 검출된 선분에서 기설정된 역치 이하의 선분들을 제거하고, 상기 기설정된 역치 이상의 선분 중 X, Y, Z축에 각각 대응하는 소실점으로부터 추정함을 특징으로 하는 증강현실 응용을 위한 환경 모델링 장치.
제11항에 있어서, 상기 왜곡 보정부는,
적어도 둘 이상의 카메라 영상에 투영된 왜곡을 포함하는 이미지들에 대한 회전 행렬을 획득하고, 상기 왜곡을 포함하는 이미지들에서 서로 대응되는 점들을 통해 와핑 호모그래피

를 적용하여 왜곡이 보정된 이미지를 획득되어 수행됨을 특징으로 하는 증강현실 응용을 위한 환경 모델링 장치.
(여기서,
은 카메라
의 포즈(pose)를
,
의 포즈
를 알고 있을 때, 영상들 사이의 와핑 트랜스포메이션(warping transformation)을 구하는 공식,
은 입력 이미지에서의 카메라의 시점
과 왜곡이 보정된 이미지에서의 카메라의 시점
사이에 존재하는 회전 변환 행렬, K는 카메라의 고유 파라미터를 담고 있는 3x3 행렬,
은 카메라
과
사이의 거리를 나타내는 transslation 벡터,
은 카메라
와 평면 사이의 거리)
제11항에 있어서, 상기 꼭지점 좌표는,
상기 왜곡이 제거된 이미지가 디스플레이된 터치스크린 상에서 사용자 인터럽트와의 상호작용을 통해 형성된 사각형의 각 꼭지점 좌표를 통해 정의됨을 특징으로 하는 증강현실 응용을 위한 환경 모델링 장치.
제10항에 있어서, 상기 중력-정렬 이미지는,
프레임 단위의 객체가 입력된 영상으로부터 중력벡터
를 가지는 소정의 프레임 내 수직 방향에서의 추정된 소실점과, 상기 수직 방향을 통과하는 소정의 선분과 , 방향 벡터로 정의되는 고유의 매개변수의 점을 통해 상기 소정의 선분
의 방향으로부터 영상을 회전시키는 2차원 회전 변환 행렬
을 하기의 수학식을 통해 계산하여 상기 소정의 프레임에 적용하여 생성됨을 특징으로 하는 증강현실 응용을 위한 환경 모델링 장치.
[수학식]

(여기서,
는 수직방향의 소실점과 영상의 프린시플 포인트(principal point)를 연결하는 직선, 상기
의 방향을 유닛 벡터(unit vector)로 나타내면 2 차원 벡터인
임)