KR101188105B1

KR101188105B1 - 영상 정보를 이용한 증강 현실 제공 장치 및 방법

Info

Publication number: KR101188105B1
Application number: KR1020110012353A
Authority: KR
Inventors: 고석필
Original assignee: 팅크웨어(주)
Priority date: 2011-02-11
Filing date: 2011-02-11
Publication date: 2012-10-09
Also published as: KR20120092352A; WO2012108721A2; WO2012108721A3

Abstract

영상 정보를 기초로 카메라가 촬영한 영상에 증강 현실을 제공하는 방법 및 장치가 개시된다. 증강 현실 제공 장치는 카메라가 촬영한 영상을 기초로 가상 3D 공간을 생성하는 3D 공간 생성부; 상기 영상에 포함된 차선 정보를 기초로 2D 평면을 결정하는 평면 결정부; 상기 2D 평면을 상기 가상 3D 공간에 맵핑하는 맵핑부; 및 맵핑된 2D 평면을 기초로 상기 영상에 정보 오브젝트를 합성하여 증강 현실을 제공하는 증강 현실 제공부를 포함할 수 있다.

Description

영상 정보를 이용한 증강 현실 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING ARGUMENTED REALITY USING IMAGE INFORMATION}

본 발명은 영상 정보를 기초로 상기 영상에 증강 현실을 제공하는 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 정보를 기초로 카메라가 촬영한 영상에 가상 오브젝트를 합성하여 제공하는 증강 현실 제공 장치 및 증강 현실 제공 방법에 관한 것이다.

내비게이션의 경로 및 도로 정보 제공 방법은 단순한 도로의 형태만을 제공하는 2D 맵에서 도로 주변 건물의 형상까지 제공함으로써 사용자가 목적지를 용이하게 찾을 수 있도록 하는 3D 맵으로 발전되었다.

그러나, 3D 맵이라 하더라도, 데이터의 용량이나 모델링 시간의 제한으로 인하여 현실과 동일한 형상으로 건물을 표시할 수는 없다. 특히, 이벤트나 다른 조건으로 단 기간 동안만 건물의 외장이 변경되는 경우, 변경된 정보를 3D 맵에 반영하기는 어려우므로 실시간으로 건물의 상태를 표시할 수는 없었다. 또한, 사용자에 따라서는 2D나 3D 맵 상에서 표시되는 도로와 사용자가 운전하면서 보고 있는 도로를 매칭하기 어려워하는 경우도 있었다.

따라서, 사용자가 경로 및 도로 정보에 대응하는 실제 도로나 건물을 용이하게 인식할 수 있도록 하는 방법이 요구되고 있다.

본 발명은 카메라가 촬영한 실제 공간의 영상에 경로를 안내하기 위한 정보나 도로에 관련된 정보를 표시함으로써 해당 장소에 대한 사용자의 인식성을 높이는 증강 현실 제공 장치 및 방법을 제공한다.

또한, 본 발명의 일실시예에 의하면, 카메라가 촬영한 영상을 기초로 2D의 평면을 3D 공간에 맵핑함으로써 2D 평면과 3D 공간 간의 맵핑 정밀도를 높이는 증강 현실 제공 장치 및 방법을 제공한다.

본 발명의 일실시예에 따른 증강 현실 제공 장치는 카메라가 촬영한 영상을 기초로 가상 3D 공간을 생성하는 3D 공간 생성부; 상기 영상에 포함된 차선 정보를 기초로 2D 평면을 결정하는 평면 결정부; 상기 2D 평면을 상기 가상 3D 공간에 맵핑하는 맵핑부; 및 맵핑된 2D 평면을 기초로 상기 영상에 정보 오브젝트를 합성하여 증강 현실을 제공하는 증강 현실 제공부를 포함할 수 있다.

본 발명의 일실시예에 따른 증강 현실 제공 방법은 카메라 파라미터를 기초로 가상 3D 공간을 생성하는 단계; 카메라가 촬영한 영상의 차선 정보를 기초로 2D 평면을 결정하는 단계; 상기 2D 평면을 상기 가상 3D 공간에 맵핑하는 단계; 및 맵핑된 2D 평면을 기초로 상기 영상에 정보 오브젝트를 합성하여 증강 현실을 제공하는 단계를 포함할 수 있다.

본 발명의 일실시예에 의하면, 카메라가 촬영한 실제 공간의 영상에 경로를 안내하기 위한 정보나 도로에 관련된 정보를 표시함으로써 해당 장소에 대한 사용자의 인식성을 높일 수 있다.

또한, 본 발명의 일실시예에 의하면, 카메라가 촬영한 영상을 기초로 2D의 평면을 3D 공간에 맵핑함으로써 2D 평면과 3D 공간 간의 맵핑 정밀도를 높일 수 있다.

도 1은 본 발명의 일실시예에 따른 증강 현실 제공 장치를 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에서 2D 평면을 결정하는 과정의 일례이다.
도 3은 본 발명의 일실시예에 따라 제공된 증강 현실 이미지의 일례이다.
도 4는 본 발명의 일실시예에 따른 증강 현실 제공 방법을 도시한 플로우차트이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 증강 현실 제공 방법은 증강 현실 제공 장치에 의해 수행될 수 있다. 이때, 본 발명의 일실시예에 따른 증강 현실 제공 장치는 이동 단말기나 내비게이션, 또는 블랙 박스 중 하나일 수도 있고, 이동 단말기나 내비게이션, 블랙 박스, 또는 별도의 카메라로부터 영상을 제공받아 증강 현실을 제공하는 단말기일 수도 있다.

도 1은 본 발명의 일실시예에 따른 증강 현실 제공 장치를 도시한 블록 다이어그램이다.

도 1을 참고하면, 본 발명의 일실시예에 따른 증강 현실 제공 장치(100)는 카메라(110), 캘리브레이션부(120), 3D공간 생성부(130), 차선 정보 추출부(140), 평면 결정부(150), 맵핑부(160), 및 증강 현실 제공부(170)를 포함할 수 있다.

캘리브레이션부(120)는 캘리브레이션(Calibration)을 사용하여 카메라가 촬영한 영상으로부터 카메라의 카메라 파라미터를 추정할 수 있다. 이때, 카메라는 증강 현실 제공 장치(100)에 내장된 카메라(110)일 수도 있고, 증강 현실 제공 장치(100)와 별개로 설치되어 차량의 전방을 촬영하는 카메라일 수 있다. 일례로, 이동 단말기나 내비게이션, 또는 블랙 박스에 내장된 카메라이거나 차량의 전방을 향하여 설치된 별도의 카메라일 수도 있다. 이때, 카메라 파라미터는 실사공간이 사진에 맺히는 관계를 나타내는 정보인 카메라 행열을 구성하는 파라미터일 수 있다.

3D 공간 생성부(130)는 카메라가 촬영한 영상을 기초로 가상 3D 공간을 생성할 수 있다. 구체적으로 3D 공간 생성부(130)는 캘리브레이션부(120)가 추정한 카메라 파라미터를 기초로 카메라가 촬영한 영상으로부터 깊이 정보(Depths information)를 획득하고, 획득한 깊이 정보와 상기 영상을 기초로 가상 3D 공간을 생성할 수 있다.

차선 정보 추출부(140)는 카메라가 촬영한 영상을 캡쳐하여 정지 영상을 획득하고, 상기 정지 영상에서 복수의 차선 정보를 추출할 수 있다. 카메라가 촬영한 영상은 실시간으로 차량의 전방을 촬영한 동영상이므로 차선이 계속 이동하므로 차선 정보를 추출하기 어려운 점이 있다. 따라서, 차선 정보 추출부(140)는 상기 영상을 캡쳐하여 정지 영상을 획득하고, 차선의 변화가 없는 정지 영상에서 차선 정보를 추출할 수 있다.

하지만, 차선 정보 추출부(140)가 차량이 차선을 변경하는 시점에서 정지 영상을 획득한 경우, 차선 정보 추출부(140)는 차선 정보를 하나 밖에 추출하지 못할 수도 있다. 따라서, 차선 정보 추출부(140)는 정지 영상에서 복수의 차선 정보를 추출하지 못하는 경우, 획득한 정지 영상이 부적절한 것으로 판단하여 상기 영상을 재 캡쳐할 수 있다. 이때, 차선 정보 추출부(140)는 재 캡쳐로 획득한 다른 정지 영상에서 복수의 차선 정보를 추출할 수 있다.

평면 결정부(150)는 카메라가 촬영한 영상에 포함된 차선 정보를 기초로 2D 평면을 결정할 수 있다. 이때, 평면 결정부(150)는 차선 정보 추출부(140)가 추출한 차선 정보를 기초로 복수의 기준점을 획득하고, 기준점들을 연결하는 직선의 방정식을 사용하여 2D 평면을 결정할 수 있다. 이때, 기준점은 각각의 차선 정보와 상기 영상의 바닥이 만나는 점인 바닥 점(bottom point)과, 소실점(Vanishing point)을 포함할 수 있다.

평면 결정부(150)가 2D 평면을 결정하는 과정은 이하 도 2를 기초로 상세히 설명한다.

맵핑부(160)는 평면 결정부(150)가 결정한 2D 평면을 3D 공간 생성부(130)가 생성한 가상 3D 공간에 맵핑(Mapping)할 수 있다. 구체적으로, 맵핑부(160)는 평면 결정부(150)가 결정한 2D 평면을 3D 공간 생성부(130)가 생성한 가상 3D 공간에 투영(Projection)하여 3D 공간의 바닥 면을 구성할 수 있다.

증강 현실 제공부(170)는 맵핑부(160)에서 맵핑된 2D 평면을 기초로 상기 영상에 정보 오브젝트를 합성하여 증강 현실(Augmented Reality)을 제공할 수 있다. 이때, 정보 오브젝트는 차량이 주행할 경로나 차량이 주행 중인 도로에 관련된 정보를 표시하는 오브젝트일 수 있다. 일례로, 정보 오브젝트는 특정 장소까지 000M 남았다는 정보, 횡단 보도와 같은 주의 장소를 표시하는 정보, 과속 카메라 위치 정보, 안내 심볼, 및 경로의 방향 정보 중 적어도 하나를 포함할 수 있다.

도 2는 본 발명의 일실시예에서 2D 평면을 결정하는 과정의 일례이다.

본 발명의 일실시예에 따른 평면 결정부(150)는 차선 정보 추출부(140)가 추출한 차선 정보(210, 220)를 기초로 2D 평면을 결정할 수 있다.

먼저, 평면 결정부(150)는 차선 정보(210)과 차선 정보(220)를 연장할 경우 서로 교차하게 되는 점인 소실점(Vanishing point)(230)을 획득할 수 있다. 또한, 평면 결정부(150)는 차선 정보(210)이 영상(200)의 바닥과 만나는 점인 바닥 점(bottom point)(250)과, 차선 정보(220)이 영상의 바닥과 만나는 점인 바닥 점(240)을 획득할 수 있다.

다음으로 평면 결정부(150)는 소실점(230)과 바닥 점(250) 간의 직선의 방정식과, 소실점(230)과 바닥 점(240) 간의 직선의 방정식을 계산할 수 있다.

마지막으로 평면 결정부(150)는 소실점(230)과 바닥 점(250) 간의 직선의 방정식과, 소실점(230)과 바닥 점(240) 간의 직선의 방정식 및 영상(200)의 바닥으로 형성되는 삼각형을 2D 평면으로 결정할 수 있다.

본 발명에 따른 증강 현실 제공 장치(100)는 차량에 설치된 카메라에서 촬영한 영상을 기초로 차선 정보를 추출하고, 추출한 차선 정보에 기초하여 2D 평면을 생성하므로, 2D 평면의 생성에 도로의 고저 변화에 영향을 받지 않을 수 있다.

도 3은 본 발명의 일실시예에 따라 제공된 증강 현실 이미지의 일례이다.

본 발명의 일실시예에 따른 증강 현실 제공 장치(100)는 카메라가 촬영한 영상에 정보 오브젝트를 합성하여 증강 현실을 제공할 수 있다. 일례로, 도 3에 도시된 바와 같이 카메라에서 촬영한 영상(300)에 경로의 방향 정보(310)과 특정 장소까지 500M 남았다는 정보(320)를 합성하여 표시할 수 있다.

본 발명의 일실시예에 따른 증강 현실 제공 장치(100)는 도 3에 도시된 바와 같이 카메라로 촬영한 실시간 영상에 경로 안내 또는 도로 안내에 관련된 정보를 합성하여 표시함으로써, 해당 장소에 대한 사용자의 인식성을 높일 수 있다.

도 4는 본 발명의 일실시예에 따른 증강 현실 제공 방법을 도시한 플로우차트이다.

단계(S410)에서 캘리브레이션부(120)는 캘리브레이션(Calibration)을 사용하여 카메라가 촬영한 영상으로부터 카메라의 카메라 파라미터를 추정할 수 있다.

단계(S420)에서 3D 공간 생성부(130)는 단계(S410)에서 추정된 카메라 파라미터를 기초로 가상 3D 공간을 생성할 수 있다. 구체적으로 3D 공간 생성부(130)는 카메라 파라미터를 기초로 카메라가 촬영한 영상으로부터 깊이 정보(Depths information)를 획득하고, 획득한 깊이 정보와 상기 영상을 기초로 가상 3D 공간을 생성할 수 있다.

단계(S430)에서 차선 정보 추출부(140)는 카메라가 촬영한 영상을 캡쳐하여 정지 영상을 획득할 수 있다.

단계(S440)에서 차선 정보 추출부(140)는 단계(S430)에서 획득한 정지 영상이 차선 정보를 추출할 수 있는 정지 영상인지 여부를 확인할 수 있다. 구체적으로 차선 정보 추출부(140)는 단계(S430)에서 획득한 정지 영상에서 차선 정보의 추출을 시도할 수 있다. 차선 정보 추출부(140)는 복수의 차선 정보가 추출되지 않는 경우, 단계(S430)에서 획득한 정지 영상이 차선 정보를 추출할 수 있는 정지 영상이 아닌 것으로 판단할 수 있다. 이때, 차선 정보 추출부(140)는 단계(S430)로 되돌아가 카메라가 촬영한 영상 중 다른 장면을 캡쳐하여 다른 정지 영상을 획득할 수 있다.

단계(S450)에서 평면 결정부(150)는 단계(S440)에서 차선 정보 추출부(140)가 추출한 차선 정보를 기초로 복수의 기준점을 획득할 수 있다. 이때, 평면 결정부(150)가 획득하는 기준점은 각각의 차선 정보와 상기 영상의 바닥이 만나는 점인 바닥 점(bottom point)과, 소실점(Vanishing point)을 포함할 수 있다.

단계(S460)에서 평면 결정부(150)는 단계(S440)에서 획득한 기준점들과, 기준점들을 연결하는 직선의 방정식을 사용하여 2D 평면을 결정할 수 있다.

단계(S470)에서 맵핑부(160)는 단계(S460)에서 결정된 2D 평면을 단계(S420)에서 생성된 가상 3D 공간에 맵핑(Mapping)할 수 있다. 구체적으로, 맵핑부(160)는 단계(S460)에서 결정된 2D 평면을 단계(S460)에서 생성된 가상 3D 공간에 투영(Projection)하여 3D 공간의 바닥 면을 구성할 수 있다.

단계(S480)에서 증강 현실 제공부(170)는 단계(S470)에서 맵핑된 2D 평면을 기초로 상기 영상에 정보 오브젝트를 합성하여 증강 현실을 제공할 수 있다. 일례로, 증강 현실 제공부(170)는 지도 데이터를 기초로 표시할 정보 오브젝트의 종류와 위치를 2D 평면 상에 설정하고, 2D 평면 상에 설정된 정보 오브젝트의 위치를 3D 공간의 바닥 면에 맵핑할 수 있다. 다음으로, 증강 현실 제공부(170)는 바닥 면에 맵핑된 위치에 따라 카메라가 촬영한 영상에서 정보 오브젝트를 표시할 위치를 선택할 수 있다. 마지막으로 증강 현실 제공부(170)는 카메라가 촬영한 영상에서 선택한 위치에 정보 오브젝트를 합성하여 디스플레이 할 수 있다. 이때, 정보 오브젝트는 차량이 주행할 경로나 차량이 주행 중인 도로에 관련된 정보를 표시하는 오브젝트일 수 있다.

본 발명은 카메라가 촬영한 실제 공간의 영상에 경로를 안내하기 위한 정보나 도로에 관련된 정보를 표시함으로써 해당 장소에 대한 사용자의 인식성을 높일 수 있다.

또한, 카메라가 촬영한 영상을 기초로 2D의 평면을 3D 공간에 맵핑하므로 센서가 설치된 장소를 기초로 2D의 평면을 3D 공간에 맵핑하는 종래 방법에 비하여 맵핑 정밀도를 높일 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

120: 캘리브레이션부
130: 3D 공간 생성부
140: 차선 정보 추출부
150: 평면 결정부
160: 맵핑부
170: 증강 현실 제공부

Claims

카메라가 촬영한 영상을 기초로 가상 3D 공간을 생성하는 3D 공간 생성부;
상기 영상에서 추출한 차선 정보를 기초로 2D 평면을 결정하는 평면 결정부;
상기 2D 평면을 상기 가상 3D 공간에 맵핑하는 맵핑부; 및
맵핑된 2D 평면을 기초로 상기 영상에 정보 오브젝트를 합성하여 증강 현실을 제공하는 증강 현실 제공부
를 포함하고,
상기 증강 현실 제공부는,
2D 평면에 설정한 정보 오브젝트를 가상 3D 공간에 맵핑하고, 정보 오브젝트가 가상 3D 공간에 맵핑된 위치에 따라 상기 영상에 정보 오브젝트를 합성하는 것을 특징으로 하는 증강 현실 제공 장치.
제1항에 있어서,
상기 평면 결정부는,
상기 차선 정보를 기초로 복수의 기준점을 획득하고, 상기 기준점들을 연결하여 2D 평면을 결정하는 것을 특징으로 하는 증강 현실 제공 장치.
제2항에 있어서,
상기 영상을 캡쳐하여 정지 영상을 획득하고, 상기 정지 영상에서 복수의 차선 정보를 추출하는 차선 정보 추출부
를 더 포함하는 증강 현실 제공 장치.
제3항에 있어서,
상기 차선 정보 추출부는,
상기 정지 영상에서 복수의 차선 정보를 추출하지 못하는 경우, 상기 영상을 재 캡쳐하여 다른 정지 영상을 획득하고, 다른 정지 영상에서 복수의 차선 정보를 추출하는 것을 특징으로 하는 증강 현실 제공 장치.
제2항에 있어서,
상기 기준점은,
각각의 차선 정보와 상기 영상의 바닥이 만나는 점인 바닥 점(bottom point)과, 상기 각각의 차선 정보가 만나는 점인 소실점(Vanishing point)을 포함하는 것을 특징으로 하는 증강 현실 제공 장치.
제1항에 있어서,
상기 정보 오브젝트는,
차량이 주행할 경로나 차량이 주행 중인 도로에 관련된 정보를 표시하는 오브젝트인 것을 특징으로 하는 증강 현실 제공 장치.
제1항에 있어서,
캘리브레이션(Calibration)을 사용하여 상기 영상으로부터 상기 카메라의 카메라 파라미터를 추정하는 캘리브레이션부
를 더 포함하는 증강 현실 제공 장치.
제7항에 있어서,
상기 3D 공간 생성부는,
상기 카메라 파라미터를 기초로 상기 영상으로부터 깊이 정보를 획득하고, 획득한 깊이 정보와 상기 영상을 기초로 가상 3D 공간을 생성하는 것을 특징으로 하는 증강 현실 제공 장치.
카메라가 촬영한 영상을 기초로 가상 3D 공간을 생성하는 단계;
상기 영상에서 추출한 차선 정보를 기초로 2D 평면을 결정하는 단계;
상기 2D 평면을 상기 가상 3D 공간에 맵핑하는 단계;
2D 평면에 설정한 정보 오브젝트를 가상 3D 공간에 맵핑하는 단계; 및
정보 오브젝트가 가상 3D 공간에 맵핑된 위치에 따라 상기 영상에 정보 오브젝트를 합성하는 단계
를 포함하는 증강 현실 제공 방법.
제9항에 있어서,
상기 2D 평면을 결정하는 단계는,
상기 차선 정보를 기초로 복수의 기준점을 획득하는 단계; 및
상기 기준점들을 연결하여 2D 평면을 결정하는 단계
를 포함하는 증강 현실 제공 방법.
제10항에 있어서,
상기 영상을 캡쳐하여 정지 영상을 획득하는 단계; 및
상기 정지 영상에서 복수의 차선 정보를 추출하는 단계
를 더 포함하는 것을 특징으로 하는 증강 현실 제공 방법.
제11항에 있어서,
상기 정지 영상에서 복수의 차선 정보를 추출하지 못하는 경우, 상기 영상을 재 캡쳐하여 다른 정지 영상을 획득하는 단계
를 더 포함하고,
상기 차선 정보를 추출하는 단계는,
다른 정지 영상에서 복수의 차선 정보를 추출하는 것을 특징으로 하는 증강 현실 제공 방법.
제10항에 있어서,
상기 기준점은,
각각의 차선 정보와 상기 영상의 바닥이 만나는 점인 바닥 점(bottom point)과, 상기 각각의 차선 정보가 만나는 점인 소실점(Vanishing point)을 포함하는 것을 특징으로 하는 증강 현실 제공 방법.
제9항에 있어서,
상기 정보 오브젝트는,
차량이 주행할 경로나 차량이 주행 중인 도로에 관련된 정보를 표시하는 오브젝트인 것을 특징으로 하는 증강 현실 제공 방법.
제9항에 있어서,
캘리브레이션(Calibration)을 사용하여 상기 영상으로부터 상기 카메라의 카메라 파라미터를 추정하는 단계
를 더 포함하는 증강 현실 제공 방법.
제15항에 있어서,
상기 3D 공간을 생성하는 단계는,
상기 카메라 파라미터를 기초로 상기 영상으로부터 깊이 정보를 획득하는 단계; 및
획득한 깊이 정보와 상기 영상을 기초로 가상 3D 공간을 생성하는 단계
를 포함하는 증강 현실 제공 방법.