KR101939530B1 - 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치 - Google Patents

Abstract

본 발명은 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치에 관한 것이다.
보다 구체적으로 본 발명의 일실시예에 따르면, 실제 공간에 대한 영상을 카메라를 통해 입력받는 단계, 상기 카메라를 통해 입력된 실제 공간에 대한 영상의 픽셀 데이터 정보를 추출하는 단계, 상기 추출된 픽셀 데이터 정보를 기반으로 마커 정보를 인식하되, 상기 인식된 마커 정보에 대응되는 증강현실 오브젝트를 미리 저장된 데이터베이스를 탐색하여 결정하는 단계, 상기 추출된 픽셀 데이터 정보를 기반으로 상기 실제 공간에 대한 지형 정보 분석을 수행하되, 상기 결정된 증강현실 오브젝트를 상기 분석된 지형 정보에 대응하여 변환하는 단계 및 상기 변환된 증강현실 오브젝트를 상기 실제 공간에 대한 영상에 합성하여 디스플레이하는 단계를 포함하여 이루어질 수 있다.

Description

지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치{METHOD AND APPARATUS FOR DISPLAYING AUGMENTED REALITY OBJECT BASED ON GEOMETRY RECOGNITION}

본 발명은 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치에 관한 것으로서, 보다 구체적으로는 실제 환경의 수직수평 지형정보를 인식하되, 증강현실 오브젝트를 상기 인식된 지형정보를 적용하여 표시하는 방법 및 그 장치에 관한 것이다.

최근 들어, 영상 분야의 비약적인 발전으로 인해 다양한 영상 기술이 개발 및 응용되고 있으며, 특히, 컴퓨터 또는 사용자 단말을 통해 가상 현실 또는 증강 현실 영상을 재생하고 관람하는 기술이 등장하고 있다.

여기에서, 가상 현실(Virtual Reality: VR)이라 함은 실제 현실은 아니지만 사용자가 현실과 같은 환경을 3차원적인 시각(Sight)을 통해 경험할 수 있는 시뮬레이션 기술을 의미하며, 증강 현실(Augmented Reality: AR)이라 함은 사용자가 눈으로 보는 현실세계에 가상의 오브젝트(Object)를 겹쳐 보여주는 시뮬레이션 기술을 의미한다. 증강 현실은, 현실세계에 실시간으로 부가정보를 갖는 가상의 오브젝트를 합쳐 하나의 영상으로 보여주는 특징으로 인해 흔히 혼합 현실(Mixed Reality: MR)이라고도 불리운다.

앞서 설명한 가상 현실과 증강 현실은 서로 비슷한 듯 하지만 그 주체가 허상이냐 실상이냐에 따라 명확히 구분될 수 있다.

컴퓨터 격투 게임을 예로 들어 양자를 비교 설명하면, 가상 현실 게임은 나를 대신하는 캐릭터가 가상의 공간에서 가상의 적과 대결하지만, 증강 현실 게임은 현실의 내가 현실의 공간에서 가상의 적과 대결을 벌이는 형태가 된다. 그에 따라, 증강 현실 기술을 이용할 경우 현실에 실제로 존재하지 않는 가상 캐릭터 등이 화면상으로는 실제로 존재하는 것처럼 보여질 수 있다.

따라서, 이러한 증강 현실 기술은 가상의 환경만으로 구성된 가상 현실 기술과는 달리, 실제 환경과 가상의 오브젝트가 혼합된 영상이 사용자에게 제공되는 것이므로, 사용자로서는 가상의 오브젝트를 실제 환경과 함께 볼 수 있어 가상의 환경만으로 구성된 가상 현실과 비교할 때 보다 나은 현실감과 부가 정보가 제공된다는 장점이 존재하고 있다.

과거 또는 현재의 증강 현실은, 카메라로부터 촬영되는 영상으로부터 실제 영상과 함께 증강 현실 마커를 감지하되, 상기 감지된 마커에 따른 가상 오브젝트를 상기 실제 영상에 합성하여 출력하는 방법으로 실현되고 있다.

즉, 과거 또는 현재의 증강 현실 기술은, 가상 물체를 화면상에 나타내기 위해, 카메라로부터 입력되는 영상의 각 프레임 별로 마커를 인지하고, 마커의 종류 및 위치 등에 대응되도록 가상 오브젝트의 크기, 위치, 형태 등을 계산하여 계산된 위치에 상기 가상 오브젝트를 상기 영상과 합성하여야 한다.

그런데, 이와 같은 과거 또는 현재의 마커 방식 증강 현실 기술의 경우, 마커가 수평 면에 놓여 있건 수직 벽면에 붙어있건 간에 그것의 깊이감 또는 위치감을 포함하는 지형정보를 3차원적으로 인식하지 못한다는 문제점이 존재하고 있다.

그에 따라 과거 또는 현재의 증강 현실 기술은, 영상 내 실제 사물과 가상 오브젝트 간에 정확한 공간적 매칭이 이루어지지 않아 사실감 저하 및 그에 따른 사용자의 흥미 저하 유발이 추가적인 문제점으로 대두되고 있다.

따라서, 위와 같은 문제점을 해결하기 위한 방법이 요구되고 있는 실정이다.

한국공개특허공보 10-2016-0103897 (공개일:2016년09월02일)

본 발명의 목적은, 상기 문제점을 해결할 수 있도록 지형정보 인식을 기반으로 증강 현실 오브젝트를 표시하는 방법을 제공하는데 있다.

본 발명의 다른 목적은, 실제 영상의 지형정보 인식를 인식하되, 상기 인식된 지형정보를 기반으로 상기 증강 현실 오브젝트를 합성하여 표시하는 방법을 제공하는데 있다.

본 발명의 또 다른 목적은, 위와 같은 방법을 실현시키기 위한 장치를 제공하는데 있다.

본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 지형정보 인식을 기반으로 증강 현실 오브젝트를 표시하는 방법은, 실제 공간에 대한 영상을 카메라를 통해 입력받는 단계, 상기 카메라를 통해 입력된 실제 공간에 대한 영상의 픽셀 데이터 정보를 추출하는 단계, 상기 추출된 픽셀 데이터 정보를 기반으로 마커 정보를 인식하되, 상기 인식된 마커 정보에 대응되는 증강현실 오브젝트를 미리 저장된 데이터베이스를 탐색하여 결정하는 단계, 상기 추출된 픽셀 데이터 정보를 기반으로 상기 실제 공간에 대한 지형 정보 분석을 수행하되, 상기 결정된 증강현실 오브젝트를 상기 분석된 지형 정보에 대응하여 변환하는 단계 및 상기 변환된 증강현실 오브젝트를 상기 실제 공간에 대한 영상에 합성하여 디스플레이하는 단계를 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 지형정보 인식을 기반으로 증강 현실 오브젝트를 표시하는 방법에 있어서, 상기 픽셀 데이터 정보는 상기 실제 공간에 대한 영상의 RGB 데이터 정보를 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 지형정보 인식을 기반으로 증강 현실 오브젝트를 표시하는 방법에 있어서, 상기 지형 정보 분석은, 상기 실제 공간에 대한 영상 내 적어도 하나 이상의 객체 각각에 대한 픽셀의 위치 및 상기 실제 공간 상에서의 상기 적어도 하나 이상의 객체 각각의 위치를 기반으로 하여 상기 영상 내 소실점을 결정하는 단계, 상기 결정된 소실점의 수직축을 기준으로 상기 영상에 대한 회전을 가하여 상기 영상 내 적어도 하나 이상의 객체 각각에 대한 좌표 변화량을 측정하는 단계 및 상기 좌표 변화량을 기반으로 상기 실제 공간에 대한 수평 정보, 수직 정보 및 평면 정보를 포함하는 지형 정보를 분석하는 단계를 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 지형정보 인식을 기반으로 증강 현실 오브젝트를 표시하는 방법은, 상기 결정된 증강현실 오브젝트를 상기 분석된 지형 정보에 대응하여 변환하는 단계는, 상기 실제 공간에 대한 영상 내에서 상기 결정된 증강현실 오브젝트가 합성되어 표시될 위치, 크기 및 회전 정도 중 적어도 하나 이상을 상기 실제 공간에 대한 수평 정보, 수직 정보 및 평면 정보에 맞게 변환하는 것을 포함하여 이루어질 수 있다.

상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 증강현실 장치는, 실제 공간에 대한 영상을 입력받는 카메라부, 상기 카메라를 통해 입력된 실제 공간에 대한 영상의 픽셀 데이터 정보를 추출하는 제어부, 상기 추출된 픽셀 데이터 정보를 기반으로 마커 정보를 인식하되, 상기 인식된 마커 정보에 대응되는 증강현실 오브젝트를 미리 저장된 데이터베이스를 탐색하여 결정하는 마커 인식부, 상기 추출된 픽셀 데이터 정보를 기반으로 상기 실제 공간에 대한 지형 정보 분석을 수행하되, 상기 결정된 증강현실 오브젝트를 상기 분석된 지형 정보에 대응하여 변환하는 이미지 처리부 및 상기 변환된 증강현실 오브젝트를 상기 실제 공간에 대한 영상에 합성하여 디스플레이하는 디스플레이부를 포함하여 이루어질 수 있다.

상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다. 다만, 본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.

첫째, 본 발명에 따르면 지형정보 인식을 기반으로 증강 현실 오브젝트를 표시하는 방법이 제공될 수 있다.

둘째, 본 발명에 따르면 실제 영상의 지형정보 인식를 인식하되, 상기 인식된 지형정보를 기반으로 상기 증강 현실 오브젝트를 합성하여 표시하는 방법이 제공될 수 있다.

셋째, 본 발명에 따르면, 선술한 방법을 실현시키기 위한 장치가 제공될 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명이 적용될 수 있는 증강현실 장치의 구성을 예시하는 도면이다.
도 2는 본 발명의 일실시예에 따라 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따라 증강현실 장치가 지형정보 인식을 수행하는 과정을 설명하기 위한 또 다른 도면이다.
도 4는 본 발명의 일실시예에 따라 지형정보 인식을 기반으로 증강현실 오브젝트를 표시한 일례를 나타내기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 지형정보 인식을 기반으로 증강현실 오브젝트를 표시한 일례를 나타내기 위한 또 다른 도면이다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

몇몇의 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "…부" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 나아가, "일(a 또는 an)", "하나(one)", 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

아울러, 본 발명의 실시예들에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

도 1은 본 발명이 적용될 수 있는 증강현실 장치의 구성을 예시하는 도면이다.

도 1을 참고하면, 본 발명이 적용될 수 있는 증강현실 장치는, 카메라부(100), 제어부(200), 마커인식부(300), 이미지 처리부(400) 및 디스플레이부(500)를 포함하여 이루어질 수 있다.

다만, 이하에서 언급되는 증강현실 장치는 도 1에 도시된 구성요소들 중 적어도 하나를 포함하나, 반드시 이에 한정되는 것은 아니다.

상기 증강현실 장치(1000)는 예를들어, '증강현실 어플리케이션(Application)' 또는 '증강현실 프로그램'이 실행되는 모바일 클라이언트가 될 수 있으며, 예를 들어, WCDMA, LTE와 같은 이동 통신망을 이용하는 통상의 스마트폰, 스마트패드, VR(Virtual Reality), AR(Augmented Reality) 장치, PC(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet Personal Computer), 단말 장치, 휴대폰, 이동 단말, 모바일 단말, 터미널(Terminal), MS(Mobile Station), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D 장치(Device-to-Device) 장치를 포함하는 개념으로 해석될 수 있다.

이 때, 상기 증강현실 어플리케이션 또는 증강현실 프로그램은, 증강현실 서비스의 운영자가 다양한 증강현실 서비스의 제공을 목적으로 하여 배포하는 것으로서, 예를 들어, 통상의 앱 스토어 서버(도면 미도시)를 통해 배포할 수 있다. 어플리케이션 또는 프로그램은 모바일 OS제조사에서 제공하는 개발언어를 이용하여 해당 모바일 기기에서만 동작되는 응용 프로그램을 말한다. 상기 어플리케이션 또는 프로그램의 경우, 장치가 제공하는 하드웨어적 기능을 지원 받아 다양한 기능의 구현이 가능하다.

다만, 상기 증강현실 장치는 반드시 모바일 클라이언트로 구성될 필요는 없으며, 카메라 및 디스플레이를 구비한 일반적인 PC(Personal Computer) 또는 이와 동등한 컴퓨팅 수단이면 어느 것이나 이용될 수 있다.

상기 카메라부(100)는 실제 공간에 대한 영상을 입력받을 수 있으며, 모노 카메라를 포함하는 통상적인 카메라일 수 있으며, 증강현실 오브젝트(또는 증강현실 컨텐츠)를 구현하기 위한 실제 공간을 촬영하기 위해 현재까지 개발되었거나 앞으로 개발될 다양한 영상 촬영 기능을 갖는 장치를 포함하는 개념으로 해석될 수 있다.

본 발명의 증강현실 장치는 마커 인식부(300) 및 이미지 처리부(400)를 포함하여 이루어질 수 있으며, 상기 마커 인식부(300)는 상기 카메라부(100)를 통해 입력된 영상으로부터 마커를 인식하는 기능을 수행할 수 있으며, 보다 구체적으로 상기 카메라부(100)에 의해 입력된 영상 내 픽셀 데이터 정보를 기반으로 마커 정보를 인식하되, 상기 인식된 마커 정보에 대응되는 증강현실 오브젝트를 미리 저장된 데이터베이스를 탐색하여 결정할 수 있다.

이 때, 상기 데이터베이스는 증강현실을 위한 각 마커의 고유 인식 정보 및/또는 이에 대응하는 증강현실 오브젝트에 대한 정보를 미리 저장하고 있을 수 있다.

또한, 상기 이미지 처리부(400)는 상기 카메라부(100)에 의해 입력된 영상 내 픽셀 데이터 정보를 기반으로 상기 실제 공간에 대한 지형 정보 분석을 수행하되, 상기 마커인식부(300)를 통해 결정된 증강현실 오브젝트를 상기 분석된 지형 정보에 대응하여 변환할 수 있다.

본 발명의 증강현실 장치는 증강현실 인터페이스 및 그와 관련된 정보(예를 들어, 실제 공간에 대한 영상 및/또는 증강현실 오브젝트 등)를 표시하거나, UI(User Interface) 또는 GUI(Graphic User Interface) 등을 디스플레이(또는 표시)하는 디스플레이부(500)를 상기 장치의 내부 또는 외부에 포함할 수 있다.

상기 디스플레이부(500)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중 적어도 어느 하나로 구현될 수도 있으며, 구현 형태에 따라 디스플레이부가 2개 이상 존재할 수도 있다. 예를 들어, 단말(200)에는 외부 디스플레이부와 내부 디스플레이부가 동시에 구비될 수도 있다.

또한, 증강현실 장치는 제어부(200)를 더 포함할 수 있으며, 제어부는 각종 데이터 또는 신호에 대한 처리를 수행하거나 혹은 상기 데이터 또는 신호를 기반으로 증강현실 인터페이스 및/또는 오브젝트에 대한 제어를 수행할 수 있다.

본 발명에서 상기 제어부(200)는. 상기 카메라부(100)를 통해 입력된 실제 공간에 대한 영상의 픽셀 데이터 정보를 추출할 수 있으며, 앞서 언급한 상기 카메라부(100), 상기 마커 인식부(300), 이미지 처리부(400) 및 디스플레이부(500) 각각이 올바르게 동작을 수행할 수 있도록 이들 각각에 대한 제어를 수행할 수 있다.

상기 제어부는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있으며, 상기 제어부는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어 또는 이들의 결합에 의해 구현될 수 있다.

필요한 경우 상기 증강현실 장치는 메모리부를 더 포함할 수 있으며, 상기 제어부(200)는 데이터 또는 신호를 상기 메모리부에 저장할 수도 있으며, 상기 메모리부는 상기 제어부(200)에 연결되어 오퍼레이팅 시스템(operating system), 어플리케이션, 및 일반 파일(general files)들 또한 저장할 수 있다.

한편, 본 발명의 일실시예에 따라 상기 디스플레이부(500)를 비롯한 다양한 장치를 포함하는 상기 증강현실 장치는, 사용자에게 다양한 시청각 자극을 제공하기 위한 다양한 입출력부를 추가적으로 더 포함할 수도 있다.

보다 구체적으로, 상기 증강현실 장치는 사용자 입력부(예를 들어, 카메라, 키보드, 마우스, 조이스틱, 터치 센서 등)와 같은 일반적/표준적인 영상, 신호 입력 장치를 내부 또는 외부에 포함할 수 있으며, 그 외에도 입력 장치인, 자이로 변화, 가속도 변화 등을 이용하여 사용자가 모션으로서 소정의 신호를 물리적으로 입력할 수 있는 물리기반센서 등을 포함하거나 혹은 유/무선 기술을 통해 연결 또는 결합될 수 있다.

아울러, 상기 디스플레이부(500)의 경우, 다양한 증강현실 오브젝트의 시각화를 사용자에게 제공할 수 있으며, 그 뿐만 아니라 사용자에게 입체감 있는 증강현실 오브젝트를 제공하되 현실감 있는 시청각 자극을 제공할 수 있도록, 현재 개발되었거나 향후 개발될 다양한 출력장치(예를 들어, 디스플레이 장치, 음향 장치 등)를 더 포함하고 있을 수 있다.

본 발명에서 상기 증강현실 장치는 물리기반센서를 더 포함할 수 있으며, 상기 물리기반센서는 사용자 또는 영상 내 적어도 하나 이상의 객체에 대한 위치, 움직임, 변화 등을 측정/인식할 수 있으며, 이를 위해 가속도 센서, 자이로 센서, 중력 센서, 자기 센서 또는 온도 센서 중 적어도 하나 이상을 포함하여 이루어질 수 있다.

이 때, 상기 가속도 센서는 지면을 중심으로 객체가 얼마만큼 기울어져 있는지를 측정할 수 있다. 상기 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있으며, 상기 가속도 센서는 중력가속도의 변화를 인식하는 중력 센서를 포함할 수 있다.

한편, 상기 가속도 센서는 액티브센싱(Active Sensing)이 가능한 블루투스 4.2와 같이 블루투스 4.0 이후의 비콘(BLE)을 함께 사용할 경우, 임의의 객체의 특정한 움직임이 있을 경우, 해당 객체가 얼마의 속도로 특정한 움직임을 수행하고 있는 지를 알 수 있게 되어, 이동과 관련하여 정확한 시간 측정 또한 가능할 수 있다.

한편, 상기 자이로 센서는 각속도 또는 회전력을 측정하는 것이 가능한 센서로서, 자이로스코프의 원리를 이용한다. 이 때, 상기 자이로스코프는 중앙의 회전체가 외부의 회전력이 주어졌을 때 자동으로 회전 중심을 세우는 원리를 보여주는 장치로서, 회전체의 복원력은 외부에서 준 회전력과 일치하므로 각속도를 감지할 수 있다.

상기 증강현실 장치는 증강현실 어플리케이션 또는 증강현실 프로그램의 구동에 의해 적어도 하나 이상의 외부 장치와의 연동 없이 증강현실 기능을 실행할 수 있으며, 도 1에 도시되어 있지는 않으나, 통상의 유무선 네트워크를 통해 증강현실 서버 등과 연동하여 일부 기능을 상기 서버와의 연동을 통해 제공하는 것도 가능하다. 예를 들어, 증강현실에 사용되는 다양한 가상 영상은 제공되는 영상의 종류 및 내용에 따라 큰 데이터량을 가지거나 실시간으로 변경될 수 있는데, 이러한 경우에는 가상 영상에 관한 정보를 네트워크를 통해 증강현실 서버로부터 제공받도록 할 수도 있다.

도 2는 본 발명의 일실시예에 따라 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 과정을 설명하기 위한 도면이다.

도 2를 참고하면, 본 발명의 일실시예에 따라 증강현실 장치가 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 과정을 위해, 먼저 실제 공간에 대한 영상을 카메라부를 통해 입력받을 수 있다.

그 후, 상기 증강현실 장치는 상기 카메라를 통해 입력된 실제 공간에 대한 영상의 픽셀 데이터 정보를 추출할 수 있으며, 이 때, 상기 픽셀 데이터 정보는 상기 실제 공간에 대한 영상의 RGB 데이터 정보를 포함하여 이루어질 수 있다.

한편, 상기 실제 공간에 대한 영상의 픽셀 데이터 정보를 추출하면, 상기 증강현실 장치(또는 마커 인식부)는 상기 추출된 픽셀 데이터 정보를 기반으로 마커 정보를 인식하되, 상기 인식된 마커 정보에 대응되는 증강현실 오브젝트를 미리 저장된 데이터베이스를 탐색하여 결정할 수 있다.

상기 결정은 상기 인식된 마커 정보의 특징점을 탐색한 후, 이를 기반으로 상기 미리 저장된 데이터베이스 검색하여 상기 인식된 마커 정보와 대응되는 증강현실 오브젝트를 탐색함에 따라 이루어질 수 있다.

위와 같은 탐색에 따라, 상기 인식된 마커 정보와 대응되는 증강현실 오브젝트를 결정하면, 상기 증강현실 장치는 상기 추출된 픽셀 데이터 정보를 기반으로 상기 실제 공간에 대한 지형 정보 분석을 수행하되, 상기 결정된 증강현실 오브젝트를 상기 분석된 지형 정보에 대응하여 변환할 수 있다.

이 때, 본 발명의 일실시예에 따르면, 상기 지형 정보 분석을 위해 먼저 도 3(a)에 도시된 바와 같이 상기 실제 공간에 대한 영상 내 적어도 하나 이상의 객체 각각에 대한 픽셀의 위치 및 상기 실제 공간 상에서의 상기 적어도 하나 이상의 객체 각각의 위치를 기반으로 하여 카메라 중앙점을 기준으로 하는 상기 영상 내 소실점을 결정할 수 있다.

이 때, 상기 영상 내 소실점 결정을 위해 상기 영상 내 적어도 하나 이상의 객체 각각이 영상 내에서 자리하는 위치를 지평선 라인을 기준으로 하여 고려할 수 있다.

한편, 상기 결정된 소실점의 수직축을 기준으로 하여 상기 영상에 대한 회전(예를 들어, 반시계 방향 등)을 가하면, 도 3(b)에 도시된 바와 같이 상기 영상 내 적어도 하나 이상의 객체 각각에 대한 좌표 변화량을 측정할 수 있으며, 상기 좌표 변화량을 이용하면 도 3(c)에 도시된 바와 같이 상기 영상 내 적어도 하나 이상의 객체 각각에 대하여 실제 공간에 대한 수평 정보, 수직 정보 및 평면 정보를 포함하는 지형 정보를 분석할 수 있다.

한편, 상기 카메라부를 통해 입력된 실제 공간에 대한 영상으로부터 픽셀 데이터 정보를 추출한 후, 이를 기반으로 상기 실제 공간에 대한 지형 정보 분석을 수행하면, 상기 증강현실 장치(또는 이미지 처리부)는 상기 실제 공간에 대한 영상에 합성할 증강현실 오브젝트를 상기 분석된 지형 정보에 대응하여 변환할 수 있다.

이 때, 변환은 상기 증강현실 오브젝트가 상기 실제 공간에 대한 영상 내에서 합성되어 표시될 위치, 크기 및 회전 정도 중 적어도 하나 이상을 상기 분석된 지형 정보(즉, 실제 공간에 대한 수평 정보, 수직 정보 및 평면 정보 등)에 맞게 변환하는 것을 포함하여 이루어질 수 있다.

한편, 상기 증강현실 장치는 상기 변환된 증강현실 오브젝트를 상기 실제 공간에 대한 영상에 합성하여 디스플레이 할 수 있다.

따라서, 본 발명에 의할 경우 상기 증강현실 장치가 실제 영상의 지형정보 인식를 인식하되, 상기 인식된 지형정보를 기반으로 상기 증강현실 오브젝트를 합성하여 표시하는 것이 가능하여, 현실세계와 일치하도록 증강현실 오브젝트를 물리적으로 표현하는 것이 가능하다는 효과가 있을 수 있다.

예를 들어, 상기 증강현실 오브젝트가 시계 또는 네비게이션인 경우, 상기 시계는 수직 벽면에 표시되는 것이 일반적이되, 상기 네비게이션의 경우 수평 평면에 표시되는 것이 사용자에게 용이하게 인식될 수 있으므로, 본 발명에 의하면 상기 시계 또는 네비게이션에 해당하는 증강현실 오브젝트 각각을 상기 인식된 지형정보를 기반으로 하여 수직 벽면 또는 수평 평면에 표시하는 것이 가능할 수 있다.

또한, 본 발명은 앞서 설명한 바와 같이 증강현실 오브젝트를 지형정보를 반영하여 표시되도록 하고 있으며, 이 때 중력센서 또는 자기장 센서와 같은 추가적인 센서를 사용함이 없이 오로지 카메라에 의해 입력된 영상의 픽셀 데이터 정보만을 이용하여 상기 지형정보를 인식할 수 있다는 특장점이 있다.

도 4 및 도 5는 본 발명의 일실시예에 따라 지형정보 인식을 기반으로 증강현실 오브젝트를 표시한 일례를 나타내기 위한 도면이다.

본 발명에서 상기 증강현실 장치가 카메라에 의해 입력된 영상의 픽셀 데이터 정보를 이용하여 실제 공간에 대한 지형정보를 인식할 경우, 도 4에 도시된 바와 같이 별도의 선(line) 및/또는 점(dot) 등을 이용하여 지형 분석 결과(수직, 수평, 평면, 경사도, 면적 등)를 시각적으로 표현할 수 있다.

아울러, 본 발명에서 상기 증강현실 장치는 마커에 등록된 증강현실 오브젝트와 함께 혹은 이를 제거한 상태에서 추가적인 증강현실 오브젝트를 디스플레이 할 수 있으며, 상기 추가적인 증강현실 오브젝트도 상기 지형 인식 결과(또는 지형 분석 결과)를 반영하여 디스플레이 할 수 있다.

즉, 도 5(a)에 도시된 바와 같이 구면체의 형상으로 이루어진 복수의 증강현실 오브젝트를 표시하는 경우, 상기 지형 인식 결과(또는 지형 분석 결과)를 반영하지 않은 상태에서는 상기 구면체의 형상으로 이루어진 복수의 증강현실 오브젝트가 화면 내 깊숙한 방향으로 그대로 떨어져버리는 것으로 디스플레이 될 수 있다.

그러나, 상기 추가적인 증강현실 오브젝트에 상기 지형 인식 결과(또는 지형 분석 결과)를 반영할 경우, 도 5(b)에 도시된 바와 같이 상기 구면체의 형상으로 이루어진 복수의 증강현실 오브젝트가 상기 인식된 지형에 대응하여 반응(예를 들어, 튕김 등)하는 것으로 디스플레이 될 수 있어, 본 발명의 일실시예에 따르면 보다 현실감있는 증강현실 오브젝트의 표현이 가능하다.

한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.

본 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명인 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치는 증강현실 오브젝트를 표시하기 위한 다양한 방법에 적용하는 것이 가능하다.

100: 카메라부
200: 제어부
300: 마커인식부
400: 이미지 처리부
500: 디스플레이부

Claims (2)

1. 증강현실 장치가 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법에 있어서,
   실제 공간에 대한 영상을 카메라를 통해 입력받는 단계;
   상기 카메라를 통해 입력된 실제 공간에 대한 영상의 픽셀 데이터 정보를 추출하는 단계;
   상기 추출된 픽셀 데이터 정보를 기반으로 마커 정보를 인식하되, 상기 인식된 마커 정보에 대응되는 증강현실 오브젝트를 미리 저장된 데이터베이스를 탐색하여 결정하는 단계;
   상기 추출된 픽셀 데이터 정보를 기반으로 상기 실제 공간에 대한 지형 정보 분석을 수행하되, 상기 결정된 증강현실 오브젝트를 상기 분석된 지형 정보에 대응하여 변환하는 단계; 및
   상기 변환된 증강현실 오브젝트를 상기 실제 공간에 대한 영상에 합성하여 디스플레이하는 단계;를 포함하여 이루어지고,
   상기 결정된 증강현실 오브젝트를 상기 분석된 지형 정보에 대응하여 변환하는 단계는
   상기 실제 공간에 대한 영상 내 적어도 하나 이상의 객체 각각에 대한 픽셀의 위치 및 상기 실제 공간 상에서의 상기 적어도 하나 이상의 객체 각각의 위치를 기반으로 하여 상기 카메라 중앙점을 기준으로 하는 상기 영상 내 소실점을 결정하는 단계;
   상기 결정된 소실점의 수직축을 기준으로 하여 상기 영상에 대한 회전을 인식하여 상기 영상 내 적어도 하나 이상의 객체 각각에 대한 좌표 변화량을 측정하는 단계; 및
   상기 좌표 변화량을 이용하여 상기 영상 내 적어도 하나 이상의 객체 각각에 대하여 실제 공간에 대한 수평 정보, 수직 정보 및 평면 정보를 포함하는 지형 정보를 분석하는 단계를 포함하는, 지형정보 인식 기반 증강현실 오브젝트 표시방법.
2. 제 1 항에 있어서,
   상기 영상 내 소실점을 결정 단계는
   상기 영상 내 적어도 하나 이상의 객체 각각이 영상 내에서 자리하는 위치를 지평선 라인을 기준으로 결정하는 지형정보 인식 기반 증강현실 오브젝트 표시방법.
   
   
   

Images