KR20120009638A

KR20120009638A - 미인식 실제객체에 대한 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체

Info

Publication number: KR20120009638A
Application number: KR1020100069727A
Authority: KR
Inventors: 김재형; 홍종철; 이정규
Original assignee: 주식회사 비즈모델라인
Priority date: 2010-07-19
Filing date: 2010-07-19
Publication date: 2012-02-02
Also published as: KR101691565B1

Abstract

본 발명은 미인식 실제객체에 대한 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체에 관한 것으로서, 본 발명에 따른 위치측위 모듈 및 방향측위 모듈이 구비된 증강현실 장치는, 실제현실 획득수단을 통해 실제현실 데이터가 입력되고, 상기 입력된 실제현실 데이터에 포함된 N(N≥1)개의 실제객체(또는 가상객체 표시 위치) 중 n(1≤n≤N)개의 실제객체(또는 가상객체 표시 위치)를 인식하는 실제객체 인식부와, 위치측위 모듈을 통해 확인되는 위치정보와 방향측위 모듈을 통해 확인되는 방향정보를 포함하는 기본정보를 확인하고, 상기 실제현실 획득수단에 대한 상태정보-화각 값 정보와 줌 상태 정보를 하나 이상 포함-를 확인하는 확인부와, 상기 확인된 기본정보와 상태정보를 이용하여 상기 증강현실 장치에 구비된 실제현실 획득수단을 통해 획득 가능한 실제현실 데이터에 포함된 N개의 실제객체(또는 가상객체 표시 위치)를 확인하는 인식가능 실제객체 확인부와, 상기 확인된 N개의 실제객체(또는 가상객체 표시 위치) 중 (N-n)개의 인식되지 않은 실제객체(또는 가상객체 표시 위치)를 확인하는 미인식 실제객체 확인부 및 상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터와 미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리하는 증강현실 표시부를 포함한다.

Description

미인식 실제객체에 대한 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체{Method for Managing Virtual-Object Data about Non-Recognition Reality-Object, Augmented Reality Device and Recording Medium}

본 발명은 증강현실 사용자가 바라보는 방향을 감지하여 오브젝트에 대한 트래킹 정확도를 높이고 도심지와 같이 밀집된 환경에서 정밀한 정보 제공이 가능한 트래킹 방법이다.

오브젝트 이미지를 트래킹해 광범위한 현실세계를 인식하기에는 매우 어렵다. 실외 환경을 정확히 트래킹하기 위해서는 사용자의 증강현실 장치가 바라보고 있는 방향성을 정확히 파악해야 한다.

방향성 트래킹을 위해 지구 자기를 감지해 방위각을 측정하는 지자기 센서를 이용한다. 지자기 센서는 GPS센서와 연동해서 정교한 방위각 측정이 가능하다. 사용자의 위치정보와 방위각을 알 수 있다면, 오브젝트의 이미지 분석과정 없이 사용자가 트래킹 중인 오브젝트가 무엇이고, 어떤 정보를 제공해야 하는지 보다 쉽게 해결할 수 있다.

최근 증강현실 분야에서 실험적인 서비스가 활발히 진행되고 있는 곳은 모바일 분야이다. 모바일 장치는 광범위한 실외에서의 트래킹에 필요한 카메라, 마이크로프로세서, 통신, GPS등을 이미 갖추고 있다. 가장 대표적인 서비스 유형은 사용자가 원하는 목적지를 안내해 주거나. 디지털 맵과 연동하여 현실 세계의 건물 등의 위에 관련 정보를 띄워 주는 서비스 등이 있다.

그러나, 우리는 실외 환경이 얼마나 다양하고 복잡한 구조물들로 이루어진 세계라는 것을 잊지 말아야 한다. 사용자는 원하는 목적지나 주변 정보를 얻기 위해 모바일 장치의 카메라를 들어 사방을 비추게 될 것이다. 사용자가 바라보고 있는 오브젝트들이 무엇인지 알아내 관련 정보를 제공해야 하는 일은 간단한 일이 아니다.

특히 사용자가 원하는 것이 몇 블록이나 떨어져 있어 잘 보이지도 않는 건물에 관한 정보라면, 사용자가 바라보고 있는 오브젝트의 이미지를 인식해 정보를 제공하는 것은 불가능할 수도 있다.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 증강현실 장치를 통해 획득되는 실제현실 데이터를 기반으로 인식되는 가상객체 데이터를 출력하기 위한 실제객체(또는 가상객체 표시 위치) 외, 증강현실 장치가 위치한 맵 데이터 상의 위치와, 상기 증강현실 장치에 구비된 실제현실 획득수단에 대한 방향 및 상태를 확인하여, 인식되지 않은 실제객체(또는 가상객체 표시 위치)를 더 확인하여 가상객체 데이터를 제공하는 방법 및 증강현실 장치에 관한 것이다.

본 발명에 따른 위치측위 모듈 및 방향측위 모듈이 구비된 증강현실 장치는, 실제현실 획득수단을 통해 실제현실 데이터가 입력되고, 상기 입력된 실제현실 데이터에 포함된 N(N≥1)개의 실제객체(또는 가상객체 표시 위치) 중 n(1≤n≤N)개의 실제객체(또는 가상객체 표시 위치)를 인식하는 실제객체 인식부와, 위치측위 모듈을 통해 확인되는 위치정보와 방향측위 모듈을 통해 확인되는 방향정보를 포함하는 기본정보를 확인하고, 상기 실제현실 획득수단에 대한 상태정보-화각 값 정보와 줌 상태 정보를 하나 이상 포함-를 확인하는 확인부와, 상기 확인된 기본정보와 상태정보를 이용하여 상기 증강현실 장치에 구비된 실제현실 획득수단을 통해 획득 가능한 실제현실 데이터에 포함된 N개의 실제객체(또는 가상객체 표시 위치)를 확인하는 인식가능 실제객체 확인부와, 상기 확인된 N개의 실제객체(또는 가상객체 표시 위치) 중 (N-n)개의 인식되지 않은 실제객체(또는 가상객체 표시 위치)를 확인하는 미인식 실제객체 확인부 및 상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터와 미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리하는 증강현실 표시부를 포함한다.

본 발명에 따르면, 현실세계의 오브젝트 이미지를 인식하기 위한 비교/검색할 수 있는 이미지 데이터베이스 구축이 필요 없고, Marker-Less 방식이 인식하기 어려운 실외 환경이나 대형 오브젝트을 트래킹하는데 효과적으로 이용되는 것이 가능하다.

또한, 도심지 등과 같은 건물이 밀집해 있는 도심지에서 효과적인 트래킹이 가능하며, 기존 증강현실 서비스를 이용한 위치기반 서비스의 개선이 가능하고, 길안내, 목적지 찾기 서비스 등에 효과적으로 이용이 가능하다.

도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따라 인식이 곤란한 실제객체(또는 가상객체 표시 위치)를 확인하여 가상객체 데이터를 출력하는 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 인식이 곤란한 실제객체(또는 가상객체 표시 위치)를 확인하여 가상객체 데이터를 출력하는 과정을 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따라 인식이 곤란한 실제객체(또는 가상객체 표시 위치)를 확인하여 가상객체 데이터를 출력하는 예시 화면을 도시한 도면이다.

본 발명에 따른 위치측위 모듈 및 방향측위 모듈이 구비된 증강현실 장치는, 실제현실 획득수단을 통해 실제현실 데이터가 입력되고, 상기 입력된 실제현실 데이터에 포함된 N(N≥1)개의 실제객체(또는 가상객체 표시 위치) 중 n(1≤n≤N)개의 실제객체(또는 가상객체 표시 위치)를 인식하는 실제객체 인식부와, 위치측위 모듈을 통해 확인되는 위치정보와 방향측위 모듈을 통해 확인되는 방향정보를 포함하는 기본정보를 확인하고, 상기 실제현실 획득수단에 대한 상태정보-화각 값 정보와 줌 상태 정보를 하나 이상 포함-를 확인하는 확인부와, 상기 확인된 기본정보와 상태정보를 이용하여 상기 증강현실 장치에 구비된 실제현실 획득수단을 통해 획득 가능한 실제현실 데이터에 포함된 N개의 실제객체(또는 가상객체 표시 위치)를 확인하는 인식가능 실제객체 확인부와, 상기 확인된 N개의 실제객체(또는 가상객체 표시 위치) 중 (N-n)개의 인식되지 않은 실제객체(또는 가상객체 표시 위치)를 확인하는 미인식 실제객체 확인부 및 상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터와 미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리하는 증강현실 표시부를 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 미인식 실제객체에 대한 가상객체 데이터를 출력하는 기능이 구비된 증강현실 장치에 있어서, 상기 증강현실 표시부는, 미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 출력할 위치를 결정하고, 상기 결정된 위치 상에 상기 가상객체 데이터를 출력하는 것을 특징으로 하며, 미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 출력할 위치는, 인식된 n개의 실제객체(또는 가상객체 표시 위치)와 상기 증강현실 장치의 기본정보를 기반으로 결정하는 것을 특징으로 한다.

본 발명에 따른 미인식 실제객체에 대한 가상객체 데이터를 출력하는 기능이 구비된 증강현실 장치에 있어서, 상기 증강현실 표시부는, 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성하고, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고, 상기 실제현실 데이터의 실제객체 위치에 대응하는 가상현실 계층에 가상객체 데이터를 출력하는 것을 특징으로 한다.

본 발명에 따른 미인식 실제객체에 대한 가상객체 데이터를 출력하는 기능이 구비된 증강현실 장치는, 상기 가상현실 계층은, 상기 인식된 n개의 실제객체 위치에 대응하는 가상객체 데이터를 출력하는 인식 가상현실 계층과, 상기 미 인식된 (N-n)개의 실제객체 위치에 대응하는 가상객체 데이터를 출력하는 미인식 가상현실 계층을 포함하여 이루어지는 것을 특징으로 한다.

한편, 본 발명에 따른 위치측위 모듈 및 방향측위 모듈이 구비된 증강현실 장치를 이용한 가상객체 데이터를 출력하는 방법은, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터가 입력되고, 상기 입력된 실제현실 데이터에 포함된 N(N≥1)개의 실제객체(또는 가상객체 표시 위치) 중 n(1≤n≤N)개의 실제객체(또는 가상객체 표시 위치)를 인식하는 단계와, 증강현실 장치에서 위치측위 모듈을 통해 확인되는 위치정보와 방향측위 모듈을 통해 확인되는 방향정보를 포함하는 기본정보를 확인하고, 상기 실제현실 획득수단에 대한 상태정보-화각 값 정보와 줌 상태 정보를 하나 이상 포함-를 확인하는 단계와, 증강현실 장치에서 상기 확인된 기본정보와 상태정보를 이용하여 상기 증강현실 장치에 구비된 실제현실 획득수단을 통해 획득 가능한 실제현실 데이터에 포함된 N개의 실제객체(또는 가상객체 표시 위치)를 확인하는 단계와, 증강현실 장치에서 상기 확인된 N개의 실제객체(또는 가상객체 표시 위치) 중 (N-n)개의 인식되지 않은 실제객체(또는 가상객체 표시 위치)를 확인하는 단계와, 증강현실 장치에서 상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터와 미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

한편, 상기 전술한 미인식 실제객체에 대한 가상객체 데이터 운용방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체를 포함한다.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성요소와 본 발명을 위해 추가된 구성요소 사이의 관계도 명백하게 이해할 수 있을 것이다.

또한, 이하 실시예는 본 발명의 핵심적인 기술적 특징을 효율적으로 설명하기 위해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 명백하게 이해할 수 있도록 용어를 적절하게 변형하여 사용할 것이나, 이에 의해 본 발명이 한정되는 것은 결코 아니다.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.

도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.

보다 상세하게 본 도면1은 증강현실 장치(100)의 현재 위치를 기준으로 증강현실 장치(100)에 구비된 실제현실 획득수단을 통해 획득되는 실제현실 데이터로부터 획득하기 곤란한 실제객체(또는 가상객체 표시 위치)를 인식하고, 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체를 출력하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상객체 데이터를 획득하는 기능, 상기 실제현실 데이터에 포함된 실제객체(또는 가상객체 데이터 표시할 위치 값)를 결정하는 기능 및 상기 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)에 상기 획득된 가상객체 데이터를 표시하여 출력하는 기능 중 적어도 하나의 기능을 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 상기 가상객체 데이터를 획득하는 방식, 상기 실제객체(또는 가상객체 표시 위치)를 결정하는 방식 및 상기 실제현실 데이터 상에 상기 가상객체 데이터를 표시하는 방식에 의해 한정되지 아니한다.

예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 획득되거나, 또는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신되는 것이 가능하다.

또한, 상기 가상객체 데이터는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신되거나, 또는 상기 메모리에 저장되거나 통신망을 통해 수신되는 결합 가능한 폴리곤(Polygon) 데이터에 텍스쳐(Texture) 데이터를 매핑/렌더링하여 실시간 생성되는 것이 가능하다.

또한, 상기 가상객체 데이터는 상기 가상객체 데이터를 제공할 대상 실제객체에 대응하는 실제객체 식별 정보와, 상기 실제객체에 대한 맵 데이터 상의 위치정보를 더 포함하는 것이 가능하다.

또한, 상기 실제현실 데이터에 포함되는 실제객체(또는 가상객체 표시 위치)는 마커 방식과 마커리스 방식 중 어느 하나의 방식을 통해 결정되거나, 또는 상기 실제현실 데이터의 색상/채도 값을 판독하여 결정되는 색상/채도 영역에 대한 기하학적 구조(또는 팔레트 구성)와 실제객체의 기하학적 구조(또는 팔레트 구성)를 인식하여 결정되는 것이 가능하다.

또한, 상기 실제현실 데이터 상에 상기 가상객체 데이터를 표시하는 방식은 상기 실제현실 데이터와 가상객체 데이터를 조합한 하나의 출력 데이터를 생성하여 표시하는 방식, 실제현실 계층(Layer)와 적어도 하나의 가상현실 계층을 구비한 출력 데이터를 구성한 후 상기 출력 데이터의 실제현실 계층에 상기 실제현실 데이터를 출력함과 동시에 적어도 하나의 가상현실 계층에 가상객체 데이터를 표시하는 방식을 적어도 하나 포함되는 것이 가능하다.

만약 상기 실제현실 데이터가 투명 디스플레이에 표시되는 경우, 상기 가상객체 데이터는 상기 실제객체와 관측자의 시선방향이 만나는 투명 디스플레이 위치에 상기 실제객체에 대응하는 가상객체 데이터를 출력하는 형태로 표시될 수 있다.

또한, 상기 증강현실 장치(100)는 상기 장치의 이용 분야와 외형(또는 구조) 및 접속되는 통신망에 의해 한정되지 아니한다.

예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 설치 장치 형태 등으로 구현될 수 있다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(130), 메모리부(190) 및 출력부(105)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(185)를 더 구비하고, 가상객체 데이터를 획득하는 방식에 따라 통신부(115)를 더 구비하고, 가상객체 데이터가 표시될 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)를 결정하는 방식에 따라 센서부(180)를 더 구비하고, 사용자 조작을 위한 조작부(110)를 더 구비하는 것이 가능하다.

또한, 상기 증강현실 장치(100)는 상기 증강현실 장치(100)가 실제현실 데이터를 획득한 위치정보를 제공하는 위치측위 모듈(120)과, 상기 증강현실 장치(100)가 실제현실 데이터를 획득하기 위해 향한 방향정보를 제공하는 방향측위 모듈(125)을 구비한다.

상기 제어부(130)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(130) 내에 도시하여 설명하기로 한다.

상기 메모리부(190)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(130)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.

본 발명의 실시 방법에 따르면, 상기 메모리부(190)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(190)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.

본 발명의 실시 방법에 따르면, 상기 메모리부(190)는 상기 가상객체 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(190)는 상기 가상객체 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.

본 발명의 실시 방법에 따르면, 상기 메모리부(190)는 상기 증강현실 장치(100)를 통해 획득되는 실제현실 데이터를 기반으로 확인이 곤란한 실제객체(또는 가상객체 표시 위치)를 확인하기 위해, 상기 증강현실 장치(100)의 위치를 확인하기 위한 맵 데이터를 저장하는 것이 가능하며, 이 경우 상기 메모리부(190)는 맵 데이터를 획득하는 맵 데이터 획득수단의 기능을 수행하는 것이 가능하다.

상기 출력부(105)는 실제현실 데이터 상의 실제객체에 가상객체 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 디스플레이 중 어느 하나를 포함할 수 있다.

상기 카메라부(185)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 실시간 획득하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 즉, 상기 카메라부(185)는 상기 증강현실 장치(100)에서 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.

본 발명의 실시 방법에 따르면, 상기 카메라부(185)는 상기 센서부(180)와 연동하여 센서 입력에 필요한 특정 데이터만 선택적으로 획득하거나, 또는 이미지(또는 동영상) 형태의 센싱 데이터를 획득하는 센서부(180)의 기능을 수행할 수 있다.

예를들어, 상기 카메라부(185)와 센서부(180)가 연동하는 경우, 상기 카메라부(185)는 상기 센서부(180)가 센싱하는 영역의 실제현실 데이터만 선택적으로 획득할 수 있으며, 이를 위해 상기 카메라부(185)와 센서부(180)의 시선 방향이 일치되도록 설정된다.

또는, 상기 카메라부(185)는 실제현실 데이터를 획득함과 동시에, 상기 실제현실 데이터를 판독하여 지정된 센싱 대상의 이미지(또는 동영상) 데이터를 센싱하는 센서부(180)의 기능을 수행할 수 있다.

상기 통신부(115)는 상기 증강현실 장치(100)가 접속하는 유선(또는 무선) 통신망에 따라 어느 하나의 통신 규격과 프로토콜을 기반으로 상기 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망 상의 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.

본 발명의 실시 방법에 따르면, 상기 통신부(115)는 통신망 상의 서버(또는 장치)로부터 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행하거나, 또는 상기 통신망 상의 서버(또는 장치)에 저장된 가상객체 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.

상기 센서부(180)는 상기 증강현실 장치(100)에 구비된 적어도 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센싱 신호를 획득하여 데이터 처리가 가능한 센싱 데이터로 변환하는 센서모듈을 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득함과 동시에 상기 실제현실 데이터로부터 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 만약 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(180)는 상기 카메라부(185)와 통합될 수 있다.

상기 조작부(110)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 입력모듈을 포함한다. 상기 조작부(110)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(105)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(185) 또는 센서부(180)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.

상기 위치 측위모듈은 상기 증강현실 장치(100)의 이동 위치를 측위하는 GPS 측위모듈로 구성되며, 지구 궤도를 공전하는 적어도 3개 이상의 GPS 위성으로부터 송출되는 위성 신호를 수신하여 상기 증강현실 장치(100)의 이동 위치 정보를 산정한다.

본 발명의 다른 실시 방법에 따르면, 상기 위치 측위모듈은 적어도 두개 이상의 기지국(또는 접속 포인트)과 연계된 통신망 상의 측위장치와 연계하여 상기 증강현실 장치(100)와 기지국(또는 접속 포인트) 간 주파수 도달 시간(또는 도달 각)을 이용하여 지상파 측위 방식으로 상기 증강현실 장치(100)의 위치를 측위하는 지상파 측위모듈을 포함할 수 있다.

본 발명에 따르면, 상기 위치 측위모듈과 근거리 무선 통신모듈 중 적어도 하나의 모듈은 매체에 유지된 데이터에 따라 상기 증강현실 장치(100)의 위치 상태를 확인하는 위치 판별모듈의 기능을 수행한다.

상기 방향 측위모듈은 상기 증강현실 장치(100)가 향하고 있는 방향을 측위하는 지자기센서 모듈로 구성되며, 지구의 자기장을 기반으로 측정하여 상기 증강현실 장치(100)가 향하고 있는 방향을 측위한다.

본 발명의 다른 실시 방법에 따르면, 상기 방향 측위모듈은 상기 증강현실 장치(100)에 구비된 카메라부(185)를 통해 획득되는 실제현실 데이터를 기반으로 실제현실 데이터 상에 포함된 하나 이상의 실제객체(또는 가상객체 표시 위치)를 확인한 후, 상기 확인된 하나 이상의 실제객체(또는 가상객체 표시 위치)를 이용한 증강현실 장치(100)가 향하고 있는 방향을 확인하는 것이 가능하다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 적어도 하나의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(135)와, 상기 실제현실 데이터로부터 상기 실제현실 데이터 상에 포함된 가상객체 데이터를 출력할 N(N>1)개의 실제객체 중 n(1≤n≤N)개의 실제객체를 인식하는 실제객체 인식부(140)를 구비한다.

상기 실제현실 입력부(135)는 상기 카메라부(185)를 통해 실제현실 데이터를 실시간 입력하거나, 또는 상기 메모리부(190)에 저장된 실제현실 데이터를 입력하거나, 또는 상기 통신부(115)를 통해 실제현실 데이터를 수신하며, 상기 입력된 실제현실 데이터는 상기 출력부(105)를 통해 출력되거나 또는 상기 증강현실 표시부(155)로 전달된다.

상기 카메라부(185)를 통해 실제현실 데이터가 입력되면, 상기 실제객체 인식부(140)는 상기 입력된 실제현실 데이터를 판독하여 상기 실제현실 데이터 상에 포함된 N(N≥1)개의 실제객체 중 가상객체 데이터를 출력할 n(1≤n≤N)개의 실제객체(또는 가상객체 표시 위치)를 인식한다.

본 발명의 일 실시 방법에 따르면, 상기 실제객체 인식부(140)는 상기 획득된 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 미리 정의된 마커를 검출하고, 상기 마커가 검출된 위치를 가상객체 데이터를 출력할 n(1≤n≤N)개의 실제객체(또는 가상객체 표시 위치)로 인식하는 것이 가능하며, 상기 마커는 미리 정의된 기호, 부호, 문양 등을 하나 이상 포함하는 것이 가능하다.

본 발명의 다른 일 실시 방법에 따르면, 상기 메모리부(190)는 상기 획득된 실제현실 데이터에 포함된 N(N≥1)개의 실제객체를 인식하는 실제객체 인식 정보를 저장하는 것이 가능하며, 이 경우 상기 실제객체 인식부(140)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 통해 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기하학 구조를 인식하거나 상기 경계선 내의 색상/채도 분포 패턴을 인식한 후, 상기 인식된 기하학 구조와 분포 패턴을 상기 실제객체 인식 정보에 미리 정의된 실제객체들의 기하학 구조와 분포 패턴과 비교하여 상기 획득된 실제현실 데이터에 포함된 N개의 실제객체 중 n개의 실제객체를 인식하는 것이 가능하다.

여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출되는 것이 가능하며, 상기 실제객체 인식 정보는 상기 획득된 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 실제객체가 무엇인지 판별할 수 있도록 미리 정의된 실제객체들의 기하학 구조와 분포 패턴을 포함한다.

본 발명의 또다른 일 실시 방법에 따르면, 상기 실제객체 인식부(140)는 상기 획득된 실제현실 데이터를 상기 마커를 인식하는 서버(또는 장치)로 전송하거나, 또는 상기 실제객체 인식 정보를 구비한 서버(또는 장치)로 전송하여 상기 획득된 실제현실 데이터 상에 상기 가상객체 데이터를 출력할 n개의 실제객체(또는 가상객체 표시 위치)로 인식하는 것이 가능하며, 이때 서버(또는 장치)에서 획득된 실제현실 데이터 상의 상기 마커를 인식한다.

한편, 상기 획득된 실제현실 데이터가 카메라부(185)를 통해 실시간 입력되는 경우, 상기 실제객체 인식부(140)는 상기 센서부(180)와 카메라부(185)의 시선 방향을 일치시킨 후, 상기 카메라부(185)를 통해 입력되는 실제현실 데이터의 좌표계와 상기 센서부(180)를 통해 센싱되는 센싱 신호의 좌표계를 매칭하여 특정 센싱 신호가 검출되는 좌표 값을 가상객체 데이터를 출력할 n개의 실제객체(또는 가상객체 표시 위치)로 인식하는 것이 가능하다.

또는, 상기 획득된 실제현실 데이터가 상기 메모리부(190)에 저장되거나 또는 통신부(115)를 통해 수신되고 상기 획득된 실제현실 데이터에 상기 실제객체 위치를 판별하는 메타 데이터가 포함(또는 링크)된 경우, 상기 실제객체 인식부(140)는 상기 획득된 실제현실 데이터에 포함(또는 링크)된 메타 데이터를 참조하여 상기 가상객체 데이터를 출력할 n개의 실제객체(또는 가상객체 표시 위치)를 인식할 수 있다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 획득된 실제현실 데이터를 기반으로 가상객체 데이터를 출력할 n개의 실제객체(또는 가상객체 표시 위치)가 인식되거나, 또는 상기 카메라부(185)를 통한 실제현실 데이터가 획득되면, 상기 위치측위 모듈(120)에서 제공하는 상기 증강현실 장치(100)의 위치정보와 상기 증강현실 장치(100)가 실제현실 데이터를 획득하기 위한 방향정보를 확인하는 기본정보 확인부(160)와, 상기 실제현실 데이터를 획득한 카메라부(185)의 상태정보를 확인하는 상태정보 확인부(165)와, 상기 확인된 위치정보와 방향정보 및 상태정보를 기반으로 상기 카메라부(185)를 통해 획득 실제현실 상에서 획득 가능한 N(N≥1)개의 실제객체(또는 가상객체 표시 위치)를 확인하는 인식가능 실제객체 확인부(170)와, 상기 확인된 N개의 실제객체(또는 가상객체 표시 위치) 중 상기 획득된 실제현실 데이터를 기반으로 확인된 n개의 실제객체(또는 가상객체 표시 위치)를 제외한 (N-n)개의 실제객체(또는 가상객체 표시 위치)를 확인하는 미인식 실제객체 확인부(175)를 구비한다.

상기 획득된 실제현실 데이터를 기반으로 가상객체 데이터를 출력할 n개의 실제객체(또는 가상객체 표시 위치)가 인식되거나, 또는 상기 카메라부(185)를 통한 실제현실 데이터가 획득되면, 상기 기본정보 확인부(160)는 상기 위치측위 모듈(120)에서 제공하는 상기 증강현실 장치(100)의 위치정보와 상기 증강현실 장치(100)가 실제현실 데이터를 획득하기 위한 방향정보를 확인한다.

본 발명의 실시 방법에 따르면, 상기 증강현실 장치(100)의 위치정보 확인은, 상기 위치측위 모듈(120)이 GPS(Global Positioning System) 모듈인 경우, 상기 위치측위 모듈(120)이 제공하는 GPS 정보를 이용하여 위치정보를 확인함으로써, 상기 증강현실 장치(100)의 위치정보를 확인한다.

본 발명의 다른 실시 방법에 따르면, 상기 증강현실 장치(100)의 위치정보 확인은, 상기 획득된 실제현실 데이터와 상기 증강현실 장치(100)에 구비된 카메라부(185)의 상태정보(예를들어, 줌 상태, 화각 등을 포함하는 상태정보)을 확인한 후, 상기 확인된 상태정보를 기반으로 상기 실제현실 데이터를 획득하기 위한 증강현실 장치(100)의 위치를 확인함으로써, 상기 증강현실 장치(100)의 위치정보를 확인한다.

상기 기본정보 확인부(160)를 통해 상기 증강현실 장치(100)의 위치정보와 방향정보를 획득함과 동시(또는 이후 또는 이전)에 상기 상태정보 확인부(165)는 상기 실제현실 데이터를 획득한 카메라부(185)의 상태정보를 확인한다.

본 발명의 실시 방법에 따르면, 상기 실제현실 데이터를 획득한 카메라부(185)의 상태정보 확인은, 상기 증강현실 장치(100)에 구비된 카메라부(185)와 연결된 렌즈의 상태 및 렌즈의 품명(이탈착이 가능한 별도 장치인 경우)를 확인하여, 렌즈의 화각 값을 확인하고, 렌즈가 제공하는 줌 상태 정보를 이용하거나, 또는 렌즈를 제어하는 카메라부(185)로부터 줌 상태 정보를 수신하여, 상기 실제현실 데이터를 획득한 카메라부(185)의 상태정보를 확인한다.

여기서, 상기 렌즈가 이탈착이 불가능한 장치인 경우 상기 증강현실 장치(100)에 대한 정보를 확인한 후, 상기 확인된 증강현실 장치(100)에 대한 정보를 기반으로 화각 값을 확인하는 것이 가능하다.

상기 기본정보 확인부(160)를 통해 상기 증강현실 장치(100)의 위치정보와 방향정보가 획득되고, 상기 상태정보 확인부(165)를 통해 상기 실제현실 데이터를 획득한 증강현실 장치(100)의 카메라부(185)에 대한 상태정보가 확인되면, 상기 인식가능 실제객체 확인부(170)는 상기 확인된 위치정보와 방향정보 및 상기 증강현실 장치(100)의 카메라부(185)에 대한 상태정보를 기반으로 상기 카메라부(185)를 통해 획득 가능한 실제현실 데이터 판독을 통해 확인 가능한 N(N≥1)개의 실제객체(또는 가상객체 표시 위치)를 확인한다.

본 발명의 실시 방법에 따르면, 상기 실제현실 데이터 판독을 통해 확인 가능한 N(N≥1)개의 실제객체(또는 가상객체 표시 위치)는, 상기 확인된 위치정보와 방향정보를 기반으로 맵 데이터 상에서 증강현실 장치(100)의 위치 및 방향을 확인하고, 상기 확인된 증강현실 장치(100)의 위치 및 방향을 기반으로 상기 카메라부(185)에 대한 상태정보를 적용하여 획득 가능한 실제현실 데이터 범위를 확인한 후, 상기 확인된 획득 가능한 실제현실 데이터 범위 상에 포함된 실제객체(또는 가상객체 표시 위치)를 확인함으로써, 상기 실제현실 데이터 판독을 통해 확인 가능한 N(N≥1)개의 실제객체(또는 가상객체 표시 위치)를 확인한다.

여기서, 상기 실제현실 데이터 판독을 통해 확인 가능한 N(N≥1)개의 실제객체(또는 가상객체 표시 위치)는, 상기 확인된 위치정보와 방향정보 및 상기 증강현실 장치(100)의 카메라부(185)에 대한 상태정보를 통신망 상의 가상객체 데이터를 제공하는 서버로 전송하여 수신하는 것이 가능하다.

상기 인식가능 실제객체 확인부(170)를 통해 상기 카메라부(185)를 통해 획득 가능한 실제현실 데이터 판독을 통해 확인 가능한 N(N≥1)개의 실제객체(또는 가상객체 표시 위치)가 확인되면, 상기 미인식 실제객체 확인부(175)는 상기 확인된 N개의 실제객체(또는 가상객체 표시 위치) 중 상기 획득된 실제현실 데이터를 기반으로 확인된 n개의 실제객체(또는 가상객체 표시 위치)를 제외한 (N-n)개의 실제객체(또는 가상객체 표시 위치)를 확인한다.

여기서, 상기 미인식 실제객체 확인부(175)는 생략되는 것이 가능하며, 이 경우 상기 확인된 N개의 실제객체(또는 가상객체 표시 위치)를 확인함으로써, 상기 획득된 실제현실 데이터를 기반으로 확인된 n개의 실제객체(또는 가상객체 표시 위치)와 인식되지 못한 (N-n)개의 실제객체(또는 가상객체 표시 위치)를 확인하는 것이 가능하다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 n개의 실제객체(또는 가상객체 표시 위치)와 (N-n)개의 실제객체(또는 가상객체 표시 위치) 중 하나 이상에 표시할 가상객체 데이터를 결정하는 가상객체 결정부(145)와, 적어도 하나의 가상현실 획득수단을 통해 상기 결정된 가상객체 데이터를 입력하는 가상객체 입력부(150)와, 상기 가상객체 데이터를 상기 실제현실 데이터 상의 n개의 실제객체(또는 가상객체 표시 위치)와 (N-n)개의 실제객체(또는 가상객체 표시 위치) 중 하나 이상에 표시하여 상기 출력부(105)를 통해 출력하는 증강현실 표시부(155)를 구비한다.

상기 가상객체 결정부(145)는 상기 실제현실 데이터로부터 검출된 n개의 실제객체(또는 가상객체 표시 위치)와 상기 증강현실 장치(100)의 위치정보 및 방향정보와 카메라부(185)의 상태정보를 확인하여 검출된 (N-n)개의 실제객체(또는 가상객체 표시 위치) 중 하나 이상에 표시할 가상객체 데이터를 결정한다.

만약 상기 실제현실 데이터 상의 n개의 실제객체(또는 가상객체 표시 위치)와 미인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치) 중 하나 이상에 표시할 가상객체 데이터가 어느 하나의 가상객체 데이터로 고정되는 경우, 상기 가상객체 결정부(145)는 상기 고정된 상기 실제객체 인식부(140)를 통해 인식된 n개의 실제객체(또는 가상객체 표시 위치)와 상기 미인식 실제객체 확인부(175)를 통해 확인된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.

본 발명의 일 실시 방법에 따르면, 상기 n개의 실제객체(또는 가상객체 표시 위치)가 마커를 통해 인식된 경우, 상기 가상객체 결정부(145)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 n개의 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정하는 것이 가능하다.

만약, 상기 마커에 상기 가상객체 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상객체 결정부(145)는 상기 실제객체 인식부(140)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 n개의 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.

본 발명의 다른 일 실시 방법에 따르면, 상기 가상객체 결정부(145)는 상기 실제객체 인식부(140)를 통해 인식된 n개의 실제객체(또는 가상객체 표시 위치)의 모양/형태/색상/구조를 판독하여 상기 n개의 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.

또는 상기 실제현실 데이터에 상기 가상객체 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 실제객체 인식부(140)를 통해 인식된 n개의 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.

한편, 상기 실제현실 데이터가 메모리부(190)에 저장되어 있거나 또는 통신부(115)를 통해 수신되고 상기 실제현실 데이터에 상기 실제객체 인식부(140)를 통해 인식된 n개의 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정하는 메타 데이터가 포함(또는 링크)된 경우, 상기 가상객체 결정부(145)는 상기 메타 데이터를 참조하여 상기 n개의 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.

상기 가상객체 입력부(150)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상객체 데이터 중 상기 가상객체 결정부(145)를 통해 결정된 가상객체 데이터를 상기 실제현실 데이터를 기반으로 인식된 n개의 실제객체(또는 가상객체 표시 위치)와 (N-n)개의 미인식된 실제객체(또는 가상객체 표시 위치) 중 하나 이상에 표시할 가상객체 데이터로 입력한다.

상기 증강현실 표시부(155)는 상기 실제현실 입력부(135)를 통해 입력되는 실제현실 데이터 상의 n개의 실제객체(또는 가상객체 표시 위치)와 미인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치) 중 하나 이상에 상기 가상객체 입력부(150)를 통해 입력되는 가상객체 데이터를 표시한 후, 상기 출력부(105)를 통해 출력한다.

본 발명의 일 실시 방법에 따르면, 상기 증강현실 표시부(155)는 상기 실제현실 데이터 상의 n개의 실제객체(또는 가상객체 표시 위치)와 미인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치) 중 하나 이상에 투명영역을 포함하는 가상객체 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(105)를 통해 출력할 수 있다.

본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 표시부(155)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 실제객체 위치에 대응하는 가상현실 계층에 가상객체 데이터를 출력하여 상기 출력부(105)를 통해 출력하는 것이 가능하다.

여기서, 상기 실제현실 계층은 실제현실 데이터를 기반으로 인식된 n개의 실제객체(또는 가상객체 표시 위치)를 표시하는 인식된 실제현실 계층과, 미인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)를 표시하는 미인식된 실제현실 계층으로 분리되는 것이 가능하며, 이 경우 상기 가상현실 계층은 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터를 출력하는 인식 가상현실 계층과 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터를 출력하는 미인식 가상현실 계층으로 분리 운영되는 것이 가능하다.

본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(105)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 표시부(155)는 상기 실제객체 인식부(140)를 통해 결정된 투명 디스플레이 상의 실제객체 위치(또는 가상객체 표시 위치)에 상기 가상객체 데이터만 표시하여 출력할 수 있다.

여기서, 상기 맵 데이터 및 상기 인식된 n개의 실제객체(또는 가상객체 표시 위치)를 기반으로 미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터를 출력할 위치를 결정하고, 상기 결정된 위치 상에 상기 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터를 출력하는 것이 가능하다.

도면2는 본 발명의 실시 방법에 따라 인식이 곤란한 실제객체(또는 가상객체 표시 위치)를 확인하여 가상객체 데이터를 출력하는 과정을 도시한 도면이다.

보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에서 증강현실 장치(100)의 현재 위치를 기준으로 증강현실 장치(100)에 구비된 실제현실 획득수단을 통해 획득되는 실제현실 데이터로부터 획득하기 곤란한 실제객체(또는 가상객체 표시 위치)를 인식하고, 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체를 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 인식이 곤란한 실제객체(또는 가상객체 표시 위치)를 확인하여 가상객체 데이터를 출력하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면2를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 적어도 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 입력하고(200), 상기 입력된 실제현실 데이터를 기반으로 상기 입력된 실제현실 데이터 상에 포함된 N(N≥1)개의 실제객체(또는 가상객체 표시 위치) 중 n(1≤n≤N)개의 실제객체(또는 가상객체 표시 위치)를 인식한다(205).

만약, 상기 입력된 실제현실 데이터를 기반으로 상기 입력된 실제현실 데이터 상에 포함된 N(N≥1)개의 실제객체(또는 가상객체 표시 위치) 중 n(1≤n≤N)개의 실제객체(또는 가상객체 표시 위치)가 인식되면(210), 상기 증강현실 장치(100)는 상기 증강현실 장치(100) 상에 구비된 위치 측위모듈을 통해 상기 증강현실 장치(100)에 대한 위치정보를 확인한다(215).

만약, 상기 증강현실 장치(100) 상에 구비된 위치 측위모듈을 통해 상기 증강현실 장치(100)에 대한 위치정보가 확인되지 않는 경우(220), 상기 증강현실 장치(100)는 상기 위치 측위모듈을 통한 증강현실 장치(100)에 대한 위치정보 확인 오류정보를 생성(또는 추출)하여 출력되도록 처리하거나, 또는 상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리한다.

반면, 상기 증강현실 장치(100) 상에 구비된 위치 측위모듈을 통해 상기 증강현실 장치(100)에 대한 위치정보가 확인되면(220), 상기 증강현실 장치(100)는 상기 증강현실 장치(100) 상에 구비된 방향 측위모듈을 통해 상기 증강현실 장치(100)에 대한 방향정보를 확인한다(225).

여기서, 상기 확인되는 방향정보는 상기 증강현실 장치(100) 상에 구비된 실제현실 획득수단이 향하고 있는 방향정보를 포함하는 것이 가능하다.

만약, 상기 증강현실 장치(100) 상에 구비된 방향 측위모듈을 통해 상기 증강현실 장치(100)에 대한 방향정보가 확인되지 않는 경우(230), 상기 증강현실 장치(100)는 상기 방향 측위모듈을 통한 증강현실 장치(100)에 대한 방향정보 확인 오류정보를 생성(또는 추출)하여 출력되도록 처리하거나, 또는 상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리한다.

반면, 상기 증강현실 장치(100) 상에 구비된 방향 측위모듈을 통해 상기 증강현실 장치(100)에 대한 방향정보가 확인되면(230), 상기 증강현실 장치(100)는 상기 증강현실 장치(100) 상에 구비된 실제현실 획득수단에 대한 상태정보를 확인한다(235).

여기서, 상기 실제현실 획득수단은 일반적으로 정지영상 및/또는 동영상 데이터의 획득이 가능한 카메라를 포함하는 것이 가능하며, 이 경우 상기 상태정보는 상기 카메라에 대한 줌 상태와 화각 값을 포함하는 것이 가능하다.

도면3은 본 발명의 실시 방법에 따라 인식이 곤란한 실제객체(또는 가상객체 표시 위치)를 확인하여 가상객체 데이터를 출력하는 과정을 도시한 도면이다.

도면3을 참조하면, 상기 도면2에 도시된 과정에 따라 상기 도면1에 도시된 증강현실 장치(100)에 대한 위치정보 및 방향정보가 확인되고, 상기 증강현실 장치(100)에 구비된 실제현실 획득수단에 대한 상태정보가 확인되면, 상기 증강현실 장치(100)는 상기 증강현실 장치(100)가 위치한 위치정보 및 방향정보를 기반으로 맵 데이터 상의 증강현실 장치(100)에 대한 위치 및 방향을 확인하고, 상기 상태정보를 기반으로 획득 가능한 N(N≥1)개의 실제객체(또는 가상객체 표시 위치)를 확인한다(300).

여기서, 상기 증강현실 장치(100)에 구비된 실제현실 획득수단에 대한 상태정보가 확인되지 않는 경우, 상기 증강현실 장치(100)는 상기 상태정보 확인 오류정보를 생성(또는 추출)하여 출력되도록 처리하거나, 또는 상기 도면2에 도시된 과정에 따라 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리하는 것이 가능하다.

만약, 상기 증강현실 장치(100)에 대한 위치정보, 방향정보, 상태정보를 기반으로 획득 가능한 N개의 실제객체(또는 가상객체 표시 위치)가 확인지 않는다면(305), 상기 증강현실 장치(100)는 상기 도면2에 도시된 과정에 따라 입력된 실제현실 데이터를 기반으로 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터를 확인하고(320), 상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터가 출력되도록 처리한다(335).

반면, 상기 증강현실 장치(100)에 대한 위치정보, 방향정보, 상태정보를 기반으로 획득 가능한 N개의 실제객체(또는 가상객체 표시 위치)가 확인되면(305), 상기 증강현실 장치(100)는 상기 도면2에 도시된 과정에 따라 입력된 실제현실 데이터를 통해 인식된 n개의 실제객체(또는 가상객체 표시 위치)를 제외한 (N-n)개의 실제객체(또는 가상객체 표시 위치)를 확인한다(310).

만약, 상기 도면2에 도시된 과정에 따라 입력된 실제현실 데이터를 통해 인식된 n개의 실제객체를 제외한 (N-n)개의 실제객체(또는 가상객체 표시 위치)가 확인되지 않는 경우(315), 상기 증강현실 장치(100)는 상기 도면2에 도시된 과정에 따라 입력된 실제현실 데이터를 기반으로 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터를 확인하고(320), 상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터가 출력되도록 처리한다(335).

반면, 상기 도면2에 도시된 과정에 따라 입력된 실제현실 데이터를 통해 인식된 n개의 실제객체를 제외한 (N-n)개의 실제객체(또는 가상객체 표시 위치)가 확인되는 경우(315), 상기 증강현실 장치(100)는 n개의 실제객체(또는 가상객체 표시 위치)에 대한 화면 표시 위치와 맵 데이터 상에 포함된 N개의 실제객체(또는 가상객체 표시 위치)에서 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 화면 표시 위치를 결정하고(325), 상기 n개의 실제객체(또는 가상객체 표시 위치)와 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 확인한 후(330), 상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터와 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터가 출력되도록 처리한다(335).

도면4는 본 발명의 실시 방법에 따라 인식이 곤란한 실제객체(또는 가상객체 표시 위치)를 확인하여 가상객체 데이터를 출력하는 예시 화면을 도시한 도면이다.

보다 상세하게 본 도면4는 본 발명의 실시 방법에 따라 상기 도면1에 도시된 증강현실 장치(100)를 통해 실제현실 데이터를 획득하고, 획득된 실제현실 데이터를 이용한 실제객체(또는 가상객체 표시 위치)를 결정하는 예시 화면에 대한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 인식이 곤란한 실제객체(또는 가상객체 표시 위치)를 확인하여 가상객체 데이터를 출력하는 예시 화면에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면4를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)가 Madison Square Park 건너편 쪽에 위치하고, 상기 증강현실 장치(100)를 통해 획득한 실제현실 데이터를 기반으로 사용자가 확인하고자 하는 가상객체 데이터가 E 25th St와 E 24th St에 위치한 경우, Madison Square Park로 인해 증강현실 장치(100)가 획득하는 실제 데이터는 나무 등의 객체로 인해 가려지거나, 또는 먼 거리로 인해 제대로 실제현실 데이터가 획득되지 않을 수 있다.

이 경우, 제대로 획득되지 못한 실제현실 데이터로 인해 상기 실제현실 데이터를 기반으로 확인되는 실제객체(또는 가상객체 표시 위치)는 일부 인식되지 않을 수 있다.

이를 방지하기 위해, 상기 증강현실 장치(100)에 대한 맵 데이터 상의 위치정보(즉, 증강현실 장치(100)가 위치한 맵 데이터 상의 위치)와, 상기 증강현실 장치(100)에 구비된 실제현실 획득수단의 방향정보를 확인하고, 상기 실제현실 획득수단에 대한 상태정보를 확인한 후, 상기 확인된 위치정보, 방향정보, 상태정보를 기반으로 획득 가능한 실제현실 데이터에 대한 실제객체(또는 가상객체 표시 위치)를 확인하여 인식되지 않은 실제객체(또는 가상객체 표시 위치)를 확인한 후, 인식되지 않은 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 한다.

100 : 증강현실 장치
105 : 출력부
110 : 조작부
115 : 통신부
120 : 위치측위 모듈
125 : 방향측위 모듈
130 : 제어부
135 : 실제현실 입력부
140 : 실제객체 인식부
145 : 가상객체 결정부
150 : 가상객체 입력부
155 : 증강현실 표시부
160 : 기본정보 확인부
165 : 상태정보 확인부
170 : 인식가능 실제객체 확인부
175 : 미인식 실제객체 확인부
180 : 센서부
185 : 카메라부
190 : 메모리부

Claims

위치측위 모듈 및 방향측위 모듈이 구비된 증강현실 장치에 있어서,
실제현실 획득수단을 통해 실제현실 데이터가 입력되고, 상기 입력된 실제현실 데이터에 포함된 N(N≥1)개의 실제객체(또는 가상객체 표시 위치) 중 n(1≤n≤N)개의 실제객체(또는 가상객체 표시 위치)를 인식하는 실제객체 인식부;
위치측위 모듈을 통해 확인되는 위치정보와 방향측위 모듈을 통해 확인되는 방향정보를 포함하는 기본정보를 확인하고, 상기 실제현실 획득수단에 대한 상태정보-화각 값 정보와 줌 상태 정보를 하나 이상 포함-를 확인하는 확인부;
상기 확인된 기본정보와 상태정보를 이용하여 상기 증강현실 장치에 구비된 실제현실 획득수단을 통해 획득 가능한 실제현실 데이터에 포함된 N개의 실제객체(또는 가상객체 표시 위치)를 확인하는 인식가능 실제객체 확인부;
상기 확인된 N개의 실제객체(또는 가상객체 표시 위치) 중 (N-n)개의 인식되지 않은 실제객체(또는 가상객체 표시 위치)를 확인하는 미인식 실제객체 확인부; 및
상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터와 미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리하는 증강현실 표시부;를 포함하여 이루어지는 것을 특징으로 하는 미인식 실제객체에 대한 가상객체 데이터를 출력하는 기능이 구비된 증강현실 장치.
제 1항에 있어서, 상기 증강현실 표시부는,
미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 출력할 위치를 결정하고, 상기 결정된 위치 상에 상기 가상객체 데이터를 출력하는 것을 특징으로 하며,
미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 출력할 위치는, 인식된 n개의 실제객체(또는 가상객체 표시 위치)와 상기 증강현실 장치의 기본정보를 기반으로 결정하는 것을 특징으로 하는 미인식 실제객체에 대한 가상객체 데이터를 출력하는 기능이 구비된 증강현실 장치.
제 1항에 있어서, 상기 증강현실 표시부는,
실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성하고, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고, 상기 실제현실 데이터의 실제객체 위치에 대응하는 가상현실 계층에 가상객체 데이터를 출력하는 것을 특징으로 하는 미인식 실제객체에 대한 가상객체 데이터를 출력하는 기능이 구비된 증강현실 장치.
제 3항에 있어서,
상기 가상현실 계층은, 상기 인식된 n개의 실제객체 위치에 대응하는 가상객체 데이터를 출력하는 인식 가상현실 계층과, 상기 미 인식된 (N-n)개의 실제객체 위치에 대응하는 가상객체 데이터를 출력하는 미인식 가상현실 계층을 포함하여 이루어지는 것을 특징으로 하는 미인식 실제객체에 대한 가상객체 데이터를 출력하는 기능이 구비된 증강현실 장치.
위치측위 모듈 및 방향측위 모듈이 구비된 증강현실 장치를 이용한 가상객체 데이터를 출력하는 방법에 있어서,
증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터가 입력되고, 상기 입력된 실제현실 데이터에 포함된 N(N≥1)개의 실제객체(또는 가상객체 표시 위치) 중 n(1≤n≤N)개의 실제객체(또는 가상객체 표시 위치)를 인식하는 단계;
증강현실 장치에서 위치측위 모듈을 통해 확인되는 위치정보와 방향측위 모듈을 통해 확인되는 방향정보를 포함하는 기본정보를 확인하고, 상기 실제현실 획득수단에 대한 상태정보-화각 값 정보와 줌 상태 정보를 하나 이상 포함-를 확인하는 단계;
증강현실 장치에서 상기 확인된 기본정보와 상태정보를 이용하여 상기 증강현실 장치에 구비된 실제현실 획득수단을 통해 획득 가능한 실제현실 데이터에 포함된 N개의 실제객체(또는 가상객체 표시 위치)를 확인하는 단계;
증강현실 장치에서 상기 확인된 N개의 실제객체(또는 가상객체 표시 위치) 중 (N-n)개의 인식되지 않은 실제객체(또는 가상객체 표시 위치)를 확인하는 단계;
증강현실 장치에서 상기 확인된 n개의 실제객체(또는 가상객체 표시 위치)에 대응하는 가상객체 데이터와 미 인식된 (N-n)개의 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터가 출력되도록 처리하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 미인식 실제객체에 대한 가상객체 데이터 운용방법.
제 5항의 방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체.