KR20120026711A - 오디오 객체 출력 방법 및 이를 위한 증강현실 장치 - Google Patents

Abstract

본 발명은 오디오 객체 출력 방법 및 이를 위한 증강현실 장치에 관한 것으로, 본 발명에 따른 오디오 객체를 출력하는 증강현실 장치는, 카메라부를 통해 현실세계의 실제현실 데이터가 획득되면, 상기 실제현실 데이터에 존재하는 하나 이상의 현실세계 객체를 인식하는 객체 인식부와, 비디오 출력부를 통해 상기 인식된 하나 이상의 객체와 연관된 가상객체 데이터를 상기 인식된 객체(또는 가상객체 표시 위치)에 표시하는 증강현실 표시부와, 상기 실제현실 데이터 상에 오직 하나의 인식 가능한 객체(또는 가상객체)만 표시하도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 이벤트 확인부와, 상기 이벤트에 의해 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되는지 확인하는 오디오 출력 결정부와, 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되면, 상기 표시된 하나의 객체(또는 가상객체)와 연관된 오디오 객체가 존재하는지 확인하는 오디오 객체 확인부와, 상기 오디오 객체가 확인되면, 오디오 출력부를 통해 상기 확인된 오디오 객체가 출력되도록 처리하는 오디오 객체 출력부를 구비한다.

Description

오디오 객체 출력 방법 및 이를 위한 증강현실 장치{ Method for Outputting Audio-Object, Augmented Reality Device}

본 발명은 카메라부를 통해 획득된 실제현실 데이터 상에 하나 이상의 현실세계 객체가 인식되거나 또는 하나 이상의 객체(또는 가상객체 표시 위치)에 가상객체가 표시된 상태에서, 카메라 조작을 통해 상기 실제현실 데이터 상에 오직 하나의 현실세계 객체가 인식되거나 또는 오직 하나의 가상객체가 표시되면, 상기 현실세계 객체(또는 가상객체)와 연관된 오디오 객체를 출력하는 방법 및 증강현실 장치에 관한 것이다.

정보통신 기술의 발전으로 인해, 휴대폰 등의 무선단말은 종래의 단순한 통화기능을 뛰어넘어, 다양한 서비스를 제공하고 있는 실정이다.

그 중에서 현재도 끊임없는 이슈가 발생되고 있는 분야는 증강현실(Augmented Reality)로서, 무선단말 상에 구비된 실제현셀 데이터를 획득하는 장치(예를들어, 카메라 등)를 통해 실제객체 데이터를 획득한 후, 획득된 실제객체 데이터 상에 포함된 각종 표식 등을 이용한 가상객체 데이터를 출력할 위치를 확인하여, 무선단말을 통해 제공하는 방법을 통해, 사용자가 해당 위치에 대한 더욱 자세한 정보의 획득이 가능하도록 해주고 있다.

하지만, 현재 서비스되고 있는 방법은 단순한 텍스트 등의 그래픽 데이터를 위주로 하고 있으며, 이러한 이유로 특정 객체에 대한 오디오 객체 데이터를 제공하는 방법은 전무한 상태이다.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 카메라부를 통해 획득된 실제현실 데이터 상에 하나 이상의 현실세계 객체가 인식되거나 또는 하나 이상의 객체(또는 가상객체 표시 위치)에 가상객체가 표시된 상태에서, 카메라 조작을 통해 상기 실제현실 데이터 상에 오직 하나의 현실세계 객체가 인식되거나 또는 오직 하나의 가상객체가 표시되면, 상기 현실세계 객체(또는 가상객체)와 연관된 오디오 객체를 출력 방법 및 증강현실 장치에 관한 것이다.

본 발명에 따른 오디오 객체를 출력하는 증강현실 장치는, 카메라부를 통해 현실세계의 실제현실 데이터가 획득되면, 상기 실제현실 데이터에 존재하는 하나 이상의 현실세계 객체를 인식하는 객체 인식부와, 비디오 출력부를 통해 상기 인식된 하나 이상의 객체와 연관된 가상객체 데이터를 상기 인식된 객체(또는 가상객체 표시 위치)에 표시하는 증강현실 표시부와, 상기 실제현실 데이터 상에 오직 하나의 인식 가능한 객체(또는 가상객체)만 표시하도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 이벤트 확인부와, 상기 이벤트에 의해 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되는지 확인하는 오디오 출력 결정부와, 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되면, 상기 표시된 하나의 객체(또는 가상객체)와 연관된 오디오 객체가 존재하는지 확인하는 오디오 객체 확인부와, 상기 오디오 객체가 확인되면, 오디오 출력부를 통해 상기 확인된 오디오 객체가 출력되도록 처리하는 오디오 객체 출력부를 구비한다.

본 발명에 따르면, 상기 오디오 객체를 출력하는 증강현실 장치에서 상기 이벤트 확인부는 상기 오디오 객체가 출력되는 동안, 상기 실제현실 데이터 상에 복수의 인식 가능한 객체(또는 가상객체)가 표시되도록 카메라를 조작하는 이벤트가 발생하는지 확인하고, 상기 오디오 객체 출력부는 상기 실제현실 데이터 상에 복수의 객체(또는 가상객체)만 표시되면, 상기 출력되는 오디오 객체의 출력을 중지할 수 있다.

본 발명에 따르면, 상기 오디오 객체를 출력하는 증강현실 장치에서 상기 이벤트 확인부는 상기 오디오 객체와 연관된 오직 하나의 객체(또는 가상객체)가 오직 하나의 다른 제2 객체(또는 가상객체)로 변경하도록 카메라를 조작하는 이벤트가 발생하는지 확인하고, 상기 오디오 객체 확인부는 상기 오디오 객체와 연관된 객체(또는 가상객체)가 상기 제2 객체(또는 가상객체)로 변경되면, 상기 변경된 제2 객체(또는 가상객체)와 연관된 제2 오디오 객체가 존재하는지 확인하고, 상기 오디오 객체 출력부는 상기 제2 오디오 객체가 확인되면, 상기 확인된 제2 오디오 객체가 출력되도록 처리할 수 있다.

본 발명에 따른 오디오 객체 출력 방법은, 실제현실 데이터를 입력하는 카메라부와 비디오 출력부 및 오디오 출력부를 구비한 증강현실 장치의 오디오 객체 출력 방법에 있어서, 상기 카메라부를 통해 현실세계의 실제현실 데이터가 획득되면, 상기 실제현실 데이터에 존재하는 하나 이상의 현실세계 객체를 인식하는 단계와, 상기 비디오 출력부를 통해 상기 인식된 하나 이상의 객체와 연관된 가상객체 데이터를 상기 인식된 객체(또는 가상객체 표시 위치)에 표시하는 단계와, 상기 실제현실 데이터 상에 오직 하나의 인식 가능한 객체(또는 가상객체)만 표시하도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 단계와, 상기 이벤트에 의해 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되는지 확인하는 단계와, 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되면, 상기 표시된 하나의 객체(또는 가상객체)와 연관된 오디오 객체가 존재하는지 확인하는 단계와, 상기 오디오 객체가 확인되면, 오디오 출력부를 통해 상기 확인된 오디오 객체가 출력되도록 처리하는 단계를 포함한다.

본 발명에 따르면, 상기 오디오 객체 출력 방법은, 상기 오디오 객체가 출력되는 동안, 상기 실제현실 데이터 상에 복수의 인식 가능한 객체(또는 가상객체)가 표시되도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 단계와, 상기 실제현실 데이터 상에 복수의 객체(또는 가상객체)만 표시되면, 상기 출력되는 오디오 객체의 출력을 중지하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 상기 오디오 객체 출력 방법은, 상기 오디오 객체가 출력되면, 상기 오디오 객체와 연관된 오직 하나의 객체(또는 가상객체)가 오직 하나의 다른 제2 객체(또는 가상객체)로 변경하도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 단계와, 상기 오디오 객체와 연관된 객체(또는 가상객체)가 상기 제2 객체(또는 가상객체)로 변경되면, 상기 변경된 제2 객체(또는 가상객체)와 연관된 제2 오디오 객체가 존재하는지 확인하는 단계와, 상기 제2 오디오 객체가 확인되면, 상기 확인된 제2 오디오 객체가 출력되도록 처리하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 실제현실 데이터 상에 포함된 실제객체(또는 가상객체 표시 위치)를 이용한 오디오 객체 데이터의 제공이 가능하며, 이를 이용한 다양한 정보의 효과적인 제공이 가능해진다.

또한, 오디오 객체 데이터가 실제현실 데이터 상에 포함된 모든 실제객체(또는 가상객체 표시 위치)를 통해 제공될 경우, 사용자가 분별이 불가능한 상태가 발생할 수 있으나, 줌인 이벤트를 이용한 사용자가 원하는 특정 실제객체(또는 가상객체 표시 위치)에 대한 오디오 객체 데이터의 제공이 가능하다.

도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따라 오디오 객체 데이터를 출력하기 위해 카메라 이벤트를 확인하는 과정을 도시한 도면이다.
도 3은 본 발명의 일 실시 방법에 따라 오디오 객체 데이터를 출력하는 과정을 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따라 오디오 객체 데이터를 변경하는 과정을 도시한 도면이다.
도 5는 본 발명의 다른 일 실시 방법에 따라 오디오 객체 데이터를 출력하는 과정을 도시한 도면이다.
도 6은 본 발명의 실시 방법에 따라 오디오 객체 데이터를 출력하는 과정을 예시한 도면이다.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.

도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.

보다 상세하게 본 도면1은 카메라부(180)를 통해 획득된 실제현실 데이터 상에 하나 이상의 현실세계 객체가 인식되거나 또는 하나 이상의 객체(또는 가상객체 표시 위치)에 가상객체가 표시된 상태에서, 카메라 조작을 통해 상기 실제현실 데이터 상에 오직 하나의 현실세계 객체가 인식되거나 또는 오직 하나의 가상객체가 표시되면, 상기 현실세계 객체(또는 가상객체)와 연관된 오디오 객체를 출력하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

또한, 본 도면1에 도시된 각각의 기능 구성부는 통신망 상의 서버(예를들어, 증강현실 서비스를 제공하는 서버(도시생략)) 상에 구비되는 것이 가능하다.

본 발명의 증강현실 장치(100)는 실제현실 데이터 상의 마커(또는 인식된 객체)에 지정된 가상객체 데이터를 중첩하여 표시하는 장치의 총칭으로서, 실제현실 데이터를 획득하는 방식, 가상객체 데이터를 획득하는 방식, 상기 실제현실 데이터 상의 마커(또는 객체)를 인식하고 가상객체를 표시할 위치를 결정하는 방식 및 상기 실제현실 데이터 상에 상기 가상객체 데이터를 표시하는 방식에 의해 한정되지 아니한다.

예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 획득되거나, 또는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신될 수 있다. 상기 가상객체 데이터는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신될 수 있으며, 또는 상기 메모리에 저장되거나 통신망을 통해 수신되는 폴리곤(Polygon)에 텍스쳐(Texture)를 매핑/렌더링하여 실시간 생성될 수 있다. 상기 실제현실 데이터 상의 객체(또는 가상객체 표시 위치)는 마커 방식과 마커리스 방식 중 어느 하나의 방식을 통해 결정되거나, 또는 상기 실제현실 데이터의 색상/채도 값을 판독하여 결정되는 색상/채도 영역에 대한 기하학적 구조(또는 팔레트 구성)와 지정된 객체의 기하학적 구조(또는 팔레트 구성)를 인식하여 결정될 수 있다. 상기 실제현실 데이터 상에 상기 가상객체 데이터를 표시하는 방식은 상기 실제현실 데이터와 가상객체 데이터를 조합한 하나의 출력 데이터를 생성하여 표시하는 방식, 실제현실 계층(Layer)와 적어도 하나의 가상현실 계층을 구비한 출력 데이터를 구성한 후 상기 출력 데이터의 실제현실 계층에 상기 실제현실 데이터를 출력함과 동시에 적어도 하나의 가상현실 계층에 가상객체 데이터를 표시하는 방식을 적어도 하나 포함할 수 있다. 만약 상기 실제현실 데이터가 투명 디스플레이에 표시되는 경우, 상기 가상객체 데이터는 상기 현실세계의 객체와 관측자의 시선방향이 만나는 투명 디스플레이 위치에 상기 현실세계의 객체에 대응하는 가상객체 데이터를 출력하는 형태로 표시될 수 있다.

또한, 상기 증강현실 장치(100)는 이용 분야와 외형(또는 구조) 및 접속되는 통신망에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 설치 장치 형태 등으로 구현될 수 있다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(125), 메모리부(185), 비디오 출력부(105) 및 오디오 출력부(110)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(180)를 더 구비하고, 가상객체 데이터를 획득하는 방식에 따라 통신부를 더 구비하고, 가상객체 데이터가 표시될 실제현실 데이터 상의 현실세계 객체(또는 가상객체 표시 위치)를 결정하는 방식에 따라 센서부(175)를 더 구비하고, 사용자 조작을 위한 조작부(115)를 더 구비할 수 있다.

상기 제어부(125)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(125) 내에 도시하여 설명하기로 한다.

상기 메모리부(185)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(125)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.

본 발명의 실시 방법에 따르면, 상기 메모리부(185)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(185)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.

본 발명의 실시 방법에 따르면, 상기 메모리부(185)는 상기 가상객체 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(185)는 상기 가상객체 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.

본 발명의 실시 방법에 따르면, 상기 메모리부(185)는 상기 실제현실 획득수단을 통해 획득된 실제현실 데이터 상에 포함되는 현실세계 객체(또는 가상객체 표시 위치)를 식별하기 위한 객체 식별 정보와, 오디오 데이터를 포함하는 오디오 객체 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(185)는 상기 오디오 객체 데이터를 획득하는 오디오 객체 획득수단의 기능 수행이 가능하다.

상기 비디오 출력부(105)는 실제현실 데이터 상의 현실세계 객체(또는 가상객체 표시 위치)에 가상객체 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 디스플레이 중 어느 하나를 포함 가능하다.

상기 오디오 출력부(110)는 상기 비디오 출력부(105)를 통해 실제현실 데이터 상에 포함된 하나 이상의 현실세계 객체(또는 가상객체 표시 위치)에 대한 줌인 이벤트 발생을 통해 하나의 현실세계 객체(또는 가상객체 표시 위치)가 출력되는 경우, 출력 중인 하나의 현실세계 객체(또는 가상객체 표시 위치)에 대응하는 오디오 객체 데이터를 출력하는 출력장치를 포함하며, 스피커와 같은 일반 출력장치와 블루투스 등의 무선 출력장치 중 하나 이상을 포함하는 것이 가능하다.

상기 카메라부(180)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 실시간 획득하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 즉, 상기 카메라부(180)는 상기 증강현실 장치(100)에서 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.

본 발명의 실시 방법에 따르면, 상기 카메라부(180)는 상기 센서부(175)와 연동하여 센서 입력에 필요한 특정 데이터만 선택적으로 획득하거나, 또는 이미지(또는 동영상) 형태의 센싱 데이터를 획득하는 센서부(175)의 기능을 수행할 수 있다.

예를들어, 상기 카메라부(180)와 센서부(175)가 연동하는 경우, 상기 카메라부(180)는 상기 센서부(175)가 센싱하는 영역의 실제현실 데이터만 선택적으로 획득할 수 있으며, 이를 위해 상기 카메라부(180)와 센서부(175)의 시선 방향이 일치되도록 설정된다.

또는, 상기 카메라부(180)는 실제현실 데이터를 획득함과 동시에, 상기 실제현실 데이터를 판독하여 지정된 센싱 대상의 이미지(또는 동영상) 데이터를 센싱하는 센서부(175)의 기능을 수행할 수 있다.

상기 통신부는 상기 증강현실 장치(100)가 접속하는 유선(또는 무선) 통신망에 따라 어느 하나의 통신 규격과 프로토콜을 기반으로 상기 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망 상의 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.

본 발명의 실시 방법에 따르면, 상기 통신부는 통신망 상의 서버(또는 장치)로부터 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행하거나, 또는 상기 통신망 상의 서버(또는 장치)에 저장된 가상객체 데이터를 수신하는 가상현실 획득수단의 기능을 수행하거나, 또는 상기 통신망 상의 서버(또는 장치)에 저장된 오디오 객체 데이터를 수신하는 오디오 객체 획득수단의 기능을 수행한다.

상기 센서부(175)는 상기 증강현실 장치(100)에 구비된 적어도 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센싱 신호를 획득하여 데이터 처리가 가능한 센싱 데이터로 변환하는 센서모듈을 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득함과 동시에 상기 실제현실 데이터로부터 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 만약 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(175)는 상기 카메라부(180)와 통합될 수 있다.

상기 조작부(115)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 입력모듈을 포함한다. 상기 조작부(115)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 비디오 출력부(105)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(180) 또는 센서부(175)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 적어도 하나의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(130)와, 상기 실제현실 데이터로부터 가상객체 데이터를 출력할 객체(또는 마커)를 인식하는 객체 인식부(135)와, 상기 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정하는 가상객체 결정부(140)와, 적어도 하나의 가상현실 획득수단을 통해 상기 결정된 가상객체 데이터를 입력하는 가상객체 입력부(145)와, 상기 가상객체 데이터를 상기 실제현실 데이터 상의 객체(또는 가상객체 표시 위치)에 표시하여 상기 비디오 출력부(105)를 통해 출력하는 증강현실 표시부(150)를 구비한다.

상기 실제현실 입력부(130)는 상기 카메라부(180)를 통해 실제현실 데이터를 실시간 입력하거나, 또는 상기 메모리부(185)에 저장된 실제현실 데이터를 입력하거나, 또는 상기 통신부를 통해 실제현실 데이터를 수신하며, 상기 입력된 실제현실 데이터는 상기 비디오 출력부(105)를 통해 출력되거나 또는 상기 증강현실 표시부(150)로 전달된다.

상기 실제현실 데이터가 입력되면, 상기 객체 인식부(135)는 상기 실제현실 데이터를 판독하여 가상객체 데이터를 출력할 적어도 하나의 현실세계 객체(또는 가상객체 표시 위치)를 인식한다.

본 발명의 일 실시 방법에 따르면, 상기 객체 인식부(135)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 미리 정의된 마커를 검출하고, 상기 마커가 검출된 위치를 가상객체 데이터를 출력할 현실세계 객체(또는 가상객체 표시 위치)로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.

본 발명의 다른 일 실시 방법에 따르면, 상기 메모리부(185)는 상기 실제현실 데이터에 포함된 객체(또는 마커)를 인식하는 객체 인식 정보를 저장할 수 있으며, 이 경우 상기 객체 인식부(135)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 통해 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기하학 구조를 인식하거나 상기 경계선 내의 색상/채도 분포 패턴을 인식한 후, 상기 인식된 기하학 구조와 분포 패턴을 상기 객체 인식 정보에 미리 정의된 현실세계 객체들의 기하학 구조와 분포 패턴과 비교하여 상기 실제현실 데이터에 포함된 객체(또는 마커)를 인식할 수 있다.

여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있으며, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 현실세계 객체가 무엇인지 판별할 수 있도록 미리 정의된 현실세계 객체들의 기하학 구조와 분포 패턴을 포함한다.

본 발명의 또다른 일 실시 방법에 따르면, 상기 객체 인식부(135)는 상기 실제현실 데이터를 상기 마커를 인식하는 서버(또는 장치)로 전송하거나, 또는 상기 객체 인식 정보를 구비한 서버(또는 장치)로 전송하여 상기 실제현실 데이터 상에 상기 가상객체 데이터를 출력할 현실세계 객체(또는 가상객체 표시 위치)로 인식할 수 있다.

한편, 상기 실제현실 데이터가 카메라부(180)를 통해 실시간 입력되는 경우, 상기 객체 인식부(135)는 상기 센서부(175)와 카메라부(180)의 시선 방향을 일치시킨 후, 상기 카메라부(180)를 통해 입력되는 실제현실 데이터의 좌표계와 상기 센서부(175)를 통해 센싱되는 센싱 신호의 좌표계를 매칭하여 특정 센싱 신호가 검출되는 좌표 값을 가상객체 데이터를 출력할 현실세계 객체(또는 가상객체 표시 위치)로 인식할 수 있다.

또는, 상기 실제현실 데이터가 상기 메모리부(185)에 저장되거나 또는 통신부를 통해 수신되고 상기 실제현실 데이터에 상기 현실세계 객체(또는 가상객체 표시 위치)를 판별하는 메타 데이터가 포함(또는 링크)된 경우, 상기 객체 인식부(135)는 상기 실제현실 데이터에 포함(또는 링크)된 메타 데이터를 참조하여 상기 가상객체 데이터를 출력할 현실세계 객체(또는 가상객체 표시 위치)를 인식할 수 있다.

상기 가상객체 결정부(140)는 상기 실제현실 데이터로부터 검출된 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터가 어느 하나의 가상객체 데이터로 고정되는 경우, 상기 가상객체 결정부(140)는 상기 고정된 상기 객체 인식부(135)를 통해 인식된 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.

본 발명의 일 실시 방법에 따르면, 상기 현실세계 객체가 마커를 통해 인식된 경우, 상기 가상객체 결정부(140)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다. 만약 상기 마커에 상기 가상객체 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상객체 결정부(140)는 상기 객체 인식부(135)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.

본 발명의 다른 일 실시 방법에 따르면, 상기 가상객체 결정부(140)는 상기 객체 인식부(135)를 통해 인식된 현실세계 객체의 모양/형태/색상/구조를 판독하여 상기 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상객체 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 객체 인식부(135)를 통해 인식된 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.

한편, 상기 실제현실 데이터가 메모리부(185)에 저장되어 있거나 또는 통신부를 통해 수신되고 상기 실제현실 데이터에 상기 객체 인식부(135)를 통해 인식된 현실세계 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정하는 메타 데이터가 포함(또는 링크)된 경우, 상기 가상객체 결정부(140)는 상기 메타 데이터를 참조하여 상기 현실세계 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.

상기 가상객체 입력부(145)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상객체 데이터 중 상기 가상객체 결정부(140)를 통해 결정된 가상객체 데이터를 상기 실제현실 데이터의 객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터로 입력한다.

상기 증강현실 표시부(150)는 상기 실제현실 입력부(130)를 통해 입력되는 실제현실 데이터 상의 현실세계 객체(또는 가상객체 표시 위치)에 상기 가상객체 입력부(145)를 통해 입력되는 가상객체 데이터를 표시한 후, 상기 비디오 출력부(105)를 통해 출력한다.

본 발명의 일 실시 방법에 따르면, 상기 증강현실 표시부(150)는 상기 실제현실 데이터 상의 객체(또는 가상객체 표시 위치)영역을 포함하는 가상객체 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 비디오 출력부(105)를 통해 출력할 수 있다.

본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 표시부(150)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 현실세계 객체(또는 가상객체 표시 위치)에 대응하는 가상현실 계층에 가상객체 데이터를 출력하여 상기 비디오 출력부(105)를 통해 출력할 수 있다.

본 발명의 또다른 일 실시 방법에 따르면, 상기 비디오 출력부(105)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 표시부(150)는 상기 객체 인식부(135)를 통해 결정된 투명 디스플레이 상의 현실세계 객체(또는 가상객체 표시 위치)에 상기 가상객체 데이터만 표시하여 출력할 수 있다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 객체 인식부(135)를 통해 인식된 하나 이상의 객체(또는 가상객체 표시 위치)에 각 현실세계 객체와 연관된 하나 이상의 가상객체 데이터가 표시되는 경우, 상기 실제현실 데이터 상에 오직 하나의 인식 가능한 객체(또는 가상객체)만 표시하도록 카메라를 조작하는 이벤트를 확인하는 이벤트 확인부(155)와, 상기 이벤트에 의해 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되는지 확인하는 오디오 출력 결정부(160)와, 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되면, 상기 표시된 하나의 객체(또는 가상객체)와 연관된 오디오 객체 데이터가 존재하는지 확인하는 오디오 객체 확인부(165)와, 상기 오디오 객체가 확인되면, 오디오 출력부를 통해 상기 확인된 오디오 객체가 출력되도록 처리하는 오디오 객체 출력부(170)를 구비한다.

상기 객체 인식부(135)를 통해 인식된 하나 이상의 객체(또는 가상객체 표시 위치)에 각 현실세계 객체와 연관된 하나 이상의 가상객체 데이터가 표시되는 경우, 상기 이벤트 확인부(155)는 상기 실제현실 데이터 상에 오직 하나의 인식 가능한 객체(또는 가상객체)만 표시하도록 카메라를 조작하는 이벤트가 발생하는지 주기적으로 확인한다. 여기서, 상기 카메라를 조작하는 이벤트는 줌인/줌아웃 이벤트를 포함하며, 실제현실 데이터 상에서 특정 화면 영역의 객체를 인식불가 상태로 유도하거나 소거하는 아웃포커싱 이벤트를 포함할 수도 있다.

상기 실제현실 데이터 상에 하나 이상의 객체(또는 가상객체 표시 위치)가 인식되거나, 또는 하나 이상의 각 현실세계 객체와 연관된 하나 이상의 가상객체 데이터가 표시된 상태에서, 상기 이벤트 확인부(155)를 통해 상기 실제현실 데이터 상에 오직 하나의 인식 가능한 객체(또는 가상객체)만 표시하도록 카메라를 조작하는 이벤트가 발생한 것이 확인되면, 상기 오디오 출력 결정부(160)는 상기 카메라 조작 이벤트를 통해 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체 표시 위치)가 인식되거나, 또는 오직 하나의 현실세계 객체와 연관된 오직 하나의 가상객체 데이터가 표시되는지 확인하며, 만약 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체 표시 위치)가 인식되거나, 또는 오직 하나의 현실세계 객체와 연관된 오직 하나의 가상객체 데이터가 표시되면, 상기 오디오 출력 결정부(160)는 상기 인식된 객체(또는 출력된 가상객체)와 연관된 오디오 객체를 출력할 수 있는 조건이 충족된 것으로 결정한다.

상기 오디오 객체를 출력할 수 있는 조건이 충족된 것으로 결정되면, 상기 오디오 출력 결정부(160)는 상기 실제현실 데이터 상에 존재하는 오직 하나의 현실세계 객체, 또는 상기 실제현실 데이터 상의 객체(또는 가상객체 표시 위치)에 표시되는 가상객체를 식별한다.

상기 오디오 객체를 출력할 수 있는 조건을 충족하는 현실세계 객체(또는 가상객체)가 식별되면, 상기 오디오 객체 확인부(165)는 상기 식별된 현실세계 객체(또는 가상객체)와 연관된 오디오 객체 데이터가 존재하는지 확인한다. 상기 오디오 객체 데이터는 상기 메모리부(185)에 저장되거나, 또는 통신망 상의 서버에 저장될 수 있으며, 또는 지정된 두 개 이상의 오디오 데이터(예컨대, 메모리부(185)에 저장된 오디오 데이터와 통신망 상의 서버에 저장된 오디오 데이터)를 조합(또는 합성)하여 실시간 생성될 수 있다. 상기 오디오 객체 확인부(165)는 상기 객체 식별 정보 또는 가상객체 데이터와 연결되어 상기 메모리부(185) 또는 통신망 상의 서버에 저장된 오디오 객체를 조회하여 상기 현실세계 객체(또는 가상객체)와 연관된 오디오 객체 데이터가 존재하는지 확인하거나, 또는 지정된 두 개 이상의 오디오 데이터를 조합(또는 합성)하여 실시간 생성할 수 있다.

상기 현실세계 객체(또는 가상객체)와 연관된 오디오 객체 데이터가 확인되면, 상기 오디오 객체 출력부(170)는 상기 확인된 오디오 객체 데이터를 상기 오디오 출력부를 통해 출력한다.

상기 오디오 출력부를 통해 상기 오디오 객체 데이터가 출력되는 동안, 상기 이벤트 확인부(155)는 상기 실제현실 데이터 상에 복수의 인식 가능한 객체(또는 가상객체)가 표시되도록 카메라를 조작하는 이벤트가 발생하는지 주기적으로 확인한다. 여기서, 상기 카메라를 조작하는 이벤트는 줌인/줌아웃 이벤트를 포함하며, 카메라 조작 초기화 이벤트를 포함할 수도 있다.

만약 상기 오디오 객체 데이터가 출력되는 동안 상기 실제현실 데이터 상에 복수의 객체(또는 가상객체 표시 위치)가 인식되거나, 또는 복수의 현실세계 객체와 연관된 복수의 가상객체 데이터가 표시되면, 상기 오디오 출력 결정부(160)는 상기 오디오 객체를 출력할 수 있는 조건이 충족되지 않은 것으로 결정한다.

상기 오디오 객체를 출력할 수 있는 조건이 충족되지 않으면, 상기 오디오 객체 출력부(170)는 상기 출력 중인 오디오 객체 데이터의 출력을 중지한다. 만약 상기 오디오 객체 출력 조건이 충족되지 않은 상태에서 상기 오디오 객체 출력이 이미 종료되어 있다면, 상기 오디오 객체 출력부(170)는 상기 오디오 객체가 출력되지 않는 상태를 유지한다.

상기 오디오 출력부를 통해 상기 오디오 객체 데이터가 출력되고 있거나 또는 상기 오디오 객체 데이터의 출력이 정상 종료된 상태에서, 상기 이벤트 확인부(155)는 상기 오디오 객체 데이터와 연관된 오직 하나의 현실세계 객체(또는 가상객체)가 오직 하나의 다른 제2 현실세계 객체(또는 가상객체)로 변경하도록 카메라를 조작하는 이벤트가 발생하는지 주기적으로 확인한다. 여기서, 상기 카메라를 조작하는 이벤트는 줌인/줌아웃 이벤트를 포함하며, 상기 카메라의 렌즈 시선 방향을 다른 방향으로 변경하는 이벤트를 포함할 수도 있다.

만약 상기 오디오 객체 데이터가 출력되고 있거나 또는 상기 오디오 객체 데이터의 출력이 정상 종료된 상태에서, 상기 오디오 객체 데이터와 연관된 오직 하나의 현실세계 객체(또는 가상객체)가 오직 하나의 다른 제2 현실세계 객체(또는 가상객체)로 변경되면, 상기 오디오 출력 결정부(160)는 상기 오디오 객체를 출력할 수 있는 조건이 상기 제2 현실세계 객체(또는 가상객체)로 변경된 것으로 결정한다.

상기 오디오 객체를 출력할 수 있는 조건이 상기 제2 현실세계 객체(또는 가상객체)로 변경되면, 상기 오디오 출력 결정부(160)는 상기 변경된 오직 하나의 제2 현실세계 객체(또는 가상객체)를 식별한다.

상기 오디오 객체를 출력할 수 있는 조건을 변경된 제2 현실세계 객체(또는 가상객체)가 식별되면, 상기 오디오 객체 확인부(165)는 상기 제2 현실세계 객체(또는 가상객체)와 연관된 제2 오디오 객체 데이터가 존재하는지 확인한다. 상기 제2 오디오 객체 데이터는 상기 메모리부(185)에 저장되거나, 또는 통신망 상의 서버에 저장될 수 있으며, 또는 지정된 두 개 이상의 오디오 데이터(예컨대, 메모리부(185)에 저장된 오디오 데이터와 통신망 상의 서버에 저장된 오디오 데이터)를 조합(또는 합성)하여 실시간 생성될 수 있다. 상기 오디오 객체 확인부(165)는 상기 객체 식별 정보 또는 가상객체 데이터와 연결되어 상기 메모리부(185) 또는 통신망 상의 서버에 저장된 오디오 객체를 조회하여 상기 제2 현실세계 객체(또는 가상객체)와 연관된 제2 오디오 객체 데이터가 존재하는지 확인하거나, 또는 지정된 두 개 이상의 오디오 데이터를 조합(또는 합성)하여 실시간 생성할 수 있다.

상기 변경된 제2 현실세계 객체(또는 가상객체)와 연관된 오디오 객체 데이터가 확인되면, 상기 오디오 객체 출력부(170)는 상기 확인된 오디오 객체 데이터를 상기 오디오 출력부를 통해 출력한다.

도면2는 본 발명의 실시 방법에 따라 오디오 객체 데이터를 출력하기 위해 카메라 이벤트를 확인하는 과정을 도시한 도면이다.

보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에서 실제현실 데이터에 존재하는 현실세계 객체를 인식하여 이와 연관된 가상객체 데이터를 출력하는 과정에서 오디오 객체 데이터를 출력할 수 있는 카메라 조작 이벤트 중 줌인 이벤트가 발생하는지 확인하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. 예컨대, 상기 오디오 객체를 출력하는 카메라 조작 이벤트는 상기 줌인 이벤트 이외에 다른 이벤트가 사용되어도 무방하다.

도면2를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 구비된 적어도 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 획득하고(200), 상기 획득된 실제현실 데이터를 기반으로 가상객체 데이터를 출력할 대상 현실세계 객체(또는 가상객체 표시 위치)를 인식한다(205).

만약 상기 획득된 실제현실 데이터를 기반으로 가상객체 데이터를 출력할 대상 현실세계 객체(또는 가상객체 표시 위치)가 확인되면(210), 상기 증강현실 장치(100)는 상기 인식된 현실세계 객체(또는 가상객체 표시 위치)가 적어도 두개 이상인지 여부를 확인한다(215).

만약 상기 실제현실 획득수단을 통해 획득된 실제현실 데이터를 기반으로 인식된 현실세계 객체(또는 가상객체 표시 위치)가 하나의 현실세계 객체(또는 가상객체 표시 위치)를 포함하는 경우(220), 이하 도면5에 도시된 과정에 따라 처리한다.

반면 상기 실제현실 획득수단을 통해 획득된 실제현실 데이터를 기반으로 인식된 현실세계 객체(또는 가상객체 표시 위치)가 적어도 두개 이상의 현실세계 객체(또는 가상객체 표시 위치)를 포함하는 경우(220), 상기 증강현실 장치(100)는 상기 실제현실 데이터에 대한 줌인 이벤트 발생 여부를 확인한다(225).

만약 상기 실제현실 데이터에 대한 줌인 이벤트가 발생하면(230), 상기 증강현실 장치(100)는 상기 증강현실 장치(100) 상에 구비된 실제현실 획득수단을 통해 실제현실 데이터를 재 획득하고, 획득된 실제현실 데이터를 기반으로 가상객체 데이터를 출력할 현실세계 객체(또는 가상객체 표시 위치)를 다시 인식하여 인식된 현실세계 객체(또는 가상객체 표시 위치)가 오직 하나의 현실세계 객체(또는 가상객체 표시 위치)를 포함하는지 여부를 확인하는 과정을 반복 수행한다.

여기서, 상기 실제현실 데이터는 실제현실 획득수단을 통해 재 획득되지 않고, 기 획득된 실제현실 데이터를 줌인 처리하여 상기 증강현실 장치(100)를 통해 출력되는 실제현실 데이터 중 일부인 것이 가능하며, 이에 의해 본 발명이 한정되지 아니한다.

도면3은 본 발명의 일 실시 방법에 따라 오디오 객체 데이터를 출력하는 과정을 도시한 도면이다.

보다 상세하게 본 도면3은 상기 도면2에 도시된 과정에 따라 증강현실 장치(100)를 통해 실제현실 데이터에 대한 줌인 이벤트가 발생한 경우, 상기 줌인 이벤트에 의해 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)가 표시되는지 확인하고, 오직 하나의 객체(또는 가상객체)가 표시되는 경우에 상기 객체(또는 가상객체)와 연관된 오디오 객체 데이터를 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면3을 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 줌인 이벤트를 통해 오직 하나의 객체(또는 가상객체)가 표시되는지 확인한다(300).

만약 상기 줌인 이벤트를 통해 오직 하나의 객체(또는 가상객체)가 표시되면(305), 상기 증강현실 장치(100)는 줌인 이벤트에 의해 표시된 오직 하나의 객체(또는 가상객체)와 연관된 오디오 객체가 존재하는지 확인한다(310).

만약 상기 오직 하나의 객체(또는 가상객체)와 연관된 오디오 객체 데이터가 존재하는 경우(315), 상기 증강현실 장치(100)는 상기 오디오 객체 데이터가 출력되도록 처리한다(320).

이후, 상기 증강현실 장치(100)에서 오디오 객체 데이터가 출력 중인 상태에서, 상기 증강현실 장치(100)를 통해 실제현실 데이터에 대한 줌아웃 이벤트가 발생하는지 확인한다(325).

만약 상기 출력 중인 실제현실 데이터에 대한 줌아웃 이벤트가 발생하면(330), 상기 증강현실 장치(100)는 줌아웃 이벤트를 통해 복수의 객체(또는 가상객체)가 표시되는지 확인한다(335).

만약 상기 줌아웃 이벤트에 의해 복수의 객체(또는 가상객체)가 표시되면(340), 상기 증강현실 장치(100)는 상기 출력 중인 오디오 객체 데이터가 출력되지 않도록 처리한다(345).

도면4는 본 발명의 실시 방법에 따라 오디오 객체 데이터를 변경하는 과정을 도시한 도면이다.

보다 상세하게 본 도면4는 상기 도면2 및 도면3에 도시된 과정에 따라 증강현실 장치(100)를 통해 오디오 객체 데이터가 출력되는 상태에서 현재 표시되고 있는 오직 하나의 객체(또는 가상객체)가 다른 제2 객체(또는 가상객체)로 변경되는 경우, 상기 오디오 객체 데이터를 상기 변경된 제2 객체(또는 가상객체)로 변경하여 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면4를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 상기 도면2 및 도면3에 도시된 과정에 따라 특정 객체(또는 가상객체)에 대응하는 오디오 객체 데이터가 출력 중인 상태에서 오디오 객체 데이터에 대응하는 현실세계 객체의 인식상태를 확인한다(400).

만약 오디오 객체 데이터가 출력 중인 객체의 인식상태가 변경되면(405), 상기 증강현실 장치(100)는 기 출력 중인 오디오 객체 데이터가 더 이상 출력되지 않도록 처리하고, 상기 변경된 객체(또는 가상객체)가 오직 하나의 객체(또는 가상객체)인지 확인한다(410).

만약 상기 변경된 객체(또는 가상객체)가 오직 하나의 객체(또는 가상객체)로 확인되면(415), 상기 증강현실 장치(100)는 상기 확인된 객체(또는 가상객체)와 연관된 오디오 객체 데이터 존재를 확인한다(420).

만약 상기 확인된 객체(또는 가상객체)와 연관된 오디오 객체 데이터가 확인되면(425), 상기 증강현실 장치(100)는 상기 오디오 객체 데이터가 출력되도록 처리한다(430).

도면5는 본 발명의 다른 일 실시 방법에 따라 오디오 객체 데이터를 출력하는 과정을 도시한 도면이다.

보다 상세하게 본 도면5는 상기 도면2에 도시된 과정에 따라 증강현실 장치(100)를 통해 별도의 카메라 조작 이벤트 없이 실제현실 데이터로부터 인식된 현실세계 객체가 오직 하나인 경우라도, 지정된 카메라 조작 이벤트에 의해 상기 인식된 객체와 연관된 오디오 객체 데이터를 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. 예컨대, 별도의 카메라 조작 이벤트 없이 실제현실 데이터로부터 인식된 현실세계 객체가 오직 하나인 경우라도 상기 인식된 오직 하나의 객체와 연관된 오디오 객체 데이터가 존재하는 경우 별도의 카메라 조작 이벤트 없이 자동으로 오디오 객체 데이터를 출력하는 것이 가능하다.

도면5를 참조하면, 상기 도면2에 도시된 과정에 따라 증강현실 장치(100)를 통해 별도의 카메라 조작 이벤트 없이 실제현실 데이터로부터 인식된 현실세계 객체가 오직 하나인 경우, 상기 증강현실 장치(100)는 인식된 현실세계 객체에 대한 오디오 객체 데이터를 출력하도록 지정된 카메라 조작 이벤트가 발생하는지 확인한다(500).

만약 상기 오디오 객체 데이터를 출력하도록 지정된 카메라 조작 이벤트가 발생한 경우(505), 상기 증강현실 장치(100)는 상기 카메라 조작 이벤트에 의해 상기 인식된 현실세계 객체에 대응하는 오디오 객체 데이터가 존재하는지 확인한다(510).

만약 상기 오디오 객체가 존재하는 경우(515), 상기 증강현실 장치(100)는 상기 인식된 현실세계 객체와 연관된 오디오 객체 데이터가 출력되도록 처리한다(520).

이후, 상기 증강현실 장치(100)는 오디오 객체 데이터가 출력 중인 상태에서 줌아웃 이벤트가 발생하는지 확인한다(525).

만약 상기 줌아웃 이벤트가 발생하는 경우(530), 상기 증강현실 장치(100)는 기 출력 중인 오디오 객체 데이터가 출력되지 않도록 처리한다(535).

반면 상기 줌아웃 이벤트가 발생하지 않는 경우(530), 상기 증강현실 장치(100)는 출력 중인 오디오 객체 데이터에 대응하는 객체의 인식상태를 확인한다(540).

만약 상기 출력 중인 오디오 객체 데이터에 대응하는 객체의 인식상태가 확인되지 않으면(545), 상기 증강현실 장치(100)는 상기 출력 중인 오디오 객체 데이터가 출력되지 않도록 처리한다(550).

도면6은 본 발명의 실시 방법에 따라 오디오 객체 데이터를 출력하는 과정을 예시한 도면이다.

보다 상세하게 본 도면6은 상기 도면2 내지 도면5에 도시된 과정에 따라 증강현실 장치(100)를 통해 실제현실 데이터에 대한 줌인 이벤트가 발생되고, 상기 줌인 이벤트 발생을 통해 실제현실 데이터 상에 포함된 현실세계 객체(또는 가상객체 표시 위치)가 하나의 현실세계 객체(또는 가상객체 표시 위치)인 경우, 상기 현실세계 객체(또는 가상객체 표시 위치)에 대응하는 오디오 객체 데이터를 출력하는 예시를 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면6을 참조하면, 증강현실 장치(100)를 통해 획득되는 실제현실 데이터 상에는 총 3개의 현실세계 객체(또는 가상객체 표시 위치)를 포함하며, 상기 실제현실 데이터에 대한 줌인 이벤트가 발생되어, 상기 증강현실 장치(100)를 통해 실제현실 데이터 상에 하나의 Building B라는 현실세계 객체(또는 가상객체 표시 위치)가 존재하게 될 경우, 상기 Building B 현실세계 객체(또는 가상객체 표시 위치)에 대응하는 오디오 객체 데이터가 출력된다.

여기서, 줌인 이벤트를 통해 실제현실 데이터 상에 하나의 현실세계 객체(또는 가상객체 표시 위치)가 출력된 상태에서 상기 증강현실 장치(100)의 방향을 전환하여, Building A 또는 Building C 현실세계 객체(또는 가상객체 표시 위치)가 출력되는 경우, 별도의 줌인 이벤트 확인과정 없이 Building A 또는 Building C 현실세계 객체(또는 가상객체 표시 위치)에 대응하는 오디오 객체 데이터가 출력되는 것이 가능하다.

100 : 증강현실 장치
105 : 비디오 출력부
110 : 오디오 출력부
115 : 조작부
120 : 통신부
125 : 제어부
130 : 실제현실 입력부
135 : 실제객체 인식부
140 : 가상객체 결정부
145 : 가상객체 입력부
150 : 증강현실 표시부
155 : 이벤트 확인부
160 : 오디오 출력 결정부
165 : 오디오 객체 확인부
170 : 오디오 객체 출력부
175 : 센서부
180 : 카메라부
185 : 메모리부

Claims (6)

1. 카메라부를 통해 현실세계의 실제현실 데이터가 획득되면, 상기 실제현실 데이터에 존재하는 하나 이상의 현실세계 객체를 인식하는 객체 인식부;
   비디오 출력부를 통해 상기 인식된 하나 이상의 객체와 연관된 가상객체 데이터를 상기 인식된 객체(또는 가상객체 표시 위치)에 표시하는 증강현실 표시부;
   상기 실제현실 데이터 상에 오직 하나의 인식 가능한 객체(또는 가상객체)만 표시하도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 이벤트 확인부;
   상기 이벤트에 의해 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되는지 확인하는 오디오 출력 결정부;
   상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되면, 상기 표시된 하나의 객체(또는 가상객체)와 연관된 오디오 객체가 존재하는지 확인하는 오디오 객체 확인부; 및
   상기 오디오 객체가 확인되면, 오디오 출력부를 통해 상기 확인된 오디오 객체가 출력되도록 처리하는 오디오 객체 출력부;를 구비하여 이루어지는 것을 특징으로 하는 오디오 객체를 출력하는 증강현실 장치.
   
2. 제 1항에 있어서,
   상기 이벤트 확인부는,
   상기 오디오 객체가 출력되는 동안, 상기 실제현실 데이터 상에 복수의 인식 가능한 객체(또는 가상객체)가 표시되도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 것을 특징으로 하며,
   상기 오디오 객체 출력부는,
   상기 실제현실 데이터 상에 복수의 객체(또는 가상객체)만 표시되면, 상기 출력되는 오디오 객체의 출력을 중지하는 것을 특징으로 하는 오디오 객체를 출력하는 증강현실 장치.
   
3. 제 1항에 있어서,
   상기 이벤트 확인부는,
   상기 오디오 객체와 연관된 오직 하나의 객체(또는 가상객체)가 오직 하나의 다른 제2 객체(또는 가상객체)로 변경하도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 것을 특징으로 하며,
   상기 오디오 객체 확인부는,
   상기 오디오 객체와 연관된 객체(또는 가상객체)가 상기 제2 객체(또는 가상객체)로 변경되면, 상기 변경된 제2 객체(또는 가상객체)와 연관된 제2 오디오 객체가 존재하는지 확인하는 것을 특징으로 하며,
   상기 오디오 객체 출력부는,
   상기 제2 오디오 객체가 확인되면, 상기 확인된 제2 오디오 객체가 출력되도록 처리하는 것을 특징으로 하는 오디오 객체를 출력하는 증강현실 장치.
   
4. 실제현실 데이터를 입력하는 카메라부와 비디오 출력부 및 오디오 출력부를 구비한 증강현실 장치의 오디오 객체 출력 방법에 있어서,
   상기 카메라부를 통해 현실세계의 실제현실 데이터가 획득되면, 상기 실제현실 데이터에 존재하는 하나 이상의 현실세계 객체를 인식하는 단계;
   상기 비디오 출력부를 통해 상기 인식된 하나 이상의 객체와 연관된 가상객체 데이터를 상기 인식된 객체(또는 가상객체 표시 위치)에 표시하는 단계;
   상기 실제현실 데이터 상에 오직 하나의 인식 가능한 객체(또는 가상객체)만 표시하도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 단계;
   상기 이벤트에 의해 상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되는지 확인하는 단계;
   상기 실제현실 데이터 상에 오직 하나의 객체(또는 가상객체)만 표시되면, 상기 표시된 하나의 객체(또는 가상객체)와 연관된 오디오 객체가 존재하는지 확인하는 단계; 및
   상기 오디오 객체가 확인되면, 오디오 출력부를 통해 상기 확인된 오디오 객체가 출력되도록 처리하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 오디오 객체 출력 방법.
   
5. 제 4항에 있어서,
   상기 오디오 객체가 출력되는 동안, 상기 실제현실 데이터 상에 복수의 인식 가능한 객체(또는 가상객체)가 표시되도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 단계; 및
   상기 실제현실 데이터 상에 복수의 객체(또는 가상객체)만 표시되면, 상기 출력되는 오디오 객체의 출력을 중지하는 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 오디오 객체 출력 방법.
   
6. 제 4항에 있어서,
   상기 오디오 객체가 출력되면, 상기 오디오 객체와 연관된 오직 하나의 객체(또는 가상객체)가 오직 하나의 다른 제2 객체(또는 가상객체)로 변경하도록 카메라를 조작하는 이벤트가 발생하는지 확인하는 단계;
   상기 오디오 객체와 연관된 객체(또는 가상객체)가 상기 제2 객체(또는 가상객체)로 변경되면, 상기 변경된 제2 객체(또는 가상객체)와 연관된 제2 오디오 객체가 존재하는지 확인하는 단계; 및
   상기 제2 오디오 객체가 확인되면, 상기 확인된 제2 오디오 객체가 출력되도록 처리하는 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 오디오 객체 출력 방법.

Images