KR20160013853A - 증강현실 제공 방법 및 이를 위한 디지털 디바이스 - Google Patents

증강현실 제공 방법 및 이를 위한 디지털 디바이스 Download PDF

Info

Publication number
KR20160013853A
KR20160013853A KR1020157031077A KR20157031077A KR20160013853A KR 20160013853 A KR20160013853 A KR 20160013853A KR 1020157031077 A KR1020157031077 A KR 1020157031077A KR 20157031077 A KR20157031077 A KR 20157031077A KR 20160013853 A KR20160013853 A KR 20160013853A
Authority
KR
South Korea
Prior art keywords
hmd
external device
information
audio signal
present
Prior art date
Application number
KR1020157031077A
Other languages
English (en)
Inventor
김홍국
전찬준
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority claimed from PCT/KR2013/004991 external-priority patent/WO2014178480A1/ko
Publication of KR20160013853A publication Critical patent/KR20160013853A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H04N13/0429—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

본 발명은 디바이스 간의 상대적인 위치를 고려하여 외부 디바이스의 오디오 신호를 적응적으로 제공하기 위한 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 이를 이용한 오디오 신호 제공 방법에 관한 것이다.
이를 위해 본 발명은, HMD의 작동을 제어하는 프로세서; 상기 프로세서의 명령에 기초하여 서버, 클라우드 또는 외부 디바이스와 데이터를 송/수신하는 커뮤니케이션 유닛; 및 상기 프로세서의 명령에 기초하여 사운드를 출력하는 오디오 출력 유닛을 포함하되, 상기 프로세서는, 적어도 하나의 외부 디바이스와 커넥팅 하고, 상기 외부 디바이스의 오디오 신호 및 상기 외부 디바이스의 위치 정보를 수신하고, 상기 HMD의 위치 정보 및 오리엔테이션 정보를 디텍트 하고, 상기 HMD에 대한 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 상기 오디오 신호를 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 제공한다.

Description

헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법{A HEAD MOUNTED DISPLAY AND A METHOD FOR PROVIDING AUDIO SIGNAL USING THE SAME}
본 발명은, 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 이를 이용한 오디오 신호 제공 방법에 관한 것으로, 더욱 상세하게는 디바이스 간의 상대적인 위치를 고려하여 외부 디바이스의 오디오 신호를 적응적으로 제공하기 위한 HMD 및 이를 이용한 오디오 신호 제공 방법에 관한 것이다.
헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 콘텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, 상기 HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강현실 기술, N 스크린 기술 등과 조합 되어 유저에게 각종 편의를 제공할 수 있다.
기존의 증강현실 기술은 대부분 현실 세계의 실제 이미지에 가상 이미지를 합성하는 시각적인 측면의 기술이 대부분이었다. 그러나 HMD가 오디오 출력 유닛을 구비할 경우, 기존의 시각 중심의 증강현실뿐만 아니라 청각 중심의 증강현실을 제공할 수 있다. 이때, 가상 오디오 신호를 유저에게 실감나게 증강시키기 위한 기술이 필요하다.
본 발명은 디지털 디바이스가 디텍트 한 다양한 정보를 이용하여 증강현실 정보를 획득하고, 획득된 증강현실 정보를 유저에게 제공하기 위한 목적을 가지고 있다.
또한, 본 발명은 디바이스 간의 상대적인 위치를 고려하여 외부 디바이스의 오디오 신호를 적응적으로 제공하기 위한 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명의 실시예에 따른 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법은, 적어도 하나의 외부 디바이스와 커넥팅 하는 단계; 상기 외부 디바이스의 오디오 신호 및 상기 외부 디바이스의 위치 정보를 수신하는 단계; 상기 HMD의 위치 정보를 획득하는 단계; 상기 HMD의 오리엔테이션 정보를 디텍트 하는 단계; 상기 HMD에 대한 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 상기 오디오 신호를 출력하는 단계; 를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 디지털 디바이스를 이용한 증강현실 제공 방법은, 적어도 하나의 오브젝트를 디텍트 하는 단계; 마이크 유닛을 이용하여 리얼 사운드를 수신하는 단계; 상기 디텍트 된 오브젝트 및 상기 수신된 리얼 사운드를 이용하여 증강현실 정보를 획득하는 단계; 및 상기 획득된 증강현실 정보를 디스플레이 유닛에 디스플레이 하는 단계; 를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 디지털 디바이스를 이용한 증강현실 제공 방법은, 상기 디지털 디바이스의 위치 정보를 획득하는 단계; 상기 디지털 디바이스의 오리엔테이션 정보를 획득하는 단계; 마이크 유닛을 이용하여 리얼 사운드를 수신하는 단계; 상기 획득된 디지털 디바이스의 위치 정보, 오리엔테이션 정보 및 상기 수신된 리얼 사운드를 이용하여 증강현실 정보를 획득하는 단계; 및 상기 획득된 증강현실 정보를 디스플레이 유닛에 디스플레이 하는 단계; 를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, HMD를 착용한 유저는 외부 디바이스의 오디오 신호를 해당 외부 디바이스가 실제 위치한 곳에서 들리는 것처럼 제공받을 수 있다.
본 발명의 일 실시예에 따르면, 실내 환경에서 HMD를 착용한 각 유저가 서로의 위치를 쉽게 파악할 수 있도록 오디오 신호를 제공해 줄 수 있다.
본 발명의 다른 실시예에 따르면, HMD를 착용한 유저가 오디오 신호를 특정 영역에 위치한 유저들에게 선택적으로 제공할 수 있다.
본 발명의 실시예에 따르면, 다양한 리얼 사운드에 대응하는 증강현실 정보를 맵핑(mapping)할 수 있고, 디지털 디바이스가 수신한 리얼 사운드에 대응하여 다양한 증강현실 정보를 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 증강현실 정보를 제공하기 위한 조건으로 기 설정된 리얼 사운드를 필요로 하므로, 증강현실 정보의 제공 시 보안을 유지할 수 있다.
도 1은 본 발명의 실시예에 따른 디지털 디바이스를 나타낸 블록도.
도 2는 본 발명의 제 1 실시예에 따른 증강현실 제공 방법을 나타낸 순서도.
도 3은 본 발명의 제 2 실시예에 따른 증강현실 제공 방법을 나타낸 순서도.
도 4 및 도 6은 본 발명의 실시예에 따른 디지털 디바이스가 증강현실 정보를 제공하는 구체적인 방법을 나타낸 도면.
도 7은 본 발명의 실시예에 따른 HMD를 나타낸 개략도.
도 8은 본 발명의 실시예에 따른 HMD를 나타낸 블록도.
도 9는 본 발명의 실시예에 따른 오디오 신호 제공 방법을 나타낸 순서도.
도 10 내지 도 12는 본 발명에 따른 HMD가 오디오 신호를 제공하는 구체적인 실시예를 나타낸 도면.
발명의 실시를 위한 최선의 형태
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 실시예에 따른 디지털 디바이스(100)를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 디지털 디바이스(100)는 프로세서(110), 디스플레이 유닛(120), 카메라 유닛(130), 커뮤니케이션 유닛(140), 센서 유닛(150) 및 스토리지 유닛(160)을 포함할 수 있다.
먼저, 디스플레이 유닛(120)은 디스플레이 화면에 이미지를 출력한다. 상기 디스플레이 유닛(120)은 프로세서(110)에서 실행되는 콘텐츠를 출력하거나, 프로세서(110)의 제어 명령에 기초하여 이미지를 출력한다. 또한, 본 발명의 실시예에 따르면 디스플레이 유닛(120)은 디지털 디바이스(100)와 커넥팅 된 외부 디지털 디바이스(미도시)의 제어 명령에 기초하여 이미지를 디스플레이 할 수 있다. 예를 들어, 디스플레이 유닛(120)은 디지털 디바이스(100)와 커넥팅 된 외부 디지털 디바이스가 실행중인 콘텐츠를 디스플레이 할 수 있다. 이때, 디지털 디바이스(100)는 커뮤니케이션 유닛(140)을 통해 상기 외부 디지털 디바이스(200)로부터 데이터를 수신하며, 수신 받은 데이터에 기초하여 이미지를 출력할 수 있다.
다음으로, 카메라 유닛(130)은 이미지를 센싱하고, 센싱된 이미지를 상기 프로세서에 전달한다. 본 발명의 일 실시예에 따르면, 디지털 디바이스(100)는 상기 카메라 유닛(130)이 센싱한 이미지를 이용하여 적어도 하나의 오브젝트를 디텍트 할 수 있다. 이때, 디지털 디바이스(100)는 상기 센싱된 이미지를 분석하여 디지털 디바이스(100)에 대한 각 오브젝트의 상대적인 위치를 디텍트 할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, 상기 카메라 유닛(130)은 디지털 디바이스(100)를 사용중인 유저의 시선을 디텍트 하기 위한 적어도 하나의 카메라를 더 구비할 수 있다. 본 발명의 실시예에서 상기 카메라 유닛(130)은 일반적인 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 카메라 모듈뿐만 아니라 뎁스 카메라 모듈, 적외선 카메라 모듈 등 다양한 종류의 촬상 장치를 포함한다. 한편, 본 발명의 실시예에 따르면 상기 카메라 유닛(130)은 디지털 디바이스(100)에 선택적으로 구비될 수 있다.
다음으로, 커뮤니케이션 유닛(140)은 서버 또는 클라우드와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 본 발명에서 커뮤니케이션 유닛(140)은 네트워크를 통해 서버 또는 클라우드에 접속할 수 있으며, 디지털 데이터, 예를 들면 콘텐츠를 송/수신할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 디지털 디바이스(100)는 커뮤니케이션 유닛(140)을 이용하여 외부 디지털 디바이스와 커넥팅을 수행할 수 있다. 이때, 디지털 디바이스(100)는 상기 커넥팅 된 외부 디지털 디바이스가 실행중인 콘텐츠의 디스플레이 출력 정보를 실시간으로 수신하고, 수신된 정보를 이용하여 디스플레이 유닛(120)에 이미지를 출력할 수 있다.
센서 유닛(150)은 디지털 디바이스(100)에 장착된 적어도 하나의 센서를 사용하여 유저 입력 또는 상기 디지털 디바이스(100)가 인식하는 환경을 프로세서(110)로 전달할 수 있다. 이때, 상기 센서 유닛(150)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 조도 센서, 근접 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, 마이크로폰, 마이크 어레이, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(150)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(110)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 디지털 디바이스(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
본 발명의 실시예에 따르면, 상기 센서 유닛(150)은 마이크 유닛(미도시)을 포함할 수 있다. 상기 마이크 유닛은 디지털 디바이스(100) 주변의 리얼 사운드를 수신하여 이를 프로세서(110)에 전달한다. 이때, 마이크 유닛은 상기 리얼 사운드를 오디오 신호로 변환하여 프로세서(110)에 전달할 수 있다. 본 발명의 실시예에 따르면, 상기 마이크 유닛은 복수의 마이크를 구비한 마이크 어레이를 포함할 수 있다.
다음으로, 스토리지 유닛(160)은, 비디오, 오디오, 사진, 문서, 애플리케이션 등 다양한 콘텐츠를 포함하는 디지털 데이터를 저장할 수 있다. 스토리지 유닛(150)은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 매체를 포함한다. 또한, 스토리지 유닛(150)은 커뮤니케이션 유닛(140)이 외부 디지털 디바이스 또는 서버로부터 수신한 콘텐츠를 저장할 수 있다.
본 발명의 프로세서(110)는 디지털 디바이스(100) 자체의 콘텐츠 또는 데이터 통신을 통해 수신된 콘텐츠 등을 실행할 수 있다. 또한, 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱 할 수 있다. 이에 더하여, 상기 프로세서(110)는 상술한 디지털 디바이스(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.
도 1에 도시된 디지털 디바이스(100)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 2는 본 발명의 제 1 실시예에 따른 증강현실 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 2의 각 단계는 본 발명의 디지털 디바이스(100)에 의해 수행될 수 있다. 즉, 도 1에 도시된 디지털 디바이스(100)의 프로세서(110)가 도 2의 각 단계를 제어할 수 있다.
먼저, 본 발명의 디지털 디바이스는 적어도 하나의 오브젝트를 디텍트 한다(S210). 본 발명의 실시예에서 상기 오브젝트는 특정 건물, 도로, 지명, 태그, 마커, 디바이스 등 증강현실 정보를 갖는 다양한 형태의 오브젝트를 포함한다. 본 발명의 실시예에 따르면, 디지털 디바이스는 다양한 방법을 이용하여 오브젝트를 디텍트 할 수 있다. 만약 디지털 디바이스가 LBS(Location Based Service) 기반의 증강현실 서비스를 제공할 경우, 상기 디지털 디바이스는 GPS 센서의 센싱값 및 자이로 센서의 센싱값을 이용하여 오브젝트를 디텍트 할 수 있다. 또한 디지털 디바이스가 마커 기반의 증강현실 서비스를 제공할 경우, 디텍트 된 마커에 기초하여 상기 오브젝트를 디텍트 할 수 있다. 본 발명의 실시예에서 마커는 상기 오브젝트를 나타내는 식별자로서, 바코드, QR 코드, 컬러 코드, 이미지 코드 등을 포함할 수 있다. 본 발명의 다른 실시예에 따르면, 디지털 디바이스는 구비된 카메라 유닛이 획득한 이미지를 이용하여 오브젝트를 디텍트 할 수 있다. 본 발명의 또 다른 실시예에 따르면, 디지털 디바이스는 NFC(Near Field Communication) 또는 RFID(Radio Frequency Identification) 등의 태깅(tagging) 정보를 이용하여 상기 오브젝트를 디텍트 할 수 있다. 즉, 본 발명의 디지털 디바이스가 상기 오브젝트에 근접하게 되면 NFC 또는 RFID 등의 수단을 이용하여 태깅이 이루어지며, 디지털 디바이스는 리얼 오브젝트가 디텍트 되었음을 식별할 수 있다.
다음으로, 본 발명의 디지털 디바이스는 마이크 유닛을 이용하여 리얼 사운드를 수신한다(S220). 본 발명의 실시예에서 상기 마이크 유닛은 단일의 마이크 또는 마이크 어레이를 포함한다. 상기 마이크 유닛은 수신된 리얼 사운드를 오디오 시그널로 변환하여 프로세서에 전달한다.
다음으로, 본 발명의 디지털 디바이스는 S210 단계에서 디텍트 된 오브젝트 및 S220 단계에서 수신된 리얼 사운드를 이용하여 증강현실 정보를 획득한다(S230). 본 발명의 실시예에 따르면, 디지털 디바이스는 오브젝트를 디텍트 한 상태에서 수신된 리얼 사운드가 기 설정된 조건을 만족할 경우, 해당 증강현실 정보를 획득할 수 있다. 본 발명의 일 실시예에 따르면, 디지털 디바이스는 S220 단계에서 수신된 리얼 사운드의 피치 정보에 기초하여 증강현실 정보를 획득할 수 있다. 리얼 사운드의 피치 정보는 상기 리얼 사운드가 기 설정된 사람 또는 물체에서 발생하는 사운드인지 여부를 알려줄 수 있다. 따라서 본 발명의 실시예에 따른 디지털 디바이스는 승인된 사람 또는 물체로부터 리얼 사운드가 수신되는 상황에서만 증강현실 정보를 제공할 수 있다. 본 발명의 다른 실시예에 따르면, 디지털 디바이스는 S220 단계에서 수신된 리얼 사운드로부터 보이스 데이터를 추출하고, 추출된 보이스 데이터에 기초하여 증강현실 정보를 획득할 수 있다. 상기 보이스 데이터는 특정 단어, 구 또는 문장 등을 포함할 수 있다. 본 발명의 실시예에 따르면, 디지털 디바이스는 수신된 리얼 사운드에서 기 설정된 피치 정보의 보이스 데이터를 추출 가능할 경우에 증강현실 정보를 획득할 수 있다. 예를 들어, 디지털 디바이스는 기 설정된 사람이 말하는 기 설정된 단어가 리얼 사운드로 수신되는 경우, 상기 증강현실 정보를 획득할 수 있다. 이와 같이 본 발명의 실시예에 따른 디지털 디바이스는 디텍트 된 오브젝트 및 수신된 리얼 사운드가 모두 기 설정된 조건을 만족할 경우에만 증강현실 정보를 획득할 수 있다. 본 발명의 디지털 디바이스는 커뮤니케이션 유닛을 통해 상기 증강현실 정보를 수신할 수 있다. 또는, 디지털 디바이스는 스토리지 유닛에 기 저장된 증강현실 정보를 획득할 수 있다.
다음으로, 본 발명의 디지털 디바이스는 획득된 증강현실 정보를 디스플레이 유닛에 디스플레이 한다(S240). 이때, 상기 디지털 디바이스는 디텍트 된 오브젝트에 대응하는 위치에 증강현실 정보를 디스플레이 할 수 있다. 본 발명의 실시예에 따르면, 디지털 디바이스는 오브젝트의 위치에 연동하여 증강현실 정보를 디스플레이 할 수 있다. 예를 들어, 디지털 디바이스의 디스플레이 유닛 상에 나타나는 오브젝트의 위치가 이동될 경우, 해당 오브젝트에 대응하는 증강현실 정보의 디스플레이 위치를 함께 이동 시킬 수 있다.
본 발명의 일 실시예에 따르면, 디지털 디바이스는 카메라 유닛을 이용하여 오브젝트의 위치 정보를 획득할 수 있다. 즉, 디지털 디바이스는 카메라 유닛을 이용하여 화각 영역 내에 위치한 오브젝트의 이미지를 디텍트하고, 디텍트 된 이미지를 이용하여 오브젝트의 위치 정보를 획득할 수 있다. 또한, 디지털 디바이스는 카메라 유닛을 이용하여 오브젝트에 대응하는 마커를 디텍트하고, 디텍트 된 마커를 이용하여 상기 오브젝트의 위치 정보를 획득할 수 있다. 본 발명의 실시예에서 마커는 오브젝트를 나타내는 식별자로서, 바코드, QR 코드, 컬러 코드, 이미지 코드 등을 포함할 수 있음은 전술한 바와 같다.
도 3은 본 발명의 제 2 실시예에 따른 증강현실 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 3의 각 단계는 본 발명의 디지털 디바이스(100)에 의해 수행될 수 있다. 즉, 도 1에 도시된 디지털 디바이스(100)의 프로세서(110)가 도 3의 각 단계를 제어할 수 있다. 한편, 도 3의 실시예에서 도 2의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.
먼저, 본 발명의 디지털 디바이스는 상기 디지털 디바이스의 위치 정보를 획득한다(S310). 본 발명의 디지털 디바이스는 구비된 센서 유닛, 예를 들면 GPS 센서를 이용하여 상기 위치 정보를 획득할 수 있다. 또는 디지털 디바이스는 와이파이 등의 네트워크 서비스를 기반으로 위치 정보를 획득할 수도 있다.
다음으로, 본 발명의 디지털 디바이스는 상기 디지털 디바이스의 오리엔테이션 정보를 획득한다(S312). 본 발명의 디지털 디바이스는 다양한 센서 유닛, 예를 들면 자이로 센서를 이용하여 상기 오리엔테이션 정보를 획득할 수 있다. 디지털 디바이스는 S310 단계에서 획득된 위치 정보 및 S312 단계에서 획득된 오리엔테이션 정보를 이용하여 디지털 디바이스의 현재 위치 및 타겟 방향을 알 수 있게 된다.
다음으로, 본 발명의 디지털 디바이스는 마이크 유닛을 이용하여 리얼 사운드를 수신한다(S320). 상기 S320 단계의 구체적인 실시예는 도 2의 S220 단계에서 상술한 바와 같다.
다음으로, 본 발명의 디지털 디바이스는 상기 획득된 디지털 디바이스의 위치 정보, 오리엔테이션 정보 및 상기 수신된 리얼 사운드를 이용하여 증강현실 정보를 획득한다(S330). 만약 본 발명의 디지털 디바이스가 LBS(Location Based Service) 기반의 증강현실 서비스를 제공할 경우, 상기 디지털 디바이스는 상기 위치 정보 및 오리엔테이션 정보를 이용하여 오브젝트를 디텍트 할 수 있다. 이때, 디지털 디바이스는 수신된 리얼 사운드가 기 설정된 조건을 만족할 경우, 해당 증강현실 정보를 획득할 수 있다. 이에 대한 구체적인 실시예는 도 2의 S230 단계에서 상술한 바와 같다.
다음으로, 본 발명의 디지털 디바이스는 획득된 증강현실 정보를 디스플레이 유닛에 디스플레이 한다(S340).
도 4 및 도 6은 본 발명의 실시예에 따른 디지털 디바이스(100)가 증강현실 정보를 제공하는 구체적인 방법을 나타낸 도면이다.
먼저 도 4는 본 발명의 디지털 디바이스(100)가 두오모 성당의 종탑(40a)과 피사의 사탑(40b)을 디텍트 한 모습을 나타내고 있다. 상기 두오모 성당의 종탑(40a)과 피사의 사탑(40b)은 각각 본 발명의 오브젝트가 될 수 있다. 본 발명의 일 실시예에 따르면, 디지털 디바이스(100)는 카메라 유닛을 이용하여 화각 영역(102) 내에 위치한 이미지를 획득하고, 획득된 이미지를 이용하여 상기 오브젝트를 디텍할 수 있다. 본 발명의 다른 실시예에 따르면, 디지털 디바이스(100)는 GPS 센서 및 자이로 센서를 이용하여 상기 디지털 디바이스(100)의 위치 정보 및 오리엔테이션 정보를 획득하고, 이를 이용하여 상기 오브젝트를 디텍트 할 수 있다.
도 4의 실시예에 따르면, 디지털 디바이스(100)는 마이크 유닛을 이용하여 두오모 성당의 종탑(40a)에서 나오는 종소리(30a)를 수신한다. 상기 종소리(30a)는 디지털 디바이스(100)가 수신하는 본 발명의 리얼 사운드에 포함될 수 있다. 본 발명의 디지털 디바이스(100)는 수신된 종소리(30a)의 피치 정보 등을 분석하여, 해당 사운드가 두오모 성당의 종탑(40a)에서 나오는 종소리(30a)임을 식별할 수 있다.
디지털 디바이스(100)는 상기 디텍트 된 두오모 성당의 종탑(40a) 및 수신된 종소리(30a)에 기초하여 증강현실 정보(530a)를 획득하고, 상기 증강현실 정보(530a)를 디스플레이 유닛(120)에 디스플레이 한다. 상기 증강현실 정보(530a)는 현재 들리는 사운드가 두오모 성당의 종탑(40a)에서 나오는 종소리(30a)임을 나타내는 정보를 포함할 수 있다. 이와 같이 본 발명의 디지털 디바이스(100)는 디텍트 된 오브젝트(40a) 및 수신된 리얼 사운드(30a)가 모두 기 설정된 조건을 만족할 경우에 증강현실 정보(530)를 제공할 수 있다.
도 5는 본 발명의 실시예에 따른 디지털 디바이스(100)가 디지털 도어락(42)을 디텍트 한 모습을 나타내고 있다. 상기 디지털 도어락(42)은 본 발명의 오브젝트가 될 수 있다. 본 발명의 일 실시예에 따르면, 디지털 디바이스(100)는 카메라 유닛을 이용하여 화각 영역 내에 위치한 이미지를 획득하고, 획득된 이미지를 이용하여 상기 디지털 도어락(42)을 디텍할 수 있다. 본 발명의 다른 실시예에 따르면, 디지털 디바이스(100)는 카메라 유닛을 이용하여 특정 마커를 디텍트하고, 디텍트 된 마커를 기초로 하여 상기 디지털 도어락(42)을 디텍트 할 수 있다. 본 발명의 또 다른 실시예에 따르면, 디지털 디바이스(100)와 디지털 도어락(42) 간의 태깅이 이루어질 수 있으며, 디지털 디바이스(100)는 획득한 태깅 정보를 이용하여 상기 디지털 도어락(42)을 디텍트 할 수 있다.
도 5의 실시예에서, 디지털 디바이스(100)는 마이크 유닛을 이용하여 유저(10)의 보이스(32)를 수신한다. 상기 유저(10)의 보이스(32)는 디지털 디바이스(100)가 수신하는 본 발명의 리얼 사운드에 포함될 수 있다. 본 발명의 디지털 디바이스(100)는 수신된 유저(10)의 보이스(32)의 피치 정보 등을 분석하여, 해당 보이스(32)가 기 설정된 유저(10)의 보이스(32)임을 식별할 수 있다. 디지털 디바이스(100)는 상기 디텍트 된 디지털 도어락(42) 및 수신된 유저(10)의 보이스(32)에 기초하여 증강현실 정보(532)를 획득하고, 상기 증강현실 정보(532)를 디스플레이 유닛(120)에 디스플레이 한다. 상기 증강현실 정보(532)는 디지털 도어락(42)의 보안코드(Secret Code)를 포함할 수 있다.
한편 본 발명의 다른 실시예에 따르면, 디지털 디바이스(100)는 보이스 인식 모듈을 구비할 수 있으며, 상기 보이스 인식 모듈을 이용하여 유저(10)의 보이스(32)에서 보이스 데이터를 추출할 수 있다. 디지털 디바이스(100)는 상기 디텍트 된 디지털 도어락(42) 및 추출된 보이스 데이터에 기초하여 증강현실 정보(532)를 획득할 수 있다. 예를 들어, 유저(10)가 “비밀번호가 뭐야?”라고 말할 경우, 디지털 디바이스(100)는 해당 유저(10)의 보이스(32)에서 “비밀번호”라는 보이스 데이터를 추출한다. 디지털 디바이스(100)는 유저(10)가 디지털 도어락(42)의 보안코드를 알고 싶어함을 인식하고, 디스플레이 유닛(120)으로 해당 보안코드를 증강현실 정보(532)로 제공할 수 있다. 본 발명의 실시예에 따르면, 승인되지 않은 유저가 보안 코드를 가로채는 것을 방지하기 위해, 디지털 디바이스(100)는 유저(10)의 보이스(32)의 피치가 기 설정된 피치 정보를 만족하는지 여부를 함께 디텍트 할 수 있다. 따라서, 디지털 디바이스(100)는 승인된 유저(10)에게만 증강현실 정보(532)를 제공할 수 있다.
도 6은 본 발명의 실시예에 따른 디지털 디바이스(100)가 현금 자동 입출금기(ATM, 44)를 디텍트 한 모습을 나타내고 있다. 도 6의 실시예에서, 도 5의 실시예와 동일하거나 상응하는 부분은 구체적인 설명을 생략하도록 한다.
도 6에서 ATM(44)은 본 발명의 오브젝트가 될 수 있다. 디지털 디바이스(100)는 마이크 유닛을 이용하여 유저(10)의 보이스(34)를 수신하며, 상기 유저(10)의 보이스(34)는 본 발명의 리얼 사운드에 포함될 수 있다. 디지털 디바이스(100)는 수신된 유저(10)의 보이스(34)의 피치 정보 등을 분석하여, 해당 보이스(34)가 기 설정된 유저(10)의 보이스(34)임을 식별할 수 있다. 디지털 디바이스(100)는 상기 디텍트 된 ATM(44) 및 수신된 유저(10)의 보이스(34)에 기초하여 증강현실 정보(534)를 획득하고, 상기 증강현실 정보(534)를 디스플레이 유닛(120)에 디스플레이 한다. 상기 증강현실 정보(534)는 상기 유저(10)의 개인 비밀번호(PIN No.)를 포함할 수 있다.
한편 본 발명의 다른 실시예에 따르면, 디지털 디바이스(100)는 보이스 인식 모듈을 구비할 수 있으며, 상기 보이스 인식 모듈을 이용하여 유저(10)의 보이스(34)에서 보이스 데이터를 추출할 수 있다. 디지털 디바이스(100)는 상기 디텍트 된 ATM(44) 및 추출된 보이스 데이터에 기초하여 증강현실 정보(534)를 획득할 수 있다. 이에 대한 구체적인 실시예는 도 5에서 상술한 바와 같다.
도 7은 본 발명의 실시예에 따른 HMD(200)를 나타낸 개략도이다. 본 발명의 실시예에 따른 HMD(200)는 디스플레이 유닛(220) 및 오디오 출력 유닛(230)을 구비한다.
상기 디스플레이 유닛(220)은 HMD(200)의 프로세서(미도시)의 제어 명령에 기초하여 이미지를 디스플레이 한다. 본 발명의 실시예에서 디스플레이 유닛(220)은 디스플레이 스크린을 구비하여, 상기 디스플레이 스크린에 이미지가 맺히도록 할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 디스플레이 유닛(220)은 별도의 디스플레이 스크린을 구비하지 않고, HMD(200)의 전방 방향의 특정 위치에 이미지를 투영할 수 있다.
본 발명의 실시예에 따른 HMD(200)의 오디오 출력 유닛(230)은 좌 채널 출력 유닛(230a) 및 우 채널 출력 유닛(230b)을 포함한다. 상기 좌 채널 출력 유닛(230a) 및 우 채널 출력 유닛(230b)은 각각 오디오 신호의 좌 채널 및 우 채널을 출력 한다. 본 발명의 실시예에서 오디오 출력 유닛(230)은 오디오 신호를 가청 주파수로 출력하는 스피커, 이어폰 등의 출력 유닛과 이를 제어하는 제어 모듈을 포함할 수 있다. 본 발명의 실시예에 따른 HMD(200)는 상기 좌 채널 출력 유닛(230a) 및 우 채널 출력 유닛(230b)을 이용하여 바이노럴(binaural) 오디오 신호를 유저에게 제공할 수 있다.
도 8은 본 발명의 실시예에 따른 HMD(200)를 나타낸 블록도이다.
도 8을 참조하면, 본 발명의 HMD(200)는 프로세서(210), 디스플레이 유닛(220), 오디오 출력 유닛(230), 커뮤니케이션 유닛(240), 센서 유닛(250) 및 파워 유닛(260)을 포함할 수 있다.
먼저, 디스플레이 유닛(220)은 디스플레이 화면에 이미지를 출력한다. 상기 디스플레이 유닛(220)은 프로세서(210)에서 실행되는 콘텐츠 또는 프로세서(210)의 제어 명령에 기초하여 이미지를 출력한다. 또한, 본 발명의 실시예에 따르면 디스플레이 유닛(220)은 HMD(200)와 커넥팅 된 외부 디바이스의 제어 명령에 기초하여 이미지를 디스플레이 할 수 있다. 예를 들어, 디스플레이 유닛(220)은 HMD(200)와 커넥팅 된 외부 디바이스가 실행중인 콘텐츠를 디스플레이 할 수 있다. 이때, HMD(200)는 커뮤니케이션 유닛(240)을 통해 상기 외부 디바이스로부터 데이터를 수신하며, 수신 받은 데이터에 기초하여 이미지를 출력할 수 있다. 본 발명의 실시예에서, HMD(200)는 상기 디스플레이 유닛(220)을 선택적으로 구비할 수 있다.
다음으로, 오디오 출력 유닛(230)은 스피커, 이어폰 등의 오디오 출력 수단과 이들을 제어하는 제어 모듈을 포함한다. 상기 오디오 출력 유닛(230)은 프로세서(210)에서 실행되는 콘텐츠 또는 프로세서(210)의 제어 명령에 기초하여 음성을 출력한다. 본 발명의 실시예에 따른 HMD(200)의 오디오 출력 유닛(230)은 좌 채널 출력 유닛(L, 130a) 및 우 채널 출력 유닛(R, 130b)을 포함한다. 상기 좌 채널 출력 유닛(230a) 및 우 채널 출력 유닛(230b)은 각각 오디오 신호의 좌 채널 및 우 채널을 출력 한다. 또한, 본 발명의 실시예에 따르면 오디오 출력 유닛(230)은 HMD(200)와 커넥팅 된 외부 디바이스의 오디오 신호를 출력할 수 있다.
다음으로, 커뮤니케이션 유닛(240)은 서버, 클라우드 또는 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛(240)은 유선 또는 무선으로 네트워크에 접속하여, 콘텐츠 등의 디지털 데이터를 송/수신할 수 있다. 본 발명에서 HMD(200)는 커뮤니케이션 유닛(240)을 이용하여 외부 디바이스와 커넥팅을 수행할 수 있으며, 상기 커넥팅 된 외부 디바이스와 데이터를 송/수신할 수 있다.
센서 유닛(250)은 HMD(200)에 장착된 복수의 센서를 사용하여 유저 인풋 또는 상기 HMD(200)가 인식하는 환경을 프로세서(210)로 전달할 수 있다. 이때, 상기 센서 유닛(250)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(250)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(210)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(200)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
다음으로, 파워 유닛(260)은 디바이스 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로, HMD(200)에 파워를 공급할 수 있다.
본 발명의 프로세서(210)는 HMD(200) 자체의 콘텐츠 또는 데이터 통신을 통해 수신된 콘텐츠 등을 실행할 수 있다. 또한, 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱 할 수 있다. 이에 더하여, 상기 프로세서(210)는 상술한 HMD(200)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.
도 8에 도시된 HMD(200)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 9는 본 발명의 실시예에 따른 오디오 신호 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 9의 각 단계는 본 발명의 HMD에 의해 수행될 수 있다. 즉, 도 8에 도시된 HMD(200)의 프로세서(210)가 도 9의 각 단계를 제어할 수 있다.
먼저, 본 발명의 HMD는 적어도 하나의 외부 디바이스와 커넥팅 한다(S910). 상기 HMD는 다양한 통신 수단을 이용하여 외부 디바이스와 커넥트 될 수 있다. 이때, 이용 가능한 통신 수단으로는 NFC(Near Field Communication), Zigbee, 적외선 통신, 블루투스, 무선 랜 통신 등이 있으며, 본 발명은 이에 한정하지 않는다. 본 발명에서 HMD(200)는 앞서 열거된 통신 수단 중 어느 하나, 또는 이들 간의 조합을 이용하여 외부 디바이스와 커넥트 되어 통신을 수행할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 HMD와 외부 디바이스는 복수의 액세스 포인트(Access Point, AP)가 포함된 인프라 스트럭쳐(infrastructure) 환경에서 서로 커넥트 될 수 있다. 본 발명의 다른 실시예에 따르면, 상기 HMD와 외부 디바이스는 복수의 기지국이 포함된 셀룰러 네트워크 환경에서 서로 커넥트 될 수 있다.
다음으로, 본 발명의 HMD는 외부 디바이스의 오디오 신호 및 상기 외부 디바이스의 위치 정보를 수신한다(S920). 본 발명에서 HMD는 앞서 열거한 다양한 통신 수단을 이용하여 외부 디바이스로부터 오디오 신호를 수신할 수 있다. 본 발명의 실시예에 따르면, 외부 디바이스는 마이크 유닛을 이용하여 리얼 사운드를 수신하고, 수신된 리얼 사운드를 오디오 신호로 변환하여 HMD에 전송할 수 있다. 한편 본 발명의 일 실시예에 따르면, HMD는 상기 수신되는 오디오 신호에 대응하는 부가 데이터를 더 수신할 수 있다. 이때, 상기 부가 데이터는 오디오 신호를 전송하는 외부 디바이스의 위치 정보를 포함할 수 있다. 일 실시예에 따르면, 상기 외부 디바이스의 위치 정보는 외부 디바이스의 무선 랜 접속 정보를 이용하여 획득될 수 있다. 즉, HMD는 상기 외부 디바이스가 네트워크 접속을 위해 교신한 AP의 정보를 상기 오디오 신호와 함께 수신할 수 있다. 한편 본 발명의 다른 실시예에 따라 외부 디바이스가 셀룰러 네트워크를 이용할 경우, HMD는 해당 외부 디바이스가 교신한 기지국 정보를 상기 오디오 신호와 함께 수신할 수 있다. 본 발명의 또 다른 실시예에 따르면, 외부 디바이스는 GPS 센서를 이용하여 해당 외부 디바이스의 위치 정보를 획득하고, 획득된 위치 정보를 오디오 신호와 함께 전송할 수 있다.
다음으로, 본 발명의 HMD는 상기 HMD의 위치 정보를 획득한다(S930). 본 발명의 HMD는 상기 S920 단계에서 상술한 방법으로 HMD의 위치 정보를 획득할 수 있다. 즉, 본 발명의 일 실시예에 따르면 HMD의 위치 정보는 상기 HMD의 무선 랜 접속 정보를 이용하여 획득될 수 있다. HMD는 네트워크 접속을 위해 교신한 AP의 정보를 이용하여 상기 HMD의 위치 정보를 획득할 수 있다. 본 발명의 다른 실시예에 따라 HMD가 셀룰러 네트워크를 이용할 경우, HMD는 상기 HMD가 교신한 기지국 정보를 이용하여 해당 HMD의 위치 정보를 획득할 수 있다. 본 발명의 또 다른 실시예에 따르면, HMD는 GPS 센서를 이용하여 HMD의 위치 정보를 획득할 수 있다.
다음으로, 본 발명의 HMD는 상기 HMD의 오리엔테이션 정보를 디텍트 한다(S940). HMD는 센서 유닛, 예를 들면 자이로 센서를 이용하여 HMD의 오리엔테이션 정보를 디텍트 할 수 있다.
다음으로, 본 발명의 HMD는 상기 HMD에 대한 외부 디바이스의 방향 정보 및 HMD의 오리엔테이션 정보에 기초하여 오디오 신호를 출력한다(S950). 먼저, HMD는 S920 단계에서 획득된 외부 디바이스의 위치 정보와 S930 단계에서 획득된 HMD의 위치 정보를 이용하여 HMD에 대한 외부 디바이스의 방향 정보를 획득할 수 있다. 상기 방향 정보는 방위각 정보 및 고도 정보 중 적어도 하나를 포함할 수 있다. 따라서 본 발명의 HMD는 상기 HMD를 기준으로 외부 디바이스가 3차원(또는, 2차원) 상의 어느 곳에 위치해 있는지를 알 수 있다. 이에 더하여, HMD는 상기 HMD의 오리엔테이션 정보를 이용하여, 외부 디바이스가 HMD를 착용한 유저의 머리(또는, 양쪽 귀)를 기준으로 어느 방향에 위치해 있는지를 알 수 있다.
본 발명의 실시예에 따른, HMD는 상기 HMD에 대한 외부 디바이스의 방향 정보 및 HMD의 오리엔테이션 정보에 기초하여 오디오 신호를 3D(3 Dimensional) 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 출력할 수 있다. 이때, 상기 3D 오디오 신호는 3D 효과를 갖는 바이노럴(binaural) 오디오 신호를 포함한다. 더욱 구체적으로, HMD는 상기 방향 정보 및 오리엔테이션 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하고, 생성된 HRTF 정보를 이용하여 오디오 신호를 3D 오디오 신호로 변환할 수 있다. 상기 HRTF는 임의의 위치를 갖는 음원에서 나오는 음파와 귀의 고막에 도달하는 음파 사이의 전달 함수(transfer function)를 의미하며, 상기 음원의 방위 정보 및 고도 정보에 따라 그 값을 달리한다. 방향성(즉, 지향성)이 없는 오디오 신호를 특정 방향의 HRTF로 필터링하면, HMD를 착용한 유저가 들었을 때 마치 상기 특정 방향에서 소리가 들리는 것처럼 느끼게 된다. 본 발명의 실시예에 따르면, 상기 3D 오디오 신호는 좌 채널 출력 및 우 채널 출력을 포함하며, 상기 좌 채널 출력 및 우 채널 출력 중 적어도 하나는 상기 HRTF 정보에 기초하여 조절된다.
한편 본 발명의 다른 실시예예 따르면, HMD는 외부 디바이스의 오리엔테이션 정보를 획득할 수 있다. 또한, HMD는 상기 획득된 외부 디바이스의 오리엔테이션 정보와 HMD에 대한 외부 디바이스의 방향 정보에 기초하여 오디오 신호를 출력할 수 있다. 이때, HMD는 외부 디바이스의 오리엔테이션 정보 및 HMD에 대한 외부 디바이스의 방향 정보에 기초하여 오디오 신호의 출력 레벨을 조절할 수 있다. 본 발명의 실시예에 따르면, 외부 디바이스의 오디오 신호는 외부 디바이스를 기준으로 특정 영역에 위치한 디바이스들에게만 제공될 수 있다. 이때, 오디오 신호가 제공될 상기 특정 영역은 외부 디바이스의 오리엔테이션 정보에 기초하여 결정될 수 있다.
도 10 내지 도 12는 본 발명의 HMD(200)가 오디오 신호를 제공하는 구체적인 실시예를 나타내고 있다.
먼저 도 10을 참조하면, 도서관 내부에 본 발명의 HMD(200)와 외부 디바이스(300)가 각각 위치하고 있다. 도서관에는 디바이스들 간의 통신을 위한 적어도 하나의 AP(50a, 50b, 50c, 50d)가 구비되어 있다. 도서관 내부의 각 디바이스들은 상기 AP(50a, 50b, 50c, 50d) 중 적어도 하나를 이용하여 네트워크에 접속하고, 데이터를 송/수신할 수 있다. 본 발명의 HMD(200) 및 외부 디바이스(300)는 각 디바이스의 무선 랜 접속 정보를 이용하여 각 디바이스의 위치 정보를 획득할 수 있다. 예를 들어, HMD(200)및 외부 디바이스(300)는 도 10의 AP(50a, 50b, 50c, 50d) 중 각 디바이스가 교신을 수행한 AP의 정보를 이용하여 위치 정보를 획득할 수 있다. 본 발명의 실시예에 따르면, HMD(200) 및 외부 디바이스(300)는 각각 복수의 AP와 교신할 수 있으며, 교신을 수행한 복수의 AP 정보에 기초하여 삼각 측량법 등을 이용하여 각 디바이스의 정확한 위치 정보를 획득할 수 있다.
본 발명의 외부 디바이스(300)는 네트워크를 통해 커넥팅 된 HMD(200)로 오디오 신호(60)를 전송할 수 있다. 본 발명의 일 실시예에 따르면, 외부 디바이스(300)는 외부 디바이스(300)를 착용한 유저의 보이스를 포함하는 리얼 사운드를 수신하고, 수신된 리얼 사운드를 오디오 신호(60)로 변환할 수 있다. 외부 디바이스(300)는 변환된 오디오 신호(60)를 AP 50a와 통신하여 전송할 수 있다. 본 발명의 HMD(200)는 외부 디바이스(300)가 전송한 오디오 신호(60)를 AP 50c을 통해 수신할 수 있다. 본 발명의 실시예에 따르면, HMD(200)는 상기 오디오 신호(60)와 함께 외부 디바이스(300)의 위치 정보를 수신할 수 있다. 상기 위치 정보는 외부 디바이스(300)가 교신한 AP 50a의 정보를 이용하여 획득될 수 있다. 또한, HMD(200)는 상기 HMD(200)가 교신한 AP 50c의 정보를 이용하여 HMD(200)의 위치 정보를 획득할 수 있다. HMD(200)는 획득된 외부 디바이스(300)의 위치 정보와 HMD(200)의 위치 정보를 이용하여, HMD(200)에 대한 외부 디바이스(300)의 방향 정보를 획득할 수 있다. 또한, 본 발명의 HMD(200)는 HMD(200)의 오리엔테이션 정보를 더 디텍트 할 수 있다. HMD(200)는 디텍트 된 오리엔테이션 정보와 상기 HMD(200)에 대한 외부 디바이스(300)의 방향 정보를 이용하여, 외부 디바이스(300)가 HMD(200)를 착용한 유저의 머리(또는, 양쪽 귀)를 기준으로 어느 방향에 위치해 있는지 알 수 있다.
HMD(200)는 상기 HMD(200)에 대한 외부 디바이스(300)의 방향 정보 및 HMD(200)의 오리엔테이션 정보에 기초하여 오디오 신호(60)를 3D(3 Dimensional) 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 출력할 수 있다. 이때, 상기 3D 오디오 신호는 3D 효과를 갖는 바이노럴(binaural) 오디오 신호를 포함한다. 본 발명의 실시예에서 HMD(200)의 오디오 출력 유닛이 2채널의 스테레오 출력 유닛을 포함할 경우, HMD(200)는 오디오 신호(60)의 음상이 상기 외부 디바이스(300)의 위치에 정위 되도록 할 수 있다. 도 10에서 외부 디바이스(300)는 HMD(200)의 좌측 전방에 위치하며, 따라서 HMD(200)는 오디오 신호(60)가 HMD(200)의 좌측 전방에서 들려오도록 출력할 수 있다.
본 발명의 실시예에 따르면, 외부 디바이스(300)는 HMD(200)와 동일한 종류의 디바이스를 포함할 수 있으며, 이 외에도 커뮤니케이션 유닛을 통해 오디오 신호를 전송할 수 있는 다양한 종류의 디바이스를 포함할 수 있다.
다음으로 도 11 및 도 12를 참조하면, 빌딩의 서로 다른 층에 본 발명의 HMD(200a, 200b) 및 외부 디바이스(300)가 각각 위치하고 있다. 도 11 및 도 12의 실시예에서, 도 10의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.
도 11 및 도 12에서 빌딩의 각 층계에는 디바이스들 간의 통신을 위한 적어도 하나의 AP(50a, 50b, 50c, 50d, 50e)가 구비되어 있다. 본 발명의 HMD(200) 및 외부 디바이스(300)는 각 디바이스의 무선 랜 접속 정보를 이용하여 각 디바이스의 위치 정보를 획득할 수 있다. 이때, 획득되는 위치 정보에는 각 디바이스가 위치한 층계 정보가 포함될 수 있다. 도 11 및 도 12의 실시예에서 HMD 200a는 AP 50b와 교신을 수행하고 있으며, HMD 200b는 AP 50e와 교신을 수행하고 있다. 또한, 외부 디바이스(300)는 AP 50c와 교신을 수행하고 있다. 외부 디바이스(300)의 위쪽 층계에는 HMD 200b가 위치하고 있으며, 아래쪽 층계에는 HMD 200a가 위치하고 있다. 본 발명의 실시예에 따르면 HMD(200a, 200b) 및 외부 디바이스는 각 디바이스가 교신하는 AP 정보를 이용하여, 각 디바이스 간의 상대적인 위치 정보 및 방향 정보를 식별할 수 있다.
전술한 바와 같이, 본 발명의 외부 디바이스(300)는 네트워크를 통해 커넥팅 된 복수의 HMD(200a, 200b) 중 적어도 하나의 HMD에 오디오 신호(60)를 전송할 수 있다. 본 발명의 일 실시예에 따르면, HMD(200a, 200b)는 외부 디바이스(300)의 오리엔테이션 정보를 획득할 수 있다. 각 HMD(200a, 200b)는 획득된 외부 디바이스(300)의 오리엔테이션 정보 및 각 HMD(200a, 200b)에 대한 외부 디바이스(300)의 방향 정보에 기초하여 오디오 신호를 출력할 수 있다. 예를 들어, 도 11에서 외부 디바이스(300)는 아래쪽을 바라보며 오디오 신호(60)를 전송하고 있다. 이때, 외부 디바이스(300)의 아래에 위치하는 HMD 200a는 AP 50b를 통해 오디오 신호(60)를 수신하고, 수신된 오디오 신호(60)를 출력할 수 있다. 그러나 외부 디바이스(300)의 위에 위치하는 HMD 200b는 AP 50e를 통해 오디오 신호(60)를 수신할 수 있지만, 상기 오디오 신호(60)를 출력하지 않는다. 한편, 도 12에서 외부 디바이스(300)는 위쪽을 바라보며 오디오 신호(60)를 전송하고 있다. 이때, 외부 디바이스(300)의 위에 위치하는 HMD 200b는 AP 50e를 통해 오디오 신호(60)를 수신하고, 수신된 오디오 신호(60)를 출력할 수 있다. 그러나 외부 디바이스(300)의 아래에 위치하는 HMD 200a는 AP 50b를 통해 오디오 신호(60)를 수신할 수 있지만, 상기 오디오 신호(60)를 출력하지 않는다.
이와 같이 발명의 실시예에 따르면, 외부 디바이스(300)의 오디오 신호(60)는 외부 디바이스(300)를 기준으로 특정 영역에 위치한 HMD에만 제공될 수 있다. 이때, 오디오 신호(60)가 제공될 상기 특정 영역은 외부 디바이스(300)의 오리엔테이션 정보에 기초하여 결정될 수 있다.
본 발명에서 설명한 HMD는 본 발명의 목적에 따라 다양한 디바이스로 변경 및 대체 가능하다. 예를 들어, 본 발명의 HMD는 EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 유저에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스를 포함하며, 본 발명에서 사용된 용어에 한정되지 않는다. 또한 본 발명에서, 디지털 디바이스는 TV, 컴퓨터, 노트북, 핸드폰, 포터블 디바이스, HMD(Head Mounted Display) 등, 디스플레이 유닛을 구비하며 상기 디스플레이 유닛으로 콘텐츠를 출력할 수 있는 다양한 종류의 디바이스를 포함한다. 이상에서는 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 따라서 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
발명의 실시를 위한 형태
전술한 바와 같이, 발명의 실시를 위한 최선의 형태에서 관련 사항을 기술하였다.
전술한 바와 같이, 본 발명은 HMD를 포함하는 다양한 디지털 디바이스에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (8)

  1. 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법으로써,
    적어도 하나의 외부 디바이스와 커넥팅 하는 단계;
    상기 외부 디바이스의 오디오 신호 및 상기 외부 디바이스의 위치 정보를 수신하는 단계;
    상기 HMD의 위치 정보를 획득하는 단계;
    상기 HMD의 오리엔테이션 정보를 디텍트 하는 단계;
    상기 HMD에 대한 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 상기 오디오 신호를 출력하는 단계;
    를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  2. 제 1항에 있어서,
    상기 외부 디바이스의 위치 정보는 상기 외부 디바이스의 무선 랜 접속 정보를 이용하여 획득되는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  3. 제 1항에 있어서,
    상기 HMD의 위치 정보는 상기 HMD의 무선 랜 접속 정보를 이용하여 획득되는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  4. 제 1항에 있어서,
    상기 오디오 콘텐츠를 출력하는 단계는, 상기 HMD에 대한 상기 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 변환된 3D(3 Dimensional) 오디오 신호로 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  5. 제 4항에 있어서,
    상기 HMD에 대한 상기 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하는 단계;
    상기 생성된 HRTF 정보를 이용하여 상기 오디오 신호를 3D 오디오 신호로 변환하는 단계;
    를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  6. 제 1항에 있어서,
    상기 외부 디바이스의 오리엔테이션 정보를 획득하는 단계를 더 포함하며,
    상기 오디오 신호를 출력하는 단계는, 상기 외부 디바이스의 오리엔테이션 정보 및 HMD에 대한 상기 외부 디바이스의 방향 정보에 기초하여 오디오 신호를 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  7. 제 6항에 있어서,
    상기 오디오 신호를 출력하는 단계는, 상기 외부 디바이스의 오리엔테이션 정보 및 HMD에 대한 상기 외부 디바이스의 방향 정보에 기초하여 상기 오디오 신호의 출력 레벨을 조절하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 신호 제공 방법.
  8. 헤드 마운트 디스플레이(Head Mounted Display, HMD)로써,
    상기 HMD의 작동을 제어하는 프로세서;
    상기 프로세서의 명령에 기초하여 서버, 클라우드 또는 외부 디바이스와 데이터를 송/수신하는 커뮤니케이션 유닛; 및
    상기 프로세서의 명령에 기초하여 사운드를 출력하는 오디오 출력 유닛을 포함하되,
    상기 프로세서는, 적어도 하나의 외부 디바이스와 커넥팅 하고, 상기 외부 디바이스의 오디오 신호 및 상기 외부 디바이스의 위치 정보를 수신하고, 상기 HMD의 위치 정보 및 오리엔테이션 정보를 획득하고, 상기 HMD에 대한 외부 디바이스의 방향 정보 및 상기 HMD의 오리엔테이션 정보에 기초하여 상기 오디오 신호를 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD).
KR1020157031077A 2013-04-30 2013-06-05 증강현실 제공 방법 및 이를 위한 디지털 디바이스 KR20160013853A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130048236 2013-04-30
KR20130048236 2013-04-30
PCT/KR2013/004991 WO2014178480A1 (ko) 2013-04-30 2013-06-05 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법

Publications (1)

Publication Number Publication Date
KR20160013853A true KR20160013853A (ko) 2016-02-05

Family

ID=55353600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157031077A KR20160013853A (ko) 2013-04-30 2013-06-05 증강현실 제공 방법 및 이를 위한 디지털 디바이스

Country Status (1)

Country Link
KR (1) KR20160013853A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139786A1 (ko) * 2017-01-25 2018-08-02 삼성전자 주식회사 전자 장치 및 전자 장치 제어 방법
KR20200051092A (ko) 2018-11-02 2020-05-13 (주)리얼미디어웍스 증강현실을 이용한 퍼즐 혼합형 식물 성장 콘텐츠 제공시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139786A1 (ko) * 2017-01-25 2018-08-02 삼성전자 주식회사 전자 장치 및 전자 장치 제어 방법
US11054644B2 (en) 2017-01-25 2021-07-06 Samsung Electronics Co., Ltd Electronic device and method for controlling electronic device
KR20200051092A (ko) 2018-11-02 2020-05-13 (주)리얼미디어웍스 증강현실을 이용한 퍼즐 혼합형 식물 성장 콘텐츠 제공시스템

Similar Documents

Publication Publication Date Title
EP2912514B1 (en) Head mounted display and method of outputting audio signal using the same
CN111316333B (zh) 一种信息提示方法及电子设备
US9271103B2 (en) Audio control based on orientation
CN113038362B (zh) 超宽带定位方法及系统
CN103105926A (zh) 多传感器姿势识别
KR20140089184A (ko) 헤드 마운트 디스플레이 및 그 제어 방법
KR20160059376A (ko) 전자 기기 및 그 제어방법
CN108616776B (zh) 直播分析数据获取方法及装置
CN111027490B (zh) 人脸属性识别方法及装置、存储介质
US20220262035A1 (en) Method, apparatus, and system for determining pose
CN105391842B (zh) 移动终端及其控制方法
KR20180018017A (ko) 이동 단말기 및 그의 동작 방법
US20230368417A1 (en) Pose determining method and related device
US20230005277A1 (en) Pose determining method and related device
KR101784095B1 (ko) 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
KR20140129936A (ko) 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
CN110349527B (zh) 虚拟现实显示方法、装置及系统、存储介质
CN113573120A (zh) 音频的处理方法及电子设备
KR20160013853A (ko) 증강현실 제공 방법 및 이를 위한 디지털 디바이스
WO2022206595A1 (zh) 一种图像处理方法以及相关设备
CN114338642B (zh) 一种文件传输方法和电子设备
EP4184944A1 (en) Terminal for controlling wireless sound device, and method therefor
JP2017135570A (ja) 撮像システム、及び、撮像システムの制御方法
KR20160009213A (ko) 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
WO2014178480A1 (ko) 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination