KR20140129654A - 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법 - Google Patents

헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법 Download PDF

Info

Publication number
KR20140129654A
KR20140129654A KR1020130048217A KR20130048217A KR20140129654A KR 20140129654 A KR20140129654 A KR 20140129654A KR 1020130048217 A KR1020130048217 A KR 1020130048217A KR 20130048217 A KR20130048217 A KR 20130048217A KR 20140129654 A KR20140129654 A KR 20140129654A
Authority
KR
South Korea
Prior art keywords
hmd
information
audio content
audio
sound source
Prior art date
Application number
KR1020130048217A
Other languages
English (en)
Inventor
김홍국
전찬준
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020130048217A priority Critical patent/KR20140129654A/ko
Publication of KR20140129654A publication Critical patent/KR20140129654A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은, 실사 오디오 신호의 청취 환경에 따라 적응적으로 가상 오디오 신호를 증강하여 제공하기 위한 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 이를 이용한 오디오 콘텐츠 제공 방법에 관한 것이다.
이를 위해 본 발명은, 헤드 마운트 디스플레이(HMD)로써, 상기 HMD의 작동을 제어하는 프로세서; 상기 HMD의 위치 정보를 센싱하는 센서 유닛; 상기 프로세서의 명령에 기초하여 데이터를 송/수신하는 커뮤니케이션 유닛; 및 상기 프로세서의 명령에 기초하여 오디오 신호를 출력하는 오디오 출력 유닛을 포함하되, 상기 프로세서는, 상기 센서 유닛을 이용하여 상기 HMD의 위치 정보를 획득하고, 상기 획득된 위치 정보를 이용하여 적어도 하나의 음원의 오디오 콘텐츠를 획득하고, 상기 위치 정보를 이용하여 상기 오디오 콘텐츠에 대한 공간 음향 파라미터를 획득하고, 상기 획득된 공간 음향 파라미터를 이용하여 상기 오디오 콘텐츠를 필터링 하고, 상기 필터링 된 오디오 콘텐츠를 상기 오디오 출력 유닛으로 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 제공한다.

Description

헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법{A Head Mounted Display and A Method for Providing Audio Contents Using the Same}
본 발명은, 헤드 마운트 디스플레이(Head Mounted Display, HMD) 및 이를 이용한 오디오 콘텐츠 제공 방법에 관한 것으로, 더욱 상세하게는 실사 오디오 신호의 청취 환경에 따라 적응적으로 가상 오디오 신호를 증강하여 제공하기 위한 HMD 및 이를 이용한 오디오 콘텐츠 제공 방법에 관한 것이다.
헤드 마운트 디스플레이(HMD)란 안경처럼 머리에 착용하여 멀티미디어 콘텐츠를 제공받을 수 있도록 하는 각종 디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, 상기 HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강현실 기술, N 스크린 기술 등과 조합 되어 유저에게 각종 편의를 제공할 수 있다.
기존의 증강현실 기술은 대부분 현실 세계의 실제 이미지에 가상 이미지를 합성하는 시각적인 측면의 기술이 대부분이었다. 그러나 HMD가 오디오 출력 유닛을 구비할 경우, 기존의 시각 중심의 증강현실뿐만 아니라 청각 중심의 증강현실을 제공할 수 있다. 이때, 가상 오디오 신호를 유저에게 실감나게 증강시키기 위한 기술이 필요하다.
본 발명은 HMD를 착용한 유저에게 증강현실 오디오를 제공하기 위한 목적을 가지고 있다.
본 발명의 일 과제는 리얼 사운드와 가상 오디오 신호를 조화롭게 믹싱하여 유저에게 제공하기 위함에 있다.
본 발명의 다른 과제는 수신되는 리얼 사운드의 음원을 분리하여 실시간으로 새로운 오디오 콘텐츠를 생성하기 위함에 있다.
상기와 같은 과제를 해결하기 위해, 본 발명의 실시예에 따른 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 콘텐츠 제공 방법은, 상기 HMD의 위치 정보를 획득하는 단계; 상기 획득된 위치 정보를 이용하여 적어도 하나의 음원의 오디오 콘텐츠를 획득하는 단계; 상기 위치 정보를 이용하여 상기 오디오 콘텐츠에 대한 공간 음향 파라미터를 획득하는 단계; 상기 획득된 공간 음향 파라미터를 이용하여 상기 오디오 콘텐츠를 필터링 하는 단계; 및 상기 필터링 된 오디오 콘텐츠를 출력하는 단계; 를 포함하는 것을 특징으로 한다.
본 발명의 실시예에서, 상기 공간 음향 파라미터는 상기 음원과 상기 HMD 간의 거리 정보 및 방해물 정보에 기초하여 결정되는 것을 특징으로 한다.
또한, 상기 방해물 정보는 상기 위치 정보를 기초로 한 맵 데이터로부터 획득되는 것을 특징으로 한다.
본 발명의 실시예에서, 상기 공간 음향 파라미터는 잔향 시간 및 실내 충격 응답(Room Impulse Response, RIR) 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 오디오 콘텐츠 제공을 위한 시점 정보를 획득하는 단계를 더 포함하며, 상기 오디오 콘텐츠를 획득하는 단계는, 상기 시점 정보 및 위치 정보를 이용하여 상기 오디오 콘텐츠를 획득하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 상기 HMD를 기준으로 한 상기 음원의 방향 정보를 획득하는 단계를 더 포함하며, 상기 오디오 콘텐츠를 출력하는 단계는, 상기 획득된 방향 정보 및 상기 음원과 상기 HMD 간의 거리 정보에 기초하여 변환된 3D(3 Dimensional) 오디오 신호로 출력하는 것을 특징으로 한다.
또한, 상기 획득된 방향 정보 및 상기 음원과 상기 HMD 간의 거리 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하는 단계; 상기 생성된 HRTF 정보를 이용하여 상기 오디오 콘텐츠를 3D 오디오 신호로 변환하는 단계; 를 더 포함하는 것을 특징으로 한다.
한편 본 발명의 실시예에 따른 헤드 마운트 디스플레이(Head Mounted Display, HMD)는, 상기 HMD의 작동을 제어하는 프로세서; 상기 HMD의 위치 정보를 센싱하는 센서 유닛; 상기 프로세서의 명령에 기초하여 데이터를 송/수신하는 커뮤니케이션 유닛; 및 상기 프로세서의 명령에 기초하여 오디오 신호를 출력하는 오디오 출력 유닛을 포함하되, 상기 프로세서는, 상기 센서 유닛을 이용하여 상기 HMD의 위치 정보를 획득하고, 상기 획득된 위치 정보를 이용하여 적어도 하나의 음원의 오디오 콘텐츠를 획득하고, 상기 위치 정보를 이용하여 상기 오디오 콘텐츠에 대한 공간 음향 파라미터를 획득하고, 상기 획득된 공간 음향 파라미터를 이용하여 상기 오디오 콘텐츠를 필터링 하고, 상기 필터링 된 오디오 콘텐츠를 상기 오디오 출력 유닛으로 출력하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 가상의 오디오 신호를 유저에게 제공할 때, 유저가 듣는 리얼 사운드와 이질감이 없이 들리도록 할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 유저의 위치에 기반하여 오디오 콘텐츠를 제공할 수 있다. 이때, 본 발명은 유저가 상기 오디오 콘텐츠를 현장감 있게 청취할 수 있도록 할 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 리얼 사운드를 레코딩 할 때 실시간으로 가상 오디오 신호를 함께 레코딩 하여 새로운 오디오 콘텐츠를 생성할 수 있다.
도 1은 본 발명의 실시예에 따른 HMD를 나타낸 블록도.
도 2는 본 발명의 일 실시예에 따른 오디오 콘텐츠 제공 방법을 나타낸 순서도.
도 3은 본 발명의 다른 실시예에 따른 오디오 콘텐츠 제공 방법을 나타낸 순서도.
도 4는 본 발명의 일 실시예에 따른 오디오 콘텐츠 생성 방법을 나타낸 순서도.
도 5 내지 도 8은 본 발명의 실시예에 따른 오디오 콘텐츠 제공 방법을 구체적으로 나타낸 도면.
도 9는 본 발명의 실시예에 따른 오디오 콘텐츠 생성 방법을 구체적으로 나타낸 도면.
도 10 및 도 11은 본 발명의 실시예에 따라 서로 다른 환경에서 동일한 콘텐츠의 오디오 신호를 출력하는 모습을 나타낸 도면.
도 12 내지 도 14는 본 발명의 다른 실시예에 따른 오디오 콘텐츠 제공 방법을 구체적으로 나타낸 도면.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 실시예에 따른 HMD(100)를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 HMD(100)는 프로세서(110), 디스플레이 유닛(120), 오디오 출력 유닛(130), 커뮤니케이션 유닛(140), 센서 유닛(150) 및 스토리지 유닛(160)을 포함할 수 있다.
먼저, 디스플레이 유닛(120)은 디스플레이 화면에 이미지를 출력한다. 상기 디스플레이 유닛(120)은 프로세서(110)에서 실행되는 콘텐츠를 출력하거나, 프로세서(110)의 제어 명령에 기초하여 이미지를 출력한다. 또한, 본 발명의 실시예에 따르면 디스플레이 유닛(120)은 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)의 제어 명령에 기초하여 이미지를 디스플레이 할 수 있다. 예를 들어, 디스플레이 유닛(120)은 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)가 실행중인 콘텐츠를 디스플레이 할 수 있다. 이때, HMD(100)는 커뮤니케이션 유닛(140)을 통해 상기 외부 디지털 디바이스(200)로부터 데이터를 수신하며, 수신 받은 데이터에 기초하여 이미지를 출력할 수 있다.
다음으로, 오디오 출력 유닛(130)은 스피커, 이어폰 등의 오디오 출력 수단과 이들을 제어하는 제어 모듈을 포함한다. 상기 오디오 출력 유닛(130)은 프로세서(110)에서 실행되는 컨텐츠 또는 프로세서(110)의 제어 명령에 기초하여 음성을 출력한다. 본 발명의 실시예에 따른 HMD(100)의 오디오 출력 유닛(130)은 좌 채널 출력 유닛(미도시) 및 우 채널 출력 유닛(미도시)을 포함할 수 있다. 상기 좌 채널 출력 유닛 및 우 채널 출력 유닛은 각각 오디오 신호의 좌 채널 및 우 채널을 출력 한다. 또한, 본 발명의 실시예에 따르면 오디오 출력 유닛(130)은 HMD(100)와 커넥팅 된 외부 디지털 디바이스(200)의 오디오 신호를 출력할 수 있다.
다음으로, 커뮤니케이션 유닛(140)은 외부 디지털 디바이스(200) 또는 서버와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 본 발명에서 커뮤니케이션 유닛(140)은 네트워크를 통해 서버 또는 클라우드에 접속할 수 있으며, 디지털 데이터, 예를 들면 콘텐츠를 송/수신할 수 있다. 또한, 본 발명의 다른 실시예에 따르면 HMD(100)는 커뮤니케이션 유닛(140)을 이용하여 외부 디지털 디바이스(200)와 커넥팅을 수행할 수 있다. 이때, HMD(100)는 상기 커넥팅 된 외부 디지털 디바이스(200)가 실행중인 콘텐츠의 디스플레이 출력 정보를 실시간으로 수신하고, 수신된 정보를 이용하여 디스플레이 유닛(120)에 이미지를 출력할 수 있다. 또한, HMD(100)는 상기 커넥팅 된 외부 디지털 디바이스(200)가 실행중인 콘텐츠의 오디오 신호를 실시간으로 수신하고, 수신된 오디오 신호를 오디오 출력 유닛(130)으로 출력할 수 있다.
센서 유닛(150)은 HMD(100)에 장착된 적어도 하나의 센서를 사용하여 유저 인풋 또는 상기 HMD(100)가 인식하는 환경을 프로세서(110)로 전달할 수 있다. 이때, 상기 센서 유닛(150)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 조도 센서, 근접 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(150)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(110)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
본 발명의 실시예에 따르면, 상기 센서 유닛(150)은 마이크 유닛(152)을 포함할 수 있다. 상기 마이크 유닛(152)은 HMD(100) 주변의 리얼 사운드를 수신하여 이를 프로세서(110)에 전달한다. 이때, 마이크 유닛(152)은 상기 리얼 사운드를 오디오 신호로 변환하여 프로세서(110)에 전달할 수 있다. 본 발명의 실시예에 따르면, 상기 마이크 유닛(152)은 복수의 마이크를 구비한 마이크 어레이를 포함할 수 있다.
다음으로, 스토리지 유닛(160)은, 비디오, 오디오, 사진, 문서, 애플리케이션 등 다양한 콘텐츠를 포함하는 디지털 데이터를 저장할 수 있다. 스토리지 유닛(150)은 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 매체를 포함한다. 또한, 스토리지 유닛(150)은 커뮤니케이션 유닛(140)이 외부 디지털 디바이스(200) 또는 서버로부터 수신한 콘텐츠를 저장할 수 있다.
본 발명의 프로세서(110)는 HMD(100) 자체의 콘텐츠 또는 데이터 통신을 통해 수신된 콘텐츠 등을 실행할 수 있다. 또한, 다양한 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱 할 수 있다. 이에 더하여, 상기 프로세서(110)는 상술한 HMD(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.
한편 본 발명의 다른 실시예에 따르면, 상기 HMD(100)는 적어도 하나의 외부 디지털 디바이스(200)와 커넥팅 되고, 커넥팅 된 외부 디지털 디바이스(200)의 제어 명령에 기초하여 동작할 수 있다. 이때, 상기 외부 디지털 디바이스(200)는 HMD(100)를 제어할 수 있는 다양한 종류의 디지털 디바이스를 포함한다. 예를 들어, 외부 디지털 디바이스(200)는 스마트폰, PC, PDA(Personal Digital Assistant), 노트북, 태블릿 피씨, 미디어 플레이어 등을 포함하며, 이 외에도 HMD의 동작을 제어할 수 있는 다양한 종류의 디지털 디바이스를 포함한다. HMD(100)는 다양한 유/무선 통신 수단을 이용하여 외부 디지털 디바이스(200)와 데이터를 송/수신 한다. 이때, 사용 가능한 무선 통신 수단으로는 NFC(Near Field Communication), Zigbee, 적외선 통신, 블루투스, 와이파이 등이 있으며, 본 발명은 이에 한정하지 않는다. 본 발명에서 HMD(100)는 앞서 열거된 통신 수단 중 어느 하나, 또는 이들 간의 조합을 이용하여 외부 디지털 디바이스(200)와 커넥팅 되어 통신을 수행할 수 있다.
도 1에 도시된 HMD(100)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 2는 본 발명의 일 실시예에 따른 오디오 콘텐츠 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 2의 각 단계는 본 발명의 HMD에 의해 수행될 수 있다. 즉, 도 1에 도시된 HMD(100)의 프로세서(110)가 도 2의 각 단계를 제어할 수 있다. 한편, 본 발명의 다른 실시예에 따라 HMD(100)가 외부 디지털 디바이스(200)에 의해 제어될 경우, 해당 외부 디지털 디바이스(200)의 제어 명령에 기초하여 HMD(100)가 도 2의 각 단계를 수행할 수 있다.
먼저, 본 발명의 HMD는 마이크 유닛을 이용하여 리얼 사운드를 수신한다(S210). 본 발명의 실시예에서 상기 마이크 유닛은 단일의 마이크 또는 마이크 어레이를 포함한다. 상기 마이크 유닛은 수신된 리얼 사운드를 오디오 시그널로 변환하여 프로세서에 전달한다.
다음으로, 본 발명의 HMD는 가상 오디오 신호를 획득한다(S220). 상기 가상 오디오 신호는 본 발명의 실시예에 따라 HMD를 착용한 유저에게 제공하기 위한 증강현실 오디오 정보를 포함한다. 본 발명의 일 실시예에 따르면, 가상 오디오 신호는 S210 단계에서 수신된 리얼 사운드를 기초로 하여 획득될 수 있다. 즉, HMD는 수신된 리얼 사운드를 분석하여, 해당 리얼 사운드에 대응하는 가상 오디오 신호를 획득할 수 있다. 본 발명의 실시예에 따르면, HMD는 상기 가상 오디오 신호를 스토리지 유닛에서 획득하거나 커뮤니케이션 유닛을 통해 서버로부터 획득할 수 있다.
다음으로, 본 발명의 HMD는 수신된 리얼 사운드를 이용하여 공간 음향 파라미터를 추출한다(S230). 본 발명의 실시예에서 공간 음향 파라미터는 리얼 사운드가 수신된 환경의 음향 특성(Room acoustic)을 나타내는 정보로써, 잔향 시간, 전송 주파수 특성, 차단음 성능 등 방 또는 그에 준하는 공간의 음향에 관한 다양한 특성 정보를 포함할 수 있다. 예를 들어, 상기 공간 음향 파라미터는 다음과 같은 정보들을 포함할 수 있다. i) 음압 레벨(Sound Pressure Level, SPL), ii) 전 에너지 레벨(Overall Strength, G10), iii) 잔향 시간(Reverberation Time, RT), iv) 초기 감쇠 시간(Early Decay Time, EDT), v) 음성 명료도(Definition, D50), vi) 음악 명료도(Clarity, C80), vii) 시간 중심(Center Time, Ts), viii) 음성 전달 지수(Speech Transmission Index, STI), ix) 측면 반사음 비율(Lateral Energy Fraction, LF), x) 측방 효과(Lateral Efficiency, LE), xi) 실응답(Room Response, RR), xii) 양이간상호상관도(Interaural Cross Correlation, IACC).
또한 본 발명의 실시예에 따르면, 상기 공간 음향 파라미터는 실내 충격 응답(Room Impulse Response, RIR)을 포함할 수 있다. 실내 충격 응답이란 음원이 임펄스 함수로 가진 되었을 때, 청취자(listener)의 위치에서 측정되는 음압이다. 실내 충격 응답을 모델링하는 기법으로는 FIR(Finite Impulse Response) 기반의 올 제로(all-zero) 모델과 IIR(Infinite Impulse Response) 기반의 폴-제로(pole-zero) 모델 등 다양한 모델이 있다.
다음으로, 본 발명의 HMD는 추출된 공간 음향 파라미터를 이용하여 가상 오디오 신호를 필터링 한다(S240). 본 발명의 HMD는 S230 단계에서 추출된 공간 음향 파라미터 중 적어도 하나를 이용하여 필터를 생성할 수 있다. HMD는 생성된 필터를 이용하여 가상 오디오 신호를 필터링 함으로, S230 단계에서 추출된 공간 음향 파라미터의 특성을 가상 오디오 신호에 입힐 수 있다. 따라서, 본 발명의 HMD는 가상 오디오 신호를 리얼 사운드가 수신된 환경과 동일한 효과로 유저에게 제공 할 수 있다.
다음으로, 본 발명의 HMD는 필터링 된 가상 오디오 신호를 출력한다(S250). 본 발명의 HMD는 상기 필터링 된 가상 오디오 신호를 오디오 출력 유닛으로 출력할 수 있다. 본 발명의 실시예에 따르면 HMD는 S210 단계에서 수신된 리얼 사운드를 이용하여 가상 오디오 신호의 재생 속성을 조정할 수 있다. 이러한 재생 속성에는 재생 피치 및 재생 템포 중 적어도 하나를 포함한다. 한편, 본 발명의 다른 실시예에 따르면, HMD는 가상 오디오 신호의 가상 음원의 위치를 획득할 수 있다. 상기 가상 음원의 위치는 HMD를 착용한 유저에 의해 지정되거나, 가상 오디오 신호의 획득시 부가 데이터로 함께 획득될 수 있다. 본 발명의 HMD는 획득된 가상 음원의 위치에 기초하여 가상 오디오 신호를 3D(3 Dimensional) 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 출력할 수 있다. 이때, 상기 3D 오디오 신호는 3D 효과를 갖는 바이노럴(binaural) 오디오 신호를 포함한다. 더욱 구체적으로, HMD는 가상 음원의 위치 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하고, 생성된 HRTF 정보를 이용하여 가상 오디오 신호를 3D 오디오 신호로 변환할 수 있다. 상기 HRTF는 임의의 위치를 갖는 음원에서 나오는 음파와 귀의 고막에 도달하는 음파 사이의 전달 함수(transfer function)를 의미하며, 상기 음원의 방위 정보 및 고도 정보에 따라 그 값을 달리한다. 방향성(즉, 지향성)이 없는 오디오 신호를 특정 방향의 HRTF로 필터링하면, HMD를 착용한 유저가 들었을 때 마치 상기 특정 방향에서 소리가 들리는 것처럼 느끼게 된다.
한편, 본 발명의 실시예에 따르면 HMD는 가상 오디오 신호를 3D 오디오 신호로 변환하는 작업을 상기 S240 단계 이전 또는 이후에 수행할 수 있다. 또한, 다른 실시예에 따르면 HMD는 S230 단계에서 추출된 공간 음향 파라미터와 상기 HRTF가 통합된 필터를 생성하고, 상기 통합 필터로 가상 오디오 신호를 필터링 하여 출력할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 오디오 콘텐츠 제공 방법을 나타낸 순서도이다. 이하 설명하는 도 3의 각 단계는 본 발명의 HMD에 의해 수행될 수 있다. 즉, 도 1에 도시된 HMD(100)의 프로세서(110)가 도 3의 각 단계를 제어할 수 있다. 도 3의 실시예예서 도 2의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.
먼저, 본 발명의 HMD는 HMD의 위치 정보를 획득한다(S310). 본 발명의 실시예에 따르면 HMD는 GPS 센서를 구비할 수 있으며, 상기 GPS 센서를 이용하여 HMD의 위치 정보를 획득할 수 있다. 본 발명의 다른 실시예에 따르면, HMD는 와이파이 등의 네트워크 서비스를 기반으로 위치 정보를 획득할 수도 있다.
다음으로, 본 발명의 HMD는 획득된 위치 정보를 이용하여 적어도 하나의 음원의 오디오 콘텐츠를 획득한다(S320). 상기 오디오 콘텐츠는 본 발명의 실시예에 따라 HMD를 착용한 유저에게 제공하기 위한 증강현실 오디오 콘텐츠를 포함한다. 상기 HMD는 상기 HMD의 위치 정보를 기초로, 서버 또는 클라우드로부터 상기 HMD의 주변에 위치한 음원의 오디오 콘텐츠를 획득할 수 있다. 즉, HMD가 위치 정보를 서버 또는 클라우드로 전송하면, 상기 서버 또는 클라우드는 해당 위치 정보를 쿼리(query) 정보로 하여 HMD의 주변에 위치한 음원의 오디오 콘텐츠를 탐색한다. 서버 또는 클라우드는 탐색된 오디오 콘텐츠를 HMD로 전송할 수 있다. 본 발명의 실시예에 따르면, 상기 HMD의 위치한 곳 주변에는 복수의 음원이 존재할 수 있으며, HMD는 해당 복수의 음원의 오디오 콘텐츠를 함께 획득할 수 있다.
다음으로, 본 발명의 HMD는 획득된 위치 정보를 이용하여 오디오 콘텐츠에 대한 공간 음향 파라미터를 획득한다(S330). 도 3의 실시예에서 공간 음향 파라미터는 상기 오디오 콘텐츠를 실제 환경에 맞게 실감나게 출력하기 위한 정보이며, 도 2의 S230 단계를 참조로 상술한 바와 같이 다양한 종류의 특성 정보를 포함할 수 있다. 본 발명의 실시예에 따르면, 상기 공간 음향 파라미터는 음원과 HMD간의 거리 정보 및 방해물 정보에 기초하여 결정될 수 있다. 이때, 상기 방해물 정보는 음원과 HMD간의 사운드 전달을 방해하는 다양한 방해 요소(예를 들면, 건물 등)에 대한 정보이며, HMD의 위치 정보를 기초로 한 맵 데이터로부터 획득될 수 있다. 동일한 음원의 오디오 콘텐츠라 하더라도, 해당 음원과 청취자 간의 거리 및 음원과 청취자 간에 놓인 방해물에 따라 청취자에게는 들리는 소리가 다를 수 있다. 따라서 본 발명의 실시예에 따르면, 공간 음향 파라미터는 이러한 거리 정보 및 방해물 정보에 기초하여 예측될 수 있으며, HMD는 상기 예측값을 공간 음향 파라미터로 획득할 수 있다. 한편, 본 발명의 실시예에 따라 HMD가 복수의 음원의 오디오 콘텐츠를 획득할 경우, 각 음원과 청취자 간의 거리 및 방해물 정보는 서로 다를 수 있다. 따라서 본 발명의 HMD는 복수의 음원에 각각 대응하는 복수의 공간 음향 파라미터를 획득할 수 있다.
다음으로, 본 발명의 HMD는 획득된 공간 음향 파라미터를 이용하여 오디오 콘텐츠를 필터링 한다(S340). 본 발명의 HMD는 S330 단계에서 획득된 공간 음향 파라미터 중 적어도 하나를 이용하여 필터를 생성할 수 있다. HMD는 생성된 필터를 이용하여 오디오 콘텐츠를 필터링 함으로, S330 단계에서 획득된 공간 음향 파라미터의 특성을 오디오 콘텐츠에 입힐 수 있다. 따라서, 본 발명의 HMD는 오디오 콘텐츠를 리얼 사운드가 수신된 환경과 동일한 효과로 유저에게 제공 할 수 있다. 만약, HMD가 복수의 음원의 오디오 콘텐츠를 획득할 경우, HMD는 획득된 복수의 오디오 콘텐츠를 각각 대응하는 공간 음향 파라미터로 필터링 할 수 있다.
다음으로, 본 발명의 HMD는 필터링 된 오디오 콘텐츠를 출력한다(S350). 본 발명의 HMD는 상기 필터링 된 오디오 콘텐츠를 오디오 출력 유닛으로 출력할 수 있다. 한편, 본 발명의 실시예에 따르면, HMD는 HMD를 기준으로 한 음원의 방향 정보를 획득할 수 있다. 상기 방향 정보는 HMD를 기준으로 한 음원의 방위각 정보를 포함한다. HMD는 상기 음원의 위치 정보 및 HMD의 자이로 센서의 센싱값을 이용하여 상기 방향 정보를 획득할 수 있다. 본 발명의 HMD는 획득된 방향 정보 및 상기 음원과 HMD간의 거리 정보에 기초하여 오디오 콘텐츠를 3D(3 Dimensional) 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 출력할 수 있다. 더욱 구체적으로, HMD는 상기 방향 정보 및 거리 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하고, 생성된 HRTF 정보를 이용하여 오디오 콘텐츠를 3D 오디오 신호로 변환할 수 있다.
본 발명의 실시예에 따르면 HMD는 오디오 콘텐츠를 3D 오디오 신호로 변환하는 작업을 상기 S340 단계 이전 또는 이후에 수행할 수 있다. 또한, 다른 실시예에 따르면 HMD는 S330 단계에서 추출된 공간 음향 파라미터와 상기 HRTF가 통합된 필터를 생성하고, 상기 통합 필터로 오디오 콘텐츠를 필터링 하여 출력할 수 있다.
한편 본 발명의 다른 실시예에 따르면, HMD는 오디오 콘텐츠 제공을 위한 시점(time) 정보를 더 획득할 수 있다. 동일한 장소라 하더라도 시간에 따라 서로 다른 음원이 존재할 수 있다. 본 발명의 HMD는 유저의 입력 등을 통해 시점 정보를 획득하고, 이를 이용하여 오디오 콘텐츠를 획득할 수 있다. 즉, HMD는 시점 정보 및 HMD의 위치 정보를 함께 이용하여 적어도 하나의 음원의 오디오 콘텐츠를 획득할 수 있다. 따라서 본 발명의 HMD는 특정 장소의 특정 시간대의 음원을 획득하여 유저에게 제공할 수 있게 된다.
도 4은 본 발명의 일 실시예에 따른 오디오 콘텐츠 생성 방법을 나타낸 순서도이다. 이하 설명하는 도 4의 각 단계는 본 발명의 HMD에 의해 수행될 수 있다. 즉, 도 1에 도시된 HMD(100)의 프로세서(110)가 도 4의 각 단계를 제어할 수 있다. 다만, 본 발명은 이에 한정하지 않으며, 도 4의 각 단계는 HMD를 포함한 다양한 종류의 포터블 디바이스에 의해 수행될 수 있다. 도 4의 실시예예서 도 2의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략하도록 한다.
먼저, 본 발명의 HMD는 마이크 유닛을 이용하여 리얼 사운드를 수신한다(S410). 본 발명의 실시예에서 상기 마이크 유닛은 단일의 마이크 또는 마이크 어레이를 포함한다. 상기 마이크 유닛은 수신된 리얼 사운드를 오디오 시그널로 변환하여 프로세서에 전달한다.
다음으로, 본 발명의 HMD는 리얼 사운드에 대응하는 가상 오디오 신호를 획득한다(S420). 상기 가상 오디오 신호는 본 발명의 실시예에 따라 HMD를 착용한 유저에게 제공하기 위한 증강현실 오디오 정보를 포함한다. 본 발명의 일 실시예에 따르면, 가상 오디오 신호는 S410 단계에서 수신된 리얼 사운드를 기초로 하여 획득될 수 있다. 즉, HMD는 수신된 리얼 사운드를 분석하여, 해당 리얼 사운드에 대응하는 가상 오디오 신호를 획득할 수 있다. 본 발명의 실시예에 따르면, HMD는 상기 가상 오디오 신호를 스토리지 유닛에서 획득하거나 커뮤니케이션 유닛을 통해 서버로부터 획득할 수 있다.
다음으로, 본 발명의 HMD는 수신된 리얼 사운드를 적어도 하나의 음원 신호로 분리한다(S430). 상기 수신된 리얼 사운드에는 하나 또는 복수의 음원 신호가 포함될 수 있으며, HMD는 개별 음원의 위치를 기초로 하여 리얼 사운드를 적어도 하나의 음원 신호로 분리한다. 본 발명의 실시예에 따르면 HMD의 마이크 유닛은 마이크 어레이를 포함할 수 있으며, 상기 마이크 어레이의 각 마이크로 수신된 리얼 사운드의 시간차, 음압차 등을 이용하여 음원 신호를 분리할 수 있다.
다음으로, 본 발명의 HMD는 분리된 적어도 하나의 음원 신호 중 대체할 음원 신호를 설정한다(S440). 본 발명의 실시예에 따르면, HMD는 리얼 사운드에 포함된 복수의 음원 신호 중 일부 또는 전부를 가상 오디오 신호로 대체하여 레코딩 할 수 있다. 유저는 다양한 인터페이스를 이용하여 상기 대체할 음원 신호를 선택할 수 있다. 예를 들어 HMD는 추출된 음원 신호 각각에 대응하는 비쥬얼 오브젝트를 디스플레이 유닛으로 디스플레이 할 수 있으며, 유저는 디스플레이 된 비쥬얼 오브젝트 중 특정 비쥬얼 오브젝트를 선택하여 상기 대체할 음원 신호를 선택할 수 있다. HMD는 유저가 선택한 음원 신호를 상기 대체할 음원 신호로 설정한다.
다음으로, 본 발명의 HMD는 설정된 음원 신호를 가상 오디오 신호로 대체하여 레코딩 한다(S450). 본 발명의 HMD는 수신된 리얼 사운드를 포함하는 오디오 신호를 레코딩 하되, 상기 설정된 음원 신호를 제외하고 상기 가상 오디오 신호로 대체하여 레코딩 할 수 있다. 따라서 본 발명의 HMD는 수신된 리얼 사운드와 가상 오디오 신호가 조합된 새로운 오디오 콘텐츠를 생성할 수 있다. 한편, 본 발명의 실시예에 따르면 HMD는 S410 단계에서 수신된 리얼 사운드를 기초로 상기 가상 오디오 신호의 재생 속성을 조정하여 레코딩 할 수 있다. 이러한 재생 속성에는 재생 피치 및 재생 템포 중 적어도 하나를 포함한다. 한편, 본 발명의 다른 실시예에 따르면, HMD는 가상 오디오 신호의 가상 음원의 위치를 획득할 수 있다. 상기 가상 음원의 위치는 HMD를 착용한 유저에 의해 지정되거나, 가상 오디오 신호의 획득시 부가 데이터로 함께 획득될 수 있다. 또한, 본 발명의 실시예에 따르면 상기 가상 음원의 위치는 대체할 음원 신호에 대응하는 오브젝트의 위치에 기초하여 결정될 수 있다. 본 발명의 HMD는 획득된 가상 음원의 위치에 기초하여 가상 오디오 신호를 3D(3 Dimensional) 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 출력할 수 있다. 더욱 구체적으로, HMD는 가상 음원의 위치 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하고, 생성된 HRTF 정보를 이용하여 가상 오디오 신호를 3D 오디오 신호로 변환할 수 있다.
일상 생활에서 우리가 듣는 사운드는 거의 모든 경우 잔향, 즉 반사음이 섞인 사운드이다. 따라서 실내에서 사운드를 청취하는 경우에는 잔향의 정도에 따라 실내 공간의 크기, 벽의 재질 등의 공간감을 느끼게 된다. 또한 야외에서 사운드를 청취하는 경우에는 실내에서 청취할 때와 다른 공간감을 느끼게 된다. 본 발명은 특정 환경에서 레코딩 된 가상 오디오 신호에 인공적으로 합성된 잔향 효과 등을 부여하여 자연스럽고 실감나는 사운드를 유저에게 제공하려는 목적을 가지고 있다.
도 5 내지 도 8은 본 발명의 실시예에 따른 오디오 콘텐츠 제공 방법을 구체적으로 나타내고 있다.
우선 도 5는 본 발명의 HMD(100)가 리얼 사운드를 수신하여 공간 음향 파라미터를 추출하는 모습을 나타내고 있다. 본 발명의 실시예에 따른 HMD(100)는 마이크 유닛을 구비할 수 있으며, 상기 마이크 유닛을 통해 리얼 사운드를 수신할 수 있다. HMD(100)가 수신한 리얼 사운드에는 하나 또는 복수의 음원 신호가 포함될 수 있다. 도 5의 실시예에서 HMD(100)를 착용한 유저(10)는 실내에서 현악 사중주를 청취하고 있다. HMD(100)가 수신하게 되는 리얼 사운드에는 현악 사중주를 연주하는 각 악기의 음원 신호(50a, 50b, 50c, 50d)가 포함될 수 있다. HMD(100)는 수신된 리얼 사운드를 이용하여 실내 공간의 공간 음향 파라미터를 추출한다. 이러한 공간 음향 파라미터에는 잔향 시간, 실내 충격 응답 등의 다양한 파라미터가 포함될 수 있음은 전술한 바와 같다. HMD(100)는 추출된 공간 음향 파라미터 중 적어도 하나를 이용하여 필터를 생성한다.
도 6은 리얼 사운드가 수신된 도 5의 환경에서 본 발명의 HMD(100)가 가상 오디오 신호(60)를 출력하는 모습을 나타내고 있다. 본 발명의 HMD(100)는 가상 오디오 신호(60)를 획득할 수 있다. 상기 가상 오디오 신호(60)는 HMD(100)를 착용한 유저(10)에게 제공하기 위한 증강현실 오디오 정보를 포함한다. 본 발명의 실시예에 따르면, 가상 오디오 신호(60)는 HMD(100)가 수신한 리얼 사운드를 기초로 하여 획득될 수 있다. 도 6의 실시예에서 HMD(100)는 리얼 사운드에 포함된 현악 사중주를 기초로 가상 오디오 신호(60) 예를 들면, 동일한 곡의 플루트 연주를 획득할 수 있다. 본 발명의 HMD(100)는 상기 가상 오디오 신호(60)를 스토리지 유닛에서 획득하거나 커뮤니케이션 유닛을 통해 서버로부터 획득할 수 있다.
가상 오디오 신호(60)가 획득되면, HMD(100)는 도 5에서 획득된 공간 음향 파라미터를 이용하여 상기 가상 오디오 신호(60)를 필터링 한다. HMD(100)는 현악 사중주가 연주되는 실내 공간에서 획득된 공간 음향 파라미터를 이용하여 가상 오디오 신호(60)를 필터링 함으로, 실내 공간의 공간 음향 파라미터 특성을 가상 오디오 신호(60)에 입힐 수 있다. 따라서, 본 발명의 HMD(100)는 가상 오디오 신호(60)인 플루트 연주를 실제 현악 사중주와 동일한 실내 공간에서 연주되는 것처럼 유저(10)에게 제공할 수 있다.
HMD(100)는 필터링 된 가상 오디오 신호(60)를 오디오 출력 유닛으로 출력 한다. 이때, HMD(100)는 수신된 리얼 사운드를 이용하여 가상 오디오 신호(60)의 재생 속성을 조정할 수 있다. 예를 들어, HMD(100)는 가상 오디오 신호(60)인 플루트 연주가 실제 연주되는 현악 사중주와 동일한 템포 및 피치를 유지하도록 조절할 수 있다. 또한, HMD(100)는 상기 플루트 연주의 재생 부분을 실제 연주되는 현악 사중주에 기초하여 조정함으로, 플루트 연주의 재생을 실제 현악 사중주와 동기화할 수 있다.
한편, 본 발명의 다른 실시예에 따르면, HMD(100)는 가상 오디오 신호(60)의 가상 음원의 위치를 획득할 수 있다. 상기 가상 음원의 위치는 HMD(100)를 착용한 유저(10)에 의해 지정되거나, 가상 오디오 신호(60)의 획득시 부가 데이터로 함께 획득될 수 있다. 본 발명의 HMD(100)는 획득된 가상 음원의 위치에 기초하여 가상 오디오 신호(60)를 3D 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 출력할 수 있다. 이때, HMD(100)는 상기 가상 음원의 위치에 기초하여 HRTF 정보를 생성하고, 생성된 HRTF 정보를 이용하여 가상 오디오 신호(60)를 3D 오디오 신호로 변환할 수 있다. HMD(100)의 오디오 출력 유닛이 2채널의 스테레오 출력 유닛을 포함할 경우, HMD(100)는 가상 오디오 신호(60)의 음상이 상기 가상 음원의 위치에 정위 되도록 할 수 있다. 도 6의 실시예에서 가상 오디오 신호(60)의 가상 음원은 현악 사중주 연주자들의 우측 뒤편에 위치하도록 설정되어 있다. 따라서, HMD(100)는 플루트 연주가 현악 사중주 연주자들의 우측 뒤편에서 수행되는 것처럼 들리도록 유저(10)에게 제공할 수 있다.
다음으로 도 7 및 도 8은 본 발명의 HMD(100)가 야외 공간에서 가상 오디오 신호(60)를 출력하는 모습을 나타내고 있다. 도 7 및 도 8의 실시예에서 도 5 및 도 6의 실시예와 동일하거나 상응하는 부분은 구체적인 설명을 생략하도록 한다.
도 7을 참조하면, 본 발명의 HMD(100)는 야외 공간에서 리얼 사운드를 수신하여 공간 음향 파라미터를 추출할 수 있다. 도 7의 실시예에서 HMD(100)가 수신하게 되는 리얼 사운드에는 야외 공간에서 현악 사중주를 연주하는 각 악기의 음원 신호(52a, 52b, 52c, 52d)가 포함될 수 있다. HMD(100)는 수신된 리얼 사운드를 이용하여 야외 공간의 공간 음향 파라미터를 추출한다. 또한, HMD(100)는 추출된 공간 음향 파라미터 중 적어도 하나를 이용하여 필터를 생성한다.
도 8을 참조하면, 본 발명의 HMD(100)는 리얼 사운드가 수신된 도 7의 환경에서 가상 오디오 신호(60)를 출력할 수 있다. HMD(100)는 도 7에서 획득된 공간 음향 파라미터를 이용하여 가상 오디오 신호(60)를 필터링 한다. 즉, HMD(100)는 현악 사중주가 연주되는 야외 공간에서 획득된 공간 음향 파라미터를 이용하여 가상 오디오 신호(60)를 필터링 함으로, 야외 공간의 공간 음향 파라미터 특성을 가상 오디오 신호(60)에 입힐 수 있다. 따라서, 본 발명의 HMD(100)는 가상 오디오 신호(60)인 플루트 연주를 실제 현악 사중주와 동일한 야외 공간에서 연주되는 것처럼 유저(10)에게 제공할 수 있다. HMD(100)는 필터링 된 가상 오디오 신호(60)를 오디오 출력 유닛으로 출력 한다. 만약 도 8에 도시된 바와 같이 가상 오디오 신호(60)의 가상 음원이 현악 사중주 연주자들의 좌측에 위치하도록 설정되면, HMD(100)는 플루트 연주가 현악 사중주 연주자들의 좌측에서 수행되는 것처럼 들리도록 유저(10)에게 제공할 수 있다.
도 9는 본 발명의 실시예에 따른 오디오 콘텐츠 생성 방법을 구체적으로 나타내고 있다. 도 9의 실시예에서 HMD(100)는 도 5 및 도 6과 동일한 환경에서 오디오 콘텐츠를 생성하고 있다. 다만, 본 발명의 실시예에서 오디오 콘텐츠의 생성은 HMD(100) 뿐만 아니라 다양한 종류의 포터블 디바이스에 의해 수행될 수 있다. 도 9의 실시예에서 도 5 및 도 6의 실시예와 동일하거나 상응하는 부분은 구체적인 설명을 생략하도록 한다.
도 9를 참조하면, HMD(100)는 마이크 유닛을 이용하여 리얼 사운드를 수신하고, 수신된 리얼 사운드에 대응하는 가상 오디오 신호(60)를 획득한다. 상기 가상 오디오 신호(60)는 HMD(100)를 착용한 유저(10)에게 제공하기 위한 증강현실 오디오 정보를 포함한다. 본 발명의 실시예에 따르면, 가상 오디오 신호(60)는 HMD(100)가 수신한 리얼 사운드를 기초로 하여 획득될 수 있다. 또한, 본 발명의 HMD(100)는 수신된 리얼 사운드를 적어도 하나의 음원 신호(50a, 50b, 50c, 50d)로 분리한다. 본 발명에서 HMD(100)의 마이크 유닛은 마이크 어레이를 포함할 수 있으며, 상기 마이크 어레이의 각 마이크가 수신한 신호를 이용하여 상기 리얼 사운드에 포함된 각 음원 신호(50a, 50b, 50c, 50d)를 분리할 수 있다. HMD(100)는 각 음원 신호(50a, 50b, 50c, 50d)의 음원의 위치에 기초하여 리얼 사운드를 분리할 수 있다.
본 발명의 HMD(100)는 분리된 음원 신호(50a, 50b, 50c, 50d) 중 대체할 음원 신호를 설정한다. HMD(100)는 다양한 방법을 통해 상기 대체할 음원 신호를 설정할 수 있다. 예를 들어, HMD(100)는 HMD(100)를 착용한 유저(10)가 선택한 음원 신호를 상기 대체할 음원 신호로 설정할 수 있다. HMD(100)는 음원 신호를 선택하기 위한 다양한 인터페이스를 제공할 수 있으며, 상기 인터페이스를 통해 선택된 음원 신호를 대체할 음원 신호로 설정할 수 있다. 도 9의 실시예에서, 유저(10)는 분리된 음원 신호(50a, 50b, 50c, 50d) 중 음원 신호 50d를 대체할 음원 신호로 선택하였다.
본 발명의 HMD(100)는 수신된 리얼 사운드를 포함하는 오디오 신호를 레코딩 한다. 이때, HMD(100)는 상기 설정된 음원 신호 50d를 가상 오디오 신호(60)로 대체하여 레코딩 한다. 즉, HMD(100)는 수신된 리얼 사운드 중 음원 신호 50d는 바이패스(bypass)하고, 그 대신 가상 오디오 신호(60)를 나머지 음원 신호 50a, 50b 및 50c와 함께 레코딩 한다. 따라서 본 발명의 HMD(100)는 수신된 리얼 사운드 중 일부 음원 신호(50a, 50b, 50c)와 가상 오디오 신호(60)가 조합된 새로운 오디오 콘텐츠를 생성할 수 있다.
한편, 본 발명의 HMD(100)는 수신된 리얼 사운드를 기초로 가상 오디오 신호(60)의 재생 속성을 조정하여 레코딩 할 수 있다. 예를 들어, HMD(100)는 가상 오디오 신호(60)인 플루트 연주가 실제 연주되는 현악 사중주와 동일한 템포 및 피치를 유지하도록 조절할 수 있다. 또한, HMD(100)는 상기 플루트 연주의 재생 부분을 실제 연주되는 현악 사중주에 기초하여 조정함으로, 플루트 연주의 재생을 실제 현악 사중주와 동기화할 수 있다.
본 발명의 다른 실시예에 따르면, HMD(100)는 가상 오디오 신호(60)의 가상 음원의 위치를 획득할 수 있다. 상기 가상 음원의 위치는 HMD(100)를 착용한 유저(10)에 의해 지정되거나, 가상 오디오 신호(60)의 획득시 부가 데이터로 함께 획득될 수 있다. 또한 본 발명의 실시예에 따르면, 상기 가상 음원의 위치는 대체할 음원 신호 50d에 대응하는 오브젝트의 위치에 기초하여 결정될 수 있다. 본 발명의 HMD(100)는 획득된 가상 음원의 위치에 기초하여 가상 오디오 신호(60)를 3D 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 레코딩 할 수 있다. 상기 3D 오디오 신호로의 변환에 대한 구체적인 실시예는 도 6을 참조로 상술한 바와 같다.
본 발명의 또 다른 실시예에 따르면, HMD(100)는 수신된 리얼 사운드로부터 공간 음향 파라미터를 추출하고, 상기 공간 음향 파라미터를 이용하여 필터링 된 가상 오디오 신호(60)를 레코딩 할 수 있다. 상기 공간 음향 파라미터의 추출 및 가상 오디오 신호(60)의 필터링에 대한 구체적인 실시예는 도 5 및 도 6을 참조로 상술한 바와 같다.
도 10 및 도 11은 본 발명의 실시예에 따라 서로 다른 환경에서 동일한 콘텐츠(30)의 오디오 신호를 출력하는 모습을 나타내고 있다.
도시된 바와 같이 유저는 HMD(100)를 이용하여 콘텐츠(30)를 제공받을 수 있다. 이러한 콘텐츠(30)는 영화, 음악, 문서, 영상 통화, 네비게이션 등의 다양한 종류의 콘텐츠를 포함한다. 상기 콘텐츠(30)가 이미지 데이터를 포함할 경우, HMD(100)는 디스플레이 유닛(120)으로 상기 이미지 데이터를 출력할 수 있다. 또한 상기 콘텐츠(30)의 음성 데이터는 HMD(100)의 오디오 출력 유닛으로 출력될 수 있다. 본 발명의 실시예에 따른 HMD(100)는 HMD(100) 주변의 리얼 사운드를 수신하고, 수신된 리얼 사운드를 기초로 공간 음향 파라미터를 추출할 수 있다. 또한, 본 발명의 HMD(100)는 추출된 공간 음향 파라미터를 이용하여 상기 콘텐츠(30)의 오디오 신호를 필터링하고, 필터링 된 오디오 신호를 출력할 수 있다.
도 10 및 도 11의 실시예에서 HMD(100)는 동일한 영화를 출력하고 있다. 그러나 도 10에 도시된 바와 같이 HMD(100)가 실내 공간에 있을 때와, 도 11에 도시된 바와 같이 HMD(100)가 외부 공간에 있을 때는 각각 추출된 공간 음향 파라미터가 서로 다를 수 있다. HMD(100)는 도 10의 실내 공간과 도 11의 외부 공간에서 각각 콘텐츠(30)의 오디오 신호를 서로 다르게 출력할 수 있다. 즉, 본 발명의 HMD(100)는 콘텐츠(30)를 출력하는 환경이 변화할 때, 적응적으로 콘텐츠(30)의 오디오 신호를 필터링하여 출력할 수 있다. 따라서 본 발명의 HMD(100)를 착용한 유저는 변화하는 청취 환경에서도 콘텐츠(30)에 몰입할 수 있게 된다.
도 12 내지 도 14는 본 발명의 다른 실시예에 따른 오디오 콘텐츠 제공 방법을 구체적으로 나타내고 있다. 도 12 내지 도 14의 실시예에서 본 발명의 HMD(100)는 유저(10)에게 오디오 콘텐츠를 증강현실로 제공한다. 도 12 내지 도 14의 실시예에서, 도 5 내지 도 8의 실시예와 동일하거나 상응하는 부분은 구체적인 설명을 생략하도록 한다.
먼저 도 12를 참조하면, 유저(10)는 본 발명의 HMD(100)를 착용한 채 외부 공간(예를 들면, 타임스퀘어 주변의 길거리)을 걷고 있다. 본 발명의 실시예에 따르면 HMD(100)는 GPS 센서를 구비할 수 있으며, 상기 GPS 센서를 이용하여 HMD(100)의 위치 정보를 획득할 수 있다. 본 발명의 다른 실시예에 따르면, HMD(100)는 와이파이 등의 네트워크 서비스를 기반으로 위치 정보를 획득할 수도 있다.
도 13은 본 발명의 HMD(100)가 디텍트 한 위치 정보에 대응하는 맵 데이터(25)를 나타내고 있다. 상기 맵 데이터(25)는 HMD(100)의 주변에 위치한 음원의 오디오 콘텐츠(62a, 62b, 62c) 정보를 포함하고 있다. 본 발명의 HMD(100)는 상기 오디오 콘텐츠(62a, 62b, 62c) 중 적어도 하나의 오디오 콘텐츠를 획득한다. 도 13에 도시된 바와 같이 HMD(100)가 위치한 지점 주변에 복수의 음원이 존재할 경우, HMD(100)는 복수의 음원의 오디오 콘텐츠(62a, 62b, 62c)를 함께 획득할 수 있다. HMD(100)는 각 오디오 콘텐츠(62a, 62b, 62c)의 음원의 위치 정보를 함께 획득할 수 있다.
한편 본 발명의 다른 실시예에 따르면, HMD(100)는 오디오 콘텐츠 제공을 위한 시점 정보를 더 획득할 수 있다. HMD(100)는 HMD(100)의 위치 정보와 상기 시점 정보를 함께 이용하여 오디오 콘텐츠를 획득할 수 있다. 즉, 동일한 위치에서 HMD(100)가 획득하는 오디오 콘텐츠는 시점 정보에 따라서 달라질 수 있다. 예를 들어, HMD(100)가 획득한 시점 정보가 2012.12.31일 저녁이라면, HMD(100)는 2012.12.31의 Happy New Year 콘서트를 오디오 콘텐츠로 획득할 수 있다. 반면에, HMD(100)가 획득한 시점 정보가 2011.12.31일 저녁이라면, HMD(100)는 2011.12.31의 Happy New Year 콘서트를 오디오 콘텐츠로 획득할 수 있다.
또한, 본 발명의 HMD(100)는 획득된 위치 정보를 이용하여 오디오 콘텐츠(62a, 62b, 62c)에 대한 공간 음향 파라미터를 획득할 수 있다. 상기 공간 음향 파라미터는 오디오 콘텐츠(62a, 62b, 62c)를 실제 환경에 맞게 실감나게 출력하기 위한 정보이며, 전술한 바와 같이 다양한 종류의 특성 정보를 포함할 수 있다. 본 발명의 실시예에 따르면, 상기 공간 음향 파라미터는 각 오디오 콘텐츠(62a, 62b, 62c)의 음원과 HMD(100)간의 거리 정보에 기초하여 결정될 수 있다. 또한, 상기 공간 음향 파라미터는 각 오디오 콘텐츠(62a, 62b, 62c)의 음원과 HMD(100)간의 방해물 정보에 기초하여 결정될 수 있다. 이때, 상기 방해물 정보는 각 음원과 HMD(100)간의 사운드 전달을 방해하는 다양한 방해 요소(예를 들면, 건물 등)에 대한 정보이며, 맵 데이터(25)로부터 획득될 수 있다. 한편, HMD(100)가 복수의 음원의 오디오 콘텐츠(62a, 62b, 62c)를 함께 획득할 경우, 각 음원과 청취자 간의 거리 및 방해물 정보는 서로 다를 수 있다. 따라서 본 발명의 HMD(100)는 복수의 음원에 각각 대응하는 복수의 공간 음향 파라미터를 획득할 수 있다.
본 발명의 HMD(100)는 획득된 공간 음향 파라미터를 이용하여 오디오 콘텐츠(62a, 62b, 62c)를 필터링 한다. 만약, HMD(100)가 복수의 오디오 콘텐츠(62a, 62b, 62c) 중 일부 오디오 콘텐츠 만을 획득할 경우, HMD(100)는 상기 획득한 오디오 콘텐츠에 대응하는 공간 파라미터를 획득하여 해당 오디오 콘텐츠를 필터링 할 수 있다.
도 14는 본 발명의 HMD(100)가 상기 필터링 된 오디오 콘텐츠를 출력하는 모습을 나타내고 있다. 도 14의 실시예에서 본 발명의 HMD(100)는 필터링 된 오디오 콘텐츠 62a’ 및 62b’를 오디오 출력 유닛으로 출력한다. 한편, HMD(100)는 필터링 된 오디오 콘텐츠(62a’, 62b’)에 대응하는 이미지 콘텐츠(36)를 디스플레이 유닛으로 출력할 수 있다. HMD(100)는 유저가 위치한 타임 스퀘어 근처에서 이전에 레코딩 된 콘서트 실황을 상기 필터링 된 오디오 콘텐츠(62a’, 62b’)로 제공할 수 있다. 본 발명의 실시예에 따른 HMD(100)는 획득된 오디오 콘텐츠(62a, 62b)의 음원의 위치와 HMD(100)간의 거리 및 방해물 정보에 기초하여 필터링 된 오디오 콘텐츠(62a’, 62b’)를 제공한다. 따라서, HMD(100)를 착용한 유저는 마치 현장에서 콘서트를 청취하는 것처럼 오디오 콘텐츠(62a, 62b)를 들을 수 있게 된다.
본 발명의 다른 실시예에 따르면, HMD(100)는 HMD(100)를 기준으로 한 각 음원의 방향 정보를 획득할 수 있다. 상기 방향 정보는 HMD(100)를 기준으로 한 음원의 방위각 정보를 포함한다. HMD(100)는 상기 음원의 위치 정보 및 HMD(100)의 자이로 센서의 센싱값을 이용하여 상기 방향 정보를 획득할 수 있다. 본 발명의 HMD(100)는 획득된 방향 정보 및 상기 음원과 HMD(100)간의 거리 정보에 기초하여 상기 필터링 된 오디오 콘텐츠(62a’, 62b’)를 3D 오디오 신호로 변환하고, 변환된 3D 오디오 신호를 출력할 수 있다. 더욱 구체적으로, HMD(100)는 상기 방향 정보 및 거리 정보에 기초하여 HRTF 정보를 생성하고, 생성된 HRTF 정보를 이용하여 상기 필터링 된 오디오 콘텐츠(62a’, 62b’)를 3D 오디오 신호로 변환할 수 있다.
본 발명에서 설명한 HMD는 본 발명의 목적에 따라 다양한 디바이스로 변경 및 대체 가능하다. 예를 들어, 본 발명의 HMD는 EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 유저에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스를 포함하며, 본 발명에서 사용된 용어에 한정되지 않는다. 이상에서는 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 따라서 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
10 : 유저 30 : 콘텐츠
50a, 50b, 50c, 50d : 음원 신호 52a, 52b, 52c, 52d : 음원 신호
60 : 가상 오디오 신호 62a, 62b, 62c : 오디오 콘텐츠
62a’, 62b’, 62c’ : 필터링 된 오디오 콘텐츠

Claims (14)

  1. 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 콘텐츠 제공 방법으로써,
    상기 HMD의 위치 정보를 획득하는 단계;
    상기 획득된 위치 정보를 이용하여 적어도 하나의 음원의 오디오 콘텐츠를 획득하는 단계;
    상기 위치 정보를 이용하여 상기 오디오 콘텐츠에 대한 공간 음향 파라미터를 획득하는 단계;
    상기 획득된 공간 음향 파라미터를 이용하여 상기 오디오 콘텐츠를 필터링 하는 단계; 및
    상기 필터링 된 오디오 콘텐츠를 출력하는 단계;
    를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 콘텐츠 제공 방법.
  2. 제 1항에 있어서,
    상기 공간 음향 파라미터는 상기 음원과 상기 HMD 간의 거리 정보 및 방해물 정보에 기초하여 결정되는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 콘텐츠 제공 방법.
  3. 제 2항에 있어서,
    상기 방해물 정보는 상기 위치 정보를 기초로 한 맵 데이터로부터 획득되는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 콘텐츠 제공 방법.
  4. 제 1항에 있어서,
    상기 공간 음향 파라미터는 잔향 시간 및 실내 충격 응답(Room Impulse Response, RIR) 중 적어도 하나를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 콘텐츠 제공 방법.
  5. 제 1항에 있어서,
    오디오 콘텐츠 제공을 위한 시점 정보를 획득하는 단계를 더 포함하며,
    상기 오디오 콘텐츠를 획득하는 단계는, 상기 시점 정보 및 위치 정보를 이용하여 상기 오디오 콘텐츠를 획득하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 콘텐츠 제공 방법.
  6. 제 1항에 있어서,
    상기 HMD를 기준으로 한 상기 음원의 방향 정보를 획득하는 단계를 더 포함하며,
    상기 오디오 콘텐츠를 출력하는 단계는, 상기 획득된 방향 정보 및 상기 음원과 상기 HMD 간의 거리 정보에 기초하여 변환된 3D(3 Dimensional) 오디오 신호로 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 콘텐츠 제공 방법.
  7. 제 6항에 있어서,
    상기 획득된 방향 정보 및 상기 음원과 상기 HMD 간의 거리 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하는 단계;
    상기 생성된 HRTF 정보를 이용하여 상기 오디오 콘텐츠를 3D 오디오 신호로 변환하는 단계;
    를 더 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD)를 이용한 오디오 콘텐츠 제공 방법.
  8. 헤드 마운트 디스플레이(HMD)로써,
    상기 HMD의 작동을 제어하는 프로세서;
    상기 HMD의 위치 정보를 센싱하는 센서 유닛;
    상기 프로세서의 명령에 기초하여 데이터를 송/수신하는 커뮤니케이션 유닛; 및
    상기 프로세서의 명령에 기초하여 오디오 신호를 출력하는 오디오 출력 유닛을 포함하되,
    상기 프로세서는,
    상기 센서 유닛을 이용하여 상기 HMD의 위치 정보를 획득하고,
    상기 획득된 위치 정보를 이용하여 적어도 하나의 음원의 오디오 콘텐츠를 획득하고,
    상기 위치 정보를 이용하여 상기 오디오 콘텐츠에 대한 공간 음향 파라미터를 획득하고,
    상기 획득된 공간 음향 파라미터를 이용하여 상기 오디오 콘텐츠를 필터링 하고,
    상기 필터링 된 오디오 콘텐츠를 상기 오디오 출력 유닛으로 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD).
  9. 제 8항에 있어서,
    상기 공간 음향 파라미터는 상기 음원과 상기 HMD 간의 거리 정보 및 방해물 정보에 기초하여 결정되는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD).
  10. 제 9항에 있어서,
    상기 방해물 정보는 상기 위치 정보를 기초로 한 맵 데이터로부터 획득되는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD).
  11. 제 8항에 있어서,
    상기 공간 음향 파라미터는 잔향 시간 및 실내 충격 응답(Room Impulse Response, RIR) 중 적어도 하나를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD).
  12. 제 8항에 있어서,
    상기 프로세서는 오디오 콘텐츠 제공을 위한 시점 정보를 더 획득하고,
    상기 시점 정보 및 위치 정보를 이용하여 상기 오디오 콘텐츠를 획득하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD).
  13. 제 8항에 있어서,
    상기 프로세서는,
    상기 HMD를 기준으로 한 상기 음원의 방향 정보를 더 획득하고,
    상기 획득된 방향 정보 및 상기 음원과 상기 HMD 간의 거리 정보에 기초하여 변환된 3D(3 Dimensional) 오디오 신호로 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD).
  14. 제 13항에 있어서,
    상기 프로세서는,
    상기 획득된 방향 정보 및 상기 음원과 상기 HMD 간의 거리 정보에 기초하여 HRTF(Head Related Transfer Function) 정보를 생성하고,
    상기 생성된 HRTF 정보를 이용하여 상기 오디오 콘텐츠를 3D 오디오 신호로 변환하는 것을 특징으로 하는 헤드 마운트 디스플레이(Head Mounted Display, HMD).
KR1020130048217A 2013-04-30 2013-04-30 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법 KR20140129654A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130048217A KR20140129654A (ko) 2013-04-30 2013-04-30 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130048217A KR20140129654A (ko) 2013-04-30 2013-04-30 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법

Publications (1)

Publication Number Publication Date
KR20140129654A true KR20140129654A (ko) 2014-11-07

Family

ID=52454875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130048217A KR20140129654A (ko) 2013-04-30 2013-04-30 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법

Country Status (1)

Country Link
KR (1) KR20140129654A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018186693A1 (ko) * 2017-04-05 2018-10-11 주식회사 에스큐그리고 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
WO2019198943A1 (en) * 2018-04-09 2019-10-17 Samsung Electronics Co., Ltd. Wearable display apparatus and method of displaying three-dimensional images thereon
WO2020009350A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치
KR20200046075A (ko) * 2017-09-27 2020-05-06 애플 인크. 공간적 오디오 내비게이션
CN113519171A (zh) * 2019-03-19 2021-10-19 索尼集团公司 声音处理装置、声音处理方法和声音处理程序

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018186693A1 (ko) * 2017-04-05 2018-10-11 주식회사 에스큐그리고 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
US10964115B2 (en) 2017-04-05 2021-03-30 Sqand Co. Ltd. Sound reproduction apparatus for reproducing virtual speaker based on image information
KR20200046075A (ko) * 2017-09-27 2020-05-06 애플 인크. 공간적 오디오 내비게이션
US11709068B2 (en) 2017-09-27 2023-07-25 Apple Inc. Spatial audio navigation
WO2019198943A1 (en) * 2018-04-09 2019-10-17 Samsung Electronics Co., Ltd. Wearable display apparatus and method of displaying three-dimensional images thereon
US10948725B2 (en) 2018-04-09 2021-03-16 Samsung Electronics Co., Ltd. Wearable display apparatus and method of displaying three-dimensional images thereon
WO2020009350A1 (ko) * 2018-07-02 2020-01-09 엘지전자 주식회사 오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치
CN113519171A (zh) * 2019-03-19 2021-10-19 索尼集团公司 声音处理装置、声音处理方法和声音处理程序

Similar Documents

Publication Publication Date Title
KR20160005695A (ko) 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
KR102609668B1 (ko) 가상, 증강, 및 혼합 현실
CN110249640B (zh) 用于虚拟现实（vr）、增强现实（ar）和混合现实（mr）系统的分布式音频捕获技术
EP2942980A1 (en) Real-time control of an acoustic environment
WO2019246164A1 (en) Spatial audio for interactive audio environments
KR20140129654A (ko) 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
US9769585B1 (en) Positioning surround sound for virtual acoustic presence
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
KR20230075532A (ko) 오디오 신호 처리 방법 및 장치
JP2022515266A (ja) 深層学習画像解析を用いた室内音響シミュレーション
US11743645B2 (en) Method and device for sound processing for a synthesized reality setting
EP3506080B1 (en) Audio scene processing
KR20140129659A (ko) 포터블 디바이스 및 이를 이용한 오디오 콘텐츠 생성 방법
WO2024084949A1 (ja) 音響信号処理方法、コンピュータプログラム、及び、音響信号処理装置
WO2024014390A1 (ja) 音響信号処理方法、情報生成方法、コンピュータプログラム、及び、音響信号処理装置
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN206517613U (zh) 一种基于运动捕捉的3d音频系统
KR101534295B1 (ko) 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
CN113556665B (zh) 用于虚拟现实（vr）、增强现实（ar）和混合现实（mr）系统的分布式音频捕获技术
WO2024084920A1 (ja) 音響処理方法、音響処理装置、及び、プログラム
NZ795232A (en) Distributed audio capturing techniques for virtual reality (1vr), augmented reality (ar), and mixed reality (mr) systems

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Withdrawal due to no request for examination