KR101963244B1 - 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램 - Google Patents

현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램 Download PDF

Info

Publication number
KR101963244B1
KR101963244B1 KR1020170115842A KR20170115842A KR101963244B1 KR 101963244 B1 KR101963244 B1 KR 101963244B1 KR 1020170115842 A KR1020170115842 A KR 1020170115842A KR 20170115842 A KR20170115842 A KR 20170115842A KR 101963244 B1 KR101963244 B1 KR 101963244B1
Authority
KR
South Korea
Prior art keywords
sound
user
computing device
augmented reality
real
Prior art date
Application number
KR1020170115842A
Other languages
English (en)
Other versions
KR20180106812A (ko
Inventor
이승학
Original Assignee
㈜라이커스게임
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ㈜라이커스게임 filed Critical ㈜라이커스게임
Priority to CN201880001772.3A priority Critical patent/CN109076307A/zh
Priority to PCT/KR2018/003189 priority patent/WO2018174500A1/ko
Publication of KR20180106812A publication Critical patent/KR20180106812A/ko
Priority to US16/168,560 priority patent/US20190058961A1/en
Application granted granted Critical
Publication of KR101963244B1 publication Critical patent/KR101963244B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Stereophonic System (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 음향 구현 방법을 수행하는 증강 현실 음향 구현 시스템이 제공된다. 상기 시스템은 제1 사용자의 제1 컴퓨팅 장치; 및 상기 제1 사용자가 3차원 증강 현실 음향을 제공받을 수 있도록 상기 제1 사용자에게 착용되며, 상기 제1 컴퓨팅 장치와 유선 또는 무선으로 연결되고, 음향 녹음 기능을 포함하는 제1 음향 장치;를 포함하며, 상기 제1 음향 장치는 현실 음향을 지시하는 현실 음향 정보를 획득하고, 상기 현실 음향 정보를 상기 제1 컴퓨팅 장치로 전송하는 단계; 상기 제1 컴퓨팅 장치는 상기 제1 컴퓨팅 장치에서 수행되는 가상 현실 게임에서 발생하는 음향을 지시하는 제1 가상 음향을 획득하는 단계; 상기 제1 컴퓨팅 장치는 상기 현실 음향 정보와 상기 제1 가상 음향을 기초로 3차원 증강 현실 음향을 생성하는 단계; 및 상기 제1 컴퓨팅 장치는 상기 제1 음향 장치를 통해 상기 제1 사용자에게 상기 3차원 증강 현실 음향을 제공하는 단계;를 포함한다.

Description

현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램{SYSTEM FOR IMPLEMENTING AUGMENTED REALITY 3-DIMENSIONAL SOUND WITH REAL SOUND AND PROGRAM FOR THE SAME}
본 발명은 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램에 관한 것이다.
증강 현실은 사용자가 눈으로 보는 현실 세계 이미지와 가상 이미지를 혼합하여 하나의 영상으로 보여주는 컴퓨터 그래픽 기술을 말한다. 증강 현실은 현실 세계 이미지의 특정 객체에 가상의 사물 또는 정보에 관한 이미지를 합성한다.
3차원 음향은 현장감을 느낄 수 있도록 입체적인 음향을 제공하는 기술을 말한다. 가상 현실(Virtual Reality) 분야에서는, 가상 현실 영상의 벡터 값을 이용하여 음향의 발생 위치로부터 사용자에게 전달되는 경로에 따라 음향을 제공함으로써 3차원 음향을 구현하고 있다.
그러나, 증강 현실에서는 현실 음향의 방향 등을 미리 파악할 수가 없고 실시간으로 파악하여야 하는 점에서, 가상 현실 분야의 3차원 음향 구현 기술을 그대로 적용하기 어렵다.
예를 들어, 가상 현실에서 복수의 사용자가 건물 내부에 있다면 소리가 울리기 때문에, 다른 사용자의 위치를 직관적으로 예측할 수 없는 문제가 있다.
따라서, 증강 현실 분야에서, 현실 음향을 실시간으로 반영하여 3차원 음향을 구현할 수 있는 방법 및 프로그램이 요구된다.
공개특허공보 제10-2016-0081381호, 2016.07.08
본 발명이 해결하고자 하는 과제는 현실 음향을 실시간으로 반영한 3차원의 증강 현실 음향을 구현할 수 있는 시스템 및 프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실 음향 구현 시스템으로, 제1 사용자의 제1 컴퓨팅 장치; 및 상기 제1 사용자가 3차원 증강 현실 음향을 제공받을 수 있도록 상기 제1 사용자에게 착용되며, 상기 제1 컴퓨팅 장치와 유선 또는 무선으로 연결되고, 음향 녹음 기능을 포함하는 제1 음향 장치;를 포함하며, 상기 제1 음향 장치는 현실 음향을 지시하는 현실 음향 정보를 획득하고, 상기 현실 음향 정보를 상기 제1 컴퓨팅 장치로 전송하는 단계; 상기 제1 컴퓨팅 장치는 상기 제1 컴퓨팅 장치에서 수행되는 가상 현실 게임에서 발생하는 음향을 지시하는 제1 가상 음향을 획득하는 단계; 상기 제1 컴퓨팅 장치는 상기 현실 음향 정보와 상기 제1 가상 음향을 기초로 3차원 증강 현실 음향을 생성하는 단계; 및 상기 제1 컴퓨팅 장치는 상기 제1 음향 장치를 통해 상기 제1 사용자에게 상기 3차원 증강 현실 음향을 제공하는 단계;를 포함한다.
여기서, 상기 제1 컴퓨팅 장치는 상기 현실 음향의 발생 위치를 지시하는 방향 특성 정보를 획득하는 단계; 및 상기 제1 컴퓨팅 장치는 상기 3차원 증강 현실 음향의 생성에 상기 방향 특성 정보를 더 고려하는 단계;를 포함할 수 있다.
여기서, 상기 제1 컴퓨팅 장치는 상기 제1 사용자와 상기 제1 사용자와 이격된 제2 사용자가 미리 설정된 거리보다 근접한지 판단하고, 상기 제1 사용자와 상기 제2 사용자가 미리 설정된 거리보다 근접한 경우, 상기 현실 음향 정보를 기초로 상기 현실 음향의 방향 특성 정보를 획득하며, 상기 현실 음향 정보는 상기 제1 음향 장치에서 복수의 마이크로 측정되는 바이노럴(binaural) 타입일 수 있다.
여기서, 상기 제1 컴퓨팅 장치는 상기 제1 사용자와 상기 제1 사용자와 이격된 제2 사용자가 미리 설정된 거리보다 근접한지 판단하고, 상기 제1 사용자와 상기 제2 사용자가 미리 설정된 거리보다 근접하지 않을 경우, 상기 제1 사용자와 상기 제2 사용자의 위치 정보를 기초로 상기 현실 음향의 방향 특성 정보를 획득할 수 있다.
여기서, 상기 제1 컴퓨팅 장치는 상기 제1 사용자와 상기 제1 사용자와 이격된 제2 사용자의 현실 공간에서의 상대적인 위치와 상기 제1 사용자와 상기 제2 사용자의 가상 공간의 아바타(avatar)의 상대적인 위치가 대응하지 않는 위치 차이가 발생할 경우, 상기 위치 차이를 기초로 상기 3차원 증강 현실 음향을 생성할 수 있다.
여기서, 상기 위치 차이는 상기 제2 사용자가 상기 제1 사용자에게 스킬(skill)을 사용하는 경우로서, 상기 제2 사용자와 상기 제2 사용자의 아바타가 분리되는 경우일 수 있다.
여기서, 상기 위치 차이는 상기 제2 사용자가 상기 제1 사용자에게 스킬(skill)을 사용하는 경우로서, 상기 제2 사용자의 움직임보다 상기 제2 사용자의 아바타의 움직임이 크거나 짧은 경우일 수 있다.
여기서, 상기 3차원 증강 현실 음향은 상기 아바타의 위치에 대응하도록 생성된 제2 가상 음향과 상기 현실 음향의 블랜딩을 통해 생성될 수 있다.
여기서, 전술한 증강 현실 음향 구현 시스템이 수행하는 증강 현실 음향 구현 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체가 포함될 수 있다.
여기서, 하드웨어인 상기 컴퓨팅 장치와 결합되어 전술한 증강 현실 음향 구현 시스템이 수행하는 증강 현실 음향 구현 방법을 실행시키기 위하여 매체에 저장된 단말장치용 어플리케이션이 포함될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기 본 발명에 의하면, 증강 현실 게임을 이용하는 사용자 사이의 거리에 따라 바이노럴 방식 또는 측위 방식 중 적절한 방법으로 3차원 증강 현실 음향을 제공하기 때문에 현실 음향과 가상 음향을 더욱 현실감 있게 실시간으로 반영한 3차원의 증강 현실 음향을 구현할 수 있다.
또한, 증강 현실 게임을 이용하는 사용자의 위치와 사용자의 아바타의 위치 또는 움직임에 차이가 발생할 경우 이러한 차이를 고려한 3차원의 증강 현실 음향을 구현할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 증강 현실 음향 구현 방법을 설명하기 위한 개략적인 개념도이다.
도 1은 증강 현실 음향 구현 방법을 설명하기 위한 개략적인 개념도이다.
도 2는 증강 현실 음향 구현 장치를 도시한 블록도이다.
도 3은 증강 현실 음향 구현 방법의 제1 실시예를 도시한 흐름도이다.
도 4는 증강 현실 음향 구현 방법의 제2 실시예를 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 발명의 실시예에 따른 현실 음향을 반영한 증강 현실 3차원 음향 구현 방법은 컴퓨팅 장치(200)에 의해서 실현된다. 증강 현실 음향 구현 방법은 애플리케이션으로 구현되어, 컴퓨팅 장치(200) 내에 저장되고 컴퓨팅 장치(200)에 의해서 수행될 수 있다.
예를 들어, 컴퓨팅 장치(200)는 스마트폰, 태블릿 등과 같은 모바일 디바이스로 제공될 수 있으나, 이에 제한되는 것은 아니고, 카메라가 구비되고, 음향을 출력하며, 데이터를 처리 및 저장할 수 있는 컴퓨팅 장치(200)이면 족하다. 즉, 컴퓨팅 장치(200)는 카메라가 구비되고, 음향을 출력하는 안경 또는 밴드 등의 웨어러블 디바이스로 제공될 수도 있다. 예시되지 않은 임의의 컴퓨팅 장치(200)가 제공될 수 있다.
도 1은 증강 현실 음향 구현 방법을 설명하기 위한 개략적인 개념도이다.
도 1을 참조하면, 복수의 사용자(10, 20)가 음향 장치(100-1, 100-2)와 컴퓨팅 장치(200-1, 200-2)를 휴대하고 증강 현실 콘텐츠를 체험한다. 예시적으로, 두 사용자(10, 20)만을 도시하였으나, 이에 제한되는 것은 아니고, 증강 현실 음향 구현 방법은 둘 이상의 사용자 환경에 대해서 실질적으로 동일하게 적용될 수 있다.
예를 들어, 음향 장치(100)는 헤드폰, 헤드셋, 이어폰 등의 형태로 제공될 수 있다. 음향 장치(100)는 스피커를 포함하여 음향을 출력할 수 있을 뿐만 아니라, 마이크를 포함하여 주변의 음향을 획득하고 녹음할 수 있다. 음향 장치(100)는 현장감을 높이기 위하여 바이노럴(binaural) 타입으로 제공될 수 있다. 바이노럴 효과를 이용하여, 좌-우의 음향을 나누어 녹음함으로써, 방향 특성 정보가 포함된 음향이 획득될 수 있다. 일부 실시예에서, 음향 장치(100)는 음향 출력 장치와 음향 녹음 장치로서 별개의 장치로 제공될 수 있다.
음향 장치(100)는 사용자들(10, 20)에 의해 발생하는 현실 음향 정보를 획득할 수 있다. 또는, 음향 장치(100)는 사용자들(10, 20) 주변에서 발생하는 현실 음향 정보를 획득할 수도 있다. 즉, 음원(sound source)은 현실 음향이 발생하는 위치일 수 있다. 음원은 복수의 사용자들(10, 20)에 의해 생성되는 음향으로 제한되지 않는다.
여기서 현실 음향 정보는 현실에서 실제 발생하는 음향 정보를 지시할 수 있다. 예를 들어, 제2 사용자(20)가 증강 현실 게임을 하면서 제1 사용자(10)에게 소리를 칠 경우, 제1 사용자(10)의 제1 음향 장치(100-1)는 제2 사용자(20)로부터 발생한 현실 음향 정보(소리)를 획득할 수 있다. 여기서 제2 사용자(20)는 제1 사용자(10)와 이격된 곳에 위치하는 사용자일 수 있다.
제1 사용자(10)의 음향 장치(100-1)는 제2 사용자(20)에 의해 발생되는 현실 음향의 방향 특성 정보도 함께 획득할 수 있다. 제1 사용자(10)의 제1 컴퓨팅 장치(200-1)는 제1 음향 장치(100-1)로부터 획득한 현실 음향의 방향 특성 정보를 기초로 제1 사용자(10)의 현실 음향 정보와 가상 현실 게임 내에서 발생하는 음향(예를 들어, 배경음, 효과음 등)을 지시하는 제1 가상 음향 정보를 합성하여 제1 사용자(10)에 대한 3차원 증강 현실 음향을 생성할 수 있다.
음향 장치(100)가 바이노럴 타입의 음향을 지원하지 않거나 제1 사용자(10)와 제2 사용자(20) 사이의 거리가 미리 설정된 거리보다 근접하지 않을 경우 제1 컴퓨팅 장치(200-1)는 제1 사용자(10)와 제2 사용자(20)의 상대적 위치 정보를 기초로 현실 음향의 방향 특성 정보를 획득할 수 있다.
복수의 컴퓨팅 장치들(200-1, 200-2) 또는 서버는 제1 사용자(10)와 제2 사용자(20)의 위치를 획득하고, 상호 간의 위치를 비교하여 상대적 위치 정보를 생성할 수 있다. 복수의 사용자들(10, 20)의 위치 획득을 위하여, 예를 들어, GPS 시스템을 포함한 잘 알려진 임의의 측위 시스템이 이용될 수 있다. 복수의 컴퓨팅 장치들(200-1, 200-2) 또는 서버는 제1 사용자(10)와 제2 사용자(20)의 3차원 위치를 획득하고, 상호 간의 3차원 위치를 비교하여 상대적 3차원 위치 정보를 생성할 수 있다.
예를 들어, 도 1에 도시된 바와 같이, 제2 사용자(20)가 제1 사용자(10)를 기준으로 8시 방향, 50m 거리, 5m 낮은 고도에 위치하고 있음을 나타내는 상대적 위치 정보가 생성될 수 있다. 여기서, 제2 사용자(20)가 현실 음향을 생성할 수 있다.
그리고, 상대적 위치 정보를 기초로 제1 사용자(10)가 획득한 현실 음향의 방향 특성 정보가 결정된다. 제1 사용자(10)가 제2 사용자(20)로부터 획득한 현실 음향 정보, 현실 음향의 방향 특성 정보, 그리고 제1 가상 음향 정보를 합성하여 제1 사용자(10)에 대한 3차원 증강 현실 음향이 구현될 수 있다. 결정된 현실 음향의 방향 특성 정보에 따라, 현실 음향의 진폭, 위상 또는 주파수 등의 요소가 조정될 수 있다.
본 발명의 실시예에 따른 증강 현실 음향 구현 방법에서는, 바이노럴 타입의 음향 장치(100) 또는 복수의 사용자(10, 20)의 상대적 위치 정보를 이용함으로써, 현실 음향을 실시간으로 반영하여 3차원의 증강 현실 음향을 구현할 수 있다.
실시예에 따라, 상술한 바이노럴 타입의 음향 장치(100)와 제1 사용자(10)와 제2 사용자(20)의 상대적 위치 정보가 함께 사용될 수도 있다.
도 2는 증강 현실 음향 구현 장치를 도시한 블록도이다.
도 2를 참조하면, 음향 장치(100)는 적어도 하나의 제어부(110), 저장부(120), 입력부(130), 출력부(140), 송수신부(150) 및 GPS부(160) 등을 포함할 수 있다.
음향 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)에 의해 연결되어 서로 통신을 수행할 수 있다.
제어부(110)는 저장부(120)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 제어부(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서(processor)를 의미할 수 있다.
저장부(120)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 저장부(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
입력부(130)는 음성을 인식하고 녹음할 수 있는 녹음장치일 수 있다. 예를 들어 입력부(130)는 마이크 등일 수 있다. 출력부(140)는 음성을 출력할 수 있는 출력장치일 수 있다. 출력 장치는 스피커 등을 포함할 수 있다.
송수신부(150)는 컴퓨팅 장치(200) 또는 서버와 연결되어 통신을 수행할 수 있다. GPS부(160)는 음향 장치(100) 위치를 추적할 수 있다.
컴퓨팅 장치(200)는 적어도 하나의 제어부(210), 저장부(220), 입력부(230), 출력부(240), 송수신부(250), GPS부(260) 및 카메라부(270) 등을 포함할 수 있다.
컴퓨팅(200)에 포함된 각각의 구성 요소들은 버스(bus)에 의해 연결되어 서로 통신을 수행할 수 있다. 출력부(240)는 화면을 출력할 수 있는 출력장치일 수 있다. 출력 장치는 디스플레이 등을 포함할 수 있다.
제어부(210)는 저장부(220)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 제어부(210)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서(processor)를 의미할 수 있다. 저장부(220)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 저장부(220)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
송수신부(250)는 다른 컴퓨팅 장치(200), 음향 장치(110) 또는 서버와 연결되어 통신을 수행할 수 있다. GPS부(260)는 컴퓨팅 장치(200) 위치를 추적할 수 있다. 카메라부(270)는 현실 영상을 획득할 수 있다.
일부 실시예에서, 증강 현실 음향 구현 방법은 컴퓨팅 장치와 다른 컴퓨팅 장치 또는 서버의 연계에 의해서 실현될 수도 있다.
도 3은 증강 현실 음향 구현 방법의 제1 실시예를 도시한 흐름도이다.
도 3을 참조하면, 제1 사용자(10)의 제1 음향 장치(100-1)는 현실 음향 정보를 획득 할 수 있다. 여기서 현실 음향 정보는 제2 사용자(20)로부터 발생되는 현실 음향 또는 제1 사용자(10) 주변에서 발생되는 현실 음향일 수 있다.
제1 음향 장치(100-1)는 제1 사용자(10)의 제1 컴퓨팅 장치(200-1)로 현실 음향 정보를 전송할 수 있다. 제1 컴퓨팅 장치(200-1)는 제1 음향 장치(100-1)로부터 현실 음향 정보를 획득할 수 있다(S300).
제1 컴퓨팅 장치(200-1)는 제1 사용자(10)와 근접한 거리에 다른 사용자(예를 들어, 제2 사용자(20))가 존재하는지 확인할 수 있다(S310). 여기서 근접한 거리는 미리 설정된 거리일 수 있다.
제1 사용자(10)와 제2 사용자(20)가 미리 설정된 거리보다 근접한 경우, 제1 컴퓨팅 장치(200-1)는 현실 음향 정보를 기초로 현실 음향의 방향 특성 정보를 획득할 수 있다(S320). 여기서, 현실 음향 정보는 제1 음향 장치(100-1)의 복수의 입력부(130)에서 측정되는 바이노럴(binaural) 타입의 음향 정보일 수 있다.
제1 컴퓨팅 장치(200-1)는 가상 현실 게임 내에서 발생하는 음향을 지시하는 제1 가상 음향 정보를 획득할 수 있다(S321).
제1 컴퓨팅 장치(200-1)는 현실 음향 정보, 방향 특성 정보, 제1 가상 음향 정보 중 적어도 하나를 기초로 3차원 증강 현실 음향을 생성할 수 있다(S322). 구체적으로 제1 컴퓨팅 장치(200-1)는 현실 음향 정보, 방향 특성 정보, 제1 가상 음향 정보 중 적어도 하나의 정보를 블랜딩하여 3차원 증강 현실 음향을 생성할 수 있다.
예를 들어, 제1 사용자(10)가 제1 사용자(10)의 북쪽 방향에서 "동해물과 백두산이 마르고 닳도록 하나님이 보우하사 우리 나라 만세" 라는 애국가 1절의 음원을 획득했다면 제1 컴퓨팅 장치(200-1)는 해당 음원이 북쪽에서 발생한 것처럼 들릴 수 있도록 방향 특성 정보와 현실 음향 정보, 그리고 가상 현실 게임 내에서 발생하는 음향을 지시하는 제1 가상 음향 정보를 블랜딩하여 3차원 증강 현실 음향을 생성할 수 있다.
제1 컴퓨팅 장치(200-1)는 제1 음향 장치(100-1)를 통해 제1 사용자(10)에게 3차원 증강 현실 음향을 제공할 수 있다(S323).
제1 사용자(10)와 제2 사용자(20)가 미리 설정된 거리보다 근접하지 않을 경우, 제2 컴퓨팅 장치(200-2)는 제1 사용자(10)와 제2 사용자(20)의 위치 정보를 획득할 수 있다(S330).
제1 컴퓨팅 장치(200-1)는 제1 사용자(10)와 제2 사용자(20)의 위치 정보를 기초로 현실 음향의 방향 특성 정보를 획득할 수 있다(S331). 제1 컴퓨팅 장치(200-1)는 가상 현실 게임 내에서 발생하는 음향을 지시하는 제1 가상 음향 정보를 획득할 수 있다(S332).
제1 컴퓨팅 장치(200-1)는 현실 음향 정보, 방향 특성 정보, 제1 가상 음향 정보 중 적어도 하나를 기초로 3차원 증강 현실 음향을 생성할 수 있다(S333). 구체적으로 제1 컴퓨팅 장치(200-1)는 현실 음향 정보, 방향 특성 정보, 제1 가상 음향 정보 중 적어도 두 개 이상의 정보를 블랜딩하여 3차원 증강 현실 음향을 생성할 수 있다.
예를 들어, "동해물과 백두산이 마르고 닳도록 하나님이 보우하사 우리 나라 만세" 라는 애국가 1절의 음원이 제2 사용자(20)로부터 발생했다면 제1 컴퓨팅 장치(200-1)는 제2 사용자(20)의 우측에 위치한 제1 사용자(10)가 해당 음원이 좌측에서 발생한 것처럼 들릴 수 있도록 방향 특성 정보를 고려하여 3차원 증강 현실 음향을 생성할 수 있다.
제1 컴퓨팅 장치(200-1)는 제1 음향 장치(100-1)를 통해 제1 사용자(10)에게 3차원 증강 현실 음향을 제공할 수 있다(S334).
도 4는 증강 현실 음향 구현 방법의 제2 실시예를 도시한 흐름도이다.
도 4를 참조하면, 제1 사용자(10)의 제1 음향 장치(100-1)는 현실 음향 정보를 획득 할 수 있다. 여기서 현실 음향 정보는 제1 사용자(10)로부터 발생되는 현실 음향 또는 제1 사용자(10) 주변에서 발생되는 현실 음향일 수 있다.
제1 음향 장치(100-1)는 제1 사용자(10)의 제1 컴퓨팅 장치(200-1)로 현실 음향 정보를 전송할 수 있다. 제1 컴퓨팅 장치(200-1)는 제1 음향 장치(100-1)로부터 현실 음향 정보를 획득할 수 있다(S300).
제1 컴퓨팅 장치(200-1)는 현실 공간에서 복수의 사용자(10, 20) 사이의 상대적인 위치와 증강 현실 게임 내의 가상 공간에서 복수의 사용자(10, 20)의 아바타(avatar)의 상대적인 위치가 대응하지 않는 위치 차이가 발생하는지 확인할 수 있다(S301).
위치 차이는 제2 사용자(20)가 제1 사용자(10)에게 스킬(skill)을 사용하는 경우로서, 제2 사용자(20)와 제2 사용자(20)의 아바타가 분리되는 경우일 수 있다. 아바타가 분리되는 경우의 구체적인 예는 다음과 같을 수 있다. 제2 사용자(20)가 제1 사용자(10)에 대해 스킬을 사용할 수 있다. 이 경우 제2 사용자(20)의 아바타가 분리되어 제1 사용자(10) 아바타 쪽으로 이동하여 스킬을 사용하게 될 수 있다.
또한, 위치 차이는 제2 사용자(20)가 스킬(skill)을 사용하는 경우로서, 제2 사용자(20)의 아바타가 순간 이동하는 경우일 수 있다. 순간이동은 게임 속에서는 일반적으로 텔레포트(teleport)라는 용어로 지칭된다. 순간이동(또는　텔레포트)은 순식간에 어느 공간에 이동하는 것을 의미할 수 있다. 대개 아주 멀리있는 곳으로 이동할 때 쓰일 수 있다.
예를 들어, 제2 사용자(20)의 아바타가 제1 사용자(10)의 아바타의 동쪽에 위치하는 중 순간이동을 하여 제1 사용자(10)의 아바타의 서쪽에 위치하게 된 경우, 제1 컴퓨팅 장치(200-1)는 제2 사용자(20)의 아바타의 위치와 제2 사용자(20)의 위치 차이를 고려하여 3차원 증강 현실 음향을 생성할 수 있다.
또한, 위치 차이는 제2 사용자(20)가 제1 사용자(10)에게 스킬(skill)을 사용하는 경우로서, 제2 사용자(20)의 움직임보다 제2 사용자(20)의 아바타의 움직임이 크거나 짧은 경우일 수 있다.
제2 사용자(20)의 움직임보다 제2 사용자(20)의 아바타의 움직임이 크거나 짧은 경우의 예를 들면, 제2 사용자(20)의 스킬 사용으로 인해 제2 사용자(20)가 빠르게 움직이는 경우가 있을 수 있다. 이러한 경우, 제1 컴퓨팅 장치(200-1)는 제2 사용자(20)의 아바타가 빠르게 움직이면서 발생할 수 있는 음향을 고려할 수 있다.
위치 차이가 발생할 경우 제1 컴퓨팅 장치(200-1)는 제1 사용자(10)와 제2 사용자(20)의 위치 정보를 획득할 수 있다(S302). 제1 컴퓨팅 장치(200-1)는 위치 차이를 기초로 3차원 증강 현실 음향을 생성할 수 있다(S303).
제1 컴퓨팅 장치(200-1)는 위치 차이가 발생한 경우 복수의 사용자들(10, 20)의 아바타의 위치에 대응하도록 생성된 제2 가상 음향과 현실 음향의 블랜딩을 통해 3차원 증강 현실 음향을 생성할 수 있다. 제1 컴퓨팅 장치(200-1)는 제1 사용자(10) 또는 제2 사용자(20)가 스킬을 사용할 경우, 1인칭 상황 또는 3인칭 상황에 맞게 음향 블랜딩을 수행할 수 있다.
예를 들어, 1인칭 상황으로 게임을 수행하다가 제1 사용자(10) 또는 제2 사용자(20)가 스킬을 사용하게 되어, 제1 사용자(10) 또는 제2 사용자(20)의 아바타의 위치가 상이하게 되면, 제1 컴퓨팅 장치(200-1)는 3인칭 상황에 맞게 가상 음향을 생성하여 현실 음향과 블랜딩 할 수 있다.
제1 컴퓨팅 장치(200-1)는 제1 음향 장치(100-1)를 통해 상기 제1 사용자에게 상기 3차원 증강 현실 음향을 제공할 수 있다(S304).
위치 차이가 발생하지 않을 경우, 제1 컴퓨팅 장치(200-1)는 제1 사용자(10)와 근접한 거리에 다른 사용자(예를 들어, 제2 사용자(20))가 존재하는지 확인할 수 있다(S310). 여기서 근접한 거리는 미리 설정된 거리일 수 있다.
제1 사용자(10)와 제2 사용자(20)가 미리 설정된 거리보다 근접한 경우, 제1 컴퓨팅 장치(200-1)는 현실 음향 정보를 기초로 현실 음향의 방향 특성 정보를 획득할 수 있다(S320). 여기서, 현실 음향 정보는 제1 음향 장치(100-1)의 복수의 입력부(130)에서 측정되는 바이노럴(binaural) 타입의 음향 정보일 수 있다.
제1 컴퓨팅 장치(200-1)는 가상 현실 게임 내에서 발생하는 음향을 지시하는 제1 가상 음향 정보를 획득할 수 있다(S321).
제1 컴퓨팅 장치(200-1)는 현실 음향 정보, 방향 특성 정보, 제1 가상 음향 정보 중 적어도 하나를 기초로 3차원 증강 현실 음향을 생성할 수 있다(S322). 구체적으로 제1 컴퓨팅 장치(200-1)는 현실 음향 정보, 방향 특성 정보, 제1 가상 음향 정보 중 적어도 하나의 정보를 블랜딩하여 3차원 증강 현실 음향을 생성할 수 있다.
예를 들어, 제1 사용자(10)가 제1 사용자(10)의 북쪽 방향에서 "동해물과 백두산이 마르고 닳도록 하나님이 보우하사 우리 나라 만세" 라는 애국가 1절의 음원을 획득했다면 제1 컴퓨팅 장치(200-1)는 해당 음원이 북쪽에서 발생한 것처럼 들릴 수 있도록 방향 특성 정보와 현실 음향 정보, 그리고 가상 현실 게임 내에서 발생하는 음향을 지시하는 제1 가상 음향 정보를 블랜딩하여 3차원 증강 현실 음향을 생성할 수 있다.
제1 컴퓨팅 장치(200-1)는 제1 음향 장치(100-1)를 통해 제1 사용자(10)에게 3차원 증강 현실 음향을 제공할 수 있다(S323).
제1 사용자(10)와 제2 사용자(20)가 미리 설정된 거리보다 근접하지 않을 경우, 제2 컴퓨팅 장치(200-2)는 제1 사용자(10)와 제2 사용자(20)의 위치 정보를 획득할 수 있다(S330).
제1 컴퓨팅 장치(200-1)는 제1 사용자(10)와 제2 사용자(20)의 위치 정보를 기초로 현실 음향의 방향 특성 정보를 획득할 수 있다(S331). 제1 컴퓨팅 장치(200-1)는 가상 현실 게임 내에서 발생하는 음향을 지시하는 제1 가상 음향 정보를 획득할 수 있다(S332).
제1 컴퓨팅 장치(200-1)는 현실 음향 정보, 방향 특성 정보, 제1 가상 음향 정보 중 적어도 하나를 기초로 3차원 증강 현실 음향을 생성할 수 있다(S333). 구체적으로 제1 컴퓨팅 장치(200-1)는 현실 음향 정보, 방향 특성 정보, 제1 가상 음향 정보 중 적어도 두 개 이상의 정보를 블랜딩하여 3차원 증강 현실 음향을 생성할 수 있다.
예를 들어, "동해물과 백두산이 마르고 닳도록 하나님이 보우하사 우리 나라 만세" 라는 애국가 1절의 음원이 제2 사용자(20)로부터 발생했다면 제1 컴퓨팅 장치(200-1)는 제2 사용자(20)의 우측에 위치한 제1 사용자(10)가 해당 음원이 좌측에서 발생한 것처럼 들릴 수 있도록 방향 특성 정보를 고려하여 3차원 증강 현실 음향을 생성할 수 있다.
제1 컴퓨팅 장치(200-1)는 제1 음향 장치(100-1)를 통해 제1 사용자(10)에게 3차원 증강 현실 음향을 제공할 수 있다(S334).
이상에서는 증강 현실(Augmented Reality) 음향 구현 방법에 관하여 설명하였으나, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 증강 현실 음향 구현에 제한되는 것이 아니라 가상 세계 이미지에 현실 이미지를 혼합하는 증강 가상을 포함하는 혼합 현실(Mixed Reality) 음향 구현을 위하여도 실질적으로 동일하게 실시될 수 있다는 것을 이해할 수 있을 것이다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 제1 사용자의 제1 컴퓨팅 장치가 제1 음향 장치로부터 현실 음향 정보를 수신하되, 상기 현실 음향 정보는 발생 위치를 나타내는 방향 특성 정보를 포함하는, 현실 음향 정보 수신 단계;
    상기 제1 컴퓨팅 장치가 제1 가상 음향을 획득하되, 상기 제1 가상 음향은, 상기 제1 컴퓨팅 장치에서 수행되는 가상 현실 게임에서 발생하는 음향인, 제1 가상 음향 획득 단계;
    상기 제1 컴퓨팅 장치가 상기 현실 음향 정보와 상기 제1 가상 음향을 블랜딩하여 3차원 증강 현실 음향을 생성하는 단계; 및
    상기 제1 컴퓨팅 장치가 상기 제1 음향 장치를 통해 상기 제1 사용자에게 상기 3차원 증강 현실 음향을 제공하는 단계를 포함하고,
    상기 가상 현실 게임이 복수의 사용자에 의해 수행되는 경우,
    상기 현실 음향 정보 수신 단계는,
    상기 제1 컴퓨팅 장치가 상기 제1 사용자와 제2 사용자의 이격된 거리가 미리 설정된 거리 범위 이하인지 초과인지 판단하는 단계; 및
    상기 이격된 거리가 상기 미리 설정된 거리 범위 이하인 경우에는, 상기 제1 컴퓨팅 장치가 상기 방향 특성 정보를 상기 현실 음향 정보로부터 획득하되, 상기 현실 음향 정보는 상기 제1 음향 장치에서 복수의 마이크로 측정되는 바이노럴(binaural) 타입이고,
    상기 이격된 거리가 상기 미리 설정된 거리 범위 초과인 경우에는, 상기 제1 컴퓨팅 장치가 상기 현실 음향 정보 중 방향 특성 정보를 상기 제1 사용자와 상기 제1 사용자의 위치 정보를 기초로 획득하는 단계를 포함하고,
    상기 제1 음향 장치는,
    상기 제1 사용자가 3차원 증강 현실 음향을 제공받을 수 있도록 상기 제1 사용자에게 착용되며, 상기 제1 컴퓨팅 장치와 유선 또는 무선으로 연결되고, 음향 녹음 기능을 포함하는 것인,
    증강 현실 음향 구현 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 3차원 증강 현실 음향을 제공하는 단계는,
    상기 제1 사용자와 제2 사용자의 현실 공간에서의 상대적인 위치와, 상기 제1 사용자와 상기 제2 사용자의 가상 공간의 아바타(avatar)의 상대적인 위치가 대응되지 않는 위치 차이가 발생하는 경우에는,
    상기 제1 컴퓨팅 장치가 상기 위치 차이를 기반으로 상기 3차원 증강 현실 음향을 생성하여 상기 제1 사용자에게 제공하는 것을 포함하는,
    증강 현실 음향 구현 방법.
  6. 제5항에 있어서,
    상기 위치 차이는,
    상기 제2 사용자가 상기 제1 사용자에게 스킬(skill)을 사용하는 경우로서, 사익 제2 사용자와 상기 제2 사용자의 아바타가 분리되는 경우인,
    증강 현실 음향 구현 방법.
  7. 제5항에 있어서,
    상기 위치 차이는,
    상기 제2 사용자가 상기 제1 사용자에게 스킬(skill)을 사용하는 경우로서, 상기 제2 사용자의 움직임보다 상기 제2 사용자의 아바타의 움직임이 크거나 짧은 경우인,
    증강 현실 음향 구현 방법.
  8. 제5항에 있어서,
    상기 3차원 증강 현실 음향을 제공하는 단계에서 상기 3차원 증강 현실 음향은,
    상기 아바타의 위치에 대응하도록 생성된 제2 가상 음향과 상기 현실 음향의 블랜딩을 통해 생성되는 것인,
    증강 현실 음향 구현 방법.
  9. 하드웨어인 컴퓨터와 결합되어, 제1항 및 제5항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위해 매체에 저장된, 증강 현실 음향 구현 컴퓨터 프로그램.
  10. 하드웨어인 컴퓨터와 결합되어, 제1항 및 제5항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 단말장치용 어플리케이션.
KR1020170115842A 2017-03-20 2017-09-11 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램 KR101963244B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880001772.3A CN109076307A (zh) 2017-03-20 2018-03-19 反映现实音效的增强现实三维音效实现系统及程序
PCT/KR2018/003189 WO2018174500A1 (ko) 2017-03-20 2018-03-19 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
US16/168,560 US20190058961A1 (en) 2017-03-20 2018-10-23 System and program for implementing three-dimensional augmented reality sound based on realistic sound

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020170034398 2017-03-20
KR20170034398 2017-03-20
KR1020170102892 2017-08-14
KR20170102892 2017-08-14

Publications (2)

Publication Number Publication Date
KR20180106812A KR20180106812A (ko) 2018-10-01
KR101963244B1 true KR101963244B1 (ko) 2019-03-28

Family

ID=63877517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170115842A KR101963244B1 (ko) 2017-03-20 2017-09-11 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램

Country Status (3)

Country Link
US (1) US20190058961A1 (ko)
KR (1) KR101963244B1 (ko)
CN (1) CN109076307A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102379734B1 (ko) * 2018-11-09 2022-03-29 주식회사 후본 사운드 생성 방법 및 이를 수행하는 장치들
KR102322120B1 (ko) * 2018-11-09 2021-11-05 주식회사 후본 사운드 생성 방법 및 이를 수행하는 장치들
KR20210106546A (ko) 2018-12-24 2021-08-30 디티에스, 인코포레이티드 딥 러닝 이미지 분석을 사용한 룸 음향 시뮬레이션
WO2024101683A1 (ko) * 2022-11-09 2024-05-16 삼성전자주식회사 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016048534A (ja) * 2013-12-25 2016-04-07 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
JP2016522463A (ja) * 2013-03-11 2016-07-28 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
US20170045941A1 (en) * 2011-08-12 2017-02-16 Sony Interactive Entertainment Inc. Wireless Head Mounted Display with Differential Rendering and Sound Localization

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651288B (zh) * 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
KR101913887B1 (ko) 2014-12-31 2018-12-28 최해용 휴대용 가상현실장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170045941A1 (en) * 2011-08-12 2017-02-16 Sony Interactive Entertainment Inc. Wireless Head Mounted Display with Differential Rendering and Sound Localization
JP2016522463A (ja) * 2013-03-11 2016-07-28 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
JP2016048534A (ja) * 2013-12-25 2016-04-07 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム

Also Published As

Publication number Publication date
KR20180106812A (ko) 2018-10-01
US20190058961A1 (en) 2019-02-21
CN109076307A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
KR102419065B1 (ko) 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
KR101963244B1 (ko) 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
US9473699B2 (en) Storage medium storing information processing program, information processing device, information processing system, and information processing method
JP6323505B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US20150326963A1 (en) Real-time Control Of An Acoustic Environment
US20140328505A1 (en) Sound field adaptation based upon user tracking
JP2009116690A (ja) 画像処理装置、画像処理方法
KR102190072B1 (ko) 콘텐츠 발견
JP7457525B2 (ja) 受信装置、コンテンツ伝送システム、及びプログラム
CN112272817A (zh) 用于在沉浸式现实中提供音频内容的方法和装置
CN111492342A (zh) 音频场景处理
JP6616023B2 (ja) 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム
JP2008299135A (ja) 音声合成装置、音声合成方法、および音声合成用プログラム
KR20210056414A (ko) 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템
US11252528B2 (en) Low-frequency interchannel coherence control
CN114339582A (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
US11924317B1 (en) Method and system for time-aligned media playback
US11792581B2 (en) Using Bluetooth / wireless hearing aids for personalized HRTF creation
US20240089688A1 (en) Processing of audio data
WO2024196673A1 (en) Far-field noise reduction via spatial filtering using a microphone array

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right