KR102126162B1 - 매개 현실에서의 사운드 객체의 인지 향상 - Google Patents

매개 현실에서의 사운드 객체의 인지 향상 Download PDF

Info

Publication number
KR102126162B1
KR102126162B1 KR1020197001768A KR20197001768A KR102126162B1 KR 102126162 B1 KR102126162 B1 KR 102126162B1 KR 1020197001768 A KR1020197001768 A KR 1020197001768A KR 20197001768 A KR20197001768 A KR 20197001768A KR 102126162 B1 KR102126162 B1 KR 102126162B1
Authority
KR
South Korea
Prior art keywords
sound
user
class
sound object
space
Prior art date
Application number
KR1020197001768A
Other languages
English (en)
Other versions
KR20190020766A (ko
Inventor
라세 라크소넨
미카 빌레르모
미코 타미
아르토 레티니에미
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20190020766A publication Critical patent/KR20190020766A/ko
Application granted granted Critical
Publication of KR102126162B1 publication Critical patent/KR102126162B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Stereophonic System (AREA)

Abstract

랜더링된 가상 공간 내에서, 가상 공간 내의 사용자의 과거 동작에 의존하여 제 1 클래스의 사운드 객체 또는 제 2 클래스의 사운드 객체로서 사운드 객체들을 분류하게 하는 단계; 적어도 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하는 단계; 및 적어도 제 1 규칙과는 상이한 제 2 규칙 및 가상 공간 내의 사용자의 현재 위치에 따라 제 2 클래스의 하나 이상의 사운드 객체를 랜더링하는 단계를 포함하는 방법.

Description

매개 현실에서의 사운드 객체의 인지 향상
본 발명의 실시예는 증강 현실 또는 가상 현실과 같은 매개 현실(mediated reality)에 관한 것이다.
본 명세서에서의 매개 현실은 사용자가 완전히 또는 부분적으로 인공적인 환경을 경험하는 것을 나타낸다.
증강 현실은 부분적으로 인공적이며 부분적으로 실제인 환경을 사용자가 경험하는 매개 현실의 한 형태이다. 가상 현실은 완전히 인공적인 환경을 사용자가 경험하는 매개 현실의 한 형태이다.
반드시 전부는 아니지만 본 발명의 다양한 실시예에 의하면, 랜더링된 가상 공간 내에서, 가상 공간에서의 사용자의 과거 동작에 의존하여 제 1 클래스의 사운드 객체 또는 제 2 클래스의 사운드 객체로서 사운드 객체들을 분류하게 하는 단계; 적어도 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하는 단계; 및 적어도 제 1 규칙과 상이한 제 2 규칙 및 가상 공간에서의 사용자의 현재 위치에 따라 제 2 클래스의 하나 이상의 사운드 객체를 랜더링하는 단계를 포함하는 방법이 제공된다.
반드시 전부는 아니지만 본 발명의 다양한 실시예에 의하면, 첨부된 청구범위에서 청구되는 바와 같은 예들이 제공된다.
간략한 설명을 이해함에 있어서 유용한 다양한 예들을 보다 잘 이해하기 위해, 이제 단지 예로서 첨부 도면을 참조할 것이다.
도 1a~1c 및 도 2a~2c는 도 1a, 1b, 1c가 동일한 가상 비주얼 공간(virtual visual space) 및 상이한 시점들을 나타내고, 도 2a, 2b, 2c가 각 시점의 관점에서 가상 비주얼 장면(virtual visual scene)을 나타내는 매개 현실의 예들을 도시한다.
도 3a는 실제 공간의 예를 도시하고, 도 3b는 도 1b의 가상 비주얼 장면과 부분적으로 대응하는 실제 비주얼 장면의 예를 도시한다.
도 4는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 가능하게 하도록 동작가능한 장치의 예를 도시한다.
도 5a는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 가능하게 하는 방법의 예를 도시한다.
도 5b는 증강 현실을 위해 가상의 시공간 모델을 업데이트하는 방법의 예를 도시한다.
도 6a 및 도 6b는 가상 비주얼 장면의 적어도 일부를 사용자에게 디스플레이할 수 있는 장치의 예를 도시한다.
도 7a는 실제 공간에서의 제스처의 예를 도시하고, 도 7(b)는 가상 비주얼 장면에 있어서 실제 공간에서의 제스처에 대한 대응하는 랜더링된 표현을 도시한다.
도 8은 랜더링된 사운드 장면을 변경하는 시스템의 예를 도시한다.
도 9는 예를 들어 시스템의 포지셔닝 블록, 배향 블록 및 거리 블록의 기능을 수행하는 데 사용될 수 있는 모듈의 예를 도시한다.
도 10은 장치를 사용하여 구현된 시스템/모듈의 예를 도시한다.
도 11은 사운드 객체의 랜더링을 제어하는 방법의 예를 도시한다.
도 12a~도 12f는 도 11의 방법의 예시적인 응용을 도시한다.
도 13은 사운드 객체의 분류를 제 1 클래스로 변경하기 위해 사용자에 의해 가상 공간 내에서 수행되는 '활성화' 동작의 일례를 도시한다.
도 14는 제 1 클래스의 사운드 객체의 랜더링을 제어하는 데 제 1 규칙이 어떻게 사용될 수 있는지의 예를 도시한다.
도 15는 제 1 클래스의 다수의 사운드 객체의 동시 랜더링을 제어하는 데 제 1 규칙이 어떻게 사용될 수 있는지의 예를 도시한다.
도 16a는 도 11의 방법의 예에 대한 효과를 상태도로서 도시한다.
도 16b는 도 11의 방법의 다른 예에 대한 효과를 상태도로서 도시한다.
"가상 비주얼 공간"은 관찰될 수 있는 완전히 또는 부분적으로 인공적인 환경을 가리키며, 이는 3차원일 수 있다.
"가상 비주얼 장면"은 가상 비주얼 공간 내의 특정 시점에서 관찰된 가상 비주얼 공간의 표현을 나타낸다.
"실제 공간"은 3차원일 수 있는 실제 환경을 가리킨다.
"실제 비주얼 장면"은 실제 공간 내의 특정 시점에서 관찰된 실제 공간의 표현을 나타낸다.
본 명세서에서의 "매개 현실"은, 장치에 의해 적어도 부분적으로 사용자에게 디스플레이되는 가상 비주얼 장면으로서, 완전히 또는 부분적으로 인공적인 환경(가상 비주얼 공간)을 사용자가 가시적으로 경험하는 것을 나타낸다. 가상 비주얼 장면은 가상 비주얼 공간 내의 시점 및 시야에 의해 결정된다. 가상 비주얼 장면을 디스플레이하는 것은 사용자가 볼 수 있는 형태로 제공하는 것을 의미한다.
본 명세서에서의 "증강 현실"은, 장치에 의해 사용자에게 디스플레이된 하나 이상의 비주얼 요소들에 의해 보완되는 물리적인 실세계 환경(실제 공간)의 실제 비주얼 장면을 포함하는 가상 비주얼 장면으로서, 부분적으로 인공적인 환경(가상 비주얼 공간)을 사용자가 가시적으로 경험하는 매개 현실의 한 형태를 가리킨다.
본 명세서에서의 "가상 현실"은, 장치에 의해 사용자에게 디스플레이되는 가상 비주얼 장면으로서, 완전히 인공적인 환경(가상 비주얼 공간)을 사용자가 가시적으로 경험하는 매개 현실의 한 형태를 가라킨다.
매개 현실, 증강 현실 또는 가상 현실에 적용되는 "관점 매개(perspective-mediated)"는 사용자 동작들이 가상 비주얼 공간 내에서 시점을 결정하여 가상 비주얼 장면을 변경한다는 것을 의미한다.
매개 현실, 증강 현실 또는 가상 현실에 적용되는 "1인칭 관점 매개(first person perspective-mediated)"는, 사용자의 실제 시점이 가상 비주얼 공간 내의 시점을 결정한다는 추가적인 제약사항을 갖는 관점 매개를 의미한다.
매개 현실, 증강 현실 또는 가상 현실에 적용되는 "3인칭 관점 매개(third person perspective-mediated)"는, 사용자의 실제 시점이 가상 비주얼 공간 내의 시점을 결정하지 않는다는 추가적인 제약사항을 갖는 관점 매개를 의미한다.
매개 현실, 증강 현실 또는 가상 현실에 적용되는 "사용자 상호 작용 매개(user interactive-mediated)"는, 가상 비주얼 공간 내에서 무슨 일이 발생하는지를 사용자 동작이 적어도 부분적으로 결정하는 것을 의미한다.
"디스플레이하는 것"은 사용자에 의해 가시적으로 인지되는(관찰되는) 형태로 제공하는 것을 의미한다.
"랜더링"은 사용자에 의해 인지되는 형태로 제공하는 것을 의미한다.
"사운드 공간"은 3차원 공간에서 사운드 소스들의 구성을 가리킨다. 사운드 공간은 레코딩 사운드(레코딩된 사운드 공간) 및 랜더링 사운드(랜더링된 사운드 공간)와 관련해서 정의될 수 있다.
"사운드 장면"은 사운드 공간 내의 특정 시점에서 청취된 사운드 공간의 표현을 가리킨다.
"사운드 객체"는 사운드 공간 내에 위치될 수 있는 사운드를 가리킨다. 소스 사운드 객체는 사운드 공간 내의 사운드 소스를 나타낸다. 레코딩된 사운드 객체는 특정 마이크로폰에 레코딩된 사운드를 나타낸다.
사운드 공간 및 가상 비주얼 공간과 관련해서 사용될 때의 "대응" 또는 "대응함"이란, 사운드 공간 및 가상 비주얼 공간이 시간 및 공간 정렬됨, 즉 동시에 동일한 공간에 있음을 의미한다.
사운드 장면 및 가상 비주얼 장면과 관련해서 사용될 때의 "대응" 또는 "대응함"이란, 사운드 공간 및 가상 비주얼 공간이 대응하고 있으며, 그 시점이 사운드 장면을 정의하는 개념적 청취자 및 그 시점이 가상 비주얼 장면을 정의하는 개념적 시청자가 동일한 포지션 및 방향에 있음, 즉 동일한 시점을 갖음을 의미한다.
"가상 공간"은 가상 비주얼 공간을 의미하고, 사운드 공간을 의미하거나, 가상 비주얼 공간 및 대응하는 사운드 공간의 조합을 의미할 수 있다.
설명
어떠한 반향이나 잔향 없이 점원(a point source)으로부터의 실세계 사운드 전송의 단순한 모델링은, 사운드 파워가 구 표면 상에서 분산되고 사운드의 세기(단위 영역당 파워)가 역제곱 법칙에 따라 감쇠된다는 것을 의미할 것이다. 따라서, 음원으로부터의 거리에 따라 파워가 급격히 감소한다.
인간에 의한 사운드의 라우드니스(loudness)의 인지는 사운드 세기뿐만 아니라, 세기 및 주파수에 비선형 의존성을 갖는 사운드 세기에 대한 귀의 반응에도 의존한다.
사람의 귀는 통상 2kHz~5kHz의 주파수 범위에 있어서 모든 세기에서 사운드에 대한 감도를 증가시켰다.
또한, 인간의 귀는 포화 효과(saturation effects)를 증명한다. 다수의 임계 주파수 대역들 중 동일한 주파수 대역에서의 사운드들은 포화 효과를 보여주는 안쪽 귀의 기저막 상의 동일한 신경 말단에서 경쟁한다.
실세계(또는 가상 세계)에서, 사람들이 대화하는 혼잡한 방에 사람이 있는 경우, 심지어 청취자가 사운드 소스(사운드 객체)에 매우 가까이 있을 때에도 상이한 사운드 소스(사운드 객체)를 듣는 것이 어려울 수 있다.
이하에서 설명되는 적어도 일부 실시예는 가상 공간에서 특정한 사운드 객체를 청취하는 사용자의 능력을 향상시킨다. 가상 세계는 반드시 물리학 또는 인간 생리학에 의해 제약받는 것은 아니며, 사용자에게 '초인'의 청력을 제공할 수 있다.
이는, 랜더링된 가상 공간 내에서 가상 공간에서의 사용자의 과거 동작에 의존하여 사운드 객체들을 제 1 클래스의 사운드 객체 또는 제 2 클래스의 사운드 객체로서 분류하고; 그 후에 적어도 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하고, 적어도 제 1 규칙과 상이한 제 2 규칙 및 가상 공간에서의 사용자의 현재 위치에 따라 제 2 클래스의 하나 이상의 사운드 객체를 랜더링함으로써 달성될 수 있다.
도 1a~1c 및 2a~2c는 매개 현실의 예를 도시한다. 매개 현실은 증강 현실 또는 가상 현실일 수 있다.
도 1a, 도 1b 및 도 1c는 동일한 가상 객체(21)를 포함하는 동일한 가상 비주얼 공간(20)을 도시하고 있지만, 각각의 도면은 상이한 시점(24)을 나타내고 있다. 시점(24)의 위치 및 방향은 독립적으로 변할 수 있다. 시점(24)의 위치가 아니라 방향은 도 1a로부터 도 1b로 변한다. 시점(24)의 방향 및 위치는 도 1(b)로부터 도 1(c)로 변한다.
도 2a, 도 2b 및 도 2c는 각각의 도 1a, 도 1b, 도 1c의 상이한 시점(24)의 관점에서 가상 비주얼 장면(22)을 도시한다. 가상 비주얼 장면(22)은 가상 비주얼 공간(20) 및 시야(26) 내의 시점(24)에 의해 결정된다. 가상 비주얼 장면(22)은 사용자에게 적어도 부분적으로 디스플레이된다.
도시된 가상 비주얼 장면(22)은 매개 현실 장면, 가상 현실 장면 또는 증강 현실 장면일 수 있다. 가상 현실 장면은 완전히 인공적인 가상 공간(20)을 디스플레이한다. 증강 현실 환경은 부분적으로 인공적이며 부분적으로 실제인 가상 비주얼 공간(20)을 디스플레이한다.
매개 현실, 증강 현실 또는 가상 현실은 사용자 상호 작용 매개일 수 있다. 이 경우에, 사용자 동작은 가상 비주얼 공간(20) 내에서 무엇이 발생하는지를 적어도 부분적으로 결정한다. 이는 가상 비주얼 공간(20) 내의 비주얼 요소(28)와 같은 가상 객체(21)와의 상호 작용을 가능하게 할 수 있다.
매개 현실, 증강 현실 또는 가상 현실은 관점 매개일 수 있다. 이 경우에, 사용자 동작은 가상 비주얼 공간(20) 내의 시점(24)을 결정하여, 가상 비주얼 장면(22)을 변경한다. 예컨대, 도 1a, 1b, 1c에 도시된 바와 같이, 가상 비주얼 공간(20) 내의 시점(24)의 위치가 변경될 수 있고 및/또는 가상 비주얼 공간(20) 내의 시점(24)의 방향 또는 배향(25)이 변경될 수 있다. 가상 비주얼 공간(20)이 3차원인 경우, 시점(24)의 위치(23)는 3개의 자유도, 예를 들어 위/아래, 앞/뒤, 좌/우를 갖고, 가상 비주얼 공간(20) 내의 시점(24)의 방향(25)은 3개의 자유도, 예를 들어 롤(roll), 피치(pitch), 요(yaw)를 갖는다. 시점(24)은 위치(23) 및/또는 방향(25)에서 연속적으로 변할 수 있으며, 그 후에 사용자 동작은 시점(24)의 위치 및/또는 방향을 연속적으로 변경한다. 이와 달리, 시점(24)은 이산 양자화된 위치(23) 및/또는 이산 양자화된 방향(25)을 가질 수 있으며, 사용자 동작은 시점(24)의 허용된 위치(23) 및/또는 방향(25) 사이에서 이산적으로 점프함으로써 전환한다.
도 3a는 도 1a의 가상 비주얼 공간(20)과 부분적으로 대응하는 실제 객체(11)를 포함하는 실제 공간(10)을 도시한다. 이 예에서, 실제 공간(10)에서의 각각의 실제 객체(11)는 가상 비주얼 공간(20)에서의 대응하는 가상 객체(21)를 갖지만, 가상 비주얼 공간(20)에서의 각각의 가상 객체(21)는 실제 공간(10)에서의 대응하는 실제 객체(11)를 갖지 않는다. 이 예에서, 가상 객체들(21) 중 하나인 컴퓨터 생성된 비주얼 요소(28)는 실제 공간(10)에서의 대응하는 실제 객체(11)를 갖지 않는 인공 비주얼 객체(21)이다.
실제 공간(10)과 가상 비주얼 공간(20) 사이에는 선형 맵핑이 존재하고, 실제 공간(10)에서의 각각의 실제 객체(11)와 그에 대응하는 가상 객체(21) 사이에는 동일한 맵핑이 존재한다. 따라서, 실제 공간(10)에서의 실제 객체들(11)의 상대적 관계는 가상 비주얼 공간(20)에서의 대응하는 가상 객체들(21) 간의 상대적 관계와 동일하다.
도 3(b)는 도 1(b)의 가상 비주얼 장면(22)과 부분적으로 대응하는 실제 비주얼 장면(12)을 나타내며, 가상 객체들이 아닌 실제 객체들(11)을 포함한다. 실제 비주얼 장면은 도 1a의 가상 비주얼 공간(20)의 시점(24)에 대응하는 관점으로부터의 것이다. 실제 비주얼 장면(12)의 내용은 그 대응하는 시점(24) 및 시야(26)에 의해 결정된다.
도 2a는 도 3b에 도시된 실제 비주얼 장면(12)의 증강 현실 버전의 예시 일 수 있다. 가상 비주얼 장면(22)은 장치에 의해 사용자에게 디스플레이되는 하나 이상의 비주얼 요소들(28)에 의해 보완된 실제 공간(10)의 실제 비주얼 장면(12)을 포함한다. 비주얼 요소(28)는 컴퓨터 생성된 비주얼 요소일 수 있다. 투시 장치에서, 가상 비주얼 장면(22)은 보완용 비주얼 요소(들)(28)의 디스플레이를 통해 관찰되는 실제 비주얼 장면(12)을 포함한다. 비디오 시청 장치에서, 가상 비주얼 장면(22)은 디스플레이된 실제 비주얼 장면(12) 및 디스플레이된 보완형 비주얼 요소(들)(28)를 포함한다. 디스플레이된 실제 비주얼 장면(들)(12)은 동시에 단일 시점(24)으로부터의 이미지 또는 상이한 시점들(24)로부터의 다수의 이미지를 기반으로 할 수 있고, 단일 시점(24)으로부터의 이미지를 생성하도록 프로세싱될 수 있다.
도 4는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 가능하게 하도록 동작 가능한 장치(30)의 예를 도시한다.
장치(30)는 사용자에 의해 가시적으로 인지되는 형태로 가상 비주얼 장면(22)의 적어도 일부를 사용자에게 제공하기 위한 디스플레이(32)를 포함한다. 디스플레이(32)는 가상 비주얼 장면(22)의 적어도 일부를 사용자에게 디스플레이하는 광을 제공하는 가시 표시 장치일 수 있다. 가시 표시 장치의 예로는 액정 디스플레이, 유기 발광 디스플레이, 방출형, 반사형, 투과형 및 반투과형 디스플레이, 직접 망막 투영 디스플레이, 근안 디스플레이 등을 포함한다.
디스플레이(32)는 이 예에서 제어기(42)에 의해 제어되지만 반드시 모든 예가 그러한 것은 아니다.
제어기(42)의 구현은 제어기 회로와 같을 수 있다. 제어기(42)는 하드웨어만으로 구현될 수 있고, 펌웨어만을 포함하는 소프트웨어에서의 소정 측면을 가질 수 있거나, 또는 하드웨어 및 소프트웨어(펌웨어를 포함함)의 조합일 수 있다.
도 4에 도시된 바와 같이, 제어기(42)는 하드웨어 기능을 가능하게 하는 인스트럭션을 사용하여, 예를 들어 범용 또는 특수 목적 프로세서(40)에 의해 실행되도록 컴퓨터 판독가능 저장 매체(디스크, 메모리, 등)에 저장될 수 있는 이러한 프로세서(40)에서의 컴퓨터 실행가능 프로그램 인스트럭션(48)을 사용함으로써 구현될 수 있다.
프로세서(40)는 메모리(46)로부터 판독하고 메모리(46)에 기록하도록 구성된다. 또한, 프로세서(40)는 데이터 및/또는 커맨드가 프로세서(40)에 의해 출력되는 출력 인터페이스, 및 데이터 및/또는 커맨드가 프로세서(40)에 입력되는 입력 인터페이스를 포함할 수 있다.
메모리(46)는 프로세서(40)에 로딩될 때에 장치(30)의 동작을 제어하는 컴퓨터 프로그램 인스트럭션(컴퓨터 프로그램 코드)을 포함하는 컴퓨터 프로그램(48)을 저장한다. 컴퓨터 프로그램(48)의 컴퓨터 프로그램 인스트럭션은 도 5a 및 도 5(b)에 도시된 방법을 장치가 수행할 수 있게 하는 로직 및 루틴을 제공한다. 메모리(46)를 판독함으로써 프로세서(40)는 컴퓨터 프로그램(48)을 로딩 및 실행할 수 있다.
도 5a 및 도 5b에 도시된 블록들은 방법의 단계들 및/또는 컴퓨터 프로그램(48)의 코드 섹션들을 나타낼 수 있다. 블록들에 대한 특정한 순서의 도시는 블록들에 대한 요구되거나 선호되는 순서가 있음을 반드시 의미하지 않으며, 또한블록의 순서 및 배치는 변경될 수 있다. 또한, 일부 블록들이 생략될 수 있다.
장치(30)는 예를 들어 도 5a에 도시된 방법(60) 또는 유사한 방법을 사용하여, 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 가능하게 할 수 있다. 제어기(42)는 가상 비주얼 공간(20)의 모델(50)을 저장 및 유지한다. 모델은 제어기(42)에 제공되거나 제어기(42)에 의해 결정될 수 있다. 예컨대, 입력 회로(44)의 센서는 상이한 시점들로부터의 가상 비주얼 공간의 오버랩되는 깊이 맵을 생성하는 데 사용될 수 있고, 그 후에 3차원 모델이 제작될 수 있다.
깊이 맵을 생성하는 데 사용될 수 있는 다수의 상이한 기술들이 있다. Kinect ™ 디바이스에 사용되는 패시브 시스템의 예는, 객체가 적외선을 사용하여 비균일 패턴의 심볼로 페인팅되고, 다수의 카메라를 사용해서 반사된 빛이 측정된 후에 시차 효과(parallax effect)를 사용하여 객체의 위치를 결정하도록 프로세싱되는 경우이다.
블록 62에서, 가상 비주얼 공간(20)의 모델이 변경되었는지 여부가 결정된다. 가상 비주얼 공간(20)의 모델이 변경된 경우, 방법은 블록 66으로 이동한다. 가상 비주얼 공간(20)의 모델이 변경되지 않으면, 방법은 블록 64로 이동한다.
블록 64에서, 가상 비주얼 공간(20)에서의 시점(24)이 변경되었는지 여부가 결정된다. 시점(24)이 변경된 경우, 방법은 블록 66으로 이동한다. 시점(24)이 변경되지 않으면, 방법은 블록 62로 되돌아간다.
블록 66에서, 3차원 가상 비주얼 공간(20)의 2차원 투영은 현재 시점(24)에 의해 정의된 방향(25) 또한 위치(23)로부터 취해진다. 그 다음에, 투영은 가상 비주얼 장면(22)을 생성하도록 시야(26)에 의해 제한된다. 그 다음에, 방법은 블록 62로 되돌아간다.
장치(30)가 증강 현실을 가능하게 하는 경우, 가상 비주얼 공간(20)은 실제 공간(10)으로부터의 객체들(11)과, 실제 공간(10)에 존재하지 않는 비주얼 요소들(28) 또한 포함한다. 이러한 비주얼 요소들(28)의 조합은 인공 가상 비주얼 공간이라고 불릴 수 있다. 도 5(b)는 증강 현실을 위해 가상 비주얼 공간(20)의 모델을 업데이트하는 방법(70)을 도시한다.
블록 72에서, 실제 공간(10)이 변경되었는지 여부가 결정된다. 실제 공간(10)이 변경된 경우, 방법은 블록 76으로 이동한다. 실제 공간(10)이 변경되지 않았으면, 방법은 블록 74로 이동한다. 실제 공간(10)에서의 변화를 검출하는 것은 차분(differencing)을 사용하여 픽셀 레벨에서 달성될 수 있으며, 또한 객체들이 움직임에 따라 객체들을 추적하는 컴퓨터 비전을 사용하여 객체 레벨에서 달성될 수 있다.
블록 74에서, 인공 가상 비주얼 공간이 변경되었는지 여부가 결정된다. 인공 가상 비주얼 공간이 변경된 경우, 방법은 블록 76으로 이동한다. 인공 가상 비주얼 공간이 변경되지 않았으면, 방법은 블록 72로 되돌아간다. 인공 가상 비주얼 공간이 제어기(42)에 의해 생성됨에 따라, 비주얼 요소들(28)에 대한 변화는 쉽게 검출된다.
블록 76에서, 가상 비주얼 공간(20)의 모델이 업데이트된다.
장치(30)는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 위해 사용자 상호 작용 매개를 가능하게 할 수 있다. 사용자 입력 회로(44)는 사용자 입력(43)을 사용하여 사용자 동작을 검출한다. 이러한 사용자 동작은 가상 비주얼 공간(20) 내에서 무슨 일이 발생하는지를 결정하는 제어기(42)에 의해 사용된다. 이는 가상 비주얼 공간(20) 내의 비주얼 요소(28)와의 상호 작용을 가능하게 할 수 있다.
장치(30)는 매개 현실 및/ 또는 증강 현실 및/또는 가상 현실을 위한 관점 매개를 가능하게 할 수 있다. 사용자 입력 회로(44)는 사용자 동작을 검출한다. 이러한 사용자 동작은 가상 비주얼 공간(20) 내의 시점(24)을 결정하여 가상 비주얼 장면(22)을 변경하도록 제어기(42)에 의해 사용된다. 시점(24)은 위치 및/또는 방향에서 연속적으로 변할 수 있으며, 사용자 동작은 시점(24)의 위치 및/또는 방향을 변경한다. 이와 달리, 시점(24)은 이산 양자화된 위치 및/또는 이산 양자화된 방향을 갖을 수 있으며, 시점(24)의 다음 위치 및/또는 방향으로 점프함으로써 사용자 동작이 전환된다.
장치(30)는 매개 현실, 증강 현실 또는 가상 현실을 위한 1인칭 관점을 가능하게 할 수 있다. 사용자 입력 회로(44)는 사용자 시점 센서(45)를 사용하여 사용자의 실제 시점(14)을 검출한다. 사용자의 실제 시점은 가상 비주얼 공간(20) 내의 시점(24)을 결정하여 가상 비주얼 장면(22)을 변경하도록 제어기(42)에 의해 사용된다. 도 3a를 다시 참조하면, 사용자(18)는 실제 시점(14)을 갖는다. 실제 시점은 사용자(18)에 의해 변경될 수 있다. 예컨대, 실제 시점(14)의 실제 위치(13)는 사용자(18)의 위치이며, 사용자(18)의 물리적 위치(13)를 변경함으로써 변할 수 있다. 예를 들면, 실제 시점(14)의 실제 방향(15)은 사용자(18)가 보고 있는 방향이며, 사용자(18)의 실제 방향을 변경함으로써 변할 수 있다. 실제 방향(15)은, 예를 들어 머리 또는 시점의 배향을 바꾸는 사용자(18)에 의해, 및/또는 시선의 방향을 바꾸는 사용자에 의해 변경될 수 있다. 헤드 장착형 장치(30)는 사용자 머리의 배향의 변화 및/또는 사용자의 시선 방향의 변화를 측정함으로써 1인칭 관점 매개를 가능하게 하도록 사용될 수 있다.
반드시 모든 예는 아니지만 일부 예에서, 장치(30)는 실제 시점에서의 변화를 결정하기 위해 입력 회로(44)의 일부로서 시점 센서(45)를 포함한다.
예컨대, GPS, 다수의 수신기로 송신 및/또는 다수의 송신기로부터의 수신에 의한 삼각 측량(삼변 측량), 가속도 검출 및 인테그레이션과 같은 포지셔닝 기술은 사용자(18) 및 실제 시점(14)의 새로운 물리적 위치(13)를 결정하는 데 사용될 수 있다.
예컨대, 가속도계, 전자 자이로스코프 또는 전자 나침반은 사용자의 머리 또는 시점의 배향에서의 변화 및 실제 시점(14)의 실제 방향(15)에서의 결과적인 변화를 결정하는 데 사용될 수 있다.
예컨대, 컴퓨터 비전 등을 기반으로 한 동공 추적 기술은 사용자의 한쪽 눈 또는 양쪽 눈의 움직임을 추적하는 데 사용될 수 있기 때문에, 사용자의 시선의 방향 및 실제 시점(14)의 실제 방향(15)에서의 결과적인 변화를 결정할 수 있다.
장치(30)는 실제 공간(10)을 이미지화하기 위한 이미지 센서(47)를 입력 회로(44)의 일부로서 포함할 수 있다.
이미지 센서(47)의 예는 카메라로서 동작하도록 구성된 디지털 이미지 센서이다. 이러한 카메라는 정지 이미지 및/또는 비디오 이미지를 레코딩하도록 동작될 수 있다. 반드시 모든 실시예는 아니지만 일부 실시예에서, 카메라는 실제 공간(10)이 상이한 관점에서 보여지도록 입체적 배치로 구성되거나 다른 공간적으로 분산된 배치로 구성될 수 있다. 이는 3차원 이미지의 생성 및/또는 깊이를 수립하는 프로세싱을 예를 들어 시차 효과를 통해 가능하게 할 수 있다.
반드시 모든 실시예는 아니지만 일부 실시예에서, 입력 회로(44)는 깊이 센서(49)를 포함한다. 깊이 센서(49)는 송신기 및 수신기를 포함할 수 있다. 송신기는 신호(예를 들어, 초음파 또는 적외선과 같이 인간이 감지할 수 없는 신호)를 송신하고, 수신기는 반사된 신호를 수신한다. 단일 송신기 및 단일 수신기를 사용하는 경우, 송신부터 수신까지의 ToF(time of flight)를 측정함으로써 몇몇의 깊이 정보를 얻을 수 있다. 더 많은 송신기 및/또는 더 많은 수신기(공간 다이버시티)를 사용함으로써 보다 양호한 해상도를 얻을 수 있다. 일례에서, 송신기는 공간적으로 의존적인 패턴을 갖고서 실제 공간(10)을 빛으로, 바람직하게는 적외선과 같은 비가시광으로, '페인트'하도록 구성된다. 수신기에 의한 소정 패턴의 검출은 실제 공간(10)이 공간적으로 분해될 수 있게 한다. 실제 공간(10)의 공간적으로 분해된 부분까지의 거리는 ToF 및/또는 입체시(stereoscopy)(수신기가 송신기에 대해 입체적 위치에 있는 경우)에 의해 결정될 수 있다.
반드시 모든 실시예는 아니지만 일부 실시예에서, 입력 회로(44)는 이미지 센서(47) 및 깊이 센서(49) 중 하나 이상에 대한 대안으로서 또는 그에 추가하여 통신 회로(41)를 포함할 수 있다. 이러한 통신 회로(41)는 실제 공간(10)에서의 하나 이상의 원격 이미지 센서(47) 및/또는 실제 공간(10)에서의 원격 깊이 센서(49)와 통신할 수 있다.
도 6a 및 도 6b는 가상 비주얼 장면(22)의 적어도 일부를 사용자에게 디스플레이할 수 있게 하는 장치(30)의 예를 도시한다.
도 6a는 이미지를 사용자에게 디스플레이하며, 사용자에게 가상 비주얼 장면(22)을 디스플레이하는 데 사용되는 디스플레이(32)로서 디스플레이 화면을 포함하는 핸드헬드 장치(31)를 도시한다. 장치(30)는 전술한 6개의 자유도 중 하나 이상으로 사용자의 손에서 의도적으로 움직여질 수 있다. 핸드헬드 장치(31)는 장치 (30)의 배향에서의 변화로부터 실제 시점의 변화를 결정하기 위한 센서(45)를 하우징할 수 있다.
핸드헬드 장치(31)는 사용자에 의한 시청을 위한 디스플레이(32) 상에 하나 이상의 비주얼 요소(28)가 동시에 디스플레이되면서, 실제 비주얼 장면(12)의 라이브 비디오 또는 녹화된 비디오를 사용자에 의한 시청을 위한 디스플레이(32) 상에 디스플레이될 수 있게 하는 증강 현실용 비디오 시청 장치로서 동작될 수 있거나 비디오 시청 정치일 수 있다. 디스플레이되는 실제 비주얼 장면(12)과 디스플레이되는 하나 이상의 비주얼 요소(28)의 조합은 가상 비주얼 장면(22)을 사용자에게 제공한다.
핸드헬드 장치(31)가 디스플레이(32)의 반대쪽 면에 탑재된 카메라를 갖는 경우, 이는 가상 비주얼 장면(22)과의 조합을 제공하도록 하나 이상의 비주얼 요소(28)가 사용자에게 디스플레이되면서 라이브 실제 비주얼 장면(12)이 시청될 수 있게 하는 비디오 시청 장치로서 동작될 수 있다.
도 6b는 이미지를 사용자에게 디스플레이하는 디스플레이(32)를 포함하는 헤드 장착형 장치(33)를 도시한다. 헤드 장착형 장치(33)는 사용자의 머리가 움직일 때 자동으로 움직여질 수 있다. 헤드 장착형 장치(33)는 시선 방향 검출 및/또는 선택 제스처 검출을 위한 센서(45)를 하우징할 수 있다.
헤드 장착형 장치(33)는 라이브 실제 비주얼 장면(12)을 시청할 수 있게 하면서, 가상 비주얼 장면(22)과의 조합을 제공하도록 하나 이상의 비주얼 요소(28)가 디스플레이(32)에 의해 사용자에게 디스플레이되는 증강 현실용 투시 장치일 수 있다. 이 경우, 바이저(34)는 존재한다면 투명하거나 반투명하여서 라이브 실제 비주얼 장면(12)이 바이저(34)를 통해 시청될 수 있다.
헤드 장착형 장치(33)는 실제 비주얼 장면(12)의 라이브 또는 녹화된 비디오가 사용자에 의한 시청을 위한 디스플레이(32)에 의해 디스플레이될 수 있게 하면서, 하나 이상의 비주얼 요소(28)가 사용자에 의한 시청을 위한 디스플레이(32)에 의해 동시에 디스플레이되는 증강 현실용 비디오 시청 장치로서 동작될 수 있다. 디스플레이되는 실제 비주얼 장면(12) 및 디스플레이되는 하나 이상의 비주얼 요소(28)는 가상 비주얼 장면(22)을 사용자에게 제공한다. 이 경우에, 바이저(34)는 불투명하고 디스플레이(32)로서 사용될 수 있다.
가상 비주얼 장면(22)의 적어도 일부를 사용자에게 디스플레이할 수 있는 장치(30)의 다른 예들이 사용될 수 있다.
예컨대, 물리적 실세계 환경(실제 공간)의 실제 비주얼 장면을 보완함으로써 증강 현실을 제공하기 위해 하나 이상의 비주얼 요소를 투영하는 하나 이상의 프로젝터가 사용될 수 있다.
예컨대, 다수의 프로젝터 또는 디스플레이는 가상 비주얼 장면으로서 완전히 인공적인 환경(가상 비주얼 공간)을 사용자에게 제시함으로써 가상 현실을 제공하기 위해 사용자를 둘러쌀 수 있다.
도 4를 다시 참조하면, 장치(30)는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 위한 사용자 상호 작용 매개를 가능하게 할 수 있다. 사용자 입력 회로(44)는 사용자 입력(43)을 사용하여 사용자 동작을 검출한다. 이러한 사용자 동작은 가상 비주얼 공간(20) 내에서 무슨 일이 일어나는지를 결정하기 위해 제어기(42)에 의해 사용된다. 이는 가상 비주얼 공간(20) 내의 비주얼 요소(28)와의 상호 작용을 가능하게 할 수 있다.
검출된 사용자 동작은 예를 들어 실제 공간(10)에서 수행되는 제스처일 수 있다. 제스처는 여러 방법으로 검출될 수 있다. 예를 들면, 깊이 센서(49)는 사용자(18)의 부분들의 움직임을 검출하는 데 사용될 수 있고, 및/또는 이미지 센서(47)는 사용자의 부분들의 움직임을 검출하는 데 사용될 수 있고, 및/또는 사용자(18)의 팔다리에 부착된 위치/움직임 센서는 팔다리의 움직임을 검출하는 데 사용될 수 있다.
객체 또는 사용자가 언제 변하는지를 결정하는 데 객체 추적이 사용될 수 있다. 예컨대, 대규모로 객체를 추적함으로써 객체와 함께 움직이는 참조 프레임을 생성할 수 있게 된다. 그러면 참조 프레임은 객체에 대한 시간 차분을 사용함으로써 시간 경과에 따른 객체의 형상 변화를 추적하는 데 사용될 수 있다. 이는 제스처, 손 움직임, 손가락 움직임 및/또는 얼굴 움직임과 같은 소규모의 인간의 움직임을 검출하는 데 사용될 수 있다. 이것들은 사용자에 대한 장면 독립적인 사용자(단독의) 움직임들이다.
장치(30)는 사용자의 신체와 관련해서 복수의 객체 및/또는 포인트, 예를 들어 사용자의 신체의 하나 이상의 관절을 추적할 수 있다. 일부 예에서, 장치(30)는 사용자의 신체에 대한 전신 골격 추적을 수행할 수 있다. 일부 예에서, 장치(30)는 사용자의 손의 디지트 추적을 수행할 수 있다.
사용자의 신체와 관련해서 하나 이상의 객체 및/또는 포인트의 추적은 제스처 인지시에 장치(30)에 의해 사용될 수 있다.
도 7a를 참조하면, 실제 공간(10)에서의 특정 제스처(80)는 가상 비주얼 공간(20) 내에서 무슨 일이 발생하는지를 결정하는 제어기(42)에 의한 '사용자 제어' 이벤트로서 사용되는 제스처 사용자 입력이다. 제스처 사용자 입력은 사용자 입력으로서 장치(30)에 대해 유의미한 제스처(80)이다.
도 7(b)를 참조하면, 반드시 모든 예는 아니지만 일부 예에서, 실제 공간에서의 제스처(80)의 대응하는 표현이 장치(30)에 의해 가상 비주얼 장면(22)에서 랜더링되는 것을 도시하고 있다. 표현은 가상 비주얼 장면(22)에서 제스처(80)를 복제하거나 표시하기 위해 움직이는(82) 하나 이상의 비주얼 요소(28)를 포함한다.
제스처(80)는 정적이거나 동적일 수 있다. 움직이는 제스처는 움직임 또는 일련의 움직임을 포함하는 움직임 패턴을 포함할 수 있다. 예컨대, 그것은 원을 그리는 움직임, 혹은 좌우간 또는 상하간 움직임, 혹은 공간에서의 기호를 따라가는 것을 가능하게 할 수 있다. 움직이는 제스처는, 예를 들어 장치 독립적인 제스처 또는 장치 의존적인 제스처일 수 있다. 움직이는 제스처는 사용자 입력 객체, 예를 들어 사용자 신체의 부분 또는 부분들, 또는 센서들과 관련된 다른 장치의 움직임을 포함할 수 있다. 신체 부분은 사용자의 손, 또는 하나 이상의 손가락 및 엄지 손가락과 같은 사용자 손의 부분을 포함할 수 있다. 다른 예에서, 사용자 입력 객체는 머리 또는 팔과 같은 사용자 신체의 다른 부분을 포함할 수 있다. 3차원 움직임은 임의의 6개의 자유도로 사용자 입력 객체의 동작을 포함할 수 있다. 동작은 센서를 향해 또는 센서로부터 멀어지는 방향으로 움직일 뿐만 아니라, 센서와 평행한 평면에서 움직이거나 이러한 동작의 임의의 조합으로 움직이는 사용자 입력 객체를 포함할 수 있다.
제스처(80)는 비접촉 제스처일 수 있다. 비접촉 제스처는 제스처 동안에 어떠한 때에도 센서에 접촉하지 않다.
제스처(80)는 센서들로부터의 절대적 변위의 측면에서 정의된 절대적인 제스처일 수 있다. 이러한 제스처는 실제 공간(10)의 정확한 위치에서 수행된다는 점에서 고정적으로 될 수 있다. 이와 달리, 제스처(80)는 제스처 동안에 상대적 변위의 측면에서 정의되는 상대적인 제스처일 수 있다. 이러한 제스처는 실제 공간(10)의 정확한 위치에서 수행될 필요가 없으며 다수의 임의의 위치에서 수행될 수 있다는 점에서 비고정적으로 될 수 있다.
제스처(80)는 시간에 따라 원점에 대한 추적 포인트의 변위의 전개로서 정의될 수 있다. 이는 예를 들면 변위, 속도와 같은 시변적인 파라미터를 사용하거나 또는 다른 기구학적 파라미터를 사용하는 동작의 측면에서 정의될 수 있다. 비고정적인 제스처는 상대적 시간 Δt에 따른 상대적 변위 Δd의 전개로서 정의될 수 있다.
제스처(80)는 1 공간 차원(1D 제스처), 2 공간 차원(2D 제스처) 또는 3 공간 차원(3D 제스처)에서 수행될 수 있다.
도 8은 시스템(100)의 예 및 방법(200)의 예를 도시한다. 시스템(100) 및 방법(200)은 사운드 공간을 레코딩하고, 또한 사운드 공간 내의 특정 위치(원점) 및 배향에서의 청취자를 위해 랜더링된 사운드 장면으로서 상기 레코딩된 사운드 공간을 랜더링할 수 있도록 상기 레코딩된 사운드 공간을 프로세싱한다.
사운드 공간은 3차원 공간에서의 사운드 소스들의 배열이다. 사운드 공간은 레코딩 사운드(레코딩된 사운드 공간) 및 랜더링 사운드(랜더링된 사운드 공간)와 관련해서 정의될 수 있다. 랜더링된 사운드 공간은 사운드 객체가 추가, 제거 또는 적용되었기 때문에 상기 레코딩된 사운드 공간과 상이할 수 있다. 추가적인 사운드 객체는, 예를 들어 라이브러리를 샘플링하거나, 독립적으로 사운드를 레코딩하거나, 스튜디오 사운드를 형성하기 위해 사운드를 믹싱함으로써 스튜디오에서 레코딩되거나 생성될 수 있다.
시스템(100)은 하나 이상의 휴대용 마이크로폰(110)을 포함하며, 또한 하나 이상의 정적 마이크로폰(120)을 포함할 수 있다.
반드시 모든 예는 아니지만 이 예에서는, 사운드 공간의 원점은 마이크로폰이다. 이 예에서, 원점에서의 마이크로폰은 정적 마이크로폰(120)이다. 이는 하나 이상의 채널을 레코딩할 수 있으며, 예를 들어 이는 마이크로폰 어레이일 수 있다. 그러나, 원점은 임의의 위치에 있을 수 있다.
이 예에서, 단일의 정적 마이크로폰(120)만이 도시되어 있다. 그러나, 다른 예에서, 다수의 정적 마이크로폰(120)이 독립적으로 사용될 수 있다.
시스템(100)은 하나 이상의 휴대용 마이크로폰(110)을 포함한다. 휴대용 마이크로폰(110)은, 예를 들어 레코딩된 사운드 공간 내의 음원과 함께 움직일 수 있다. 휴대용 마이크로폰은, 예를 들어 음원에 가깝게 유지되는 '클로즈업(up-close)' 마이크로폰일 수 있다. 이는, 예를 들어 붐 마이크로폰을 사용하거나, 마이크로폰을 음원에 부착하거나, 라발리에(Lavalier) 마이크로폰을 사용함으로써 달성될 수 있다. 휴대용 마이크로폰(110)은 하나 이상의 레코딩 채널을 레코딩할 수 있다.
원점으로부터의 휴대용 마이크로폰 PM(110)의 상대적 위치는 벡터 z로 표현될 수 있다. 따라서, 벡터 z는 레코딩된 사운드 공간의 개념상 청취자에 대해 휴대용 마이크로폰(110)을 위치 설정한다.
원점에서의 개념상 청취자의 상대적인 배향은 값 Δ로 표현될 수 있다. 배향 값 Δ는 사운드 장면을 정의하는 개념상 청취자의 '시점'을 정의한다. 사운드 장면은 사운드 공간 내에서 특정 시점으로부터 청취되는 사운드 공간을 나타낸다.
레코딩된 사운드 공간이 도 1에서의 시스템(100)을 통해 사용자(청취자)에게 랜더링되는 경우, 청취자가 특정 배향을 갖고서 상기 레코딩된 사운드 공간의 원점에 위치 설정되는 것처럼 청취자에게 랜더링된다. 따라서, 휴대용 마이크로폰(110)이 레코딩된 사운드 공간에서 이동함에 따라, 레코딩된 사운드 공간의 원점에 대한 위치 z가 추적되고, 랜더링된 사운드 공간에서 올바르게 표현되는 것이 중요하다. 시스템(100)은 이를 달성하도록 구성된다.
정적 마이크로폰(120)으로부터 출력된 오디오 신호(122)는 오디오 부호화기(130)에 의해 멀티채널 오디오 신호(132)로 부호화된다. 다수의 정적 마이크로폰이 존재하는 경우, 각각의 출력은 오디오 부호화기에 의해 멀티채널 오디오 신호로 개별적으로 부호화된다.
오디오 부호화기(130)는 공간 오디오 부호화기일 수 있어서, 멀티채널 오디오 신호(132)는 정적 마이크로폰(120)에 의해 레코딩되는 것과 같은 사운드 공간을 나타내며, 또한 공간 오디오 효과를 제공하면서 랜더링될 수 있다. 예컨대, 오디오 부호화기(130)는 바이너럴 코딩(binaural coding), 5.1 서라운드 사운드 코딩, 7.1 서라운드 사운드 코딩 등과 같은 정의된 표준에 따라 멀티채널 오디오 신호(132)를 생성하도록 구성될 수 있다. 다수의 정적 마이크로폰이 존재하면, 바이너럴 코딩, 5.1 서라운드 사운드 코딩, 및 7.1 서라운드 사운드 코딩과 같은 동일한 정의된 표준에 따라 또한 동일한 공통의 랜더링 사운드 공간과 관련해서 각 정적 마이크로폰의 멀티채널 신호가 생성될 것이다.
하나 이상의 정적 마이크로폰(120)으로부터의 멀티채널 오디오 신호(132)는 믹서(102)에 의해 하나 이상의 휴대용 마이크로폰(110)으로부터의 멀티채널 오디오 신호(142)와 믹싱되어, 레코딩된 사운드 장면을 원점에 대해 표현하는 멀티-마이크로폰 멀티채널 오디오 신호(103)를 생성하고, 이에 의해 청취자가 원점에 있을 때에 레코딩된 사운드 장면에 대응하는 청취자에게 랜더링된 사운드 장면을 재생하도록 오디오 부호화기(130)에 대응하는 오디오 복호화기에 의해 랜더링될 수 있다.
휴대용 마이크로폰(110) 또는 각각의 휴대용 마이크로폰(110)으로부터의 멀티채널 오디오 신호(142)는 정적 마이크로폰(120)에서의 원점에 대한 휴대용 마이크로폰(110)의 임의의 움직임을 고려하여 믹싱 전에 프로세싱된다.
휴대용 마이크로폰(110)으로부터 출력된 오디오 신호(112)는 원점에 대한 휴대용 마이크로폰(110)의 움직임을 조정하도록 포지셔닝 블록(140)에 의해 프로세싱된다. 포지셔닝 블록(140)은 벡터 z 또는 일부 파라미터 또는 벡터 z에 의존적인 파라미터를 입력으로서 취한다. 벡터 z는 원점에 대한 휴대용 마이크로폰(110)의 상대적인 위치를 나타낸다.
포지셔닝 블록(140)은 휴대용 마이크로폰(110)에 의해 레코딩된 오디오 신호(112)와 정적 마이크로폰(120)에 의해 레코딩된 오디오 신호(122) 사이의 잘못된 임의의 시간 정렬을 조정하여 공통의 시간 참조 프레임을 공유하도록 구성될 수 있다. 이는, 예를 들어 휴대용 마이크로폰(110)으로부터의 오디오 신호(112) 내에 존재하는 자연 발생 또는 인공적으로 도입된(청취 불가) 오디오 신호를 정적 마이크로폰(120)으로부터의 오디오 신호(122) 내의 것들과 상관시킴으로써 달성될 수 있다. 상관에 의해 식별된 임의의 타이밍 오프셋은 포지셔닝 블록(140)에 의한 프로세싱 전에 휴대용 마이크로폰(110)으로부터의 오디오 신호(112)를 지연/전진시키는 데 사용될 수 있다.
포지셔닝 블록(140)은, 정적 마이크로폰(120)에서의 원점에 대한 휴대용 마이크로폰(110)의 상대적인 배향(Arg(z))을 고려하여, 휴대용 마이크로폰(110)으로부터의 오디오 신호(112)를 프로세싱한다.
멀티채널 오디오 신호(132)를 생성하기 위한 정적 마이크로폰 오디오 신호(122)의 오디오 부호화는, 레코딩된 사운드 공간의 배향에 대한 랜더링된 사운드 공간의 특정 배향을 가정하고, 오디오 신호(122)는 그에 따라 멀티채널 오디오 신호(132)로 인코딩된다.
레코딩된 사운드 공간에서의 휴대용 마이크로폰(110)의 상대적인 배향 Arg(z)가 결정되고, 사운드 객체를 나타내는 오디오 신호(112)가 오디오 코딩(130)에 의해 정의된 멀티채널에 대해 코딩되어, 사운드 객체가 청취자로부터의 상대적인 배향 Arg(z)으로 랜더링된 사운드 공간 내에서 올바르게 방향 설정된다. 예컨대, 오디오 신호(112)는 먼저 멀티채널 신호(142)로 믹싱되거나 인코딩될 수 있으며, 그 다음에 멀티채널 신호(142)에 의해 정의된 공간 내에서 움직이는 사운드 객체를 나타내는 멀티채널 오디오 신호(142)를 Arg(z)만큼 회전시키는 데 변환 T가 사용될 수 있다.
배향 블록(150)은 필요에 따라 멀티채널 오디오 신호(142)를 Δ만큼 회전시키는 데 사용될 수 있다. 마찬가지로, 배향 블록(150)은 필요에 따라 멀티채널 오디오 신호(132)를 Δ만큼 회전시키는 데 사용될 수 있다.
배향 블록(150)의 기능은 Arg(z) 대신에 Δ만큼 회전시키는 것을 제외하고는 포지셔닝 블록(140)의 배향 기능과 매우 유사하다.
일부 경우에, 예컨대 사운드 장면이 헤드 장착형 오디오 출력 디바이스(300)를 통해, 예를 들어 바이너럴 오디오 코딩을 사용하는 헤드폰을 통해 청취자에게 랜더링되는 경우에, 청취자가 자신의 머리(330)를 공간에서 돌릴 때에 랜더링된 사운드 공간(310)이 공간(320)에 고정된 상태로 유지되는 것이 바람직할 수 있다. 이는, 랜더링된 사운드 공간(310)이 머리 회전과 반대 방향으로 동일한 양만큼 오디오 출력 디바이스(300)에 대해 회전되어야 함을 의미한다. 랜더링된 사운드 공간(310)의 배향은 청취자의 머리의 회전을 이용해서 추적하므로, 랜더링된 사운드 공간(310)의 배향은 공간(320)에 고정된 상태로 유지되고 청취자의 머리(330)와 함께 움직이지 않는다.
휴대용 마이크로폰 신호(112)는 랜더링된 사운드 장면에서 청취자로부터의 사운드 객체의 거리 D의 인지를 제어하도록, 예를 들어 레코딩된 사운드 공간에서의 원점으로부터 사운드 객체의 거리 |z|를 매칭하도록 추가적으로 프로세싱된다. 이는 바이너럴 코딩을 사용할 때에 유용할 수 있어서, 사운드 객체가 예를 들어 사용자로부터 외부에 있어서 사용자의 머리 안쪽, 즉 사용자의 양쪽 귀 사이에서가 아니라 일정 거리를 두고서 있는 것처럼 보인다. 거리 블록(160)은 멀티채널 오디오 신호(142)를 거리의 인지를 수정하도록 멀티채널 오디오 신호(142)를 프로세싱한다.
도 9는 예를 들어 도 8의 포지셔닝 블록(140), 배향 블록(150) 및 거리 블록(160)의 방법(200) 및/또는 기능을 수행하는 데 사용될 수 있는 모듈(170)을 도시한다. 모듈(170)은 회로 및/또는 프로그래밍된 프로세서를 사용하여 구현될 수 있다.
도면은 멀티채널 오디오 신호(132)와 믹싱되어 멀티-마이크로폰 멀티-채널 오디오 신호(103)를 형성하기 전에, 멀티채널 오디오 신호(142)의 단일 채널의 프로세싱을 도시한다. 멀티채널 신호(142)의 단일 입력 채널은 신호(187)로서 입력된다.
입력 신호(187)는 경로들로부터의 출력들이 멀티채널 신호들처럼 믹서(196)에 의해 함께 믹싱되기 전에 "직접" 경로 및 하나 이상의 "간접" 경로들을 통해 병렬로 통과하여 출력 멀티채널 신호(197)를 생성한다. 출력 멀티채널 신호(197)는, 각각의 입력 채널에 대해, 멀티채널 오디오 신호(132)와 믹싱되는 멀티채널 오디오 신호(142)를 형성하기 위해 믹싱된다.
직접 경로는 오디오 소스로부터 직접 수신된 것으로 청취자에게 보이는 오디오 신호를 나타내며, 간접 경로는 다중 경로 또는 반사 경로 또는 굴절 경로와 같은 간접 경로를 통해 오디오 소스로부터 수신된 것으로 청취자에게 보이는 오디오 신호를 나타낸다.
거리 블록(160)은 직접 경로와 간접 경로 간의 상대적인 이득을 변경함으로써, 랜더링된 사운드 공간(310)에서의 청취자로부터 사운드 객체의 거리 D의 인지를 변화시킨다.
각각의 병렬 경로는 거리 블록(160)에 의해 제어되는 가변 이득 디바이스(181, 191)를 포함한다.
거리의 인지는 직접 경로와 간접(비상관) 경로 간의 상대적인 이득을 제어함으로써 제어될 수 있다. 직접 경로 이득에 비해 간접 경로 이득을 증가시키면 거리의 인지가 증가한다.
직접 경로에서, 입력 신호(187)는 거리 블록(160)의 제어 하에서 가변 이득 디바이스(181)에 의해 증폭되어 이득 조정 신호(183)를 생성한다. 이득 조정 신호(183)는 직접 프로세싱 모듈(182)에 의해 프로세싱되어 직접 멀티채널 오디오 신호(185)를 생성한다.
간접 경로에서, 입력 신호(187)는 거리 블록(160)의 제어 하에서 가변 이득 디바이스(191)에 의해 증폭되어 이득 조정 신호(193)를 생성한다. 이득 조정 신호(193)는 간접 프로세싱 모듈(192)에 의해 프로세싱되어 간접 멀티채널 오디오 신호(195)를 생성한다.
직접 멀티채널 오디오 신호(185) 및 하나 이상의 간접 멀티채널 오디오 신호(195)는 믹서(196)에서 믹싱되어 출력 멀티채널 오디오 신호(197)를 생성한다.
직접 프로세싱 블록(182) 및 간접 프로세싱 블록(192)의 양쪽은 도착 신호(188)의 방향을 수신한다. 도착 신호(188)의 방향은 레코딩된 사운드 공간에서의 휴대용 마이크로폰(110)(움직이는 사운드 객체)의 배향 Arg(z) 및 개념상의 청취자/오디오 출력 디바이스(300)에 대한 랜더링된 사운드 공간(310)의 배향 Δ을 부여한다.
레코딩된 사운드 공간 내에서 휴대용 마이크로폰(110)이 이동함에 따라 움직이는 사운드 객체의 위치가 변하고, 사운드 공간이 회전하는 것을 랜더링하는 헤드 장착형 오디오 출력 디바이스와 같이 랜더링되는 사운드 공간의 배향이 변한다.
직접 프로세싱 블록(182)은 예를 들어 직접 멀티채널 오디오 신호(185)를 생성하는 적절한 멀티채널 공간에서 단일 채널 오디오 신호, 이득 조정 입력 신호(183)를 회전시키는 시스템(184)을 포함할 수 있다. 시스템은 도착 신호(188)의 방향에 의해 정의되는 Arg(z) 및 Δ만큼 다수의 채널에 대해 정의된 공간 내에서 멀티채널 신호를 회전시키는 변형 T를 수행하기 위해 전달 함수를 사용한다. 예컨대, 헤드 관련 전달 함수(HRTF) 보간기는 바이너럴 오디오에 대해 사용될 수 있다. 다른 예로서, VBAP(Vector Base Amplitude Panning)는 라우드 스피커 포맷(예를 들어, 5.1) 오디오에 대해 사용될 수 있다.
예컨대, 간접 프로세싱 블록(192)은 가변 이득 디바이스(191)를 사용하여 단일 채널 오디오 신호, 즉 이득 조정 입력 신호(193)의 이득을 제어하는 데 도착 신호(188)의 방향을 사용할 수 있다. 그 다음에, 증폭된 신호는 간접 멀티채널 오디오 신호(195)를 생성하기 위해 정적 역상관기(196) 및 정적 변형 T를 사용하여 프로세싱된다. 이 예에서의 정적 역상관기는 적어도 2ms의 프리-딜레이(pre-delay)를 사용한다. 변형 T는 직접 시스템과 유사하지만 고정된 양만큼 다수의 채널들에 대해 정의된 공간 내에서 멀티채널 신호들을 회전시킨다. 예를 들면, 정적 헤드 관련 전달 함수(HRTF) 보간기는 바이너럴 오디오에 사용될 수 있다.
따라서, 휴대용 마이크로폰 신호들(112)을 프로세싱하여 이하의 기능들을 수행하는 데 모듈(170)이 사용될 수 있음을 이해할 것이다:
(i) 랜더링된 사운드 공간에서의 청취자로부터 사운드 객체의 상대적인 위치(배향 Arg(z) 및/또는 거리 |z|)를 변경하는 것,
(ii) 랜더링된 사운드 공간((i)에 따라 포지셔닝된 사운드 객체를 포함함)의 배향을 변경하는 것.
또한, 정적 마이크로폰(120)에 의해 제공된 오디오 신호(122)를 프로세싱할 때, 배향 블록(150)의 기능만을 수행하는 데 모듈(170)이 또한 사용될 수 있음을 이해해야 한다. 그러나, 도착 신호의 방향은 Δ만을 포함하고, Arg(z)를 포함하지 않을 것이다. 반드시 모든 예가 아니라 일부 예에서, 간접 경로에 대한 이득을 변경하는 가변 이득 디바이스(191)의 이득은 0으로 설정될 수 있고, 직접 경로에 대한 가변 이득 디바이스(181)의 이득은 고정될 수 있다. 이 경우에, 모듈(170)은 Δ만을 포함하고 Arg(z)를 포함하지 않는 도착 신호의 방향에 따라 랜더링된 사운드 공간을 생성하기 위해 레코딩된 사운드 공간을 회전시키는 시스템으로 축소된다.
도 10은 장치(400)를 사용하여 구현된 시스템(100)의 예를 도시한다. 장치(400)는 예를 들어 정적 전자 디바이스, 휴대용 전자 디바이스, 또는 사용자의 손바닥 또는 사용자의 내부 자켓 주머니로 운반하기에 적합한 크기를 갖는 소형 휴대용 전자 디바이스일 수 있다.
이 예에서, 장치(400)는 집적형 마이크로폰으로서 정적 마이크로폰(120)을 포함하지만, 원격인 하나 이상의 휴대용 마이크로폰(110)을 포함하지는 않는다. 반드시 모든 예는 아니지만 이 예에서는, 정적 마이크로폰(120)은 마이크로폰 어레이이다. 그러나, 다른 예에서, 장치(400)는 정적 마이크로폰(120)을 포함하지 않는다.
장치(400)는 외부 마이크로폰 예를 들어 원격 휴대용 마이크로폰(들)(110)과 외부적으로 통신하기 위한 외부 통신 인터페이스(402)를 포함한다. 이는 예를 들어 무선 트랜시버를 포함할 수 있다.
포지셔닝 시스템(450)은 시스템(100)의 일부로서 도시되어 있다. 이 포지셔닝 시스템(450)은 사운드 공간의 원점에 대해, 예를 들어 정적 마이크로폰(120)에 대해 휴대용 마이크로폰(들)(110)을 포지셔닝하는 데 사용된다. 이 예에서, 포지셔닝 시스템(450)은 휴대용 마이크로폰(110) 및 장치(400)의 양쪽에 대해 외부에 있는 것으로 도시되어 있다. 이는 사운드 공간의 원점에 대한 휴대용 마이크로폰(110)의 위치 z에 의존하는 정보를 장치(400)에 제공한다. 이 예에서, 정보는 외부 통신 인터페이스(402)를 통해 제공되지만, 다른 예에서는 상이한 인터페이스가 사용될 수 있다. 또한, 다른 예에서, 포지셔닝 시스템은 휴대용 마이크로폰(110) 내에 및/또는 장치(400) 내에 전체적으로 또는 부분적으로 위치될 수 있다.
포지셔닝 시스템(450)은 휴대용 마이크로폰(110)의 위치의 업데이트를 특정 주파수로 제공하고, 사운드 객체의 '정확한' 및 '부정확한' 포지셔닝이라는 용어는 포지셔닝 업데이트의 주파수에 의해 부여된 제약 내에서 정확하거나 부정확하다는 의미로 이해되어야 한다. 즉, 정확한 및 부정확하다는 것은 절대적인 용어라기 보다는 상대적인 용어이다.
포지셔닝 시스템(450)은 휴대용 마이크로폰(110)의 포지션이 결정될 수 있게 한다. 포지셔닝 시스템(450)은 포지셔닝 신호를 수신하고 프로세서(412)에 제공되는 포지션을 결정할 수 있거나, 혹은 포지셔닝 신호 또는 그 포지셔닝 신호에 의존적인 데이터를 제공할 수 있으므로, 프로세서(412)가 휴대용 마이크로폰(110)의 위치를 결정할 수 있다.
포지셔닝된 객체가 수동적이며 포지셔닝 신호를 생성하지 않는 수동 시스템, 및 포지셔닝된 객체가 하나 이상의 포지셔닝 신호를 생성하는 능동 시스템을 포함해서 객체를 포지셔닝하는 포지셔닝 시스템(450)에 의해 사용될 수 있는 다수의 상이한 기술들이 있다. Kinect ™ 디바이스에서 사용되는 시스템의 예는, 객체가 적외선을 사용하여 비균일 패턴의 심볼로 페인팅되고, 다수의 카메라를 사용해서 반사된 빛이 측정된 후에 시차 효과를 사용하여 객체의 포지션을 결정하도록 프로세싱되는 경우이다. 능동 무선 포지셔닝 시스템의 예는, 무선 포지셔닝 신호를 다수의 수신기에 송신하여 객체를 예를 들어 삼각 측량 또는 삼변 측량에 의해 포지셔닝할 수 있게 하는 송신기를 객체가 갖는 경우이다. 수동 무선 포지셔닝 시스템의 예는, 다수의 송신기로부터 무선 포지셔닝 신호를 수신하여 객체를 예를 들어 삼각 측량 또는 삼변 측량에 의해 포지셔닝할 수 있게 하는 하나의 수신기 또는 수신기들을 객체가 갖는 경우이다. 삼변 측량은 공지된 포지션에서 다수의 정렬되지 않은 송신기/수신기 위치들로부터 객체의 거리에 대한 추정을 필요로 한다. 거리는 예를 들어 ToF 또는 신호 감쇠를 사용하여 추정될 수 있다. 삼각 측량은 공지된 포지션에서 다수의 정렬되지 않은 송신기/수신기 위치들로부터 객체의 방위각(bearing)에 대한 추정을 필요로 한다. 방위각은, 예를 들어, 가변형의 좁은 개구부로 송신하는 송신기를 사용하거나, 가변형의 좁은 개구부로 수신하는 수신기를 사용하거나, 또는 다이버시티 수신기에서 위상차를 검출함으로써 추정될 수 있다.
다른 포지셔닝 시스템은 추측 항법(dead reckoning) 및 관성 이동(inertial movement) 또는 자기 포지셔닝을 사용할 수 있다.
포지셔닝되는 객체는 휴대용 마이크로폰(110)일 수 있거나, 휴대용 마이크로폰(110)과 관련된 사람에 의해 착용 또는 운반되는 객체일 수 있거나, 휴대용 마이크로폰(110)과 관련된 사람일 수 있다.
장치(400)는 멀티-마이크로폰 멀티채널 오디오 신호(103)를 생성하기 위해 상기한 시스템(100) 및 방법(200)을 전체적으로 또는 부분적으로 동작시킨다.
장치(400)는 랜더링을 위해 출력 통신 인터페이스(404)를 통해 오디오 출력 디바이스(300)에 멀티-마이크로폰 멀티채널 오디오 신호(103)를 제공한다.
반드시 모든 예는 아니지만 일부 예에서, 오디오 출력 디바이스(300)는 바이너럴 코딩을 사용할 수 있다. 선택적으로 또는 부가적으로, 반드시 모든 예는 아니지만 일부 예에서, 오디오 출력 디바이스(300)는 헤드 장착형 오디오 출력 디바이스일 수 있다.
이 예시에서, 장치(400)는 정적 마이크로폰(120) 및 휴대용 마이크로폰(110) 및 포지셔닝 시스템(450)에 의해 제공되는 신호를 프로세싱하도록 구성된 제어기(410)를 포함한다. 일부 예에서, 제어기(410)는, 마이크로폰(110, 120) 및 오디오 출력 디바이스(300)에서의 기능에 따라, 마이크로폰(110, 120)으로부터 수신된 신호에 대한 아날로그-디지털 변환 및/또는 오디오 출력 디바이스(300)로의 신호에 대한 디지털-아날로그 변환을 수행하도록 요구될 수 있다. 그러나, 표현의 명확성을 위해 도 9에는 변환기가 도시되어 있지 않다.
제어기(410)의 구현은 제어기 회로와 같을 수 있다. 제어기(410)는 하드웨어 단독으로 구현될 수 있거나, 펌웨어만을 포함한 소프트웨어의 특정 측면을 갖거나, 하드웨어 및 소프트웨어(펌웨어를 포함함)의 조합일 수 있다.
도 10에 도시된 바와 같이, 제어기(410)는 하드웨어 기능을 가능하게 하는 인스트럭션을 사용하여, 예를 들어 범용 또는 특수 목적 프로세서(412)에서, 이러한 프로세서(412)에 의해 실행되도록 컴퓨터 판독가능 저장 매체(디스크, 메모리 등)에 저장될 수 있는 컴퓨터 프로그램(416)의 실행가능 인스트럭션을 사용함으로써 구현될 수 있다.
프로세서(412)는 메모리(414)로부터 판독하고 메모리(414)에 기록하도록 구성된다. 또한, 프로세서(412)는 데이터 및/또는 커맨드가 이를 통해 프로세서(412)에 의해 출력되는 출력 인터페이스와, 데이터 및/또는 커맨드가 이를 통해 프로세서(412)에 입력되는 입력 인터페이스를 포함할 수 있다.
메모리(414)는 프로세서(412)에 로딩될 때에 장치(400)의 동작을 제어하는 컴퓨터 프로그램 인스트럭션(컴퓨터 프로그램 코드)을 포함한 컴퓨터 프로그램(416)을 저장한다. 컴퓨터 프로그램(416)의 컴퓨터 프로그램 인스트럭션은 도 1~12에 도시된 방법을 장치가 수행할 수 있게 하는 로직 및 루틴을 제공한다. 메모리(414)를 판독함으로써 프로세서(412)는 컴퓨터 프로그램(416)을 로딩 및 실행할 수 있다.
도 8 및 도 9에 도시된 블록들은 방법에서의 단계들 및/또는 컴퓨터 프로그램(416)에서의 코드의 섹션들을 나타낼 수 있다. 블록들에 대한 특정 순서의 예시는 블록들에 대해 요구되거나 선호되는 순서가 있음을 반드시 의미하지 않으며, 블록의 순서 및 배열은 변경될 수 있다. 또한, 일부 블록들이 생략되는 것이 가능할 수 있다.
앞서의 기재는, 도 1 내지 도 7과 관련해서, 가상 비주얼 공간(20) 및 그 가상 비주얼 공간(20)에 의존적인 가상 비주얼 장면(26)의 제어를 가능하게 하는 시스템, 장치(30), 방법(60) 및 컴퓨터 프로그램(48)을 설명한다.
앞서의 기재는, 도 8 내지 도 10과 관련해서, 사운드 공간 및 그 사운드 공간에 의존적인 사운드 장면의 제어를 가능하게 하는 시스템(100), 장치(400), 방법(200) 및 컴퓨터 프로그램(416)을 설명한다.
반드시 모든 예는 아니지만 일부 예에서, 가상 비주얼 공간(20) 및 사운드 공간이 대응할 수 있다. 사운드 공간 및 가상 비주얼 공간과 관련해서 사용될 때에 "대응" 또는 "대응하는"은, 사운드 공간 및 가상 비주얼 공간이 시간 및 공간 정렬됨, 즉 이들이 동시에 동일한 공간인 것을 의미한다.
가상 비주얼 공간과 사운드 공간 간의 대응은 가상 비주얼 장면과 사운드 장면 간의 대응을 야기한다. 사운드 장면 및 가상 비주얼 장면과 관련해서 사용될 때에 "대응" 또는 "대응하는"은, 사운드 공간 및 가상 비주얼 공간이 대응하고, 또한 사운드 장면을 정의하는 시점을 갖는 개념상 청취자 및 가상 비주얼 장면을 정의하는 시점을 갖는 개념상 시청자가 동일한 포지션 및 배향에 있음, 즉 그들이 동일한 시점을 갖고 있다는 것을 의미한다.
이하의 설명은, 도 11 내지 16과 관련해서, 사용자의 과거 동작에 기초하여 사운드 객체의 제어를 가능하게 하는 방법(500)을 설명한다. 방법(500)은 전술한 바와 같은 시스템, 전술한 바와 같은 장치 및/또는 전술한 바와 같은 컴퓨터 프로그램에 의해 수행될 수 있다.
도 11은 사운드 객체의 랜더링을 제어하기 위한 방법(500)의 예를 도시한다.
블록 502에서, 방법은 랜더링된 가상 공간 내에서 사운드 객체들을 제 1 클래스의 사운드 객체(블록 504) 또는 제 2 클래스의 사운드 객체(블록 514)로서 분류한다. 이 분류는 가상 공간 내에서 사용자의 과거 동작에 기초한다.
블록 506에서, 제 1 클래스로서 분류된 하나 이상의 사운드 객체는 가상 공간 내에서 적어도 제 1 규칙에 따라 랜더링된다.
블록 506에서, 제 2 클래스로 분류된 하나 이상의 사운드 객체는 가상 공간 내에서 적어도 제 2 규칙 및 사용자의 현재 포지션에 따라 랜더링된다.
사용자의 과거 동작은 현재가 아니라 과거에 발생한 동작이다. 따라서, 사운드 객체들의 분류는 '메모리 효과', 즉 이전에 발생한 일에 기초한다. 사용자의 과거 동작에 따라 분류를 가능하게 하기 위해 사용자의 과거 동작들을 기록하는 데이터가 저장될 수 있다.
사용자의 과거 동작에 따른 분류에서 발생하는 '메모리 효과'는 가상 공간 내에서 사용자의 과거 동작에 따라 사운드 객체들 중 적어도 일부(제 1 클래스 및/또는 제 2 클래스)의 랜더링을 초래한다. 즉, 메모리 효과는 가상 공간 내에서의 행동들에 기초하는 것이다.
그러나, 랜더링은 사용자의 과거 동작에 따른 사운드 객체의 분류에만 의존하지 않는다. 또한, 랜더링은 가상 공간 내에서의 사용자의 현재 포지션에 의존한다. 따라서, 가상 공간 내에서의 사용자의 포지션에 기초한 랜더링에 대한 실시간 동적 측면이 존재한다.
이는, 가상 공간 내의 상이한 장소에 위치된 사운드 객체를 포함한 랜더링된 사운드 장면이 그 시간에 가상 공간 내에서의 사용자(청취자)의 포지션뿐만 아니라(실시간 효과), 가상 공간 내에서의 사용자의 과거 동작(메모리 효과)에도 의존하는 경우에, 가상 공간의 공간 메모리 효과를 형성한다. 따라서, 가상 공간에서의 사용자의 동작은 가상 공간에서의 사용자의 실시간 포지션에 기초한 랜더링을 통한 실시간 효과, 및 가상 공간에서의 사용자의 과거 동작에 의존하는 차분 랜더링에 기초한 랜더링을 통한 메모리 효과를 갖는다.
방법(500)은 예를 들어 제 2 클래스의 하나 이상의 사운드 객체에 대한 제 1 클래스의 하나 이상의 사운드 객체의 사용자 인지를 향상시키는 데 사용될 수 있다.
이 예에서, 제 1 규칙과 제 2 규칙 간의 차이는 랜더링되는 사운드 객체들의 차이이다.
추가적으로 또는 대안적으로, 방법(500)은 예를 들어 레코딩된 제 1 클래스의 하나 이상의 사운드 객체에 대해, 랜더링되는 제 1 클래스의 하나 이상의 사운드 객체의 사용자 인지를 향상시키는 데 사용될 수 있다. 이 예에서, 제 1 규칙은 레코딩된 사운드 객체를 변경한다.
제 1 클래스의 사운드 객체의 랜더링은, 적어도 일부 예에서, 사운드 객체가 랜더링될 때, 레코딩된 사운드 객체의 적어도 하나의 특성을 조정하는 것을 포함한다.
제 1 규칙과 제 2 규칙 간의 차이는, 제 1 클래스의 하나 이상의 사운드 객체와 제 2 클래스의 하나 이상의 사운드 객체 사이에서 하나 이상의 특성 값에서의 상대적인 시프트를 야기한다.
사운드 객체 특성의 예는 다음을 포함하지만 반드시 이로 제한되지는 않는다:
주파수 특성, 즉 사운드 객체의 주파수(피치);
세기 특성, 즉 사운드 객체의 세기(단위 면적당 파워);
반사/반향의 양과 같은 환경적 특성;
위치적 특성, 즉 가상 공간 내에서의 사운드 객체의 위치.
사운드 객체의 주파수 특성의 변화는, 예를 들어 레코딩된 사운드 객체와 비교해서 상이한 중요 대역에서 랜더링된 사운드 객체를 배치할 수 있다. 이러한 주파수 다이버시티는 제 1 클래스의 사운드 객체를 청취하는 사용자의 능력을 향상시킬 수 있거나, 제 2 클래스의 사운드 객체를 청취하는 사용자의 능력을 저하시킬 수 있다.
사운드 객체의 세기 특성의 변화는, 예를 들어 레코딩된 사운드 객체와 비교해서 제 1 클래스의 사운드 객체의 소리 크기를 인공적으로 증가시킬 수 있거나, 레코딩된 그 사운드 객체와 비교해서 제 2 클래스의 사운드 객체의 소리 크기를 인공적으로 감소시킬 수 있다. 이는, 제 1 클래스의 사운드 객체를 청취하는 사용자의 능력을 향상시킬 수 있거나, 제 2 클래스의 사운드 객체를 청취하는 사용자의 능력을 저하시킬 수 있다.
사운드 객체의 환경적 특성의 변화는, 예를 들어 잔향(직접 경로에 대한 간접 경로의 이득)을 증가 또는 감소시킬 수 있다. 이는, 제 1 클래스의 사운드 객체를 청취하는 사용자의 능력을 향상시키거나 제 2 클래스의 사운드 객체를 청취하는 사용자의 능력을 저하시키는 데 사용될 수 있다.
사운드 객체의 위치적 특성의 변화는, 예를 들어 가상 공간에서 사운드 객체의 위치를 변경할 수 있다. 이는, 제 1 클래스의 사운드 객체를 청취하는 사용자의 능력을 향상시키거나(예를 들면, 다른 사운드 객체와 공간적으로 분리하거나 사용자에게 근접하게 가져옴으로써), 제 2 사운드 객체를 청취하는 사용자의 능력을 저하시키는 데 사용될 수 있다.
반드시 모든 예는 아니지만 일부 예에서, 제 2 규칙에 따른 제 2 클래스의 사운드 객체의 랜더링은, 제 2 클래스의 사운드 객체가 랜더링될 때, 레코딩된 사운드 객체의 특성을 사용되지 않게 하는, 즉 조정되지 않게 한다.
도 12a 내지 도 12f는 방법(500)의 예시적인 적용을 도시한다.
전술한 바와 같이, 사운드 객체(620)의 랜더링은 사용자(630)(개념상 청취자)에 대한 사운드 객체(620)의 위치에 의존한다. 사운드 객체(620)가 고정형이면, 사운드 객체(620)의 랜더링은 레코딩된 사운드 객체의 특성 및 사용자(630)의 위치에 의존한다. 사운드 객체(620)가 움직이고 있으면, 사운드 객체(620)의 랜더링은 레코딩된 사운드 객체(620)의 특성, 사용자(630)의 위치, 및 사운드 객체(620)의 위치에 의존한다. 이하의 예에서, 사용자(630)가 고정형의 사운드 객체(620)에 대해 움직이고 있다고 가정된다. 그러나, 이는 단지 방법(500)의 적용에 대한 설명을 용이하게 하는 것이다. 다른 예에서, 방법(500)은 움직이고 있거나 그 중 일부가 단순 확장에 의해 움직이고 있는 사운드 객체(620)에 적용될 수 있다.
도면들은 2차원 가상 공간(600)을 도시하지만, 방법(500)은 3차원 공간을 포함한 임의의 가상 공간(600)에 적용된다.
도 12a 내지 도 12(f)의 예에서, 가상 공간(600)은 단지 사운드 공간(610)일 수 있거나, 대응하는 가상 비주얼 공간(20)과 사운드 공간(610)의 혼합된 가상 공간일 수 있다. 이하의 설명을 위해, 가상 공간(600)이 혼합된 가상 공간이라고 가정된다. 가상 비주얼 공간(20) 내에서, 사운드 객체들(620)은 일부 예에서 가상 객체(21)에 의해, 예를 들어 컴퓨터 생성된 가상 객체(28)에 의해 표현될 수 있다.
도 12a는 변경되지 않은 가상 공간(600)(사운드 공간(610)) 내의 상이한 위치 p에 위치한 복수의 상이한 사운드 객체들(620)을 도시한다. 사용자(630)는 가상 공간(610) 내에서 이동할 수 있다. 사용자(610)는 개념상 청취자의 위치 P를 나타낸다.
방법(500)을 동작시키지 않으면, 사운드 객체(620)는 가상 공간(600) 내에서 사용자(630)의 현재 위치 P에 따라 랜더링된다. 각각의 사운드 객체(620)는 사용자가 위치 P를 변경함에 따라 변하는 사용자(630)에 대한 상대 위치를 갖는다. 사운드 객체(620)는 정확한 상대 위치로부터 사용자(630)에 대해 랜더링된다. 따라서, 사용자(630)에 대해 랜더링된 사운드 공간(610)은 레코딩된 사운드 공간(610)과 동일하다.
도 12a 내지 도 12(f)의 예에서, 이러한 설명을 위해서 모든 사운드 객체(620)가 레코딩된 것처럼 랜더링되게 하는 디폴트 상태에 있다고 가정된다. 방법(500)은 이들 사운드 객체(620) 중 적어도 일부의 상태를 변경할 것이므로, 그것들은 더이상 레코딩된 것처럼 랜더링되지 않는다. 레코딩된 것처럼 랜더링되지 않는 사운드 객체(620)는 제 1 클래스의 사운드 객체로서 분류되고, 레코딩된 것처럼 랜더링되는 사운드 객체는 제 2 클래스의 사운드 객체로서 분류된다.
도 12a에서, 사용자(630)는 사운드 객체(6201)와 관련해서 가상 공간(600) 내에서 '활성화' 동작을 수행한다. 이 활성화 동작은 사운드 객체(6201)의 상태 변화 및 제 2 클래스로부터 제 1 클래스로의 재분류(re-classification)를 야기하기에 충분하다.
도 12(b)에서, 표시 622는 사운드 객체(6201)를 제 1 클래스의 사운드 객체로서 식별하는 데 사용된다. 이 표시 622는 컴퓨터 생성된 가상 객체(28)일 수 있다. 그러나, 다른 예에서, 표시 622는 사용되지 않는다.
도 12(b)는 더 나중의 도 12a의 가상 공간(600)을 도시한다. 사용자(630)는 사운드 객체(6201)로부터 멀어지고 있다.
이 방법은, 가상 공간(600) 내에서의 사용자의 과거 동작에 따라, 랜더링된 가상 공간 내에서 사운드 객체를 제 1 클래스의 사운드 객체(사운드 객체(6201)) 또는 제 2 클래스의 사운드 객체(다른 사운드 객체(620))로서 분류한다(도 12a에서 이전에 수행된 활성화 동작).
제 2 클래스로서 분류된 사운드 객체(620)는 가상 공간 내에서 제 2 규칙 및 사용자의 현재 위치에 따라 랜더링된다. 이들 사운드 객체는 레코딩된 것처럼 랜더링될 수 있어서, 레코딩된 사운드 공간을 정확하게 재생한다.
제 1 클래스로서 분류된 사운드 객체(6201)는 가상 공간 내에서 제 1 규칙에 따라 랜더링된다.
제 1 규칙은 하나 이상의 규칙에 의해 정의될 수 있다. 제 2 규칙은 하나 이상의 규칙에 의해 정의될 수 있다. 반드시 모든 예는 아니지만 일부 예에서, 사용자는 제 1 규칙을 적어도 부분적으로 프로그래밍할 수 있다. 반드시 모든 예는 아니지만 일부 예에서, 사용자는 제 2 규칙을 적어도 부분적으로 프로그래밍할 수 있다.
제 1 규칙은 제 1 클래스의 사운드 객체(6201)의 사용자 인지를 향상시키는 데 사용될 수 있다. 이들은 예를 들어 유사한 위치/거리에서의 제 2 클래스의 유사한 사운드 객체에 대해 제 1 클래스의 사운드 객체(6201)를 더욱 청취하기 쉽게 할 수 있다. 이들은 예를 들어 제 2 클래스의 동일한 사운드 객체와 비교해서 제 1 클래스의 사운드 객체(6201)를 더욱 청취하기 쉽게 할 수 있다.
제 1 규칙은, 예를 들어 사용자(630)와 제 1 클래스의 사운드 객체(6201)의 가상 공간(610)에서의 증가하는 분리에도 불구하고, 제 1 클래스의 사운드 객체(6201)의 인지 영속성을 제공할 수 있다. 제 1 클래스의 사운드 객체(6201)의 '가청성(hearability)'은 물리 법칙에 따라 그것이 존재해야 하는 것에 비해 증강되며, 그것이 존재해야 하는 것에 대해 인공적으로 유지된다. 이는, 사용자(630)로 하여금, 가상 공간(600) 주변으로 움직이게 하여 제 1 클래스의 사운드 객체(6201)를 여전히 청취할 수 있게 한다.
반드시 모든 예는 아니지만 일부 예에서, 제 1 클래스의 사운드 객체(6201)는 가상 공간(600) 내에서의 적어도 제 1 규칙에 따라, 또한 사용자의 현재 위치에 따라 랜더링된다. 이들 예에서, 제 1 클래스의 사운드 객체(6201)의 랜더링은 사용자(630)의 현재(실시간) 위치에 따른 사용자 상호 작용이다.
예로서, 모든 예는 아니지만 일부 예에서, 하나 이상의 사운드 객체(620) 각각은 사용자(630)에 대한 사운드 객체(620)의 상대 거리 D에 기초한 클래스-기반 의존성을 이용해서 랜더링된다. 예컨대, 제 2 클래스의 사운드 객체는 물리적 리얼리즘으로 랜더링되고, 사용자(630)에 대한 사운드 객체의 상대 거리 D와 역제곱 법칙 관계를 갖는 세기로 랜더링되는 반면에, 제 1 클래스의 사운드 객체는 물리적 리얼리즘 없이 랜더링되고, 사용자(630)에 대한 사운드 객체의 상대 거리 D와 상이한 관계를 갖는 세기로 랜더링된다(예를 들면, I=k2D-n, 여기서 0<n<2, 예를 들어 n=1 또는 n=1/2). 제 1 클래스의 사운드 객체는 사용자 및 사운드 객체의 실시간 현재 상대적 위치의 변화에 덜 의존적이다.
따라서, 제 1 규칙은 랜더링된 사운드 객체(620)의 세기 변화와, 가상 공간(600)에서의 사운드 객체와 사용자(630) 간의 거리 D의 변화와의 사이에서 제 1 관계를 정의할 수 있고, 제 2 규칙은 랜더링된 사운드 객체(620)의 세기 변화와, 가상 공간(600)에서의 사운드 객체와 사용자(630) 간의 거리 D의 변화와의 사이에서 상이한 제 2 관계를 정의할 수 있다.
도 12(c)는 더 나중의 도 12(b)의 가상 공간(600)을 도시한다. 사용자(630)는 사운드 객체(6201)로부터 더 멀리 이동하여, 상이한 사운드 객체(6202)에 근접해진다.
사용자가 제 2 클래스의 상이한 사운드 객체(6202)의 옆에 있음에 따라, 사용자(630)는 그 사운드 객체(6202)를 명확하게 청취할 수 있다. 사용자(630)는 제 2 클래스의 기타 사운드 객체들(620) 및 제 1 클래스의 사운드 객체(6201)로부터 멀리 떨어져 있다. 그러나, 제 1 클래스의 사운드 객체(6201)의 랜더링은 제 1 규칙을 따르는 반면, 제 2 클래스의 기타 사운드 객체들(620)의 랜더링은 제 2 규칙을 따른다. 이는, 제 1 클래스의 사운드 객체(6201)를 청취할 수 있는 사용자의 능력을 향상시킨다. 따라서, 사용자는 근처의 사운드 객체(6202) 및 멀리 있는 제 1 클래스의 사운드 객체(6201)를 동시에 청취할 수 있다.
방법(500)은 청취가 실생활에서 더 이상 가능하지 않거나 어려울 때에 제 1 클래스의 사운드 객체(6201)를 청취할 수 있게 하는 생체 공학 또는 보조 청력을 가상 공간에서의 사용자에게 제공한다.
도 12(c)에서, 사용자(630)는 사운드 객체(6202)와 관련해서 가상 공간(600) 내에서 '활성화' 동작을 수행한다. 이러한 활성화 동작은 사운드 객체(6202)의 상태 변화 및 제 2 클래스로부터 제 1 클래스로의 재분류를 야기하기에 충분하다.
도 12(d)에서, 표시 622는 그 사운드 객체(6202)를 제 1 클래스의 사운드 객체로서 식별하는 데 사용된다. 이 표시는 컴퓨터 생성된 가상 객체(28)일 수 있다. 그러나, 다른 예에서, 표시 622는 사용되지 않는다.
도 12(d)는 더 나중의 도 12(c)의 가상 공간(600)을 도시한다. 사용자(630)는 사운드 객체(6202)로부터 멀어지게 이동하고 있다.
본 방법은 랜더링된 가상 공간(600) 내에서 사운드 객체들을, 가상 공간 내에서의 사용자의 과거 동작에 따라, 제 1 클래스의 사운드 객체(사운드 객체(6201, 6202)) 또는 제 2 클래스의 사운드 객체(기타 사운드 객체들(620))로서 분류한다(도 12a 및 도 12(c)에서 이전에 수행된 활성화 동작).
제 2 클래스로서 분류된 사운드 객체(620)는 적어도 제 2 규칙 및 가상 공간(600) 내에서 사용자의 현재 위치에 따라 랜더링된다.
이들 사운드 객체는 레코딩된 것처럼 랜더링될 수 있어서, 레코딩된 사운드 공간을 정확하게 재생할 수 있다.
제 1 클래스로서 분류된 사운드 객체(6201, 6202)는 제 1 규칙에 따라 가상 공간(600) 내에서 랜더링된다.
반드시 모든 예는 아니지만 일부 예에서, 사용자는 제 1 클래스의 상이한 사운드 객체(6201, 6202)에 대해 적어도 부분적으로 상이한 제 1 규칙을 프로그래밍할 수 있다. 다른 예에서, 사용자에 의해 부분적으로 프로그래밍되거나 프로그래밍되지 않을 수 있는 동일한 제 1 규칙은 제 1 클래스의 모든 사운드 객체(6201, 6202)에 대해 사용된다.
제 1 규칙은 도 12b를 참조하여 전술한 바와 같이 제 1 클래스의 사운드 객체(6201, 6202)의 사용자 인지를 향상시키는 데 사용될 수 있다. 이들은 예를 들어 유사한 위치/거리에서의 제 2 클래스의 유사한 사운드 객체에 대해 제 1 클래스의 사운드 객체(6201, 6202)를 청취하기 쉽게 할 수 있다. 이들은 예를 들어 제 2 클래스의 동일한 사운드 객체와 비교해서 제 1 클래스의 사운드 객체(6201, 6202)를 청취하기 쉽게 할 수 있다.
제 2 규칙은 예를 들어 사용자(630)와 제 1 클래스의 사운드 객체(6201, 6202)의 가상 공간(600)에서의 증가하는 분리에도 불구하고, 제 1 클래스의 사운드 객체(6201, 6202)의 인지 영속성을 제공할 수 있다. 제 1 클래스의 사운드 객체(6201, 6202)의 '가청성'은 물리 법칙에 따라 그것이 존재해야 하는 것에 비해 증강되며, 그것이 존재해야 하는 것에 대해 인공적으로 유지된다. 이는, 사용자(630)로 하여금, 가상 공간(600) 주변으로 움직일 수 있게 하고 제 1 클래스의 사운드 객체(6201, 6202)를 여전히 청취할 수 있게 한다.
반드시 모든 예는 아니지만 일부 예에서, 제 1 클래스의 사운드 객체(6201, 6202)는, 도 12b를 참조하여 전술한 바와 같이, 가상 공간 내의 적어도 제 1 규칙 및 사용자의 현재 위치에 따라 랜더링된다.
도 12(e)는 더 나중의 도 12(d)의 가상 공간(600)을 도시한다. 사용자(630)는 사운드 객체(6202)로부터 더 멀리 이동하여, 기타 사운드 객체(6203)에 근접해진다.
사용자가 제 2 클래스의 상이한 사운드 객체(6203) 옆에 있음에 따라, 사용자(630)는 사운드 객체(6203)를 명확하게 청취할 수 있다. 사용자는 제 2 클래스의 기타 사운드 객체들(620), 또한 제 1 클래스의 사운드 객체(6202)로부터 멀리 떨어져 있다. 사용자는 제 1 클래스의 사운드 객체(6201)로부터 매우 멀리 떨어져 있다. 그러나, 제 1 클래스의 사운드 객체(6201, 62O2)의 랜더링은 제 1 규칙을 따르는 반면, 제 2 클래스의 기타 사운드 객체들(620)의 랜더링은 제 2 규칙에 따른다. 이는, 제 1 클래스의 사운드 객체(6201, 6202)를 청취하는 사용자의 능력을 향상시킨다. 따라서, 사용자는 근처의 사운드 객체(6203), 멀리 있는 제 1 클래스의 사운드 객체(6202), 및 매우 멀리 있는 제 1 클래스의 사운드 객체(6201)를 동시에 청취할 수 있다.
방법(500)은 청취가 실생활에서 더 이상 가능하지 않거나 어려울 때에 제 1 클래스의 사운드 객체(6201, 6202)를 청취할 수 있게 하는 생체 공학 또는 보조 청력을 가상 공간에서의 사용자에게 제공한다.
방법(500)은 추가적으로 사용자(630)로 하여금 제 1 클래스의 사운드 객체(6201, 6202)를 구별하게 할 수 있다. 도 12(e)의 예에서, 제 1 클래스의 사운드 객체(6201, 6202)는 공간적으로 다양화되어 있지 않고(이들은 사용자에 대해 일직선 상에 있음), 이들이 실제 방향(방위)에 따라 랜더링됨에 따라 사용자가 제 1 클래스의 사운드 객체(6201, 6202)를 분리하는 것이 어려울 수 있다.
따라서, 제 1 규칙은, 제 1 클래스의 사운드 객체(6201, 6202) 중 하나 이상으로 하여금, 변경된 위치 특성 및/또는 주파수 특성(다양한 공간 및/또는 주파수 채널들)으로 랜더링되게 할 수 있다. 제 1 규칙은 예를 들어 제 1 클래스의 하나 이상의 사운드 객체(6201, 6202)에 의한 위치 채널(방향/방위)의 리던던시(이중 점유)를 방지할 수 있다. 추가적으로 또는 대안적으로, 제 1 규칙은 예를 들어 제 1 클래스의 하나 이상의 사운드 객체(6201, 6202)에 의한 주파수 채널(임계 대역)의 리던던시(이중 점유)를 방지할 수 있다.
도 12(e)에서, 사용자(630)는 사운드 객체(6203)와 관련해서 가상 공간(600) 내에서 '활성화' 동작을 수행하지 않는다. 도 12(e)에서, 제 1 클래스의 사운드 객체로서 사운드 객체(6203)에 대한 표시 622가 없다.
도 12(f)는 더 나중의 도 12(e)의 가상 공간(600)을 도시한다. 사용자(630)는 사운드 객체(6203)로부터 더욱 멀리 이동하였다.
사용자(630)가 제 2 클래스의 사운드 객체(6203)로부터 더욱 떨어져 있음에 따라, 사용자는 그 사운드 객체를 명확하게 청취할 수 없다. 사용자는 제 2 클래스의 기타 사운드 객체들(620) 또한 제 1 클래스의 사운드 객체(6202)로부터 떨어져 있다. 사용자는 제 1 클래스의 사운드 객체(6201)로부터 매우 멀리 떨어져 있다. 그러나, 제 1 클래스의 사운드 객체(6201, 6202)의 랜더링은 제 1 규칙을 따르는 반면, 제 2 클래스의 기타 사운드 객체들(620)의 랜더링은 제 2 규칙에 따른다. 이는, 제 1 클래스의 사운드 객체(6201, 6202)를 청취하는 사용자의 능력을 향상시킨다. 따라서, 사용자는 제 1 클래스의 멀리 떨어진 사운드 객체(6202) 및 제 1 클래스의 매우 멀리 떨어진 사운드 객체(6201)를 동시에 청취할 수 있다.
도 13은 사용자(630)에 의해 가상 공간(600) 내에서 수행되는 '활성화' 동작의 일례를 도시한다. 사용자는 공간적으로 랜더링된 오디오로서 랜더링된 사운드 객체(620)를 청취하는 동안에 1인칭 관점 매개의 사용자 상호 작용 매개형의 매개 현실을 사용하여 가상 공간(600)을 탐색하고 있다. 매개 현실은 가상 현실 또는 증강 현실일 수 있다. 사용자는 가상 비주얼 공간(20)의 가상 비주얼 장면(22)을 관찰할 수 있고, 대응하는 사운드 공간(610)의 대응하는 사운드 장면을 동시에 청취할 수 있다.
도면은 사용자 관점에서 사용자에 의해 관찰된 가상 공간(600)(가상 비주얼 공간(20))의 가상 비주얼 장면(22)을 도시한다.
가상 비주얼 장면(22)은 복수의 가상 객체(21)를 포함한다. 이 예에서, 가상 객체(21)는 테이블에서 대화중인 2명의 사람을 나타낸다.
대화는 대응하는 가상 비주얼 공간(20)에서의 테이블의 위치에 따라 사운드 공간(610)의 특정 위치에서의 사운드 객체(620)로서 사운드 공간(610)에 존재한다.
이러한 예에서, 반드시 모든 예는 아니지만, 대화형 사운드 객체(620)는 컴퓨터 생성된 가상 객체(28)를 사용하여 가상 비주얼 공간(20)에서 가시적으로 표현된다.
사용자는 대화형 사운드 객체(620)의 가시적 표현(650)과 상호 작용함으로써 대화형 사운드 객체(620)를 활성화시킬 수 있다.
대화형 사운드 객체(620)가 활성화되면, 이는 예를 들어도 12b 및 도 12d를 참조하여 설명된 바와 같이 표시될 수 있다.
활성화는 예를 들어 최소 임계 시구간 동안에 표현(650)을 보거나 표현(650) 근처에 존재함으로써 암시적(자동적)일 수 있다. 암시적인 활성화를 확인하기 위해 머리 끄덕임과 같은 제스처가 필요로 될 수 있거나, 암시적인 활성화를 취소하기 위해 머리 흔들기와 같은 제스처가 필요로 될 수 있다.
활성화는, 예컨대 가상 공간(600)에서 표현(650)에 대한 제스터를 수행하는 사용자(630)에 의해, 또는 가상 공간(600)에서 표현(650)을 터치하는 사용자(630)에 의해, 예를 들어 표현(650)과 직접 상호 작용함으로써 명시적(수동적)일 수 있다.
도 14는 제 1 클래스의 사운드 객체(620)의 랜더링을 제어하기 위해 여기서 예시된 예에서 제 1 규칙이 어떻게 사용되는지에 대한 예를 도시한다.
이 예에서, 레코딩된 사운드 객체의 하나 이상의 특성은 사운드 객체가 랜더링될 때에 조정된다. 이 조정은 제 1 규칙에 따라 시작된 사운드 객체의 랜더링 이후에 축적된 메트릭 값 m에 의존한다. 메트릭 m은 제 1 클래스의 사운드 객체로서 사운드 객체가 분류된 이후에 누적된 값을 측정한다.
사운드 객체의 하나의 특성 또는 특성들은 도 14에서의 도표의 y축을 따라 도화되고, 메트릭 m은 x축으로서 도화된다.
메트릭 m은 예를 들어 경과된 시간이거나 또는 사용자에 의해 이동한 거리일 수 있다.
도시된 특정 예는 사운드 객체의 세기(단위 면적당 파워)를 시간에 대해 도화한다.
이 예에서, 첫 번째로 활성화되었을(또는 재활성화되었을) 때의 제 1 클래스의 사운드 객체의 세기는 시간에 따라 변하지 않는 고정된 상수 값을 갖는다. 임계 시구간 후에, 사운드 객체(620)가 사용자(630)에 의해 재활성화되거나 사용자(630)가 활성화를 취소하기 않는 한, 제 1 클래스의 사운드 객체의 세기는 시간에 따라 선형적으로 (예를 들어, 0으로 또는 물리적으로 현실적인 값으로) 감소한다.
도 15는 제 1 클래스의 다수의 사운드 객체(620)의 랜더링을 제어하기 위해 이 예에서 제 1 규칙이 어떻게 사용될 수 있는지에 대한 예를 도시한다.
이 예에서, 레코딩된 특정 사운드 객체의 하나 이상의 특성은 특정 사운드 객체가 랜더링될 때에 조정된다. 특정 사운드 객체에 대한 특성의 조정은 제 1 규칙에 따라 시작된 특정 사운드 객체의 랜더링 이후에 누적된 메트릭 값 m에 의존한다. 메트릭 m은 특정 사운드 객체가 제 1 클래스의 사운드 객체로서 분류된 이후에 누적된 값을 측정한다.
메트릭 m은 예를 들어 경과된 시간일 수 있거나, 혹은 가상 공간(600)에서 사용자(630)에 의해 이동한 거리일 수 있다. 특정 예는, 제 1 클래스의 각 사운드 객체에 있어서, 시간에 대한 사운드 객체의 세기의 플롯을 도시한다.
이 예에서, 첫 번째로 활성화되었을(또는 재활성화되었을) 때의 제 1 클래스의 사운드 객체의 세기는 시간에 따라 변하지 않는 고정된 상수 값을 갖는다. 임계 시구간 후에, 사운드 객체가 사용자에 의해 재활성화되거나 사용자가 활성화를 취소하지 않는 한, 제 1 클래스의 사운드 객체의 세기는 0으로 또는 물리적으로 현실적인 값으로 선형적으로 감소한다.
이 예에서, 제 1 클래스의 2개의 사운드 객체는 서로 상이한 시간에 활성화되었다.
도면 상단의 사운드 객체는 오랫동안 제 1 클래스의 사운드 소스로 분류되었었다. 사용자가 이미 사운드 객체를 재활성화하였다. 이는 이제 다시 사라지고 있으며, 사용자가 재활성화하지 않는 한 제 2 클래스의 사운드 객체로 되돌아갈 것이다.
도면 왼쪽 하단의 사운드 객체는 방금 제 1 클래스의 사운드 객체로 분류되었었다.
도 16a는 방법(500)의 효과를 사운드 객체(620)에 대한 상태도로서 도시한다. 이 예에서, 사운드 객체(620)는 2개의 상태(672) 중 하나에 있을 수 있고, 상태 천이(673)는 상태 간의 천이를 야기한다. 하나의 상태인 제 1 상태(6721)는 제 1 클래스의 사운드 객체에 대한 상태이다. 제 1 규칙은 사운드 객체가 제 1 상태(6721)에 있을 때 사운드 객체의 랜더링을 제어한다. 다른 상태인 제 2 상태(6722)는 제 2 클래스의 사운드 객체에 대한 것이다. 제 2 규칙은 사운드 객체가 제 2 상태(6722)에 있을 때 사운드 객체의 랜더링을 제어한다.
사운드 객체를 분류하는 단계는, 사운드 객체가 제 1 클래스의 사운드 객체로 분류되는 경우, 제 2 상태(6722)로부터 제 1 상태(6721)로의 상태 천이(6731)를 야기할 수 있다.
사운드 객체의 재분류는, 사운드 객체가 제 2 클래스의 사운드 객체로서 재분류되는 경우, 제 1 상태(6721)로부터 제 2 상태(6722)로의 상태 천이(6732)를 야기할 수 있다. 예컨대, 이는 제 1 상태(6721)가, 예를 들어 도 14 및 도 15를 참조하여 설명된 바와 같이 사용자에 의해 재활성화되지 않는 한 만료되는 일시적 상태이기 때문에 발생할 수 있다. 제 1 상태(6721)의 재활성화는 제 1 상태(6721)를 재시작하는 상태 천이(6733)로 표시된다.
트리거 이벤트가 발생하는 경우, 상태 천이(673)가 일어난다. 트리거 이벤트는 하나 이상의 트리거 조건이 충족될 때에 발생한다.
제 1 상태(6721)는 영속적인 상태이다. 그 상태는 트리거 이벤트가 일어난 후에 지속된다.
제 1 상태(6721)를 나가기 위해서는 추가적인 트리거 이벤트가 필요로 된다. 이 추가적인 트리거 이벤트는, 갱신(재활성화됨)(6733)되지 않는 한 사전 결정된 조건(예를 들면, 메트릭 값 m이 임계값을 초과함)이 충족된 후에, 제 1 상태(6721)가 예시적인 엔딩(6732) 동안에 일시적으로 되게 하는 일부 예에서 자동적으로 발생할 수 있다.
트리거 이벤트/트리거 조건(들)이 제 2 상태(6722)로부터 제 1 상태(6731)로의 상태 천이를 야기하는 경우, 이는 사용자의 과거 동작을 기반으로 한다.
도 16b는 도 16a와 유사한 상태도로서 방법(500)의 효과를 도시한다. 그러나, 이 예에서, 제 2 상태(6722)는 다수의 서브 상태로 표현된다.
이 예에서, 사운드 객체(620)가 제 2 상태에 있으면, 이는 다수의 서브 상태들 2(i), 2(ii), 2(iii) 중 하나에 있게 될 것이다.
다수의 서브 상태들 중 임의의 것은, 제 2 클래스의 사운드 객체에 대한 상태일 수 있다. 제 2 규칙은 사운드 객체가 제 2 상태(6722)의 서브 상태에 있을 때에 사운드 객체의 랜더링을 제어한다.
사운드 객체를 분류하는 단계는, 사운드 객체가 제 1 클래스의 사운드 객체로서 분류되는 경우, 제 2 상태(6722)의 서브 상태 2(i)로부터 제 1 상태(6721)로의 상태 천이(6731)를 야기할 수 있다.
사운드 객체의 재분류는, 사운드 객체가 제 2 클래스의 사운드 객체로서 재분류되는 경우, 제 1 상태(6721)로부터 제 2 상태(6722)의 서브 상태들 중 하나로의 상태 천이(6732)를 야기할 수 있다. 예컨대, 이는 제 1 상태(6721)가 예를 들어 도 14 및 도 15를 참조해서 설명된 바와 같이 사용자에 의해 재활성화되지 않는 한 만료되는 일시적 상태이기 때문에 발생할 수 있다. 제 1 상태의 재활성화는 제 1 상태(6721)를 재시작하는 상태 천이(6733)에 의해 도시된다.
트리거 이벤트가 발생하는 경우, 상태 천이(673)가 일어난다. 트리거 이벤트는 하나 이상의 트리거 조건이 충족될 때에 발생한다. 제 1 상태(6721)는 영속적인 상태이다. 그 상태는 트리거 이벤트가 일어난 후에 지속된다.
제 1 상태(6721)를 나가기 위해서는 추가적인 트리거 이벤트가 필요로 된다. 이 추가적인 트리거 이벤트는, 갱신(재활성화됨)(6733)되지 않는 한 사전 결정된 조건(예를 들면, 메트릭 값 m이 임계값을 초과함)이 충족된 후에, 제 1 상태(6721)가 예시적인 엔딩(6732) 동안에 일시적으로 되게 하는 일부 예에서 자동적으로 발생할 수 있다.
트리거 이벤트/트리거 조건(들)이 제 2 상태(6722)의 서브 상태들 중 하나로부터 제 1 상태(6731)로의 상태 천이를 야기하는 경우, 이는 사용자의 과거 동작을 기반으로 한다.
사운드 객체(620)가 제 2 상태(6722)에 있으며 또한 사운드 객체(620)와 사용자(630) 사이에 현재 상호 작용이 있으면, 제 2 상태의 제 1 서브 상태 2(i)가 입력된다. 예를 들어 현재 상호 작용이 활성화를 야기하는 경우, 이 상태로부터 제 1 상태(6721)로의 천이(6731)가 가능하다.
사운드 객체(620)가 제 2 상태(6722)에 있으며 사운드 객체(620)와 사용자(630) 간의 상호 작용에 대한 가능성이 있으면(그러나 사운드 객체와 사용자 간에 현재 상호 작용이 없음), 제 2 상태(6722)의 제 2 서브 상태 2(ii)가 입력된다. 이 예에서, 이 서브 상태 2(ii)로부터 제 1 상태(6721)로 천이하는 것은 불가능하지만, 다른 상태도에 대해서는 가능할 수 있다. 제 1 상태(6721)로부터 이 상태로의 천이(6732)가 가능하다. 제 2 상태(6722)의 제 1 서브 상태 2(i)로/로부터의 천이(6734)가 가능하다.
사운드 객체(620)가 제 2 상태(6722)에 있으며 사운드 객체(620)와 사용자(630) 간에 상호 작용에 대한 가능성이 없으면(사운드 객체와 사용자 간에 현재 상호 작용이 없고, 사운드 객체와 사용자 간에 현재 상호 작용에 대한 가능성이 없음), 제 2 상태(6722)의 제 3 서브 상태 2(iii)가 입력된다. 이 예에서, 이 서브 상태 2(iii)로부터 제 1 상태(6721)로의 천이는 불가능하지만, 다른 상태도에 대해서는 가능할 수 있다. 제 1 상태(6721)로부터 이 서브 상태 2(iii)로의 천이(6732)가 가능하다. 제 2 상태(6722)의 제 2 서브 상태 2(ⅱ)로/로부터의 천이(6735)가 가능하다.
제 2 상태(6722)의 서브 상태 2(n)에서의 사운드 객체(620)(제 2 클래스의 사운드 객체)는 제 1 상태(6721)에서의 사운드 객체(620)와 상이하게 랜더링된다.
제 2 상태(6722)의 각 서브 상태 2(n)에서의 상이한 사운드 객체(620)는 제 2 상태(6722)의 다른 서브 상태 2(m)에서의 사운드 객체(620)와 상이하게 랜더링되지만, 제 2 상태(6722)의 동일한 서브 상태 2(n)에서의 사운드 객체(620)와 동일한 방식으로 랜더링된다.
예컨대, 제 2 상태(6722)의 제 1 서브 상태 2(i)에서의 사운드 객체(620)는 레코딩된 것처럼 랜더링될 수 있다.
예컨대, 제 2 상태(6722)의 제 2 서브 상태 2(ii)에서의 사운드 객체(620)는 사운드 객체(620)를 강조하도록 랜더링될 수 있지만 사용자(630)가 가상 공간(600)에서 사운드 객체(620)의 위치를 직접적으로 향하고 있을 때에만 그렇게 된다.
예컨대, 제 2 상태(6722)의 제 3 서브 상태 2(iii)에서의 사운드 객체(620)는 사운드 객체(620)를 경시하도록 랜더링될 수 있다.
사운드 객체(620)의 강조/경시는 사운드 객체(620)의 속성을 변경함으로써 달성될 수 있다.
예컨대, 별개의 공간 및/또는 주파수 채널을 사용하고 및/또는 세기를 증가시킴으로써 강조를 달성할 수 있다.
예컨대, 공유된 공간 및/또는 스펙트럼 채널을 사용하고, 세기를 감소시키고, 배경 채터(chatter)를 에뮬레이트하기 위해 잔향(reverberations)을 사용함으로써 경시를 달성할 수 있다.
하나의 사용 사례에서, 사용자는 매개 현실을 사용하여 가상 공간(600)에서 칵테일 파티에 참석한다. 이는 가상 현실이거나 증강 현실일 수 있다. 그는 공간 오디오를 통해 첫 번째 테이블 (A)에서의 대화를 듣는다. 예를 들면, 임계 시간 동안에 대화의 사운드 객체(620)를 나타내는 컴퓨터 생성된 가상 객체를 응시하거나 그에 근접하게 있음으로써, 사용자는 사운드 객체(620)를 활성화시킨다. 컴퓨터 생성된 가상 객체(28)는 활성화되었었다는 외관 표시(622)를 변경한다. 사용자(630)는 머리의 끄덕임으로 활성화를 확인하거나, 머리의 흔들기로 활성화를 취소할 수 있다. 사용자(630)는 제 1 규칙의 속성을 프로그램하기 위한 제스처를 수행할 수 있다. 활성화 이후의 사운드 객체(620)는 (제 1 클래스로 분류된) 제 1 상태에 진입하고 나서, 사용자(630)가 테이블 A로부터 멀어지게 움직이고 있는 경우 또한 심지어 사용자가 다른 테이블인 테이블 B에서 대화를 듣는 경우에도, 사용자(630)는 사운드 객체(620)인 테이블 A로부터의 대화를 들을 수 있다.
앞서의 예에서, 컴퓨터 프로그램 또는 컴퓨터 프로그램에 대해 참조하였다. 컴퓨터 프로그램, 예를 들어 컴퓨터 프로그램(48, 416) 또는 컴퓨터 프로그램(48, 416)의 조합은 방법(500)을 수행하도록 구성될 수 있다.
또한, 예로서, 장치(30, 400)는: 적어도 하나의 프로세서(40, 412); 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리(46, 414)를 구비하되, 적어도 하나의 메모리(46, 414) 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서(40, 412)를 이용하여, 장치(30, 400)로 하여금, 랜더링된 가상 공간 내에서, 가상 공간 내에서의 사용자의 과거 동작에 따라 제 1 클래스의 사운드 객체 또는 제 2 클래스의 사운드 객체로서 사운드 객체를 분류하는 것; 적어도 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하는 것; 및 적어도 제 1 규칙과는 상이한 제 2 규칙 및 가상 공간 내에서의 사용자의 현재 위치에 따라 제 2 클래스의 하나 이상의 사운드 객체를 랜더링하는 것을 적어도 수행하게 한다.
컴퓨터 프로그램(48, 416)은 임의의 적합한 전송 메카니즘을 통해 장치(30, 400)에 도달할 수 있다. 전송 메카니즘은, 예를 들어 비일시적 컴퓨터 판독 가능 저장 매체, 컴퓨터 프로그램 제품, 메모리 디바이스, CD-ROM 또는 DVD와 같은 기록 매체, 컴퓨터 프로그램(48, 416)을 유형적으로 구현하는 제조품일 수 있다. 전송 메카니즘은 컴퓨터 프로그램(48, 416)을 신뢰 가능하게 전송하도록 구성된 신호일 수 있다. 장치(30, 400)는 컴퓨터 프로그램(48, 416)을 컴퓨터 데이터 신호로서 전파 또는 송신할 수 있다. 도 10은 컴퓨터 프로그램(416)을 위한 전송 메카니즘(430)을 도시한다.
설명된 다수의 방법(500)이 장치(30, 400), 예를 들어 전자 장치(30, 400)에 의해 수행될 수 있다는 것은 앞서의 기재로부터 이해될 것이다.
전자 장치(400)는 일부 실시예에서 헤드 장착형 오디오 출력 디바이스와 같은 오디오 출력 디바이스(300)의 일부이거나, 이러한 오디오 출력 디바이스(300)를 위한 모듈일 수 있다. 전자 장치(400)는, 일부 예에서 추가적으로 또는 대안적으로, 사용자에게 이미지를 디스플레이하는 디스플레이(32)를 포함하는 헤드 장착형 장치(33)의 일부일 수 있다.
일부 예에서, 사용자의 머리 위로의 헤드 장착형 장치(33)의 배치는, 시스템으로 하여금, 도 11에 도시된 방법(500)을 수행하게 하거나 수행하는 것을 가능하게 할 수 있다. 즉, 헤드 장착형 장치(33)가 사용자의 머리에 배치되지 않으면, 방법(500)은 작동하지 않는다. 헤드 장착형 장치가 사용자의 머리에 배치되면, 방법(500)은 1인칭의 사용자 상호 작용 매개 현실(가상 현실 또는 증강 현실)을 사용하여 사운드 장면의 제어를 동작 가능하게 한다.
'컴퓨터 판독 가능 저장 매체', '컴퓨터 프로그램 제품', '유형적으로 구현 된 컴퓨터 프로그램' 등, 또는 '제어기', '컴퓨터', '프로세서' 등에 대한 언급은, 단일/멀티-프로세서 아키텍처 및 순차(폰 노이만)/병렬 아키텍처와 같은 상이한 아키텍처를 갖는 컴퓨터뿐만 아니라, FPGA, ASIC, 신호 프로세싱 디바이스 및 기타 프로세싱 회로와 같은 특수 회로를 포함하는 것으로 이해되어야 한다. 컴퓨터 프로그램, 인스트럭션, 코드 등에 대한 언급은, 예를 들어 프로세서를 위한 인스트럭션이든 고정 기능 디바이스, 게이트 어레이 또는 프로그래밍 가능한 로직 디바이스 등을 위한 구성 설정이든 간에 하드웨어 디바이스의 프로그래밍 가능 콘텐츠와 같은 프로그래밍 가능 프로세서 또는 펌웨어를 위한 소프트웨어를 포함하는 것으로 히애되어야 한다.
본 발명에서 사용되는 바와 같이, '회로'라는 용어는 이하 모두를 가리킨다:
(a) 하드웨어 전용 회로 구현(예를 들면, 단지 아날로그 및/또는 디지털 회로에서의 구현), 및
(b) 예를 들어 (적용가능한 경우): (i) 프로세서(들)의 조합, 혹은 (ii) 이동 전화 또는 서버와 같은 장치로 하여금, 다양한 기능을 수행하게 하도록 함께 작동하는 프로세서(들)/소프트웨어(디지털 신호 프로세서(들)를 포함함), 소프트웨어, 및 메모리(들)의 부분과 같은 회로 및 소프트웨어(및/또는 펌웨어)의 조합,
(c) 소프트웨어 또는 펌웨어가 물리적으로 존재하지 않더라도, 구동을 위해 소프트웨어 또는 펌웨어를 필요로 하는 마이크로프로세서(들) 또는 마이크로프로세서(들)의 일부와 같은 회로.
'회로'의 이러한 정의는 임의의 청구범위를 포함해서 본 발명에서 이 용어에 대한 모든 사용에 적용된다. 다른 예로서, 본 발명에서 사용되는 바와 같이, "회로"라는 용어는 단지 하나의 프로세서(또는 다수의 프로세서), 또는 프로세서 및 그것의(또는 그것들의) 부속 소프트웨어 및/또는 펌웨어의 일부분에 대한 구현을 또한 커버할 것이다. 또한, "회로"라는 용어는, 예를 들어 특정한 청구범위의 요소에 적용할 수 있으면, 이동 전화용 베이스밴드 집적 회로 또는 애플리케이션 프로세서 집적 회로, 혹은 서버, 셀룰러 네트워크 디바이스, 또는 다른 네트워크 디바이스에서의 유사한 집적 회로를 커버할 것이다.
도 11~도 16b에 도시된 블록들, 단계들 및 프로세스들은 방법에서의 단계들 및/또는 컴퓨터 프로그램에서의 코드 섹션들을 나타낼 수 있다. 블록들에 대한 특정 순서의 도시는 블록들에 대해 요구되거나 선호되는 순서가 있음을 반드시 의미하지 않으며, 블록의 순서 및 배열은 변할 수 있다. 또한, 일부 블록들을 생략할 수도 있다.
구조적 특징이 설명된 경우, 구조적 특징의 하나 이상의 기능을 수행하기 위한 수단으로 대체될 수 있으며, 이는 그 기능 또는 그들 기능들이 명시적으로 또는 암시적으로 설명되어 있던지 간에 대체될 수 있다.
여기서 사용되는 바와 같이, '모듈'은 최종 제조업체 또는 사용자에 의해 추가되는 소정의 부품/구성요소를 제외한 유닛 또는 장치를 가리킨다. 제어기(42) 또는 제어기(410)는 예를 들어 모듈일 수 있다. 장치는 모듈일 수 있다. 디스플레이(32)는 모듈일 수 있다.
'포함하다'라는 용어는 이 문서에서 배타적인 의미가 아니라 포괄적인 의미로 사용된다. 즉, Y를 포함하는 X에 대한 임의의 언급은, X가 하나의 Y만을 포함할 수 있거나 하나 이상의 Y를 포함할 수 있음을 나타낸다. 배타적인 의미를 갖는 '포함하는'을 사용하고자 하면, "하나만 포함하는"을 언급하거나 "이루어지는"을 사용함으로써 맥락에서 명확하게 될 것이다.
이러한 간략한 설명에서, 여러 예들을 참조하였다. 예와 관련해서 특징 또는 기능에 대한 설명은 그들 특징 또는 기능이 그 예에 존재하고 있음을 나타낸다. 본 명세서에서 '예' 또는 '예를 들면' 또는 '~할 수도 있는'이라는 용어의 사용은, 명시적으로 기재되었던지 기재되어 있지 않던지 간에 적어도 설명된 예에 이러한 특징 또는 기능이 존재한다는 것을 나타내며, 예로서 설명되던지 설명되지 않던지 간에, 그것들이 반드시는 아니지만 다른 예들의 일부 또는 전부에 존재될 수 있다. 따라서, '예', '예를 들면' 또는 '~할 수도 있는'은 예들의 클래스에서 특정한 인스턴스를 가리킨다. 인스턴스의 특성은 그 인스턴스만의 특성이거나, 클래스의 특성이거나, 인스턴스의 전부가 아닌 일부를 클래스에 포함하는 클래스의 서브 클래스의 특성일 수 있다. 따라서, 다른 예가 아니라 일례와 관련해서 설명된 특징이 가능한 경우 그 다른 예에서 사용될 수 있지만, 반드시 그 다른 예에서 사용될 필요는 없다는 것이 암시적으로 개시된다.
본 발명의 실시예들이 여러 예들과 관련해서 이전의 단락들에서 설명되었지만, 주어진 예들에 대한 변경이 청구된 바와 같은 본 발명의 범위를 벗어나지 않고서 이루어질 수 있음을 이해해야 한다.
앞서의 기재에서 설명한 기능은 명시적으로 설명된 조합 이외의 조합으로 사용될 수 있다.
비록 기능이 소정의 특징과 관련해서 설명되었지만, 그러한 기능은 설명되던지 설명되지 않던지 간에 다른 특징에 의해 수행될 수 있다.
비록 특징이 소정의 실시예와 관련해서 설명되었지만, 그러한 특징은 설명되던지 설명되지 않던지 간에 다른 실시예에 존재할 수도 있다.
특히 중요한 것으로 여겨지는 본 발명의 그러한 특징에 대한 관심을 끌도록 앞서의 명세서에서 노력하고 있지만, 임의의 특허 가능한 특징 또는 도면에서 이전에 언급 및/또는 도시된 특징들의 조합에 대한 보호를, 그에 대한 특정한 강조가 있었던지 없었던지 간에, 출원인이 청구함을 이해해야 한다.

Claims (15)

  1. 랜더링된 가상 공간 내에서, 상기 가상 공간 내에서의 사용자의 과거 동작에 의존하여, 제 1 클래스의 사운드 객체 또는 제 2 클래스의 사운드 객체로서 사운드 객체들을 분류하게 하는 단계와,
    적어도 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하게 하는 단계와,
    적어도 상기 제 1 규칙과는 상이한 제 2 규칙 및 상기 가상 공간 내에서의 사용자의 현재 위치에 따라, 제 2 클래스의 하나 이상의 사운드 객체를 랜더링하게 하는 단계를 포함하고,
    상기 적어도 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하게 하는 단계는, 사운드 객체가 랜더링될 때에 레코딩된 사운드 객체의 적어도 하나의 특성을 조정(adapt)하는 단계를 포함하고, 상기 적어도 하나의 특성의 조정은 상기 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하게 하는 단계를 시작한 시점으로부터 누적되는 메트릭 값에 의존하는
    방법.
  2. 제 1 항에 있어서,
    상기 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하게 하는 단계는, 상기 제 2 클래스의 하나 이상의 사운드 객체 및/또는 레코딩된 상기 제 1 클래스의 하나 이상의 사운드 객체에 대한 상기 제 1 클래스의 하나 이상의 사운드 객체의 사용자 인지를 향상시키는
    방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하게 하는 단계는, 상기 사용자의 상기 가상 공간과 상기 제 1 클래스의 하나 이상의 사운드 객체와의 증가하는 분리에도 불구하고, 상기 제 1 클래스의 하나 이상의 사운드 객체의 인지 영속성(perceptual persistence)을 제공하는
    방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하게 하는 단계와, 상기 제 1 규칙과는 상이한 제 2 규칙 및 사용자의 현재 위치에 따라 제 2 클래스의 하나 이상의 사운드 객체를 랜더링하게 하는 단계는, 상기 제 1 클래스의 하나 이상의 사운드 객체 각각으로 하여금, 사용자에 대한 상기 제 1 클래스의 사운드 객체의 상대적인 거리에 대한 제 1 의존성을 갖고서 랜더링되도록 하게 하고, 또한 상기 제 2 클래스의 하나 이상의 사운드 객체 각각으로 하여금, 사용자에 대한 상기 제 2 클래스의 사운드 객체의 상대적인 거리에 대한 제 2 의존성을 갖고서 랜더링되도록 하게 하며 - 상기 제 2 의존성은 상기 제 1 의존성과는 상이함 - ,
    상기 제 2 클래스의 하나 이상의 사운드 객체에 비하여, 상기 제 1 클래스의 하나 이상의 사운드 객체는 사용자와 사운드 객체의 실시간인 현재의 상대적인 위치에 대한 변화에 덜 의존적인
    방법.
  5. 삭제
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 규칙에 따라 제 1 클래스의 하나 이상의 사운드 객체를 랜더링하게 하는 단계는, 사운드 객체가 랜더링될 때, 레코딩된 사운드 객체의 적어도 하나의 특성을 조정하는 단계를 포함하는
    방법.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 규칙과 상기 제 2 규칙 간의 차이는 상기 제 1 클래스의 하나 이상의 사운드 객체와 상기 제 2 클래스의 하나 이상의 사운드 객체 간의 하나 이상의 사운드 특성 값에서의 상대적인 시프트(a relative shift)를 야기하는
    방법.
  8. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 규칙은 랜더링된 사운드 객체의 세기 변화와 상기 가상 공간에서의 사용자와 사운드 객체 간의 거리 변화 사이의 제 1 관계를 정의하고, 상기 제 2 규칙은 랜더링된 사운드 객체의 세기 변화와 상기 가상 공간에서의 사용자와 사운드 객체 간의 거리 변화 사이의 제 2 관계를 정의하는
    방법.
  9. 제 1 항 또는 제 2 항에 있어서,
    상기 가상 공간 내에서 공통의 제 1 규칙에 따라, 상기 제 1 클래스의 다수의 사운드 객체를 다양한 공간 및/또는 주파수 채널에서 랜더링하게 하는 단계를 포함하는
    방법.
  10. 제 1 항 또는 제 2 항에 있어서,
    랜더링된 가상 공간 내에서, 사운드 객체와 상기 사용자 간의 과거 상호 작용에 의존하여 제 1 클래스의 사운드 객체로서 상기 사운드 객체를 분류하게 하는 단계와,
    랜더링된 가상 공간 내에서, 사운드 객체와 상기 사용자 간의 현재의 상호 작용, 또는 상기 사운드 객체와 상기 사용자 간의 비잠재적 상호 작용, 또는 상기 사운드 객체와 상기 사용자 간의 잠재적 상호 작용에 의존하여, 제 2 클래스의 서브 클래스의 사운드 객체로서 상기 사운드 객체를 분류하게 하는 단계와,
    상기 서브 클래스에 의존하는 규칙들에 따라 상기 제 2 클래스의 사운드 객체를 랜더링하는 단계를 포함하는
    방법.
  11. 제 1 항 또는 제 2 항에 있어서,
    상기 사용자의 과거 동작에 의해 충족되는 트리거 이벤트에 의존하여 영속적 상태(a persistent state)에 대한 변경을 트리거링함으로써 제 1 클래스의 사운드 객체로서 사운드 객체를 분류하게 하는 단계를 포함하고, 상기 영속적 상태는 트리거 이벤트가 종료된 후에도 영속성을 갖는
    방법.
  12. 제 11 항에 있어서,
    상기 영속적 상태는 갱신되지 않는 한 사전 결정된 조건이 충족된 후에 일시적으로 종료되는
    방법.
  13. 제 1 항 또는 제 2 항에 있어서,
    랜더링된 가상 공간 내에서, 사용자의 과거 동작에 의존하여, 제 1 클래스의 사운드 객체 또는 제 2 클래스의 사운드 객체로서 사운드 객체를 분류하게 하는 단계는, 상기 사용자와 상기 사운드 객체의 이전의 상호 작용에 의존하여 제 1 클래스의 사운드 객체 또는 제 2 클래스의 사운드 객체로서 사운드 객체들을 분류하게 하는 단계를 포함하는
    방법.
  14. 제 1 항 또는 제 2 항에 있어서,
    상기 사용자는 상기 랜더링된 사운드 객체를 공간적으로 랜더링된 오디오로서 청취하면서 사용자 관점 매개 현실(a user-perspective mediated reality)을 통해 상기 가상 공간을 관찰하는
    방법.
  15. 적어도 하나의 프로세스에 의해 수행될 때 제 1 항 또는 제 2 항의 방법을 적어도 수행하도록 하게 하는 컴퓨터 프로그램 코드, 또는 제 1 항 또는 제 2 항의 방법을 수행하기 위한 수단 중 적어도 하나를 포함하는
    장치.
KR1020197001768A 2016-06-21 2017-06-02 매개 현실에서의 사운드 객체의 인지 향상 KR102126162B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16175574.9 2016-06-21
EP16175574.9A EP3261367B1 (en) 2016-06-21 2016-06-21 Method, apparatus, and computer program code for improving perception of sound objects in mediated reality
PCT/FI2017/050413 WO2017220852A1 (en) 2016-06-21 2017-06-02 Improving perception of sound objects in mediated reality

Publications (2)

Publication Number Publication Date
KR20190020766A KR20190020766A (ko) 2019-03-04
KR102126162B1 true KR102126162B1 (ko) 2020-06-24

Family

ID=56235625

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197001768A KR102126162B1 (ko) 2016-06-21 2017-06-02 매개 현실에서의 사운드 객체의 인지 향상

Country Status (6)

Country Link
US (1) US10764705B2 (ko)
EP (1) EP3261367B1 (ko)
JP (1) JP6764490B2 (ko)
KR (1) KR102126162B1 (ko)
CN (1) CN109314834A (ko)
WO (1) WO2017220852A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3499917A1 (en) 2017-12-18 2019-06-19 Nokia Technologies Oy Enabling rendering, for consumption by a user, of spatial audio content
KR102680422B1 (ko) 2018-08-30 2024-07-03 소니그룹주식회사 정보 처리 장치 및 방법, 그리고 프로그램
CN109308179A (zh) * 2018-09-25 2019-02-05 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
KR20210106546A (ko) 2018-12-24 2021-08-30 디티에스, 인코포레이티드 딥 러닝 이미지 분석을 사용한 룸 음향 시뮬레이션
EP3703392A1 (en) 2019-02-27 2020-09-02 Nokia Technologies Oy Rendering of audio data for a virtual space
EP3716038A1 (en) * 2019-03-25 2020-09-30 Nokia Technologies Oy An apparatus, method, computer program or system for indicating audibility of audio content rendered in a virtual space
JP7492104B2 (ja) * 2019-11-12 2024-05-29 株式会社カプコン 音声再生プログラム、音声再生装置、および音声生成方法
US11257396B2 (en) * 2020-03-18 2022-02-22 Sas Institute Inc. User interfaces for converting geospatial data into audio outputs
US12118515B2 (en) * 2021-06-16 2024-10-15 9408-5735 Québec Inc. Concept-based collaborative mechanism
JP2024535492A (ja) * 2021-10-05 2024-09-30 マジック リープ， インコーポレイテッド 頭部姿勢補償を伴う音場捕捉
US11460973B1 (en) 2022-04-11 2022-10-04 Sas Institute Inc:. User interfaces for converting node-link data into audio outputs
US20230421984A1 (en) * 2022-06-24 2023-12-28 Rovi Guides, Inc. Systems and methods for dynamic spatial separation of sound objects

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010109918A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3834848B2 (ja) * 1995-09-20 2006-10-18 株式会社日立製作所 音情報提供装置、及び音情報選択方法
US6011851A (en) * 1997-06-23 2000-01-04 Cisco Technology, Inc. Spatial audio processing method and apparatus for context switching between telephony applications
US8509454B2 (en) 2007-11-01 2013-08-13 Nokia Corporation Focusing on a portion of an audio scene for an audio signal
US8620009B2 (en) * 2008-06-17 2013-12-31 Microsoft Corporation Virtual sound source positioning
US8520872B2 (en) * 2008-08-14 2013-08-27 Samsung Electronics Co., Ltd. Apparatus and method for sound processing in a virtual reality system
KR101285391B1 (ko) 2010-07-28 2013-07-10 주식회사 팬택 음향 객체 정보 융합 장치 및 방법
WO2012120810A1 (ja) * 2011-03-08 2012-09-13 パナソニック株式会社 音声制御装置および音声制御方法
EP2680616A1 (en) 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof
US9349218B2 (en) 2012-07-26 2016-05-24 Qualcomm Incorporated Method and apparatus for controlling augmented reality
US8854447B2 (en) * 2012-12-21 2014-10-07 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
CN105073073B (zh) 2013-01-25 2018-12-07 胡海 用于声音可视化及声源定位的设备与方法
US9343053B2 (en) * 2013-05-13 2016-05-17 Sound In Motion Adding audio sound effects to movies
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
US9716939B2 (en) 2014-01-06 2017-07-25 Harman International Industries, Inc. System and method for user controllable auditory environment customization
US9804813B2 (en) * 2014-11-26 2017-10-31 The United States Of America As Represented By Secretary Of The Navy Augmented reality cross-domain solution for physically disconnected security domains
CN105487657A (zh) 2015-11-24 2016-04-13 小米科技有限责任公司 声音响度的确定方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010109918A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法

Also Published As

Publication number Publication date
EP3261367B1 (en) 2020-07-22
US10764705B2 (en) 2020-09-01
JP2019522420A (ja) 2019-08-08
US20190166448A1 (en) 2019-05-30
WO2017220852A1 (en) 2017-12-28
KR20190020766A (ko) 2019-03-04
CN109314834A (zh) 2019-02-05
JP6764490B2 (ja) 2020-09-30
EP3261367A1 (en) 2017-12-27

Similar Documents

Publication Publication Date Title
KR102126162B1 (ko) 매개 현실에서의 사운드 객체의 인지 향상
US10638247B2 (en) Audio processing
US11822708B2 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
US11740350B2 (en) Ultrasonic sensor
US11010051B2 (en) Virtual sound mixing environment
US10366542B2 (en) Audio processing for virtual objects in three-dimensional virtual visual space
US11367280B2 (en) Audio processing for objects within a virtual space
EP3264228A1 (en) Mediated reality
US10831443B2 (en) Content discovery
US10869156B2 (en) Audio processing
US20200160600A1 (en) Methods, Apparatus, Systems, Computer Programs for Enabling Consumption of Virtual Content for Mediated Reality
EP3422150A1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant