KR20170143013A - 오디오 레코딩 및 재생 장치 - Google Patents

오디오 레코딩 및 재생 장치 Download PDF

Info

Publication number
KR20170143013A
KR20170143013A KR1020177036379A KR20177036379A KR20170143013A KR 20170143013 A KR20170143013 A KR 20170143013A KR 1020177036379 A KR1020177036379 A KR 1020177036379A KR 20177036379 A KR20177036379 A KR 20177036379A KR 20170143013 A KR20170143013 A KR 20170143013A
Authority
KR
South Korea
Prior art keywords
audio
capture
microphone
audio signals
output
Prior art date
Application number
KR1020177036379A
Other languages
English (en)
Other versions
KR102003462B1 (ko
Inventor
미카 타파니 빌레르모
라세 주하니 라크소넨
카리 주하니 자르비넨
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20170143013A publication Critical patent/KR20170143013A/ko
Application granted granted Critical
Publication of KR102003462B1 publication Critical patent/KR102003462B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01Input selection or mixing for amplifiers or loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03Connection circuits to selectively connect loudspeakers or headphones to amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

장치는 적어도 2개의 오디오 신호 - 적어도 2개의 오디오 신호는 서로 상대적 변위를 가짐 - 를 수신하도록 구성된 입력부; 디바이스 방향 및 캡쳐 장치에서의 마이크 구성에 관한 정보에 기초하여 오디오 캡쳐 방향을 결정하도록 구성된 방향 결정기; 및 적어도 2개의 오디오 신호의 재생이 캡쳐 방향에 기초하여 수행되도록, 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호를 출력하도록 구성된 오디오 출력 생성기를 포함한다.

Description

오디오 레코딩 및 재생 장치{AUDIO RECORDING AND PLAYBACK APPARATUS}
본 출원은 오디오 레코딩 및 재생을 위한 장치에 관한 것이다. 본 발명은 또한, 모바일 디바이스 내에서의 오디오 레코딩 및 재생을 위한 장치에 관련되지만, 이것에 한정되는 것은 아니다.
공간적 오디오 신호는 더 실감나는(immersive) 오디오 경험을 만들어내기 위해 더 높은 빈도로 사용되고 있다. 스테레오 또는 멀티채널 레코딩(recording)은 레코딩 또는 캡처(capture) 장치로부터 청취(listening) 장치로 전달되며 멀티채널 라우드스피커 배열(multi-channel loudspeaker arrangement)과 같은 적합한 멀티채널 출력을 사용하여 그리고 한 쌍의 스테레오 헤드폰 또는 헤드셋을 처리하는 가상 서라운드(virtual surround)로써 재생될(replayed) 수 있다.
가까운 미래에, 모바일 폰과 같은 모바일 장치가 2개보다 많은 마이크를 갖는 것이 가능할 것이라는 것이 이해될 것이다. 이것은 실제 멀티채널 오디오를 레코드할(record) 가능성을 제공한다. 마찬가지로, 모바일 폰과 같은 모바일 장치가 2개보다 많은 스피커를 갖는 것이 가능할 것이다. 따라서, 스테레오 및 서라운드 사운드 오디오가 모바일 디바이스(예컨대 스마트폰)에서 재생될 수 있다.
다시 말하면, 모바일 디바이스가 스테레오 및 서라운드 사운드 오디오를 레코딩(또는 캡쳐)하고 재생하는 성능을 갖게 될 것이라는 것이 가능하거나 곧 가능해질 것이다. 따라서, 모바일 디바이스는 이들 오디오 신호를 디바이스 사이에서 또한 전달할 수 있을 것이고 이러한 것은, 스테레오 및 서라운드 사운드 오디오를, 원격통신 애플리케이션에서 그리고 또한 오디오 레코딩 또는 캡쳐가 적절한 또는 대응가능한 모바일 디바이스에 의해 수행된 경우 스트리밍, 브로드캐스팅 및 멀티캐스팅과 같은 다른 서비스에 대해 활용할 수 있다.
따라서, 본 출원의 양태는 공간적 오디오 캡쳐 및 처리를 제공하고, 이에 의해 청취 방향 또는 비디오 및 오디오 캡쳐 방향 차이가 보상될 수 있다.
제1 양태에 따르면 한 방법이 제공되는데, 그 방법은: 적어도 2개의 오디오 신호 - 적어도 2개의 오디오 신호는 서로 상대적 변위(relative displacement)를 가짐 - 를 생성하는 것; 캡쳐 방향을 결정하는 것; 및 적어도 2개의 오디 신호의 재생이 캡쳐 방향에 기초하여 수행되도록, 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호를 출력하는 것을 포함한다.
캡쳐 방향을 결정하는 것은 디바이스 방향 및 캡쳐 장치에서의 마이크 구성에 관한 정보에 기초하여 오디오 캡쳐 방향을 결정하는 것을 포함할 수도 있다.
캡쳐 방향은 초기 캡쳐 방향 값일 수도 있고, 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호를 출력하는 것은, 초기 오디오 출력 순서에 따라 적어도 2개의 오디오 신호를 출력하는 것을 포함할 수도 있다.
그 방법은: 캡쳐 방향과 이전(earlier) 방향 사이의 차이가 정의된 값보다 더 큰지를 결정하는 것; 및 적어도 2개의 오디오 신호의 재생이 캡쳐 방향에 기초하여 수행되도록, 적어도 2개의 오디오 신호를 갖는 캡쳐 방향을 추가로 출력하는 것을 더 포함할 수도 있다.
이전 방향은 초기 방향일 수도 있다.
그 방법은: 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호에 대한 오디오 출력 순서를 결정하는 것; 및 적어도 2개의 오디오 신호의 재생이 오디오 출력 순서에 기초하여 추가로 수행되도록, 적어도 2개의 오디오 신호를 갖는 오디오 출력 순서를 추가로 출력하는 것을 더 포함할 수도 있다.
그 방법은: 캡쳐 방향과 이전 방향 사이의 차이가 정의된 오디오 출력 재순서화 값보다 더 큰지를 결정하는 것, 및 캡쳐 방향과 이전 방향 사이의 차이가 정의된 오디오 출력 재순서화 값보다 더 큰 경우, 오디오 출력 순서의 결정을 트리거하는 것을 더 포함할 수도 있다.
서로 상대적 변위를 갖는 적어도 2개의 오디오 신호를 생성하는 것은: 제1 위치에서 제1 마이크를 사용하여 적어도 2개의 오디오 신호 중 제1 오디오 신호를 생성하는 것; 제2 위치에서 제2 마이크를 사용하여 적어도 2개의 오디오 신호 중 제2 오디오 신호를 생성하는 것을 포함할 수도 있고, 적어도 2개의 오디오 신호 사이의 상대적 변위는 제1 위치와 제2 위치 사이의 변위이다.
서로 상대적 변위를 갖는 적어도 2개의 오디오 신호를 생성하는 것은: 서로 상대적 변위를 갖는 적어도 2개의 마이크를 포함하는 원격 장치로부터 적어도 2개의 오디오 신호를 수신하는 것; 및 메모리로부터 적어도 2개의 오디오 신호를 수신하는 것 중 적어도 하나를 포함할 수도 있다.
제2 양태에 따르면 한 방법이 제공되는데, 그 방법은: 적어도 2개의 오디오 신호를 수신하는 것; 재생 방향을 결정하는 것; 및 재생 방향에 기초하여 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하는 것을 포함한다.
그 방법은, 적어도 2개의 오디오 신호와 관련되는 캡쳐 방향을 수신하는 것을 더 포함할 수도 있고, 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하는 것은 캡쳐 방향에 추가로 기초한다.
그 방법은: 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호에 대한 오디오 출력 순서를 수신하는 것을 더 포함할 수도 있고, 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하는 것은 오디오 출력 순서에 추가로 기초한다.
적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하는 것은: 재생 방향에 기초하여 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 라우팅하는 것; 및 적어도 2개의 스피커 중 적어도 하나로 출력될 다운믹스된 오디오 신호를 생성하기 위해 적어도 2개의 오디오 신호를 믹싱하는 것 중 적어도 하나를 포함할 수도 있다.
적어도 2개의 스피커는: 라우드스피커; 헤드폰; 헤드셋; 이어피스 세트; 외부 라우드스피커; 및 내장형 핸즈프리 스피커 중 적어도 하나를 포함할 수도 있다.
제3 양태에 따르면 적어도 하나의 프로세서 및 하나 이상의 프로그램에 대한 컴퓨터 코드를 포함하는 적어도 하나의 메모리를 포함하는 한 장치가 제공되며, 적어도 하나의 메모리 및 컴퓨터 코드는, 적어도 하나의 프로세서를 사용하여, 장치로 하여금 적어도: 적어도 2개의 오디오 신호 - 적어도 2개의 오디오 신호는 서로 상대적 변위를 가짐 - 를 생성하게 하도록; 캡쳐 방향을 결정하게 하도록; 적어도 2개의 오디오 신호의 재생이 캡쳐 방향에 기초하여 수행되도록, 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호를 출력하게 하도록 구성된다.
캡쳐 방향을 결정하는 것은 장치로 하여금 디바이스 방향 및 캡쳐 장치에서의 마이크 구성에 관한 정보에 기초하여 오디오 캡쳐 방향을 결정하게 할 수도 있다.
캡쳐 방향은 초기 캡쳐 방향 값일 수도 있고, 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호를 출력하는 것은, 장치로 하여금, 초기 오디오 출력 순서에 따라 적어도 2개의 오디오 신호를 출력하게 할 수도 있다.
그 장치는 또한: 캡쳐 방향과 이전 방향 사이의 차이가 정의된 값보다 더 큰지를 결정하도록; 그리고 적어도 2개의 오디오 신호의 재생이 캡쳐 방향에 기초하여 수행되도록, 적어도 2개의 오디오 신호를 갖는 캡쳐 방향을 추가로 출력하도록 될 수도 있다.
이전 방향은 초기 방향일 수도 있다.
그 장치는 또한: 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호에 대한 오디오 출력 순서를 결정하도록; 그리고 적어도 2개의 오디오 신호의 재생이 오디오 출력 순서에 기초하여 추가로 수행되도록, 적어도 2개의 오디오 신호를 갖는 오디오 출력 순서를 추가로 출력하도록 될 수도 있다.
그 장치는 또한: 캡쳐 방향과 이전 방향 사이의 차이가 정의된 오디오 출력 재순서화 값보다 더 큰지를 결정하도록, 그리고 캡쳐 방향과 이전 방향 사이의 차이가 정의된 오디오 출력 재순서화 값보다 더 큰 경우, 오디오 출력 순서의 결정을 트리거하도록 될 수도 있다.
서로 상대적 변위를 갖는 적어도 2개의 오디오 신호를 생성하는 것은 장치로 하여금: 제1 위치에서 제1 마이크를 사용하여 적어도 2개의 오디오 신호 중 제1 오디오 신호를 생성하게 하고; 제2 위치에서 제2 마이크를 사용하여 적어도 2개의 오디오 신호 중 제2 오디오 신호를 생성하게 할 수도 있고, 적어도 2개의 오디오 신호 사이의 상대적 변위는 제1 위치와 제2 위치 사이의 변위이다.
서로 상대적 변위를 갖는 적어도 2개의 오디오 신호를 생성하는 것은 장치로 하여금: 서로 상대적 변위를 갖는 적어도 2개의 마이크를 포함하는 원격 장치로부터 적어도 2개의 오디오 신호를 수신하는 것; 및 메모리로부터 적어도 2개의 오디오 신호를 수신하는 것 중 적어도 하나를 수행하게 할 수도 있다.
제4 양태에 따르면 적어도 하나의 프로세서 및 하나 이상의 프로그램에 대한 컴퓨터 코드를 포함하는 적어도 하나의 메모리를 포함하는 한 장치가 제공되며, 적어도 하나의 메모리 및 컴퓨터 코드는, 적어도 하나의 프로세서를 사용하여, 장치로 하여금: 적어도 2개의 오디오 신호를 수신하게 하도록; 재생 방향을 결정하게 하도록; 재생 방향에 기초하여 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하게 하도록 구성된다.
그 장치는 또한, 적어도 2개의 오디오 신호와 관련되는 캡쳐 방향을 수신하도록 될 수도 있고, 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하는 것은 캡쳐 방향에 추가로 기초한다.
그 장치는 또한: 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호에 대한 오디오 출력 순서를 수신하도록 될 수도 있고, 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하는 것은 오디오 출력 순서에 추가로 기초한다.
적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하는 것은 장치로 하여금: 재생 방향에 기초하여 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 라우팅하는 것; 및 적어도 2개의 스피커 중 적어도 하나로 출력될 다운믹스된 오디오 신호를 생성하기 위해 적어도 2개의 오디오 신호를 믹싱하는 것 중 적어도 하나를 수행하게 할 수도 있다.
적어도 2개의 스피커는: 라우드스피커; 헤드폰; 헤드셋; 이어피스 세트; 외부 라우드스피커; 및 내장형 핸즈프리 스피커 중 적어도 하나를 포함한다.
제5 양태에 따르면 한 장치가 제공되는데, 그 장치는: 적어도 2개의 오디오 신호 - 적어도 2개의 오디오 신호는 서로 상대적 변위를 가짐 - 를 생성하기 위한 수단; 캡쳐 방향을 결정하기 위한 수단; 및 적어도 2개의 오디 신호의 재생이 캡쳐 방향에 기초하여 수행되도록, 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호를 출력하기 위한 수단을 포함한다.
캡쳐 방향을 결정하기 위한 수단은 디바이스 방향 및 캡쳐 장치에서의 마이크 구성에 관한 정보에 기초하여 오디오 캡쳐 방향을 결정하기 위한 수단을 포함할 수도 있다.
캡쳐 방향은 초기 캡쳐 방향 값일 수도 있고, 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호를 출력하기 위한 수단은, 초기 오디오 출력 순서에 따라 적어도 2개의 오디오 신호를 출력하기 위한 수단을 포함할 수도 있다.
그 장치는: 캡쳐 방향과 이전 방향 사이의 차이가 정의된 값보다 더 큰지를 결정하기 위한 수단; 및 적어도 2개의 오디오 신호의 재생이 캡쳐 방향에 기초하여 수행되도록, 적어도 2개의 오디오 신호를 갖는 캡쳐 방향을 추가로 출력하기 위한 수단을 더 포함할 수도 있다.
이전 방향은 초기 방향일 수도 있다.
그 장치는: 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호에 대한 오디오 출력 순서를 결정하기 위한 수단; 및 적어도 2개의 오디오 신호의 재생이 오디오 출력 순서에 기초하여 추가로 수행되도록, 적어도 2개의 오디오 신호를 갖는 오디오 출력 순서를 추가로 출력하기 위한 수단을 더 포함할 수도 있다.
그 장치는 또한: 캡쳐 방향과 이전 방향 사이의 차이가 정의된 오디오 출력 재순서화 값보다 더 큰지를 결정하기 위한 수단, 및 캡쳐 방향과 이전 방향 사이의 차이가 정의된 오디오 출력 재순서화 값보다 더 큰 경우, 오디오 출력 순서의 결정을 트리거하기 위한 수단을 더 포함할 수도 있다.
서로 상대적 변위를 갖는 적어도 2개의 오디오 신호를 생성하기 위한 수단은: 제1 위치에서 제1 마이크를 사용하여 적어도 2개의 오디오 신호 중 제1 오디오 신호를 생성하기 위한 수단; 제2 위치에서 제2 마이크를 사용하여 적어도 2개의 오디오 신호 중 제2 오디오 신호를 생성하기 위한 수단을 포함할 수도 있고, 적어도 2개의 오디오 신호 사이의 상대적 변위는 제1 위치와 제2 위치 사이의 변위이다.
서로 상대적 변위를 갖는 적어도 2개의 오디오 신호를 생성하기 위한 수단은: 서로 상대적 변위를 갖는 적어도 2개의 마이크를 포함하는 원격 장치로부터 적어도 2개의 오디오 신호를 수신하기 위한 수단; 및 메모리로부터 적어도 2개의 오디오 신호를 수신하기 위한 수단 중 적어도 하나를 포함할 수도 있다.
제6 양태에 따르면 한 장치가 제공되는데, 그 장치는: 적어도 2개의 오디오 신호를 수신하기 위한 수단; 재생 방향을 결정하기 위한 수단; 및 재생 방향에 기초하여 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하기 위한 수단을 포함한다.
그 장치는, 적어도 2개의 오디오 신호와 관련되는 캡쳐 방향을 수신하기 위한 수단을 더 포함할 수도 있고, 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하기 위한 수단은 캡쳐 방향에 추가로 기초한다.
그 장치는: 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호에 대한 오디오 출력 순서를 수신하기 위한 수단을 더 포함할 수도 있고, 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하기 위한 수단은 오디오 출력 순서에 추가로 기초할 수도 있다.
적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하기 위한 수단은: 재생 방향에 기초하여 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 라우팅하기 위한 수단; 및 적어도 2개의 스피커 중 적어도 하나로 출력될 다운믹스된 오디오 신호를 생성하기 위해 적어도 2개의 오디오 신호를 믹싱하기 위한 수단 중 적어도 하나를 포함할 수도 있다.
적어도 2개의 스피커는: 라우드스피커; 헤드폰; 헤드셋; 이어피스 세트; 외부 라우드스피커; 및 내장형 핸즈프리 스피커 중 적어도 하나를 포함한다.
제7 양태에 따르면 한 장치가 제공되는데, 그 장치는: 적어도 2개의 오디오 신호 - 적어도 2개의 오디오 신호는 서로 상대적 변위를 가짐 - 를 수신하도록 구성된 입력부; 디바이스 방향 및 캡쳐 장치에서의 마이크 구성에 관한 정보에 기초하여 오디오 캡쳐 방향을 결정하도록 구성된 방향 센서 결정기; 및 적어도 2개의 오디오 신호의 재생이 캡쳐 방향에 기초하여 수행되도록, 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호를 출력하도록 구성된 오디오 출력 생성기를 포함한다.
캡쳐 방향은 초기 캡쳐 방향 값일 수도 있고, 오디오 출력 생성기는, 초기 오디오 출력 순서에 따라 적어도 2개의 오디오 신호를 출력하도록 구성될 수도 있다.
그 장치는: 캡쳐 방향과 그 이전의 방향 사이의 차이가 정의된 값보다 더 큰지를 결정하도록 구성된 방향 비교기; 및 적어도 2개의 오디오 신호의 재생이 캡쳐 방향에 기초하여 수행되도록, 적어도 2개의 오디오 신호를 갖는 캡쳐 방향을 추가로 출력하도록 구성된 오디오 방향 신호 생성기를 더 포함할 수도 있다.
이전 방향은 초기 방향일 수도 있다.
오디오 출력 생성기는, 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호에 대한 오디오 출력 순서를 결정하도록 구성될 수도 있고; 또한 적어도 2개의 오디오 신호의 재생이 오디오 출력 순서에 기초하여 추가로 수행되도록, 적어도 2개의 오디오 신호를 갖는 오디오 출력 순서를 출력하도록 추가적으로 구성될 수도 있다.
그 장치는: 캡쳐 방향과 이전 방향 사이의 차이가 정의된 오디오 출력 재순서화 값보다 더 큰지를 결정하도록 구성되며, 또한 캡쳐 방향과 이전 방향 사이의 차이가 정의된 오디오 출력 재순서화 값보다 더 큰 경우, 오디오 출력 순서의 결정을 트리거하도록 추가적으로 구성된 방향 비교기를 포함할 수도 있다.
입력은 제1 위치에서 적어도 2개의 오디오 신호 중 제1 오디오 신호를 생성하도록 구성된 제1 마이크; 및 제2 위치에서 제2 마이크를 사용하여 적어도 2개의 오디오 신호 중 제2 오디오 신호를 생성하도록 구성된 제2 마이크에 커플링되고, 적어도 2개의 오디오 신호 사이의 상대적 변위는 제1 위치 및 제2 위치 사이의 변위이다.
입력은: 서로 상대적 변위를 갖는 적어도 2개의 마이크를 포함하는 원격 장치로부터 적어도 2개의 오디오 신호를 수신하도록 구성된 입력부; 및 메모리로부터 적어도 2개의 오디오 신호를 수신하도록 구성된 입력 중 적어도 하나를 포함한다.
제8 형태에 따르면, 한 장치가 제공되는데, 그 장치는: 적어도 2개의 오디오 신호를 수신하도록 구성된 입력부; 재생 방향을 결정하도록 구성된 채널 선택기; 및 재생 방향에 기초하여 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하도록 구성된 채널 스위치를 포함한다.
채널 선택기는 또한, 적어도 2개의 오디오 신호와 관련되는 캡쳐 방향을 수신하도록 그리고 캡쳐 방향에 기초하여 재생 방향을 결정하도록 구성되고, 채널 스위치가 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하는 것은 캡쳐 방향에 추가로 기초한다.
채널 선택기는 또한, 캡쳐 방향에 기초하여 적어도 2개의 오디오 신호에 대한 오디오 출력 순서를 수신하도록, 적어도 2개의 오디오 신호에 대한 오디오 출력 순서 및 캡쳐 방향에 기초하여 재생 방향을 결정하도록 구성되고, 채널 스위치가 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 출력하도록 구성되는 것은 오디오 출력 순서에 추가로 기초할 수도 있다.
채널 스위치는: 재생 방향에 기초하여 적어도 2개의 오디오 신호를 적어도 2개의 스피커로 라우팅하도록 구성된 라우터; 및 적어도 2개의 스피커 중 적어도 하나로 출력될 다운믹스된 오디오 신호를 생성하기 위해, 적어도 2개의 오디오 신호를 믹싱하도록 구성된 믹서 중 적어도 하나를 포함할 수도 있다.
적어도 2개의 스피커는: 라우드스피커; 헤드폰; 헤드셋; 이어피스 세트; 외부 라우드스피커; 및 내장형 핸즈프리 스피커 중 적어도 하나를 포함한다.
매체 상에 저장되는 컴퓨터 프로그램 제품은, 장치로 하여금, 본원에서 설명되는 바와 같은 방법을 수행하게 할 수도 있다.
전자 디바이스는 본원에서 설명되는 바와 같은 장치를 포함할 수도 있다.
칩셋은 본원에서 설명되는 바와 같은 장치를 포함할 수도 있다.
본 출원의 실시형태는 최신 기술과 관련된 문제점을 해결하는 것을 목표로 한다.
본 출원의 더 나은 이해를 위해, 이제, 첨부된 도면을 예로서 참조할 것인데, 도면에서:
도 1은 몇몇 실시형태에서 활용되기에 적합한 장치를 개략적으로 도시한다;
도 2는 몇몇 실시형태에 따른 예시적인 오디오 캡쳐 또는 레코딩 장치를 개략적으로 도시한다;
도 3은 몇몇 실시형태에 따른 도 2에 도시된 오디오 캡쳐 또는 레코딩 장치의 동작의 흐름도를 개략적으로 도시한다;
도 4는 몇몇 실시형태에 따른 도 2에 도시된 오디오 캡쳐 또는 레코딩 장치의 추가 동작의 추가 흐름도를 개략적으로 도시한다;
도 5는 몇몇 실시형태에 따른 예시적인 오디오 재생 장치를 개략적으로 도시한다;
도 6은 몇몇 실시형태에 따른 도 5에 도시된 오디오 재생 장치의 동작의 흐름도를 개략적으로 도시한다;
도 7은 몇몇 실시형태에 따른 도 5에 도시된 오디오 재생 장치의 추가 동작의 추가 흐름도를 개략적으로 도시한다;
도 8 내지 도 11은 몇몇 실시형태에 따른 예시적인 3개의 마이크 캡쳐 장치와 3개의 스피커 재생 장치의 90도 회전에 대한 방향 조합을 도시한다;
도 12 내지 도 15은 몇몇 실시형태에 따른 예시적인 2개의 마이크 캡쳐 장치와 2개의 스피커 재생 장치의 90도 회전에 대한 방향 조합을 도시한다;
도 16 내지 도 19는 몇몇 실시형태에 따른 예시적인 2개의 마이크 캡쳐 장치와 3개의 스피커 재생 장치의 90도 회전에 대한 방향 조합을 도시한다;
도 20 내지 도 23은 몇몇 실시형태에 따른 예시적인 3개의 마이크 캡쳐 장치와 2개의 스피커 재생 장치의 90도 회전에 대한 방향 조합을 도시한다;
도 24는 몇몇 실시형태에 따른 예시적인 8개의 마이크 캡쳐 장치와 예시적인 8개의 스피커 재생 장치의 구성을 개략적으로 도시한다;
도 25는 몇몇 실시형태에 따른 예시적인 3개의 마이크 캡쳐 장치 구성을 개략적으로 도시한다;
도 26은 몇몇 실시형태에 따른 임의의 방향을 감지하는 오디오 레코딩 및 재생 시스템의 동작의 흐름도를 개략적으로 도시한다;
도 27은 몇몇 실시형태에 따른 수평 및 수직 방향을 감지하는 오디오 레코딩 및 재생 시스템의 동작의 흐름도를 개략적으로 도시한다;
도 28은 몇몇 실시형태에 따른 4분위의 방향(quartile orientation)을 감지하는 오디오 레코딩 및 재생 시스템의 동작의 흐름도를 개략적으로 도시한다.
실시형태
예를 들면, 무선 통신 링크를 통해 동작하는 오디오-비디오 캡쳐 및 재생 장치 내에서 효과적인 음장 레코딩 및 재생을 제공하기 위한 적절한 장치 및 가능한 메커니즘을 하기에 상세히 설명한다. 하기의 예에서, 오디오 캡쳐 및 재생이 설명된다. 그러나, 몇몇 실시형태에서, 그것은 오디오-비디오 시스템의 오디오 캡쳐 및 재생부일 것이다.
본원에서 설명되는 바와 같이, 모바일 디바이스 또는 장치는, 모바일 디바이스 또는 장치를 둘러싸는 오디오 환경 또는 오디오 장면(audio scene)을 레코딩하거나 캡쳐하는 데 적합한 다수의 마이크 구성 또는 마이크 어레이를 장착하는 것이 점점 더 일반화되고 있다. 다수의 마이크 구성은 스테레오 또는 서라운드 사운드 신호의 레코딩을 가능하게 한다.
그러나, 이러한 모바일 디바이스 또는 장치(예컨대 스마트폰)는 마이크의 수와 그 위치 둘 다에서 제한된다. 추가적인 마이크가 사이즈 및 제조 비용을 증가시키기 때문에, 현재의 설계는 상이한 애플리케이션에 대해 마이크를 "재사용"한다. 예를 들면, '하부' 및 '상부' 끝에 있는 마이크 위치는 전화기의 휴대형 전화 애플리케이션에서 스피치 및 참조 노이즈를 픽업하는 데 활용될 수 있고 이들 마이크는 비디오/오디오 레코딩 애플리케이션에서 재사용될 수 있다.
마찬가지로, 모바일 디바이스 또는 장치는, 적절한 오디오 환경 또는 오디오 장면을 스테레오 또는 다채널 오디오 포맷으로 생성하는 데 적합한 다수의 스피커 구성을 구비하는 것이 점점 더 일반화되고 있다. 그러나, 이러한 모바일 디바이스 또는 장치(예컨대 스마트폰)는 마이크의 수와 그 위치 둘 다에서 또한 제한된다. 추가적인 스피커가 사이즈 및 제조 비용을 증가시키기 때문에, 마이크에 대한 것과 유사한 제약사항이 존재한다.
따라서, 모바일 디바이스가 오디오를 캡쳐하기 위해 사용되는 경우, 디바이스의 방향은 캡쳐되는 오디오의 품질에 큰 영향을 끼친다. 예를 들면, 폰에 대한 한 방향(예컨대 마이크의 위치로 인해 수평 또는 수평 방향)에서만 스테레오 오디오를 캡쳐할 수 있는 스테레오 대응 디바이스는, 디바이스의 방향 변경이 캡쳐되는 스테레오 오디오 신호의 방향도 변경할 것이라는 것을 의미할 것이다.
예를 들면, (예를 들면, 화상 통화 동안) 비디오 및 오디오를 캡쳐할 때, 사용자는 가끔은 세로 방향(portrait orientation)에서 그리고 가끔은 가로 방향(landscape orientation)에서 비디오를 캡쳐하기를 선호하고, 그리고 동일한 통화 동안에도 이들 사이에서 전환할 수도 있다. 이것은, 재생 또는 렌더링 디바이스가 오디오 캡쳐 디바이스의 방향을 인식하지 못할 때 문제를 야기할 수 있고 스테레오 오디오 신호의 정확한 재생을 방해할 수도 있다. 따라서, 이것은 수신단(receiving end)에서의 오디오 품질을 저하시킬 수 있다.
캡쳐 디바이스와 매치시키기 위해 수신측이 재생 디바이스를 수동으로 회전시킬 필요 없이, 캡쳐된 비디오 이미지가 통화 동안 수신기(receiver)에서 정확한 방향으로 재생되는 것을 보장하기 위해, 비디오 캡쳐 동안 비디오 캡쳐 디바이스의 방향을 시그널링하는 솔루션이 제안되어 있다. 또한, 재생 디바이스에서 또는 수신기측에서 캡쳐된 비디오를 새로운 방향으로 회전시키는 것은 상대적으로 간단한 작업인데, 그 이유는 회전에 필요한 모든 정보가 캡쳐된 비디오 신호에 존재하기 때문이다. 그러나, 오디오의 캡쳐/렌더링은 통상적으로 (제한된 수의 마이크/스피커 및 디바이스 상에서의 그들의 제한된 위치로 인해) 소정의 방향으로 제한되며 따라서 재생 디바이스에서 캡쳐된 오디오 신호의 "자유로운" 회전을 가능하게 하지 못할 수도 있다.
또한, GSMA Rich Communications Suite (RCS) 5.1을 사용한 미래의 디바이스에서의 비디오 방향의 수정은 오디오 방향(즉, 캡쳐된 오디오 신호의 방향)을 적절히 수정하지 못하고 상황을 더 악화시킬 수 있는데, 제안된 수정 방법이 동기화가 벗어난 오디오 및 비디오 방향으로 귀결될 수도 있기 때문이다(예를 들면, 스크린의 위에 있는 것으로 나타난 사운드 소스는 스크린의 우측 또는 좌측에 위치된 스피커로부터 재생되거나, 또는 스크린의 좌측에 있는 사운드 소스는 스크린의 우측으로부터 재생된다).
따라서, 본원에서 더 상세히 설명되는 바와 같은 개념은, 마이크의 수를 최소화하면서 그리고 마이크 위치결정에서의 제약들을 고려하면서, 소망의 레코딩 거리에 대해 오디오 레코딩 시스템이 최적의 픽업 및 스테레오 이미징을 제공하는 것이다.
본원에서 더 상세히 설명되는 바와 같은 개념은, 재생 또는 렌더링(수신용) 디바이스의 스피커(또는 헤드폰 또는 외부 라우드스피커)의 사용을 레코딩 또는 캡쳐용(전송용) 디바이스에서의 마이크의 사용에 맞추기 위한 솔루션을 제공하는 것이다.
이것은 몇몇 실시형태에서 오디오 레코딩(캡쳐)의 방향을 전송 디바이스에서 수신 디바이스로 시그널링하는 것에 의해 달성된다. 시그널링은 몇몇 실시형태에서 오디오 데이터의 일부로서 수행될 수 있고 송신의 전체에 걸쳐 또는 오디오 캡쳐의 방향이 변할 때에만 또는 디폴트 방향이 아닌 방향에서 오디오 캡쳐가 수행될 때(예컨대 스테레오 오디오에 대한 수직 캡쳐)에만 전송되는 추가 정보로서 전송될 수 있다.
본원에서 더 상세히 설명되는 바와 같은 몇몇 실시형태에서, 그 개념은, 캡쳐 디바이스와 렌더링 디바이스 사이에 오디오 방향의 불일치가 발생하는 경우 렌더링 디바이스에서 최상의 가능한 오디오 품질을 제공하기 위한 장치 및 방법으로 확장한다.
본원에서 설명되는 바와 같이, (전송측에서의) 오디오 캡쳐 디바이스의 방향은 중력 센서를 사용하는 것에 의해 그리고 디바이스의 오디오 캡쳐 특성의 지식(다시 말하면, 어떤 디바이스 방향에 대해 어떤 마이크가 사용되는지에 관한 지식과 함께 마이크의 수와 그 위치)을 갖는 것에 의해 검출된다는 것이 이해될 것이다. 몇몇 실시형태에서, 오디오 방향을 시그널링하는 것의 포함은 실시간 프로토콜(Real Time Protocol; RTP) 헤더 확장을 사용하는 것에 의해 수행될 수 있다.
이와 관련하여, 오디오 신호를 레코딩하거나(또는 캡처 장치로서 동작하거나) 또는 재생(또는 렌더링 장치로서 동작)하는 데에 사용될 수 있는 예시적인 장치 또는 전자 디바이스(10)의 개략적인 블록도를 도시하는 도 1에 대한 언급이 우선 행해진다.
전자 디바이스(10)는 예컨대 레코딩 장치 또는 청취 장치로서 기능하는 경우 무선 통신 시스템의 모바일 단말 또는 사용자 장비일 수 있다. 몇몇 실시예에서 그 장치는 오디오 플레이어(audio player) 또는 오디오 레코더(audio recorder)(이를테면 MP3 플레이어와 같은 것), 미디어 레코더/플레이어(MP4 플레이어라고도 알려짐), 또는 오디오를 레코드하기에 적합한 임의의 적합한 휴대가능 장치 또는 오디오/비디오 캠코더/메모리 오디오 또는 비디오 레코더일 수 있다.
장치(10)는 몇몇 실시예에서 오디오-비디오 서브시스템을 포함할 수 있다. 오디오-비디오 서브시스템은 예컨대 몇몇 실시예에서 오디오 신호 캡처를 위한 마이크 또는 마이크의 어레이(11)를 포함할 수 있다. 몇몇 실시예에서 마이크 또는 마이크의 어레이는 솔리드 스테이트(solid state) 마이크, 다시 말해 오디오 신호를 캡처하는 것 및 적합한 디지털 포맷 신호를 출력하는 것 즉 아날로그 디지털 컨버터(analogue-to-digital converter)를 요구하지 않는 것이 가능할 수 있다. 몇몇 다른 실시예에서 마이크 또는 마이크의 어레이(11)는 임의의 적합한 마이크 또는 오디오 캡처 수단, 예컨대 콘덴서 마이크(condenser microphone), 커패시터 마이크(capacitor microphone), 정전형 마이크(electrostatic microphone), 일렉트릿 콘덴서 마이크(Electret condenser microphone), 다이나믹 마이크(dynamic microphone), 리본 마이크(ribbon microphone), 탄소 마이크(carbon microphone), 압전 마이크(piezoelectric microphone), 또는 마이크로 전자기계 시스템(Micro Electrical-Mechanical System: MEMS) 마이크를 포함할 수 있다. 마이크(11) 또는 마이크의 어레이는 몇몇 실시예에서 오디오 캡처된 신호를 아날로그 디지털 컨버터(Analogue-to-Digital Converter: ADC)(14)에 출력할 수 있다.
몇몇 실시예에서 그 장치는 마이크로부터 아날로그 캡처된 오디오 신호를 수신하고 오디오 캡처된 신호를 적합한 디지털 형태로 출력하도록 구성된 아날로그 디지털 컨버터(Analogue-to-Digital Converter: ADC)(14)를 더 포함할 수 있다. 아날로그 디지털 컨버터(14)는 임의의 적합한 아날로그 디지털 변환 또는 처리 수단일 수 있다. 마이크가 '집적된'(integrated) 마이크인 몇몇 실시예에서 마이크는 오디오 신호 생성 및 아날로그 디지털 변환 능력 양자 모두를 포함한다.
몇몇 실시예에서 장치(10) 오디오-비디오 서브시스템은 프로세서(21)로부터의 디지털 오디오 신호를 적합한 아날로그 포맷으로 변환하기 위한 디지털 아날로그 컨버터(digital-to-analogue converter)(32)를 더 포함한다. 디지털 아날로그 컨버터(Digital-to-Analogue Converter: DAC) 또는 신호 처리 수단(32)은 몇몇 실시예에서 임의의 적합한 DAC 기술일 수 있다.
나아가 오디오-비디오 서브시스템은 몇몇 실시예에서 스피커(33)를 포함할 수 있다. 스피커(33)는 몇몇 실시예에서 디지털 아날로그 컨버터(32)로부터 출력을 수신하고 아날로그 오디오 신호를 사용자에게 제시할(present) 수 있다. 몇몇 실시예에서 스피커(33)는 멀티스피커 배열(multi-speaker arrangement), 헤드셋(headset), 예컨대 헤드폰의 세트, 또는 무선형(cordless) 헤드폰을 나타낼 수 있다.
몇몇 실시예에서 그 장치 오디오-비디오 서브시스템은 프로세서(21)에 이미지 데이터를 공급하도록 구성된 카메라(51) 또는 이미지 캡처링 수단을 포함한다. 몇몇 실시예에서 카메라는 비디오 스트림(video stream)을 제공하기 위해 시간에 걸쳐 다수의 이미지를 제공하도록 구성될 수 있다.
몇몇 실시예에서 그 장치 오디오-비디오 서브시스템은 디스플레이(52)를 포함한다. 디스플레이 또는 이미지 디스플레이 수단은 그 장치의 사용자가 볼 수 있는 시각적 이미지를 출력하도록 구성될 수 있다. 몇몇 실시예에서 디스플레이는 그 장치에 입력 데이터를 공급하기에 적합한 터치 스크린 디스플레이일 수 있다. 디스플레이는 임의의 적합한 디스플레이 기술일 수 있는데, 예컨대 디스플레이는 LCD, LED, OLED 또는 '플라즈마' 디스플레이 구현의 셀을 포함하는 평판(flat panel)에 의해 구현될 수 있다.
장치(10)가 오디오/비디오 캡처 및 오디오/비디오 제시(presentation) 컴포넌트들 양자 모두를 가지는 것으로 도시되나, 몇몇 실시예에서 장치(10)는 그 장치의 몇몇 실시예에서 (오디오 캡처를 위한) 마이크 또는 (오디오 재생 또는 제시를 위한) 스피커가 존재하도록 오디오 서브시스템의 오디오 캡처 또는 오디오 제시 부분들만을 포함할 수 있음이 이해될 것이다.
몇몇 실시예에서 장치(10)는 프로세서(21)를 포함한다. 프로세서(21)는 오디오-비디오 서브시스템에, 그리고 특히 몇몇 예에서는 마이크(11)로부터의 오디오 신호를 나타내는 디지털 신호를 수신하기 위해 아날로그 디지털 컨버터(14)에, 처리된 디지털 오디오 신호를 출력하도록 구성된 디지털 아날로그 컨버터(Digital-To-Analogue Converter: DAC)(12)에, 비디오 신호를 나타내는 디지털 신호를 수신하기 위해 카메라(51)에, 그리고 프로세서(21)로부터의 처리된 디지털 비디오 신호를 출력하도록 구성된 디스플레이(52)에 커플링된다(coupled).
프로세서(21)는 다양한 프로그램 코드를 실행하도록 구성될 수 있다. 구현된 프로그램 코드는, 본원에서 설명되는 바와 같은 몇몇 실시예에 따른, 예컨대 오디오 레코딩 및 오디오 제시 루틴들을 포함할 수 있다. 몇몇 실시예에서 프로그램 코드는 오디오 신호 처리를 수행하도록 구성될 수 있다.
몇몇 실시예에서 장치는 메모리(22)를 더 포함한다. 몇몇 실시예에서 프로세서는 메모리(22)에 커플링된다. 메모리는 임의의 적합한 저장 수단일 수 있다. 몇몇 실시예에서 메모리(22)는 프로세서(21) 상에서 구현가능한 프로그램 코드를 저장하기 위한 프로그램 코드 섹션(program code section)(23)을 포함한다. 나아가 몇몇 실시예에서 메모리(22)는 데이터, 예컨대 적용에 따라 인코딩된 데이터 또는 이후에 기술되는 바와 같은 적용 실시예를 통하여 인코딩될 데이터를 저장하기 위한 저장된 데이터 섹션(stored data section)(24)을 더 포함할 수 있다. 프로그램 코드 섹션(23) 내에 저장된 구현된 프로그램 코드 및 저장된 데이터 섹션(24) 내에 저장된 데이터는 메모리-프로세서 커플링을 통하여 필요할 때마다 프로세서(21)에 의해 색출될(retrieved) 수 있다.
몇몇 추가 실시예에서 장치(10)는 사용자 인터페이스(15)를 포함할 수 있다. 사용자 인터페이스(15)는 몇몇 실시예에서 프로세서(21)에 커플링될 수 있다. 몇몇 실시예에서 프로세서는 사용자 인터페이스의 동작을 제어하고 사용자 인터페이스(15)로부터 입력을 수신할 수 있다. 몇몇 실시예에서 사용자 인터페이스(15)는 사용자가, 예컨대 키패드(keypad)를 통하여, 전자 디바이스 또는 장치(10)에 명령을 입력하는 것 및/또는, 예컨대 사용자 인터페이스(15)의 일부인 디스플레이를 통하여, 장치(10)로부터 정보를 획득하는 것을 가능하게 할 수 있다. 사용자 인터페이스(15)는 본 문서에 기술된 바와 같은 몇몇 실시예에서 정보가 장치(10)에 입력될 수 있게 하는 것 및 추가로 장치(10)의 사용자에게 정보를 디스플레이하는 것 양자 모두가 가능한 터치 스크린 또는 터치 인터페이스를 포함할 수 있다.
몇몇 실시예에서 그 장치는 송수신기(transceiver)(13)를 더 포함하는데, 송수신기는 그러한 실시예에서 프로세서에 커플링되고, 예컨대 무선 통신 네트워크를 통하여, 다른 장치 또는 전자 디바이스와의 통신을 가능하게 하도록 구성될 수 있다. 송수신기(13) 또는 임의의 적합한 송수신기 또는 송신기 및/또는 수신기 수단은 몇몇 실시예에서 유선 또는 배선된 커플링을 통하여 다른 전자 디바이스 또는 장치와 통신하도록 구성될 수 있다.
송수신기(13)는 임의의 적합한 알려진 통신 프로토콜에 의해 추가의 장치와 통신할 수 있는데, 예컨대 몇몇 실시예에서 송수신기(13) 또는 송수신기 수단은 적합한 범용 모바일 전기통신 시스템(Universal Mobile Telecommunications System: UMTS) 프로토콜, 예컨대 IEEE 802.X와 같은 무선 로컬 영역 네트워크(Wireless Local Area Network: WLAN) 프로토콜, 적합한 단거리 무선 주파수 통신(short-range radio frequency communication) 프로토콜, 이를테면 블루투스(Bluetooth), 또는 적외선 데이터 통신 경로(IRDA)를 사용할 수 있다.
몇몇 실시예에서 그 장치는 장치(10)의 포지션을 추정하도록 구성된 포지션 센서(position sensor)(16)를 포함한다. 포지션 센서(16)는 몇몇 실시예에서 GPS(Global Positioning System), GLONASS 또는 갈릴레오(Galileo) 수신기와 같은 위성 측위 센서(satellite positioning sensor)일 수 있다.
몇몇 실시예에서 그 측위 센서(positioning sensor)는 셀룰러 ID 시스템 또는 지원형 GPS(assisted GPS) 시스템일 수 있다.
몇몇 실시예에서 장치(10)는 방향 또는 배향 센서를 더 포함한다. 배향/방향 센서는 몇몇 실시예에서 전자 나침반(electronic compass), 가속도계(accelerometer) 및 자이로스코프(gyroscope) 또는 중력 센서이거나 측위 추정치(positioning estimate)를 사용하여 장치의 움직임에 의해 결정될 수 있다.
전자 디바이스(10)의 구조가 많은 방식으로 보충되고 달라질 수 있다는 점이 또 이해되어야 한다.
도 2와 관련하여, 예시적인 오디오 캡쳐 또는 레코딩 장치 구성이 몇몇 실시형태에 따라 도시된다. 또한 도 3 및 도 4와 관련하여, 도 2에 도시된 오디오 캡쳐 또는 레코딩 장치의 몇몇 실시형태의 동작이 더 상세히 도시된다.
몇몇 실시형태에서, 장치는 음파를 레코딩하거나 캡쳐하도록 그리고 오디오 캡쳐 장치로 전달되거나 입력될 수 있는 오디오 신호를 각 마이크에 대해 생성하도록 구성된 마이크의 어레이(11)를 포함한다. 본원에서 설명되는 바와 같이, 몇몇 실시형태에서, 마이크(11)는 아날로그 디지털 컨버터(ADC)(14)에 의해 디지털 포맷으로 변환되는 아날로그 신호를 출력하도록 구성된다. 그러나, 본원의 예에서 도시되는 마이크는 마이크 순서 생성기(microphone order generator; 103)로 디지털 포맷을 직접적으로 출력하도록 구성된 통합형 마이크이다.
본원에서 도시되는 예에서는, N개의 마이크가 존재한다. 이들 마이크는, 몇몇 실시형태에서, 임의의 적절한 방식으로 정렬될 수도 있다. 그러나, 예시적인 마이크 구성은, 장치에 걸쳐 3개의 마이크가 분포되는 도 25와 관련하여 도시될 수 있다. 도 25에 도시된 바와 같이, 장치는 3개의 마이크를 포함한다. 제1 마이크(우측 마이크)(111) 및 제2 마이크(좌측 마이크)(112)는, 디바이스의 전면(front)으로 본원에서 칭해지는, 장치의 카메라와 동일한 쪽 상의 동일한 '수직' 평면 상에 위치된다. 또한, 장치는, 카메라를 포함하는 앞쪽과는 반대쪽 상의 동일한 또는 유사한 수평면 상에 위치되는 제3 마이크(좌측 후방 마이크)(113)를 포함한다. 다시 말하면, 사용시 보통 사용자와 면하게 되는 디스플레이 반대쪽 상에 카메라가 위치되는 종래의 사용에서는, 좌측 후방 마이크(113)는 전통적인 음성 통화 마이크이고, 제1 및 제2 마이크는 음성 통화 오디오 신호에 대해 노이즈 감소 또는 소거를 적용하기 위해 '노이즈'를 캡쳐하도록 구성되는 노이즈 감소 마이크이다.
도 25에 도시된 예에서는, 3개의 마이크가 존재하지만, 몇몇 실시형태에서는, 3개보다 더 많은 또는 더 적은 마이크가 존재할 수 있고 마이크는 장치 상에서 임의의 적절한 방식으로 정렬되거나 위치될 수 있다는 것이 이해될 것이다. 예를 들면, 도 24는, 8개의 마이크가 장치의 표면 상에서 정의된 원 둘레에서 45° 각도로 위치되는 8개의 마이크 구성을 도시한다. 따라서, 예를 들면, 제1 마이크는 0°에 위치되고, 제2 마이크는 45°에, 제3 마이크는 90°에, 제4 마이크는 135°에, 제5 마이크는 180°에, 제6 마이크는 225°에, 그리고 제7 마이크는 270°에, 그리고 제8마이크는 315°에 위치된다. 멀티 마이크 구성은 장치 상의 비평탄면 상에 위치될 수도 있거나 또는 장치의 하나보다 많은 표면/면으로 확산될 수도 있다.
또한, 도2, 및 도 24와 도 25에 도시된 바와 같이, 마이크는 장치의 일부이지만, 몇몇 실시형태에서, 마이크 또는 마이크 어레이는 장치로부터 물리적으로 분리된다는 것, 예를 들면, 마이크 어레이가, 처리를 위해 오디오 신호를 장치로 무선으로 또는 그 밖의 방식으로 전달하는 헤드셋 상에 위치될 수 있다는 것(이 경우, 옵션적으로는, 헤드셋은 관련 비디오 카메라를 구비할 수 있다)이 이해될 것이다. 또한, 오디오 신호가 마이크에 의해 실시간으로 생성된다는 것, 다시 말하면, 서로 상대적 변위를 갖는 적어도 2개의 오디오 신호가 생성된다는 것이 이해될 것이지만, 몇몇 실시형태에서, 이들 오디오 신호는 저장 디바이스 또는 메모리로부터 수신되는 것으로 이해될 수 있다. 예를 들면, 몇몇 실시형태에서, 오디오 신호를 '생성하는 것'은 (예를 들면, 오프라인 신호 처리 애플리케이션에서) 레코딩된 또는 저장된 오디오 신호로부터 유래될 수 있다.
오디오 신호를 수신하거나 생성하는 동작은 도 3 및 도 4에서 단계 201에 의해 도시된다.
몇몇 실시형태에서, 장치는 중력/방향 센서(16)를 포함한다. 본원에서 설명되는 바와 같이, 중력/방향 센서(16)는, 장치 방향을 정의된 레벨과 관련하여 나타내는 신호 또는 값을 생성하기 위한 임의의 적절한 디바이스 또는 수단일 수 있다. 하기의 예에서, 중력/방향 센서(16)는 수직 평면 및 레벨과 관련하여 장치의 값을 생성하거나 값을 정의한다.
그러나, 몇몇 실시형태에서, 중력/방향 센서(16)는 하나보다 많은 평면에서 방향을 결정하도록, 다시 말하면, 롤, 피치 및 요(yaw) 회전 값을 결정하도록 구성된다는 것이 이해될 것이다. 또한, 본원에서 설명되는 바와 같은 실시형태가 수평 평면에 관한 롤 방향의 구현 또는 사용을 설명하지만, 유사한 방법이 피치(pitch) 및 요(yaw) 회전 또는 이들 중 적어도 2개의 조합에 적용될 수 있다는 것이 이해될 것이다.
방향 정보를 수신하거나 생성하는 동작은 도 3 및 도 4에서 단계 203에 의해 도시된다.
중력/방향 센서(16)는, 몇몇 실시형태에서, 방향 정보를 오디오 방향 신호 생성기(101) 및 마이크 순서 생성기(103)로 출력할 수 있다.
몇몇 실시형태에서, 장치는 오디오 방향 신호 생성기(101)를 포함한다. 오디오 방향 신호 생성기(101)는 중력/방향 센서(16) 출력을 수신하도록 구성되고 그리고 먼저 오디오 방향 신호가 생성되어야 하는지의 여부를 그리고 둘째로 오디오 방향 신호가 출력되어야 하는지의 여부를 결정하도록 구성된다.
몇몇 실시형태에서, 오디오 방향 신호 생성기(101)는 방향 정보를 수신하도록 구성된다.
오디오 방향 신호 생성기는 오디오 방향 신호를 결정하도록 구성된다. 몇몇 실시형태에서, 이것은 방향 값이 무엇이든 간에 생성된다. 그러나, 몇몇 실시형태에서, 오디오 방향 신호(다시 말하면, 방향 신호가 수신 또는 재생 장치로 출력되어야 하는지의 여부)의 결정은 오디오 방향 정보에 기초한다. 예를 들면, 몇몇 실시형태에서, 오디오 방향 신호 생성기(101)는, 결정된 '디폴트' 오디오 방향으로부터 결정된 임계치보다 캡쳐의 방향이 더 큰 경우, 오디오 캡쳐의 방향 값을 포함하는 신호를 생성하여 수신 또는 재생 장치로 전송하도록 구성될 수 있다. '디폴트' 방향은, 통상적으로는 그것은 수평 방향이지만, 임의의 적절한 오디오 방향일 수 있다. 몇몇 실시형태에서, 오디오 캡쳐의 방향을 변경해야 하는지의 여부(즉, 오디오 방향 값을 시그널링해야 하는지의 여부)를 결정하기 위한 임계치는 디폴트 방향으로부터 45도일 수 있는데, 이 임계치는 수신기에서 오디오 캡쳐가 수평으로 또는 수직으로 지향된 것으로 간주되는지의 여부를 결정한다. 수신 디바이스에서 오디오가 두 방향 사이에서 왔다갔다하는 것을 방지하기 위해서는, 적절한 히스테리시스가 적용되어야 한다. 몇몇 실시형태에서, 오디오 방향 값을 시그널링해야 하는지의 여부를 결정하기 위한 임계치는 45도보다 크거나 작을 수 있다. 오디오 방향은 캡쳐 방향 또는 오디오 캡쳐 방향으로도 또한 알려져 있다는 것이 이해될 것이다. 몇몇 실시형태에서, 캡쳐 방향을 결정하는 것은, 디바이스 방향 및 캡쳐 장치에서의 마이크 구성에 관한 정보에 기초하여 오디오 캡쳐 방향을 결정하는 것을 포함할 수도 있다는 것이 이해될 것이다. 다시 말하면, 오디오 방향 신호 생성기는 마이크 구성, 예컨대 마이크의 수, 마이크의 위치 및 마이크의 상대적 위치결정 및/또는 마이크가 장착되는 디바이스에 관한 정보를 수신하도록 구성될 수 있다. 몇몇 실시형태에서, 정보는 마이크의 캡쳐 방향성(마이크가 지향성인지 또는 무지향성 마이크인지) 및 마이크가 지향성인 경우 캡쳐 지향성의 방향을 더 포함할 수 있다.
결정된 방향이 오디오 방향 신호를 필요로 하는지의 여부를 결정하는 동작은 도 3에서 단계 205에 의해 도시된다.
그 다음, 오디오 방향 신호 생성기(101)는, 몇몇 실시형태에서, 적절한 오디오 방향 신호를 생성하도록 구성될 수 있다. 오디오 방향 신호는, 몇몇 실시형태에서, 방향 각도의 표시자(indicator)를 포함한다. 예를 들면, 몇몇 실시형태에서, 오디오 방향 신호는 오디오 방향 신호의 양자화된 버전(quantised version)을 포함한다. 오디오 방향 신호는, 예를 들면, 오디오 캡쳐가 수평 또는 수직 중 어느 하나로 지향되어 있다는 표시를 포함할 수 있다, 다시 말하면, 오디오 방향 신호는 90° 방향의 양자화를 갖지만 수직 또는 수평 면에서 어느 쪽이 어느 것인 지에 관한 정보는 갖지 않는 방향 값이다. 이러한 실시형태에서, 오디오 방향 신호는 이 정보를 시그널링하기 위해 1비트만을 필요로 할 수 있지만 캡쳐 및 렌더링 디바이스는 오디오 출력 순서, 즉 수평 캡쳐에서 어느 신호가 먼저 전송되어야 하는지(오디오 출력 순서: "좌, 우" 또는 "우, 좌") 그리고 수직 캡쳐에서 어느 신호가 먼저 전송되어야 하는지(오디오 출력 순서: "상, 하" 또는 "하, 상")를 알고 있어야 한다. "오디오 출력 순서"는, 오디오 출력이 캡쳐 디바이스로부터 수신 디바이스로 전송되는 (비트스트림에서의) 순서를 의미한다.
몇몇 실시형태에서, 오디오 방향 신호는, 예를 들면, 오디오 캡쳐가 수직으로, 수직으로 180도 회전되어, 수평으로, 또는 수평으로 180도 회전되어 지향되어 있다는 표시를 포함할 수 있다. 다시 말하면, 오디오 방향 신호는 4분위 양자화를 갖는(또는 2비트를 사용하여 시그널링될 수 있는 0°, 90°, 180°, 또는 270° 방향의 값을 출력하는) 레코딩 또는 캡쳐의 방향 값이다. 이 경우, 오디오 출력 순서는 오디오 방향 신호 자체에 의해 시그널링될 수 있다. 몇몇 실시형태에서, 보다 정확한 양자화, 예를 들면, 0°, 45°, 90°, 135°, 180° … 315°가 사용될 수도 있는데, 이것은 3비트를 사용하여 시그널링될 수 있다.
그러나, 오디오 방향 정보는 임의의 적절한 포맷 또는 형태 또는 양자화 레벨일 수 있다. 몇몇 실시형태에서, 오디오 방향 정보의 시그널링은 오디오 신호를 갖는 메타데이터로서 제공된다. 예를 들면, 비실시간 레코딩에서, 오디오 신호는 외부 소스로부터 수신/다운로드될 것이고 방향 데이터는 메타데이터에서 제공된다.
몇몇 실시형태에서, 오디오 방향의 시그널링은 임의의 적절한 메시지 또는 프로토콜 내에 방향 값을 임베딩하고 이것을 수신 또는 재생 디바이스로 송신하는 것에 의해 수행될 수 있다. 몇몇 실시형태에서, 방향 값은 실시간 프로토콜(RTP) 헤더 확장 내에 임베딩될 수 있다. 예를 들면, 오디오 방향의 시그널링은, IETF RFC 5285 "A General Mechanism for RTP Header Extensions"에서 설명되는 바와 같은 방식으로 RTP 헤더 확장을 사용하는 것에 의해 인터넷 프로토콜(internet protocol; IP) 연결을 통해 수행될 수 있다. 하나의 확장 엘리먼트, 약간의 패딩, 및 요구되는 RTP 필드를 포함하는 예시적인 RTP 헤더 확장이 하기에 주어진다. 이것은, 각각의 RTP 프레임에 대해 8비트를 사용하여 오디오 방향 시그널링(audio orientation signaling; AOS) 데이터(오디오 캡쳐의 방향을, 예를 들면, 도(degree) 단위로 명시함)를 전송하는 것을 지원한다. 이것은 오디오 방향에 대한 임의의 실제의 입도(granularity)를 지원하기에 충분해야 한다.
Figure pat00001
몇몇 실시형태에서, AOS 데이터는, 전체 송신 데이터에 너무 많은 오버헤드를 추가하는 것을 방지하기 위해, 오디오 방향에서 변경을 결정한 이후에만 전송된다.
그러나, 몇몇 실시형태에서, AOS 데이터의 생성 및/또는 송신은 규칙적이거나 또는 연속적인 동작이다는 것이 이해될 것이다.
몇몇 실시형태에서, 오디오 캡쳐의 방향의 정보뿐만 아니라 구성 정보도 포함하는 확장된 AOS 데이터는 세션 셋업 협상 단계에서 송신된다. IP 기반 서비스에서, 이러한 셋업 협상은 세션 기술 프로토콜(Session Description Protocol; SDP)를 사용하여 수행될 수 있고 마이크의 구성의 레이아웃(즉, 캡쳐 또는 전송 디바이스에서의 그 수 및 위치 및 임의의 다른 관련 구성 정보)은 수신기로 상세히 설명된다. 이러한 실시형태에서, 디바이스 방향 시그널링에만 전적으로 기초하여, 재생 또는 수신기 디바이스는 전송 디바이스의 방향뿐만 아니라 전송 디바이스에서의 오디오 캡쳐의 방향을 알게 되고, 따라서 셋업 이후에 임의의 추가적인 AOS 데이터를 전송하는 것은 불필요할 수도 있다. 몇몇 실시형태에서, 그 후, 임의의 추가적인 캡쳐 디바이스 방향(또는 적어도 방향에서의 변경)이 생성되어 캡쳐 또는 발신기(sender) 디바이스로부터 재생 또는 수신 디바이스로 전송될 수 있다. SDP 실시형태는 시그널링 오버헤드를 감소하려고 시도하지만, "공통 언어"의 정의, 다시 말하면 마이크 레이아웃이 전송 디바이스에 의해 어떻게 설명되고 수신 디바이스로 어떻게 전송되는지에 관한 신규의 SDP 파라미터의 도입을 요구한다는 것이 이해될 것이다.
오디오 방향 신호를 생성하는 동작은 도 3에서 단계 207에 의해 도시된다.
또한, 그 후, 오디오 방향 신호 생성기는, 마이크 순서 생성기(103) 또는 캡쳐 장치가 오디오 신호를 일반적으로 출력하는 것과 동시에 출력되는 오디오 방향 신호(AOD 데이터)를 출력하도록 구성될 수 있다(또는 몇몇 실시형태에서, 마이크는 오디오 신호를 자체적으로 출력한다).
오디오 방향 신호를 출력하는 동작은 도 3에서 단계 209에 의해 도시된다.
어떠한 방향 신호도 출력되지 않을 것이라는 것을 오디오 방향 신호 생성기(101)가 결정하는 경우, 그 후, 오디오 방향 신호 생성기는 오디오 방향 신호를 출력하지 않도록 구성된다. 따라서, 몇몇 실시형태에서, 레코딩 디바이스 또는 장치는 오디오 신호만을 출력한다.
오디오 신호만을 출력하는 동작은 도 3에서 단계 211에 의해 도시된다.
몇몇 실시형태에서, 오디오 방향 신호가 생성되거나 전송되어야 하는지의 여부의 결정은, 캡쳐 또는 레코딩 디바이스의 방향뿐만 아니라 캡쳐 또는 레코딩 디바이스의 마이크 구성에 기초하여 수행될 수 있다. 예를 들면, 캡쳐 또는 레코딩 장치의 방향은, 캡쳐 장치, 재생 장치의 구성(재생 장치의 방향을 포함함), 및 오디오 신호가 송신되는 방식과 관련하여 소정의 기준이 충족되면, 캡쳐 또는 레코딩 장치의 어떤 방향에 대해서도 문제가 되지 않을 수도 있다는 것이 이해될 것이다.
따라서, 예를 들면, 몇몇 실시형태에서, 오디오 방향 신호 생성기(101)는, 캡쳐 장치, 마이크 구성(예를 들면, 마이크 수 및 마이크의 위치)에 관한 정보가 주어지면, 오디오 신호 재생의 관점에서 디바이스의 방향이 문제가 될 수 있는지의 여부를 결정하도록 구성된다.
몇몇 실시형태에서, 오디오 방향 신호 생성기(101)는, 출력 디바이스 스피커 구성이 현재의 레코딩 디바이스와 동일하지만, 본원에서 설명되는 바와 같이, 몇몇 실시형태에서, 오디오 방향 신호 생성기(101)는 스피커 구성에 관한(그리고 몇몇 실시형태에서 방향 또는 재생 장치에 관한) 정보를 재생 디바이스로부터 수신하고 마이크 구성, 스피커 구성, 및 각각의 방향이 문제가 될 수 있는지의 여부를 결정할 수 있다는 것을 가정하도록 구성된다.
예를 들면, 몇몇 실시형태에서, 오디오 방향 신호 생성기(101)는, 방향 신호가 생성되고 송신되어야 하는지의 여부를 결정하기 위해 룩업 테이블을 사용할 수 있다.
몇몇 실시형태에서, 장치는 마이크 순서 생성기(103) 또는 오디오 출력 순서결정기(orderer)(또는 오디오 출력 순서를 생성하기 위한 적절한 수단)를 포함한다. 마이크 순서 생성기(103)는, 도 25에서 마이크(111 내지 11N)에 의해 도시된 것과 같은 마이크로부터 입력을 수신하도록 그리고 장치의 방향을 나타내는 중력/방향 센서(16)로부터의 입력을 추가로 수신하도록 구성된다. 몇몇 실시형태에서, 마이크 순서 생성기(103)는 특정 오디오 출력 순서를 결정하도록 또는 수신 또는 재생 장치에게 특정 오디오 출력 순서를 통지하도록 구성될 수 있다.
하기의 예에서, 오디오 출력 순서는 가장 왼쪽의 채널, 가장 오른쪽 채널 그 후 기타 채널이지만, 임의의 적절한 오디오 출력 순서가 구현될 수 있다. 예를 들면, 가장 오른쪽 채널에서 가장 왼쪽의 채널로, 가장 위쪽의 채널에서 가장 아래쪽의 채널로, 또는 가장 아래쪽의 채널에서 가장 위쪽의 채널.
또한, 오디오 출력 순서는 선형적인 순서결정 이외의 것일 수 있는데, 예를 들면, 몇몇 실시형태에서, 오디오 출력 순서는 제1 방향(가장 왼쪽 채널)으로부터 시작하여 그 다음 시계 방향(또는 반시계 방향)으로 마이크 채널이 나타남에 따라 그 마이크 채널을 순서화하는 순환 순서일 수 있다.
몇몇 실시형태에서, 오디오 출력 순서는 1차원 이상에 대한 것일 수 있다(따라서 피치 및 요 회전이 고려되는 것을 가능하게 한다).
따라서, 몇몇 실시형태에서, 마이크 순서 생성기(103)는 마이크의 위치 및 센서 입력의 방향의 지식에 기초하여 오디오 출력 순서를 결정하도록 구성된다.
한 예에서, 제1 마이크(L 1111)가 장치의 좌상(top left)에 위치되고, 제2 마이크(R 1112)가 장치의 우상(top right)에 위치되며 제3 마이크(L' 1113)가 장치의 좌하(bottom left)에 위치되는 장치의 초기 방향(0도)에서의 3개의 마이크 구성. 하기의 설명에서, 상하는, 각각, 가장 높은 중력적 위치 및 가장 낮은 중력적 위치에 있는 상대적인 위치 또는 엘리먼트의 일반적인 해석을 기준으로 한다. 그러나, 몇몇 실시형태에서, 상하는 임의의 적절한 벡터에서 상대적인 대향 위치 또는 엘리먼트를 가리킨다는 것이 이해될 것이다. 따라서, 마찬가지로, 몇몇 실시형태에서, 상하는 위쪽과 아래쪽으로서 지칭될 수도 있다.
또한, 2개의 마이크 사이의 선택이 존재하는 하기의 예에서, 예를 들면, 제3 마이크로부터 동일한 또는 유사한 수평적 거리에 위치된 2개의 마이크가 존재하면, 제3 마이크로부터 최소 수직 거리를 갖는 것이 오디오 출력 순서의 (두 개 중) 첫 번째에 놓이게 된다. 다시 말하면, 이 예에서, 가능하면 제1 마이크가 다른 것에 비해 가장 먼 왼쪽 마이크인 것으로 선택되고 제2 마이크는 제3 마이크에 비해 가장 먼 오른쪽 마이크인 것으로 선택된다. 또한, 오디오 출력 순서는 AOS에 의해 나타내어지는 바와 같은 (가장 큰 분리의) 방향에 기초하여 이루어져야 하는데, 즉, 수직 캡쳐의 경우, 오디오 출력 순서는 (가장 왼쪽 및 가장 오른쪽 대신) 디바이스 상에서 어떤 마이크가 가장 위쪽에 위치되고 어떤 것이 가장 아래쪽에 위치되는지에 기초할 것이다. 또한, 이것은 하기의 예에서 나타내어진다. 임의의 적절한 선택 순서가 사용될 수 있다는 것이 이해될 것이다.
따라서, 초기 0도 방향에 대해, 마이크 순서 생성기는 L, R, L'의 오디오 출력 순서를 생성하도록 구성될 수 있다.
시계 방향의 90도 회전은 마이크 순서 생성기로 하여금 L', L, R의 오디오 출력 순서를 생성하게 한다.
시계 방향의 추가적인 90도 회전은, 다시 말하면 초기 방향으로부터 180도 회전은 마이크 순서 생성기로 하여금 R, L, L'의 오디오 출력 순서를 생성하게 한다.
시계 방향의 추가적인 90도 회전, 다시 말하면 초기 방향으로부터 시계 방향의 270도 회전은 마이크 순서 생성기로 하여금 L, L', R의 오디오 출력 순서를 생성하게 한다.
다시 말하면, 순서화 내에서 마이크 오디오 신호가 발생하는 순서는 장치의 방향 값에 기초한다. 몇몇 실시형태에서, 이 순서화는 입력 방향 센서 값의 룩업 테이블에 기초하여 결정될 수 있다.
방향 정보에 기초하여 오디오 출력 순서를 결정하는 동작은 도 4에서 단계 301에 의해 도시된다.
또한, 몇몇 실시형태에서, 마이크 순서 생성기(103)는 오디오 신호를 결정된 오디오 출력 순서로 출력하도록 구성된다.
다시 말하면, 순서에서 제1 엘리먼트와 관련된 마이크 오디오 신호는 제1 출력 채널(1051)로서 출력되고, 순서에서 제2 엘리먼트와 관련된 마이크 오디오 신호는 제2 출력 채널(1052)로서 출력되고 등등이다.
몇몇 실시형태에서, 마이크오디오 신호가 존재하는 것보다 더 많은 또는 더 적은 출력 채널이 존재할 수 있다는 것이 이해될 것이다.
결정된 방향 순서로 오디오 신호를 출력하는 동작은 도 4에서 단계 303에 의해 도시된다.
몇몇 실시형태에서, 마이크 순서 생성기(103)는 원래 수신된 순서로 마이크 오디오 신호를 출력하고 오디오 출력 순서를 변경하는 대신 오디오 출력 순서를 메시지로서 출력하도록 또는 오디오 출력 순서를 수신기 또는 재생 장치로 시그널링하도록 구성된다.
또한, 몇몇 실시형태에서, 레코딩 또는 캡쳐 장치 내에 어떠한 마이크 순서 생성기도 존재하지 않는다. 그러나, 이러한 실시형태에서, 마이크 순서 생성기의 동작은, 예를 들면, 앞서 설명된 것처럼, SDP 메시지에서 확장된 AOD 데이터로서 캡쳐 장치의 방향을 나타내는 신호를 수신했거나 결정한 그리고 또한 마이크 구성 정보를 수신한 수신 또는 재생 장치 내에서 달성될 수 있다.
예시적인 오디오 출력 순서화(ordering) 및 오디오 방향 신호 생성 상황은 도 8 내지 도 11과 관련하여 도시되는데, 여기서는, 90°의 방향 단계에 대해, 캡쳐 또는 레코딩 장치에 대한 예시적인 3개의 마이크 구성이 도시되고 재생 또는 렌더링 장치에 대한 예시적인 3개의 스피커 구성이 도시된다.
예시적인 3개의 마이크 구성에서, 초기 방향(0도)은, 제1 마이크(L 1111)가 장치의 좌상에 위치되고, 제2 마이크(R 1112)가 장치의 우상에 위치되며 제3 마이크(L' 1113)가 장치의 좌하에 위치되는 세로 방향에 있다.
마찬가지로, 예시적인 3개의 스피커 구성에서, 초기 방향(0도)은, 제1 스피커(3311)가 장치의 좌상에 위치되고, 제2 스피커(3312)가 장치의 우상에 위치되며 제3 스피커(3313)가 장치의 좌하에 위치되는 세로 방향에 있다.
도 8은 예를 들면, 캡쳐 장치(발신기 장치)는 초기 방향에 놓여 있고 재생 또는 렌더링 장치(수신기 장치)는 90도 입도(granularity)로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 L, R, L'의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이고 (가장)오른쪽 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 몇몇 실시형태에서, (가장)왼쪽의 채널 오디오 신호는 제3 마이크(1113 L')에 의해 생성되는 것일 수 있다는 것이 이해될 것이다. 도 8은, 재생 장치의 회전에도 불구하고, 재생에 문제가 없고 이와 같이 몇몇 실시형태에서는 AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 9는 예를 들면, 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 90도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 L', L, R의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제3 마이크(1113 L')에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 몇몇 실시형태에서, (가장)오른쪽의 채널 오디오 신호는 제2 마이크(1112 R)에 의해 생성되는 것일 수 있다는 것이 이해될 것이다. 도 9는 캡쳐 장치와 재생 장치의 회전에도 불구하고 문제가 없으며 그러므로 몇몇 실시형태에서는 (오디오 출력이 정확하게 순서가 매겨지거나 라벨링되면) AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 10은 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 180도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 R, L, L'의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이고 (가장)오른쪽 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 몇몇 실시형태에서, (가장)오른쪽의 채널 오디오 신호는 제3 마이크(1113 L')에 의해 생성되는 것일 수 있다는 것이 이해될 것이다. 도 10은, 캡쳐 장치 및 재생 장치의 회전에도 불구하고 문제가 없고 그러므로 몇몇 실시형태에서는 (오디오 출력이 정확하게 순서가 매겨지거나 라벨링되면) AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 11은 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 270도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 L, L', R의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제3 마이크(1113 L')에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 몇몇 실시형태에서, (가장)왼쪽의 채널 오디오 신호는 제2 마이크(1112 R)에 의해 생성되는 것일 수 있다는 것이 이해될 것이다. 도 11은 캡쳐 장치 및 재생 장치의 회전에도 불구하고 문제가 없으며 그러므로 몇몇 실시형태에서는 (오디오 출력이 정확하게 순서가 매겨지거나 라벨링되면) AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
추가의 예시적인 오디오 출력 순서화 및 오디오 방향 신호 생성 상황은 도 12 내지 도 15와 관련하여 도시될 수 있는데, 여기서는, 90°의 방향 단계에 대해, 캡쳐 또는 레코딩 장치에 대한 예시적인 2개의 마이크 구성이 도시되고 재생 또는 렌더링 장치에 대한 예시적인 2개의 스피커 구성이 도시된다.
예시적인 2개의 마이크 구성에서, 초기 방향(0도)은 제1 마이크(L 1111)가 장치의 좌상에 위치되고, 제2 마이크(R 1112)가 장치의 우상에 위치되는 세로 방향에 있다. 다시 말하면, 도 8 내지 도 11에 도시된 예시적인 3개의 마이크 구성과 유사하지만, 제3 마이크는 제거되거나 불능으로 되거나 또는 스위치 오프된다.
마찬가지로, 예시적인 2개의 스피커 구성에서, 초기 방향(0도)은 제1 스피커(3311)가 장치의 좌상에 위치되고, 제2 스피커(3312)가 장치의 우상에 위치되는 세로 방향에 있다. 다시 말하면, 도 8 내지 도 11에 도시된 예시적인 3개의 스피커 구성과 유사하지만, 제3 스피커(3313)는 제거되거나 불능으로 되거나 또는 스위치 오프된다.
도 12는 예를 들면, 레코딩 또는 캡쳐 장치(발신기 장치)는 초기 방향에 놓여 있고 재생 또는 렌더링 장치(수신기 장치)는 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 L, R의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 도 12는 캡쳐 장치에 의해 야기되는 재생에서의 문제가 없고 그러므로 몇몇 실시형태에서는 AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 13은 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 90도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 L, R의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이도록 순서가 매겨지거나 라벨링된다. 그러나, 레코딩 또는 캡쳐 장치의 방향은, 제1 마이크(1111)와 제2 마이크(1112) 사이에서 수평적 분리가 전혀 없거나 또는 거의 없고 따라서 수평적 스테레오 캡쳐 효과가 최소로 되거나(소정 임계치 미만이거나) 또는 전혀 없는 그런 방향이다. 따라서, 도 13은, 캡쳐 장치의 방향이 문제를 야기할 수 있고 그러므로 수신 장치 또는 재생 장치가 수평적 분리(또는 수직 캡쳐)의 부족을 감안하는 것을 허용하도록 AOS 데이터가 전송되어야 한다는 것을 도시한다. 몇몇 실시형태에서, 오디오 출력 순서는 AOS에 의해 나타내어지는 방향에 기초하여 이루어질 것이다. 다시 말하면, 도 13에 도시된 예의 경우, 오디오 출력 순서는, (가장 왼쪽 및 가장 오른쪽 대신) 디바이스 상에서 어떤 마이크가 가장 위쪽에 위치되고 어떤 것이 가장 아래쪽에 위치되는지에 기초할 수 있다.
도 14는 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 180도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 R, L의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 도 14는 캡쳐 장치에 의해 야기되는 재생에서의 문제가 없고 그러므로 몇몇 실시형태에서는 (오디오 출력이 정확하게 순서가 매겨지거나 라벨링되면) AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 15는 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 270도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 R, L의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이도록 순서가 매겨지거나 라벨링된다. 그러나, 레코딩 또는 캡쳐 장치의 방향은, 제1 마이크(1111)와 제2 마이크(1112) 사이에서 수평적 분리가 전혀 없거나 또는 거의 없고 따라서 수평적 스테레오 캡쳐 효과가 최소로 되거나(소정 임계치 미만이거나) 또는 전혀 없는 그런 방향이다. 따라서, 도 15는, 캡쳐 장치의 방향이 문제를 야기할 수 있고 그러므로 수신 장치 또는 재생 장치가 수평적 분리(또는 수직 캡쳐)의 부족을 감안하는 것을 허용하도록 AOS 데이터가 전송되어야 한다는 것을 도시한다. 몇몇 실시형태에서, 오디오 출력 순서는 AOS에 의해 나타내어지는 방향에 기초하여 이루어질 것이다. 다시 말하면, 도 15에 도시된 예의 경우, 오디오 출력 순서는, (가장 왼쪽 및 가장 오른쪽 대신) 디바이스 상에서 어떤 마이크가 가장 위쪽에 위치되고 어떤 것이 가장 아래쪽에 위치되는지에 기초할 수 있다.
추가의 예시적인 오디오 출력 순서화 및 오디오 방향 신호 생성 상황은 도 16 내지 도 19와 관련하여 도시될 수 있는데, 여기서는, 90°의 방향 단계에 대해, 캡쳐 또는 레코딩 장치에 대한 예시적인 2개의 마이크 구성이 도시되고 재생 또는 렌더링 장치에 대한 예시적인 3개의 스피커 구성이 도시된다.
예시적인 2개의 마이크 구성에서, 초기 방향(0도)은 제1 마이크(L 1111)가 장치의 좌상에 위치되고, 제2 마이크(R 1112)가 장치의 우상에 위치되는 세로 방향에 있다. 다시 말하면, 도 8 내지 도 11에 도시된 예시적인 3개의 마이크 구성과 유사하지만, 제3 마이크는 제거되거나 불능으로 되거나 또는 스위치 오프된다.
예시적인 3개의 스피커 구성에서(도 8 내지 도 11에 도시된 예와 유사함), 초기 방향(0도)은, 제1 스피커(3311)가 장치의 좌상에 위치되고, 제2 스피커(3312)가 장치의 우상에 위치되며 제3 스피커(3313)가 장치의 좌하에 위치되는 세로 방향에 있다.
도 16은 예를 들면, 레코딩 또는 캡쳐 장치(발신기 장치)는 초기 방향에 놓여 있고 재생 또는 렌더링 장치(수신기 장치)는 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 L, R의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 도 12는 캡쳐 장치에 의해 야기되는 재생에서의 문제가 없고 그러므로 몇몇 실시형태에서는 AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 17은 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 90도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 L, R의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이도록 순서가 매겨지거나 라벨링된다. 그러나, 레코딩 또는 캡쳐 장치의 방향은, 제1 마이크(1111)와 제2 마이크(1112) 사이에서 수평적 분리가 전혀 없거나 또는 거의 없고 따라서 수평적 스테레오 캡쳐 효과가 최소로 되거나(소정 임계치 미만이거나) 또는 전혀 없는 그런 방향이다. 따라서, 도 13은, 캡쳐 장치의 방향이 문제를 야기할 수 있고 그러므로 수신 장치 또는 재생 장치가 수평적 분리(또는 수직 캡쳐)의 부족을 감안하는 것을 허용하도록 AOS 데이터가 전송되어야 한다는 것을 도시한다. 몇몇 실시형태에서, 오디오 출력 순서는 AOS에 의해 나타내어지는 방향에 기초하여 이루어질 수 있다. 다시 말하면, 도 17에 도시된 예의 경우, 오디오 출력 순서는, (가장 왼쪽 및 가장 오른쪽 대신) 디바이스 상에서 어떤 마이크가 가장 위쪽에 위치되고 어떤 것이 가장 아래쪽에 위치되는지에 기초할 수 있다.
도 18은 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 180도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 R, L의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 도 18은 캡쳐 장치에 의해 야기되는 재생에서의 문제가 없고 그러므로 몇몇 실시형태에서는 (오디오 출력이 정확하게 순서가 매겨지거나 라벨링되면) AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 19는 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 270도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 R, L의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이도록 순서가 매겨지거나 라벨링된다. 그러나, 레코딩 또는 캡쳐 장치의 방향은, 제1 마이크(1111)와 제2 마이크(1112) 사이에서 수평적 분리가 전혀 없거나 또는 거의 없고 따라서 수평적 스테레오 캡쳐 효과가 최소로 되거나(소정 임계치 미만이거나) 또는 전혀 없는 그런 방향이다. 따라서, 도 19는, 캡쳐 장치의 방향이 문제를 야기할 수 있고 그러므로 수신 장치 또는 재생 장치가 수평적 분리(또는 수직 캡쳐)의 부족을 감안하는 것을 허용하도록 AOS 데이터가 전송되어야 한다는 것을 도시한다. 또한, 오디오 출력 순서는 AOS에 의해 나타내어지는 방향에 기초하여 이루어져야 하는데, 즉, 이 도면의 경우, 오디오 출력 순서는 (가장 왼쪽 및 가장 오른쪽 대신) 디바이스 상에서 어떤 마이크가 가장 위쪽에 위치되고 어떤 것이 가장 아래쪽에 위치되는지에 기초할 것이다
제4 예시적인 오디오 출력 순서화 및 오디오 방향 신호 생성 상황은 도 20 내지 도 23과 관련하여 도시될 수 있는데, 여기서는, 90°의 방향 단계에 대해, 캡쳐 또는 레코딩 장치에 대한 예시적인 3개의 마이크 구성이 도시되고 재생 또는 렌더링 장치에 대한 예시적인 2개의 스피커 구성이 도시된다.
예시적인 3개의 마이크 구성에서, 초기 방향(0도)은, 제1 마이크(L 1111)가 장치의 좌상에 위치되고, 제2 마이크(R 1112)가 장치의 우상에 위치되며 제3 마이크(L' 1113)가 장치의 좌하에 위치되는 세로 방향에 있다(다시 말하면 도 8 내지 도 11에 도시된 구성과 유사하다).
예시적인 2개의 마이크 구성에서, 초기 방향(0도)은 제1 스피커(L 3311)가 장치의 좌상에 위치되고, 스피커 마이크(R 3312)가 장치의 우상에 위치되는 세로 방향에 있다. 다시 말하면, 도 8 내지 도 11에 도시된 예시적인 3개의 스피커 구성과 유사하지만, 제3 스피커는 제거되거나 불능으로 되거나 또는 스위치 오프된다(다시 말하면, 도 12 내지 도 15에 도시된 구성과 유사하다).
도 20은 예를 들면, 레코딩 또는 캡쳐 장치(발신기 장치)는 초기 방향에 놓여 있고 재생 또는 렌더링 장치(수신기 장치)는 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 L, R, L'의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이고 (가장)오른쪽 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 몇몇 실시형태에서, (가장)왼쪽의 채널 오디오 신호는 제3 마이크(1113 L')에 의해 생성되는 것일 수 있다는 것이 이해될 것이다. 도 20은, 캡쳐 장치에 의해 야기되는 재생에서의 문제가 없으며 그러므로 몇몇 실시형태에서는 AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 21은 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 90도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 L', L, R의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제3 마이크(1113 L')에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 몇몇 실시형태에서, (가장)오른쪽의 채널 오디오 신호는 제2 마이크(1112 R)에 의해 생성되는 것일 수도 있다는 것이 이해될 것이다. 도 21은, 캡쳐 장치에 의해 야기되는 재생에서 문제가 없고 그러므로 몇몇 실시형태에서는 (오디오 출력이 정확하게 순서가 매겨지거나 라벨링되면) AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 22는 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 180도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 R, L, L'의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽 채널 오디오 신호가 제2 마이크(1112 R)에 의해 생성되는 것이고 (가장)오른쪽 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 몇몇 실시형태에서, (가장)오른쪽의 채널 오디오 신호는 제3 마이크(1113 L')에 의해 생성되는 것일 수 있다는 것이 이해될 것이다. 도 22는, 캡쳐 장치에 의해 야기되는 재생에서 문제가 없고 그러므로 몇몇 실시형태에서는 (오디오 출력이 정확하게 순서가 매겨지거나 라벨링되면) AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 23은 레코딩 또는 캡쳐 장치(발신기 장치)가 초기 방향으로부터 270도 시계방향이고 재생 또는 렌더링 장치(수신기 장치)가 90도 입도로 회전되는(여기서 회전은 시계방향의 도 단위로 측정된다) 4개의 상황을 도시한다. 마이크 순서 생성기는 이들 4개의 상황에서 L, L', R의 오디오 출력 순서를 생성하도록 구성될 수 있다. 이들 실시형태에서, 오디오 출력은, (가장)왼쪽의 채널 오디오 신호가 제1 마이크(1111 L)에 의해 생성되는 것이고 (가장)오른쪽의 채널 오디오 신호가 제3 마이크(1113 L')에 의해 생성되는 것이도록 정확하게 순서가 매겨지거나 라벨링된다. 몇몇 실시형태에서, (가장)왼쪽의 채널 오디오 신호는 제2 마이크(1112 R)에 의해 생성되는 것일 수 있다는 것이 이해될 것이다. 도 13은 캡쳐 장치에 의해 야기되는 문제가 없고 그러므로 몇몇 실시형태에서는 (오디오 출력이 정확하게 순서가 매겨지거나 라벨링되면) AOS 데이터를 전송할 필요가 없다는 것을 도시한다.
도 5와 관련하여, 예시적인 수신 또는 재생 장치가 몇몇 실시형태에 따라 나타내어진다. 또한, 도 6 및 도 7과 관련하여, 도 5에 도시된 바와 같은 재생 또는 수신 장치의 예시적인 동작이 설명된다.
몇몇 실시형태에서 수신 장치는 AOS 입력(403)을 수신하도록 구성된다. AOS 입력(403)은 몇몇 실시형태에서 채널 선택기(409)로 전달될 수 있다.
AOS 입력을 수신하는 동작은 도 7에서 단계 503에 의해 도시된다.
또한, 몇몇 실시형태에서, 장치는 중력/방향 센서(405)를 포함한다. 중력/방향 센서(405)는 레코딩 또는 캡쳐 장치에서 설명된 중력/방향 센서와 유사한 역할을 수행하도록 구성된다. 중력/방향 센서(405)는 방향 출력을 채널 선택기(409)로 제공하도록 구성된다.
방향 정보를 수신/결정하는 동작은 도 6 및 도 7에서 단계 505에 의해 도시된다.
몇몇 실시형태에서, 재생 또는 수신 장치는 채널 선택기(409)를 포함한다. 채널 선택기(409)는 AOS 입력(403), 및 중력/방향 센서(405)로부터의 중력/방향 센서 출력을 수신하도록 구성될 수 있다. 또한, 몇몇 실시형태에서, 채널 선택기(409)는 캡쳐 또는 레코딩 장치로부터 오디오 입력 구성/오디오 출력 순서 정보를 수신하도록 구성될 수 있다.
몇몇 실시형태에서, 채널 선택기(409)는 방향 센서 입력 값 및 AGS 입력으로부터 채널 출력 구성을 결정하도록 구성될 수 있다.
채널 선택기(409)는 재생 장치 스피커 구성의 지식을 갖는 이 구성을 수행하도록 구성된다는 것이 이해될 것이다. 다시 말하면, 예를 들면 어느 방향이 스피커 사이에서 수평적 분리를 생성하지 않을 것인 지와 같은 가능한 문제가 재생에서 언제 발생할 수 있는지의 지식을 갖는다.
몇몇 실시형태에서, 채널 선택기(409)는 또한, 캡쳐 또는 레코딩 디바이스로부터 전달되는 오디오 출력 순서 정보 또는 오디오 입력 구성 정보에 기초하여 채널 출력 결정을 수행하도록 구성될 수 있다. 예를 들면, 이 경우, 오디오 신호가 오디오 출력 순서로 정렬되지 않지만 채널 선택기(409)에 의해 효과적으로 순서화된다.
AOS 입력 및 방향 정보에 기초하여 채널 출력 정보를 결정하는 동작은 도 7에서 단계 601에 의해 도시된다.
또한, 몇몇 실시형태에서 오디오 재생 장치는 오디오 입력을 수신하도록 구성된다. 오디오 입력은 도 5에서 오디오 입력1(4011) 및 오디오 입력X(401X)로 도시된다. 오디오 입력은 채널 믹서/스위치(411)로 전달된다.
몇몇 실시형태에서, 수신 또는 재생 장치는 채널 믹서/스위치(411)를 포함한다. 채널 믹서/스위치(411)는 채널 선택기(409)로부터 입력을 수신하도록 그리고 오디오 입력을 믹싱 및/또는 스위칭하여 적절한 오디오 출력을 생성할 수 있다. 예를 들면, 도 5에 도시된 바와 같이, 제1 오디오 출력1(4131) 및 오디오 출력Y(413Y).
오디오 입력을 출력 채널로 믹싱 또는 스위칭하는 동작은 도 7에서 단계 613에 의해 도시된다.
도 6에 도시된 바와 같은 동작은, 채널 선택기가 AOS 데이터의 존재에 의존하여 채널 출력 구성을 생성하도록 구성된다는 점에서, 도 7에 도시된 동작과는 상이하다. 다시 말하면, 도 6에 도시된 바와 같은 실시형태는, 도 6에 도시된 실시형태에서 표현되는 바와 같은 장치가 AOS 데이터가 제공되는 경우에만 채널 출력 구성을 생성하도록 구성된다는 점에서 도 7의 실시형태와는 상이한데, 여기서 출력 구성은 수신된 AOS 데이터 및 방향 정보의 요인의 조합에 기초하고 그렇지 않다면 '초기' 방향 조건이 채널 믹서/스위치(411)에 사용된다.
도 7과 관련하여, 장치는 기지의(known) 주기로 또는 연속적으로 AOS 데이터를 수신하도록 구성되고 그러므로 AOS 데이터 및 방향 정보에 기초하여 채널 출력 구성을 결정하도록 구성된다.
AOS 데이터를 점검하는 동작은 도 6에서 단계 507에 의해 도시된다.
AOS 데이터의 존재에 종속적으로 기초하여 채널 출력 구성을 생성하는 동작은 도 6에서 단계 509에 의해 도시된다.
출력 구성 상황에 대한 예시적인 오디오 입력은 도 8 내지 도 11과 관련하여 도시될 수 있는데, 도 8 내지 도 11에서는, 캡쳐 또는 레코딩 장치에 대한 예시적인 3개의 마이크 구성이 90°의 방향 단계에 대해 도시되고 재생 또는 렌더링 장치에 대한 예시적인 3개의 스피커 구성이 90°의 방향 단계에 대해 도시되어 있다.
따라서, 예를 들면, 도 8은 캡쳐 또는 레코딩 장치 및 재생 장치 또는 수신기 둘 모두가 초기 방향에 있는 경우(701), 왼쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(703), 왼쪽 채널 오디오 신호(L)는 제3 스피커(3313) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(705), 왼쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(707), 왼쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제3 스피커(3313) 상에서 출력된다.
따라서, 예를 들면, 도 9는, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 90도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(801), 왼쪽 채널 오디오 신호(L')는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(803), 왼쪽 채널 오디오 신호(L')는 제3 스피커(3313) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(805), 왼쪽 채널 오디오 신호(L')는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(807), 왼쪽 채널 오디오 신호(L')는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제3 스피커(3313) 상에서 출력된다.
따라서, 예를 들면, 도 10은, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 180도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(901), 왼쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(903), 왼쪽 채널 오디오 신호(R)는 제3 스피커(3313) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(905), 왼쪽 채널 오디오 신호(R)는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(907), 왼쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제3 스피커(3313) 상에서 출력된다.
따라서, 예를 들면, 도 11은, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 270도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(1001), 왼쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L')는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(1003), 왼쪽 채널 오디오 신호(L)는 제3 스피커(3313) 상에서 출력되고 오른쪽 채널 오디오 신호(L')는 제1 스피커(3311) 상에서 출력된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(1005), 왼쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(L')는 제1 스피커(3311) 상에서 출력된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(1007), 왼쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L')는 제3 스피커(3313) 상에서 출력된다.
출력 구성 상황에 대한 추가 예시적인 오디오 입력은 도 12 내지 도 15와 관련하여 도시될 수 있는데, 도 12 내지 도 15에서는, 캡쳐 또는 레코딩 장치에 대한 예시적인 2개의 마이크 구성이 90°의 방향 단계에 대해 도시되고 재생 또는 렌더링 장치에 대한 예시적인 2개의 스피커 구성이 90°의 방향 단계에 대해 도시되어 있다.
따라서, 예를 들면, 도 12는 캡쳐 또는 레코딩 장치 및 재생 장치 또는 수신기 둘 모두가 초기 방향에 있는 경우(1101), 왼쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(1103), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(L) 및 오른쪽 채널 오디오 신호(R)를 결합한 신호(L+R)의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(1105), 왼쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(1107), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(L) 및 오른쪽 채널 오디오 신호(R)를 결합한 신호(L+R)의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다.
따라서, 예를 들면, 도 13은, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 90도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(1201), AOS 데이터는 왼쪽 채널 오디오 신호(L) 및 오른쪽 채널 오디오 신호(R)를 결합한 신호(L+R)의 모노의 믹싱된 버전으로 하여금 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되게 하는 것을 도시한다. AOS 신호가 수직 캡쳐를 나타내면, 재생 장치 또는 수신기는 (이 예시적인 도면에서 그리고 하기의 예시적인 도면에서) 수신된 신호를, 서로에 대해 수직으로 위치된 마이크에 의해 캡쳐된 것으로 간주한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(1203), AOS 데이터는 왼쪽 채널 오디오 신호(L)로 하여금 제1 스피커(3311) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(R)로 하여금 제2 스피커(3312) 상에서 출력되게 한다. 이러한 방식에서, 수신기는 수신된 오디오 신호를 수직 스테레오 출력으로서 출력하도록 구성된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(1205), AOS 데이터는 왼쪽 채널 오디오 신호(L) 및 오른쪽 채널 오디오 신호(R)를 결합한 신호(L+R)의 모노의 믹싱된 버전으로 하여금 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되게 한다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(1207), AOS 데이터는 왼쪽 채널 오디오 신호(L)로 하여금 제2 스피커(3312) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(R)로 하여금 제1 스피커(3311) 상에서 출력되게 하여 따라서 수신된 오디오 신호를 수직 스테레오 출력으로서 출력하게 한다.
따라서, 예를 들면, 도 14는, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 180도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(1301), 왼쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(1303), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(R) 및 오른쪽 채널 오디오 신호(L)를 결합한 신호(L+R)의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(1305), 왼쪽 채널 오디오 신호(R)는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력된다. 재생 장치 또는 수신기가 270도만큼 회전되는 경우(1307), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(R) 및 오른쪽 채널 오디오 신호(L)를 결합한 신호(L+R)의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다.
따라서, 예를 들면, 도 15는, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 270도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(1401), AOS 데이터는 왼쪽 채널 오디오 신호(R) 및 오른쪽 채널 오디오 신호(L)를 결합한 신호(L+R)의 모노의 믹싱된 버전으로 하여금 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되게 하는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(1403), AOS 데이터는 왼쪽 채널 오디오 신호(R)로 하여금 제1 스피커(3311) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(L)로 하여금 제2 스피커(3312) 상에서 출력되게 한다. 이러한 방식에서, 수신기는 수신된 오디오 신호를 수직 스테레오 출력으로서 출력하도록 구성된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(1405), AOS 데이터는 왼쪽 채널 오디오 신호(R) 및 오른쪽 채널 오디오 신호(L)를 결합한 신호(L+R)의 모노의 믹싱된 버전으로 하여금 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되게 한다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(1407), AOS 데이터는 왼쪽 채널 오디오 신호(R)로 하여금 제2 스피커(3312) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(L)로 하여금 제1 스피커(3311) 상에서 출력되게 하고 왼쪽 채널 오디오 신호(L')는 제1 스피커(3311) 상에서 출력되고 따라서 수신된 오디오 신호를 수직 스테레오 출력으로서 출력하게 한다.
출력 구성 상황에 대한 추가 예시적인 오디오 입력은 도 16 내지 도 19와 관련하여 도시될 수 있는데, 도 16 내지 도 19에서는, 캡쳐 또는 레코딩 장치에 대한 예시적인 2개의 마이크 구성이 90°의 방향 단계에 대해 도시되고 재생 또는 렌더링 장치에 대한 예시적인 3개의 스피커 구성이 90°의 방향 단계에 대해 도시되어 있다.
따라서, 예를 들면, 도 16은 캡쳐 또는 레코딩 장치 및 재생 장치 또는 수신기 둘 모두가 초기 방향에 있는 경우(1501), 왼쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(1503), 왼쪽 채널 오디오 신호(L)는 제3 스피커(3313) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(1505), 왼쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(1507), 왼쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제3 스피커(3313) 상에서 출력된다.
따라서, 예를 들면, 도 17은, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 90도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(1601), AOS 데이터는 왼쪽 채널 오디오 신호(L)로 하여금 제1 스피커(3311) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(R)로 하여금 제3 스피커(3313) 상에서 출력되게 하는 것을 도시한다. 따라서, 이러한 방식에서, 수신기는 수신된 오디오 신호를 수직 스테레오 출력으로서 출력하도록 그리고 더 나은 품질의 출력을 생성하도록 구성된다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(1603), AOS 데이터는 왼쪽 채널 오디오 신호(L)로 하여금 제1 스피커(3311) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(R)로 하여금 제2 스피커(3312) 상에서 출력되게 한다. 따라서, 수신기는 수신된 오디오 신호를 향상된 품질의 수직 스테레오 출력으로서 출력하도록 구성된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(1605), AOS 데이터는 왼쪽 채널 오디오 신호(L)로 하여금 제3 스피커(3313) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(R)로 하여금 제1 스피커(3311) 상에서 출력되게 한다. 따라서, 이러한 방식에서, 수신기는 수신된 오디오 신호를 수직 스테레오 출력으로서 출력하도록 그리고 더 나은 품질의 출력을 생성하도록 구성된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(1607), AOS 데이터는 왼쪽 채널 오디오 신호(L)로 하여금 제2 스피커(3312) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(R)로 하여금 제1 스피커(3311) 상에서 출력되게 하여 따라서 수신된 오디오 신호를 수직 스테레오 출력으로서 출력하게 한다.
따라서, 예를 들면, 도 18은, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 180도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(1701), 왼쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(1703), 왼쪽 채널 오디오 신호(R)는 제3 스피커(3313) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(1705), 왼쪽 채널 오디오 신호(R)는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(1707), 왼쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제3 스피커(3313) 상에서 출력된다.
따라서, 예를 들면, 도 19는, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 270만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(1801), AOS 데이터는 왼쪽 채널 오디오 신호(R)로 하여금 제1 스피커(3311) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(L)로 하여금 제3 스피커(3313) 상에서 출력되게 하는 것을 도시한다. 따라서, 이러한 방식에서, 수신기는 수신된 오디오 신호를 수직 스테레오 출력으로서 출력하도록 그리고 더 나은 품질의 출력을 생성하도록 구성된다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(1803), AOS 데이터는 왼쪽 채널 오디오 신호(R)로 하여금 제1 스피커(3311) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(L)로 하여금 제2 스피커(3312) 상에서 출력되게 한다. 따라서, 수신기는 수신된 오디오 신호를 향상된 품질의 수직 스테레오 출력으로서 출력하도록 구성된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(1805), AOS 데이터는 왼쪽 채널 오디오 신호(R)로 하여금 제3 스피커(3313) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(L)로 하여금 제1 스피커(3311) 상에서 출력되게 한다. 따라서, 이러한 방식에서, 수신기는 수신된 오디오 신호를 수직 스테레오 출력으로서 출력하도록 그리고 더 나은 품질의 출력을 생성하도록 구성된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(1807), AOS 데이터는 왼쪽 채널 오디오 신호(R)로 하여금 제2 스피커(3312) 상에서 출력되게 하고 오른쪽 채널 오디오 신호(L)로 하여금 제1 스피커(3311) 상에서 출력되게 하여 따라서 수신된 오디오 신호를 수직 스테레오 출력으로서 출력하게 한다.
출력 구성 상황에 대한 제4 예시적인 오디오 입력은 도 20 내지 도 23과 관련하여 도시될 수 있는데, 도 20 내지 도 23에서는, 캡쳐 또는 레코딩 장치에 대한 예시적인 3개의 마이크 구성이 90°의 방향 단계에 대해 도시되고 재생 또는 렌더링 장치에 대한 예시적인 2개의 스피커 구성이 90°의 방향 단계에 대해 도시되어 있다.
따라서, 예를 들면, 도 20은 캡쳐 또는 레코딩 장치 및 재생 장치 또는 수신기 둘 모두가 초기 방향에 있는 경우(1901), 왼쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(1903), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(L) 및 오른쪽 채널 오디오 신호(R)를 결합한 신호(L+R)의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다. 다시 말하면, 모노의 믹싱된 출력이 제공된다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(1905), 왼쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(1907), 재생 장치의 방향도 또한, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(L) 및 오른쪽 채널 오디오 신호(R)를 결합한 신호(L+R)의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다.
따라서, 예를 들면, 도 21은, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 90도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(2001), 왼쪽 채널 오디오 신호(L')는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(2003), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(L') 및 오른쪽 채널 오디오 신호(L)를 결합한 신호(L+L')의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(2005), 왼쪽 채널 오디오 신호(L')는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력된다. 또한, 재생 장치 또는 수신기가 270도만큼 회전되는 경우(2007), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(L') 및 오른쪽 채널 오디오 신호(L)를 결합한 신호(L+L')의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다.
따라서, 예를 들면, 도22는, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 180도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(2101), 왼쪽 채널 오디오 신호(R)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(2103), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(R) 및 오른쪽 채널 오디오 신호(L)를 결합한 신호(R+L)의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(2105), 왼쪽 채널 오디오 신호(R)는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력된다. 재생 장치 또는 수신기가 270도만큼 회전되는 경우(2107), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(R) 및 오른쪽 채널 오디오 신호(L)를 결합한 신호(R+L)의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다.
따라서, 예를 들면, 도 23은, 레코딩 또는 캡쳐 장치가 초기 위치로부터 시계방향으로 270도만큼 회전된 경우 그리고 재생 장치 또는 수신기가 초기 방향에 있는 경우(2201), 왼쪽 채널 오디오 신호(L)는 제1 스피커(3311) 상에서 출력되고 오른쪽 채널 오디오 신호(L')는 제2 스피커(3312) 상에서 출력되는 것을 도시한다. 재생 장치 또는 수신기가 90도만큼 회전되는 경우(2203), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(L) 및 오른쪽 채널 오디오 신호(L')를 결합한 신호(L+L')의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다. 재생 장치 또는 수신기가 180도만큼 회전되는 경우(2205), 왼쪽 채널 오디오 신호(L)는 제2 스피커(3312) 상에서 출력되고 오른쪽 채널 오디오 신호(L')는 제1 스피커(3311) 상에서 출력된다. 재생 장치 또는 수신기가 270도만큼 회전되는 경우(2207), 재생 장치의 방향은, 제1 스피커(3311)와 제2 스피커(3312) 사이에 수평적 분리가 없고 따라서 왼쪽 채널 오디오 신호(L) 및 오른쪽 채널 오디오 신호(L')를 결합한 신호(L+L')의 모노의 믹싱된 버전만이 제1 스피커(3311) 및 제2 스피커(3312) 둘 모두 상에서 출력되는 그런 방향이다.
레코딩 동안, 캡쳐 디바이스는 여러 후속하는 회전에서 회전될 수도 있고, 각각의 회전은, 먼저 초기 방향에서 새로운 방향으로, 그 다음 나중에 그 새로운 방향에서 더 새로운 방향으로, 오디오 캡쳐의 방향을 변경시킬 수도 있다. 개시된 방법은, 오디오 재생 방향이 레코딩 방향과 정렬되는 것을 보장하기 위해, 각각의 회전에 대해 적용될 수도 있다. 다시 말하면, 캡쳐 디바이스는 결정된 방향 및 이전 방향으로부터, 방향에서의 차이를 결정할 수 있다. 몇몇 상황에서, 이전 방향은 초기 방향일 수 있다.
도 26 내지 도 28과 관련하여, 예시적인 시스템 개관 동작이 플로우차트로서 도시된다.
예를 들면, 몇몇 실시형태에서, 시스템 장치는, 도 26의 단계 2501에서 도시된 바와 같이, 전송 디바이스에서 오디오 캡쳐의 방향(xxx도)을 검출하도록 구성된다.
또한, 레코딩 또는 캡쳐 장치는, 몇몇 실시형태에서, 오디오 캡쳐의 방향(xxx도)을 적절한 입도를 가지고(그리고 레코딩 장치에서의 중력 검출기의 정확도에 기초하여) 수신 디바이스로 전송하도록 구성된다. 이것은 도 26의 단계 2503에서 도시된다.
몇몇 실시형태에서, 수신 장치 내에서의 재생은 오디오 캡쳐의 방향에 가장 잘 대응하는 스피커를 사용하도록 구성된다. 적절히 지향된 스피커가 사용가능하지 않으면, 스테레오에서 모노로의 또는 서라운드 사운드에서 스테레오 재생으로의 폴백(fall-back)이 생성된다. 이것은 도 26에서 단계 2505에 의해 도시된다.
도 27의 플로우차트에 도시된 바와 같은 몇몇 실시형태에서, 전송 또는 레코딩 장치는 전송 장치 내에서 오디오 캡쳐의 방향(수직 또는 수평 중 어느 하나로 정의됨)을 결정하거나 검출하도록 구성된다. 레코딩 장치 방향 결정은 도 27에서 단계 2601에 의해 도시된다.
그 다음, 전송 장치는 몇몇 실시형태에서 오디오 캡쳐의 방향(수평 또는 수직)을 수신 또는 재생 장치로 전송할 수 있다. 오디오 캡쳐의 방향을 전송하는 동작은 도 27에서 단계 2603에 의해 도시된다.
몇몇 실시형태에서, 수신 장치에서의 오디오 신호의 재생은, 재생 장치가 오디오 캡쳐의 방향에 가장 잘 대응하는 스피커를 사용하도록, 만약 적절히 지향된 스피커가 존재하지 않으면, 재생 장치는 스테레오에서 모노로 폴백하도록, 구성된다. 다시 말하면,
수평 오디오 캡쳐: 수평으로 위치된 스피커로부터 오디오를 재생함(캡쳐시 좌우 신호를 가짐). 사용가능한 스피커가 수직으로 위치되면, 스피커로부터 모노를 재생한다.
수직 오디오 캡쳐: 수직으로 위치된 스피커로부터 오디오를 재생함(캡쳐시 상하 신호를 가짐). 사용가능한 스피커가 수평으로 위치되면, 스피커로부터 모노를 재생한다.
적절히 지향된 스피커의 사용은 도 27에서 단계 2605에 의해 도시된다.
도 27에 도시된 바와 같이 오디오 방향(수평 대 수직)에 관한 바이너리 정보만이 전송되면(1비트), 캡쳐 및 렌더링 디바이스는 동일한 오디오 출력 순서를 사용하도록 동기화된다는 것을 유의한다. 다시 말하면, 캡쳐 디바이스와 렌더링 디바이스 둘 모두는, 수평 캡쳐에서(예를 들면, "좌우" 또는 "우좌"의 오디오 출력 순서임) 그리고 수직 캡쳐에서(예를 들면, "상하" 또는 "하상"의 오디오 출력 순서임) 어떤 신호가 먼저 전송되는지를 알도록 구성된다. 동기화 정보는 오디오 재생이 180도의 오차의 가능성을 갖는 것을 방지하는 데 필요하다.
표 I은, 도면에 예시된 몇몇 예에 대한 캡쳐 디바이스 방향, 오디오(캡쳐) 방향 및 오디오 출력 순서 사이의 관계를 설명하는 도 27에 도시된 실시형태의 애플리케이션의 예를 도시한다. 이러한 상황에서, 오디오 방향은, 디폴트(이 예시적인 실시형태에서는 수평 방향)로부터의 변동이 발생하는 경우, AOS를 통해 전송 디바이스로부터 수신 디바이스로 시그널링된다. 다시 말하면, 오디오 방향은, 표에서 별표(*)로 마킹된 경우에 전송 디바이스로부터 수신 디바이스로 AOS를 통해 시그널링된다. 예를 들면, 오디오 출력 순서가 전송 디바이스로부터 수신 디바이스로 또한 전송되는 것에 의해, 오디오 출력 순서도 또한 전송 디바이스 및 수신 디바이스 둘 모두에게 알려진다.
Figure pat00002
몇몇 실시형태에서, (수직 및 수평 방향에 대한) 스테레오 재생에 대해, 캡쳐 디바이스로부터 수신 또는 렌더링 디바이스로 두 개의 (모노의) 오디오 신호를 전송하는 것이 충분하며, 따라서, 오디오 출력 순서에서의 처음 두 개의 컴포넌트의 지식이면 충분하고, 제3 컴포넌트가 표에서 괄호(bracket) 내에 나타내어지는 것에 의해 반영된다는 것이 이해될 것이다.
일 실시형태에서, 전송 디바이스는 단지 두 개의 마이크(도 12 내지 도 15에 도시됨)만을 구비한다. 이들 경우에서, 오디오 출력 순서는 단지 1비트만으로 시그널링될 수도 있다.
몇몇 실시형태에서, 전송(레코딩 또는 캡쳐) 장치는 전송 장치에서의 오디오 캡쳐의 방향(0, 90, 180, 또는 270도)을 결정하거나 검출하도록 구성된다. 방향의 검출은 도 28에서 2701에 의해 도시된다.
또한, 몇몇 실시형태에서, 전송 장치는 오디오 캡쳐의 방향((0, 90, 180, 또는 270도)을 AOS를 통해 수신 장치로 전송하도록 구성될 수 있다. 방향 정보 전송의 동작은 도 28에서 2703에 의해 도시된다.
이러한 실시형태에서, 수신 장치는 오디오 신호를 재생하도록 구성되고 또한 오디오 캡쳐의 방향에 가장 잘 대응하는 스피커를 사용하도록 구성된다. 적절히 지향된 스피커가 사용가능하지 않으면, 수신 장치는 스테레오에서 모노로 또는 서라운드 사운드에서 스테레오 재생으로 폴백하도록 또는 일반적으로 멀티채널로부터 더 적은 수의 채널로 오디오를 다운믹싱하도록 구성된다. 이것은 다음의 동작으로서 도시될 수 있다.
0도의 오디오 캡쳐(수평): (디바이스의 좌측 상의) 마이크(L)(또는 3 마이크의 경우에 발생할 수도 있는 L') 및 (디바이스의 우측 상의) 마이크(R)(또는 L)에 의해 캡쳐된 오디오를, 디바이스의 좌우측에 각각 수평으로 위치된 스피커로부터 재생한다. 사용가능한 스피커가 수직으로 위치되면, 스피커로부터 모노를 재생한다.
90도의 오디오 캡쳐 방향(수직): (디바이스의 상부 상의) 마이크(L) 및 (디바이스의 하부 상의) 마이크(R)에 의해 캡쳐된 오디오를, 디바이스의 상하에 각각 수직으로 위치되는 스피커로부터 재생한다. 사용가능한 스피커가 수평으로만 위치되면, 스피커로부터 모노를 재생한다.
180도의 오디오 캡쳐(수평 반전됨): (디바이스의 좌측 상의) 마이크(R)(또는 L) 및 (디바이스의 우측 상의) 마이크(L)(또는 L')에 의해 캡쳐된 오디오를, 디바이스의 좌우측에 각각 수평으로 위치된 스피커로부터 재생한다. 사용가능한 스피커가 수직으로만 위치되면, 스피커로부터 모노를 재생한다.
270도의 오디오 캡쳐 방향(수직 반전됨): (디바이스의 상부 상의) 마이크(R) 및 (디바이스의 하부 상의) 마이크(L)에 의해 캡쳐된 오디오를, 디바이스의 상하에 각각 수직으로 위치되는 스피커로부터 재생한다. 사용가능한 스피커가 수평으로만 위치되면, 스피커로부터 모노를 재생한다.
오디오 캡쳐의 방향에 가장 잘 대응하는 스피커를 사용하여 오디오 신호의 재생을 수행하는 동작은 도 28에서 단계 2705에 의해 도시된다.
몇몇 실시형태에서, 예를 들면, 도 28의 경우에 도시된 바와 같이 수행되는 동작에서, 수평 및 수직 캡쳐 내에서의 오디오 출력 순서는, 수평 캡쳐의 경우 0도 대 180도의 그리고 수직 캡쳐의 경우 90도 대 270도의 선택을 통해 상기 (2비트의) AOS 시그널링에 포함될 수 있다는 것을 유의한다. 이러한 실시형태에서, 스테레오를 형성하는 두 신호에 대한 오디오 출력 순서는 AOS 데이터에 의해 시그널링된다. 이러한 실시형태에서, 컴팩트 시그널링은, 캡쳐 디바이스(이 경우, 캡쳐 디바이스는 2개보다 많은 마이크를 구비한다)가 스테레오를 생성하기에 충분한 두 신호를 전송하는 것만을 필요로 한다(다시 말하면, 3개의 마이크가 존재하는 경우, 캡쳐 디바이스는 비트스트림으로부터의 표 I의 괄호 안에 나타내어진 신호가 수신 디바이스로 전송되는 것을 제외한다).
표 II는 캡쳐 디바이스 방향과 오디오 (캡쳐) 방향 사이의 관계의 도 28에 도시된 실시형태의 애플리케이션의 예를 나타낸다. 이러한 실시형태에서의 오디오 방향은, 디폴트(이 예에서는 수평 비반전 방향)로부터의 변동이 발생하면 AOS를 통해 전송된다. 다시 말하면, 오디오 방향은 하기의 표에서 별표(*)로 마킹된 경우에 전송된다.
Figure pat00003
몇몇 실시형태에서, 특정 오디오 캡쳐 방향(예를 들면, 수평 오디오 캡쳐 방향)이 선호될 수 있다. 몇몇 실시형태에서, 선호되는 오디오 캡쳐 방향은, 오디오 캡쳐 방향이 다른 방향에 더 가까운 경우에도 사용될 수 있다(다시 말하면, AOS에 의해 시그널링될 수 있다). 예를 들면, 몇몇 실시형태에서, 수평 오디오 캡쳐 방향은, 수평 방향으로부터의 차이가 45도를 초과하는 경우에도, 사용될 수 있다(다시 말하면, AOS를 통해 시그널링될 수 있다).
몇몇 실시형태에서, 수신 디바이스가, AOS를 통해 시그널링될 수 있는 것보다 더 낮은 입도의 방향에서만 오디오 신호를 재생할 수 있는 경우, 수신 디바이스는 자신이 지원하는 (어쩌면 수평과 같은 소정의 방향에 대한 선호도를 가지고) 가장 가까운 방향을, 재생을 위해 사용할 수도 있다. 몇몇 실시형태에서, 수신 디바이스는, 신호를 모노로 재생하도록 전환하는 대신 특정 출력 포맷, 예를 들면 스테레오 재생을 더 선호할 수도 있거나, 또는 몇몇 실시형태에서, 수신 디바이스는, 오디오 신호를 스피커 사이에서(즉, 스피커 사이의 방향으로부터) 나오는 것처럼 보이도록 만드는 적절한 스케일링이 재생을 위해 각각의 스피커에 대해 적용되도록 하여, 하나보다 많은 스피커로부터 오디오 신호를 동시에 재생할 수도 있다.
스피커는, 라우드스피커; 헤드폰; 헤드셋, 이어피스; 외부 라우드스피커; 및 내장된 핸즈프리 스피커를 포함하는 임의의 적절한 오디오 트랜스듀서 출력 디바이스를 포함할 수도 있다는 것이 이해될 것이다.
용어 사용자 기기는 임의의 적절한 타입의 무선 사용자 기기, 예컨대 모바일 전화기, 휴대형 데이터 처리 디바이스 또는 휴대형 웹 브라우저뿐만 아니라 웨어러블 디바이스를 포괄하도록 의도되는 것을 알 수 있을 것이다.
일반적으로, 본 발명의 다양한 실시형태는 하드웨어 또는 특수 목적의 회로, 소프트웨어, 로직 또는 이들의 임의의 조합으로 구현될 수도 있다. 예를 들면, 몇몇 양태는 하드웨어로 구현될 수도 있고, 한편 다른 양태는, 컨트롤러, 마이크로프로세서 또는 다른 컴퓨팅 디바이스에 의해 실행될 수도 있는 펌웨어 또는 소프트웨어로 구현될 수도 있지만, 본 발명은 이들로 한정되지는 않는다. 본 발명의 다양한 양태가 블록도, 플로우차트, 또는 몇몇 다른 도해적 표현으로서 예시되고 설명될 수도 있지만, 본원에서 설명되는 이들 블록, 장치, 시스템, 기술 또는 방법은, 비제한적인 예로서, 하드웨어, 소프트웨어, 펌웨어, 특수 목적의 회로 또는 로직, 범용 하드웨어 또는 컨트롤러 또는 다른 컴퓨팅 디바이스, 또는 이들의 몇몇 조합으로 구현될 수도 있다는 것을 잘 이해된다.
본 발명의 실시형태는, 모바일 디바이스의 데이터 프로세서에 의해, 예컨대 프로세서 엔티티에서, 또는 하드웨어에 의해, 또는 소프트웨어와 하드웨어의 조합에 의해 실행될 수 있는 컴퓨터 소프트웨어에 의해 구현될 수도 있다. 또한, 이와 관련하여, 도면에서와 같은 논리 플로우의 임의의 블록은 프로그램 단계, 인터커넥트된 로직 회로, 블록 및 기능, 또는 프로그램 단계 및 로직 회로, 블록 및 기능의 조합을 나타낼 수도 있다는 것을 유의해야 한다. 소프트웨어는, 프로세서 내에서 구현되는 메모리 칩, 또는 메모리 블록, 하드 디스크 또는 플로피 디스크와 같은 자기 매체, 및 예를 들면 DVD 및 그 데이터 변형체인 CD와 같은 광학적 매체와 같은 물리적 매체에 저장될 수도 있다.
메모리는 로컬한 기술적 환경에 적합한 임의의 타입을 가질 수도 있고, 반도체 기반 메모리 디바이스, 자기 메모리 디바이스 및 시스템, 광학적 메모리 디바이스 및 시스템, 고정식 메모리 및 착탈식 메모리와 같은 임의의 적절한 데이터 저장 기술을 사용하여 구현될 수도 있다. 데이터 프로세서는 로컬한 기술적 환경에 적합한 임의의 타입을 가질 수도 있고, 비제한적인 예로서, 범용 컴퓨터, 특수 목적 컴퓨터, 마이크로프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 주문형 반도체(application specific integrated circuits; ASIC), 게이트 레벨 회로 및 다중 코어 프로세서 아키텍쳐 기반의 프로세서 중 하나 이상을 포함할 수도 있다.
본 발명의 실시형태는 집적 회로 모듈과 같은 다양한 컴포넌트에서 실시될 수도 있다. 집적 회로의 설계는 대체로 고도로 자동화된 프로세스이다. 로직 레벨 설계를 반도체 기판 상에서 에칭되고 형성될 준비가 된 반도체 회로 설계로 변환하기 위한 고성능의(powerful) 소프트웨어 툴이 사용가능하다.
미국 캘리포니아 마운틴 뷰의 Synopsys, Inc. 및 미국 캘리포니아 산호세의 Cadence Design에 의해 제공되는 것과 같은 소프트웨어는, 잘 확립된 설계 룰뿐만 아니라 미리 저장된 설계 모듈의 라이브러리를 사용하여, 자동적으로 도체를 라우팅하고 반도체 칩 상에서의 컴포넌트의 위치를 결정한다. 반도체 회로에 대한 설계가 완료되면, 표준화된 전자 포맷(예를 들면, Opus, GDSII, 등등)의 최종 설계는 제조를 위해 반도체 제조 설비 또는 팹(semiconductor fabrication facility; fab)으로 전송될 수도 있다.
상기 설명은, 예시적이고 비제한적인 예로서, 본 발명의 예시적인 실시형태의 완전하고 교육적인(informative) 설명을 제공한다. 그러나, 첨부의 도면 및 첨부된 청구범위와 연계하여 판독될 때, 상기 설명의 관점에서 관련 기술분야의 숙련된 자에게는 다양한 수정예 및 적응예가 명백하게 될 수도 있다. 그러나, 본 발명의 교시의 모든 이러한 그리고 유사한 수정예는, 첨부의 청구범위에서 정의되는 바와 같은 본 발명의 범위 내에 여전히 속할 것이다.

Claims (12)

  1. 오디오 신호를 레코딩하는 방법으로서,
    적어도 2개의 마이크로부터 적어도 2개의 오디오 신호 - 상기 적어도 2개의 오디오 신호는 서로 상대적 변위를 가짐 - 를 각각 수신하는 단계와,
    상기 적어도 2개의 마이크의 위치 정보에 기초하여 캡쳐 방향 - 상기 캡쳐 방향은 상기 적어도 2개의 오디오 신호와 연관됨 - 을 결정하는 단계
    를 포함하되,
    상기 캡쳐 방향 또는 상기 캡쳐 방향과 연관된 표시는, 상기 적어도 2개의 오디오 신호가 재생을 위해 사용되는 것을 상기 적어도 2개의 오디오 신호가 캡쳐될 때에 상기 적어도 2개의 마이크가 사용된 것에 대해 정렬(align)시키기 위해, 상기 적어도 2개의 오디오 신호의 상기 재생이 상기 캡쳐 방향 또는 상기 표시에 기초하여 처리되는 것을 가능하게 하는
    오디오 신호 레코딩 방법.
  2. 제 1 항에 있어서,
    상기 캡쳐 방향은 초기 캡쳐 방향 값인
    오디오 신호 레코딩 방법.
  3. 제 1 항에 있어서,
    상기 캡쳐 방향과 이전(earlier) 방향 사이의 차이가 정의된 값보다 큰지 여부를 판정하는 단계
    를 더 포함하는 오디오 신호 레코딩 방법.
  4. 제 3 항에 있어서,
    상기 이전 방향은 초기 방향인
    오디오 신호 레코딩 방법.
  5. 제 1 항에 있어서,
    상기 캡쳐 방향에 기초하여 상기 적어도 2개의 오디오 신호에 대한 오디오 출력 순서를 결정하는 단계
    를 더 포함하는 오디오 신호 레코딩 방법.
  6. 제 5 항에 있어서,
    상기 캡쳐 방향과 이전 방향 사이의 차이가 정의된 오디오 출력 재순서화 값보다 큰지 여부를 판정하는 단계와,
    상기 캡쳐 방향과 상기 이전 방향 사이의 차이가 상기 정의된 오디오 출력 재순서화 값보다 큰 경우 상기 오디오 출력 순서의 결정을 트리거하는 단계
    를 더 포함하는 오디오 신호 레코딩 방법.
  7. 제 1 항에 있어서,
    서로 상대적 변위를 갖는 상기 적어도 2개의 오디오 신호를 생성하는 단계는,
    제1 위치에서 제1 마이크를 사용하여 상기 적어도 2개의 오디오 신호 중 제1 오디오 신호를 생성하는 단계와,
    제2 위치에서 제2 마이크를 사용하여 상기 적어도 2개의 오디오 신호 중 제2 오디오 신호를 생성하는 단계를 포함하고,
    상기 적어도 2개의 오디오 신호 사이의 상기 상대적 변위는 상기 제1 위치와 상기 제2 위치 사이의 변위인
    오디오 신호 레코딩 방법.
  8. 제 1 항에 있어서,
    서로 상대적 변위를 갖는 상기 적어도 2개의 오디오 신호를 생성하는 단계는,
    서로 상기 상대적 변위를 갖는 적어도 2개의 마이크를 포함하는 원격 장치로부터 상기 적어도 2개의 오디오 신호를 수신하는 단계와,
    메모리로부터 상기 적어도 2개의 오디오 신호를 수신하는 단계
    중 적어도 하나를 포함하는
    오디오 신호 레코딩 방법.
  9. 제 1 항에 있어서,
    상기 캡쳐 방향을 결정하는 단계는, 디바이스 방향 및 마이크 구성을 포함하는 디바이스 내의 상기 마이크 구성에 관한 정보에 기초하여 오디오 캡쳐 방향을 결정하는 단계를 포함하는
    오디오 신호 레코딩 방법.
  10. 적어도 하나의 프로세서와 적어도 하나의 메모리를 포함하는 장치로서,
    상기 적어도 하나의 메모리는 하나 이상의 프로그램에 관한 컴퓨터 코드를 포함하고, 상기 적어도 하나의 메모리와 상기 컴퓨터 코드는 상기 적어도 하나의 프로세서와 함께 상기 장치로 하여금 제 1 항 내지 제 9 항 중 어느 한 방법을 수행하도록 구성되는
    장치.
  11. 오디오 신호를 출력하는 방법으로서,
    적어도 2개의 오디오 신호를 캡쳐 방향 또는 상기 캡쳐 방향과 연관된 표시와 함께 수신하는 단계 - 상기 캡쳐 방향은 상기 적어도 2개의 오디오 신호를 레코딩하기 위해 사용되었던 적어도 2개의 마이크의 위치 정보에 기초한 것임 - 와,
    상기 캡쳐 방향 또는 상기 표시에 기초하여 상기 적어도 2개의 오디오 신호를 처리하여 상기 적어도 2개의 오디오 신호가 재생을 위해 사용되는 것을 상기 적어도 2개의 오디오 신호가 캡쳐될 때에 상기 적어도 2개의 마이크가 사용된 것에 대해 정렬(align)시키는 단계와,
    상기 적어도 2개의 오디오 신호를 적어도 2개의 스피커에서 출력하는 단계
    를 포함하는 오디오 신호 출력 방법.
  12. 오디오 신호를 출력하는 장치로서,
    상기 장치는 적어도 하나의 프로세서와 적어도 하나의 메모리를 포함하고,
    상기 적어도 하나의 메모리는 하나 이상의 프로그램에 관한 컴퓨터 코드를 포함하고, 상기 적어도 하나의 메모리와 상기 컴퓨터 코드는 상기 적어도 하나의 프로세서와 함께 상기 장치로 하여금,
    적어도 2개의 오디오 신호를 캡쳐 방향 또는 상기 캡쳐 방향과 연관된 표시와 함께 수신하고 - 상기 캡쳐 방향은 상기 적어도 2개의 오디오 신호를 레코딩하기 위해 사용되었던 적어도 2개의 마이크의 위치 정보에 기초한 것임 -,
    상기 캡쳐 방향 또는 상기 표시에 기초하여 상기 적어도 2개의 오디오 신호를 처리하여 상기 적어도 2개의 오디오 신호가 재생을 위해 사용되는 것을 상기 적어도 2개의 오디오 신호가 캡쳐될 때에 상기 적어도 2개의 마이크가 사용된 것에 대해 정렬(align)시키고,
    상기 적어도 2개의 오디오 신호를 적어도 2개의 스피커에서 출력하게 하는
    오디오 신호 출력 장치.
KR1020177036379A 2013-04-10 2013-04-10 오디오 레코딩 및 재생 장치 KR102003462B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2013/052855 WO2014167384A1 (en) 2013-04-10 2013-04-10 Audio recording and playback apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157031796A Division KR20150139937A (ko) 2013-04-10 2013-04-10 오디오 레코딩 및 재생 장치

Publications (2)

Publication Number Publication Date
KR20170143013A true KR20170143013A (ko) 2017-12-28
KR102003462B1 KR102003462B1 (ko) 2019-07-24

Family

ID=51689007

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157031796A KR20150139937A (ko) 2013-04-10 2013-04-10 오디오 레코딩 및 재생 장치
KR1020177036379A KR102003462B1 (ko) 2013-04-10 2013-04-10 오디오 레코딩 및 재생 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157031796A KR20150139937A (ko) 2013-04-10 2013-04-10 오디오 레코딩 및 재생 장치

Country Status (7)

Country Link
US (1) US10834517B2 (ko)
EP (1) EP2984854B1 (ko)
KR (2) KR20150139937A (ko)
CN (1) CN105284129A (ko)
CA (1) CA2908654C (ko)
RU (1) RU2653136C2 (ko)
WO (1) WO2014167384A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2830326A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio prcessor for object-dependent processing
GB2583028B (en) * 2013-09-12 2021-05-26 Cirrus Logic Int Semiconductor Ltd Multi-channel microphone mapping
US10097977B2 (en) * 2013-10-18 2018-10-09 Samsung Electronics Co., Ltd. Communication method for electronic device in wireless communication network and system therefor
CN105451139A (zh) * 2014-06-24 2016-03-30 索尼公司 声音信号处理方法、装置和移动终端
US10805760B2 (en) * 2015-07-23 2020-10-13 Maxim Integrated Products, Inc. Orientation aware audio soundstage mapping for a mobile device
CN107920157A (zh) * 2016-10-09 2018-04-17 中兴通讯股份有限公司 一种录音方法、装置及设备
US10573291B2 (en) 2016-12-09 2020-02-25 The Research Foundation For The State University Of New York Acoustic metamaterial
CN107154184B (zh) * 2017-06-28 2020-09-22 杭州种花家科技有限公司 一种用于语言学习的虚拟现实设备系统及方法
US10897680B2 (en) * 2017-10-04 2021-01-19 Google Llc Orientation-based device interface
CN117544884A (zh) 2017-10-04 2024-02-09 谷歌有限责任公司 基于房间特性自动均衡音频输出的方法和系统
EP3506661A1 (en) 2017-12-29 2019-07-03 Nokia Technologies Oy An apparatus, method and computer program for providing notifications
RU186739U1 (ru) * 2018-07-02 2019-01-31 Марат Габдулгазизович Бикмуллин Аудиорегистратор
CN109842873A (zh) * 2019-01-29 2019-06-04 深圳市海派通讯科技有限公司 基于移动设备间蓝牙连接的立体声播放方法
JP2020137044A (ja) * 2019-02-25 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 音声信号処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110002487A1 (en) * 2009-07-06 2011-01-06 Apple Inc. Audio Channel Assignment for Audio Output in a Movable Device
EP2320677A1 (en) * 2008-08-22 2011-05-11 Yamaha Corporation Recorder/reproducer
WO2012061149A1 (en) * 2010-10-25 2012-05-10 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2359177A (en) 2000-02-08 2001-08-15 Nokia Corp Orientation sensitive display and selection mechanism
CN1401203A (zh) * 2000-04-28 2003-03-05 皇家菲利浦电子有限公司 音频系统
US7668317B2 (en) * 2001-05-30 2010-02-23 Sony Corporation Audio post processing in DVD, DTV and other audio visual products
JP2004056408A (ja) * 2002-07-19 2004-02-19 Hitachi Ltd 携帯電話端末
JP2006020198A (ja) * 2004-07-05 2006-01-19 Pioneer Electronic Corp 音声出力態様設定装置及び音声出力態様設定方法等
JP4629388B2 (ja) 2004-08-27 2011-02-09 ソニー株式会社 音響生成方法、音響生成装置、音響再生方法及び音響再生装置
US7991176B2 (en) 2004-11-29 2011-08-02 Nokia Corporation Stereo widening network for two loudspeakers
US8243967B2 (en) 2005-11-14 2012-08-14 Nokia Corporation Hand-held electronic device
DE102006033000B4 (de) * 2006-07-17 2012-05-31 Hewlett-Packard Development Co., L.P. Mobiltelefon mit sensorgesteuerter Lautsprecher- und Mikrofon-Aktivierung
CN100442837C (zh) * 2006-07-25 2008-12-10 华为技术有限公司 一种具有声音位置信息的视频通讯系统及其获取方法
JP4345784B2 (ja) 2006-08-21 2009-10-14 ソニー株式会社 音響収音装置及び音響収音方法
US20080146289A1 (en) * 2006-12-14 2008-06-19 Motorola, Inc. Automatic audio transducer adjustments based upon orientation of a mobile communication device
JP5401760B2 (ja) * 2007-02-05 2014-01-29 ソニー株式会社 ヘッドフォン装置、音声再生システム、音声再生方法
US20110002469A1 (en) 2008-03-03 2011-01-06 Nokia Corporation Apparatus for Capturing and Rendering a Plurality of Audio Channels
JP2009260521A (ja) 2008-04-15 2009-11-05 Panasonic Corp 記録装置
TWI382737B (zh) * 2008-07-08 2013-01-11 Htc Corp 手持電子裝置及其操作方法
US9445193B2 (en) 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
CN102265643B (zh) 2008-12-23 2014-11-19 皇家飞利浦电子股份有限公司 语音再现设备、方法及系统
US9888335B2 (en) 2009-06-23 2018-02-06 Nokia Technologies Oy Method and apparatus for processing audio signals
CN102473172A (zh) 2009-07-24 2012-05-23 数字标记公司 改进的音频/视频方法和系统
JP2011139437A (ja) 2009-12-01 2011-07-14 Jvc Kenwood Holdings Inc メディア装置、メディア装置の制御方法及びプログラム
US20110150247A1 (en) * 2009-12-17 2011-06-23 Rene Martin Oliveras System and method for applying a plurality of input signals to a loudspeaker array
WO2011076290A1 (en) * 2009-12-24 2011-06-30 Nokia Corporation An apparatus
US9501495B2 (en) 2010-04-22 2016-11-22 Apple Inc. Location metadata in a media file
US20110316768A1 (en) * 2010-06-28 2011-12-29 Vizio, Inc. System, method and apparatus for speaker configuration
US9031256B2 (en) * 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
US20120114154A1 (en) 2010-11-05 2012-05-10 Sony Ericsson Mobile Communications Ab Using accelerometers for left right detection of headset earpieces
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
RU2011121330A (ru) * 2011-05-27 2012-12-10 Михаил Леонидович Любачев Мобильное звуковоспроизводящее устройство
JP2013013042A (ja) 2011-06-02 2013-01-17 Denso Corp 立体音響装置
US20130028446A1 (en) * 2011-07-29 2013-01-31 Openpeak Inc. Orientation adjusting stereo audio output system and method for electrical devices
US9161149B2 (en) * 2012-05-24 2015-10-13 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
US9615176B2 (en) * 2012-12-28 2017-04-04 Nvidia Corporation Audio channel mapping in a portable electronic device
EP2760223B1 (en) 2013-01-29 2019-07-24 2236008 Ontario Inc. Sound field encoder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2320677A1 (en) * 2008-08-22 2011-05-11 Yamaha Corporation Recorder/reproducer
US20110002487A1 (en) * 2009-07-06 2011-01-06 Apple Inc. Audio Channel Assignment for Audio Output in a Movable Device
WO2012061149A1 (en) * 2010-10-25 2012-05-10 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones

Also Published As

Publication number Publication date
EP2984854A4 (en) 2017-03-29
RU2653136C2 (ru) 2018-05-07
EP2984854B1 (en) 2021-11-17
CA2908654C (en) 2019-08-13
KR20150139937A (ko) 2015-12-14
KR102003462B1 (ko) 2019-07-24
CA2908654A1 (en) 2014-10-16
US20160219392A1 (en) 2016-07-28
RU2015145733A (ru) 2017-05-15
EP2984854A1 (en) 2016-02-17
CN105284129A (zh) 2016-01-27
US10834517B2 (en) 2020-11-10
WO2014167384A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
KR102003462B1 (ko) 오디오 레코딩 및 재생 장치
US10200788B2 (en) Spatial audio apparatus
US11838707B2 (en) Capturing sound
US11216239B2 (en) Orientation based microphone selection apparatus
US11022456B2 (en) Method of audio processing and audio processing apparatus
US10394518B2 (en) Audio synchronization method and associated electronic device
JP7157985B2 (ja) ユーザに再生するためのオーディオ信号をレンダリングするための装置および方法
US10200787B2 (en) Mixing microphone signals based on distance between microphones
US20230085918A1 (en) Audio Representation and Associated Rendering
CN108235192B (zh) 音频记录和回放装置
US20130226322A1 (en) Audio scene apparatus
JP4966705B2 (ja) 移動体通信端末、および、プログラム
JP4582329B2 (ja) バーチャル映像用信号生成方法および送受信端末
JP5170278B2 (ja) 表示制御装置、表示制御方法、プログラム、および表示制御システム
JP2024041721A (ja) ビデオ電話会議
CN117376804A (zh) 扬声器单元的运动检测

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant