KR101195980B1 - 다채널 오디오 포맷들 사이의 변환 장치 및 방법 - Google Patents

다채널 오디오 포맷들 사이의 변환 장치 및 방법 Download PDF

Info

Publication number
KR101195980B1
KR101195980B1 KR1020097019537A KR20097019537A KR101195980B1 KR 101195980 B1 KR101195980 B1 KR 101195980B1 KR 1020097019537 A KR1020097019537 A KR 1020097019537A KR 20097019537 A KR20097019537 A KR 20097019537A KR 101195980 B1 KR101195980 B1 KR 101195980B1
Authority
KR
South Korea
Prior art keywords
audio signal
stereoscopic
signal
representation
channel
Prior art date
Application number
KR1020097019537A
Other languages
English (en)
Other versions
KR20090117897A (ko
Inventor
빌레 퓰키
유르겐 헤레
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20090117897A publication Critical patent/KR20090117897A/ko
Application granted granted Critical
Publication of KR101195980B1 publication Critical patent/KR101195980B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H04H20/88—Stereophonic broadcast systems
    • H04H20/89—Stereophonic broadcast systems using three or more audio channels, e.g. triphonic or quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Abstract

입력 다채널 표시는, 입체 오디오 신호의 일부의 출처 방향을 지시하는 방향 파라미터들을 구비하는 상기 입체 오디오 신호의 매개 표시가 도출되므로; 그리고 상기 입체 오디오 신호의 매개 표시를 사용하여 상기 입체 오디오 신호의 출력 다채널 표시가 생성되므로, 입체 오디오 신호의 다른 출력 다채널 표시로 변환된다.
변환장치, 입체 오디오 신호, 입력 다채널 표시, 출력 다채널 표시, 방향 파라미터, 매개 표시

Description

다채널 오디오 포맷들 사이의 변환 장치 및 방법{METHOD AND APPARATUS FOR CONVERSION BETWEEN MULTI-CHANNEL AUDIO FORMATS}
본 발명은 특정한 다채널 표시들에 한정되지 않고 최고로 가능한 음질로 다른 다채널 오디오 포맷들 간에 어떻게 변환할 것인지에 대한 기술에 관한 것이다. 즉, 본 발명은 임의의 다채널 포맷들 간의 변환을 가능하게 하는 기술에 관한 것이다.
재생과 청취에 있어서, 청취자는 복잡한 스피커(loudspeaker)들로 둘러싸인다. 특정한 장치용 오디오 신호들을 캡쳐하기 위하여 다양한 방법들이 존재한다. 재생에서 하나의 일반적인 목표는 오케스트라 내의 트럼펫의 위치와 같은 원래 기록된(녹음된) 사운드 이벤트의 입체적 합성, 즉, 개별적인 오디오 소스들의 출처들을 재생하는 것이다. 몇몇 스피커 장치들은 매우 일반적이고 다른 입체적 인상들을 만들어낼 수 있다. 특별한 포스트-제품 기술들을 사용하지 않는다면, 주지된 2-채널 스테레오 장치들은 단지 두 개의 스피커들간의 라인상에서 청각 이벤트들을 재생할 수 있다. 이것은 소위 “진폭-패닝(amplitude-panning)”에 의해 주로 이루어 진다. 여기에서 하나의 오디오 소스에 연관된 신호의 진폭은 스피커들에 대한 오디오 소스의 위치에 의존하며, 두 개의 스피커들 간에 분배된다. 이것은 통상 레코딩(녹음) 또는 후속 믹싱 동안에 이루어진다. 즉, 청취 지점에 대하여 멀리 좌측으로부터 오는 오디오 소스는 좌측 스피커에 의해 주로 재생되고, 반면에 청취 지점의 전방의 오디오 소스는 양쪽 스피커들에 의해 동일한 진폭 (레벨)으로 재생될 것이다. 그러나, 다른 방향들로부터 나오는 사운드는 재생될 수 없다.
따라서, 청취자 주위에 배치되는 더 많은 스피커들을 사용함으로써, 더 많은 방향들이 커버되고 더 자연스러운 입체적 감흥이 생성될 수 있다. 아마도 가장 주지된 다채널 스피커 배치는 5개의 스피커들로 구성되는 5.1 표준(ITU-R775-1)이고, 청취 지점에 대한 5개 스피커들의 방위각들은 0°, ±30° 및 ±110°로 미리 설정되어 있다. 그것은 레코딩 또는 믹싱 동안에 신호가 그 특정한 스피커의 배치에 맞춰지고 표준으로부터 재생장치의 편향은 악화된 재생음질을 야기할 수 있다는 것을 의미한다.
다른 방향들에 배치된 스피커들의 다양한 수를 갖는 수많은 다른 시스템들이 또한 제안되어 왔다. 특별히 극장들 또는 음향 설비들에서 전문적이고 특별한 시스템들은 또한 다른 고도에서의 스피커들을 포함하고 있다.
DirAC로 불리는 범용 오디오 재생 시스템은 최근에 제안되었고, 임의의 스피 커 장치들용 사운드를 기록하고 재생할 수 있다. DirAC의 목적은 임의의 기하학적 배치를 구비한 다채널 스피커 시스템을 사용하여, 가능한 정확하게 존재하는 음향 환경의 입체적 감흥을 재생하기 위한 것이다. 레코딩 환경 내에서, (연속적인 기록된 사운드 또는 임펄스 응답들일 수 있는) 환경의 응답들이 전방위 마이크(W)를 가지고 그리고 사운드의 도착 방향 및 사운드의 분산을 측정하게 하는 마이크들을 가지고 측정된다. 아래의 단락에서 그리고 본 출원 내에서, 용어 “발산(diffuseness)”은 사운드의 무방향성에 대한 정도로서 이해되어야 할 것이다. 즉, 모든 방향들로부터 동일 강도를 갖는 청취 또는 레코딩 지점에 도달하는 사운드는 최대로 발산된다. 발산을 정량화하는 일반적인 방법은 간격 [0,…,1]으로부터 발산 값들을 사용하는 것이다. 여기에서 1의 값은 최대로 널리 퍼진 사운드를 나타내고 0의 값은 완전히 방향성인 사운드, 즉, 단지 하나의 명백하게 구분 가능한 방향으로부터 나오는 사운드를 나타낸다. 사운드의 도달 방향을 측정하는 하나의 잘 알려진 방법은 데카르트 좌표 축들을 가지고 배열된 3개의 8자(figure-of-eight) 마이크들(XYZ)을 적용하는 것이다. 소위 “음장(SoundField) 마이크들”인 특별한 마이크들이 설계되어지고, 모든 원하는 응답들을 직접 산출한다. 그러나, 앞서 언급된 바와 같이, W, X, Y 및 Z 신호들은 또한 별개의 전방위 마이크들의 세트로부터 계산되어질 것이다.
임의의 채널 수에 대한 오디오 포맷들을 방향성의 데이터를 동반하며 하나 또는 두 개의 오디오 다운믹스 채널로 저장하는 다른 방법은 최근에 Goodwin과 Jot 에 의해 제안되었다. 이러한 포맷은 임의의 재생 시스템들에 적용될 수 있다. 방향성 데이터, 즉, 오디오 소스의 방향에 대한 정보를 갖는 데이터는 속도 벡터와 에너지 벡터로 구성되는 “Gerzon 벡터”를 사용하여 계산된다. 속도 벡터는 청취 지점들로부터 스피커들을 가리키는 벡터들의 가중치 합이고, 여기에서 각 가중치는 스피커에 대한 주어진 시간/주파수 타일(tile)에서 주파수 스펙트럼의 크기이다. 에너지 벡터는 동일하게 가중치화된 벡터 합이다. 어쨌든, 가중치들은 스피커 신호들의 단기 에너지 추정치들이다. 즉, 그들은 유한한 길이 시간-간격 내의 신호에 포함된 신호 에너지의 적분 또는 다소 부드러운 신호를 나타낸다. 이러한 벡터들은 근거 있는 방법에서 물리적 또는 지각된 양에 관계되지 않는 불이익을 함께 갖는다. 예를 들면, 서로에 대한 스피커들의 상대적인 위상은 적절하게 고려되지 않는다. 그것은, 예를 들면, 만일 광대역 신호가 반대 위상으로 청취 지점의 정면에 스테레오 배치된 스피커들로 공급된다면, 청취자는 애매한 방향으로부터 사운드를 인지할 것이고, 청취 지점에서의 음장(sound field)은 좌우로 (예를 들어, 좌측에서 우측으로) 사운드 에너지 발진을 가지게 되는 것을 의미한다. 그러한 시나리오에서, Gerzon 벡터들은 물리적 또는 지각된 상황을 분명하게 나타내지 않는 정면 방향 쪽으로 가리킬 것이다.
물론, 시장에서 복합 다채널 포맷들 또는 표시들을 구비하는 요구가 다른 표시들 간에 변환할 수 있도록 하기 위해 존재하고, 그리하여 개별 표시들은 선택적 다채널 표시의 재생용으로 처음부터 개발된 장치들을 구비하여 재생될 수 있을 것 이다. 즉, 예를 들면, 5.1 채널들과 7.1 또는 7.2 채널들 간의 변환은 DVD에 일반적으로 사용되는 5.1 다채널 표시를 재생하기 위한 현존하는 7.1 또는 7.2 채널 재생 장치를 사용하는 것이 요구될 것이다. 매우 다양한 오디오 포맷들은 모든 포맷들이 특정한 믹싱 녹음들과 저장/전송 포맷들을 요구하기 때문에 오디오 컨텐트 생산을 어렵게 한다. 그러므로, 다른 재생 장치들에서 재생하기 위한 다른 레코딩 포맷들 간의 변환이 필요하다.
특정 오디오 포맷의 오디오를 다른 오디오 포맷으로 변환하는 것을 제안하는 많은 방법들이 있다. 그러나, 이러한 방법들은 항상 특정한 다채널 포맷들 또는 표시들에 맞춰진다. 즉, 이것들은 단지 하나의 특정한 미리 설정된 다채널 표시로부터 다른 특정한 다채널 표시로의 변환에만 적용될 수 있다.
일반적으로, 재생 채널들 수의 감축 {소위, "다운믹스(downmix)"}는 재생 채널들의 수의 증강{“업믹스(upmix)”}을 수행하는 것보다 쉽다. 일부 표준 스피커 재생 장치들에 대하여, 예들 들면, 적은 수의 재생 채널들을 가지고 재생 장치들로 어떻게 다운믹스할 것인가에 대해 ITU에 의해 권고들이 제시된다. 이러한 소위 “ITU” 다운믹스 방정식들에서, 출력 신호들은 입력 신호들의 간단한 정적 선형 조합들로써 도출된다. 통상, 재생 채널들 수의 감축은 감지된 입체 이미지의 악화, 즉 입체 오디오 신호의 악화된 재생 음질을 야기한다.
재생 채널들 또는 재생 스피커들의 많은 수로부터의 가능한 이익에 대하여, 특정한 타입의 변환용 업믹싱 기술들은 개발되어 있다. 자주 연구된 문제는 5-채널 서라운드 스피커 시스템들을 갖는 재생을 위해 2-채널 스테레오 오디오를 어떻게 변환시킬 것인가 여부이다. 하나의 그러한 2-to-5 업믹스로의 접근 또는 수행은 소위 “매트릭스” 디코더를 사용하는 것이다. 그런 디코더들은 특히 영화들이나 홈 시어터들용 서라운드 사운드의 초기 시절에 스테레오 전송 기반구조를 통해 5.1 다채널 사운드를 제공하거나 업믹싱하는 것이 일반화되게 하였다. 기본 아이디어는 사운드 이미지의 정면에서의 스테레오 신호에서 동위상(in-phase)인 사운드 컴포넌트(구성성분)들을 줄이고, 역위상(out-of-phase) 컴포넌트를 후미 스피커들로 놓는 것이다. 대안적인 2-to-5 업믹싱 방법은 스테레오 신호의 애매한 컴포넌트들을 추출하고 5.1 구성의 후미 스피커들을 통해 이러한 컴포넌트들을 재생하는 것을 제안한다. 지각적으로 더 정당화된 기초로 동일 기본 아이디어를 따르는 그리고 수학적으로 더 명쾌한 실행을 사용하는 접근이 최근에 2006년 1월 발행된 “Parametric Multi-channel Audio Coding: Synthesis of Coherence Cues”, IEEE Trans. On Speech and Audio Proc., vol. 14, no. 1에서 C. Faller에 의해 제안되었다.
최근 발행된 표준 MPEG 서라운드는 하나 또는 두 개의 다운믹스되고 전송된 채널들로부터 통상 5.1세트인 재생 또는 플레이백(playback)에 사용되는 최종 채널들로 업믹스를 수행한다. 이것은 또한 공간 사이드 정보(BCC 기술에 유사한 사이드 정보)를 사용하거나 또는 사이드 정보 없이, 스테레오 다운믹스의 두 개 채널들{“ 유도되지 않은 모드(non-guided mode)” 또는 “향상된 매트릭스 모드(enhanced matrix mode)”} 사이의 위상관계를 사용함으로써 수행된다.
이전 단락에서 설명된 포맷 변환에 대한 모든 방법들은 소스와 목적 오디오 재생 포맷 양자의 특정한 구성들에 적용되도록 특화되어 있고 그러므로 범용적이지 않다. 즉, 임의의 입력 다채널 표시들 사이의 임의의 출력 다채널 표시들로의 변환은 수행될 수 없다. 말하자면, 선행 분야 변환 기술들은 출력 다채널 표시 뿐만 아니라 입력 다채널 오디오 표시에 대한 그들의 정확한 위치와 스피커들의 수에 특수하게 맞추어져 있다.
국제 출원 2004/077884는 청취 환경 내에서 오디오 신호들의 임펄스 응답을 기록하기 위해 DirAC-코딩을 사용하는 것을 제안한다. 그러한 기록된 임펄스 응답을 사용하여, 오디오 신호들은 청취 환경의 입체적 감흥을 구비하여 재생될 수 있다.
AES-컨벤션 논문 6658은 DirAC 오디오 코딩으로 향해지고, b-포맷 마이크들에 의해 녹음된 신호들의 효율적인 부호화된 표시를 어떻게 생성할지에 대한 방법을 제안한다.
국제 출원 01/82651은 다채널 서라운드 마스터링 및 재생 기술들에 관한 것이다. 특별한 공간 인코딩 기술이 전송될 컴팩트한 부호화된 표시를 제공하기 위하여 제안된다. 부호화된 표시는 그 후 수신단에서 특별히 설계된 디코더에 의해 디코딩될 수 있다.
입력과 출력 다채널 표시들의 임의의 조합에 적용할 수 있는 다채널 변환에 대한 개념을 갖는 것이 당연히 바람직하다.
본 발명의 하나의 실시예에 따르면, 입체 오디오 신호의 다른 출력 다채널 표시(output multi-channel representation)로의 입력 다채널 표시(input multi-channel representation)의 변환 장치는: 입체 오디오 신호의 매개 표시(intermediate representation)를 도출하기 위한 분석기, 매개 표시는 입체 오디오 신호의 일부의 출처 방향을 가리키는 방향 파라미터를 구비함; 및 입체 오디오 신호의 매개 표시를 사용하여 입체 오디오 신호의 출력 다채널 표시를 생성하는 신호 작성기(signal composer)를 포함하여 이루어진다.
입체 오디오 신호의 일부의 출처의 방향을 가리키는 방향 파라미터를 구비하는 매개 표시가 사용되므로, 출력 다채널 표시의 스피커 구성이 알려지는 한, 임의의 다채널 표시들 간에 변환이 이루어질 수 있다. 출력 다채널 표시의 스피커 구성이 미리, 즉, 변환 장치의 설계 시에 알려져야 하는 것은 아니라는 것에 주목하는 것이 중요하다. 변환 장치 및 방법이 범용적이기 때문에, 입력 다채널 표시로써 제공되고 특정한 스피커-배치(구성)용으로 설계되는 다채널 표시는 입체 오디오 신호 재생의 재생 음질이 향상되도록 이용 가능한 재생 구성(setup)에 적합하게 하기 위해, 수신 측에서 변경될 수 있다.
본 발명의 또 하나의 실시예에 따르면, 입체 오디오 신호의 일부의 출처 방향은 다른 주파수 밴드들 내에서 분석된다. 다른 방향 파라미터들은 입체 오디오 신호의 주파수 부분을 가지고 유한하게 도출된다. 유한한 폭 주파수 부분을 도출하도록, 예를 들어, 필터뱅크(filterbank) 또는 푸리에-변환이 사용될 수 있다. 다른 실시예에 따르면, 분석이 개별적으로 수행되어지는 주파수 부분 또는 주파수 밴드들은 사람의 청취 과정의 주파수 분해능에 정합시키기 위해 선택된다. 이러한 실시예들은 입체 오디오 신호의 일부의 출처 방향이 사람의 청각 시스템 그 자체가 오디오 신호들의 출처의 방향을 판단할 수 있는 것처럼 잘 수행되는 이점을 가질 수 있다. 그러므로, 분석된 신호가 임의의 스피커 배치(구성)를 통해 재현되고 재생될 때, 오디오 객체 또는 신호 부분의 출처의 판단에서 정확성의 잠재적 손실없이 분석이 수행된다.
본 발명의 또 하나의 실시예에 따르면, 하나 또는 그 이상의 다운믹스 채널들이 매개 표시에 속하여 추가적으로 도출된다. 즉, 다운믹스된 채널들은 입력 다채널 표시에 연관된 스피커들에 대응하는 오디오 채널들로부터 도출되고, 입력 다채널 표시는 그 후에 출력 다채널 표시를 생성시키기 위하여 또는 출력 다채널 표시에 연관된 스피커들에 대응하는 오디오 채널들을 생성시키기 위하여 사용될 수 있다.
예를 들면, 모노포닉 다운믹스 채널은 일반적인 5.1 채널 오디오 신호의 5.1 입력 채널들로부터 생성될 수 있다. 이것은, 예컨대, 모든 개별적인 오디오 채널들의 합을 계산함으로써 수행될 수 있다. 그렇게 유도된 모노포닉 다운믹스 패널에 기초하여, 신호 작성기는 입력 다채널 표시의 분석된 일부에 대응하는 모노포닉 다운믹스 채널의 그러한 부분들을 방향 파라미터들에 의해 지시된 것과 같은 출력 다채널 표시의 채널들로 분배시킬 수 있다. 즉, 입체 오디오 신호로부터 멀리 떨어진 좌측으로부터 도달하는 주파수/시간 또는 신호 부분은 청취 지점에 대하여 좌측에 배치되는 출력 다채널 표시의 스피커들에게 재분배될 것이다.
대개, 본 발명의 일부 실시예들은 더 센 세기를 갖는 입체 오디오 신호의 부분들을 방향 파라미터들에 의해 지시된 방향으로부터 더 멀리 떨어진 채널보다는 방향 파라미터들에 의해 지시된 방향에 더 가까운 스피커에 대응하는 채널로 분배되게 한다. 즉, 비록 재생용으로 사용된 스피커들의 위치가 출력 다채널 표시에서 어떻게 한정될지라도, 공간 재분배는 가능한 한 이용 가능한 재생 구성(setup)에 적합하도록 이루어질 것이다.
본 발명의 일부 실시예들에 따르면, 입체 오디오 신호의 일부의 출처 방향이 판단될 수 있는 공간 분해능이 입력 다채널 표시의 하나의 싱글 스피커에 연관된 3차원 공간의 각보다 더 크게 된다. 즉, 입체 오디오 신호의 일부의 출처 방향은 하나의 독특한 배치(구성)로부터 다른 특정한 배치(구성)로 오디오 채널들을 단순하게 재분배함으로써, 예컨대 5.1 배치(구성)의 채널들을 7.1 또는 7.2 배치(구성)로 재분배함으로써, 달성될 수 있는 공간 분해능보다 더 정확하게 도출될 수 있다.
종합하면, 본 발명의 일부 실시예들은 범용적으로 적용가능하고 특별한 원하는 목표 스피커 배치/배열에 의존하지 않는 포맷 변환에 대한 향상된 방법의 적용을 허용한다. 일부 실시예들은 N1 채널들을 갖는 입력 다채널 오디오 포맷 (표시)을 방향 파라미터들을 추출하는 수단(DirAC에 유사)에 의해 N2 채널들을 구비한 출력 다채널 포맷 (표시)으로 변환시키고, 방향 파라미터들은 그 후에 N2 채널들을 구비한 출력 신호를 합성시키기 위해 사용된다. 게다가, 일부 실시예들에 따르면, N0 다운믹스 채널들의 수는 N1 입력 신호들(입력 다채널 표시에 따라 스피커들에 대응하는 오디오 채널들)로부터 계산되고, N1 입력 신호들은 그 후에 추출된 방향 파라미터들을 사용하는 디코딩 프로세스를 위한 기초로써 사용된다.
도 1은 오디오 신호의 일부의 출처의 방향을 가리키는 방향 파라미터 도출의 예시도를 나타낸다.
도 2는 5.1-채널 표시에 기초를 둔 방향 파라미터들의 도출의 또 하나의 실시예를 나타낸다.
도 3은 출력 다채널 표시의 생성 예를 나타낸다.
도 4는 5.1-채널 구성으로부터 8.1 채널 구성으로의 오디오 변환을 위한 예를 나타낸다.
도 5는 다채널 오디오 포맷들 사이의 변환을 위한 발명 장치의 예를 나타낸다.
본 발명의 몇몇 실시예들이 첨부된 되면들을 참조하여 아래에서 설명될 것이다.
본 발명의 일부 실시예들은 입체 오디오 신호의 일부의 출처 방향을 가리키는 방향 파라미터들을 구비하는 입체 오디오 신호의 매개 표시를 도출한다. 하나의 가능성은 입체 오디오 신호의 일부의 출처 방향을 가리키는 속도 벡터를 도출하는 것이다. 그렇게 하기 위한 하나의 예는 도 1을 참조하여 다음의 단락에서 설명될 것이다.
개념을 상술하기 전에, 다음의 분석은 동시에 근원적인 입체 오디오 신호의 복잡한 개별 주파수 또는 시간 부분들에 적용될 수 있다는 것을 주목해야 한다. 간소화를 위하여, 어쨌든, 분석은 단지 하나의 특정한 주파수 또는 시간 또는 시간/주파수 부분에 대하여 설명될 것이다. 분석은 도 1에 도시된 바와 같이, 좌표 시스템의 센터에 위치된 레코딩(녹음) 지점(2)에 기록된(녹음된) 음장(sound field)의 강력한 분석에 기초를 두고 있다.
좌표 시스템은 서로 수직한 x축(4)과 y축(6)을 구비한 데카르트 좌표 시스템이다. 우선회 시스템을 사용하면, 도 1에 도시되지 않은 z축은 도면 평면으로부터 나오는 방향을 가리킨다.
방향 분석을 위하여, (B-포맷 신호들로 알려진) 4개의 신호들이 기록(녹음)되어 있다고 가정된다. 하나의 전방위 신호 w가 기록되어 있다. 즉, (이상적으로) 동일한 감도를 갖는 모든 방향으로부터 신호들을 수신한다. 게다가, 3차원 신호 X, Y 및 Z는 기록되어 있고, 데카르트 좌표 시스템의 축들의 방향에서 가리키는 감도 분포를 갖는다. 사용된 마이크의 가능한 감도 패턴들에 대한 예들이 축들의 방향들 을 가리키는 두 개의 “8자형” 패턴들(8a 및 8b)을 나타내는 도 1에 주어진다. 두 개의 가능한 오디오 소스들(10 및 12)이 게다가 도 1에 도시된 좌표 시스템의 2차원 투영에 도시된다.
방향 분석을 위하여, (시간 인덱스 n에서의) 순간적인 속도 벡터가 식 (1)에 의해 (인덱스 i에 의해 기술되는) 다른 주파수 부분들용으로 구성된다.
v(n,i) = X(n,i) ex+Y(n,i)ey + Z(n,i)ez (1)
즉, 벡터는 컴포넌트(구성성분)들로서, 좌표 시스템의 축에 연관된 마이크들의 개별적으로 기록(녹음)된 마이크 신호들을 구비하며 형성된다. 이전과 다음의 방정식에서, 양(量)(quantities)은 두 개의 인덱스 (n, i)에 의해 주파수 (i) 뿐만 아니라 시간 (n)에서 나타내어진다. 즉, ex, ey 및 ez 는 카테시안 단위 벡터들을 표시한다.
동시에 기록된 전방위 신호 w를 사용하여, 순간적인 세기(intensity) I는 식 (2)로써 계산되고, 순간적인 에너지는 다음의 공식 (3)에 따라 도출된다.
I(n,i) = w(n,i) v(n,i), (2)
Figure 112009057488016-pct00001
(3)
여기에서
Figure 112009057488016-pct00002
는 벡터 놈(norm)을 의미한다.
즉, 세기 정도(intensity quantity)는 (포지티브와 네거티브 진폭이 생성될 수 있음에 따라) 두 개의 신호들 간의 가능한 간섭(interference)을 허용하며 유도된다. 게다가, 에너지 량은 도출되고, 에너지 량은 신호의 소멸을 허용하는 네거티브 값들을 포함하고 있지 않는 것과 같이, 두 개의 신호들 간의 간섭을 당연히 허용하지 않는다.
신호들의 세기와 에너지의 이러한 특징들은, 오디오 채널들의 가상 상관관계(채널들 간의 상대적인 위상)를 보유하며, 높은 정확성을 갖고 신호 부분들의 출처의 방향을 도출하도록 유리하게 사용될 수 있다. 가상 상관관계는 아래에서 상세하게 설명될 것이다.
한편에서, 순간적인 세기 벡터는 입체 오디오 신호의 일부의 출처 방향을 가리키는 벡터로써 사용될 수 있을 것이다. 어쨌든, 이러한 벡터는 빠른 변화를 수행할 것이고 그리하여 신호의 재생 내에서 인위적 결과(artifacts)들을 야기할 것이다. 그러므로, 대안적으로, 순간적인 방향은 아래의 공식 (4)에 따라 Hanning 윈도우 W2를 사용하는 단기 평균(short-time averaging)을 이용하여 계산될 수 있을 것이다.
Figure 112009057488016-pct00003
(4)
여기에서 W2는 단기 평균(short-time averaging)(D)용 Hanning 윈도우이다.
즉, 선택적으로, 입체 오디오 신호의 출처의 방향을 가리키는 파라미터들을 구비한 단기 평균된 방향 벡터가 도출될 수 있을 것이다.
선택적으로, 발산 계수(diffuseness measure)
Figure 112009057488016-pct00004
는 다음의 식 (5)에 의해 계산될 수 있을 것이다.
Figure 112009057488016-pct00005
(5)
여기에서 W1(m)는 단기 평균용 -M/2과 M/2 사이에서 한정된 윈도우 함수이다.
오디오 채널들의 가상 상관관계를 보유하기 위해 유도가 수행된다는 점에 다시 주목해야 한다. 즉, 위상 정보는 적절하게 고려되고, 위상 정보는 (전형적인 Gerzon 벡터들에 관한 것처럼) 단지 에너지 추정치들에 기초를 둔 방향 추정치들에 대한 경우가 아니다.
다음의 간단한 예는 더 상세하게 이것을 설명하게 할 것이다. 스테레오 시스템의 두 개의 스피커들에 의해 재생되는 완전히 멀리 퍼진(발산된) 신호를 고려하라. 신호가 발산하기(모든 방향들로부터 생김) 때문에, 신호는 동일한 세기를 가지고 양쪽 스피커들에 의해 재생될 것이다. 그러나, 지각 대상(perception)이 발산하기 때문에, 180도의 위상 천이가 요구된다. 그런 시나리오에서, 순수하게 에너지 기초된 방향 추정은 두 개의 스피커들 사이의 중간을 정확하게 가리키는 방향 벡터를 산출할 것이고, 그것은 분명하게 실제를 반영하지 않는 바람직하지 않은 결과이다.
위에서 상술된 발명적 개념에 따르면, 오디오 채널들의 가상 상관관계는 방향 파라미터들(방향 벡터들)을 추정하는 동안 유지된다. 이것의 특별한 예에서, 방향 벡터는 제로이고, 사운드가 하나의 독특한 방향으로부터 유래되지 않는다는 것을 가리키고, 하나의 독특한 방향은 명백하게 실제에서의 경우가 아니다. 따라서, 방정식 (5)의 발산 파라미터는 완전하게 실제 상황에 적합하게 하는 1이다.
위의 방정식들에서 Hanning 윈도우들은 게다가 다른 주파수 밴드들에 대한 다른 길이들을 구비할 수 있다.
이러한 분석의 결과에 따라, 주파수 부분의 각 시간 간격에 대하여, 방향 벡터 또는 방향 파라미터들은 분석이 수행되어지는 입체 오디오 신호의 일부의 출처의 방향을 가리키며 도출된다. 선택적으로, 발산 파라미터는 입체 오디오 신호의 일부의 방향의 발산을 가리키며 도출될 수 있다. 이전에 기술된 바와 같이, 방정식 (4)에 따라 유도된 하나의 발산 값은 최대 발산의 신호를 설명하고, 최대 발산 신호는 동일 세기를 갖는 모든 방향들로부터 나오는 것이다.
반대로, 작은 발산 값들은 하나의 방향으로부터 지배적으로 나오는 신호 부분들에 귀착된다.
도 2는 ITU-775-1에 따라 5개의 채널들을 구비하는 입력 다채널 표시로부터 방향 파라미터의 편향에 대한 예를 보여준다. 다채널 입력 오디오 신호, 즉, 입력 다채널 표시는 상응하는 다채널 오디오 구성(setup)의 울림없는(무울림) 레코딩을 시뮬레이션함으로써 B-포맷으로 우선 변환된다. 축 x(22)와 y(24)를 갖는 데카르트 좌표 시스템의 센터(20)에 대하여, 후방-우측의 스피커(26)는 110° 각도에 위치된다. 우측-전방 스피커(28)는 +30°에 위치되고, 센터 스피커는 0°에, 좌측-전방 스피커(32)는 -31°에, 그리고 좌측-후방 스피커(34)는 -110°에 위치된다. 실제에서, 무울림(울림없는) 레코딩은 간단한 매트릭스 작동들을 적용함으로써 시뮬레이션될 수 있고, 입력 다채널 표시의 기하학적 배치(구성)는 알려져 있다.
입력 다채널 표시에 연관된 스피커들에 대응하는 모든 오디오 채널들의 것이므로, 전방위 신호 w는 모든 스피커 신호들의 직접적인 합을 취함으로써 얻어질 수 있다. 쌍극 또는 “8자형” 신호 X, Y 및 Z는 스피커와 대응하는 카테시안 축들사이의 각의 코사인 값에 의해 가중치화된 스피커 신호들을 더함으로써 형성될 수 있다. 즉, 시뮬레이트될 2극 마이크의 최대 감도의 방향에 의해 형성될 수 있다. Ln을 nth 스피커 쪽으로 가리키는 2-D 또는 3-D카테시안 벡터로 놓고 V를 2극 마이크에 대응하는 카테시안 축 방향을 가리키는 단위 벡터로 놓자. 그 후, 가중치 요소는 cos(angle(Ln,V))이다. 방향성 신호 X는, 예를 들면, Cn 은 nth 채널의 스피커 신호를 의미하고 N은 채널들의 수일 때, 아래의 식과 같이 쓰여질 수 있다:
Figure 112009057488016-pct00006
각도 항은 두 개의 주어진 벡터들 사이의 공간 각을 계산하는 연산자로 해석되어야 한다. 그것은, 예컨대, 도 2에 도시된 2차원의 사례에서 Y축(24)과 좌측-전방 스피커(32) 사이의 각(40)(Θ)이다.
방향 파라미터들의 또 하나의 편향은, 예를 들면, 도 1에 도시된 그리고 상응하는 상세한 설명에서 상술된 바와 같이 수행될 수 있다. 즉, 오디오 신호 X, Y 및 Z는 사람의 청각 시스템의 주파수 분해능에 따라 주파수 밴드들로 분할될 수 있 다. 사운드의 방향, 즉 입체 오디오 신호의 일부의 출처의 방향과, 선택적으로, 발산은 각 주파수 채널에서 시간에 의존하여 분석된다. 선택적으로, 입체 오디오 신호에 연관된 (스테레오) 채널들 간의 간섭(coherence)처럼, 발산보다 신호 차이점의 다른 측정을 이용하여 사운드 발산에 대한 대체가 또한 사용될 수 있다.
만일, 간단화된 예로써, 하나의 오디오 소스(44)가 제시되고, 도 2에 도시된 바와 같이, 여기에서 그 소스는 특정한 주파수 밴드 내에 신호에 오로지 기여한다면, 오디오 소스(44)를 지시하는 방향 벡터(46)는 도출될 것이다. 방향 벡터는 오디오 소스(44)로부터 나오는 입체 오디오 신호의 일부의 방향을 지시하는 방향 파라미터들(벡터 컴포넌트들)에 의해 표시된다. 도 2의 재생 배치(구성)(setup)에서, 그러한 신호는 좌-전방 스피커에 연관된 기호의 파형에 의해 도시된 것처럼 좌-전방 스피커(34)에 의해 주로 재생될 것이다. 그러나, 사소한 신호 부분들은 또한 좌-후방 스피커(32)로부터 재생될 것이다. 반면, X 좌표(22)에 연관된 마이크의 방향성 신호는 좌-전방 채널(32)(좌-전방 스피커(32)에 연관된 오디오 채널)과 좌-후방 채널(34)로부터 신호 성분들을 수신할 것이다.
상기의 실행에 따라, y-축에 연관된 방향성 신호 Y는 또한 좌-전방 스피커(32)에 의해 재생된 신호 부분을 수신할 것이기 때문에, 방향성 신호 X 및 Y에 기초를 둔 방향성 분석은 높은 정확성을 가지고 방향 벡터(46)으로부터 오는 사운드를 재현할 수 있을 것이다.
원하는 다채널 표시(다채널 포맷)로의 최종적인 변환에 대하여, 오디오 신호들의 일부의 출처의 방향을 가리키는 방향 파라미터들이 사용된다. 선택적으로, 하나 또는 그 이상의 (N0) 추가적인 오디오 다운믹스 채널들이 사용될 수 있다. 그러한 다운믹스 채널은 예컨대 전방위 채널 W 또는 다른 어떤 모노포닉 채널일 수 있다. 그러나, 공간 분해능에 대하여, 매개 표시에 연관된 오직 하나의 싱글 채널의 사용은 사소한 네거티브 충격(impact)이다. 즉, 방향 파라미터들 또는 방향 데이터가 도출되고 재생 또는 출력 다채널 표시의 생성용으로 사용될 수 있는 한 스테레오 믹스와 같은 몇몇 다운믹스 채널들, 채널 W, X 및 Y 또는 B-포맷의 모든 채널들은 사용될 수 있다. 도 2의 5 채널들을 직접적으로 또는 가능한 다운믹스 채널들에 대한 대체로써 입력 다채널 표시에 연관된 채널들의 어떠한 조합을 사용하는 또한 대안적으로 가능할 수 있다. 단지 하나의 채널이 저장될 때, 멀리 퍼진 사운드의 재생에서 음질의 악화가 있을 수 있다.
도 3은 도 2의 스피커-배치(구성)로부터 상당히 다른 스피커-배치(구성)를 갖는 오디오 소스(44)의 신호의 재생을 위한 예시를 나타내고, 도 2의 스피커-배치(구성)와 상당히 다른 스피커-배치(구성)는 파라미터들이 도출되어지는 입력 다채널 표시이다. 도 3은 예시에서와 같이 청취 지점(60)의 전방에 일렬로 균등하게 분배된 6개의 스피커들(50a에서50f)을 나타내고, 청취 지점(60)은 도 2에서 소개된 바와 같이, x-축(22)과 y-축(24)을 구비한 좌표 시스템의 센터를 규정한다. 이전 분석이 오디오 신호(44)의 소스를 가리키는 방향 벡터(46)의 방향을 표시하는 방향 파라미터들을 제공함에 따라, 도 3의 스피커 배치(구성)에 맞춰 적응된 출력 다채널 표시는 재생될 입체 오디오 신호의 일부를 오디오 소스(44)의 방향에 가까운 스피커들, 즉 방향 파라미터들에 의해 지시된 방향에 가까운 그러한 스피커들에 재분배함으로써 쉽게 도출될 수 있다. 즉, 방향 파라미터들에 의해 지시되는 방향에서 스피커들에 대응하는 오디오 채널들은 이 방향으로부터 멀리 떨어진 스피커들에 대응하는 오디오 채널들에 대하여 강조된다. 즉, 스피커들(50a 및 50b)은 신호 부분을 재생하기 위하여 {예컨대 진폭 패닝(amplitude panning)을 이용하여} 조정될 수 있고, 반면에, 스피커들(50c에서 50f)은 그 특정한 신호 부분을 재생하지 않으며, 한편 그들은 다른 주파수 밴드들의 다른 신호 부분들 또는 멀리 퍼진 사운드의 재생용으로 사용될 수 있다.
방향 파라미터들을 이용하는 입체 오디오 신호의 출력 다채널 표시를 생성하기 위한 신호 작성기의 사용은 또한 N2 출력 채널들을 갖는 원하는 다채널 출력 포맷으로의 매개 신호의 디코딩으로써 해석될 수 있다. 오디오 다운믹스 채널들 또는 생성된 신호들은 그들이 동일 주파수 밴드로 분석됨에 따라 동일 주파수 밴드로 전형적으로 처리된다. 디코딩은 DirAC와 유사한 방법으로 수행될 수 있다. 멀리 퍼진 사운드의 선택적 재생에서, 비발산된 스트림을 표시하기 위한 오디오 사용은 전형적으로 선택적 N0 다운믹스 채널 신호들의 하나이거나 또는 그들의 선형적 조합들이다.
발산된 스트림의 선택적 생성에 대하여, 몇몇 합성 옵션들은 출력 다채널 표시에 따른 스피커들에 대응하는 출력 채널들 또는 출력 신호들의 발산된 부분을 생성하기 위하여 존재한다. 만일 전송된 오직 하나의 다운믹스 채널이 있다면, 그 채널은 각 스피커에 대하여 비발산된 신호들을 생성하기 위해 사용되어야 한다. 만일 전송된 더 많은 채널들이 있다면, 어떻게 발산된 사운드가 생성될 수 있는지에 대한 더 많은 옵션들이 있다. 만일, 예컨대, 스테레오 다운믹스가 변환과정에서 사용된다면, 좌측 다운믹스 채널을 좌측상의 스피커들에 그리고 우측 다운믹스 채널을 우측상의 스피커들에게 적용하는 것이 자명하게 적합한 방법이다. 만일 몇몇 다운믹스 채널들이 변환용으로 사용된다면 (즉, N0 > 1), 각 스피커에 대해 발산된 스트림은 이들 다운믹스 채널들의 다르게 가중치된 합으로써 계산될 수 있다. 하나의 가능성은 예컨대 B-포맷 신호(이전에 설명된 것과 같은 채널 X, Y 및 Z)를 전송하고 각 스피커에 대한 가상 심장형 마이크 신호의 신호를 계산할 것이다.
다음 텍스트는 입력 다채널 표시의 리스트처럼 출력 다채널 표시로의 변환에 대한 가능한 절차를 설명하고 있다. 본 예시에서, 사운드는 시뮬레이트된 B-포맷 마이크를 가지고 녹음되고 그 후 다채널 또는 모노포닉 스피커 구성(setup)을 가지고 청취 또는 재생하기 위한 신호 작성기에 의해 더 처리된다. 각각의 단계들은 5.1-채널 입력 다채널 표시의 8-채널 출력 다채널 표시로의 변환을 나타내는 도 4를 참조하여 설명된다. 기본은 N1-채널 오디오 포맷(N1이 특정한 예에서 5임)이다. 입력 다채널 표시를 다른 출력 다채널 표시로 변환시키기 위하여 다음 단계들이 수행될 수 있다.
1. (레이아웃의 센터(72)에 시뮬레이트된 B-포맷 마이트를 갖는) 레코딩 섹션(70)에 도시된 바와 같이, N1 오디오 채널들(5 채널들)을 구비한 임의의 다채널 오디오 표시의 무울림 레코딩을 시뮬레이트한다.
2. 분석 단계(74)에서, 시뮬레이트된 마이크 신호들은 주파수 밴드들로 나뉘고, 방향성 분석 단계(76)에서, 시뮬레이트된 마이크 신호들의 일부의 출처의 방향이 도출된다. 게다가, 선택적으로, 발산 (또는 간섭)은 발산 종결 단계(78)에서 종결될 것이다.
앞서 언급된 바와 같이 방향 분석은 B-포맷 매개 단계를 사용하지 않고 수행될 수 있다. 즉, 통상적으로, 입체 오디오 신호의 매개 표시는 입력 다채널 표시에 기초하여 도출되어야 하고, 여기에서 매개 표시는 입체 오디오 신호의 일부의 출처의 방향을 가리키는 방향 파라미터들을 구비한다.
3. 다운믹스 단계(80)에서, N0 다운믹스 오디오 신호들은 변환 / 출력 다채널 표시의 생성을 위한 기초로 사용되기 위해 유도된다. 합성(composition) 단계(82)에서, N0 다운믹스 오디오 신호들은 (예컨대 진폭 패닝 또는 동일하게 적용 할 수 있는 기술들을 사용하는) 적절한 합성 방법에 의해 N2 오디오 채널들을 요구하는 임의의 스피커 구성(setup)으로 디코딩되거나 또는 업믹스된다.
결과는 도 4의 재생 시나리오(84)에 도시된 것과 같이 예컨대 8개 스피커들을 구비하는 다채널 스피커 시스템에 의해 재생될 수 있다. 어쨌든, 개념의 범용성 때문에, 변환은 또한 마치 입체 오디오 신호가 하나의 단방향 마이크를 가지고 녹음된 것과 같은 효과를 제공하는 모노포닉 스피커 구성(setup)으로 수행될 수 있다.
도 5는 다채널 오디오 포맷들 간의 변환 장치(100)에 대한 예시의 구조 개략도를 나타낸다.
변환 장치(100)는 입력 다채널 표시(102)를 수신한다.
장치(100)는 입체 오디오 신호의 매개 표시(106)을 도출하기 위한 분석기(104)를 포함하여 이루어진다. 매개 표시(106)는 입체 오디오 신호의 일부의 출처의 방향을 가리키는 방향 파라미터들을 구비하고 있다.
장치(100)는 더욱이 입체 오디오 신호의 매개 표시(106)를 사용하여 입체 오디오 신호의 출력 다채널 표시(110)를 생성하기 위한 신호 작성기(108)을 더 포함 하여 이루어진다.
종합하면, 앞서 기술된 변환 장치들과 변환 방법들의 실시예들은 다소 상당한 이점들을 제공한다. 무엇보다도, 가상적으로 어떤 입력 오디오 포맷이라도 이러한 방법으로 처리될 수 있다. 게다가, 변환 과정은 새로운 관계를 입력 스피커 배치/구성들과 출력 스피커 배치/구성들의 새로운 조합들에 특별하게 맞출 필요 없이 비-표준 스피커 배치/구성들을 포함하는 어떠한 스피커 배치에 대한 출력을 생성할 수 있다.
발명적 방법들의 소정의 실행 요건들에 의존하여, 발명적 방법들은 하드웨어 또는 소프트웨어에서 수행될 수 있다. 수행은 디지털 저장 매체, 특히 거기에 저장된 전기적으로 판독가능한 제어 신호들을 구비하고 발명적 방법들이 수행되도록 프로그램가능한 컴퓨터 시스템을 돕는 디스크, DVD 또는 CD를 사용하여 이루어질 수 있다. 일반적으로, 본 발명은, 그러므로, 기계 판독가능한 캐리어상에 저장된 프로그램 코드를 갖는 컴퓨터 프로그램 제품이고, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 작동할 때 발명적 방법들을 수행하기 위해 작동된다. 바꿔 말하면, 발명적 방법들은, 그러므로, 컴퓨터 프로그램이 컴퓨터 상에서 작동할 때 발명적 방법들의 적어도 하나를 수행하기 위한 프로그램 코드를 구비한 컴퓨터 프로그램이다.
앞서 언급된 것이 특별하게 보여지고 그들의 구체적인 실시예들에 관련하여 설명되었지만, 형식과 구체적인 점에서 다양한 다른 변화들이 그들의 정신과 범위를 벗어남이 없이 구현될 수 있다는 것은 당해 분야에서 통상의 기술자들에게 이해되어질 것이다. 다양한 변화들은 여기에 개시된 광범위 개념들로부터 벗어남이 없이 다른 실시예들에 적용하도록 만들어질 수 있고 뒤따르는 청구항들에 의해 이해될 것이라고 해석된다.
본 발명은 임의의 다채널 포맷들 간의 변환을 가능하게 하는 기술에 관한 것으로 산업상 이용가능하다.

Claims (23)

  1. 입체 오디오 신호의 입력 다채널 표시(102)를, 상기 입체 오디오 신호의 다른 출력 다채널 표시(110)로 변환시키는 장치에 있어서,
    상기 입체 오디오 신호의 상기 입력 다채널 표시(102)에 연관된 스피커들에 대응하는 다수의 오디오 채널들을 도출하기 위해 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)를 디코딩하는 입력 표시 디코더;
    시뮬레이트된 마이크 신호들을 얻기 위해 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)에 연관된 상기 스피커들에 대응하는 상기 다수의 오디오 채널들의 레코딩(녹음, recoding)을 시뮬레이트 하기 위한 수단;
    상기 입체 오디오 신호의 매개 표시(106)를 상기 시뮬레이트된 마이크 신호들로부터 도출하기 위한 분석기(104); 및
    상기 입체 오디오 신호의 매개 표시(106)를 사용하는 입체 오디오 신호의 출력 다채널 표시(110)를 발생시키는 신호 작성기(108);를 포함하여 이루어지고,
    상기 매개 표시는 입체 오디오 신호의 일부의 출처 방향을 지시하는 방향 파라미터(40)를 구비하고,
    상기 입체 오디오 신호의 일부는, 상기 입체 오디오 신호의 주파수 부분 또는 시간 부분 또는 신호 부분인 것을 특징으로 하는 입체 오디오 신호의 다른 출력 다채널 표시로의 입력 다채널 표시의 변환 장치.
  2. 청구항 1에 있어서,
    상기 분석기(104)는 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)에 연관된 상기 오디오 채널들의 가상 상관관계에 의존하는 방향 파라미터들(40)을 도출하도록 작동하는 것을 특징으로 하는 변환 장치.
  3. 청구항 1에 있어서,
    상기 분석기(104)는 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)에 연관된 상기 오디오 채널들의 상대적인 위상정보를 보유하는 방향 파라미터(40)를 도출하도록 작동하는 것을 특징으로 하는 변환장치.
  4. 청구항 1에 있어서,
    상기 분석기(104)는 상기 입체 오디오 신호의 주파수 부분에 대한 방향 파라미터(40)를 도출하도록 작동하고,
    상기 입체 오디오 신호의 주파수 부분은 제한된 주파수 폭을 구비하고 있는 것을 특징으로 하는 변환장치.
  5. 청구항 1에 있어서,
    상기 분석기(104)는 상기 입체 오디오 신호의 유한한 길이 시간 부분에 대한 방향 파라미터(40)를 도출하도록 작동하는 것을 특징으로 하는 변환장치.
  6. 청구항 4에 있어서,
    상기 분석기(104)는 상기 주파수 부분에 연관된 상기 입체 오디오 신호의 유한한 길이 시간 부분에 대한 다른 방향 파라미터(40)를 도출하도록 작동하고,
    제1 주파수 부분에 연관된 제1 시간 부분의 길이는 상기 입체 오디오 신호의 제2의 다른 주파수 부분에 연관된 제2 시간 부분의 길이와 다른 것을 특징으로 하는 변환장치.
  7. 청구항 1에 있어서,
    상기 분석기(104)는 상기 입체 오디오 신호의 입력 다채널 표시(102)의 일부의 출처 방향을 가리키는 벡터를 표시하는 방향 파라미터(40)를 도출하도록 작동하고, 상기 입체 오디오 신호의 일부는 상기 입체 오디오 신호의 주파수 부분 또는 시간 부분 또는 신호 부분인 것을 특징으로 하는 변환장치.
  8. 청구항 1에 있어서,
    상기 분석기(104)는 상기 매개 표시에 연관된 하나 또는 그 이상의 오디오 채널들(80)을 도출하도록 추가적으로 작동하는 것을 특징으로 하는 변환장치.
  9. 청구항 8에 있어서,
    상기 분석기(104)는 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)에 연관된 스피커들(26~34)에 대응하는 오디오 채널들을 도출하도록 작동하는 것을 특징으로 하는 변환장치.
  10. 청구항 8에 있어서,
    상기 분석기(104)는 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)에 연관된 스피커들에 대응하는 상기 오디오 채널들의 합으로써 하나의 다운믹스 채널을 도출하도록 작동하는 것을 특징으로 하는 변환장치.
  11. 청구항 8에 있어서,
    상기 분석기(104)는 데카르트 좌표 시스템의 축 방향에 연관된 적어도 하나의 오디오 채널을 도출하도록 작동하는 것을 특징으로 하는 변환장치.
  12. 청구항 11에 있어서,
    상기 분석기(104)는 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)에 연관된 상기 스피커들에 대응하는 상기 오디오 채널들의 가중치 합을 형성하는 적어도 하나의 오디오 채널을 도출하도록 작동하는 것을 특징으로 하는 변환장치.
  13. 청구항 11에 있어서,
    상기 분석기(104)는 상기 데카르트 좌표 시스템의 축 방향 V에 연관된 적어도 하나의 오디오 채널 X의 도출은, 아래의 공식에 따라, 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)에 연관된 n 스피커들에 대응하는 n 오디오 채널들 Cn의 조합에 의해 설명될 수 있고 방향 Ln 으로 향할 수 있도록 작동되는 것을 특징으로 하는 변환장치.
    Figure 112012018534963-pct00013
  14. 청구항 1에 있어서,
    상기 분석기(104)는 더욱이 상기 입체 오디오 신호의 출처 방향의 발산을 가리키는 발산 파라미터를 도출하도록 작동하는 것을 특징으로 하는 변환장치.
  15. 청구항 1에 있어서,
    상기 신호 작성기(108)는,
    상기 출력 다채널 표시에 연관된 스피커들의 수에 대응하는 채널 수로, 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)의 일부를 복제하도록 작동하고,
    상기 입체 오디오 신호의 일부는 상기 입체 오디오 신호의 주파수 부분 또는 시간 부분 또는 신호 부분인 것을 특징으로 하는 변환장치.
  16. 청구항 15에 있어서,
    상기 신호 작성기(108)는, 더 큰 세기를 획득하기 위해 상기 입체 오디오 신호의 일부가 증폭된 후에, 상기 입력 표시의 상기 입체 오디오 신호의 일부가 상기 방향 파라미터(40)에 의해 지시된 방향으로부터 더 떨어진 스피커에 대응하는 채널보다 상기 방향 파라미터(40)에 의해 지시된 방향에 근접한 스피커에 대응하는 채널로 복제되도록 작동하고,
    상기 입체 오디오 신호의 일부는 상기 입체 오디오 신호의 주파수 부분 또는 시간 부분 또는 신호 부분인 것을 특징으로 하는 변환장치.
  17. 청구항 14에 있어서,
    상기 신호 작성기(108)는, 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)의 일부가 더 균일한 세기를 획득하도록 수정된 후에, 상기 입체 오디오 신호의 일부가, 상기 발산 파라미터가 낮은 발산을 가리킬 때보다 상기 발산 파라미터가 높은 발산을 가리킬 때, 상기 출력 다채널 표시에 연관된 스피커들에 대응하는 채널들로 복제되도록 작동하고,
    상기 입체 오디오 신호의 일부는 상기 입체 오디오 신호의 주파수 부분 또는 시간 부분 또는 신호 부분인 것을 특징으로 하는 변환장치.
  18. 청구항 1에 있어서,
    상기 입체 오디오 신호의 상기 입력 다채널 표시(102)를 수신하기 위한 입력 인터페이스를 더 포함하여 이루어지는 변환장치.
  19. 청구항 15에 있어서,
    상기 신호 작성기(108)는 상기 출력 채널 표시에 연관된 스피커들에 대응하는 오디오 채널들에 기초를 둔 상기 출력 다채널 표시를 도출하기 위한 출력 채널 인코더를 더 포함하는 것을 특징으로 하는 변환장치.
  20. 청구항 1에 있어서,
    상기 출력 다채널 표시를 제공하기 위한 출력 인터페이스를 더 포함하여 이루어지는 변환장치.
  21. 입체 오디오 신호의 입력 다채널 표시(102)를, 상기 입체 오디오 신호의 다른 출력 다채널 표시로 변환하는 방법에 있어서,
    입력 표시 디코더에 의해 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)에 연관된 스피커들에 대응하는 다수의 오디오 채널들이 도출되는 단계(72);
    시뮬레이트된 마이크 신호들을 얻기 위해 상기 입체 오디오 신호의 상기 입력 다채널 표시(102)에 연관된 상기 스피커들에 대응하는 상기 다수의 오디오 채널들의 레코딩(녹음)을 시뮬레이트 하는 단계;
    상기 입체 오디오 신호의 매개 표시(74; 76)가 상기 시뮬레이트된 마이크 신호들로부터 도출되는 단계; 및
    상기 입체 오디오 신호의 매개 표시를 사용하여 상기 입체 오디오 신호의 출력 다채널 표시가 생성되는 단계(82);를 포함하고,
    상기 매개 표시는 상기 입체 오디오 신호의 일부의 출처 방향을 지시하는 방향 파라미터를 구비하고,
    상기 입체 오디오 신호의 일부는, 상기 입체 오디오 신호의 주파수 부분 또는 시간 부분 또는 신호 부분인 것을 특징으로 하는 입체 오디오 신호의 다른 다채널 표시로의 입력 다채널 표시의 변환 방법.
  22. 제21항의 방법을 컴퓨터 시스템에서 실행하기 위한 프로그램이 기록된, 컴퓨터 시스템이 판독할 수 있는 기록매체.
  23. 삭제
KR1020097019537A 2007-03-21 2008-02-01 다채널 오디오 포맷들 사이의 변환 장치 및 방법 KR101195980B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US89618407P 2007-03-21 2007-03-21
US60/896,184 2007-03-21
US11/742,502 US8290167B2 (en) 2007-03-21 2007-04-30 Method and apparatus for conversion between multi-channel audio formats
US11/742,502 2007-04-30
PCT/EP2008/000830 WO2008113428A1 (en) 2007-03-21 2008-02-01 Method and apparatus for conversion between multi-channel audio formats

Publications (2)

Publication Number Publication Date
KR20090117897A KR20090117897A (ko) 2009-11-13
KR101195980B1 true KR101195980B1 (ko) 2012-10-30

Family

ID=39313182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097019537A KR101195980B1 (ko) 2007-03-21 2008-02-01 다채널 오디오 포맷들 사이의 변환 장치 및 방법

Country Status (9)

Country Link
US (1) US8290167B2 (ko)
EP (1) EP2130204A1 (ko)
JP (1) JP4993227B2 (ko)
KR (1) KR101195980B1 (ko)
CN (1) CN101669167A (ko)
BR (1) BRPI0808217B1 (ko)
RU (1) RU2449385C2 (ko)
TW (1) TWI369909B (ko)
WO (1) WO2008113428A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249283B2 (en) * 2006-01-19 2012-08-21 Nippon Hoso Kyokai Three-dimensional acoustic panning device
US9014377B2 (en) * 2006-05-17 2015-04-21 Creative Technology Ltd Multichannel surround format conversion and generalized upmix
US8908873B2 (en) * 2007-03-21 2014-12-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US9015051B2 (en) * 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
US8180062B2 (en) * 2007-05-30 2012-05-15 Nokia Corporation Spatial sound zooming
EP2269383B1 (en) 2008-04-21 2015-12-16 Snap Networks, Inc. An electrical system for a speaker and its control
US9025775B2 (en) * 2008-07-01 2015-05-05 Nokia Corporation Apparatus and method for adjusting spatial cue information of a multichannel audio signal
EP2205007B1 (en) * 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
CN102687536B (zh) 2009-10-05 2017-03-08 哈曼国际工业有限公司 用于音频信号的空间提取的系统
EP2346028A1 (en) 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
ES2605248T3 (es) * 2010-02-24 2017-03-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato para generar señal de mezcla descendente mejorada, método para generar señal de mezcla descendente mejorada y programa de ordenador
AU2011231565B2 (en) * 2010-03-26 2014-08-28 Dolby International Ab Method and device for decoding an audio soundfield representation for audio playback
EP2375779A3 (en) 2010-03-31 2012-01-18 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for measuring a plurality of loudspeakers and microphone array
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
WO2012025580A1 (en) 2010-08-27 2012-03-01 Sonicemotion Ag Method and device for enhanced sound field reproduction of spatially encoded audio input signals
JP5567997B2 (ja) * 2010-12-07 2014-08-06 日本放送協会 音響信号比較装置およびそのプログラム
KR101871234B1 (ko) 2012-01-02 2018-08-02 삼성전자주식회사 사운드 파노라마 생성 장치 및 방법
BR112014017457A8 (pt) * 2012-01-19 2017-07-04 Koninklijke Philips Nv aparelho de transmissão de áudio espacial; aparelho de codificação de áudio espacial; método de geração de sinais de saída de áudio espacial; e método de codificação de áudio espacial
CN103379424B (zh) * 2012-04-24 2016-08-10 华为技术有限公司 一种混音方法及多点控制服务器
EP2733964A1 (en) * 2012-11-15 2014-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup
CA3031476C (en) 2012-12-04 2021-03-09 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
RU2625444C2 (ru) * 2013-04-05 2017-07-13 Долби Интернэшнл Аб Система обработки аудио
RU2665214C1 (ru) 2013-04-05 2018-08-28 Долби Интернэшнл Аб Стереофонический кодер и декодер аудиосигналов
KR102033304B1 (ko) 2013-05-24 2019-10-17 돌비 인터네셔널 에이비 오디오 오브젝트들을 포함한 오디오 장면들의 효율적 코딩
EP3005356B1 (en) 2013-05-24 2017-08-09 Dolby International AB Efficient coding of audio scenes comprising audio objects
US9502044B2 (en) 2013-05-29 2016-11-22 Qualcomm Incorporated Compression of decomposed representations of a sound field
EP2814027B1 (en) * 2013-06-11 2016-08-10 Harman Becker Automotive Systems GmbH Directional audio coding conversion
EP2830335A3 (en) 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
ES2641538T3 (es) 2013-09-12 2017-11-10 Dolby International Ab Codificación de contenido de audio multicanal
US9807538B2 (en) 2013-10-07 2017-10-31 Dolby Laboratories Licensing Corporation Spatial audio processing system and method
WO2015150384A1 (en) 2014-04-01 2015-10-08 Dolby International Ab Efficient coding of audio scenes comprising audio objects
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9852737B2 (en) * 2014-05-16 2017-12-26 Qualcomm Incorporated Coding vectors decomposed from higher-order ambisonics audio signals
CN105657633A (zh) 2014-09-04 2016-06-08 杜比实验室特许公司 生成针对音频对象的元数据
US9774974B2 (en) * 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
US9913061B1 (en) 2016-08-29 2018-03-06 The Directv Group, Inc. Methods and systems for rendering binaural audio content
EP3297298B1 (en) * 2016-09-19 2020-05-06 A-Volute Method for reproducing spatially distributed sounds
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
JP7297740B2 (ja) * 2017-10-04 2023-06-26 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． ＤｉｒＡＣベース空間オーディオコーディングに関する符号化、復号、シーン処理、および他の手順のための装置、方法、およびコンピュータプログラム
AU2018368588B2 (en) * 2017-11-17 2021-12-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding directional audio coding parameters using different time/frequency resolutions
US11503419B2 (en) 2018-07-18 2022-11-15 Sphereo Sound Ltd. Detection of audio panning and synthesis of 3D audio from limited-channel surround sound
WO2022164229A1 (ko) * 2021-01-27 2022-08-04 삼성전자 주식회사 오디오 처리 장치 및 방법

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208860A (en) * 1988-09-02 1993-05-04 Qsound Ltd. Sound imaging method and apparatus
BG60225B2 (en) 1988-09-02 1993-12-30 Q Sound Ltd Method and device for sound image formation
ATE138238T1 (de) * 1991-01-08 1996-06-15 Dolby Lab Licensing Corp Kodierer/dekodierer für mehrdimensionale schallfelder
GB9103207D0 (en) 1991-02-15 1991-04-03 Gerzon Michael A Stereophonic sound reproduction system
DE4236989C2 (de) 1992-11-02 1994-11-17 Fraunhofer Ges Forschung Verfahren zur Übertragung und/oder Speicherung digitaler Signale mehrerer Kanäle
JPH07222299A (ja) 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd 音像移動処理編集装置
US5850453A (en) * 1995-07-28 1998-12-15 Srs Labs, Inc. Acoustic correction apparatus
FR2738099B1 (fr) * 1995-08-25 1997-10-24 France Telecom Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe
US5870484A (en) * 1995-09-05 1999-02-09 Greenberger; Hal Loudspeaker array with signal dependent radiation pattern
JP4132109B2 (ja) 1995-10-26 2008-08-13 ソニー株式会社 音声信号の再生方法及び装置、並びに音声復号化方法及び装置、並びに音声合成方法及び装置
US6697491B1 (en) * 1996-07-19 2004-02-24 Harman International Industries, Incorporated 5-2-5 matrix encoder and decoder system
JP3594281B2 (ja) 1997-04-30 2004-11-24 株式会社河合楽器製作所 ステレオ拡大装置及び音場拡大装置
AU735333B2 (en) * 1997-06-17 2001-07-05 British Telecommunications Public Limited Company Reproduction of spatialised audio
US5890125A (en) 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
FI116990B (fi) * 1997-10-20 2006-04-28 Nokia Oyj Menetelmä ja järjestelmä akustisen virtuaaliympäristön käsittelemiseksi
AUPP272598A0 (en) * 1998-03-31 1998-04-23 Lake Dsp Pty Limited Wavelet conversion of 3-d audio signals
JP4861593B2 (ja) 2000-04-19 2012-01-25 エスエヌケー テック インベストメント エル．エル．シー． ３次元空間高調波を保存するマルチチャンネルサラウンドサウンドマスタリングおよび再生方法
US7110953B1 (en) 2000-06-02 2006-09-19 Agere Systems Inc. Perceptual coding of audio signals using separated irrelevancy reduction and redundancy reduction
WO2002007481A2 (en) 2000-07-19 2002-01-24 Koninklijke Philips Electronics N.V. Multi-channel stereo converter for deriving a stereo surround and/or audio centre signal
EP1184676B1 (en) * 2000-09-02 2004-05-06 Nokia Corporation System and method for processing a signal being emitted from a target signal source into a noisy environment
KR100922910B1 (ko) * 2001-03-27 2009-10-22 캠브리지 메카트로닉스 리미티드 사운드 필드를 생성하는 방법 및 장치
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
JP3810004B2 (ja) 2002-03-15 2006-08-16 日本電信電話株式会社 ステレオ音響信号処理方法、ステレオ音響信号処理装置、ステレオ音響信号処理プログラム
TWI236307B (en) 2002-08-23 2005-07-11 Via Tech Inc Method for realizing virtual multi-channel output by spectrum analysis
FI118247B (fi) 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
SE0400997D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
US7818077B2 (en) 2004-05-06 2010-10-19 Valve Corporation Encoding spatial data in a multi-channel sound file for an object in a virtual environment
US20080144864A1 (en) 2004-05-25 2008-06-19 Huonlabs Pty Ltd Audio Apparatus And Method
US8843378B2 (en) * 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
WO2006003813A1 (ja) 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. オーディオ符号化及び復号化装置
EP1769491B1 (en) 2004-07-14 2009-09-30 Koninklijke Philips Electronics N.V. Audio channel conversion
US7720232B2 (en) * 2004-10-15 2010-05-18 Lifesize Communications, Inc. Speakerphone
US7853022B2 (en) * 2004-10-28 2010-12-14 Thompson Jeffrey K Audio spatial environment engine
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US8873768B2 (en) 2004-12-23 2014-10-28 Motorola Mobility Llc Method and apparatus for audio signal enhancement
JP4804014B2 (ja) 2005-02-23 2011-10-26 沖電気工業株式会社 音声会議装置
JP4295798B2 (ja) * 2005-06-21 2009-07-15 独立行政法人科学技術振興機構 ミキシング装置及び方法並びにプログラム
EP1761110A1 (en) 2005-09-02 2007-03-07 Ecole Polytechnique Fédérale de Lausanne Method to generate multi-channel audio signals from stereo signals
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues

Also Published As

Publication number Publication date
BRPI0808217B1 (pt) 2021-04-06
CN101669167A (zh) 2010-03-10
KR20090117897A (ko) 2009-11-13
US8290167B2 (en) 2012-10-16
JP2010521910A (ja) 2010-06-24
RU2009134474A (ru) 2011-04-27
TWI369909B (en) 2012-08-01
WO2008113428A1 (en) 2008-09-25
BRPI0808217A2 (pt) 2014-07-01
TW200845801A (en) 2008-11-16
US20080232616A1 (en) 2008-09-25
RU2449385C2 (ru) 2012-04-27
JP4993227B2 (ja) 2012-08-08
EP2130204A1 (en) 2009-12-09

Similar Documents

Publication Publication Date Title
KR101195980B1 (ko) 다채널 오디오 포맷들 사이의 변환 장치 및 방법
US10820134B2 (en) Near-field binaural rendering
US8908873B2 (en) Method and apparatus for conversion between multi-channel audio formats
US10609503B2 (en) Ambisonic depth extraction
US20200335115A1 (en) Audio encoding and decoding
US20190208349A1 (en) Method for reproducing spatially distributed sounds
JP2020017978A (ja) 音声処理装置および方法、並びにプログラム
CN117412237A (zh) 合并音频信号与空间元数据
KR20160039674A (ko) 일정-파워 페어와이즈 패닝을 갖는 매트릭스 디코더
US20210029487A1 (en) Reverberation technique for 3d audio objects
Walther Perception and rendering of three-dimensional surround sound

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161020

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171017

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181015

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191015

Year of fee payment: 8