KR20140018385A - 적응형 오디오 시스템을 위한 동기화 및 전환 방법과 시스템 - Google Patents

적응형 오디오 시스템을 위한 동기화 및 전환 방법과 시스템 Download PDF

Info

Publication number
KR20140018385A
KR20140018385A KR1020137033164A KR20137033164A KR20140018385A KR 20140018385 A KR20140018385 A KR 20140018385A KR 1020137033164 A KR1020137033164 A KR 1020137033164A KR 20137033164 A KR20137033164 A KR 20137033164A KR 20140018385 A KR20140018385 A KR 20140018385A
Authority
KR
South Korea
Prior art keywords
audio
audio content
channel
adaptive
content
Prior art date
Application number
KR1020137033164A
Other languages
English (en)
Other versions
KR101547809B1 (ko
Inventor
스리팔 에스. 메타
세르지오 마르티네즈
에단 에이. 그로스맨
브레드 테이어
딘 불록
존 니어리
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20140018385A publication Critical patent/KR20140018385A/ko
Application granted granted Critical
Publication of KR101547809B1 publication Critical patent/KR101547809B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003—Digital PA systems using, e.g. LAN or internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)

Abstract

객체-기반 적응형 오디오 콘텐트와 더불어 복수-채널 (예를 들면, 서라운드 사운드) 오디오가 제공되는 적응형 오디오 시스템을 위한 동기화 및 전환 메커니즘을 위한 실시예들이 기술된다. 동기화 신호는 복수-채널 오디오 스트림 내에 삽입되고 재생할 적응형 오디오 스트림에 대한 트랙 식별자 및 프레임 카운트를 내포한다. 수신된 적응형 오디오 프레임의 트랙 식별자 및 프레임 카운트는 동기화 신호 내에 내포된 트랙 식별자 및 프레임 카운트와 비교된다. 트랙 식별자나 프레임 카운트가 동기화 신호와 일치하지 않는다면, 전환 프로세스는 적응형 오디오 트랙을 점점 더 작아지게 하고 복수-채널 오디오 트랙을 점점 더 커지게 한다. 시스템은 동기화 신호 트랙 식별자 및 프레임 카운트와 적응형 오디오 트랙 식별자 및 프레임 카운트가 일치할 때까지 -이때에 적응형 오디오 콘텐트가 다시 점점 커지게 될 것이다- 복수-채널 오디오 트랙을 재생한다.

Description

적응형 오디오 시스템을 위한 동기화 및 전환 방법과 시스템{SYNCHRONIZATION AND SWITCHOVER METHODS AND SYSTEMS FOR AN ADAPTIVE AUDIO SYSTEM}
관련출원들에 대한 상호참조
이 출원은 둘 다 모든 목적들을 위해 전체를 참조로 본원에 포함시키는 2011년 7월 1일에 출원된 미국가특허출원번호 61/504,005 및 2012년 4월 20일에 출원된 미국가특허출원번호 61/636,456에 대한 우선권을 주장한다.
하나 이상의 구현들은 일반적으로 오디오 신호 처리에 관한 것으로, 특히 적응형 오디오 시스템에서 오디오 스트림 동기화 및 전환(switchover) 방법들에 관한 것이다.
배경기술에서 논의되는 주제는 배경기술에서 단지 언급했다는 결과로서 종래 기술인 것으로 취해지지 않아야 한다. 마찬가지로, 배경기술에서 언급된 혹은 배경기술의 주제에 연관된 문제는 종래 기술에서 이전에 인식되었던 것으로 취해지지 않아야 한다. 배경기술에서 주제는 자체 및 스스로가 또한 발명들일 수도 있는 서로 다른 수법들을 단지 나타낸다.
현재의 디지털 시네마 서버들은 디지털화된 오디오의 복수의 채널들, 예를 들면 48kHZ 샘플 레이트의 PCM(pulse-code modulated) 오디오의 16 채널과 더불어, 정의된 포맷(예를 들면, JPEG 2000 비디오)으로 압축된 비디오 데이터 스트림들을 미디어 블록에 보낸다. 오디오 콘텐트는 시네마 시스템의 벤더에 따라 서로 다른 포맷들을 가질 수 있는 패킷화된 스트림이다. 오디오 신호 및 비디오 신호는 미디어 블록에 입력되기에 앞서 암호화될 수도 있다. 미디어 블록은 JPEG 비디오를 비압축된 기저대 신호로 해독하고, 오디오를 재생 환경에 맞게 조정되게 하기 위해 시네마 프로세서에 전송한다. 시네마 프로세서는 재생 환경을 위해 등화와 같은 기능들을 수행하며 오디오 콘텐트 내 제공된 스피커 채널 라벨들에 기초하여 서라운드 사운드 어레이 내 적합한 스피커들에 오디오 신호들을 보낸다. 종국의 출력은 HD-SDI(high definition serial digital interface) 포맷으로 프로젝터로 나가는 비디오 피드(feed)를 포함하며, 아날로그 오디오는 증폭기들 및 스피커들에 보내진다. 올바른 재생을 위해, 오디오 트랙들은 비디오 콘텐트에 올바르게 동기화되어야 한다.
일반적으로, A/V 동기화는 극장 환경들에선 특히 정밀하지 않으며 극장 기술자들은 일반적으로 근래에는 설치/교정(calibration) 동안에 A/V 동기화를 측정하지 않는다. 필름 A/V 동기화는 1.5 프레임들(63ms ＠24fps) 이내까지 정확하다고 한다. 사운드는 약 1ft/ms로 이동하기 때문에, A/V 동기화는 극장 내 청취자의 위치에 따라 50ms까지만큼 가변할 수 있다. 현재의 시네마 시스템들에서, 오디오 신호 및 비디오 신호들의 타이밍은 잘 알려져 있어 오디오 및 비디오는 정상적으로 동기화된다. 프로세서들 및 프로젝터들과 같은 정착된 구성성분들의 레이턴시들 또한 잘 알려져 있는데, 예를 들면, 프로젝터 레이턴시는 전형적으로 대략 2 프레임들 또는 88ms로 특정되며, 따라서 시네마 서버는 일반적으로 올바른 동기화를 보장하기 위해 서로 다른 타이밍 특징들을 수용하게 프로그램될 수 있다. 전형적인 응용들에서, 미디어 블록은 2개의 실시간 구성성분들로서 HD-SDI 인터페이스와 AAS(오디오 증폭기 시스템) 인터페이스를 갖는다. 이들은 실시간 인터페이스들이며 적절한 얼마간의 지연을 갖고 동기화되거나 프로그램되는 A/V 출력을 제공하게 구성될 수 있다. 이에 따라, 현재의 시스템들에 어떤 량의 부정확에도 불구하고 오디오와 비디오 콘텐트 간에 타이밍은 고정되어 있어 디지털 오디오 샘플이 시네마 프로세서에 보내질 때 상당히 정밀한 간격 후에(예를 들면, 1/24초 후에) 아날로그 오디오 신호가 증폭기들에 보내질 것이다.
오디오가 측대역 이더넷 연결로 전송될 수 있게 하는 새로운 적응형 오디오 프로세서 및 객체-기반 오디오 포맷이 개발되었다. 이 이더넷 연결은 복수의 복합 오디오 신호들을 전송하기 위한 고-대역폭 통로를 제공한다. 디지털 오디오의 단일 채널의 대역폭이 1.5 메가비트/초(Mbps)라고 한다면, 현재의 16-채널 시스템(예를 들면, AES8)을 위한 대역폭은 대략 24 Mbits/sec(16 x 1.5 Mbits/sec)이다. 이에 반해, 이 응용에서 이더넷 연결의 대역폭은 대략 150 Mbits/sec이며, 이것은 128개까지의 개별 복합 오디오 신호들을 허용한다. 이 적응형 오디오 시스템은 RAID 어레이(또는 유사한 저장 요소)로부터의 오디오 콘텐트를 비실시간으로 이더넷을 통해 디지털 시네마 서버에서 적응형 오디오 시네마 프로세서에 보낸다. 이더넷은 버스티하고 비-실시간 및 비확정적인 전송 매체이다. 이에 따라, 현재의 시네마 처리 시스템들의 본연의 오디오/비디오 동기화 특징은 이러한 유형의 적응형 오디오 시스템에 적용될 수 없다. 이더넷을 통해 제공되는 오디오는 명료한 동기화 기능을 통해 비디오에 동기화되어야 한다. 이더넷을 통해 전달되는 오디오 콘텐트를 비디오 신호에 정렬시키기 위해서는 오디오 및 비디오 콘텐트를 올바르게 동기화하기 위해 확정적인 레이턴시가 있어야 한다.
통상의 디지털 시네마 서버들은 오디오 신호 및 비디오 신호를 단일 미디어 블록에 전달한다. 이어 미디어 블록은 디코드하고, 시간을 정렬시키고, 이들을 동기화된 방식으로 전달한다. 적응형 오디오 시스템에서, 오디오 콘텐트는 복수-채널 오디오(예를 들면, 5.1 또는 7.1 서라운드 사운드 콘텐트), 및 재생 환경 내에서 사운드 재생을 위한 위치 정보를 엔코딩하는 메타데이터와 함께 채널-기반 사운드를 포함하는 객체-기반 적응형 오디오인 2가지 개별적 콘텐트 유형들로 전달된다. 적응형 오디오 시스템에서, 고-비트레이트 적응형 오디오는 디지털 시네마 서버로부터 이더넷을 통해 적응형 오디오 프로세서에 보내진다. 이것은 비-실시간 또는 비확정적 오디오 스트림을 구성한다. 적응형 오디오 콘텐트를 시네마 서버에 의해 제공된 비디오에 동기화시키기 위해서, 적응형 오디오의 어느 프레임을 재생할지(play out)를 적응형 오디오 프로세서가 판정할 수 있게 동기화 신호가 복수-채널 오디오에 연관된다.
실시예에서, 동기화 신호는 복수-채널 오디오 스트림 내에 삽입되고 적응형 오디오 콘텐트가 복수-채널 오디오 콘텐트에 동기화된 채로 유지하기 위해 트랙 식별자 및 프레임 카운트 정보를 내포한다. 이것은 재생 환경에서 올바른 오디오/비디오 동기화를 보장하게 하는 메커니즘을 제공하다. 적응형 오디오 프레임이 가용하지 않게 하는 오류가 발생한다면, 혹은 트랙 식별자 및 프레임 수 정보가 동기화 신호와 일치하지 않는다면, 혹은 적응형 오디오 콘텐트가 아니라 복수-채널 콘텐트를 재생하는 것이 요망된다면, 전환 프로세스가 호출된다. 전환 프로세스는 오디오가 무음으로 사라지게 하고 이어 복수-채널 오디오 트랙이 무음에서 현재의 레벨까지 커지게 하는 페이더 구성성분을 포함한다. 시스템은 동기화 신호 프레임 수 및 적응형 오디오 프레임 수가 일치할 때까지 -이때에 적응형 오디오 콘텐트가 다시 점점 커지게 될 것이다- 복수-채널 오디오 트랙을 계속하여 재생할 것이다.
실시예들은 적응형 오디오-기반의 시네마 시스템에서 오디오 및 비디오 신호들의 올바른 동기화를 제공한다. 시스템은 채널-기반 오디오가 이미 비디오 신호에 동기화된 사실에 의존하며, 비확정적 객체-기반 적응형 오디오 콘텐트를 채널-기반 콘텐트에 동기화하는 시그널링 방법을 제공한다. 이 오디오-대-오디오 동기화 방법은 전체 오디오 콘텐트(복수-채널 오디오 + 적응형 오디오)와 비디오 신호 간에 올바른 타이밍, 페일오버 보호, 및 전환 능력들을 제공한다.
객체-기반 적응형 오디오 콘텐트와 더불어 복수-채널(예를 들면, 서라운드 사운드) 오디오 모두가 제공되는 적응형 오디오 시스템을 위한 동기화 및 전환 메커니즘을 위한 실시예들이 기술된다. 동기화 신호는 복수-채널 오디오 스트림 내 삽입되고 재생할 적응형 오디오 스트림에 대한 트랙 식별자 및 프레임 카운트를 내포한다. 수신된 적응형 오디오 프레임의 트랙 식별자 및 프레임 카운트는 동기화 신호 내 내포된 트랙 식별자 및 프레임 카운트와 비교된다. 트랙 식별자나 프레임 카운트가 동기화 신호와 일치하지 않는다면, 적응형 오디오 트랙을 점점 더 작아지게 하고 복수-채널 오디오 트랙을 점점 더 커지게 하는 전환 프로세스가 호출된다. 시스템은 동기화 신호 트랙 식별자와 프레임 카운트 및 적응형 오디오 트랙 식별자와 프레임 카운트가 일치할 때까지 (이때에 적응형 오디오 콘텐트가 다시 점점 커지게 될 것이다) 복수-채널 오디오 트랙을 계속하여 재생할 것이다.
다음 도면들에서 유사한 요소들을 언급하기 위해 유사한 참조부호들이 사용된다. 다음 도면들이 다양한 예들을 도시할지라도, 하나 이상의 구현들은 도면들에 도시된 예들로 제한되지 않는다.
도 1은 실시예 하에서 동기화 및 전환 보호 프로세스를 구현하는 적응형 오디오 시스템의 블록도이다.
도 2a는 동기화 신호가 복수-채널 오디오 콘텐트에 연관되는 실시예 하에서 적응형 오디오 신호들의 전송을 위한 이더넷 사이드-채널을 포함하는 적응형 오디오 시스템의 블록도이다.
도 2b는 동기화 신호가 복수-채널 오디오 콘텐트를 수신하는 미디어 블록에 의해 발생되는 대안적 실시예 하에서 적응형 오디오 신호들의 전송을 위한 이더넷 사이드-채널을 포함하는 적응형 오디오 시스템의 블록도이다.
도 3은 실시예 하에서 적응형 오디오 트랙을 복수-채널 오디오 트랙과 동기화하는 방법을 도시한 흐름도이다.
도 4는 실시예 하에서 적응형 오디오 프로세서에의 입력으로서 실시간 오디오 콘텐트 및 적응형 오디오 콘텐트의 편성을 도시한 것이다.
도 5는 실시예 하에서 적응형 오디오 콘텐트의 버퍼링 및 처리를 도시한 도면이다.
도 6은 실시예 하에서 동기화 신호의 편성을 도시한 것이다.
도 7은 실시예 하에서 동기화 신호를 처리하기 위한 구성성분들 및 프로세스 흐름들을 도시한 도면이다.
도 8은 실시예 하에서 동기화 신호를 사용하여 적응형 오디오 신호들을 동기화하는 방법을 도시한 흐름도이다.
도 9는 채널-기반 오디오 및 객체-기반 적응형 오디오 둘 다를 포함하고 동기화 및 전환 방법의 실시예들을 이용할 수 있는 콘텐트의 서로 다른 예들을 도시한 것이다.
오디오 스트림들을 동기화하고 선호된 오디오 스트림 유형이 가용불가한 경우에 서로 다른 유형들의 오디오 스트림들의 재생에 대한 전환 보호를 제공하는 적응형 오디오 시스템의 렌더링 스테이지를 위한 시스템들 및 방법들이 기술된다. 본원에 기술되는 하나 이상의 실시예들의 측면들은 소프트웨어 명령들을 실행하는 하나 이상의 컴퓨터들 또는 처리 장치들을 포함하는 믹싱, 렌더링 및 재생 시스템에서 소스 오디오 정보를 처리하는 오디오 또는 오디오-비주얼 시스템에서 구현될 수 있다. 기술된 실시예들의 어느 것이든 단독으로 혹은 임의의 조합으로 서로와 함께 사용될 수 있다. 명세서 내 하나 이상의 곳들에서 논의되거나 시사될 수 있는 종래 기술에 있어서의 다양한 결함들에 의해 여러 실시예들이 동기가 주어졌을 수도 있을지라도, 실시예들은 반드시 이들 결함들의 어느 것을 해결하는 것은 아니다. 즉, 서로 다른 실시예들은 명세서에서 논의될 수 있는 서로 다른 결함들을 해결할 수 있다. 일부 실시예들은 명세서에서 논의될 수 있는 몇몇 결함들 또는 단지 한 결함만을 단지 부분적으로만 해결할 수도 있고, 일부 실시예들은 이들 결함들의 어느 것을 해결하지 않을 수도 있다.
다음 설명의 목적들을 위해 채널 또는 오디오 채널이라는 용어는 모노포닉 오디오 신호를, 또는 오디오 스트림과, 위치가 채널 ID, 예를 들면 좌측 전방 또는 우측 탑 서라운드로서 코딩되는 메타데이터를 의미한다. 채널은 복수의 스피커들, 예를 들면, 좌측 서라운드 채널들(Ls)을 구동할 수 있고, 좌측 서라운드 어레이 내 모든 스피커들에 공급할 것이다. 채널 구성은 연관된 명목상의 위치들을 가진 기정의된 한 세트의 스피커 존들, 예를 들면 5.1, 7.1, 등등인데; 5.1은 전방 좌측 및 우측 채널들, 하나의 센터 채널, 2개의 서라운드 채널들, 및 하나의 서브우퍼 채널을 가진 6-채널 서라운드 사운드 오디오 시스템을 지칭하며; 7.1은 5.1 시스템에 2개의 추가의 서라운드 채널들을 추가한 8-채널 서라운드 시스템을 지칭한다. 5.1 및 7.1 구성들의 예들은 Dolby® 서라운드 시스템들을 포함한다. 객체 또는 객체 채널은 명백한 소스 위치(예를 들면 3차원 좌표), 명백한 소스 폭, 등과 같은 파라미터의 소스 디스크립션을 가진 하나 이상의 오디오 채널들이다. 예를 들면, 객체는 오디오 스트림, 및 위치가 공간 내 3차원 위치로서 코딩되는 메타데이터일 수도 있을 것이다. '적응형 오디오'라는 용어는 재생 환경에 기초하여 오디오의 렌더링을 제어하는 메타데이터에 연관된 객체 또는 채널-기반 오디오 콘텐트를 의미한다.
실시예에서, 표준 서라운드 사운드 오디오는 청취자에 관하여 소정의 위치들에 라우드스피커들의 어레이를 통해 사운드를 재현하는 통상의 채널-기반 오디오 코덱들을 통해 처리될 수 있다. 완전한 복수-채널 오디오 프로그램을 생성하기 위해서, 사운드 엔지니어들은 전형적으로 전체적인 요망되는 인상을 생성하기 위해 상당 수의 개별적 오디오 스트림들(예를 들면 다이알로그, 음악, 효과들)을 믹싱한다. 전형적으로 소정의 위치들에 라우드스피커들의 어레이, 예를 들면 특정 극장 내 특정 5.1 또는 7.1 시스템에 의해 재현되는 오디오 프로그램을 들어봄으로써 오디오 믹싱 판단들이 행해진다. 최종의 믹싱된 신호는 오디오 코덱에의 입력으로서 작용한다. 채널-기반 오디오와는 대조적으로, 객체 코딩은 서로 구별되는 사운드 소스들(오디오 객체들)을 개별적 오디오 스트림들의 형태로 엔코더에의 입력으로서 제공한다. 각 오디오 객체는 무엇보다도 사운드 위치, 사운드 폭, 및 벨로시티 정보를 포함할 수 있는 공간적 파라미터들에 연관된다. 이어, 오디오 객체들 및 연관된 파라미터들은 분배 및 저장을 위해 코딩된다. 최정의 오디오 객체 믹싱 및 렌더링은 오디오 프로그램 재생의 부분으로서, 오디오 분배 체인의 수신측에서 수행된다. 이 단계는 실제 라우드스피커 위치들을 알고 있는 것에 기초할 수 있고 따라서 결과는 사용자에 특정한 청취 상태들에 맞게 재단할 수 있는 오디오 분배 시스템이다. 채널-기반 및 객체-기반인 두가지 코딩 형태들은 서로 다른 입력 신호 상태들에 대해 최적으로 수행한다. 예를 들면, 채널-기반 오디오 코더들은 일반적으로 서로 다른 오디오 소스들의 밀집된 혼합들을 내포하는 입력 신호들을 코딩하는 데에 그리고 방산 사운드들에 더 효율적이다. 반대로, 오디오 객체 코더들은 적은 수의 매우 지향성의 사운드 소스들을 코딩하는데 더 효율적이다.
도 1은 실시예 하에서 동기화 및 전환 프로세스를 구현하는 적응형 오디오 시스템의 블록도이다. 시스템(100)에 보인 바와 같이, 오디오 입력들은 적응형 오디오 프로세서 블록(102)에 제공된다. 프로세서는 채널-기반 오디오 신호들을 공지된 서라운드 사운드 관례들에 따라 특정 서라운드 사운드 스피커들 또는 스피커 그룹들에 보내기 위해 스피커 채널 라벨들을 포함하는 채널-기반 PCM 오디오를 발생한다. 또한, 프로세서(102)는 대응하는 오디오 객체들을 재생하기 위해 스피커 어레이에 특정 스피커들을 식별하는 메타데이터를 내포하는 객체-기반 오디오를 발생한다. 위치 정보는 룸 내에 특정 청취자에 대한 특정 스피커 식별 또는 위치들이 아니라, 룸 및 뷰 스크린의 크기 및 치수들에 관하여 재생 환경의 룸 내에 위치들을 명시하는 수학적 위치 함수들의 형태로 제공된다. 이러한 오디오 시스템은 더 몰입되는(immersive) 오디오 경험을 제공하며, 사운드들이 환경중심적 프레임의 참조에 기초하여 렌더링되기 때문에, 가상으로 임의의 재생 환경 내에 모든 청취자들에 대한 사운드 엔지니어 또는 믹서의 의도를 보유한다. 오디오 객체들이 청취자에 관하여 정의되고 흔히 청취자에 대한 각도들에 관하여 특정되는(예를 들면, 청취자의 우측으로 30도) 공간 참조인 자기중심적 참조와는 대조적으로, 환경중심적 참조는 오디오 객체들이 룸 벽들 및 코너들, 표준 스피커 위치들, 및 스크린 위치(예를 들면, 룸의 전방 좌측 코너)과 같은 렌더링 환경 내에 특징들에 관하여 정의되는 공간 참조이다.
렌더러/출력 블록(104)은 정의된 구성(예를 들면, 5.1 또는 7.1) 내 서라운드-사운드 스피커들(106) 및 적응형 오디오 콘텐트의 재생을 위한 추가의 스피커들(108) 모두를 포함할 수 있는 스피커 어레이의 적합한 스피커들에 출력을 제공한다. 이러한 추가의 스피커들은 천장 탑재 탑 스피커들, 추가의 후방 서브우퍼들, 추가의 스크린 및 사이드 서라운드 스피커들, 등을 포함할 수 있다. 본원에서 사용되는 바와 같이, '재생 시스템'이라는 용어는 렌더링, 증폭, 및 사운드 브로드캐스트 기능들을 수행하게 함께 작용하며 렌더러, 하나 이상의 증폭기들, 버퍼들, 스피커들, 상호연결 구성성분들과 더불어 이외 어떤 다른 적합한 구성성분들을 요소들의 임의의 조합 또는 구성으로 포함할 수 있는 하나 이상의 구성성분들을 지칭한다.
시스템(100)은 복수-채널 오디오 프로그램들을 효율적으로 분배 및 저장할 수 있는 오디오 코덱을 더 포함한다. 이것은 믹싱 환경과는 상이할 수 있는 환경들에서 렌더링하여 재생하도록 개조되고 최적화된 오디오를 생성하여 전달할 수 있게 하는 오디오 객체들을 생성하기 위해 통상의 채널-기반 오디오 데이터를 연관된 메타데이터와 조합한다. 이것은 청취자의 실제 청취 환경에 기초하여 최종의 오디오가 청취자에 의해 어떻게 들리게 될 것인가에 관한 사운드 엔지니어의 의도를 사운드 엔지니어가 엔코딩할 수 있게 한다. 시스템(100)의 구성성분들은 통상의 채널-기반 오디오 요소들 및 객체-기반 오디오 요소들 모두를 내포하는 하나 이상의 비트스트림들을 발생하게 구성되는 오디오 엔코딩, 분배, 및 디코딩 시스템을 포함한다. 이러한 조합 수법은 개별적으로 취해지는 채널-기반 또는 객체-기반 수법들에 비해 더 큰 코딩 효율 및 렌더링 융통성을 제공한다. 실시예들은 오디오 객체 코딩 요소들을 포함하게 역호환될 수 있도록 기정의된 채널-기반 오디오 코덱을 확장하는 것을 포함한다. 오디오 객체 코딩 요소들을 내포하는 새로운 확장층이 정의되고 채널-기반 오디오 코덱 비트스트림의 '베이스' 또는 역호환가능 층에 추가된다. 이 수법은 확장층을 포함하는 하나 이상의 비트스트림들이 기존의 디코더들에 의해 처리될 수 있게 하면서도 새로운 디코더들로 사용자들에게 향상된 청취자 경험을 제공한다. 향상된 사용자 경험의 일예는 오디오 객체 렌더링의 제어를 포함한다. 이 수법의 추가의 잇점은 채널-기반 오디오 코덱으로 엔코딩된 복수-채널 오디오를 디코딩/믹싱/재-엔코딩함이 없이 분배 체인을 따른 임의의 곳에서 오디오 객체들이 추가되거나 수정될 수 있다는 것이다.
적응형 오디오 시스템에서, 고-비트레이트 적응형 오디오 신호는 디지털 시네마 서버로부터 이더넷을 통해 적응형 오디오 프로세서에 보내진다. 도 2a는 실시예 하에서 적응형 오디오 신호들의 전송을 위한 이더넷 사이드-채널을 포함하는 적응형 오디오 시스템의 블록도이다. 시스템(200)은 디지털 시네마 처리 시스템을 위한 렌더링 부-시스템의 부분을 나타낼 수 있다. 시스템(200)에 나타낸 바와 같이, 오디오/비주얼(A/V) 입력(203)이 디지털 시네마 서버(202)에 제공된다. A/V 입력은 시네마 처리 시스템의 저작 도구들을 사용하여 제작자들에 의해 저작된 오디오 및 비디오 콘텐트를 나타낸다. 도 2a의 실시예에 있어서, A/V 입력 신호(203)는 비디오 데이터, 오디오 데이터(채널 및 객체-기반 오디오 + 위치 메타데이터), 및 동기화 신호를 포함한다.
비디오 콘텐트에 관하여, 서버(202)는 압축된 데이터(예를 들면, JPEG 2000)로서 비디오 콘텐트를 제 1 기가비트 이더넷(1OOOBaseT) 또는 유사한 라인(201)을 통해, 적합하게 포맷된 비디오 신호(예를 들면, HD-SDI)를 프로젝터(208)에 보내는 미디어 블록(206)에 출력한다.
오디오 콘텐트에 관하여, 디지털 시네마 서버(202)는 적응형 오디오 콘텐트를 제 2 기가비트 이더넷 라인(205)을 통해 적응형 오디오 프로세서(204)에 출력한다. 적응형 오디오 콘텐트는 재생 환경에 기초하여 오디오의 렌더링을 제어하는 메타데이터에 연관된 객체-기반 오디오 콘텐트를 포함한다. 적응형 오디오 콘텐트는 이더넷 연결을 통해 보내지기 때문에, 이것은 본질적으로 비확정적이며 비-실시간 오디오 구성성분을 나타낸다. 또한, 시네마 서버(202)는 A/V 입력(203)의 채널-기반 콘텐트로부터 패킷화된 복수-채널 오디오를 발생한다. 이것은 제 1 이더넷 링크(201)를 통해 미디어 블록(206)에 전송되고, 이것은 링크(207)를 통해 적응형 오디오 프로세서(204)에 전송하기 위한 실시간 오디오 콘텐트를 생성한다. 실시예에서, 미디어 블록(206)은 링크(201)을 통해 수신된 패킷화된 복수-채널 오디오를 AES3와 같은 디지털 오디오 신호 수송 표준에 따라 포맷하여 링크(207)를 통해 전송되는 실시간 오디오 콘텐트를 생성한다. 전형적인 구현에서, 실시간 오디오는 총 16개의 채널들(207)을 위한 8개의 AES3 신호들을 포함한다.
적응형 오디오 프로세서(204)는 시네마 프로세서 모드(통상의 디지털 시네마)와 적응형 오디오 모드인 두가지 모드에서 동작한다. 시네마 프로세서 모드에서, 복수의 채널들의 오디오는 미디어 블록(206)에 의해 발생되고 라인(207)을 통해 적응형 오디오 프로세서(206)에의 입력을 위해 수신된다. 전형적인 구현에서, 이 오디오는 총 16 채널들(207)을 위한 8개의 AES3 신호들을 포함한다. 시네마 프로세서 모드(AES 또는 DCI 오디오라고도 함)에서 적응형 오디오 프로세서(204)의 출력은, 예를 들면, 서라운드 채널 증폭기들(212)에의 64 스피커 피드들(또는 7.1 어레이들) 출력을 포함한다. B-체인(EQ, 베이스(bass) 관리, 제한) 처리와 더불어, 예를 들면, 13ms 내지 170ms의 조절가능한 레이턴시가 제공될 수 있다. 일반적으로, B-체인 피드들은 필름 스톡(film stock) 상에 사운드 트랙을 구성하는 A-체인 콘텐트와는 대조적으로, 파워 증폭기들, 크로스오버들 및 스피커들에 의해 처리되는 신호들을 지칭한다.
적응형 오디오 모드에서, 적응형 오디오 프로세서(204)는 데이터/제어를 위해 서버(202)로부터 1OOObaseT 이더넷과 함께 오디오 미디어 블록으로서 동작한다. 미디어 블록(206) 내 제공된 8 AES 채널들(207)은 제 2 이더넷 채널(205)을 통해 서버(202)로부터 보내진 적응형 오디오 신호들의 클럭킹 및 동기화를 위해 사용된다. 이들 신호들의 레이턴시는 실시간 오디오 콘텐트(207)에 연관된 동기화 신호를 통해 시네마 프로세서 모드에 매칭된다. 적응형 오디오 렌더링 및 B-체인 처리에 관하여, 실시간 오디오를 포함하는 DCI 오디오 트랙 파일의 정의된 채널(예를 들면, 채널 13) 내에 동기화 신호가 삽입된다. 적응형 오디오 콘텐트 및 프레임 정보는 이더넷을 통해 비-실시간으로 디지털 시네마 서버(202)에서 적응형 오디오 프로세서(204)에 스트리밍된다. 일반적으로, 프레임들은 짧은, 독립적으로 디코딩이 가능한 세그먼트들 -이것들로 전체 오디오 프로그램이 분할된다- 이며, 오디오 프레임 레이트 및 경계는 전형적으로 비디오 프레임들과 정렬된다. 적응형 오디오 프로세서(204) 내에 비교기 프로세스 또는 구성성분은 동기화 신호 내 프레임 수, 제 2 이더넷 채널(205)로부터 프레임 정보를 보고 둘을 비교한다. 이들이 일치한다면, 적응형 오디오 프로세서는 증폭기들(210, 212)을 통해 적응형 오디오 프레임을 재생한다. 동기화 신호에 대한 프레임 정보와 적응형 오디오 콘텐트가 일치하지 않거나 동기화 신호가 없다면, 프로세서는 실시간 오디오 스트림으로 다시 되돌아갈 것이다.
도 2a에 도시된 실시예에 있어서, 동기화 신호가 발생되고, 콘텐트 마스터링 또는 저작 동안, 입력된 A/V 콘텐트(203)의 오디오 신호에 연관되거나 이 내에 삽입된다. 대안적 실시예에서, 동기화 신호는 렌더링 스테이지에 구성성분 또는 프로세스에 의해 자동으로 발생된다. 도 2b는 복수-채널 오디오 콘텐트를 수신하는 미디어 블록에 의해 동기화 신호가 발생되는 적응형 오디오 시스템의 블록도이다. 도 2b의 시스템(220)에 나타낸 바와 같이, A/V 입력 콘텐트는 오디오 및 비디오 콘텐트(213)를 포함하고, 이것은 디지털 시네마 서버(202)에 입력된다. 디지털 시네마 서버(202)는 편성 재생목록(composition playlist)라고도 하는, 콘텐트의 편성에 관한 정보를 미디어 블록(206)에 전송하게 구성된다. 이 편성 재생목록은 (1) 프레임들로 비디오 트랙 파일 길이(즉, 재생할 비디오의 제 1 프레임과 재생할 비디오의 마지막 프레임); (2) 프레임들로 복수-채널 오디오 트랙 파일 길이(즉, 재생할 비디오의 제 1 프레임과 재생할 비디오의 마지막 프레임); 및 (3) 프레임들로 적응형 오디오 트랙 파일 길이(즉, 재생할 적응형 비디오의 제 1 프레임과 재생할 적용형 오디오의 마지막 프레임)을 포함한다. 구현 제약들 및 요건들에 따라 필요할 때, 추가의 혹은 다른 정보가 포함될 수도 있다. 동기화 신호는 미디어 블록(206)에 의해 자동으로 발생되고 실시간으로 링크(207)를 통해 예를 들면 AES3 포맷으로 적응형 오디오 프로세서(204)에 전송된다. 콘텐트 생성 및 마스터링 프로세스에 의해, 복수-채널(라인(201)을 통한) 및 적응형 오디오 트랙 파일들(라인(205)을 통한)은 같은 수의 샘플들/프레임들을 가져야 하며 시간이 정렬되어야 한다. 미디어 블록(206)이 편성 재생목록을 수신하고 적응형 오디오 트랙 파일이 호출된다면, 미디어 블록은 재생되는 복수-채널 오디오 트랙 파일의 현재의 프레임 수에 기초하여 동기화 신호를 동적으로 렌더링할 수 있다. 이것은 콘텐트가 적응형 오디오 트랙 파일을 호출하지 않을 때 동기화 신호를 출력하는 것을 중단할 수 있다.
도 3은 실시예 하에서 적응형 오디오 트랙을 복수-채널 오디오 트랙과 동기화하는 방법을 예시한 흐름도이다. 도 3에 도시된 바와 같이, 프로세스는 서버(202)로부터 제 1 이더넷 링크(201)를 통해 전송되는 복수-채널 오디오 파일의 부분으로서 동기화 신호를 삽입함으로써 시작한다. 실시예에서, 링크(207)를 통해 전송되는 실시간 오디오 콘텐트에 대해서, AES 동기화 신호는 현재 프레임 카운트 및 트랙 식별자 정보(예를 들면, UUID)를 내포하는 특정한 비(non)-오디오 스트림(예를 들면, SMPTE 337M)으로서 포맷되고 프레임마다 복수회 반복한다. 도 2a의 시스템(200)에 관하여 도시된 바와 같이, 단계 304에서, 동기화 신호는 렌더링 또는 패키징 시간에 발생될 수 있고 실시간 오디오(DCI) 트랙 파일의 트랙(13)에 삽입된다. 대안적으로, 도 2b의 시스템(220)에 관하여 도시된 바와 같이, 동기화 신호는 미디어 블록(206)에 의해 발생될 수도 있다. 동기화 신호는 오디오 트랙 파일의 시작부분에서 참조된다. 단계 306에서, 적응형 오디오 신호 및 연관된 프레임 정보는 제 2 기가비트 이더넷 연결(205)을 통해 적응형 오디오 프로세서(204)에 스트리밍된다. 이어, 단계 308에서, 시스템은 동기화 신호 내 프레임 수를 적응형 오디오 프레임 정보와 비교한다. 블록(308)에서 판정되는 바와 같이, 프레임 수들이 일치한다면, 단계 312에서, 적응형 오디오 프레임이 재생된다. 그렇지 않다면 오류 상태가 존재하며, 단계 314에서, 복수-채널 실시간 오디오가 재생된다.
대안적 실시예에서, 동기화 신호는 비-오디오, SMPTE 337M 포맷된 스트림과는 대조적으로, 예를 들면, 주파수-시프트 키잉(FSK)을 사용하여 가청 오디오 신호로서 엔코딩될 수도 있다. 이것은 AES3 포맷된 신호들로서 링크(207)를 통해 출력되기 전에 미디어 블록에 의해 적용될 수 있는 것들은 오디오 워터마킹 및 48kHz과 96kHz 간에 샘플 레이트 변환에도 동기화 신호가 확실하게 한다.
동기화 신호는 한 편성으로부터의 오디오가 다른 편성으로부터의 비디오와 재생되는 것을 방지하기 위하여 트랙 식별자를 내포한다. 프레임 수 및 트랙 식별자(예를 들면, 트랙 UUID) 둘 다를 갖는 것은 이것이 발생하는 것을 방지하는 고유한 연관을 생성한다. 이 가능성은 도 9를 참조하여 실증되는데, 여기에서 쇼(show) 내에 복수의 클립들은 동일 프레임 수를 가진 적응형 오디오를 내포할 수 있다. 이 경우에, 서로 다른 트랙 식별자들은 상이한 비디오 클립들에 오디오 프레임들의 연관 또는 잘못 연관됨에 의해 야기될 수 있는 맞지 않은 오디오 재생을 방지한다.
디지털 시네마 서버(202)에서 링크(205)를 통해 적응형 오디오 프로세서(204)에 보내지는 비-실시간 이더넷 패킷들은 트랙 ID 및 프레임 카운트 정보를 가진 헤더들을 내포한다. 트랙 ID 및 프레임 카운트는 실시간 오디오 트랙 내에 삽입되고, AES 채널들(207)을 통해 미디어 블록(206)에서 적응형 오디오 프로세서(204)에 보내진다. 적응형 오디오 프로세서는 이더넷으로부터의 프레임 데이터를 동기화 신호의 것과 비교하고 프레임이 발견된다면 적응형 오디오 프레임을 재생한다. 도 4는 실시예 하에서 적응형 실시간 채널 데이터 및 적응형 오디오 이더넷 데이터의 편성을 도시한 것이다. 도 4에 도시된 바와 같이, 기가바이트 이더넷 링크(205)를 통해 서버(202)에서 프로세서(204)에 보내지는 데이터 패킷은 프레임 정보가 인터리브된 데이터 패킷들을 포함한다. 도 4의 예에 있어서, 이더넷(205) 데이터는 오디오 프레임들 B1 - A3 - A2 - A1으로 구성된다. 링크(207)를 통해 미디어 블록(206)에서 프로세서(204)에 전송되는 실시간 오디오 데이터는 DCI 오디오 동기화 신호 내 엔코딩된 프레임 수들로 엔코딩된다. 이 경우에, 예시적 코딩은 프레임들 B1 -A3 - A2 - A1을 리스트한다. 프레임들은 두 신호들 간에 일치하기 때문에, 서버(202)로부터의 적응형 오디오 콘텐트는 재생될 것이다. 프레임 수들이 일치하지 않아 오류가 있거나, 어떠한 동기화 신호도 없다면, 적응형 오디오 신호가 아니라 실시간 오디오 신호가 재생될 것이다.
도 5는 실시예 하에서 적응형 오디오 콘텐트의 버퍼링 및 처리를 도시한 것이다. 시스템(500)은 연속적으로 8 AES 입력들을 처리하고 데이터를 버퍼링하고 동기화 신호가 있는지 여부를 검출한다. 실시간 신호들은 동기화 신호 추출 블록(502)에 입력된다. 프레임 ID 및 PCM 데이터는 프레임 시퀀스 관리기(510)에 보내진다. 동시에, 기가비트 이더넷 링크(205)를 통해 보내진 적응형 오디오 신호는 해독 블록(504), 디코드 블록(506), 및 렌더링 블록(508)에 입력된다. 렌더링 블록(508)에 의해 발생된 프레임 ID 및 PCM 데이터는 프레임 시퀀스 관리기(510)에 입력된다. 이어, 프레임 시퀀스 관리기는 동기화 신호가 있는지 여부에 따라 그리고 동기화 프레임이 적응형 오디오 프레임과 일치하는지에 따라 오디오 세트, 실시간 오디오 혹은 적응형 오디오 어느 것을 출력할지를 판단한다. 이어, 선택된 출력이 B-체인 프로세서(512)에 보내진다.
도 6은 실시예 하에서 동기화 신호의 편성을 도시한 것이다. 도 6에 도시된 바와 같이, PCM 좌측 및 우측 채널들(602)을 위한 예시적인 프레임들이 A1 및 A2로 표기되었다. 동기화 신호(606)는 DCI 오디오 트랙 내 특정 채널(예를 들면, 채널 13) 상에 제공된다. 동기화 신호는 각 오디오 프레임의 시작부분(프레임당 42ms 오디오)에 정렬된다. 동기화 신호(606)는 동기화 워드, 트랙 파일 ID(UUID), 및 프레임 카운트(UINT32)를 내포한다.
실시예에서, 초기 동기화, 탐색(seek)(초기 동기화와 동일할 수도 있음), DCI 오디오로/로부터 적응형 오디오의 전환, 및 오류 복구를 위한 재-동기화를 포함한 서로 다른 동기화 모드들이 있을 수 있다. 모든 모드들은 어느 오디오 포맷을 재생할지를 판단하기 위해 동일한 메커니즘을 사용한다.
도 7은 실시예 하에서 동기화 신호를 처리하기 위한 구성성분들 및 프로세스 흐름들을 도시한 도면이다. 도 7에 도시된 바와 같이, 적응형 오디오 콘텐트 및 실시간 오디오 (AES3) 채널들이 동기화 관리기(704)에 입력된다. 실시간 신호들에 대해서, 인터리브된 PCM 데이터의 한 채널은 동기화 신호를 운반하며, 채널들의 나머지는 복수-채널(서라운드 사운드) 콘텐트를 운반한다. 동기화 관리기는 입력 PCM 오디오 버퍼(702) 및 입력된 코딩된 오디오 버퍼(706)과 인터페이스한다. PCM 오디오 데이터는 직접 출력 PCM 오디오 버퍼(710)에 보내지고, 코딩된 오디오는 오디오 디코딩 블록(708)에 보내지며, 이것은 코딩된 오디오를 버퍼(710)에 입력하기 위해 PCM 포맷으로 변환한다. 이어 버퍼(710)는 디지털/아날로그 출력을 제공하며, 이것은 AES 입력 클럭에 기초하여 클럭된다.
도 8은 실시예 하에서 동기화 신호를 사용하여 적응형 오디오 신호들을 동기화하는 방법을 도시한 흐름도이다. 도 8에 도시된 프로세스(800)는 도 7에 도시된 버퍼 및 동기화 관리기 구성성분들 및 도 6에 도시된 동기화 신호를 이용한다. 도 8의 프로세스는 기본적으로 입력 및 출력 버퍼들에 동기화 신호의 버퍼링과, 적응형 오디오 프레임 수과의 비교에 앞서 동기화 신호로부터의 코딩된 프레임을 출력 버퍼에의 저장을 도시한 것이다. 프로세스(800)는 블록(802)에서, 출력 버퍼를 고정된 레이턴시를 위한 무음으로 사전에 채워 시작한다. 이어, 블록(804)에서, 입력/출력 프로세스가 시작된다. 이에 따라 블록(806)에서, 실시간 오디오 콘텐트를 위한 입력 샘플을 수신하게 된다. 판단 블록(808)에서 동기화 신호가 검출되었는지 여부가 판정된다. 그렇지 않다면, 블록(824)에서, 최대 수의 동기화 신호 샘플들에 도달되었는지가 더욱 판정된다. 그렇지 않다면, 블록(826)에서 샘플이 입력 샘플 버퍼에 저장되고 프로세스는 블록(806)부터 다시 진행한다. 블록(824)에서 최대수에 도달된 것으로 판정된다면, 블록(822)에서 입력 샘플들은 출력 버퍼에 카피되고, 블록(820)에서 입력 샘플 버퍼는 클리어되며, 프로세스는 블록(806)부터 진행한다. 블록(808)에서 판정되는 바와 같이 동기화 신호가 검출된다면, 프로세스는 블록(810)에서 동기화 신호에 연관된 코딩된 프레임이 가용한지를 체크한다. 판단 블록(812)에서 판정되는 바와 같이 프레임이 가용하다면, 블록(814)에서 연관된 프레임은 출력 버퍼에 카피되고, 블록(818)에서 입력 샘플 버퍼는 클리어되고, 블록(806)에서 다음 입력 샘플이 얻어진다. 블록(812)에서 판정되는 바와 같이 프레임이 가용하지 않다면, 블록(816)에서 입력 샘플들은 출력 버퍼에 카피되고 블록(818)에서 입력 샘플 버퍼는 클리어되고, 프로세스는 블록(806)에서 다음 입력 샘플을 얻음으로써 진행한다.
여기에 기술된 동기화 메커니즘은 최소 미디어 블록 소프트웨어 변경들(동기화 트랙을 위한 오디오 라우팅)을 요구하며, 시네마 서버에서 적응형 오디오 프로세서로의 간단한, 비-실시간 스트리밍 메커니즘을 나타낸다. 서버(202)에서 프로세서(204)로의 버퍼링 수법은 서버(202)에서 미디어 블록(206)으로의 스트리밍 프로토콜과 같을 것을 사용한다. 이것은 미디어 블록과의 정확한 동기화, 및 미디어 블록 오류들에 대한 강건성 - 미디어 블록(206)이 프레임을 드롭한다면, 프로세서(204)는 프레임을 드롭할 것이다- 을 보증한다. 이 강건한 대비책 메커니즘은 오디오가 항시 재생될 수 있게 한다.
이더넷 스트리밍에 관하여, 서버(202)에서 적응형 오디오 프로세서(204)로의 프로토콜은 서버(202)에서 미디어 블록(206)으로의 프로토콜과 유사하다. 이것은 대역폭을 미디어 블록과 공유하지 않는 전용 이더넷 연결이며, 몇초간 프로세서(204) 상에 버퍼되어 이더넷을 통해 버스트되는 비실시간 인터페이스이다. 서버(202)에 대한 엄밀한 실시간 데드라인들은 없는데, 이것은 단순히 데이터를 가능한한 빨리 보낸다. 시스템은 버퍼 충만도/흐름 제어를 관리하기 위해 TCP 윈도윙(windowing)을 사용한다.
예시적 구현에서, 콘텐트 비트레이트는 다음과 같을 수 있다:
250 Mb/s - 비디오 + 37 Mb/s - DCI 오디오(16 채널들 ＠ 96kHz) + 147 Mb/s - 적응형 오디오 (128 채널들 ＠ 48kHz) = 434 Mb/s (현재 D-시네마 + 적응형 오디오).
실시예에서, 적응형 오디오 시스템은, 미디어 블록 내 삽입/드롭된 오디오 프레임, 서버(202)에서 적응형 오디오 프로세서(204)로 적응형 오디오에 대한 버퍼 언더플로, 서버와 프로세서 간에 이더넷 연결성 상실, 서버와 미디어 블록 간에 이더넷 연결성 상실, 미디어 블록에서 프로세서로의 AES 연결성 상실, 프로세서에서 해독/디코드 오류들, 및 프로세서에서 동작 오류들을 포함한 어떤 오류 상태들을 해결하기 위한 메커니즘들을 포함한다.
더 진전된 것들은 적응형 오디오 콘텐트가 본래의 레이트로 재생될 것에 대한 대비, 동시적인 AES + 파일 입력에 대한 지원, 실시간 오디오 입력 상에 동기화 신호에 대해 모니터하는 수단, 일정한 레이턴시를 가진 동기화 신호에 기초하여 실시간 오디오와 적응형 오디오 간에 자동-전환, 및 상이한 DCI + 적응형 오디오 콘텐트 순서들에서 동기화가 유지됨을 확인하는 수단을 포함한다.
재생할 적응형 오디오 스트림의 프레임 수을 내포하는 복수-채널 오디오 스트림 내 삽입된 동기화 신호는 오류의 경우에 전환 메커니즘의 혹은 적응형 오디오 프레임에 관하여 전환 이벤트의 근거를 제공한다. 재생 동안에, 적응형 오디오 프레임이 가용하고 프레임 수가 동기화 신호와 일치한다면, 적응형 오디오 프레임이 재생된다. 그렇지 않다면, 오디오는 무음이 될 때까지 점점 작아지게 될 것이다. 이어 실시간 오디오 트랙이 점점 커지게 될 것이다. 시스템은 동기화 신호 프레임 수와 적응형 오디오 프레임 수가 일치할 때까지 계속하여 실시간 오디오 트랙을 재생할 것이다. 점점 커지는/작아지는 기간 및 램프 형상(ramp shape)에 관하여, 전형적인 구현에서 파라미터들은 선형 형상을 가진 10ms 점점 커지는 기간과 점점 작아지는 기간이다. 일단 적응형 오디오 프레임들이 가용하고 동기화 신호와 일치하면, 적응형 오디오 콘텐트는 다시 점점 커지게 된다. 이 경우에, 적응형 오디오는 동일한 선형의 10ms의 점점 커지는 기간을 사용하여 점점 더 커지게 한다. 특정 구현 상세에 따라 다른 점점 커지는 기간들 및 형상들이 구현될 수도 있음에 유의한다.
실시예에서, 강당 내 특정한 물리적 위치 또는 위치들로부터 발산하는 것으로 인지될 수 있는 다수 그룹들의 사운드 요소들로서 오디오 객체들이 취급되는 적응형 오디오 시스템에서 동기화 및 전환 방법들 및 구성성분들이 구현된다. 이러한 객체들은 정적(static)일 수 있고, 혹은 이들은 이동(move)할 수 있다. 오디오 객체들은 무엇보다도 주어진 시각에 사운드의 위치를 구체화하는 메타데이터에 의해 제어된다. 객체들이 극장에서 모니터되거나 재생될 때(played back), 이들은 반드시 물리적 채널에 출력되는 것이 아니라, 있는 스피커들을 사용하여 위치 메타데이터에 따라 렌더링된다. 세션에 트랙은 오디오 객체일 수 있고, 표준 패닝(panning) 데이터는 위치 메타데이터와 유사하다. 이에 따라, 스크린 상에 놓여지는 콘텐트는 채널-기반 콘텐트와 동일한 방식로 효과적으로 패닝할 수도 있을 것이지만, 서라운드들에 놓여지는 콘텐트는 요망된다면 개개의 스피커에 렌더링될 수 있다.
실시예들은 채널-기반 서라운드 사운드 콘텐트 및 적응형 오디오 콘텐트 둘 다를 내포하는 다양한 서로 다른 유형들의 오디오 및 프로그램 콘텐트에 적용될 수 있다. 도 9는 실시간 오디오 및 적응형 오디오 둘 다를 포함하고 동기화 및 전환 프로세스의 실시예들을 이용할 수 있는 콘텐트의 서로 다른 예들을 도시한 도면(900)이다. 콘텐트는 객체-기반 오디오 및 연관된 메타데이터를 내포하는 단일 적응형 오디오 클립에 기초할 수 있다. 시네마에서 보여질 수 있는 것과 같은 믹싱된 오디오 포맷 쇼는 실시간 오디오를 사용하는 트레일러 및 광고를 추가할 수 있다. 진보된 오디오 쇼는 더 적응형의 오디오 콘텐트와 함께 비디오 콘텐트를 내포하는 트레일러와 같은 비디오 콘텐트를 추가할 수 있다. 이러한 경우가 도 9에 인터리브된 적응형 오디오/DCI 오디오 프로그램으로서 도시되었다. 마지막으로, 예시적 콘텐트는 적응형 오디오 기반의 비디오 프로그램과 더불어 실시간 오디오-기반의 광고 및 트레일러 콘텐트를 포함하는 믹싱된 비디오 포맷 쇼를 포함할 수 있다. 일반적으로, 적응형 오디오 프로세서는 비디오 신호에 대한 동기화 관계나 영화 토폴로지를 알 필요는 없다. 도 9는 구현에 관한 예의 목적들을 위해서만 포함되고 A/V 프로그램들의 그외 많은 다른 유형들 및 편성들이 기술된 실시예들의 측면들을 사용할 수 있음에 유의한다.
실시예들은 일반적으로 D-시네마 오디오 시스템에서 각 채널의 식별 및 위치를 지시하는 "D-Cinema Distribution Master Audio Channel Mapping and Channel Labeling" 명칭의 SMPTE 428-3-2006 표준을 이용하는 디지털 시네마 (D-시네마) 환경들에서의 적용들에 관계된 것이다. 또한, 실시예들은 전문적인 오디오 장치들 간에 디지털 오디오 신호들의 수송을 위한 AES3(Audio Engineering Society) 표준을 사용하는 시스템들 상에 구현된다. 모든 실시예들이 이와 같이 제한되는 것은 아님에 유의한다.
실시예들이 적응형 오디오 콘텐트가 디지털 시네마 처리 시스템들에서 사용하기 위해 필름 콘텐트에 연관되는 시네마 환경에서 예들 및 구현에 관하여 기술되었을지라도, 실시예들은 비(non)-시네마 환경들에서도 구현될 수 있음에 유의한다. 객체-기반 오디오 및 채널-기반 오디오를 포함하는 적응형 오디오 콘텐트는 임의의 관계된 콘텐트(연관된 오디오, 비디오, 그래픽, 등)과 함께 사용될 수도 있고, 혹은 독자형 오디오 콘텐트를 구성할 수도 있다. 재생 환경은 헤드폰들 또는 근장(near field) 모니터들 내지는 소형 또는 대형 룸들, 자동차들, 야외 무대, 콘서트 홀들, 등의 임의의 적합한 청취 환경일 수 있다.
시스템(100)의 측면들은 디지털 혹은 디지털화된 오디오 파일들을 처리하기 위한 적합한 컴퓨터-기반의 사운드 처리 네트워크 환경에서 구현될 수 있다. 적응형 오디오 시스템의 부분들은 컴퓨터들 간에 전송되는 데이터를 버퍼하고 라우팅하는데 기능하는 하나 이상의 라우터들(도시되지 않음)을 포함하여 임의의 요망되는 수의 개개의 머신들을 포함하는 하나 이상의 네트워크들을 포함할 수 있다. 이러한 네트워크는 여러 서로 다른 네트워크 프로토콜들로 구축될 수 있고, 인터넷, 광역 네트워크(WAN), 근거리 네트워크(LAN), 혹은 이들의 임의의 조합일 수 있다. 네트워크가 인터넷을 포함하는 실시예에서, 하나 이상의 머신들은 웹 브라우저 프로그램들을 통해 인터넷에 액세스하게 구성될 수 있다. 또한, 도면들에 기술되고 도시된 어떤 인터페이스들 및 링크들은 다양한 프로토콜들을 사용하여 구현될 수 있다. 예를 들면, 이더넷 연결들은 임의의 적합한 TCP/IP 프로토콜 및 와이어 매체, 이를테면 구리, 광섬유, 등을 사용하여 구현될 수 있고, 혹은 이들은 적절한 다른 디지털 전송 프로토콜들로 대체될 수도 있다.
구성성분들, 블록들, 프로세스들 또는 다른 기능 구성성분들의 하나 이상은 시스템의 프로세서-기반의 계산 장치의 실행을 제어하는 컴퓨터 프로그램을 통해 구현될 수 있다. 또한, 본원에 개시된 다양한 기능들은 거동, 레지스터 전송, 논리 구성성분, 및/또는 다른 특징들에 관련하여 하드웨어, 펌웨어의 임의의 수의 조합들을 사용하여, 및/또는 다양한 머신-판독가능한 혹은 컴퓨터-판독가능한 미디어에 실시되는 데이터 및/또는 명령들로서 기술될 수 있음에 유의한다. 이러한 포맷된 데이터 및/또는 명령들이 실시될 수 있는 컴퓨터-판독가능 매체들은 광학, 자기 또는 반도체 저장 매체들과 같은 다양한 형태들로 물리적(비-일시적), 비휘발성 저장 미디어를 포함하나, 이들로 제한되지 않는다.
정황이 명백하게 다른 것을 요구하지 않는한, 설명 및 청구항들 전반에 걸쳐, "포함하다"라는 단어들은 배타적인 혹은 고갈적인 의미와는 반대로 포괄적인 의미로, 즉 "포함하지만, 이들로 제한되는 것은 아닌"으로 해석되는 것이다. 단수 또는 복수를 사용하는 단어들은 각각 복수 또는 복수 또한 포함한다. 또한, "본원에서", "아래에", "위에서", "이하", 및 유사한 의미의 단어들은 이 출원의 임의의 특정한 부들들이 아니라 전체로서 이 출원을 지칭한다. "또는"이라는 단어가 2 이상의 항목들의 목록에 관하여 사용될 때, 단어에 대해 이 단어는 목록 내 항목들의 어느 것, 목록 내 모든 항목들 및 목록 내 항목들의 임의의 조합이라는 해석들 전부를 포함한다.
하나 이상의 구현들이 예에 의해서 그리고 특정 실시예들에 관련하여 기술되었지만, 하나 이상의 구현들은 개시된 실시예들로 제한되지 않음을 알아야 한다. 반대로, 당업자들에게 명백하게 되는 바와 같이 다양한 수정들 및 유사한 배열들을 포함하게 의도된다. 그러므로, 첨부된 청구항들의 범위는 모든 이러한 수정들 및 유사한 배열들을 포괄하기 위해서 가장 넓은 해석에 따라야 한다.

Claims (27)

  1. 오디오 신호 처리 방법에 있어서,
    스피커 어레이의 스피커들을 특정하는 채널-기반 오디오 신호들과 재생 정보를 포함하는 복수-채널 오디오 컨텐트를 발생하는 단계로서, 상기 스피커 어레이의 스피커들을 통하여 각각의 채널-기반 신호들이 재생되도록 하는, 복수-채널 오디오 컨텐트를 발생하는 단계;
    객체-기반 오디오 신호들, 및 상기 객체-기반 오디오 신호들을 위한 3차원 위치 렌더링 정보를 포함하는 적응형 오디오 콘텐트(adaptive audio content)를 발생하는 단계; 및
    상기 복수-채널 오디오 콘텐트 및 상기 적응형 오디오 콘텐트에 연관된 비디오 콘텐트에 대하여 상기 객체-기반 오디오 신호들의 재생을 동기화하기 위해 동기화 신호를 상기 복수-채널 오디오 콘텐트에 연관시키는 단계로서, 상기 동기화 신호는 상기 적응형 오디오 콘텐트의 현재 트랙에 대한 트랙 식별자 및 프레임 카운트 정보를 포함하는, 상기 복수-채널 오디오 콘텐트에 연관시키는 단계를 포함하는, 오디오 신호 처리 방법.
  2. 제 1 항에 있어서, 상기 적응형 오디오 콘텐트에 대한 상기 동기화 신호 내 상기 트랙 식별자 및 프레임 카운트 정보를 상기 적응형 오디오 콘텐트의 수신된 객체-기반 오디오 신호에 대한 상기 트랙 식별자 및 프레임 카운트 정보와 비교하는 단계; 및
    상기 동기화 신호 내 상기 트랙 식별자 및 프레임 카운트 정보가 상기 수신된 객체-기반 오디오 신호에 대한 상기 트랙 식별자 및 프레임 카운트 정보와 일치하지 않거나 또는 상기 동기화 신호가 없다면 전환 프로세스를 구현하는 단계를 더 포함하는, 오디오 신호 처리 방법.
  3. 제 2 항에 있어서, 상기 전환 프로세스는 무음 임계에 도달될 때까지 상기 객체-기반 오디오 신호들을 점점 작아지게 하는 단계; 및
    상기 채널-기반 오디오 신호들을 점점 커지게 하는 단계를 포함하는, 오디오 신호 처리 방법.
  4. 제 3 항에 있어서, 상기 동기화 신호 내 상기 트랙 식별자 및 프레임 카운트 정보가 후속하여 수신되는 객체-기반 오디오 신호에 대한 트랙 식별자 및 프레임 카운트 정보와 일치할 때, 상기 전환 프로세스는
    상기 채널-기반 오디오 신호들을 점점 작아지게 하는 단계; 및
    상기 후속 객체-기반 오디오 신호들을 점점 커지게 하는 단계를 더 포함하는, 오디오 신호 처리 방법.
  5. 제 1 항에 있어서, 상기 동기화 신호는 상기 비디오 콘텐트, 상기 복수-채널 오디오 콘텐트, 및 상기 적응형 오디오 콘텐트를 내포하는 오디오 비주얼 입력 신호의 부분으로서 포함되는, 오디오 신호 처리 방법.
  6. 제 1 항에 있어서, 상기 동기화 신호는 실시간 오디오 콘텐트를 생성하기 위해 디지털 오디오 신호 수송 표준에 따라 수신된 상기 복수-채널 오디오 콘텐트를 포맷하는 미디어 블록 구성성분에 의해 자동으로 발생되는, 오디오 신호 처리 방법.
  7. 제 6 항에 있어서, 상기 디지털 오디오 신호 수송 표준은 AES3 표준을 포함하며, 상기 실시간 오디오 콘텐트는 복수-채널 오디오를 포함하고, 상기 실시간 오디오 콘텐트의 상기 복수-채널 오디오 트랙 파일 내 삽입되는 상기 트랙 식별자 및 프레임 카운트 정보는 AES 동기화 신호를 통해 상기 적응형 오디오 콘텐트에 연관되는, 오디오 신호 처리 방법.
  8. 제 7 항에 있어서, 상기 객체-기반 오디오 신호들을 위한 상기 위치 렌더링 정보는 상기 객체-기반 오디오 신호들의 각각의 신호들이 상기 스피커 어레이를 내포하는 재생 환경으로부터 발산하게 의도된 3차원 공간 내 위치를 특정하는 메타데이터를 포함하며; 상기 복수-채널 오디오 콘텐트는 상기 스피커 어레이를 이용하는 서라운드 사운드 오디오 시스템을 통해 재생하기 위한 서라운드-사운드 채널-기반 오디오를 포함하는, 오디오 신호 처리 방법.
  9. 제 8 항에 있어서, 디지털 시네마 서버에 입력되는 상기 오디오 비주얼 신호를 수신하는 단계, 및 상기 메타데이터를 해석하여 상기 스피커 어레이의 특정된 스피커들을 통해 상기 적응형 오디오 콘텐트의 상기 객체-기반 신호들을 렌더링하고 재생하는 적응형 오디오 프로세서에 상기 비디오 및 복수-채널 오디오 콘텐트를 제 1 이더넷 연결을 통해서 그리고 상기 적응형 오디오 콘텐트를 제 2 이더넷 연결을 통해 출력하는 단계를 더 포함하는, 오디오 신호 처리 방법.
  10. 오디오 및 비디오 신호 동기화 시스템에 있어서,
    오디오 비주얼 신호를 수신하고 비디오 콘텐트 및 복수-채널 오디오 콘텐트를 제 1 이더넷 연결을 통해 출력하고 적응형 오디오 콘텐트를 제 2 이더넷 연결을 통해 출력하는 서버;
    상기 제 1 이더넷 연결을 통해 상기 서버에 결합되고, 상기 복수-채널 오디오 콘텐트를 수신하고, 상기 복수-채널 오디오 콘텐트를 출력하는 미디어 블록으로서, 상기 복수-채널 오디오 콘텐트는 상기 적응형 오디오 콘텐트에 대한 트랙 식별자 및 프레임 카운트 정보와 비교하기 위해 트랙 식별자 및 프레임 카운트 정보를 내포하는 동기화 신호에 연관되는, 미디어 블록;
    상기 제 2 이더넷 연결을 통해 상기 서버에 결합되고, 상기 미디어 블록에 결합되며, 상기 복수-채널 오디오 콘텐트 및 상기 적응형 오디오 콘텐트를 수신하는, 적응형 오디오 프로세서;
    상기 수신된 적응형 오디오 콘텐트의 트랙 식별자 및 프레임 카운트를 상기 동기화 신호 내 상기 트랙 식별자 및 프레임 카운트와 비교하는 상기 적응형 오디오 프로세서의 비교기 회로; 및
    상기 수신된 적응형 오디오 콘텐트의 상기 트랙 식별자 및 프레임 카운트가 상기 동기화 신호 내 상기 트랙 식별자 및 프레임 카운트와 일치할 경우 상기 적응형 오디오 콘텐트를 렌더링 및 재생하고, 상기 수신된 적응형 오디오 콘텐트의 상기 트랙 식별자 및 프레임 카운트가 상기 동기화 신호 내 상기 트랙 식별자 및 프레임 카운트와 일치하지 않을 경우 상기 복수 채널 오디오 콘텐트를 재생하도록 구성된 재생 시스템을 포함하는, 오디오 신호 및 비디오 신호 동기화 시스템.
  11. 제 10 항에 있어서, 상기 복수-채널 오디오 콘텐트는 서라운드 사운드 오디오 시스템을 통해 재생하기 위한 채널-기반 오디오를 포함하는 디지털 시네마 콘텐트를 포함하는, 오디오 신호 및 비디오 신호 동기화 시스템.
  12. 제 11 항에 있어서, 정의된 서라운드 구성으로 위치된 서라운드 사운드 스피커들, 및 오디오 재생 환경을 정의하는 룸 내에 위치된 복수의 추가 스피커들을 포함하는 스피커 어레이를 더 포함하는, 오디오 신호 및 비디오 신호 동기화 시스템.
  13. 제 12 항에 있어서, 상기 적응형 오디오 콘텐트는 객체-기반 오디오 신호들, 및 상기 객체-기반 오디오 신호들의 각각의 신호들이 상기 스피커 어레이를 내포하는 재생 환경에서 발산하게 의도된 3차원 공간 내 위치를 특정하는 3차원 위치 정보를 포함하는 메타데이터를 포함하는, 오디오 신호 및 비디오 신호 동기화 시스템.
  14. 제 13 항에 있어서, 상기 수신된 적응형 오디오 콘텐트의 상기 트랙 식별자 및 프레임 카운트가 상기 동기화 신호 내 엔코딩된 상기 트랙 식별자 및 프레임 카운트와 일치하지 않는다면 상기 스피커 어레이를 통해 오디오 재생을 점점 작아지게 하고, 상기 수신된 적응형 오디오 콘텐트의 상기 프레임 수가 상기 동기화 신호에 엔코딩된 상기 프레임 수와 일치할 때까지 상기 복수-채널 오디오 콘텐트를 점점 커지게 하여 재생하고, 상기 복수-채널 오디오 콘텐트를 점점 작아지게 한 후에 적응형 오디오 콘텐트의 트랙 식별자 및 프레임 카운트가 상기 동기화 신호에 엔코딩된 상기 트랙 식별자 및 프레임 카운트와 일치할 때 상기 후속 적응형 오디오 프레임을 점점 커지게 하도록 구성된 전환 컴포넌트를 더 포함하는, 오디오 신호 및 비디오 신호 동기화 시스템.
  15. 제 14 항에 있어서, 상기 복수-채널 오디오 콘텐트는 실시간 오디오로서 포맷되고, 상기 동기화 신호는 상기 복수-채널 오디오 콘텐트의 DCI 오디오 트랙 파일 내 삽입되는 AES 동기화 신호를 포함하는, 오디오 신호 및 비디오 신호 동기화 시스템.
  16. 제 15 항에 있어서, 상기 동기화 신호는 SMPTE 337M 비(non)-오디오 스트림 신호로서 포맷되고, 적어도 하나의 트랙 식별자 및 프레임 카운트를 특정하는 복수의 데이터 필드들을 포함하는, 오디오 신호 및 비디오 신호 동기화 시스템.
  17. 제 16 항에 있어서, 상기 복수-채널 오디오 콘텐트 및 상기 적응형 오디오 콘텐트 둘 다를 수신하는 동기화 관리기 구성성분, 및 상기 복수-채널 오디오 콘텐트의 오디오 샘플들을 저장하기 위해 상기 동기화 관리기 구성성분에 결합된 하나 이상의 입력 및 출력 버퍼들을 더 포함하는, 오디오 신호 및 비디오 신호 동기화 시스템.
  18. 오디오 및 비디오 신호 동기화 방법에 있어서,
    오디오 비주얼 신호를 수신하고 비디오 콘텐트 및 복수-채널 오디오 콘텐트를 제 1 이더넷 연결을 통해 출력하고 적응형 오디오 콘텐트를 제 2 이더넷 연결을 통해 출력하는 단계;
    상기 복수-채널 오디오 콘텐트를 미디어 블록에서 수신하고, 실시간 오디오 콘텐트를 출력하는 단계로서, 상기 실시간 오디오 콘텐트는 상기 복수-채널 오디오 콘텐트의 대응하는 프레임들에 상기 적응형 오디오 콘텐트의 프레임들을 동기화하기 위해 상기 적응형 오디오 콘텐트에 대한 트랙 식별자 및 프레임 카운트를 포함하는 프레임 정보에 연관되는 것인, 실시간 오디오 콘텐트를 출력하는 단계;
    상기 수신된 적응형 오디오 콘텐트의 트랙 식별자 및 프레임 카운트를 상기 실시간 오디오 콘텐트에 연관된 상기 트랙 식별자 및 프레임 카운트와 비교하는 단계; 및
    상기 수신된 적응형 오디오 콘텐트의 상기 트랙 식별자 및 프레임 카운트가 상기 실시간 오디오 콘텐트에 연관된 상기 트랙 식별자 및 프레임 카운트와 일치할 경우 상기 적응형 오디오 콘텐트를 렌더링 및 재생하고, 상기 수신된 적응형 오디오 콘텐트의 상기 트랙 식별자 및 프레임 카운트가 상기 실시간 오디오 콘텐트에 연관된 상기 트랙 식별자 및 프레임 카운트와 일치하지 않을 경우 상기 실시간 오디오 콘텐트를 재생하는 단계를 포함하는, 오디오 신호 및 비디오 신호 동기화 방법.
  19. 제 18 항에 있어서, 상기 복수-채널 오디오 콘텐트는 정의된 서라운드 구성으로 위치된 서라운드 사운드 스피커들 및 오디오 재생 환경을 정의하는 룸 내에 위치된 복수의 추가의 스피커들을 포함하는 서라운드 사운드 오디오 시스템을 통해 재생하기 위한 채널-기반 오디오를 포함하는 디지털 시네마 콘텐트를 포함하는, 오디오 신호 및 비디오 신호 동기화 방법.
  20. 제 19 항에 있어서, 상기 적응형 오디오 콘텐트는 객체-기반 오디오 신호들, 및 상기 객체-기반 오디오 신호들의 각각의 신호들이 상기 서라운드 사운드 오디오 시스템을 내포하는 재생 환경에서 발산하게 의도된 3차원 공간 내 위치를 특정하는 3차원 위치 정보를 포함하는 메타데이터를 포함하는, 오디오 신호 및 비디오 신호 동기화 방법.
  21. 제 20 항에 있어서, 상기 수신된 적응형 오디오 콘텐트의 상기 트랙 식별자 및 프레임 카운트가 상기 복수-채널 오디오 콘텐트 내 엔코딩된 상기 트랙 식별자 및 프레임 카운트와 일치하지 않는다면 상기 서라운드 사운드 오디오 시스템을 통해 오디오 재생을 점점 작아지게 하는 단계; 및
    상기 수신된 적응형 오디오 콘텐트의 상기 트랙 식별자 및 프레임 카운트가 상기 복수-채널 오디오 콘텐트에 연관된 상기 프레임 수와 일치할 때까지 상기 복수-채널 오디오 콘텐트를 점점 커지는하는 단계를 더 포함하는, 오디오 신호 및 비디오 신호 동기화 방법.
  22. 오디오 신호 처리 방법에 있어서,
    채널-기반 오디오 신호들의 각각의 채널들이 재생되는, 스피커 어레이의 스피커들을 특정하는 재생 정보, 및 채널-기반 오디오 신호들을 포함한 복수-채널 오디오 컨텐트를 발생하는 단계;
    객체-기반 오디오 신호들, 및 상기 객체-기반 오디오 신호들을 위한 3차원 위치 렌더링 정보를 포함하는 적응형 오디오 콘텐트를 발생하는 단계;
    상기 복수-채널 오디오 콘텐트 및 상기 적응형 오디오 콘텐트에 연관된 비디오 콘텐트에 대하여 상기 객체-기반 오디오 신호들의 재생을 동기화하기 위해 동기화 신호를 상기 복수-채널 오디오 콘텐트에 연관시키는 단계; 및
    상기 동기화 신호 내 포함된 트랙 식별자 및 프레임 카운트 정보와 상기 적응형 오디오 콘텐트의 트랙 식별자 및 프레임 카운트 정보와의 비교가 불일치하게 되면 상기 비디오 콘텐트와 함께 상기 채널-기반 오디오 신호들을 재생하기 위한 전환 프로세스를 구현하는 단계를 포함하는, 오디오 신호 처리 방법.
  23. 제 22 항에 있어서, 상기 전환 프로세스는
    무음 임계에 도달될 때까지 상기 객체-기반 오디오 신호들을 점점 작아지게 하는 단계; 및
    상기 채널-기반 오디오 신호들을 점점 커지게 하는 단계를 포함하는, 오디오 신호 처리 방법.
  24. 제 23 항에 있어서, 상기 동기화 신호 내 상기 트랙 식별자 및 프레임 카운트 정보가 후속하여 수신되는 객체-기반 오디오 신호에 대한 트랙 식별자 및 프레임 카운트 정보와 일치할 때, 상기 전환 프로세스는
    상기 채널-기반 오디오 신호들을 점점 작아지게 하는 단계; 및
    상기 후속 객체-기반 오디오 신호들을 점점 커지게 하는 단계를 더 포함하는, 오디오 신호 처리 방법.
  25. 제 22 항에 있어서, 상기 동기화 신호는 상기 적응형 오디오 콘텐트의 현재 트랙에 대한 트랙 식별자 및 프레임 카운트 정보를 포함하는, 오디오 신호 처리 방법.
  26. 제 25 항에 있어서, 상기 동기화 신호는 상기 비디오 콘텐트, 상기 복수-채널 오디오 콘텐트, 및 상기 적응형 오디오 콘텐트를 내포하는 오디오 비주얼 입력 신호의 부분으로서 포함되는, 오디오 신호 처리 방법.
  27. 제 22 항에 있어서, 상기 동기화 신호는 실시간 오디오 콘텐트를 생성하기 위해 디지털 오디오 신호 수송 표준에 따라 상기 복수-채널 오디오를 포맷하는 미디어 블록 구성성분에 의해 택일적으로 발생되는, 오디오 신호 처리 방법.
KR1020137033164A 2011-07-01 2012-06-27 적응형 오디오 시스템을 위한 동기화 및 전환 방법과 시스템 KR101547809B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161504005P 2011-07-01 2011-07-01
US61/504,005 2011-07-01
US201261636456P 2012-04-20 2012-04-20
US61/636,456 2012-04-20
PCT/US2012/044427 WO2013006342A1 (en) 2011-07-01 2012-06-27 Synchronization and switchover methods and systems for an adaptive audio system

Publications (2)

Publication Number Publication Date
KR20140018385A true KR20140018385A (ko) 2014-02-12
KR101547809B1 KR101547809B1 (ko) 2015-08-27

Family

ID=46551866

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137033164A KR101547809B1 (ko) 2011-07-01 2012-06-27 적응형 오디오 시스템을 위한 동기화 및 전환 방법과 시스템

Country Status (8)

Country Link
US (1) US8838262B2 (ko)
EP (1) EP2727369B1 (ko)
JP (1) JP5856295B2 (ko)
KR (1) KR101547809B1 (ko)
CN (1) CN103621101B (ko)
BR (1) BR112013033574B1 (ko)
RU (1) RU2564681C2 (ko)
WO (1) WO2013006342A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103364A (ko) * 2017-01-10 2019-09-04 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 디코더, 오디오 인코더, 디코딩된 오디오 신호를 제공하기 위한 방법, 인코딩된 오디오 신호를 제공하기 위한 방법, 오디오 스트림, 오디오 스트림 제공기, 및 스트림 식별자를 사용하는 컴퓨터 프로그램
WO2022030908A1 (ko) * 2020-08-03 2022-02-10 삼성전자 주식회사 전자 장치 및 이를 이용한 영상 데이터와 오디오 데이터 동기화 방법

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102273491B1 (ko) 2010-01-21 2021-07-07 더 아벨 파운데이션, 인크. 해양 온도차 발전소
CN105009207B (zh) 2013-01-15 2018-09-25 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
WO2014112793A1 (ko) 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
US10212463B2 (en) * 2013-03-15 2019-02-19 Disney Enterprises, Inc. Methods and systems for digital file distribution to theaters
CN104053021B (zh) 2013-03-15 2018-09-07 迪斯尼企业公司 用于向电影院分发数字文件的方法和系统
US8984569B2 (en) * 2013-03-15 2015-03-17 Echostar Technologies L.L.C. Chunking of multiple track audio for adaptive bit rate streaming
CN105191354B (zh) 2013-05-16 2018-07-24 皇家飞利浦有限公司 音频处理装置及其方法
CN104240711B (zh) * 2013-06-18 2019-10-11 杜比实验室特许公司 用于生成自适应音频内容的方法、系统和装置
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
CN105556837B (zh) 2013-09-12 2019-04-19 杜比实验室特许公司 用于各种回放环境的动态范围控制
US8751832B2 (en) * 2013-09-27 2014-06-10 James A Cashin Secure system and method for audio processing
EP3063955B1 (en) * 2013-10-31 2019-10-16 Dolby Laboratories Licensing Corporation Binaural rendering for headphones using metadata processing
EP2892240B1 (en) * 2014-01-06 2020-11-25 Harman International Industries, Inc. Apparatus and method for automatic device selection for wireless media devices
JP6863359B2 (ja) * 2014-03-24 2021-04-21 ソニーグループ株式会社 復号装置および方法、並びにプログラム
CN106415711A (zh) * 2014-05-30 2017-02-15 索尼公司 信息处理装置和信息处理方法
US10009650B2 (en) * 2014-06-12 2018-06-26 Lg Electronics Inc. Method and apparatus for processing object-based audio data using high-speed interface
US9875751B2 (en) 2014-07-31 2018-01-23 Dolby Laboratories Licensing Corporation Audio processing systems and methods
DK3201918T3 (en) 2014-10-02 2019-02-25 Dolby Int Ab DECODING PROCEDURE AND DECODS FOR DIALOGUE IMPROVEMENT
CN110164483B (zh) 2014-10-03 2021-03-02 杜比国际公司 渲染音频节目的方法和系统
KR102474541B1 (ko) * 2014-10-24 2022-12-06 돌비 인터네셔널 에이비 오디오 신호들의 인코딩 및 디코딩
EP3243326A4 (en) 2015-01-05 2018-06-27 PWV Inc. Discovery, control, and streaming of multi-channel audio playback with enhanced times synchronization
GB2539875B (en) * 2015-06-22 2017-09-20 Time Machine Capital Ltd Music Context System, Audio Track Structure and method of Real-Time Synchronization of Musical Content
CN108141692B (zh) 2015-08-14 2020-09-29 Dts（英属维尔京群岛）有限公司 用于基于对象的音频的低音管理系统和方法
CN105895111A (zh) * 2015-12-15 2016-08-24 乐视致新电子科技（天津）有限公司 基于Android的音频内容处理方法及设备
US10848862B2 (en) 2016-06-29 2020-11-24 Dolby Laboratories Licensing Corporation Asymmetrical high-frequency waveguide, 3-axis rigging, and spherical enclosure for surround speakers
CN106375778B (zh) * 2016-08-12 2020-04-17 南京青衿信息科技有限公司 一种符合数字电影规范的三维音频节目码流传输的方法
US10210881B2 (en) * 2016-09-16 2019-02-19 Nokia Technologies Oy Protected extended playback mode
US10327091B2 (en) * 2016-11-12 2019-06-18 Ryan Ingebritsen Systems, devices, and methods for reconfiguring and routing a multichannel audio file
US11609737B2 (en) 2017-06-27 2023-03-21 Dolby International Ab Hybrid audio signal synchronization based on cross-correlation and attack analysis
EP3457716A1 (en) * 2017-09-15 2019-03-20 Oticon A/s Providing and transmitting audio signal
EP3477952B1 (en) * 2017-10-26 2020-02-12 Christie Digital Systems USA, Inc. Devices, systems and methods for distribution of digital content
EP3704863B1 (en) * 2017-11-02 2022-01-26 Bose Corporation Low latency audio distribution
CN111512544B (zh) * 2017-12-20 2023-11-24 杜比实验室特许公司 可配置模态放大器系统
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
CN110798743A (zh) * 2018-08-02 2020-02-14 腾讯科技（深圳）有限公司 视频播放方法、装置及计算机可读存储介质
CN109637561A (zh) * 2018-11-13 2019-04-16 成都依能科技股份有限公司 一种多通道音视频自动智能编辑方法
CN111726669B (zh) * 2019-03-18 2022-12-23 浙江宇视科技有限公司 一种分布式解码设备及其音视频同步的方法
JP7412090B2 (ja) * 2019-05-08 2024-01-12 株式会社ディーアンドエムホールディングス オーディオシステム
CN111212320B (zh) * 2020-01-08 2023-07-14 腾讯科技（深圳）有限公司 一种资源合成方法、装置、设备及存储介质
IT202000016627A1 (it) * 2020-08-17 2022-02-17 Romiti Nicholas “buffering multiplo audio/video in sistemi multisorgente gestiti da switch, in ambito di regia automatica”
JP2022083443A (ja) * 2020-11-24 2022-06-03 ネイバー コーポレーション オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法
KR102500694B1 (ko) * 2020-11-24 2023-02-16 네이버 주식회사 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 제작하는 컴퓨터 시스템 및 그의 방법
JP2022083445A (ja) * 2020-11-24 2022-06-03 ネイバー コーポレーション ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法
CN114051194A (zh) * 2021-10-15 2022-02-15 赛因芯微(北京)电子科技有限公司 一种音频轨道元数据和生成方法、电子设备及存储介质
CN114363792A (zh) * 2021-11-26 2022-04-15 赛因芯微(北京)电子科技有限公司 传输音轨格式串行元数据生成方法、装置、设备及介质
CN114500475B (zh) * 2021-12-31 2024-02-09 赛因芯微(北京)电子科技有限公司 一种基于实时传输协议的网络数据传输方法、装置及设备
CN116112722B (zh) * 2023-02-17 2023-06-27 央广新媒体文化传媒(北京)有限公司 音频播放方法、装置、电子设备及存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69321558T2 (de) * 1992-11-17 1999-04-22 Matsushita Electric Ind Co Ltd Video- und Audiosignalmultiplex- und -trennvorrichtungen
US5548346A (en) * 1993-11-05 1996-08-20 Hitachi, Ltd. Apparatus for integrally controlling audio and video signals in real time and multi-site communication control method
FR2728753A1 (fr) * 1994-12-21 1996-06-28 Grenier Yves Dispositif de prise de sons comprenant un systeme video pour le reglage de parametres et procede de reglage
JPH0993553A (ja) * 1995-09-26 1997-04-04 Matsushita Electric Ind Co Ltd 画像通信装置および画像通信方法
US6067126A (en) * 1998-01-05 2000-05-23 Intel Corporation Method and apparatus for editing a video recording with audio selections
US6588015B1 (en) * 1998-01-14 2003-07-01 General Instrument Corporation Broadcast interactive digital radio
JP4300662B2 (ja) * 1999-12-21 2009-07-22 ソニー株式会社 ダビング装置
US6630963B1 (en) * 2001-01-23 2003-10-07 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program
JP2002290932A (ja) * 2001-03-27 2002-10-04 Toshiba Corp デジタル放送受信装置とその制御方法
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
JP2003244800A (ja) * 2002-02-14 2003-08-29 Matsushita Electric Ind Co Ltd 音像定位装置
WO2005015907A1 (ja) * 2003-08-08 2005-02-17 Matsushita Electric Industrial Co., Ltd. データ処理装置及びデータ処理方法
JP2005086537A (ja) * 2003-09-09 2005-03-31 Nippon Hoso Kyokai <Nhk> 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法
US7333150B2 (en) * 2004-05-14 2008-02-19 Pixel Instruments Corporation Method, system, and program product for eliminating error contribution from production switchers with internal DVEs
US7843974B2 (en) * 2005-06-30 2010-11-30 Nokia Corporation Audio and video synchronization
US7929902B1 (en) * 2005-07-14 2011-04-19 Zaxcom, Inc. Virtual wireless multitrack recording system
EP1784020A1 (en) * 2005-11-08 2007-05-09 TCL & Alcatel Mobile Phones Limited Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
US8363161B2 (en) * 2006-05-26 2013-01-29 Broadcom Corporation Systems, methods, and apparatus for synchronization of audio and video signals
MX2008012251A (es) 2006-09-29 2008-10-07 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
CN101001485A (zh) * 2006-10-23 2007-07-18 中国传媒大学 一种有限声源多通道声场系统及声场模拟方法
CN100589565C (zh) * 2006-12-12 2010-02-10 中兴通讯股份有限公司 视音频流数据恢复iso媒体文件的方法
US20080154617A1 (en) * 2006-12-21 2008-06-26 Ilja Fischer Query-related object based navigation
US20100040349A1 (en) * 2008-05-01 2010-02-18 Elliott Landy System and method for real-time synchronization of a video resource and different audio resources
EP2194527A3 (en) * 2008-12-02 2013-09-25 Electronics and Telecommunications Research Institute Apparatus for generating and playing object based audio contents
JP5515389B2 (ja) * 2009-04-22 2014-06-11 ソニー株式会社 オーディオ処理装置及びオーディオ処理方法
KR101283783B1 (ko) * 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR20120062758A (ko) * 2009-08-14 2012-06-14 에스알에스 랩스, 인크. 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템
US9191639B2 (en) * 2010-04-12 2015-11-17 Adobe Systems Incorporated Method and apparatus for generating video descriptions
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
JP5641849B2 (ja) * 2010-09-30 2014-12-17 キヤノン株式会社 送信装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103364A (ko) * 2017-01-10 2019-09-04 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 디코더, 오디오 인코더, 디코딩된 오디오 신호를 제공하기 위한 방법, 인코딩된 오디오 신호를 제공하기 위한 방법, 오디오 스트림, 오디오 스트림 제공기, 및 스트림 식별자를 사용하는 컴퓨터 프로그램
KR20210129255A (ko) * 2017-01-10 2021-10-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 디코더, 오디오 인코더, 디코딩된 오디오 신호를 제공하기 위한 방법, 인코딩된 오디오 신호를 제공하기 위한 방법, 오디오 스트림, 오디오 스트림 제공기, 및 스트림 식별자를 사용하는 컴퓨터 프로그램
US11217260B2 (en) 2017-01-10 2022-01-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, method for providing a decoded audio signal, method for providing an encoded audio signal, audio stream, audio stream provider and computer program using a stream identifier
US11837247B2 (en) 2017-01-10 2023-12-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, method for providing a decoded audio signal, method for providing an encoded audio signal, audio stream, audio stream provider and computer program using a stream identifier
WO2022030908A1 (ko) * 2020-08-03 2022-02-10 삼성전자 주식회사 전자 장치 및 이를 이용한 영상 데이터와 오디오 데이터 동기화 방법

Also Published As

Publication number Publication date
EP2727369B1 (en) 2016-10-05
US20140139738A1 (en) 2014-05-22
US8838262B2 (en) 2014-09-16
JP2014526168A (ja) 2014-10-02
CN103621101B (zh) 2016-11-16
BR112013033574B1 (pt) 2021-09-21
KR101547809B1 (ko) 2015-08-27
EP2727369A1 (en) 2014-05-07
CN103621101A (zh) 2014-03-05
BR112013033574A2 (pt) 2017-02-07
RU2564681C2 (ru) 2015-10-10
JP5856295B2 (ja) 2016-02-09
WO2013006342A1 (en) 2013-01-10
RU2013158084A (ru) 2015-08-10

Similar Documents

Publication Publication Date Title
KR101547809B1 (ko) 적응형 오디오 시스템을 위한 동기화 및 전환 방법과 시스템
RU2741738C1 (ru) Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала
EP3175446B1 (en) Audio processing systems and methods
RU2820838C2 (ru) Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180808

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190808

Year of fee payment: 5