KR102383651B1 - 다수의 미디어 처리 노드들을 갖는 적응적 처리 - Google Patents

다수의 미디어 처리 노드들을 갖는 적응적 처리 Download PDF

Info

Publication number
KR102383651B1
KR102383651B1 KR1020217019097A KR20217019097A KR102383651B1 KR 102383651 B1 KR102383651 B1 KR 102383651B1 KR 1020217019097 A KR1020217019097 A KR 1020217019097A KR 20217019097 A KR20217019097 A KR 20217019097A KR 102383651 B1 KR102383651 B1 KR 102383651B1
Authority
KR
South Korea
Prior art keywords
media
processing
data
metadata
media data
Prior art date
Application number
KR1020217019097A
Other languages
English (en)
Other versions
KR20210081443A (ko
Inventor
제프리 리드밀러
레구나탄 라드하크리쉬난
마빈 프리바디
파하드 파라하니
마이클 스미더스
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority to KR1020227010958A priority Critical patent/KR102497818B1/ko
Publication of KR20210081443A publication Critical patent/KR20210081443A/ko
Application granted granted Critical
Publication of KR102383651B1 publication Critical patent/KR102383651B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Abstract

본 발명은 일반적으로 미디어 처리 시스템들에 관한 것으로, 특히 미디어 데이터의 미디어 처리 상태들에 기초하여 미디어 데이터를 적응적으로 처리하는 것에 관한 것이다.

Description

다수의 미디어 처리 노드들을 갖는 적응적 처리{ADAPTIVE PROCESSING WITH MULTIPLE MEDIA PROCESSING NODES}
관련 출원에 대한 상호-참조 및 우선권 주장
본 출원은 양쪽 모두가 여기에서 모든 목적들을 위해 전체적으로 참조로서 통합되는, 2010년 12월 3일에 출원된 미국 가 출원 번호 제 61/419,747호 및 2011년 11월 10일에 출원된 미국 가 출원 번호 제 61/558,286호에 대한 우선권을 주장한다.
본 발명은 일반적으로 미디어 처리 시스템들에 관한 것으로, 특히 미디어 데이터의 미디어 처리 상태들에 기초하여 미디어 데이터를 적응적으로 처리하는 것에 관한 것이다.
미디어 처리 유닛들은 통상적으로 맹목적인 방식으로 동작하고 미디어 데이터가 수신되기 전에 발생하는 미디어 데이터의 처리 이력에 주목하지 않는다. 이것은, 타겟 미디어 렌더링 디바이스가 인코딩된 미디어 데이터의 디코딩 및 렌더링 모두를 하는 동안 단일 엔티티가 다양한 타겟 미디어 렌더링 디바이스들에 대한 모든 미디어 처리 및 인코딩을 하는 미디어 처리 프레임워크에서 동작할 수 있다. 그러나, 이러한 맹목적인 처리는 복수의 미디어 처리 유닛들이 다양한 네트워크에 걸쳐 산재되거나 나란히(즉, 체인) 위치되는 상황들에서 제대로(또는 전혀) 작동하지 않으며 그것들 각각의 유형들의 미디어 처리를 최적으로 수행하도록 예상된다. 예를 들면, 일부 미디어 데이터는 고성능 미디어 시스템들을 위해 인코딩될 수 있으며 미디어 처리 체인을 따라 모바일 디바이스에 적합한 감소된 형태로 변환되어야 할 수 있다. 따라서, 미디어 처리 유닛은 이미 수행된 미디어 데이터에 대한 하나의 유형의 처리를 불필요하게 수행할 수 있다. 예를 들면, 볼륨 레벨링 유닛은 볼륨 레벨링이 입력 오디오 클립 상에서 이전에 수행되었는지의 여부에 관계없이, 입력 오디오 클립 상에서 처리를 수행한다. 그 결과, 볼륨 레벨링 유닛은 심지어 그것이 불필요할 때조차 레벨링을 수행한다. 이러한 불필요한 처리는 또한 미디어 데이터에서의 미디어 콘텐트를 렌더링하면서 열화 및/또는 특정 특징들의 제거를 야기할 수 있다.
이 섹션에 설명된 방식은 추구될 수 있는 방식이지만, 반드시 이전에 상상되거나 추구되는 방식들은 아니다. 그러므로, 달리 표시되지 않는다면, 이 섹션에 설명된 방식들 중 임의의 것은 단지 이 섹션에서의 그것들의 포함 덕분에 종래 기술로서 자격을 얻는다고 가정되지 않아야 한다. 유사하게는, 하나 이상의 방식들에 대하여 식별된 이슈들은 달리 표시되지 않는다면, 이 섹션에 기초하여 임의의 종래 기술에서 인식된 것으로 가정되지 않아야 한다.
볼륨 레벨링 유닛은 심지어 그것이 불필요할 때조차 레벨링을 수행한다. 이러한 불필요한 처리는 또한 미디어 데이터에서의 미디어 콘텐트를 렌더링하면서 특정 특징들의 제거 및/또는 열화를 야기할 수 있다.
방법은 미디어 처리 체인에서의 제 1 디바이스에 의해, 일 유형의 미디어 처리가 미디어 데이터의 출력 버전 상에서 수행되었는지의 여부를 결정하는 단계; 상기 제 1 디바이스에 의해, 상기 유형의 미디어 처리가 상기 미디어 데이터의 출력 버전 상에서 수행되었다고 결정하는 것에 응답하여, 상기 제 1 디바이스에 의해, 상기 미디어 데이터의 출력 버전 상에서 수행된 상기 유형의 미디어 처리를 특정하는 상태를 생성하기; 및 상기 제 1 디바이스로부터 상기 미디어 처리 체인에서의 아래에 있는 제 2 디바이스로, 상기 미디어 데이터의 출력 버전 및 상기 미디어 데이터의 상기 상태를 전달하기를 수행하는 단계를 포함한다.
본 발명은 예를 들면, 및 제한으로서가 아닌, 첨부한 도면들의 도들에서 예시되고 여기에서 유사한 참조 부호들은 유사한 요소들을 나타낸다.
도 1은 본 발명의 일부 가능한 실시예들에 따른 일 예시적인 미디어 처리 체인을 도시한 도면.
도 2는 본 발명의 일부 가능한 실시예들에 따른, 일 예시적인 강화된 미디어 처리 체인을 도시한 도면.
도 3은 본 발명의 일부 가능한 실시예들에 따른, 일 예시적인 인코더/트랜스코더를 도시한 도면.
도 4는 본 발명의 일부 가능한 실시예들에 따른 일 예시적인 디코더를 도시한 도면.
도 5는 본 발명의 일부 가능한 실시예들에 따른, 일 예시적인 후-처리 유닛을 도시한 도면.
도 6은 본 발명의 일부 가능한 실시예들에 따른, 인코더/트랜스코더의 예시적인 구현을 도시한 도면.
도 7은 본 발명의 일부 가능한 실시예들에 따른, 처리 상태 메타데이터와 연관된 및/또는 그것에서의 소리크기 메타데이터의 유효성에 기초한 볼륨 레벨링 유닛의 동작의 모드들을 제어하는 예시적인 진화 디코더를 도시한 도면.
도 8은 본 발명의 일부 가능한 실시예들에 따른, 미디어 처리 정보를 전달하기 위해 데이터 은닉을 이용한 예시적인 구성을 도시한 도면.
도 9a 및 도 9b는 본 발명의 가능한 실시예에 따른 예시적인 프로세스 흐름들을 도시한 도면들.
도 10은 본 발명의 가능한 실시예에 따른, 여기에 설명된 바와 같은 컴퓨터 또는 컴퓨팅 디바이스가 구현될 수 있는 예시적인 하드웨어 플랫폼을 도시한 도면.
도 11은 일 예시적인 실시예에 따라, 미디어 프레임들에서의 미디어 데이터와 연관된 처리 상태 메타데이터가 송신될 수 있는 미디어 프레임들을 도시한 도면.
도 12a 내지 도 12l은 본 발명의 일부 실시예들에 따른, 일부 예시적인 미디어 처리 노드들/디바이스들의 블록도들.
미디어 데이터의 미디어 처리 상태들에 기초하여 상기 미디어 데이터의 적응적 처리에 관한, 예시적인 가능한 실시예들이 여기에 설명된다. 다음의 설명에서, 설명을 위해, 다수의 특정한 세부사항들이 본 발명의 철저한 이해를 제공하기 위해 제시된다. 그러나, 본 발명은 이들 특정한 세부사항들 없이 실시될 수 있다는 것이 명백할 것이다. 다른 인스턴스들에서, 잘 알려진 구조들 및 디바이스들은, 본 발명을 불필요하게 폐쇄하고, 모호하게 하거나, 애매하게 하는 것을 회피하기 위해, 철저히 상세하게 설명되지 않는다.
예시적인 실시예들은 다음의 개요에 따라 여기에 설명된다.
1. 일반적인 개요
2. 미디어 처리 체인들
3. 미디어 처리 디바이스들 또는 유닛들
4. 미디어 데이터의 예시적인 적응적 처리
5. 데이터 은닉
6. 예시적인 프로세스 흐름
7. 구현 메커니즘들 - 하드웨어 개요
8. 열거된 예시적인 실시예들
9. 등가물들, 확대들, 대안들 및 잡다한 것
1. 일반적인 개요
이 개요는 본 발명의 가능한 실시예의 일부 양태들에 대한 기본 설명을 제공한다. 이 개요는 가능한 실시예의 양태들의 광범위하거나 철저한 요약이 아님이 주의되어야 한다. 게다가, 이러한 개요는 가능한 실시예의 임의의 특별히 중요한 양태들 또는 요소들을 식별하는 것으로서, 또는 상기 가능한 실시예, 특히 일반적으로 본 발명의 임의의 범위를 기술하는 것으로서, 이해되도록 의도되지 않는다는 것이 주의되어야 한다. 이러한 개요는 단지 요약한 및 단순화된 형태로 상기 예시적인 가능한 실시예에 관한 일부 개념들을 제공하고, 단지 이하에 이어지는 예시적인 가능한 실시예들의 보다 상세한 설명에 대한 개념적 전조로서 이해되어야 한다.
미디어 데이터의 미디어 처리 상태들에 기초한 미디어 데이터의 적응적 처리를 위한 기술들이 설명된다. 일부 가능한 실시예들에서, 강화된 미디어 처리 체인에서의 미디어 처리 유닛들은 미디어 처리 시그널링 및/또는 처리 상태 메타데이터를 검색 및 검증하고, 상기 미디어 처리 시그널링 및/또는 처리 상태 메타데이터에 기초하여 미디어 데이터의 상태를 결정하고, 상기 미디어 데이터의 상태에 기초하여 그것들 각각의 처리를 적응시키기 위해 자동으로 활성화(enable)된다. 상기 강화된 미디어 처리 체인에서의 미디어 처리 유닛들은 이에 제한되지 않지만, 인코더들, 트랜스코더들, 디코더들, 전-처리 유닛들, 후-처리 유닛들, 비트스트림 처리 툴들, 개선된 텔레비전 시스템들 위원회(Advanced Television Systems Committee; ATSC) 코덱들, 동화상 전문가들 그룹(MPEG) 코덱들 등을 포함할 수 있다. 미디어 처리 유닛은 미디어 처리 시스템 또는 미디어 처리 시스템의 일부일 수 있다.
여기에 이용된 바와 같이, 용어 "처리 상태 메타데이터"는 미디어 데이터로부터의 별개의 및 상이한 데이터를 나타내는 반면, 상기 미디어 데이터(예를 들면, 비디오 프레임들, 지각적으로 코딩된 오디오 프레임들 또는 미디어 콘텐트를 포함한 PCM 오디오 샘플들)는 미디어 콘텐트를 표현하는 미디어 샘플 데이터를 나타내고 오디오 또는 비디오 출력으로서 상기 미디어 콘텐트를 렌더링하기 위해 이용된다. 상기 처리 상태 메타데이터는 미디어 데이터와 연관되고 어떤 유형들의 처리가 상기 미디어 데이터 상에서 이미 수행되었는지를 특정한다. 상기 미디어 데이터와 상기 처리 상태 메타데이터의 연관은 시간-동기식이다. 따라서, 현재 처리 상태 메타데이터는 현재 미디어 데이터가 표시된 유형들의 미디어 처리의 결과들 및/또는 미디어 데이터에서의 미디어 특징들의 설명을 동시 발생적으로 포함한다는 것을 표시한다. 일부 가능한 실시예들에서, 처리 상태 메타데이터는 처리 이력 및/또는 상기 표시된 유형들의 미디어 처리에서 이용되고/이용되거나 그로부터 도출되는 파라미터들의 일부 또는 모두를 포함할 수 있다. 부가적으로 및/또는 선택적으로, 상기 처리 상태 메타데이터는 상기 미디어 데이터로부터 계산된/추출된 하나 이상의 상이한 유형들의 미디어 특징들을 포함할 수 있다. 여기에 설명된 바와 같은 미디어 특징들은 미디어 데이터의 의미론적 설명을 제공하고 구조적 특징들, 조화 및 멜로디를 포함하는 조성, 음색, 리듬, 기준 소리크기, 스테레오 믹스를 포함한 음색, 또는 미디어 데이터의 사운드 소스들의 양, 음성의 부재 또는 존재, 반복 특성들, 멜로디, 조화들, 가사들, 음색, 지각 특징들, 디지털 미디어 특징들, 스테레오 파라미터들, 음성 인식(예를 들면, 화자가 말하는 것) 등 중 하나 이상을 포함할 수 있다. 상기 처리 상태 메타데이터는 또한 미디어 데이터의 임의의 처리에 관련되지 않거나 그로부터 도출되지 않는 다른 메타데이터를 포함할 수 있다. 예를 들면, 제 3 자 데이터, 트래킹 정보, 식별자들, 독점적 또는 표준 정보, 이용자 주석 데이터, 이용자 선호 데이터 등이 다른 미디어 처리 유닛들로 전달하기 위해 특별한 미디어 처리 유닛에 의해 부가될 수 있다. 이들 독립적인 유형들의 메타데이터는 미디어 처리 체인에서의 미디어 처리 구성요소에 의해 분산, 검증, 및 이용될 수 있다. 용어 "미디어 처리 시그널링"은 미디어 비트스트림에서의 미디어 처리 유닛들 사이에 전달되는 상대적으로 경량 제어 또는 등급 데이터(처리 상태 메타데이터의 것에 비교하여 데이터 볼륨이 작을 수 있는)를 나타낸다. 상기 미디어 처리 시그널링은 처리 상태 메타데이터의 서브세트 또는 요약을 포함할 수 있다.
미디어 처리 시그널링 및/또는 처리 상태 메타데이터는 하나 이상의 예약 필드들(예를 들면, 이에 제한되지 않지만, 현재 이용되지 않을 수 있는)에 내장되고, 미디어 비트 스트림에서의 서브-스트림으로 운반되고, 미디어 데이터를 갖고 은닉되거나 별개의 미디어 처리 데이터베이스를 제공받을 수 있다. 일부 가능한 실시예들에서, 미디어 처리 시그널링 및/또는 처리 상태 메타데이터의 데이터 볼륨은 미디어 데이터를 운반하기 위해 할당된 비트 레이트에 영향을 미치지 않고 운반(예를 들면, 예약 필드들에서, 또는 가역성 데이터 은닉 기술들을 이용하여 미디어 샘플들에 은닉되거나 미디어 데이터로부터의 미디어 핑거프린트들을 계산하거나 미디어 데이터로부터의 미디어 핑거프리트들을 검색하면서 외부 데이터베이스에 상세한 처리 상태 정보를 저장하는)되기에 충분히 작을 수 있다. 강화된 미디어 처리 체인에서 전달한 미디어 처리 시그널링 및/또는 처리 상태 메타데이터는 둘 이상의 미디어 처리 유닛들이 미디어 처리 체인(또는 콘텐트 수명 주기) 전체에 걸쳐 서로 나란히 작동할 필요가 있을 때 특히 유용하다. 미디어 처리 시그널링 및/또는 처리 상태 메타데이터 없이, 품질, 레벨 및 공간적 열화들과 같은 심각한 미디어 처리 문제들이 예를 들면, 둘 이상의 오디오 코덱들이 체인에서 이용되고 단일-종단 볼륨 레벨링이 미디어 콘텐트의 여행 동안 한 번 이상 미디어 소비 디바이스(또는 미디어 데이터에서의 미디어 콘텐트의 렌더링 포인트)에 적용될 때 발생하기 쉬울 수 있다.
반대로, 여기에서의 기술들은 강화된 미디어 처리 체인(콘텐트 수명 주기)에서의 미디어 처리 유닛들 중 임의의 것 또는 모두의 지능을 높인다. 여기에서의 기술들 하에서, 이들 미디어 처리 유닛들 중 임의의 것은 다운스트림 미디어 처리 유닛들로 미디어 데이터의 상태를 "알릴" 뿐만 아니라, "청취 및 적응" 모두를 시킬 수 있다. 따라서, 여기에서의 기술들 하에서, 다운스트림 미디어 처리 유닛은 하나 이상의 업스트림 미디어 처리 유닛들에 의해 수행된 바와 같이 상기 미디어 데이터의 지난 처리의 지식에 기초하여 상기 미디어 데이터의 처리를 최적화할 수 있다. 여기에서의 기술들 하에서, 상기 미디어 데이터 상에서 전체로서 미디어 처리 체인에 의한 미디어 처리는 다른 것보다 더 효율적이고, 보다 적응적이고, 보다 예측 가능하게 된다. 그 결과, 상기 미디어 데이터에서의 미디어 콘텐트의 전체 렌더링 및 핸들링이 훨씬 개선된다.
중요하게는, 여기에서의 기술들 하에서, 미디어 처리 시그널링 및/또는 처리 상태 메타데이터에 의해 표시된 바와 같은 미디어 데이터의 상태의 존재는 강화된 미디어 처리 체인에 존재할 수 있으며 미디어 데이터를 적응적으로 처리하기 위해 상기 미디어 데이터의 상태를 스스로 주도적으로 이용할 수 없는 레거시 미디어 처리 유닛들에 부정적으로 영향을 주지 않는다. 더욱이, 미디어 처리 체인에서의 레거시 미디어 처리 유닛이 다른 업스트림 미디어 처리 디바이스들의 처리 결과들을 조작하려는 경향을 가질지라도, 여기에서의 처리 상태 메타데이터는 암호 값들, 암호화, 인증 및 데이터 은닉을 이용하는 보안 통신 방법들을 통해 다운스트림 미디어 처리 디바이스들에 무사히 안전하게 전달될 수 있다. 데이터 은닉의 예들은 가역성 및 비가역성 데이터 은닉 양쪽 모두를 포함한다.
일부 가능한 실시예들에서, 미디어 데이터의 상태를 다운스트림 미디어 처리 유닛들에 운반하기 위해, 여기에서의 기술들은 상기 미디어 처리 유닛이 상기 미디어 데이터를 갖고 전달된 처리 상태 메타데이터를 판독, 기록, 및/또는 검증할 수 있게 하기 위해 소프트웨어, 하드웨어, 또는 둘 모두의 형태들로 하나 이상의 처리 서브-유닛들을 미디어 처리 유닛에 랩(wrap) 및/또는 내장한다.
일부 가능한 실시예들에서, 미디어 처리 유닛(예를 들면, 인코더, 디코더, 레벨러 등)은 하나 이상의 유형들의 미디어 처리가 이전에 수행된 미디어 데이터를 수신할 수 있다: 1) 어떤 처리 상태 메타데이터도 이들 유형들의 이전 수행된 미디어 처리를 표시하기 위해 존재하지 않는다, 및/또는 2) 처리 상태 메타데이터는 부정확하거나 불완전할 수 있다. 이전에 수행되었던 상기 유형들의 미디어 처리는 미디어 샘플들을 변경할 수 없는 동작들(예를 들면, 미디어 샘플들에 기초한 핑거프린트 추출 및/또는 특징 추출들) 뿐만 아니라, 미디어 샘플들을 변경할 수 있는 동작들(예를 들면, 볼륨 레벨링)을 포함한다. 상기 미디어 처리 유닛은 상기 미디어 데이터의 "실제" 상태를 반영한 "정확한" 처리 상태 메타데이터를 자동으로 생성하고 상기 생성된 처리 상태 메타데이터를 하나 이상의 다운스트림 미디어 처리 유닛들에 전달함으로써 상기 미디어 데이터의 이러한 상태를 상기 미디어 데이터와 연관시키도록 구성될 수 있다. 또한, 상기 미디어 데이터와 상기 처리 상태 메타데이터의 연관은 결과적인 미디어 비트스트림이 레거시 디코더들과 같은 레거시 미디어 처리 유닛들과 역 호환가능한 방식으로 수행될 수 있다. 그 결과, 여기에서의 기술들을 시행하지 않는 레거시 디코더들은 미디어 데이터의 상태를 표시하는 연관된 처리 상태 메타데이터를 무시하면서, 상기 레거시 디코더들이 행하도록 설계된 바와 같이 여전히 미디어 데이터를 정확하게 디코딩할 수 있을 것이다. 일부 가능한 실시예들에서, 여기에서의 상기 미디어 처리 유닛은 하나 이상의 내장된 해시 값들(예를 들면, 서명들)의 포렌식(forensic) 분석 및/또는 검증을 통해 상기 (소스) 미디어 데이터를 갖고 상기 처리 상태 메타데이터를 검증하기 위한 능력을 갖고 동시에 구성될 수 있다.
여기에서 설명된 바와 같은 기술들 하에서, 수신된 처리 상태 메타데이터에 의해 표시된 바와 같이 상기 미디어 데이터의 동시 발생 상태에 기초한 상기 미디어 데이터의 적응적 처리는 미디어 처리 체인에서의 다양한 포인트들에서 수행될 수 있다. 예를 들면, 처리 상태 메타데이터에서의 소리크기 메타데이터가 유효하다면, 디코더 다음의 볼륨 레벨링 유닛은 상기 볼륨 레벨링 유닛이 변경되지 않은 오디오와 같은 미디어 데이터를 전달할 수 있도록 미디어 처리 시그널링 및/또는 처리 상태 메타데이터를 갖고 디코더에 의해 통지될 수 있다.
일부 실시예들에서, 처리 상태 메타데이터는 기초 미디어 샘플들로부터 추출된 미디어 특징들을 포함한다. 상기 미디어 특징들은 상기 미디어 샘플들의 의미론적 설명을 제공할 수 있으며 예를 들면, 상기 미디어 샘플들이 스피치, 음악을 포함하는지의 여부, 누군가 조용히 또는 시끄러운 상태들에서 노래를 부르고 있는지의 여부, 노래가 말하고 있는 군중 소리보다 큰지의 여부, 다이얼로그가 발생하고 있는지의 여부, 스피치가 시끄러운 배경 고리보다 큰지의 여부, 앞서 말한 것 중 둘 이상의 조합 등을 표시하기 위해 상기 처리 상태 메타데이터의 일부로서 제공될 수 있다. 미디어 데이터의 적응적 처리는 처리 상태 메타데이터에 포함된 미디어 특징들의 설명에 기초하여 미디어 처리 체인에서의 다양한 포인트들에서 수행될 수 있다.
여기에 설명된 바와 같은 기술들 하에서, 미디어 데이터와 함께 미디어 비트스트림에 내장된 처리 상태 메타데이터는 인증되고 검증될 수 있다. 예를 들면, 여기에서의 기술들은 특정 프로그램의 소리크기가 이미 특정된 범위 내에 있는지 및 상기 미디어 데이터 자체가 수정되지 않았는지(그에 의해 규칙들을 준수한다는 것을 보장하는)를 검증하기 위해 소리크기 규제 엔티티들에 대해 유용할 수 있다. 처리 상태 메타데이터를 포함하는 데이터 블록에 포함된 소리크기 값은 소리크기를 다시 계산하는 대신에 이를 검증하기 위해 판독될 수 있다.
이하에 설명된 바와 같은 기술들 하에서, 처리 상태 메타데이터를 포함하는 데이터 블록은 제 3 자 메타데이터를 안전하게 운반하기 위한 부가적인 예약 바이트들을 포함할 수 있다. 이러한 특징은 다양한 애플리케이션들을 가능케하기 위해 이용될 수 있다. 예를 들면, 평가 에이전시(예를 들면, 닐센 미디어 리서치)는 그 후 계산 등급들, 시청자 또는 청취자 통계들을 위해 시청되거나 청취되는 특정 프로그램을 식별하기 위해 이용될 수 있는 콘텐트 식별 태그를 포함하기 위해 선택할 수 있다.
중요하게는, 여기에 설명된 기술들, 및 여기에 설명된 기술들의 변형들은 상기 미디어 데이터와 연관된 처리 상태 메타데이터가 콘텐트 생성에서 콘텐트 소비까지의 미디어 처리 체인 전체에 걸쳐 보존된다는 것을 보장할 수 있다.
일부 가능한 실시예들에서, 여기에 설명된 바와 같은 메커니즘들은 이에 제한되지 않지만, 핸드헬드 디바이스, 게임 머신, 텔레비전, 랩탑 컴퓨터, 넷북 컴퓨터, 셀룰러 무선 전화기, 전자 서적 판독기, 판매 시점 관리 단말기, 데스크탑 컴퓨터, 컴퓨터 워크스테이션, 컴퓨터 키오스크, 및 다양한 다른 종류들의 단말기들 및 미디어 처리 유닛들을 포함하는, 미디어 처리 시스템의 일부를 형성한다.
바람직한 실시예들에 대한 다양한 변경들 및 여기에 설명된 포괄적인 원리들 및 특징들은 당업자들에게 쉽게 명백할 것이다. 따라서, 개시는 도시된 실시예들에 제한되도록 의도되지 않지만, 여기에 설명된 원리들 및 특징들과 일치하는 가장 광범위한 범위에 부합하도록 의도된다.
2. 미디어 처리 체인들
도 1은 본 발명의 일부 가능한 실시예들에 따른 일 예시적인 미디어 처리 체인을 도시한다. 상기 미디어 처리 체인은 이에 제한되지 않지만, 인코더들, 디코더들, 전/후-처리 유닛들, 트랜스코더들, 및 신호 분석 및 메타데이터 정정 유닛들을 포함할 수 있다. 상기 미디어 처리 체인에서의 이들 유닛들은 동일한 시스템에 또는 상이한 시스템들에 포함될 수 있다. 상기 미디어 처리 체인이 다수의 상이한 시스템들에 걸쳐 미치는 실시예들에서, 이들 시스템들은 같은 장소에 배치되거나 지리학적으로 분산될 수 있다.
일부 가능한 실시예들에서, 도 1의 전-처리 유닛은 입력으로서 미디어 콘텐트를 포함한 PCM (시간-도메인) 샘플들을 수용하고 처리된 PCM 샘플들을 출력할 것이다. 인코더는 입력으로서 PCM 샘플들을 수용할 수 있으며 상기 미디어 콘텐트의 인코딩된(예를 들면, 압축된) 미디어 비트스트림을 출력한다.
여기에 이용된 바와 같이, 미디어 콘텐트를 포함하는 데이터(예를 들면, 비트스트림의 메인 스트림으로 운반된)는 미디어 데이터로서 칭하여지는 반면, 미디어 처리 체인에서의 임의의 주어진 포인트에서 상기 미디어 데이터 상에서 수행된 처리의 유형들을 표시하는 미디어 데이터로부터의 별개의 데이터는 처리 상태 메타데이터로서 칭하여진다.
신호 분석 및 메타데이터 정정 유닛은 입력으로서 하나 이상의 인코딩된 미디어 비트스트림들을 수용하고 인코딩된 미디어 비트스트림들에 포함된 처리 상태 메타데이터는 신호 분석을 수행함으로써 정정되는지를 검증할 수 있다. 상기 신호 분석 및 메타데이터 정정 유닛이 상기 포함된 메타데이터가 유효하지 않음을 발견한다면, 신호 분석 및 메타데이터 정정 유닛은 상기 부정확한 값을 신호 분석으로부터 획득된 정확한 값으로 교체한다.
트랜스코더는 입력으로서 미디어 비트스트림들을 수용하고 변경된 미디어 비트스트림을 출력할 것이다. 디코더는 입력으로서 압축된 미디어 비트스트림들을 수용하고 디코딩된 PCM 샘플들의 스트림을 출력할 것이다. 후-처리 유닛은 디코딩된 PCM 샘플들의 스트림을 수용할 수 있고, 미디어 콘텐트의 볼륨 레벨링과 같은 임의의 후 처리를 수행하고, 하나 이상의 스피커들 및/또는 디스플레이 패널들 상에서 디코딩된 PCM 샘플들에서의 미디어 콘텐트를 렌더링할 수 있다. 상기 미디어 처리 유닛들의 모두는 처리 상태 메타데이터를 이용하여 미디어 데이터에 적용되도록 그것들의 처리를 적응시킬 수 없을 것이다.
여기에 제공된 바와 같은 기술들은 인코더들, 디코더들, 트랜스코더들, 전- 및 후-처리 유닛들 등과 같은 미디어 처리 유닛들이 미디어 처리 시그널링에 의해 표시된 바와 같이 상기 미디어 데이터의 동시 발생 상태 및/또는 이들 미디어 처리 유닛들에 의해 각각 수신된 처리 상태 메타데이터에 따라 미디어 데이터 상에서 적용되도록 그것들 각각의 처리를 적응시키는 강화된 미디어 처리 체인을 제공한다.
도 2는 본 발명의 일부 가능한 실시예들에 따라, 인코더들, 디코더들, 전/후-처리 유닛들, 트랜스코더들, 및 신호 분석 및 메타데이터 정정 유닛들을 포함하는 예시적인 강화된 미디어 처리 체인을 예시한다. 미디어 데이터의 상태에 기초하여 미디어 데이터를 처리하는 것을 적응시키기 위해, 도 2의 유닛들의 일부 또는 모두가 변경될 수 있다. 일부 가능한 실시예들에서, 예시적인 강화된 미디어 처리 체인에서의 미디어 처리 유닛들의 각각은 비-중복적 미디어 처리를 수행하고 업스트림 유닛들에 의해 수행되는 처리의 불필요하고 잘못된 반복을 회피할 때 협력적으로 동작하도록 구성된다. 일부 가능한 실시예들에서, 콘텐트 생성에서 콘텐트 소비까지 상기 강화된 미디어 처리 체인의 임의의 포인트에서의 미디어 데이터의 상태는 상기 강화된 미디어 처리 체인의 상기 포인트에서 현재 미디어 처리 유닛에 의해 이해된다.
3. 미디어 처리 디바이스들 또는 유닛들
도 3은 본 발명의 일부 가능한 실시예들에 따른, 일 예시적인 (변경된) 인코더/트랜스코더를 예시한다. 도 1의 인코더들과 달리, 도 3의 인코더/트랜스코더는 입력 미디어 데이터와 연관된 처리 상태 메타데이터를 수신하도록, 및 변경된 인코더/트랜스코더가 업스트림 유닛(예를 들면, 입력 오디오 상에서 그것의 처리를 수행한 마지막 업스트림 유닛)으로부터 논리적으로 수신한 입력 미디어 데이터(예를 들면, 입력 오디오) 상에서의, 인코더/트랜스코더에 대하여 하나 이상의 업스트림 유닛들에 의해 수행된, 이전(전/후-) 처리를 결정하도록 구성될 수 있다.
여기에 이용된 바와 같이, 용어 "논리적으로 수신"은 중간 유닛이 본 예에서의 인코더/트랜스코더 유닛과 같이, 업스트림 유닛(예를 들면, 마지막 업스트림 유닛)에서 수신 유닛으로 입력 미디어 데이터를 전달할 때 수반될 수 있거나 수반될 수 없다는 것을 의미할 수 있다.
일 예에서, 입력 미디어 데이터 상에서 상기 전/후-처리를 수행한 업스트림 유닛은 수신 유닛이 일부인 시스템과 상이한 시스템에 있을 수 있다. 상기 입력 미디어 데이터는 업스트림 유닛에 의해 출력되고 네트워크 연결, USB, 광역 네트워크 연결, 무선 연결, 광 연결 등과 같은 중간 송신 유닛을 통해 전달된 미디어 비트스트림일 수 있다.
또 다른 예에서, 상기 입력 미디어 데이터 상에서 상기 전/후-처리를 수행한 업스트림 유닛은 수신 유닛이 일부인 동일한 시스템에 있을 수 있다. 상기 입력 미디어 데이터는 업스트림 유닛에 의해 출력되고 상기 시스템의 하나 이상의 내부 유닛들을 경유하여 내부 연결을 통해 전달될 수 있다. 예를 들면, 데이터는 내부 버스, 크로스바 연결, 직렬 연결 등을 통해 물리적으로 전달될 수 있다. 임의의 경우에, 여기에서의 기술들 하에서, 상기 수신 유닛은 업스트림 유닛으로부터 입력 미디어 데이터를 논리적으로 수신할 수 있다.
일부 가능한 실시예들에서, 상기 인코더/트랜스코더는 미디어 데이터와 연관된 처리 상태 메타데이터를 생성 또는 변경하도록 구성되고, 이는 입력 미디어 데이터의 개정일 수 있다. 인코더/트랜스코더에 의해 생성되거나 변경된 상기 새로운 또는 변경된 처리 상태 메타데이터는 미디어 처리 체인을 따라 더 멀리 있는 인코더/트랜스코더에 의해 출력되는 미디어 데이터의 상태를 자동으로 및 정확하게 캡처할 수 있다. 예를 들면, 처리 상태 메타데이터는 특정 처리(예를 들면, 돌비 연구소들로부터 상업적으로 이용가능한, 돌비 볼륨(Dolby Volume), 업믹싱)이 미디어 데이터 상에서 수행되었는지의 여부를 포함할 수 있다. 부가적으로 및/또는 선택적으로, 처리 상태 메타데이터는 특정 처리에서 이용되고/이용되거나 그로부터 도출된 파라미터들 또는 상기 처리에서의 임의의 구성 동작들을 포함할 수 있다. 부가적으로 및/또는 선택적으로, 상기 처리 상태 메타데이터는 미디어 데이터로부터 계산된/추출된 하나 이상의 핑거프린트들을 포함할 수 있다. 부가적으로 및/또는 선택적으로, 상기 처리 상태 메타데이터는 상기 미디어 데이터로부터 계산된/추출된 하나 이상의 상이한 유형들의 미디어 특징들을 포함할 수 있다. 여기에 설명된 바와 같이 미디어 특징들은 미디어 데이터의 의미론적 설명을 제공하고 구조적 특징들, 조화 및 멜로디를 포함하는 조성, 음색, 리듬, 기준 소리크기, 스테레오 믹스, 또는 미디어 데이터의 사운드 소스들의 양, 음성의 부재 또는 존재, 반복 특성들, 멜로디, 조화들, 가사들, 음색, 지각 특징들, 디지털 미디어 특징들, 스테레오 파라미터들, 음성 인식(예를 들면, 화자가 말하고 있는 것) 등 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 상기 추출된 미디어 특징들은 기초 미디어 데이터를 복수의 미디어 데이터 클래스들 중 하나 이상으로 분류하기 위해 이용된다. 상기 하나 이상의 미디어 데이터 클래스들은 이에 제한되지 않지만, 전체 조각의 미디어를 위한 단일의 전체/우세한 "클래스" (예를 들면, 클래스 유형) 및/또는 단일 미디어 프레임, 미디어 데이터 블록, 다수의 미디어 프레임들, 다수의 미디어 데이터 블록들, 순식간, 1초, 다수 초들 등과 같은 보다 작은 시간 기간(예를 들면, 전체 조각의 서브세트/서브-간격에 대한 클래스 서브-유형)을 표현하는 단일 클래스 중 임의의 것을 포함할 수 있다. 예를 들면, 클래스 라벨은 비트 스트림에 대해 매 32 밀리초마다 계산되고 비트스트림으로 삽입되고/삽입되거나 은닉될 수 있다(가역성 또는 비가역성 데이터 은닉 기술들을 통해). 클래스 라벨은 하나 이상의 클래스 유형들 및/또는 하나 이상의 클래스 서브-유형들을 표시하기 위해 이용될 수 있다. 미디어 데이터 프레임에서, 클래스 라벨은 도 11에 도시된 바와 같이, 클래스 라벨이 연관되는 미디어 데이터 블록을 선행하거나, 대안적으로 따르는 메타데이터 구조에 삽입될 수 있다. 미디어 클래스들은 이에 제한되지 않지만, 음악, 스피치, 음성, 침묵, 박수와 같은 단일 클래스 유형들 중 임의의 것을 포함할 수 있다. 여기에 설명된 바와 같은 미디어 처리 디바이스는 또한 음성 위 스피치 등과 같은 미디어 클래스 유형들의 혼합들을 포함하는 미디어 데이터를 분류하기 위해 구성될 수 있다. 부가적으로, 대안적으로, 및 선택적으로, 여기에 설명된 바와 같은 미디어 처리 디바이스는 계산된 미디어 클래스 라벨에 의해 표시된 미디어 클래스 유형 또는 서브-유형에 대한 독립적인 "가능성" 또는 확률 값을 운반하도록 구성될 수 있다. 하나 이상의 이러한 가능성 또는 확률 값들은 동일한 메타데이터 구조에서 미디어 클래스 라벨을 갖고 송신될 수 있다. 가능성 또는 확률 값은 계산된 미디어 클래스 라벨이 미디어 클래스 유형 또는 서브-유형이 상기 계산된 미디어 클래스 라벨에 의해 표시되는 미디어 세그먼트/블록에 관련하는 "신뢰"의 레벨을 표시한다. 연관된 미디어 클래스 라벨과 결합하여 상기 하나 이상의 가능성 또는 확률 값들은 업믹싱, 인코딩, 디코딩, 트랜스코딩, 헤드폰 가상화 등과 같은 전체 미디어 처리 체인 전체에 걸쳐 광범위한 동작들에서의 임의의 것을 향상시키기 위한 방식으로 미디어 처리를 적응시키기 위해 수신 미디어 처리 디바이스에 의해 이용될 수 있다. 처리 상태 메타데이터는 이에 제한되지 않지만, 미디어 클래스 유형들 또는 서브-유형들, 가능성 또는 확률 값들 중 임의의 것을 포함할 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 미디어(오디오) 데이터 블록들 사이에 삽입된 메타데이터 구조에서의 미디어 클래스 유형들/서브유형들 및 가능성/확률 값들을 전달하는 대신에, 상기 미디어 클래스 유형들/서브 유형들 및 가능성/확률 값들의 일부 또는 모두가 은닉된 메타데이터로서 미디어 데이터(또는 샘플들)에서의 수신 미디어 처리 노드/디바이스에 내장되고 전달될 수 있다. 일부 실시예들에서, 처리 상태 메타데이터에 포함된 미디어 데이터의 콘텐트 분석의 결과들은 특정 이용자-규정 또는 시스템 규정 키워드들이 미디어 데이터의 임의의 시간 세그먼트에서 말하여지는지의 여부에 대해 하나 이상의 표시들을 포함할 수 있다. 하나 이상의 애플리케이션들은 관련 동작들의 성능을 트리거링하기 위해 이러한 표시들을 이용할 수 있다(예를 들면, 키워드들에 관한 제품들 및 서비스들의 맥락과 관련된 광고들을 제공하는).
일부 실시예들에서, 제 1 프로세서를 갖고 미디어 데이터를 처리하는 동안, 여기에 설명된 바와 같은 디바이스는 미디어 데이터의 미디어 특징들을 분류/추출하기 위해 제 2 프로세서를 동시에 구동할 수 있다. 미디어 특징은 하나의 시간 기간(하나의 프레임, 다수의 프레임들, 1초, 다수 초들, 1분, 다수 분들, 이용자-규정 시간 기간 등) 동안, 또는 대안적으로 하나의 장면 동안(검출가능한 신호 특징 변화들에 기초하여) 지속되는 세그먼트들로부터 추출될 수 있다. 처리 상태 메타데이터에 의해 설명된 바와 같은 미디어 특징들은 전체 미디어 처리 체인 전체에 걸쳐 이용될 수 있다. 다운스트림 디바이스는 상기 미디어 특징들 중 하나 이상에 기초하여 상기 미디어 데이터의 그 자신의 미디어 처리를 적응시킬 수 있다. 대안적으로, 다운스트림 디바이스는 처리 상태 메타데이터에서 설명된 바와 같이 미디어 특징들 중 임의의 것 또는 모두의 존재를 무시하도록 선택할 수 있다.
미디어 처리 체인에서의 디바이스 상의 애플리케이션은 다양한 방식들 중 하나 이상으로 상기 미디어 특징들을 레버리징할 수 있다. 예를 들면, 이러한 애플리케이션은 미디어 특징들을 이용하여 기초 미디어 데이터를 인덱싱할 수 있다. 심판들이 성능들에 대해 말하는 섹션들로 가길 원할 수 있는 이용자에 대해, 애플리케이션은 다른 이전 섹션들을 건너뛸 수 있다. 처리 상태 메타데이터에서 설명된 바와 같은 미디어 특징들은 미디어 데이터의 내재 부분으로서 미디어 데이터의 콘텍스트 정보를 다운스트림 디바이스들에 제공한다.
미디어 처리 체인에서의 하나 보다 많은 디바이스는 미디어 데이터의 콘텐트로부터 미디어 특징들을 추출하기 위해 분석을 수행할 수 있다. 이것은 다운스트림 디바이스들이 미디어 데이터의 콘텐트를 분석하지 않도록 허용한다.
일부 가능한 실시예에서, 상기 생성되거나 변경된 처리 상태 메타데이터는 미디어 비트스트림(예를 들면, 오디오의 상태에서 메타데이터를 가진 오디오 비트스트림)의 일부로서 전송될 수 있으며 약 3 내지 10 kbps의 송신 속도에 이른다. 일부 실시예들에서, 상기 처리 상태 메타데이터는 데이터 은닉에 기초하여 미디어 데이터(예를 들면, PCM 미디어 샘플들) 내에서 송신될 수 있다. 미디어 데이터를 가역적으로 또는 비가역적으로 변경할 수 있는, 광범위한 데이터 은닉 기술들은 미디어 샘플들에서 처리 상태 메타데이터(이에 제한되지 않지만 단지 인증 관련 데이터를 포함한)의 일부 또는 모두를 은닉하기 위해 이용될 수 있다. 데이터 은닉은 지각가능하거나 지각가능하지 않은 보안 통신 채널을 갖고 시행될 수 있다. 데이터 은닉은 기초 미디어 샘플들에서의 신호의 신호 특성들(주파수 또는 시간 도메인에서의 위상 및/또는 진폭)을 변경/조작/변조함으로써 달성될 수 있다. 데이터 은닉은 FSK, 확산 스펙트럼, 또는 다른 이용가능한 방법들에 기초하여 구현될 수 있다.
일부 가능한 실시예들에서, 전/후 처리 유닛은 인코더/트랜스코더와의 협력적 방식으로 미디어 데이터의 처리를 수행할 수 있다. 협력적 전-후 처리 유닛에 의해 수행된 처리는 또한 다운스트림 미디어 처리 유닛에 전달되는(예를 들면, 오디오 비트스트림을 통해) 처리 상태 메타데이터에서 특정된다.
일부 가능한 실시예들에서, 처리 상태 메타데이터(하나 이상의 유형들의 미디어 처리에 이용되거나 그로부터 도출된 임의의 파라미터들 및 미디어 핑거프린트들을 포함할 수 있는)의 조각이 도출된다면, 이러한 조각의 처리 상태 메타데이터는 미디어 처리 체인에서의 미디어 처리 유닛들에 의해 보존되고 상기 다운스트림 유닛들 모두에 전달될 수 있다. 따라서, 일부 가능한 실시예들에서, 한 조각의 처리 상태 메타데이터는 미디어 처리 체인(전체 수명 주기)에서, 미디어 비트스트림/서브-스트림 내에서의 내장된 데이터로서 또는 외부 데이터 소스 또는 미디어 처리 데이터베이스로부터 도출가능한 데이터로서, 제 1 미디어 처리 유닛에 의해 생성되고 마지막 미디어 처리 유닛에 전달될 수 있다.
도 4는 본 발명의 일부 가능한 실시예들에 따른 일 예시적인 디코더(예를 들면, 여기에서의 기술들을 구현한 진화 디코더)를 예시한다. 본 발명의 가능한 실시예들에서의 디코더는 (1) 인입 미디어 데이터와 연관된 처리 상태 메타데이터(예를 들면, 처리 이력, 미디어 특징들의 설명 등) 및 전달된 다른 메타데이터(예를 들면, 제 3 자 데이터, 트래킹 정보, 식별자들, 독점적 또는 표준 정보, 이용자 주석 데이터, 이용자 선호 데이터 등과 같은 미디어 데이터의 임의의 처리에 상관없이)를 파싱하고 검증하기 위해 및 (2) 상기 검증된 처리 상태 메타데이터에 기초하여, 상기 미디어 데이터의 미디어 처리 상태를 결정하기 위해 구성될 수 있다. 예를 들면, 입력 미디어 데이터 및 상기 처리 상태 메타데이터를 운반하는 미디어 비트스트림(예를 들면, 오디오의 상태에서 메타데이터를 가진 오디오 비트스트림)에서 상기 처리 상태 메타데이터를 파싱 및 검증함으로써, 상기 디코더는 소리크기 메타데이터(또는 미디어 특징 메타데이터)가 유효하고 신뢰성 있으며, 여기에서 설명된 기술들(예를 들면, 돌비 연구소들로부터 상업적으로 이용가능한, 돌비 미디어 생성기(Dolby media generator; DMG))을 구현하는 강화된 콘텐트 공급자 서브-유닛들 중 하나에 의해 생성되었다고 결정할 수 있다. 일부 가능한 실시예들에서, 수신된 처리 상태 메타데이터가 유효하고 신뢰성 있다는 결정에 응답하여, 상기 디코더는 그 후 수신된 처리 상태 메타데이터에 적어도 부분적으로 기초하여, 가역성 또는 비가역성 데이터 은닉 기술을 이용하여 상기 미디어 데이터의 상태에 관한 미디어 처리 시그널링을 생성하도록 구성될 수 있다. 상기 디코더는 미디어 처리 체인에서의 다운스트림 미디어 처리 유닛(예를 들면, 후-처리 유닛)에 상기 미디어 처리 시그널링을 제공하도록 구성될 수 있다. 이러한 유형의 시그널링은, 예를 들면, 디코더 및 다운스트림 미디어 처리 유닛 사이에 전용(및 동기식) 메타데이터 경로가 없을 때 이용될 수 있다. 이러한 상황은 상기 디코더 및 상기 다운스트림 미디어 처리 유닛이 소비자 전자 디바이스(예를 들면, PC들, 모바일 전화기들, 셋-탑들, 오디오 비디오 레코더들 등)에서, 또는 상기 디코더 및 상기 후속 처리 유닛 사이에서의 동기식 제어 또는 데이터 경로가 이용가능하지 않은 상이한 서브-시스템 또는 상이한 시스템들에서의 별개의 엔티티들로서 존재하는 일부 가능한 실시예들에서 발생할 수 있다. 일부 가능한 실시예들에서, 여기에서의 데이터-은닉 기술 하에서의 상기 미디어 처리 시그널링은 미디어 비트스트림의 일부로서 송신되고 송신 레이트는 약 16 bps에 이를 수 있다. 미디어 데이터를 가역적으로 또는 비가역적으로 변경할 수 있는 광범위한 데이터 은닉 기술들은 이에 제한되지 않지만, 지각가능하거나 지각가능하지 않은 보안 통신 채널들, 기초 미디어 샘플들에서의 하나 이상의 신호들의 협대역 또는 확산 스펙트럼 신호 특성들(주파수 또는 시간 도메인에서의 위상 및/또는 진폭)의 변경들/조작들/변조들, 또는 다른 이용가능한 방법들 중 임의의 것을 포함하여, 상기 미디어 샘플들에서의 처리 상태 메타데이터 중 일부 또는 모두를 은닉하기 위해 이용될 수 있다.
일부 가능한 실시예들에서, 상기 디코더는 수신된 처리 상태 메타데이터 모두를 전달하려고 시도하지 않을 수 있으며; 오히려, 상기 디코더는 상기 미디어 데이터의 상태에 기초하여 상기 다운스트림 미디어 처리 유닛의 동작의 모드를 변경하기에 충분한 정보(예를 들면, 데이터-은닉 용량의 한계들 내에서)만을 내장할 수 있다.
일부 가능한 실시예들에서, 미디어 데이터에서의 오디오 또는 비디오 신호에서의 중복성은 상기 미디어 데이터의 상태를 운반하기 위해 이용될 수 있다. 일부 가능한 실시예들에서, 임의의 가청 또는 시청 아티팩트들을 야기하지 않고, 상기 미디어 처리 시그널링 및/또는 처리 상태 메타데이터의 일부 또는 모두는 미디어 데이터에서의 복수의 바이트들의 최하위 비트들(LSB들)에 은닉되거나 상기 미디어 데이터 내에서 운반된 보안 통신 채널에 은닉될 수 있다. 상기 복수의 바이트들은 은닉된 데이터를 가진 미디어 샘플들이 레거시 미디어 처리 유닛에 의해 렌더링될 때 LSB들이 지각가능하거나 시청 아티팩트들을 야기할 수 있는지의 여부를 포함하는 하나 이상의 인자들 또는 기준들에 기초하여 선택될 수 있다. 상기 미디어 데이터를 가역적으로 또는 비가역적으로 변경할 수 있는 다른 데이터 은닉 기술들(예를 들면, 가역성 또는 비가역성 보안 통신 채널들, FSK 기반 데이터 은닉 기술들 등)은 미디어 샘플들에서의 상기 처리 상태 메타데이터의 일부 또는 모두를 은닉하기 위해 이용될 수 있다.
일부 가능한 실시예들에서, 상기 데이터-은닉 기술은 선택적일 수 있으며, 예를 들면, 상기 다운스트림 미디어 처리 유닛이 디코더의 일부로서 구현된다면 요구되지 않을 수 있다. 예를 들면, 둘 이상의 미디어 처리 유닛들이 메타데이터가 하나에서 또 다른 미디어 처리 유닛으로 미디어 샘플들에 데이터를 은닉하지 않고 대역-외 신호들로서 전달되도록 허용하는 버스 및 다른 통신 메커니즘들을 공유할 수 있다.
도 5는 본 발명의 일부 가능한 실시예들에 따른, 일 예시적인 후-처리 유닛(예를 들면, 돌비 진화 후 처리 유닛)을 도시한다. 상기 후-처리 유닛은 먼저 미디어 처리 시그널링에 의해 표시된 바와 같이 미디어 데이터의 상태를 결정하기 위해 미디어 데이터(예를 들면, 내장된 정보를 가진 PCM 오디오 샘플들)에 은닉된 미디어 처리 시그널링을 추출하도록 구성될 수 있다. 이것은 예를 들면, 부속물 처리 유닛(예를 들면, 상기 미디어 데이터가 오디오를 포함하는 일부 가능한 실시예들에서 정보 추출 및 오디오 복원 서브-유닛)을 갖고 행해질 수 있다. 상기 미디어 처리 시그널링이 가역성 데이터 은닉 기술을 이용하여 은닉되는 실시예들에서, 미디어 처리 시그널링을 내장하기 위해 데이터 은닉 기술(예를 들면, 디코더)에 의해 상기 미디어 데이터 상에서 수행된 이전 변경들은 행해지지 않을 수 있다. 상기 미디어 처리 시그널링이 비가역성 데이터 은닉 기술을 이용하여 은닉되는 실시예들에서, 미디어 처리 시그널링을 내장하기 위해 데이터 은닉 기술(예를 들면, 디코더)에 의해 미디어 데이터 상에서 수행된 이전 변경들은 완전히 끝나지 않은 것이 아닌 오히려 미디어 렌더링의 품질상에서의 부작용들이 최소화될 수 있을 것이다(예를 들면, 최소 오디오 또는 시각적 아티팩트들). 그 다음에, 미디어 처리 시그널링에 의해 표시된 바와 같이 미디어 데이터의 상태에 기초하여, 상기 후-처리 유닛은 미디어 데이터 상에서 적용될 그것의 처리를 적응시키도록 적응될 수 있다. 일 예에서, 볼륨 처리는 소리크기 메타데이터가 유효하고 상기 볼륨 처리가 업스트림 유닛에 의해 수행되었다는 결정(미디어 처리 시그널링으로부터의)에 응답하여 턴 오프될 수 있다. 또 다른 예에서, 콘텍스트 광고 또는 메시지는 음성-인식 키워드에 의해 제공되거나 트리거될 수 있다.
일부 가능한 실시예들에서, 여기에 설명된 미디어 처리 시스템에서의 신호 분석 및 메타데이터 정정 유닛은 입력으로서 인코딩된 미디어 비트스트림들을 수용하고 신호 분석을 수행함으로써 미디어 비트스트림에서의 내장된 메타데이터가 정확한지 여부를 검증하도록 구성될 수 있다. 상기 내장된 메타데이터가 상기 미디어 비트스트림 내에서 유효하거나 유효하지 않음을 검증한 후, 정정은 요구 기반으로 이용될 수 있다. 일부 가능한 실시예들에서, 신호 분석 및 메타데이터 정정 유닛은 미디어 데이터의 미디어 특징들을 결정하기 위해 시간 및/또는 주파수 도메인(들)에서의 입력 미디어 비트스트림들에 내장된 샘플들 또는 미디어 데이터 상에서의 분석들을 수행하도록 구성될 수 있다. 상기 미디어 특징들을 결정한 후, 대응하는 처리 상태 메타데이터(예를 들면, 하나 이상의 미디어 특징들에 대한 설명)가 생성되고 신호 분석 및 메타데이터 정정 유닛에 대해 다운스트림 디바이스들에 제공될 수 있다. 일부 가능한 실시예들에서, 상기 신호 분석 및 메타데이터 정정 유닛은 하나 이상의 미디어 처리 시스템들에서 하나 이상의 다른 미디어 처리 유닛들과 통합될 수 있다. 부가적으로 및/또는 선택적으로, 상기 신호 분석 및 메타데이터 정정 유닛은 미디어 데이터에서의 미디어 처리 시그널링을 은닉하고 상기 미디어 데이터에서의 내장된 메타데이터가 유효하고 성공적으로 검증된 다운스트림 유닛(인코더/트랜스코더/디코더)에 시그널링하도록 구성될 수 있다. 일부 가능한 실시예들에서, 상기 미디어 데이터와 연관된 시그널링 데이터 및/또는 처리 상태 메타데이터가 생성되고 상기 미디어 데이터를 운반하는 압축된 미디어 비트스트림으로 삽입될 수 있다.
그러므로, 여기에 설명된 바와 같은 기술들은 강화된 미디어 처리 체인(예를 들면, 인코더들, 트랜스코더들, 디코더들, 전/후-처리 유닛들 등)에서의 상이한 처리 블록들 또는 미디어 처리 유닛들이 미디어 데이터의 상태를 결정할 수 있음을 보장한다. 그러므로, 상기 미디어 처리 유닛들의 각각은 업스트림 유닛들에 의해 표시된 바와 같이 미디어 데이터의 상태에 따라 그것의 처리를 적응시킬 수 있다. 더욱이, 하나 이상의 가역성 또는 비가역성 데이터 은닉 기술들은 상기 미디어 데이터의 상태에 대한 신호 정보가 상기 신호 정보를 다운스트림 미디어 처리 유닛들에 전송하기 위해 최소량의 요구된 비트 레이트를 갖고 효율적인 방식으로 다운스트림 미디어 처리 유닛들에 제공될 수 있음을 보장하기 위해 이용될 수 있다. 이것은 특히 디코더와 같은 업스트림 유닛 및 후-처리 유닛과 같은 다운스트림 유닛 사이에서의 메타데이터 경로가 없는 경우, 예를 들면, 상기 후-처리 유닛이 상기 디코더의 일부가 아닌 경우에 유용하다.
일부 가능한 실시예들에서, 인코더는 전-처리 및 메타데이터 검증 서브-유닛을 갖고 강화될 수 있거나 이를 포함할 수 있다. 일부 가능한 실시예들에서, 상기 전-처리 및 메타데이터 검증 서브-유닛은 상기 인코더가 미디어 처리 시그널링 및/또는 처리 상태 메타데이터에 의해 표시된 바와 같이 상기 미디어 데이터의 상태에 기초하여 미디어 데이터의 적응적 처리를 수행한다는 것을 보장하기 위해 구성될 수 있다. 일부 가능한 실시예들에서, 상기 전-처리 및 메타데이터 검증 서브-유닛을 통해, 상기 인코더는 상기 미디어 데이터와 연관된(예를 들면, 그것을 가진 미디어 비트스트림에 포함된) 처리 상태 메타데이터를 검증하도록 구성될 수 있다. 예를 들면, 상기 메타데이터가 신뢰가능한 것으로 검증된다면, 수행된 하나의 유형의 미디어 처리으로부터의 결과들은 재-이용될 수 있으며, 상기 유형의 미디어 처리의 새로운 성능은 회피될 수 있다. 다른 한편으로, 상기 메타데이터가 조작된 것이 발견된다면, 알려진 대로라면 이전에 수행된 상기 유형의 미디어 처리는 인코더에 의해 반복될 수 있다. 일부 가능한 실시예들에서, 부가적인 유형들의 미디어 처리는, 일단 상기 처리 상태 메타데이터(미디어 처리 시그널링 및 핑거프린트-기반 메타데이터 검색을 포함하는)가 신뢰가능하지 않은 것으로 발견된다면, 상기 인코더에 의해 상기 메타데이터에 대해 수행될 수 있다.
상기 처리 상태 메타데이터가 유효한 것으로 결정된다면(예를 들면, 추출된 암호 값 및 기준 암호 값의 매칭에 기초하여), 인코더는 또한 예를 들면, 미디어 비트스트림에 존재하는 처리 상태 메타데이터가 유효함을 강화된 미디어 처리 체인에서의 아래에 있는 다른 미디어 처리 유닛들로 시그널링하도록 구성될 수 있다. 다양한 방식들 중 임의의 것, 일부 또는 모두는 인코더에 의해 구현될 수 있다.
제 1 방식 하에서, 상기 인코더는 상기 처리 상태 메타데이터의 검증이 이미 인코딩된 미디어 비트스트림 상에서 수행되었음을 표시하기 위해 이러한 인코딩된 미디어 비트스트림에 플래그(예를 들면, "진화 플래그")를 삽입할 수 있다. 상기 플래그는 플래그의 존재가 여기에 설명된 처리 상태 메타데이터를 처리하여 이용하도록 구성되지 않은 디코더와 같은 "레거시" 미디어 처리 유닛에 영향을 미치지 않는 방식으로 삽입될 수 있다. 일 예시적인 실시예에서, 오디오 압축-3(AC-3) 인코더는 ATSC 규격들(예를 들면, ATSC A/52b)에 특정된 바와 같이, AC-3 미디어 비트스트림의 xbsi2 필드들에 "진화 플래그"를 설정하기 위해 전-처리 및 메타데이터 검증 서브-유닛을 갖고 강화될 수 있다. 이러한 '비트'는 AC-3 미디어 비트스트림에서 운반된 모든 코딩된 프레임에 존재할 수 있으며 이용되지 않을 수 있다. 일부 가능한 실시예들에서, xbsi2 필드에서의 이러한 플래그의 존재는 여기에 설명된 처리 상태 메타데이터를 처리 및 이용하도록 구성되지 않는 이미 배치된 "레거시" 디코더들에 영향을 미치지 않는다.
상기 제 1 방식 하에서, xbsi2 필드들에서의 상기 정보를 인증하는 것을 가진 이슈가 존재할 수 있다. 예를 들면, (예를 들면, 악의적인) 업스트림 유닛은 처리 상태 메타데이터를 실제로 검증하지 않고 상기 xbsi2를 턴 "온"할 수 있을 것이고 상기 처리 상태 메타데이터가 유효함을 다른 다운스트림 유닛들에 부정확하게 시그널링할 수 있다.
이러한 이슈를 해결하기 위해, 본 발명의 일부 실시예들은 제 2 방식을 이용할 수 있다. 보안 데이터 은닉 방법(이에 제한되지 않지만, 확산 스펙트럼-기반 방법들, FSK-기반 방법들, 및 다른 보안 통신 채널 기반 방법들 등과 같은 미디어 데이터 자체 내에 보안 통신 채널을 생성하기 위해 다수의 데이터 은닉 방법들 중 임의의 것을 포함하는)은 "진화 플래그"를 내장하기 위해 이용될 수 있다. 이러한 보안 방법은 상기 "진화 플래그"가 평문으로 전달되는 것을 방지하도록 구성되고 따라서 유닛 또는 침입자에 의해 고의로 또는 고의가 아니게 쉽게 공격된다. 대신에, 이러한 제 2 방식 하에서, 다운스트림 유닛은 암호화된 형태로 상기 은닉된 데이터를 검색할 수 있다. 복호화 및 인증 서브-프로세스를 통해, 상기 다운스트림 유닛은 은닉된 데이터의 정확도를 검증하고 상기 은닉된 데이터에서의 "진화 플래그"를 신뢰할 수 있다. 그 결과, 상기 다운스트림 유닛은 미디어 비트스트림에서의 처리 상태 메타데이터가 이전에 성공적으로 검증되었음을 결정할 수 있다. 다양한 실시예들에서, "진화 플래그"와 같은 처리 상태 메타데이터의 임의의 부분은 하나 이상의 암호화 방법들(HMAC-기반, 또는 비-HMAC-기반) 중 임의의 것으로 업스트림 디바이스에 의해 다운스트림 디바이스들에 전달될 수 있다.
일부 가능한 실시예들에서, 미디어 데이터는 초기에 간단히 예를 들면, PCM 샘플들을 포함하는 레거시 미디어 비트스트림들일 수 있다. 그러나, 미디어 데이터가 여기에 설명된 바와 같이 하나 이상의 미디어 처리 유닛들에 의해 처리되면, 하나 이상의 미디어 처리 유닛들에 의해 생성된 상기 처리 상태 메타데이터는 상기 미디어 데이터를 디코딩하기 위해 이용될 수 있는 비교적 상세한 정보(이에 제한되지 않지만, 미디어 데이터로부터 결정된 하나 이상의 미디어 특징들 중 임의의 것을 포함하는) 뿐만 아니라, 미디어 데이터의 상태를 포함한다. 일부 가능한 실시예들에서, 생성된 상기 처리 상태 메타데이터는 비디오 핑거프린트들, 소리크기 메타데이터, 동적 범위 메타데이터, 하나 이상의 해시-기반 메시지 인증 코드들(HMAC들), 하나 이상의 다이얼로그 채널들, 오디오 핑거프린트들, 열거된 처리 이력, 오디오 소리크기, 다이얼로그 소리크기, 실제-피크 값들, 샘플 피크 값들, 및/또는 임의의 이용자(제 3 자) 특정 메타데이터와 같은 미디어 핑거프린트들을 포함할 수 있다. 상기 처리 상태 메타데이터는 "진화 데이터 블록"을 포함할 수 있다.
여기에 이용된 바와 같이, 용어 "강화된"은 여기에 설명된 기술들 하에서 미디어 처리 유닛이 여기에 설명된 기술들 하에서 다른 미디어 처리 유닛들 또는 다른 미디어 처리 시스템들에 대해 업스트림 유닛들에 의해 설정된 바와 같이 미디어 데이터의 상태에 기초하여 적응적 처리를 수행할 수 있는 방식으로 동작하는 능력을 나타낸다. 상기 용어 "진화"는 여기에서의 기술들 하의 상기 미디어 처리 유닛들이 여기에 설명된 기술들 하의 다른 미디어 처리 유닛들 또는 다른 미디어 처리 시스템들에 대해 업스트림 유닛에 의해 설정된 미디어 데이터의 상태에 기초하여 적응적 처리를 수행할 수 있는 방식으로 동작하는 능력 뿐만 아니라, 여기에 설명된 기술들 하의 미디어 처리 유닛들이 레거시 미디어 처리 유닛들 또는 레거시 미디어 처리 시스템들과의 호환가능한 방식으로 동작하는 능력을 나타낸다.
일부 가능한 실시예들에서, 여기에 설명된 미디어 처리 유닛은 하나 이상의 유형들의 미디어 처리가 수행되는 미디어 데이터를 수신할 수 있지만, 상기 하나 이상의 유형들의 미디어 처리를 표시하기 위해 상기 미디어 데이터와 연관된 메타데이터가 없거나 불충분한 메타데이터가 존재할 수 있다. 일부 가능한 실시예들에서, 이러한 미디어 처리 유닛은 상기 미디어 처리 유닛에 대하여 다른 업스트림 유닛들에 의해 수행되어 온 상기 하나 이상의 유형들의 미디어 처리를 표시하기 위해 처리 상태 메타데이터를 생성하도록 구성될 수 있다. 업스트림 디바이스들에 의해 행해지지 않은 특징 추출이 또한 수행되고 상기 처리 상태 메타데이터를 다운스트림 디바이스들로 추진할 수 있다. 일부 가능한 실시예들에서, 상기 미디어 처리 유닛(예를 들면, 진화 인코더/트랜스코더)은 미디어 포렌식 분석 서브-유닛을 포함할 수 있다. 오디오 포렌식 서브-유닛과 같은 상기 미디어 포렌식 서브-유닛은 특정 유형의 처리가 한 조각의 미디어 콘텐트 상에서 또는 상기 미디어 데이터 상에서 수행되었는지의 여부를 결정하기 위해(임의의 수신된 메타데이터 없이) 구성될 수 있다. 상기 분석 서브-유닛은 특정 유형의 처리에 의해 도입되고 남겨진 특정 신호 처리 아티팩트들/트레이스들을 찾도록 구성될 수 있다. 상기 미디어 포렌식 서브-유닛은 또한 특정 유형의 특징 추출이 한 조각의 미디어 콘텐트 상에서 또는 미디어 데이터 상에서 수행되었는지의 여부를 결정하기 위해 구성될 수 있다. 상기 분석 서브-유닛은 특징 기반 메타데이터의 특정 존재를 찾기 위해 구성될 수 있다. 본 발명을 위해, 여기에 설명된 바와 같은 상기 미디어 포렌식 분석 서브-유닛은 미디어 처리 체인에서의 임의의 미디어 처리 유닛에 의해 구현될 수 있다. 더욱이, 상기 미디어 포렌식 분석 서브-유닛을 통해 미디어 처리 유닛에 의해 생성된 처리 상태 메타데이터는 여기에서의 미디어 처리 체인에서의 다운스트림 유닛에 전달될 수 있다.
일부 가능한 실시예들에서, 여기에 설명된 바와 같은 처리 상태 메타데이터는 제 3 자 애플리케이션들을 지원하기 위해 부가적인 예약 바이트들을 포함할 수 있다. 상기 부가적인 예약 바이트들은 예약 바이트들에서의 하나 이상의 필드들로 운반될 임의의 평문을 스크램블링하기 위해 별개의 암호화 키를 할당함으로써 안전해지는 것을 보장받을 수 있다. 본 발명의 실시예들은 콘텐트 식별 및 트래킹을 포함하는 신규 애플리케이션들을 지원한다. 일 예에서, 닐슨 시청률을 가진 미디어는 (미디어) 미디어 비트스트림에서의 프로그램에 대한 고유 식별자를 운반할 수 있다. 닐슨 시청률들은 그 후 프로그램에 대한 시청자 또는 청취자의 통계들을 계산하기 위해 이러한 고유 식별자를 이용할 수 있다. 또 다른 예에서, 여기에서의 예약 바이트들은 구글과 같은 탐색 엔진들에 대한 키워드들을 운반할 수 있다. 구글은 그 후 키워드들을 운반하는 예약 바이트들에서의 하나 이상의 필드들에 포함된 상기 키워드들에 기초하여 광고를 연관시킬 수 있다. 본 발명을 위해, 여기에 논의된 바와 같은 애플리케이션들에서, 여기에서의 기술들은 안전해지고 상기 예약 바이트들에서의 하나 이상의 필드들을 이용하기 위해 지정되는 상기 제 3 자 이외의 다른 누군가에 의해 복호화되지 않도록 상기 예약 바이트들을 보장하기 위해 이용될 수 있다.
여기에 설명된 바와 같은 처리 상태 메타데이터는 다수의 상이한 방식들 중 임의의 것으로 미디어 데이터와 연관될 수 있다. 일부 가능한 실시예들에서, 상기 처리 상태 메타데이터는 상기 미디어 데이터를 운반하는 송출하는 압축된 미디어 비트스트림에 삽입될 수 있다. 일부 실시예들에서, 상기 메타데이터는 상기 처리 상태 메타데이터에 기초하여 적응적 처리를 수행하도록 구성되지 않은 레거시 디코더들과의 역 호환성을 유지하기 위한 방식으로 삽입된다.
4. 미디어 데이터의 예시적인 적응적 처리
도 6은 본 발명의 일부 가능한 실시예들에 따른, 인코더/트랜스코더의 예시적인 구현을 예시한다. 묘사된 구성요소들 중 임의의 것은 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합에서 하나 이상의 프로세스들 및/또는 하나 이상의 IC 회로들(ASIC들, FPGA들 등을 포함하는)로서 구현될 수 있다. 상기 인코더/트랜스코더는 프론트-엔드 디코드(FED), 이러한 처리가 이미 행해졌는지의 여부에 기초하여 동적 범위 제어/다이얼로그 놈(DRC/Dialnorm) 처리를 수행하도록 선택하지 않은 백 엔드 디코드(전체 모드), DRC 생성기(DRC Gen), 백 엔드 인코드(BEE), 스터퍼(stuffer), CRC 재-생성 유닛 등과 같은 다수의 레거시 서브-유닛들을 포함할 수 있다. 이들 레거시 서브-유닛들을 갖고, 상기 인코더/트랜스코더는 비트스트림(예를 들면, 이에 제한되지 않지만, AC-3일 수 있는)을 하나 이상의 유형들의 미디어 처리의 결과들을 포함하는 또 다른 비트스트림(예를 들면, 이에 제한되지 않지만, 적응형 및 자동화된 소리크기 처리를 가진 E AC-3일 수 있는)으로 변화할 수 있을 것이다. 그러나, 상기 미디어 처리(예를 들면, 소리크기 처리)은 상기 소리크기 처리가 이전에 수행되었는지의 여부 및/또는 입력 비트스트림에서의 미디어 데이터가 이러한 이전 소리크기 처리의 결과를 포함하는지의 여부 및/또는 처리 상태 메타데이터가 입력 비트스트림에 있는지의 여부에 상관없이 수행될 수 있다. 따라서, 단독으로 레거시 서브-유닛들을 가진 인코더/트랜스코더는 잘못되거나 불필요한 미디어 처리를 수행할 것이다.
여기에 설명된 기술들 하에서, 일부 가능한 실시예들에서, 도 6에 도시된 바와 같이, 상기 인코더/트랜스코더는 미디어 데이터 파서/검증기(예를 들면, 이에 제한되지 않지만, AC-3 플래그 파서 및 검증기일 수 있는), 부 미디어 처리(예를 들면, 적응적 변환-도메인 실시간 소리크기 및 동적 범위 제어기, 신호 분석, 특징 추출 등), 미디어 핑거프린트 생성(예를 들면, 오디오 핑거프린트 생성), 메타데이터 생성기(예를 들면, 진화 데이터 생성기 및/또는 다른 메타데이터 생성기), 미디어 처리 시그널링 삽입(예를 들면, "add_bsi" 삽입 또는 보조 데이터 필드들로의 삽입), HMAC 생성기(악의 있는 또는 레거시 엔티티들에 의한 조작을 방지하기 위해 모든 프레임들까지 1회 이상 디지털로 서명할 수 있는), 하나 이상의 유형들의 암호 처리 유닛들, 처리 상태 시그널링 및/또는 처리 상태 메타데이터에 기초하여 동작하는 하나 이상의 스위치들(예를 들면, 플래그 파서 및 검증기로부터 수신된 소리크기 플래그 "상태" 또는 미디어 특징들에 대한 플래그들) 등과 같은 복수의 새로운 서브-유닛들 중 임의의 것을 포함할 수 있다. 또한, 이용자 입력(예를 들면, 이용자 타겟 소리크기/다이얼놈) 및/또는 다른 입력(예를 들면, 비디오 핑거프린팅 프로세스로부터) 및/또는 다른 메타데이터 입력(예를 들면, 하나 이상의 유형들의 제 3 자 데이터, 트래킹 정보, 식별자들, 독점 또는 표준 정보, 이용자 주석 데이터, 이용자 선호 데이터 등)은 인코더/트랜스코더에 의해 수신될 수 있다. 예시된 바와 같이, 측정된 다이얼로그, 게이팅된 및 게이팅되지 않은 소리크기 및 동적 범위 값들은 또한 진화 데이터 생성기에 삽입될 수 있다. 다른 미디어 특징 관련 정보는 또한 처리 상태 메타데이터의 일부를 생성하기 위해 여기에 설명된 바와 같이 처리 유닛에 주입될 수 있다.
일부 가능한 실시예들 중 하나 이상에서, 여기에 설명된 바와 같은 처리 상태 메타데이터는 ATSC A/52b에 따라 강화된 AC-3(E AC-3) 구문에서 특정된 "add_bsi" 필드들에서, 또는 여기에 설명된 바와 같은 미디어 비트스트림에서의 하나 이상의 보조 데이터 필드들에서 운반된다. 일부 가능한 실시예들에서, 이들 필드들에서의 처리 상태 메타데이터의 운반은 압축된 미디어 비트스트림 프레임 크기 및/또는 비트 레이트에 대한 부정적인 영향을 산출하지 않는다.
일부 가능한 실시예들에서, 처리 상태 메타데이터는 메인 프로그램 미디어 비트스트림과 연관된 독립적이거나 종속적인 서브-스트림에 포함될 수 있다. 이러한 방식의 이점은 미디어 데이터(메인 프로그램 미디어 비트스트림에 의해 운반된)를 인코딩하기 위해 할당된 비트 레이트가 영향을 받지 않는다는 것이다. 처리 상태 메타데이터가 인코딩된 프레임들의 일부로서 운반된다면, 오디오 정보를 인코딩하기 위해 할당된 비트들은 상기 압축된 미디어 비트스트림 프레임 크기 및/또는 비트 레이트가 변경되지 않을 수 있도록 감소될 수 있다. 예를 들면, 처리 상태 메타데이터는 감소된 데이터 레이트 표현을 포함할 수 있으며 중간 처리 유닛들 사이에서 전송하기 위해 약 10 kbps의 낮은 데이터 레이트를 차지한다. 그러므로, 오디오 샘플들과 같은 미디어 데이터는 처리 상태 메타데이터를 수용하기 위해 10 kbps만큼 낮은 레이트로 코딩될 수 있다.
일부 가능한 실시예들에서, 처리 상태 메타데이터의 적어도 일부는 가역성 또는 비가역성 데이터 은닉 기술들을 통해 미디어 데이터(또는 샘플들)를 갖고 내장될 수 있다. 이러한 방식의 이점은 미디어 샘플들 및 메타데이터가 동일한 비트스트림에서의 다운스트림 디바이스들에 의해 수신될 수 있다는 것이다.
일부 가능한 실시예들에서, 처리 상태 메타데이터는 핑거프린트들에 연결된 미디어 처리 데이터베이스에 저장될 수 있다. 처리 상태 메타데이터를 생성하는 인코더/트랜스코더와 같은 업스트림 유닛의 아래에 있는 미디어 처리 유닛은 수신된 미디어 데이터로부터 핑거프린트를 생성하고 그 후 미디어 처리 데이터베이스에 질의하기 위해 키로서 상기 핑거프린트를 이용할 수 있다. 데이터베이스에서의 처리 상태 메타데이터가 위치된 후, 상기 수신된 미디어 데이터와(또는 이를 위해) 연관된 처리 상태 메타데이터를 포함하는 데이터 블록은 미디어 처리 데이터베이스로부터 검색될 수 있는 상기 다운스트림 미디어 처리 유닛에 대해 이용가능해질 수 있다. 여기에 이용된 바와 같이, 핑거프린트들은 이에 제한되지 않지만, 미디어 특징들을 표시하기 위해 생성된 하나 이상의 미디어 핑거프린트들 중 임의의 것을 포함할 수 있다.
일부 가능한 실시예들에서, 처리 상태 메타데이터를 포함하는 데이터 블록은 처리 상태 메타데이터 및/또는 기초 미디어 데이터에 대한 암호 해시(HMAC)를 포함한다. 데이터 블록은 이들 실시예에서 디지털로 서명될 예정이기 때문에, 다운스트림 미디어 처리 유닛은 상기 처리 상태 메타데이터를 비교적 쉽게 인증하고 검증할 수 있다. 이에 제한되지 않지만 하나 이상의 비-HMAC 암호 방법들 중 임의의 것을 포함하는 다른 암호 방법들은 처리 상태 메타데이터 및/또는 기초 미디어 데이터의 안전한 송신 및 수신을 위해 이용될 수 있다.
이전에 설명된 바와 같이, 여기에 설명된 바와 같이 인코더/트랜스코더와 같은 미디어 처리 유닛은 "레거시" 미디어 비트스트림들 및 PCM 샘플들을 수용하도록 구성될 수 있다. 입력 미디어 비트스트림이 레거시 미디어 비트스트림이라면, 미디어 처리 유닛은 이전에 설명된 바와 같이 전-처리 및 메타데이터 검증 로직을 포함하는 강화된 "레거시" 인코더들 중 하나에 의해 미디어 데이터에 은닉될 수 있거나 미디어 비트스트림에 있을 수 있는 진화 플래그를 검사할 수 있다. "진화 플래그"의 부재시, 인코더는 적응적 처리를 수행하고 처리 상태 메타데이터를 포함하는 데이터 블록에서 또는 출력 미디어 비트스트림에서 적절하게 처리 상태 메타데이터를 생성하도록 구성된다. 예를 들면, 도 6에 도시된 바와 같이, "변환 도메인 실시간 소리크기 및 동적 범위 제어기"와 같은 예시적인 유닛은 수신된 유닛의 입력 미디어 데이터에서 오디오 콘텐트를 적응적으로 처리하고 "진화"플래그가 입력 미디어 데이터 또는 소스 미디어 비트스트림에 존재하지 않는다면 소리크기 및 동적 범위를 자동으로 조정한다. 부가적으로, 선택적으로, 또는 대안적으로, 또 다른 유닛은 적응적 처리를 수행하기 위해 특징 기반 메타데이터를 이용할 수 있다.
도 6에 도시된 바와 같은 예시적인 실시예들에서, 상기 인코더는 하나의 유형의 미디어 처리(예를 들면, 소리크기 도메인 처리)을 수행한 후/전-처리 유닛을 알고 있을 수 있으며 그러므로 소리크기 도메인 처리에서 이용되고/이용되거나 그로부터 도출된 특정 파라미터들을 포함하는 데이터 블록에 처리 상태 메타데이터를 생성할 수 있다. 일부 가능한 실시예들에서, 상기 인코더는 인코더가 미디어 데이터에서의 콘텐트 상에서 수행된 처리의 유형들(예를 들면, 소리크기 도메인 처리)을 알고 있는 한 상기 미디어 데이터에서의 콘텐트 상에서의 처리 이력을 반영한 처리 상태 메타데이터를 생성할 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 인코더는 상기 처리 상태 메타데이터에 의해 설명된 하나 이상의 미디어 특징들에 기초하여 적응적 처리를 수행할 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 인코더는 다른 처리 유닛들 중 임의의 것에 제공될 처리 상태 메타데이터의 일부로서 미디어 특징들의 설명을 생성하기 위해 상기 미디어 데이터의 분석을 수행할 수 있다.
일부 가능한 실시예들에서, 여기에서의 기술들을 이용한 디코더는 다음의 시나리오들에서 상기 미디어 데이터의 상태를 이해할 수 있다.
제 1 시나리오 하에서, 디코더가 미디어 비트스트림에서의 처리 상태 메타데이터의 유효성을 표시하기 위해 설정된 "진화 플래그"를 가진 미디어 비트스트림을 수신한다면, 상기 디코더는 처리 상태 메타데이터를 파싱 및/또는 검색할 수 있으며 적절한 후-처리 유닛과 같은 다운스트림 미디어 처리 유닛을 시그널링할 수 있다. 다른 한편으로, "진화 플래그"가 없다면, 상기 디코더는 볼륨 레벨링 처리가 여전히, 소리크기 메타데이터 - 예를 들면, 일부 가능한 실시예들에서 처리 상태 메타데이터에 포함되고, 이미 수행된 볼륨 레벨링 처리를 가진 - 가 없거나 유효한 것으로 신뢰될 수 없는 것처럼 수행되어야 한다는 것을 다운스트림 미디어 처리 유닛에 시그널링할 수 있다.
제 2 시나리오 하에서, 디코더가 암호화 해시를 가진 진화 인코더와 같이 업트림 미디어 처리 유닛에 의해 생성되고 인코딩된 미디어 비트스트림을 수신한다면, 상기 디코더는 처리 상태 메타데이터를 포함하는 데이터 블록으로부터 상기 암호화 해시를 파싱 및 검색할 수 있으며, 수신된 미디어 비트스트림 및 연관된 메타데이터를 검증하기 위해 상기 암호화 해시를 이용할 수 있다. 예를 들면, 상기 디코더가 기준 암호화 해시 및 상기 데이터 블록으로부터 검색된 암호화 해시 사이에서의 매칭에 기초하여 상기 연관된 메타데이터(예를 들면, 처리 상태 메타데이터에서의 소리크기 메타데이터)가 유효한 것으로 발견한다면, 상기 디코더는 변하지 않은 오디오와 같은 미디어 데이터를 전달하기 위해 볼륨 레벨링 유닛과 같은 다운스트림 미디어 처리 유닛에 시그널링할 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 다른 유형들의 암호화 기술들은 암호화 해시에 기초한 방법 대신에 이용될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 볼륨 레벨링 이외의 다른 동작들이 또한 처리 상태 메타데이터에 설명된 바와 같이 상기 미디어 데이터의 하나 이상의 미디어 특징들에 기초하여 수행될 수 있다.
제 3 시나리오 하에서, 디코더가 진화 인코더와 같은 업스트림 미디어 처리 유닛에 의해 생성된 미디어 비트스트림을 수신한다면, 처리 상태 메타데이터를 포함하는 데이터 블록은 상기 미디어 비트스트림에 포함되지 않으며; 오히려 상기 데이터 블록은 미디어 처리 데이터베이스에 저장된다. 상기 디코더는 오디오와 같은 상기 미디어 비트스트림에 상기 미디어 데이터의 핑거프린트를 생성하고, 그 후 상기 미디어 처리 데이터베이스를 질의하기 위해 상기 핑거프린트를 이용하도록 구성된다. 상기 미디어 처리 데이터베이스는 핑거프린트 매칭에 기초하여 상기 수신된 미디어 데이터와 연관된 적절한 데이터 블록을 리턴할 수 있다. 일부 가능한 실시예들에서, 상기 인코딩된 미디어 비트스트림은 이전에 논의된 바와 같이 상기 핑거프린트-기반 질의를 미디어 처리 데이터베이스에 전송하도록 상기 디코더에 지시하기 위한 단순한 범용 리소스 로케이터(URL)를 포함한다.
모든 이들 시나리오들에서, 상기 디코더는 상기 미디어의 상태를 이해하고 상기 미디어 데이터의 후자의 처리를 그에 따라 적응시키기 위해 다운스트림 미디어 처리 유닛을 시그널링하도록 구성된다. 일부 가능한 실시예들에서, 여기에서의 상기 미디어 데이터는 디코딩된 후 재-인코딩될 수 있다. 일부 가능한 실시예들에서, 상기 재-인코딩에 대응하는 동시 발생 처리 상태 정보를 포함하는 데이터 블록은 상기 디코더 다음의 인코더/변환기와 같은 다운스트림 미디어 처리 유닛으로 전달될 수 있다. 예를 들면, 상기 데이터 블록은 상기 디코더로부터 송출 미디어 비트스트림에서 연관된 메타데이터로서 포함될 수 있다.
도 7은 본 발명의 일부 가능한 실시예들에 따라, 처리 상태 메타데이터에서 및/또는 그와 연관된 소리크기 메타데이터의 유효성에 기초하여 볼륨 레벨링 유닛의 동작의 예시적인 진화 디코더 제어 모드들을 예시한다. 특징 기반 처리와 같은 다른 동작들이 또한 처리될 수 있다. 묘사된 구성요소들 중 임의의 것은 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합으로 하나 이상의 프로세스들 및/또는 하나 이상의 IC 회로들(ASIC들 및 FPGA들을 포함하는)로서 구현될 수 있다. 상기 디코더는 프레임 인포 모듈(예를 들면, AC-3, MPEG AAC, MPEG HE AAC, E AC-3 등에서의 프레임 인포 모듈), 프론트-엔드 디코드(예를 들면, AC-3, MPEG AAC, MPEG HE AAC, E AC-3 등에서의 FED), 동기화 및 변환(예를 들면, AC-3, MPEG AAC, MPEG HE AAC, E AC-3 등에서의 동기 및 변환 모듈), 프레임 설정 버퍼, 백 엔드 디코드(예를 들면, AC-3, MPEG AAC, MPEG HE AAC, E AC-3 등에서의 BED), 백 엔드 인코드(예를 들면, AC-3, MPEG AAC, MPEG HE AAC, E AC-3 등에서의 BEE), CRC 재-생성, 미디어 렌더링(예를 들면, 돌비 볼륨) 등과 같은 다수의 레거시 서브-유닛들을 포함할 수 있다. 이들 레거시 서브-유닛들을 갖고, 상기 디코더는 미디어 데이터에서의 미디어 콘텐트를 다운스트림 미디어 처리 유닛에 전달하고/전달하거나 상기 미디어 콘텐트를 렌더링할 수 있을 것이다. 그러나, 상기 디코더는 상기 미디어 데이터의 상태를 전달하거나 출력 비트스트림에 미디어 처리 시그널링 및/또는 처리 상태 메타데이터를 제공할 수 없을 것이다.
여기에서의 기술들 하에서, 일부 가능한 실시예들에서, 도 7에 예시된 바와 같이, 상기 디코더는 메타데이터 핸들링(진화 데이터 및/또는 하나 이상의 유형들의 제 3 자 데이터, 트래킹 정보, 식별자들, 독점 또는 표준 정보, 이용자 주석 데이터, 이용자 선호 데이터, 특징 추출, 특징 핸들링 등을 포함하는 다른 메타데이터 입력), 보안(예를 들면, 조작-방지), 처리 상태 정보를 위한 통신(HMAC 생성기 및 서명 검증기, 다른 암호화 기술들), 미디어 핑거프린트 추출(예를 들면, 오디오 및 비디오 핑거프린트 추출), 부가 미디어 처리(예를 들면, 스피치 채널(들)/소리크기 인포, 다른 유형들의 미디어 특징들), 데이터 은닉(예를 들면, 파괴성/비가역성 또는 가역성일 수 있는 PCM 데이터 은닉), 미디어 처리 시그널링 삽입, HMAC 생성기(예를 들면, "add_bsi" 삽입, 또는 하나 이상의 보조 데이터 필드들로의 삽입들을 포함할 수 있는), 다른 암호화 기술들, 은닉된 데이터 복구 및 검증(예를 들면, 은닉된 PCM 데이터 복구 & 검증기), "실행 취소(undo)" 데이터 은닉, 처리 상태 시그널링 및/또는 처리 상태 메타데이터에 기초하여 동작하는 하나 이상의 스위치들(예를 들면, 진화 데이터 "유효" 및 HMAC 생성기 & 서명 검증기로부터의 데이터 은닉 삽입 제어) 등과 같은 복수의 새로운 서브-유닛들 중 임의의 것을 포함할 수 있다. 예시된 바와 같이, HMAC 생성기 & 서명 검증기 및 오디오 & 비디오 핑거프린트 추출에 의해 추출된 정보는 오디오 및 비디오 동기 정정, 평가들, 미디어 권한들, 품질 제어, 미디어 위치 프로세스들, 특징 기반 처리 등으로 출력되거나 그것을 위해 이용될 수 있다.
일부 가능한 실시예들에서, 여기의 미디어 처리에서의 후/전-처리 유닛은 독립적으로 동작하지 않는다. 오히려, 상기 후/전-처리 유닛은 미디어 처리 체인에서의 인코더 또는 디코더와 상호작용할 수 있다. 인코더와 상호작용하는 경우에, 상기 후/전-처리 유닛은 데이터 블록에서의 미디어 데이터의 상태에 관한 처리 상태 메타데이터의 적어도 일부를 생성하도록 도울 수 있다. 디코더와 상호작용하는 경우에, 상기 후/전-처리 유닛은 상기 미디어 데이터의 상태를 결정하고 상기 미디어 데이터의 처리를 그에 따라 적응시키도록 구성된다. 일 예에서, 도 7에서, 볼륨 레벨링 유닛과 같은 예시적인 후/전-처리 유닛은 업스트림 디코더에 의해 전송된 PCM 샘플들에서의 은닉된 데이터를 검색하고 상기 은닉된 데이터에 기초하여, 소리크기 메타데이터가 유효한지 여부를 결정할 수 있다. 소리크기 메타데이터가 유효하다면, 오디오와 같은 입력 미디어 데이터는 볼륨 레벨링 유닛을 통해 변경되지 않은 채 전달될 수 있다. 또 다른 예에서, 예시적인 후/전-처리 유닛은 업스트림 디코더에 의해 전송된 PCM 샘플들에서 은닉된 데이터를 검색하고, 상기 은닉된 데이터에 기초하여, 이전에 상기 미디어 샘플들의 콘텐트로부터 결정된 하나 이상의 유형들의 미디어 특징들을 결정할 수 있다. 음성 인식된 키워드가 표시된다면, 상기 후-전처리 유닛은 음성 인식된 키워드에 관한 하나 이상의 특정 동작들을 수행할 수 있다.
5. 데이터 은닉
도 8은 본 발명의 일부 가능한 실시예들에 따라, 미디어 처리 정보를 전달하기 위해 데이터 은닉을 이용하는 예시적인 구성을 도시한다. 일부 가능한 실시예들에서, 데이터 은닉은 업스트림 및 다운스트림 미디어 처리 유닛들 사이에 어떤 메타데이터 경로도 없을 때 진화 인코더 또는 디코더와 같은 업스트림 미디어 처리 유닛(예를 들면, 오디오 처리 #1) 및 후/전-처리 유닛과 같은 다운스트림 미디어 처리 유닛(예를 들면, 오디오 처리 #2) 사이에서의 시그널링을 가능케하기 위해 이용될 수 있다.
일부 가능한 실시예들에서, 가역성 미디어 데이터 은닉(예를 들면, 가역성 오디오-데이터 은닉)은 미디어 데이터에서의 미디어 데이터 샘플들(예를 들면, X)을 두 개의 미디어 처리 유닛들 사이에서 미디어 처리 시그널링 및/또는 처리 상태 메타데이터를 운반하는 변경된 미디어 데이터 샘플들(예를 들면, X')로 변경하기 위해 이용될 수 있다. 일부 가능한 실시예들에서, 여기에 설명된 상기 미디어 데이터 샘플들로의 변경은 변경의 결과로서 어떤 지각적 열화도 없는 방식으로 행해진다. 따라서, 미디어 처리 유닛(1) 다음에 또 다른 미디어 처리 유닛이 존재하지 않을지라도, 어떤 가청 또는 시청 아티팩트들도 상기 변경된 미디어 데이터 샘플들을 갖고 지각될 수 없을 것이다. 즉, 지각적으로 투명한 방식으로 상기 미디어 처리 시그널링 및/또는 상기 처리 상태 메타데이터를 은닉하는 것은 상기 변경된 미디어 데이터 샘플들에서의 오디오 및 비디오가 렌더링될 때 어떤 가청 또는 시청 아티팩트들을 야기하지 않을 것이다.
일부 가능한 실시예들에서, 미디어 처리 유닛(예를 들면, 도 8의 오디오 처리 유닛 #2)은 변경된 미디어 데이터 샘플들로부터 내장된 미디어 처리 시그널링 및/또는 처리 상태 메타데이터를 검색하고, 상기 변경들을 실행 취소함으로써 상기 변경된 미디어 데이터 샘플들을 원래의 미디어 데이터 샘플들로 복구시킨다. 이것은 예를 들면, 서브-유닛(예를 들면, 정보 추출 및 오디오 복원)을 통해 행해질 수 있다. 상기 검색된 내장된 정보는 그 후 두 개의 미디어 처리 유닛들(예를 들면, 도 8의 오디오 처리 유닛들(#1, #2)) 사이에서의 시그널링 메커니즘으로서 작용할 수 있다. 여기에서의 데이터-은닉 기술의 강건성(robustness)은 어떤 유형들의 처리가 미디어 처리 유닛들에 의해 수행될 수 있는지에 의존적일 수 있다. 미디어 처리 유닛 #1의 일 예는 셋-탑 박스에서의 디지털 디코더일 수 있는 반면, 미디어 처리 유닛 #2의 일 예는 동일한 셋-탑 박스에서의 볼륨 레벨링 유닛일 수 있다. 소리크기 메타데이터가 유효하다고 상기 디코더가 결정한다면, 상기 디코더는 레벨링을 이용하기 않기 위해 후속 볼륨 레벨링 유닛을 시그널링하기 위해 가역성 데이터-은닉 기술을 이용할 수 있다.
일부 가능한 실시예들에서, 비가역성 미디어 데이터 은닉(예를 들면, 비가역성 보안 통신 채널 기반 데이터 은닉 기술)은 미디어 데이터에서의 미디어 데이터 샘플들(예를 들면, X)을 두 개의 미디어 처리 유닛들 사이에서 미디어 처리 시그널링 및/또는 처리 상태 메타데이터를 운반하는 변경된 미디어 데이터 샘플들(예를 들면, X')로 변경하기 위해 이용될 수 있다. 일부 가능한 실시예들에서, 여기에 설명된 상기 미디어 데이터 샘플들로의 변경은 변경의 결과로서 최소 지각적 열화가 존재하는 방식으로 행해진다. 따라서, 최소의 가청 또는 시청 아티팩트들이 상기 변경된 미디어 데이터 샘플들을 갖고 지각될 수 있다. 즉, 지각적으로 투명한 방식으로 상기 미디어 처리 시그널링 및/또는 상기 처리 상태 메타데이터를 은닉하는 것은 상기 변경된 미디어 데이터 샘플들에서의 오디오 및 비디오가 렌더링될 때 최소의 가청 또는 시청 아티팩트들을 야기할 것이다.
일부 가능한 실시예들에서, 비가역성 데이터 은닉을 통한 상기 변경된 미디어 데이터 샘플들에서의 변경들은 원래의 미디어 데이터 샘플들을 복구시키기 위해 실행 취소되지 않을 수 있다.
6. 예시적인 프로세스 흐름
도 9a 및 도 9b는 본 발명의 가능한 실시예에 따른 일 예시적인 프로세스 흐름을 예시한다. 일부 가능한 실시예들에서, 하나 이상의 컴퓨팅 디바이스들 또는 미디어 처리 시스템에서의 유닛들은 이러한 프로세스 흐름을 수행할 수 있다.
도 9a의 블록(910)에서, 미디어 처리 체인(예를 들면, 여기에 설명된 바와 같은 강화된 미디어 처리 체인)에서의 제 1 디바이스는 일 유형의 미디어 처리가 미디어 데이터의 출력 버전 상에서 수행되었는지의 여부를 결정한다. 상기 제 1 디바이스는 미디어 처리 유닛의 일부, 또는 전체일 수 있다. 블록(920)에서, 상기 유형의 미디어 처리가 상기 미디어 데이터의 출력 버전 상에서 수행되었다고 결정하는 것에 응답하여, 상기 제 1 디바이스는 상기 미디어 데이터의 상태를 생성할 수 있다. 일부 가능한 실시예들에서, 상기 미디어 데이터의 상태는 상기 유형의 미디어 처리를 특정할 수 있으며, 그 결과는 상기 미디어 데이터의 출력 버전에 포함된다. 상기 제 1 디바이스는 예를 들면, 출력 미디어 비트스트림에, 또는 상기 미디어 데이터의 출력 버전을 운반하는 별개의 미디어 스트림과 연관된 보조 메타데이터 비트스트림에서, 상기 미디어 데이터의 출력 버전 및 상기 미디어 데이터의 상태를 상기 미디어 처리 체인에서의 아래에 있는 제 2 디바이스에 전달할 수 있다.
일부 가능한 실시예들에서, 상기 미디어 데이터는 오디오 콘텐트 전용, 비디오 콘텐트 전용, 또는 오디오 콘텐트 및 비디오 콘텐트 둘 모두, 중 하나 이상으로서 미디어 콘텐트를 포함한다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 (a) 미디어 핑거프린트들, (b) 처리 상태 메타데이터, 또는 (c) 미디어 처리 시그널링 중 하나 이상으로서 상기 미디어 데이터의 상태를 제 2 디바이스에 제공할 수 있다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 미디어 처리 데이터베이스에 미디어 처리 데이터 블록을 저장할 수 있다. 상기 미디어 처리 데이터 블록은 미디어 처리 메타데이터를 포함할 수 있으며, 여기에서 상기 미디어 처리 데이터 블록은 상기 미디어 처리 데이터 블록과 연관되는 하나 이상의 미디어 핑거프린트들에 기초하여 검색가능하다.
일부 가능한 실시예들에서, 미디어 데이터의 상태는 자격 정보를 갖고 암호화된 암호화 해시 값을 포함한다. 상기 암호화 해시 값은 수신인 디바이스에 의해 인증받을 수 있다.
일부 실시예들에서, 미디어 데이터의 상태의 적어도 일부는 상기 미디어 데이터에 은닉된 하나 이상의 보안 통신 채널들을 포함하고, 여기에서 상기 하나 이상의 보안 통신 채널들은 수신인 디바이스에 의해 인증받는 것이다. 일 예시적인 실시예에서, 상기 하나 이상의 보안 통신 채널들은 적어도 하나의 확산 스펙트럼 보안 통신 채널을 포함할 수 있다. 일 예시적인 실시예에서, 상기 하나 이상의 보안 통신 채널들은 적어도 하나의 주파수 시프트 키잉 보안 통신 채널을 포함한다.
일부 가능한 실시예들에서, 상기 미디어 데이터의 상태는 상기 미디어 처리에서 이용되고/이용되거나 그로부터 도출되는 파라미터들의 하나 이상의 세트들을 포함한다.
일부 가능한 실시예들에서, 상기 제 1 디바이스 또는 상기 제 2 디바이스 중 적어도 하나는 전-처리 유닛들, 인코더들, 미디어 처리 서브-유닛들, 트랜스코더들, 디코더들, 후-처리 유닛들, 또는 미디어 콘텐트 렌더링 서브-유닛들 중 하나 이상을 포함한다. 일 예시적인 실시예에서, 상기 제 1 디바이스는 인코더(예를 들면, AVC 인코더)인 반면, 상기 제 2 디바이스는 디코더(예를 들면, AVC 디코더)이다.
일부 가능한 실시예들에서, 상기 유형의 처리는 상기 제 1 디바이스에 의해 수행되는 반면, 일부 다른 가능한 실시예들에서, 상기 유형의 처리는 대신에 상기 미디어 처리 체인에서 업스트림 디바이스에 의해 상기 제 1 디바이스에 관하여 수행된다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 미디어 데이터의 입력 버전을 수신할 수 있다. 상기 미디어 데이터의 입력 버전은 상기 유형의 미디어 프로세시을 표시하는 상기 미디어 데이터의 임의의 상태를 포함한다. 이들 실시예들에서, 상기 제 1 디바이스는 상기 미디어 데이터의 입력 버전 상에서 이미 수행된 미디어 처리의 유형을 결정하기 위해 상기 미디어 데이터의 입력 버전을 분석할 수 있다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 미디어 데이터의 상태에서 소리크기 및 동적 범위를 인코딩한다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 업스트림 디바이스에 의해 수행된 상기 유형의 미디어 처리를 수행하는 것을 적응적으로 회피할 수 있다. 그러나, 상기 유형의 미디어 처리가 수행될 때조차, 상기 제 1 디바이스는 상기 업스트림 디바이스에 의해 수행된 상기 유형의 미디어 처리를 오버라이드하기 위한 명령을 수신할 수 있다. 대신에, 상기 제 1 디바이스는 동일하거나 상이한 파라미터들을 갖고 상기 유형의 미디어 처리를 여전히 수행하도록 명령받을 수 있다. 상기 제 1 디바이스로부터 미디어 처리 체인에서의 아래에 있는 상기 제 2 디바이스로 전달된 미디어 데이터의 상태는 상기 유형의 미디어 처리가 상기 미디어 데이터의 출력 버전에서 이미 수행되었음을 표시하는 상기 미디어 데이터의 상태 및 상기 명령 하에서의 상기 제 1 디바이스에 의해 수행된 상기 유형의 미디어 처리의 결과를 포함하는 상기 미디어 데이터의 출력 버전을 포함할 수 있다. 다양한 가능한 실시예들에서, 상기 제 1 디바이스는 (a) 이용자 입력, (b) 상기 제 1 디바이스의 시스템 구성, (c) 상기 제 1 디바이스 외부에 있는 디바이스로부터의 시그널링, 또는 (d) 상기 제 1 디바이스 내에서의 서브-유닛으로부터의 시그널링, 중 하나로부터 명령을 수신할 수 있다.
일부 실시예들에서, 상기 미디어 데이터의 상태는 하나 이상의 보안 통신 채널들에 은닉된 상태 메타데이터의 적어도 일부를 포함한다.
일부 실시예들에서, 상기 제 1 디바이스는 상기 미디어 데이터의 상태의 적어도 일부를 저장하기 위해 상기 미디어 데이터에서의 복수의 바이트들을 변경한다.
일부 가능한 실시예들에서, 상기 제 1 디바이스 및 상기 제 2 디바이스 중 적어도 하나는 개선된 텔레비전 시스템들 위원회(Advanced Television Systems Committee; ATSC) 코덱들, 동화상 전문가 그룹(MPEG) 코덱들, 오디오 코덱 3(AC-3) 코덱들, 및 강화된 AC-3 코덱들 중 하나 이상을 포함한다.
일부 실시예들에서, 상기 미디어 처리 체인은: 입력으로서 미디어 콘텐트를 포함하는 시간-도메인 샘플들을 수용하고 처리된 시간-도메인 샘플들을 출력하도록 구성된 전-처리 유닛; 상기 처리된 시간-도메인 샘플들에 기초하여 상기 미디어 콘텐트의 압축된 미디어 비트스트림을 출력하도록 구성된 인코더; 상기 압축된 미디어 비트스트림에서 처리 상태 메타데이터를 검증하도록 구성된 신호 분석 및 메타데이터 정정 유닛; 상기 압축된 미디어 비트스트림을 변경하도록 구성된 트랜스코더; 상기 압축된 미디어 비트스트림에 기초하여 디코딩된 시간-도메인 샘플들을 출력하도록 구성된 디코더; 및 상기 디코딩된 시간-도메인 샘플들에서 상기 미디어 콘텐트의 후-처리를 수행하도록 구성된 후-처리 유닛을 포함한다. 일부 실시예들에서, 상기 제 1 디바이스 및 상기 제 2 디바이스 중 적어도 하나는 상기 전-처리 유닛, 상기 신호 분석 및 메타데이터 정정 유닛, 상기 트랜스코더, 상기 디코더, 및 상기 후-처리 유닛 중 하나 이상을 포함한다. 일부 실시예들에서, 상기 전-처리 유닛, 상기 신호 분석 및 메타데이터 정정 유닛, 상기 트랜스코더, 상기 디코더, 및 상기 후-처리 유닛 중 적어도 하나는 업스트림 디바이스로부터 수신된 처리 메타데이터에 기초하여 상기 미디어 콘텐트의 적응적 처리를 수행한다.
일부 실시예들에서, 상기 제 1 디바이스는 미디어 데이터로부터 하나 이상의 미디어 특징들을 결정하고, 미디어 데이터의 상태에서의 하나 이상의 미디어 특징들의 설명을 포함한다. 상기 하나 이상의 미디어 특징들은 프레임들, 초들, 분들, 이용자-규정가능한 시간 간격들, 장면들, 노래들, 음악 조각들, 및 레코딩들 중 하나 이상으로부터 결정된 적어도 하나의 미디어 특징을 포함할 수 있다. 상기 하나 이상의 미디어 특징들은 상기 미디어 데이터의 의미론적 설명을 포함한다. 다양한 실시예들에서, 상기 하나 이상의 미디어 특징들은 구조적 속성들, 조화 및 멜로디를 포함하는 조성, 음색, 리듬, 소리크기, 스테레오 믹스, 미디어 데이터의 사운드 소스의 양, 음성의 존재 또는 부재, 반복 특성들, 멜로디, 조화들, 가사들, 음색, 지각 특징들, 디지털 미디어 특징들, 스테레오 파라미터들, 스피치 콘텐트의 하나 이상의 부분들 중 하나 이상을 포함한다.
도 9b의 블록(950)에서, 미디어 처리 체인(예를 들면, 여기에서 설명된 바와 같이 강화된 미디어 처리 체인)의 제 1 디바이스는 일 유형의 미디어 처리가 미디어 데이터의 입력 버전 상에서 이미 수행되었는지의 여부를 결정한다.
블록(960)에서, 상기 유형의 미디어 처리가 상기 미디어 데이터의 입력 버전 상에서 이미 수행되었다는 결정에 응답하여, 상기 제 1 디바이스는 상기 제 1 디바이스에서의 상기 유형의 미디어 처리를 수행하는 것을 비활성화시키기 위해 상기 미디어 데이터의 처리를 적응시킨다. 일부 가능한 실시예들에서, 상기 제 1 디바이스는 상기 미디어 데이터의 입력 상태에 기초하여 하나 이상의 유형들의 미디어 처리를 턴 오프할 수 있다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 상기 미디어 데이터의 출력 버전 및 상기 유형의 미디어 처리가 상기 미디어 데이터의 출력 버전에서 이미 수행되었음을 표시하는 미디어 데이터의 상태를 상기 미디어 처리 체인에서의 아래에 있는 제 2 디바이스에 전달한다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 미디어 데이터의 상태에서의 소리크기 및 동적 범위를 인코딩할 수 있다. 일부 가능한 실시예들에서, 상기 제 1 디바이스는 상기 유형의 처리가 상기 미디어 데이터의 입력 버전 상에서 이미 수행되었는지의 여부에 적어도 부분적으로 기초하여 수정 소리크기 또는 동적 오디오 처리를 적응시키는 것 중 하나 이상을 자동으로 수행할 수 있다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 상기 미디어 데이터 상에서 제 2 상이한 유형의 미디어 처리를 수행할 수 있다. 상기 제 1 디바이스는 상기 미디어 데이터의 출력 버전 및 상기 유형의 미디어 처리 및 상기 제 2 상이한 유형의 미디어 처리가 상기 미디어 데이터의 출력 버전에서 이미 수행되었음을 표시하는 미디어 데이터의 상태를 상기 미디어 처리 체인에서의 아래에 있는 제 2 디바이스에 전달할 수 있다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 상기 미디어 데이터의 입력 버전과 연관되는 미디어 데이터의 입력 상태를 검색할 수 있다. 일부 가능한 실시예들에서, 상기 미디어 데이터의 입력 상태는 입력 미디어 비트스트림에서의 미디어 데이터의 입력 버전과 함께 운반된다. 일부 가능한 실시예들에서, 상기 제 1 디바이스는 미디어 콘텐트를 인코딩하는 미디어 데이터에서의 데이터 유닛들로부터 미디어 데이터의 입력 상태를 추출할 수 있다. 상기 미디어 데이터의 입력 상태는 상기 데이터 유닛들 중 하나 이상에 은닉될 수 있다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 상기 미디어 데이터의 입력 상태를 포함하지 않는 데이터 유닛들의 버전을 복구할 수 있으며 복구된 상기 데이터 유닛의 버전에 기초하여 상기 미디어 콘텐트를 렌더링할 수 있다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 상기 미디어 데이터의 입력 상태와 연관된 암호화 해시 값을 검증함으로써 상기 미디어 데이터의 입력 상태를 인증할 수 있다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 상기 미디어 데이터의 입력 상태와 연관된 하나 이상의 핑거프린트들을 검증함으로써 미디어 데이터의 입력 상태를 인증하고, 상기 하나 이상의 핑거프린트들 중 적어도 하나는 상기 미디어 데이터의 적어도 일부에 기초하여 생성된다.
일부 실시예들에서, 상기 제 1 디바이스는 상기 미디어 데이터의 입력 상태와 연관된 하나 이상의 핑거프린트들을 검증함으로써 상기 미디어 데이터를 검증하고, 여기에서 상기 하나 이상의 핑거프린트들 중 적어도 하나는 상기 미디어 데이터의 적어도 일부에 기초하여 생성된다.
일부 가능한 실시예들에서, 상기 제 1 디바이스는 처리 상태 메타데이터로 설명된 바와 같이 상기 미디어 데이터의 입력 상태를 수신할 수 있다. 상기 제 1 디바이스는 상기 처리 상태 메타데이터에 적어도 부분적으로 기초하여 미디어 처리 시그널링을 생성할 수 있다. 상기 미디어 처리 시그널링은, 상기 미디어 처리 시그널링이 보다 작은 데이터 볼륨일 수 있고/있거나 상기 처리 상태 메타데이터의 것보다 작은 비트 레이트를 요구할지라도, 상기 미디어 데이터의 입력 상태를 표시할 수 있다. 상기 제 1 디바이스는 상기 미디어 처리 시그널링을 상기 미디어 처리 체인에서의 상기 제 1 디바이스에 대해 아래에 있는 미디어 처리 디바이스로 송신할 수 있다. 일부 가능한 실시예들에서, 상기 미디어 처리 시그널링은 상기 미디어 데이터에 대한 하나 이상의 변경들이 수신인 디바이스에 의해 제거가능하도록 가역성 데이터 은닉 기술을 이용하여 상기 미디어 데이터의 출력 버전에서 하나 이상의 데이터 유닛들에 은닉된다. 일부 실시예들에서, 상기 미디어 처리 시그널링은 상기 미디어 데이터에 대한 하나 이상의 변경들의 적어도 일부가 수신인 디바이스에 의해 제거가능하지 않도록 비가역성 데이터 은닉 기술을 이용하여 상기 미디어 데이터의 출력 버전에서의 하나 이상의 데이터 유닛들에 은닉된다.
일부 실시예들에서, 상기 제 1 디바이스는 미디어 데이터의 상태에서 하나 이상의 미디어 특징들의 설명에 기초하여 상기 하나 이상의 미디어 특징들을 결정한다. 상기 하나 이상의 미디어 특징들은 프레임들, 초들, 분들, 이용자-규정가능한 시간 간격들, 장면들, 노래들, 음악 조각들, 및 레코딩들 중 하나 이상으로부터 결정된 적어도 하나의 미디어 특징을 포함할 수 있다. 상기 하나 이상의 미디어 특징들은 상기 미디어 데이터의 의미론적 설명을 포함한다. 일부 실시예들에서, 상기 제 1 디바이스는 상기 하나 이상의 미디어 특징들을 결정하는 것에 응답하여 하나 이상의 특정 동작들을 수행한다.
일부 가능한 실시예들에서, 방법이 제공되고, 상기 방법은: 미디어 처리 체인에서 제 1 디바이스로, 미디어 데이터의 소스 프레임의 하나 이상의 데이터 레이트 감소된 표현들을 계산하는 단계; 및 상기 미디어 데이터 자체의 상태 내에서 상기 하나 이상의 데이터 레이트 감소된 표현들을 상기 미디어 처리 체인에서의 제 2 디바이스에 동시에 및 안전하게 운반하는 단계를 포함하고, 상기 방법은 하나 이상의 컴퓨팅 디바이스들에 의해 수행된다.
일부 가능한 실시예들에서, 상기 하나 이상의 데이터 레이트 감소된 표현들은 서브-스트림, 하나 이상의 예약 필드들, add_bsi 필드, 하나 이상의 보조 데이터 필드들, 또는 하나 이상의 변환 계수들 중 적어도 하나에서 운반된다.
일부 가능한 실시예들에서, 상기 하나 이상의 데이터 레이트 감소된 표현들은 상기 미디어 데이터 내에서 전달된 오디오 및 비디오를 동기화하기 위해 이용된 동기화 데이터를 포함한다.
일부 가능한 실시예들에서, 상기 하나 이상의 데이터 레이트 감소된 표현들은 (a) 미디어 처리 유닛에 의해 생성되고 (b) 품질 모니터링, 미디어 평가들, 미디어 트래킹, 또는 콘텐트 탐색 중 하나 이상을 위해 상기 미디어 데이터를 갖고 내장된 미디어 핑거프린트들을 포함한다.
일부 가능한 실시예들에서, 상기 방법은 또한 미디어 처리 체인에서의 하나 이상의 컴퓨팅 디바이스들, 상기 미디어 데이터의 상태에 기초한 암호화 해시 값 및/또는 상기 미디어 데이터를 운반하는 하나 이상의 인코딩된 비트스트림들 내에서의 미디어 데이터의 상태 중 적어도 하나에 의해 계산 및 송신하는 단계를 포함한다.
일부 가능한 실시예들에서, 상기 방법은 또한: 수신인 디바이스에 의해, 상기 암호화 해시 값을 인증하는 단계; 상기 미디어 데이터의 상태가 유효한지 여부에 대한 결정을 상기 수신인 디바이스에 의해 하나 이상의 다운스트림 미디어 처리 유닛들에 시그널링하는 단계; 및 상기 수신인 디바이스에 의해, 상기 미디어 데이터의 상태가 유효하다는 결정에 응답하여 상기 미디어 데이터의 상태를 상기 하나 이상의 다운스트림 미디어 처리 유닛들에 시그널링하는 단계를 포함한다.
일부 가능한 실시예들에서, 상기 미디어의 상태를 나타내는 상기 암호화 해시 값 및/또는 상기 미디어 데이터는 서브-스트림, 하나 이상의 예약 필드들, add_bsi 필드, 하나 이상의 보조 데이터 필드들, 또는 하나 이상의 변환 계수들 중 적어도 하나에 운반된다.
일부 가능한 실시예들에서, 방법에 제공되고, 상기 방법은: 음향 심리학적 유닛들, 변환들, 파형/공간 오디오 코딩 유닛들, 인코더들, 디코더들, 트랜스코더들, 또는 스트림 프로세서들 중 하나 이상을 포함하는 미디어 처리 체인에서의 하나 이상의 컴퓨팅 디바이스들을 갖고, 상기 미디어 데이터의 상태에 의해 표시된 바와 같이 하나 이상의 업스트림 미디어 처리 유닛들에 의해 상기 미디어 데이터의 소리크기 처리의 지난 이력에 기초한 미디어 데이터의 입력 버전을 적응적으로 처리하는 단계; 및 일관된 소리크기 및/또는 동적 범위 값들에 대한 상기 미디어 처리 체인의 끝에서 상기 미디어 데이터의 출력 버전의 동적 범위 및/또는 소리크기를 정규화하는 단계를 포함한다.
일부 가능한 실시예들에서, 상기 일관된 소리크기 값은 (1) 이용자에 의해 제어되거나 선택된 또는 (2) 상기 미디어 데이터의 입력 버전에서의 상태에 의해 적응적으로 시그널링된 소리크기 값을 포함한다.
일부 가능한 실시예들에서, 상기 소리크기 값은 상기 미디어 데이터의 다이얼로그(스피치) 부분들에 대해 계산된다.
일부 가능한 실시예들에서, 상기 소리크기 값은 상기 미디어 데이터의 절대적, 상대적 및/또는 게이팅되지 않은 부분들에 대해 계산된다.
일부 가능한 실시예들에서, 상기 일관된 동적 범위 값은 (1) 이용자에 의해 제어되거나 선택된 또는 (2) 미디어 데이터의 입력 버전에서의 상태에 의해 적응적으로 시그널링된 동적 범위 값을 포함한다.
일부 가능한 실시예들에서, 상기 동적 범위 값은 상기 미디어 데이터의 다이얼로그(스피치) 부분들에 대해 계산된다.
일부 가능한 실시예들에서, 상기 동적 범위 값은 상기 미디어 데이터의 절대적, 상대적 및/또는 게이팅되지 않은 부분들에 대해 계산된다.
일부 가능한 실시예들에서, 상기 방법은: 상기 미디어 데이터의 출력 버전을 일관된 소리크기 값 및 일관된 동적 범위로 정규화하기 위한 하나 이상의 소리크기 및/또는 동적 범위 이득 제어 값들을 계산하는 단계; 및 상기 미디어 처리 체인의 끝에서 상기 미디어 데이터의 출력 버전의 상태 내에서 상기 하나 이상의 소리크기 및/또는 동적 범위 이득 제어 값들을 동시에 운반하는 단계로서, 상기 하나 이상의 소리크기 및/또는 동적 범위 이득 제어 값들은 상기 미디어 데이터의 입력 버전에서 원래의 소리크기 값 및 원래의 동적 범위 값을 복구시키기 위해 상기 하나 이상의 소리크기 및/또는 동적 범위 이득 제어 값들을 반대로 이용하도록 또 다른 디바이스에 의해 이용가능한, 상기 동시 운반 단계를 포함한다.
일부 가능한 실시예들에서, 상기 미디어 데이터의 출력 버전의 상태를 나타내는 상기 하나 이상의 소리크기 및/또는 동적 범위 제어 값들은 서브-스트림, 하나 이상의 예약 필드들, add_bsi 필드, 하나 이상의 보조 데이터 필드들, 또는 하나 이상의 변환 계수들 중 적어도 하나에 운반된다.
일부 가능한 실시예들에서, 방법이 제공되고 있으며, 상기 방법은 음향 심리학적 유닛들, 변환들, 파형/공간 오디오 코딩 유닛들, 인코더들, 디코더들, 트랜스코더들, 또는 스트림 프로세서들 중 하나 이상을 포함하는 미디어 처리 체인에서 하나 이상의 컴퓨팅 디바이스들에 의해 하나 이상의 인코딩된 비트스트림들 내에서의 관련된 및 관련되지 않은 미디어 데이터 위치들 및/또는 관련된 및 관련되지 않은 미디어 데이터 위치들의 상태를 삽입, 추출, 또는 편집하는 것 중 하나를 수행하는 단계를 포함한다.
일부 가능한 실시예들에서, 상기 하나 이상의 관련된 및 관련되지 않은 미디어 데이터 위치들 및/또는 인코딩된 비트스트림들 내에서의 관련된 및 관련되지 않은 미디어 데이터 위치들의 상태는 서브-스트림, 하나 이상의 예약 필드들, add_bsi 필드, 하나 이상의 보조 데이터 필드들, 또는 하나 이상의 변환 계수들 중 적어도 하나에 운반된다.
일부 가능한 실시예들에서, 방법이 제공되고, 상기 방법은 음향 심리학적 유닛들, 변환들, 파형/공간 오디오 코딩 유닛들, 인코더들, 디코더들, 트랜스코더들, 또는 스트림 프로세서들 중 하나 이상을 포함하는 미디어 처리 체인에서 하나 이상의 컴퓨팅 디바이스들에 의해 하나 이상의 인코딩된 비트스트림들 내에서의 관련된 및 관련되지 않은 미디어 데이터 및/또는 관련된 및 관련되지 않은 미디어 데이터의 상태의 삽입, 추출, 또는 편집 중 하나 이상을 수행하는 단계를 포함한다.
일부 가능한 실시예들에서, 인코딩된 비트스트림들 내에서의 상기 하나 이상의 관련된 및 관련되지 않은 미디어 데이터 및/또는 관련된 및 관련되지 않은 미디어 데이터의 상태는 서브-스트림, 하나 이상의 예약 필드들, add_bsi 필드, 하나 이상의 보조 데이터 필드들, 또는 하나 이상의 변환 계수들 중 적어도 하나에 운반된다.
일부 가능한 실시예들에서, 미디어 처리 시스템은 음향 심리학적 유닛들, 변환들, 파형/공간 오디오 코딩 유닛들, 인코더들, 디코더들, 트랜스코더들, 또는 스트림 프로세서들 중 하나 이상을 포함하는 미디어 처리 체인에서 하나 이상의 컴퓨팅 디바이스들에 의해 하나 이상의 인코딩된 비트스트림들 내에서의 상기 미디어 데이터의 상태 및/또는 미디어 데이터에 기초한 암호화 해시 값들을 계산 및 운반하도록 구성된다.
여기에 이용된 바와 같이, 용어 "관련된 및 관련되지 않은 미디어 데이터 위치들"은 관련된 미디어(예를 들면, 상이한 비트스트림 포맷에서의 미디어의 사본)의 위치를 표시하는 절대 경로, 상대 경로, 및/또는 URL 또는 위치 관련되지 않은 미디어 또는 미디어 데이터 위치가 발견되는 본질 또는 비트스트림에 직접 관련되지 않은 다른 유형의 정보를 표시하는 절대 경로, 상대 경로, 및/또는 URL과 같은 미디어 리소스 로케이터를 포함할 수 있는 정보를 나타낼 수 있다. (상업, 광고, 웹 페이지 등과 같은 새로운 조각의 미디어의 위치).
여기에 이용된 바와 같이, 상기 용어 "관련된 및 관련되지 않은 미디어 데이터 위치들의 상태"는 상기 관련된 및 관련되지 않은 미디어 위치들의 유효성을 나타낼 수 있다(그것들이 운반되는 비트스트림의 수명 주기 전체에 걸쳐 편집/업데이트될 수 있기 때문에).
여기에 이용된 바와 같이, "관련된 미디어 데이터"는 상기 비트스트림이 표현하는 1차 미디어와 매우 연관된 2차 미디어 데이터 비트스트림들의 형태에서의 관련된 미디어 데이터의 운반을 나타낼 수 있다. (예를 들면, 제 2 (독립적인) 비트스트림 포맷에서의 미디어 데이터의 사본의 운반). 상기 관련되지 않은 미디어 데이터 콘텍스트에서, 이러한 정보는 상기 1차 미디어 데이터에 독립적인 2차 미디어 데이터 비트스트림들의 운반을 나타낼 수 있다.
여기에 이용된 바와 같이, "관련된 미디어 데이터에 대한 "상태"는 관련된 미디어 데이터의 유효성 뿐만 아니라, 임의의 시그널링 정보(처리 이력, 업데이트된 타겟 소리크기 등) 및/또는 메타데이터를 나타낼 수 있다. 관련되지 않은 미디어 데이터에 대한 "상태"는 상기 "관련된" 미디어 데이터의 상태로부터 개별적으로(독립적으로) 운반될 수 있는 유효성 인포를 포함한 메타데이터 및/또는 독립적인 시그널링 정보를 나타낼 수 있다. 상기 관련되지 않은 미디어 데이터의 상태는 이러한 정보가 발견되는 미디어 데이터 비트스트림에 "관련되지 않은" 미디어 데이터를 표현한다(이러한 정보는 그것들이 운반되는 비트스트림들의 수명 주기 전체에 걸쳐 독립적으로 편집/업데이트될 수 있기 때문에).
여기에 이용된 바와 같이, 용어들("미디어 데이터의 절대, 상태 및/또는 게이팅되지 않은 부분들)은 미디어 데이터 상에서 수행된 소리크기 및/또는 레벨링 측정들의 게이팅을 나타낸다. 게이팅은 임계값을 초과하는 계산된 값이 최종 측정에 포함되는 특정 레벨 또는 소리크기 임계값을 나타낸다.(예를 들면, 최종 측정된 값에서 -60 dBFS 미만의 단기 소리크기 값을 무시하는). 절대 값 상에서의 게이팅은 고정된 레벨 또는 소리크기를 나타내고, 상대 값 상에서의 게이팅은 현재의 "게이팅되지 않은" 측정 값에 의존하는 값을 나타낸다.
도 12a 내지 도 12l은 또한 본 발명의 일부 실시예들에 따라, 일부 예시적인 미디어 처리 노드들/디바이스 블록도들을 도시한다.
도 12a에 예시된 바와 같이, 단일 프로세서(N개의 노드들 중 노드 1일 수 있는)는, 오디오 PCM 샘플들을 포함할 수 있는 입력 신호를 수신하도록 구성된다. 상기 오디오 PCM 샘플들은 상기 오디오 PCM 샘플들 중에서 은닉된 처리 상태 메타데이터(또는 미디어 상태 메타데이터)를 포함하거나 포함하지 않을 수 있다. 도 12a의 신호 프로세서는 도 12a의 신호 프로세서 이전에 하나 이상의 미디어 처리 유닛들에 의해 제공된 바와 같이, 상기 오디오 PCM 샘플들로부터 처리 상태 메타데이터를 디코딩, 추출, 및/또는 해석하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 상기 처리 상태 메타데이터의 적어도 일부는 상기 오디오 인코더에 대한 처리 파라미터들을 적응시키기 위해 도 12a의 신호 프로세서에서의 오디오 인코더에 제공될 수 있다. 동시에, 도 12a의 신호 프로세서에서의 오디오 분석 유닛은 입력 신호에 전달된 미디어 콘텐트를 분석할 수 있다. 특징 추출, 미디어 분류, 소리크기 추정, 핑거프린트 생성 등은 상기 오디오 분석 유닛에 의해 수행된 분석의 일부로서 구현될 수 있다. 이러한 분석의 결과들의 적어도 일부는 상기 오디오 인코더에 대한 처리 파라미터들을 적응시키기 위해 도 12a의 신호 프로세서에서의 상기 오디오 인코더에 제공될 수 있다. 상기 오디오 인코더는 상기 처리 파라미터들에 기초하여 출력 신호에서의 코딩된 비트스트림으로 상기 입력 신호에서의 오디오 PCM 샘플들을 인코딩한다. 도 12a의 신호 프로세서에서의 코딩된 비트스트림 분석 유닛은 도 12a의 신호 프로세서의 출력 신호에 전송될 상기 코딩된 비트스트림에서의 미디어 데이터 또는 샘플들이 처리 상태 메타데이터의 적어도 일부를 저장하기 위한 룸을 갖는지의 여부를 결정하기 위해 구성될 수 있다. 도 12a의 신호 프로세서에 의해 송신될 새로운 처리 상태 메타데이터는 상기 미디어 상태 메타데이터 추출기에 의해 추출된 처리 상태 메타데이터, 상기 오디오 분석 유닛 및 도 12a의 신호 프로세서의 미디어 상태 메타데이터 생성기에 의해 생성된 처리 상태 메타데이터, 및/또는 임의의 제 3 자 데이터 중 일부 또는 모두를 포함한다. 상기 코딩된 비트스트림에서의 샘플들 또는 미디어 데이터가 처리 상태 메타데이터의 적어도 일부를 저장하기 위한 룸을 갖는다고 결정된다면, 새로운 처리 상태 메타데이터의 일부 또는 모두는 출력 신호에서의 미디어 데이터 또는 샘플들에서의 은닉된 데이터로서 저장될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 새로운 처리 상태 메타데이터의 일부 또는 모두는 상기 출력 신호에서, 상기 미디어 데이터 및 샘플들을 제외하고 별개의 메타데이터 구조에 저장될 수 있다. 따라서, 상기 출력 신호는 보안 은닉 또는 은닉되지 않은 통신 채널을 통해 상기 미디어 샘플들(본질) 내에서 또는 그것들 중에서 운반된 새로운 처리 상태(또는 "미디어 상태") 메타데이터를 포함하는 코딩된 비트스트림을 포함할 수 있다.
도 12b에 예시된 바와 같이, 신호 프로세서(N개의 노드들 중 노드 1일 수 있는)는 오디오 PCM 샘플들을 포함할 수 있는, 입력 신호를 수신하도록 구성된다. 상기 오디오 PCM 샘플들은 상기 오디오 PCM 샘플들 중에서 은닉된 처리 상태 메타데이터(또는 미디어 상태 메타데이터)를 포함하거나 포함하지 않을 수 있다. 도 12b의 신호 프로세서는 도 12b의 신호 프로세서 이전에 하나 이상의 미디어 처리 유닛들에 의해 제공된 바와 같이, 오디오 PCM 샘플들로부터 처리 상태 메타데이터를 디코딩, 추출, 및/또는 해석하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 상기 처리 상태 메타데이터의 적어도 일부는 PCM 오디오 샘플 프로세서에 대한 처리 파라미터들을 적응시키기 위해 도 12b의 신호 프로세서에서의 PCM 오디오 샘플 프로세서에 제공될 수 있다. 동시에, 도 12b의 신호 프로세서에서의 오디오 분석 유닛은 상기 입력 신호에 전달된 미디어 콘텐트를 분석할 수 있다. 특징 추출, 미디어 분류, 소리크기 추정, 핑거프린트 생성 등은 상기 오디오 분석 유닛에 의해 수행된 분석의 일부로서 구현될 수 있다. 이러한 분석의 결과들의 적어도 일부는 상기 PCM 오디오 샘플 프로세서에 대한 처리 파라미터들을 적응시키기 위해 도 12b의 신호 프로세서에서의 상기 오디오 인코더에 제공될 수 있다. 상기 PCM 오디오 샘플 프로세서는 입력 신호에서의 오디오 PCM 샘플들을 처리 파라미터들에 기초하여 출력 신호에서의 PCM 오디오 (샘플들) 비트스트림으로 처리한다. 도 12b의 신호 프로세서에서의 PCM 오디오 분석 유닛은 도 12b의 신호 프로세서의 출력 신호에서 전송될 PCM 오디오 비트스트림에서의 미디어 데이터 또는 샘플들이 처리 상태 메타데이터의 적어도 일부를 저장하기 위한 룸을 갖는지의 여부를 결정하도록 구성될 수 있다. 도 12b의 신호 프로세서에 의해 송신될 새로운 처리 상태 메타데이터는 미디어 상태 추출기에 의해 추출된 처리 상태 메타데이터, 상기 오디오 분석 유닛 및 도 12b의 신호 프로세서의 미디어 상태 메타데이터 생성기에 의해 생성된 처리 상태 메타데이터, 및/또는 임의의 제 3 자 데이터 중 일부 또는 모두를 포함한다. 상기 PCM 오디오 비트스트림에서의 샘플들 또는 미디어 데이터가 처리 상태 메타데이터의 적어도 일부를 저장하기 위한 룸을 갖는다고 결정된다면, 새로운 처리 상태 메타데이터의 일부 또는 모두는 출력 신호에서의 미디어 데이터 또는 샘플들에서의 은닉된 데이터로서 저장될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 새로운 처리 상태 메타데이터의 일부 또는 모두는 상기 출력 신호에서, 상기 미디어 데이터 및 샘플들을 제외하고 별개의 메타데이터 구조에 저장될 수 있다. 따라서, 상기 출력 신호는 보안 은닉 또는 은닉되지 않은 통신 채널을 통해 상기 미디어 샘플들(본질) 내에서 또는 그것들 중에서 운반된 새로운 처리 상태(또는 "미디어 상태") 메타데이터를 포함한 PCM 오디오 비트스트림을 포함할 수 있다.
도 12c에 예시된 바와 같이, 신호 프로세서(N개의 노드들 중 노드 1일 수 있는)는 PCM 오디오 (샘플들) 비트스트림을 포함할 수 있는 입력 신호를 수신하도록 구성된다. 상기 PCM 오디오 비트스트림은 보안 은닉 또는 은닉되지 않은 통신 채널을 통해 상기 PCM 오디오 비트스트림에서의 미디어 샘플들(본질) 내에서 및/또는 그 중에서 운반된 처리 상태 메타데이터(또는 미디어 상태 메타데이터)를 포함할 수 있다. 도 12c의 신호 프로세서는 상기 PCM 오디오 비트스트림으로부터의 상기 처리 상태 메타데이터를 디코딩, 추출, 및/또는 해석하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 상기 처리 상태 메타데이터의 적어도 일부는 상기 PCM 오디오 샘플 프로세서에 대한 처리 파라미터들을 적응시키기 위해 도 12c의 신호 프로세서에서의 PCM 오디오 샘플 프로세서에 제공될 수 있다. 상기 처리 상태 메타데이터는 도 12c의 신호 프로세서 이전에 하나 이상의 미디어 처리 유닛들에 의해 결정된 바와 같이, 미디어 특징들, 미디어 클래스 유형들 또는 서브-유형들, 또는 가능성/확률 값들에 대한 설명을 포함할 수 있으며, 도 12c의 신호 프로세서는 그 자신의 미디어 콘텐트 분석을 수행하지 않고 이용하도록 구성될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 미디어 상태 메타데이터 추출기는 상기 입력 신호로부터 제 3 자 데이터를 추출하고 다운스트림 처리 노드/엔티티/디바이스로 상기 제 3 자 데이터를 송신하도록 구성될 수 있다. 일 실시예에서, 상기 PCM 오디오 샘플 프로세서는 도 12c의 상기 신호 프로세서 이전에 하나 이상의 미디어 처리 유닛들에 의해 제공된 처리 상태 메타데이터에 기초하여 설정된 상기 처리 파라미터들에 기초한 출력 신호의 오디오 PCM 샘플들로 PCM 오디오 비트스트림을 처리한다.
도 12d에 예시된 바와 같이, 신호 프로세서(N개의 노드들 중 노드 1일 수 있는)는 보안 은닉 또는 은닉되지 않은 통신 채널을 통해 미디어 샘플들 내에서 운반되고 및/또는 그것들 중에서 은닉된 처리 상태 메타데이터(또는 미디어 상태 메타데이터)를 포함하는 코딩된 오디오 비트스트림을 포함할 수 있는, 입력 신호를 수신하도록 구성된다. 도 12d의 상기 신호 프로세서는 도 12d의 신호 프로세서 이전에 하나 이상의 미디어 처리 유닛들에 의해 제공된 바와 같이, 코딩된 비트스트림으로부터 처리 상태 메타데이터를 디코딩, 추출, 및/또는 해석하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 상기 처리 상태 메타데이터의 적어도 일부는 오디오 디코더에 대한 처리 파라미터들을 적응시키기 위해 도 12d의 신호 프로세서에서의 오디오 디코더에 제공될 수 있다. 동시에, 도 12d의 신호 프로세서에서의 오디오 분석 유닛은 상기 입력 신호에 전달된 미디어 콘텐트를 분석할 수 있다. 특징 추출, 미디어 분류, 소리크기 추정, 핑거프린트 생성 등은 오디오 분석 유닛에 의해 수행된 분석의 일부로서 구현될 수 있다. 이러한 분석의 결과들의 적어도 일부는 오디오 디코더에 대한 처리 파라미터들을 적응시키기 위해 도 12d의 신호 프로세서에서의 오디오 디코더에 제공될 수 있다. 상기 오디오 디코더는 상기 처리 파라미터들에 기초하여 상기 입력 신호에서의 코딩된 오디오 비트스트림을 오디오 신호에서의 PCM 오디오 비트스트림으로 변환한다. 도 12d의 신호 프로세서에서의 PCM 오디오 분석 유닛은 상기 PCM 오디오 비트스트림에서의 미디어 데이터 또는 샘플들이 처리 상태 메타데이터의 적어도 일부를 저장하기 위한 룸을 갖는지의 여부를 결정하도록 구성될 수 있다. 도 12d의 신호 프로세서에 의해 송신될 새로운 처리 상태 메타데이터는 상기 미디어 상태 메타데이터 추출기에 의해 추출된 처리 상태 메타데이터, 오디오 분석 유닛 및 도 12d의 신호 프로세서의 미디어 상태 메타데이터 생성기에 의해 생성된 처리 상태 메타데이터, 및/또는 임의의 제 3 자 데이터 중 일부 또는 모두를 포함한다. 상기 PCM 오디오 비트스트림에서의 미디어 데이터 또는 샘플들이 처리 상태 메타데이터의 적어도 일부를 저장할 공간을 갖는다고 결정된다면, 상기 새로운 처리 상태 메타데이터의 일부 또는 모두는 출력 신호에서의 미디어 데이터 또는 샘플들에서 은닉된 데이터로서 저장될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 새로운 처리 상태 메타데이터의 일부 또는 모두는 출력 신호에서, 상기 미디어 데이터 및 샘플들을 제외하고 별개의 메타데이터 구조에 저장될 수 있다. 따라서, 상기 출력 신호는 보안 은닉 또는 비-은닉 통신 채널을 통해 상기 미디어 데이터/샘플들(본질) 내에 및/또는 그것 중에서 운반된 처리 상태(또는 "미디어 상태") 메타데이터를 포함한 PCM 오디오(샘플들) 비트스트림을 포함할 수 있다.
도 12e에 도시된 바와 같이, 신호 프로세서(N개의 노드들 중 노드 1일 수 있는)는 코딩된 오디오 비트스트림을 포함할 수 있는 입력 신호를 수신하도록 구성된다. 상기 코딩된 오디오 비트스트림은 보안 은닉 또는 비-은닉 통신 채널을 통해 상기 코딩된 오디오 비트스트림에서의 미디어 샘플들(본질) 내에서 및/또는 그 중에서 운반된 처리 상태 메타데이터(또는 미디어 상태 메타데이터)를 포함할 수 있다. 도 12e의 신호 프로세서는 상기 코딩된 오디오 비트스트림으로부터 상기 처리 상태 메타데이터를 디코딩, 추출, 및/또는 해석하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 상기 처리 상태 메타데이터의 적어도 일부는 오디오 디코더에 대한 처리 파라미터들을 적응시키기 위해 도 12e의 신호 프로세서에서의 오디오 디코더에 제공될 수 있다. 상기 처리 상태 메타데이터는 도 12e의 신호 프로세서 이전에 하나 이상의 미디어 처리 유닛들에 의해 결정된 바와 같이, 미디어 특징들, 미디어 클래스 유형들 또는 서브-유형들, 또는 가능성/확률 값들에 대한 설명을 포함할 수 있으며, 도 12e의 신호 프로세서는 그 자신의 미디어 콘텐트 분석을 수행하지 않고 이용하도록 구성될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 미디어 상태 메타데이터 추출기는 상기 입력 신호로부터 제 3 자 데이터를 추출하고 상기 제 3 자 데이터를 다운스트림 처리 노드/엔티티/디바이스에 송신하도록 구성될 수 있다. 일 실시예에서, 상기 오디오 디코더는 코딩된 오디오 비트스트림을 도 12e의 신호 프로세서 이전에 하나 이상의 미디어 처리 유닛들에 의해 제공된 처리 상태 메타데이터에 기초하여 설정된 상기 처리 파라미터들에 기초한 출력 신호의 오디오 PCM 샘플들로 처리한다.
도 12f에 예시된 바와 같이, 신호 프로세서(N개의 노드들 중 노드 1일 수 있는)는 보안 은닉 또는 비-은닉 통신 채널을 통해 미디어 샘플들 내에서 운반되고 및/또는 그것들 중에서 은닉된 처리 상태 메타데이터(또는 미디어 상태 메타데이터)를 포함하는 코딩된 오디오 비트스트림을 포함할 수 있는, 입력 신호를 수신하도록 구성된다. 도 12f의 상기 신호 프로세서는 도 12f의 신호 프로세서 이전에 하나 이상의 미디어 처리 유닛들에 의해 제공된 바와 같이, 상기 코딩된 비트스트림으로부터 상기 처리 상태 메타데이터를 디코딩, 추출, 및/또는 해석하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 상기 처리 상태 메타데이터의 적어도 일부는 상기 비트스트림 트랜스코더에 대한 처리 파라미터들을 적응시키기 위해 도 12f의 신호 프로세서에서의 비트스트림 트랜스코더(또는 코딩된 오디오 비트스트림 프로세서)에 제공될 수 있다. 동시에, 도 12f의 상기 신호 프로세서에서의 오디오 분석 유닛은 입력 신호에서 전달된 미디어 콘텐트를 분석할 수 있다. 특징 추출, 미디어 분류, 소리크기 추정, 핑거프린트 생성 등은 오디오 분석 유닛에 의해 수행된 분석의 일부로서 구현될 수 있다. 이러한 분석의 결과들의 적어도 일부는 비트스트림 트랜스코더에 대한 처리 파라미터들을 적응시키기 위해 도 12f의 신호 프로세서에서의 비트스트림 트랜스코더에 제공될 수 있다. 상기 비트스트림 트랜스코더는 상기 입력 신호에서의 코딩된 오디오 비트스트림을 상기 처리 파라미터들에 기초하여 출력 신호에서의 코딩된 오디오 비트스트림으로 변환한다. 도 12f의 신호 프로세서에서의 코딩된 비트스트림 분석 유닛은 상기 코딩된 오디오 비트스트림에서의 미디어 데이터 또는 샘플들이 처리 상태 메타데이터의 적어도 일부를 저장하기 위한 룸을 갖는지의 여부를 결정하도록 구성될 수 있다. 도 12f의 신호 프로세서에 의해 전송될 새로운 처리 상태 메타데이터는 미디어 상태 메타데이터 추출기에 의해 추출된 처리 상태 메타데이터, 상기 오디오 분석 유닛 및 도 12f의 신호 프로세서의 미디어 상태 메타데이터 생성기에 의해 생성된 처리 상태 메타데이터, 및/또는 임의의 제 3 자 데이터 중 일부 또는 모두를 포함한다. 상기 코딩된 오디오 비트스트림에서의 미디어 데이터 또는 샘플들이 처리 상태 메타데이터의 적어도 일부를 저장하기 위한 룸을 갖는다고 결정된다면, 상기 새로운 처리 상태 메타데이터의 일부 또는 모두는 출력 신호에서의 미디어 데이터 또는 샘플들에서의 은닉 데이터로서 저장될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 새로운 처리 상태 메타데이터의 일부 또는 모두는 출력 신호에서, 상기 미디어 데이터 이외의 별개의 메타데이터 구조에 저장될 수 있다. 따라서, 상기 출력 신호는 보안 은닉 또는 비-은닉 통신 채널을 통해 상기 미디어 데이터/샘플들(본질) 내에서 및/또는 그 중에서 운반된 처리 상태(또는 "미디어 상태") 메타데이터를 포함하는 코딩된 오디오 비트스트림을 포함할 수 있다.
도 12g는 부분적으로 도 12a의 것에 유사한 예시적인 구성을 예시한다. 부가적으로, 선택적으로, 또는 대안적으로, 도 12g의 신호 프로세서는 인트라넷 및/또는 인터넷을 통해 도 12g의 신호 프로세서에 동작가능하게 연결될 수 있는, 로컬 및/또는 외부 미디어 상태 메타데이터 데이터베이스를 질의하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 도 12g의 신호 프로세서에 의해 데이터베이스에 전송된 질의는 상기 미디어 데이터와 연관된 하나 이상의 핑거프린트들, 상기 미디어 데이터와 연관된 하나 이상의 명칭들(예를 들면, 노래 타이틀, 영화 타이틀), 또는 미디어 데이터와 연관된 임의의 다른 유형들의 식별 정보를 포함할 수 있다. 상기 질의에서의 정보에 기초하여, 상기 데이터베이스에 저장된 매칭된 미디어 상태 메타데이터는 도 12g의 신호 프로세스에 위치되고 제공될 수 있다. 상기 미디어 상태 메타데이터는 상기 미디어 상태 메타데이터 추출기에 의해 오디오 인코더와 같은 다운스트림 처리 노드들/엔티티들에 제공된 처리 상태 메타데이터에 포함될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 도 12g의 상기 신호 프로세서는, 도 12g에 도시된 바와 같이, 임의의 생성된 미디어 상태 메타데이터 및/또는 핑거프린트들, 명칭들, 및/또는 로컬 및/또는 외부 미디어 상태 메타데이터 데이터베이스에 대한 다른 유형들의 식별 정보와 같은 연관된 식별 정보를 제공하도록 구성되는 미디어 상태 메타데이터 생성기를 포함할 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 데이터베이스에 저장된 미디어 상태 메타데이터의 하나 이상의 부분들은 보안 은닉 또는 비-은닉 통신 채널을 통해 미디어 샘플들(본질) 내에서 및/또는 그것 중에서 다운스트림 미디어 처리 노드/디바이스에 전달될 도 12g의 신호 프로세스에 제공될 수 있다.
도 12h는 부분적으로 도 12b의 것과 유사한 예시적인 구성을 예시한다. 부가적으로, 선택적으로, 또는 대안적으로, 도 12h의 신호 프로세서는 인트라넷 및/또는 인터넷을 통해 도 12h의 신호 프로세서에 동작가능하게 연결될 수 있는, 로컬 및/또는 외부 미디어 상태 메타데이터 데이터베이스를 질의하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 도 12h의 신호 프로세서에 의해 데이터베이스에 전송된 질의는 상기 미디어 데이터와 연관된 하나 이상의 핑거프린트들, 상기 미디어 데이터와 연관된 하나 이상의 명칭들(예를 들면, 노래 타이틀, 영화 타이틀), 또는 미디어 데이터와 연관된 임의의 다른 유형들의 식별 정보를 포함할 수 있다. 상기 질의에서의 정보에 기초하여, 상기 데이터베이스에 저장된 매칭된 미디어 상태 메타데이터는 찾아져 도 12h의 신호 프로세스에 제공될 수 있다. 상기 미디어 상태 메타데이터는 상기 미디어 상태 메타데이터 추출기에 의해 PCM 오디오 샘플 프로세서와 같은 다운스트림 처리 노드들/엔티티들에 제공된 처리 상태 메타데이터에 포함될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 도 12h의 상기 신호 프로세서는, 도 12h에 도시된 바와 같이, 임의의 생성된 미디어 상태 메타데이터 및/또는 핑거프린트들, 명칭들, 및/또는 로컬 및/또는 외부 미디어 상태 메타데이터 데이터베이스에 대한 다른 유형들의 식별 정보와 같은 연관된 식별 정보를 제공하도록 구성되는 미디어 상태 메타데이터 생성기를 포함할 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 데이터베이스에 저장된 미디어 상태 메타데이터의 하나 이상의 부분들은 보안 은닉 또는 비-은닉 통신 채널을 통해 미디어 샘플들(본질) 내에서 및/또는 그것 중에서 다운스트림 미디어 처리 노드/디바이스에 전달될 도 12h의 신호 프로세스에 제공될 수 있다.
도 12i는 부분적으로 도 12c의 것과 유사한 예시적인 구성을 예시한다. 부가적으로, 선택적으로, 또는 대안적으로, 도 12i의 신호 프로세서는 인트라넷 및/또는 인터넷을 통해 도 12i의 신호 프로세서에 동작가능하게 연결될 수 있는, 로컬 및/또는 외부 미디어 상태 메타데이터 데이터베이스를 질의하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 도 12i의 신호 프로세서에 의해 데이터베이스에 전송된 질의는 상기 미디어 데이터와 연관된 하나 이상의 핑거프린트들, 상기 미디어 데이터와 연관된 하나 이상의 명칭들(예를 들면, 노래 타이틀, 영화 타이틀), 또는 미디어 데이터와 연관된 임의의 다른 유형들의 식별 정보를 포함할 수 있다. 상기 질의에서의 정보에 기초하여, 상기 데이터베이스에 저장된 매칭된 미디어 상태 메타데이터는 찾아져 도 12i의 신호 프로세스에 제공될 수 있다. 상기 미디어 상태 메타데이터는 PCM 오디오 샘플 프로세서와 같은 다운스트림 처리 노드들/엔티티들에 제공될 수 있다.
도 12j는 부분적으로 도 12d의 것과 유사한 예시적인 구성을 예시한다. 부가적으로, 선택적으로, 또는 대안적으로, 도 12j의 신호 프로세서는 인트라넷 및/또는 인터넷을 통해 도 12j의 신호 프로세서에 동작가능하게 연결될 수 있는, 로컬 및/또는 외부 미디어 상태 메타데이터 데이터베이스를 질의하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 도 12j의 신호 프로세서에 의해 데이터베이스에 전송된 질의는 상기 미디어 데이터와 연관된 하나 이상의 핑거프린트들, 상기 미디어 데이터와 연관된 하나 이상의 명칭들(예를 들면, 노래 타이틀, 영화 타이틀), 또는 미디어 데이터와 연관된 임의의 다른 유형들의 식별 정보를 포함할 수 있다. 상기 질의에서의 정보에 기초하여, 상기 데이터베이스에 저장된 매칭된 미디어 상태 메타데이터는 찾아져 도 12j의 신호 프로세스에 제공될 수 있다. 데이터베이스로부터의 상기 미디어 상태 메타데이터는 오디오 디코더와 같은 다운스트림 처리 노드들/엔티티들에 제공된 처리 상태 메타데이터에 포함될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 도 12j의 상기 신호 프로세서는, 도 12j에 도시된 바와 같이, 임의의 생성된 미디어 상태 메타데이터 및/또는 핑거프린트들, 명칭들, 및/또는 로컬 및/또는 외부 미디어 상태 메타데이터 데이터베이스에 대한 다른 유형들의 식별 정보와 같은 연관된 식별 정보를 제공하도록 구성되는 오디오 분석 유닛을 포함할 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 데이터베이스에 저장된 미디어 상태 메타데이터의 하나 이상의 부분들은 보안 은닉 또는 비-은닉 통신 채널을 통해 미디어 샘플들(본질) 내에서 및/또는 그것 중에서 다운스트림 미디어 처리 노드/디바이스에 전달될 도 12j의 신호 프로세스에 제공될 수 있다.
도 12k는 부분적으로 도 12f의 것과 유사한 예시적인 구성을 예시한다. 부가적으로, 선택적으로, 또는 대안적으로, 도 12k의 신호 프로세서는 인트라넷 및/또는 인터넷을 통해 도 12k의 신호 프로세서에 동작가능하게 연결될 수 있는, 로컬 및/또는 외부 미디어 상태 메타데이터 데이터베이스를 질의하도록 구성되는 미디어 상태 메타데이터 추출기를 포함할 수 있다. 도 12k의 신호 프로세서에 의해 데이터베이스에 전송된 질의는 상기 미디어 데이터와 연관된 하나 이상의 핑거프린트들, 상기 미디어 데이터와 연관된 하나 이상의 명칭들(예를 들면, 노래 타이틀, 영화 타이틀), 또는 미디어 데이터와 연관된 임의의 다른 유형들의 식별 정보를 포함할 수 있다. 상기 질의에서의 정보에 기초하여, 상기 데이터베이스에 저장된 매칭된 미디어 상태 메타데이터는 찾아져 도 12k의 신호 프로세스에 제공될 수 있다. 데이터베이스로부터의 상기 미디어 상태 메타데이터는 비트스트림 트랜스코더 또는 코딩된 오디오 비트스트림 프로세서와 같은 다운스트림 처리 노드들/엔티티들에 제공된 처리 상태 메타데이터에 포함될 수 있다. 부가적으로, 선택적으로, 또는 대안적으로, 상기 데이터베이스에 저장된 미디어 상태 메타데이터의 하나 이상의 부분들은 보안 은닉 또는 비-은닉 통신 채널을 통해 미디어 샘플들(본질) 내에서 및/또는 그것 중에서 다운스트림 미디어 처리 노드/디바이스에 전달될 도 12k의 신호 프로세스에 제공될 수 있다.
도 12l은 일 예시적인 실시예에 따라, 신호 프로세서 노드(1) 및 신호 프로세서 노드(2)를 예시한다. 신호 프로세서 노드(1) 및 신호 프로세서 노드(2)는 전체 미디어 처리 체인의 일부일 수 있다. 일부 실시예들에서, 신호 프로세서 노드(1)는 신호 프로세서 노드(2)에 의해 수신되는 처리 상태 메타데이터에 기초하여 미디어 처리를 적응시키는 반면, 신호 프로세서 노드(2)는 신호 프로세서 노드(2)에 의해 수신되는 처리 상태 메타데이터에 기초하여 미디어 처리를 적응시킨다. 신호 프로세서 노드(2)에 의해 수신된 처리 상태 메타데이터는 신호 프로세서 노드(1)가 미디어 데이터의 콘텐트를 분석한 후 신호 프로세서 노드(1)에 의해 부가된 처리 상태 메타데이터 및/또는 미디어 상태 메타데이터를 포함할 수 있으며; 그 결과, 신호 프로세서 노드(2)는 신호 프로세서 노드(1)에 의해 이전에 수행된 분석의 일부 또는 모두를 반복하지 않고 미디어 처리에서 신호 프로세서 노드(1)에 의해 제공된 메타데이터를 직접 이용할 수 있다.
7. 구현 메커니즘들 - 하드웨어 개요
하나의 실시예에 따르면, 여기에 설명된 기술들은 하나 이상의 특수-목적 컴퓨팅 디바이스들에 의해 구현된다. 상기 특수-목적 컴퓨팅 디바이스들은 상기 기술들을 수행하기 위해 고정-배선될 수 있거나, 상기 기술들을 수행하기 위해 영구적으로 프로그래밍된 하나 이상의 주문형 반도체들(ASIC들) 또는 필드 프로그래밍가능한 게이트 어레이들(FPGA들)과 같은 디지털 전자 디바이스들을 포함할 수 있거나, 펌웨어, 메모리, 다른 저장 장치, 또는 조합에서 프로그램 지시들에 따라 상기 기술들을 수행하도록 프로그래밍된 하나 이상의 범용 하드웨어 프로세서들을 포함할 수 있다. 이러한 특수-목적 컴퓨팅 디바이스들은 또한 상기 기술들을 달성하기 위해 맞춤 프로그래밍을 가진 맞춤 하드-와이어드 로직, ASIC들, 또는 FPGA들을 조합할 수 있다. 상기 특수-목적 컴퓨팅 디바이스들은 데스크탑 컴퓨터 시스템들, 휴대용 컴퓨터 시스템들, 핸드헬드 디바이스들, 네트워킹 디바이스들 또는 상기 기술들을 구현하기 위해 하드-와이어드 및/또는 프로그램 로직을 통합하는 임의의 다른 디바이스일 수 있다.
예를 들면, 도 10은 본 발명의 일 실시예가 구현될 수 있는 컴퓨터 시스템(1000)을 도시하는 블록도이다. 컴퓨터 시스템(1000)은 버스(1002) 또는 정보를 전달하기 위한 다른 통신 메커니즘, 및 정보를 처리하기 위한 버스(1002)와 결합된 하드웨어 프로세서(1004)를 포함한다. 하드웨어 프로세서(1004)는 예를 들면, 범용 마이크로프로세서일 수 있다.
컴퓨터 시스템(1000)은 또한 프로세서(1004)에 의해 실행될 정보 및 지시들을 저장하기 위해 버스(1002)에 결합된 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스와 같은, 메인 메모리(1006)를 포함한다. 메인 메모리(1006)는 또한 프로세서(1004)에 의해 실행될 지시들의 실행 동안 임시 변수들 또는 다른 중간 정보를 저장하기 위해 이용될 수 있다. 이러한 지시들은, 프로세서(1004)에 액세스가능한 비-일시적 저장 미디어에 저장될 때, 컴퓨터 시스템(1000)을 상기 지시들에 특정된 동작들을 수행하기 위해 맞춤화된 특수-목적 기계로 렌더링한다.
컴퓨터 시스템(1000)은 또한 프로세서(1004)에 대한 정적 정보 및 지시들을 저장하기 위해 버스(1002)에 결합된 판독 전용 메모리(ROM)(1008) 또는 다른 정적 저장 디바이스를 포함한다. 자기 디스크 또는 광 디스크와 같은 저장 디바이스(1010)가 제공되고 정보 및 지시들을 저장하기 위해 버스(1002)에 결합된다.
컴퓨터 시스템(1000)은 컴퓨터 이용자에 정보를 디스플레이하기 위해, 버스(1002)를 경유하여 음극선관(CRT)과 같은, 디스플레이(1012)에 결합될 수 있다. 영숫자 및 다른 키들을 포함하는 입력 디바이스(1014)는 프로세서(1004)에 정보 및 명령 선택들을 전달하기 위해 버스(1002)에 결합된다. 또 다른 유형의 이용자 입력 디바이스는 프로세서(1004)에 방향 정보 및 명령 선택들을 전달하기 위한 및 디스플레이(1012) 상에 커서 이동을 제어하기 위한, 마우스, 트랙볼, 또는 커서 방향 키들과 같은, 커서 제어부(1016)이다. 이러한 입력 디바이스는 통상적으로 상기 디바이스가 평면에서의 위치들을 특정하도록 허용하는 두 개의 축들, 즉 제 1 축(예를 들면, x) 및 제 2 축(예를 들면, y)에서의 2개의 자유도들을 가진다.
컴퓨터 시스템(1000)은 상기 컴퓨터 시스템과 결합하여, 컴퓨터 시스템(1000)이 특수-목적 기계가 되게 하거나 프로그래밍하는 맞춤화된 하드-와이어드 로직, 하나 이상의 ASIC들 또는 FPGA들, 펌웨어 및/또는 프로그램 로직을 이용하여 여기에 설명된 기술들을 구현할 수 있다. 하나의 실시예에 따르면, 여기에서의 기술들은 메인 메모리(1006)에 포함된 하나 이상의 지시들의 하나 이상의 시퀀스들을 실행하는 프로세서(1004)에 응답하여 컴퓨터 시스템(1000)에 의해 수행된다. 이러한 지시들은 저장 디바이스(1010)와 같이, 또 다른 저장 미디어로부터 메인 메모리(1006)로 판독될 수 있다. 메인 메모리(1006)에 포함된 상기 지시들의 시퀀스들의 실행은 프로세서(1004)가 여기에 설명된 프로세스 단계들을 수행하게 한다. 대안적인 실시예들에서, 하드-와이어드 회로는 소프트웨어 지시들 대신에 또는 그것과 결합하여 이용될 수 있다.
여기에 이용된 바와 같은 용어 "저장 미디어"는 기계가 특정 방식으로 동작하게 하는 데이터 및/또는 지시들을 저장하는 임의의 비-일시적 미디어를 나타낸다. 이러한 저장 미디어는 비-휘발성 미디어 및/또는 휘발성 미디어를 포함할 수 있다. 비-휘발성 미디어는, 예를 들면, 저장 디바이스(1010)와 같이, 광 또는 자기 디스크들을 포함할 수 있다. 휘발성 미디어는 메인 메모리(1006)와 같은, 동적 메모리를 포함한다. 저장 미디어의 공통 형태들은, 예를 들면, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 고체 상태 드라이브, 자기 테이프, 또는 임의의 다른 자기 데이터 자장 미디어, CD-ROM, 임의의 다른 광 데이터 저장 미디어, 홀들의 패턴들을 가진 임의의 물리적 미디어, RAM, PROM, 및 EPROM, FLASH-EPROM, NVRAM, 임의의 다른 메모리 칩 또는 카트리지를 포함한다.
저장 미디어는 송신 미디어와 완전히 다르지만 그것과 함께 이용될 수 있다. 송신 미디어는 저장 미디어 사이에서 정보를 전달하는데 참여한다. 예를 들면, 송신 미디어는 버스(1002)를 포함하는 와이어들을 포함하는, 동축 케이블들, 구리선 및 광 섬유들을 포함한다. 송신 미디어는 또한 무선-파 및 적외선 데이터 통신들 동안 생성된 것들과 같이, 음향 또는 광파들의 형태를 취할 수 있다.
다양한 형태들의 미디어는 실행을 위해 하나 이상의 지시들의 하나 이상의 시퀀스들을 프로세서(1004)에 전달하는데 수반될 수 있다. 예를 들면, 상기 지시들은 초기에 원격 컴퓨터의 자기 디스크 또는 고체 상태 드라이브 상에서 운반될 수 있다. 상기 원격 컴퓨터는 상기 지시들을 그것의 동적 메모리에 로딩하고 상기 지시들을 모뎀을 이용한 전화선을 통해 전송할 수 있다. 컴퓨터 시스템(1000)에 국소적인 모뎀은 상기 전화선 상에서 데이터를 수신할 수 있으며 상기 데이터를 적외선 신호로 변환하기 위해 적외선 송신기를 이용할 수 있다. 적외선 검출기는 적외선 신호로 운반된 데이터를 수신할 수 있으며 적절한 회로가 버스(1002) 상에 데이터를 위치시킬 수 있다. 버스(1002)는 상기 데이터를 메인 메모리(1006)로 운반하고, 그로부터 프로세서(1004)는 지시들을 검색 및 실행한다. 메인 메모리(1006)에 의해 수신된 지시들은 프로세서(1004)에 의한 실행 전 또는 후에 저장 디바이스(1010) 상에 선택적으로 저장될 수 있다.
컴퓨터 시스템(1000)은 또한 버스(1002)에 결합된 통신 인터페이스(1018)를 포함한다. 통신 인터페이스(1018)는 로컬 네트워크(1022)에 연결되는 네트워크 링크(1020)에 결합한 2-방향 데이터 통신을 제공한다. 예를 들면, 통신 인터페이스(1018)는 통합 서비스 디지털 네트워크(ISDN) 카드, 케이블 모뎀, 위성 모뎀, 또는 대응하는 유형의 전화선에 데이터 통신 연결을 제공하기 위한 모뎀일 수 있다. 또 다른 예를 들면, 통신 인터페이스(1018)는 호환가능한 LAN에 데이터 통신 연결을 제공하기 위해 근거리 네트워크(LAN) 카드일 수 있다. 무선 링크들이 또한 구현될 수 있다. 임의의 이러한 구현에서, 통신 인터페이스(1018)는 다양한 유형들의 정보를 나타내는 디지털 데이터 스트림들을 운반하는 전기, 전자기 또는 광 신호들을 전송 및 수신한다.
네트워크 링크(1020)는 통상적으로 하나 이상의 네트워크들을 통해 데이터 통신을 다른 데이터 디바이스들에 제공한다. 예를 들면, 네트워크 링크(1020)는 로컬 네트워크(1022)를 통해 호스트 컴퓨터(1024)에 또는 인터넷 서비스 제공자(ISP)(1026)에 의해 동작된 데이터 장비에 연결을 제공할 수 있다. ISP(1026)는 차례로 이제 흔히 "인터넷"(1028)으로 칭하여지는 월드 와이드 패킷 데이터 통신 네트워크를 통해 데이터 통신 서비스들을 제공한다. 로컬 네트워크(1022) 및 인터넷(1028) 둘 모두는 디지털 데이터 스트림들을 운반하는 전기, 전자기, 또는 광 신호들을 이용한다. 컴퓨터 시스템(1000)으로 및 그로부터 디지털 데이터를 운반하는 상기 다양한 네트워크들을 통한 신호들 및 네트워크 링크(1020) 상에서 및 통신 인터페이스(1018)를 통한 신호들은 송신 미디어의 예시적인 형태들이다.
컴퓨터 시스템(1000)은 네트워크(들), 네트워크 링크(1020) 및 통신 인터페이스(1018)를 통해, 메시지들을 전송하고 프로그램 코드를 포함하여, 데이터를 수신할 수 있다. 상기 인터넷 예에서, 서버(1030)는 인터넷(1028), ISP(1026), 로컬 네트워크(1022) 및 통신 인터페이스(1018)를 통해 애플리케이션 프로그램을 위한 요청된 코드를 송신할 수 있다.
상기 수신된 코드는 그것이 수신될 때 프로세서(1004)에 의해 실행될 수 있으며, 및/또는 나중 실행을 위해 저장 디바이스(1010), 또는 다른 비-휘발성 저장 장치에 저장될 수 있다.
8. 열거된 예시적인 실시예들
따라서, 본 발명의 실시예들은 이하에서의 열거된 예시적인 실시예들 중 하나 이상과 관련될 수 있으며, 그 각각은 예들이고, 상기 제공된 임의의 다른 관련된 논의와 함께, 그것들이 이제 구성되었지만 나중에 보정되고, 교체되거나 부가될 수 있기 때문에, 이하에 추가로 제공된 임의의 청구항 또는 청구항들을 제한하는 것으로서 해석되지 않아야 한다. 마찬가지로, 이들 예들은 임의의 관련된 특허들 및/또는 특허 출원들(임의의 해외 또는 국제 대응 출원들 및/또는 특허들, 분할들, 계속들, 재-이슈들 등을 포함하는)의 임의의 청구항 또는 청구항들에 대하여 제한하는 것으로서 해석되어서는 안된다.
열거된 예시적인 실시예 1은 방법이고, 상기 방법은: 미디어 처리 체인에서의 제 1 디바이스에 의해, 일 유형의 미디어 처리가 미디어 데이터의 출력 버전 사에서 수행되었는지의 여부를 결정하는 단계; 상기 제 1 디바이스에 의해, 상기 유형의 미디어 처리가 상기 미디어 데이터의 출력 버전 상에서 수행되었다는 결정에 응답하여, (a) 상기 제 1 디바이스에 의해, 상기 미디어 데이터의 출력 버전 상에서 수행된 상기 유형의 미디어 처리를 특정하는, 상기 생성하기, 및 (b) 상기 제 1 디바이스로부터 상기 미디어 처리 체인에서의 아래에 있는 제 2 디바이스로, 상기 미디어 데이터의 출력 버전 및 상기 미디어 데이터의 상기 상태를 전달하는 것을 수행하는 단계를 포함한다.
열거된 예시적인 실시예 2는 열거된 예시적인 실시예 1에 설명된 바와 같은 방법이고, 여기에서 상기 미디어 데이터는: 오디오 콘텐트 전용, 비디오 콘텐트 전용, 또는 오디오 콘텐트 및 비디오 콘텐트 둘 모두 중 하나 이상으로서 미디어 콘텐트를 포함한다.
열거된 예시적인 실시예 3은 열거된 예시적인 실시예 1에 설명된 바와 같은 방법이고: (a) 미디어 핑거프린트들, (b) 처리 상태 메타데이터, (c) 추출된 미디어 특징 값들, (d) 미디어 클래스 유형들 또는 서브-유형 설명(들) 및/또는 값들, (e) 미디어 특징 클래스 및/또는 서브-클래스 확률 값들, (f) 암호화 해시 값 또는 (f) 미디어 처리 시그널링 중 하나 이상으로서 상기 미디어 데이터의 상태를 상기 제 2 디바이스에 제공하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 4는 열거된 예시적인 실시예 1에 설명된 바와 같은 방법이고: 미디어 처리 데이터베이스에 미디어 처리 데이터 블록을 저장하는 단계를 추가로 포함하고, 상기 미디어 처리 데이터 블록은 미디어 처리 메타데이터를 포함하고, 상기 미디어 처리 데이터 블록은 상기 미디어 처리 데이터 블록과 연관되는 하나 이상의 미디어 핑거프린트들에 기초하여 검색가능하다.
열거된 예시적인 실시예 5는 열거된 예시적인 실시예 1에 설명된 바와 같은 방법이고, 상기 미디어 데이터의 상태는 자격 정보를 갖고 암호화된 암호화 해시 값을 포함하고, 상기 암호화 해시 값은 수신인 디바이스에 의해 인증되는 것이다.
열거된 예시적인 실시예 6은 열거된 예시적인 실시예 1에 설명된 바와 같은 방법이고, 상기 미디어 데이터의 상태의 적어도 일부는 상기 미디어 데이터에 은닉된 하나 이상의 보안 통신 채널들을 포함하고, 상기 하나 이상의 보안 통신 채널들은 수신인 디바이스에 의해 인증되는 것이다.
열거된 예시적인 실시예 7은 열거된 예시적인 실시예 6에 설명된 바와 같은 방법이고, 상기 하나 이상의 보안 통신 채널들은 적어도 하나의 확산 스펙트럼 보안 통신 채널을 포함한다.
열거된 예시적인 실시예 8은 열거된 예시적인 실시예 6에 설명된 바와 같은 방법이고, 상기 하나 이상의 보안 통신 채널들은 적어도 하나의 주파수 시프트 키잉 보안 통신 채널을 포함한다.
열거된 예시적인 실시예 9는 열거된 예시적인 실시예 1에 설명된 바와 같은 방법이고, 상기 미디어 데이터의 상태는 출력 미디어 비트스트림에서 상기 미디어 데이터의 출력 버전으로 운반된다.
열거된 예시적인 실시예 10은 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 상태는 상기 미디어 데이터의 출력 버전을 운반하는 별개의 미디어 비트스트림과 연관된 보조 메타데이터 비트스트림에 운반된다.
열거된 예시적인 실시예 11은 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 상태는 상기 유형의 미디어 처리에 관한 파라미터들의 하나 이상의 세트들을 포함한다.
열거된 예시적인 실시예 12는 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 제 1 디바이스 또는 상기 제 2 디바이스 중 적어도 하나는: 전-처리 유닛들, 인코더들, 미디어 처리 서브-유닛들, 트랜스코더들, 디코더들, 후-처리 유닛들, 또는 미디어 콘텐트 렌더링 서브-유닛들 중 하나 이상을 포함한다.
열거된 예시적인 실시예 13은 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 제 1 디바이스는 인코더이고 상기 제 2 디바이스는 디코더이다.
열거된 예시적인 실시예 14는 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 제 1 디바이스에 의해, 상기 유형의 미디어 처리를 수행하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 15는 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 유형의 미디어 처리는 상기 미디어 처리 체인에서, 상기 제 1 디바이스에 관하여, 업스트림 디바이스에 의해 수행되고: 상기 방법은, 상기 제 1 디바이스에 의해, 상기 미디어 데이터의 입력 버전을 수신하는 단계로서, 상기 미디어 데이터의 입력 버전은 상기 유형의 미디어 처리를 표시하는 상기 미디어 데이터의 임의의 상태를 포함하는, 상기 수신 단계; 및 상기 유형의 미디어 처리가 상기 미디어 데이터의 입력 버전 상에서 이미 수행되었다고 결정하기 위해 상기 미디어 데이터의 입력 버전을 분석하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 16은 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 상태에서 소리크기 및 동적 범위 값들을 인코딩하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 17은 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 유형의 미디어 처리는 상기 미디어 처리 체인에서, 상기 제 1 디바이스에 관하여, 업스트림 디바이스에 의해 이전에 수행되었으며; 상기 방법은, 이전에 수행된 상기 유형의 미디어 처리를 오버라이드하기 위해 상기 제 1 디바이스에 의해 명령을 수신하는 단계; 상기 제 1 디바이스에 의해, 상기 유형의 미디어 처리를 수행하는 단계; 및 상기 제 1 디바이스로부터 상기 미디어 처리 체인에서의 아래에 있는 제 2 디바이스로, 상기 유형의 미디어 처리가 상기 미디어 데이터의 출력 버전에서 이미 수행되었음을 표시하는 상기 미디어 데이터의 상태 및 상기 미디어 데이터의 출력 버전을 전달하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 18은 열거된 예시적인 실시예 17에 설명된 것과 같은 방법이고: (a) 이용자 입력, (b) 상기 제 1 디바이스의 시스템 구성, (c) 상기 제 1 디바이스 외부에 있는 디바이스로부터의 시그널링, 또는 (d) 상기 제 1 디바이스 내에서의 서브-유닛으로부터의 시그널링 중 하나로부터 상기 명령을 수신하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 19는 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 제 1 디바이스로부터 상기 미디어 처리 체인에서 아래에 있는 상기 제 2 디바이스로, 상기 미디어 데이터의 상태에 상관없이 하나 이상의 유형들의 메타데이터를 전달하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 20은 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 상태는 하나 이상의 보안 통신 채널들에 은닉된 상태 메타데이터의 적어도 일부를 포함한다.
열거된 예시적인 실시예 21은 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 상태의 적어도 일부를 저장하기 위해 상기 미디어 데이터에서 복수의 바이트들을 변경하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 22는 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 제 1 디바이스 및 상기 제 2 디바이스 중 적어도 하나는 개선된 텔레비전 시스템들 위원회(ATSC) 코덱들, 동화상 전문가들 그룹(MPEG) 코덱들, 오디오 코덱 3(AC-3) 코덱들, 및 강화된 AC-E 코덱들 중 하나 이상을 포함한다.
열거된 예시적인 실시예 23은 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 미디어 처리 체인은: 입력으로서 미디어 콘텐트를 포함하는 시간-도메인 샘플들을 수용하고 처리된 시간-도메인 샘플들을 출력하도록 구성된 전-처리 유닛; 상기 처리된 시간-도메인 샘플들에 기초하여 상기 미디어 콘텐트의 압축된 미디어 비트스트림을 출력하도록 구성된 인코더; 상기 압축된 미디어 비트스트림에서의 처리 상태 메타데이터를 검증하도록 구성된 신호 분석 및 메타데이터 정정 유닛; 상기 압축된 미디어 비트스트림을 변경하도록 구성된 트랜스코더; 상기 압축된 미디어 비트스트림에 기초하여 디코딩된 시간-도메인 샘플들을 출력하도록 구성된 디코더; 및 상기 디코딩된 시간-도메인 샘플들에서 상기 미디어 콘텐트의 후-처리를 수행하도록 구성된 후-처리 유닛을 포함한다.
열거된 예시적인 실시예 24는 열거된 예시적인 실시예 23에 설명된 것과 같은 방법이고, 상기 제 1 디바이스 및 상기 제 2 디바이스 중 적어도 하나는 상기 전-처리 유닛, 상기 신호 분석 및 메타데이터 정정 유닛, 상기 트랜스코더, 상기 디코더, 및 상기 후-처리 유닛 중 하나 이상을 포함한다.
열거된 예시적인 실시예 25는 열거된 예시적인 실시예 23에 설명된 것과 같은 방법이고, 상기 전-처리 유닛, 상기 신호 분석 및 메타데이터 정정 유닛, 상기 트랜스코더, 상기 디코더, 및 상기 후-처리 유닛 중 적어도 하나는 업스트림 디바이스로부터 수신된 처리 메타데이터에 기초하여 상기 미디어 콘텐트의 적응적 처리를 수행한다.
열거된 예시적인 실시예 26은 열거된 예시적인 실시예 1에 설명된 것과 같은 방법이고, 상기 미디어 데이터로부터 하나 이상의 미디어 특징들을 결정하는 단계; 및 상기 미디어 데이터의 상태에서 상기 하나 이상의 미디어 특징들의 설명을 포함하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 27은 열거된 예시적인 실시예 26에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 특징들은 프레임들, 초들, 분들, 이용자-규정가능한 시간 간격들, 장면들, 노래들, 음악 조각들, 및 레코딩들 중 하나 이상으로부터 결정된 적어도 하나의 미디어 특징을 포함한다.
열거된 예시적인 실시예 28은 열거된 예시적인 실시예 26에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 특징들은 상기 미디어 데이터의 의미론적 설명을 포함한다.
열거된 예시적인 실시예 29는 열거된 예시적인 실시예 26에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 특징들은 구조적 속성들, 조화 및 멜로디를 포함하는 조성, 음색, 리듬, 소리크기, 스테레오 믹스, 미디어 데이터의 사운드 소스들의 양, 음성의 부재 또는 존재, 반복 특성들, 멜로디, 조화들, 가사들, 음색, 지각 특징들, 디지털 미디어 특징들, 스테레오 파라미터들, 스피치 콘텐트의 하나 이상의 부분들 중 하나 이상을 포함한다.
열거된 예시적인 실시예 30은 열거된 예시적인 실시예 26에 설명된 것과 같은 방법이고, 상기 미디어 데이터를 복수의 미디어 데이터 클래스들에서의 하나 이상의 미디어 데이터 클래스들로 분류하기 위해 상기 하나 이상의 미디어 특징들을 이용하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 31은 열거된 예시적인 실시예 30에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 데이터 클래스들은 미디어의 전체 조각에 대한 단일의 전체/우세 미디어 데이터 클래스, 또는 상기 미디어의 전체 조각보다 작은 시간 기간을 표현하는 단일 클래스 중 하나 이상을 포함한다.
열거된 예시적인 실시예 32는 열거된 예시적인 실시예 31에 설명된 것과 같은 방법이고, 상기 작은 시간 기간은 단일의 미디어 프레임, 단일의 미디어 데이터 블록, 다수의 미디어 프레임들, 다수의 미디어 데이터 블록들, 초의 단편, 초, 또는 다수 초들 중 하나 이상을 표현한다.
열거된 예시적인 실시예 33은 열거된 예시적인 실시예 30에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 데이터 클래스들을 표현하는 하나 이상의 미디어 데이터 클래스 라벨들이 계산되고 비트스트림에 삽입된다.
열거된 예시적인 실시예 34는 열거된 예시적인 실시예 30에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 데이터 클래스들을 표현하는 하나 이상의 미디어 데이터 클래스 라벨들이 계산되고 상기 미디어 데이터와 함께 내장된 은닉 데이터로서 수신인 미디어 처리 노드에 시그널링된다.
열거된 예시적인 실시예 35는 열거된 예시적인 실시예 30에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 데이터 클래스들을 표현하는 하나 이상의 미디어 데이터 클래스 라벨들이 계산되고 상기 미디어 데이터의 블록들 사이에서의 별개의 메타데이터 구조에서 수신인 미디어 처리 노드에 시그널링된다.
열거된 예시적인 실시예 36은 열거된 예시적인 실시예 31에 설명된 것과 같은 방법이고, 상기 단일의 전체/우세 미디어 데이터 클래스는 음악, 스피치, 잡음, 침묵, 박수와 같은 단일 클래스 유형, 또는 음악 위 스피치, 잡음 위 대화와 같은 혼합 클래스 유형, 또는 미디어 데이터 유형들의 다른 혼합들 중 하나 이상을 표현한다.
열거된 예시적인 실시예 37은 열거된 예시적인 실시예 30에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 데이터 클래스 라벨들과 하나 이상의 가능성 또는 확률 값들을 연관시키는 단계를 추가로 포함하고, 가능성 또는 확률 값은 계산된 미디어 클래스 라벨이 상기 계산된 미디어 클래스 라벨이 연관되는 미디어 세그먼트/블록에 대하여 갖는 신뢰도를 표현한다.
열거된 예시적인 실시예 38은 열거된 예시적인 실시예 37에 설명된 것과 같은 방법이고, 상기 가능성 또는 확률 값은 업믹싱, 인코딩, 디코딩, 트랜스코딩, 또는 헤드폰 가상화와 같은 하나 이상의 동작들을 향상시키기 위한 방식으로 처리를 적응시키기 위해 상기 미디어 처리 체인에서 수신인 미디어 처리 노드에 의해 이용된다.
열거된 예시적인 실시예 39는 열거된 예시적인 실시예 38에 설명된 것과 같은 방법이고, 상기 수신인 미디어 처리 노드에 의해 상기 미디어 데이터를 분류하기 위한 복잡한 분석 동작들이 회피되기 때문에, 상기 하나 이상의 동작들 중 적어도 하나는 미리 설정된 처리 파라미터들에 대한 요구를 제거하고, 상기 미디어 체인 전체에 걸쳐 처리 유닛들의 복잡성을 감소시키거나, 배터리 수명을 증가시킨다.
열거된 예시적인 실시예 40은, 방법에 있어서, 미디어 처리 체인에서의 제 1 디바이스에 의해, 하나의 유형의 미디어 처리가 미디어 데이터의 입력 버전 상에서 이미 수행되었는지의 여부를 결정하는 단계; 및 상기 제 1 디바이스에 의해, 상기 유형의 미디어 처리가 상기 미디어 데이터의 입력 버전 상에서 이미 수행되었다는 결정에 응답하여, 상기 제 1 디바이스에서 상기 유형의 미디어 처리를 수행하는 것을 비활성화시키기 위해 상기 미디어 데이터의 적응적 처리를 수행하는 단계를 포함하고, 상기 방법은 하나 이상의 컴퓨팅 프로세서들에 의해 수행된다.
열거된 예시적인 실시예 41은 열거된 예시적인 실시예 40에 설명된 것과 같은 방법이고, 상기 제 1 디바이스로부터 상기 미디어 처리 체인에서 아래에 있는 제 2 디바이스로, 상기 미디어 데이터의 출력 버전 및 상기 유형의 미디어 처리가 상기 미디어 데이터의 출력 버전에서 수행되었음을 표시하는 상기 미디어 데이터의 상태를 전달하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 42는 열거된 예시적인 실시예 41에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 상태에서 소리크기 및 동적 범위 값들을 인코딩하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 43은 열거된 예시적인 실시예 40에 설명된 것과 같은 방법이고, 제 1 디바이스에 의해 상기 미디어 데이터 상에서의 미디어 처리의 제 2 유형, 상기 유형의 미디어 처리와 상이한 상기 제 2 유형의 미디어 처리를 수행하는 단계; 및 상기 제 1 디바이스로부터 상기 미디어 처리 체인에서의 아래에 있는 제 2 디바이스로, 상기 미디어 데이터의 출력 버전 및 상기 유형의 미디어 처리와 상기 제 2 유형의 미디어 처리가 상기 미디어 데이터의 출력 버전에서 이미 수행되었음을 표시하는 상기 미디어 데이터의 상태를 전달하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 44는 열거된 예시적인 실시예 40에 설명된 것과 같은 방법이고, 상기 유형의 처리가 상기 미디어 데이터의 입력 버전 상에서 이미 수행되었는지의 여부에 적어도 부분적으로 기초하여 적응적 수정 소리크기 또는 동적 오디오 처리 중 하나 이상을 자동으로 수행하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 45는 열거된 예시적인 실시예 40에 설명된 것과 같은 방법이고, 미디어 콘텐트를 인코딩하는 상기 미디어 데이터에서의 데이터 유닛들로부터 상기 미디어 데이터의 입력 상태를 추출하는 단계를 추가로 포함하고, 상기 미디어 데이터의 입력 상태는 상기 데이터 유닛들 중 하나 이상에 은닉된다.
열거된 예시적인 실시예 46은 열거된 예시적인 실시예 45에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 입력 상태를 포함하지 않는 상기 데이터 유닛들의 버전을 복구하는 단계 및 복구된 상기 데이터 유닛들의 버전에 기초하여 상기 미디어 콘텐트를 렌더링하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 47은 열거된 예시적인 실시예 46에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 입력 버전과 연관되는 상기 미디어 데이터의 입력 상태를 검색하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 48은 열거된 예시적인 실시예 47에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 입력 상태와 연관된 암호화 해시 값을 검증함으로써 상기 미디어 데이터의 입력 상태를 인증하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 49는 열거된 예시적인 실시예 47에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 입력 상태와 연관된 하나 이상의 핑거프린트들을 검증함으로써 상기 미디어 데이터의 입력 상태를 인증하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 50은 열거된 예시적인 실시예 47에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 입력 상태와 연관된 하나 이상의 핑거프린트들을 검증함으로써 상기 미디어 데이터를 검증하는 단계를 추가로 포함하고, 상기 하나 이상의 핑거프린트들 중 적어도 하나는 상기 미디어 데이터의 적어도 일부에 기초하여 생성된다.
열거된 예시적인 실시예 51은 열거된 예시적인 실시예 47에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 입력 상태는 입력 미디어 비트스트림에서 상기 미디어 데이터의 입력 버전과 함께 운반된다.
열거된 예시적인 실시예 52는 열거된 예시적인 실시예 47에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 입력 상태에 기초하여 하나 이상의 유형들의 미디어 처리를 턴 오프하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 53은 열거된 예시적인 실시예 47에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 입력 상태는 처리 상태 메타데이터로 설명되고; 상기 방법은, 상기 처리 상태 메타데이터에 적어도 부분적으로 기초하여 미디어 처리 시그널링을 생성하는 단계로서, 상기 미디어 처리 시그널링은 상기 미디어 데이터의 입력 상태를 표시하는, 상기 생성 단계; 및 상기 미디어 처리 시그널링을 상기 미디어 처리 체인에서의 상기 제 1 디바이스에 대해 아래에 있는 미디어 처리 디바이스로 송신하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 54는 열거된 예시적인 실시예 53에 설명된 것과 같은 방법이고, 상기 미디어 처리 시그널링은 상기 미디어 데이터의 출력 버전에서 하나 이상의 데이터 유닛들에 은닉된다.
열거된 예시적인 실시예 55는 열거된 예시적인 실시예 54에 설명된 것과 같은 방법이고, 상기 미디어 처리 시그널링은 상기 미디어 데이터에 대한 하나 이상의 변경들이 수신인 디바이스에 의해 제거가능하도록 가역성 데이터 은닉 기술을 이용하여 수행된다.
열거된 예시적인 실시예 56은 열거된 예시적인 실시예 54에 설명된 것과 같은 방법이고, 상기 미디어 처리 시그널링은 상기 미디어 데이터에 대한 하나 이상의 변경들 중 적어도 하나가 수신인 디바이스에 의해 제거가능하지 않도록 비가역성 데이터 은닉 기술을 이용하여 수행된다.
열거된 예시적인 실시예 57은 열거된 예시적인 실시예 46에 설명된 것과 같은 방법이고, 상기 미디어 처리 체인에서의 업스트림 디바이스로부터, 상기 미디어 데이터 상에서 수행된 임의의 지난 미디어 처리에 상관없이 하나 이상의 유형들의 메타데이터를 수신하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 58은 열거된 예시적인 실시예 47에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 상태는 하나 이상의 보안 통신 채널들에서 은닉된 상태 메타데이터의 적어도 일부를 포함한다.
열거된 예시적인 실시예 59는 열거된 예시적인 실시예 46에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 상태의 적어도 일부를 저장하기 위해 상기 미디어 데이터에서의 복수의 바이트들을 변경하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 60은 열거된 예시적인 실시예 46에 설명된 것과 같은 방법이고, 상기 제 1 디바이스는 개선된 텔레비전 시스템들 위원회(ATSC) 코덱들, 동화상 전문가들 그룹(MPEG) 코덱들, 오디오 코덱 3(AC-3) 코덱들, 및 강화된 AC-3 코덱들 중 하나 이상을 포함한다.
열거된 예시적인 실시예 61은 열거된 예시적인 실시예 46에 설명된 것과 같은 방법이고, 상기 미디어 처리 체인은: 입력으로서 미디어 콘텐트를 포함하는 시간-도메인 샘플들을 수용하고 처리된 시간-도메인 샘플들을 출력하도록 구성된 전-처리 유닛; 상기 처리된 시간-도메인 샘플들에 기초하여 상기 미디어 콘텐트의 압축된 미디어 비트스트림을 출력하도록 구성된 인코더; 상기 압축된 미디어 비트스트림에서 처리 상태 메타데이터를 검증하도록 구성된 신호 분석 및 메타데이터 정정 유닛; 상기 압축된 미디어 비트스트림을 변경하도록 구성된 트랜스코더; 상기 압축된 미디어 비트스트림에 기초하여 디코딩된 시간-도메인 샘플들을 출력하도록 구성된 디코더; 및 상기 디코딩된 시간-도메인 샘플들에서 상기 미디어 콘텐트의 후-처리를 수행하도록 구성된 후-처리 유닛을 포함한다.
열거된 예시적인 실시예 62는 열거된 예시적인 실시예 61에 설명된 것과 같은 방법이고, 상기 제 1 디바이스는 상기 전-처리 유닛, 상기 신호 분석 및 메타데이터 정정 유닛, 상기 트랜스코더, 상기 디코더, 및 상기 후-처리 유닛 중 하나 이상을 포함한다.
열거된 예시적인 실시예 63은 열거된 예시적인 실시예 61에 설명된 것과 같은 방법이고, 상기 전-처리 유닛, 상기 신호 분석 및 메타데이터 정정 유닛, 상기 트랜스코더, 상기 디코더, 및 상기 후-처리 유닛 중 적어도 하나는 업스트림 디바이스로부터 수신된 처리 메타데이터에 기초하여 상기 미디어 콘텐트의 적응적 처리를 수행한다.
열거된 예시적인 실시예 64는 열거된 예시적인 실시예 47에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 상태에서의 상기 하나 이상의 미디어 특징들의 설명에 기초하여 하나 이상의 미디어 특징들을 결정하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 65는 열거된 예시적인 실시예 64에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 특징들은 프레임들, 초들, 분들, 이용자-규정가능한 시간 간격들, 장면들, 노래들, 음악 조각들, 및 레코딩들 중 하나 이상으로부터 결정된 적어도 하나의 미디어 특징을 포함한다.
열거된 예시적인 실시예 66은 열거된 예시적인 실시예 64에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 특징들은 상기 미디어 데이터의 의미론적 설명을 포함한다.
열거된 예시적인 실시예 67은 열거된 예시적인 실시예 64에 설명된 것과 같은 방법이고, 상기 하나 이상의 미디어 특징들을 결정하는 것에 응답하여 하나 이상의 특정 동작들을 수행하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 68은 열거된 예시적인 실시예 43에 설명된 것과 같은 방법이고: (a) 미디어 핑거프린트들, (b) 처리 상태 메타데이터, (c) 추출된 미디어 특징 값들, (d) 미디어 클래스 유형들 또는 서브-유형 설명(들) 및/또는 값들, (e) 미디어 특징 클래스 및/또는 서브-클래스 확률 값들, (f) 암호화 해시 값 또는 (f) 미디어 처리 시그널링 중 하나 이상으로서 상기 미디어 데이터의 상태를 상기 미디어 처리 체인에서의 상기 제 2 디바이스에 제공하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 69는, 방법에 있어서, 미디어 처리 체인에서의 제 1 디바이스로, 미디어 데이터의 소스 프레임의 하나 이상의 데이터 레이트 감소된 표현들을 계산하는 단계; 및 상기 미디어 데이터 자체의 상태 내에서, 상기 하나 이상의 데이터 레이트 감소된 표현들을 상기 미디어 처리 체인에서의 제 2 디바이스에 동시에 그리고 안전하게 운반하는 단계를 포함하는 방법이고; 상기 방법은 하나 이상의 컴퓨팅 디바이스들에 의해 수행된다.
열거된 예시적인 실시예 70은 열거된 예시적인 실시예 69에 설명된 것과 같은 방법이고, 상기 하나 이상의 데이터 레이트 감소된 표현들은 서브-스트림, 하나 이상의 예약 필드들, add_bsi 필드, 하나 이상의 보조 데이터 필드들, 또는 하나 이상의 변환 계수들 중 적어도 하나로 운반된다.
열거된 예시적인 실시예 71은 열거된 예시적인 실시예 69에 설명된 것과 같은 방법이고, 상기 하나 이상의 데이터 레이트 감소된 표현들은 상기 미디어 데이터 내에 전달된 오디오 및 비디오를 동기화하기 위해 이용된 동기화 데이터를 포함한다.
열거된 예시적인 실시예 72는 열거된 예시적인 실시예 69에 설명된 것과 같은 방법이고, 상기 하나 이상의 데이터 레이트 감소된 표현들은 (a) 미디어 처리 유닛에 의해 생성되고 (b) 품질 모니터링, 미디어 평가들, 미디어 트래킹, 또는 콘텐트 탐색 중 하나 이상을 위해 상기 미디어 데이터와 함께 내장된 미디어 핑거프린트들을 포함한다.
열거된 예시적인 실시예 73은 열거된 예시적인 실시예 69에 설명된 것과 같은 방법이고, 상기 하나 이상의 데이터 레이트 감소된 표현들 중 적어도 하나는 하나 이상의 보안 통신 채널들에 은닉된 상태 메타데이터의 적어도 일부를 포함한다.
열거된 예시적인 실시예 74는 열거된 예시적인 실시예 69에 설명된 것과 같은 방법이고, 상기 하나 이상의 데이터 레이트 감소된 표현들 중 하나의 적어도 일부를 저장하기 위해 상기 미디어 데이터에서의 복수의 바이트들을 변경하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 75는 열거된 예시적인 실시예 69에 설명된 것과 같은 방법이고, 상기 제 1 디바이스 및 상기 제 2 디바이스 중 적어도 하나는 개선된 텔레비전 시스템들 위원회(ATSC) 코덱들, 동화상 전문가들 그룹(MPEG) 코덱들, 오디오 코덱 3(AC-3) 코덱들, 및 강화된 AC-3 코덱들 중 하나 이상을 포함한다.
열거된 예시적인 실시예 76은 열거된 예시적인 실시예 69에 설명된 것과 같은 방법이고, 상기 미디어 처리 체인은 입력으로서 미디어 콘텐트를 포함하는 시간-도메인 샘플들을 수용하고 처리된 시간-도메인 샘플들을 출력하도록 구성된 전-처리 유닛; 상기 처리된 시간-도메인 샘플들에 기초하여 상기 미디어 콘텐트의 압축된 미디어 비트스트림을 출력하도록 구성된 인코더; 상기 압축된 미디어 비트스트림에서 처리 상태 메타데이터를 검증하도록 구성된 신호 분석 및 메타데이터 정정 유닛; 상기 압축된 미디어 비트스트림을 변경하도록 구성된 트랜스코더; 상기 압축된 미디어 비트스트림에 기초하여 디코딩된 시간-도메인 샘플들을 출력하도록 구성된 디코더; 및 상기 디코딩된 시간-도메인 샘플들에서 상기 미디어 콘텐트의 후-처리를 수행하도록 구성된 후-처리 유닛을 포함한다.
열거된 예시적인 실시예 77은 열거된 예시적인 실시예 76에 설명된 것과 같은 방법이고, 상기 제 1 디바이스 및 상기 제 2 디바이스 중 적어도 하나는 상기 전-처리 유닛, 상기 신호 분석 및 메타데이터 정정 유닛, 상기 트랜스코더, 상기 디코더, 및 상기 후-처리 유닛 중 하나 이상을 포함한다.
열거된 예시적인 실시예 78은 열거된 예시적인 실시예 76에 설명된 것과 같은 방법이고, 상기 전-처리 유닛, 상기 신호 분석 및 메타데이터 정정 유닛, 상기 트랜스코더, 상기 디코더, 및 상기 후-처리 유닛 중 적어도 하나는 업스트림 디바이스로부터 수신된 처리 메타데이터에 기초하여 상기 미디어 콘텐트의 적응적 처리를 수행한다.
열거된 예시적인 실시예 79는 열거된 예시적인 실시예 69에 설명된 것과 같은 방법이고: (a) 미디어 핑거프린트들, (b) 처리 상태 메타데이터, (c) 추출된 미디어 특징 값들, (d) 미디어 클래스 유형들 또는 서브-유형 설명(들) 및/또는 값들, (e) 미디어 특징 클래스 및/또는 서브-클래스 확률 값들, (f) 암호화 해시 값 또는 (f) 미디어 처리 시그널링 중 하나 이상으로서, 상기 미디어 데이터의 상태를 상기 제 2 디바이스에 제공하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 80은, 음향 심리학적 유닛들, 변화들, 파형/공간 오디오 코딩 유닛들, 인코더들, 디코더들, 트랜스코더들, 또는 스트림 프로세서들 중 하나 이상을 포함하는 미디어 처리 체인에서 하나 이상의 컴퓨팅 디바이스들로, 미디어 데이터의 상태에 의해 표시된 바와 같이 하나 이상의 업스트림 미디어 처리 유닛들에 의한 상기 미디어 데이터의 소리크기 처리의 과거 이력에 기초하여 상기 미디어 데이터의 입력 버전을 적응적으로 처리하는 단계; 및 상기 미디어 처리 체인의 끝에서 상기 미디어 데이터의 출력 버전의 소리크기 및/또는 동적 범위를 일관된 소리크기 및/또는 동적 범위 값들로 정규화하는 단계를 포함하는 방법이다.
열거된 예시적인 실시예 81은 열거된 예시적인 실시예 80에 설명된 것과 같은 방법이고, 상기 일관된 소리크기 값은 (1) 이용자에 의해 제어되거나 선택된, 또는 (2) 상기 미디어 데이터의 입력 버전에서의 상태에 의해 적응적으로 시그널링된 소리크기 값을 포함한다.
열거된 예시적인 실시예 82는 열거된 예시적인 실시예 80에 설명된 것과 같은 방법이고, 상기 소리크기 값은 상기 미디어 데이터의 다이얼로그 (스피치) 부분들에 대해 계산된다.
열거된 예시적인 실시예 83은 열거된 예시적인 실시예 80에 설명된 것과 같은 방법이고, 상기 소리크기 값은 상기 미디어 데이터의 절대, 상대, 및/또는 게이팅되지 않은 부분들에 대해 계산된다.
열거된 예시적인 실시예 84는 열거된 예시적인 실시예 80에 설명된 것과 같은 방법이고, 상기 일관된 동적 범위 값은 (1) 이용자에 의해 제어되거나 선택된, 또는 (2) 상기 미디어 데이터의 입력 버전에서의 상태에 의해 적응적으로 시그널링된 동적 범위 값을 포함한다.
열거된 예시적인 실시예 85는 열거된 예시적인 실시예 84에 설명된 것과 같은 방법이고, 상기 동적 범위 값은 상기 미디어 데이터의 상기 다이얼로그 (스피치) 부분들에 대해 계산된다.
열거된 예시적인 실시예 86은 열거된 예시적인 실시예 84에 설명된 것과 같은 방법이고, 상기 동적 범위 값은 상기 미디어 데이터의 절대, 상대, 및/또는 게이팅되지 않은 부분들에 대해 계산된다.
열거된 예시적인 실시예 87은 열거된 예시적인 실시예 80에 설명된 것과 같은 방법이고: 상기 미디어 데이터의 출력 버전을 일관된 소리크기 값 및 일관된 동적 범위로 정규화하기 위한 하나 이상의 소리크기 및/또는 동적 범위 이득 제어 값들을 계산하는 단계; 및 상기 미디어 처리 체인의 끝에서 상기 미디어 데이터의 출력 버전의 상태 내에서 상기 하나 이상의 소리크기 및/또는 동적 범위 이득 제어 값들을 동시에 운반하는 단계로서, 상기 하나 이상의 소리크기 및/또는 동적 범위 이득 제어 값들은 상기 미디어 데이터의 입력 버전에서 원래의 소리크기 값 및 원래의 동적 범위를 복구시키기 위해 상기 하나 이상의 소리크기 및/또는 동적 범위 이득 제어 값들을 역으로 적용하기 위해 또 다른 디바이스에 의해 이용가능한, 상기 동시 운반 단계를 추가로 포함한다.
열거된 예시적인 실시예 88은 열거된 예시적인 실시예 87에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 출력 버전의 상태를 표현하는 상기 하나 이상의 소리크기 및/또는 동적 범위 제어 값들은 서브-스트림, 하나 이상의 예약 필드들, add_bsi 필드, 하나 이상의 보조 데이터 필드들, 또는 하나 이상의 변환 계수들 중 적어도 하나로 운반된다.
열거된 예시적인 실시예 89는 열거된 예시적인 실시예 80에 설명된 것과 같은 방법이고, 상기 미디어 처리 체인에서 상기 하나 이상의 컴퓨팅 디바이스들 중 적어도 하나에 의해, 상기 미디어 데이터를 운반하는 하나 이상의 인코딩된 비트스트림들 내에서 상기 미디어 데이터 및/또는 상기 미디어 데이터의 상태에 기초하여 암호화 해시 값을 계산 및 송신하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 90은 열거된 예시적인 실시예 89에 설명된 것과 같은 방법이고: 수신인 디바이스에 의해, 상기 암호화 해시 값을 인증하는 단계; 상기 수신인 디바이스에 의해, 상기 미디어 데이터의 상태가 유효한지 여부에 대한 결정을 하나 이상의 다운스트림 미디어 처리 유닛들에 시그널링하는 단계; 및 상기 수신인 디바이스에 의해, 상기 미디어 데이터의 상태가 유효하다는 결정에 응답하여 상기 미디어 데이터의 상태를 상기 하나 이상의 다운스트림 미디어 처리 유닛들에 시그널링하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 91은 열거된 예시적인 실시예 89에 설명된 것과 같은 방법이고, 상기 미디어의 상태 및 상기 미디어 데이터를 표현하는 상기 암호화 해시 값은 서브-스트림, 하나 이상의 예약 필드들, add_bsi 필드, 하나 이상의 보조 데이터 필드들, 또는 하나 이상의 변환 계수들 중 적어도 하나로 운반된다.
열거된 예시적인 실시예 92는 열거된 예시적인 실시예 80에 설명된 것과 같은 방법이고, 상기 미디어 데이터의 상태는: (a) 미디어 핑거프린트들, (b) 처리 상태 메타데이터, (c) 추출된 미디어 특징 값들, (d) 미디어 클래스 유형들 또는 서브-유형 설명(들) 및/또는 값들, (e) 미디어 특징 클래스 및/또는 서브-클래스 확률 값들, (f) 암호화 해시 값 또는 (f) 미디어 처리 시그널링 중 하나 이상을 포함한다.
열거된 예시적인 실시예 93은, 음향 심리학적 유닛들, 변환들, 파형/공간 오디오 코딩 유닛들, 인코더들, 디코더들, 트랜스코더들, 또는 스트림 프로세서들 중 하나 이상을 포함하는 미디어 처리 체인에서 하나 이상의 컴퓨팅 디바이스들에 의해 하나 이상의 인코딩된 비트스트림들 내에서의 관련된 및 관련되지 않은 미디어 데이터 위치들 및/또는 관련된 및 관련되지 않은 미디어 데이터 위치들의 상태의 삽입, 추출, 또는 편집 중 하나를 수행하는 단계를 포함하는 방법이다.
열거된 예시적인 실시예 94는 열거된 예시적인 실시예 93에 설명된 것과 같은 방법이고, 인코딩된 비트스트림들 내에서의 상기 하나 이상의 관련된 및 관련되지 않은 미디어 데이터 위치들 및/또는 관련된 및 관련되지 않은 미디어 데이터 위치들의 상기 상태는 서브-스트림, 하나 이상의 예약 필드들, add_bsi 필드, 하나 이상의 보조 데이터 필드들, 또는 하나 이상의 변환 계수들 중 적어도 하나로 운반된다.
열거된 예시적인 실시예 95는 음향 심리학적 유닛들, 변환들, 파형/공간 오디오 코딩 유닛들, 인코더들, 디코더들, 트랜스코더들, 또는 스트림 프로세서들 중 하나 이상을 포함하는 미디어 처리 체인에서 하나 이상의 컴퓨팅 디바이스들에 의해 하나 이상의 인코딩된 비트스트림들 내에서의 관련된 및 관련되지 않은 미디어 데이터 및/또는 관련된 및 관련되지 않은 미디어 데이터의 상태의 삽입, 추출, 또는 편집 중 하나 이상을 수행하는 단계를 포함하는 방법이다.
열거된 예시적인 실시예 96은 열거된 예시적인 실시예 95에 설명된 것과 같은 방법이고, 인코딩된 비트스트림들 내에서의 상기 하나 이상의 관련된 및 관련되지 않은 미디어 데이터 및/또는 상기 관련된 및 관련되지 않은 미디어 데이터의 상태는 서브-스트림, 하나 이상의 예약 필드들, add_bsi 필드, 하나 이상의 보조 데이터 필드들, 또는 하나 이상의 변환 계수들 중 적어도 하나로 운반된다.
열거된 예시적인 실시예 97은 열거된 예시적인 실시예 93에 설명된 것과 같은 방법이고, 업스트림 미디어 처리 디바이스로부터 다운스트림 미디어 처리 디바이스로: (a) 미디어 핑거프린트들, (b) 처리 상태 메타데이터, (c) 추출된 미디어 특징 값들, (d) 미디어 클래스 유형들 또는 서브-유형 설명(들) 및/또는 값들, (e) 미디어 특징 클래스 및/또는 서브-클래스 확률 값들, (f) 암호화 해시 값 또는 (f) 미디어 처리 시그널링 중 하나 이상으로서 상기 미디어 데이터의 상태를 제공하는 단계를 추가로 포함한다.
열거된 예시적인 실시예 98은 음향 심리학적 유닛들, 변환들, 파형/공간 오디오 코딩 유닛들, 인코더들, 디코더들, 트랜스코더들, 또는 스트림 프로세서들 중 하나 이상을 포함하는 미디어 처리 체인에서 하나 이상의 컴퓨팅 디바이스들에 의해 하나 이상의 인코딩된 비트스트림들 내에서의 미디어 데이터 및/또는 상기 미디어 데이터의 상태에 기초하여 암호화 해시 값들을 계산 및 운반하도록 구성된 미디어 처리 시스템이다.
열거된 예시적인 실시예 99는 열거된 예시적인 실시예 98에 설명된 것과 같은 미디어 처리 시스템이고, 상기 미디어 데이터의 상태는: (a) 미디어 핑거프린트들, (b) 처리 상태 메타데이터, (c) 추출된 미디어 특징 값들, (d) 미디어 클래스 유형들 또는 서브-유형 설명(들) 및/또는 값들, (e) 미디어 특징 클래스 및/또는 서브-클래스 확률 값들, (f) 암호화 해시 값 또는 (f) 미디어 처리 시그널링 중 하나 이상을 포함한다.
열거된 예시적인 실시예 100은 하나 이상의 보안 통신 채널들로부터 수신된 미디어 데이터의 상태에 기초하여 상기 미디어 데이터를 적응적으로 처리하도록 구성된 미디어 처리 시스템이다.
열거된 예시적인 실시예 101은 열거된 예시적인 실시예 100에 설명된 것과 같은 미디어 처리 시스템이고, 상기 미디어 처리 시스템은 하나 이상의 처리 노드들을 포함하고, 상기 처리 노드들은 미디어 전달 시스템들, 미디어 분배 시스템들, 및 미디어 렌더링 시스템들을 포함한다.
열거된 예시적인 실시예 102는 열거된 예시적인 실시예 101에 설명된 것과 같은 미디어 처리 시스템이고, 상기 하나 이상의 보안 통신 채널들은 압축된/코딩된 비트스트림들 및 PCM 처리 노드들 중 둘 이상에 걸쳐 적어도 하나의 보안 통신 채널을 포함한다.
열거된 예시적인 실시예 103은 열거된 예시적인 실시예 101에 설명된 것과 같은 미디어 처리 시스템이고, 상기 하나 이상의 보안 통신 채널들은 두 개의 별개의 미디어 처리 디바이스들에 걸쳐 적어도 하나의 보안 통신 채널을 포함한다.
열거된 예시적인 실시예 104는 열거된 예시적인 실시예 101에 설명된 것과 같은 미디어 처리 시스템이고, 상기 하나 이상의 보안 통신 채널은 단일 미디어 처리 디바이스에서 두 개의 미디어 처리 노드들에 걸쳐 적어도 하나의 보안 통신 채널을 포함한다.
열거된 예시적인 실시예 105는 열거된 예시적인 실시예 100에 설명된 것과 같은 미디어 처리 시스템이고, 상기 미디어 처리 시스템은 상기 미디어 처리 시스템이 하나의 부품인 미디어 처리 체인에서 미디어 처리 시스템들이 어떻게 순서화되는지에 상관없이 자율적 미디어 처리 동작들을 수행하도록 구성된다.
열거된 예시적인 실시예 106은 열거된 예시적인 실시예 100에 설명된 것과 같은 미디어 처리 시스템이고, 상기 미디어 데이터의 상태는: (a) 미디어 핑거프린트들, (b) 처리 상태 메타데이터, (c) 추출된 미디어 특징 값들, (d) 미디어 클래스 유형들 또는 서브-유형 설명(들) 및/또는 값들, (e) 미디어 특징 클래스 및/또는 서브-클래스 확률 값들, (f) 암호화 해시 값 또는 (f) 미디어 처리 시그널링 중 하나 이상을 포함한다.
열거된 예시적인 실시예 107은 열거된 예시적인 실시예들 1 내지 99에 설명된 것과 같은 방법들 중 임의의 것을 수행하도록 구성된 미디어 처리 시스템이다.
열거된 예시적인 실시예 108은 프로세서를 포함하고 열거된 예시적인 실시예들 1 내지 99에 설명된 것과 같은 방법들 중 임의의 것을 수행하도록 구성된 장치이다.
열거된 예시적인 실시예 109는 하나 이상의 프로세서들에 의해 실행될 때, 열거된 예시적인 실시예들 1 내지 99에 설명된 것과 같은 방법들 중 임의의 것의 성능을 야기하는, 소프트웨어 지시들을 포함한 컴퓨터 판독가능한 저장 미디어이다.
9. 등가물들, 확대들, 대안들 및 기타
앞서 말한 명세서에서, 본 발명의 가능한 실시예들은 구현에서 구현로 변화하는 다수의 특정 세부사항들을 참조하여 설명되어 왔다. 따라서, 발명이 무엇인지, 및 출원인들에 의해 본 발명이 의도하는 것이 무엇인지에 대한 유일하고 배타적인 표시자는 임의의 후속 정정을 포함하여, 청구항들이 발행하는 특정 형태로, 본 출원으로부터 발행하는 이러한 청구항들의 세트이다. 이러한 청구항들에 포함된 용어들을 위해 여기에 명확하게 제시된 임의의 규정들은 청구항들에서 사요된 바와 같이 이러한 용어들의 의미를 지배할 것이다. 그러므로, 청구항에 명확하게 열거되지 않은 어떤 제한, 요소, 특성, 특징, 이점 또는 속성도 어떠한 방식으로 이러한 청구항의 범위를 제한하지 않아야 한다. 명세서 및 도면들은 따라서 제한적인 의미라기보다는 예시적인 것으로 간주될 것이다.
1000: 컴퓨터 시스템 1002: 버스
1004: 하드웨어 프로세서 1006: 메인 메모리
1008: ROM 1010: 저장 디바이스
1012: 디스플레이 1014: 입력 디바이스
1016: 커서 제어부 1020: 네트워크 라인
1022: 로컬 네트워크 1024: 호스트 컴퓨터
1026: ISP 1030: 서버

Claims (12)

  1. 오디오 디코딩 방법에 있어서,
    인코딩된 비트스트림을 수신하는 단계 - 상기 인코딩된 비트스트림은 인코딩된 입력 오디오 데이터 및 처리 상태 메타데이터를 포함하고, 상기 처리 상태 메타데이터는 소리크기 값 및 실제 피크 값을 포함함 -;
    상기 인코딩된 입력 오디오 데이터를 디코딩하는 단계;
    상기 디코딩된 오디오 데이터에 대하여 소리크기 처리가 수행되어야 하는지 여부를 나타내는 시그널링 데이터를 수신하는 단계;
    상기 시그널링 데이터가 상기 디코딩된 오디오 데이터에 대하여 소리크기 처리가 수행되어야 함을 나타내면:
    상기 처리 상태 메타데이터로부터 상기 소리크기 값을 획득하는 단계; 및
    출력 오디오 데이터를 제공하기 위해, 상기 소리크기 값에 따라 상기 디코딩된 입력 오디오 데이터의 소리크기를 정규화하는 단계를 포함하는, 오디오 디코딩 방법.
  2. 제 1 항에 있어서,
    상기 처리 상태 메타데이터는 동적 범위 처리가 수행되어야 하는지 여부를 더 나타내고; 상기 오디오 디코딩 방법은,
    상기 처리 상태 메타데이터가 동적 범위 처리를 수행해야 함을 나타내는 경우:
    상기 처리 상태 메타데이터로부터 동적 범위 값을 획득하는 단계;
    상기 동적 범위 값에 따라 상기 디코딩된 입력 오디오 데이터의 동적 범위를 정규화하는 단계를 더 포함하는, 오디오 디코딩 방법.
  3. 제 1 항에 있어서,
    상기 소리크기 값은 상기 오디오 데이터의 다이얼로그 부분들에 대하여 계산되는, 오디오 디코딩 방법.
  4. 제 1 항에 있어서,
    상기 시그널링 데이터가 상기 디코딩된 오디오 데이터에 대하여 소리크기 처리가 수행되어야 함을 나타내는 경우 상기 처리 상태 메타데이터로부터 상기 실제 피크 값을 획득하는 단계를 더 포함하는, 오디오 디코딩 방법.
  5. 제 4 항에 있어서,
    상기 디코딩된 입력 오디오 데이터의 소리크기의 정규화는 상기 실제 피크 값에도 의존하는, 오디오 디코딩 방법.
  6. 오디오 디코딩 시스템에 있어서,
    디코더로서:
    인코딩된 비트스트림을 수신하고-상기 인코딩된 비트스트림은 인코딩된 입력 오디오 데이터 및 처리 상태 메타데이터를 포함하고, 상기 처리 상태 메타데이터는 소리크기 값 및 실제 피크 값을 포함함-,
    상기 인코딩된 입력 오디오 데이터를 디코딩하도록 구성되는, 상기 디코더; 및
    후-처리 유닛으로서:
    상기 디코딩된 오디오 데이터에 대하여 소리크기 처리가 수행되어야 하는지 여부를 나타내는 시그널링 데이터를 수신하고,
    상기 시그널링 데이터가, 상기 디코딩된 오디오 데이터에 대하여 소리크기 처리가 수행되어야 함을 나타내면:
    상기 처리 상태 메타데이터로부터 상기 소리크기 값을 획득하고,
    출력 오디오 데이터를 제공하기 위해, 상기 소리크기 값에 따라 상기 디코딩된 입력 오디오 데이터의 소리크기를 정규화하도록 구성되는, 상기 후-처리 유닛을 포함하는, 오디오 디코딩 시스템.
  7. 제 6 항에 있어서,
    상기 처리 상태 메타데이터는 동적 범위 처리가 수행되어야 하는지 여부를 더 나타내고; 상기 후-처리 유닛은,
    상기 처리 상태 메타데이터가 동적 범위 처리를 수행해야 함을 나타내는 경우:
    상기 처리 상태 메타데이터로부터 동적 범위 값을 획득하고,
    상기 동적 범위 값에 따라 상기 디코딩된 입력 오디오 데이터의 동적 범위를 정규화하도록 더 구성되는, 오디오 디코딩 시스템.
  8. 제 6 항에 있어서,
    상기 소리크기 값은 상기 오디오 데이터의 다이얼로그 부분들에 대하여 계산되도록 구성되는 오디오 디코딩 시스템.
  9. 제 6 항에 있어서,
    상기 시그널링 데이터가 상기 디코딩된 오디오 데이터에 대하여 소리크기 처리가 수행되어야 함을 나타내는 경우 상기 처리 상태 메타데이터로부터 상기 실제 피크 값을 획득하는 단계를 더 포함하는, 오디오 디코딩 시스템.
  10. 제 9 항에 있어서,
    상기 디코딩된 입력 오디오 데이터의 소리크기의 정규화는 상기 실제 피크 값에도 의존하는, 오디오 디코딩 시스템.
  11. 삭제
  12. 프로세서 상에서의 실행을 위해, 그리고 컴퓨팅 디바이스 상에서 수행될 때 제 1 항 내지 제 5 항 중 어느 한 항의 방법의 단계들을 실행하기 위해 적응되는 소프트웨어 프로그램을 포함하는 저장 매체.
KR1020217019097A 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리 KR102383651B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227010958A KR102497818B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US41974710P 2010-12-03 2010-12-03
US61/419,747 2010-12-03
US201161558286P 2011-11-10 2011-11-10
US61/558,286 2011-11-10
KR1020207025731A KR102269529B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
PCT/US2011/062828 WO2012075246A2 (en) 2010-12-03 2011-12-01 Adaptive processing with multiple media processing nodes

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207025731A Division KR102269529B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227010958A Division KR102497818B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리

Publications (2)

Publication Number Publication Date
KR20210081443A KR20210081443A (ko) 2021-07-01
KR102383651B1 true KR102383651B1 (ko) 2022-04-08

Family

ID=45422359

Family Applications (10)

Application Number Title Priority Date Filing Date
KR1020237004169A KR20230023828A (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020217019097A KR102383651B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020177026623A KR101895199B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020227010958A KR102497818B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020137017141A KR101438386B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020207025731A KR102269529B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020197032708A KR102155491B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020147021769A KR101787363B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020197002037A KR102043609B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020187024877A KR101943295B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237004169A KR20230023828A (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리

Family Applications After (8)

Application Number Title Priority Date Filing Date
KR1020177026623A KR101895199B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020227010958A KR102497818B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020137017141A KR101438386B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020207025731A KR102269529B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020197032708A KR102155491B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020147021769A KR101787363B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020197002037A KR102043609B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR1020187024877A KR101943295B1 (ko) 2010-12-03 2011-12-01 다수의 미디어 처리 노드들을 갖는 적응적 처리

Country Status (17)

Country Link
US (3) US9842596B2 (ko)
EP (2) EP2647006B1 (ko)
JP (8) JP5879362B2 (ko)
KR (10) KR20230023828A (ko)
CN (6) CN112002336A (ko)
AR (1) AR084086A1 (ko)
AU (1) AU2011336566A1 (ko)
BR (1) BR112013013353B1 (ko)
CA (3) CA2816889C (ko)
CL (1) CL2013001571A1 (ko)
IL (8) IL292856B2 (ko)
MX (4) MX359652B (ko)
MY (2) MY175099A (ko)
RU (3) RU2015132824A (ko)
SG (1) SG190164A1 (ko)
TW (8) TWI665659B (ko)
WO (1) WO2012075246A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220047394A (ko) * 2010-12-03 2022-04-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 다수의 미디어 처리 노드들을 갖는 적응적 처리

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014124377A2 (en) 2013-02-11 2014-08-14 Dolby Laboratories Licensing Corporation Audio bitstreams with supplementary data and encoding and decoding of such bitstreams
US9311923B2 (en) 2011-05-19 2016-04-12 Dolby Laboratories Licensing Corporation Adaptive audio processing based on forensic detection of media processing history
JP5416253B2 (ja) * 2012-06-27 2014-02-12 株式会社Ｎｔｔドコモ 関連コンテンツ検索装置及び関連コンテンツ検索方法
MY176406A (en) 2012-08-10 2020-08-06 Fraunhofer Ges Forschung Encoder, decoder, system and method employing a residual concept for parametric audio object coding
EP2717510B1 (en) * 2012-10-08 2015-05-13 Université de Genève Method for active content fingerprinting
US9411881B2 (en) * 2012-11-13 2016-08-09 Dolby International Ab System and method for high dynamic range audio distribution
ES2843744T3 (es) 2013-01-21 2021-07-20 Dolby Laboratories Licensing Corp Decodificación de trenes de bits de audio codificados con un contenedor de metadatos situado en un espacio de datos reservado
CN109036443B (zh) 2013-01-21 2023-08-18 杜比实验室特许公司 用于在不同回放设备之间优化响度和动态范围的系统和方法
CN107257234B (zh) * 2013-01-21 2020-09-15 杜比实验室特许公司 解码具有保留数据空间中的元数据容器的编码音频比特流
JP6242916B2 (ja) 2013-01-21 2017-12-06 ドルビー ラボラトリーズ ライセンシング コーポレイション メタデータのトランスコード
CN104078050A (zh) 2013-03-26 2014-10-01 杜比实验室特许公司 用于音频分类和音频处理的设备和方法
CN107093991B (zh) 2013-03-26 2020-10-09 杜比实验室特许公司 基于目标响度的响度归一化方法和设备
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830048A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
CN109785851B (zh) 2013-09-12 2023-12-01 杜比实验室特许公司 用于各种回放环境的动态范围控制
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9621963B2 (en) 2014-01-28 2017-04-11 Dolby Laboratories Licensing Corporation Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
JP6676047B2 (ja) * 2014-10-10 2020-04-08 ドルビー ラボラトリーズ ライセンシング コーポレイション 伝送に関知しない呈示ベースのプログラム・ラウドネス
US10021436B2 (en) * 2014-10-14 2018-07-10 Disney Enterprises, Inc. Storage of tags in video for carriage in real-time
US9414076B2 (en) * 2014-11-03 2016-08-09 Broadcom Corporation System architecture for distributed coding
US20160239508A1 (en) * 2015-02-12 2016-08-18 Harman International Industries, Incorporated Media content playback system and method
CN106454384B (zh) * 2015-08-04 2019-06-25 中国科学院深圳先进技术研究院 视频帧插入和帧删除检测方法
KR20180132032A (ko) * 2015-10-28 2018-12-11 디티에스, 인코포레이티드 객체 기반 오디오 신호 균형화
US9372881B1 (en) 2015-12-29 2016-06-21 International Business Machines Corporation System for identifying a correspondence between a COBOL copybook or PL/1 include file and a VSAM or sequential dataset
WO2017152173A1 (en) * 2016-03-04 2017-09-08 Leidos, Inc. System and method for implementing adaptive pulse position modulation (appm) for improved optical communications performance
CN105828272A (zh) * 2016-04-28 2016-08-03 乐视控股（北京）有限公司 音频信号处理方法和装置
US10015612B2 (en) * 2016-05-25 2018-07-03 Dolby Laboratories Licensing Corporation Measurement, verification and correction of time alignment of multiple audio channels and associated metadata
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
US10354660B2 (en) * 2017-04-28 2019-07-16 Cisco Technology, Inc. Audio frame labeling to achieve unequal error protection for audio frames of unequal importance
US10877735B1 (en) * 2017-09-25 2020-12-29 Amazon Technologies, Inc. Automated generation of software applications using analysis of submitted content items
TWI639997B (zh) * 2017-09-28 2018-11-01 大仁科技大學 基於機率規則之對話理解方法
US10705805B1 (en) 2017-12-12 2020-07-07 Amazon Technologies, Inc. Application authoring using web-of-sheets data model
US11586603B1 (en) 2018-05-23 2023-02-21 Amazon Technologies, Inc. Index sheets for robust spreadsheet-based applications
US10348505B1 (en) * 2018-05-24 2019-07-09 DeepTruth, LLC Systems and techniques for validation of media data
JP7171772B2 (ja) 2018-06-28 2022-11-15 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的なストリーミング整列のためのフレーム変換
US10826606B1 (en) 2018-08-14 2020-11-03 Leidos, Inc. Quantum detection and tracking of pulsed optical signals
US20220059102A1 (en) * 2018-12-13 2022-02-24 Dolby Laboratories Licensing Corporation Methods, Apparatus and Systems for Dual-Ended Media Intelligence
US10733374B1 (en) * 2019-02-14 2020-08-04 Gideon Samid Live documentation (LiDo)
US11632598B2 (en) 2019-05-10 2023-04-18 Roku, Inc. Content-modification system with responsive transmission of reference fingerprint data feature
WO2020231827A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
TW202331547A (zh) 2019-05-10 2023-08-01 美商六科股份有限公司 用於檢測和回應於在先前檢測到的指紋匹配之後檢測到的指紋不匹配的方法、非暫時性電腦可讀儲存媒體及計算系統
JP7314398B2 (ja) * 2019-08-15 2023-07-25 ドルビー・インターナショナル・アーベー 変更オーディオビットストリームの生成及び処理のための方法及び装置
EP3809709A1 (en) * 2019-10-14 2021-04-21 Koninklijke Philips N.V. Apparatus and method for audio encoding
US20230162743A1 (en) * 2020-05-06 2023-05-25 Dolby Laboratories Licensing Corporation Audio watermark to indicate post-processing
CN112995425B (zh) * 2021-05-13 2021-09-07 北京百瑞互联技术有限公司 一种等响度混音方法及装置
WO2023196219A1 (en) * 2022-04-08 2023-10-12 Dolby Laboratories Licensing Corporation Methods, apparatus and systems for user generated content capture and adaptive rendering

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070112565A1 (en) 2005-11-11 2007-05-17 Samsung Electronics Co., Ltd. Device, method, and medium for generating audio fingerprint and retrieving audio data
KR101943295B1 (ko) * 2010-12-03 2019-04-17 돌비 레버러토리즈 라이쎈싱 코오포레이션 다수의 미디어 처리 노드들을 갖는 적응적 처리

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2947685B2 (ja) * 1992-12-17 1999-09-13 シャープ株式会社 音声コーデック装置
US6611607B1 (en) * 1993-11-18 2003-08-26 Digimarc Corporation Integrating digital watermarks in multimedia content
US5949891A (en) * 1993-11-24 1999-09-07 Intel Corporation Filtering audio signals from a combined microphone/speaker earpiece
FI96650C (fi) * 1994-07-11 1996-07-25 Nokia Telecommunications Oy Menetelmä ja laitteisto puheen välittämiseksi tietoliikennejärjestelmässä
TW271524B (ko) * 1994-08-05 1996-03-01 Qualcomm Inc
US5903862A (en) * 1995-01-25 1999-05-11 Weaver, Jr.; Lindsay A. Method and apparatus for detection of tandem vocoding to modify vocoder filtering
US7224819B2 (en) * 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US5625608A (en) * 1995-05-22 1997-04-29 Lucent Technologies Inc. Remote control device capable of downloading content information from an audio system
US7006661B2 (en) * 1995-07-27 2006-02-28 Digimarc Corp Digital watermarking systems and methods
US7711564B2 (en) * 1995-07-27 2010-05-04 Digimarc Corporation Connected audio and other media objects
JP3338042B2 (ja) * 1995-09-29 2002-10-28 松下電器産業株式会社 再生方法、再生装置、記録方法、記録装置、光ディスク
US5794185A (en) * 1996-06-14 1998-08-11 Motorola, Inc. Method and apparatus for speech coding using ensemble statistics
PT1603244E (pt) * 1996-11-07 2007-11-23 Koninkl Philips Electronics Nv Transmissão de um sinal em modo binário
US6959220B1 (en) * 1997-11-07 2005-10-25 Microsoft Corporation Digital audio signal filtering mechanism and method
US6807632B1 (en) 1999-01-21 2004-10-19 Emc Corporation Content addressable information encapsulation, representation, and transfer
CA2265089C (en) 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
CN1065400C (zh) * 1998-09-01 2001-05-02 国家科学技术委员会高技术研究发展中心 兼容ac－3和mpeg－2的音频编解码器
US7055034B1 (en) * 1998-09-25 2006-05-30 Digimarc Corporation Method and apparatus for robust embedded data
WO2000054453A1 (en) * 1999-03-10 2000-09-14 Digimarc Corporation Signal processing methods, devices, and applications for digital rights management
JP4785168B2 (ja) * 2000-01-13 2011-10-05 ディジマーク コーポレイション メタデータの認証および媒体信号の透かしへのメタデータの埋込
US20020032502A1 (en) * 2000-05-05 2002-03-14 Russell J. Chris Integrated media production security method and system
US7206775B2 (en) * 2000-07-06 2007-04-17 Microsoft Corporation System and methods for the automatic transmission of new, high affinity media
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7853664B1 (en) * 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
US6983466B2 (en) * 2000-12-06 2006-01-03 Microsoft Corporation Multimedia project processing systems and multimedia project processing matrix systems
KR100587517B1 (ko) * 2001-11-14 2006-06-08 마쯔시다덴기산교 가부시키가이샤 오디오 부호화 및 복호화
EP1318611A1 (en) * 2001-12-06 2003-06-11 Deutsche Thomson-Brandt Gmbh Method for retrieving a sensitive criterion for quantized spectra detection
KR20040067849A (ko) * 2001-12-07 2004-07-30 마쯔시다덴기산교 가부시키가이샤 매체 콘텐츠 분배 시스템과 방법
AUPR960601A0 (en) 2001-12-18 2002-01-24 Canon Kabushiki Kaisha Image protection
US8150937B2 (en) * 2004-10-25 2012-04-03 Apple Inc. Wireless synchronization between media player and host device
WO2003091870A1 (en) 2002-04-26 2003-11-06 Electronics And Telecommunications Research Institute Apparatus and method for adapting audio signal
US7072477B1 (en) * 2002-07-09 2006-07-04 Apple Computer, Inc. Method and apparatus for automatically normalizing a perceived volume level in a digitally encoded file
US7454331B2 (en) * 2002-08-30 2008-11-18 Dolby Laboratories Licensing Corporation Controlling loudness of speech in signals that contain speech and other types of audio material
RU2005120236A (ru) * 2002-11-28 2006-01-20 Конинклейке Филипс Электроникс Н.В. (Nl) Кодирование аудиосигнала
US7444336B2 (en) 2002-12-11 2008-10-28 Broadcom Corporation Portable media processing unit in a media exchange network
WO2004090886A1 (en) * 2003-04-08 2004-10-21 Koninklijke Philips Electronics N.V. Fragile audio watermark related to a buried data channel
US20040267778A1 (en) * 2003-06-27 2004-12-30 Microsoft Corporation Media foundation topology application programming interface
US7509255B2 (en) * 2003-10-03 2009-03-24 Victor Company Of Japan, Limited Apparatuses for adaptively controlling processing of speech signal and adaptively communicating speech in accordance with conditions of transmitting apparatus side and radio wave and methods thereof
US7516232B2 (en) 2003-10-10 2009-04-07 Microsoft Corporation Media organization for distributed sending of media data
US7315822B2 (en) * 2003-10-20 2008-01-01 Microsoft Corp. System and method for a media codec employing a reversible transform obtained via matrix lifting
US7412380B1 (en) 2003-12-17 2008-08-12 Creative Technology Ltd. Ambience extraction and modification for enhancement and upmix of audio signals
US7653265B2 (en) 2004-01-16 2010-01-26 Nvidia Corporation Video image processing with utility processing stage
US20060013077A1 (en) * 2004-02-11 2006-01-19 Mesarovic Vladimir Z Audio-video systems with application specific modules and common processing software architecture
ATE527654T1 (de) * 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
US8131134B2 (en) * 2004-04-14 2012-03-06 Microsoft Corporation Digital media universal elementary stream
US8688248B2 (en) * 2004-04-19 2014-04-01 Shazam Investments Limited Method and system for content sampling and identification
US7617109B2 (en) * 2004-07-01 2009-11-10 Dolby Laboratories Licensing Corporation Method for correcting metadata affecting the playback loudness and dynamic range of audio information
US8135136B2 (en) 2004-09-06 2012-03-13 Koninklijke Philips Electronics N.V. Audio signal enhancement
BRPI0518278B1 (pt) 2004-10-26 2018-04-24 Dolby Laboratories Licensing Corporation Método e aparelho para controlar uma característica de sonoridade particular de um sinal de áudio
JP2008527583A (ja) * 2005-01-04 2008-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 再生可能データの処理装置及び方法
ATE521143T1 (de) 2005-02-23 2011-09-15 Ericsson Telefon Ab L M Adaptive bitzuweisung für die mehrkanal- audiokodierung
MX2007011286A (es) * 2005-03-14 2007-11-15 Nielsen Media Res Inc Aparatos y metodos de codificacion de dominios comprimidos para su utilizacion con senales de medios.
TWI397903B (zh) * 2005-04-13 2013-06-01 Dolby Lab Licensing Corp 編碼音訊之節約音量測量技術
TW200638335A (en) * 2005-04-13 2006-11-01 Dolby Lab Licensing Corp Audio metadata verification
WO2006110975A1 (en) * 2005-04-22 2006-10-26 Logovision Wireless Inc. Multimedia system for mobile client platforms
US7634727B2 (en) * 2005-04-26 2009-12-15 Microsoft Corporation System for abstracting audio-video codecs
US20060259781A1 (en) 2005-04-29 2006-11-16 Sony Corporation/Sony Electronics Inc. Method and apparatus for detecting the falsification of metadata
CN101171636B (zh) * 2005-05-02 2014-05-14 松下电器产业株式会社 编创装置
JP2009504026A (ja) * 2005-07-27 2009-01-29 ダグ カーソン アンド アソシエーツ，インク． デジタルコンテンツに関連付けられた検証用来歴データ
US8280944B2 (en) * 2005-10-20 2012-10-02 The Trustees Of Columbia University In The City Of New York Methods, media and systems for managing a distributed application running in a plurality of digital processing devices
US7877752B2 (en) * 2005-12-14 2011-01-25 Broadcom Corp. Method and system for efficient audio scheduling for dual-decode digital signal processor (DSP)
US20070168197A1 (en) 2006-01-18 2007-07-19 Nokia Corporation Audio coding
FR2899408B1 (fr) * 2006-03-29 2008-07-18 Airbus France Sas Procedes d'emission et de reception de donnees, en particulier pour des echanges securises entre un aeronef et une base au sol, dispositifs associes et aeronef equipe de tels dispositifs
CN101484936B (zh) * 2006-03-29 2012-02-15 皇家飞利浦电子股份有限公司 音频解码
JP4981123B2 (ja) 2006-04-04 2012-07-18 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号の知覚音量及び／又は知覚スペクトルバランスの計算と調整
EP1852848A1 (en) * 2006-05-05 2007-11-07 Deutsche Thomson-Brandt GmbH Method and apparatus for lossless encoding of a source signal using a lossy encoded data stream and a lossless extension data stream
US20070299657A1 (en) 2006-06-21 2007-12-27 Kang George S Method and apparatus for monitoring multichannel voice transmissions
US20080007649A1 (en) 2006-06-23 2008-01-10 Broadcom Corporation, A California Corporation Adaptive video processing using sub-frame metadata
KR100781528B1 (ko) * 2006-06-29 2007-12-03 삼성전자주식회사 무결성을 보장하는 비디오 스트림을 제공하는 장치 및 그방법
JP5205373B2 (ja) * 2006-06-30 2013-06-05 フラウンホーファーゲゼルシャフト・ツア・フェルデルング・デア・アンゲバンテン・フォルシュング・エー・ファウ 動的可変ワーピング特性を有するオーディオエンコーダ、オーディオデコーダ及びオーディオプロセッサ
US7940989B2 (en) * 2006-06-30 2011-05-10 New Jersey Institute Of Technology Apparatus and method for a generalized benford's law analysis of DCT and JPEG coefficients
CN101502089B (zh) * 2006-07-28 2013-07-03 西门子企业通讯有限责任两合公司 进行音频会议的方法、音频会议装置和编码器之间的切换方法
CN100489964C (zh) * 2006-08-18 2009-05-20 广州广晟数码技术有限公司 音频解码
BRPI0716854B1 (pt) * 2006-09-18 2020-09-15 Koninklijke Philips N.V. Codificador para codificar objetos de áudio, decodificador para decodificar objetos de áudio, centro distribuidor de teleconferência, e método para decodificar sinais de áudio
US7725311B2 (en) * 2006-09-28 2010-05-25 Ericsson Ab Method and apparatus for rate reduction of coded voice traffic
US20080080722A1 (en) * 2006-09-29 2008-04-03 Carroll Tim J Loudness controller with remote and local control
US8521314B2 (en) * 2006-11-01 2013-08-27 Dolby Laboratories Licensing Corporation Hierarchical control path with constraints for audio dynamics processing
JP2008197199A (ja) * 2007-02-09 2008-08-28 Matsushita Electric Ind Co Ltd オーディオ符号化装置及びオーディオ復号化装置
JP2009032070A (ja) * 2007-07-27 2009-02-12 Hitachi Software Eng Co Ltd 認証システム及び認証方法
US9866785B2 (en) * 2007-08-15 2018-01-09 Advanced Micro Devices, Inc. Automatic reduction of video display device power consumption
US8532306B2 (en) 2007-09-06 2013-09-10 Lg Electronics Inc. Method and an apparatus of decoding an audio signal
US20090079842A1 (en) * 2007-09-26 2009-03-26 Honeywell International, Inc. System and method for image processing
EP2235932A4 (en) 2007-12-20 2013-01-23 Ati Technologies Ulc METHOD, DEVICE AND MACHINE-READABLE MEDIUM FOR DESCRIPTING VIDEO PROCESSING
CN101527829B (zh) * 2008-03-07 2011-07-20 华为技术有限公司 视频数据处理方法及装置
JP4596044B2 (ja) * 2008-06-03 2010-12-08 ソニー株式会社 情報処理システム、情報処理方法
US8793498B2 (en) * 2008-08-11 2014-07-29 Nbcuniversal Media, Llc System and method for forensic analysis of media works
JP5603339B2 (ja) * 2008-10-29 2014-10-08 ドルビー インターナショナル アーベー 既存のオーディオゲインメタデータを使用した信号のクリッピングの保護
US8429287B2 (en) * 2009-04-29 2013-04-23 Rangecast Technologies, Llc Network audio distribution system and method
US8489774B2 (en) * 2009-05-27 2013-07-16 Spot411 Technologies, Inc. Synchronized delivery of interactive content
US8914137B2 (en) 2009-06-19 2014-12-16 Dolby Laboratories Licensing Corporation Upgradeable engine framework for audio and video
JP4894896B2 (ja) * 2009-07-29 2012-03-14 株式会社Ｊｖｃケンウッド 音声信号処理装置及び音声信号処理方法
US8594392B2 (en) * 2009-11-18 2013-11-26 Yahoo! Inc. Media identification system for efficient matching of media items having common content
CN102131023A (zh) * 2010-01-12 2011-07-20 株式会社东芝 图像形成装置以及图像形成处理方法
EP2360681A1 (en) * 2010-01-15 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information
TWI557723B (zh) 2010-02-18 2016-11-11 杜比實驗室特許公司 解碼方法及系統
JP2011186187A (ja) * 2010-03-09 2011-09-22 Jvc Kenwood Holdings Inc 音声処理装置、音声処理方法および音声処理プログラム
US8812498B2 (en) * 2010-09-28 2014-08-19 Apple Inc. Methods and systems for providing podcast content
US8661170B2 (en) * 2010-11-23 2014-02-25 Olympus Corporation Nondestructive testing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070112565A1 (en) 2005-11-11 2007-05-17 Samsung Electronics Co., Ltd. Device, method, and medium for generating audio fingerprint and retrieving audio data
KR101943295B1 (ko) * 2010-12-03 2019-04-17 돌비 레버러토리즈 라이쎈싱 코오포레이션 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR102043609B1 (ko) * 2010-12-03 2019-11-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR102155491B1 (ko) * 2010-12-03 2020-09-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 다수의 미디어 처리 노드들을 갖는 적응적 처리

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ATSC A/52:2012 Standard: Digital Audio Compression (AC-3, E-AC-3). ATSC, (2005.06.14. 공개 부분)
Charles Q Robinson, et al. Dynamic Range Control via Metadata. Audio Engineering Society Convention 107. Audio Engineering Society, 1999.09.27.
Fielder, et al. Introduction to Dolby digital plus, an enhancement to the Dolby digital coding system. Audio Engineering Society Convention 117. 2004.10.28-31.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220047394A (ko) * 2010-12-03 2022-04-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 다수의 미디어 처리 노드들을 갖는 적응적 처리
KR102497818B1 (ko) * 2010-12-03 2023-02-08 돌비 레버러토리즈 라이쎈싱 코오포레이션 다수의 미디어 처리 노드들을 갖는 적응적 처리

Also Published As

Publication number Publication date
JP2016136256A (ja) 2016-07-28
TWI759223B (zh) 2022-03-21
CN112002336A (zh) 2020-11-27
BR112013013353A2 (pt) 2016-09-13
BR112013013353B1 (pt) 2021-05-04
TWI665659B (zh) 2019-07-11
KR101895199B1 (ko) 2018-09-07
JP5879362B2 (ja) 2016-03-08
TWI716169B (zh) 2021-01-11
EP2647006A1 (en) 2013-10-09
IL282781B (en) 2022-06-01
IL298975A (en) 2023-02-01
AU2011336566A1 (en) 2013-05-30
TW202236263A (zh) 2022-09-16
SG190164A1 (en) 2013-07-31
IL304770A (en) 2023-09-01
KR20170113678A (ko) 2017-10-12
JP2023162414A (ja) 2023-11-08
CA3216692A1 (en) 2012-06-07
RU2015132824A (ru) 2018-12-24
RU2013130293A (ru) 2015-01-10
MX2019014282A (es) 2020-01-27
TW201735010A (zh) 2017-10-01
MY175099A (en) 2020-06-05
TW201928944A (zh) 2019-07-16
KR20220047394A (ko) 2022-04-15
KR20140106760A (ko) 2014-09-03
IL292856B1 (en) 2023-01-01
KR20190009850A (ko) 2019-01-29
JP6728456B2 (ja) 2020-07-22
JP2020013143A (ja) 2020-01-23
MY188206A (en) 2021-11-24
IL276179B (en) 2021-05-31
KR20130111601A (ko) 2013-10-10
IL282781A (en) 2021-06-30
IL226100A0 (en) 2013-06-27
CN105845145A (zh) 2016-08-10
MX370087B (es) 2019-11-29
KR102043609B1 (ko) 2019-11-12
CA2816889C (en) 2018-05-01
US20210280200A1 (en) 2021-09-09
KR20190127990A (ko) 2019-11-13
CN103392204B (zh) 2016-05-11
CA2816889A1 (en) 2012-06-07
KR101787363B1 (ko) 2017-11-15
IL298975B2 (en) 2024-01-01
IL253183A0 (en) 2017-08-31
JP7346617B2 (ja) 2023-09-19
KR20200106991A (ko) 2020-09-15
KR102497818B1 (ko) 2023-02-08
TW201236446A (en) 2012-09-01
US9842596B2 (en) 2017-12-12
CN111613233A (zh) 2020-09-01
KR20180100257A (ko) 2018-09-07
RU2568372C9 (ru) 2016-06-10
IL298975B1 (en) 2023-09-01
IL271502A (en) 2020-02-27
JP2014505898A (ja) 2014-03-06
JP7012786B2 (ja) 2022-01-28
TWI496461B (zh) 2015-08-11
JP2019152874A (ja) 2019-09-12
AR084086A1 (es) 2013-04-17
JP6530542B2 (ja) 2019-06-12
CN112002334A (zh) 2020-11-27
RU2019118805A (ru) 2020-12-18
IL271502B (en) 2020-08-31
JP2020170189A (ja) 2020-10-15
EP3627508A1 (en) 2020-03-25
KR101943295B1 (ko) 2019-04-17
RU2568372C2 (ru) 2015-11-20
IL276179A (en) 2020-09-30
US20180068666A1 (en) 2018-03-08
MX2013005898A (es) 2013-06-18
TWI733583B (zh) 2021-07-11
US20130246077A1 (en) 2013-09-19
KR102269529B1 (ko) 2021-06-29
TW202139181A (zh) 2021-10-16
TW202103145A (zh) 2021-01-16
CN105845145B (zh) 2020-08-25
CN103392204A (zh) 2013-11-13
JP2018163379A (ja) 2018-10-18
JP6581324B2 (ja) 2019-09-25
TWI581250B (zh) 2017-05-01
KR102155491B1 (ko) 2020-09-15
IL292856B2 (en) 2023-05-01
KR20230023828A (ko) 2023-02-17
JP6378703B2 (ja) 2018-08-22
CL2013001571A1 (es) 2013-10-11
WO2012075246A2 (en) 2012-06-07
TW202032537A (zh) 2020-09-01
KR20210081443A (ko) 2021-07-01
IL253183B (en) 2020-01-30
RU2695504C1 (ru) 2019-07-23
MX359652B (es) 2018-10-05
CA2998405C (en) 2023-12-05
CA2998405A1 (en) 2012-06-07
JP2022050646A (ja) 2022-03-30
TWI687918B (zh) 2020-03-11
KR101438386B1 (ko) 2014-09-05
IL226100A (en) 2017-07-31
MX338238B (es) 2016-04-08
CN112002335A (zh) 2020-11-27
IL292856A (en) 2022-07-01
EP2647006B1 (en) 2019-09-18
TW201543469A (zh) 2015-11-16
TWI800092B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
US20210280200A1 (en) Adaptive processing with multiple media processing nodes
AU2020200861B2 (en) Adaptive Processing with Multiple Media Processing Nodes
RU2793832C2 (ru) Способ аудиокодирования и способ аудиодекодирования

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right