JP6750061B2 - エンコードされたオーディオメタデータベースのイコライゼーション - Google Patents

エンコードされたオーディオメタデータベースのイコライゼーション Download PDF

Info

Publication number
JP6750061B2
JP6750061B2 JP2019046732A JP2019046732A JP6750061B2 JP 6750061 B2 JP6750061 B2 JP 6750061B2 JP 2019046732 A JP2019046732 A JP 2019046732A JP 2019046732 A JP2019046732 A JP 2019046732A JP 6750061 B2 JP6750061 B2 JP 6750061B2
Authority
JP
Japan
Prior art keywords
sequence
metadata
filtering
audio
downmix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019046732A
Other languages
English (en)
Other versions
JP2019091095A (ja
JP2019091095A5 (ja
Inventor
フランク バウムガルテ
フランク バウムガルテ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2019091095A publication Critical patent/JP2019091095A/ja
Publication of JP2019091095A5 publication Critical patent/JP2019091095A5/ja
Application granted granted Critical
Publication of JP6750061B2 publication Critical patent/JP6750061B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/006Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明の実施形態は概して、オーディオ信号のエンコーディング及びデコーディングと、様々なタイプの家庭用エレクトロニクスエンドユーザデバイスにおける再生の質を向上させるために、デコーディングされた信号の再生中における、エンコードされた信号に関連付けられたメタデータの使用とに関する。他の実施形態についても記述する。
(関連出願の相互参照)
本特許出願は、2015年7月31日に出願した仮出願第62/199,634号の先の出願日の利益を主張する。
デジタルオーディオコンテンツは、例えば音楽及び映画ファイルを含む様々な状況で見られる。ほとんどの場合、オーディオ信号は、エンコードされ、このエンコーディングは、必ずしもデータ速度の低下を目的とする必要はなく、得られるメディアファイル又はストリームの記憶又は伝送を可能にし、それによって、多数の配信又は伝送が(必要に応じて)同時に生じることを可能にするためのフォーマット変換を単に目的とし得る。メディアファイル又はストリームは、異なるタイプのエンドユーザデバイスにおいて受信することができ、エンコードされたオーディオ信号は、内蔵式スピーカ又は取外し可能なスピーカのいずれかを介して消費者に提示される前に、デコーディングされる。これは、インターネットを介してデジタルメディアを取得する消費者の欲求を刺激するのに役立った。デジタルオーディオコンテンツ(プログラム)の制作者及び販売業者は、オーディオコンテンツのエンコーディング及びデコーディングのために使用され得る、自由に使用することができるいくつかの業界標準を有する。これらには、Advanced Television Systems Committee,Inc.によって2005年6月14日に公開されたデジタルオーディオ圧縮標準(AC−3、E−AC−3)、B版、文書A/52B(「ATSC標準」)、ISO/IEC 13818−7内のMPEG−2トランスポートストリームに基づく欧州電気通信標準化機構(European Telecommunication Standards Institute、ETSI)TS 101 154デジタルビデオブロードキャスティング(Digital Video Broadcasting、DVB)、アドバンストオーディオコーディング(Advanced Audio Coding、AAC)(「MPEG−2 AAC標準」)、及び、国際標準化機構(International Standards Organization、ISO)によって公開されたISO/IEC14496−3(「MPEG−4オーディオ」)が挙げられる。
オーディオコンテンツは、デコーディングされ、次いで、それが最初にマスタリングされたのとは異なって処理され得る(レンダリングされ得る)。例えば、マスタリングエンジニアは、再生時に、拍手が後ろから聞こえ、リスナーがコンサートの聴衆の中に、すなわちバンド又はオーケストラの前に、座っているかのようにそれが(リスナーに)聞こえるように、オーケストラ又はコンサートを録音することができる。マスタリングエンジニアは、別法として、例えば再生時にリスナーが、彼がステージ上にいるかのようにコンサートを聞く(彼が「彼の周りで」楽器を聞き、「正面に」拍手を聞く)ように、(同コンサートの)異なるレンダリングを行うことができる。これはまた、再生室におけるリスナーの異なる視点の作成、又は異なる「傾聴場所」又は異なる再生室向けのオーディオコンテンツのレンダリングとも呼ばれる。
オーディオコンテンツはまた、異なる音響環境、例えば、ヘッドセット、スマートフォンスピーカフォン、又は、タブレットコンピュータ、ラップトップコンピュータ若しくはデスクトップコンピュータの内蔵式スピーカを介する再生向けにレンダリングされ得る。具体的には、例えば1人の話し声、爆発音、拍手、又は背景サウンドの、デジタル録音である、個々のデジタルオーディオオブジェクトが、所与の音響環境において任意の1つ又はそれ以上のスピーカチャネルを介して異なって再生され得る、オブジェクトベースのオーディオ再生技法が現在使用可能である。
しかしながら、(ある特定のオーディオコンテンツの)前にミキシングされた録音が、次いで、異なる音響環境にレンダリングされる、又は異なるリスナー視点からレンダリングされるとき、リスナーに聞こえるものとしての音のバランスは影響を受ける。そのような音のアンバランスを緩和するために、マスタリングエンジニアは、特定の音響環境向けに又は特定のリスナー視点向けにオーディオ信号を最適化するために、イコライゼーション(equalization、EQ)又はスペクトル成形をデジタルオーディオ信号に適用する。例えば、大きい映画館における再生向けの動画ファイルのレンダリングは、得られるサウンドが再生中に明るくなり過ぎるのを防ぐために(動画ファイルのデジタルオーディオトラックに)適用される、ある特定のEQを必要とし得る。しかしながら、ホームシアターシステムを介する再生向けの、例えばDVDファイル又はインターネットストリーミング映画ファイルとしての、ファイルのレンダリングは、部屋のサイズがより小さいこと(及び他の要因)を理由として、異なるEQを必要とする。
オーディオのミキシング及びマスタリング又は製作において、所望のレベル(例えば、ラウドネス)及び音のバランスを達成するために、2つの基本ツール、動的範囲制御又は圧縮(dynamic range control or compression、DRC)及びイコライゼーション(EQ)を適用することが一般的である。しかしながら、消費者中心の再生シナリオは、製作中に未知である。本発明の実施形態は、エンコードされた、デジタルオーディオコンテンツ(又は録音)ファイルのメタデータの部分であるEQ値を生成する製作又は流通システム(例えば、サーバーシステム)である。EQ値は、再生中に、デコーディングされた元の録音に適用される線形フィルタリング(スペクトル成形)を定義することができる。EQのこの適用は、いかなるダウンミックスとも無関係であるように定義することができる。
スペクトル成形は、録音が、エンコードされたコンテンツファイルからデコーダによって抽出された後に、適用され、これは、指定されたダウンミックスが形成される前に、ダウンミックスが実行された後に、又は、ダウンミックスの前と後の両方に起こり得る。メタデータベースのEQ値によって定義された線形フィルタリングは、特定の再生音響環境又は傾聴視点によりよく適合するために、特定の周波数帯域のエネルギーを強めて又は弱めて、録音内の周波数構成要素のバランスを調節するように設計される。したがって、これは、スペクトル的に調節された又は線形フィルタリングされたオーディオコンテンツの再生を可能にし、このフィルタリングは、エンコーディングステージで指定され、特定の音響的環境(例えば、公共の映画館より小さいリビングルーム)における又は特定のサウンドレンダリングシステム(例えば、特定のオーディオアンプゲイン及びスピーカ感度を有する)のための再生サウンドを改善することが意図されている。オーディオコンテンツファイルは、例えば、動画ファイル、例えばMPEG映画ファイル、オーディオのみのファイル、例えばAACファイル、又は、任意の適切なマルチメディアフォーマットを有するファイルでもよい。例えば、エンコードされたデジタル録音に関連付けられたメタデータは、MPEG−D DRCのいくつかの拡張フィールドにおいて運ばれ得る。メタデータベースの手法は、異なる再生シナリオのための基本バージョンの複数のレンダリングされたバージョン(メタデータにおけるEQシーケンスによってサポートされるような)を配信する能力とともに、単一の基本バージョンの録音のみが必要とされることを理由として、統一されたサウンドプログラムコンテンツ流通フォーマットを可能にする。
様々なフォーマットが、オーディオコンテンツファイルのメタデータ内においてEQ値を記憶する又は運ぶために可能である。例えば、メタデータは、EQ値の1つ又はそれ以上のシーケンスを含むように定義され得る。EQシーケンスの例示的部分については、以下の表を参照されたい。シーケンスの各要素は、特定のデコーディングされたチャネル又はオブジェクトで実行されるスペクトル成形(フィルタリング)動作のいくつかの態様を定義する値を含み得る。EQ値は、エンコードされたデジタルオーディオコンテンツの特定のレンダリングのために選択されている。EQ値のシーケンスは、(デコーディングされた録音内の)1つのサウンドプログラムコンテンツ全体に適用されるイコライゼーションフィルタリングを定義することができる。所与のファイルのメタデータ内の各EQシーケンス(ファイル内の同オーディオコンテンツを参照する)は、1つ又はそれ以上のチャネル又はオブジェクトのそれぞれのグループをフィルタリングするための命令を含み得る。(1つ又はそれ以上のEQシーケンスの)EQセットは、ヘッドセットを介して歌の再生中に適用されるEQフィルタリングを定義することができ、一方、別のEQセットは、スピーカドックを介して同歌の再生のために適用されるEQフィルタリングを定義することができる。したがって、所与のEQシーケンスにおいて定義されるフィルタリングは、元のオーディオチャネル又はオーディオオブジェクトのうちの1つ又はそれ以上のEQグループに関連付けられ、そのEQグループのチャネル又はオブジェクトにも適用されるいかなるダウンミックスと無関係であり得る。
EQ値(又はEQ命令又はペイロード)は、周波数(又は副帯域)領域において適用されるフィルタリングを定義することができる。例えば、EQペイロードは、グラフィックイコライザ設定、例えば高音、中音、及び低音、と類似する、2つ又はそれ以上の定義済みの周波数帯域のゲイン値を有し得る。その場合、EQフィルタリング動作は、デコーディングされたオーディオコンテンツの周波数領域表現にゲイン値をかけ得る。EQペイロードは、別法として、又は追加で、時間領域において適用されるフィルタリングを定義し得る。例えば、EQペイロードは、デジタルフィルタのタップ係数を含み得る。その場合、デコーディングされたオーディオコンテンツが、EQペイロードに従って、フィルタを介して、再生中に通過する、適応可能な又は可変のデジタルフィルタが、合成され得る(デコーダステージにおいて)。その場合、EQフィルタリング動作は、オーディオコンテンツの時間領域表現を合成されたデジタルフィルタを介して渡すことでもよく、後者は再生中に更新される。
上記で示唆されるように、EQフィルタリングの適用は、例えばオーディオコンテンツのフレームごとに再生中に変化し得る。しかしながら、EQはまた、より高いレイヤで変化するように設計され得る。例えば、オーディオオブジェクトがシーンに現れるとき、オーディオチャネルを選択するために適用されるEQは、オーディオオブジェクトのサウンドをよりよく受け入れるために、変化する必要があり得る。したがって、シーケンスフォーマットは、メタデータに組み込まれたEQ値が、エンコードされたオーディオコンテンツと同期して、時間とともに変化することを可能にし得る。例えば新しいEQがフェードインし、古いEQがフェードアウトすること、又は、EQのスイッチを突然入れること若しくは切ること(再生中に)を可能にし得る(EQメタデータについての)技法もまた本明細書に記載される。
上記概要は、本発明の全ての態様の網羅的なリストを含んでいない。本発明は、上でまとめた種々の態様の全ての適切な組合せによって実施できる全てのシステム及び方法、並びに以下の詳細な説明で開示されるもの、特に本出願によって提出される請求項において指摘されるものを含むと考えられる。このような組合せは、上記概要には具体的に記載していない特定の利点を有する。
本発明の実施形態は、限定としてではなく例として、添付の図面の図に示されており、図中、同じ参照符号は類似の要素を示している。本開示における本発明の「ある」実施形態又は「一」実施形態に対する言及は、必ずしも同じ実施形態に対するものではなく、それらは、少なくとも1つの実施形態を意味することに留意されたい。また、簡潔にするために及び図の総数を減らすために、所与の図が、本発明の複数の実施形態の特徴を説明するために使用されることがあり、図中の全ての要素が所与の実施形態のために必要とされる訳ではないことがある。
エンコードステージ処理を実行する例示的コンピュータシステム及びデコードステージ処理を実行するコンピュータシステムを構成する構成要素を示すブロック図である。 EQ、DRC及びダウンミックス能力を有するデコードステージ処理の一例を示す。 EQフィルタブロックの例示的デジタルフィルタカスケード構造である。
いくつかの実施形態について、添付の図面を参照しながら記述する。多数の詳細について記載するが、本発明の一部の実施形態は、これらの詳細なしに実施され得ることが理解される。他の場合には、本説明の理解を妨げないように、よく知られている回路、構造、及び技法については詳細に示していない。
図1は、デジタル録音の、エンコードステージ処理を実行するコンピュータシステム、及びデコードステージ処理を実行するコンピュータシステムを構成する構成要素の一例を示す。図1は、EQ、動的範囲制御(DRC)、及びダウンミックスブロックを含む、例示的処理チェーン(デコード又は再生ステージでの)を示すが、これらの全てが本発明の所与の実施形態において又は再生デバイスの所与のインスタンスにおいて存在する必要はないことを理解されたい。また、特定のオーディオコンテンツファイルのメタデータは、再生するためのEQを指定し得るが、DRC及びダウンミックスは指定しないことがある。
図1の元の録音は、いくつかのオーディオチャネルを有する音楽作品又はオーディオビジュアル作品、例えば映画、などの1つのサウンドプログラムコンテンツのビットストリーム又はファイル(これらの用語は、本明細書において互換的に使用される)の形でもよく、別法として、又はオーディオチャネルに加えて、この記録は、いくつかのオーディオオブジェクト、例えば、個々の楽器、ボーカル、サウンドエフェクトのサウンドプログラムコンテンツを含み得る。エンコードステージ処理は、例えば、演奏又は映画のプロデューサなど、サウンドプログラムコンテンツプロデューサ又は販売業者のコンピュータ(又はコンピュータネットワーク)によって実行され得、デコードステージ処理は、例えば、消費者のコンピュータ(又はコンピュータネットワーク)によって実行され得る。
エンコードステージ処理を開始すると、エンコーダ2が、いくつかの元のオーディオチャネル又はオーディオオブジェクトを有するデジタル録音を異なるデジタルフォーマットにエンコードする。新しいフォーマットは、(例えば、コンパクトディスク又はデジタルビデオディスクなど、携帯用データ記憶デバイス上の)エンコードされたファイルの記憶のために、又は家庭用コンピュータにビットストリームを通信する(例えば、インターネットを介して)ためにより適し得る。エンコーダ2はまた、例えばMPEG標準に従って、元のオーディオチャネル又はオーディオオブジェクトでの、不可逆又は可逆ビット速度低減(データ圧縮)、又はアップルロスレスオーディオコーデック(Apple Lossless Audio Codec、ALAC)などの可逆データ圧縮を実行することができる。
イコライゼーション(EQ)値ジェネレータ3は、EQ値のシーケンスを生成し、これらは、エンコードされたデジタル録音をデコーディングするときに、図示されているようなデコードステージ処理において適用されるEQフィルタリングを定義する。EQ値は、(デコーディングされた記録の)デジタルオーディオ信号に適用され得る固定の、時不変系の、線形フィルタリングプロセスを定義することができ、あるいは、それらは、EQ値ごとに、例えばデジタルオーディオフレームごとに、変化し得るスペクトル形状を有する、可変の線形フィルタリングを定義することができる(デジタルオーディオ信号は、フレーム又は時間チャンクにおいて処理され得る)。EQフィルタリングは、ダウンミックスの前に(例えば、デコーディングされたオーディオチャネルのうちの3つ以上が、次いで、ステレオに結合されるときに)、ダウンミックスの後に、あるいはダウンミックスの前と後の両方に適用され得る。EQフィルタリングはまた、記録のデコーディングされた、オーディオチャネル又はオーディオオブジェクトのうちの1つ又はそれ以上の定義済みのグループにのみ適用可能なものとして指定することができる。この態様について詳しくは以下に提供される。以下の表1及び2は、EQ値シーケンスの部分を示す例である。
一実施形態では、EQ値ジェネレータ3は、人間のユーザ、例えば、ミキシングエンジニア、によって操作可能であり、いくつかのグラフィックイコライザ設定に構成可能な、グラフィックイコライザを含む。元のオーディオチャネルは、グラフィックイコライザに入力され、グラフィックイコライザは、次いで、特定のグラフィックイコライザ設定に従ってデジタル録音の少なくとも一部をフィルタリングする。これらフィルタリングされたオーディオ信号は、次いで、ユーザが特定のグラフィックイコライザ設定のサウンド(オーディオチャネル又はオブジェクトの所与のグループの所与の部分又はセグメントの)を評価することを可能にするために、再生システム(オーディオパワーアンプ及びスピーカシステム(図示せず)を有する)に送られ得る。EQ値ジェネレータ3は、所与の入力記録について、EQ命令又は値を生成するデジタルフィルタシンセサイザを有し得る。このサウンドプログラムコンテンツの異なるチャネル又はオブジェクト(所与のグループに割り当てられるものとしての)は、それぞれのEQシーケンスのEQ値を割り当てられ得る。
一実施形態では、EQシーケンスのEQ命令又は値は、所望の伝達関数(所与の入力記録の望ましいグラフィックイコライザ設定であることが発見されたものに基づく)を有する直線状のデジタルフィルタを定義する。これは、時間領域スペクトル成形又は線形フィルタリングとも呼ばれる。別の実施形態では、線形フィルタリングは、通知されたEQグループ(元のオーディオチャネル又はオーディオオブジェクトのうちの1つ又はそれ以上の)に適用される副帯域領域フィルタリングを定義する、いくつかの周波数帯域の、周波数帯域ごとに1つの、イコライザゲインレベルを使用する周波数領域において定義される。
エンコードステージ処理はまた、エンコードされたデジタル録音を、メタデータとしてエンコードされたデジタル録音に関連付けられるEQ値の1つ又はそれ以上のシーケンス(EQ値ジェネレータ4によって生成された)と結合させるビットストリームマルチプレクサ4を有してもよい。この組合せの結果は、エンコードされた記録及びそれの関連付けられたメタデータを含むビットストリーム又はエンコードされたファイル(ここからは「ビットストリーム6」と概して呼ばれる)でもよい。メタデータは、ビットストリーム6内のエンコードされた記録に組み込まれ得る、あるいは、それは、(エンコードされた記録が関連付けられた)別個のファイル又はサイドチャネルにおいて提供され得ることに留意されたい。
図1を更に参照すると、デコードステージ処理は、以下の構成要素を有してもよく、それらの構成要素の全ては、例えば、コンピュータ、例えば、ラップトップコンピュータ、スマートフォン又はタブレットコンピュータなどの家庭用電子デバイス、のプログラムされたプロセッサとして実装され得る。ビットストリーム6は、例えばローカルに接続されたデバイス(例えば、CD若しくはDVDドライブ、スマートフォン)から読み取ること又はインターネットを介するリモートメディアサーバーからのストリーミングによって、ビットストリームデマルチプレクサ8によって受信される。ビットストリーム6は、b)エンコードされたデジタル録音に関連付けられたメタデータの部分としてのEQ値のシーケンスと結合された、a)エンコードされたデジタル録音を含む。EQシーケンスは、EQフィルタリングが適用される元のオーディオチャネル又はオーディオオブジェクトのうちの1つ又はそれ以上のグループである、EQグループを識別し、EQグループは、例えば、単一のグループ内になるようにある特定のチャネル又はオブジェクトを選択するミキシングエンジニアによって、エンコーディングステージにおいてEQ値ジェネレータ3を使用し、定義され得る。
デマルチプレクサ8は、マルチプレクサ4の逆の能力を有してもよく、エンコードされたオーディオ又はサウンドプログラムコンテンツを抽出し、それをデコーダ9に提供することができる。後者は、エンコーダ2の逆の能力を有してもよく、したがって、エンコードされた録音から、元のオーディオチャネル又はオーディオオブジェクトをデコーディングする。デマルチプレクサ8はまた、メタデータから、EQ値のシーケンス(関連付けられたEQグループ定義を含む)を抽出することができる。この情報は、EQグループ化装置10に渡され、それぞれ、Kグループに割り当てられた、2つ又はそれ以上のEQフィルタ11_1、11_2、...11_Kを構成する。本明細書で、グループは、1つ又はそれ以上のオーディオチャネル又はオーディオオブジェクトを指し、図示されるように、各グループについて提供される別個のEQ値のシーケンスが存在し得る。所与のグループに割り当てられたEQ値は、(デコーディングされたオーディオチャネル又はオブジェクトの)そのグループ内の各チャネル又はオブジェクトで動作するEQフィルタ11を定義する。一実施形態では、デコードステージEQフィルタリングプロセスが、有効にされたとき、指定されたグループは、ダウンミックスプロセッサ16もまた有効にされるかどうかとは無関係に、フィルタリングされる(各グループのメタデータにおいて指定されたEQ値に従って)。
更に図1を参照すると、ダウンミックスプロセッサ16は、任意選択的に、例えばメタデータからやはり抽出されるダウンミックスグループ化定義に従って、3つ又はそれ以上の(P>2)入力、EQフィルタリングされたチャネル又はオブジェクトを2つ又はそれ以上の(Q<P)出力チャネルに結合させる(例えば、5.1サラウンドを2つのチャネルステレオに変換して)ために、デコードステージにおいて有効にされ得る。ダウンミックスプロセッサ16からの出力チャネルは、次いで、レンダリングシステム(例えば、家庭用電子デバイスのオーディオパワーアンプ及びスピーカ(図示せず))によってサウンドに変換される。一実施形態では、メタデータにおいて指定されたEQフィルタリングは、ダウンミックスプロセッサ16が存在するかどうかにかかわらず実行される。メタデータが、ダウンミックスプロセスを指定するとき、それはまた、ダウンミックス動作の前にEQを適用する(デコーディングステージにおいて)ためのダウンミックス前EQ値と、ダウンミックス動作後にEQを適用するためのダウンミックス後EQ値もまた含み得る。例が、図2に関して以下に示される。
デコードステージ処理における別の任意選択機能は、ダウンミックスの前の、EQフィルタリングされたチャネル又はオブジェクトからの選択へのDRCの適用である。これを目的として、いくつかのDRCブロック14_1、14_2、...14_Lが、提供され得、各DRCブロック14_iは、それのグループに割り当てられた1つ又はそれ以上のチャネル又はオブジェクトに動的範囲圧縮を実行し、(1つ又はそれ以上のチャネル又はオブジェクトごとの)最大Lグループが存在し得る。(DRCが適用される)デコーディングされたチャネル又はオブジェクトのこのグループ化は、(上記のEQメタデータに加えた)メタデータに含まれるDRCグループ定義に従って構成されたDRCグループ化装置13によって実行される。したがって、メタデータは、(チャネル又はオブジェクトの)DRCグループと、そのグループのチャネルに適用される、再生中に時間とともに変化し得る所望の圧縮曲線を定義する閾値及び比率値など、DRC設定のそれぞれのセット(DRCシーケンス)とを識別する。したがって、同DRCシーケンスは、所与のDRCグループ内の全てのチャネル又はオブジェクトに適用される。メタデータは、EQのグループ化とは無関係のDRCのグループ化を指定し得る。
図2は、EQ、DRC及びダウンミックス能力を有するデコードステージ処理のより網羅的例を示す。全てのデコーディングされたチャネル又はオブジェクトは、EQグループ化装置10に使用可能にされる。抽出されたメタデータは、再生中にそれらにイコライゼーションを適用することを目的として、これらデコーディングされたチャネル又はオブジェクトのいくつかのグループへのグループ化を指定する。このグループ化は、メタデータ内の所与のEQ値シーケンスが、ダウンミックス前EQフィルタ11_3を構成することによって、関連付けられたEQグループ、例えばグループ3内の全てのチャネル又はオブジェクトに適用されることを意味する。言い換えれば、EQグループ定義が、ビットストリームデマルチプレクサ8(図2を参照)によってEQグループ化装置10に提供され、後者は、応答して、デコーディングされたチャネル又はオブジェクトを指定された2つ又はそれ以上の(K)グループにグループ化する。これらのKグループの各々は、次いで、このグループに関連付けられたEQ値シーケンスにおいて定義されたように構成されたそれぞれの、ダウンミックス前EQフィルタ11によってフィルタリングされる。EQフィルタ11の基本構造の一例は、図3において以下に示される。
一実施形態では、メタデータは、複数の「EQセット」を指定し得る。EQセットは、元のオーディオチャネル又はオブジェクトのグループ化と、それらのグループ化されたチャネル又はオブジェクトに適用されるEQフィルタリングとのための命令を含む、あるいはそれを定義する。言い換えれば、各EQセットは、元のオーディオチャネル又はオブジェクトのそれぞれのグループ化に関連付けられ、そこに定義されたEQフィルタリングは、異なる再生シナリオの間に適用され得る。例えば、大きい部屋におけるラウドスピーカを介するデコーディングされた録音の再生向けの1つのEQセット、小さいお屋における記録の再生向けの別のEQセットが存在してもよく、一方で、別のEQセットは、ヘッドセットを介するデコーディングされた録音の再生向けであってもよい。
更に図2を参照すると、メタデータが、DRCグループ定義及びDRC設定(DRCグループごとの)もまた含む場合、次いで、メタデータからのDRCグループ定義をDRCグループ化装置13に提供し、そしてまたメタデータからのDRC設定に従ってLダウンミックス前DRCブロック14を構成するという決定が、エンコードステージ処理において行われ得る。デコーディングされたオーディオチャネル又はオブジェクトが、ダウンミックス前EQフィルタによってフィルタリングされた後は、それらは、再グループ化され得、次いで、チャネル/オブジェクトグループ化解除装置12によってグループ化を解除され、次いで、ダウンミックスプロセッサ16に入力として提供される前に、ダウンミックス前DRCブロック14によって動的範囲圧縮され得る。
上記で指摘されたように、メタデータはまた、デコーディングされた録音にダウンミックス後の、直線状のスペクトル成形(イコライゼーション、又はEQフィルタリング)を実行するために、必要とされるEQシーケンス及びEQグループ化定義を含み得る。その場合、チャネル/オブジェクト再グループ化装置17は、ダウンミックスプロセッサ16の出力オーディオチャネル又はオブジェクトをMグループに(メタデータにおいて指定されたように)再グループ化するデコードステージにおいて用意され得る。また、MダウンミックスEQフィルタ18が、構成される(それらのそれぞれのEQシーケンスに従って)。再グループ化されたオーディオチャネル又はオブジェクトは、次いで、ダウンミックスEQフィルタ18を通過する。更なる態様として、ダウンミックス後DRC動作もまた、メタデータにおいて指定され得、それは、ダウンミックス後EQフィルタ18の出力でチャネル又はオブジェクトを再グループ化するチャネル/オブジェクト再グループ化装置19によって、ダウンミックス後の、EQフィルタリングされたオーディオチャネル又はオブジェクトを圧縮するために、メタデータに含まれるダウンミックス後EQグループ化定義に従って、メタデータにおいてダウンミックス後EQシーケンスによって指定されたように構成されたダウンミックス後DRCブロック20によって、実装され得る。最後に、チャネル/オブジェクトグループ化解除装置22は、ダウンミックス後DRCブロック20からの出力信号を再生システム内にあるいくつかのオーディオパワーアンプを駆動するために必要とされる配列に再シャッフルする。
メタデータを使用してデコードステージにEQ命令を配信するための上記の手法は、具体的に、フィーチャ映画(動画フィルム)を配給する又は生成するときに有効である。通常は、オーディオビジュアル作品の劇場マスタが、公共の映画館などの大きい部屋における再生向けに最適化されたサウンドトラックを有して、先ず生成される。具体的には、劇場マスタオーディオ又はサウンドトラックは、大きい動的範囲を有する。家庭用ミックス(例えば、DVDリリースのための)が、次いで、中音域はフラットなままで高音及び低音が弱められるようにサウンドトラックを修正するために、より小さい部屋のために選択された通常のX曲線(目標レベル対周波数)に基づいてサウンドトラックにイコライゼーションを適用することによって、作成される。また、劇場マスタは、より小さい部屋のために選択されたより少ない動的範囲を有するように家庭用ミックス向けに修正される。したがって、家庭用ミックスを生成するためにオーディオサウンドトラックの劇場用ミックスに適用される信号処理は、通常は、動的範囲圧縮(dynamic range compression、DRC)並びにイコライゼーション(EQ)を含む。
本発明の実施形態によれば、再生側(デコードステージ)で劇場用ミックスから家庭用ミックスを生成することを目的として、情報が、再生デバイスで実行されるために、動的範囲圧縮及び直線状のイコライゼーションフィルタリングを実行するための必要とされる動作を記載するフィーチャ映画のオーディオサウンドトラックのメタデータ内に組み込まれる。この手法の利点は、それが、単一の基本バージョンのサウンドトラックを含み、したがってビット速度効率がよいが、異なる再生シナリオのためのサウンドトラックの複数の異なるレンダリングされたバージョンを配信することもできる、統一された流通フォーマットを可能にすることである。
サウンドトラックに適用されるイコライゼーションは、改善された音のバランスを達成するために、再生環境におけるスピーカの特定の構成を考慮すべきである。特定のスピーカレイアウトに依存する固定のイコライゼーション曲線を採用するのではなくて、メタデータは、フィーチャ映画の配信の、場合によって変化し得るEQシーケンスを含み得る。例えば、EQシーケンスは、動画フィルムのプロデューサ又は販売業者によって、消費者のリビングルームにおける特定のスピーカレイアウトに特有のものに適合させられ得る。EQシーケンスはまた、サウンドトラックにおける特定のコンテンツ又はサウンド事象に適合させられ得る。
上記の手法はまた、オブジェクトベースのオーディオ(サウンドトラック又は録音が、オーディオチャネル及び/又はオーディオオブジェクトを含む)に適用可能である。オブジェクトベースのオーディオは、レンダリングされたオーディオオブジェクトの場所が制御されることを可能にすることによって、音響シーンの創作における柔軟性を実現する。改善された音のバランスを達成するために、各オーディオオブジェクトに適用されるイコライゼーションフィルタリングは、それのレンダリング場所、例えばどのスピーカがオーディオオブジェクトを変換するか、に応じて決まるべきである。したがって、メタデータにおいて指定されたEQシーケンスは、このオブジェクトベースのオーディオ特性を考慮して選択され得る。EQシーケンスの複数のEQセットは、同じベースオーディオオブジェクトにやはり基づいて、異なるミックス又はレンダリングの配信を可能にするために、メタデータに含まれ得る。EQシーケンスのセットは、例えば、リスナーの異なる仮想の場所での再生向けに定義され得る(例えば、あるセットのEQシーケンスは、仮想リスナーが、聴衆の一員であり音楽隊が演奏しているステージの「前に」座っていると見なされるとき向けに設計され得、一方、別のEQシーケンスは、仮想リスナーがステージ上にいるレンダリング向けに設計され得る)。
本発明の実施形態は、録音のプロデューサ又は販売業者によって制御されるように一貫したイコライゼーションを提供する(例えば、フィーチャ映画の一部として)ための手法であり、そこで、「オーディオシーン」は、メタデータにおいて指定されるように、異なるオーディオシーンのオーディオ品質を改善するために、デコーディングされた基本バージョンに適用されるイコライゼーションを使用し、録音のエンコードされた、基本バージョンの修正されていないシーンとは異なってレンダリングされ得る。この特定の解決法が有益である例は、エンコードされた録音(例えば劇場マスタ)がサラウンドコンテンツを有するが、ステレオラウドスピーカシステムによって再生デバイスにおいて再生成されない場合を含む。他の場合には、上記のイコライゼーション技法はまた、再生シーンが、高められたソースからのサウンドをそれが再生成することを可能にするハイスピーカ(height speaker)を有さない場合に有用である。
上記に紹介された図2の総合的な例において見られるように、システムの一実施形態は、図示されるようにダウンミックス前及びダウンミックス後の両方を含むデコーダ処理又はデコーダステージ内のいくつかのステージで直線状のスペクトル成形フィルタリング(EQ)を適用する任意選択を用意する。メタデータが、デコーディングされた録音に、EQ及びDRCの両方が適用されると指定した場合、次いで、EQが、DRCの適用の前に適用される。これはまた、図2に示され、ダウンミックス前EQフィルタ11は、これらの信号が再グループ化され(再グループ化装置13によって)次いでダウンミックス前DRCブロック14によって(そして、EQフィルタ18が、デコーディングされたオーディオチャネル又はオブジェクトをそれらがダウンミックス後DRCブロック20によって圧縮される前に処理する、ダウンミックス後ステージにおいて同様に)処理される前に、デコーディングされたオーディオチャネル又はオブジェクトを処理する(スペクトル的に成形する)。上記のように、オーディオチャネル又はオブジェクトのそれらにEQを適用することを目的とするグループ化は、動的範囲圧縮の適用のためのグループ化(メタデータにおいて指定される)とは無関係であり得ることに留意されたい。
EQ値シーケンス(メタデータ内の)における、各EQフィルタのパラメータ化とも呼ばれる、EQフィルタ11、18を定義するための様々な手法が取られ得る。例えば、デジタルフィルタの構造は、フィルタの周波数応答を定義するパラメータに加えて、メタデータにおいて指定され得る。例えば、各フィルタ11、18は、並列に接続されてフィルタブロックを形成し得る、例えば有限インパルス応答、FIR、及び/又は無限インパルス応答、IIRを含む、個々のフィルタ要素から構成され得、次いで、そのようなフィルタブロックのうちのいくつかが、カスケード表示される。そのような構造の一例は、EQフィルタ11又は18内にあるB(2つ又はそれ以上の)フィルタブロックのカスケードを示す、図3に示される。これはまた、デジタルフィルタカスケードとも呼ばれ、フィルタブロック0、1、...B−1をカスケード表示することによって形成される。各フィルタ要素が、同じ、単一の、デコーディングされたチャネル又はオブジェクトを入力として受信するように、各フィルタブロックは、図示されているように並列に接続された2つ又はそれ以上のFIR要素、IIR要素、又は両方の組合せを有する。この場合、スペクトル的に成形されることが望まれるオーディオスペクトルのJ周波数帯域に対応する、Jフィルタ要素が存在する。図3に示される配列は、所与のグループの各単一の、デコーディングされたチャネル又はオブジェクトについて複製され得る。一実施形態では、図3に示すような各フィルタカスケードは、同じ構成(特定のEQグループについて定義されるのと)を有し、EQグループ内に含まれる各デコーディングされたチャネル又はオブジェクトについて複製される。全てのチャネル又はオブジェクトのフィルタ要素(ここでは、フィルタカスケード)のセットは、ここでは、EQフィルタセットと呼ばれ、上記で示唆されるように、メタデータは、複数のEQフィルタセットを指定することができ、これらの複数のEQフィルタセットの各々は、異なる再生シナリオ(同ベース録音の)向けに設計又は意図されている。
所与のEQグループ内の全てのチャネル又はオブジェクトは、所与のグループ内の各チャネル又はオブジェクトの同じ、直線状のフィルタカスケード(例えば、図3に示されるような)の別個のインスタンスを有するフィルタ構造を介して並行して渡される。言い換えれば、所与のEQグループ内の全てのチャネル又はオブジェクトは、同じ方法でフィルタリングされる。カスケード内のフィルタ要素の構成又は定義は、特定のEQグループに適用されるフィルタリングを定義する、EQ値シーケンスによってメタデータにおいて指定される。
メタデータは、IIRフィルタのみがフィルタカスケードにおいて使用されると指定することができ、あるいは、メタデータは、IIR及びFIRフィルタの組合せを指定することができる。フィルタカスケードの定義は、デコーディングされた、元のオーディオチャネル又はオーディオオブジェクトのうちの1つ又はそれ以上の通知されたEQグループの時間領域フィルタリングのためのデコードステージにおいて構築又は合成される、各フィルタブロックのポール及びゼロを含み得る。ポール及びゼロの場所は、z面(半径及び角度)内でもよく、IIRフィルタパラメータと見なされ得る。別法として、EQシーケンスは、元のオーディオチャネル又はオーディオオブジェクトのうちの1つ又はそれ以上の通知されたEQグループの時間領域フィルタリングのためにも、フィルタ要素のデジタルフィルタ係数を指定することによってフィルタカスケードを定義することができる。更に図3を参照すると、互いに並列である(そして、フィルタブロックを構成する)各々のフィルタ要素の出力では、図示されるように、出力がフィルタカスケードの次のブロックのための単一の入力信号に結合される前に、それぞれの、スカラゲインが、適用され得る。
メタデータはまた、出力が、同フィルタカスケードの次のブロックのために単一の入力信号に結合される前に、フィルタブロック内の全ての並列接続されたフィルタ要素(並行して同入力チャネル又はオブジェクトを処理している)の出力の間の位相整合を得るために、位相位置調整フィルタが必要とされるかどうかを指定することができる。図3では、そのような位相位置調整フィルタは、「ブロックのための位相位置調整」のラベルを付けられ、所与のフィルタブロック内の各フィルタ要素の出力に適用される(必要に応じて)。位相位置調整は、同フィルタブロック内で、いくつかのフィルタ要素(いくつかの周波数ビンにおける)の出力を結合させるときに望ましくない位相効果を避けるのを助けるように設計される。位相位置調整フィルタは、その位相応答が全てのそれらの出力に亘って位相整合を得るように設計された、全てのパスフィルタとして定義され得る(メタデータにおいて)。
図3に示されるように、位相位置調整はまた、異なるチャネル又はオブジェクト間として実行され得る。言い換えれば、そのような位相位置調整は、あるEQグループのEQフィルタリングされたチャネル又はオブジェクトと、別のEQグループのEQフィルタリングされたチャネル又はオブジェクトとの間で実行される。これは、異なるチャネルグループを結合させる(例えば、ダウンミックスプロセッサ16によって)ときに、又はEQフィルタリングされたチャネル又はオブジェクトをサウンドに変換するときに、望ましくない効果を避けるためである。図3では、例えば、EQフィルタ11_1からの出力チャネル又はオブジェクトが、EQフィルタ11_2のそれらと位相整合されるように、そのような位相位置調整フィルタは、「カスケードを横断する位相位置調整」として通知され、カスケードの最後のフィルタブロック(フィルタブロックB−1)の出力に適用される。更に具体的には、これは、全てのEQフィルタリングされたチャネルグループを横断する位相整合を得るために行われるべきである(ここで、EQフィルタ11_1、11_2、...11_Kからの出力チャネル又はオブジェクトは、全て位相整合される)。位相位置調整フィルタは、場合によっては存在しなくてもよいことに留意されたい。そのようなものとして、一実施形態では、メタデータは、位相位置調整フィルタが存在する(そしてまた、メタデータにおいて指定される)、EQフィルタセットのための、それらのIIRフィルタのみを指定する。位相位置調整フィルタは、時間領域デジタルフィルタとして合成され得る(デコードステージにおいて)。
以下の表は、EQ値の例示的エンコーディング及び記述を示す、EQシーケンスの一部の例示的定義(メタデータにおける)である。
Figure 0006750061

Figure 0006750061
Figure 0006750061
上記で説明されたように、EQシーケンスは、指定されたEQグループ(デコーディングされたEQグループ)のデコーディングされたオーディオチャネル又はオブジェクトに適用されるスペクトル成形(EQフィルタリング)を定義する、EQ値を含む。一実施形態では、ダウンミックスもまたメタデータにおいて指定される(そして、デコーディングされたEQグループに適用される)かどうかにかかわらず、このエンコーディングステージ又は製作側定義のEQフィルタリングが、デコーディングされた元のオーディオチャネル又はオブジェクトのゲインを500Hz未満に下げるために、デコードステージプロセッサによって適用される。例えば、デコードステージプロセッサは、再生デバイスの特別な「深夜」動作モードに関連付けられたものとしてEQシーケンスを解釈し得る。この動作モードは、再生中に隣接する部屋で休んでいるかもしれない他者の迷惑になる低周波数騒音の可能性を低減するために、例えば再生デバイスのユーザによって手動で又は夜分に自動的に有効にされるようにセットされて(現在の時刻に基づいて)、有効にされ得る。特別なモードが有効にされた場合、次いで、デコードステージプロセッサは、ダウンミックスプロセッサ16の存在にかかわらず、EQシーケンスによって定義されるようにEQフィルタリングを適用する。これは、ゲインを落とし過ぎないように録音の内容もまた考慮することによって、低周波数帯域におけるゲインをどの程度落とすかを録音の製作側が決定することを可能にし、それによって、ダウンミックスが再生のために実行されるかどうかにかかわらずより優れたユーザ体験を実現する。
別の実施形態では、メタデータは更に、元のオーディオチャネル又はオーディオオブジェクトのうちの1つ又はそれ以上のEQグループのEQフィルタリングされたバージョンのラウドネス情報を指定し、このラウドネス情報は、エンコーディングステージにおいて推定され得る。
上記の実施形態は、大まかな発明を例示するものにすぎず、限定するものではないこと、また、他の種々の変更が当業者に想起され得るので、本発明は、図示及び記述した特定の構成及び配置には限定されないことが理解されるべきである。例えば、エンコーディング及びデコーディングステージの各々は、別々に、例えばオーディオコンテンツプロデューサマシンにおけるエンコーディングステージ及びオーディオコンテンツ購入者マシンにおけるデコードステージ、動作するものとして一実施形態では説明され得るが、これらは、インターネットを介して互いに通信し得、エンコーディング及びデコーディングもまた、同じマシン内で実行され得る(例えば、トランスコーディングプロセスの一部)。したがって、本説明は、例示的であり、限定ではないものとして見なされるべきである。

Claims (20)

  1. プログラムされたプロセッサによって実行される、デジタル録音のデコーディング側処理のための方法であって、
    ビットストリームを受信することであって、前記ビットストリームにおいて、複数の元のオーディオチャネル又はオーディオオブジェクトを有するエンコードされたデジタル録音が、前記エンコードされたデジタル録音に関連付けられたメタデータとして、デコーディング側のプログラムされたプロセッサによって適用されるEQフィルタリングを定義するイコライゼーション(EQ)値のシーケンスと結合されており、前記EQ値のシーケンスが、元のオーディオチャネル又はオーディオオブジェクトのグループ化に適用されるEQフィルタリングを定義するEQセットのEQセット識別子を含む、ことと、
    前記エンコードされたデジタル録音から、前記複数の元のオーディオチャネル又はオーディオオブジェクトをデコーディングすることと、
    前記デコーディングされた元のオーディオチャネル又はオーディオオブジェクトのうちの1つ又はそれ以上を、前記EQセットにおいて指定されたようにグループ化することと、前記メタデータ内の前記EQフィルタリングを定義する前記EQセットに従って、前記グループ化された元のオーディオチャネル又はオーディオオブジェクトをフィルタリングすることと
    を含む、方法。
  2. 前記EQ値のシーケンスが、前記EQセット識別子に関連してデコーダによって実行されるダウンミックスを定義するダウンミックス識別子を更に含み、前記メタデータ内のEQフィルタリングを定義する前記EQセットが、前記メタデータ内の前記ダウンミックス識別子によって定義されるダウンミックスと無関係である、請求項1に記載の方法。
  3. 前記EQ値のシーケンスが、前記EQセット識別子によって識別されるイコライゼーションに関連してDRCを実行する際にデコーダによって使用されるパラメータを有するDRCセットを識別するDRCセット識別子を更に含む、請求項1に記載の方法。
  4. 前記EQ値のシーケンスが、前記EQセット識別子に関連してデコーダによって実行される複数のダウンミックスを定義する複数のダウンミックス識別子を更に含む、請求項1に記載の方法。
  5. 前記EQ値のシーケンスが、前記EQセット識別子に関連してデコーダによって実行される複数のDRCセットを定義する複数のDRCセット識別子を更に含む、請求項1に記載の方法。
  6. 前記EQ値のシーケンスが、前記EQセットにおいて定義された前記EQフィルタリングの目的を定義するEQセット目的を更に含む、請求項1に記載の方法。
  7. 前記EQセット目的が、デフォルトEQ、大きい部屋、狭い空間、平均的な部屋、自動車室内、ヘッドホン、及び深夜から成る群から選択される、請求項6に記載の方法。
  8. 前記EQ値のシーケンスが、前記EQセットを第2のEQセットと結合して適用すべきかどうかの通知を更に含む、請求項1に記載の方法。
  9. 前記EQ値のシーケンスが、前記メタデータにおいてフィルタカスケードが定義されているかどうかについての通知を更に含む、請求項1に記載の方法。
  10. 前記EQ値のシーケンスが、前記フィルタカスケードのためのフィルタカスケードゲイン値が存在するかどうかについての通知を更に含む、請求項9に記載の方法。
  11. 前記EQ値のシーケンスが、フィルタカスケードゲイン値を更に含む、請求項1に記載の方法。
  12. 前記EQ値のシーケンスが、フィルタカスケードに存在するいくつかのフィルタブロック、及びメタデータ内のEQ係数を参照するフィルタブロックインデックスを更に含む、請求項11に記載の方法。
  13. 前記EQ値のシーケンスが、サブバンドゲイン値が存在するかどうかの通知、及びメタデータ内のサブバンドゲインベクトルへのインデックスを更に含む、請求項11に記載の方法。
  14. 前記EQ値のシーケンスが、EQチャネルグループが位相位置調整されているかどうかの通知を更に含む、請求項1に記載の方法。
  15. オーディオデコーディング側システムであって、
    プロセッサと、
    デジタル録音を処理するための命令を記憶したメモリと、
    を備え、前記プロセッサは、前記命令を実行した時に、
    ビットストリームを受信することであって、前記ビットストリームにおいて、複数の元のオーディオチャネル又はオーディオオブジェクトを有するエンコードされたデジタル録音が、前記エンコードされたデジタル録音に関連付けられたメタデータとして、前記プロセッサによって適用されるEQフィルタリングを定義するイコライゼーション(EQ)値のシーケンスと結合されており、前記EQ値のシーケンスが、元のオーディオチャネル又はオーディオオブジェクトのグループ化に適用されるEQフィルタリングを定義するEQセットのEQセット識別子を含む、ことと、
    前記エンコードされたデジタル録音から、前記複数の元のオーディオチャネル又はオーディオオブジェクトをデコーディングすることと、
    前記デコーディングされた元のオーディオチャネル又はオーディオオブジェクトのうちの1つ又はそれ以上を、前記EQセットにおいて指定されたようにグループ化することと、前記メタデータ内の前記EQフィルタリングを定義する前記EQセットに従って、前記グループ化されたチャネル又はオーディオオブジェクトをフィルタリングすることと、
    を行う、システム。
  16. 前記EQ値のシーケンスが、前記EQセット識別子に関連してデコーダによって実行されるダウンミックスを定義するダウンミックス識別子を更に含み、前記メタデータ内のEQフィルタリングを定義する前記EQセットが、前記メタデータ内の前記ダウンミックス識別子によって定義されるダウンミックスと無関係である、請求項15に記載のシステム。
  17. 前記EQ値のシーケンスが、前記EQセット識別子によって識別されるイコライゼーションに関連してDRCを実行する際にデコーダによって使用されるパラメータを有するDRCセットを識別するDRCセット識別子を更に含む、請求項15に記載のシステム。
  18. 前記EQ値のシーケンスが、前記EQセットにおいて定義された前記EQフィルタリングの目的を定義するEQセット目的を更に含む、請求項15に記載のシステム。
  19. 前記EQセット目的が、デフォルトEQ、大きい部屋、狭い空間、平均的な部屋、自動車室内、ヘッドホン、及び深夜から成る群から選択される、請求項18に記載のシステム。
  20. 前記EQ値のシーケンスが、前記メタデータにおいてフィルタカスケードが定義されているか旨の通知を更に含む、請求項15に記載のシステム。
JP2019046732A 2015-07-31 2019-03-14 エンコードされたオーディオメタデータベースのイコライゼーション Active JP6750061B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562199634P 2015-07-31 2015-07-31
US62/199,634 2015-07-31
US15/060,392 US9934790B2 (en) 2015-07-31 2016-03-03 Encoded audio metadata-based equalization
US15/060,392 2016-03-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018504931A Division JP6499374B2 (ja) 2015-07-31 2016-06-13 エンコードされたオーディオメタデータベースのイコライゼーション

Publications (3)

Publication Number Publication Date
JP2019091095A JP2019091095A (ja) 2019-06-13
JP2019091095A5 JP2019091095A5 (ja) 2019-07-18
JP6750061B2 true JP6750061B2 (ja) 2020-09-02

Family

ID=57882908

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018504931A Active JP6499374B2 (ja) 2015-07-31 2016-06-13 エンコードされたオーディオメタデータベースのイコライゼーション
JP2019046732A Active JP6750061B2 (ja) 2015-07-31 2019-03-14 エンコードされたオーディオメタデータベースのイコライゼーション

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018504931A Active JP6499374B2 (ja) 2015-07-31 2016-06-13 エンコードされたオーディオメタデータベースのイコライゼーション

Country Status (6)

Country Link
US (3) US9934790B2 (ja)
EP (2) EP3329489B1 (ja)
JP (2) JP6499374B2 (ja)
KR (2) KR102124547B1 (ja)
CN (2) CN107851449B (ja)
WO (1) WO2017023423A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005299410B2 (en) * 2004-10-26 2011-04-07 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
TWI447709B (zh) 2010-02-11 2014-08-01 Dolby Lab Licensing Corp 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
CN103325380B (zh) 2012-03-23 2017-09-12 杜比实验室特许公司 用于信号增强的增益后处理
CN112185399A (zh) 2012-05-18 2021-01-05 杜比实验室特许公司 用于维持与参数音频编码器相关联的可逆动态范围控制信息的系统
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
US9841941B2 (en) 2013-01-21 2017-12-12 Dolby Laboratories Licensing Corporation System and method for optimizing loudness and dynamic range across different playback devices
MX339611B (es) 2013-01-21 2016-05-31 Dolby Laboratories Licensing Corp Codificador y decodificador de audio con metadatos de limite y sonoridad de programa.
US9715880B2 (en) 2013-02-21 2017-07-25 Dolby International Ab Methods for parametric multi-channel encoding
CN104080024B (zh) 2013-03-26 2019-02-19 杜比实验室特许公司 音量校平器控制器和控制方法以及音频分类器
CN105190618B (zh) 2013-04-05 2019-01-25 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
EP4379714A2 (en) 2013-09-12 2024-06-05 Dolby Laboratories Licensing Corporation Loudness adjustment for downmixed audio content
CN105556837B (zh) 2013-09-12 2019-04-19 杜比实验室特许公司 用于各种回放环境的动态范围控制
CN105142067B (zh) 2014-05-26 2020-01-07 杜比实验室特许公司 音频信号响度控制
EP4060661B1 (en) 2014-10-10 2024-04-24 Dolby Laboratories Licensing Corporation Transmission-agnostic presentation-based program loudness
TWI631835B (zh) * 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 用以解碼媒體信號之解碼器、及用以編碼包含用於主要媒體資料之元資料或控制資料的次要媒體資料之編碼器
US9934790B2 (en) * 2015-07-31 2018-04-03 Apple Inc. Encoded audio metadata-based equalization
US9832590B2 (en) * 2015-09-12 2017-11-28 Dolby Laboratories Licensing Corporation Audio program playback calibration based on content creation environment
US10341770B2 (en) 2015-09-30 2019-07-02 Apple Inc. Encoded audio metadata-based loudness equalization and dynamic equalization during DRC
DE102016208242A1 (de) * 2016-05-12 2017-11-16 Wirtgen Gmbh Verfahren zur Kopplung eines Maschinenrahmens einer Bodenbearbeitungsmaschine mit einer Arbeitseinrichtung, Bodenbearbeitungseinrichtung und Verbindungsvorrichtung für das Verfahren
US10891962B2 (en) 2017-03-06 2021-01-12 Dolby International Ab Integrated reconstruction and rendering of audio signals
KR102036893B1 (ko) * 2018-03-30 2019-10-25 신대철 멀티레이어 바이노럴 컨텐츠 생성 방법 및 이를 위한 프로그램
JP7455836B2 (ja) * 2018-12-13 2024-03-26 ドルビー ラボラトリーズ ライセンシング コーポレイション デュアルエンドのメディア・インテリジェンス
WO2020132412A1 (en) * 2018-12-21 2020-06-25 Nura Holdings Pty Ltd Audio equalization metadata
US20220295207A1 (en) * 2019-07-09 2022-09-15 Dolby Laboratories Licensing Corporation Presentation independent mastering of audio content
BR112022010737A2 (pt) * 2019-12-02 2022-08-23 Dolby Laboratories Licensing Corp Sistemas, métodos e aparelho para conversão de áudio com base em canal para áudio com base em objeto
KR20210086086A (ko) 2019-12-31 2021-07-08 삼성전자주식회사 음악 신호 이퀄라이저 및 이퀄라이징 방법
KR20230001135A (ko) * 2021-06-28 2023-01-04 네이버 주식회사 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 처리하는 컴퓨터 시스템 및 그의 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930758A (en) * 1990-10-22 1999-07-27 Sony Corporation Audio signal reproducing apparatus with semiconductor memory storing coded digital audio data and including a headphone unit
US5912976A (en) * 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
EP1426925B1 (en) * 1997-12-24 2006-08-02 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for speech decoding
US7266501B2 (en) * 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
EP2320683B1 (en) * 2007-04-25 2017-09-06 Harman Becker Automotive Systems GmbH Sound tuning method and apparatus
US8300849B2 (en) 2007-11-06 2012-10-30 Microsoft Corporation Perceptually weighted digital audio level compression
US20090290725A1 (en) 2008-05-22 2009-11-26 Apple Inc. Automatic equalizer adjustment setting for playback of media assets
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
WO2010033384A1 (en) * 2008-09-19 2010-03-25 Dolby Laboratories Licensing Corporation Upstream quality enhancement signal processing for resource constrained client devices
US7755526B2 (en) 2008-10-31 2010-07-13 At&T Intellectual Property I, L.P. System and method to modify a metadata parameter
WO2011087460A1 (en) 2010-01-15 2011-07-21 Agency For Science, Technology And Research A method and a device for generating at least one audio file, and a method and a device for playing at least one audio file
US8908874B2 (en) * 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
JP6185457B2 (ja) * 2011-04-28 2017-08-23 ドルビー・インターナショナル・アーベー 効率的なコンテンツ分類及びラウドネス推定
TWI603632B (zh) * 2011-07-01 2017-10-21 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
US9607624B2 (en) * 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
KR20140128564A (ko) 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
US9858932B2 (en) 2013-07-08 2018-01-02 Dolby Laboratories Licensing Corporation Processing of time-varying metadata for lossless resampling
CN105556837B (zh) 2013-09-12 2019-04-19 杜比实验室特许公司 用于各种回放环境的动态范围控制
EP3522157B1 (en) 2013-10-22 2021-09-22 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Concept for combined dynamic range compression and guided clipping prevention for audio devices
EP3063955B1 (en) * 2013-10-31 2019-10-16 Dolby Laboratories Licensing Corporation Binaural rendering for headphones using metadata processing
US10341799B2 (en) * 2014-10-30 2019-07-02 Dolby Laboratories Licensing Corporation Impedance matching filters and equalization for headphone surround rendering
US9934790B2 (en) 2015-07-31 2018-04-03 Apple Inc. Encoded audio metadata-based equalization
US10341770B2 (en) 2015-09-30 2019-07-02 Apple Inc. Encoded audio metadata-based loudness equalization and dynamic equalization during DRC

Also Published As

Publication number Publication date
JP2019091095A (ja) 2019-06-13
KR102178231B1 (ko) 2020-11-12
JP6499374B2 (ja) 2019-04-10
CN111477253B (zh) 2022-02-01
WO2017023423A1 (en) 2017-02-09
CN107851449B (zh) 2020-04-17
US20180218746A1 (en) 2018-08-02
EP4290888A3 (en) 2024-02-21
KR20180020295A (ko) 2018-02-27
US9934790B2 (en) 2018-04-03
EP4290888A2 (en) 2023-12-13
CN111477253A (zh) 2020-07-31
CN107851449A (zh) 2018-03-27
JP2018528459A (ja) 2018-09-27
US20170032801A1 (en) 2017-02-02
KR102124547B1 (ko) 2020-06-18
US11501789B2 (en) 2022-11-15
EP3329489A1 (en) 2018-06-06
EP3329489B1 (en) 2023-11-22
US20200342886A1 (en) 2020-10-29
US10699726B2 (en) 2020-06-30
KR20200074243A (ko) 2020-06-24

Similar Documents

Publication Publication Date Title
JP6750061B2 (ja) エンコードされたオーディオメタデータベースのイコライゼーション
JP6778781B2 (ja) エンコードされたオーディオ拡張メタデータベースのダイナミックレンジ制御
JP5467105B2 (ja) オブジェクトベースのメタデータを用いてオーディオ出力信号を生成するための装置および方法
KR101849612B1 (ko) 새로운 미디어 장치 상에 내장된 라우드니스 메타데이터를 갖거나 또는 갖지 않고 미디어의 정규화된 오디오 재생을 위한 방법 및 장치
CN106796799B (zh) 高效drc配置文件传输

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200812

R150 Certificate of patent or registration of utility model

Ref document number: 6750061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250