JP5514803B2 - オブジェクトベースのオーディオコンテンツの生成/再生方法、およびオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体 - Google Patents

オブジェクトベースのオーディオコンテンツの生成/再生方法、およびオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体 Download PDF

Info

Publication number
JP5514803B2
JP5514803B2 JP2011506197A JP2011506197A JP5514803B2 JP 5514803 B2 JP5514803 B2 JP 5514803B2 JP 2011506197 A JP2011506197 A JP 2011506197A JP 2011506197 A JP2011506197 A JP 2011506197A JP 5514803 B2 JP5514803 B2 JP 5514803B2
Authority
JP
Japan
Prior art keywords
information
preset
based audio
mixing information
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011506197A
Other languages
English (en)
Other versions
JP2011523083A (ja
Inventor
ジャン、インソン
ソ、ジョンイル
キム、フイ、ヨン
リー、テ、ジン
カン、キョンオク
ホン、ジン、ウ
キム、ジン、ウン
アン、チエトゥク
ハム、スンチュル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2011523083A publication Critical patent/JP2011523083A/ja
Application granted granted Critical
Publication of JP5514803B2 publication Critical patent/JP5514803B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04Studio equipment; Interconnection of studios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、オブジェクトベースのオーディオコンテンツに対するプリセット情報を効率的に格納することのできるオブジェクトベースのオーディオコンテンツの生成/再生方法、およびオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体に関する。
本発明は、知識経済部および情報通信研究振興院のIT源泉技術開発事業の一環として行った研究から導き出されたものである[課題管理番号:2008−F−011−01、課題名:次世代DTV源泉技術開発(標準化連係)−裸眼個人型3D放送技術開発(継続)]。
TV放送、ラジオ放送、DMB(Digital Multimedia Broadcasting)などのような放送サービスを介して提供される従来のオーディオ信号は、さまざまな音源から獲得されたオーディオ信号がミキシング(mixing)され1つのオーディオ信号として格納/送信される。
このような環境では、視聴者が全体オーディオ信号の強度などを調節することは可能であるが、オーディオ信号内に含まれる各音源別のオーディオ信号の強度を調節するなどの音源別のオーディオ信号の特性の制御は不可能となる。
しかし、オーディオコンテンツを制作する時、各音源別のオーディオ信号を合成せずに独立して格納するのであれば、コンテンツ再生端末では、各音源別のオーディオ信号に対する強度などを制御しながら該当コンテンツを視聴できるようになる。
このように、格納/送信端でいくつかのオーディオ信号を独立して格納/送信し、ユーザが受信機(コンテンツ再生装置)でそれぞれのオーディオ信号を適切に制御しながら聴取できるようにするオーディオサービスをオブジェクトベースのオーディオサービスという。
このようなオブジェクトベースのオーディオサービスでは、各オブジェクトの位置、音の強度、オブジェクトの位置に係る音響的特性などのような属性をプリセット(Preset)で定義して提供することにより、ユーザがこれらをオーディオコンテンツの再生に活用するようにしてもよい。すなわち、いくつかのプリセットオーディオ情報を生成し、ファイルの内部に含めてサービスするのであれば、受信側ではオブジェクトベースのオーディオサービスをより効率的に再生することができる。
従来のISOベースメディアファイルフォーマット(ISO-BMFF:ISO Base Media File Format)では、オーディオ、ビデオ、静止画などのさまざまな形態のメディアをすべて含む形態のファイル構造を定義している。前記のファイル構造は、メディアのインターチェンジ(interchange)、管理(management)、編集(editing)、プレゼンテーション(presentation)において柔軟で拡張可能な特徴がある。
このようなISOベースメディアファイルフォーマットにオーディオトラックとプリセット情報を追加し、格納または、送信すれば、オブジェクトベースのオーディオサービスをより効率的に提供することができる。
本発明の一実施形態は、複数のオーディオオブジェクトに対するプリセットを効率的に格納することのできるオブジェクトベースのオーディオコンテンツの生成方法を提供することを目的とする。
本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの生成方法は、複数のオーディオオブジェクトが入力されるステップと、前記入力された複数のオーディオオブジェクトを用いて少なくとも1つのプリセットを生成するステップと、前記複数のオーディオオブジェクトおよび前記少なくとも1つのプリセットの属性に対するプリセットパラメータを格納するステップとを含み、前記プリセットパラメータは前記オブジェクトベースのオーディオコンテンツに関するメディアファイルフォーマットで定義されるボックス(box)の形態で格納される。
この場合、前記メディアファイルフォーマットは、ISOベースメディアファイルフォーマット(ISO base media file format)構造であってもよい。
また、前記ボックスはmoovボックスを含み、前記moovボックスは前記moovボックス内に定義された第1ボックスを含み、前記第1ボックスは前記第1ボックス内に定義された第2ボックスを含み、前記プリセットパラメータは第1プリセットパラメータおよび第2プリセットパラメータを含み、前記第1プリセットパラメータは前記少なくとも1つのプリセットの数、および前記少なくとも1つのプリセットのうちのいずれか1つのプリセットのプリセットIDのうち少なくとも1つを含み、前記第1プリセットパラメータは前記第1ボックスに格納され、前記第2プリセットパラメータは前記第2ボックスに格納されてもよい。
また、本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの再生方法は、オブジェクトベースのオーディオコンテンツから複数のオーディオオブジェクトおよび少なくとも1つのプリセットを復元するステップと、前記少なくとも1つのプリセットに基づいて前記複数のオーディオオブジェクトをミキシングして出力オーディオ信号を生成するステップと、前記出力オーディオ信号を再生するステップとを含み、前記少なくとも1つの各プリセットはプリセットパラメータを含み、前記プリセットパラメータは前記オブジェクトベースのオーディオコンテンツに関するメディアファイルフォーマットで定義されるボックスの形態で前記オブジェクトベースのオーディオコンテンツに格納することができる。
また、本発明の一実施形態に係るオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体は、オブジェクトベースのオーディオコンテンツの規格情報を格納するftypボックス、前記オブジェクトベースのオーディオコンテンツを構成する複数のオーディオオブジェクトを格納するmdatボックス、および前記格納された複数のオーディオオブジェクトをプレゼンテーション(presentation)するメタデータ(meta data)を格納するmoovボックスを含み、前記複数のオーディオオブジェクトを用いて生成された少なくとも1つのプリセットの属性に対するプリセットパラメータは、前記ftypボックスおよび前記moovボックスのうちいずれか1つに格納される。
本発明によれば、複数のオーディオオブジェクトに対するプリセットを効率的に格納できるようになる。
本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの格納のためのメディアファイルフォーマット構造の基本形態を示す図である。 本発明の一実施形態に係るトラックとチャネルとの関係を示す図である。 本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの生成方法に関するフローチャートを示す図である。 本発明の一実施形態に係る「moov」の構造を示す図である。 本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの再生方法に関するフローチャートを示す図である。 本発明の他の一実施形態に係るオブジェクトベースのオーディオコンテンツの再生方法のフローチャートを示す図である。 本発明の一実施形態によりディスクリプション情報を含むオブジェクトベースのオーディオコンテンツの格納のためのファイルフォーマットの構造を示す図である。 本発明の一実施形態によりディスクリプション情報を含むオブジェクトベースのオーディオコンテンツの格納のためのファイルフォーマットの構造を示す図である。
以下では、本発明に係る実施形態を添付する図面を参照しながら詳細に説明する。しかし、次に例示する本発明の実施形態は、さまざまな異なる形態に変形することができ、本発明の範囲が次に詳述する実施形態に限定されることはない。本発明の実施形態は、当業界で通常の知識を有する者に対して本発明をより完全に説明するために提供される。
図1は、本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの格納のためのメディアファイルフォーマット構造の基本形態を示す図である。
図1を参照すれば、オブジェクトベースのオーディオコンテンツの格納のためのメディアファイルフォーマット構造は、大きくはオブジェクトベースのオーディオコンテンツの規格情報(すなわち、オブジェクトベースのオーディオコンテンツファイルのタイプ情報)が格納されるftypボックス(以下「ftyp」という)、オブジェクトベースのオーディオコンテンツを構成する複数のオーディオオブジェクトデータのプレゼンテーションのためのメタデータ(metadata)(例えば、復号化タイム(decoding time))が格納されるmoovボックス(以下「moov」という)、および複数のオーディオオブジェクトデータが格納されるmdatボックス(以下、「mdat」という)を含んで構成される。
「ftyp」および「moov」は、metaボックス(以下「meta」という)を含んで構成されるが、一般的に「meta」には「mdat」に格納された複数のオーディオオブジェクトデータに対するディスクリプションメタデータ(descriptive metadata)が格納される。
ここで、オブジェクトベースのオーディオコンテンツの格納のためのメディアファイルフォーマット構造は、ISOベースメディアファイルフォーマット(ISO-BMFF:ISO Based Media File Format)構造であることが好ましい。
以下では、ISOベースメディアファイルフォーマット(ISO-BMFF)構造にしたがって、オブジェクトベースのオーディオコンテンツの再生と関連するプリセットを複数のオーディオオブジェクトと共に格納してオブジェクトベースのオーディオコンテンツを生成する方法について記述することにする。しかし、上述したように、以下にて説明するオブジェクトベースのオーディオコンテンツ生成方法は、ISOベースメディアファイルフォーマット(ISO-BMFF)構造を有するオブジェクトベースのオーディオコンテンツに限定されることなく、MP4ファイルなどのようなマルチメディアデータを格納するためのメディアファイルフォーマット構造を有するマルチチャネルオーディオコンテンツに対しても拡張可能である。
本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの生成方法を説明するのに先立ち、オブジェクトベースのオーディオコンテンツに格納されるプリセットの属性を示すプリセットパラメータに対してまず説明することにする。プリセットパラメータは、下に羅列したプリセット情報のうち少なくとも1つを含むことができる。
1.プリセット名、プリセットID
「プリセット名」は、プリセットと対応する文字列(string)を意味し、「プリセットID」はプリセットと対応するそれぞれのプリセットと対応する整数(integer)を意味する。
2.プリセット数、デフォルトプリセットID
「プリセット数」は、オブジェクトベースのオーディオコンテンツに含まれるプリセットの数を意味する。
「デフォルトプリセットID(default preset ID)」は、オブジェクトベースのオーディオコンテンツが再生される場合において、ユーザインタラクション(user interaction)がない初期状態で一番最初に再生しなければならないプリセットIDを意味する。デフォルトプリセットIDは、オブジェクトベースのオーディオコンテンツに含まれるプリセットIDのうちいずれか1つのプリセットIDに対応することができる。
3.プリセット情報の表示有無
「プリセット情報の表示有無」は、オブジェクトベースのオーディオコンテンツの再生時にプリセット情報(一例として、下記にて説明する入力トラック別または入力チャネル別ボリューム(volume)情報または、入力トラック別または入力チャネル別の周波数利得(gain)情報)をユーザに表示するか否かに関する情報を意味する。
4.プリセットの編集可能有無
「プリセットの編集可能有無」は、オブジェクトベースのオーディオコンテンツの再生時のユーザがプリセットを編集できるのかに関する情報を意味する。
5.入力トラック(track)の数、入力トラックのID、入力トラック当たりの入力チャネル(channel)の数
「入力トラックの数」は、オブジェクトベースのオーディオコンテンツに格納される入力トラックの数を意味する。ここで入力トラックは音源(sound source)に対応することができる。すなわち、オブジェクトベースのオーディオコンテンツがボーカル(vocal)、ピアノ、ドラムで構成される場合、ボーカル、ピアノ、ドラムのそれぞれは、1つのトラックに構成することができる。
「入力トラックのID」は、それぞれの入力トラックと対応する整数(integer)を意味する。
「入力トラック当たりの入力チャネルの数」は、それぞれの入力トラックに含まれるチャネルの数を意味する。
以下、図2を参考にしてトラックおよびチャネルとの関係を説明することにする。
図2は、本発明の一実施形態に係るトラックとチャネルとの関係を示す図である。
図2では、ボーカルトラック210、ピアノトラック220、およびドラムトラック230を示している。
音源の録音時において、それぞれの音源を2チャネル(すなわち、ステレオチャネル)で録音する場合、各トラックは、2つのチャネルを含むことができる。すなわち、2チャネルでボーカル、ピアノ、およびドラムを録音する場合、ボーカルトラック210は第1チャネル211および第2チャネル212で構成され、ピアノトラック220は第1チャネル221および第2チャネル222で構成され、ドラムトラック230は第1チャネル231および第2チャネル232で構成することができる。図2では、すべてのトラックが同一のチャネルを含むように示したが、各トラック当たりに含まれるチャネルの数は互いに異なってもよい。
この時、オブジェクトベースのオーディオコンテンツの製作者がトラック別にプリセットを設定する場合、複数のオーディオオブジェクトはトラックと対応することができ、チャネル別にプリセットを設定する場合、複数のオーディオオブジェクトはチャネルに対応することができる。
6.出力チャネルのタイプ(type)、出力チャネルの数
「出力チャネルのタイプ」は、オブジェクトベースのオーディオコンテンツがどのチャネルを介して(によって)再生されるか否かに関する情報を意味し、「出力チャネルの数」は出力チャネルタイプに係る出力チャネルの数を意味する。
7.サウンド等化(equalization)のための周波数帯域(frequency band)の数、それぞれの周波数帯域の中心周波数(center frequency)、それぞれの周波数帯域の帯域幅(bandwidth)
「周波数帯域の数」は、信号の増幅や送信過程で発生する信号の変形を補正するためのサウンド等化が適用される周波数帯域の数を意味する。
8.入力トラック別または入力チャネル別ボリューム情報
「ボリューム情報」は、複数の各オーディオオブジェクトのボリュームに関する情報を意味する。オーディオオブジェクトが入力トラックと対応する場合、「入力トラック別ボリューム情報」がオブジェクトベースのオーディオコンテンツに格納され、オーディオオブジェクトが入力チャネルと対応する場合、「入力チャネル別ボリューム情報」がオブジェクトベースのオーディオコンテンツに格納される。
9.入力トラック別または入力チャネル別の周波数利得情報
「周波数利得情報」は、サウンド等化適用時の周波数利得に関する情報を意味するものである。オーディオオブジェクトが入力トラックと対応する場合、「入力トラック別周波数利得情報」がオブジェクトベースのオーディオコンテンツに格納され、オーディオオブジェクトが入力チャネルと対応する場合、「入力チャネル別周波数利得情報」がオブジェクトベースのオーディオコンテンツに格納される。
10.プリセットグローバル(global)ボリューム情報
「プリセットグローバルボリューム情報」は、複数のオーディオオブジェクト全体のボリュームを調節するための情報を意味する。
11.音像(sound image)の大きさおよび音像の角度
「音像の大きさ」および「音像の角度」は、オブジェクトベースのオーディオコンテンツに格納される複数のチャネルによって形成される音像の大きさ値および音像の角度値を意味する。
オブジェクトベースのオーディオコンテンツの製作者は、さまざまな方法によってISOベースメディアファイルフォーマット構造により、前記羅列した情報のうち少なくとも1つを含むプリセットパラメータを格納してオブジェクトベースのオーディオコンテンツを生成してもよい。
図3は、本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの生成方法に関するフローチャートを示す図である。
まず、ステップ310では、複数のオーディオオブジェクトが入力される。
次に、ステップ320では、入力された複数のオーディオオブジェクトを用いて少なくとも1つのプリセットを生成する。
最後に、ステップ330では、複数のオーディオオブジェクト、およびプリセットの属性に対するプリセットパラメータを格納する。前記言及した通り、プリセットパラメータは、前記羅列した情報のうち少なくとも1つを含むことができる。
この場合、プリセットパラメータは、オブジェクトベースのオーディオコンテンツに関するメディアファイルフォーマットで定義されるボックスの形態で格納される。
以下では、ステップ330でプリセットパラメータを格納する過程を詳細に説明することにする。
「ftyp」内に存在する「meta」または、「moov」内に存在する「meta」内にプリセットパラメータを格納
本発明の一実施形態によれば、プリセットパラメータは、「ftyp」内に存在する「meta」(以下、第1「meta」という)、または「moov」内に存在する「meta」(以下、第2「meta」という)内に格納することができる。
すなわち、上述したように、第1「meta」または、第2「meta」には歌の題名、歌手名、アルバム名などオブジェクトベースのオーディオコンテンツに対する一般的な情報を示すディスクリプション(description)情報(または、ディスクリプションメタデータ)が格納されるが、プリセットパラメータは前記のディスクリプション情報と共に格納することができる。
ディスクリプション情報が格納される「meta」と異なる別の「meta」にプリセットパラメータを格納
本発明の一実施形態によれば、プリセットパラメータは、オブジェクトベースのオーディオコンテンツに対するディスクリプション情報が格納される「meta」と異なる別の「meta」に格納することができる。
これは、ディスクリプション情報は、オブジェクトベースのオーディオコンテンツの識別と関連する情報であり、プリセットパラメータはオブジェクトベースのオーディオコンテンツの再生と関連する情報として、両情報の属性が互いに異なるため、これは互いに区分して管理(handling)されることが好ましいという点に起因するものである。
一例として、ディスクリプション情報は、第1「meta」に格納され、プリセットパラメータは第2「meta」に格納してもよい。
ISOベースメディアファイルフォーマットでは、1つのレベル(level)内に1つの「meta」だけが存在できるものと規定しているため、「ftyp」と「moov」のそれぞれは、下位レベルにおいて1つの「meta」だけを含むことができる。したがって、ディスクリプション情報とプリセットパラメータが区分して格納されるためには、互いに異なるレベルに存在する「meta」(すなわち、第1「meta」および第2「meta」)にディスクリプション情報およびプリセットパラメータがそれぞれ格納されなければならない。この場合、プリセットパラメータは、プレゼンテーションのためのメタデータの属性を有するため、ディスクリプション情報は第1「meta」に格納され、プリセットパラメータは第2「meta」に格納することができる。
他の一例として、ディスクリプション情報は、「meta」(第1「meta」および第2「meta」)にそのまま格納されており、プリセットパラメータは、「ftyp」または「moov」内に存在するmecoボックス(以下、「meco」という)内に格納してもよい。
「meco」は、ISOベースメディアファイルフォーマットで規定している付加的なメタデータを格納するためのボックス(Additional Metadata Contain Box)として、「meco」にはISOベースメディアファイルフォーマットで規定されない別のメタデータが格納されてもよい。したがって、プリセットパラメータは「ftyp」内に存在する「meco」または「moov」内に存在する「meco」のうちいずれか1つに格納することができる。
「moov」内に新しく定義されたボックスにプリセットパラメータを格納
本発明の一実施形態によれば、プリセットパラメータは、「moov」内に新しく定義されたボックスに格納することができる。
上述したように、プリセットパラメータとディスクリプション情報は、属性が互いに異なるため、プリセットパラメータはディスクリプション情報と別個で管理されることが好ましい。また、プリセットパラメータは、プレゼンテーションのためのメタデータの属性を有するため、「moov」内に格納されることが好ましい。したがって、プリセットパラメータを効率的に管理するためには「moov」内に新しいボックスを定義し、新しく定義されたボックス内にプリセットパラメータを格納することが好ましい。
図4は、本発明の一実施形態に係る「moov」の構造を示す図である。
図4に示すように、「moov」内には、2つのボックスを定義することができる。
第1ボックスは、「moov」内に定義するボックスとして、第1ボックスにはプリセットの全体的な情報を示すプリセットパラメータの第1プリセットパラメータが格納される。
以下では、第1ボックスをプリセットコンテナボックス(preset contain box)すなわち、「prco」と称することにする。
一例として、第1プリセットパラメータは、上述したプリセットの数およびデフォルトプリセットIDのうち少なくとも1つが含まれてもよい。デフォルトプリセットID(default preset ID)とは、オブジェクトベースのオーディオコンテンツが再生する場合において、ユーザインタラクションがない初期状態で一番最初に再生しなければならないプリセットIDを意味する。デフォルトプリセットIDは、オブジェクトベースのオーディオコンテンツに含まれるプリセットIDのうちいずれか1つのプリセットIDに対応することができる。
第2ボックスは、「prco」内に定義するボックスとして、第2ボックスにはプリセットの属性に対するパラメータの第2プリセットパラメータが格納される。
一例として、第2プリセットパラメータには、前記羅列した情報のうちプリセットの数およびデフォルトプリセットID以外の他の情報が含まれてもよい。以下では、第2ボックスをプリセットボックス(preset box)、すなわち、「prst」と称することにする。
「prco」内には、オブジェクトベースのオーディオコンテンツに含まれるプリセット数程の「prst」が存在する。もし、オブジェクトベースのオーディオコンテンツ内にプリセットが格納されない場合、「prco」内には「prst」が存在しない。
一例として、「prst」には、上述したプリセット情報のうちプリセットの数およびデフォルトプリセットIDを除く残りのプリセット情報を含むプリセットパラメータを格納してもよい。
本発明の一実施形態によれば、「moov」が「prco」および「prst」を含む場合、ISOベースメディアファイルフォーマットの構造は、表1のように示すことができる。
Figure 0005514803
以下では、「prco」および「prst」のシンタックス(syntax)とセマンティックス(semantics)の一実施形態に対して詳しく説明することにする。
表2は、「prco」のシンタックスの一実施形態を示す。
Figure 0005514803
表2のシンタックスに係るセマンティックスは、下のようになる。
「num_preset」とは、「prco」内のプリセットの数を意味する。
「default_preset_ID」は、デフォルトプリセットIDをそれぞれ意味する。製作者が「default_preset_ID」を設定しなかった場合、プリセットID値が一番小さいプリセットのプリセットIDを「default_preset_ID」と設定することができる。
もし、「default_preset_ID」を「0」と設定した場合、オブジェクトベースのオーディオコンテンツに含まれる複数のオーディオオブジェクトのうち多オブジェクトオーディオ圧縮技術(SAOC:MPEG-D Spatial audio object coding)で符号化されて格納されたオーディオオブジェクトのビットストリーム内部に格納されたプリセットによりオブジェクトベースのオーディオコンテンツを再生してもよい。これに対するより詳しい説明は、図6に対する説明を参考にすることにする。
表3は「prst」の概括的なシンタックスを示す。
Figure 0005514803
表3のシンタックスに係るセマンティックスは、下のようになる。
「version」とは、「prst」のバージョンを意味する。
「flags」は、オブジェクトベースのオーディオコンテンツの再生時において、「prst」に格納された情報をユーザに表示するか否か、および「prst」に格納された情報に対するユーザの編集を許容するか否かに対するフラグ情報を意味する。
「flags」は、8ビット整数型(bit integer)のデータタイプを有するフラグ情報として、表4のような意味を有してもよい。
Figure 0005514803
すなわち、もし「flags」が0x01の場合、オブジェクトベースのオーディオコンテンツの再生時「prst」内に格納されたプリセット関連情報がユーザに表示されず、ユーザは、「prst」内に格納されたプリセット関連情報を編集することができない。
もし、「flags」が0x02の場合、オブジェクトベースのオーディオコンテンツの再生時「prst」内に格納されたプリセット関連情報は、ユーザに表示されるが、ユーザは「prst」内に格納された情報を編集することはできない。
もし、「flags」が0x03の場合、オブジェクトベースのオーディオコンテンツの再生時に「prst」内に格納された情報はユーザに表示され、ユーザは「prst」内に格納された情報を編集してもよい。
「preset_ID」は、プリセットIDを意味するものであり、1以上の値を有することができる。
「num_preset_track」は、プリセットと関連する入力トラックの数を意味する。
「preset_track_ID[num_preset_track]」は、入力トラックのIDを格納するアレイ(array)を意味する。
「preset_name」は、プリセットの名前を意味する。
「preset_global_volume」は、プリセットグローバルボリューム情報を意味する。
一般に、オブジェクトベースのオーディオコンテンツのリズム感を強調するために、製作者は、ドラムのような打楽器(percussion instrument)の音のボリュームを他の楽器の音のボリュームに比べて相対的に大きくしてプリセットを生成する。
ところが、もし打楽器の音と異なる楽器の音の相対的なボリューム差が小さい場合、十分なリズム感を感じることができなくなる。一方、もし打楽器の音と異なる楽器の音の相対的なボリューム差が大きい場合、全体的なボリュームの大きさが小さくなる。これは、一般的に打楽器の音は効果音(effector)のような属性を有しており、オブジェクトベースのオーディオコンテンツの総再生区間にわたり他の楽器の音に比べて打楽器の音の高周波成分が占める比重が大きいという点に起因するものである。
例えば、[ボーカル、ピアノ、ドラム]で構成されるプリセットのボリューム値が[250、200、400]の場合、全体的なボリュームは適当であるがリズム感が強調されず、プリセットのボリューム値が[100、150、400]の場合、リズム感は強調されるが全体的なボリュームは下がることになる。
これは、オブジェクトベースのオーディオコンテンツ内にプリセットグローバルボリューム情報をさらに格納することによって解決することができる。プリセットグローバルボリューム情報は、プリセットを構成するオーディオオブジェクトの全体的なボリュームを調節するための情報である。
すなわち、オブジェクトベースのオーディオコンテンツ内にセッティングされている基本グローバルボリューム値を基準として入力トラック全体のボリューム値を格納し、プリセットグローバルボリューム値を従来のグローバルボリューム値より大きいようにプリセットを生成するのであれば、オブジェクトベースのオーディオコンテンツの再生時の相対的なボリューム差が
Figure 0005514803
の比率によってさらに大きくなる。
一例として、基本グローバルボリューム値が「50」であり、[ボーカル、ピアノ、ドラム]で構成されたプリセットのボリューム値が[100、150、400]である場合、プリセットグローバルボリューム値を100に設定すれば、それぞれの楽器のボリュームは、2倍に大きくなることになる。これによって、主メロディを構成するボーカルおよびピアノのボリュームは約2倍大きくなり、オブジェクトベースのオーディオコンテンツの全体的なボリュームは適正な水準となって、ドラムのボリュームもまた2倍に大きくなることになり、リズム感を強調できるようになる。
このように、プリセットグローバルボリューム値を用いてボリュームを増幅させる場合、クリッピング(clipping)現象などの音質劣化が発生し得るが、一般的に打楽器の音を一定水準以上に増加させる場合、打楽器から発生する音質の劣化は、ユーザが認知することが難しいという実験的事実に基づくのであれば、プリセットグローバルボリューム情報の利用に係る音質劣化は問題にはならない。
また、プリセットグローバルボリューム情報は、基本グローバルボリューム値が最大の場合、全体的なボリュームの大きさを増加させるための用途にも用いられることができる。
すなわち、一般的なオブジェクトベースのオーディオコンテンツの再生において、基本グローバルボリューム値が最大の場合、各オーディオオブジェクトのボリュームを調節することが不可能である。しかし、もしオブジェクトベースのオーディオコンテンツ内にプリセットグローバルボリューム情報が格納されているであれば、基本グローバルボリューム値の最大値よりもさらに大きいボリュームでオブジェクトベースのオーディオコンテンツを再生できるようになる。
「preset_type」は、プリセットのタイプを意味する。
本発明の一実施形態によれば、プリセットタイプは、ミキシング情報の種類、ミキシング情報の適用対象、およびオブジェクトベースのオーディオコンテンツの再生時間に係るミキシング情報の変化有無に基づいて決定することができる。以下では、プリセットタイプの決定方法に対して詳細に説明することにする。
まず、プリセットタイプは、ミキシング情報の種類に基づいて決定してもよい。
一例として、ミキシング情報は、ボリューム情報およびサウンド等化情報のうち少なくとも1つを含むことができる。以下では、ボリューム情報だけを考慮して生成されたプリセットをボリュームプリセット(volume preset)、等化情報だけを考慮して生成されたプリセットを等化プリセット(equalization preset)、ボリューム情報と等化情報をすべて考慮して生成したプリセットをボリューム/等化プリセット(volume/equalization preset)と称することにする。
次に、プリセットタイプは、ミキシング情報の適用対象に基づいて決定することができる。
すなわち、入力トラックをオーディオオブジェクトと見なしてミキシング情報を適用するか、入力チャネルをオーディオオブジェクトと見なしてミキシング情報を適用するか否かによってプリセットタイプを決定することができる。以下では、入力トラックをオーディオオブジェクトと見なして生成されたプリセットをトラックプリセット(track preset)、入力チャネルをオーディオオブジェクトと見なして生成されたプリセットをチャネルプリセット(channel preset)と称することにする。
最後に、プリセットタイプは、オブジェクトベースのオーディオコンテンツの再生時間に係るミキシング情報の変化有無に基づいて決定するとができる。
すなわち、オブジェクトベースのオーディオコンテンツが再生されることについて、ミキシング情報が一定の値を有するのか、ミキシング情報が変化するか否かによってプリセットタイプを決定することができる。以下では、ミキシング情報が変化しない場合のプリセットをスタティックプリセット(static preset)、ミキシング情報が変化する場合のプリセットをダイナミックプリセット(dynamic preset)と称することにする。
本発明の一実施形態によれば、オブジェクトベースのオーディオコンテンツ内にダイナミックプリセットを格納する場合、「prst」内には入力トラックIDおよび前記入力トラックIDのミキシング情報をマッピング(mapping)するテーブル(table)を含んでもよい。この場合、従来のISO−BMFFで規定し、「stts」(decoding time to sample box)と前記テーブルに格納されたミキシング情報に基づいて入力トラックのサンプリングナンバーに係るミキシング情報を導き出すことができる(「stts」には復号化時間(decoding time)とサンプリングナンバー(sample number)との関係情報が格納されている)。これによって、オブジェクトベースのオーディオコンテンツの再生において任意アクセス(random access)が可能となり、オブジェクトベースのオーディオコンテンツに格納されるミキシング情報の量は減少し得る。
上述した情報を用いてプリセットを生成する場合、プリセットタイプは、表5と共に区分してもよい。表5では12つのプリセットが存在し得るものとして表示したが、これは分類要素によってさらに拡張することができる。
Figure 0005514803
表5を参考にすると、ミキシング情報は、ボリューム情報と等化情報を含み、これはプリセットタイプによって異なる形態で「prst」に格納されることが分かる。ここで、ミキシング情報の格納形態は、大きくプリセットタイプがstatic presetであるかdynamic presetであるかによって区分してもよい。
1.プリセットタイプがstatic presetの場合
プリセットタイプがstatic presetの場合、オブジェクトベースのオーディオコンテンツを構成する複数のフレームにおけるミキシング情報は、同一であるため、それぞれのオーディオオブジェクト別に同一のミキシング情報が格納される。ここで、ミキシング情報の格納形態は、プリセットタイプがtrack presetであるか、channel presetであるかによって細部的に区分してもよい。
1.1.プリセットタイプがstatic/track presetの場合(「preset_type」値が0、1、2の場合)
ミキシング情報がトラック別に格納される場合、出力チャネルタイプは、入力トラックのうち最も多いチャネルを有する入力トリックによって決定することができる。例えば、第1入力トラックが2つのチャネルを含み、第2入力トラックが1つのチャネルを含む場合、第1トラックに含まれるチャネルの数がさらに多いため、出力チャネルタイプはステレオに決定することができる。
この場合、「prst」内のプリセットのシンタックスは、表6〜表8のようになる。
Figure 0005514803
Figure 0005514803
Figure 0005514803
表6〜表8のシンタックスに係るセマンティックスは、下のようになる。
「preset_volume」は、ボリューム情報を意味する。
ボリューム情報は、入力トラックの入力ボリューム値と出力トラックの出力ボリューム値との間のボリューム利得値を含むことができる。ボリューム利得値は、百分率またはデシベル(dB)で表現することができる。
また、百分率またはデシベルで表現されたボリューム利得値は、量子化して格納することができる。この場合、量子化されたボリューム利得値は、表9および表10のように表現することができる。
Figure 0005514803
Figure 0005514803
「num_freq_band」は、サウンド等化が適用される周波数帯域の数を意味するものであり、0以上32以下の整数値を有する。
「center_freq」は、それぞれの周波数帯域における中心周波数を意味するものであり、0以上20,000以下の整数値を有する(単位:Hz)。
「bandwidth」は、それぞれの周波数帯域の帯域幅を意味するものであり、0以上20,000以下の整数値を有する(単位:Hz)。
「preset_freq_gain」は、それぞれの周波数帯域における周波数利得値を意味する。
ボリューム利得値と同様に周波数利得値もまた百分率またはデシベルで表現することができ、また、百分率またはデシベルで表現された周波数利得値は量子化して格納することができる。この場合、量子化された周波数利得値は、表11のように表現することができる。
Figure 0005514803
1.2.プリセットタイプがstatic/channel presetの場合(「preset_type」値が7、8、9の場合)
ミキシング情報がチャネル別に格納される場合、ミキシング情報は、入力トラックの数、入力トラック当たりのチャネルの数および出力チャネルタイプを考慮して格納することができる。この場合、「prst」内のプリセットのシンタックスは、表12〜表14のようになる。
Figure 0005514803
Figure 0005514803
Figure 0005514803
表12〜表14のシンタックスに係るセマンティックスは、下のようになる。
「num_input_channel[num_preset_track]」は、入力トラック当たりのチャネルの数に関する情報を格納するアレイを意味する。
一例として、「num_input_channel[num_preset_track]」とは、「moov」/「track」/「media」/「minf」/「stbl」/「stsd」内に存在する「channel_count」情報を用いて構成してもよい。入力トラックがモノチャネルを含む場合、「num_input_channel[num_preset_track]」とは「1」の値、入力トラックがステレオチャネルを含む場合、「num_input_channel[num_preset_track]」とは「2」の値を、入力トラックが5チャネルを含む場合、「num_input_channel[num_preset_track]」とは「5」の値をそれぞれ有することができる。
「output_channel_type」は、出力チャネルタイプを意味し、「num_output_channel」は出力チャネルの数を意味する。一例として、「output_channel_type」と「num_output_channel」は、表15のような関係を有することができる。
Figure 0005514803
また、本発明の一実施形態によれば、プリセットタイプがstatic/object/volume presetで、出力チャネルの数が5個の場合、「prst」に格納されるミキシング情報は、表16のように表現することができる。
Figure 0005514803
この場合、「prst」に格納されるそれぞれのパラメータは、下のような関係を有する。
num_preset_track=2
preset_track_ID[2]=[1、7]
num_input_channel[2]=[2、1]
num_output_channel=5
preset_volume=[50、0、50、0、0、0、80、80、0、0、50、50、0、30、30]
ここで、「preset_volume」を調べれば、一部ミキシング情報が重複して格納されるということが分かる。この場合、格納される情報の量が不要に増加することになるため、「prst」に格納される情報の量を減らすための方案が要求される。これに対するより詳しい説明は、「2−ロ、ハ、ニ」の部分を参考にすることにする。
2.プリセットタイプがdynamic presetの場合
プリセットタイプがdynamic presetの場合、オブジェクトベースのオーディオコンテンツを構成する複数のフレームでミキシング情報が変化するため、異なるミキシング情報を格納することができる。
したがって、ミキシング情報は、フレームナンバー(または、サンプリングナンバー(sample number))に係る行列と表現することができ、また、前記行列は入力トラックのフレームと、これに該当するミキシング情報をマッピングするテーブルの形態として表現することができる。
以下では、変化するミキシング情報が表17のようなマッピングテーブル形態で表示される場合、ミキシング情報を格納する方案に対して具体的に説明することにする。
Figure 0005514803
イ.フレームナンバーに係るミキシング情報値をそのまま格納
ロ.フレームナンバーに係るミキシング情報値を基準値(reference value)および基準値に対するミキシング情報差の値として格納
基準値は、基準フレームにおける基準ミキシング情報値を意味する。したがって、基準フレームにおける基準ミキシング情報値、および基準フレーム以外のフレームにおけるミキシング情報と基準ミキシング情報値との差の値を「prst」に格納することができる。
もし、基準値が0の場合、表17は、表18のように簡略して表現することができる。
Figure 0005514803
したがって、ミキシング情報が表18のようなテーブルの形態で「prst」に格納される場合、格納される情報の量を減少させることができるようになる。
ハ.重複を示すフラグ情報を用いてミキシング情報を格納
本方案は、以前のフレームのミキシング情報値と現在のフレームのミキシング情報値とが同一である場合、ミキシング情報値を格納せずに、現在のフレームのミキシング情報値と前フレームのミキシング情報値とが同一であることを示すフラグ情報を格納することによって、「prst」に格納される情報の量を減少させることができる方法である。
この場合、ミキシング情報値が時間によって値が変化するとしても、各フレームごとにミキシング情報が変化する可能性は大きくないため、フレームごとにフラグ値を付与することは効率的ではない。
したがって、本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの生成方法によれば、ミキシング情報値およびフラグ情報は、ミキシング情報が変化するフレーム間隔に関する情報に基づいて格納することができる。
例えば、ミキシング情報が表17のように変化する場合、ミキシング情報(すなわちボリューム情報)は、10個のフレーム単位で変化すると見なすことができる。したがって、表17は表19のように簡略して表現することができる。
Figure 0005514803
したがって、「prst」に格納されるそれぞれのパラメータは、下のような関係を有する。
dynamic_interval=10
volume_flag=[0、1、0、0、0、0]
preset_volume=[50、70、20、10、60]
ここで、「dynamic_interval」は、フレーム間隔を意味し、「volume_flag」はボリュームフラグ情報を意味する。前フレームのミキシング情報と現在のフレームのミキシング情報とが同一である場合、「volume_flag」は「1」の値を有し、前フレームのミキシング情報と現在のフレームのミキシング情報とが異なる場合、「volume_flag」は「0」の値を有する。
これを参考にすると、オブジェクトベースのオーディオコンテンツに含まれる複数のフレームが特定フレーム間隔によりフレームグループに区分され、ミキシング情報は、フレームグループ別に格納されるものと理解することができる。
すなわち本発明の一実施形態によれば、第1フレームグループに対する第1グループミキシング情報と第2フレームグループに対する第2グループミキシング情報が異なる場合、「prst」に格納されるプリセットパラメータは、第1グループミキシング情報、第2グループミキシング情報、第1グループミキシング情報と第2グループミキシング情報が異なるものであることを示す第1フラグ(flag)情報、および複数の各フレームグループに含まれるフレームの数(すなわち、フレーム間隔)を含む。
反対に、第1グループミキシング情報と第2グループミキシング情報が同一である場合、「prst」に格納されるプリセットパラメータは、第1グループミキシング情報、および第1グループミキシング情報と第2グループミキシング情報が同一であることを示す第2フラグ情報、および含んでいる複数の各フレームグループに含まれるフレームの数を含む。
ニ.ミキシング情報が変化する回数、ミキシング情報が変化するフレームのフレームナンバーを用いてミキシング情報を格納
本方案によれば、ミキシング情報が変化する回数、ミキシング情報が変化するフレームのフレームナンバー、および、これに係るミキシング情報が格納される。したがって、本方案は、任意アクセスの側面で、前記説明した「ハ」の方法よりもさらに効率的な方法といえる。
例えば、ミキシング情報が表17のように変化する場合、「prst」に格納されるミキシング情報の変化回数、ミキシング情報が変化するフレームナンバー、およびミキシング情報(すなわちボリューム情報)は、下のようになる。
num_updates=3
updated_sample_number=[1、11、21]
preset_volume=[50、20、50、10、70、60]
ここで、「num_updates」はミキシング情報の変化(アップデート)回数を、「updated_sample_number」はミキシング情報が変化(アップデート)するフレームナンバーをそれぞれ意味する。
以上にて、ミキシング情報が再生時間によって変化する場合、ミキシングパラメータを効率的に格納するための方案に対して詳しく調べた。前記の方案は、プリセットタイプがstatic presetの場合において、格納されるミキシング情報が重複する時にもやはり適用可能である。
例えば、「prst」に格納されるミキシング情報が表16のように表示される場合において、フラグ情報を用いる前記の「ハ」の方案によってミキシング情報を格納する場合、表16は表20のように変形することができる。
Figure 0005514803
したがって、「prst」に格納されるそれぞれのパラメータは、下のような関係を有する。
volume_flag=[0、0、0、0、1、1、0、1、0、1、0、1、0、0、1]
preset_volume=[50、0、50、0、80、0、50、0、30]
この場合、表12に表示された「prst」内のプリセットのシンタックスは、表21のように変形することができる。
Figure 0005514803
表21のシンタックスに係るセマンティックスは、下のようになる。
「volume_flag」はボリュームフラグ情報を意味するものであり、「volume_flag」は1ビットインテジャのデータタイプを有する。「volume_flag」前フレームのミキシング情報と現在のフレームのミキシング情報とが同一である場合、「volume_flag」は「1」の値を有し、前フレームのミキシング情報と現在のフレームのミキシング情報とが異なる場合、「volume_flag」は「0」の値を有する。
「num_volume_flag」とは、「volume_flag」のアレイの長さを意味する。
以下では、上記にて説明したプリセット格納方案に基づいてdynamic presetのミキシング情報を「prst」に格納する一実施形態を具体的に説明することにする。
2.1.プリセットタイプがdynamic/track presetの場合(「preset_type」値が3、4、5の場合)、
上述したようにプリセットタイプがtrack presetの場合、ミキシング情報の格納において出力チャネルのタイプは考慮されないことがある。
本発明の一実施形態によれば、「prst」内のプリセットのシンタックスは、表22〜表24のようになり得る。表22〜表24に表示されるシンタックスは、前記説明した「ニ」の方案を用いてミキシング情報を格納する方法と関連するシンタックスである。
Figure 0005514803
Figure 0005514803
Figure 0005514803
表22〜表24のシンタックスに係るセマンティックスは、下のようになる。
「num_updates」は、ミキシング情報の変化(アップデート)回数を意味する。
「updated_sample_number」は、ミキシング情報が変化(アップデート)されるフレームナンバーを意味する。
また、前記の「ハ」の方案によってミキシング情報を格納する場合、表22のシンタックスは表25のように変形することができる。
Figure 0005514803
表25のシンタックスに係るセマンティックスは、下のようになる。
「dynamic_interval」は、フレーム間隔を意味する。
2.2.プリセットタイプがdynamic/channel presetの場合(「preset_type」値が9、10、11の場合)、
上述したように、もしミキシング情報がチャネル別に格納されれば、ミキシング情報は、入力トラックの数、入力トラック当たりのチャネルの数および出力チャネルのタイプを考慮して格納することができる。
この場合、「prst」内のプリセットのシンタックスは、表26ないし表28のようになることもある。表26ないし表27のシンタックスは、前記説明した「ニ」の方法を用いてミキシング情報を格納する方法と関連するシンタックスである。
Figure 0005514803
Figure 0005514803
Figure 0005514803
以上では、ミキシング情報がボリューム情報および等化情報だけを含むものと記述したが、本発明の一実施形態によれば、ミキシング情報は少なくとも1つの入力チャネルによって形成される音像の大きさ値および前記音像の角度値をさらに含むことができる。音像の大きさ値および音像の角度値は、音像の仮想位置(virtual position)を決定するプリセットパラメータである。
この場合、音像の角度値は量子化して格納することができる。一例として、音像の角度値は、表29のようなテーブルの形態として表現することができる。
Figure 0005514803
また、本発明の一実施形態によれば、オブジェクトベースのオーディオコンテンツは、少なくとも1つのプリセットのうちのいずれか1つに基づいてミキシングされた、オーディオ信号のダウンミックスされた信号であるモノ/ステレオオーディオ信号をさらに含むことができる。
前記モノ/ステレオオーディオ信号は、オブジェクトベースのオーディオコンテンツの再生が不可能なオーディオ再生装置との互換性のために格納される。
オブジェクトベースのオーディオコンテンツがモノ/ステレオオーディオ信号をさらに含む場合、オブジェクトベースのオーディオコンテンツの再生が可能なオーディオ装置では、複数のオーディオオブジェクトおよび少なくとも1つのプリセットに基づいてオブジェクトベースのオーディオコンテンツを再生し、オブジェクトベースのオーディオコンテンツの再生が不可能なオーディオ装置では、モノ/ステレオオーディオ信号を再生することになる。これによって、オーディオ装置の種類に関係なくオブジェクトベースのオーディオコンテンツの再生が可能になる。
一例として、モノ/ステレオオーディオ信号は、「mdat」に格納することができる。この場合、「moov」/「trak」/「tkhd」内のflagsのセマンティックスは、表30のように修正することができる。表30でアンダーラインされた部分は削除されるセマンティックスであり、太字で表示された部分は追加されるセマンティックスである。
Figure 0005514803
MPEG−4 BIFS(Binary format For Scene)を用いて「moov」内に存在する「trak」内にプリセットパラメータを格納
本発明の一実施形態によれば、プリセットパラメータは、MPEG−4 BIFSを用いて「moov」内に存在するtrackボックス(以下「trak」という)内に格納することができる。
この場合、プリセットパラメータ中でプリセットの全体的な情報を示す第1プリセットパラメータ(一例として、プリセットの数、デフォルトプリセットIDなど)は、上記にて説明した「prco」に格納する事もでき、BIFS内に新しく定義されたノードを用いて格納することもできる。
BIFS内に新しく定義されたノードを用いて第1プリセットパラメータを格納する場合、ノードインターフェース(node interface)は、表31のように示すことができる。
表31において、「PresetSound」は新しく定義されたノードを意味する。
Figure 0005514803
表31のノードインターフェースに係るセマンティックスは、下のようになる。
「source」 fieldは、ISO/IEC 14496-11:2005のsubclause 7.2.2.116のセマンティックスに従う。
「numPreset」 fieldおよび「default_preset_ID」 fieldは、先に説明した「prco」のセマンティックスに従う。
また、プリセットパラメータのうちボリューム情報を示すプリセットパラメータは、AudioMix nodeおよびWideSound nodeを適切に組み合わせて格納してもよい。
また、プリセットパラメータのうちで、等化情報を示すプリセットパラメータは、従来のAudioRXProto nodeのうちPROTO audioEchoを用いて格納することもでき、BIFS内に新しく定義されたノードを用いて格納することもできる。
BIFS内に新しく定義されたノードを用いて等化情報(より正確に周波数利得値)を格納する場合、ノードインターフェース(node interface)は、表32のように示すことができる。表32で、「PersetAudioEqualizer」は新しく定義されたノードを意味する。
Figure 0005514803
表32のノードインターフェースに係るセマンティックスは、下のようになる。
「children」 fieldは、同時にミキシングできるノードの出力を意味する。「child」 fieldの一例として、AudioSource、AudioMixなどがある。
「addChildren」とは、「children」 fieldに追加されるノードリストを意味する。
「removeChildren」とは、「children」 fieldで削除されるノードリストを意味する。
「numInputs」 fieldは、入力トラックの数を意味する。
「params」 fieldは、[numInputs ×3・numFreqBands]の行列として、各行には、各入力トラックに適用される周波数帯域の等化パラメータ(等化情報)が格納される。これは表33のように示すことができる。
Figure 0005514803
ここで、「numFreqBands」は周波数帯域の数、「centerFreq」は各周波数帯域における中心周波数、「bandwidth」は各周波数帯域における帯域幅、「gain」は周波数帯域格別利得値をそれぞれ意味する。
すなわち、「params」 fieldの各行は、下記のように構成される。
numFreqBands = params [0]
centerFreq [0...numFreqBands-1] = params [1 ... numFreqBands]
bandwidth [0...numFreqBands-1] = params [numFreqBands + 1 ... 2・numFreqBands]
gain [0...numFreqBands-1] = params [2・numFreqBands+1 ... 3・numFreqBands]
MPEG-4 LASeR(Lightweight Application Scene Representation)を用いて「meta」内のxmlにプリセットパラメータを格納
本発明の一実施形態によれば、プリセットパラメータは、MPEG-4 LASeRを用いて「meta」内に存在するxmlボックス(以下、「xml」という)内に格納することができる。
この場合、表34のようなエレメント(element)およびアトリビュート(attribute)を新しく定義してプリセットパラメータを格納してもよい。
Figure 0005514803
その他
本発明の一実施形態によれば、複数のオーディオオブジェクトを含んで構成されるファイル内にプリセット情報がすでに記述されている場合、オブジェクトベースのオーディオコンテンツフォーマットでこれを参照するようにしたり、前記のプリセット情報をオブジェクトベースのオーディオコンテンツフォーマットに合うように変形してオブジェクトベースのオーディオコンテンツフォーマット形態でプリセットパラメータを格納してもよい。
また、本発明の一実施形態によれば、BIFSまたは、LASeRのような場面表現言語形態で構成されたファイル内でプリセット情報が記述されている場合、オブジェクトベースのオーディオコンテンツフォーマットでこれを参照するようにしたり、前記のプリセット情報をオブジェクトベースのオーディオコンテンツフォーマットスキーマに合うように変形してオブジェクトベースのオーディオコンテンツフォーマット形態でプリセットパラメータを格納してもよい。
また、本発明の一実施形態によれば、プリセットだけで構成されたファイルからプリセット情報を獲得する場合、オブジェクトベースのオーディオコンテンツフォーマットでこれを参照するようにしてもよい。また、プリセットだけで構成されたファイルに格納されたプリセット情報をオブジェクトベースのオーディオコンテンツフォーマット形態で格納してもよい。
上述したように、オブジェクトベースのオーディオコンテンツには、ディスクリプション情報(または、ディスクリプションメタデータ)が追加的に格納され、格納されたディスクリプション情報はオブジェクトベースのオーディオコンテンツの検索およびフィルタリングに活用されることができる。以下では、ディスクリプション情報を格納する方法を図7および図8を参考にして説明することにする。
図7および図8は、本発明の一実施形態によりディスクリプション情報を含むオブジェクトベースのオーディオコンテンツの格納のためのファイルフォーマットの構造を示す図である。
ISOベースのオブジェクトベースのオーディオコンテンツファイルフォーマットで、ディスクリプション情報は、アルバム(album)を表現するためのメタデータ(以下、「album level metadata」という)、歌(song)を表現するためのメタデータ(以下、「song level metadata」という)、およびトラック(track)を表現するためのメタデータ(以下、「track level metadata」という)を含んで構成することができる。ここで、それぞれのメタデータを整理すれば表35と共に示すことができる。
Figure 0005514803
前記のメタデータは、「歌(song)およびトラックを表現するためのメタデータ」と「アルバムを表現するためのメタデータ」の2種類タイプに分類することができる。ここで、「アルバムを表現するためのメタデータ」は、オブジェクトベースのオーディオコンテンツ内に格納された歌のうち同じアルバム内に収録されている歌に対する共通する情報を表現する。
album level metadataは、「ftyp」/「meta」に、song level metadataは、「moov」/「meta」に、track level metadataは、「moov」/「trak」/「meta」にそれぞれ格納することができる。これを整理すれば、表36のように示すことができる。
Figure 0005514803
前記のメタデータが格納されるISOベースのオブジェクトベースのオーディオコンテンツファイルフォーマット構造の形態は、図7および図8のように示すことができる。図7に示されたフォーマット構造は、1つのシングルタイプのファイル構造(single type file structure)であり、図8に示すフォーマット構造は、マルチタイプのファイル構造(multiple type file structure)である。
ここで、前記のメタデータは、mp7t(mpeg-7 type)によって管理することができる。
より詳しくは、track level metadataおよびsong level metadataのためにMPEG-7の「CreationInformation」、「MediaInformation」、および「Semantics DS」を用いることができる。album level metadataのためには、MPEG-7の「ContentCollection DS」および「CreationInformation DS」を用いることができる。これは、album level metadataが1つのアルバムに含まれる複数の歌に対する構造的情報(structure information)を含んでいるためである。
これを整理すれば、表37〜表39のように示すことができる。
Figure 0005514803
Figure 0005514803
Figure 0005514803
また、オブジェクトベースのオーディオコンテンツ内には、歌の歌詞(lyrics)などのようなオーディオコンテンツ関連情報を含んでもよいが、オブジェクトベースのオーディオコンテンツの再生時のオーディオコンテンツ再生装置に前記のオーディオコンテンツ関連情報を表示する場合、より効率的にユーザにオブジェクトベースのオーディオサービスを提供してもよい。オーディオコンテンツ関連情報は、オブジェクトベースのオーディオコンテンツの再生時間によって変化してもよい。以下では、再生時間によって変化するオーディオコンテンツ関連情報を「Timed Text」と称することにする。
オブジェクトベースのオーディオコンテンツファイルフォーマットでは、3GPP TS 26.245(以下、「3GPP Timed Text」と称することにする)、MPEG-4 Streaming Text FormatのようなTimed Text標準を用いてTimed Textを提供してもよい。
一例として、3GPP Timed Textを用いてTimed Textを提供する場合、3GPP Timed Textは、テキストサンプル(text sample)とサンプルディスクリプション(sample description)を含んで構成してもよい。
ここで、テキストサンプルは、テキストストリング(text string)とサンプルモディファイヤ(sample modifier)を含んで構成されるが、サンプルモディファイヤは、テキストストリングをレンダリングする方法に関する情報を含んでいる。
テキストサンプルは、ISO-BMFFで「mdat」内の1つのトラック(すなわちtext track)に格納される。格納されたテキストサンプルは、「moov」/「trad」/「mdia」/「minf」/「stbl」内の「stts」、「stsc」、「stco」などに格納された情報を用いてオーディオトラックのようなtimed mediaと同期して再生される。
また、サンプルディスクリプションは、テキストがレンダリングされる方法に関する情報を含む。一例として、サンプルディスクリプションは、ディスプレーされるテキストの位置、テキストの色、背景(background)色などに関する情報を含んでいる。サンプルディスクリプションは一方、「SampleEntry」を「TextSampleEntry」で拡張して「stsd」で記述することができる。
以上では、本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの生成方法について説明した。以下では、図5を参考にして前記のオブジェクトベースのオーディオコンテンツの生成方法によって生成されたオブジェクトベースのオーディオコンテンツを再生する方法について説明することにする。
図5は、本発明の一実施形態に係るオブジェクトベースのオーディオコンテンツの再生方法に関するフローチャートを示す図である。
まず、ステップ510では、オブジェクトベースのオーディオコンテンツから複数のオーディオオブジェクトおよび少なくとも1つのプリセットを復元する。
この場合、オブジェクトベースのオーディオコンテンツは、図3で説明したオブジェクトベースのオーディオコンテンツの生成方法により生成されたのである。
ステップ520では、少なくとも1つのプリセットに基づいて複数のオーディオオブジェクトをミキシングして出力オーディオ信号を生成する。
ステップ530では、生成された出力オーディオ信号を再生する。
上述したように、プリセットパラメータに含まれるデフォルトプリセットID値が「0」の値を有する場合、多オブジェクトオーディオ圧縮技術(SAOC)として符号化されて格納されたオーディオオブジェクトのビットストリーム内部に格納されたプリセットによりオブジェクトベースのオーディオコンテンツが再生できるが、以下では、図6を参考にして多オブジェクトオーディオ圧縮技術(SAOC)で符号化されて格納されたオーディオオブジェクトのビットストリーム内部に格納されたプリセットに基づいてオブジェクトベースのオーディオコンテンツが再生する過程を詳細に説明することにする。
図6は、本発明の他の一実施形態に係るオブジェクトベースのオーディオコンテンツの再生方法のフローチャートを示す図である。
まず、ステップ610では、オブジェクトベースのオーディオコンテンツ内にプリセットが存在するか否かを判断する。
ステップ610において、プリセットが存在するものと判断(すなわち、「num_preset」が「0」でない値を有するものと判断)する場合、ステップ620では、オブジェクトベースのオーディオコンテンツ内にデフォルトプリセットIDが存在するか否かを判断する。
ステップ620において、デフォルトプリセットIDが存在するものと判断(すなわち、「default_preset_ID」が「0」でない値を有するものと判断)した場合、ステップ630では、デフォルトプリセットIDと同一のプリセットIDを有するプリセットに基づいて複数のオーディオオブジェクトをミキシングして出力オーディオ信号を生成し、ステップ670では生成される出力オーディオ信号を再生する。
もし、ステップ610において、プリセットが存在しなものと判断(すなわち、「num_preset」が「0」の値を有するものと判断)するか、ステップ620でデフォルトプリセットIDが存在しなものと判断(すなわち、「default_preset_ID」が「0」の値を有するものと判断)する場合、ステップ640では、SAOCビットストリームが存在するか否かを判断する。
ステップ640において、SAOCビットストリームが存在すると判断した場合、ステップ650では、SAOCビットストリーム内にプリセットが存在するか否かを判断する。
ステップ650において、SAOCビットストリーム内にプリセットが存在すると判断した場合、ステップ660では、SAOCビットストリーム内に含まれる最初のプリセットに基づいて複数のオーディオオブジェクトをミキシングして出力オーディオ信号を生成し、ステップ670では、生成される出力オーディオ信号を再生する。
もし、ステップ640において、SAOCビットストリームが存在しないと判断するか、ステップ650でSAOCビットストリーム内にプリセットが存在しないと判断した場合、オブジェクトベースのオーディオコンテンツ内にプリセットがないものと判断してオブジェクトベースのオーディオコンテンツを再生しない。
なお、本発明の実施形態は、多様なコンピュータ手段によって実現することのできるプログラム命令形態によって具現され、コンピュータ読み出し可能媒体に記録することができる。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は本発明のために特別に設計して構成されたものであるとかコンピュータソフトウェアの当業者に公知されて使用可能になものであることもある。コンピュータ読み出し可能記録媒体の例としては、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなくインタープリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上記のハードウェア装置は、本発明の一実施形態の動作を行うために1つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。
上述したように、本発明では具体的な構成要素などの特定事項と限定される実施形態および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供したものに過ぎず、本発明は、前記の実施形態に限定されるものではなく、本発明が属する分野で通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。したがって、本発明の思想は説明した実施形態に限定して決定されてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等または等価的変形のある全てのものは本発明の思想の範疇に属するといえる。

Claims (45)

  1. オブジェクトベースのオーディオコンテンツを生成する方法において、
    複数のオーディオオブジェクトが入力されるステップと、
    前記入力された複数のオーディオオブジェクトを用いて少なくとも1つのプリセットを生成するステップと、
    前記複数のオーディオオブジェクトおよび前記少なくとも1つのプリセットの属性に対するプリセットパラメータを格納するステップと、
    を含み、
    前記プリセットパラメータは、前記オブジェクトベースのオーディオコンテンツに関するメディアファイルフォーマットで定義されるボックスの形態で格納され、
    前記プリセットパラメータは、プリセットに格納される情報に対するユーザの編集を許容するか否かを示すフラグおよび前記複数のオーディオオブジェクトに対するミキシング情報を含み、
    前記ミキシング情報は、
    音像の仮想位置を決定する少なくとも1つの入力チャネルによって形成される音像の大きさ値および前記音像の角度値をさらに含む、オブジェクトベースのオーディオコンテンツの生成方法。
  2. 前記ボックスは、moovボックスを含み、前記moovボックスは前記moovボックス内に定義された第1ボックスを含み、前記第1ボックスは前記第1ボックス内に定義された第2ボックスを含み、
    前記プリセットパラメータは、第1プリセットパラメータおよび第2プリセットパラメータを含み、前記第1プリセットパラメータは前記少なくとも1つのプリセットの数、および前記少なくとも1つのプリセットのうちのいずれか1つのプリセットのプリセットIDのうち少なくとも1つを含み、
    前記第1プリセットパラメータは、前記第1ボックスに格納され、前記第2プリセットパラメータは前記第2ボックスに格納される、請求項1に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  3. 前記ボックスは、ftypボックスおよびmoovボックスを含み、
    前記ftypボックスは、第1metaボックスを含み、前記moovボックスは第2metaボックスを含み、
    前記プリセットパラメータは、前記第1metaボックスおよび前記第2metaボックスのうちいずれか1つに格納される、請求項1に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  4. 前記オブジェクトベースのオーディオコンテンツのディスクリプション情報は、前記第1metaボックスに格納され、前記プリセットパラメータは前記第2metaボックスに格納される、請求項3に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  5. 前記ボックスは、ftypボックスおよびmoovボックスを含み、
    前記プリセットパラメータは、前記moovボックス内に存在するmecoボックスまたは、前記ftypボックス内に存在するmecoボックスのうちいずれか1つに格納される、請求項1に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  6. 前記プリセットパラメータを格納するステップは、前記オブジェクトベースのオーディオコンテンツのディスクリプション情報をさらに格納して、
    前記ディスクリプション情報は、mp7t(MPEG-7 type)に基づいて格納される、請求項1に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  7. 前記プリセットパラメータを格納するステップは、前記オブジェクトベースのオーディオコンテンツに関するタイムドテキスト(timed text)データをさらに格納し、
    前記タイムドテキストデータは、3GPP TS 26.245およびMPEG-4 Streaming Text Formatのうちいずれか1つに基づいて格納される、請求項1に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  8. 前記ボックスはmoovボックスを含み、前記moovボックスはtrackボックスを含み、
    前記格納するステップは、MPEG−4 BIFSを用いて前記moovボックス内に存在するtrackボックスに前記プリセットパラメータを格納する、請求項1に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  9. 前記ボックスはmetaボックスを含み、前記metaボックスはxmlボックスを含み、
    前記格納するステップはMPEG−4 LASeRを用いて前記xmlボックスに前記プリセットパラメータを格納する、請求項1に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  10. 前記プリセットパラメータは、前記複数のオーディオオブジェクトに対するミキシング情報を含み、
    前記ミキシング情報は、前記複数の各オーディオオブジェクトに対するボリューム情報および前記複数の各オーディオオブジェクトに対する等化情報のうち少なくとも1つを含む、請求項1に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  11. 前記プリセットパラメータは、前記複数のオーディオオブジェクト全体に対するボリューム情報をさらに含む、請求項10に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  12. 前記オブジェクトベースのオーディオコンテンツは、少なくとも1つのチャネルで構成された複数のトラックを含み、
    前記ミキシング情報は、前記少なくとも1つのチャネルによって形成される音像の大きさ値および前記音像の角度値をさらに含む、請求項10に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  13. 前記等化情報は、等化が適用される複数の周波数帯域の数、前記複数の各周波数帯域の中心周波数、前記複数の各周波数帯域の帯域幅、および前記複数の各周波数帯域における周波数利得値を含む、請求項10に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  14. 前記ボリューム情報は、前記複数の各オーディオオブジェクトに対する入力ボリューム値と前記複数の各オーディオオブジェクトに対する出力ボリューム値間のボリューム利得値を含み、
    前記ボリューム利得値および前記周波数利得値は、百分率またはデシベルで表現される、請求項13に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  15. 前記オブジェクトベースのオーディオコンテンツは、順次再生する複数のフレームで構成され、
    前記ミキシング情報は、前記複数のフレームの再生により変化する、請求項10に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  16. 前記プリセットパラメータは、前記複数のフレームのうち基準フレームにおける基準ミキシング情報、および前記基準フレーム以外のフレームにおけるミキシング情報と前記基準ミキシング情報との差を含む、請求項15に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  17. 前記複数のフレームは、互いに隣接した第1フレームグループ、および第2フレームグループを含む複数のフレームグループに区分され、
    前記プリセットパラメータは、
    前記第1フレームグループに対する第1グループミキシング情報と前記第2フレームグループに対する第2グループミキシング情報が異なる場合、前記第1グループミキシング情報、前記第2グループミキシング情報、前記第1グループミキシング情報と前記第2グループミキシング情報が異なるものであることを示す第1フラグ情報、および前記複数の各フレームグループに含まれるフレームの数を含み、
    前記第1グループミキシング情報と前記第2グループミキシング情報が同一である場合、前記第1グループミキシング情報、および前記第1グループミキシング情報と前記第2グループミキシング情報が同一であることを示す第2フラグ情報、および前記フレーム数を含む、請求項15に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  18. 前記プリセットパラメータは、前記ミキシング情報が変化する回数、前記ミキシング情報が変化するフレームのフレームナンバー、および前記ミキシング情報が変化するフレームにおけるミキシング情報を含む、請求項15に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  19. 前記オブジェクトベースのオーディオコンテンツは、少なくとも1つのチャネルで構成された複数のトラックを含み、
    前記プリセットパラメータは、前記複数のトラックの数、前記複数のトラック別チャネル数、前記オブジェクトベースのオーディオコンテンツが出力される少なくとも1つの出力チャネルの数をさらに含み、
    前記ミキシング情報は、前記少なくとも1つの出力チャネル別のミキシング情報で構成される、請求項10に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  20. 前記格納するステップは、前記少なくとも1つのプリセットのうちのいずれか1つに基づいてミキシングされた、オーディオ信号のダウンミックスされた信号であるモノ/ステレオオーディオ信号をさらに格納する、請求項1に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  21. 前記メディアファイルフォーマットは、ISOベースメディアファイルフォーマット構造の請求項1に記載のオブジェクトベースのオーディオコンテンツの生成方法。
  22. オブジェクトベースのオーディオコンテンツを再生する方法において、
    前記オブジェクトベースのオーディオコンテンツから複数のオーディオオブジェクトおよび少なくとも1つのプリセットを復元するステップと、
    前記少なくとも1つのプリセットに基づいて前記複数のオーディオオブジェクトをミキシングして出力オーディオ信号を生成するステップと、
    前記出力オーディオ信号を再生するステップと、
    を含み、
    前記少なくとも1つの各プリセットは、プリセットパラメータを含み、
    前記プリセットパラメータは、前記オブジェクトベースのオーディオコンテンツに関するメディアファイルフォーマットで定義されるボックスの形態で前記オブジェクトベースのオーディオコンテンツに格納され、
    前記プリセットパラメータは、プリセットに格納された情報に対するユーザの編集を許容するか否かを示すフラグおよび前記複数のオーディオオブジェクトに対するミキシング情報を含み、
    前記ミキシング情報は、
    音像の仮想位置を決定する少なくとも1つの入力チャネルによって形成される音像の大きさ値および前記音像の角度値を含む、オブジェクトベースのオーディオコンテンツの再生方法。
  23. 前記ボックスはmoovボックスを含み、前記moovボックスは前記moovボックス内に定義された第1ボックスを含み、前記第1ボックスは前記第1ボックス内に定義された第2ボックスを含み、
    前記プリセットパラメータは、第1プリセットパラメータおよび第2プリセットパラメータを含み、前記第1プリセットパラメータは前記少なくとも1つのプリセットの数、および前記少なくとも1つのプリセットのうちのいずれか1つのプリセットのプリセットIDのうち少なくとも1つを含み、
    前記第1プリセットパラメータは前記第1ボックスに格納され、前記第2プリセットパラメータは前記第2ボックスに格納される、請求項22に記載のオブジェクトベースのオーディオコンテンツの再生方法。
  24. 前記プリセットパラメータは、前記複数のオーディオオブジェクトに対するミキシング情報を含み、
    前記ミキシング情報は、前記複数の各オーディオオブジェクトに対するボリューム情報および前記複数の各オーディオオブジェクトに対する等化情報のうち少なくとも1つを含む、請求項22に記載のオブジェクトベースのオーディオコンテンツの再生方法。
  25. 前記プリセットパラメータは、前記複数のオーディオオブジェクト全体に対するボリューム情報をさらに含み、
    前記再生するステップは、前記複数のオーディオオブジェクト全体に対するボリューム情報に基づいて前記ミキシングされた複数のオーディオオブジェクトの全体ボリュームを調節する請求項24に記載のオブジェクトベースのオーディオコンテンツの再生方法。
  26. 前記等化情報は、等化が適用される複数の周波数帯域の数、前記複数の各周波数帯域の中心周波数、前記複数の各周波数帯域の帯域幅、および前記複数の各周波数帯域における周波数利得値を含む、請求項24に記載のオブジェクトベースのオーディオコンテンツの再生方法。
  27. 前記オブジェクトベースのオーディオコンテンツは、順次再生する複数のフレームで構成され、
    前記ミキシング情報は、前記複数のフレームの再生により変化する、請求項24に記載のオブジェクトベースのオーディオコンテンツの再生方法。
  28. 前記プリセットパラメータは、前記複数のフレームのうち基準フレームにおける基準ミキシング情報、および前記基準フレーム以外のフレームにおけるミキシング情報と前記基準ミキシング情報との差を含む、請求項27に記載のオブジェクトベースのオーディオコンテンツの再生方法。
  29. 前記複数のフレームは、互いに隣接した第1フレームグループ、および第2フレームグループを含む複数のフレームグループに区分され、
    前記プリセットパラメータは、
    前記第1フレームグループに対する第1グループミキシング情報と前記第2フレームグループに対する第2グループミキシング情報が異なる場合、前記第1グループミキシング情報、前記第2グループミキシング情報、前記第1グループミキシング情報と前記第2グループミキシング情報が異なるものであることを示す第1フラグ情報、および前記複数の各フレームグループに含まれるフレームの数を含み、
    前記第1グループミキシング情報と前記第2グループミキシング情報が同一である場合、前記第1グループミキシング情報、および前記第1グループミキシング情報と前記第2グループミキシング情報が同一であることを示す第2フラグ情報、および前記フレーム数を含む、請求項27に記載のオブジェクトベースのオーディオコンテンツの再生方法。
  30. 前記プリセットパラメータは、前記ミキシング情報が変化する回数、前記ミキシング情報が変化するフレームのフレームナンバー、および前記ミキシング情報が変化するフレームにおけるミキシング情報を含む、請求項27に記載のオブジェクトベースのオーディオコンテンツの再生方法。
  31. 前記オブジェクトベースのオーディオコンテンツは、少なくとも1つのチャネルで構成された複数のトラックを含み、
    前記プリセットパラメータは、前記複数のトラックの数、前記複数のトラック別チャネル数、前記オブジェクトベースのオーディオコンテンツが出力される少なくとも1つの出力チャネルの数をさらに含み、
    前記ミキシング情報は、前記少なくとも1つの出力チャネル別のミキシング情報で構成される、請求項24に記載のオブジェクトベースのオーディオコンテンツの再生方法。
  32. 前記メディアファイルフォーマット構造は、ISOベースメディアファイルフォーマット構造の請求項22に記載のオブジェクトベースのオーディオコンテンツの再生方法。
  33. 請求項1〜請求項32のうちのいずれか1項の方法を行うプログラムを記録したコンピュータ読み出し可能記録媒体。
  34. オブジェクトベースのオーディオコンテンツの規格情報を格納するftypボックスと、
    前記オブジェクトベースのオーディオコンテンツを構成する複数のオーディオオブジェクトを格納するmdatボックスと、
    前記格納された複数のオーディオオブジェクトをプレゼンテーションするメタデータを格納するmoovボックスと、
    を含み、
    前記複数のオーディオオブジェクトを用いて生成された少なくとも1つのプリセットの属性に対するプリセットパラメータは、前記ftypボックスおよび前記moovボックスのうちいずれか1つに格納されるオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有し、
    前記プリセットパラメータは、プリセットに格納された情報に対するユーザの編集を許容するか否かを示すフラグおよび前記複数のオーディオオブジェクトに対するミキシング情報を含み、
    前記ミキシング情報は、
    音像の仮想位置を決定する少なくとも1つの入力チャネルによって形成される音像の大きさ値および前記音像の角度値を含むデータを記録したコンピュータ読み出し可能記録媒体。
  35. 前記moovボックスは、前記moovボックス内に定義された第1ボックスおよび前記第1ボックス内に定義された第2ボックスを含み、
    前記プリセットパラメータは、第1プリセットパラメータおよび第2プリセットパラメータを含み、前記第1プリセットパラメータは前記少なくとも1つのプリセットの数、および前記少なくとも1つのプリセットのうちのいずれか1つのプリセットのプリセットIDのうち少なくとも1つを含み、
    前記第1プリセットパラメータは、前記第1ボックスに格納され、前記第2プリセットパラメータは前記第2ボックスに格納されるオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項34に記載のコンピュータ読み出し可能記録媒体。
  36. 前記プリセットパラメータは、前記複数のオーディオオブジェクトに対するミキシング情報を含み、
    前記ミキシング情報は、前記複数の各オーディオオブジェクトに対するボリューム情報および前記複数の各オーディオオブジェクトに対する等化情報のうち少なくとも1つを含むオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項34に記載のコンピュータ読み出し可能記録媒体。
  37. 前記プリセットパラメータは、前記複数のオーディオオブジェクト全体に対するボリューム情報をさらに含むオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項36に記載のコンピュータ読み出し可能記録媒体。
  38. 前記等化情報は、等化が適用される複数の周波数帯域の数、前記複数の各周波数帯域の中心周波数、前記複数の各周波数帯域の帯域幅、および前記複数の各周波数帯域における周波数利得値を含むオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項36に記載のコンピュータ読み出し可能記録媒体。
  39. 前記ボリューム情報は、前記複数の各オーディオオブジェクトに対する入力ボリューム値と前記複数の各オーディオオブジェクトに対する出力ボリューム値間のボリューム利得値を含み、
    前記ボリューム利得値および前記周波数利得値は、百分率またはデシベルで表現されるオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項37に記載のコンピュータ読み出し可能記録媒体。
  40. 前記オブジェクトベースのオーディオコンテンツは、順次再生する複数のフレームで構成され、
    前記ミキシング情報は、前記複数のフレームの再生により変化するオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項36に記載のコンピュータ読み出し可能記録媒体。
  41. 前記プリセットパラメータは、前記複数のフレームのうち基準フレームにおける基準ミキシング情報、および前記基準フレーム以外のフレームにおけるミキシング情報と前記基準ミキシング情報との差を含むオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項40に記載のコンピュータ読み出し可能記録媒体。
  42. 前記複数のフレームは、互いに隣接した第1フレームグループ、および第2フレームグループを含む複数のフレームグループに区分され、
    前記プリセットパラメータは、
    前記第1フレームグループに対する第1グループミキシング情報と前記第2フレームグループに対する第2グループミキシング情報が異なる場合、前記第1グループミキシング情報、前記第2グループミキシング情報、前記第1グループミキシング情報と前記第2グループミキシング情報が異なるものであることを示す第1フラグ情報、および前記複数の各フレームグループに含まれるフレームの数を含み、
    前記第1グループミキシング情報と前記第2グループミキシング情報が同一である場合、前記第1グループミキシング情報、および前記第1グループミキシング情報と前記第2グループミキシング情報が同一であることを示す第2フラグ情報、および前記フレーム数を含むオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項40に記載のコンピュータ読み出し可能記録媒体。
  43. 前記プリセットパラメータは、前記ミキシング情報が変化する回数、前記ミキシング情報が変化するフレームのフレームナンバー、および前記ミキシング情報が変化するフレームにおけるミキシング情報を含むオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項40に記載のコンピュータ読み出し可能記録媒体。
  44. 前記オブジェクトベースのオーディオコンテンツは、少なくとも1つのチャネルで構成された複数のトラックを含み、
    前記プリセットパラメータは、前記複数のトラックの数、前記複数のトラック別チャネル数、前記オブジェクトベースのオーディオコンテンツが出力される少なくとも1つの出力チャネルの数をさらに含み、
    前記ミキシング情報は、前記少なくとも1つの出力チャネル別のミキシング情報で構成されるオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項36に記載のコンピュータ読み出し可能記録媒体。
  45. 前記ファイルフォーマット構造は、ISOベースメディアファイルフォーマット構造のオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録した、請求項34に記載のコンピュータ読み出し可能記録媒体。
JP2011506197A 2008-04-23 2009-04-23 オブジェクトベースのオーディオコンテンツの生成/再生方法、およびオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体 Active JP5514803B2 (ja)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
KR20080037498 2008-04-23
KR10-2008-0037498 2008-04-23
KR20080040912 2008-04-30
KR10-2008-0040912 2008-04-30
KR10-2008-0060493 2008-06-25
KR20080060493 2008-06-25
US8109308P 2008-07-16 2008-07-16
US61/081,093 2008-07-16
KR10-2008-0114413 2008-11-18
KR20080114413 2008-11-18
KR10-2009-0034992 2009-04-22
KR1020090034992A KR101596504B1 (ko) 2008-04-23 2009-04-22 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
PCT/KR2009/002129 WO2009131391A1 (en) 2008-04-23 2009-04-23 Method for generating and playing object-based audio contents and computer readable recording medium for recoding data having file format structure for object-based audio service

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013024889A Division JP2013137558A (ja) 2008-04-23 2013-02-12 オブジェクトベースのオーディオコンテンツの生成/再生方法、およびオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体

Publications (2)

Publication Number Publication Date
JP2011523083A JP2011523083A (ja) 2011-08-04
JP5514803B2 true JP5514803B2 (ja) 2014-06-04

Family

ID=41217011

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011506197A Active JP5514803B2 (ja) 2008-04-23 2009-04-23 オブジェクトベースのオーディオコンテンツの生成/再生方法、およびオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体
JP2013024889A Pending JP2013137558A (ja) 2008-04-23 2013-02-12 オブジェクトベースのオーディオコンテンツの生成/再生方法、およびオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013024889A Pending JP2013137558A (ja) 2008-04-23 2013-02-12 オブジェクトベースのオーディオコンテンツの生成/再生方法、およびオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体

Country Status (6)

Country Link
US (1) US8976983B2 (ja)
EP (1) EP2279618B1 (ja)
JP (2) JP5514803B2 (ja)
KR (1) KR101596504B1 (ja)
CN (1) CN102067490A (ja)
WO (1) WO2009131391A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100071314A (ko) * 2008-12-19 2010-06-29 삼성전자주식회사 영상처리장치 및 영상처리장치의 제어 방법
EP2511908A4 (en) * 2009-12-11 2013-07-31 Korea Electronics Telecomm AUDIO CREATING APPARATUS AND AUDIO PLAYING APPARATUS FOR AUDIO BASED OBJECT BASED SERVICE, AND AUDIO CREATING METHOD AND AUDIO PLAYING METHOD USING THE SAME
US8886344B2 (en) * 2010-09-08 2014-11-11 Avid Technology, Inc. Exchange of metadata between a live sound mixing console and a digital audio workstation
CN103443854B (zh) 2011-04-08 2016-06-08 杜比实验室特许公司 用于混合来自两个编码位流的音频节目的元数据的自动配置
KR101648534B1 (ko) * 2011-04-21 2016-08-16 에스케이플래닛 주식회사 Iso 기반 파일 포맷을 이용한 재생 목록 구성 장치 및 방법
US11360076B2 (en) 2012-03-30 2022-06-14 Weavr Health Corp. Methods and systems to collect a biological sample
EP3748632A1 (en) * 2012-07-09 2020-12-09 Koninklijke Philips N.V. Encoding and decoding of audio signals
KR20140046980A (ko) * 2012-10-11 2014-04-21 한국전자통신연구원 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법
US20140114456A1 (en) * 2012-10-22 2014-04-24 Arbitron Inc. Methods and Systems for Clock Correction and/or Synchronization for Audio Media Measurement Systems
RU2015134093A (ru) * 2013-01-14 2017-02-16 Конинклейке Филипс Н.В. Многоканальный кодер и декодер с эффективной передачей информации о положении
KR102268933B1 (ko) * 2013-03-15 2021-06-25 디티에스, 인코포레이티드 다수의 오디오 스템들로부터의 자동 다-채널 뮤직 믹스
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
JP6204683B2 (ja) * 2013-04-05 2017-09-27 日本放送協会 音響信号再生装置、音響信号作成装置
US11358138B2 (en) 2013-07-19 2022-06-14 Boston Microfluidics Inc. Fluid sample collection device
US9411882B2 (en) * 2013-07-22 2016-08-09 Dolby Laboratories Licensing Corporation Interactive audio content generation, delivery, playback and sharing
EP2830049A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2879131A1 (en) * 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
EP3151240B1 (en) * 2014-05-30 2022-12-21 Sony Group Corporation Information processing device and information processing method
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
CN106796809B (zh) 2014-10-03 2019-08-09 杜比国际公司 个性化音频的智能访问
US10321256B2 (en) 2015-02-03 2019-06-11 Dolby Laboratories Licensing Corporation Adaptive audio construction
CN111586533B (zh) * 2015-04-08 2023-01-03 杜比实验室特许公司 音频内容的呈现
CN105336348B (zh) * 2015-11-16 2019-03-05 合一网络技术(北京)有限公司 视频编辑中多音频轨道的处理系统及方法
US10659904B2 (en) * 2016-09-23 2020-05-19 Gaudio Lab, Inc. Method and device for processing binaural audio signal
JP6670802B2 (ja) * 2017-07-06 2020-03-25 日本放送協会 音響信号再生装置
EP3701261A4 (en) 2017-10-27 2021-08-04 Boston Microfluidics, Inc. FLUID SAMPLE COLLECTION DEVICE
EP3780628A1 (en) * 2018-03-29 2021-02-17 Sony Corporation Information processing device, information processing method, and program
US11484877B2 (en) 2018-05-29 2022-11-01 Weavr Health Corp. Blood metering device with desiccant and support for storage media and inlay with flange
US11772097B2 (en) 2018-10-19 2023-10-03 Renegadexbio, Pbc Simultaneous spot test and storage of blood samples
US11490839B2 (en) 2018-10-23 2022-11-08 Weavr Health Corp. Funnel with extension tube to augment blood collection device
KR102105059B1 (ko) * 2019-06-27 2020-04-27 (주)에스에스알 보이스 피싱 방지 방법, 보이스 피싱 방지 서버, 이를 위한 컴퓨터 프로그램
WO2021065277A1 (ja) * 2019-09-30 2021-04-08 ソニー株式会社 情報処理装置、再生処理装置及び情報処理方法
KR20220150592A (ko) 2021-05-04 2022-11-11 한국전자통신연구원 볼륨 음원의 렌더링 방법 및 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3891143B2 (ja) 2002-06-14 2007-03-14 ヤマハ株式会社 状態設定装置及びプログラム
KR100478934B1 (ko) * 2002-10-22 2005-03-28 한국전자통신연구원 객체기반 엠팩-4 컨텐츠 편집/저작과 검색 장치 및 방법
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
EP1427252A1 (en) * 2002-12-02 2004-06-09 Deutsche Thomson-Brandt Gmbh Method and apparatus for processing audio signals from a bitstream
KR100724837B1 (ko) 2003-08-25 2007-06-04 엘지전자 주식회사 오디오 레벨 정보 기록 관리방법과 디지털 오디오기기에서의 오디오 출력 레벨 조절방법
KR100524770B1 (ko) 2003-09-17 2005-10-31 엘지전자 주식회사 주문형 비디오 서비스 장치 및 방법
US7979886B2 (en) * 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
JP3858883B2 (ja) * 2003-10-28 2006-12-20 ソニー株式会社 記録装置及びその制御方法
JP2008527583A (ja) 2005-01-04 2008-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 再生可能データの処理装置及び方法
EP1860649B8 (en) * 2005-02-24 2011-10-05 Panasonic Corporation Data reproduction device
KR20050092688A (ko) 2005-08-31 2005-09-22 한국정보통신대학교 산학협력단 통합 멀티미디어 파일 포맷 구조와 이를 기반으로 하는멀티미디어 서비스 제공 시스템 및 그 방법
KR100733965B1 (ko) 2005-11-01 2007-06-29 한국전자통신연구원 객체기반 오디오 전송/수신 시스템 및 그 방법
KR100802179B1 (ko) 2005-12-08 2008-02-12 한국전자통신연구원 프리셋 오디오 장면을 이용한 객체기반 3차원 오디오서비스 시스템 및 그 방법
EP2022263B1 (en) 2006-05-19 2012-08-01 Electronics and Telecommunications Research Institute Object-based 3-dimensional audio service system using preset audio scenes
JP4694448B2 (ja) * 2006-09-13 2011-06-08 アルパイン株式会社 オーディオ装置
WO2008039038A1 (en) * 2006-09-29 2008-04-03 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi-object audio signal with various channel
US8059853B2 (en) * 2006-11-27 2011-11-15 Sanjeev Kumar Singh Externally providing a device functionality on a hand-held, portable electronic device
JP5450085B2 (ja) 2006-12-07 2014-03-26 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
EP2595152A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transkoding apparatus
KR100868475B1 (ko) 2007-02-16 2008-11-12 한국전자통신연구원 객체기반 오디오 서비스를 위한 다중객체 오디오 콘텐츠파일의 생성, 편집 및 재생 방법과, 오디오 프리셋 생성방법
KR20080082916A (ko) * 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
KR100942142B1 (ko) 2007-10-11 2010-02-16 한국전자통신연구원 객체기반 오디오 콘텐츠 송수신 방법 및 그 장치
KR100999702B1 (ko) 2007-11-07 2010-12-08 한국전자통신연구원 오디오 프리셋 생성 및 소비 방법과 그 장치 및 컴퓨터로 읽을 수 있는 기록매체와 파일 구조

Also Published As

Publication number Publication date
WO2009131391A1 (en) 2009-10-29
EP2279618A1 (en) 2011-02-02
US20110064249A1 (en) 2011-03-17
JP2011523083A (ja) 2011-08-04
CN102067490A (zh) 2011-05-18
US8976983B2 (en) 2015-03-10
EP2279618B1 (en) 2014-04-16
KR101596504B1 (ko) 2016-02-23
JP2013137558A (ja) 2013-07-11
EP2279618A4 (en) 2012-11-21
KR20090112579A (ko) 2009-10-28

Similar Documents

Publication Publication Date Title
JP5514803B2 (ja) オブジェクトベースのオーディオコンテンツの生成/再生方法、およびオブジェクトベースのオーディオサービスのためのファイルフォーマット構造を有するデータを記録したコンピュータ読み出し可能記録媒体
KR100868475B1 (ko) 객체기반 오디오 서비스를 위한 다중객체 오디오 콘텐츠파일의 생성, 편집 및 재생 방법과, 오디오 프리셋 생성방법
CN1327436C (zh) 构造用于混合的音频流的方法和装置
JP6174326B2 (ja) 音響信号作成装置及び音響信号再生装置
US20160093333A1 (en) Recording medium recorded with multi-track media file, method for editing multi-track media file, and apparatus for editing multi-track media file
KR20100006300A (ko) 자유시점 av 서비스에 따른 파일 생성 방법
US20110069934A1 (en) Apparatus and method for providing object based audio file, and apparatus and method for playing back object based audio file
TW200419531A (en) A method of reproducing an audio stream
US9305602B2 (en) Object-based audio system, object-based audio providing method, and object-based audio playing method using preset function
KR101999351B1 (ko) 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
KR20090052780A (ko) 객체기반 오디오 서비스 제공 방법과, 이를 위한 다중객체오디오 콘텐츠 파일의 생성/편집/재생 방법 및 그 파일구조
KR102149019B1 (ko) 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
KR101129974B1 (ko) 객체 기반 오디오 컨텐츠 생성/재생 방법 및 그 장치
KR101464797B1 (ko) 객체 기반 오디오 서비스를 위한 오디오 저작 장치 및 오디오 재생 장치, 이를 이용하는 오디오 저작 방법 및 오디오 재생 방법
KR101193152B1 (ko) 객체 기반 음원간 객체 정합 방법 및 장치
KR101125364B1 (ko) 객체기반 오디오 파일 제공 장치 및 객체기반 오디오 파일 재생 장치, 그리고, 객체기반 오디오 파일 제공 방법 및 객체기반 오디오 재생 방법
JP6670802B2 (ja) 音響信号再生装置
WO2015050001A1 (ja) ファイル生成装置および方法、並びにファイル再生装置および方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120518

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120820

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120918

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130212

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130409

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140331

R150 Certificate of patent or registration of utility model

Ref document number: 5514803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250