JP7536734B2 - ユーザカスタム型臨場感を実現するためのオーディオコンテンツを送信するコンピュータシステムおよびその方法 - Google Patents

Description

多様な実施形態は、ユーザカスタム型臨場感を実現するためのオーディオコンテンツを送信するコンピュータシステムおよびその方法に関する。

一般的に、コンテンツ提供サーバは、利用者のために完成形態のオーディオコンテンツを提供する。このとき、完成形態のオーディオコンテンツは、複数のオーディオ信号がミキシングされたものであって、例えば、ステレオ形態のオーディオコンテンツなどがある。これにより、利用者の電子装置は、完成形態のオーディオコンテンツを受信し、これを再生する。すなわち、利用者は、完成形態のオーディオコンテンツに基づいた、定められた構成の音響しか聞くことができない。

多様な実施形態は、オーディオと関連して臨場感を実現するための立体音響実現技術を提供する。

多様な実施形態は、ユーザカスタム型臨場感を実現するためのオーディオコンテンツを送信するコンピュータシステムおよびその方法を提供する。

多様な実施形態に係るコンピュータシステムによる方法は、現場に位置する複数の客体それぞれに対して生成されるオーディオファイルと、前記客体に対してそれぞれ設定される前記現場の空間的特徴を含むメタデータを検出する段階、および利用者のために、前記オーディオファイルと前記メタデータを送信する段階を含んでよい。

多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体に記録されるコンピュータプログラムは、前記方法を前記コンピュータシステムに実行させるためのものであってよい。

多様な実施形態に係る非一時的なコンピュータ読み取り可能な記録媒体には、前記方法を前記コンピュータシステムに実行させるためのプログラムが記録されていてよい。

多様な実施形態に係るコンピュータシステムは、メモリ、通信モジュール、および前記メモリおよび通信モジュールとそれぞれ連結し、前記メモリに記録された少なくとも１つの命令を実行するように構成されたプロセッサを含み、前記プロセッサは、現場に位置する複数の客体それぞれに対して生成されるオーディオファイルと、前記客体に対してそれぞれ設定される前記現場の空間的特徴を含むメタデータを検出し、前記通信モジュールにより、利用者のために、前記オーディオファイルと前記メタデータを送信するように構成されてよい。

多様な実施形態によると、ユーザカスタム型臨場感を実現するための材料であるオーディオファイルとメタデータに対する送信方式を提案することができる。すなわち、イマーシブオーディオトラックを備える新たな送信フォーマットが提案され、コンピュータシステムは、イマーシブオーディオトラックにより、オーディオファイルとメタデータを利用者の電子装置に送信することができる。これにより、電子装置は、単に完成形態のオーディオコンテンツを再生するのではなく、ユーザカスタム型のオーディオコンテンツを再生することができる。すなわち、電子装置は、メタデータの空間的特徴に基づいてオーディオファイルをレンダリングして立体音響を実現することができる。したがって、電子装置は、オーディオと関連してユーザカスタム型臨場感を実現することができ、これにより、利用者は、特定の現場において、特定の客体から発生するオーディオ信号を直に聞くような、ユーザカスタム型臨場感を感じることができるようになる。

多様な実施形態における、コンテンツ提供システムを示したブロック図である。 多様な実施形態における、コンテンツ提供システムの機能を説明するための例示図である。 多様な実施形態における、コンピュータシステムの送信フォーマットを説明するための例示図である。 多様な実施形態における、コンピュータシステムの送信フォーマットを説明するための例示図である。 図５ａは、多様な実施形態における、コンピュータシステムの送信フォーマットを説明するための例示図である。 図５ｂは、多様な実施形態における、コンピュータシステムの送信フォーマットを説明するための例示図である。 多様な実施形態における、コンピュータシステムの内部構成を示したブロック図である。 多様な実施形態における、コンピュータシステムの動作の流れを示したフローチャートである。 図７のオーディオファイルとメタデータを送信する段階の詳細な流れを示したフローチャートである。 多様な実施形態における、電子装置の内部構成を示したブロック図である。 多様な実施形態における、電子装置の動作の流れを示したフローチャートである。

以下、本文書の多様な実施形態について、添付の図面を参照しながら説明する。

以下、客体（ｏｂｊｅｃｔ）という用語は、オーディオ信号を発生させる機器または人物を示すものとする。例えば、客体は、楽器、楽器演奏者、ボーカリスト（ｖｏｃａｌｉｓｔ）、対話者（ｔａｌｋｅｒ）、伴奏や音響効果などを発生させるスピーカ、または背景音（ａｍｂｉｅｎｃｅ）を発生させる背景のうちの１つを含んでよい。また、オーディオファイル（ａｕｄｉｏ ｆｉｌｅ）という用語は、各客体から発生するオーディオ信号に対するオーディオデータを示すものとする。

以下、メタデータという用語は、少なくとも１つのオーディオファイルと関連するオーディオ場面の属性を説明するための情報を示すものとする。このとき、オーディオ場面は、少なくとも１つの客体で構成されてよく、メタデータは、客体に対する少なくとも１つの空間的特徴を含んでよい。例えば、メタデータは、少なくとも１つの客体の位置情報、少なくとも２つの客体の位置の組み合わせを示すグループ情報、または少なくとも１つの客体が配置される現場（ｖｅｎｕｅ）の環境情報のうちの少なくとも１つを含んでよい。また、現場は、例えば、スタジオ（ｓｔｕｄｉｏ）、コンサートホール（ｃｏｎｃｅｒｔ ｈａｌｌ）、ストリート（ｓｔｒｅｅｔ）、スタジアム（ｓｔａｄｉｕｍ）などを含んでよい。

図１は、多様な実施形態における、コンテンツ提供システム１００を示したブロック図であり、図２は、多様な実施形態における、コンテンツ提供システム１００の機能を説明するための例示図であり、図３、図４、および図５ａと図５ｂは、多様な実施形態における、コンピュータシステム１１０の送信フォーマット３００を説明するための例示図である。

図１を参照すると、多様な実施形態に係るコンテンツ提供システム１００は、コンピュータシステム１１０と電子装置１５０を含んでよい。例えば、コンピュータシステム１１０は、少なくとも１つのサーバ（ｓｅｒｖｅｒ）を含んでよい。例えば、電子装置１５０は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ナビゲーション、ＰＣ、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、タブレット、ゲームコンソール（ｇａｍｅ ｃｏｎｓｏｌｅ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、家電機器、医療機器、またはロボット（ｒｏｂｏｔ）のうちの少なくとも１つを含んでよい。

コンピュータシステム１１０は、利用者のためにコンテンツを提供してよい。ここで、コンピュータシステム１１０は、ライブストリーミング（ｌｉｖｅ ｓｔｒｅａｍｉｎｇ）サーバであってよい。このとき、コンテンツは、オーディオコンテンツ、ビデオコンテンツ、バーチャルリアリティ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ、ＶＲ）コンテンツ、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）コンテンツ、エクステンデッド・リアリティ（ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ、ＸＲ）コンテンツなどの多様な形態のコンテンツであってよい。また、コンテンツは、プレーン（ｐｌａｉｎ）コンテンツまたはイマーシブ（ｉｍｍｅｒｓｉｖｅ）コンテンツのうちの少なくとも１つを含んでよい。プレーンコンテンツが完成形態のコンテンツであることに対し、イマーシブコンテンツはユーザカスタムコンテンツであってよい。以下、オーディオコンテンツを例に挙げて説明する。

プレーンオーディオコンテンツは、複数の客体から発生するオーディオ信号がミキシングされてステレオ形態で実現されてよい。例えば、コンピュータシステム１１０は、図２に示すように、現場でオーディオ信号がミキシングされたオーディオ信号を取得し、これに基づいてプレーンオーディオコンテンツを生成してよい。この反面、イマーシブオーディオコンテンツは、現場で複数の客体から発生するオーディオ信号に対するオーディオファイルと、これに対するメタデータとで構成されてよい。このとき、イマーシブオーディオコンテンツ内において、オーディオファイルとこれに対するメタデータは個別に存在してよい。例えば、コンピュータシステム１１０は、図２に示すように、複数の客体に対するオーディオファイルをそれぞれ取得し、これに基づいてイマーシブオーディオコンテンツを生成してよい。

電子装置１５０は、コンピュータシステム１１０から提供されるコンテンツを再生してよい。このとき、コンテンツは、オーディオコンテンツ、ビデオコンテンツ、バーチャルリアリティ（ＶＲ）コンテンツ、拡張現実（ＡＲ）コンテンツ、エクステンデッド・リアリティ（ＸＲ）コンテンツなどの多様な形態のコンテンツであってよい。また、コンテンツは、プレーン（ｐｌａｉｎ）コンテンツまたはイマーシブ（ｉｍｍｅｒｓｉｖｅ）コンテンツのうちの少なくとも１つを含んでよい。

コンピュータシステム１１０からイマーシブオーディオコンテンツが受信されれば、電子装置１５０は、イマーシブオーディオコンテンツから、オーディオファイルとこれに対するメタデータをそれぞれ取得してよい。この後、電子装置１５０は、メタデータに基づいてオーディオファイルのうちの少なくとも１つをレンダリングしてよい。これにより、電子装置１５０は、イマーシブオーディオコンテンツに基づいて、オーディオと関連するユーザカスタム型臨場感を実現することができる。したがって、利用者は、少なくとも１つの客体が配置される現場において、該当の客体から発生するオーディオ信号を直に聞くような、臨場感を感じることができるようになる。

多様な実施形態によると、コンピュータシステム１１０は、予め定められた送信フォーマット３００をサポートすることができる。送信フォーマット３００は、マルチトラックであって、図３に示すように、ビデオコンテンツのためのビデオトラック３１０、プレーンオーディオコンテンツのためのプレーンオーディオトラック３２０、およびイマーシブオーディオコンテンツのためのイマーシブオーディオトラック３３０を含んでよい。このとき、プレーンオーディオトラック３２０は、２つのチャンネルからなり、イマーシブオーディオトラック３３０は、複数のオーディオチャンネルと１つのメタチャンネルからなってよい。すなわち、コンピュータシステム１１０は、イマーシブオーディオトラック３３０により、イマーシブオーディオコンテンツを受信したり送信したりしてよい。

コンピュータシステム１１０は、図４に示すように、第１通信プロトコルに基づいて、外部の電子機器（製作スタジオと指称されてもよい）からオーディオファイルとメタデータを受信してよい。例えば、第１通信プロトコルは、リアルタイムメッセージングプロトコル（ｒｅａｌ ｔｉｍｅ ｍｅｓｓａｇｉｎｇ ｐｒｏｔｏｃｏｌ、ＲＴＭＰ）であってよい。このとき、第１通信プロトコルは、非圧縮フォーマットである送信方式をサポートすることができる。すなわち、コンピュータシステム１１０は、非圧縮フォーマットである送信方式により、オーディオファイルとメタデータを受信してよい。ここで、メタデータは、オーディオファイルと同じ形式に変換され、オーディオファイルとともに送信されてよい。例えば、オーディオファイルとメタデータが埋め込まれた（ｅｍｂｅｄｄｉｎｇ）コンテンツが送信され、コンピュータシステム１１０は、受信されるコンテンツに対するディエンベディングにより、オーディオファイルとメタデータを取得してよい。また、第１通信プロトコルは、圧縮フォーマットである送信方式をサポートすることができる。例えば、圧縮フォーマットは、ＡＡＣ（ａｄｖａｎｃｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ）規格を含んでよい。

受信されるイマーシブオーディオトラック３３０は、マルチチャンネルＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）オーディオ信号で構成されてよい。マルチチャンネルＰＣＭオーディオ信号は、複数のオーディオ信号をそれぞれ含む複数のオーディオチャンネルとメタデータを含む１つのメタデータチャンネルで構成されるが、場合によっては、マルチチャンネルの最後のチャンネルがメタチャンネルとして利用されてもよい。該当のメタチャンネルの複数のオーディオ信号は、チャンネル間で時間同期化されていてよい。これにより、各オーディオチャンネルとメタチャンネルとの時間同期化が保障されてよい。

受信されるイマーシブオーディオトラック３３０は、オーディオコーデックを利用してエンコードされて配信されるが、エンコードされたイマーシブオーディオコンテンツ内にはメタデータが挿入されてよい。したがって、メタチャンネルは、オーディオコーデックのフレームサイズの長さに合うように処理され、イマーシブオーディオトラック３３０内に挿入されてよい。受信されるイマーシブオーディオトラック３３０のメタチャンネルには、１つのフレームに対して複数のセットのメタデータを含んでいてよい。イマーシブオーディオトラック３３０をエンコードして配信するときは、この複数のセットのうちから１つを選択して挿入して配信してよい。

コンピュータシステム１１０は、図４に示すように、第２通信プロトコルに基づいて、電子装置１５０にオーディオファイルとメタデータを送信してよい。例えば、第２通信プロトコルは、ＨＴＴＰライブストリーミング（ＨＴＴＰ ｌｉｖｅ ｓｔｒｅａｍｉｎｇ、ＨＬＳ）であってよい。このとき、第２通信プロトコルは、圧縮フォーマットである送信方式をサポートすることができる。例えば、圧縮フォーマットは、ＡＡＣ（ａｄｖａｎｃｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ）規格を含んでよい。このような場合、図５ａに示すようなＭＰＥＧコンテナ（ｃｏｎｔａｉｎｅｒ）のＡＡＣ規格を活用して、オーディオファイルとメタデータが送信されてよい。ここで、ＡＡＣ規格によると、図５ｂに示すように、ＤＳＥ（ｄａｔａ ｓｔｒｅａｍ ｅｌｅｍｅｎｔ）を含むマルチチャンネルが活用されてよい。具体的に説明すると、コンピュータシステム１１０は、メタデータをＡＡＣ規格内のＤＳＥに注入し、ＡＡＣ規格に基づいてオーディオファイルとメタデータをビットストリーム形式にエンコードしてよい。オーディオ信号をエンコードするにあたって損失圧縮コーデックを使用する場合にはメタデータまでも劣化する可能性があるが、これを防ぐために、該当のメタデータは、別途のエンコード過程を経ずに挿入されてよい。一例として、ＡＡＣオーディオストリームを利用する場合、メタデータはＤＳＥに挿入して送信されてよい。メタデータを挿入する過程において、メタデータの適合性が検査されてよい。一例として、各メタデータを挿入する過程においてメタデータ開始フラッグ（ｆｌａｇ）とメタデータ終了フラッグを確認して、正しいメタデータであるかを検証して挿入してよい。このとき、フラッグ確認過程において各フラッグが確認されない場合、該当のフレームに前フレームのメタデータを挿入することによって安全性を保障し、配信プログラムの利用者には、該当のフレームに正しくないメタデータが挿入されて送信されたという通知を送信してよい。これにより、コンピュータシステム１１０は、エンコードされたオーディオファイルとメタデータを電子装置１５０に送信してよい。

電子機器は、複数の客体のオーディオファイルとメタデータを生成し、オーディオファイルとメタデータをコンピュータシステム１１０に提供してよい。例えば、電子機器は、スマートフォン、携帯電話、ナビゲーション、ＰＣ、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ、ＰＭＰ、タブレット、ゲームコンソール、ウェアラブルデバイス、ＩｏＴデバイス、家電機器、医療機器、またはロボットのうちの少なくとも１つを含んでよい。一実施形態によると、電子機器は、コンピュータシステム１１０の外部に存在し、オーディオファイルとメタデータをコンピュータシステム１１０に送信してよい。このとき、電子機器は、第１通信プロトコルに基づいて、コンピュータシステム１１０にオーディオファイルとメタデータを送信してよい。例えば、第１通信プロトコルは、リアルタイムメッセージングプロトコル（ＲＴＭＰ）であってよい。他の実施形態によると、電子機器は、コンピュータシステム１１０内に統合されてよい。

このために、電子機器は、複数の客体のオーディオファイルと、これに対するメタデータを生成してよい。このために、電子機器は、ある現場に位置する客体それぞれから発生するオーディオ信号をそれぞれ取得してよい。このとき、電子機器は、各客体に直接的に付着されるか各客体に隣接して設置されるマイクロホン（ｍｉｃｒｏｐｈｏｎｅ）により、各オーディオ信号を取得してよい。この後、電子機器は、オーディオ信号を利用して、オーディオファイルをそれぞれ生成してよい。さらに、電子機器は、オーディオファイルのメタデータを生成してよい。このために、電子機器は、客体に対して現場の空間的特徴をそれぞれ設定してよい。例えば、電子機器は、グラフィックインタフェース３００、４００を利用した創作者の入力に基づいて、客体の空間的特徴を設定してよい。ここで、電子機器は、各客体の直接的な位置や各客体のためのマイクロホンの位置を利用して、各客体の位置情報または少なくとも２つの客体の位置の組み合わせを示すグループ情報のうちの少なくとも１つを検出してよい。また、電子機器は、客体が配置された現場の環境情報を検出してよい。さらに、電子機器は、客体の空間的特徴に基づいて、メタデータを生成してよい。

図６は、多様な実施形態における、コンピュータシステム１１０の内部構成を示したブロック図である。一実施形態において、コンピュータシステム１１０は、電子装置１５０のためのライブストリーミングサーバであってよい。

図６を参照すると、多様な実施形態に係るコンピュータシステム１１０は、通信モジュール６１０、メモリ６２０、またはプロセッサ６３０のうちの少なくとも１つを含んでよい。一実施形態によると、コンピュータシステム１１０の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態によると、コンピュータシステム１１０の構成要素のうちの少なくともいずれか２つが、１つの統合された回路で実現されてもよい。

通信モジュール６１０は、コンピュータシステム１１０で外部装置との通信を実行してよい。通信モジュール６１０は、コンピュータシステム１１０と外部装置との間に通信チャンネルを樹立し、通信チャンネルを介して外部装置との通信を実行してよい。例えば、外部装置は、外部電子機器または電子装置１５０のうちの少なくとも１つを含んでよい。通信モジュール６１０は、有線通信モジュールまたは無線通信モジュールのうちの少なくとも１つを含んでよい。有線通信モジュールは、外部装置と有線で連結され、有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくともいずれか１つを含んでよい。近距離通信モジュールは、外部装置と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、Ｗｉ－Ｆｉ（登録商標）ダイレクト（Ｗｉ－Ｆｉ ｄｉｒｅｃｔ）、または赤外線通信（ＩｒＤＡ、ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）のうちの少なくともいずれか１つを含んでよい。遠距離通信モジュールは、外部装置と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部装置と通信してよい。例えば、ネットワークは、セルラネットワーク、インターネット、またはＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）やＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）のようなコンピュータネットワークのうちの少なくともいずれか１つを含んでよい。

通信モジュール６１０は、予め定められた送信フォーマット３００をサポートすることができる。送信フォーマット３００は、マルチトラックとして、図３に示すように、ビデオコンテンツのためのビデオトラック３１０、プレーンオーディオコンテンツのためのプレーンオーディオトラック３２０、およびイマーシブオーディオコンテンツのためのイマーシブオーディオトラック３３０を含んでよい。このとき、プレーンオーディオトラック３２０は、２つのチャンネルからなり、イマーシブオーディオトラック３３０は、複数のチャンネルからなってよい。ここで、チャンネルは、複数のオーディオチャンネルと１つのメタチャンネルからなってよい。

メモリ６２０は、コンピュータシステム１１０の少なくとも１つの構成要素が使用する多様なデータを記録してよい。例えば、メモリ６２０は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか１つを含んでよい。データは、少なくとも１つのプログラム、およびこれと関連する入力データまたは出力データを含んでよい。プログラムは、メモリ６２０に少なくとも１つの命令を含むソフトウェアとして記録されてよい。

プロセッサ６３０は、メモリ６２０のプログラムを実行し、コンピュータシステム１１０の少なくとも１つの構成要素を制御してよい。これにより、プロセッサ６３０は、データ処理または演算を実行してよい。このとき、プロセッサ６３０は、メモリ６２０に記録された命令を実行してよい。プロセッサ６３０は、利用者のためにコンテンツを提供してよい。このとき、プロセッサ６３０は、通信モジュール６１０により、利用者の電子装置１５０にコンテンツを送信してよい。コンテンツは、ビデオコンテンツ、プレーンオーディオコンテンツ、またはイマーシブオーディオコンテンツのうちの少なくとも１つを含んでよい。プロセッサ６３０は、図３に示すような送信フォーマット３００に基づいて、コンテンツを送信してよい。一実施形態によると、プロセッサ６３０は、外部の電子機器（製作スタジオと指称されてもよい）からコンテンツを受信し、これを電子装置１５０に送信してよい。

プロセッサ６３０は、ある現場の複数の客体に対して生成されるオーディオファイルと、これに対するメタデータを検出してよい。このとき、メタデータは、客体に対してそれぞれ設定される現場の空間的特徴を含んでよい。一実施形態によると、プロセッサ６３０は、通信モジュール６１０により、イマーシブオーディオトラック３３０によって外部の電子機器からオーディオファイルとメタデータを受信することにより、これらを検出してよい。このとき、プロセッサ６３０は、第１通信プロトコルに基づいて、オーディオファイルとメタデータを受信してよい。例えば、第１通信プロトコルは、リアルタイムメッセージングプロトコル（ＲＴＭＰ）であってよい。

プロセッサ６３０は、利用者のためにオーディオファイルとメタデータを送信してよい。プロセッサ６３０は、通信モジュール６１０により、イマーシブオーディオトラック３３０によって電子装置１５０にオーディオファイルとメタデータを送信してよい。このとき、プロセッサ６３０は、第２通信プロトコルに基づいてオーディオファイルとメタデータを送信してよい。例えば、第２通信プロトコルは、ＨＴＴＰライブストリーミング（ＨＬＳ）であってよい。プロセッサ６３０は、エンコーダ６３５を含んでよい。エンコーダ６３５は、イマーシブオーディオトラック３３０に対して、オーディオファイルとメタデータをそれぞれエンコードしてよい。

図７は、多様な実施形態における、コンピュータシステム１１０の動作の流れを示したフローチャートである。

図７を参照すると、段階７１０で、コンピュータシステム１１０は、ある現場に位置する複数の客体のオーディオファイルと、これに対するメタデータを検出してよい。このとき、メタデータは、客体に対してそれぞれ設定される現場の空間的特徴を含んでよい。一実施形態によると、プロセッサ６３０は、通信モジュール６１０により、イマーシブオーディオトラック３３０によって外部の電子機器からオーディオファイルとメタデータを受信することにより、これらを検出してよい。このとき、プロセッサ６３０は、図４に示すように、第１通信プロトコルに基づいてオーディオファイルとメタデータを受信してよい。例えば、第１通信プロトコルは、リアルタイムメッセージングプロトコル（ＲＴＭＰ）であってよい。このとき、第１通信プロトコルは、非圧縮フォーマットである送信方式をサポートすることができる。すなわち、コンピュータシステム１１０は、非圧縮フォーマットである送信方式により、オーディオファイルとメタデータを受信してよい。ここで、メタデータは、オーディオファイルと同じ形式に変換され、オーディオファイルとともに送信されてよい。例えば、オーディオファイルとメタデータが埋め込まれた（ｅｍｂｅｄｄｉｎｇ）エンコンテンツが送信され、コンピュータシステム１１０は、受信されるコンテンツに対してディエンベディングを行うことにより、オーディオファイルとメタデータを取得してよい。または、第１通信プロトコルは、圧縮フォーマットである送信方式をサポートすることができる。例えば、圧縮フォーマットは、ＡＡＣ（ａｄｖａｎｃｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ）規格を含んでよい。

次に、段階７２０で、コンピュータシステム１１０は、利用者のためにオーディオファイルとメタデータを送信してよい。プロセッサ６３０は、通信モジュール６１０により、イマーシブオーディオトラック３３０によって電子装置１５０にオーディオファイルとメタデータを送信してよい。このとき、プロセッサ６３０は、第２通信プロトコルに基づいて、オーディオファイルとメタデータを送信してよい。例えば、第２通信プロトコルは、ＨＴＴＰライブストリーミング（ＨＬＳ）であってよい。このとき、第２通信プロトコルは、圧縮フォーマットである送信方式をサポートすることができる。例えば、圧縮フォーマットは、ＡＡＣ規格を含んでよい。このような場合、図５ａに示すようなＭＰＥＧコンテナのＡＡＣ規格を活用することで、オーディオファイルとメタデータが送信されてよい。ここで、ＡＡＣ規格によると、図５ｂに示すように、ＤＳＥを含むマルチチャンネルが活用されてよい。これについては、図８を参照しながらより詳細に説明する。

図８は、図７のオーディオファイルとメタデータを送信する段階（段階７２０）の詳細な流れを示したフローチャートである。

図８を参照すると、段階８２１で、コンピュータシステム１１０は、メタデータをＭＰＥＧコンテナのＡＡＣ規格に注入してよい。このとき、プロセッサ６３０は、メタデータをＡＡＣ規格内のＤＳＥに注入してよい。この後、段階８２３で、コンピュータシステム１１０は、ＡＡＣ規格に基づいてオーディオファイルとメタデータをエンコードしてよい。このとき、プロセッサ６３０は、オーディオファイルとメタデータをビットストリーム形式にエンコードしてよい。これにより、段階８２５で、コンピュータシステム１１０は、エンコードされたオーディオファイルとメタデータを電子装置１５０に送信してよい。このとき、プロセッサ６３０は、通信モジュール６１０により、エンコードされたオーディオファイルとメタデータを電子装置１５０に送信してよい。

図９は、多様な実施形態における、電子装置１５０の内部構成を示したブロック図である。

図９を参照すると、多様な実施形態に係る電子装置１５０は、連結端子９１０、通信モジュール９２０、入力モジュール９３０、表示モジュール９４０、オーディオモジュール９５０、メモリ９６０、またはプロセッサ９７０のうちの少なくとも１つを含んでよい。一実施形態によると、電子装置１５０の構成要素のうちの少なくともいずれか１つが省略されてもよいし、少なくとも１つの他の構成要素が追加されてもよい。一実施形態によると、電子装置１５０の構成要素のうちの少なくともいずれか２つが、１つの統合された回路で実現されてもよい。

連結端子９１０は、電子装置１５０で外部装置と物理的に連結されてよい。例えば、外部装置は、他の電子装置を含んでよい。このために、連結端子９１０は、少なくとも１つのコネクタを含んでよい。例えば、コネクタは、ＨＤＭＩコネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ、またはオーディオコネクタのうちの少なくともいずれか１つを含んでよい。

通信モジュール９２０は、電子装置１５０で外部装置との通信を実行してよい。通信モジュール９２０は、電子装置１５０と外部装置との間に通信チャンネルを樹立し、通信チャンネルを介して外部装置との通信を実行してよい。例えば、外部装置は、コンピュータシステム１１０を含んでよい。通信モジュール９２０は、有線通信モジュールまたは無線通信モジュールのうちの少なくとも１つを含んでよい。有線通信モジュールは、連結端子９１０を介して外部装置と有線で連結され、有線で通信してよい。無線通信モジュールは、近距離通信モジュールまたは遠距離通信モジュールのうちの少なくともいずれか１つを含んでよい。近距離通信モジュールは、外部装置と近距離通信方式で通信してよい。例えば、近距離通信方式は、ブルートゥース、Ｗｉ－Ｆｉダイレクト、または赤外線通信のうちの少なくともいずれか１つを含んでよい。遠距離通信モジュールは、外部装置と遠距離通信方式で通信してよい。ここで、遠距離通信モジュールは、ネットワークを介して外部装置と通信してよい。例えば、ネットワークは、セルラネットワーク、インターネット、またはＬＡＮやＷＡＮのようなコンピュータネットワークのうちの少なくともいずれか１つを含んでよい。

入力モジュール９３０は、電子装置１５０の少なくとも１つの構成要素が使用する信号を入力してよい。入力モジュール９３０は、利用者が電子装置１５０に信号を直接入力するように構成される入力装置、周辺環境を感知して信号を発生するように構成されるセンサ装置、または画像を撮影して画像データを生成するように構成されるカメラモジュールのうちの少なくともいずれか１つを含んでよい。例えば、入力装置は、マイクロホン（ｍｉｃｒｏｐｈｏｎｅ）、マウス（ｍｏｕｓｅ）、またはキーボード（ｋｅｙｂｏａｒｄ）のうちの少なくともいずれか１つを含んでよい。一実施形態において、センサ装置は、ヘッドトラッキング（ｈｅａｄ ｔｒａｃｋｉｎｇ）センサ、ヘッドマウントディスプレイ（ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ、ＨＭＤ）コントローラ、タッチを感知するように設定されたタッチ回路（ｔｏｕｃｈ ｃｉｒｃｕｉｔｒｙ）、またはタッチによって発生する力の強度を測定するように設定されたセンサ回路のうちの少なくともいずれか１つを含んでよい。

表示モジュール９４０は、情報を視覚的に表示してよい。例えば、表示モジュール１０４０は、ディスプレイ、ヘッドマウントディスプレイ（ＨＭＤ）、ホログラム装置、またはプロジェクタのうちの少なくともいずれか１つを含んでよい。一例として、表示モジュール９４０は、入力モジュール９３０のタッチ回路またはセンサ回路のうちの少なくともいずれか１つと組み立てられてタッチスクリーンとして実現されてよい。

オーディオモジュール９５０は、情報を聴覚的に再生してよい。例えば、オーディオモジュール９５０は、スピーカ、レシーバ、イヤホン、またはヘッドホンのうちの少なくともいずれか１つを含んでよい。

メモリ９６０は、電子装置１５０の少なくとも１つの構成要素が使用する多様なデータを記録してよい。例えば、メモリ９６０は、揮発性メモリまたは不揮発性メモリのうちの少なくともいずれか１つを含んでよい。データは、少なくとも１つのプログラム、およびこれと関連する入力データまたは出力データを含んでよい。プログラムは、メモリ９６０に少なくとも１つの命令を含むソフトウェアとして記録されてよく、例えば、オペレーティングシステム、ミドルウェア、またはアプリケーションのうちの少なくともいずれか１つを含んでよい。

プロセッサ９７０は、メモリ９６０のプログラムを実行し、電子装置１５０の少なくとも１つの構成要素を制御してよい。これにより、プロセッサ９７０は、データ処理または演算を実行してよい。このとき、プロセッサ９７０は、メモリ９６０に記録された命令を実行してよい。プロセッサ９７０は、コンピュータシステム１１０から提供されるコンテンツを再生してよい。プロセッサ９７０は、表示モジュール９４０により、ビデオコンテンツを再生してよく、オーディオモジュール９５０により、プレーンオーディオコンテンツまたはイマーシブオーディオコンテンツのうちの少なくとも１つを再生してよい。

プロセッサ９７０は、通信モジュール９２０により、コンピュータシステム１１０から、ある現場に位置する客体のオーディオファイルとメタデータを受信してよい。プロセッサ９７０は、デコーダ９７５を含んでよい。デコーダ９７５は、受信されるオーディオファイルとメタデータをデコードしてよい。このとき、デコーダ９７５は、イマーシブオーディオトラック３３０に対し、オーディオファイルとメタデータをデコードしてよい。この後、プロセッサ９７０は、メタデータに基づいて、オーディオファイルをレンダリングしてよい。これにより、プロセッサ９７０は、メタデータの客体の空間的特徴に基づいて、オーディオファイルをレンダリングしてよい。

図１０は、多様な実施形態における、電子装置１５０の動作の流れを示したフローチャートである。

図１０を参照すると、段階１０１０で、電子装置１５０は、オーディオファイルとメタデータを受信してよい。プロセッサ９７０は、通信モジュール９２０により、サーバ３３０から、ある現場に位置する客体に対するオーディオファイルとメタデータを受信してよい。このとき、プロセッサ９７０は、第２通信プロトコル、例えば、ＨＴＴＰライブストリーミング（ＨＬＳ）を利用して、オーディオファイルとメタデータを受信してよい。また、図に示してはいないが、プロセッサ９７０は、オーディオファイルとメタデータをデコードしてよい。このとき、プロセッサ９７０は、ＡＡＣ規格に基づいて、オーディオファイルとメタデータをデコードしてよい。

次に、段階１０２０で、電子装置１５０は、メタデータに基づいて客体のうちの少なくとも１つを選択してよい。このとき、プロセッサ９７０は、ユーザインタフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ、ＵＩ）を利用した利用者の入力に基づいて、客体のうちの少なくとも１つを選択してよい。より具体的に説明すると、プロセッサ９７０は、利用者のためにユーザインタフェースを出力してよい。一例として、プロセッサ９７０は、通信モジュール９２０により、外部装置でユーザインタフェースを出力してよい。他の例として、プロセッサ９７０は、表示モジュール９４０により、ユーザインタフェースを出力してよい。この後、プロセッサ９７０は、ユーザインタフェースを利用した少なくとも１つの利用者の入力に基づいて、客体のうちの少なくとも１つを選択してよい。

次に、段階１０２０で、電子装置１５０は、メタデータに基づいてオーディオファイルをレンダリングしてよい。プロセッサ９７０は、メタデータの客体の空間的特徴に基づいてオーディオファイルをレンダリングしてよい。プロセッサ９７０は、メタデータの客体の空間的特徴に基づいて、オーディオファイルをレンダリングしてよい。プロセッサ９７０は、選択された客体の空間的特徴を客体のオーディオファイルに適用し、オーディオモジュール９５０によって最終的なオーディオ信号を再生してよい。これにより、電子装置１５０は、該当の現場に対するユーザカスタム型臨場感を実現することができる。

したがって、電子装置１５０の利用者は、客体が配置される現場内において、該当の客体から発生するオーディオ信号を直に聞くように、ユーザカスタム型臨場感を感じることができるようになる。

多様な実施形態によると、ユーザカスタム型臨場感を実現するための材料であるオーディオファイルとメタデータに対する送信方式が提案されてよい。すなわち、イマーシブオーディオトラック３３０を備えた新たな送信フォーマット３００が提案され、コンピュータシステム１１０は、イマーシブオーディオトラック３３０により、オーディオファイルとメタデータを利用者の電子装置に送信してよい。これにより、利用者の電子装置１５０は、単に完成形態のオーディオコンテンツを再生するのではなく、ユーザカスタム型オーディオコンテンツを再生することができる。すなわち、電子装置は、メタデータの空間的特徴に基づいてオーディオファイルをレンダリングして立体音響を実現することができる。したがって、電子装置１５０は、オーディオと関連してユーザカスタム型臨場感を実現し、これにより、電子装置１５０の利用者は、特定の現場において、特定の客体から発生するオーディオ信号を直に聞くように、ユーザカスタム型臨場感を感じることができるようになる。

多様な実施形態に係るコンピュータシステム１１０による方法は、現場に位置する複数の客体それぞれに対して生成されるオーディオファイルと、客体に対してそれぞれ設定される現場の空間的特徴を含むメタデータを検出する段階（段階７１０）、および利用者のためにオーディオファイルとメタデータを送信する段階（段階７２０）を含んでよい。

多様な実施形態によると、コンピュータシステム１１０は、ビデオコンテンツのためのビデオトラック３１０、複数のオーディオ信号によって完成されたオーディオコンテンツのためのプレーンオーディオトラック３２０、およびオーディオファイルとメタデータのためのイマーシブオーディオトラック３３０を含むフォーマット３００をサポートすることができる。

多様な実施形態によると、メタデータは、客体それぞれの位置情報、客体のうちの少なくとも２つの位置の組み合わせを示すグループ情報、または現場の環境情報のうちの少なくとも１つを含んでよい。

多様な実施形態によると、客体それぞれは、楽器、楽器演奏者、ボーカリスト、対話者、スピーカ、または背景のうちの１つを含んでよい。

多様な実施形態によると、イマーシブオーディオトラック３３０は、オーディオファイルのための複数のオーディオチャンネル、およびメタデータのための１つのメタチャンネルを含んでよい。

多様な実施形態によると、イマーシブオーディオトラック３３０は、ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）オーディオ信号で構成され、オーディオコーデックによってエンコードされてよい。

多様な実施形態によると、メタデータは、ＰＣＭオーディオ信号の１つのチャンネルを介して送信され、オーディオファイルに同期化（ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）されており、オーディオコーデックのフレームサイズに基づいて決定される送信周期によって送信されてよい。

多様な実施形態によると、１つのフレーム内に複数のセットが記入され、ＡＡＣ規格を活用してエンコードされる場合、複数のセットのうちの少なくとも１つのセットがＤＳＥに挿入され、メタデータの開始フラッグまたは終了フラッグが検証されなければ、前フレームのメタデータが挿入されてよい。

多様な実施形態によると、オーディオファイルとメタデータを検出する段階（段階７１０）は、フォーマットのイマーシブオーディオトラックにより、電子機器から、第１通信プロトコルに基づいてオーディオファイルとメタデータを受信してよい。

多様な実施形態によると、オーディオファイルとメタデータを送信する段階（段階７２０）は、フォーマットのイマーシブオーディオトラックにより、利用者の電子装置に、第２通信プロトコルに基づいてオーディオファイルとメタデータを送信してよい。

多様な実施形態によると、第１通信プロトコルは、非圧縮フォーマットまたは圧縮フォーマットである送信方式をサポートすることができる。

多様な実施形態によると、第２通信プロトコルは、圧縮フォーマットである送信方式をサポートすることができる。

多様な実施形態によると、電子装置１５０は、イマーシブオーディオトラック３３０により、オーディオファイルとメタデータを受信し、オーディオファイルとメタデータに対してデコーディングし、メタデータの空間的特徴に基づいてオーディオファイルをレンダリングすることにより、現場の臨場感を実現することができる。

多様な実施形態に係るコンピュータシステム１１０は、メモリ６２０、通信モジュール６１０、およびメモリ６２０および通信モジュール６１０とそれぞれ連結し、メモリ６２０に記録された少なくとも１つの命令を実行するように構成されたプロセッサ６３０を含んでよい。

多様な実施形態によると、プロセッサ６３０は、現場に位置する複数の客体それぞれに対して生成されるオーディオファイルと、客体に対してそれぞれ設定される現場の空間的特徴を含むメタデータを検出し、通信モジュール６１０により、利用者のためにオーディオファイルとメタデータを送信するように構成されてよい。

多様な実施形態によると、通信モジュール６１０は、ビデオコンテンツのためのビデオトラック３１０、複数のオーディオ信号によって完成されたオーディオコンテンツのためのプレーンオーディオトラック３２０、およびオーディオファイルとメタデータのためのイマーシブオーディオトラック３３０を含むフォーマットをサポートするように構成されてよい。

多様な実施形態によると、メタデータは、客体それぞれの位置情報、客体のうちの少なくとも２つの位置の組み合わせを示すグループ情報、または現場の環境情報のうちの少なくとも１つを含んでよい。

多様な実施形態によると、客体は、楽器、楽器演奏者、ボーカリスト、対話者、スピーカ、または背景のうちの少なくとも１つを含んでよい。

多様な実施形態によると、イマーシブオーディオトラック３３０は、オーディオファイルのための複数のオーディオチャンネル、およびメタデータのための１つのメタチャンネルを含んでよい。

多様な実施形態によると、イマーシブオーディオトラック３３０は、ＰＣＭオーディオ信号で構成され、オーディオコーデックによってエンコードされてよい。

多様な実施形態によると、メタデータは、ＰＣＭオーディオ信号の１つのチャンネルを介して送信され、オーディオファイルに同期化されており、オーディオコーデックのフレームサイズに基づいて決定される送信周期によって送信されてよい。

多様な実施形態によると、１つのフレーム内に複数のセットで記入され、ＡＡＣ規格を活用してエンコードされる場合、複数のセットのうちの少なくとも１つのセットがＤＳＥに挿入され、メタデータの開始フラッグまたは終了フラッグが検証されなければ、前フレームのメタデータが挿入されてよい。

多様な実施形態によると、プロセッサ６３０は、通信モジュール６１０により、電子機器から、第１通信プロトコルに基づいて受信することによって、オーディオファイルとメタデータを検出し、通信モジュール６１０により、利用者の電子装置１５０に、第２通信プロトコルに基づいてオーディオファイルとメタデータを送信するように構成されてよい。

多様な実施形態によると、第１通信プロトコルは、非圧縮フォーマットまたは圧縮フォーマットである送信方式をサポートすることができる。

多様な実施形態によると、第２通信プロトコルは、圧縮フォーマットである送信方式をサポートすることができる。

多様な実施形態によると、電子装置１５０は、イマーシブオーディオトラック３３０により、オーディオファイルとメタデータを受信し、デコーダを利用してオーディオファイルとメタデータに対してデコーディングし、メタデータの空間的特徴に基づいてオーディオファイルをレンダリングすることにより、現場の現場感を実現することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に実現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

本文書の多様な実施形態とこれに使用した用語は、本文書に記載された技術を特定の実施形態に対して限定しようとするものではなく、該当の実施例の多様な変更、均等物、および／または代替物を含むものと理解されなければならない。図面の説明に関し、類似の構成要素に対しては類似の参照符号を付与した。単数の表現は、文脈上で明らかに異なるように意味しない限り、複数の表現を含んでよい。本文書において、「ＡまたはＢ」、「Ａおよび／またはＢのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣ」、または「Ａ、Ｂ、および／またはＣのうちの少なくとも１つ」などの表現は、ともに羅列された項目のすべての可能な組み合わせを含んでよい。「第１」、「第２」、「１番目」、または「２番目」などの表現は、該当の構成要素を順序または重要度に関係なく修飾してよく、ある構成要素を他の構成要素と区分するために使用されるものに過ぎず、該当の構成要素を限定するものではない。ある（例：第１）構成要素が他の（例：第２）構成要素に「（機能的にまたは通信的に）連結されて」いるとか「接続されて」いると言及されるときには、前記ある構成要素が前記他の構成要素に直接的に連結されてもよいし、他の構成要素（例：第３構成要素）を経て連結されてもよい。

本文書で使用された用語「モジュール」は、ハードウェア、ソフトウェア、またはファームウェアで構成されたユニットを含み、例えば、ロジック、論理ブロック、部品、または回路などの用語と相互互換的に使用されてよい。モジュールは、一体で構成された部品、または１つまたはそれ以上の機能を実行する最小単位またはその一部となってよい。例えば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）で構成されてよい。

多様な実施形態によると、上述した構成要素のそれぞれの構成要素（例：モジュールまたはプログラム）は、単数または複数の個体を含んでよい。多様な実施形態によると、上述した該当の構成要素のうちの１つ以上の構成要素または段階が省略されてもよいし、１つ以上の他の構成要素または段階が追加されてもよい。大体的にまたは追加的に、複数の構成要素（例：モジュールまたはプログラム）は、１つの構成要素として統合されてよい。この場合、統合された構成要素は、複数の構成要素それぞれの構成要素の１つ以上の機能を、統合前に複数の構成要素のうちの該当の構成要素によって実行されることと同一または類似に実行してよい。多様な実施形態によると、モジュール、プログラム、または他の構成要素によって実行される段階は、順次的に、並列的に、反復的に、または発見的に実行されてもよいし、段階のうちの１つ以上が他の順序で実行されたり、省略されたり、または１つ以上の他の段階が追加されたりしてもよい。

３００：送信フォーマット
３１０：ビデオトラック
３２０：プレーンオーディオトラック
３３０：イマーシブオーディオトラック

Claims (22)

1. コンピュータシステムによる方法であって、
   現場に位置する複数の客体それぞれに対して、それぞれに生成されるオーディオファイルと、前記複数の客体それぞれに対して、それぞれに設定される前記現場の空間的特徴を含むメタデータを検出する段階、および、
   利用者のために前記オーディオファイルと前記メタデータを電子装置に送信する段階、
   を含み、
   前記電子装置は、
   前記複数の客体それぞれに対して生成される前記メタデータにおけるそれぞれの前記現場の空間的特徴を組み合わせたデータを利用して、それぞれの前記オーディオファイルを再生して、レンダリングすることにより、前記現場の臨場感を実現する、
   方法。
2. 前記コンピュータシステムは、
   ビデオコンテンツのためのビデオトラック、複数のオーディオ信号によって完成されたオーディオコンテンツのためのプレーンオーディオトラック、および、前記オーディオファイルと前記メタデータのためのイマーシブオーディオトラック、を含むフォーマットをサポートする、
   請求項１に記載の方法。
3. 前記メタデータは、
   前記客体それぞれの位置情報、
   前記客体のうちの少なくとも２つの位置の組み合わせを示すグループ情報、または、
   前記現場の環境情報、
   のうちの少なくとも１つを含む、
   請求項１に記載の方法。
4. 前記客体それぞれは、
   楽器、楽器演奏者、ボーカリスト、対話者、スピーカ、または背景、
   のうちの１つを含む、
   請求項１に記載の方法。
5. 前記イマーシブオーディオトラックは、
   前記オーディオファイルのための複数のオーディオチャンネル、および、前記メタデータのための１つのメタチャンネル、
   を含む、
   請求項２に記載の方法。
6. 前記イマーシブオーディオトラックは、
   ＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）オーディオ信号で構成され、オーディオコーデックによってエンコードされ、
   前記メタデータは、
   前記ＰＣＭオーディオ信号の１つのチャンネルを介して送信され、前記オーディオファイルに同期化（ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）されており、前記オーディオコーデックのフレームサイズに基づいて決定される送信周期によって送信され、
   １つのフレーム内に複数のセットで記入され、
   ＡＡＣ（ａｄｖａｎｃｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ）規格を活用してエンコードされる場合、前記複数のセットのうちの少なくとも１つのセットがＤＳＥ（ｄａｔｅ ｓｔｒｅａｍ ｅｌｅｍｅｎｔ）に挿入され、
   前記メタデータの開始フラッグ（ｆｌａｇ）または終了フラッグが検証されなければ、前フレームのメタデータが挿入される、
   請求項５に記載の方法。
7. 前記オーディオファイルと前記メタデータを検出する段階は、
   前記フォーマットの前記イマーシブオーディオトラックにより、電子機器から、第１通信プロトコルに基づいて、前記オーディオファイルと前記メタデータとを受信し、
   前記オーディオファイルと前記メタデータを送信する段階は、
   前記フォーマットの前記イマーシブオーディオトラックにより、前記利用者の電子機器に、第２通信プロトコルに基づいて、前記オーディオファイルと前記メタデータとを送信する、
   請求項２に記載の方法。
8. 前記第２通信プロトコルは、
   圧縮フォーマットの送信方式をサポートする、
   請求項７に記載の方法。
9. 前記第１通信プロトコルは、
   非圧縮フォーマットまたは圧縮フォーマットの送信方式をサポートする、
   請求項７に記載の方法。
10. 前記電子機器は、
    前記イマーシブオーディオトラックにより、前記オーディオファイルとメタデータを受信し、
    前記オーディオファイルとメタデータに対してデコードし、
    前記メタデータの前記空間的特徴に基づいて、前記オーディオファイルをレンダリングすることにより、前記現場の臨場感を実現する、
    請求項７に記載の方法。
11. 請求項１～１０のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させる、コンピュータプログラム。
12. 請求項１～１０のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。
13. コンピュータシステムであって、
    メモリ、
    通信モジュール、および、
    前記メモリおよび前記通信モジュールとそれぞれ連結し、前記メモリに記録された少なくとも１つの命令を実行するように構成されたプロセッサ、を含み、
    前記プロセッサは、
    現場に位置する複数の客体それぞれに対して、それぞれに生成されるオーディオファイルと、前記複数の客体それぞれに対して、それぞれに設定される前記現場の空間的特徴を含むメタデータを検出し、
    前記通信モジュールにより、利用者のために前記オーディオファイルと前記メタデータを電子装置に送信し、
    前記電子装置は、
    前記複数の客体それぞれに対して生成される前記メタデータにおけるそれぞれの前記現場の空間的特徴を組み合わせたデータを利用して、それぞれの前記オーディオファイルを再生して、レンダリングすることにより、前記現場の臨場感を実現する、
    ように構成される、
    コンピュータシステム。
14. 前記通信モジュールは、
    ビデオコンテンツのためのビデオトラック、複数のオーディオ信号によって完成されたオーディオコンテンツのためのプレーンオーディオトラック、および、前記オーディオファイルと前記メタデータのためのイマーシブオーディオトラック、を含むフォーマットをサポートする、
    ように構成される、
    請求項１３に記載のコンピュータシステム。
15. 前記メタデータは、
    前記客体それぞれの位置情報、
    前記客体のうちの少なくとも２つの位置の組み合わせを示すグループ情報、または、
    前記現場の環境情報、
    のうちの少なくとも１つを含む、
    請求項１３に記載のコンピュータシステム。
16. 前記客体は、
    楽器、楽器演奏者、ボーカリスト、対話者、スピーカ、または背景、
    のうちの１つを含む、
    請求項１３に記載のコンピュータシステム。
17. 前記イマーシブオーディオトラックは、
    前記オーディオファイルのための複数のオーディオチャンネル、および、前記メタデータのための１つのメタチャンネル、
    を含む、
    請求項１４に記載のコンピュータシステム。
18. 前記イマーシブオーディオトラックは、
    ＰＣＭオーディオ信号で構成され、オーディオコーデックによってエンコードされ、
    前記メタデータは、
    前記ＰＣＭオーディオ信号の１つのチャンネルを介して送信され、前記オーディオファイルに同期化されており、前記オーディオコーデックのフレームサイズに基づいて決定される送信周期によって送信され、
    １つのフレーム内に複数のセットで記入され、
    ＡＡＣ規格を活用してエンコードされる場合、前記複数のセットのうちの少なくとも１つのセットがＤＳＥに挿入され、
    前記メタデータの開始フラッグまたは終了フラッグが検証されなければ、前フレームのメタデータが挿入される、
    請求項１７に記載のコンピュータシステム。
19. 前記プロセッサは、
    前記通信モジュールにより、電子機器から、第１通信プロトコルに基づいて受信することにより、前記オーディオファイルと前記メタデータとを検出し、
    前記通信モジュールにより、前記利用者の電子機器に、第２通信プロトコルに基づいて前記オーディオファイルと前記メタデータとを送信する、
    ように構成される、
    請求項１４に記載のコンピュータシステム。
20. 前記第２通信プロトコルは、
    圧縮フォーマットである送信方式をサポートする、
    請求項１９に記載のコンピュータシステム。
21. 前記第１通信プロトコルは、
    非圧縮フォーマットまたは圧縮フォーマットである送信方式をサポートする、
    請求項１９に記載のコンピュータシステム。
22. 前記電子機器は、
    前記イマーシブオーディオトラックにより、前記オーディオファイルとメタデータを受信し、
    デコーダを利用して、前記オーディオファイルとメタデータとに対してデコードし、
    前記メタデータの前記空間的特徴に基づいて、前記オーディオファイルをレンダリングすることにより、前記現場の臨場感を実現する、
    請求項１９に記載のコンピュータシステム。

Images