JP4521671B2 - 音源映像の表示領域からその音声を出力させる映像音声再生方法 - Google Patents

Description

本願発明は、映像音声再生時の臨場感を高めることを目的として、音源映像とその音像の一致を図る技術に関するものである。尚、本願発明の中で扱われるデータは、全てデジタルデータであることとする。

請求項１に記載の発明は、「音源映像の表示領域からその音声を出力させること」を特徴とする映像音声再生方法に関するものである。尚、ここで言う音源映像とは、全体映像の中に含まれている、特定の部分映像（例えば、人の顔など）のことを意味しており、その特定の部分映像に対応する音声が存在していることが条件となる。（従って、人が口を動かしている映像であっても、その口に対応する音声が存在しない場合は音源映像として扱わない。）また、音源映像の表示領域を選定することに関しては、コンテンツ制作者の判断に基づき行なわれることとする。また、音源映像の表示領域を選定することについては、映像フレーム単位（映像の動きの最小単位）で行なうこととするが、音源映像の音声の出力先（音声チャンネル）を指定する際には、必ずしも映像フレームの基準時間を単位とする必要はない。（ドルビーＥなどの例を除けば、映像フレームと音声フレームは一致していないため、その場合においてはタイムスタンプなどの情報を基にして、音声の出力先を指定することとする。）

請求項２に記載の発明は、「音声の出力先の指定に関する情報を、音声出力先制御データ（メタデータ）として反映させること」を特徴とする映像音声データの構成方法に関するものである。尚、この音声出力先制御データに関しては、必ずしも音声データと分離された状態である必要はない。

請求項３に記載の発明は、「請求項２に記載の構成方法により作成された映像音声データを、その構造に対応するプログラムにより、音声の出力先を映像フレーム単位で変更させながら再生処理すること」を特徴とする映像音声再生装置に関するものである。即ち、「音声の出力先を映像フレーム単位で変更させながら再生処理する機能を有したこと」を特徴とする映像音声再生装置に関するものである。

映像音声再生時の臨場感を高めることについては、音源映像とその音像の一致を図ることにより実現することができるが、従来の技術ではその音像が虚音像であるため産業上で利用することには問題があった。何故なら、虚音像の場合においては、視聴位置やスピーカの配置位置が変化することによる「音像定位のずれ」だけではなく、「スピーカ間のクロストーク」や、映像サイズが大きくなることに伴う「音の中抜け（音像がぼやける）」といった問題も無視することができないからである。その一方で、映画館などの大画面映像においては、スクリーンの裏面にセンタースピーカを配置することにより、実音像による音像定位の固定を図っているが、この場合においては音源映像の表示領域にその音像を追随させて定位させることができない。従って、従来の技術ではＨＲＴＦ（頭部伝達関数）を利用したものを含めて、映像表示面上の音源映像の表示領域に、その音声の音像を視聴位置の影響を受けることなく定位させることはできない。

本願発明が解決しようとする課題は、映像表示面上の音源映像の表示領域に、その音声の音像を視聴位置の影響を受けることなく定位させることである。

「映像表示面上の音源映像の表示領域に、その音声の音像を視聴位置の影響を受けることなく定位させること」については、「音源映像の表示領域からその音声（映像と同期して再生する目的で収音した音源映像の音声）を出力させること」により解決することができる。（つまり、実音像による音像定位を実現することにより解決することができる。）但し、音源映像の表示領域は時間の進行と共に変化するため、音声の出力先についても、その変化に追随させることが条件となる。上記の「音源映像の表示領域からその音声を出力させること」については、「音源映像の表示領域からその音声を出力させる映像音声再生方法」を前提として、「音声の出力先の指定に関する情報を有した映像音声データ」を「そのデータの構造に対応するプログラムにより再生処理を行なう映像音声再生装置」で再生することにより実現することができる。以下、そのために必要となる手段を、請求項に記載の内容に基づき個別に説明する。

請求項１に記載の「映像表示面を複数の領域に分割すること」は、「音源映像の表示領域を特定するための手段」である。この手段により、全体映像の中に含まれている音源映像の表示領域を特定することが可能となる。尚、映像表示面を複数の領域に分割する際の、領域の数や形については、音像定位に関する聴覚の弁別能などを参考にして、コンテンツ制作者の判断に基づき行なわれるものとする。

同じく請求項１に記載の「その領域毎に個別の音声出力装置と音声チャンネルを配置すること」は、「どの領域からでも音声の出力を可能とするための手段」である。この手段により、映像表示面上に設けられた領域を単位として、実音像を定位させることが可能となる。尚、ここで言う音声出力装置とは、音声の出力に関わる装置のことを意味しており、その範疇には一般的なスピーカだけではなく、音声を出力させるための振動板と、その振動板を振動させるための振動装置（振動アクチュエーターなど）が含まれる。

同じく請求項１に記載の「前記領域の中から音源映像の表示領域を映像フレーム単位で選定すること」は、「音源映像の音声の出力先を指定するための手段」である。この手段は、次の手段の前段階となるものであると同時に、音源映像の表示領域を映像フレーム単位で選定することにより、音源映像の実音像を動画の動き（音源映像の動き）に追随させることを可能にしている。尚、音源映像の表示領域の選定については、コンテンツ制作者が任意の方法で行なうこととする。

同じく請求項１に記載の「映像と同期して再生する目的で収音した音源映像の音声の出力先を、前記選定領域に対応した音声チャンネルとして指定すること」は、「音源映像の表示領域からその音声を出力させるための手段」である。この時点において、「音源映像の表示領域」は「その領域に配置された音声チャンネル」に置き換えられることになるため、課題を解決するための手段の冒頭で、前提条件として掲げた「音源映像の表示領域からその音声を出力させる映像音声再生方法」の実現が果たされることとなる。

以上の手段により、映像と同期して再生する目的で収音した音源映像の音声を音源映像の表示領域から出力させることが可能となるが、そのためには音源映像の音声の出力先が予め定められていることが前提となる。請求項２に記載の「その指定（音声チャンネルの指定）に関する情報を音声出力先制御データとして反映させること」は、「再生を行なう映像音声データの中に、音源映像の音声の出力先情報を予め用意しておくための手段」である。この手段により、映像音声データの再生に先立ち、音源映像の音声の出力先を予め定めておくことが可能となり、「音声の出力先の指定に関する情報を有した映像音声データ」を作成することができる。また同時に、「その指定（音声チャンネルの指定）に関する情報を音声出力先制御データとして反映させること」は、「音声チャンネルの指定に関する情報の反映を、音声出力先制御データに限定すること」を意味しているため、「音声データの効率性を高めるための手段」でもある。この手段により、従来の映像音声データの構成方法により作成された音声データに比べて、音声データの効率性を高めることができる。図１は、請求項２に記載の映像音声データの構成方法により作成された映像音声データの構造について示した図であり、その音声の内容は、人物Ａと人物Ｂが交互に会話を交わしているものであるとする。（映像データの欄に記載の「映像フレーム番号」は、映像フレームの進行を表すために付けた便宜上のものである。）図１の例においては、映像表示面の分割数（音声チャンネル数）を、図２と比較するため１２としておく。また、音声データの欄に「人物Ａ」と記載のある部分については「人物Ａの音声データ」を、「人物Ｂ」と記載のある部分については「人物Ｂの音声データ」表しているものとする。（無音と記載されている部分は「無音データ」を表している。）尚、無音データの場合においては、音声の出力先の指定は無くても構わない。この図１と同じ再生結果を得ることについては、従来の映像音声データの構成方法（音声チャンネルと音声データが一対一の関係となる構成方法）により作成された音声データであっても可能であるが、その場合においては全ての音声データの中に含まれる無音データの「割合」が、実際に再生の対象となる音声データに比べて大きくなる（図２参照）ため、音声データの作成時、及び再生時の効率が低下する。従って、音声データの構成を従来の方法により行なうことは、産業上の利用において好ましくない。（無音データの場合には、その音質は問題とならないため、「データ量」の低減を図ること自体は可能であるが、その場合であっても効率性の低さには変わりはない。）

請求項３に記載の「音声の出力先を映像フレーム単位で変更させながら再生処理すること」は、「時間の進行と共に変化する音源映像の表示領域に、音声の出力先を追随させるための手段」である。この手段をもって、「音源映像の表示領域からその音声（映像と同期して再生する目的で収音した音源映像の音声）を出力させること」の実現が果たされる。

以上説明した通り、本願発明においては、映像表示面上の音源映像の表示領域に、その音声の音像を的確に定位させることができる。その際、音像の定位位置については、視聴位置や、スピーカと映像ディスプレイの配置位置の影響を受けることはない。（実音像による音像定位であることと、その実音像を音源映像の表示領域に合わせて移動させることができるため。）

また、映像表示面上の音源映像の表示領域数に合わせて、その音声の出力先数を指定することができるため、音源映像の大きさと、その音声の音像の大きさについても一致させることが可能となる。（つまり、音像の大きさを表現することができる。）その際、音声の再生に必要とされる音声データの数については、音声の出力先数の影響を受けることは無く、常に一つに固定される。

また、既存コンテンツの音声データについても、該当する音声（例えば、５．１チャンネル音声の場合であれば、センターチャンネル音声）の「音声出力先制御データ」を作成するだけで、本願発明の実施が可能となる。（つまり、既存の音声データを編集することなく、そのまま利用することができる。）尚、通常のコンテンツの場合であれば、メインとなる音声（例えば、センターチャンネル音声に含まれているセリフや効果音など）が複数同時に発音される可能性は極めて低いため、音源映像の音声の分離は基本的に保たれていると見做すことができる。

本願発明を実施する際には映像表示装置と音声出力装置を組み合わせることが必要となるが、映像表示装置については一定以上の画面サイズが求められるため（画面サイズが小さすぎると、音像の定位位置を認識することが困難となるため）、フロントプロジェクターを使用してスクリーンに映像を投射する方法が最良の形態であると考えられる。（比較的低コストで大画面映像を実現できるため。）この場合の音声出力装置については、スピーカをスクリーンの裏面に近接して配置すればよい。図３は、映像表示面を１２の領域に分割した場合の、各領域に配置された音声チャンネルと音源映像（人物Ｃの顔）の表示領域の対応関係を示したものである。（この例ではｃｈ１１が、音源映像の表示領域に対応する音声チャンネルとなる。）尚、映像表示面を複数の領域に分割する際の、領域の数や形については、コンテンツ制作者の判断に基づき行なわれることとする。（領域の数は映像表示面の大きさによっても異なることになるが、音像定位に対する聴覚の弁別能以上に分割する必要はない。また、人の聴覚の弁別能は、垂直方向よりも水平方向の方が優れているため、水平方向の分割数を多くすることが望ましい。尚、領域の形については、スピーカの形などを参考にして決定することもできる。）

音源映像の表示領域の選定（音声の出力先の指定）については、コンテンツ制作者が任意の方法（目視やコンピュータによる映像処理など）で実施すればよく、音源映像が複数の領域の境界に表示されている場合についても、コンテンツ制作者の判断に任されるものとする。図４は、音源映像（人物の顔）が複数の領域の境界に表示されている場合について示したものであり、この場合においては音源映像（人物Ｃの顔の口の部分）が「領域９」と「領域１０」の境界に跨って表示されている。この様な場合においては、音源映像の向き（人物の顔）などを参考にして、最も高い効果（映像と音像の一体感）が得られる領域を選定すればよい。（この例では、領域９）

音声の出力先（の指定）に関する情報を有した映像音声データを、そのデータの構造に対応するプログラムにより再生処理を行なう場合、その処理の基本的な流れは次の通りとなる。（１）請求項３に記載の映像音声再生装置において、サウンド・バッファを個々の音声チャンネルに対応させた上で、全ての音声チャンネルの数だけ用意しておく。（２）映像音声再生装置に入力された音声データを、映像音声再生装置のサウンド・メモリに書き込む。（３）サウンド・メモリに書き込まれた音声データを、音声の出力先に関する情報に基づき、該当するサウンド・バッファに書き込む。（尚、該当するサウンド・バッファが複数存在する場合、それらのサウンド・バッファは一つのサウンド・メモリを共有する。）（４）サウンド・バッファから音声データを出力（転送）する。

映像表示装置と音声出力装置の組み合わせについては、フラットパネルディスプレイのディスプレイ基板を音声を出力させるための振動板として利用し、その振動板を振動させるための振動装置（振動アクチュエーターなど）をディスプレイ基板に接して配置することでも実現できる。つまり、この場合においては、フラットパネルディスプレイにフラットパネルスピーカの機能を一体化させることで実現できる。（図５参照）

「発明の効果（段落番号００１９）」に記載した通り、本願発明においては、音源映像の大きさ（音源映像の表示領域数）と、その音声の音像の大きさ（その音声の出力先数）を一致させることができる。図３は、音源映像（人物Ｃの顔の口の部分）が一つの領域に表示されている場合を示したものであり、図６は、音源映像（人物Ｃの顔の口の部分）が四つの領域に表示されている場合を示したものである。この例においては、図３の音声出力先はｃｈ１１（一つ）となり、図６の音声出力先はｃｈ６、ｃｈ７、ｃｈ１０とｃｈ１１（四つ）となる。尚、音声出力先数が複数であっても、再生する音声データが同一である限り、再生に必要とされる音声データの数は一つでよい。

本願発明は、既存コンテンツの音声データであっても、「音声出力先制御データ」を作成するだけで実施することができるため、本願発明の利用により既存コンテンツの付加価値を高めることが可能となる。また、本願発明は再生するコンテンツがデジタルデータである限り、原則としてメディアの種類は問わない。従って、コンテンツの提供（流通）についても、インターネットやパッケージメディアなどを利用して幅広く実施することができる。但し、デジタル放送を利用してコンテンツの提供を行なう場合は、ＡＲＩＢ（電波産業会）に標準規格の改定を申請する必要があり、現時点で直ぐに利用することはできない。（技術的には可能であっても、規格上の問題がある。）そのため、本願発明を放送コンテンツに利用する場合は、請求項２に記載の構成方法に基づきデータフォーマットを変換した上で、インターネットなどを経由してコンテンツを提供する必要がある。（その場合においても、該当する音声の「音声出力先制御データ」を作成するだけでよい。）

請求項２に記載の映像音声データの構成方法により作成された音声データの構造について示した図である。 従来の映像音声データの構成方法により作成された音声データの構造について示した図である。 音源映像の表示領域に該当する音声チャンネルについて示した図である。 音源映像が複数の領域の境界に表示されている場合について示した図である。 フラットパネルディスプレイと振動装置からなる映像表示装置と音声出力装置の組み合わせについて示した図である。 音源映像の表示領域数と、その音声の出力先数について示した図である。

符号の説明

１ 人物Ｃの顔
２ ディスプレイ基板
３ 振動装置（振動アクチュエーター）

Claims (3)

1. 後記（イ）から（ハ）の構成により、音声の出力先を音源映像の動きに追随して変化させることを特徴とする映像音声再生方法。
   （イ）映像表示装置の映像表示面を複数の領域に分割し、その領域毎に個別の音声出力装置と音声チャンネルを配置すること。
   （ロ）前記領域の中から音源映像の表示領域を映像フレーム単位で選定した上で、映像と同期して再生する目的で収音した音源映像の音声の出力先を、前記選定領域に対応した音声チャンネルとして指定すること。
   （ハ）以上の結果として、音源映像の表示領域からその音声を出力させること。
2. 映像と同期して再生させる目的で収音した音源映像の音声の出力先を、請求項１に記載の音源映像の表示領域に対応した音声チャンネルとして指定し、その指定に関する情報を音声出力先制御データとして反映させることで、音声の出力先を音源映像の動きに追随して変化させることを特徴とする映像音声データの構成方法。
3. 請求項２に記載の構成方法により作成された映像音声データを、その構造に対応するプログラムにより、音声の出力先を映像フレーム単位で変更させながら再生処理することで、音声の出力先を音源映像の動きに追随して変化させることを特徴とする映像音声再生装置。
   

Images