WO2003079724A1 - Appareil de traitement d'un signal de localisation d'image sonore et procede de traitement dudit signal - Google Patents

Description

明細書

音像定位信号処理装置および音像定位信号処理方法 技術分野

本発明は、 例えば、 角度情報を有する映像信号に対応するォー ディォ信号に仮想音源定位処理を行う音像定位信号処理装置およ ぴ音像定位信号処理方法に関するものである。 背景技術

従来、 全方位カメ ラ と呼ばれる 3 6 0度の周囲の被写体を例え ば 8画角に分割して連続処理して撮像するものがあった。 この全 方位カメ ラで撮像された 3 6 0度撮像映像は、 特に視点を注視す るこ となく 3 6 0度の周囲を撮像するため自由視点映像と呼ばれ ていた。 この自由視点映像に対応する音は 3 6 0度の周囲の被写 体の例えば 8画角に分割した映像に対して固定してステレオ音場 を再現できるよ う にマイク口ホンを介して収音されていた。 発明の開示

このよ う に、 上述した従来の自由視点映像に対するオーディオ 信号の再生において、 たとえ出力がステレオ音声出力信号であつ たと しても、このよ うなステレオ音声出力信号を再生した場合に、 通常音像は再生手段と して用いる 2個のス ピーカの間にのみ定位 し、 それ以外の方向には定位しない。

従って、 再生時にテレビジョ ン受像機等のモニタ上に再生され る映像を 3 6 0度撮像映像のう ち角度を変化させて移動させて再 生した場合には、 音像が 3 6 0度の周囲の被写体の例えば 8画角 に分割した映像に対して固定してしまい、 音像がモニタに表示さ れた移動している画像とは一致せずに、 通常音像は再生する 2個 のスピーカの間にのみ定位し、 それ以外の方向には定位しないと いう不都合があった。 なお、 ゲーム機器において、 音源および画 像をデータ と してメモリ に記憶して、 メモリ から読み出した画像 に対する音源の位置を変化させるものがあるが、 映像信号ゃォー ディォ信号などのよ う に、 リ アルタイムでス ト リームで読み出し た画像に対してリ アルタイムで音源の位置を変化させる技術が要 求されていた。

そこで、 本発明は、 かかる点に鑑みてなされたものであり 、 自 由視点映像に対するオーディオ信号の再生において、 角度を変化 させて映像を移動させて再生した場合にも移動する映像の方向に 音像を定位させるこ とができる音像定位信号処理装置および音像 定位信号処理方法を提供するこ とを課題とする。

本発明の音像定位信号処理装置は、 基準位置に対して角度情報 を有する映像信号に基づく 映像に対応するよ う に再生時における 再生音像を任意の位置に定位させるよ う に制作時において複数の 音源から入力される各音源データを合成手段によ り合成したォー ディォ信号に信号処理を施す音像定位信号処理装置において、 上 記映像信号に基づく 映像の再生音像の角度情報となるユーザーの 視点選択情報を選択する選択手段と、 上記選択手段によ り選択さ れた再生音像の角度情報となるユーザーの視点選択情報に対応す る上記オーディオ信号のチャンネルに音像定位のための信号処理 をリ アルタイムで施す音像定位制御処理手段と、 上記音像定位制 御処理手段によ り信号処理を施すための制御情報を生成する制御 情報生成手段と、 上記映像信号に上記オーディォ信号および上記 制御情報を重畳して送出用情報を生成する送出用情報生成手段と を備え、 上記オーディオ信号にリ アルタイムで信号処理を施して 上記映像信号に基づく 映像に対応して音像定位位置を制御するよ う にしたものである。 また、 本発明の音像定位信号処理装置は、 複数の音源から入力 される各音源データを合成手段によ り合成して制作時における制 御情報によ り信号処理を施したオーディオ信号について、 基準位 置に対して角度情報を有する映像信号に基づく 映像に対応するよ う に再生時において再生音像を任意の位置に定位させるよ う に再 生用情報に信号処理を施す音像定位信号処理装置において、 上記 再生用情報における映像信号に重畳された上記オーディオ信号お よび上記制御情報から、 上記映像信号、 上記オーディオ信号およ び上記制御情報を読み出す再生用情報読み出し手段と、 上記映像 信号を再生する映像信号再生手段と、 上記映像信号に基づく 映像 の再生音像の角度情報となるユーザーの視点選択情報を選択する 選択手段と、 上記選択手段によ り選択された再生音像の角度情報 となるユーザーの視点選択情報に対応する上記オーディオ信号の チャンネルに音像定位のための信号処理をリ アルタイムで施す音 像定位制御処理手段とを備え、 上記オーディオ信号にリ アルタイ ムで信号処理を施して上記映像信号に基づく 映像に対応して音像 定位位置を制御するよ う にしたものである。

また、 本発明の音像定位信号処理方法は、 基準位置に対して角 度情報を有する映像信号に基づく 映像に対応するよ うに再生時に おける再生音像を任意の位置に定位させるよ う に制作時において 複数の音源から入力される各音源データを合成手段によ り合成し たオーディオ信号に信号処理を施す音像定位信号処理方法におい て、 上記映像信号に基づく 映像の再生音像の角度情報となるユー ザ一の視点選択情報を選択する選択ステップと、 上記選択ステツ プによ り選択された再生音像の角度情報となるユーザーの視点選 択情報に対応する上記オーディォ信号のチヤンネルに音像定位の ための信号処理をリ アルタイムで施す音像定位制御処理ステップ と、 上記音像定位制御処理ステップによ り信号処理を施すための 制御情報を生成する制御情報生成ステップと、 上記映像信号に上 記オーディオ信号および上記制御情報を重畳して送出用情報を生 成する送出用情報生成ステップとを備え、 上記オーディオ信号に リ アルタイムで信号処理を施して上記映像信号に基づく映像に対 応して音像定位位置を制御するよ う にしたものである。

また、 本発明の音像定位信号処理方法は、 複数の音源から入力 される各音源データを合成手段によ り合成して制作時における制 御情報によ り信号処理を施したオーディオ信号について、 基準位 置に対して角度情報を有する映像信号に基づく映像に対応するよ う に再生時において再生音像を任意の位置に定位させるよ う に再 生用情報に信号処理を施す音像定位信号処理方法において、 上記 再生用情報における映像信号に重畳された上記オーディオ信号お よび上記制御情報から、 上記映像信号、 上記オーディオ信号およ ぴ上記制御情報を読み出す再生用情報読み出しステップと、 上記 映像信号を再生する映像信号再生ステップと、 上記映像信号に基 づく 映像の再生音像の角度情報となるユーザーの視点選択情報を 選択する選択ステ ップと、 上記選択ステップによ り選択された再 生音像の角度情報となるユーザーの視点選択情報に対応する上記 オーディオ信号のチャンネルに音像定位のための信号処理をリ ア ルタイムで施す音像定位制御処理ステップとを備え、 上記オーデ ィォ信号にリ アルタイムで信号処理を施して上記映像信号に基づ く 映像に対応して音像定位位置を制御するよ う にしたものである, 従って本発明によれば、 以下の作用をする。

制作系において、 音像定位制御処理手段は、 選択手段から映像 の角度情報に対応した制御情報に基づいてオーディオ信号のチヤ ンネルに音像定位のための信号処理をリ アルタイムで施す。

また、 制御情報生成手段は、 音像定位制御処理手段で映像の角 度情報に対応してオーディオ信号のチャンネルに音像定位のため の信号処理を施すための音像定位処理に用いた制御情報を格納す る。

送出用情報生成手段は、 映像信号にオーディオ信号および制御 信号を用いて送出用のフォーマツ トに基づいた送出用データを生 成する。 この送出用データは、 再生系に転送される。

これによ り、 制作系において、 オーディオ信号の任意のチャン ネルに音像定位のための信号処理を施すためのリ アルタイムの音 像定位処理に用いた制御情報を生成して、 自由視点映像の映像信 号およぴォ一ディォ信号と共に再生系に転送するこ とによ り 、 自 由視点映像の角度を変化させて映像を移動させて再生した場合に 移動する映像の方向にオーディオ信号の再生音像を定位させるこ とができる。

また、 再生系において、 音像定位制御処理手段は、 選択手段か ら映像の角度情報に対応した制御情報に基づいて制作系から転送 されたオーディオ信号のチャンネルに音像定位のための信号処理 をリ アルタイムで施す。

音像定位制御処理手段で映像の角度情報に対応した制御情報に 基づいてオーディオ信号のチャンネルに音像定位のための信号処 理を施された補正オーディオ信号は再生手段に出力される。 再生 手段は補正オーディオ信号を再生して映像の角度情報に対応した 再生音像を出力する。

これによ り、 再生系において、 オーディオ信号の任意のチャン ネルに音像定位のための信号処理を施して捕正オーディオ信号を 出力するための音像定位処理に用いた制御情報を用いて、 自由視 点映像の映像信号に対するオーディォ信号をリアルタイムで音像 定位処理することによ り、 自由視点映像の角度を変化させて映像 を移動させて再生した場合に移動する映像の方向にオーディオ信 号の再生音像を定位させることができる。 図面の簡単な説明

図 1 は、 本実施の形態に適用される 自由視点映像 · 音声制作再生 システムの制作系の音像定位信号処理装置の構成を示すプロ ック 図である。

図 2は、 本実施の形態に適用される 自由視点映像 · 音声制作再生 システムの再生系の音像定位信号処理装置の構成を示すブロ ック 図である。

図 3は、チャ ンネルマッピング部の構成を示すブロ ック図である。 図 4は、 G U I アプリ ケーシ ョ ン画面を示す図である。

図 5は、 操作メ タデータの生成を示す図である。

図 6 は、 時間メ タデータの生成を示す図である。

図 7は、 メ タデータの記録フォーマッ トを示す図であり、 図 7 A は 1 フ レームの先頭、 図 7 Bは 1 フ レームの末尾、 図 7 Cは各ァ ルバムの先頭に記録するものである。

図 8 は、 3 6 0度カメ ラ撮像映像を示す図である。

図 9 は、 円周状カメ ラによる撮像を示す図である。

図 1 0は、 時間軸上での動作モー ドの切り換えを示す図である。 図 1 1 は、 H R T Fによる補正音像を示す図である。

図 1 2は、 H R T Fによる補正処理の構成図である。

図 1 3は、 制作系のフローチャー トである。

図 1 4は、 再生系のフローチャー トである。

図 1 5は、制作系のチャ ンネルマツビングの働きを示す図であり、 図 1 5 Aはリ アルサウンドの場合、 図 1 5 Bはバーチャルサゥン ドの場合、 図 1 5 Cはリアルサウン ドとパーチャルサウン ドの組 み合わせの場合である。

図 1 6 は、 制作系と再生系のチャ ンネルマッピングのパリエーシ ョ ンを示す図であり、 図 1 6 Aはィンパルス応答畳み込み型の場 合、 図 1 6 Bは 5 c h出力対応のリパーブ処理の場合である。 発明を実施するための最良の形態

本実施の形態に適用される音像定位信号処理装置は、 いわゆる 自由視点映像におけるオーディオ信号の音場の再生においてユー ザ一が視点を変更するに従って音像定位位置が変化するよ うにす るために、 映像コ ンテンツを制作するときにサウン ドク リエータ が映像に合わせてオーディオ信号の再生音像を定位させるための 制御情報をォーサリ ング情報のメ タデータと して再生側に伝送す るよ う にしたものである。

本実施の形態に適用される音像定位信号処理装置について説明 する。

図 1 は、 自 由視点映像 · 音声制作再生システムの制作系の音像 定位信号処理装置の構成を示すプロ ック図である。

図 1 に示す音像定位信号処理装置は、 自由視点映像の角度を変 化させて映像を移動させて再生した場合に移動する映像の方向に オーディオ信号の再生音像を定位させるよ う にオーディオ信号を 制御するメタデータを再生側に伝送する点が従来と大きく異なる 点である。

図 1 において、 制作系では、 自由視点カメ ラのマイ ク素材 1や その他の素材 2が複数チャンネルのオーディオ入力と してミキサ 3 に入力される。 自由視点カメ ラのマイ ク素材 1 は、 自由視点映 像に対応する音であり 3 6 0度の周囲の被写体の例えば 8画角に 分割した映像に対して固定してステレオ音場を再現できるよ う に マイクロホンを介して収音される。 その他の素材 2は、 ドライ素 材と呼ばれるものであ り 、 スポッ トマイ ク素材、 アフ レコマイ ク 素材またはサウン ドエフェク ト素材などである。

ミキサ 3は、 サウン ドク リエータが、 自由視点カメ ラのマイク 素材 1やその他の素材 2などの複数チャンネルの音源からのォー ディォ入力を、 自由視点ビューァ 4で映像データ 1 0の自由視点 映像を 3 6 0度にわたって見ることによ り映像の素材を見ながら 各チャンネルに合成処理するよ う に調整することができる音調整 卓である。 例えば Nチャンネル （例えば 2 4チャンネル） のォー ディォ入力データを M (ぐ N ) チャンネル (例えば 4 〜 1 0チヤ ンネル） のオーディオ出力データに合成して調整する。

自由視点ビューァ 4では、 視点選択部 5における視点を選ぶ操 作キーの操作によ り 自由視点映像の角度情報が選択される。 視点 選択部 5 における視点を選ぶ操作キーは、 例えば操作キーの回転 によ り角度情報の選択の動作をして操作キーの押圧によ り決定の 動作をするこ とができるものである。

ミ キサ 3 には機能プロ ック と してチャンネルマツビング部 6 が 設けられている。 ミキサ 3からのオーディオ出力データはチャン ネルマッ ピング部 6 に供給される。 チャンネルマツ ビング部 6 に は視点選択部 5から 自由視点映像の角度情報が供給されている。 そこで、 チャンネルマッ ピング部 6 は、 視点選択部 5から 自由視 点映像の角度情報に対応した制御情報に基づいてミキサ 3からの オーディオ出力データのチャンネルに音像定位のための信号処理 をリ アルタイ ムで施す。 チャンネルマッ ピング部 6 は、 例えば 4 〜 1 0チャンネルの合成された音源のオーディオデータを入力し て、 2チャンネ /レ乃至 5 . 1 チャンネノレ、 6 チャンネル、 7チヤ ンネルなどのマルチオーディオデータを出力する。 なお、 チャン ネルマツビング部 6 の詳細については後述する。

チャンネルマッピング部 6で自由視点映像の角度情報に対応し た制御情報に基づいてオーディオデータのチャンネルに音像定位 のための信号処理を施された捕正オーディオデータはオーディオ モニタ 7に出力される。 オーディオモニタ 7は補正オーディオデ ータを再生して自由視点映像の角度情報に対応した再生音像を出 力する。 なお、 オーディオモニタ 7 は、 左 （ L )、 右 （R ) のステ レオ音響を再生するスピーカ.、 左 （ L)、 右 （R) のステレオ音響 を再生するへッ ドホン、左 （ L)、右 （R)、 サラウン ド左 （ S L )、 サラウン ド右 （ S R) の 4チャンネルのステレオ音響を再生する スピーカまたは左 （ L )、 右 （R)、 中央 （ C )、 サラウンド左 （ S L)、 サラウン ド右 （ S R)、 サブウーハ （ S W) の 5. 1チャン ネルのステレオ音響を再生するス.ピー力を用いても よい。

また、 チャンネルマッピング部 6 で自由視点映像の角度情報に 対応してオーディオデータのチヤンネルに音像定位のための信号 処理を施された捕正オーディオデータの音像定位処理に用いた制 御情報は、 ォーサリ ング情報のメタデータと してメ タデータ部 9 に供給される。

ミ キサ 3からのオーディオ出力データは、 オーディオレコーダ 8に供給され、 オーディオレコーダ 8は、 チャンネルマッピング 部 6 からの例えば同期信号に同期してオーディオデータを送出用 のフォーマツ トにス ト リ ーム化する。

オーディオインターリーブ部 1 1 は、 映像データ 1 0にス ト リ ーム化されたオーディオデータおよびメ タデータ部 9からのメ タ データをィンターリーブ処理して送出用のフォーマツ トに基づい た送出用データ 1 2を生成する。 この送出用データ 1 2は、 例え ば、 インターネッ ト 1 3または記録媒体 1 4 を介して後述する再 生系に転送される。

これによ り 、 制作系において、 オーディオデータの任意のチヤ ンネルに音像定位のための信号処理を施して補正オーディオデー タを出力するためのリ アルタイムの音像定位処理に用いた制御情 報を生成して、 自 由視点映像の映像データおょぴオーディオデー タと共に再生系に転送することによ り、 自由視点映像の角度を変 化させて映像を移動させて再生した場合に移動する映像の方向に オーディオ信号の再生音像を定位させることができる。 図 2は、 自由視点映像 · 音声制作再生システムの再生系の音像 定位信号処理装置の構成を示すプロ ック図である。

図 2 において、再生系では、上述した図 1 に示した制作系から、 例えば、 イ ンターネッ ト 1 3または記録媒体 1 4を介して転送さ れた送出用データ 1 2が再生用データ 2 1 と して入力される。 送 出用のフォーマツ トに基づいた再生用データ 2 1 の中から映像デ ータ、 オーディオデータおよびメ タデータが読み出されて、 映像 データはビデオプレーヤ 2 2に供給され、 オーディオデータは図 示しないオーディオプレーヤに設けられたチャンネルマッピング 部 2 4に供給され、 図示しないオーディオプレーヤに設けられた メ タデータはメ タデータ部 2 5に供給される。

ビデオプレーヤ 2 2では、 視点選択部 2 3 における視点を選ぶ 操作キーの操作によ り 自由視点映像の角度情報が選択される。 ビ デォプレーヤ 2 2で再生された自由視点映像は視点選択部 2 3 に よ り選択された角度情報に基づいた映像が再生される。 視点選択 部 2 3 における視点を選ぶ操作キーは、 例えば操作キーの回転に よ り角度情報の選択の動作をして操作キーの押圧によ り決定の動 作をするこ とができるものである。

チャンネルマッ ピング部 2 4には視点選択部 2 3から自由視点 映像の角度情報およびメ タデータ部 2 5から制御情報と してのメ タデータが供給されている。 そこで、 チャンネルマッピング部 2 4 は、 視点選択部 2 3から自由視点映像の角度情報に対応した制 御情報と してのメ タデータに基づいて制作系から転送されたォー ディォデータのチャンネルに音像定位のための信号処理をリ アル タイムで施す。 チャンネルマッピング部 2 4は、 例えば 4〜 1 0 チャンネルの合成された音源のオーディオデータを入力して、 2 チャンネノレ乃至 5 . 1 チャンネル、 6 チャンネノレ、 7チャンネノレ などのマルチオーディオデータを出力する。 なお、 チャンネルマ ッビング部 2 4の詳細については後述する。

チャンネルマッピング部 2 4で自由視点映像の角度情報に対応 した制御情報と してのメ タデータに基づいてオーディオデータの チャンネルに音像定位のための信号処理を施された補正オーディ ォデータはオーディオモニタ 2 7に出力される。 オーディオモニ タ 2 7は補正オーディオデータを再生して自由視点映像の角度情 報に対応した再生音像を出力する。 なお、 オーディオモニタ 2 7 は、左（ L )、右（R)のステレオ音響を再生するスピーカ、左（ L)、 右（R) のステレオ音響を再生するへッ ドホン、左 （ L )、右（R)、 サラ ウン ド左 （ S L)、 サラ ウン ド右 （ S R) の 4チャンネルのス テレオ音響を再生するス ピーカまたは左（ L )、右（R)、中央（C )、 サラウン ド左 （ S L )、 サラウン ド右 （ S R)、 サブウーハ （ S W) の 5. 1チャンネルのステレオ音響を再生するスピーカを用いて もよい。

これによ り、 再生系において、 オーディオデータの任意のチヤ ンネルに音像定位のための信号処理を施して補正オーディオデー タを出力するための音像定位処理に用いた制御情報を用いて、 自 由視点映像の映像データに対するオーディオデータをリ アルタイ ムで音像定位処理するこ とにより、 自由視点映像の角度を変化さ せて映像を移動させて再生した場合に移動する映像の方向にォー ディォ信号の再生音像を定位させるこ とができる。

以下に、 チャンネルマッピング部の詳細について説明する。 図 3は、 チャンネルマッピング部の構成を示すブロ ック図であ る。

図 3 において、 チャンネルマッピング部は、 音像定位信号処理 を施すオーディオ信号のチャンネルの指定に応じた動作モー ドを 設定する動作モー ド設定部 3 1 と、 視点選択部 5 によ り選択され たユーザーの視点選択情報に対応するフレーム画像を設定する ト ラック設定部 3 2 と、 選択されたフ レーム画像に対応するオーデ ィォ信号に信号処理を施すパラメータを設定するパラメータ設定 部 3 3 とを有して構成される。

動作モー ド設定部 3 1 は、 複数のチャ ンネルのオーディオ信号 の う ちすベてのチャ ンネルに音像定位信号処理を施す第 1 の動作 モー ドの固定チャ ンネルモー ド 3 1 — 1 と、 複数のチャ ンネルの オーディオ信号の う ち特定のチャンネルのみを指定して音像定位 信号処理を施して他のチャ ンネルは信号処理を施さない第 2 の動 作モー ドの非固定チャンネルモー ド 3 1 一 2 とを有して構成され る。

トラック設定部 3 2 は、 視点選択部 5 によ り選択された再生音 像の角度情報となるユーザーの視点選択情報に対応するよ う に、 映像信号のフ レーム処理を行う フ レーム処理部 3 2 - 1 と、 水平 角度処理を行う水平角度処理部 3 2 - 2 と、 ズーム処理を行うズ ーム処理部 3 2 — 3 と、 垂直角度処理を行う垂直角度処理部 3 2 一 3 とを有して構成される。 トラック設定部 3 2は、 上述した構 成によ り動作モー ド設定部 3 1 からの動作モー ド A Mおよび視点 選択部 5からの視点選択情報 Vに応じてオーディオ信号に信号処 理を施すための操作信号 Cを生成する。 なお、 これらの構成は、 すべて用いてもよいし、 これに限らず、 処理に応じて何れかを選 択して用いてもよい。

パラメータ設定部 3 3は、 トラ ック設定部 3 2からの操作信号 Cに基づいて、 オーディオ信号に所定のパラメータによ り位相等 化のィコライジング処理を行うィコライジング処理部 3 3 — 1 と 残響のリバーブ処理を行う リバーブ処理部 3 3 - 2 と、 音量処理 を行う音量処理部 3 3 - 3 と、 音像の移動のパン処理を行うパン 処理部 3 3 — 4 と、 H R T F (頭部伝達関数 ： H e a d R e 1 a t e d T r a n s f o r m F u n c t i o n ) によ りユー ザ一の耳に到達する伝達関数を変更するこ とによ り音響特性処理 を施す H R T F処理部 3 3 - 5 とを有して構成される。

なお、 これらの構成は、すべて用いてもよいし、 これに限らず、 処理に応じて何れかを選択して用いてもよい。 ここで、 パラメ一 タ設定部 3 3 に供給される操作信号。に応じて、 パラメータ設定 部 3 3の各処理部に対する制御情報となるメ タデータ M Dが生成 される。 メ タデータ M D の生成については後述する。

ここで、 H R T F処理部について説明する。

例えば、 リ スナの周囲に置かれた 5個の音源から リ スナの両耳 に至る 5系統のステ レオイ ンパルス応答を使用して、 5組のステ レオ音源データを得るこ とができる。 例えば、 リ スナの左前方の 音源から リ スナの両耳までのイ ンパルス応答による伝達関数を入 力信号に対して畳み込む第 1 の音源と、 リ スナの左後方の音源か ら リ スナの両耳までのイ ンパルス応答による伝達関数を入力信号 に対して畳み込む第 2 の音源に対して信号処理を施す場合を説明 する。

ク リエィターが視点選択部 5 によ り、 音像位置を第 1 の音源か ら第 2の音源に移動する移動情報を入力したとき、 チャ ンネルマ ッビング部 6 の トラック設定部 3 2 はこ の移動情報を角度パラメ —タあるいは位置パラメータに変換し、 変換されたパラメータに 応じた操作信号 Cをパラメータ設定部 3 3に供給する。

この操作信号 Cによ り、 パラメータ設定部 3 3 は、 第 1 の音源 と第 2の音源から距離または角度の比で各処理部のレベル値をク 口ス フヱ一ドするよ う に処理する。

次に、 H R T F処理部の詳細な構成および動作について説明す る。

ミキサ 3から出力されるオーディオ信号のディジタル信号列の う ち左のディジタル信号 Lは、 一対の左用畳み込み積分器おょぴ メ モ リ のう ちの畳み込み積分器に供給される。 こ こでは、 畳み込 み積分器に付属するメモリ には、 リ スナの現在頭部が向いている 方向の、 頭部の規準方向に対する、 仮想音源位置から両耳に至る 一定のサンプリ ング周波数および量子化ビッ ト数で表されるデジ タル記録された一組のィ ンパルス レスポンスが呼び出されている ディジタル信号列は、 畳み込み積分器において、 こ のメモリ よ り 読み出されたィ ンパルス レスポンス と リ アルタイ ムで畳み込み積 分される。 また、 一対の右ク ロ ス トーク用畳み込み積分器および メ モ リ は右のデイ ジタル信号 Rのク ロス トーク成分を供給する。 上記と同様に右のディジタル信号 Rは、 一対の右用畳み込み積 分器およびメ モ リ の う ちの畳み込み積分器に供給される。 こ こで は、 畳み込み積分器に付属するメモリ には、 リ スナの現在頭部が 向いている方向の、 頭部の規準方向に対する、 仮想音源位置から 両耳に至る一定のサンプリ ング周波数および量子化ビッ ト数で表 されるデジタル記録された一組のィ ンパルス レスポンスが記憶さ れている。 ディジタル信号列は、 畳み込み積分器において、 この メ モ リ よ り読み出されたイ ンパルス レスポンス と リ アルタイムで 畳み込み積分される。 また、 一対の左ク ロ ス トーク用畳み込み積 分器おょぴメ モ リ は左のディジタル信号 Lのク ロ ス トーク成分を 供給する。

また、 一対の右ク ロス トーク用畳み込み積分器およびメ モ リ 、 一対の左クロス トーク用畳み込み積分器およびメモリ においても 上述と同様にイ ンパルス レスポンス と畳み込み積分が行なわれる このよ う に、一対の左用、一対の右クロス トーク用、一対の右用、 一対の左ク 口ス トーク用畳み込み積分器およびメモリ においてィ ンパルス レスポンス と畳み込み積分が行なわれたディジタル信号 列は、 加算器にそれぞれ供給される。 加算器で加算された 2チヤ ンネルのディ ジタル信号は適応処理フィルタによ り リ スナの個人 差による耳の形状の相違、 ノ イ ズ、 用いる音源固有の特性等を除 く よ う に補正される。

上例では、 メ モ リ に H R T F と してのイ ンパルス レスポンスが 記憶されている例を示したが、 畳み込み積分器に付属するメ モ リ に、 規準方向に対して固定された頭部の、 仮想音源位置から両耳 に至る一対のディ ジタル記憶されたィ ンパルス レスポンスを記憶 させてもよい。 この場合、 ディジタル信号列はこのイ ンパルスレ スポンス と リ アルタイ ムで畳み込み積分される。他のメ モ リ には、 頭部の規準方向に対する仮想音源位置から両耳に至る両耳間の時 間差、 レベル差を表す制御信号を記憶させる。

そして、 この畳み込み積分された各チャンネルのディジタル信 号の各々に対して、更に検出された規準方向に対する頭部運動を、 一定単位角度毎あるいは予め定められた角度毎に、 方向を含む大 きさを表すディジタルァ ドレス信号に変換し、 このァ ドレス信号 によ り予め他のメモリ に記憶された制御信号を読みだし、 制御装 置において、 リ アルタイムで補正し、 変更するよ う にして、 その 結果を加算器に供給するよ う にしても良い。

また、 このイ ンパルス レスポンス と リ アルタイ ムで畳み込み積 分されたディジタル信号列を加算器に供給し、 加算器からの 2チ ヤ ンネルのディジタル信号に対して、 更に検出された規準方向に 対する頭部運動を、 一定単位角度毎あるいは予め定められた角度 毎に、方向を含む大き さを表すディジタルァ ドレス信号に変換し、 このァ ド レス信号によ り予め他のメ モ リ に記憶された制御信号を 読みだし、 制御装置において、 リ アルタイ ムで補正し、 変更する よ う にしても良い。

こ こで、制御装置と しては、可変遅延装置と可変レベル制御器、 あるいは多バン ドに分割されたグラフィ ックイコライザ等の周波 数帯域毎のレベル制御器との組み合わせで構成することができる, また、 他のメ モ リ に記憶されている情報は、 リ スナの頭部が向い ている方向の、 頭部の規準方向に対する、 仮想音源位置から両耳 に至る両耳間の時間差及ぴレベル差等を表すイ ンパルス レスボン スでも良い。 この場合には、 上述の制御装置は、 I I R、 あるい は F I Rの可変ディジタルフィルターで構成すれば良い。従って、 制御装置を用いて H R T F と してのイ ンパルス レスポンスの値を 変化させるよ う にすればよい。

こ のよ う にして制御装置によ り、 空間情報が与えられ、 適応処 理フィルタによ り リ スナの個人差による耳の形状の相違、ノイズ、 用いる音源及ぴヘッ ドホンの固有の特性を補正され、 かつ頭部の 動きに対して変化の与えられる。

こ のよ う にして視点選択部 5 においてリ スナの規準方向に対す る頭部運動を一定角度あるいは予め定められた角度毎に検出し、 ア ドレス制御回路において方向を含む大き さを表すディジタルァ ドレス信号に変換する。

こ のァ ド レス信号によ り予めメモリ に記録されている頭部の基 準方向に対する仮想音源位置から両耳に至るディジタル記録され たイ ンパルス レスポンスが、 また他のメモリ からは両耳間の時間 差および両耳間のレベル差を表す制御信号あるいはイ ンパルス レ スポンスを読み出す。 畳み込み積分器または制御装置において、 このイ ンパルス レスポンスまたは制御信号と音響信号とをリ アル タイムで補正し変更する。

この畳み込み積分器おょぴメ モ リ または制御装置および加算器 によ り、 音場と しての空間情報を持った両耳への 2 チャ ンネルの ディジタル信号に変換され、 適応処理フィルタによ り リ スナの個 人差による耳の形状の相違、 ノイズ、 用いる音源の特性等が補正 され、 電力増幅器で電力増幅された後、 ス ピーカに供給される。 これによ り、 あたかもその仮想音源位置に置かれたス ピーカから 再生音が聞こえるよ うな再生効果を実現するこ とができるもので ある。

そして、 この場合、 リ スナが自由視点ビューァ 4を用いて自由 視点映像を動かすと、 視点選択部 5 によ り、 その向きに従ったデ イジタル信号、 またはアナログ信号が得られ、 これによ りその信 号は自由視点映像に対する リ スナの視点の向きに従った値となる, こ の値がァ ドレス制御回路を通じてメモリ にァ ドレス信号と して 供給される。

メ モ リ 力 らは、 テーブルに対応したデータのう ち、 自由視点映 像に対する リ スナの視点の向きに対応した規準方向に対する仮想 音源位置から両耳に至るディジタル記録されたィンパルス レスポ ンスまたは両耳間の時間差及び両耳間のレベル差を表す制御信号 が取り だされ、 このデータが畳み込み積分器または制御装置に供 給される。

視点選択部 5からの角度情報に基づいてメ モ リ から自由視点映 像に対する リ スナの視点の向きに対応した頭部の規準方向に対す る仮想音源位置から両耳に至るディジタル記録されたィンパルス レスポンスまたは両耳間の時間差及び両耳間のレベル差を表す制 御信号が取り だされ、 こ のデータが畳み込み積分器または制御装 置に供給される。

このよ う にして、 ス ピーカに供給されるオーディオ信号 L， R は、 自由視点映像に対する リ スナの視点の向きに対応した規準方 向に対する仮想音源位置から两耳に至るディジタル記録されたィ ンパルス レスポンスまたは両耳間の時間差及ぴ両耳間のレベル差 を表す制御信号との補正が行なわれるので、 自由視点映像に対す る リ スナの視点の移動に対しても、 移動した方向に複数個のス ピ 一力が仮想音源位置に置かれてこのス ピーカで再生しているよ う な音場感を得ることが出来る。 更にメ モ リ のテーブルにディジタル記録された両耳間の時間差 及ぴ両耳間のレベル差を表す制御信号が取りだされ、 このデータ が畳み込み積分器おょぴメモリ によ り予め畳み込まれたディジタ ル信号に対して、 制御装置で補正するよ う に、 純電子的に供給さ れるので、 リ スナの頭の向きに対するオーディオ信号の特性の変 化に遅れを生じるこ とがなく 、 不自然さを生じることはない。

さ らに、 H R T Fのデータは、 次によ う にして得るこ とができ る。 すなわち自由視点映像に対してス ピーカでオーディオ信号を 再生したときに好ま しい再生音場となるよ う、 適当な室内に、 必 要なチャ ンネル数のイ ンパルス音源とダミー へッ ドマイクロホン を定められた位置に配置する。 この場合のィ ンパルスを測定する 音源と してはス ピーカを用いてもよい。

またダミー へッ ドの各耳の収音位置に関しては、 外耳道入り 口 から鼓膜位置までの間の何れの位置でもよいが、 用いる音源の固 有の特性を打ち消すための捕正特性を求める位置と等しいことが 要求される。

また制御信号の測定は、 各チャ ンネルのス ピーカ位置よ りイ ン パルス音を放射し、 一定角度毎にダミー へッ ドの各耳に設けられ たマイ ク ロホンで収音するこ とによ り得られる。 従ってある角度 においては、 1 つのチャ ンネノレ毎に 1 糸且のイ ンノ ノレス レスポンス が得られるこ とになるから、仮に 5 チャ ンネルの信号源の場合は、 1つの角度毎に 5組、 すなわち 1 0種の制御信号が得られること になる。 従って、 これらのレスポンスによ り、 左右両耳間の時間 差及ぴレベル差を表す制御信号が得られる。

更に、 上述においては、 リ スナの頭の水平面内における向きに ついてのみ考慮したが垂直面内および、 これら と直交する面内に おける向きについても同様に処理すること も出来る。

またメ モ リ におけるテーブルは 1組と し、 ァ ドレス制御回路に おいてそのテーブルに対するア ドレスの指定を変更して複数組の テーブルがある場合と同様に制御データを得るこ とも出来る。

更に、 テーブルのデータは、 一般的な自由視点映像に対する リ スナの視点の向きの範囲に限ってもよく 、 また、 角度 ，， は、 例え ば、 ，， = 0 °付近では 0 . 5 °おきに設定しておき、 i，， " 4 5 ° Iで は 3 °おきに設定する という よ う に、向きによって角度，， の間隔を 異ならせてもよい。 上述したよ う に、 リ スナが自由視点映像に対 する リ スナの視点の回転の角度を識別できる角度毎でょレ、。更に、 へッ ドホンの代わりに、 リ スナ両耳の近く に配置したス ピーカで もよい。

図 4は、 G U I (G r a h i c a l U s e r I n t e r f a c e ) アプリ ケーシ ョ ン画面を示す図である。 図 4は、 図 1 に示した視点選択部 5 による 自由視点ビューァ 4の表示状態およ ぴ図 3に示したチャ ンネルマッピング部の設定の状態を示すもの である。

図 4において、 GU I アプリ ケーシ ョ ン画面 4 1上では、 動作 モー ド設定部 4 2が設けられていて、 サウンドク リエータが動作 モー ド設定部 4 2 のアイ コ ンをク リ ックするこ とによ り 、 図 3 に 示したよ う に、 複数のチャ ンネルのオーディオ信号のう ちすベて のチャ ンネルに音像定位信号処理を施す第 1 の動作モー ドの固定 チャ ンネルモー ド 3 1 - 1 と、 複数のチャ ンネノレのオーディオ信 号のう ち特定のチャンネルのみを指定して音像定位信号処理を施 して他のチャ ンネルは信号処理を施さない第 2の動作モー ドの非 固定チャ ンネルモー ド 3 1 一 2 とを選択して設定するこ とができ る。

また、 G U I アプリ ケーシ ョ ン画面 4 1上では、 トラ ック設定 部 4 3が設けられていて、 サウン ドク リエータが トラック設定部 4 3のアイ コ ンをタ リ ックするこ とによ り 、 視点選択部 5 によ り 選択された再生音像の角度情報となるユーザーの視点選択情報に 対応するよ う に、 映像信号の時間情報に応じたフ レームを移動し てフ レーム処理を行う フ レーム処理部 4 3 - 1 と、 水平角度処理 を行う水平角度処理部 4 3 - 2 と、 ズーム処理を行うズーム処理 部 4 3 - 3 と、 垂直角度処理を行う垂直角度処理部 4 3 - 3 とを 所定のフ レーム画像の設定状態に設定するこ とができる。 なお、 こ こでは、 トラ ック設定部 4 3が図ュ に示した視点選択部 5 に対 応し、 この設定に応じてこの G U I アプリ ケーシ ョ ン画面 4 1 の 下層または上層にウィン ドウ表示される自由視点ビューァ 4の表 示状態が自由視点映像の 3 6 0度にわたって変化する。

また、 G U I アプリ ケーシ ョ ン画面 4 1上では、 パラメータ設 定部 4 4が設けられていて、 サウン ドク リエータがパラメータ設 定部 4 4のアイ コンをク リ ックするこ とによ り 、 図 3 に示した ト ラック設定部 3 2からの操作信号 Cに基づいて、 オーディオ信号 に所定のパラメータによ りィ コライジング処理を行うィ コライジ ング処理部 4 4 - 1 と、 リパーブ処理を行う リバーブ処理部 4 4 一 2 と、 音量処理を行う音量処理部 4 4— 3 と、 パン処理を行う パン処理部 4 4 - 4 と、 H R T Fによ りユーザーの耳に到達する 伝達関数を変更するこ とによ り音響特性処理を施す H R T F処理 部 4 4 - 5 とを トラ ック設定部 4 3 で設定されたフ レーム画像に 対するオーディオ信号に対して信号処理状態に設定するこ とがで きる。 このパラメータ設定部 4 4による設定に応じて捕正オーデ ィォデータを得ることができる。

以下に、 メ タデータの生成について詳細に説明する。

図 5は、 操作メ タデータ の生成を示す図である。 図 5 の構成は 信号処理を施すオーディオ信号の各チャンネル毎に設けられる。

図 5 において、 図 3 に示した トラック設定部 3 2からの操作情 報 Cがパラメータ設定部 3 3のイ コライザ処理部 3 3 — 1、 リバ ープ処理部 3 3 — 2、音量処理部 3 3 — 3 、パン処理部 3 3 — 4、 H R T F処理部 3 3 — 5に供給される。 各処理部にはオーディオ データ A I が連続して入力される。 各処理部で操作信号 Cに基づ いて信号処理を施されて捕正オーディオデータ A Oが出力される, この際のイコライザ処理部 3 3 — 1 に対する例えば操作情報 C の角度情報に応じた高周波数帯域または低周波数帯域におけるィ コライザ処理の低下のための操作メ タデータ、 リパーブ処理部 3 3 — 2 に対する例えば操作情報 Cの角度情報に応じた高周波数帯 域または低周波数帯域における リパーブ処理の低下のための操作 メ タデータ、 音量処理部 3 3 — 3に対する例えば操作情報 Cの角 度情報に応じた音量の高低の操作メ タデータ、 パン処理部 3 3 — 4に対する例えば操作情報 Cの角度情報に応じた音の位置の移動 のための操作メ タデータ、 H R T F処理部 3 3 - 5 に対する例え ば操作情報 Cの角度情報に応じた周波数伝達特性の向上または低 下のための操作メ タデータを各々取り 出して、 各角度情報に対応 させて操作メ タデータ部 M Cに格納する。

これによ り、 ユーザーの視野の角度情報に応じたチャンネルマ ッビング部におけるオーディオ信号に対する信号処理機能を変化 させることができる操作メ タデータを生成するこ とができる。

なお、 これらの各処理部の構成は、 すべて用いてもよいし、 こ れに限らず、 処理に応じて何れかを選択して用いてもよいが、 こ の場合には、 選択された処理部の操作メ タデータを各角度情報に 対応させて操作メ タデータ部 M Cに格納する。

図 6 は、 時間メ タデータの生成を示す図である。 図 6 の構成は 信号処理を施すオーディオ信号の各チャンネル毎に設けられる。

図 6 において、 図 3 に示した トラック設定部 3 2からの操作情 報 Cがパラメータ設定部 3 3 のこ こでは図示しないイ コライザ処 理部 3 3 — 1、 リバーブ処理部 3 3 — 2、 音量処理部 3 3 — 3 を 経た後に、 図 6 においてパン処理部 3 3— 4、 H R T F処理部 3 3— 5に供給される。 各処理部にはオーディオデータ A I が連続 して入力される。 各処理部で操作信号 Cに基づいて信号処理を施 されて捕正オーディオデータ A Oが出力される。

この際のこ こでは図示しないイコライザ処理部 3 3 - 1 に対す る例えば操作情報 Cの時間情報に応じた高周波数帯域または低周 波数帯域におけるィ コライザ処理の低下のための時間メ タデータ リパーブ処理部 3 3 _ 2に対する例えば操作情報 Cの時間情報に 応じた高周波数帯域または低周波数帯域における リパーブ処理の 低下のための時間メ タデータ、 音量処理部 3 3 — 3に対する例え ば操作情報 Cの角度情報に応じた音量の高低の操作メ タデータ、 パン処理部 3 3 — 4に対する例えば操作情報 Cの時間情報に応じ た音の位置の移動のための時間メタデータ、 H R T F処理部 3 3 一 5 に対する例えば操作情報 Cの時間情報に応じた周波数伝達特 性の向上または低下のための時間メ タデータを各々取り 出して、 各時間情報に対応させて時間メ タデータ部 M Tに格納する。

これによ り 、 時間軸の変化による時間情報に応じたチャンネル マッピング部におけるオーディオ信号に対する信号処理機能を変 化させるこ とができる時間メタデータを生成するこ とができる。

なお、 これらの各処理部の構成は、 すべて用いてもよいし、 こ れに限らず、 処理に応じて何れかを選択して用いてもよいが、 こ の場合には、 選択された処理部の時間メ タデータを各時間情報に 対応させて時間メ タデータ部 M Tに格納する。

図 7は、 メ タデータの記録フォーマッ トを示す図であり、 図 7 Aは 1 フ レームの先頭、 図 7 Bは 1 フ レームの末尾、 図 7 Cは各 アルバムの先頭に記録するものである。

まず、 第 1 のメ タデータの記録フォーマッ トでは、 図 7 Aにお いて、 映像データ V I 、 V 2、 V 3、 V 4、 V 5 にオーディオデ ータがインターリーブされた 1 フ レームの先頭にメ タデータ M l を記録する。 従って、 再生系では、 1 フ レームのデータを検出し てバッファに保持し、 その先頭部分を読み出せば、 メ タデータ M 1 を読み出すことができる。

次に、 第 2のメ タデータの記録フォーマッ トでは、 図 7 Bにお いて、 映像データ V I、 V 2、 V 3、 V 4、 V 5 にオーディオデ ータがインターリーブされた 1 フレームの末尾にメ タデータ M 2 を記録する。 従って、 再生系では、 1 フ レームのデータを検出し てバッファに保持し、 その末尾部分を読み出せば、 メ タデータ M 2を読み出すこ とができる。

さ らに、 第 3のメ タデータの記録フォーマッ トでは、 図 7 Cに おいて、 曲を示すアルバムの先頭にメ タデータ M l 1、 M l 2、 M l 3 を記録する。 従って、 再生系では、 各アルバムのデータを 検出してバ ッ フ ァ に保持し、 その先頭部分を読み出せば、 メ タデ ータ M l 1 、 M l 2、 M l 3 を読み出すこ とができる。

なお、 メ タデータの記録フォーマッ トは、 これに限らず、 ディ スク状記録媒体の管理情報を記憶する T O C ( T a b 1 e O f C o n t e n t s ) 部分に記録してもよい。

図 8は、 3 6 0度カメ ラ撮像映像を示す図である。

図 8 において、 全方位力メ ラ 8 1 は 3 6 0度の周囲の被写体を 例えば 8画角に分割して連続処理して撮像する。 全方位カメ ラ 8 1 によ り撮像された 3 6 0度カメ ラ撮像映像 8 2は、 基準位置◦ に対して前方中央方向の角度情報，， を有するステージ 8 3上の歌 手 8 4および演奏者 8 5 の映像を示すエリ ア E 1 と、 基準位置 O に対して前方左方向の角度情報，， を有する観客 8 6 の映像を示す エリ ア E 2 と、 基準位置 Oに対して左横方向の角度情報，， を有す る観客 8 6 の映像を示すエリ ァ E 3 と、 基準位置 Oに対して後方 左方向の角度情報，， を有する観客 8 6 の映像を示すエリ ア E 4 と 基準位置 Oに対して後方中央方向の角度情報，， を有する観客 8 6 の映像を示すエリ ア E 5 と、 基準位置 Oに対して後方右方向の角 度情報，， を有する観客 8 6の映像を示すエリ ア E 6 と、 基準位置 Oに対して右横方向の角度情報，， を有する観客 8 6 の映像を示す エリ ア E 7 と、 基準位置 Oに対して前方右方向の角度情報，， を有 する観客 8 6の映像を示すエリ ァ E 8 とを有して構成される。

図 1 に示した制作系のチャンネルマッピング部 6 によ り視点選 択部 5 による角度情報，， に応じてオーディオ信号に映像の移動と 同期した音像定位の信号処理を施すこ とによ り 、 3 6 0度カメ ラ 撮像映像 8 2 のエリ ア E 1 〜エ リ ア E 8 までの角度情報，， による 反時計方向の映像の移動に対応して滑らかに音像を反時計方向に 移動させるこ とができる。

これによ り、 ェリ ァ E 1 における基準位置 Oに対する前方中央 方向の角度情報，， を有するステージ 8 3上の歌手 8 4および演奏 者 8 5の映像に対して前方中央方向のステージ 8 3上の歌手 8 4 およぴ演奏者 8 5の音像が定位し、 エリア E 2における基準位置 Oに対する前方左方向の角度情報，， を有する観客 8 6 の映像に対 して前方左方向の観客 8 6の音像が定位し、 エリア E 3における 基準位置 Oに対する左横方向の観客 8 6の映像に対して左横方向 の観客 8 6 の音像が定位し、 エリ ア E 4における基準位置 Oに対 する後方左方向の角度情報，， を有する観客 8 6 の映像に対して後 方左方向の観客 8 6 の音像が定位し、 エリ ア E 5 における基準位 置 Oに対する後方中央方向の角度情報，， を有する観客 8 6 の映像 に対して後方中央方向の観客 8 6の音像が定位し、 エリ ア E 6に おける基準位置 Oに対する後方右方向の角度情報，， を有する観客 8 6 の映像に対して後方右方向の観客 8 6 の音像が定位し、 エリ ァ E 7における基準位置 Oに対する右横方向の角度情報，， を有す る観客 8 6 の映像に対して右横方向の観客 8 6 の音像が定位し、 エリ ア E 8における基準位置 Oに対する前方右方向の角度情報 ，， を有する観客 8 6 の映像に対して前方右方向の観客 8 6の音像が 連続して定位する。

逆に、 3 6 0度カメ ラ撮像映像 8 2のエリ ア E 1 〜エリ ア E 2 までの角度情報，， による時計方向の映像の移動に対応して滑らか に音像を時計方向に移動させることができる。

これによ り 、 エリア E 1 における'基準位置 Oに対する前方中央 方向の角度情報，， を有するステージ 8 3上の歌手 8 4および演奏 者 8 5の映像に対して前方中央方向のステージ 8 3上の歌手 8 4 および演奏者 8 5 の音像が定位し、 エリ ア E 8 における基準位置 Oに対する前方右方向の角度情報，， を有する観客 8 6 の映像に対 して前方右方向の観客 8 6の音像が定位し、 エリ ア E 7における 基準位置 Oに対する右横方向の角度情報，， を有する観客 8 6の映 像に対して右横方向の観客 8 6 の音像が定位し、 エリ ア E 6 にお ける基準位置 Oに対する後方右方向の角度情報，， を有する観客 8 6 の映像に対して後方右方向の観客 8 6 の音像が定位し、 エリ ア E 5 における基準位置 Oに対する後方中央方向の角度情報，， を有 する観客 8 6 の映像に対して後方中央方向の観客 8 6 の音像が定 位し、 エリア E 4における基準位置 Oに対する後方左方向の角度 情報，， を有する観客 8 6 の映像に対して後方左方向の観客 8 6 の 音像が定位し、 エリ ア E 3 における基準位置 Oに対する左横方向 の観客 8 6の映像に対して左横方向の観客 8 6の音像が定位し、 エリ ア E 2における基準位置 Oに対する前方左方向の角度情報 ，, を有する観客 8 6 の映像に対して前方左方向の観客 8 6の音像が 連続して定位する。

また、このときの角度情報は、水平方向の角度情報，， に限らず、 垂直方向の角度情報，， を指定するこ とができる。 これによ り、 3 6 0度カメ ラ撮像映像 8 2のエリ ア E 1 〜エリ ア E 8の映像に対 してチヤンネルマツビング部で音像の定位を 3次元空間で処理す るこ とができる。

各信号処理の制御量は、 3 6 0度カメ ラ撮像映像 8 2を撮像す るコ ンテンツでは、 全方位カメ ラ 8 1 の基準位置 Oに対して移動 する角度情報，， に応じて、 図 3 に示したパン処理部 3 3 — 4によ り音像の定位角度が比例して動く よ うに処理される。

また、 全方位カメ ラ 8 1 の基準位置 Oに対して前方から後方ま たは後方から前方に移動すると移動距離に応じて、 図 3に示す音 量処理部 3 3 — 3 によ り音像の音量が小さ く または大きく なるよ う に処理される。

また、 全方位力メ ラ 8 1 の基準位置 Oに対して前方から後方ま たは後方から前方に移動すると移動距離に応じて、 図 3に示すィ コライザ処理部 3 3 — 1 によ り高周波数帯域のイコライザ処理を 低下させて高周波数帯域の音を下げるよ う にしまたは高周波数帯 域のイコライザ処理を向上させて高周波数帯域の音を上げるよ う に処理される。

また、 全方位カメ ラ 8 1 の基準位置 Oに対して前方から後方ま たは後方から前方に移動すると移動距離に応じて、 図 3に示すリ パーブ処理部 3 3 — 2によ り リバーブ処理が深く かかるよ う にし またはリバープ処理が浅く かかるよ うに処理される。

また、 全方位カメ ラ 8 1 の基準位置 Oに対して前方から後方ま たは後方から前方にズーム処理によ り移動する と移動距離に応じ て、 図 3 に示す H R T F処理部 3 3 — 5 によ り音像が遠く なるよ う に値が変更されてまたは音像が近く なるよ う に値が変更される よ う に処理される。

なお、 全方位カメ ラに限らず、 後述する円周状カメ ラを用いて もよい。

図 9は、 円周状カメ ラによる撮像を示す図である。 図 9 において、 被写体である歌手 9 2に対して、 基準位置 Oに 対して角度情報 ，， に応じて、 円周状カメ ラ 9 1 — 1 、 9 1 一 2、 9 1 — 3、 9 1 一 4、 9 1 - 5 , 9 1 一 6、 9 1 — 7、 9 1 一 8 を設けて、 角度情報，， を有する円周状映像データを撮像する。 な お、 円周状カメ ラに限らず、 一部分の円弧状カメ ラを用いてもよ い。 なお、 これら場合にも、 このときの角度情報は、 水平方向の 角度情報，， に限らず、 垂直方向の角度情報，， を指定するこ とがで きる。 これによ り、 円周状または円弧状撮像映像の各エリ アの映 像に対してチャンネルマッピング部で音像の定位を 3次元空間で 処理するこ とができる。

図 1 0は、時間軸上での動作モー ドの切り換えを示す図である。 図 1 0 において、 時間軸 t に沿って、 モー ド 1 ( 1 0 1 )、 モー ド 2 ( 1 0 2 )、 モー ド 1 ( 1 0 3 )、 · · · の切り換えを行う。 こ こで、 モー ド 1 ( 1 0 1 )、 モー ド 1 ( 1 0 3 ) は、 図 3 に示した チャンネルマッピング部の動作モー ド設定部 3 1 によ り設定され る、 複数のチャンネルのオーディオ信号のう ちすベてのチャンネ ルに音像定位信号処理を施す第 1 の動作モー ドの固定チャンネル モー ド 3 1 — 1 であり、 モー ド 2 ( 1 0 2 ) は、 複数のチャンネ ルのオーディオ信号のう ち特定のチャンネルのみを指定して音像 定位信号処理を施して他のチャンネルは信号処理を施さない第 2 の動作モー ドの非固定チャンネルモー ド 3 1 - 2である。

これによ り 、 時間軸上で第 1 の動作モー ドの固定チャンネルモ ー ド 3 1 - 1 と第 2の動作モー ドの非固定チャンネルモー ド 3 1 — 2 とを切り換えることができ、 自由視点映像のシーンの切り換 え時などにおけるオーディオ信号に対する音像定位処理の態様を 多様にするこ とができる。 例えば、 第 1 の動作モー ドの固定チヤ ンネルモー ド 3 1 - 1 と しては、 図 8 に示した 3 6 0度カメ ラ撮 像映像 8 2において、 歌手 8 4および演奏者 8 5のオーディオ信 号の うちすベてのチャンネルに音像定位信号処理を施し、 第 2 の 動作モー ドの非固定チャンネノレモー ド 3 1 _ 2 と しては、 図 8 に 示した 3 6 0度カメ ラ撮像映像 8 2 において、 歌手 8 4のオーデ ィォ信号のチャンネルにのみ音像定位信号処理を施し、 演奏者 8 5のオーディオ信号のチャンネルには音像定位信号処理を施さず に固定とするよ う にする。

図 1 1 は、 H R T Fによる捕正音像を示す図である。

図 1 1 において、 再生時にリ スナ 1 1 1 は、 ビデオモニタ 1 1 2に再生される自由視点映像の角度情報に対応して、スピーカ L、 R、 S L、 S Rによ り再生される再生音像 1 1 3 を聴取する。 こ こで、 ビデオモニタ 1 1 2 に再生される 自由視点映像がズーム映 像となって例えばステージ上の歌手がリ スナ 1 1 1 の右耳元に近 づいてさ さやく と、 図 3に示す H R T F処理部 3 3 — 5によ り音 像がリ スナ 1 1 1 の右耳に近く なるよ う に値が変更されるよ う に 処理されるこ とによ り、 リ スナ 1 1 1 の右耳元に補正音像 1 1 4 が定位するよ う に処理される。

図 1 2は、 H R T Fによる捕正処理の構成図である。

図 1 2において、 オーディオデータ A I がパン処理部 1 2 1 に 供給され、 パン処理部 1 2 1 によ りパン処理が施されて左右ステ レオオーディオデータ R、 Lおよびサラウン ドオーディオデータ S L、 S Rが出力される。 この状態では、 スィ ッチ S W 1 2 3、 S W 1 2 4の出力側はパン処理部 1 2 1側に接続されている。 こ こで、 ビデオモニタ 1 1 2 に再生される自由視点映像がズー ム映像となって例えばステージ上の歌手がリ スナ 1 1 1 の右耳元 に近づいてさ さやく と、 オーディオデータ A I がオンとなったス イ ッチ S W 1 1 を介して H R T F処理部 1 2 2に供給され、 H R T F処理部 1 2 2 によ り周波数伝達特性の処理が施されてスイ ツ チ S W 1 2 3、 1 2 4に供給されて捕正オーディオデータ AOと して左右ステレオオーディオデータ R、 Lが出力される。 この状 態では、 スィ ッチ S W 1 2 3、 S W 1 2 4の出力側は H R T F処 理部側に接続されている。

このよ う に構成された自由視点映像 · 音声制作再生システムの 制作系および再生系の動作を説明する。

図 1 3は、 制作系の動作を.示すフローチヤ一トである。

図 1 3において、 ステップ S 1 で、 入出力装置 （ I Oデバイス） の初期化を行う。 具体的には、 初期値の代入やオペレーティ ング システム （ O S ) 上の例えば G U I アプリ ケーショ ンの起動を行 つて制御プログラムの読み込みなどを行う。

ステップ S 2で、 映像ファイルの指定を行う。 具体的には、 図 1 に示す自由視点映像の映像データ 1 0の中からコンテンツの制 作を行う映像ファイルを指定する。

ステップ S 3で、 動作モー ドの指定を行う。 具体的には、 図 4 に示す G U I アプリ ケーショ ン画面 4 1 においてサウン ドク リエ ータが動作モー ド設定部 4 2のアイ コンをク リ ックすることによ り、 図 3 に示したよ う に、 複数のチャンネルのオーディオ信号の う ちすベてのチャンネルに音像定位信号処理を施す第 1 の動作モ 一ドの固定チャンネルモー ド 3 1 一 1 または複数のチャンネノレの オーディオ信号のう ち特定のチャンネルのみを指定して音像定位 信号処理を施して他のチャンネルは信号処理を施さない第 2の動 作モー ドの非固定チャンネルモー ド 3 1 - 2を選択して設定する, ステップ S 4で、 固定チャンネルまたは移動チャンネルの割り 当てを行う。 具体的には、 まず、 G U I アプリ ケーショ ン画面 4 1 においてサウン ドク リ エータが トラ ック設定部 4 3のアイ コン をク リ ックするこ とによ り、 視点選択部 5 によ り選択された再生 音像の角度情報となるユーザーの視点選択情報に対応するよ う に 映像信号の時間情報に応じたフレームを移動してフ レーム処理を 行う フ レーム処理部 4 3— 1 と、 水平角度処理を行う水平角度処 理部 4 3— 2 と、 ズーム処理を行うズーム処理部 4 3 — 3 と、 垂 直角度処理を行う垂直角度処理部 4 3 - 3 とを選択されたフ レー ム画像の設定状態に設定する。 なお、 ここでは、 トラ ック設定部 4 3が図 1 に示した視点選択部 5 に対応し、 この設定に応じてこ の GU I アプリ ケーシ ョ ン画面 4 1 の下層または上層にウイン ド ゥ表示される 自由視点ビューァ 4の自由視点映像の 3 6 0度にわ たって変化する表示状態によ り、 選択されたフ レーム画像の設定 状態に設定する。

次に、 GU I アプリ ケーシ ョ ン画面 4 1 でサウン ドク リ エータ がパラメータ設定部 4 4のアイ コンをク リ ックするこ とによ り、 図 3 に示した トラック設定部 3 2からの操作信号 Cに基づいて、 オーディオ信号に所定のパラメータによ りィ コライジング処理を 行うィコライジング処理部 4 4 - 1 と、 リバーブ処理を行う リバ ーブ処理部 4 4一 2 と、 音量処理を行う音量処理部 4 4 _ 3 と、 ノ ン処理を行うノ ン処理部 4 4 - 4 と、 H R T Fによ り ユーザー の耳に到達する伝達関数を変更することによ り音響特性処理を施 す H R T F処理部 4 4 - 5 とを トラック設定部 4 3で設定された フ レーム画像に対する各チャ ンネルのオーディオ信号に対した信 号処理状態に設定するこ と ができ る。 このパラメータ設定部 4 4 による設定に応じて移動チャンネルまたは固定チャンネルとを設 定する。

ステップ S 5で、 映像の再生をスター トする。 具体的には、 G U I アプリ ケーシ ョ ン画面 4 1 の下層または上層にウィン ドウ表 示される自由視点ビューァ 4の自由視点映像の 3 6 0度にわたつ て変化して表示状態にする映像信号による映像の再生をスター ト する。 これと同時にオーディォ信号による音響の再生もス ター ト する。 ステップ S 6で、 時間メ タデータの記録モー ドキーであるタイ ムキー 4 5が押された時の時間メ タデータの記録モー ドであるか 否かを判断する。 具体的には、 パラメータ設定部が、 図 5で示し たイ コライザ処理部 3 3 _ 1 に対する例えば操作情報 Cの角度情 報に応じた高周波数帯域または低周波数帯域におけるイコライザ 処理の低下のための操作メ タデータ、 リパーブ処理部 3 3 一 2に 対する例えば操作情報 Cの角度情報に応じた高周波数帯域または 低周波数帯域における リパーブ処理の低下のための操作メ タデー タ、 音量処理部 3 3 — 3 に対する例えば操作情報 Cの角度情報に 応じた音量の高低の操作メ タデータ、 パン処理部 3 3 — 4に対す る例えば操作情報 Cの角度情報に応じた音の位置の移動のための 操作メ タデータ、 H R T F処理部 3 3 — 5 に対する例えば操作情 報 Cの角度情報に応じた周波数伝達特性の向上または低下のため の操作メ タデータによる信号処理があるか、 または、 パラメータ 設定部が、 図 6で示したイ コライザ処理部 3 3 — 1 に対する例え ば操作情報 Cの時間情報に応じた高周波数帯域または低周波数帯 域におけるィ コライザ処理の低下のための時間メ タデータ、 リバ ーブ処理部 3 3 — 2に対する例えば操作情報 Cの時間情報に応じ た高周波数帯域または低周波数帯域における リバーブ処理の低下 のための時間メ タデータ、 パン処理部 3 3 — 4に対する例えば操 作情報 Cの時間情報に応じた音の位置の移動のための時間メ タデ ータ、 または H R T F処理部 3 3 — 5 に対する例えば操作情報 C の時間情報に応じた周波数伝達特性の向上または低下のための時 間メ タデータによるものであるか否かを判断する。

ステップ S 6で時間メ タデータの記録モー ドでないときは、 ス テツプ S 7へ進み、 ステップ S 7で、 操作メ タデータによるチヤ ンネルマッビング信号処理部の操作があるか否かを判断する。 具 体的には、 図 5で示したイコライザ処理部 3 3 — 1 に対する例え ば操作情報 cの角度情報に応じた高周波数帯域または低周波数帯 域におけるイコライザ処理の低下のための操作メ タデータ、 リバ ーブ処理部 3 3 — 2 に対する例えば操作情報 Cの角度情報に応じ た高周波数帯域または低周波数帯域における リパーブ処理の低下 のための操作メ タデータ、 パン処理部 3 3 一 4に対する例えば操 作情報 Cの角度情報に応じた音の位置の移動のための操作メ タデ ータ、 H R T F処理部 3 3 _ 5に対する例えば操作情報 Cの角度 情報に応じた周波数伝達特性の向上または低下のための操作メ タ データによる信号処理があるか否かを判断する。

ステップ S 7で、 操作メ タデータによるチャンネルマッピング 信号処理部の操作がある ときは、 ステップ S 8へ進み、 ステップ S 8で、 視点情報と操作情報をメ タデータ と して記録する。 具体 的には、 図 5で示したイ コライザ処理部 3 3 — 1 に対する例えば 操作情報 Cの角度情報に応じた高周波数帯域または低周波数帯域 におけるイコライザ処理の低下のための操作メ タデータ、 リパー ブ処理部 3 3 — 2に対する例えば操作情報 Cの角度情報に応じた 高周波数帯域または低周波数帯域における リパーブ処理の低下の ための操作メ タデータ、 パン処理部 3 3 — 4に対する例えば操作 情報 Cの角度情報に応じた音の位置の移動のための操作メ タデー タ、 H R T F処理部 3 3 — 5に対する例えば操作情報 Cの角度情 報に応じた周波数伝達特性の向上または低下のための操作メ タデ ータを各々取り 出して、 各角度情報に対応させて操作メ タデータ 部 M Cに格納する。

ステップ S 6で時間メ タデータの記録モー ドである ときは、 ス テツプ S 1 0へ進み、 ステップ S 1 0で、 時間メ タデータによる チャンネルマッピング信号処理部の操作があるか否かを判断する 具体的には、 図 6で示したイコライザ処理部 3 3 — 1 に対する例 えば操作情報 Cの時間情報に応じた高周波数帯域または低周波数 帯域におけるィ コライザ処理の低下のための時間メ タデータ、 リ パーブ処理部 3 3 — 2に対する例えば操作情報 Cの時間情報に応 じた高周波数帯域または低周波数帯域における リパーブ処理の低 下のための時間メ タデータ、 パン処理部 3 3 一 4に対する例えば 操作情報 Cの時間情報に応じた音の位置の移動のための時間メ タ データ、 H R T F処理部 3 3 — 5に対する例えば操作情報 Cの時 間情報に応じた周波数伝達特性の向上または低下のための時間メ タデータを各々取り 出して、 各時間情報に対応させて時間メ タデ ータ部 M Tに格納するものであるか否かを判断する。

ステップ S 1 0で、 時間メ タデータによるチャンネルマツピン グ信号処理部の操作がある ときは、 ステップ S 1 1へ進み、 時間 情報と操作情報をメ タデータと して記録する。 具体的には、 図 6 で示したイコライザ処理部 3 3 - 1 に対する例えば操作情報 Cの 時間情報に応じた高周波数帯域または低周波数帯域におけるィ コ ライザ処理の低下のための時間メタデータ、 リバーブ処理部 3 3 _ 2に対する例えば操作情報 Cの時間情報に応じた高周波数帯域 または低周波数帯域における リバーブ処理の低下のための時間メ タデータ、 パン処理部 3 3 — 4に対する例えば操作情報 Cの時間 情報に応じた音の位置の移動のための時間メ タデータ、 H R T F 処理部 3 3 — 5 に対する例えば操作情報 Cの時間情報に応じた周 波数伝達特性の向上または低下のための時間メタデータを各々取 り 出して、 各時間情報に対応させて時間メ タデータ部 M Tに格納 する。

ステップ S 9で、映像の再生をス ト ップするか否かを判断する。 ステップ S 9で、 映像の再生をス ト ップしないときは、 ステップ S 6へ戻ってステップ S 6 の判断を繰り返す。 ステップ S 9で、 映像の再生をス ト ップする ときは、 ステップ S 1 2へ進んで、 ス テツプ S 1 2で、 映像および音響の再生を止める。 図 1 4は、 再生系の動作を示すフローチャー トである。

図 1 4 において、 ステップ S 2 1 で、 入出力装置 （ I Oデパイ ス） の初期化を行う。 具体的には、 初期値の代入やオペレーティ ングシステム （ O S ) 上の例えば G U I アプリ ケーシ ョ ンの起動 を行って制御プログラムの読み込みなどを行う。

ステ ップ S 2 2で、 映像ファイルの指定を行う。 具体的には、 図 2 に示すビデオプレーヤ 2 2 の映像データの中からコ ンテンツ の再生を行う映像フ ァイルを指定する。

ステップ S 2 3で、 映像の再生をスター トする。 具体的には、 ビデオプレーヤ 2 2の再生動作によ り ビデオモニタ 2 6に表示さ れる 自由視点映像のう ちの視点選択部 2 3の選択による角度情報 に対応する映像信号による映像の再生をスター トする。 これと同 時にオーディオ信号による音響の再生もスター トする。

ステップ S 2 4で、 時間メタデータの再生モー ドであるか否か を判断する。 具体的には、 パラメータ設定部が、 図 5で示したィ コライザ処理部 3 3 - 1 に対する例えば操作情報 Cの角度情報に 応じた高周波数帯域または低周波数帯域におけるイコライザ処理 の低下のための操作メ タデータ、 リパーブ処理部 3 3 - 2 に対す る例えば操作情報 Cの角度情報に応じた高周波数帯域または低周 波数帯域における リパーブ処理の低下のための操作メ タデータ、 パン処理部 3 3 — 4に対する例えば操作情報 Cの角度情報に応じ た音の位置の移動のための操作メタデータ、 H R T F処理部 3 3 一 5 に対する例えば操作情報 Cの角度情報に応じた周波数伝達特 性の向上または低下のための操作メ タデータによる信号処理があ るか、 または、 パラメータ設定部が、 図 6で示したイ コライザ処 理部 3 3 — 1 に対する例えば操作情報 Cの時間情報に応じた高周 波数帯域または低周波数帯域におけるイコライザ処理の低下のた めの時間メ タデータ、 リバーブ処理部 3 3 一 2に対する例えば操 作情報 cの時間情報に応じた高周波数帯域または低周波数帯域に おける リパーブ処理の低下のための時間メ タデータ、 パン処理部

3 3 — 4に対する例えば操作情報 Cの時間情報に応じた音の位置 の移動のための時間メ タデータ、 または H R T F処理部 3 3 - 5 に対する例えば操作情報 Cの時間情報に応じた周波数伝達特性の 向上または低下のための時間メ タデータによるものであるか否か を判断する。

ステップ S 2 4で、 時間メ タデータによる再生モー ドでないと きは、 .ステップ S 2 5へ進み、 ステ ップ S 2 5で、 視点情報と一 致したら操作情報を信号処理部に送って変更する。 具体的には、 操作メ タデータによる再生モー ドの と き、 視点選択部 2 3 の選択 による角度情報と対応するよ う に、 図 5で示したイコライザ処理 部 3 3 — 1 に対する例えば操作情報 Cの角度情報に応じた高周波 数帯域または低周波数帯域におけるイ コライザ処理の低下のため の操作メ タデータ、 リパーブ処理部 3 3 _ 2に対する例えば操作 情報 Cの角度情報に応じた高周波数帯域または低周波数帯域にお ける リパーブ処理の低下のための操作メ タデータ、 パン処理部 3 3 — 4に対する例えば操作情報 Cの角度情報に応じた音の位置の 移動のための操作メタデータ、 H R T F処理部 3 3₍— 5に対する 例えば操作情報 Cの角度情報に応じた周波数伝達特性の向上また は低下のための操作メ タデータによる信号処理を施す。

ステップ S 2 4で、 時間メタデータによる再生モー ドである と きは、 ステップ S 2 7へ進み、 ステ ップ S 2 7で、 時間になった ら操作情報を信号処理部に送って変更する。 具体的には、 時間メ タデータによる再生モー ドのとき、 時間情報と対応するよ うに、 図 6 で示したィ コライザ処理部 3 3 — 1 に対する例えば操作情報 Cの時間情報に応じた高周波数帯域または低周波数帯域における イコライザ処理の低下のための時間メ タデータ、 リバーブ処理部 3 3 — 2に対する例えば操作情報 Cの時間情報に応じた高周波数 帯域または低周波数帯域における リパーブ処理の低下のための時 間メ タデータ、 パン処理部 3 3 — 4に対する例えば操作情報 Cの 時間情報に応じた音の位置の移動のための時間メ タデータ、 H R T F処理部 3 3 — 5 に対する例えば操作情報 Cの時間情報に応じ た周波数伝達特性の向上または低下のための時間メ タデータによ り信号処理を施す。

ステップ S 2 6で、 映像の再生をス ト ップするか否かを判断す る。 ステップ S 2 6で、 映像の再生をス ト ップしないときは、 ス テツプ S 2 4へ戻ってステップ S 2 4の判断を繰り返す。 ステツ プ S 2 6で、 映像の再生をス ト ップする ときは、 ステップ S 2 8 へ進んで、ステップ S 2 8 2で、映像および音響の再生を止める。

図 1 5は、 制作系のチャンネルマッピングの働きを示す図であ り、 図 1 5 Aはリ アルサウン ドの場合、 図 1 5 Bはバーチャルサ ゥン ドの場合、 図 1 5 Cはリ アルサウン ドとノ ーチャルサウン ド の組み合わせの場合である。

図 1 5 Aにおいて、 リ アルサウン ドの場合には、 操作情報 Cに よ り、 イ コライザ処理部 3 3 _ 1 に対する高周波数帯域または低 周波数帯域におけるイ コライザ処理の低下、 リバーブ処理部 3 3 — 2に対する高周波数帯域または低周波数帯域における リパーブ 処理の低下、 音量処理部 3 3 — 3 に対する音量の低下、 サラウン ドパン処理部 1 5 1 に対するサラウン ド音響の位置の移動によ り 信号処理を施す。 これによ り、 例えば、 4チャンネルまたは 5チ ヤンネルなどのリ アルサラウン ドマルチ出力を得るこ とができる, 図 1 5 Bにおいて、 パーチャルサウン ドの場合には、 操作情報 Cによ り、 イ コライザ処理部 3 3 — 1 に対する高周波数帯域また は低周波数帯域におけるイ コライザ処理の低下、 リバーブ処理部 3 3 — 2に対する高周波数帯域または低周波数帯域における リバ ーブ処理の低下、 音量処理部 3 3 — 3 に対する音量の低下、 H R T F処理部 3 3 一 5 に対する周波数伝達特性の向上または低下に よ り信号処理を施す。 これによ り 、 例えば、 選択設定されたォー ディォ信号のチャンネルに対して任意の位置に再生音像を定位さ せるこ とができる。

図 1 5 Cにおいて、 リ アルサゥン ドとバーチャルサゥン ドの糸且 み合わせの場合には、 スィ ッチ S W 2 1、 SW 2 2、 S W 2 3 SW 2 4の切り替えに応じて、 操作情報 Cによ り、 イ コライザ処 理部 3 3— 1 に対する高周波数帯域または低周波数帯域における イコライザ処理の低下、 リパーブ処理部 3 3— 2 に対する高周波 数帯域または低周波数帯域における リパーブ処理の低下、 音量処 理部 3 3— 3 に対する音量の低下、 サラウン ドパン処理部 1 5 1 に対するサラウン ド音響の位置の移動によ り信号処理を施すこ と によ り、 リ アルサラウン ドの出力を得る場合と、 操作情報 Cによ り、 イコライザ処理部 3 3 — 1 に対する高周波数帯域または低周 波数帯域におけるイ コライザ処理の低下、 リバーブ処理部 3 3— 2に対する高周波数帯域または低周波数帯域における リバーブ処 理の低下、 音量処理部 3 3 — 3 に対する音量の低下、 HR T F処 理部 3 3— 5 に対する周波数伝達特性の向上または低下によ り信 号処理を施す。

これによ り、 バーチャルサラウン ドの出力を得る場合とを選択 的に切り換えるこ とができるので、 リ アルサラウン ドの再生をし ているときに、 S W 2 1 、 S W 2 2、 SW 2 3、 S W 2 4の切り 換えを行う こ とによ り、 選択設定されたオーディオ信号のチャン ネルに対してのみ任意の位置に再生音像を定位させることができ る。

このときにも、 例えば、 操作情報 Cに基づいて、 角度情報が 4 5度で音響を 3 d B下げる視点操作メ タデータ 1 5 5 を記録する よ う にし、 また、 操作情報 Cおよび時間情報 1 5 4に基づいて、 1分 3 0秒 1 5 フ レームでモー ド 1 からモー ド 2に切り換える時 間メ タデータを記録するよ う にしてもよい。

なお、 図 1 5 Aおよび図 1 5 Bの場合にも同様に、 操作メ タデ ータまたは時間メ タデータを記録するよ う にしてもよい。

図 1 6は、 制作系と再生系のチャ ンネルマ ッ ピングのバリエ一 シヨ ンを示す図であり、 図 1 6 Aはイ ンパルス応答畳み込み型の 場合、 図 1 6 Bは 5 c h出力対応のリバーブ処理の場合である。

図 1 6 Aにおいて、 イ ンパルス応答畳み込み型の場合には、 ィ コライザ処理部 3 3 — 1 に対する高周波数帯域または低周波数帯 域におけるイ コライザ処理の低下、 音量処理部 3 3 — 3に対する 音量の低下、 イ ンパルス応答畳み込み型のサラウン ドパン処理部 1 6 1 に対するイ ンパルス応答が畳み込まれたサラウンド音響の 位置の移動によ り信号処理を施すこ とによ り、 イ ンパルス応答畳 み込み型のサラウン ドパン処理部 1 6 1 の中にリパーブ処理部が 含まれるため、 リバーブ処理部を設ける必要が無く なる。 これに よ り 、 補正されたサラゥン ドチャ ンネルを有する 5 チャ ンネル出 力を得るこ とができる。

図 1 6 Bにおいて、 5 c h出力対応のリパーブ処理の場合には、 イコライザ処理部 3 3 — 1 に対する高周波数帯域または低周波数 帯域におけるイ コライザ処理の低下、 音量処理部 3 3 — 3 に対す る音量の低下、 サラウン ドパン処理部 1 6 1 に対するィンパルス 応答が畳み込まれたサラウン ド音響の位置の移動に対して加算器 1 6 3〜 1 6 7 を用いて並列的にリパーブ処理部 3 3— 2に対す る高周波数帯域または低周波数帯域における リバープ処理の低下 によ り信号処理を施して加算するこ とによ り、 各チャ ンネルにつ いてリバーブ処理を行って捕正されたサラゥン ドチャ ンネルを有 する 5 チャ ンネル出力を得ることができる。 なお、 上述した実施の形態に示した例に限らず、 本発明の特許 請求の範囲であれば、 適宜他の例を用いるこ とができるこ とはい うまでもない。

この発明の音像定位信号処理装置は、 基準位置に対して角度情 報を有する映像信号に基づく 映像に対応するよ う に再生系におけ る再生音像を任意の位置に定位させるよ う に制作系において複数 の音源から入力される各音源データを合成手段によ り合成したォ 一ディォ信号に信号処理を施す音像定位信号処理装置において、 上記映像信号に基づく 映像の再生音像の角度情報となるユーザー の視点選択情報を選択する選択手段と、 上記選択手段によ り選択 された再生音像の角度情報となるユーザーの視点選択情報に対応 する上記オーディオ信号のチャンネルに音像定位のための信号処 理をリ アルタイ ムで施す音像定位制御処理手段と、 上記音像定位 制御処理手段によ り信号処理を施すための制御情報を生成する制 御情報生成手段と、 上記映像信号に上記オーディオ信号おょぴ上 記制御情報を重畳して送出用情報を生成する送出用情報生成手段 とを備え、 上記オーディオ信号にリ アルタイムで信号処理を施し て上記映像信号に基づく 映像に対応して音像定位位置を制御する よ う にしたので、 自由視点映像に対するオーディオ信号の再生に おいて、 角度を変化させて映像を移動させて再生した場合にも移 動する映像の方向に音像を定位させるよ う にするための制御を制 作時に行う ことができる という効果を奏する。

また、 この発明の音像定位信号処理装置は、 上述において、 上 記音像定位制御処理手段は、 複数のチャンネルの上記オーディオ 信号の う ちすベてのチャンネルに上記音像定位制御処理手段によ り信号処理を施す第 1 の動作モー ドと、 複数のチャンネルの上記 オーディオ信号のう ち特定のチャンネルのみを指定して上記音像 定位制御処理手段によ り信号処理を施して他のチャンネルは上記 信号処理を施さない第 2 の動作モー ドとを設定する動作モー ド設 定手段を有するので、 動作モー ドに応じてチャンネル毎に音像定 位を可能とするこ とができるという効果を奏する。

また、 この発明の音像定位信号処理装置は、 上述において、 上 記音像定位制御処理手段は、 上記選択手段によ り選択された再生 音像の角度情報となるユーザーの視点選択情報に対応するよ う に 上記映像信号のフ レーム処理、 水平角度処理、 ズーム処理おょぴ /または垂直角度処理によ り上記オーディオ信号に上記信号処理 を施すための操作信号を生成する トラック設定手段を有するので. 選択手段によ り選択された再生音像の角度情報となるユーザーの 視点選択情報に対応するよ う に、 映像信号の画像の処理をして生 成された操作信号によ りオーディオ信号に信号処理を施すよ う に することができる という効果を奏する。

また、 この発明の音像定位信号処理装置は、 上述において、 上 記音像定位制御処理手段は、 上記 トラ ック設定手段からの上記操 作信号に基づいて、 上記オーディオ信号に所定のパラメータによ りィ コライジング処理、 リパーブ処理、 音量処理、 パン処理およ び Zまたは伝達特性処理を施すパラメータ設定手段を有するので パラメータに応じてオーディオ信号に信号処理を施すよ う にして 音像定位を変化させるこ とができる という効果を奏する。

'また、 この発明の音像定位信号処理装置は、 上述において、 上 記制御情報生成手段は、 上記視点選択情報に対応するパラメータ によ り上記制御情報を生成するので、 視点選択情報に対応する制 御情報によ り音像定位を変化させるこ とができるという効果を奏 する。

また、 この発明の音像定位信号処理装置は、 上述において、 上 記制御情報生成手段は、 時間軸情報に対応するパラメータによ り 上記制御情報を生成するので、 時間情報に対応する制御情報によ り音像定位を変化させることができるという効果を奏する。

また、 この発明の音像定位信号処理装置は、 上述において、 上 記音像定位制御処理手段は、 上記動作モー ド設定手段によ り上記 第 1 の動作モー ドと上記第 2 の動作モー ドとを時間軸上で切り換 えるので、 時間軸上で第 1 の動作モー ドの固定チャンネルモー ド と第 2の動作モー ドの非固定チャンネルモー ドとを切り換えるこ とができ、 自由視点映像のシーンの切り換え時などにおけるォー ディォ信号に対する音像定位処理の態様を多様にすることができ る という効果を奏する。

また、 この発明の音像定位信号処理装置は、 上述において、 上 記音像定位制御処理手段は、 複数のチャンネルの上記オーディオ 信号の う ちバーチャルサラウン ドのチャンネルのみを指定して上 記信号処理を施して他のリアルサラウンドのチャンネルは上記信 号処理を施さないので、 バーチャルサラ ウン ドの出力を得る場合 とを選択的に切り換えることができるので、 リ アルサラウン ドの 再生をしている ときに、 切り換えを行う こ とによ り 、 選択設定さ れたオーディオ信号のチャンネルに対してのみ任意の位置に再生 音像を定位させるこ とができる という効果を奏する。

また、 この発明の音像定位信号処理装置は、 複数の音源から入 力される各音源データを合成手段によ り合成して制作系における 制御情報によ り信号処理を施したオーディオ信号について、 基準 位置に対して角度情報を有する映像信号に基づく 映像に対応する よ う に再生系において再生音像を任意の位置に定位させるよ う に 再生用情報に信号処理を施す音像定位信号処理装置において、 上 記再生用情報における映像信号に重畳された上記オーディォ信号 および上記制御情報から、 上記映像信号、 上記オーディオ信号お よび上記制御情報を読み出す再生用情報読み出し手段と、 上記映 像信号を再生する映像信号再生手段と、 上記映像信号に基づく 映 像の再生音像の角度情報となるユーザーの視点選択情報を選択す る選択手段と、 上記選択手段によ り選択された再生音像の角度情 報となるユーザーの視点選択情報に対応する上記オーディオ信号 のチャンネルに音像定位のための信号処理をリ アルタイムで施す 音像定位制御処理手段とを備え、 上記オーディオ信号にリ アルタ ィ ムで信号処理を施して上記映像信号に基づく映像に対応して音 像定位位置を制御するよ う にしたので、 自由視点映像に対するォ 一ディォ信号の再生において、 角度を変化させて映像を移動させ て再生した場合にも移動する映像の方向に音像を定位させるこ と ができる という効果を奏する。

また、 この発明の音像定位信号処理装置は、 上述において、 上 記音像定位制御処理手段は、 上記視点選択情報に対応して、 上記 オーディオ信号に所定のパラメータによ り少なく ともサラウン ド パン処理を施すパラメータ設定手段を有するので、 補正されたサ ラ ゥン ドチャンネルを有する出力を得るこ とができる とレ、う効果 を奏する。

また、 この発明の音像定位信号処理方法は、 基準位置に対して 角度情報を有する映像信号に基づく 映像に対応するよ う に再生系 における再生音像を任意の位置に定位させるよ う に制作系におい て複数の音源から入力される各音源データを合成手段によ り合成 したオーディォ信号に信号処理を施す音像定位信号処理方法にお いて、 上記映像信号に基づく 映像の再生音像の角度情報となるュ 一ザ一の視点選択情報を選択する選択ステップと、 上記選択ステ ップによ り選択された再生音像の角度情報となるユーザーの視点 選択情報に対応する上記オーディオ信号のチャンネルに音像定位 のための信号処理をリ アルタイムで施す音像定位制御処理ステツ プと、 上記音像定位制御処理ステップによ り信号処理を施すため の制御情報を生成する制御情報生成ステップと、 上記映像信号に 上記オーディオ信号および上記制御情報を重畳して送出用情報を 生成する送出用情報生成ステップとを備え、 上記オーディオ信号 にリ アルタイムで信号処理を施して上記映像信号に基づく 映像に 対応して音像定位位置を制御するよ うにしたので、 自由視点映像 に対するオーディオ信号の再生において、 角度を変化させて映像 を移動させて再生した場合にも移動する映像の方向に音像を定位 させるよ うにするための制御を制作時に行う ことができる という 効果を奏する。

また、 この発明の音像定位信号処理方法は、 複数の音源から入 力される各音源データを合成手段によ り合成して制作系における 制御情報によ り信号処理を施したオーディオ信号について、 基準 位置に対して角度情報を有する映像信号に基づく 映像に対応する よ う に再生系において再生音像を任意の位置に定位させるよ う に 再生用情報に信号処理を施す音像定位信号処理方法において、 上 記再生用情報における映像信号に重畳された上記オーディオ信号 および上記制御情報から、 上記映像信号、 上記オーディオ信号お ょぴ上記制御情報を読み出す再生用情報読み出しステップと、 上 記映像信号を再生する映像信号再生ステップと、 上記映像信号に 基づく 映像の再生音像の角度情報となるユーザーの視点選択情報 を選択する選択ステップと、 上記選択ステップによ り選択された 再生音像の角度情報となるユーザーの視点選択情報に対応する上 記オーディオ信号のチャンネルに音像定位のための信号処理をリ アルタイムで施す音像定位制御処理ステップとを備え、 上記ォー ディォ信号にリ アルタイムで信号処理を施して上記映像信号に基 づく 映像に対応して音像定位位置を制御するよ う にしたので、 自 由視点映像に対するオーディオ信号の再生において、 角度を変化 させて映像を移動させて再生した場合にも移動する映像の方向に 音像を定位させることができる という効果を奏する。 産業上の利用の可能性

全方位カメ ラ と呼ばれる 3 6 0度の周囲の被写体を例えば 8画 角に分割して連続処理して撮像するもので撮像された 3 6 0度撮 像映像は、 特に視点を注視するこ となく 3 6 0度の周囲を撮像す るため自由視点映像と呼ばれ、 この自由視点映像に対するオーデ ィォ信号の再生において、 本発明は利用される。

Claims

請求の範囲

1 . 基準位置に対して角度情報を有する映像信号に基づく 映像 に対応するよ う に再生系における再生音像を任意の位置に定位さ せるよ う に制作系において複数の音源から入力される各音源デー タを合成手段によ り合成したオーディオ信号に信号処理を施す音 像定位信号処理装置において、

上記映像信号に基づく映像の再生音像の角度情報となるユーザ 一の視点選択情報を選択する選択手段と、

上記選択手段によ り選択された再生音像の角度情報となるユー ザ一の視点選択情報に対応する上記オーディオ信号のチャンネル に音像定位のための信号処理をリ アルタイムで施す音像定位制御 処理手段と、

上記音像定位制御処理手段によ り信号処理を施すための制御情 報を生成する制御情報生成手段と、

上記映像信号に上記オーディォ信号および上記制御情報を重畳 して送出用情報を生成する送出用情報生成手段と、

を備え、 上記オーディオ信号にリ アルタイムで信号処理を施し て上記映像信号に基づく映像に対応して音像定位位置を制御する よ う にしたこ とを特徴とする音像定位信号処理装置。

2 . 請求の範囲 1記載の音像定位信号処理装置において、 上記音像定位制御処理手段は、 複数のチャンネルの上記オーデ ィォ信号のう ちすベてのチャンネルに上記音像定位制御処理手段 によ り信号処理を施す第 1 の動作モー ドと、 複数のチャンネルの 上記オーディオ信号の う ち特定のチャンネルのみを指定して上記 音像定位制御処理手段によ り信号処理を施して他のチヤンネルは 上記信号処理を施さない第 2 の動作モー ドとを設定する動作モー ド設定手段を有するこ とを特徴とする音像定位信号処理装置。

3 . 請求の範囲 1記載の音像定位信号処理装置において、 上記音像定位制御処理手段は、 上記選択手段によ り選択された 再生音像の角度情報となるユーザーの視点選択情報に対応するよ うに、 上記映像信号のフ レーム処理、 水平角度処理、 ズーム処理 およぴノまたは垂直角度処理によ り上記オーディオ信号に上記信 号処理を施すための操作信号を生成する トラック設定手段を有す るこ とを特徴とする音像定位信号処理装置。

4 . 請求の範囲 3記載の音像定位信号処理装置において、 上記音像定位制御処理手段は、 上記 トラ ック設定手段からの上 記操作信号に基づいて、 上記オーディオ信号に所定のパラメータ によ りィ コライジング処理、 リパーブ処理、 音量処理、 パン処理 および Zまたは伝達特性処理を施すパラメータ設定手段を有する こ とを特徴とする音像定位信号処理装置。

5 . 請求の範囲 1記載の音像定位信号処理装置において、 上記制御情報生成手段は、 上記視点選択情報に対応するパラメ ータによ り上記制御情報を生成するこ とを特徴とする音像定位信 号処理装置。

6 . 請求の範囲 1記載の音像定位信号処理装置において、 上記制御情報生成手段は、 時間軸情報に対応するパラメータに よ り上記制御情報を生成することを特徴とする音像定位信号処理 装置。

7 . 請求の範囲 2記載の音像定位信号処理装置において、 上記音像定位制御処理手段は、 上記動作モー ド設定手段によ り 上記第 1 の動作モー ドと上記第 2 の動作モードとを時間軸上で切 り換えるよ う にすることを特徴とする音像定位信号処理装置。

8 . 請求の範囲 4記載の音像定位信号処理装置において、 上記音像定位制御処理手段は、 複数のチャンネルの上記オーデ ィォ信号の う ちバーチャルサラ ゥン ドのチャンネルのみを指定し て上記信号処理を施して他のリ アルサラゥンドのチャンネルは上 記信号処理を施さないことを特徴とする音像定位信号処理装置。

9 . 請求の範囲 1記載の音像定位信号処理装置において、 上記音像定位制御処理手段は、 上記視点選択情報に対応して、 上記オーディオ信号に所定のパラメータによ り少なく ともサラウ ンドパン処理を施すパラメータ設定手段を有するこ とを特徴とす る音像定位信号処理装置。

1 0 . 複数の音源から入力される各音源データを合成手段によ り合成して制作系における制御情報によ り信号処理を施したォー ディォ信号について、 基準位置に対して角度情報を有する映像信 号に基づく映像に対応するよ う に再生系において再生音像を任意 の位置に定位させるよ う に再生用情報に信号処理を施す音像定位 信号処理装置において、

上記再生用情報における映像信号に重畳された上記オーディオ 信号および上記制御情報から、 上記映像信号、 上記オーディオ信 号および上記制御情報を読み出す再生用情報読み出し手段と、 上記映像信号を再生する映像信号再生手段と、

上記映像信号に基づく 映像の再生音像の角度情報となるユーザ 一の視点選択情報を選択する選択手段と、

上記選択手段によ り選択された再生音像の角度情報となるユー ザ一の視点選択情報に対応する上記オーディオ信号のチャンネル に音像定位のための信号処理をリ アルタイムで施す音像定位制御 処理手段と、

を備え、 上記オーディオ信号にリ アルタイムで信号処理を施し て上記映像信号に基づく 映像に対応して音像定位位置を制御する よう にしたこ とを特徴とする音像定位信号処理装置。

1 1 . 請求の範囲 1 0記載の音像定位信号処理装置において、 上記音像定位制御処理手段は、 上記視点選択情報に対応して、 上記オーディオ信号に所定のパラメータによ り少なく ともサラウ ン ドパン処理を施すパラメータ設定手段を有することを特徴とす る音像定位信号処理装置。

1 2 . 基準位置に対して角度情報を有する映像信号に基づく 映 像に対応するよ う に再生系における再生音像を任意の位置に定位 させるよ う に制作系において複数の音源から入力される各音源デ ータを合成手段によ り合成したオーディオ信号に信号処理を施す 音像定位信号処理方法において、

上記映像信号に基づく 映像の再生音像の角度情報となるユーザ 一の視点選択情報を選択する選択ステップと、

上記選択ステップによ り選択された再生音像の角度情報となる ユーザーの視点選択情報に対応する上記オーディオ信号のチャン ネルに音像定位のための信号処理をリ アルタイムで施す音像定位 制御処理ステップと、

上記音像定位制御処理ステップによ り信号処理を施すための制 御情報を生成する制御情報生成ステップと、

上記映像信号に上記オーディオ信号およぴ上記制御情報を重畳 して送出用情報を生成する送出用情報生成ステップと、

を備え、 上記オーディオ信号にリ アルタイムで信号処理を施し て上記映像信号に基づく 映像に対応して音像定位位置を制御する よ う にしたこ とを特徴とする音像定位信号処理方法。

1 3 . 複数の音源から入力される各音源データを合成手段によ り合成して制作系における制御情報によ り信号処理を施したォー ディォ信号について、 基準位置に対して角度情報を有する映像信 号に基づく映像に対応するよ う に再生系において再生音像を任意 の位置に定位させるよ う に再生用情報に信号処理を施す音像定位 信号処理方法において、

上記再生用情報における映像信号に重畳された上記オーディオ 信号および上記制御情報から、 上記映像信号、 上記オーディオ信 号および上記制御情報を読み出す再生用情報読み出しステップと 上記映像信号を再生する映像信号再生ステップと、

上記映像信号に基づく 映像の再生音像の角度情報となるユーザ 一の視点選択情報を選択する選択ステップと、

上記選択ステップによ り選択された再生音像の角度情報となる ユーザーの視点選択情報に対応する上記オーディオ信号のチャン ネルに音像定位のための信号処理をリ アルタイムで施す音像定位 制御処理ステップと、

を備え、 上記オーディオ信号にリ アルタイムで信号処理を施し て上記映像信号に基づく映像に対応して音像定位位置を制御する よ う にしたこ とを特徴とする音像定位信号処理方法。