JP4518729B2 - 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム - Google Patents
画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム Download PDFInfo
- Publication number
- JP4518729B2 JP4518729B2 JP2002062385A JP2002062385A JP4518729B2 JP 4518729 B2 JP4518729 B2 JP 4518729B2 JP 2002062385 A JP2002062385 A JP 2002062385A JP 2002062385 A JP2002062385 A JP 2002062385A JP 4518729 B2 JP4518729 B2 JP 4518729B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- signal
- image
- photographed image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic Arrangements (AREA)
- Stereophonic System (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラムに関する。詳しくは、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と特定音源と集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成し、この集音手段とほぼ同じ位置に設置された撮像手段で、移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、撮影画像を表示し、この撮影画像の動き検出を行い被写体の検出した動きに合わせて撮影画像の表示位置を移動させて表示し、位置情報信号及び撮影画像の表示位置の移動に合わせて、特定音源の音像が移動するように、複数の音響出力信号を生成するものである。
【０００２】
【従来の技術】
従来の音響提示システムでは、例えばステレオマイクロフォンを用いて右側方向の音響と左側方向の音響を集音して、左右チャンネルの音響信号を生成すると共に、再生時には右側に配置されているスピーカを右チャネルの音響信号に基づいて駆動し、左側に配置されているスピーカを左チャネルの音響信号に基づいて駆動することで、モノラルマイクロフォンを用いる場合よりも臨場感を高める方法が行われている。
【０００３】
また、人間の頭蓋骨模型を作り、この模型の左耳と右耳の内部にマイクを設けて、人間の耳から入った音を擬似的に集音すると共に、再生時にはヘッドホンを用いる所謂バイノーラルサウンドも実用化されている。
【０００４】
また、近年では、臨場感をさらに向上させるため、前方のスピーカ以外に補助スピーカを設けて、この補助スピーカから反射音や後方からの音および低周波数領域の音等を再生可能とする方式、所謂５．１ｃｈや６．１ｃｈ方式のサラウンド方式等も実用化されている。
【０００５】
さらに、音響信号に対して信号処理を行うことで再生音場を再現や、３次元音場を再現することが行われている。例えば、無響室で集音した音やコンパクトディスク等に記録された音に、所望の空間でのインパルス応答（音響伝達関数）を畳み込み、所望の空間の特性を再生音場で再現させる。すなわち、所望の空間の音源位置で基準音を出力させると共に視聴位置で集音を行い、音源位置で出力された音と視聴位置で集音された音との関係から所望の空間のインパルス応答を求めることができる。このため、インパルス応答を実現するフィルタを登録しておき、音の再生時には、この登録されたフィルタを用いるものとすれば、所望の空間の特性を再生音場で再現できる。また、種々のフィルタを登録して、選択可能とすれば、種々の再生音場を再現できると共に、三次元音場を再現することもできる。
【０００６】
【発明が解決しようとする課題】
ところで、画像と音響を別々に記録した場合、ビデオカメラの向きに関係なく音響を記録すると、記録された音響信号に基づく再生音は方向性を持たなくなってしまい、臨場感に欠けたものとなってしまう。
【０００７】
また、このように記録された音響を、臨場感を高めて再生するためには、画像を見ながら音像の位置を画像に合わせる操作を人偽的に行わなければならず、簡単に臨場感の高い再生音を得ることができない。
【０００８】
また、ビデオカメラにマイクロフォンを設けて画像と音響を記録した場合、図１１Ａに示すように、所望の被写体ＯＢに合わせてビデオカメラ９０の撮像方向を変更すると、図１１Ｂに示すように、再生画像がフレーム「Ｆa」「Ｆb」「Ｆc」の順に変更されても所望の被写体ＯＢの位置を表示画像の中央に保つことができる。しかし、所望の被写体に対応する音像も位置Ｑmに固定されてしまう。このため、再生時には、表示画像の背景の動きによって被写体の動きを表現できるが、音像の位置は固定されてしまい、臨場感の高い再生音場を得ることができない。
【０００９】
そこで、この発明では、容易に臨場感の高い再生音場を得ることができる画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラムを提供するものである。
【００１０】
【課題を解決するための手段】
この発明に係る画像音響提示システムは、移動する特定音源からの音を取得して音響信号を生成する集音手段と、前記集音手段とほぼ同じ位置に設置された、前記移動する特定音源の被写体を撮影して撮影画像信号を生成する撮像手段と、前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成する位置検出手段と、前記位置情報信号と前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、前記音響出力信号に基づいた音響出力を行う複数の音響出力手段と、前記撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する表示手段と、前記位置情報信号及び前記表示手段における前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記音響出力信号生成手段における前記複数の音響出力信号の生成動作を制御する提示制御手段とを有するものである。
【００１３】
次に、この発明に係る画像音響提示方法は、集音手段を用いて、移動する特定音源からの音を取得して音響信号を生成し、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して撮影画像信号を生成し、前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成し、前記位置情報信号と前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成し、前記撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させるものとし、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成を制御して、該生成された音響出力信号を複数の音響出力手段に供給するものである。
【００１５】
また、画像音響再生方法は、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成し、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示するものとし、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御して、該生成された音響出力信号を複数の音響出力手段に供給するものである。
【００１６】
さらに、この発明に係るコンピュータ読み取り可能な記録媒体は、コンピュータに、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成する手順と、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する手順と、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御する手順とを実行させるためのプログラムを記録したものである。
【００１７】
また、画像音響提示プログラムは、コンピュータに、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成する手順と、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する手順と、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御する手順とを実行させるものである。
【００１８】
この発明においては、超指向性マイクロフォン等を用いた集音手段によって、移動する特定音源例えば撮影画像の被写体側から供給された音を取得して音響信号が生成される。また、集音手段とほぼ同じ位置に設置された撮像手段によって特定音源の被写体が撮影されて撮影画像信号が生成される。さらに、特定音源と集音手段の位置関係として撮影方向や被写体までの距離が検出されて、検出結果を示す位置情報信号が生成される。この音響信号と撮像画像信号と位置検出信号に基づいて情報信号を生成することで画像音響取得が行われる。この情報信号を再生する場合には、情報信号から音響信号と撮像画像信号と位置検出信号が分離される。この分離された撮影画像信号の撮影画像が、この撮像画像よりも広い画像表示領域に表示されて、撮影画像の動き検出を行い被写体の検出した動きに合わせて表示位置の移動が行われる。さらに、分離された位置情報信号と集音手段で生成された音響信号に基づいて複数の音響出力信号の生成が行われる。この音響出力信号は、撮影画像の表示位置の移動に合わせて、特定音源の音像が移動するように生成されて、複数の音響出力手段に供給される。
【００１９】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明における画像音響提示システムの全体構成を示している。音響取得装置１０の撮像部１２では、撮影画像の画像信号Ｓvを生成して情報信号生成部１８に供給する。
【００２０】
図２は撮像部１２の構成を示している。撮像レンズ１２１を通して入射された光は、撮像素子部１２２に入射されて、撮像面上に撮影画像が結像される。撮像素子部１２２は固体撮像素子例えばＣＣＤを用いて構成されており、光電変換によって得られた撮影画像に基づく信号を後述する駆動部１３２からの駆動信号ＲＣに基づいて読み出し、撮影画像の三原色撮像信号Ｓvaを生成して前処理部１２３に供給する。
【００２１】
前処理部１２３では、撮像信号Ｓvaからノイズ成分を除去する処理、例えば相関二重サンプリング処理を行い、ノイズ除去された撮像信号ＳvaをＡ／Ｄ変換部１２４に供給する。Ａ／Ｄ変換部１２４では、撮像信号Ｓvaをディジタルの画像信号Ｓvbに変換してフィードバッククランプ部１２５に供給する。フィードバッククランプ部１２５では、ブランキング期間の黒レベル信号と基準信号との誤差を検出してＡ／Ｄ変換部１２４に供給することで、安定した黒レベルで所要の大きさの画像信号Ｓvbを得ることが出来るように、Ａ／Ｄ変換動作を制御する。補正処理部１２６では、画像信号Ｓvbに対してシェーディング補正や撮像素子の欠陥に対する補正処理等を行う。この補正処理部１２６で補正処理が行われた画像信号Ｓvbは、プロセス処理部１２７に供給される。
【００２２】
プロセス処理部１２７では、補正処理後の画像信号Ｓvbに対してγ処理、輪郭補償処理、ニー補正処理等を行う。この信号処理が行われた画像信号Ｓvbは、画像信号Ｓvとして情報信号生成部１８に供給される。また、画像信号Ｓvは、モニタ部１２８に供給されて、このモニタ部１２８に画像信号Ｓvに基づく画像が表示されて、撮影画像の確認が行われる。
【００２３】
撮像制御部１３０には、操作部１３１が接続されており、操作部１３１をユーザが操作すると、ユーザの操作に応じた操作信号ＰＳが操作部１３１から撮像制御部１３０に供給される。撮像制御部１３０では、この操作信号ＰＳに基づいて各種の制御信号ＣＴを生成して各部の動作を制御することにより、撮像部１２をユーザの操作に応じて動作させる。また、撮像素子部１２２での信号読み出しフレーム周期を設定する制御信号ＴＣを生成して駆動部１３２に供給する。この駆動部１３２では、制御信号ＴＣに基づき駆動信号ＲＣを生成して撮像素子部１２２に供給する。
【００２４】
図１の集音部１４は、マイクロフォンを用いて構成されており、撮像部１２の前面や上部等に固定して設けられている。この集音部１４は、特定音源からの音である撮像部１２の撮像方向からの音を集音して例えばディジタルの音響信号Ｓaを生成して情報信号生成部１８に供給する。この集音部１４で用いるマイクロフォンは、狙った音源の音を拾うことができるように超指向性（鋭指向性）マイクロフォンであるガンマイク等を用いる。このように超指向性マイクロフォンを用いることで、不必要な方向からの雑音や音響を簡単に取り除くことができる。また、相関利用や複数マイクを用いて各マイクの遅延量を補正する等の音源分離手法によって、狙った音源の音を拾うことができる。
【００２５】
位置検出部１６は、特定音源と集音部１４の位置関係、例えば所望の被写体を特定音源として、この所望の被写体を撮影したときの撮像設定情報、すなわち撮像部１２の撮像方向や所望の被写体までの距離を検出して、検出結果を示す位置情報信号Ｓpを生成したのち情報信号生成部１８に供給する。
【００２６】
図３は、撮像部１２の撮像方向と所望の被写体までの距離を検出する位置検出部１６の構成を示している。角度センサ１６１は、回転角を測定できるセンサやジャイロ等を用いて角度を測定するものであり、撮像部１２の撮像方向を検出して角度信号Ｓpaを極座標算出部１６３に供給する。例えば基準位置に対する水平方向の角度（以下「方位角」という）φや、基準位置に対する上下方向の角度（以下「ピッチ角」という）δを示す角度信号Ｓpaを生成して極座標算出部１６３に供給する。測距センサ１６２は、光や超音波等を用いてあるいは撮像部１２における焦点位置に基づいて距離を測定するものであり、所望の被写体までの距離ＬＯを検出して距離信号Ｓpbを極座標算出部１６３に供給する。極座標算出部１６３では、角度信号Ｓpaと距離信号Ｓpbから極座標を算出し、ディジタルの位置情報信号Ｓpとして情報信号生成部１８に供給する。
【００２７】
情報信号生成部１８では、供給された画像信号Ｓvや音響信号Ｓaおよび位置情報信号Ｓpに基づいて情報信号ＷＳを生成して信号記録再生装置２０に供給する。
【００２８】
信号記録再生装置２０は、光や磁気あるいは半導体素子等を利用する記録媒体を用いて構成されており、供給された情報信号ＷＳを記録媒体に記録する。また、記録媒体を再生して得られた情報信号ＲＳは、音響再生装置３０の情報信号分離部３２に供給される。
【００２９】
情報信号分離部３２は、情報信号ＲＳから画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpを分離する。さらに、分離された画像信号Ｓvを画像出力部４５に供給すると共に、音響信号Ｓaを音響出力信号生成部５２に供給する。さらに、位置情報信号Ｓpを提示制御部５０に供給する。
画像出力部４５は、画像信号Ｓvに基づいて撮像画像の表示を行う。
【００３０】
提示制御部５０は、設置情報供給部５０１と調整信号生成部５０２を有している。設置情報供給部５０１は、後述する複数の音響出力部６０-1〜６０-nがどのような位置に設けられており、どのようなスピーカが用いられているか等を示す設置情報ＣＳaを保持し、あるいはユーザの操作等によって設置情報ＣＳaを生成して、この設置情報ＣＳaを調整信号生成部５０２に供給する。
【００３１】
調整信号生成部５０２は、情報信号分離部３２から供給された位置情報信号Ｓpと設置情報供給部５０１から供給された設置情報ＣＳaに基づき提示調整信号ＣＰを生成して、音響出力信号生成部５２に供給する。この提示調整信号ＣＰは、各音響出力部６０-1〜６０-nに供給する音響出力信号ＳAout-1〜ＳAout-nの信号レベルや位相を調整して音像の位置や臨場感を制御するものである。
【００３２】
音響出力信号生成部５２は、音響信号Ｓaに対して提示調整信号ＣＰに基づいた信号レベルの調整や位相の調整（音響出力信号の出力タイミングの調整）を行い、音響出力信号ＳAout-1を生成して音響出力部６０-1に供給する。同様に、提示調整信号ＣＰに基づいた信号レベルの調整や位相の調整を行い、音響出力信号ＳAout-2〜ＳAout-nを生成して音響出力部６０-2〜６０-nに供給する。
音響出力部６０-1〜６０-nは、スピーカを用いて構成されており、供給された音響出力信号ＳAout-1〜ＳAout-nに基づいて音響出力を行う。
【００３３】
次に動作について説明する。図４は角度情報に基づいた動作を説明するための図である。図４Ａは、聴取位置ＨＰにおいて、左側に位置する音響出力部６０-Lと右側に位置する音響出力部６０-Rが、センター位置ＭＰに対して角度αを有するように設置されていると設置情報ＣＳaによって示された場合である。ここで、位置情報信号Ｓpに基づく角度情報、すなわち角度信号Ｓpaによって示されたセンター位置ＭＰに対する右方向の方位角φを正の値、左方向の方位角φを負の値としたとき、音響信号Ｓaに対して式（１）に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号ＣＰを生成して音響出力信号生成部５２に供給する。
【００３４】
音響出力信号生成部５２は、音響信号Ｓaと提示調整信号ＣＰに基づき、式（１）に応じた音圧比となるように音響信号Ｓaの信号レベルの割合を調整して、音響出力信号ＳAout-Lと音響出力信号ＳAout-Rを生成すると共に、この音響出力信号ＳAout-Lを音響出力部６０-L、音響出力信号ＳAout-Rを音響出力部６０-Rにそれぞれ供給する。
【００３５】
図４Ｂは、上側に位置する音響出力部６０-Uと下側に位置する音響出力部６０-Dが、センター位置ＭＰに対して角度βを有するように設置されていると設置情報ＣＳaによって示された場合である。ここで、角度信号Ｓpaによって示されたセンター位置ＭＰに対する下方向のピッチ角δを正の値、上方向のピッチ角δを負の値としたときには、音響信号Ｓaに対して式（２）に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号ＣＰを生成して音響出力信号生成部５２に供給する。
【００３６】
音響出力信号生成部５２は、音響信号Ｓaと提示調整信号ＣＰに基づき、式（２）に応じた音圧比となるように音響信号Ｓaの信号レベルの割合を調整して、音響出力信号ＳAout-Uと音響出力信号ＳAout-Dを生成すると共に、この音響出力信号ＳAout-Uを音響出力部６０-U、音響出力信号ＳAout-Dを音響出力部６０-Dにそれぞれ供給する。
【００３７】
このように、位置情報信号Ｓpで示された方位角φやピッチ角δに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の信号レベルが調整されるので、集音部１４によって撮影方向の音響のみを集音しても、音像を正しく定位させることができる。すなわち、撮影方向の音のみを集音しても、音源の移動に合わせて音像を移動させることができる。
【００３８】
次に、角度情報と距離情報を用いた動作について説明する。図５は、左側に位置する音響出力部６０-Lと右側に位置する音響出力部６０-Rがセンター位置ＭＰと角度αを有するように設置されており、聴取位置ＨＰと音響出力部６０-L，６０-Rとの間隔が距離ＫＳであることが設置情報ＣＳaによって示された場合である。位置情報信号Ｓpの距離情報すなわち距離信号Ｓpbによって所望の被写体ＯＢまでが距離ＬＯで、角度信号Ｓpaによって方位角φが示されたとき、所望の被写体ＯＢから音響出力部６０-Lまでの距離ＬSLは式（３）で算出できる。また、所望の被写体ＯＢから音響出力部６０-Rまでの距離ＬSRは式（４）で算出できる。
ＬSL＝√(ＫＳ2＋ＬＯ2−２×ＫＳ×ＬＯ×ｃｏｓ(α＋φ)) ・・・（３）
ＬSR＝√(ＫＳ2＋ＬＯ2−２×ＫＳ×ＬＯ×ｃｏｓ(α−φ)) ・・・（４）
【００３９】
このため、被写体ＯＢから音響出力部６０-Lまでの距離と被写体ＯＢから音響出力部６０-Rまでの距離との距離差ＤLRは、「ＤLR＝ＬSL−ＬSR」となる。すなわち、距離差ＤLRだけ音響出力部６０-Lから出力される音は、音響出力部６０-Rから出力される音に比べて遅れたものとなる。
【００４０】
調整信号生成部５０２は、距離差ＤLRを算出すると共に、この距離差ＤLRを音速Ｖauで除算して遅延時間ＴLRを算出して、この遅延時間ＴLRだけ音響出力信号の出力が時間差を生じるように出力タイミングを調整することで位相を制御する提示調整信号ＣＰを生成して、音響出力信号生成部５２に供給する。
【００４１】
音響出力信号生成部５２は、提示調整信号ＣＰに基づいて音響出力信号ＳAout-L，ＳAout-Rの信号レベルを調整するだけでなく、音響出力信号ＳAout-Lを遅延時間ＴLRだけ音響出力信号ＳAout-Rよりも遅延させて音響出力部６０-Lに供給する。
【００４２】
このように、位置情報信号Ｓpで示された距離ＬＯに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の位相を調整することで、集音部１４によって撮影方向の音響のみを集音しても、この集音した音に基づいて臨場感の高い音響提示を行うことが可能となり、聴取者は現実感の高い良好な再生音場を得ることができる。
【００４３】
例えば図６に示すように、撮影画像を表示する際には表示画像Ｚaよりも広い画像表示領域Ｚbを設け、撮影画像の動き検出を行い被写体の動きに合わせて表示画像の表示位置を表示位置Ｐ1から表示位置Ｐ2に移動させる場合、所望の被写体ＯＢの移動に合わせて音像を位置Ｑ1から位置Ｑ2に移動させることができるので、臨場感の高いと共に移動感のある音響提示を行うことができる。
【００４４】
また、所望の被写体を特定音源として、この所望の被写体を撮影したときの撮像設定情報に基づいて位置情報信号Ｓpを生成しているので、撮影画像を参照しながら複数の音響出力信号の信号レベルを人的に調整して、音像の位置を所望の位置とする操作が不要となる。すなわち、撮影空間に適した音像の定位を自動的に行うことができる。
【００４５】
ところで、上述の実施の形態では、超指向性マイクロフォンを用いることで、不必要な方向からの雑音や音響を取り除いている。しかし、自然環境に近い再生音場を作るためには、超指向性マイクロフォンで集音した音だけでなく反射音等の間接音や雑音等も再生することが好ましい。
【００４６】
そこで、第２の実施の形態として、周囲の環境音も提示できる画像音響提示システムの構成を図７に示す。なお、図７において、図１と対応する部分については同一符号を付し、詳細な説明は省略する。環境音集音部１５は、図８Ａに示す指向特性の無指向性マイクロフォンや図８Ｂに示す指向特性の前方指向性マイクロフォン等を用いて構成されており、環境音を集音して環境音信号Ｓsaを生成したのち情報信号生成部１８に供給する。ここで、前方指向性マイクロフォンを用いる場合には、前方指向性マイクロフォンを撮影者の周囲に複数設けるものとすれば、環境音をもれなく集音できる。なお、図８Ｃの指向特性は超指向性マイクロフォンを示している。
【００４７】
情報信号生成部１８は、供給された画像信号Ｓvや音響信号Ｓaと位置情報信号Ｓpおよび環境音信号Ｓsaに基づいて情報信号ＷＳを生成して信号記録再生装置２０に供給する。
【００４８】
情報信号分離部３２は、情報信号ＲＳから画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpおよび環境音信号Ｓsaを分離して、画像信号Ｓvを画像出力部４５、音響信号Ｓaを音響出力信号生成部５２、位置情報信号Ｓpを提示制御部５０、環境音信号Ｓsaを環境音処理部５３に供給する。
【００４９】
環境音処理部５３は、設置情報供給部５３１と環境音信号調整部５３２を有している。設置情報供給部５３１は、いずれの音響出力部６０-1〜６０-nから環境音を出力するか、また環境音を出力する音響出力部では、どのようなスピーカが用いられているか等を示す設置情報ＣＳbを保持し、あるいはユーザの操作等によって設置情報ＣＳbを生成して、設置情報ＣＳbを環境音信号調整部５３２に供給する。なお、音響出力部６０-1〜６０-kとは別個に、環境音出力のための音響出力部を有している場合には、この音響出力部に関する情報も設置情報ＣＳbに含ませる。
【００５０】
環境音信号調整部５３２は、設置情報供給部５３１から供給された設置情報ＣＳbに基づき、環境音信号Ｓsaの信号レベルを使用する音響出力部毎に調整して、各音響出力部から環境音が出力されたとき、環境音の音像が実際の音像位置とは異なった方向に定位されてしまうことを防止する。この環境音信号調整部５３２で生成された音響出力部毎の環境音重畳信号Ｓsbは、信号加算部５４に供給される。
【００５１】
信号加算部５４は、音響出力信号生成部５２から供給された音響出力信号ＳAoutと環境音信号調整部５３２から供給された環境音重畳信号Ｓsbを、対応する音響出力部６０毎に加算して、音響出力信号ＳBoutとして音響出力部６０に供給する。例えば、特定音源からの音と環境音を音響出力部６０-kから出力する場合、音響出力信号ＳAout-kと環境音重畳信号Ｓsb-kを加算して、音響出力信号ＳBout-kを音響出力部６０-kに供給する。なお、特定音源から出力された音を前方に位置する音響出力部から出力し、環境音を後方に位置する音響出力部から出力する場合には、音響出力信号ＳAoutを音響出力信号ＳBoutとして前方に位置する音響出力部に供給すると共に、環境音重畳信号Ｓsbを音響出力信号ＳBoutとして後方に位置する音響出力部に供給する。
【００５２】
このように、第２の実施の形態によれば、集音部１４によって特定音源からの音のみを集音して、音像を正しく定位させることができるだけでなく、周囲の環境音も正しく再生できるので、自然で臨場感の高い音響提示を行うことが可能となり、聴取者は自然でより現実感の高い再生音場を得ることができる。
【００５３】
なお、上述の実施の形態では、情報信号を生成して記録媒体に記録する構成を示したが、信号記録再生装置に変えて信号伝送装置を設けるものとし、この情報信号を伝送する構成としても良い。
【００５４】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図９に示す。コンピュータは、図９に示すようにＣＰＵ(Central Processing Unit)７０１を内蔵しており、このＣＰＵ７０１にはバス７２０を介してＲＯＭ７０２，ＲＡＭ７０３，ハード・ディスク・ドライブ７０４，入出力インタフェース７０５が接続されている。さらに、入出力インタフェース７０５には入力部７１１や記録媒体ドライブ７１２，通信部７１３，信号入力部７１４，信号出力部７１５が接続されている。
【００５５】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部７１１から命令が入力されると、この命令が入出力インタフェース７０５を介してＣＰＵ７０１に供給される。
【００５６】
ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４には、上述の画像音響提示システムに於ける信号処理をコンピュータで実行させるための画像音響提示プログラムを予め記憶させて、信号入力部７１４に入力された信号に基づいて音響出力信号を生成して、信号出力部７１５から出力する。また、記録媒体に画像音響提示プログラムを記録しておくものとし、記録媒体ドライブ７１２によって、音響プログラムを記録媒体に記録しあるいは記録媒体に記録されている音響プログラムを再生してコンピュータで実行するものとしても良い。さらに、通信部７１３によって、音響プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信した音響プログラムをコンピュータで実行するものとしても良い。
【００５７】
図１０は、画像音響提示プログラムの全体構成を示すフローチャートである。
ステップＳＴ１では、音響取得を行うか否かを判別して、音響取得を行う場合にはステップＳＴ２に進み、音響取得を行わない場合にはステップＳＴ６に進む。
【００５８】
ステップＳＴ２では、情報信号の生成を行う。すなわち、信号入力部７１４に入力された角度信号Ｓpaや距離信号Ｓpbに基づき極座標計算を行い位置情報信号Ｓpを生成する。また、この位置情報信号Ｓpと、信号入力部７１４に入力された画像信号Ｓvや音響信号Ｓaを例えば多重化して１つの情報信号ＷＳを生成する。
【００５９】
ステップＳＴ３では、生成した情報信号を記録媒体に記録するあるいは外部機器に伝送するように設定されているか否かを判別する。ここで、情報信号の記録や伝送を行うように設定されている場合にはステップＳＴ４に進み、情報信号の記録や伝送を行わないように設定されている場合にはステップＳＴ５に進む。
【００６０】
ステップＳＴ４では、情報信号の記録や伝送を行いステップＳＴ５に進む。ここで、情報信号を記録する場合には、情報信号を記録媒体ドライブ７１２に供給して、記録媒体ドライブ７１２に装着されている記録媒体に記録する。また、情報信号を伝送する場合には、通信部７１３を介して情報信号を出力する。
【００６１】
ステップＳＴ５では、音響取得を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときにはステップＳＴ６に進み、終了操作が行われていないときにはステップＳＴ２に戻り、情報信号の生成を継続する。
ステップＳＴ６では、音響再生を行うか否かを判別して、音響再生を行う場合にはステップＳＴ７に進み、音響再生を行わない場合にはステップＳＴ１に戻る。
【００６２】
ステップＳＴ７では、音響出力信号に基づいて音響出力を行う音響出力部の設置情報ＣＳaを設定する。例えば、入力部７１１を操作して音響出力部６０の設置位置やどのようなスピーカを用いているか等の設置情報ＣＳaを入力する。あるいはハード・ディスク・ドライブ７０４等に予め記憶されている設置情報ＣＳaを読み出す。
【００６３】
ステップＳＴ８では、情報信号の分離処理を行う。すなわち、記録媒体から読み出した情報信号や、通信部７１３で受信した情報信号あるいは音響取得処理で生成された情報信号から、画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpを分離してステップＳＴ９に進む。
ステップＳＴ９では位置情報信号Ｓpと設置情報ＣＳaに基づき、提示調整信号ＣＰを生成する。
【００６４】
ステップＳＴ１０では、音響信号Ｓaと提示調整信号ＣＰに基づき複数の音響出力信号ＳAout-1〜ＳAout-ｎを生成して信号出力部７１５から出力する。
ステップＳＴ１１では、音響再生を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときにはステップＳＴ１に戻る。また、終了操作が行われていないときにはステップＳＴ１０に戻り、音響出力信号ＳAout-1〜ＳAout-ｎの生成および出力を継続する。このような処理を行って得られた音響出力信号ＳAoutを音響出力部に供給することで、ソフトウェアによっても臨場感の高い音響提示を行える。
【００６５】
【発明の効果】
この発明によれば、集音手段を用いて特定音源からの音を取得して音響信号が生成されると共に、特定音源と集音手段の位置関係から位置情報信号が生成されて、音響出力信号に基づいて音響出力を行う複数の音響出力手段の設置情報と位置検出信号と音響信号に基づいて、複数の音響出力信号が生成されて複数の音響出力手段に供給される。このため、特定音源の位置に音像を定位させることが簡単にできると共に、特定音源の位置が移動したときには音像の位置も移動されて移動感のある音響提示ができる。
【００６６】
また、位置情報信号は、集音方向を示す角度情報や特定音源までの距離情報を有するので、臨場感の高い音響提示を行うことができる。さらに、特定音源と集音手段との位置関係として、画像撮影時の撮像設定情報を用いることにより、撮影空間に適した音像の定位を人的予測操作等を実行することなく実現できる。
【００６７】
さらに、環境音を取得して環境音信号が生成されると共に、複数の音響出力手段の設置情報と環境音信号に基づき、環境音重畳信号が生成されて、この環境音重畳信号が、対応する音響出力信号に加算されるので、より自然で臨場感の高い音響提示を行うことができる。
【図面の簡単な説明】
【図１】 画像音響提示システムの構成を示す図である。
【図２】 撮像部の構成を示す図である。
【図３】 位置検出部の構成を示す図である。
【図４】 角度情報を用いた場合の動作を示す図である。
【図５】 角度情報と距離情報を用いた場合の動作を示す図である。
【図６】 音像の位置を示す図である。
【図７】 第２の実施の形態の構成を示す図である。
【図８】 マイクロフォンの指向特性を示す図である。
【図９】 コンピュータを用いた構成を示す図である。
【図１０】 画像音響提示プログラムを示すフローチャートである。
【図１１】 従来の動作を示す図である。
【符号の説明】
１０・・・音響取得装置、１２・・・撮像部、１４・・・集音部、１５・・・環境音集音部、１６・・・位置検出部、１８・・・情報信号生成部、２０・・・信号記録再生装置、３０・・・音響再生装置、３２・・・情報信号分離部、４５・・・画像出力部、５０・・・提示制御部、５２・・・音響出力信号生成部、５３・・・環境音処理部、５４・・・信号加算部、６０・・・音響出力部、９０・・・ビデオカメラ、１６１・・・角度センサ、１６２・・・測距センサ、１６３・・・極座標算出部、５０１・・・設置情報供給部、５０２・・・調整信号生成部、５３１・・・設置情報供給部、５３２・・・環境音信号調整部
【発明の属する技術分野】
この発明は、画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラムに関する。詳しくは、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と特定音源と集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成し、この集音手段とほぼ同じ位置に設置された撮像手段で、移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、撮影画像を表示し、この撮影画像の動き検出を行い被写体の検出した動きに合わせて撮影画像の表示位置を移動させて表示し、位置情報信号及び撮影画像の表示位置の移動に合わせて、特定音源の音像が移動するように、複数の音響出力信号を生成するものである。
【０００２】
【従来の技術】
従来の音響提示システムでは、例えばステレオマイクロフォンを用いて右側方向の音響と左側方向の音響を集音して、左右チャンネルの音響信号を生成すると共に、再生時には右側に配置されているスピーカを右チャネルの音響信号に基づいて駆動し、左側に配置されているスピーカを左チャネルの音響信号に基づいて駆動することで、モノラルマイクロフォンを用いる場合よりも臨場感を高める方法が行われている。
【０００３】
また、人間の頭蓋骨模型を作り、この模型の左耳と右耳の内部にマイクを設けて、人間の耳から入った音を擬似的に集音すると共に、再生時にはヘッドホンを用いる所謂バイノーラルサウンドも実用化されている。
【０００４】
また、近年では、臨場感をさらに向上させるため、前方のスピーカ以外に補助スピーカを設けて、この補助スピーカから反射音や後方からの音および低周波数領域の音等を再生可能とする方式、所謂５．１ｃｈや６．１ｃｈ方式のサラウンド方式等も実用化されている。
【０００５】
さらに、音響信号に対して信号処理を行うことで再生音場を再現や、３次元音場を再現することが行われている。例えば、無響室で集音した音やコンパクトディスク等に記録された音に、所望の空間でのインパルス応答（音響伝達関数）を畳み込み、所望の空間の特性を再生音場で再現させる。すなわち、所望の空間の音源位置で基準音を出力させると共に視聴位置で集音を行い、音源位置で出力された音と視聴位置で集音された音との関係から所望の空間のインパルス応答を求めることができる。このため、インパルス応答を実現するフィルタを登録しておき、音の再生時には、この登録されたフィルタを用いるものとすれば、所望の空間の特性を再生音場で再現できる。また、種々のフィルタを登録して、選択可能とすれば、種々の再生音場を再現できると共に、三次元音場を再現することもできる。
【０００６】
【発明が解決しようとする課題】
ところで、画像と音響を別々に記録した場合、ビデオカメラの向きに関係なく音響を記録すると、記録された音響信号に基づく再生音は方向性を持たなくなってしまい、臨場感に欠けたものとなってしまう。
【０００７】
また、このように記録された音響を、臨場感を高めて再生するためには、画像を見ながら音像の位置を画像に合わせる操作を人偽的に行わなければならず、簡単に臨場感の高い再生音を得ることができない。
【０００８】
また、ビデオカメラにマイクロフォンを設けて画像と音響を記録した場合、図１１Ａに示すように、所望の被写体ＯＢに合わせてビデオカメラ９０の撮像方向を変更すると、図１１Ｂに示すように、再生画像がフレーム「Ｆa」「Ｆb」「Ｆc」の順に変更されても所望の被写体ＯＢの位置を表示画像の中央に保つことができる。しかし、所望の被写体に対応する音像も位置Ｑmに固定されてしまう。このため、再生時には、表示画像の背景の動きによって被写体の動きを表現できるが、音像の位置は固定されてしまい、臨場感の高い再生音場を得ることができない。
【０００９】
そこで、この発明では、容易に臨場感の高い再生音場を得ることができる画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラムを提供するものである。
【００１０】
【課題を解決するための手段】
この発明に係る画像音響提示システムは、移動する特定音源からの音を取得して音響信号を生成する集音手段と、前記集音手段とほぼ同じ位置に設置された、前記移動する特定音源の被写体を撮影して撮影画像信号を生成する撮像手段と、前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成する位置検出手段と、前記位置情報信号と前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、前記音響出力信号に基づいた音響出力を行う複数の音響出力手段と、前記撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する表示手段と、前記位置情報信号及び前記表示手段における前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記音響出力信号生成手段における前記複数の音響出力信号の生成動作を制御する提示制御手段とを有するものである。
【００１３】
次に、この発明に係る画像音響提示方法は、集音手段を用いて、移動する特定音源からの音を取得して音響信号を生成し、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して撮影画像信号を生成し、前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成し、前記位置情報信号と前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成し、前記撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させるものとし、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成を制御して、該生成された音響出力信号を複数の音響出力手段に供給するものである。
【００１５】
また、画像音響再生方法は、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成し、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示するものとし、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御して、該生成された音響出力信号を複数の音響出力手段に供給するものである。
【００１６】
さらに、この発明に係るコンピュータ読み取り可能な記録媒体は、コンピュータに、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成する手順と、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する手順と、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御する手順とを実行させるためのプログラムを記録したものである。
【００１７】
また、画像音響提示プログラムは、コンピュータに、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成する手順と、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する手順と、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御する手順とを実行させるものである。
【００１８】
この発明においては、超指向性マイクロフォン等を用いた集音手段によって、移動する特定音源例えば撮影画像の被写体側から供給された音を取得して音響信号が生成される。また、集音手段とほぼ同じ位置に設置された撮像手段によって特定音源の被写体が撮影されて撮影画像信号が生成される。さらに、特定音源と集音手段の位置関係として撮影方向や被写体までの距離が検出されて、検出結果を示す位置情報信号が生成される。この音響信号と撮像画像信号と位置検出信号に基づいて情報信号を生成することで画像音響取得が行われる。この情報信号を再生する場合には、情報信号から音響信号と撮像画像信号と位置検出信号が分離される。この分離された撮影画像信号の撮影画像が、この撮像画像よりも広い画像表示領域に表示されて、撮影画像の動き検出を行い被写体の検出した動きに合わせて表示位置の移動が行われる。さらに、分離された位置情報信号と集音手段で生成された音響信号に基づいて複数の音響出力信号の生成が行われる。この音響出力信号は、撮影画像の表示位置の移動に合わせて、特定音源の音像が移動するように生成されて、複数の音響出力手段に供給される。
【００１９】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明における画像音響提示システムの全体構成を示している。音響取得装置１０の撮像部１２では、撮影画像の画像信号Ｓvを生成して情報信号生成部１８に供給する。
【００２０】
図２は撮像部１２の構成を示している。撮像レンズ１２１を通して入射された光は、撮像素子部１２２に入射されて、撮像面上に撮影画像が結像される。撮像素子部１２２は固体撮像素子例えばＣＣＤを用いて構成されており、光電変換によって得られた撮影画像に基づく信号を後述する駆動部１３２からの駆動信号ＲＣに基づいて読み出し、撮影画像の三原色撮像信号Ｓvaを生成して前処理部１２３に供給する。
【００２１】
前処理部１２３では、撮像信号Ｓvaからノイズ成分を除去する処理、例えば相関二重サンプリング処理を行い、ノイズ除去された撮像信号ＳvaをＡ／Ｄ変換部１２４に供給する。Ａ／Ｄ変換部１２４では、撮像信号Ｓvaをディジタルの画像信号Ｓvbに変換してフィードバッククランプ部１２５に供給する。フィードバッククランプ部１２５では、ブランキング期間の黒レベル信号と基準信号との誤差を検出してＡ／Ｄ変換部１２４に供給することで、安定した黒レベルで所要の大きさの画像信号Ｓvbを得ることが出来るように、Ａ／Ｄ変換動作を制御する。補正処理部１２６では、画像信号Ｓvbに対してシェーディング補正や撮像素子の欠陥に対する補正処理等を行う。この補正処理部１２６で補正処理が行われた画像信号Ｓvbは、プロセス処理部１２７に供給される。
【００２２】
プロセス処理部１２７では、補正処理後の画像信号Ｓvbに対してγ処理、輪郭補償処理、ニー補正処理等を行う。この信号処理が行われた画像信号Ｓvbは、画像信号Ｓvとして情報信号生成部１８に供給される。また、画像信号Ｓvは、モニタ部１２８に供給されて、このモニタ部１２８に画像信号Ｓvに基づく画像が表示されて、撮影画像の確認が行われる。
【００２３】
撮像制御部１３０には、操作部１３１が接続されており、操作部１３１をユーザが操作すると、ユーザの操作に応じた操作信号ＰＳが操作部１３１から撮像制御部１３０に供給される。撮像制御部１３０では、この操作信号ＰＳに基づいて各種の制御信号ＣＴを生成して各部の動作を制御することにより、撮像部１２をユーザの操作に応じて動作させる。また、撮像素子部１２２での信号読み出しフレーム周期を設定する制御信号ＴＣを生成して駆動部１３２に供給する。この駆動部１３２では、制御信号ＴＣに基づき駆動信号ＲＣを生成して撮像素子部１２２に供給する。
【００２４】
図１の集音部１４は、マイクロフォンを用いて構成されており、撮像部１２の前面や上部等に固定して設けられている。この集音部１４は、特定音源からの音である撮像部１２の撮像方向からの音を集音して例えばディジタルの音響信号Ｓaを生成して情報信号生成部１８に供給する。この集音部１４で用いるマイクロフォンは、狙った音源の音を拾うことができるように超指向性（鋭指向性）マイクロフォンであるガンマイク等を用いる。このように超指向性マイクロフォンを用いることで、不必要な方向からの雑音や音響を簡単に取り除くことができる。また、相関利用や複数マイクを用いて各マイクの遅延量を補正する等の音源分離手法によって、狙った音源の音を拾うことができる。
【００２５】
位置検出部１６は、特定音源と集音部１４の位置関係、例えば所望の被写体を特定音源として、この所望の被写体を撮影したときの撮像設定情報、すなわち撮像部１２の撮像方向や所望の被写体までの距離を検出して、検出結果を示す位置情報信号Ｓpを生成したのち情報信号生成部１８に供給する。
【００２６】
図３は、撮像部１２の撮像方向と所望の被写体までの距離を検出する位置検出部１６の構成を示している。角度センサ１６１は、回転角を測定できるセンサやジャイロ等を用いて角度を測定するものであり、撮像部１２の撮像方向を検出して角度信号Ｓpaを極座標算出部１６３に供給する。例えば基準位置に対する水平方向の角度（以下「方位角」という）φや、基準位置に対する上下方向の角度（以下「ピッチ角」という）δを示す角度信号Ｓpaを生成して極座標算出部１６３に供給する。測距センサ１６２は、光や超音波等を用いてあるいは撮像部１２における焦点位置に基づいて距離を測定するものであり、所望の被写体までの距離ＬＯを検出して距離信号Ｓpbを極座標算出部１６３に供給する。極座標算出部１６３では、角度信号Ｓpaと距離信号Ｓpbから極座標を算出し、ディジタルの位置情報信号Ｓpとして情報信号生成部１８に供給する。
【００２７】
情報信号生成部１８では、供給された画像信号Ｓvや音響信号Ｓaおよび位置情報信号Ｓpに基づいて情報信号ＷＳを生成して信号記録再生装置２０に供給する。
【００２８】
信号記録再生装置２０は、光や磁気あるいは半導体素子等を利用する記録媒体を用いて構成されており、供給された情報信号ＷＳを記録媒体に記録する。また、記録媒体を再生して得られた情報信号ＲＳは、音響再生装置３０の情報信号分離部３２に供給される。
【００２９】
情報信号分離部３２は、情報信号ＲＳから画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpを分離する。さらに、分離された画像信号Ｓvを画像出力部４５に供給すると共に、音響信号Ｓaを音響出力信号生成部５２に供給する。さらに、位置情報信号Ｓpを提示制御部５０に供給する。
画像出力部４５は、画像信号Ｓvに基づいて撮像画像の表示を行う。
【００３０】
提示制御部５０は、設置情報供給部５０１と調整信号生成部５０２を有している。設置情報供給部５０１は、後述する複数の音響出力部６０-1〜６０-nがどのような位置に設けられており、どのようなスピーカが用いられているか等を示す設置情報ＣＳaを保持し、あるいはユーザの操作等によって設置情報ＣＳaを生成して、この設置情報ＣＳaを調整信号生成部５０２に供給する。
【００３１】
調整信号生成部５０２は、情報信号分離部３２から供給された位置情報信号Ｓpと設置情報供給部５０１から供給された設置情報ＣＳaに基づき提示調整信号ＣＰを生成して、音響出力信号生成部５２に供給する。この提示調整信号ＣＰは、各音響出力部６０-1〜６０-nに供給する音響出力信号ＳAout-1〜ＳAout-nの信号レベルや位相を調整して音像の位置や臨場感を制御するものである。
【００３２】
音響出力信号生成部５２は、音響信号Ｓaに対して提示調整信号ＣＰに基づいた信号レベルの調整や位相の調整（音響出力信号の出力タイミングの調整）を行い、音響出力信号ＳAout-1を生成して音響出力部６０-1に供給する。同様に、提示調整信号ＣＰに基づいた信号レベルの調整や位相の調整を行い、音響出力信号ＳAout-2〜ＳAout-nを生成して音響出力部６０-2〜６０-nに供給する。
音響出力部６０-1〜６０-nは、スピーカを用いて構成されており、供給された音響出力信号ＳAout-1〜ＳAout-nに基づいて音響出力を行う。
【００３３】
次に動作について説明する。図４は角度情報に基づいた動作を説明するための図である。図４Ａは、聴取位置ＨＰにおいて、左側に位置する音響出力部６０-Lと右側に位置する音響出力部６０-Rが、センター位置ＭＰに対して角度αを有するように設置されていると設置情報ＣＳaによって示された場合である。ここで、位置情報信号Ｓpに基づく角度情報、すなわち角度信号Ｓpaによって示されたセンター位置ＭＰに対する右方向の方位角φを正の値、左方向の方位角φを負の値としたとき、音響信号Ｓaに対して式（１）に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号ＣＰを生成して音響出力信号生成部５２に供給する。
音響出力信号生成部５２は、音響信号Ｓaと提示調整信号ＣＰに基づき、式（１）に応じた音圧比となるように音響信号Ｓaの信号レベルの割合を調整して、音響出力信号ＳAout-Lと音響出力信号ＳAout-Rを生成すると共に、この音響出力信号ＳAout-Lを音響出力部６０-L、音響出力信号ＳAout-Rを音響出力部６０-Rにそれぞれ供給する。
【００３５】
図４Ｂは、上側に位置する音響出力部６０-Uと下側に位置する音響出力部６０-Dが、センター位置ＭＰに対して角度βを有するように設置されていると設置情報ＣＳaによって示された場合である。ここで、角度信号Ｓpaによって示されたセンター位置ＭＰに対する下方向のピッチ角δを正の値、上方向のピッチ角δを負の値としたときには、音響信号Ｓaに対して式（２）に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号ＣＰを生成して音響出力信号生成部５２に供給する。
音響出力信号生成部５２は、音響信号Ｓaと提示調整信号ＣＰに基づき、式（２）に応じた音圧比となるように音響信号Ｓaの信号レベルの割合を調整して、音響出力信号ＳAout-Uと音響出力信号ＳAout-Dを生成すると共に、この音響出力信号ＳAout-Uを音響出力部６０-U、音響出力信号ＳAout-Dを音響出力部６０-Dにそれぞれ供給する。
【００３７】
このように、位置情報信号Ｓpで示された方位角φやピッチ角δに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の信号レベルが調整されるので、集音部１４によって撮影方向の音響のみを集音しても、音像を正しく定位させることができる。すなわち、撮影方向の音のみを集音しても、音源の移動に合わせて音像を移動させることができる。
【００３８】
次に、角度情報と距離情報を用いた動作について説明する。図５は、左側に位置する音響出力部６０-Lと右側に位置する音響出力部６０-Rがセンター位置ＭＰと角度αを有するように設置されており、聴取位置ＨＰと音響出力部６０-L，６０-Rとの間隔が距離ＫＳであることが設置情報ＣＳaによって示された場合である。位置情報信号Ｓpの距離情報すなわち距離信号Ｓpbによって所望の被写体ＯＢまでが距離ＬＯで、角度信号Ｓpaによって方位角φが示されたとき、所望の被写体ＯＢから音響出力部６０-Lまでの距離ＬSLは式（３）で算出できる。また、所望の被写体ＯＢから音響出力部６０-Rまでの距離ＬSRは式（４）で算出できる。
ＬSL＝√(ＫＳ2＋ＬＯ2−２×ＫＳ×ＬＯ×ｃｏｓ(α＋φ)) ・・・（３）
ＬSR＝√(ＫＳ2＋ＬＯ2−２×ＫＳ×ＬＯ×ｃｏｓ(α−φ)) ・・・（４）
【００３９】
このため、被写体ＯＢから音響出力部６０-Lまでの距離と被写体ＯＢから音響出力部６０-Rまでの距離との距離差ＤLRは、「ＤLR＝ＬSL−ＬSR」となる。すなわち、距離差ＤLRだけ音響出力部６０-Lから出力される音は、音響出力部６０-Rから出力される音に比べて遅れたものとなる。
【００４０】
調整信号生成部５０２は、距離差ＤLRを算出すると共に、この距離差ＤLRを音速Ｖauで除算して遅延時間ＴLRを算出して、この遅延時間ＴLRだけ音響出力信号の出力が時間差を生じるように出力タイミングを調整することで位相を制御する提示調整信号ＣＰを生成して、音響出力信号生成部５２に供給する。
【００４１】
音響出力信号生成部５２は、提示調整信号ＣＰに基づいて音響出力信号ＳAout-L，ＳAout-Rの信号レベルを調整するだけでなく、音響出力信号ＳAout-Lを遅延時間ＴLRだけ音響出力信号ＳAout-Rよりも遅延させて音響出力部６０-Lに供給する。
【００４２】
このように、位置情報信号Ｓpで示された距離ＬＯに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の位相を調整することで、集音部１４によって撮影方向の音響のみを集音しても、この集音した音に基づいて臨場感の高い音響提示を行うことが可能となり、聴取者は現実感の高い良好な再生音場を得ることができる。
【００４３】
例えば図６に示すように、撮影画像を表示する際には表示画像Ｚaよりも広い画像表示領域Ｚbを設け、撮影画像の動き検出を行い被写体の動きに合わせて表示画像の表示位置を表示位置Ｐ1から表示位置Ｐ2に移動させる場合、所望の被写体ＯＢの移動に合わせて音像を位置Ｑ1から位置Ｑ2に移動させることができるので、臨場感の高いと共に移動感のある音響提示を行うことができる。
【００４４】
また、所望の被写体を特定音源として、この所望の被写体を撮影したときの撮像設定情報に基づいて位置情報信号Ｓpを生成しているので、撮影画像を参照しながら複数の音響出力信号の信号レベルを人的に調整して、音像の位置を所望の位置とする操作が不要となる。すなわち、撮影空間に適した音像の定位を自動的に行うことができる。
【００４５】
ところで、上述の実施の形態では、超指向性マイクロフォンを用いることで、不必要な方向からの雑音や音響を取り除いている。しかし、自然環境に近い再生音場を作るためには、超指向性マイクロフォンで集音した音だけでなく反射音等の間接音や雑音等も再生することが好ましい。
【００４６】
そこで、第２の実施の形態として、周囲の環境音も提示できる画像音響提示システムの構成を図７に示す。なお、図７において、図１と対応する部分については同一符号を付し、詳細な説明は省略する。環境音集音部１５は、図８Ａに示す指向特性の無指向性マイクロフォンや図８Ｂに示す指向特性の前方指向性マイクロフォン等を用いて構成されており、環境音を集音して環境音信号Ｓsaを生成したのち情報信号生成部１８に供給する。ここで、前方指向性マイクロフォンを用いる場合には、前方指向性マイクロフォンを撮影者の周囲に複数設けるものとすれば、環境音をもれなく集音できる。なお、図８Ｃの指向特性は超指向性マイクロフォンを示している。
【００４７】
情報信号生成部１８は、供給された画像信号Ｓvや音響信号Ｓaと位置情報信号Ｓpおよび環境音信号Ｓsaに基づいて情報信号ＷＳを生成して信号記録再生装置２０に供給する。
【００４８】
情報信号分離部３２は、情報信号ＲＳから画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpおよび環境音信号Ｓsaを分離して、画像信号Ｓvを画像出力部４５、音響信号Ｓaを音響出力信号生成部５２、位置情報信号Ｓpを提示制御部５０、環境音信号Ｓsaを環境音処理部５３に供給する。
【００４９】
環境音処理部５３は、設置情報供給部５３１と環境音信号調整部５３２を有している。設置情報供給部５３１は、いずれの音響出力部６０-1〜６０-nから環境音を出力するか、また環境音を出力する音響出力部では、どのようなスピーカが用いられているか等を示す設置情報ＣＳbを保持し、あるいはユーザの操作等によって設置情報ＣＳbを生成して、設置情報ＣＳbを環境音信号調整部５３２に供給する。なお、音響出力部６０-1〜６０-kとは別個に、環境音出力のための音響出力部を有している場合には、この音響出力部に関する情報も設置情報ＣＳbに含ませる。
【００５０】
環境音信号調整部５３２は、設置情報供給部５３１から供給された設置情報ＣＳbに基づき、環境音信号Ｓsaの信号レベルを使用する音響出力部毎に調整して、各音響出力部から環境音が出力されたとき、環境音の音像が実際の音像位置とは異なった方向に定位されてしまうことを防止する。この環境音信号調整部５３２で生成された音響出力部毎の環境音重畳信号Ｓsbは、信号加算部５４に供給される。
【００５１】
信号加算部５４は、音響出力信号生成部５２から供給された音響出力信号ＳAoutと環境音信号調整部５３２から供給された環境音重畳信号Ｓsbを、対応する音響出力部６０毎に加算して、音響出力信号ＳBoutとして音響出力部６０に供給する。例えば、特定音源からの音と環境音を音響出力部６０-kから出力する場合、音響出力信号ＳAout-kと環境音重畳信号Ｓsb-kを加算して、音響出力信号ＳBout-kを音響出力部６０-kに供給する。なお、特定音源から出力された音を前方に位置する音響出力部から出力し、環境音を後方に位置する音響出力部から出力する場合には、音響出力信号ＳAoutを音響出力信号ＳBoutとして前方に位置する音響出力部に供給すると共に、環境音重畳信号Ｓsbを音響出力信号ＳBoutとして後方に位置する音響出力部に供給する。
【００５２】
このように、第２の実施の形態によれば、集音部１４によって特定音源からの音のみを集音して、音像を正しく定位させることができるだけでなく、周囲の環境音も正しく再生できるので、自然で臨場感の高い音響提示を行うことが可能となり、聴取者は自然でより現実感の高い再生音場を得ることができる。
【００５３】
なお、上述の実施の形態では、情報信号を生成して記録媒体に記録する構成を示したが、信号記録再生装置に変えて信号伝送装置を設けるものとし、この情報信号を伝送する構成としても良い。
【００５４】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図９に示す。コンピュータは、図９に示すようにＣＰＵ(Central Processing Unit)７０１を内蔵しており、このＣＰＵ７０１にはバス７２０を介してＲＯＭ７０２，ＲＡＭ７０３，ハード・ディスク・ドライブ７０４，入出力インタフェース７０５が接続されている。さらに、入出力インタフェース７０５には入力部７１１や記録媒体ドライブ７１２，通信部７１３，信号入力部７１４，信号出力部７１５が接続されている。
【００５５】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部７１１から命令が入力されると、この命令が入出力インタフェース７０５を介してＣＰＵ７０１に供給される。
【００５６】
ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４には、上述の画像音響提示システムに於ける信号処理をコンピュータで実行させるための画像音響提示プログラムを予め記憶させて、信号入力部７１４に入力された信号に基づいて音響出力信号を生成して、信号出力部７１５から出力する。また、記録媒体に画像音響提示プログラムを記録しておくものとし、記録媒体ドライブ７１２によって、音響プログラムを記録媒体に記録しあるいは記録媒体に記録されている音響プログラムを再生してコンピュータで実行するものとしても良い。さらに、通信部７１３によって、音響プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信した音響プログラムをコンピュータで実行するものとしても良い。
【００５７】
図１０は、画像音響提示プログラムの全体構成を示すフローチャートである。
ステップＳＴ１では、音響取得を行うか否かを判別して、音響取得を行う場合にはステップＳＴ２に進み、音響取得を行わない場合にはステップＳＴ６に進む。
【００５８】
ステップＳＴ２では、情報信号の生成を行う。すなわち、信号入力部７１４に入力された角度信号Ｓpaや距離信号Ｓpbに基づき極座標計算を行い位置情報信号Ｓpを生成する。また、この位置情報信号Ｓpと、信号入力部７１４に入力された画像信号Ｓvや音響信号Ｓaを例えば多重化して１つの情報信号ＷＳを生成する。
【００５９】
ステップＳＴ３では、生成した情報信号を記録媒体に記録するあるいは外部機器に伝送するように設定されているか否かを判別する。ここで、情報信号の記録や伝送を行うように設定されている場合にはステップＳＴ４に進み、情報信号の記録や伝送を行わないように設定されている場合にはステップＳＴ５に進む。
【００６０】
ステップＳＴ４では、情報信号の記録や伝送を行いステップＳＴ５に進む。ここで、情報信号を記録する場合には、情報信号を記録媒体ドライブ７１２に供給して、記録媒体ドライブ７１２に装着されている記録媒体に記録する。また、情報信号を伝送する場合には、通信部７１３を介して情報信号を出力する。
【００６１】
ステップＳＴ５では、音響取得を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときにはステップＳＴ６に進み、終了操作が行われていないときにはステップＳＴ２に戻り、情報信号の生成を継続する。
ステップＳＴ６では、音響再生を行うか否かを判別して、音響再生を行う場合にはステップＳＴ７に進み、音響再生を行わない場合にはステップＳＴ１に戻る。
【００６２】
ステップＳＴ７では、音響出力信号に基づいて音響出力を行う音響出力部の設置情報ＣＳaを設定する。例えば、入力部７１１を操作して音響出力部６０の設置位置やどのようなスピーカを用いているか等の設置情報ＣＳaを入力する。あるいはハード・ディスク・ドライブ７０４等に予め記憶されている設置情報ＣＳaを読み出す。
【００６３】
ステップＳＴ８では、情報信号の分離処理を行う。すなわち、記録媒体から読み出した情報信号や、通信部７１３で受信した情報信号あるいは音響取得処理で生成された情報信号から、画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpを分離してステップＳＴ９に進む。
ステップＳＴ９では位置情報信号Ｓpと設置情報ＣＳaに基づき、提示調整信号ＣＰを生成する。
【００６４】
ステップＳＴ１０では、音響信号Ｓaと提示調整信号ＣＰに基づき複数の音響出力信号ＳAout-1〜ＳAout-ｎを生成して信号出力部７１５から出力する。
ステップＳＴ１１では、音響再生を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときにはステップＳＴ１に戻る。また、終了操作が行われていないときにはステップＳＴ１０に戻り、音響出力信号ＳAout-1〜ＳAout-ｎの生成および出力を継続する。このような処理を行って得られた音響出力信号ＳAoutを音響出力部に供給することで、ソフトウェアによっても臨場感の高い音響提示を行える。
【００６５】
【発明の効果】
この発明によれば、集音手段を用いて特定音源からの音を取得して音響信号が生成されると共に、特定音源と集音手段の位置関係から位置情報信号が生成されて、音響出力信号に基づいて音響出力を行う複数の音響出力手段の設置情報と位置検出信号と音響信号に基づいて、複数の音響出力信号が生成されて複数の音響出力手段に供給される。このため、特定音源の位置に音像を定位させることが簡単にできると共に、特定音源の位置が移動したときには音像の位置も移動されて移動感のある音響提示ができる。
【００６６】
また、位置情報信号は、集音方向を示す角度情報や特定音源までの距離情報を有するので、臨場感の高い音響提示を行うことができる。さらに、特定音源と集音手段との位置関係として、画像撮影時の撮像設定情報を用いることにより、撮影空間に適した音像の定位を人的予測操作等を実行することなく実現できる。
【００６７】
さらに、環境音を取得して環境音信号が生成されると共に、複数の音響出力手段の設置情報と環境音信号に基づき、環境音重畳信号が生成されて、この環境音重畳信号が、対応する音響出力信号に加算されるので、より自然で臨場感の高い音響提示を行うことができる。
【図面の簡単な説明】
【図１】 画像音響提示システムの構成を示す図である。
【図２】 撮像部の構成を示す図である。
【図３】 位置検出部の構成を示す図である。
【図４】 角度情報を用いた場合の動作を示す図である。
【図５】 角度情報と距離情報を用いた場合の動作を示す図である。
【図６】 音像の位置を示す図である。
【図７】 第２の実施の形態の構成を示す図である。
【図８】 マイクロフォンの指向特性を示す図である。
【図９】 コンピュータを用いた構成を示す図である。
【図１０】 画像音響提示プログラムを示すフローチャートである。
【図１１】 従来の動作を示す図である。
【符号の説明】
１０・・・音響取得装置、１２・・・撮像部、１４・・・集音部、１５・・・環境音集音部、１６・・・位置検出部、１８・・・情報信号生成部、２０・・・信号記録再生装置、３０・・・音響再生装置、３２・・・情報信号分離部、４５・・・画像出力部、５０・・・提示制御部、５２・・・音響出力信号生成部、５３・・・環境音処理部、５４・・・信号加算部、６０・・・音響出力部、９０・・・ビデオカメラ、１６１・・・角度センサ、１６２・・・測距センサ、１６３・・・極座標算出部、５０１・・・設置情報供給部、５０２・・・調整信号生成部、５３１・・・設置情報供給部、５３２・・・環境音信号調整部
Claims (11)
- 移動する特定音源からの音を取得して音響信号を生成する集音手段と、
前記集音手段とほぼ同じ位置に設置された、前記移動する特定音源の被写体を撮影して撮影画像信号を生成する撮像手段と、
前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成する位置検出手段と、
前記位置情報信号と前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、
前記音響出力信号に基づいた音響出力を行う複数の音響出力手段と、
前記撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する表示手段と、
前記位置情報信号及び前記表示手段における前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記音響出力信号生成手段における前記複数の音響出力信号の生成動作を制御する提示制御手段とを有する
ことを特徴とする画像音響提示システム。 - 前記位置情報信号は、集音方向を示す角度情報を有する
ことを特徴とする請求項１記載の画像音響提示システム。 - 前記位置情報信号は、前記特定音源までの距離情報を有することを特徴とする請求項２記載の画像音響提示システム。
- 前記提示制御手段は、前記複数の音響出力手段の設置情報と前記位置検出信号に基づき、前記音響信号出力手段で生成される複数の音響出力信号の信号レベルの割合を制御する
ことを特徴とする請求項１記載の画像音響提示システム。 - 前記提示制御手段は、前記複数の音響出力手段の設置情報と前記位置検出信号に基づき、前記音響信号出力手段で生成される複数の音響出力信号の位相を制御する
ことを特徴とする請求項３記載の画像音響提示システム。 - 画像信号を生成する撮像手段を設け、
前記位置検出手段は、前記特定音源と前記集音手段との位置関係として、前記撮像手段での撮像設定情報を用いるものとし、前記撮像設定情報に基づいて前記位置情報信号を生成する
ことを特徴とする請求項１記載の画像音響提示システム。 - 環境音を取得して環境音信号を生成する環境音集音手段と、
前記複数の音響出力手段の設置情報と前記環境音信号に基づき、環境音重畳信号を生成する環境音処理手段と、
前記音響出力手段毎に、対応する前記音響出力信号と前記環境音信号を加算する信号加算手段とを有する
ことを特徴とする請求項１記載の画像音響提示システム。 - 集音手段を用いて、移動する特定音源からの音を取得して音響信号を生成し、
前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して撮影画像信号を生成し、
前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成し、
前記位置情報信号と前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成し、
前記撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させるものとし、
前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成を制御して、該生成された音響出力信号を複数の音響出力手段に供給する
ことを特徴とする画像音響提示方法。 - 集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成し、
前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示するものとし、
前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御して、該生成された音響出力信号を複数の音響出力手段に供給する
ことを特徴とする画像音響再生方法。 - コンピュータに、
集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成する手順と、
前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する手順と、
前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御する手順とを実行させるためのプログラムを記録した
ことを特徴とするコンピュータ読み取り可能な記録媒体。 - コンピュータに、
集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成する手順と、
前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する手順と、
前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御する手順とを実行させる
ことを特徴とする画像音響提示プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002062385A JP4518729B2 (ja) | 2002-03-07 | 2002-03-07 | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002062385A JP4518729B2 (ja) | 2002-03-07 | 2002-03-07 | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003264897A JP2003264897A (ja) | 2003-09-19 |
| JP2003264897A5 JP2003264897A5 (ja) | 2005-09-02 |
| JP4518729B2 true JP4518729B2 (ja) | 2010-08-04 |
Family
ID=29196187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002062385A Expired - Fee Related JP4518729B2 (ja) | 2002-03-07 | 2002-03-07 | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4518729B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10425726B2 (en) | 2015-10-26 | 2019-09-24 | Sony Corporation | Signal processing device, signal processing method, and program |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006066939A (ja) * | 2004-08-24 | 2006-03-09 | National Institute Of Information & Communication Technology | 音響再現方法及び装置 |
| JP4796304B2 (ja) * | 2005-01-24 | 2011-10-19 | 甫 羽田野 | 音源位置検出装置 |
| EP2899994B1 (en) * | 2008-04-21 | 2019-02-20 | Caavo, Inc. | An electrical system for a speaker and its control |
-
2002
- 2002-03-07 JP JP2002062385A patent/JP4518729B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10425726B2 (en) | 2015-10-26 | 2019-09-24 | Sony Corporation | Signal processing device, signal processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003264897A (ja) | 2003-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6289121B2 (ja) | 音響信号処理装置、動画撮影装置およびそれらの制御方法 | |
| US10959037B1 (en) | Gaze-directed audio enhancement | |
| CN112165590B (zh) | 视频的录制实现方法、装置及电子设备 | |
| JP5801026B2 (ja) | 画像音響処理装置及び撮像装置 | |
| JP4692095B2 (ja) | 記録装置、記録方法、再生装置、再生方法、記録方法のプログラムおよび記録方法のプログラムを記録した記録媒体 | |
| JP4010161B2 (ja) | 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。 | |
| JP5597956B2 (ja) | 音声データ合成装置 | |
| JP2006314078A (ja) | 撮像装置、音声記録装置および音声記録方法 | |
| KR20110038313A (ko) | 영상촬영장치 및 그 제어방법 | |
| US10873824B2 (en) | Apparatus, system, and method of processing data, and recording medium | |
| JP2009094724A (ja) | 撮像装置 | |
| CN111163281A (zh) | 一种基于语音跟踪的全景视频录制方法及装置 | |
| JP4518729B2 (ja) | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム | |
| JPH0918773A (ja) | 撮像装置 | |
| JP5528856B2 (ja) | 撮影機器 | |
| JP3282202B2 (ja) | 収録装置、再生装置、収録方法および再生方法、および、信号処理装置 | |
| JP5954987B2 (ja) | 撮影装置及びその処理方法 | |
| WO2010061791A1 (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
| US8848927B2 (en) | Recorder that creates stereophonic sound | |
| JP2018537875A (ja) | 携帯型オーディオ−ビデオ記録機器 | |
| JP2016163181A5 (ja) | 信号処理装置、信号処理方法、及びプログラム | |
| JP2020092381A (ja) | 音声取得装置、音声取得方法及び音声取得プログラム | |
| JP2023078689A (ja) | 音情報収録装置、音情報収録再生システム及び音情報収録方法 | |
| US20240098409A1 (en) | Head-worn computing device with microphone beam steering | |
| JP3104349B2 (ja) | 収録装置、再生装置、収録方法および再生方法、および、信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050303 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050303 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070724 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071011 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20071214 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090918 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091102 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100518 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |