JP4518729B2 - 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム - Google Patents
画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム Download PDFInfo
- Publication number
- JP4518729B2 JP4518729B2 JP2002062385A JP2002062385A JP4518729B2 JP 4518729 B2 JP4518729 B2 JP 4518729B2 JP 2002062385 A JP2002062385 A JP 2002062385A JP 2002062385 A JP2002062385 A JP 2002062385A JP 4518729 B2 JP4518729 B2 JP 4518729B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- signal
- image
- photographed image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
- Stereophonic Arrangements (AREA)
Description
【発明の属する技術分野】
この発明は、画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラムに関する。詳しくは、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と特定音源と集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成し、この集音手段とほぼ同じ位置に設置された撮像手段で、移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、撮影画像を表示し、この撮影画像の動き検出を行い被写体の検出した動きに合わせて撮影画像の表示位置を移動させて表示し、位置情報信号及び撮影画像の表示位置の移動に合わせて、特定音源の音像が移動するように、複数の音響出力信号を生成するものである。
【0002】
【従来の技術】
従来の音響提示システムでは、例えばステレオマイクロフォンを用いて右側方向の音響と左側方向の音響を集音して、左右チャンネルの音響信号を生成すると共に、再生時には右側に配置されているスピーカを右チャネルの音響信号に基づいて駆動し、左側に配置されているスピーカを左チャネルの音響信号に基づいて駆動することで、モノラルマイクロフォンを用いる場合よりも臨場感を高める方法が行われている。
【0003】
また、人間の頭蓋骨模型を作り、この模型の左耳と右耳の内部にマイクを設けて、人間の耳から入った音を擬似的に集音すると共に、再生時にはヘッドホンを用いる所謂バイノーラルサウンドも実用化されている。
【0004】
また、近年では、臨場感をさらに向上させるため、前方のスピーカ以外に補助スピーカを設けて、この補助スピーカから反射音や後方からの音および低周波数領域の音等を再生可能とする方式、所謂5.1chや6.1ch方式のサラウンド方式等も実用化されている。
【0005】
さらに、音響信号に対して信号処理を行うことで再生音場を再現や、3次元音場を再現することが行われている。例えば、無響室で集音した音やコンパクトディスク等に記録された音に、所望の空間でのインパルス応答(音響伝達関数)を畳み込み、所望の空間の特性を再生音場で再現させる。すなわち、所望の空間の音源位置で基準音を出力させると共に視聴位置で集音を行い、音源位置で出力された音と視聴位置で集音された音との関係から所望の空間のインパルス応答を求めることができる。このため、インパルス応答を実現するフィルタを登録しておき、音の再生時には、この登録されたフィルタを用いるものとすれば、所望の空間の特性を再生音場で再現できる。また、種々のフィルタを登録して、選択可能とすれば、種々の再生音場を再現できると共に、三次元音場を再現することもできる。
【0006】
【発明が解決しようとする課題】
ところで、画像と音響を別々に記録した場合、ビデオカメラの向きに関係なく音響を記録すると、記録された音響信号に基づく再生音は方向性を持たなくなってしまい、臨場感に欠けたものとなってしまう。
【0007】
また、このように記録された音響を、臨場感を高めて再生するためには、画像を見ながら音像の位置を画像に合わせる操作を人偽的に行わなければならず、簡単に臨場感の高い再生音を得ることができない。
【0008】
また、ビデオカメラにマイクロフォンを設けて画像と音響を記録した場合、図11Aに示すように、所望の被写体OBに合わせてビデオカメラ90の撮像方向を変更すると、図11Bに示すように、再生画像がフレーム「Fa」「Fb」「Fc」の順に変更されても所望の被写体OBの位置を表示画像の中央に保つことができる。しかし、所望の被写体に対応する音像も位置Qmに固定されてしまう。このため、再生時には、表示画像の背景の動きによって被写体の動きを表現できるが、音像の位置は固定されてしまい、臨場感の高い再生音場を得ることができない。
【0009】
そこで、この発明では、容易に臨場感の高い再生音場を得ることができる画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラムを提供するものである。
【0010】
【課題を解決するための手段】
この発明に係る画像音響提示システムは、移動する特定音源からの音を取得して音響信号を生成する集音手段と、前記集音手段とほぼ同じ位置に設置された、前記移動する特定音源の被写体を撮影して撮影画像信号を生成する撮像手段と、前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成する位置検出手段と、前記位置情報信号と前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、前記音響出力信号に基づいた音響出力を行う複数の音響出力手段と、前記撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する表示手段と、前記位置情報信号及び前記表示手段における前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記音響出力信号生成手段における前記複数の音響出力信号の生成動作を制御する提示制御手段とを有するものである。
【0013】
次に、この発明に係る画像音響提示方法は、集音手段を用いて、移動する特定音源からの音を取得して音響信号を生成し、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して撮影画像信号を生成し、前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成し、前記位置情報信号と前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成し、前記撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させるものとし、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成を制御して、該生成された音響出力信号を複数の音響出力手段に供給するものである。
【0015】
また、画像音響再生方法は、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成し、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示するものとし、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御して、該生成された音響出力信号を複数の音響出力手段に供給するものである。
【0016】
さらに、この発明に係るコンピュータ読み取り可能な記録媒体は、コンピュータに、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成する手順と、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する手順と、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御する手順とを実行させるためのプログラムを記録したものである。
【0017】
また、画像音響提示プログラムは、コンピュータに、集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成する手順と、前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する手順と、前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御する手順とを実行させるものである。
【0018】
この発明においては、超指向性マイクロフォン等を用いた集音手段によって、移動する特定音源例えば撮影画像の被写体側から供給された音を取得して音響信号が生成される。また、集音手段とほぼ同じ位置に設置された撮像手段によって特定音源の被写体が撮影されて撮影画像信号が生成される。さらに、特定音源と集音手段の位置関係として撮影方向や被写体までの距離が検出されて、検出結果を示す位置情報信号が生成される。この音響信号と撮像画像信号と位置検出信号に基づいて情報信号を生成することで画像音響取得が行われる。この情報信号を再生する場合には、情報信号から音響信号と撮像画像信号と位置検出信号が分離される。この分離された撮影画像信号の撮影画像が、この撮像画像よりも広い画像表示領域に表示されて、撮影画像の動き検出を行い被写体の検出した動きに合わせて表示位置の移動が行われる。さらに、分離された位置情報信号と集音手段で生成された音響信号に基づいて複数の音響出力信号の生成が行われる。この音響出力信号は、撮影画像の表示位置の移動に合わせて、特定音源の音像が移動するように生成されて、複数の音響出力手段に供給される。
【0019】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図1は、この発明における画像音響提示システムの全体構成を示している。音響取得装置10の撮像部12では、撮影画像の画像信号Svを生成して情報信号生成部18に供給する。
【0020】
図2は撮像部12の構成を示している。撮像レンズ121を通して入射された光は、撮像素子部122に入射されて、撮像面上に撮影画像が結像される。撮像素子部122は固体撮像素子例えばCCDを用いて構成されており、光電変換によって得られた撮影画像に基づく信号を後述する駆動部132からの駆動信号RCに基づいて読み出し、撮影画像の三原色撮像信号Svaを生成して前処理部123に供給する。
【0021】
前処理部123では、撮像信号Svaからノイズ成分を除去する処理、例えば相関二重サンプリング処理を行い、ノイズ除去された撮像信号SvaをA/D変換部124に供給する。A/D変換部124では、撮像信号Svaをディジタルの画像信号Svbに変換してフィードバッククランプ部125に供給する。フィードバッククランプ部125では、ブランキング期間の黒レベル信号と基準信号との誤差を検出してA/D変換部124に供給することで、安定した黒レベルで所要の大きさの画像信号Svbを得ることが出来るように、A/D変換動作を制御する。補正処理部126では、画像信号Svbに対してシェーディング補正や撮像素子の欠陥に対する補正処理等を行う。この補正処理部126で補正処理が行われた画像信号Svbは、プロセス処理部127に供給される。
【0022】
プロセス処理部127では、補正処理後の画像信号Svbに対してγ処理、輪郭補償処理、ニー補正処理等を行う。この信号処理が行われた画像信号Svbは、画像信号Svとして情報信号生成部18に供給される。また、画像信号Svは、モニタ部128に供給されて、このモニタ部128に画像信号Svに基づく画像が表示されて、撮影画像の確認が行われる。
【0023】
撮像制御部130には、操作部131が接続されており、操作部131をユーザが操作すると、ユーザの操作に応じた操作信号PSが操作部131から撮像制御部130に供給される。撮像制御部130では、この操作信号PSに基づいて各種の制御信号CTを生成して各部の動作を制御することにより、撮像部12をユーザの操作に応じて動作させる。また、撮像素子部122での信号読み出しフレーム周期を設定する制御信号TCを生成して駆動部132に供給する。この駆動部132では、制御信号TCに基づき駆動信号RCを生成して撮像素子部122に供給する。
【0024】
図1の集音部14は、マイクロフォンを用いて構成されており、撮像部12の前面や上部等に固定して設けられている。この集音部14は、特定音源からの音である撮像部12の撮像方向からの音を集音して例えばディジタルの音響信号Saを生成して情報信号生成部18に供給する。この集音部14で用いるマイクロフォンは、狙った音源の音を拾うことができるように超指向性(鋭指向性)マイクロフォンであるガンマイク等を用いる。このように超指向性マイクロフォンを用いることで、不必要な方向からの雑音や音響を簡単に取り除くことができる。また、相関利用や複数マイクを用いて各マイクの遅延量を補正する等の音源分離手法によって、狙った音源の音を拾うことができる。
【0025】
位置検出部16は、特定音源と集音部14の位置関係、例えば所望の被写体を特定音源として、この所望の被写体を撮影したときの撮像設定情報、すなわち撮像部12の撮像方向や所望の被写体までの距離を検出して、検出結果を示す位置情報信号Spを生成したのち情報信号生成部18に供給する。
【0026】
図3は、撮像部12の撮像方向と所望の被写体までの距離を検出する位置検出部16の構成を示している。角度センサ161は、回転角を測定できるセンサやジャイロ等を用いて角度を測定するものであり、撮像部12の撮像方向を検出して角度信号Spaを極座標算出部163に供給する。例えば基準位置に対する水平方向の角度(以下「方位角」という)φや、基準位置に対する上下方向の角度(以下「ピッチ角」という)δを示す角度信号Spaを生成して極座標算出部163に供給する。測距センサ162は、光や超音波等を用いてあるいは撮像部12における焦点位置に基づいて距離を測定するものであり、所望の被写体までの距離LOを検出して距離信号Spbを極座標算出部163に供給する。極座標算出部163では、角度信号Spaと距離信号Spbから極座標を算出し、ディジタルの位置情報信号Spとして情報信号生成部18に供給する。
【0027】
情報信号生成部18では、供給された画像信号Svや音響信号Saおよび位置情報信号Spに基づいて情報信号WSを生成して信号記録再生装置20に供給する。
【0028】
信号記録再生装置20は、光や磁気あるいは半導体素子等を利用する記録媒体を用いて構成されており、供給された情報信号WSを記録媒体に記録する。また、記録媒体を再生して得られた情報信号RSは、音響再生装置30の情報信号分離部32に供給される。
【0029】
情報信号分離部32は、情報信号RSから画像信号Svと音響信号Saと位置情報信号Spを分離する。さらに、分離された画像信号Svを画像出力部45に供給すると共に、音響信号Saを音響出力信号生成部52に供給する。さらに、位置情報信号Spを提示制御部50に供給する。
画像出力部45は、画像信号Svに基づいて撮像画像の表示を行う。
【0030】
提示制御部50は、設置情報供給部501と調整信号生成部502を有している。設置情報供給部501は、後述する複数の音響出力部60-1〜60-nがどのような位置に設けられており、どのようなスピーカが用いられているか等を示す設置情報CSaを保持し、あるいはユーザの操作等によって設置情報CSaを生成して、この設置情報CSaを調整信号生成部502に供給する。
【0031】
調整信号生成部502は、情報信号分離部32から供給された位置情報信号Spと設置情報供給部501から供給された設置情報CSaに基づき提示調整信号CPを生成して、音響出力信号生成部52に供給する。この提示調整信号CPは、各音響出力部60-1〜60-nに供給する音響出力信号SAout-1〜SAout-nの信号レベルや位相を調整して音像の位置や臨場感を制御するものである。
【0032】
音響出力信号生成部52は、音響信号Saに対して提示調整信号CPに基づいた信号レベルの調整や位相の調整(音響出力信号の出力タイミングの調整)を行い、音響出力信号SAout-1を生成して音響出力部60-1に供給する。同様に、提示調整信号CPに基づいた信号レベルの調整や位相の調整を行い、音響出力信号SAout-2〜SAout-nを生成して音響出力部60-2〜60-nに供給する。
音響出力部60-1〜60-nは、スピーカを用いて構成されており、供給された音響出力信号SAout-1〜SAout-nに基づいて音響出力を行う。
【0033】
次に動作について説明する。図4は角度情報に基づいた動作を説明するための図である。図4Aは、聴取位置HPにおいて、左側に位置する音響出力部60-Lと右側に位置する音響出力部60-Rが、センター位置MPに対して角度αを有するように設置されていると設置情報CSaによって示された場合である。ここで、位置情報信号Spに基づく角度情報、すなわち角度信号Spaによって示されたセンター位置MPに対する右方向の方位角φを正の値、左方向の方位角φを負の値としたとき、音響信号Saに対して式(1)に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号CPを生成して音響出力信号生成部52に供給する。
【0034】
音響出力信号生成部52は、音響信号Saと提示調整信号CPに基づき、式(1)に応じた音圧比となるように音響信号Saの信号レベルの割合を調整して、音響出力信号SAout-Lと音響出力信号SAout-Rを生成すると共に、この音響出力信号SAout-Lを音響出力部60-L、音響出力信号SAout-Rを音響出力部60-Rにそれぞれ供給する。
【0035】
図4Bは、上側に位置する音響出力部60-Uと下側に位置する音響出力部60-Dが、センター位置MPに対して角度βを有するように設置されていると設置情報CSaによって示された場合である。ここで、角度信号Spaによって示されたセンター位置MPに対する下方向のピッチ角δを正の値、上方向のピッチ角δを負の値としたときには、音響信号Saに対して式(2)に基づいた音圧比となるように信号レベルの調整を行うための提示調整信号CPを生成して音響出力信号生成部52に供給する。
【0036】
音響出力信号生成部52は、音響信号Saと提示調整信号CPに基づき、式(2)に応じた音圧比となるように音響信号Saの信号レベルの割合を調整して、音響出力信号SAout-Uと音響出力信号SAout-Dを生成すると共に、この音響出力信号SAout-Uを音響出力部60-U、音響出力信号SAout-Dを音響出力部60-Dにそれぞれ供給する。
【0037】
このように、位置情報信号Spで示された方位角φやピッチ角δに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の信号レベルが調整されるので、集音部14によって撮影方向の音響のみを集音しても、音像を正しく定位させることができる。すなわち、撮影方向の音のみを集音しても、音源の移動に合わせて音像を移動させることができる。
【0038】
次に、角度情報と距離情報を用いた動作について説明する。図5は、左側に位置する音響出力部60-Lと右側に位置する音響出力部60-Rがセンター位置MPと角度αを有するように設置されており、聴取位置HPと音響出力部60-L,60-Rとの間隔が距離KSであることが設置情報CSaによって示された場合である。位置情報信号Spの距離情報すなわち距離信号Spbによって所望の被写体OBまでが距離LOで、角度信号Spaによって方位角φが示されたとき、所望の被写体OBから音響出力部60-Lまでの距離LSLは式(3)で算出できる。また、所望の被写体OBから音響出力部60-Rまでの距離LSRは式(4)で算出できる。
LSL=√(KS2+LO2−2×KS×LO×cos(α+φ)) ・・・(3)
LSR=√(KS2+LO2−2×KS×LO×cos(α−φ)) ・・・(4)
【0039】
このため、被写体OBから音響出力部60-Lまでの距離と被写体OBから音響出力部60-Rまでの距離との距離差DLRは、「DLR=LSL−LSR」となる。すなわち、距離差DLRだけ音響出力部60-Lから出力される音は、音響出力部60-Rから出力される音に比べて遅れたものとなる。
【0040】
調整信号生成部502は、距離差DLRを算出すると共に、この距離差DLRを音速Vauで除算して遅延時間TLRを算出して、この遅延時間TLRだけ音響出力信号の出力が時間差を生じるように出力タイミングを調整することで位相を制御する提示調整信号CPを生成して、音響出力信号生成部52に供給する。
【0041】
音響出力信号生成部52は、提示調整信号CPに基づいて音響出力信号SAout-L,SAout-Rの信号レベルを調整するだけでなく、音響出力信号SAout-Lを遅延時間TLRだけ音響出力信号SAout-Rよりも遅延させて音響出力部60-Lに供給する。
【0042】
このように、位置情報信号Spで示された距離LOに基づいて、左右方向に設置された音響出力部や上下方向に設置された音響出力部に供給する音響出力信号の位相を調整することで、集音部14によって撮影方向の音響のみを集音しても、この集音した音に基づいて臨場感の高い音響提示を行うことが可能となり、聴取者は現実感の高い良好な再生音場を得ることができる。
【0043】
例えば図6に示すように、撮影画像を表示する際には表示画像Zaよりも広い画像表示領域Zbを設け、撮影画像の動き検出を行い被写体の動きに合わせて表示画像の表示位置を表示位置P1から表示位置P2に移動させる場合、所望の被写体OBの移動に合わせて音像を位置Q1から位置Q2に移動させることができるので、臨場感の高いと共に移動感のある音響提示を行うことができる。
【0044】
また、所望の被写体を特定音源として、この所望の被写体を撮影したときの撮像設定情報に基づいて位置情報信号Spを生成しているので、撮影画像を参照しながら複数の音響出力信号の信号レベルを人的に調整して、音像の位置を所望の位置とする操作が不要となる。すなわち、撮影空間に適した音像の定位を自動的に行うことができる。
【0045】
ところで、上述の実施の形態では、超指向性マイクロフォンを用いることで、不必要な方向からの雑音や音響を取り除いている。しかし、自然環境に近い再生音場を作るためには、超指向性マイクロフォンで集音した音だけでなく反射音等の間接音や雑音等も再生することが好ましい。
【0046】
そこで、第2の実施の形態として、周囲の環境音も提示できる画像音響提示システムの構成を図7に示す。なお、図7において、図1と対応する部分については同一符号を付し、詳細な説明は省略する。環境音集音部15は、図8Aに示す指向特性の無指向性マイクロフォンや図8Bに示す指向特性の前方指向性マイクロフォン等を用いて構成されており、環境音を集音して環境音信号Ssaを生成したのち情報信号生成部18に供給する。ここで、前方指向性マイクロフォンを用いる場合には、前方指向性マイクロフォンを撮影者の周囲に複数設けるものとすれば、環境音をもれなく集音できる。なお、図8Cの指向特性は超指向性マイクロフォンを示している。
【0047】
情報信号生成部18は、供給された画像信号Svや音響信号Saと位置情報信号Spおよび環境音信号Ssaに基づいて情報信号WSを生成して信号記録再生装置20に供給する。
【0048】
情報信号分離部32は、情報信号RSから画像信号Svと音響信号Saと位置情報信号Spおよび環境音信号Ssaを分離して、画像信号Svを画像出力部45、音響信号Saを音響出力信号生成部52、位置情報信号Spを提示制御部50、環境音信号Ssaを環境音処理部53に供給する。
【0049】
環境音処理部53は、設置情報供給部531と環境音信号調整部532を有している。設置情報供給部531は、いずれの音響出力部60-1〜60-nから環境音を出力するか、また環境音を出力する音響出力部では、どのようなスピーカが用いられているか等を示す設置情報CSbを保持し、あるいはユーザの操作等によって設置情報CSbを生成して、設置情報CSbを環境音信号調整部532に供給する。なお、音響出力部60-1〜60-kとは別個に、環境音出力のための音響出力部を有している場合には、この音響出力部に関する情報も設置情報CSbに含ませる。
【0050】
環境音信号調整部532は、設置情報供給部531から供給された設置情報CSbに基づき、環境音信号Ssaの信号レベルを使用する音響出力部毎に調整して、各音響出力部から環境音が出力されたとき、環境音の音像が実際の音像位置とは異なった方向に定位されてしまうことを防止する。この環境音信号調整部532で生成された音響出力部毎の環境音重畳信号Ssbは、信号加算部54に供給される。
【0051】
信号加算部54は、音響出力信号生成部52から供給された音響出力信号SAoutと環境音信号調整部532から供給された環境音重畳信号Ssbを、対応する音響出力部60毎に加算して、音響出力信号SBoutとして音響出力部60に供給する。例えば、特定音源からの音と環境音を音響出力部60-kから出力する場合、音響出力信号SAout-kと環境音重畳信号Ssb-kを加算して、音響出力信号SBout-kを音響出力部60-kに供給する。なお、特定音源から出力された音を前方に位置する音響出力部から出力し、環境音を後方に位置する音響出力部から出力する場合には、音響出力信号SAoutを音響出力信号SBoutとして前方に位置する音響出力部に供給すると共に、環境音重畳信号Ssbを音響出力信号SBoutとして後方に位置する音響出力部に供給する。
【0052】
このように、第2の実施の形態によれば、集音部14によって特定音源からの音のみを集音して、音像を正しく定位させることができるだけでなく、周囲の環境音も正しく再生できるので、自然で臨場感の高い音響提示を行うことが可能となり、聴取者は自然でより現実感の高い再生音場を得ることができる。
【0053】
なお、上述の実施の形態では、情報信号を生成して記録媒体に記録する構成を示したが、信号記録再生装置に変えて信号伝送装置を設けるものとし、この情報信号を伝送する構成としても良い。
【0054】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図9に示す。コンピュータは、図9に示すようにCPU(Central Processing Unit)701を内蔵しており、このCPU701にはバス720を介してROM702,RAM703,ハード・ディスク・ドライブ704,入出力インタフェース705が接続されている。さらに、入出力インタフェース705には入力部711や記録媒体ドライブ712,通信部713,信号入力部714,信号出力部715が接続されている。
【0055】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部711から命令が入力されると、この命令が入出力インタフェース705を介してCPU701に供給される。
【0056】
CPU701は、ROM702やRAM703あるいはハード・ディスク・ドライブ704に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ROM702やRAM703あるいはハード・ディスク・ドライブ704には、上述の画像音響提示システムに於ける信号処理をコンピュータで実行させるための画像音響提示プログラムを予め記憶させて、信号入力部714に入力された信号に基づいて音響出力信号を生成して、信号出力部715から出力する。また、記録媒体に画像音響提示プログラムを記録しておくものとし、記録媒体ドライブ712によって、音響プログラムを記録媒体に記録しあるいは記録媒体に記録されている音響プログラムを再生してコンピュータで実行するものとしても良い。さらに、通信部713によって、音響プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信した音響プログラムをコンピュータで実行するものとしても良い。
【0057】
図10は、画像音響提示プログラムの全体構成を示すフローチャートである。
ステップST1では、音響取得を行うか否かを判別して、音響取得を行う場合にはステップST2に進み、音響取得を行わない場合にはステップST6に進む。
【0058】
ステップST2では、情報信号の生成を行う。すなわち、信号入力部714に入力された角度信号Spaや距離信号Spbに基づき極座標計算を行い位置情報信号Spを生成する。また、この位置情報信号Spと、信号入力部714に入力された画像信号Svや音響信号Saを例えば多重化して1つの情報信号WSを生成する。
【0059】
ステップST3では、生成した情報信号を記録媒体に記録するあるいは外部機器に伝送するように設定されているか否かを判別する。ここで、情報信号の記録や伝送を行うように設定されている場合にはステップST4に進み、情報信号の記録や伝送を行わないように設定されている場合にはステップST5に進む。
【0060】
ステップST4では、情報信号の記録や伝送を行いステップST5に進む。ここで、情報信号を記録する場合には、情報信号を記録媒体ドライブ712に供給して、記録媒体ドライブ712に装着されている記録媒体に記録する。また、情報信号を伝送する場合には、通信部713を介して情報信号を出力する。
【0061】
ステップST5では、音響取得を終了するか否かを判別する。ここで、入力部711を用いて終了操作が行われたときにはステップST6に進み、終了操作が行われていないときにはステップST2に戻り、情報信号の生成を継続する。
ステップST6では、音響再生を行うか否かを判別して、音響再生を行う場合にはステップST7に進み、音響再生を行わない場合にはステップST1に戻る。
【0062】
ステップST7では、音響出力信号に基づいて音響出力を行う音響出力部の設置情報CSaを設定する。例えば、入力部711を操作して音響出力部60の設置位置やどのようなスピーカを用いているか等の設置情報CSaを入力する。あるいはハード・ディスク・ドライブ704等に予め記憶されている設置情報CSaを読み出す。
【0063】
ステップST8では、情報信号の分離処理を行う。すなわち、記録媒体から読み出した情報信号や、通信部713で受信した情報信号あるいは音響取得処理で生成された情報信号から、画像信号Svと音響信号Saと位置情報信号Spを分離してステップST9に進む。
ステップST9では位置情報信号Spと設置情報CSaに基づき、提示調整信号CPを生成する。
【0064】
ステップST10では、音響信号Saと提示調整信号CPに基づき複数の音響出力信号SAout-1〜SAout-nを生成して信号出力部715から出力する。
ステップST11では、音響再生を終了するか否かを判別する。ここで、入力部711を用いて終了操作が行われたときにはステップST1に戻る。また、終了操作が行われていないときにはステップST10に戻り、音響出力信号SAout-1〜SAout-nの生成および出力を継続する。このような処理を行って得られた音響出力信号SAoutを音響出力部に供給することで、ソフトウェアによっても臨場感の高い音響提示を行える。
【0065】
【発明の効果】
この発明によれば、集音手段を用いて特定音源からの音を取得して音響信号が生成されると共に、特定音源と集音手段の位置関係から位置情報信号が生成されて、音響出力信号に基づいて音響出力を行う複数の音響出力手段の設置情報と位置検出信号と音響信号に基づいて、複数の音響出力信号が生成されて複数の音響出力手段に供給される。このため、特定音源の位置に音像を定位させることが簡単にできると共に、特定音源の位置が移動したときには音像の位置も移動されて移動感のある音響提示ができる。
【0066】
また、位置情報信号は、集音方向を示す角度情報や特定音源までの距離情報を有するので、臨場感の高い音響提示を行うことができる。さらに、特定音源と集音手段との位置関係として、画像撮影時の撮像設定情報を用いることにより、撮影空間に適した音像の定位を人的予測操作等を実行することなく実現できる。
【0067】
さらに、環境音を取得して環境音信号が生成されると共に、複数の音響出力手段の設置情報と環境音信号に基づき、環境音重畳信号が生成されて、この環境音重畳信号が、対応する音響出力信号に加算されるので、より自然で臨場感の高い音響提示を行うことができる。
【図面の簡単な説明】
【図1】 画像音響提示システムの構成を示す図である。
【図2】 撮像部の構成を示す図である。
【図3】 位置検出部の構成を示す図である。
【図4】 角度情報を用いた場合の動作を示す図である。
【図5】 角度情報と距離情報を用いた場合の動作を示す図である。
【図6】 音像の位置を示す図である。
【図7】 第2の実施の形態の構成を示す図である。
【図8】 マイクロフォンの指向特性を示す図である。
【図9】 コンピュータを用いた構成を示す図である。
【図10】 画像音響提示プログラムを示すフローチャートである。
【図11】 従来の動作を示す図である。
【符号の説明】
10・・・音響取得装置、12・・・撮像部、14・・・集音部、15・・・環境音集音部、16・・・位置検出部、18・・・情報信号生成部、20・・・信号記録再生装置、30・・・音響再生装置、32・・・情報信号分離部、45・・・画像出力部、50・・・提示制御部、52・・・音響出力信号生成部、53・・・環境音処理部、54・・・信号加算部、60・・・音響出力部、90・・・ビデオカメラ、161・・・角度センサ、162・・・測距センサ、163・・・極座標算出部、501・・・設置情報供給部、502・・・調整信号生成部、531・・・設置情報供給部、532・・・環境音信号調整部
Claims (11)
- 移動する特定音源からの音を取得して音響信号を生成する集音手段と、
前記集音手段とほぼ同じ位置に設置された、前記移動する特定音源の被写体を撮影して撮影画像信号を生成する撮像手段と、
前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成する位置検出手段と、
前記位置情報信号と前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成する音響出力信号生成手段と、
前記音響出力信号に基づいた音響出力を行う複数の音響出力手段と、
前記撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する表示手段と、
前記位置情報信号及び前記表示手段における前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記音響出力信号生成手段における前記複数の音響出力信号の生成動作を制御する提示制御手段とを有する
ことを特徴とする画像音響提示システム。 - 前記位置情報信号は、集音方向を示す角度情報を有する
ことを特徴とする請求項1記載の画像音響提示システム。 - 前記位置情報信号は、前記特定音源までの距離情報を有することを特徴とする請求項2記載の画像音響提示システム。
- 前記提示制御手段は、前記複数の音響出力手段の設置情報と前記位置検出信号に基づき、前記音響信号出力手段で生成される複数の音響出力信号の信号レベルの割合を制御する
ことを特徴とする請求項1記載の画像音響提示システム。 - 前記提示制御手段は、前記複数の音響出力手段の設置情報と前記位置検出信号に基づき、前記音響信号出力手段で生成される複数の音響出力信号の位相を制御する
ことを特徴とする請求項3記載の画像音響提示システム。 - 画像信号を生成する撮像手段を設け、
前記位置検出手段は、前記特定音源と前記集音手段との位置関係として、前記撮像手段での撮像設定情報を用いるものとし、前記撮像設定情報に基づいて前記位置情報信号を生成する
ことを特徴とする請求項1記載の画像音響提示システム。 - 環境音を取得して環境音信号を生成する環境音集音手段と、
前記複数の音響出力手段の設置情報と前記環境音信号に基づき、環境音重畳信号を生成する環境音処理手段と、
前記音響出力手段毎に、対応する前記音響出力信号と前記環境音信号を加算する信号加算手段とを有する
ことを特徴とする請求項1記載の画像音響提示システム。 - 集音手段を用いて、移動する特定音源からの音を取得して音響信号を生成し、
前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して撮影画像信号を生成し、
前記特定音源と前記集音手段の位置関係を検出して、検出結果を示す位置情報信号を生成し、
前記位置情報信号と前記集音手段で生成された音響信号に基づいて複数の音響出力信号を生成し、
前記撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させるものとし、
前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成を制御して、該生成された音響出力信号を複数の音響出力手段に供給する
ことを特徴とする画像音響提示方法。 - 集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成し、
前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示するものとし、
前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御して、該生成された音響出力信号を複数の音響出力手段に供給する
ことを特徴とする画像音響再生方法。 - コンピュータに、
集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成する手順と、
前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する手順と、
前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御する手順とを実行させるためのプログラムを記録した
ことを特徴とするコンピュータ読み取り可能な記録媒体。 - コンピュータに、
集音手段を用いて、移動する特定音源からの音を取得して生成された音響信号と前記特定音源と前記集音手段の位置関係を検出して得た検出結果を示す位置情報信号に基づいて複数の音響出力信号を生成する手順と、
前記集音手段とほぼ同じ位置に設置された撮像手段で、前記移動する特定音源の被写体を撮影して生成された撮影画像信号の撮影画像よりも広い画像表示領域に、前記撮影画像を表示し、前記撮影画像の動き検出を行い前記被写体の検出した動きに合わせて前記撮影画像の表示位置を移動させて表示する手順と、
前記位置情報信号及び前記撮影画像の表示位置の移動に合わせて、前記特定音源の音像が移動するように、前記複数の音響出力信号の生成動作を制御する手順とを実行させる
ことを特徴とする画像音響提示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002062385A JP4518729B2 (ja) | 2002-03-07 | 2002-03-07 | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002062385A JP4518729B2 (ja) | 2002-03-07 | 2002-03-07 | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003264897A JP2003264897A (ja) | 2003-09-19 |
JP2003264897A5 JP2003264897A5 (ja) | 2005-09-02 |
JP4518729B2 true JP4518729B2 (ja) | 2010-08-04 |
Family
ID=29196187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002062385A Expired - Fee Related JP4518729B2 (ja) | 2002-03-07 | 2002-03-07 | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4518729B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10425726B2 (en) | 2015-10-26 | 2019-09-24 | Sony Corporation | Signal processing device, signal processing method, and program |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006066939A (ja) * | 2004-08-24 | 2006-03-09 | National Institute Of Information & Communication Technology | 音響再現方法及び装置 |
JP4796304B2 (ja) * | 2005-01-24 | 2011-10-19 | 甫 羽田野 | 音源位置検出装置 |
JP2011519528A (ja) * | 2008-04-21 | 2011-07-07 | スナップ ネットワークス インコーポレーテッド | スピーカー用電気システムとその制御装置 |
-
2002
- 2002-03-07 JP JP2002062385A patent/JP4518729B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10425726B2 (en) | 2015-10-26 | 2019-09-24 | Sony Corporation | Signal processing device, signal processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2003264897A (ja) | 2003-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10959037B1 (en) | Gaze-directed audio enhancement | |
CN112165590B (zh) | 视频的录制实现方法、装置及电子设备 | |
JP5801026B2 (ja) | 画像音響処理装置及び撮像装置 | |
JP4692095B2 (ja) | 記録装置、記録方法、再生装置、再生方法、記録方法のプログラムおよび記録方法のプログラムを記録した記録媒体 | |
JP4010161B2 (ja) | 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。 | |
JP4926916B2 (ja) | 情報処理装置、情報処理方法、およびコンピュータプログラム | |
JP2015139162A (ja) | 音響信号処理装置、動画撮影装置およびそれらの制御方法 | |
JP5597956B2 (ja) | 音声データ合成装置 | |
JP2006314078A (ja) | 撮像装置、音声記録装置および音声記録方法 | |
KR20110038313A (ko) | 영상촬영장치 및 그 제어방법 | |
US10873824B2 (en) | Apparatus, system, and method of processing data, and recording medium | |
JP2009094724A (ja) | 撮像装置 | |
CN111163281A (zh) | 一种基于语音跟踪的全景视频录制方法及装置 | |
CN111970625A (zh) | 录音方法和装置、终端和存储介质 | |
JP4518729B2 (ja) | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム | |
JPH0918773A (ja) | 撮像装置 | |
JP5528856B2 (ja) | 撮影機器 | |
JP3282202B2 (ja) | 収録装置、再生装置、収録方法および再生方法、および、信号処理装置 | |
JP2018537875A (ja) | 携帯型オーディオ−ビデオ記録機器 | |
JP5954987B2 (ja) | 撮影装置及びその処理方法 | |
WO2010061791A1 (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
US8848927B2 (en) | Recorder that creates stereophonic sound | |
JP6274244B2 (ja) | 収音再生装置、収音再生プログラム、収音装置及び再生装置 | |
JP2016163181A5 (ja) | 信号処理装置、信号処理方法、及びプログラム | |
JP2020092381A (ja) | 音声取得装置、音声取得方法及び音声取得プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050303 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071011 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20071214 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090918 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091102 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100518 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |