JP4363004B2

JP4363004B2 - Acoustic presentation device and acoustic presentation method

Info

Publication number: JP4363004B2
Application number: JP2002151466A
Authority: JP
Inventors: 哲二郎近藤; 哲彦有光
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-05-24
Filing date: 2002-05-24
Publication date: 2009-11-11
Anticipated expiration: 2022-05-24
Also published as: JP2003348698A

Description

【０００１】
【発明の属する技術分野】
この発明は、音響提示装置と音響提示方法に関する。詳しくは、音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段を回転及び前後方向に移動させるものである。
【０００２】
【従来の技術】
従来、音響提示方法としては、左チャネルと右チャネルのスピーカだけでなく、補助スピーカ等を固定して配置して、音の奥行き感や立体感を高めて臨場感の優れた音響提示が行われている。例えば、映画やＤＶＤ(Digital Versatile Disk)等で用いられている５．１チャネルや６．１チャネルのサラウンド方式では、前方以外に補助スピーカを設けて、ステレオ空間以上の奥行き感を得ると共に画像と音の融合感を高めて、臨場感の優れた音響提示が行われている。
【０００３】
また、無響室で収集された音やコンパクトディスクに記録された音に、任意空間のインパルス応答を畳み込み、任意の部屋の特性を再現することも行われている。例えば、コンサートホールやライブハウスあるいは教会等の再生空間と等しい特性となるようにフィルタ特性を予め設定して、ユーザが所望のフィルタ特性を選択することで、所望の再生空間の音場を再現させることも行われている。さらに、左チャネルと右チャネルのスピーカを用いて３次元音場を作り出すバーチャル立体音響も実現されている。
【０００４】
【発明が解決しようとする課題】
ところで、このような音響提示方法は、固定されたスピーカを用いているため、音の表現幅が小さい。また、上下方向やスピーカ間の中間位置における前後方向の奥行きを良好に表現ことが難しい。
【０００５】
そこで、この発明では、臨場感や移動感及び奥行き感のある音響提示を行うことができる音響提示装置と音響提示方法を提供するものである。
【０００６】
【課題を解決するための手段】
この発明に係る音響提示装置は、聴取者のほぼ真横の左右に設けられて、回転及び前後方向に移動が可能な音響出力を行う音響出力手段と、音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段を回転及び前後方向に移動させる音響提示制御手段を有するものである。
【０００７】
また、音響提示方法は、聴取者のほぼ真横の左右に、回転及び前後方向に移動が可能として、音響信号に基づいて音響出力を行う音響出力手段を設ける工程と、音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段を回転及び前後方向に移動させる工程を有するものである。
【００１０】
この発明においては、音響出力を行う音響出力手段が、例えば壁面で仕切られた空間内で、聴取者の左右側に設けられる。この音響出力手段から出力された音響に基づく音像を定位させる位置に応じて、音響出力手段が回転、回転半径方向に移動、又は前後方向に移動される。このように音響出力方向が制御されて、壁面からの反射音を利用して音像が定位される。
【００１１】
また、音像を定位させる位置に応じて、音響信号の信号レベル及び位相のうち少なくとも一つが調整されて、この調整後の音響信号に基づいて音響出力手段が駆動される。
【００１２】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は音響の聴取を示している。壁面１０によって仕切られた空間１１で聴取者１２が音源１３から出力された音響を聴取する場合、聴取者１２は、実線で示す直接音（音源１３から直接耳に届く音）ＤＳと破線で示す反射音（周囲の壁や天井及び床よって反射された音）ＲＳが統合された音響を聞くこととなる。
【００１３】
図２は直接音と反射音の関係をモデル化して示している。聴取者１２と音源１３との距離Ｌが短い場合（Ｌ＝Ｌ1）、図２Ａに示すように直接音ＤＳの支配率が高くなり、直接音ＤＳに対する反射音ＲＳの時間遅れＴdは小さい。また、聴取者１２と音源１３との距離Ｌが長くなると（Ｌ＝Ｌ2，Ｌ2＞Ｌ1）、図２Ｂに示すように直接音ＤＳと反射音ＲＳのレベルが小さくなると共に反射音ＲＳの支配率が高くなる。また、直接音ＤＳに対する反射音ＲＳの時間遅れＴdは大きくなる。さらに、聴取者１２と音源１３との距離Ｌが長くなると（Ｌ＝Ｌ3，Ｌ3＞Ｌ2）、図２Ｃに示すように直接音ＤＳや反射音ＲＳのレベルがさらに小さくなると共に、直接音ＤＳに対する反射音ＲＳの時間遅れＴdは大きくなる。なお、反射音ＲＳや時間遅れＴdは、空間１１の構成によって変化するものである。
【００１４】
このため、本願発明では、音像を定位させる位置に応じて音響の出力方向や音圧及び位相のうち少なくとも一つを制御することで、臨場感や移動感及び前後方向や上下方向の奥行き感のある音響提示を行う。すなわち、音響の出力方向を可変すると、音響を聴取する空間の反射特性によって、直接音ＤＳや反射音ＲＳを制御することが可能となる。さらに、音圧や位相を制御することで直接音ＤＳや反射音ＲＳを制御することが可能となり、臨場感や移動感及び奥行き感のある音響提示を行うことができる。
【００１５】
図３は、音響提示システムの構成を示している。この音響提示システムでは、聴取者１２を中心として、聴取者１２の左側に音響出力手段であるスピーカ２３L、右側に音響出力手段であるスピーカ２３Rを設けるものとする。なお、図３において破線で示す位置は、例えばスピーカ２３L，２３Rから出力される音響に関連した画像が表示される画像表示領域１５を示している。
【００１６】
スピーカ２３Lは、音響提示制御装置３０によって音響の出力方向を可変できる構成とされている。例えば、図４に示すように、回転駆動部（例えばステッピングモータ）２４Lを介してスピーカ２３Lと支持体２５Lを回転可能に取り付ける。ここで、音響提示制御装置３０によって回転駆動部２４Lを駆動することによりスピーカ２３Lを回転させることで、音響の出力方向を可変する。スピーカ２３Rも同様に構成して、音響の出力方向を可変できるものとする。また、音響提示制御装置３０からスピーカ２３Lに対して音響信号ＳＯLを供給すると共に、スピーカ２３Rに対して音響信号ＳＯRを供給することで、スピーカ２３L，２３Rから音響を出力させる。なお、図５に示すように、聴取者１２の両耳方向をＸ軸、前後方向をＹ軸、上下方向をＺ軸として以下の説明を行う。
【００１７】
壁面空間でスピーカ２３L，２３Rから音響を出力する場合、聴取者１２は、スピーカ２３L，２３Rから出力された音響の直接音ＤＳと壁面１０からの反射音ＲＳを聞くこととなる。ここで、スピーカ２３L，２３Rの回転軸をＺ軸方向としたとき、図６Ａに示すように、スピーカ２３L，２３Rからの音響の出力方向を聴取者１２の方向とすると、直接音ＤＳの支配率が高くなる。また、スピーカ２３Lとスピーカ２３Rが聴取者１２に対して左右側で対称の位置に設けられると共に音響の出力が等しいときには、音像が聴取者１２の位置となる。
【００１８】
また、図６Ｂに示すように、スピーカ２３Lを反時計方向に角度θ１だけ回転させると共にスピーカ２３Rを時計方向に角度θ１だけ回転させて、音響の出力方向を前方向に順次移動させる。この場合、反射音ＲＳの支配率が徐々に高くなり、音像は前方向に移動して奥行き感のある音響提示を行うことができる。さらに、図６Ｃに示すように、スピーカ２３L，２３Rをさらに角度θ２まで回転させると、反射音ＲＳの時間遅れが大きくなると共に、直接音ＤＳが減少して反射音ＲＳの支配率がさらに高くなる。
【００１９】
図７は、音響提示制御装置の構成を示している。ユーザインタフェース部３１では、ユーザ操作に応じて生成した操作信号ＰＳを音像位置決定部３２に供給する。音像位置決定部３２では、操作信号ＰＳあるいは外部から供給された位置情報信号ＰＲに基づき音像の位置を決定して、位置信号ＭＰを出力方向制御部３３と音響信号処理部３４に供給する。
【００２０】
出力方向制御部３３は、音像の位置が位置信号ＭＰで示された位置となるようにスピーカ２３L，２３Rを回転させるための駆動信号ＭＤL，ＭＤRを生成して、駆動信号ＭＤLをスピーカ２３L側に設けられた回転駆動部２４Lに供給すると共に、駆動信号ＭＤRをスピーカ２３R側に設けられた回転駆動部２４Rに供給する。
【００２１】
音響信号処理部３４では、音像の位置が位置信号ＭＰで示された位置となるように、入力音響信号ＳＡL，ＳＡRの位相や信号レベルを調整する。この調整が行われた信号は、調整音響信号ＳＢL，ＳＢRとして信号増幅部３５に供給される。
【００２２】
信号増幅部３５は、音響信号処理部３４から供給された調整音響信号ＳＢLを増幅して、音響信号ＳＯLとしてスピーカ２３Lに供給する。また、調整音響信号ＳＢRを増幅して、音響信号ＳＯRとしてスピーカ２３Rに供給する。このように入力音響信号ＳＡL，ＳＡRの位相や信号レベルを調整することで、音響の音圧や位相を制御できる。
【００２３】
回転駆動部２４Lは、上述したようにステッピングモータ等を用いて構成されており、音響提示制御装置３０から供給された駆動信号ＭＤLに基づいてスピーカ２３Lを回転させて、音像位置決定部３２で算出されたスピーカ回転角となるように向きを制御する。同様に、回転駆動部２４Rは、駆動信号ＭＤRに基づいてスピーカ２３Rを回転させて、音像位置決定部３２で算出されたスピーカ回転角となるように向きを制御する。
【００２４】
次に、音響提示制御装置の動作について説明する。ユーザインタフェース部３１が操作されて、スピーカ２３L，２３Rからの音響出力に基づく音像の位置が指定されるとき、ユーザインタフェース部３１では、この操作に応じた操作信号ＰＳを生成して音像位置決定部３２に供給する。
【００２５】
また、例えばビデオカメラとマイクロフォンを一体構造として、ビデオカメラの撮影方向に対して音響取得を行うことにより音響信号ＳＡL，ＳＡRを得る場合、このビデオカメラに位置検出部を設けて、この位置検出部によって音源の位置を示す位置情報信号ＰＲを生成して、音像位置決定部３２に供給する。
【００２６】
図８は、位置検出部の構成を示している。角度センサ４１は、回転角を測定できるセンサやジャイロ等を用いて角度を測定するものであり、ビデオカメラの撮像方向を検出して角度信号Ｓpaを極座標算出部４３に供給する。例えば基準位置に対する水平方向の角度（以下「方位角」という）や、基準位置に対する上下方向の角度（以下「ピッチ角」という）を示す角度信号Ｓpaを生成して極座標算出部４３に供給する。測距センサ４２は、光や超音波等を用いてあるいはビデオカメラの焦点位置に基づいて距離を測定するものであり、所望の被写体までの距離ＬＯを検出して距離信号Ｓpbを極座標算出部４３に供給する。極座標算出部４３では、角度信号Ｓpaと距離信号Ｓpbから極座標を算出して、この極座標を位置情報信号ＰＲとして出力する。
【００２７】
ここで、ビデオカメラで所望の被写体を追いかけて撮影を行った場合、所望の被写体からの音響がマイクロフォンで収音されて音響信号ＳＡL，ＳＡRが生成される。また、この所望の被写体が音像位置とされて、この音源の方向や距離を示す情報が位置情報信号ＰＲとして出力されることとなる。
【００２８】
さらに、画像信号に基づいて画像の動きを検出すると共に、検出した動きに応じて画像の表示位置を移動させることで、動きのある被写体の表示位置を被写体の動きに合わせて移動させる場合、この表示位置を音源の位置として、表示位置を示す信号を位置情報信号ＰＲとして用いるものとしても良い。
【００２９】
図９は、画像の動き検出結果に基づいて画像の表示位置を移動させた画像出力信号と、表示位置を示す信号を生成する画像信号処理装置の構成を示している。
【００３０】
画像信号ＳＶは、画像信号処理部５０のシーンチェンジ検出部５１と動き検出部５２と画像位置移動部５３に供給される。
【００３１】
シーンチェンジ検出部５１は、画像信号ＳＶに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出してシーンチェンジ検出信号ＣＨを生成する。
【００３２】
動き検出部５２は、シーンチェンジ検出部５１で生成されたシーンチェンジ検出信号ＣＨによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。この動き検出部５２で検出された動きベクトルを示す動き検出情報ＭＶＤは画像位置移動部５３に供給される。
【００３３】
画像位置移動部５３は、シーンチェンジ検出信号ＣＨと動き検出情報ＭＶＤに基づき表示位置を決定する。この表示位置の決定では、連続シーンの期間中における動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成して、動き累積値ＭＶＴの振れ幅を求めることでシーン毎に表示位置の移動範囲を判別する。次に、この移動範囲が画像表示領域内の移動可能範囲（画像表示領域の右側端部に画像を表示したときと、画像を水平移動させて左側端部に表示したときの表示画像の中心間の距離）の中央となるように、連続シーンの最初の表示画像に対する表示位置を決定する。また、連続シーンの最初の表示画像を表示してから連続シーンの最後の画像を表示するまでの期間中、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたときに、表示画像が画像表示領域に入りきるように動き検出情報ＭＶＤの補正を行い、この補正後の動き検出情報ＭＶＤに基づき画像を移動させるものとして、表示位置を決定する。この決定された表示位置を示す信号を位置情報信号ＰＲとして音像位置決定部３２に供給する。また、画像位置移動部５３では、画像信号ＳＶに基づく画像を決定された表示位置に移動した画像信号ＳＶoutを生成して出力する。
【００３４】
図７の音像位置決定部３２では、操作信号ＰＳに基づき、ユーザインタフェース部３１で設定された音像の位置を示す位置信号ＭＰを生成する。また、位置情報信号ＰＲに基づき、音源位置や画像の表示位置を音像の位置とする位置信号ＭＰを生成する。この生成した位置信号ＭＰは、出力方向制御部３３と音響信号処理部３４に供給する。
【００３５】
出力方向制御部３３は、位置信号ＭＰに基づき駆動信号ＭＤL，ＭＤRを生成して回転駆動部２４L，２４Rに供給することにより、音像の位置が位置信号ＭＰで示された位置となるようにスピーカ２３L，２３Rを回転させる。
【００３６】
音響信号処理部３４は、位置信号ＭＰに基づき音響信号の位相や信号レベルを調整する。図１０は、音響信号処理部３４の動作を説明するための図である。位置信号ＭＰに基づきスピーカ２３Lの回転角が「θL」、スピーカ２３Rの回転角が「θR」とされる場合、音響信号処理部３４は左チャネルの音響信号ＳＡL(t)、右チャネルの音響信号ＳＡR(t)に対して式（１），（２）に示す処理を行い、調整音響信号ＳＢL(t)，ＳＢR(t)を生成する。
ＳＢL(t)＝α（θL）×ＳＡL（ｔ−ＴＤL）・・・（１）
ＳＢR(t)＝β（θR）×ＳＢR（ｔ−ＴＤR）・・・（２）
【００３７】
なお、式（１）（２）において、「α（θL）」は回転角θLに基づいた増幅係数であり、「β（θR）」は回転角θRに基づいた増幅係数である。さらに、位相補正値「ＴＤL」「ＴＤR」は、時間進みあるいは時間遅れを表している。この増幅係数「α(θL)」「β（θR）」や位相補正値「ＴＤL」「ＴＤR」は、音像の位置、壁面１０の吸音率や配置、壁面１０とスピーカ２３L，２３Rの位置関係等に基づいて設定する。例えば、音像が正面中央よりも右側に位置しているときには、位相補正値「ＴＤL」「ＴＤR」によって左チャネルの調整音響信号ＳＢLを右チャネルの調整音響信号ＳＢRよりも遅延させる。また壁面１０の吸音率が高ければ、増幅係数「α」，「β」は大きな値とする。
【００３８】
この音響信号処理部３４で生成した調整音響信号ＳＢL，ＳＢRを、信号増幅部３５で増幅して、音響信号ＳＯLとしてスピーカ２３Lに供給すると共に、音響信号ＳＯRとしてスピーカ２３Rに供給する。
【００３９】
音像位置決定部３２によって音像の位置が決定されると、駆動信号ＭＤL，ＭＤRによって直接音の支配率を調整できる。ここで、図１１に示すように、聴取者１２の左右側にスピーカ２３L，２３Rを設けるものとして、聴取者１２の近くに音像を置きたい場合には、スピーカ２３L，２３Rを聴取者１２側の向きとする。例えば、音像の位置を聴取者１２の前方で近い位置Ｉｂとするとき、図１１のＢ方向付近に回転角を合わせて反射音の影響を少なくする。同様に、音像の位置を聴取者１２の後方で近い位置Ｉｃとするとき、図１１のＣ方向付近に回転角を合わせて反射音の影響を少なくする。反対に、聴取者からはなれた位置に音像を置きたい場合には、スピーカを外向きにする。例えば、音像の位置を聴取者１２の前方で離れた位置Ｉａとするとき、図１１のＡ方向付近に回転角を合わせて壁面１０からの反射音の影響を大きくする。同様に、音像の位置を聴取者１２の後方で離れた位置Ｉｄとするとき、図１１のＤ方向付近に回転角を合わせて反射音の影響を大きくする。
【００４０】
このように、音像の位置に応じてスピーカ２３L，２３Rを回転させて音響の出力方向を制御することで、例えばスピーカ２３L，２３RをＡ方向からＤ方向に回転させると、音像の位置が前方から後方に移動するものとなる。特に、聴取者１２の左右側にスピーカ２３L，２３Rを設けることで、この音像の位置の移動が明確となり、臨場感の高い音響提示を行うことができる。また、スピーカ２３L，２３Rを回転することで、音響の出力方向を連続的に可変できるものであるから、音像の位置を連続的かつ滑らかに移動させることができる。
【００４１】
また、音響信号処理部３４で音響信号の信号レベルや位相を制御することで、音響の音圧や位相を容易かつ精度良く制御できるので、音像をより正しい位置に定位させて、さらに臨場感の高い音響提示を行うことができる。
【００４２】
ここで、前後方向の音像の表現では、左右の音量差が無くなると共に左右の位相差が無くなるように調整音響信号ＳＢL，ＳＢRを生成する。左右方向の音像の表現では、左耳で聞こえた音と右耳で聞こえた音との音量差及び位相差によって音像の左右方向の位置が表現される。例えば図１２の実線で示す右側の音響ＳＵRに対して、左側の音響ＳＵLを破線で示すように音量レベルを小さくすると共に、時間遅れＴeを生じさせると、音源や音像の位置が中央より右側の位置に感じられる。このため、音像の位置に応じて、増幅係数α，βや位相補正値ＴＤL，ＴＤRの調整を行うことで、より臨場感が高い音響提示を行うことができる。
【００４３】
位相補正値ＴＤL，ＴＤRの算出では、スピーカ２３L，２３Rの回転角度と時間差の関係を予め算出しておき、スピーカ２３L，２３Rの回転角度に応じた時間差に位相補正値ＴＤL，ＴＤRを加えることで、所望の位置に音像が形成されるように位相補正値ＴＤL，ＴＤRを調整する。
【００４４】
スピーカ２３L，２３Rの回転角度と時間差の関係は、図１３に基づいて求めることができる。例えば、スピーカ２３Lの角度を設定して、このスピーカ２３Lから出力されたインパルス音に基づく聴取位置ＱＬでのインパルス応答を測定する。図１４Ａはスピーカ２３Lから出力されたインパルス音に基づくインパルス応答を示している。同様に、スピーカ２３Rから出力されたインパルス音に基づくインパルス応答を測定する。図１４Ｂはスピーカ２３Rから出力されたインパルス音に基づくインパルス応答を示している。
【００４５】
ここで、インパルス音の出力から最初の間接音が聴取位置に届くまでの時間ＴＬO，ＴＲOを求める。なおインパルス応答は、直接測定しても良くシミュレーションで予め求めておくものとしても良い。
【００４６】
このようにして時間ＴＬO，ＴＲOを求めると、式（３）に基づいて時間差ΔＴfを算出できる。すなわち、スピーカ２３L，２３Rの回転角度に基づく時間ＴＬO，ＴＲOを用いて時間差ΔＴfを求めることができる。なお、この時間差ΔＴfは、聴取者に対して左右感覚を与える遅延量である。
ΔＴf＝ＴＬO−ＴＲO ・・・（３）
【００４７】
このため、所望の位置に音像が形成するために必要とされる時間差ΔＴgが時間差ΔＴfで得ることができない場合、式（４）を満足するようにされるよう位相補正値ＴＤを設定する。
ΔＴg＝ΔＴf＋ＴＤ・・・（４）
【００４８】
例えば、位相補正値ＴＤRを設定したときには、図１４Ｂに示すインパルス応答は、図１４Ｃに示すものとなり、スピーカの回転だけでは表現できない音像の位置を、位相補正値を用いることで表示することができる。
【００４９】
また、上述の音響信号処理部３４では、音響信号ＳＡL，ＳＡRの周波数帯域分離を行い、所望の周波数帯域の信号レベルが他の周波数帯域よりも高くなるように調整を行うものとする。この場合には、所望の周波数帯域の音響に基づく音像をより強調して表現できる。また、音響信号ＳＡL，ＳＡRの周波数帯域分離を行い、周波数帯域に応じた信号処理を行うものとしても良い。例えば高音域や中音域に比べて低音域は音響の指向性が低く、どの方向から聞こえてくるかを認識しにくい。このため、中音域や高音域を強調するように信号処理を行うことで、音像を認識しやすくして臨場感の高い音響提示を行うことができる。
【００５０】
ところで、上述のスピーカ２３L，２３Rでは、Ｚ軸を中心として時計方向あるいは反時計方向に回転することで、音響の出力方向を制御するものとしたが、スピーカ２３L，２３Rの位置をＹ軸方向（前後方向）に移動することで、音響の出力方向を可変させるものとしても良い。
【００５１】
図１５は、スピーカ２３L，２３Rの位置をＹ軸方向に移動させる場合の構成を示している。例えば図１５Ａでは、スピーカ２３L，２３Rを回転させる際の回転半径ｒを大きくして、音響の出力方向を可変させるだけでなく、スピーカ２３L，２３Rの位置を前後方向に移動させる。あるいは、図１５Ｂに示すように、回転駆動部を前後方向に移動させるスライド機構２６を設けるものとして、スピーカ２３L，２３Rの回転と前後方向の移動を独立に行うものとする。ここで、例えばスピーカを前方向に移動させることで前方向に対する奥行き感を高めることができる。また、スピーカを後方向に移動させることで後方向に対する奥行き感を高めることができる。
【００５２】
このように、音響提示制御装置３０によって、音像を定位させる位置に応じて音響の出力方向や音圧及び位相のうち少なくとも一つを制御することで、臨場感の高い音響提示を行うことができる。
【００５３】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１６に示す。コンピュータは、図１６に示すようにＣＰＵ(Central Processing Unit)７０１を内蔵しており、このＣＰＵ７０１にはバス７２０を介してＲＯＭ７０２，ＲＡＭ７０３，ハード・ディスク・ドライブ７０４，入出力インタフェース７０５が接続されている。さらに、入出力インタフェース７０５には入力部７１１や記録媒体ドライブ７１２，通信部７１３，信号入力部７１４，信号出力部７１５が接続されている。
【００５４】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部７１１から命令が入力されたりると、この命令が入出力インタフェース７０５を介してＣＰＵ７０１に供給される。
【００５５】
ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ７０２やＲＡＭ７０３あるいはハード・ディスク・ドライブ７０４には、上述の音響提示システムにおける信号処理をコンピュータで実行させるための音響提示処理プログラムを予め記憶させて、信号入力部７１４に入力された信号に基づいて音響出力信号を生成して、信号出力部７１５から出力する。また、記録媒体に音響提示処理プログラムを記録しておくものとし、記録媒体ドライブ７１２によって、音響提示処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている音響提示処理プログラムを再生してコンピュータで実行するものとしても良い。さらに、通信部７１３によって、音響提示処理プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信した音響提示処理プログラムをコンピュータで実行するものとしても良い。
【００５６】
次に、音響提示処理プログラムについて説明する。ここで、信号入力部７１４には、音響信号ＳＡL，ＳＡRや位置情報信号ＰＲに基づいて生成された情報信号ＷＳが供給される場合を説明する。
【００５７】
図１７は音響取得処理を示すフローチャートである。この音響取得処理は、例えばビデオカメラ側あるいはコンピュータ側のいずれで行っても良い。
【００５８】
ステップＳＴ１では、位置情報信号の生成を行う。すなわち、角度センサからの角度信号Ｓpaや測距センサからの距離信号Ｓpbに基づき極座標計算を行い、位置情報信号ＰＲを生成する。また、この位置情報信号ＰＲと音響信号ＳＡL，ＳＡRを例えば多重化して情報信号ＷＳを生成する。
【００５９】
ステップＳＴ２では、生成した情報信号ＷＳを記録媒体に記録あるいは外部機器に伝送するように設定されているか否かを判別する。ここで、情報信号の記録や伝送を行うように設定されている場合にはステップＳＴ３に進み、情報信号の記録や伝送を行わないように設定されている場合にはステップＳＴ４に進む。
【００６０】
ステップＳＴ３では、情報信号の記録や伝送を行ってからステップＳＴ４に進む。ここで、情報信号を記録する場合には、情報信号を磁気や光等を利用して記録再生を行う記録媒体あるいは半導体等を用いて構成された記録媒体に記録する。また、情報信号を伝送する場合には、有線や無線の通信路を介して情報信号を出力する。
【００６１】
ステップＳＴ４では、音響取得を終了するか否かを判別する。ここで、音響取得の終了操作が行われたときには音響取得処理を終了する。また、終了操作が行われていないときにはステップＳＴ１に戻り、情報信号の生成を継続する。
【００６２】
図１８は、音響提示処理を示すフローチャートである。ステップＳＴ１１では供給された情報信号ＷＳの分離を行う。例えば、記録媒体ドライブ７１２によって記録媒体に記録されている情報信号ＷＳが再生されたとき、あるいは、通信部７１３を介して情報信号ＷＳが供給されたとき、またはビデオカメラ等から情報信号ＷＳが信号入力部７１４に供給されたとき、この情報信号ＷＳから、音響信号ＳＡL，ＳＡRと位置情報信号ＰＲを分離してステップＳＴ１２に進む。
【００６３】
ステップＳＴ１２では、音響の出力方向の決定を行い、位置情報信号ＰＲによって示された音像の位置に応じたスピーカ２３L，２３Rの回転角を決定する。この回転角の決定では、音像の位置に対する回転角を、壁面１０の設置状態等を考慮して予め求めてハード・ディスク装置やメモリに記憶ものとして、位置情報信号ＰＲで示された音像の位置と対応する回転角を読み出すことで、回転角を容易に決定できる。
【００６４】
ステップＳＴ１３では、調整情報の生成を行い、音像の位置やスピーカの回転角等に基づいて、音響信号ＳＡL，ＳＡRを調整するための係数や位相補正値を決定する。
【００６５】
ステップＳＴ１４では、ステップＳＴ１２で決定された回転角となるようにスピーカ２３L，２３Rを回転させるための駆動信号ＭＤL，ＭＤRを生成して信号出力部７１５から出力させる。
【００６６】
ステップＳＴ１５では、ステップＳＴ１３で生成された調整情報を用いて音響信号ＳＡL，ＳＡRの調整を行い、調整音響信号ＳＢL，ＳＢRあるいは音響信号ＳＯL，ＳＯRを生成して信号出力部７１５から出力させる。
【００６７】
ステップＳＴ１６では、音響信号の再生を終了するか否かを判別する。ここで、入力部７１１を用いて終了操作が行われたときには音響提示処理を終了する。また、終了操作が行われていないときにはステップＳＴ１１に戻り、ステップＳＴ１１からステップＳＴ１５までの処理を繰り返す。
【００６８】
このように処理することで、音像の位置に応じてスピーカ２３L，２３Rの回転や音響信号ＳＡL，ＳＡRの調整が順次行われて、臨場感の高い奥行き感のある音響提示を行える。
【００６９】
なお、上述の実施の形態では、スピーカの向きを変えて音響の出力方向を可変するものとしたが、音響出力方向が異なるように複数のスピーカを配置して音響出力手段を構成して、音響を出力するスピーカを切り替えることで音響の出力方向を可変するものとしても良い。例えば図１９Ａに示すように、球面上に複数のスピーカ２７を設けるものとして、出力方向制御部３３では、音響信号ＳＯL，ＳＯRを供給するスピーカ２７を切り替えることで音響の出力方向を全方向に渡って可変する。また、図１９Ｂに示すように、円柱の側面に、周方向に複数のスピーカ２７を設けるものとして、出力方向制御部３３では、音響信号ＳＯL，ＳＯRを供給するスピーカを切り替えることで音響の出力方向を全周に渡って可変する。このように、スピーカを切り替えることで音響の出力方向を可変すれば、スピーカを回転させる駆動機構やスピーカの回転機構が不要となり、可動部分のない構造が簡単な音響出力手段を構成できる。また、可動部分がないことから、音像の位置を速やかに移動させる場合でも容易に対応できる。
【００７０】
また、音響出力手段は、スピーカを用いたものに限られるものではなく、音響を出力する発音体であれば良いことは勿論である。さらに、音響の出力方向が固定されているスピーカも合わせて用いるものとしても良い。例えば、固定されているスピーカから環境音や効果音等を出力すると共に、音響の出力方向が制御されるスピーカからは、移動する音源からの音響を出力すれば、さらに多彩な音響提示を行うことができる。
【００７１】
【発明の効果】
この発明によれば、聴取者のほぼ真横の左右に、回転、回転半径方向に移動、又は前後方向に移動が可能として音響出力手段が設けられて、音像を定位させる位置に応じて、音響出力手段が回転、回転半径方向に移動、又は前後方向に移動されるので、臨場感や移動感及び奥行き感のある音響提示を行うことができる。
【００７２】
また、音響の出力方向や音圧及び位相のうち少なくとも一つを制御するものとしたり、音響出力手段が壁面で仕切られた空間に設置された場合、壁面からの反射音を利用して音像が定位されて、臨場感や移動感及び奥行き感のある音響提示を行うことができる。
【００７４】
さらに、所望の周波数帯域の音響レベルが他の周波数帯域よりも高くされるので、所望の周波数帯域の音響に基づく音像を強調することができる。また、音響の音圧や位相の制御は、音響信号の信号レベルや位相を制御することにより行われるので、音響の音圧や位相を簡単に制御できる。
【図面の簡単な説明】
【図１】音響の聴取を示す図である。
【図２】直接音と反射音の関係を示す図である。
【図３】音響提示システムの構成を示す図である。
【図４】スピーカの構成を示す図である。
【図５】聴取者と座標軸の関係を示す図である。
【図６】スピーカを回転させたときの直接音と反射音を示す図である。
【図７】音響提示制御装置の構成を示す図である。
【図８】位置検出部の構成を示す図である。
【図９】画像信号処理装置の構成を示す図である。
【図１０】音響信号処理部の動作を説明するための図である。
【図１１】音像の位置とスピーカの向きの関係を示す図である。
【図１２】音像の左右方向の表現動作を説明するための図である。
【図１３】回転角度と時間差の関係を説明するための図である。
【図１４】インパルス応答を示す図である。
【図１５】スピーカの他の構成を示す図である。
【図１６】コンピュータを用いた場合の構成を示す図である。
【図１７】音響取得処理を示すフローチャートである。
【図１８】音響提示処理を示すフローチャートである。
【図１９】音響出力手段の他の構成を示す図である。
【符号の説明】
１１・・・空間、１２・・・視聴者、１３・・・音源、１５・・・画像表示領域、２３L，２３R，２７・・・スピーカ、２４L，２４R・・・回転駆動部、２５L，２５・・・支持体、２６・・・スライド機構、３０・・・音響提示制御装置、３１・・・ユーザインタフェース部、３２・・・音像位置決定部、３３・・・出力方向制御部、３４・・・音響信号処理部、３５・・・信号増幅部、４１・・・角度センサ、４２・・・測距センサ、４３・・・極座標算出部、５０・・・画像信号処理部、５１・・・シーンチェンジ検出部、５２・・・動き検出部、５３・・・画像位置移動部、７０４・・・ハード・ディスク・ドライブ、７０５・・・入出力インタフェース、７１１・・・入力部、７１２・・・記録媒体ドライブ、７１３・・・通信部、７１４・・・信号入力部、７１５・・・信号出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an acoustic presentation device and an acoustic presentation method. Specifically, the sound output means is rotated according to the position where the sound image based on the sound output from the sound output means is localized. as well as It is moved in the front-rear direction.
[0002]
[Prior art]
Conventionally, as a sound presentation method, not only the left and right channel speakers but also auxiliary speakers are fixedly arranged to enhance the depth and three-dimensional sound of the sound and provide a realistic sound presentation. ing. For example, in the 5.1 channel or 6.1 channel surround system used in movies, DVDs (Digital Versatile Disks), etc., an auxiliary speaker is provided in addition to the front to obtain a sense of depth more than stereo space, The sound presentation is enhanced by enhancing the sense of sound fusion.
[0003]
In addition, the impulse response of an arbitrary space is convolved with the sound collected in an anechoic room or the sound recorded on a compact disc, and the characteristics of the arbitrary room are reproduced. For example, the filter characteristics are set in advance so that the characteristics are the same as those of a reproduction space such as a concert hall, a live house, or a church, and the user selects a desired filter characteristic to reproduce the sound field of the desired reproduction space. Things are also done. Furthermore, virtual stereophonic sound that creates a three-dimensional sound field using left channel and right channel speakers is also realized.
[0004]
[Problems to be solved by the invention]
By the way, since such a sound presentation method uses a fixed speaker, the expression width of the sound is small. In addition, it is difficult to satisfactorily represent the depth in the front-rear direction in the vertical direction or in the middle position between the speakers.
[0005]
Therefore, in the present invention, it is possible to present sound with a sense of presence, a sense of movement, and a sense of depth. Acoustic presentation device and acoustic presentation method Is to provide.
[0006]
[Means for Solving the Problems]
The acoustic presentation device according to the present invention is provided on the left and right sides of the listener, as well as The sound output means that outputs sound that can be moved in the front-rear direction, and the sound output means is rotated according to the position where the sound image based on the sound output from the sound output means is localized. as well as It has an acoustic presentation control means for moving in the front-rear direction.
[0007]
The acoustic presentation method is Listening Rotate to the left and right almost right as well as Possible to move back and forth , Perform sound output based on the sound signal The sound output means is rotated according to the step of providing the sound output means and the position where the sound image based on the sound output from the sound output means is localized. as well as It has the process of moving to the front-back direction.
[0010]
In the present invention, sound output means for performing sound output is provided on the left and right sides of the listener, for example, in a space partitioned by wall surfaces. Depending on the position where the sound image based on the sound output from the sound output means is localized, the sound output means It is rotated, moved in the radial direction of rotation, or moved in the front-rear direction. Thus, the sound output direction is controlled, and the sound image is localized using the reflected sound from the wall surface.
[0011]
Further, at least one of the signal level and phase of the acoustic signal is adjusted according to the position where the sound image is localized, and the acoustic output means is driven based on the adjusted acoustic signal.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 illustrates acoustic listening. When the listener 12 listens to the sound output from the sound source 13 in the space 11 partitioned by the wall surface 10, the listener 12 indicates the direct sound indicated by the solid line (the sound that reaches the ear directly from the sound source 13) DS and the broken line. The reflected sound (sound reflected by the surrounding walls, ceiling, and floor) will be heard as an integrated sound RS.
[0013]
FIG. 2 shows a model of the relationship between direct sound and reflected sound. When the distance L between the listener 12 and the sound source 13 is short (L = L1), the control ratio of the direct sound DS is high as shown in FIG. 2A, and the time delay Td of the reflected sound RS with respect to the direct sound DS is small. Further, when the distance L between the listener 12 and the sound source 13 is increased (L = L2, L2> L1), the levels of the direct sound DS and the reflected sound RS are reduced as shown in FIG. Becomes higher. Further, the time delay Td of the reflected sound RS with respect to the direct sound DS becomes large. Further, when the distance L between the listener 12 and the sound source 13 is increased (L = L3, L3> L2), the levels of the direct sound DS and the reflected sound RS are further reduced as shown in FIG. The time delay Td of the reflected sound RS increases. The reflected sound RS and the time delay Td change depending on the configuration of the space 11.
[0014]
For this reason, in the present invention, by controlling at least one of the sound output direction, sound pressure, and phase according to the position where the sound image is localized, a sense of presence, a sense of movement, and a sense of depth in the front-rear direction and the up-down direction are obtained. Make an acoustic presentation. That is, if the sound output direction is varied, the direct sound DS and the reflected sound RS can be controlled by the reflection characteristics of the space where the sound is heard. Furthermore, it is possible to directly control the sound DS and the reflected sound RS by controlling the sound pressure and the phase, and it is possible to provide sound presentation with a sense of presence, a sense of movement, and a sense of depth.
[0015]
FIG. 3 shows the configuration of the sound presentation system. In this sound presentation system, a speaker 23L as sound output means is provided on the left side of the listener 12 around the listener 12, and a speaker 23R as sound output means is provided on the right side. In addition, the position shown with the broken line in FIG. 3 has shown the image display area 15 where the image relevant to the sound output, for example from the speakers 23L and 23R is displayed.
[0016]
The speaker 23L is configured to be able to vary the sound output direction by the sound presentation control device 30. For example, as shown in FIG. 4, the speaker 23L and the support 25L are rotatably attached via a rotation drive unit (for example, a stepping motor) 24L. Here, the sound output direction is varied by rotating the speaker 23L by driving the rotation drive unit 24L by the sound presentation control device 30. The speaker 23R is configured in the same manner, and the sound output direction can be varied. In addition, the sound presentation control device 30 supplies the sound signal SOL to the speaker 23L and also supplies the sound signal SOR to the speaker 23R, thereby outputting sound from the speakers 23L and 23R. As shown in FIG. 5, the following description will be made with the listener's 12 ear direction as the X axis, the front-rear direction as the Y axis, and the vertical direction as the Z axis.
[0017]
When the sound is output from the speakers 23L and 23R in the wall space, the listener 12 hears the direct sound DS of the sound output from the speakers 23L and 23R and the reflected sound RS from the wall surface 10. Here, assuming that the rotation axes of the speakers 23L and 23R are in the Z-axis direction, and the sound output direction from the speakers 23L and 23R is the direction of the listener 12, as shown in FIG. Becomes higher. When the speaker 23L and the speaker 23R are provided at symmetrical positions on the left and right sides with respect to the listener 12, and the sound output is equal, the sound image is the position of the listener 12.
[0018]
Further, as shown in FIG. 6B, the speaker 23L is rotated counterclockwise by the angle θ1 and the speaker 23R is rotated clockwise by the angle θ1, thereby sequentially moving the sound output direction forward. In this case, the control rate of the reflected sound RS is gradually increased, and the sound image can move forward and present a sound with a sense of depth. Further, as shown in FIG. 6C, when the speakers 23L and 23R are further rotated to the angle θ2, the time delay of the reflected sound RS increases, and the direct sound DS decreases to further increase the control ratio of the reflected sound RS. .
[0019]
FIG. 7 shows the configuration of the sound presentation control device. The user interface unit 31 supplies an operation signal PS generated in response to a user operation to the sound image position determination unit 32. The sound image position determination unit 32 determines the position of the sound image based on the operation signal PS or the position information signal PR supplied from the outside, and supplies the position signal MP to the output direction control unit 33 and the acoustic signal processing unit 34.
[0020]
The output direction control unit 33 generates drive signals MDL and MDR for rotating the speakers 23L and 23R so that the position of the sound image is the position indicated by the position signal MP, and sends the drive signal MDL to the speaker 23L side. The drive signal MDR is supplied to the rotation drive unit 24R provided on the speaker 23R side while being supplied to the provided rotation drive unit 24L.
[0021]
The acoustic signal processing unit 34 adjusts the phases and signal levels of the input acoustic signals SAL and SAR so that the position of the sound image is the position indicated by the position signal MP. The signals subjected to this adjustment are supplied to the signal amplifier 35 as adjusted acoustic signals SBL and SBR.
[0022]
The signal amplifying unit 35 amplifies the adjusted acoustic signal SBL supplied from the acoustic signal processing unit 34 and supplies the amplified acoustic signal SBL to the speaker 23L as the acoustic signal SOL. Further, the adjusted acoustic signal SBR is amplified and supplied to the speaker 23R as the acoustic signal SOR. Thus, the sound pressure and phase of the sound can be controlled by adjusting the phase and signal level of the input acoustic signals SAL and SAR.
[0023]
The rotation drive unit 24L is configured using a stepping motor or the like as described above, and the sound image position determination unit 32 calculates the rotation of the speaker 23L based on the drive signal MDL supplied from the sound presentation control device 30. The direction is controlled so that the speaker rotation angle is set. Similarly, the rotation drive unit 24R rotates the speaker 23R based on the drive signal MDR and controls the direction so that the speaker rotation angle calculated by the sound image position determination unit 32 is obtained.
[0024]
Next, the operation of the sound presentation control device will be described. When the user interface unit 31 is operated to specify the position of a sound image based on the sound output from the speakers 23L and 23R, the user interface unit 31 generates an operation signal PS corresponding to this operation and generates a sound image position determination unit. 32.
[0025]
In addition, for example, when the audio signal SAL, SAR is obtained by obtaining the sound in the shooting direction of the video camera by integrating the video camera and the microphone, the position detection unit is provided in the video camera. Generates a position information signal PR indicating the position of the sound source and supplies it to the sound image position determination unit 32.
[0026]
FIG. 8 shows the configuration of the position detection unit. The angle sensor 41 measures the angle using a sensor capable of measuring a rotation angle, a gyroscope, or the like, detects the imaging direction of the video camera, and supplies an angle signal Spa to the polar coordinate calculation unit 43. For example, an angle signal Spa indicating an angle in the horizontal direction with respect to the reference position (hereinafter referred to as “azimuth angle”) and an angle in the vertical direction with respect to the reference position (hereinafter referred to as “pitch angle”) is generated and supplied to the polar coordinate calculation unit 43. The distance measuring sensor 42 measures the distance using light, ultrasonic waves or the like or based on the focal position of the video camera. The distance measuring sensor 42 detects the distance LO to a desired subject and generates a distance signal Spb as a polar coordinate calculation unit 43. To supply. The polar coordinate calculation unit 43 calculates polar coordinates from the angle signal Spa and the distance signal Spb, and outputs the polar coordinates as the position information signal PR.
[0027]
Here, when shooting is performed while chasing a desired subject with a video camera, sound from the desired subject is picked up by a microphone and acoustic signals SAL and SAR are generated. Further, the desired subject is set as the sound image position, and information indicating the direction and distance of the sound source is output as the position information signal PR.
[0028]
Furthermore, when the movement of the image is detected based on the image signal and the display position of the image is moved according to the detected movement, the display position of the moving subject is moved in accordance with the movement of the subject. The display position may be used as the position of the sound source, and a signal indicating the display position may be used as the position information signal PR.
[0029]
FIG. 9 shows a configuration of an image signal processing apparatus that generates an image output signal obtained by moving the display position of an image based on the image motion detection result and a signal indicating the display position.
[0030]
The image signal SV is supplied to the scene change detection unit 51, the motion detection unit 52, and the image position movement unit 53 of the image signal processing unit 50.
[0031]
The scene change detection unit 51 detects a scene change based on the image signal SV, that is, detects a discontinuous position of an image that is a joint portion between a continuous scene and a scene different from the continuous scene, and generates a scene change detection signal CH. Generate.
[0032]
The motion detection unit 52 detects a motion vector for a frame indicated by the scene change detection signal CH generated by the scene change detection unit 51 as a continuous scene, and a motion vector having a wide display area, for example, a background portion. The motion vector is detected. Motion detection information MVD indicating the motion vector detected by the motion detection unit 52 is supplied to the image position movement unit 53.
[0033]
The image position moving unit 53 determines the display position based on the scene change detection signal CH and the motion detection information MVD. In the determination of the display position, the motion vector indicated by the motion detection information MVD during the continuous scene period is accumulated to generate a motion accumulated value MVT that is time transition information of the motion vector, and the motion accumulated value MVT is calculated. The range of movement of the display position is determined for each scene by obtaining the swing width. Next, this movement range is the movable range in the image display area (between the center of the display image when the image is displayed at the right end of the image display area and when the image is horizontally moved and displayed at the left end. The display position for the first display image of the continuous scene is determined so as to be the center of the distance. Further, when the display position of the image is moved based on the motion detection information MVD during the period from the display of the first display image of the continuous scene to the display of the last image of the continuous scene, the display image is displayed as an image. The motion detection information MVD is corrected so as to enter the display area, and the display position is determined on the assumption that the image is moved based on the corrected motion detection information MVD. A signal indicating the determined display position is supplied to the sound image position determination unit 32 as a position information signal PR. In addition, the image position moving unit 53 generates and outputs an image signal SVout in which an image based on the image signal SV is moved to the determined display position.
[0034]
The sound image position determination unit 32 in FIG. 7 generates a position signal MP indicating the position of the sound image set by the user interface unit 31 based on the operation signal PS. Further, based on the position information signal PR, a position signal MP having the sound source position and the image display position as the position of the sound image is generated. The generated position signal MP is supplied to the output direction control unit 33 and the acoustic signal processing unit 34.
[0035]
The output direction control unit 33 generates drive signals MDL and MDR based on the position signal MP and supplies them to the rotation drive units 24L and 24R, so that the position of the sound image becomes a position indicated by the position signal MP. 23L and 23R are rotated.
[0036]
The acoustic signal processing unit 34 adjusts the phase and signal level of the acoustic signal based on the position signal MP. FIG. 10 is a diagram for explaining the operation of the acoustic signal processing unit 34. When the rotation angle of the speaker 23L is “θL” and the rotation angle of the speaker 23R is “θR” based on the position signal MP, the acoustic signal processing unit 34 performs the acoustic signal SAL (t) for the left channel and the acoustic signal for the right channel. The processing shown in equations (1) and (2) is performed on SAR (t) to generate adjusted acoustic signals SBL (t) and SBR (t).
SBL (t) = α (θL) × SAL (t−TDL) (1)
SBR (t) = β (θR) × SBR (t−TDR) (2)
[0037]
In Expressions (1) and (2), “α (θL)” is an amplification coefficient based on the rotation angle θL, and “β (θR)” is an amplification coefficient based on the rotation angle θR. Furthermore, the phase correction values “TDL” and “TDR” represent time advance or time delay. The amplification coefficients “α (θL)”, “β (θR)”, and phase correction values “TDL” and “TDR” indicate the position of the sound image, the sound absorption coefficient and arrangement of the wall surface 10, the positional relationship between the wall surface 10 and the speakers 23L and 23R, and the like. Set based on. For example, when the sound image is located on the right side of the front center, the adjustment sound signal SBL of the left channel is delayed from the adjustment sound signal SBR of the right channel by the phase correction values “TDL” and “TDR”. If the sound absorption coefficient of the wall surface 10 is high, the amplification coefficients “α” and “β” are set to large values.
[0038]
The adjusted acoustic signals SBL and SBR generated by the acoustic signal processing unit 34 are amplified by the signal amplifying unit 35, supplied to the speaker 23L as the acoustic signal SOL, and supplied to the speaker 23R as the acoustic signal SOR.
[0039]
When the position of the sound image is determined by the sound image position determination unit 32, the control ratio of the direct sound can be adjusted by the drive signals MDL and MDR. Here, as shown in FIG. 11, when speakers 23L and 23R are provided on the left and right sides of the listener 12, when a sound image is to be placed near the listener 12, the speakers 23L and 23R are connected to the listener 12 side. Orient. For example, when the position of the sound image is set to a position Ib near the front of the listener 12, the influence of the reflected sound is reduced by adjusting the rotation angle near the direction B in FIG. Similarly, when the position of the sound image is set to a position Ic close to the rear of the listener 12, the influence of the reflected sound is reduced by adjusting the rotation angle in the vicinity of the direction C in FIG. On the other hand, when the sound image is to be placed at a position away from the listener, the speaker is turned outward. For example, when the position of the sound image is set to a position Ia separated in front of the listener 12, the effect of the reflected sound from the wall surface 10 is increased by adjusting the rotation angle in the vicinity of the direction A in FIG. Similarly, when the position of the sound image is set to a position Id far behind the listener 12, the influence of the reflected sound is increased by adjusting the rotation angle in the vicinity of the direction D in FIG.
[0040]
Thus, by rotating the speakers 23L and 23R according to the position of the sound image and controlling the sound output direction, for example, when the speakers 23L and 23R are rotated from the A direction to the D direction, the position of the sound image is changed from the front. It will move backwards. In particular, by providing the speakers 23L and 23R on the left and right sides of the listener 12, the movement of the position of the sound image becomes clear, and sound presentation with high presence can be performed. Further, since the sound output direction can be continuously changed by rotating the speakers 23L and 23R, the position of the sound image can be moved continuously and smoothly.
[0041]
In addition, since the sound signal pressure and phase of the sound can be controlled easily and accurately by controlling the signal level and phase of the sound signal by the sound signal processing unit 34, the sound image can be localized at a more correct position and more realistic. High sound presentation can be performed.
[0042]
Here, in the representation of the sound image in the front-rear direction, the adjusted acoustic signals SBL and SBR are generated so that the left-right volume difference is eliminated and the left-right phase difference is eliminated. In the representation of the sound image in the left-right direction, the position of the sound image in the left-right direction is represented by the volume difference and phase difference between the sound heard with the left ear and the sound heard with the right ear. For example, when the sound level on the right side SUR shown by the solid line in FIG. 12 is reduced as shown by the broken line on the left side sound SUL and the time delay Te is generated, the position of the sound source and the sound image is on the right side of the center. Felt in position. For this reason, sound adjustment with higher presence can be performed by adjusting the amplification coefficients α and β and the phase correction values TDL and TDR in accordance with the position of the sound image.
[0043]
In calculating the phase correction values TDL and TDR, the relationship between the rotation angle of the speakers 23L and 23R and the time difference is calculated in advance, and the phase correction values TDL and TDR are added to the time difference according to the rotation angle of the speakers 23L and 23R. The phase correction values TDL and TDR are adjusted so that a sound image is formed at a desired position.
[0044]
The relationship between the rotation angle of the speakers 23L and 23R and the time difference can be obtained based on FIG. For example, the angle of the speaker 23L is set, and the impulse response at the listening position QL based on the impulse sound output from the speaker 23L is measured. FIG. 14A shows an impulse response based on the impulse sound output from the speaker 23L. Similarly, an impulse response based on the impulse sound output from the speaker 23R is measured. FIG. 14B shows an impulse response based on the impulse sound output from the speaker 23R.
[0045]
Here, the time TLO, TRO from the output of the impulse sound until the first indirect sound reaches the listening position is obtained. The impulse response may be measured directly or may be obtained in advance by simulation.
[0046]
When the times TLO and TRO are obtained in this way, the time difference ΔTf can be calculated based on the equation (3). That is, the time difference ΔTf can be obtained using the times TLO and TRO based on the rotation angles of the speakers 23L and 23R. The time difference ΔTf is a delay amount that gives the listener a sense of right and left.
ΔTf = TLO-TRO (3)
[0047]
For this reason, when the time difference ΔTg required for forming a sound image at a desired position cannot be obtained by the time difference ΔTf, the phase correction value TD is set so as to satisfy Expression (4).
ΔTg = ΔTf + TD (4)
[0048]
For example, when the phase correction value TDR is set, the impulse response shown in FIG. 14B is as shown in FIG. 14C, and the position of the sound image that cannot be expressed only by the rotation of the speaker can be displayed by using the phase correction value. .
[0049]
The acoustic signal processing unit 34 described above performs frequency band separation of the acoustic signals SAL and SAR, and performs adjustment so that the signal level of a desired frequency band is higher than other frequency bands. In this case, a sound image based on sound in a desired frequency band can be expressed with higher emphasis. Further, the frequency bands of the acoustic signals SAL and SAR may be separated, and signal processing corresponding to the frequency band may be performed. For example, the low sound range has lower sound directivity than the high sound range and the mid sound range, and it is difficult to recognize from which direction the sound is heard. For this reason, by performing signal processing so as to emphasize the middle sound range and the high sound range, it is easy to recognize the sound image, and it is possible to perform acoustic presentation with high presence.
[0050]
By the way, in the above-described speakers 23L and 23R, the sound output direction is controlled by rotating clockwise or counterclockwise about the Z axis. However, the positions of the speakers 23L and 23R are set in the Y-axis direction ( It is good also as what changes the output direction of an acoustic by moving to the front-back direction.
[0051]
FIG. 15 shows a configuration when the positions of the speakers 23L and 23R are moved in the Y-axis direction. For example, in FIG. 15A, the rotation radius r when rotating the speakers 23L and 23R is increased to change the sound output direction, and the positions of the speakers 23L and 23R are moved in the front-rear direction. Alternatively, as shown in FIG. 15B, it is assumed that a slide mechanism 26 for moving the rotation drive unit in the front-rear direction is provided, and the rotation of the speakers 23L and 23R and the movement in the front-rear direction are performed independently. Here, for example, the depth feeling with respect to the front direction can be enhanced by moving the speaker in the front direction. Moreover, the depth feeling with respect to the backward direction can be enhanced by moving the speaker in the backward direction.
[0052]
As described above, the sound presentation control device 30 can control at least one of the sound output direction, the sound pressure, and the phase in accordance with the position where the sound image is localized, so that sound presentation with high presence can be performed. .
[0053]
Furthermore, the above-described processing may be realized not only by hardware but also by software. The configuration in this case is shown in FIG. The computer includes a CPU (Central Processing Unit) 701 as shown in FIG. 16, and a ROM 702, a RAM 703, a hard disk drive 704, and an input / output interface 705 are connected to the CPU 701 via a bus 720. Yes. Furthermore, an input unit 711, a recording medium drive 712, a communication unit 713, a signal input unit 714, and a signal output unit 715 are connected to the input / output interface 705.
[0054]
When a command is input from an external device, or when a command is input from an input unit 711 configured using an operation unit such as a keyboard or a mouse or a voice input unit such as a microphone, the command is input to the input / output interface 705. Via the CPU 701.
[0055]
The CPU 701 executes a program stored in the ROM 702, the RAM 703, or the hard disk drive 704, and performs processing according to the supplied command. Further, the ROM 702, the RAM 703, or the hard disk drive 704 stores in advance a sound presentation processing program for causing the computer to execute the signal processing in the sound presentation system described above, and the signal input to the signal input unit 714 is stored in the signal. Based on this, an acoustic output signal is generated and output from the signal output unit 715. In addition, the sound presentation processing program is recorded on a recording medium, and the recording medium drive 712 records the sound presentation processing program on the recording medium or reproduces the sound presentation processing program recorded on the recording medium. It may be executed by Furthermore, the sound presentation processing program may be transmitted or received by the communication unit 713 via a wired or wireless transmission path, and the received sound presentation processing program may be executed by a computer.
[0056]
Next, the sound presentation processing program will be described. Here, the case where the information signal WS generated based on the acoustic signals SAL and SAR and the position information signal PR is supplied to the signal input unit 714 will be described.
[0057]
FIG. 17 is a flowchart showing the sound acquisition process. This sound acquisition process may be performed on either the video camera side or the computer side, for example.
[0058]
In step ST1, a position information signal is generated. That is, polar coordinate calculation is performed based on the angle signal Spa from the angle sensor and the distance signal Spb from the distance measuring sensor to generate the position information signal PR. Further, the position information signal PR and the acoustic signals SAL and SAR are multiplexed, for example, to generate the information signal WS.
[0059]
In step ST2, it is determined whether or not the generated information signal WS is set to be recorded on a recording medium or transmitted to an external device. If it is set to record or transmit an information signal, the process proceeds to step ST3. If it is set not to record or transmit an information signal, the process proceeds to step ST4.
[0060]
In step ST3, the information signal is recorded and transmitted, and then the process proceeds to step ST4. Here, in the case of recording an information signal, the information signal is recorded on a recording medium that performs recording and reproduction using magnetism, light, or the like, or a recording medium configured using a semiconductor or the like. When transmitting an information signal, the information signal is output via a wired or wireless communication path.
[0061]
In step ST4, it is determined whether or not to end the sound acquisition. Here, when the sound acquisition end operation is performed, the sound acquisition process is ended. If the end operation has not been performed, the process returns to step ST1, and the generation of the information signal is continued.
[0062]
FIG. 18 is a flowchart showing the sound presentation process. In step ST11, the supplied information signal WS is separated. For example, when the information signal WS recorded on the recording medium is reproduced by the recording medium drive 712, or when the information signal WS is supplied via the communication unit 713, or the information signal WS is received from a video camera or the like. When supplied to the input unit 714, the acoustic signals SAL and SAR and the position information signal PR are separated from the information signal WS and the process proceeds to step ST12.
[0063]
In step ST12, the sound output direction is determined, and the rotation angles of the speakers 23L and 23R corresponding to the position of the sound image indicated by the position information signal PR are determined. In this determination of the rotation angle, the rotation angle with respect to the position of the sound image is obtained in advance in consideration of the installation state of the wall surface 10 and stored in the hard disk device or memory, and the position of the sound image indicated by the position information signal PR is determined. The rotation angle can be easily determined by reading the corresponding rotation angle.
[0064]
In step ST13, adjustment information is generated, and coefficients and phase correction values for adjusting the acoustic signals SAL and SAR are determined based on the position of the sound image, the rotation angle of the speaker, and the like.
[0065]
In step ST14, drive signals MDL and MDR for rotating the speakers 23L and 23R to generate the rotation angles determined in step ST12 are generated and output from the signal output unit 715.
[0066]
In step ST15, the acoustic signals SAL and SAR are adjusted using the adjustment information generated in step ST13, and adjusted acoustic signals SBL and SBR or acoustic signals SOL and SOR are generated and output from the signal output unit 715.
[0067]
In step ST16, it is determined whether or not the reproduction of the acoustic signal is to be ended. Here, when a termination operation is performed using the input unit 711, the sound presentation process is terminated. When the end operation is not performed, the process returns to step ST11, and the processes from step ST11 to step ST15 are repeated.
[0068]
By processing in this way, the rotation of the speakers 23L and 23R and the adjustment of the acoustic signals SAL and SAR are sequentially performed in accordance with the position of the sound image, so that sound presentation with a high sense of presence and a sense of depth can be performed.
[0069]
In the above embodiment, the direction of the speaker is changed to change the sound output direction. However, the sound output means is configured by arranging a plurality of speakers so that the sound output direction is different. It is good also as what changes the output direction of an acoustic by switching the speaker which outputs. For example, as shown in FIG. 19A, assuming that a plurality of speakers 27 are provided on the spherical surface, the output direction control unit 33 switches the speakers 27 that supply the sound signals SOL and SOR so that the sound output direction is omnidirectional. Variable. As shown in FIG. 19B, the output direction control unit 33 assumes that a plurality of speakers 27 are provided on the side surface of the cylinder in the circumferential direction, and the sound output direction is switched by switching the speakers that supply the sound signals SOL and SOR. Is variable over the entire circumference. Thus, if the sound output direction is changed by switching the speakers, a drive mechanism for rotating the speakers and a rotation mechanism for the speakers are not required, and a sound output means having a simple structure without moving parts can be configured. Moreover, since there is no movable part, even when the position of the sound image is moved quickly, it can be easily handled.
[0070]
Further, the sound output means is not limited to that using a speaker, and it is needless to say that it is a sounding body that outputs sound. Further, a speaker with a fixed sound output direction may also be used. For example, environmental sounds and sound effects can be output from a fixed speaker, and sound from a moving sound source can be output from a speaker whose sound output direction is controlled, so that various types of sound can be presented. Can do.
[0071]
【The invention's effect】
According to this invention, Sound output means is provided on the left and right sides of the listener almost right and left, allowing rotation, moving in the radial direction of rotation, or moving in the front-rear direction. Depending on the position where the sound image is localized, The sound output means is rotated, moved in the radial direction of rotation, or moved in the front-rear direction. Therefore, it is possible to present sound with a sense of presence, a sense of movement, and a sense of depth.
[0072]
In addition, it shall control at least one of the sound output direction, sound pressure and phase, or the sound output means in a space partitioned by walls. When installed The sound image is localized using the reflected sound from the wall surface, and sound presentation with a sense of presence, a sense of movement, and a sense of depth can be performed.
[0074]
Furthermore, since the sound level of the desired frequency band is made higher than the other frequency bands, the sound image based on the sound of the desired frequency band can be emphasized. Moreover, since the sound pressure and phase of the sound are controlled by controlling the signal level and phase of the sound signal, the sound pressure and phase of the sound can be easily controlled.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating listening to sound.
FIG. 2 is a diagram showing the relationship between direct sound and reflected sound.
FIG. 3 is a diagram illustrating a configuration of an audio presentation system.
FIG. 4 is a diagram illustrating a configuration of a speaker.
FIG. 5 is a diagram showing a relationship between a listener and coordinate axes.
FIG. 6 is a diagram illustrating a direct sound and a reflected sound when a speaker is rotated.
FIG. 7 is a diagram illustrating a configuration of an audio presentation control apparatus.
FIG. 8 is a diagram illustrating a configuration of a position detection unit.
FIG. 9 is a diagram illustrating a configuration of an image signal processing apparatus.
FIG. 10 is a diagram for explaining the operation of an acoustic signal processing unit.
FIG. 11 is a diagram illustrating the relationship between the position of a sound image and the direction of a speaker.
FIG. 12 is a diagram for explaining the operation of expressing a sound image in the left-right direction.
FIG. 13 is a diagram for explaining a relationship between a rotation angle and a time difference.
FIG. 14 is a diagram showing an impulse response.
FIG. 15 is a diagram illustrating another configuration of a speaker.
FIG. 16 is a diagram illustrating a configuration when a computer is used.
FIG. 17 is a flowchart showing sound acquisition processing.
FIG. 18 is a flowchart showing sound presentation processing.
FIG. 19 is a diagram showing another configuration of sound output means.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Space, 12 ... Viewer, 13 ... Sound source, 15 ... Image display area, 23L, 23R, 27 ... Speaker, 24L, 24R ... Rotation drive part, 25L, 25・・・ Supporting body, 26 ・・・ Slide mechanism, 30 ・・・ Sound presentation control device, 31 ・・・ User interface unit, 32 ・・・ Sound image position determination unit, 33 ・・・ Output direction control unit, 34 ・.. Acoustic signal processing unit, 35... Signal amplification unit, 41... Angle sensor, 42. -Scene change detection unit, 52 ... Motion detection unit, 53 ... Image position moving unit, 704 ... Hard disk drive, 705 ... Input / output interface, 711 ... Input unit, 712 ..Recording medium drive, 713 ... communication unit, 14 ... signal input section, 715 ... signal output section

Claims

A sound output means that is provided on the left and right sides of the listener and that outputs sound that can be rotated and moved in the front-rear direction;
Depending on the location to localize a sound image based on sound output from the sound output means, that having a acoustic presentation control means for moving said sound output means in the rotational and longitudinal direction
Acoustic presentation device.

Said sound presentation control means that controls at least one of the acoustic sound pressure and phase
Acoustic presentation device of 請 Motomeko 1, wherein the.

The sound presentation control means makes the sound level of a desired frequency band higher than other frequency bands.
The sound presentation apparatus according to claim 2 .

A step of providing sound output means for performing sound output on the basis of the sound signal, enabling rotation and movement in the front-rear direction on the right and left sides almost right next to the listener;
A step of rotating and moving the sound output means in the front-rear direction according to a position where a sound image based on sound output from the sound output means is localized.
Sound presentation method.