JP4629388B2 - 音響生成方法、音響生成装置、音響再生方法及び音響再生装置 - Google Patents

Description

本発明は、映像信号に関連した左右方向及び上下方向の音響信号を生成、再生することができる音響生成方法、音響生成装置、音響再生方法及び音響再生装置に関する。

近年、家庭用ＴＶ（テレビジョン）のディスプレイ装置が薄型化、平面化するにつれて画面も大型化しており、これにより水平方向だけでなく、垂直方向（高さ方向）にも大きさが増してきている。

従来の一般的なＴＶでは、画面が大型化しても、音声や音響は、画面の左右に備えられたスピーカ等の再生装置から発せられるために、ステレオ２チャンネル再生であることが多かった。

また、近年では、ＤＶＤ（Digital Versatile Disk）ソフトなどで３６０°の再生を可能にするマルチチャンネルのサラウンド再生が知られているが、これについても画面水平方向に位置する音像を複数のスピーカで再現する場合がほとんどであり、垂直方向に画面と合わせて音響音場を再現するような機器はなかった。

特開２０００−２９９８４２号公報 特開平６−３２７０９０号公報

ところで、本出願人は先に、音場空間の全周囲方向から入力する音声を、映像とともにマルチチャンネル記録／再生するビデオカメラを提案している（上記特許文献１）。この技術により、サラウンド再生に対応する画像音声記録／再生が可能となるが、画面の垂直方向には音場を記録再生することができないという問題がある。

上述のように、家庭内におけるＴＶ等のディスプレイ画面は益々大型化してきており、従来のようなステレオ音場や、全周囲方向のサラウンド音場のような水平方向の音場生成では、ディスプレイ画面上の画像に合わせた臨場感が得られないという問題がある。

本発明は上述の問題に鑑みてなされ、ディスプレイ画面の大型化に合わせて、より臨場感のある音響音場を画面の左右方向及び上下方向に合わせて生成することができる音響生成方法及び音響生成装置を提供することを課題とする。

また、本発明は、ディスプレイ画面の大型化に合わせて、より臨場感のある音響音場を画面の左右方向及び上下方向に合わせて再現することができる音響再生方法及び音響再生装置を提供することを課題とする。

以上の課題を解決するに当たり、本発明の音響生成方法は、映像信号に関連した音響信号を生成する音響生成方法であって、映像の水平方向及び垂直方向に合わせた音響信号をそれぞれ独立して生成し、当該生成した水平方向及び垂直方向の各音響信号を、水平方向音響出力手段および垂直方向音響出力手段で各々独立して再生させることを特徴とする。

また、本発明の音響生成装置は、映像信号に関連した音響信号を生成する音響生成装置であって、映像の水平方向に合わせた音響信号を生成する水平方向音響生成手段と、映像の垂直方向に合わせた音響信号を生成する垂直方向音響生成手段と、これら水平方向及び垂直方向音響生成手段の各指向特性を可変とする指向性生成手段とを備えたことを特徴とする。

一方、本発明の音響再生方法は、映像信号に関連した音響信号を再生する音響再生方法であって、映像の水平方向及び垂直方向に合わせて生成した水平方向音響信号及び垂直方向音響信号を、映像を表示する表示画面の周囲付近をとりまくように配置した水平方向音響出力手段及び垂直方向音響出力手段で各々独立して再生することを特徴とする。

また、本発明の音響再生装置は、映像信号に関連した音響信号を再生する音響再生装置であって、映像を表示する表示画面と、この表示画面の周囲付近をとりまくように配置された水平方向音響出力手段及び垂直方向音響出力手段とを備え、映像の水平方向及び垂直方向に合わせて生成した水平方向音響信号及び垂直方向音響信号を、上記水平方向音響出力手段及び垂直方向音響出力手段で各々独立して再生することを特徴とする。

本発明によれば、映像の表示画面の大画面化に伴い、従来の左右（水平）方向の音場生成に対して、更に上下（垂直）方向の音場を加えることにより、被写体の上下方向の動きが明確になるとともに、上下左右方向からの音響を空間上でベクトル合成して被写体と音源方向を一致させることができ、よりリアルな立体音場を再現し臨場感溢れる映像を視聴者に提供することが可能となる。また、本発明は、ビデオカメラに応用できるだけでなく、ゲームなどでコンピュータグラフィックにより合成された映像の動きに合わせた音響を生成することで、同様の効果を得ることができる。

以下、本発明の実施の形態について図面を参照して説明する。

図１Ａ，Ｂは本発明の実施の形態による音響再生装置１００の概略構成を示している。図１Ａにおいて、ディスプレイ１の表示画面の周囲をとりまくように音響出力手段であるスピーカ２，３，４及び５が配置されている。スピーカ２〜５は、ディスプレイ１の左縁略中央部、右縁略中央部、上縁略中央部及び下縁略中央部にそれぞれ配置されている。

ディスプレイ１は、液晶ディスプレイ、プラズマディスプレイ、有機エレクトロルミネッセンスディスプレイ等、大画面薄型平面ディスプレイ等が適用されるが、勿論、ＣＲＴ（Cathode-Ray Tube）や、小型画面ディスプレイにも適用可能である。

スピーカ２はＬ（LEFT）チャンネルの音場を再生し、スピーカ３はＲ（RIGHT）チャンネルの音場を再生する。これらスピーカ２及びスピーカ３により左右方向（水平方向）の音場を再生するようにしている。また、スピーカ４はＵ（UP）チャンネルの音場を再生し、スピーカ５はＤ（DOWN）チャンネルの音場を再生する。これらスピーカ４及びスピーカ５により上下方向（垂直方向）の音場を再生するようにしている。
なお、これらスピーカ２〜５により、本発明の「水平方向音響出力手段」及び「垂直方向音響出力手段」が構成される。

各スピーカ２〜５から再生される音場は、後述する音響生成装置によって生成される。この音響生成装置では、映像音響に合わせて左右方向及び上下方向のそれぞれの音場を複数のマイクロホン（以下「マイク」ともいう。）を用いて生成し、生成した音場をスピーカ２〜５から各々独立して再生する。
例えば、Ｌチャンネル用、Ｒチャンネル用、Ｕチャンネル用及びＤチャンネル用のマイクロホンで各チャンネル用の音場をそれぞれ独立して収音し、これを対応する各チャンネルのスピーカで再生するようにしている。

このように、本実施の形態の音響再生装置１００では、スピーカ２〜５により、ディスプレイ１に表示される映像に合わせて上下、左右方向の音場を再生することで、視聴者に対して臨場感のあるサラウンド効果を提供し、よりリアル感を持たせた立体音場の再現を可能としている。

なお、スピーカの配置例は図１Ａの例に限らず、例えば図１Ｂに示すように、ディスプレイ１の四隅位置にスピーカ６〜９を配置することも可能である。この場合、スピーカ６はＬ及びＵチャンネル用、スピーカ７はＲ及びＵチャンネル用、スピーカ８はＬ及びＤチャンネル用、そして、スピーカ９はＲ及びＤチャンネル用とし、各スピーカ６〜９それぞれで上下方向及び左右方向の音場再生を行わせる。

次に、本実施の形態における音響生成装置１０１について説明する。図２は音響生成装置１０１の構成を示すブロック図であり、例えば、家庭用ビデオカメラ等の画像／音声記録装置に適用される。

まず、本発明の「撮像手段」に対応するＣＣＤ（Charge Coupled Device）等の撮像素子１１からの映像信号は、カメラ系信号処理部１２により所定の画像変換処理がなされて、記録系画像／音声エンコード処理部１３に入力される。また、マイクロホン１７とマイクロホン１８からの音声信号は、マイクロホン指向性生成処理部１９により各指向性音声信号に変換され、記録系画像／音声エンコード処理部１３に入力されて、映像信号とともに所定の記録ストリーム信号にエンコード処理される。そして、記録ストリーム信号は、図において簡略的に示すスイッチ１４を記録時側に切り替えて、ビデオディスク、ビデオテープ等の記録再生手段１５に記録される。

なお、ズームレンズ１０及びズーム位置信号の詳細については、後述する。

更に、再生時は、スイッチ１４を再生時側に切り替えて記録再生手段１５から再生された再生ストリーム信号を、再生系画像／音声デコード処理部２１に入力し、デコードされた画像信号はディスプレイ１に出力され、音声信号は複数のアンプ２２を介して図１に示した配置のスピーカ２〜５（又は６〜９）に出力される。

続いて、マイクロホン１７，１８及びマイクロホン指向性生成処理部１９の詳細について説明する。

一方のマイクロホン１７は、本発明の「水平方向音響生成手段」に対応し、撮像素子１１の水平方向に一致した方向に指向性を生成するマイクであり、他方のマイクロホン１８は、本発明の「垂直方向音響生成手段」に対応し、撮像素子１１の垂直方向に一致した方向に指向性を生成するマイクである。
本実施の形態では、水平方向及び垂直方向の各指向性信号を生成するために、アレイマイクロホン方式を一例として説明するが、これ以外にも、カージオイド特性や超指向性を有するマイク等を使用してもよい。

これらマイクロホン１７及びマイクロホン１８は、例えば、ビデオカメラの表示パネル裏面側の筐体パネルに面して十字形状あるいはＴ字形状等に取り付けることができる。
なお、各マイクロホン１７，１８をＸ字形状に取り付けて、各マイクロホンにそれぞれ水平、垂直方向の指向性を持たせるようにしてもよい。この場合には、図１Ｂに示した配置のスピーカ６〜９に対応した各指向性信号を生成する。

図３Ａ，Ｂは、画角とマイク指向性の関係を示している。一般的なビデオカメラにおいては、撮像光学系にズームレンズが採用されており、このズーム変化により容易に画サイズが変化し、例えば、広角側と望遠側では画角差φが発生する。

そこで、本実施の形態では、図２に示したように、ズームレンズ１０からズーム位置信号をマイクロホン指向性生成処理部１９に入力して、そのときのズーム位置におけるレンズ画角に合わせたマイクロホン１７（１８）の指向性を、広角側と望遠側とで異なるように変化させるようにしている。このマイクロホン指向性生成処理部１９は、本発明の「指向性生成手段」に対応している。

図４は、図１Ａに示したスピーカ２〜５の位置に相当する指向方向Ａ，Ｂ，Ｃ，Ｄに向けてマイクロホン１７，１８の指向性を生成した例を示している。そして、ズーミングにより撮像画サイズが変化しても、常にその光学画角情報から、撮像画サイズに対して各指向方向が一定となるように、マイクロホン１７，１８の指向特性を可変としている（図３Ｂ）。

なお、上述のように、必ずしもズーミング時の画角に合わせてマイクロホン１７，１８の指向性を可変とする必要はなく、例えば、常に広角側にマイクロホン１７，１８の指向性を固定しておいてもかまわない。この場合には、ズーミングに関係なく、常に上下左右で最大の臨場感を得ることができる。

図５及び図６は、マイクロホン１７，１８を構成するアレイマイクロホンの原理図である。ここでは、４本のマイク３１，３２，３３及び３４を用いる例について説明する。

各マイク３１〜３４は、間隙ｄで直線的に並べられている。そして、マイク３１，３２及び３３の出力はそれぞれ遅延器３５，３６及び３７を介して加算器３８に入力される。加算器３８は、遅延器３５〜３７の出力とマイク３４からの出力をすべて加算して出力する。遅延器３５では遅延３Ｔが施され、遅延器３６では遅延２Ｔが施され、遅延器３７では遅延Ｔが施されている。

ここで、間隙ｄに対して十分に遠く、それぞれのマイク３１〜３４からほぼ等距離にある音源ＳＡから振幅Ａの正弦波が入力された場合を考えると、それぞれのマイク出力はすべてＡsinωｔとなり、さらに遅延器３５〜３７でそれぞれの遅延が施されて加算器３８にて加算される。したがって、加算器３８では、それぞれの入力が遅延差Ｔをもって加算されることになる。

ところで、遅延差Ｔをもつ２つの正弦波が加算された場合の合成波を（１）式に示す。但し、簡単のため振幅Ａ＝１とする。
sinωｔ ＋ sinω（ｔ−Ｔ）＝２cos（πｆＴ）・sin（ωｔ−πｆＴ）……（１）

（１）式において、振幅項２cos（πｆＴ）の絶対値を縦軸にし、横軸の周波数ｆを遅延差Ｔで正規化した周波数特性例を図７の実線に示す。
図７に示したように、周波数が１／（２Ｔ）でゲイン最小値のゼロとなり、周波数がゼロと１／Ｔでゲイン最大値の２となり、以降これを繰り返す。
例えば、Ｔ＝５０［μＳ（マイクロ秒）］とすれば、これは音速での距離差で約１７ｍｍに相当し、周波数をゼロから上げていくと振幅が減少し、１０ｋＨｚで振幅がゼロとなり、２０ｋＨｚでは再び最大値となる。つまり、音声帯域のほとんどにおいて振幅Ａの信号を加算しても、振幅はＡの２倍にはならずに減少することになる。
なお、（１）式では２信号を加算したが、加算する信号数が多いほどその減少率はさらに大きくなる。

一方、図６に示した例は、音源ＳＢから所定角度をもって振幅Ａの正弦波が入力された場合を示している。この場合、マイク３１からはＡsinωｔが出力され、遅延器３５により遅延３Ｔが施される。また、マイク３２にはマイク３１より遅延Ｔ分だけ遅れて音波が到達するため、Ａsinω（ｔ−Ｔ）が出力され、遅延器３６により遅延２Ｔが施される。
同様に、マイク３３にはマイク３１より遅延２Ｔ分だけ遅れて音波が到達するため、Ａsinω（ｔ−２Ｔ）が出力され、遅延器３６により遅延Ｔが施される。また、マイク３４にはマイク３１より遅延３Ｔ分だけ遅れて音波が到達するため、Ａsinω（ｔ−３Ｔ）が出力される。
したがって、加算器３８の入力は、すべてがＡsinω（ｔ−３Ｔ）と同相信号になる。

ところで、２つの正弦波が同相で加算された場合の振幅は、図７の破線で示すように、全周波数帯域で２倍になる。したがって、図６の例では、加算器３８においてすべて同相で加算されるために、振幅はＡの４倍になる。

このように、図５及び図６で示したアレイマイクロホンでは、音源ＳＢ方向からの音波に指向選択性を持たせることができ、遅延Ｔを可変とすることにより任意の指向角に指向特性を持たせることができる。なお、説明したアレイマイクロホンにおけるマイク本数、マイク配置方法は一例であり、この原理を逸脱しない範囲で変更可能である。

さて、上述したように、アレイマイクロホン１７，１８においては、図４に示した指向方向Ａ，Ｂ，Ｃ，Ｄに指向性を生成し、更にズーミングによる画角に対応する指向方向に指向性を変化させるためには、マイクロホン指向性生成処理部１９において、図５及び図６における遅延器に最適な遅延を設定する必要がある。以下、その具体例について説明する。

図８はマイク指向性生成例を示している。マイク３１〜３４は、図２に示した水平方向及び垂直方向の各マイクロホン１７，１８を構成するアレイマイクロホンに相当し、指向性生成処理回路４０は、マイクロホン指向性生成処理部１９に相当する。

指向性生成処理回路４０は、可変遅延器４１，４２，４３及び４４と、指向角／遅延変換演算部４５と、加算器４６とを備えている。マイク３１〜３４はそれぞれ間隔ｄをおいて直線的に配置されている。マイク３１〜３４の出力は、それぞれ可変遅延器４１〜４４へ供給される。各可変遅延器４１〜４４において、マイク３１〜３４の出力信号に後述するような遅延処理が施された後、加算器４６において全て加算され出力される。

可変遅延器４１〜４４は、指向角／遅延変換演算部４５により各々独立に遅延量が設定されるように構成されている。指向角／遅延変換演算部４５は、ズームレンズ１０からのズーム位置信号を受け、このズーム位置信号に基づいて算出される指向角信号からそれぞれの可変遅延器４１〜４４に最適な遅延量に変換する。
なお、指向角をズーミング操作により可変せずに所定位置に固定する場合、指向角／遅延変換演算部４５は、可変遅延器４１〜４４を所定の遅延量に固定する。

指向角／遅延変換演算部４５の詳細について図９及び図１０を参照して説明する。

ライン状に並べられたマイク３１〜３４をすべて含む平面において、マイク正面方向を０°とし、図９の例ではマイク３１側の任意の指向角θ方向に指向角を生成する場合を示しており、指向角θは０°から最大で９０°まで可変とする。同様に、図１０の例ではマイク３４側の任意の指向角−θ方向に指向角を生成する場合を示しており、指向角−θは０°から最大で−９０°まで可変とする。

ここで、図９において、マイク３１に対するマイク３２の相対距離差をｔｃ、マイク３１に対するマイク３３の相対距離差を２ｔｃ、マイク３１に対するマイク３４の相対距離差を３ｔｃとすると、マイク３１〜３４の後段にある可変遅延器４１〜４４でそれぞれに設定される遅延量Ｔ１〜Ｔ４は、ｄをマイク間距離、ｃを音速とすると、以下のようになる。
Ｔ１＝（３ｄ・sinθ）／ｃ
Ｔ２＝（２ｄ・sinθ）／ｃ
Ｔ３＝（ｄ・sinθ）／ｃ
Ｔ４＝０

同様に、図１０において、マイク３４に対するマイク３１の相対距離差を３ｔｃ、マイク３４に対するマイク３２の相対距離差を２ｔｃ、マイク３４に対するマイク３３の相対距離差をｔｃとすると、マイク３１〜３４の後段にある可変遅延器４１〜４４でそれぞれに設定される遅延量Ｔ１〜Ｔ４は、以下のようになる。
Ｔ１＝０
Ｔ２＝（ｄ・sinθ）／ｃ
Ｔ３＝（２ｄ・sinθ）／ｃ
Ｔ４＝（３ｄ・sinθ）／ｃ

一例を上げると、常温において、マイク間隔ｄを１０ｍｍとすれば、代表的な指向角θ（９０°、６０°、３０°、０°、−３０°、−６０°、−９０°）において設定される遅延量Ｔ１〜Ｔ４は、図１１のようになる。

したがって、以上のように構成されたアレイマイクロホンにおいて、上述のように遅延量を設定すれば、任意の指向角θに対して指向性を得ることができ、１組のアレイマイクロホンに対して、図８の指向性生成処理回路４０を２組ずつ接続し、それぞれを所定の指向角を持つように遅延量を設定すれば、アレイマイクロホンのライン方向に指向性が生成され、さらに水平方向と垂直方向のそれぞれにアレイマイクロホンを使用すれば、水平方向と上下方向に指向性が生成されて、本発明の目的が達せられることになる。
なお、本例において説明したマイク数、マイク間距離、マイク配置は一例であり、本発明の目的を逸脱しない範囲で適宜変更することが可能である。

次に、図２を参照して説明したマイクロホン指向性生成処理部１９の一構成例を図１２に示すマイクロホン指向性生成処理例と併せて説明する。

アレイマイクロホン１７は水平方向にアレイ状に並べられた複数のマイクでなり、各マイクからの出力信号は、Ｒチャンネル可変遅延器５２とＬチャンネル可変遅延器５３に入力され、それぞれ水平指向角算出部５４により、撮像画角に合わせた指向角になるように遅延量が設定される。水平指向角算出部５４は、ズームレンズ１０からのズーム位置信号によりズーミングに合わせた指向角が可変になっている。そして、それぞれに遅延処理が施された信号は、加算器５８と加算器５９とで加算され、Ｒチャンネル出力６３及びＬチャンネル出力６４として出力される。

同様に、アレイマイクロホン１８は垂直方向にアレイ状に並べられた複数のマイクでなり、各マイクからの出力信号は、Ｕチャンネル可変遅延器５６とＤチャンネル可変遅延器５７に入力され、それぞれ垂直指向角算出部５５により、撮像画角に合わせた指向角になるように遅延量が設定される。垂直指向角算出部５５は、ズームレンズ１０からのズーム位置信号によりズーミングに合わせた指向角が可変になっている。そして、それぞれに遅延処理が施された信号は、加算器６１と加算器６２とで加算され、Ｕチャンネル出力６５及びＤチャンネル出力６６として出力される。

以上のようにして生成されたＲチャンネル、Ｌチャンネル、Ｕチャンネル及びＤチャンネルの各出力６３〜６６は、図４に示した指向方向Ｂ，Ａ，Ｃ，Ｄの各々から収音された映像信号に関連する左右方向及び上下方向の音響信号となり、これら各出力を図２（図１Ａ）に示した音響再生装置１００の各スピーカ３，２，４，５からそれぞれ独立して再生することにより、ディスプレイ１に表示される映像に関連する左右方向及び上下方向の音響再生を実現することができる。

したがって、本実施の形態によれば、映像の水平方向及び垂直方向に合わせた音響信号をそれぞれ独立して生成し、当該生成した水平方向及び垂直方向の各音響信号を、スピーカ２〜５で各々独立して再生させるようにしているので、従来の左右（水平）方向の音場生成に対して、更に上下（垂直）方向の音場を加えることにより、被写体の上下方向の動きが明確になるとともに、上下左右方向からの音響を空間上でベクトル合成して被写体と音源方向を一致させることができ、よりリアルな立体音場を再現し臨場感溢れる映像を視聴者に提供することが可能となる。

上述のように、ＴＶ画面の大型化に伴い、水平方向だけでなく垂直方向（高さ方向）にも音像を生成することは、以下のようなメリットをもたらす。

１．上下方向の音像の動きが明確となる。例えば、飛行機などの離着陸シーン、上下移動のある滑り台、ジェットコースターなどの遊具、花火などの移動音が明確となる。
２．大画面化に伴って発生する、左右スピーカの上下位置に依存する画像と音像の不一致の問題を改善することができる。
３．撮像系のレンズ画角情報を得ることで、より一層に画像の発する音の位置に、音像を一致させることができるため、例えば、人が話すときに、その音声の発する「口」の位置に音像が定位するなど、実際に近い音場が作れる。

また、本実施の形態においては、水平方向及び垂直方向音響生成手段として、アレイマイクロホン１７，１８を採用しているので、マイクロホン指向性生成処理１９と併用することにより、遅延量で指向方向を選択し容易に最適な指向性を生成できるとともに、マイク個数により指向特性を最適にできるため、比較的自由に指向性を変化させることができる。

以上、本発明の実施の形態について説明したが、勿論、本発明はこれに限定されることなく、本発明の技術的思想に基づいて種々の変形が可能である。

例えば以上の実施の形態では、ディスプレイ１の周囲又はその付近をとりまくように配置した複数のスピーカ２〜５（６〜９）を用いて映像信号に関連した水平方向及び垂直方向の音場を再現するようにしたが、これに加えて、全周囲方向のサラウンドシステムを本発明に適用することも可能である。

例えば、図１３Ａに示す立体音場再生システム例では、視聴者の前方のディスプレイ１の周囲に左右方向のＦＬ（Front Ｌチャンネル）及びＦＲスピーカ２，３と、上下方向のＦＵ及びＦＤスピーカ４，５とを配置した音響再生装置１００（図１Ａ）に加えて、視聴者の後方に、ＲＬ（Rear Ｌチャンネル）及びＲＲスピーカ６８，６９を配置するとともに、低音用のＳＷ（Sub Woofer）スピーカ７０を任意の位置に配置した例を示している。

また、図１３Ｂに示す立体音場再生システム例では、視聴者の前方のディスプレイ１の周囲にＦＬＵ（Front Ｌeft Upチャンネル）スピーカ６、ＦＲＵスピーカ７、ＦＬＤスピーカ８及びＦＲＤスピーカ９を配置した音響再生装置１００（図１Ｂ）に加えて、視聴者の後方に、ＲＬ（Rear Ｌチャンネル）及びＲＲスピーカ６８，６９を配置するとともに、低音用のＳＷ（Sub Woofer）スピーカ７０を任意の位置に配置した例を示している。

これにより、容易に５．１チャンネル等のサラウンドに対応した音響信号を得ることができ、本発明による画面上の被写体方向に一致した音場と、サラウンド音場により、一層の臨場感を視聴者に提供することができる。
なお、このようなマルチチャンネル信号をビデオカメラ等に搭載されたマイクにより収音する場合には、有指向性マイクロホンを各指向方向に向けて収音してもよいし、アレイマイクロホンとサラウンドマイクロホンを組み合わせるようにしてもよい。
なおまた、各方向からのマルチチャンネル信号を記録するオーディオフォーマットとしては、７．１チャンネルまで対応するＭＰＥＧ２／ＡＡＣ（Advanced Audio Coding）符号化方式などが挙げられる。

また以上の実施の形態では、音響再生装置１００として、ディスプレイ１の周囲に４つのスピーカ２〜５あるいはスピーカ６〜９を配置した例をそれぞれ説明したが（図１Ａ，Ｂ）、スピーカの設置数や取付位置等は上記の例に限られない。

例えば、図１４にディスプレイ１の周囲に３つのスピーカ７１，７２及び７３を取り付けた例を示す。この例では、スピーカ７１〜７３は、ディスプレイ１の上縁略中央部、左縁下方部及び右縁下方部にそれぞれ１つずつ設置され、全スピーカ７１〜７３で上下方向の音場を再生し、スピーカ７２及びスピーカ７３で左右方向の音場を再生するようにしている。この例によっても、上述と同様な効果を得ることができる。

一方、本発明の他の実施形態として、これらのマルチチャンネル音場生成機能をビデオカメラに内蔵して、記録時及び再生時にリアルタイムに実施してもよいし、また映像とマルチチャンネル音声を個別に収録して、コンピュータ内のアプリケーションソフトウェアとして実施し、ビデオ／オーディオファイルの編集時や、ファイル変換時、さらにＤＶＤ書込み時に非リアルタイム処理として実施してもよい。

更に、本発明は、ゲーム用途にも応用することができる。この場合、コンピュータグラフィクス（ＣＧ）画面上の音源位置に合わせて、画面周囲における各方向の音響信号を生成することにより、同様の音響効果を得ることができる。

また、近年においては、例えば、ディスプレイ画面の前面に透明振動板を取り付けて、この振動板を音響信号で振動させることにより、ディスプレイ周辺のスピーカを用いないで音場を再生する技術が開発されているが、本発明はこのような音響出力手段を利用して実施することも可能である。

本発明の実施の形態による音響再生装置１００の概略構成図である。 本発明の実施の形態による音響生成装置１０１の機能ブロック図である。 画角とマイク指向特性を説明する図である。 マイク指向性生成例を説明する図である。 アレイマイクロホンの原理説明図である。 アレイマイクロホンの原理説明図である。 遅延差Ｔをもつ２つの正弦波の合成波の振幅と周波数との関係を説明する図である。 本発明のマイクロホン指向性生成処理例を説明する図である。 本発明のマイクロホン指向角／遅延変換原理を説明する図である。 本発明のマイクロホン指向角／遅延変換原理を説明する図である。 本発明のマイクロホン指向角／遅延変換例を示す表である。 本発明のマイクロホン指向性生成処理例を説明する図である。 本発明の他の実施の形態を説明する音響再生装置の概略構成図である。 本発明のさらに他の実施の形態を説明する音響再生装置の概略構成図である。

符号の説明

１…ディスプレイ、２〜９…スピーカ、１０…ズームレンズ、１１…撮像素子、１２…カメラ系信号処理部、１３…記録系画像／音声エンコード処理部、１４…スイッチ、１５…記録再生手段、１７…マイクロホン（水平方向）、１８…マイクロホン（垂直方向）、１９…マイクロホン指向性生成処理部、２１…再生系画像／音声デコード処理部、３１〜３４…マイク、４０…指向性生成処理回路、４１〜４４…可変遅延器、４５…指向角／遅延変換演算部、４６…加算器、５２，５３，５６，５７…可変遅延器、５４…水平指向角算出部、５５…垂直指向角算出部、６１…加算器、１００…音響再生装置、１０１…音響生成装置。

Claims (1)

1. 映像を表示する表示画面と、前記表示画面の周囲付近をとりまくように配置された水平方向音響出力手段及び垂直方向音響出力手段とを有する音響再生装置によって再生される、前記映像に関連した音響信号を生成するための音響生成装置であって、
   水平方向に指向特性を有し前記映像の水平方向に合わせた音響信号を生成する、ライン状に複数のマイクを並置させたアレイマイクロホンからなる水平方向音響生成手段と、
   垂直方向に指向特性を有し前記映像の垂直方向に合わせた音響信号を生成する、ライン状に複数のマイクを並置させたアレイマイクロホンからなる垂直方向音響生成手段と、
   被写体像を撮像する撮像手段と、
   前記撮像手段により生成された映像信号と、前記水平方向及び垂直方向音響生成手段により生成された音響信号とを記録再生する記録再生手段と、
   前記撮像手段からの光学画角情報に基づいて、前記水平方向及び垂直方向音響生成手段の指向角を可変とする指向性生成手段と
   を具備する音響生成装置。

Images