JPH03272280A - 音声信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、映像信号の変化に応じて、音声信号の出力レ
ベル等を制御するようにした音声信号処理装置に関する
ものである。

〔従来の技術〕

音像情報がエンコードされた２チヤンネルのステレオ音
声信号を入力とし、前記２ヂヤンネルのステレオ音声信
号を演算処理することで、例えば左チャンネル、右チャ
ンネル、およびセンタチＶンネルの３ヂヤンネルの信号
に変換（または、ざらに後方チャンネルも加えた４ヂヤ
ンネルに変換）して、それぞれのスピーカより再生する
ようにした音声信号処理装置が提案されている。

第８図は、そのような音声信号処理装置のデコーダ側の
一例の構成をブロック図で示したものである。

すなわち、ＬＴおよびＲ□は、予め音像情報がエンコー
ドされた２チヤンネルのステレーＡ償号Ｌｔ。

Ｒｔが印加される入力端子であり、この入力端子り、ｒ
、’Ｒｒに印加された２チｒンネルの信号Ｌｔ。

Ｒｔは方向性検出回路１に印加される。この方向性検出
回路１は２つの入力信号から、どの方向が支配的な音の
成分であるかを刻々と演算し、４系統の演算出力を生成
する。

これら４系統の演算出力は第１チヤンネルの信号Ｌｔの
出力レベルを個々に制御する４個の電圧制御増幅器（Ｖ
ＣＡ）２ａ乃至２ｄ、　　および第２ヂヤンネルの信号
Ｒｔの出力レベルを個々に制御する４個の電圧制御増幅
器（ＶＣＡ）２ｅ乃至２ｈにそれぞれ印加される。

前記ＶＣＡ２ａ乃至２ｈの各出力は、前記ＬｔおよびＲ
ｔ信号と共に加算回路３に印加されて合成され、左チャ
ンネルＬ１　　右チャンネルＲ１センタチャンネルＣ１
およびサラウンドチャンネルＳ成分として出力きれる。

これらの各出力はパワーアンプ４ａ乃至４ｄによってそ
れぞれ増幅され、前方左、右、中央、および後方に配置
されたスピーカ５．　６．　７＋　　８ａ、　　８ｂに
よって再生きれる。

以上説明した従来の音声信号処理装置によると、予め２
チヤンネルの信号にエンコードされた音像情報より、ど
の位置の音が支配的であるかを方向性検出回路１によっ
て演算し、その演算結果に基づいて各ＶＣＡ２ａ乃至２
ｈに与える制御信号をコントロールするようにしている
。

Ｖ　ＣＡ　２　ａ乃至２ｈは、方向性検出回路１からの
制御信号によって増幅率が制御され、加算回路３におい
て加算される音声信号の加算割合を刻々と変化せしめ、
結果として音場内における音の方向性が強調される。

〔発明が解決しようとする課題〕

前記した従来の音声信号処理装置に使用される２ヂヤン
ネルの音声信号は、例えば、テレビジョン放送、ＶＴＲ
あるいはビデオディスク等のメディアを利用して、映像
信号と共に供給される。

しかしながら、これらのメディアを利用した２チヤンネ
ル音声信号は、予めデコーダを使用する場合を想定し、
音像の移動あるいは方向性を意図的にニジコードしてお
り、ソースを制作する際に音像の情報をエンコードして
おかなければ、その機能を十分に生かすことが出来ず、
満足な音場を再現することは期待出来ない。

また、２チヤンネルの音声信号は、前記したとおり、音
像の移動あるいは方向性を意図してエンコードきれてい
るがため、この信号をそのまま２チヤンネルステレオソ
ースとして利用した場合には、再生音場に違和感が生ず
るという問題点を有３− ４− している。

ざらに、音声信号の伝送チャンネルがモノラルである場
合には、音像の移動あるいは方向性を意図したエンコー
ドを行うこと自体、全く不可能となってしまうという問
題点も有している。

本発明は、前記した従来の問題点に鑑みて成されたもの
であり、予めエンコードされた音１９情報を利用するこ
となく、映像の動き等に応じて映像と音像とが一体とな
った臨場感と定位感をもたらず音声信号処理装置を提供
しようとするものである。

また本発明は、たとえ提供される音声信号がモノラルで
あっても、前記と同様に映像の動き等に応じて音像が一
体となって移動するような臨場感と定位感を実現するこ
とが可能な音声信号処理装置を提供することを課題とし
ている。

〔課題を解決するための手段〕

前記課題を達成するために成された本発明の音声信号処
理装置は、映像信号を入力とし、入力映像信号から映像
（８号のフィールドまたはフレーム単位で変化する映像
変化情報を検出する映像変化情報検出手段と、映像信号
と共に同一メディアによって提供きれる音声信号を入力
とし、入力音声信号のチャンネル毎の出力レベルを映像
変化情報検出手段より得られる変化情報出力によって制
御する音声出力レベル制御手段とを具備し）こ点に特徴
を有する。

〔作用〕

上記構成の音声信号処理装置によると、映像信号のフィ
ールドまたはフレーム単位で変化する映像変化情報によ
って、入力音声信号のチャンネル毎の出力レベルを制御
するよう成されるので、映像信号の変化に応じて再生音
の方向性が強調された音場が形成きれる。

この結果、予めエンコードした音像情報を利用すること
なく、映像の動き等と一体となった音像の再現が可能と
なる。

〔実施例〕

以下、本発明の実施例を図を参照しつつ説明する。

第１図は本発明の音声信号処理装置の一実施例の構成を
示したブロック図であり、この実施例においては、前方
左右および中央に配置した３個のスピーカによって音場
が形成きれるようになっている。

図において、１０はテレビジョン放送、ＶＴＲ。

あるいはビデオディスク等のメディアより得られる映像
信号の入力端子であり、この入力端子１０に印加された
映像信号は映像変化情報検出回路１１（映像変化情報検
出手段）に印加きれ、入ノｊ映像信号から、映像信号の
フィールドまたはフレーム単位で変化する映像変化情報
が抽出される。

一方、１２Ｌおよび１２Ｒは、前記映像信号と同一メデ
ィアより得られる音声信号の入力端子であり、ステレオ
信号である左チャンネル信号りおよび右チャンネル信号
Ｒがそれぞれ印加される。

前記入力端子１２Ｌ、１２Ｒに印加された左右の音声信
号は、加算回路１３に印加され、加算回路１３によって
モノラル信号、すなわちセンタチャンネル信号Ｃが生成
きれる。

７− そして前記左チャンネル信号Ｌ１　　右チャンネル信号
Ｒ１および加算回路１３によって生成されたセンタチャ
ンネル信号Ｃは、それぞれＶＣΔ１４Ｌ、１４Ｒ，１４
Ｃの入力端子に印加される。前記ＶＣＡ１４Ｌ、１４Ｒ
，１４Ｃ（音声用）ｊレベル制御手段）のそれぞれには
、映像変化情報検出口ｖ８１１より制御信号が印加され
ており、フィールドまたはフレーム単位で変化する映像
の変化に応じて出力されるそれぞれの制御信号によって
増幅率が調整きれる。

そしてＶＣΔ１４Ｌ、１４Ｒ，１４Ｃからの各出力は、
パワーアンプ１５Ｌ、１５Ｒ，１５Ｃによって増幅され
、出力端子１６Ｌ、１６Ｒ，１６Ｃにもたらされる。ま
た前記映４ｅＪＪ（８号入力端子１０に印加された映像
信号は、前述したとおり映像変化情報検出回路１１に印
加されると共に、出力端子１６Ｖに出力される。

出力端子１６Ｖより出力きれる映像信号は、前方中央に
配置されたモニタテレビ１７に印加され、モニタテレビ
１７ににって映像が再生きれる。

８− また、出力端子１６Ｌ、１６Ｒ，１６ｃより出力される
音声信号は、前方布、前方布、前方中央に配置されたス
ピーカ１８Ｌ、１８Ｒ，１８Ｃに印加され、スピーカ１
８Ｌ、１８Ｒ，１８Ｃによって再生きれる。

第２図（ａ）乃至（ｃ）Ｌよ、前記モニタテレビ１７に
よって再生きれる映像の動きと、前記３個のスピーカ１
８Ｌ、１８Ｒ，１８Ｃによって形成される再生音場の変
化の様子を模式的に示したものである。

第２図（ａ）乃至（Ｃ）は数フレームごとの画面上の被
写体の動きの様子を順に示しており、この例では人間が
画面上、左から右に移動する様子を示している。また同
図（ｄ）乃至（ｆ）はこの時の各スピーカ１８Ｌ、１８
Ｒ，１８ｃから再生される音の出力レベルの変化の様子
を示している。

すなわち、画面上、人間が左端に写っている場合には、
第２図（ｄ）に示すように左側スピーカ１８Ｌの出ノｊ
レベルが大となり、中央スピーカ１８Ｃの出力レベルが
小となるよう再生きれる。また画面上、人間が中央に写
っている場合には、第２図（ｅ）に示すように、中央ス
ピーカ１．８Ｃの出力レベルが大となり、左右のスピー
カ１８Ｌ。

１８Ｒの出力レベルが小となるよう再生きれる。

ざらに画面上、人間が右端に写っている場合には、第２
図（ｆ）に示すように、中央スピーカ１８ｃの出力レベ
ルが小となり、右側スピーカ１８Ｒの出力レベルが大と
なるよう再生される。

以上のような制御は、映像変化情報抽出回路１１からの
出力によって制御されるＶＣＡ１４Ｌ。

１４Ｒ，１４Ｃによって成きれる。

第３図および第４図は、前記映像変化情報検出回路１１
の構成および作用を説明するものである。

第３図に示すように映像変化情報検出回路１１は、基本
的に、中央演算制御装置（ＣＰＵ）１１１と、この中央
演算制御装置１１１に接続された第１と第２のフレーム
メモリ１１２，１１３、および前記中央演算制御装置１
１１によって演算きれた結果に基づいて前記ＶＣＡ１４
Ｌ、１４Ｒ。

１４Ｃに対して印加する制御信号をデコードする一〇− １０− デコーダ１１４より構成されている。

前記中央演算制御装置１１１には、端子１０より映像信
号が印加され、その映像信号は、まず第１のフレームメ
モリ１１２に書き込まれる。次のフレームに該当する映
像信号は、第２のフレームメモリ１１３に書き込まれ、
ここで第１と第２のフレームメモリの間の書き込みデー
タの比較が成される。

第４図はその比較演算を行う様子を模式的に示したもの
である。

第４図（ａ）は、フレームメモリ１１２に記録きれてい
る第１フレームにおける画素情報の一部を示したもので
あり、映像信号を画素単位に分解し、映像信号の輝度情
報を白または黒の画素情報として扱っている様子を示す
。同様に、第４図（ｂ）は、フレームメモリ１１３に記
憶きれている第２フレームの画素情報の一部を示してい
る。

この実施例の場合、第１フレームの第２ブロツクの画像
が、第２フレームにおいては、第３ブロツクに移動して
いる。中央演算処理装置１１１は、このような移動を、
各ブロックの画素データを比較することにより検出する
。

この様な移動情報は中央演算処理装置１１１からデコー
ダ１１４に出力される。デコーダ１１４はこの移動情報
に基づいて、各ＶＣＡ１．４Ｌ、１４Ｒ，１４Ｃに与え
る制御電圧をコンＩ・ロールする。例えば画像が左から
中央に移動していると認識した場合、ＶＣＡ１４Ｌに与
える制御電圧を徐々に増幅率を低下させるようコントロ
ールし、またＶＣＡ１４Ｃに与える制御電圧を徐々に増
幅率を増大させるようコントロールする。

以上のような演算処理によって画面上の像の移動と、音
像の移動が一体となって再生され、生の臨場感と定位感
を醸し出すことができる。

第５図（ａ）乃至（ｃ）は、遠方から自動車が手前に向
かって近づいて来る状況の画面を示している。この場合
には、前述と同様のパターン認識によってこれを把握し
、同図（ｄ）乃至（「）に示すように、最も大ざいレベ
ルの周波数帯域を順次高域周波数にシフトきせるよう制
御すると、い１− ２− わゆるドツプラー効果が生じているようなリアルな音場
が再現される。

この場合には、例えば３個のＶＣＡ１４Ｌ、１４Ｒ，１
４，Ｃのいづれにも、その増幅率が徐々に増大さ・υ・
るような制御電圧を印加すると、よりリアルな効果を得
ることができる。

第６図（ａ）、　　（ｂ）は、会議等において討論して
いる画面の様子が示されており、この場合も前述したよ
うなパターン認識により、動きを検出し、同図（ｃ）、
　　（ｄ）に示すように、Ｌを大きく、またＲを大きく
するようＶＣＡ１４Ｌ、１４Ｒの増幅率を交互に切り替
えるように制御させることで、像の動きに応じた音場が
再現される。

ざらに第７図は、コンピュータグラフィックのような映
像信号を受けた場合の音声信号処理装置の実施例を示し
ている。

この例では、画面上に再現される色や輝度に応じて音声
信号を創出するものである。

すなわち、入力端１０に印加された映像信号は、変化情
報検出回路１１によって分析され、例えば色の情報の変
化或いは輝度情報の変化に応じた出力が音声出力制御回
路１９（音声出力レベル制御手段）に印加される。

この音声出力制御回路１９においては、例えば、色の情
報の変化に応じて発振周波数を変化きぜたり、輝度情報
の変化によって音声出力レベルを変化させる等の制御が
行われる。従って色情報或いは輝度情報の変化に連動し
て、ある程度規則正しい音響出力を得ることが可能であ
る。

なお以上の説明は、２チヤンネルのステレオ信号を入力
とした実施例に基づいているが、音声入力はたとえモノ
ラル信号であっても、ＶＣＡによって音の方向性が強調
されるため、遜色のない効果が期待でざる。

〔発明の効果〕

以上の説明で明らかなとおり、本発明の音声信号処理装
置によると、入力映像信号から映像信号のフィールドま
たはフレーム単位で変化する映像変化情報を検出すると
共に、音声（ｇ号のヂャンネル毎の出力レベルを、検出
した映像変化情報に対−１３＝ １４− 応して制御するようにしたので、映像信号の変化に応じ
て再生音の方向性が強調された音場が形成きれる。

この結果、予めエンコードされた音像情報を利用するこ
となく、映像の動き等に応じて映像と音像とが一体とな
った臨場感と定位感をもたらすことができる。

また本発明の音声信号処理装置によると、たとえ提供さ
れる音声信号がモノラルであっても、前記と同様に、映
像の動き等に応じて音像が一体となって移動するような
臨場感と定位感を実現させることができる。

【図面の簡単な説明】

第１図は本発明の音声信号処理装置の一実施例の構成を
示したブロック図、第２図は本発明における映像画面と
再生音場との関係を説明する図、第３図は本発明に使用
される映像変化情報検出回路の一実施例の構成を示した
ブロック図、第４図は第３図の実施例の動作を説明する
図、第５図乃至第７図は本発明におけるそれぞれ異なっ
た映像画面と再生音場との関係を説明する図、第８図は
従来の音声信号処理装置の一例の構成を示したブロック
図である。 １０・・・映像信号入力端子、１１・・・映像変化情報
検出回路（映像変化情報検出手段）、１２Ｌ、１２Ｒ・
・・音声信号入力端子、１３・・・加算回路、１４Ｌ、
１４Ｒ，１４Ｃ・・・電圧制御増幅器（音声出力レベル
制御手段）、１５’Ｌｌ　　１５　Ｒ１１５Ｃ・・・パ
ワーアンプ、１６Ｌ、　　１６Ｒ，１６Ｃ，１６Ｖ・・
・出力端子、１７・・モニタテレビ、１８Ｌ、１８Ｒ。 １８Ｃ・・・スピーカ、１９・・・音声出力制御回路（
音声出力レベル制御手段）。

Claims (1)

【特許請求の範囲】
1. 映像信号を入力とし、入力映像信号から映像信号のフィ
   ールドまたはフレーム単位で変化する映像変化情報を検
   出する映像変化情報検出手段と、前記映像信号と共に同
   一メディアによって提供される音声信号を入力とし、入
   力音声信号のチャンネル毎の出力レベルを前記映像変化
   情報検出手段より得られる変化情報出力によって制御す
   る音声出力レベル制御手段とを具備したことを特徴とす
   る音声信号処理装置。