JPH07131770A - 映像と音響の統合制御装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 テレビ会議や遠方監視装置などにおいて、映
像信号と音響信号の対応関係を実時間で改善し臨場感を
高めた通信が可能な実時間映像通信システムを提供す
る。 【構成】 ＡＶ分離回路１によって分離した映像信号
を、映像信号解析装置１１によって解析し、この解析結
果に基づいてＡＶデータベース１２を検索して音響信号
処理装置３の制御特性を制御する。音響信号処理装置の
出力はスピーカ装置４、４’により、また映像信号は表
示装置により再生する。 【効果】 本発明によれば映像信号とよく対応のとれた
音響信号を再生することが可能になり、映像と音響の相
乗効果により臨場感の高い映像通信が可能になる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はテレビ会議や遠方監視装
置など、空間的に離れた地点から実時間に映像信号と音
響信号を伝送し、これらの信号を用いて臨場感あふれる
空間を再生する装置の映像と音響を統合的に制御する装
置に関する。さらに詳しく述べるならば、本発明は受信
した映像信号を解析しこの解析結果に基づいて音響処理
の処理パラメータを制御する映像と音響信号の統合制御
装置に関するものである。

【０００２】

【従来の技術】従来より双方向画像通信システムとし
て、テレビ会議装置が実用に供している。テレビ会議装
置はカメラ、マイクで入力した映像と音響信号（以後、
音響信号の付随した映像信号をＡＶ信号と記す）を通信
回線により遠方に伝送し、表示装置、スピーカにより再
生する機能を持つ。通話をする地点毎にマイク、カメ
ラ、表示装置、スピーカを設置し、これらの場所を通信
ネットワークで接続することで双方向、多地点の通信を
実現している。また、片方向の映像通信としては、遠隔
地の状況をＡＶ信号により監視する遠方監視装置や、遠
方の映像や音響を見たり聞いたりすることで疑似体験を
するテレプレゼンス装置といった映像通信装置がある。
上記のテレビ会議装置、監視装置、テレプレゼンス装置
はテレビカメラ装置とマイクを用いて現在起きている事
象を忠実に相手に伝送する実時間通信装置である。さら
に最近では実時間に通信した映像とコンピュータで発生
したＣＧ（Computer Graphics）映像を同時に表示して
操作性を向上させたＣＳＣＷ（Computer Supported Cor
porative work）と呼ばれるシステムも出現している。

【０００３】映像信号と音響信号を用いた映像システム
としては上記のような通信システムよりも映画・テレビ
ジョンが古くから実用に供している。映画・テレビジョ
ンの技術については広く知られているので詳細は省略す
るが、その音響信号と映像信号の相乗効果は本発明に関
連するので簡単に説明する。映画・テレビジョンでは映
像の撮影と同時に音響信号を収録する。また撮影後に映
像を見ながら効果音を付加したり、新たな音声の付加
（アフレコ）、収録音の音質、大きさの調整などの音響
信号の編集・加工を繰り返し行い、映像と整合のとれた
音響信号を作成している。この編集の目的は一言でいっ
て臨場感を高めることである。映像の内容に対応した高
品質の音響信号を用いることで臨場感が高まることは周
知の事実である。例えば、映像の移動に伴って音像が移
動するようなサラウンドステレオ方式の映画は、モノラ
ル方式の映画に比べて格段の臨場感が得られている。

【０００４】

【発明が解決しようとする課題】従来のテレビ会議装置
や監視装置においては、会議室や監視すべき対象がある
空間で必ずしも映像に対応した集音条件を満足できると
は限らず、そのため映像と音響信号の対応関係が良くな
い場合がある。例えばテレビ会議での発言者等のズーム
アップする事例などである。映像のズームアップ動作で
は映像と音響信号の対応関係を維持するには、マイクロ
ホンもカメラのズームアップと同時に発言者に接近して
集音する、集音範囲を映像の撮像範囲と一致させるなど
の動作が必要である。ところが実際にはマイクロホンを
発言者に接近させることは不可能である。そのため、実
際には対応関係の損なわれた映像と音響信号が通信相手
に伝送されることになる。このようなＡＶ信号を受信側
で再生しても得られる臨場感が低く、円滑な会議の支障
を妨げることがなる。例えば、遠くから聞こえるような
声での会議では、会議の焦点などもぼけてしまい、議事
進行の障害になることは容易に想像できることである。

【０００５】また、監視業務においては映像と音響の対
応関係が損なわれている（例えば映像と関係の無い不要
な音響信号が再生されている）と、不要な音響信号の妨
害により計器の見落としや、発生事象の誤認を生じさせ
る可能性もあり問題となる。

【０００６】テレビ・映画の音響編集の例からも明らか
なように、臨場感を高めるには映像と音響の対応関係を
改善する編集加工の操作を行えばよいが、従来のテレビ
会議装置や監視装置のような実時間映像通信装置では映
像や音響信号の取り直し・加工を行っていない。そのた
め臨場感の高い会議や、より正確・迅速な監視業務が行
えないとう問題があった。

【０００７】本発明の目的は、テレビ会議、遠方監視や
テレプレゼンスといった実時間通信システムにおいて、
映像信号と音響信号の対応関係を改善し、より臨場感あ
ふれる映像・音響通信を実現する装置を提供することで
ある。また、第２の目的は映像信号に付随した音響信号
を処理することで画像通信装置の操作性を高め、優れた
ユーザインタフェースを提供することである。

【０００８】

【課題を解決するための手段】上記の課題を解決するた
め、本発明では映像信号を理解し、これに合わせて音響
信号を実時間で加工するといった方法を用いる。そのた
めの手段として、映像信号を解析して映像の特徴を抽出
する手段と、映像の特徴に応じた音響信号加工用のパラ
メータを保持・記憶しているデータベース手段と、デー
タベースからのパラメータにより制御される音響信号加
工手段とを用いる。

【０００９】

【作用】本発明における映像信号の特徴を解析する装置
では入力された映像信号の特徴、例えば色相や周波数分
布、輝度のヒストグラムなどの性質や、単位時間辺りの
動き量、動き方向のようなものを解析する。そして得ら
れたこれらの解析情報から撮像した対象被写体の内容を
理解するように動作する。理解した映像信号の内容や抽
出した画像信号の特徴はデータベースの検索信号として
使用する。データベースには被写体の内容、映像信号の
特徴に応じて音響信号の処理パラメータを整理して格納
しておき、映像に対応した処理パラメータを音響信号処
理装置に対して出力する。このパラメータは音響信号処
理装置において、その処理特性を変化させ、結果として
音響信号自体を変化させる。例えば音響信号処理手段は
入力した音響信号を処理し、その音量、左右バランスや
周波数特性、さらには残響時間等を変化させることで再
生する音場を制御し、映像に適合した音響空間を再現す
る。上記のようにデータベースに予め臨場感を高めるた
めの音響処理パラメータを記憶して、このデータを映像
の特徴に基づいて利用することで、常に映像に適合した
音響信号を迅速に再現することが可能となり臨場感の優
れたテレビ会議、遠方監視等を行うことができる。この
データベースには、専門の音響オペレータが操作するの
と同じパラメータを記憶させておけば、実時間で音響編
集を行うのと同じ効果が得られる。

【００１０】また、音響信号処理手段は映像信号の特徴
のみならず、例えば利用者の意図によって制御すること
も可能である。さらにユーザとのインタフェースを制御
するコンピュータによっても音響信号処理のパラメータ
を制御してもよい。

【００１１】

【実施例】以下、本発明の実施例を図面を用いて説明す
る。

【００１２】図１は本発明の実施例を表すシステムブロ
ック図である。本実施例に示す装置は、映像信号とこれ
に同期した音響信号（以後、ＡＶ信号と記する）を分離
するＡＶ分離装置１、映像信号の特徴を解析する映像信
号特性解析装置２、音響信号を処理する音響信号処理装
置３、映像信号を表示する表示装置５、さらに加工処理
された音響信号を再生するためのスピーカ装置４、４’
とから構成されている。次に、本実施例に示す装置での
映像信号と音響信号の流れ、及び各装置の動作について
説明する。遠方の通信相手から送られてきたＡＶ信号
は、まずにＡＶ分離装置１に入力する。このＡＶ分離装
置１は映像信号と音響信号を分離する働きがある。分離
した音響信号は音響信号処理装置３に、また映像信号は
２系統に出力を分配され一方は映像信号解析装置２に、
また他方は映像表示装置５に入力される。映像信号解析
装置２は入力された映像信号の特性を調べ、その特性に
応じて音響信号処理回路３を制御する制御信号を発生す
る。音響信号処理装置３の動作は後に述べるが、例えば
通信映像中で人が会話を交わしている映像であれば、音
声の明瞭度を改善するなどの処理を施す様に動作する。
また、映像が広大な屋外の映像であるならば音響が広が
り感を持つように、広い屋内からの映像である場合はホ
ールのような残響信号を付加するなどの様に動作する。
さらに移動を伴う被写体であればその映像の移動に合わ
せて音像を定位させる位置を制御する。上記の効果、例
えば映像に合わせて会話の明瞭度を改善するには音響信
号の周波数の低域と高域のバランスを調整するフィルタ
処理を施したり、残響を付加するには所望の残響時間を
発生する畳み込み演算を施すことで実現可能である。ま
た映像に合わせた音像定位は、映像中の発音体の移動に
合わせて複数設けたスピーカの音量バランス、直接音
（壁などで反射せず直接聴取者に到達する音）と反射音
（壁などで反射し位相遅れ、周波数変化などを伴った
音）のバランスを制御することで実現できる。

【００１３】図２は図１の実施例の変形例である。図２
の実施例が図１と異なる点は映像信号の特徴とこれに対
応した音響信号の制御パラメータを関連づけて記憶させ
たデータベース１２（以後、ＡＶデータベースと略記す
る）を備えている点である。このＡＶデータベース１２
は音響信号の制御パラメータを記憶しており、映像信号
解析装置１１が解析した映像信号の特徴に応じた制御パ
ラメータを出力する。音響信号制御においてデータベー
スを使用する理由は、映像信号の特徴と音響信号の制御
特性の対応関係がうまく演算出来ない場合があるからで
ある。そこで音響編集の特性制御手順をプログラム化す
るよりは、音響編集者の経験則に基づいて映像と音響信
号処理パラメータの関係を登録したデータベースを利用
する。感覚に作用する音響信号処理では、専門の編集者
の経験則を利用する方が現実的、かつ効果が得られる方
法である。

【００１４】ＡＶデータベース１２には映像信号の特徴
に対応させ、例えば （１）再生音量、（２）複数用いるスピーカの再生バラ
ンス、（３）再生信号の周波数特性（イコライジング特
性）（４）音響信号処理装置で音響信号に付加する残響
信号の特性（具体的には畳込み演算で使用するインパル
ス応答）、（５）直接音（壁などで反射せず直接聴取者
に到達する音）と反射音の大きさ、バランスおよび到達
時間差、などを記憶する。

【００１５】この記憶すべきパラメータについて、更に
説明を加える。上記の（１）（２）の制御はともに音響
信号の音量に関連するものであり、これは音響信号の出
力アンプのゲインを調整することで実現できる。従っ
て、（１）（２）の処理において記憶するパラメータは
再生装置のゲインデータとすればよい。（３）〜（５）
の処理は、デジタル信号処理の畳み込み演算を利用する
処理であり、このデジタルフィルタは、例えば図２０に
示すように、遅延素子、乗算器、及び加算器で実現でき
る。このデジタルフィルタには音響信号をデジタル化し
たものを入力し、遅延素子によりサンプル時間の整数倍
の遅延を行なった後、その遅延出力を乗算器に入力す
る。各乗算器は、入力された音響信号データと予め設定
された係数を掛け合わせ、その結果を加算器に出力す
る。加算器は各乗算器の出力を全て足し合わせ、このフ
ィルタの出力とする。この実施例のデジタルフィルタで
は、乗算器の係数を変更することで音響信号のイコライ
ジング特性や残響特性が調整できる。このデジタルフィ
ルタを使用して、例えば会話の明瞭度を改善するには、
明瞭度を低下させる要因である低域信号成分の通過を制
限するような低域遮断特性のフィルタ係数を使用すれば
よい。また、残響信号を付加するにはインパルス応答の
継続時間が長くなるような低域通過フィルタの係数を用
いれば良い。

【００１６】図２１は直接音と間接音を処理して音像を
定位させるために使用する回路の一実施例である。本回
路は、１系統の信号をステレオ処理するための左右信号
処理回路１９０、１９１と信号分配回路１７０からな
る。左右の信号処理回路は同一の構成であるので、ここ
では右チャンネルの処理回路により、その構成、および
動作を説明する。この信号処理回路はデジタルフィルタ
１７１〜１７３、ゲイン調整回路１７４〜１７６、加算
回路１７７から構成される。図示したようにデジタルフ
ィルタを複数個使用することで、直接音と間接音を別々
に作成し、その出力信号の周波数特性と混合比が調節出
来る。このように作成した左右のチャンネルの信号をス
テレオ再生することで定位の優れた音響信号を作成する
ことも可能である。この音像定位を行なう場合はデジタ
ルフィルタの係数をデータベースに記憶するとともに、
直接音と間接音の混合比（具体的にはゲインの値）も併
せて記憶させておけばよい。

【００１７】次に記憶した音響処理のデータの使用例を
簡単に説明する。例えば、相手通信サイトから伝送され
てきた映像信号に人物が含まれており、その人物の口の
映像が変化しているような場合を想定する。この映像で
は、図２の映像信号解析装置１１はこの映像を会話を行
なっている時の映像と解釈する。この場合、映像と共に
送られた音響信号はその人物の音声であるので、音声信
号の明瞭度を改善するために低域の信号を抑制するよう
なデジタルフィルタの係数をデータベースから得て、こ
れを用いてフィルタ処理を行なう。また、人間の音声で
ある場合は、高域の信号周波数は７ｋＨｚ程度までしか
なく、同時に７ｋＨｚ以上の高域遮断に遮断特性を持つ
フィルタリング処理をして高域に含まれる雑音を除去す
る様にする。このように人物という対象に対して、低域
抑制と高域遮断特性をもつデジタルフィルタの係数をデ
ータベースに登録しておくことで、会話に適した音響特
性とすることができ、臨場感の改善につながる。なお、
伝送映像からの人物の口元に音像を定位する際は、図２
１の回路を使用し、デジタルフィルタの係数と直接音と
間接音の混合比を設定すればよい。

【００１８】図３は映像信号解析装置の実施例を示した
ブロック図である。この図を用いて映像信号解析装置
２、１１の基本構成、及び動作を説明する。映像信号解
析装置２は入力した映像信号の色信号を評価する色信号
評価回路２１、空間周波数を評価する周波数評価回路２
２、輝度信号のレベルやその分布を評価する輝度信号評
価回路２３、および映像の曲線と直線の比率を解析する
曲線／直線評価回路２４から構成する。なおこの図では
明示していないが、上記の評価回路はそれぞれの特性の
時間的推移を検出評価する機能もある。図３には理解を
容易にするため、図２のＡＶ分離回路１とＡＶデータベ
ース１２も記した。

【００１９】ここで映像信号の色、輝度、周波数および
構成線分（曲線／直線）の特性を評価する理由を簡単に
説明する。

【００２０】まず色信号を音響信号処理回路のパラメー
タ制御に用いる理由を説明する。従来より心理学の分野
では色とその心理効果に関する研究が行われてきた。表
示する映像の全体的な色調はその映像の印象を表現し、
視聴者に与える心理効果を左右する。例えば色彩の豊富
な映像とモノトーンの映像では得られる印象は大きく異
なる。一例として、赤色を多く含む映像の印象は『活発
・情熱的』という言葉によって表現できるといわれてい
る。また単一色やモノクロ映像からは『静寂・落ちつ
き』といった言葉に代表される印象が得られる。映像と
音響の作り出す印象に不整合が生じると視聴者はちぐは
ぐな印象を受ける。映像信号の色成分を判定し、これに
応じて音響信号を加工することで、音の印象と映像の印
象の不整合を防止し臨場感を高められる。

【００２１】映像による情景表現では輝度信号も色信号
と同様に視聴者に与える印象を左右する。例えば、低輝
度から高輝度まで広範囲の輝度分布をもち高コントラス
トの映像はどちらかと言うと『活発』な印象を与える。
これに対し、低輝度部分に多くの分布をもつ映像は『暗
い、静寂、落ちつき』といった印象を与える場合が多
い。従って映像信号の輝度分布を評価し、その信号分布
に応じて映像の持つ印象を解釈して音響信号処理装置を
制御することで、映像のもつ印象と整合のとれた音響表
現が可能となる。

【００２２】さらに映像の空間周波数成分の違いも与え
る印象に影響を及ぼす。従って空間周波数成分を解析
し、その解析結果に応じて音響信号処理特性を制御する
ことで臨場感が高められることは容易に類推できる。空
間周波数適応の制御では、例えば、映像信号の空間周波
数成分が低域に多く存在する（映像の解像度が低い）場
合、音響信号も高域を遮断するフィルタにより明瞭度を
低下させる処理を行う。

【００２３】また、映像に含まれる線分の構成比率（直
線／曲線）を評価することでも映像の内容（印象）に応
じた音響信号処理回路の制御が可能である。すなわち映
像に含まれる線分はその映像が人工的な被写体を写した
映像か、あるいは自然物を表示するものかを判定する基
準になる。一般に、直線成分が多い映像は人工物を、曲
線主体の映像は自然物を表示する映像である傾向にあ
り、人工物／自然物に応じて音響信号も人工的にする／
しないを制御すれば、より映像に整合した音響信号再生
が可能となる。

【００２４】なお、上記において映像信号の特徴を評価
する意義に付いて説明したが、図３の評価回路は２１〜
２４は上記に説明したような映像信号の特徴を解析し、
この結果をＡＶデータベース１２の制御信号として出力
する働きがある。なお本発明の主旨は映像信号の特徴に
より音響信号の処理特性を制御することにあり、評価す
る映像信号の特徴、その評価方法はいかなるものであっ
てもかまわない。

【００２５】図４は映像信号解析装置のその他の実施例
である。この実施例は図２のＡＶデータベース１２を用
いた場合に好適な実施例である。本実施例の特徴は映像
信号の評価にパターンマッチングの手法を用いることに
ある。すなわち入力している映像信号とＡＶデータベー
ス１２に格納してある映像信号の類似度をパターンマッ
チング手法により判定し、一番特徴が類似している映像
に対応した音響信号の加工パラメータを利用するように
動作する。例えば、図４に示したように入力映像は人物
の映像２６であると仮定する。ＡＶデータベース１２か
らの参照信号としてここでは一人の人物、多数の人物、
さらに風景などの自然画２７が出力されるとする。パタ
ーンマッチング装置２５は入力信号２６と参照信号２７
の間でパターンマッチングを行い、どの映像に一番類似
しているかを判定する。この例では、明らかに一人の人
物が一番高い類似度を与える。この結果を基にパターン
マッチング回路はＡＶデータベース１２をアクセスして
音響信号処理装置の制御パラメータを決定する。例えば
人物の会話映像と解析した時は音響信号加工装置の加工
パラメータは、一人の人物が話す時に最良に聞こえるよ
うに音響信号の残響を減らす（会話の明瞭度を高め
る）、音の大きさを通常の人間が話すレベルする、音像
を定位する位置を人間の口元になるようにパラメータ設
定する。

【００２６】なお本実施例では参照信号、入力信号とし
て画像信号を用いて画像信号間のマッチングを求める方
法により類似映像を求めているが、例えば前処理として
映像の内容を理解するような画像認識技術を用い、その
認識結果に応じて音響信号処理装置を制御するようにし
ても同様の効果が得られることは容易に理解できる。

【００２７】図５は、図２の実施例の変形を示すブロッ
ク図である。この実施例では、ＡＶ分離装置１で音響信
号と分離した映像信号を映像信号解析装置２９に入力す
ると同時にシーン変化検出回路２８にも入力する。この
シーン変化検出回路２８を付加した点が図２の実施例と
異なる点である。シーン変化検出回路２８は入力した映
像信号のシーン変化を検出する。映像のシーン変化を検
出する理由は、連続する映像フレームのなかから意味の
ある映像群を抽出し、これに音響信号加工のパラメータ
を割り付けるためである。通常、映像信号は数秒から数
十秒の連続する映像群から構成されることが多く、シー
ン変化後にだけ音響パラメータを変更することでも本発
明の目的を十分達成することが可能であるからである。
さらにつけ加えるならば、僅かな映像の変化に応じて逐
次音響信号の処理特性を更新することは、視聴者に対し
繁忙感等の不快感を与えることが経験的に知られてお
り、シーン変化時だけ特性を更新するようにすることで
不快感の発生を防止する狙いもある。なお、シーン変化
後の音響信号処理パラメータの更新方法は緩やかに変化
させることが好ましい。人間は急激な音質、音量の変化
には敏感であり、特性を緩やかに更新することで音響パ
ラメータの更新を聴取者に特に意識させない、すなわち
不快感を誘発しない制御を行うことが可能になる。

【００２８】図６はシーン変化検出回路２８の一実施例
である。本回路は画像メモリ３０、画像メモリ３１、色
相変化検出回路３２、輝度変化評価回路３３、動きベク
トル評価回路３４、および上記評価回路の評価結果を判
定する総合判定回路３５から構成する。映像信号のシー
ン変化を検出するには映像の時間的な変化を評価する必
要があることは容易に理解できる。画像メモリ３０と画
像メモリ３１は時間的な映像特性の変化を解析するため
に用いる。例えば画像メモリ３０には最新の映像信号
を、画像メモリ３１には１フレーム前の映像信号を格納
する。映像の変化を検出する手法はいくつか考えられる
が、この実施例では２枚の画像の色変化、輝度変化、動
きベクトルを検出するように構成してある。映像のシー
ンが変化すると色相が変化する。そこで画像メモリ３０
と画像メモリ３１の信号において画像の３原色（ＲＧ
Ｂ）毎に色の差分信号を求めこれを累積し、この累積結
果を閾値で処理して判定することで色相の急激な変化を
検出する。なお、この色相検出は画像を構成する全ての
画素点で実施する必要は必ずしも無く、間隔をおいた代
表的なサンプル点だけで検出しても効果は十分に得られ
る。色相変化を検出する回路の実施例を図７に示す。

【００２９】輝度の変動も色相と同様にシーン変化を検
出する手がかりとなる。輝度信号の変動も図７の実施例
と同様な回路構成で検出できることは容易に類推でき
る。

【００３０】ところで映像の意味・内容が変化しないに
もかかわらず、色相や輝度信号レベルが変化する場合が
ある。例えば映像を撮影しているカメラがパン（左右の
動き）やチルト（上下の動き）した時や、撮影レンズを
ズームした時である。これらの撮影動作は内容的には一
連の映像を取得しているにもかかわらず、色相やパター
ンマッチングの評価結果からはシーン変化が検出される
場合がある。カメラの移動やズームでは音の発生位置や
遠近感を制御することはあるが、残響時間の変更や音質
の変更等は必要ない。そこでカメラの動き、レンズのズ
ームはシーン変化とは独自に検出するのがよい。図６の
実施例ではこの目的のため動きベクトル評価回路３４を
用いる。動きベクトルの評価では対象映像を格子状に分
割し、その格子点近傍において画像メモリ３０と画像メ
モリ３１の映像間に発生した動きを検出する。各々の検
出点において、動きベクトル（動き方向と量）評価する
ことでカメラの動き、レンズのズームと被写体自体の動
きを区別できる。例えばカメラをパン、チルトした時は
全ての検出点において同一方向（パン：左右一様、チル
ト：上下一様）の動きベクトルが検出される。またズー
ムでは光軸を中心にベクトルの方向は放射状に観測され
る。このような動きベクトルが観測された時は映像のシ
ーン変化ではなく、パン、チルト、もしくはズーム動作
であると解釈する。総合判定回路３５は、色相変化検出
回路３２からの検出結果、輝度変化評価回路３３からの
評価結果、及び動きベクトル検出回路３４で検出した動
きベクトルを用いて映像にシーン変化が発生したかを総
合的に判定する。そして映像に真のシーン変化があると
検出した時だけ映像信号変化を示す制御信号を発生す
る。またカメラの移動、レンズのズームに対しては音像
の移動や遠近制御だけを行う。以上に説明した制御によ
り音響信号処理装置のパラメータを更新することで意味
のある映像の塊ごとに適切な音響信号が再現できる。

【００３１】図８は図６図の変形を表すブロック図であ
る。図６の実施例では映像信号の特徴解析を常に行い、
音響信号パラメータの更新をシーン変化を検出した時に
実施するような構成であった。これに対し、図８の実施
例ではシーン変化を検出した時だけ映像信号解析装置５
０が動作する構成としてある。すなわち映像信号解析装
置５０はシーン変化検出回路２８の制御信号によっても
制御される接続としてある。この様に映像信号が変化し
た時のみ映像解析を行うことの効果は映像信号の特徴を
汎用のプロセッサを用いて解析する時に得られる。例え
ば映像の特徴解析やその他のシステム制御を同一のプロ
セッサで実行するシステムでは、シーンが連続する間は
映像の特徴解析動作を休止することでプロセッサの演算
負荷を減少させられる。映像解析の負荷が減少し余剰に
なった演算能力はその他の信号処理やシステム制御等に
振り向けることが可能になり、システム全体の性能が向
上するといった効果が得られる。

【００３２】図９は図１並びに図２の実施例の変形例で
ある。図９は図２の実施例にユーザインタフェース装置
５１を加えた構成である。このユーザインタフェース装
置５１としては例えばキィボード、マウスやペンタブレ
ットといった装置が利用できる。本実施例ではこれらの
ユーザインタフェース装置５１からの制御信号も音響信
号処理装置３の特性制御に用いる点が図２の実施例とは
異なる。補助信号はユーザの音響パラメータ設定要求信
号、あるいは画像の属性を記述する制御信号などであ
る。

【００３３】以下、図１０を用いて補助情報の利用例を
説明する。図１０は図９の実施例の装置の表示画像の例
である。この例では通信相手からの映像情報６１と、そ
の他の映像情報６０、６２を画面に同時に表示してい
る。図１０のアイコン領域７２には会議参加者やユーザ
が直接利用していない映像などをアイコン化して表示し
てある。アイコン化した映像に音響信号が付随している
場合は、この音響信号を聴取可能でかつ作業の妨げにな
らない状態で利用者に提供してもよい。それには、アイ
コン化した映像に対応した音響は画面上に定位させず、
例えば後方や側面に配置したスピーカ６３、６３’から
再生する。この場合補助情報は、『再生している情報は
アイコン化されている』でありこの情報は操作者がこの
ウィンドウをマウス等を用いてアイコン化したときに発
せられる。音響信号処理装置ではこのアイコン化されて
いる場合に再生するスピーカ位置を後方／側面となるよ
うに制御する。また、補助情報としてはアイコン化した
映像に付随した音響信号は再生しないといった制御を行
ってもよい。この時、後述するように通信先から伝送さ
れた音響信号を何らかの方法で映像化して表示する方法
を利用する。

【００３４】図１１は図９の変形を表す実施例である。
この実施例は音響信号解析装置６５を設けた点が図９の
実施例とは異なる。この音響信号処理装置６５はＡＶ分
離回路１により分離した音響信号の特性を解析し、音響
信号の特徴に応じて映像信号の加工方法を制御するよう
に動作する。すなわち音響信号によって映像信号の処理
方法を制御する点が新規である。その他の動作、例えば
映像信号に応じて音響信号処理パラメータを変更する等
は図９の実施例と同様なのでここでの説明は割愛する。

【００３５】以下、図１２を用いて図１１の装置の動作
を説明する。図１２は図１１の装置により表示される通
信画像の一例である。この表示例では通信画像の他にコ
ンピュータのテキスト画面７０やＣＧ（Computer graph
ics）画面７１を同時に表示したマルチ画面表示であ
る。図１２のように一台の表示装置に多数のウィンドウ
を表示した場合、不要になった映像は一般的にアイコン
化して表示することが多い。この様にアイコン化した時
に音響の再生を側方や後方のスピーカにすることは図９
の実施例で既に述べた。本実施例では音響信号を再生せ
ず映像として可視化して表示する実施例を説明する。こ
こでは映像に付随した音響信号の大きさに連動させてア
イコンの表示サイズを制御する。例えば、大きなレベル
の音響信号ではアイコンサイズも大きく、また音が小さ
なウィンドウは小さなアイコンで表現する。音響を伴っ
た映像において音の大小は重要な情報であり、音響信号
の大小をアイコンサイズの大小で直感的に理解できる形
で表示することはユーザに優れたインタフェースを提供
できる。

【００３６】図１３は図１２の表示を実現するための装
置構成例である。本実施例では音響信号レベル検出回路
７８〜８１とアイコンサイズ制御回路８４を含むアイコ
ン生成回路８３、および映像信号処理回路８２から構成
する。映像と音からなるＡＶ信号はＡＶ分離回路７４〜
７７により映像信号と音響信号に分離する。分離した音
響信号はそのレベルを計測する音響信号レベル検出回路
７８〜８１に入力する。この音響信号レベル検出回路７
８〜８１は、入力された音響信号のレベルを検出し、そ
の検出結果に応じてアイコン生成回路８３のアイコンサ
イズ制御回路８４を制御する。例えば、検出した音響信
号のレベルが小さな時はアイコンサイズを小さくするよ
うに、また音響レベルが大きな時にはアイコンサイズを
大きくするように制御する。図１３の装置を上記の様に
動作させることで図１２に示した様な映像表示が可能に
なる。なお、音響信号レベルは瞬時値を計測するよりも
一定期間内の平均的な音量を計測することが好ましい。
アイコンサイズを瞬時的な音の大小に連動させて頻繁に
変更することはユーザに対し煩わしさを生じさせるの
で、長時間平均のレベルを用いるサイズ制御により煩わ
しさを防ぐこ方が良い。

【００３７】図１４は、音響信号を解析して映像信号を
加工するその他の実施例の画面構成例を示した図であ
る。この例では音響信号の調子（トーン）を解析し、こ
の解析結果に応じて映像信号の色彩を制御する。例えば
長調と解析された音響信号をふくむ映像信号は赤色系統
の色により表示し、短調と解析された場合は青色系の映
像により、またいずれのトーンでも無いときは中性灰色
でそのトーンを表現するようにする。もちろん音響信号
のトーンは数字や文字によっても表現可能であるが、色
によってトーンを表現することはよりユーザの感性に訴
える方法であり直感的な理解を容易にする方法である。
古来より音色（ねいろ）という言葉が表すように、音響
信号の調子と色の間には密接な関係があり、音響信号の
調子を色で表現することは妥当な方法である。但し、色
と音の対応関係には個人差があること、人種間で異なる
こと、また生活環境、経験などによって異なることもあ
るのでユーザの好みに併せて対応関係を設定可能にして
おいても良い。

【００３８】図１５は上記の色と音響信号のトーンを関
連づけて表示させるための装置の構成例である。図１３
と同様に、ＡＶ信号７４〜７７から分離した音響信号を
音響信号解析装置９０〜９３に入力する。この音響信号
解析装置９０〜９３は、例えば和音の構成、メロディラ
イン（音のつながり）を解析してトーンを判定する。そ
の判定結果をアイコン生成回路９４のアイコン表示色制
御回路９５に出力する。アイコン表示色制御回路９５は
音響信号解析回路の制御信号によりアイコン化した映像
の表示色を制御する。先にも述べたように、例えば長調
の音響信号であれば赤色系の表示を、また短調であれば
青色の表示色を、さらにいずれでも無いときは中性灰色
を用いてその音響信号のトーンを表現する。この様に表
現されたアイコン映像は映像信号処理回路９６において
表示映像の所定の位置に配置され、表示装置によって表
示する。

【００３９】図１６は映像をアイコン化しないが操作対
象ではない映像において音響のトーンを表現する方法で
ある。アイコン化していないので表示装置の画面におい
て映像の全てを見ることができる。しかし操作対象では
ない映像の音響をスピーカによって再生すると操作や思
考の妨げになることがあるので、音響再生は行わずその
調子を画面中の小さな表示領域１０１、１０３を用いて
表現する。音響特性表示領域１０１、１０３にはその音
響信号のトーンを色にて表示する。なお、この時音響信
号レベルの変動等も折れ線グラフ１０４、１０５などで
表示すればさらに理解しやすいユーザインタフェースを
提供できることは容易に理解できる。

【００４０】図１７は音響信号と映像信号の統合制御装
置のその他の実施例である。本実施例ではＡＶ統合制御
装置１１１を設けた点が新規な点である。このＡＶ統合
制御装置にはユーザインタフェース装置５１からの信号
と、システム制御装置からのイベント信号１１０を入力
する。ＡＶ統合制御装置１１１はユーザインタフェース
装置５１からの信号を解析とイベント情報１１０を解析
し、音響信号処理回路３と映像信号処理回路１１２を制
御する信号を発生する。音響信号処理回路３と映像信号
処理回路１１１はＡＶ分離回路１によって分離した音響
信号と映像信号を処理する。さらに後述するが、これら
の信号処理回路ではユーザの注意を喚起するための効果
音効果映像を発生する働きもある。

【００４１】図１８は図１７の実施例の動作を説明する
ために本実施例の表示画面の例を示した図である。大画
面、あるいは複数画面を使ったテレビ会議、監視装置に
おいては画面面積が大きなため、注視している映像領域
（ここではテキスト領域１１３）以外で変化（例えばテ
レビ電話の通話要求が発生した画像１１４）が発生して
も利用者が気が付かない場合がある。図１８の実施例
は、注視領域以外でイベント、異変が発生した際に、す
ばやくかつ分かりやすく利用者に通報するための方法を
提供する。そのため、ＡＶ統合制御回路１１１はユーザ
インタフェース装置５１からの信号とイベント情報１１
０を利用する。ＡＶ統合制御回路１１１は、現在利用者
が注視している画像領域をユーザインタフェース装置
（キー入力やマウス操作、ペンタブレットの操作位置）
５１の入力状況から判定し、その操作領域を起点にユー
ザの注意を誘導する表示を行うように映像信号処理回路
１１２を制御する。例えば図１８の例ではユーザの操作
位置がテキストウィンドウ１１３であるので、この近傍
に映像マーカ１２０をまず表示し、その後イベントが発
生したウィンドウ（例えば画像１１４）に向かって映像
マーカ１２０を移動させる。またＡＶ統合制御回路１１
１は同時に音響信号処理回路３を制御し、ユーザの注意
を喚起するための通報音１２１を映像マーカ１２０に連
動させて定位する。そしてこの音像を映像マーカ１２０
と同様にイベント・異変の発生した画像領域１１４に移
動させる。最終的な映像マーカ位置、音像位置はウィン
ドウ１１４の近傍とする。本実施例の特徴は、音像の定
位位置を注視領域からイベント発生領域に移動させるこ
とで利用者の意識を音により誘導することにある。音像
を単にイベント発生領域に定位させるだけでなく、移動
させることで音像定位感の誤認を減少させ、より正確な
位置の指摘が可能となる。映像のマーカのみの注意誘導
ではマーカを見なければイベント発生領域を知ることが
出来ないのに対し、音響による誘導を行うことで視覚的
にマーカを見逃してもイベントの発生画像領域を知覚で
きるといった新しい効果が得られる。

【００４２】図１９は図１８の注視画像領域から音像を
矢印に沿ってイベント発生領域に移動させる際の音量の
制御特性の一例を示した図である。図１８の実施例では
水平方向に３組（左右＋中心）、上下方向に２列のスピ
ーカを配し、これらのスピーカの再生音量バランスを制
御することで音像移動を実現している。なお図１９の制
御特性の横軸は時間経過、縦軸は再生音量を表してい
る。

【００４３】以上説明したように映像マーカ１２０と音
像マーカ１２１を連動させ、ユーザの注目領域からイベ
ント発生画像領域に移動させることでよる使い勝手の優
れたユーザインタフェースが実現できる。

【００４４】

【発明の効果】以上、本発明によれば、映像信号の状況
を解析してその都度適切な音響信号を処理して付加する
ため、臨場感の優れた映像・音響信号空間を作り出すこ
とができる。このような映像によく適合した音響信号を
映像信号に付加することにより、臨場感のみならずユー
ザにとって操作性の優れた映像・音響システムを構築す
ることが可能になる。

【図面の簡単な説明】

【図１】本発明による映像と音響信号の統合制御装置の
構成を示すブロック図。

【図２】本発明による映像と音響信号の統合制御装置の
構成を示すブロック図。

【図３】映像信号解析装置の構成を示すブロック図。

【図４】解析装置の動作を説明する図。

【図５】シーン変化検出回路を備えた音響と映像の統合
制御装置の構成を示すブロック図。

【図６】シーン変化検出回路の構成を示すブロック図。

【図７】色相変化検出回路の実施例を示すブロック図。

【図８】画像解析装置のその他の実施例を示すブロック
図。

【図９】ユーザインタフェース装置を備えた本発明の実
施例を示すブロック図。

【図１０】本発明の装置により表示される画面の構成
例。

【図１１】音響信号解析装置を備えた統合制御装置の実
施例を示すブロック図。

【図１２】本発明において音量によってアイコンサイズ
を制御する画面の構成例。

【図１３】本発明において音量によってアイコンサイズ
を制御する画面の構成例。

【図１４】音響信号のトーン等によってアイコン表示方
法を変更する装置による画面の構成例。

【図１５】音色によってアイコンの色の制御を実現する
装置の構成を示すブロック図。

【図１６】音色によってアイコンの色の制御を実現する
装置により示される画面構成例。

【図１７】ＡＶ統合装置により映像と音響を同時に制御
し、映像マーカと音像定位によりユーザの注意を促す装
置の構成を示すブロック図。

【図１８】図１７に示す映像マーカと音像定位によりユ
ーザの注意を促す装置による表示画面の構成例。

【図１９】各スピーカの制御特性を示す図。

【図２０】音響処理用デジタルフィルタの構成そ示すブ
ロック図。

【図２１】音像定位用信号処理回路の実施例を示すブロ
ック図。

【符号の説明】

１…ＡＶ分離装置、２…映像信解析装置、３…音響信号
処理装置、４、４’…スピーカ装置、５…表示装置、１
１…映像信号解析装置、１２…ＡＶデータベース、２１
…色評価回路、２２…周波数評価回路、２３…輝度信号
評価回路、２４、曲線／直線評価回路、２５…パターン
マッチング回路、２６…対象画像、２７…参照画像群、
２８…シーン変化検出回路、３０、３１…画像メモリ、
３２…色相変検出回路、３３…輝度変化検出回路、３４
…動きベクトル評価回路、３５…総合判定回路、３６、
３９、４２…差分回路、３７、４０、４３…累積回路、
３８、４１、４４…比較回路、４５…論理和回路、５０
…画像解析装置、５１…ユーザインタフェース装置、５
２…後方スピーカ装置、６０、６１、６２…表示画像、
６５…音響信号解析装置、６６…映像信号処理装置、７
２…アイコン領域、７８、７９、８０、８１…音響信号
レベル検出回路、８４…アイコンサイズ制御回路、９
０、９１、９２、９３…音響信号解析装置、９５…アイ
コン表示色制御回路、１０１、１０３…音響特性表示領
域、１１１…ＡＶ統合制御装置、１２０…音響マーカ、
１２１…音像マーカ、１５０〜１５４…遅延素子、１５
５〜１６１…乗算器、１６２加算器、１７０…分配器、
１７１〜１７３…デジタルフィルタ、１７４〜１７６ゲ
イン調整回路、１７７…加算回路、１９０…右信号処理
回路、１９１…左信号処理回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 生澤 満 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 鈴木 敏明 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内

Claims (9)

【特許請求の範囲】
1. 【請求項１】少なくともオーディオ信号と映像信号を含
   む複合信号を複数受信しその複合信号から映像と音響を
   再生するシステムであって、再生する映像信号の特徴を
   解析する手段と、解析された映像信号の特徴に応じて制
   御特性を変更可能な音響信号処理手段とを備えたことを
   特徴とする映像信号と音響信号の統合制御装置。
2. 【請求項２】少なくともオーディオ信号と映像信号を含
   む複合信号を複数受信しその複合信号から映像と音響を
   再生するシステムであって、再生する映像信号の特徴を
   解析する手段と、映像信号に対応した音響信号再生パラ
   メータを記憶しているデータベース手段と、データベー
   ス手段からの再生パラメータにより信号処理特性を更新
   可能な音響信号処理手段とを備えたことを特徴とする映
   像信号と音響信号の統合制御装置。
3. 【請求項３】少なくともオーディオ信号と映像信号を含
   む複合信号を複数受信しその複合信号から映像と音響を
   再生するシステムであって、再生する映像信号の特徴を
   解析する手段と、再生する映像信号の特徴の不連続を検
   出する手段と、解析した映像信号の特徴と映像信号の特
   徴の不連続性を検出する手段の制御信号により特性を制
   御可能な音響信号処理手段を備えたことを特徴とする映
   像信号と音響信号の統合制御装置。
4. 【請求項４】少なくともオーディオ信号と映像信号を含
   む複合信号を複数受信しその複合信号から映像と音響を
   再生するシステムであって、映像信号の特徴の不連続を
   検出する手段と、映像特徴に不連続が検出された時に入
   力映像の特徴を解析する手段と、解析した映像信号の特
   徴に応じて特性を制御可能な音響信号処理手段とを備え
   たことを特徴とする映像信号と音響信号の統合制御装
   置。
5. 【請求項５】少なくともオーディオ信号と映像信号を含
   む複合信号を複数受信しその複合信号から映像と音響を
   再生するシステムであって、再生する音響信号を解析す
   る手段と、解析した音響信号の特性に応じて制御可能な
   映像信号処理手段とを備えたことを特徴とする映像信号
   と音響信号の統合制御装置。
6. 【請求項６】少なくともオーディオ信号と映像信号を含
   む複合信号を複数受信しその複合信号から映像と音響を
   再生するシステムであって、いくつかの受信信号をアイ
   コン化して表示する表示手段と、アイコン化した複合信
   号の音響信号の音の大きさを検出する手段と、検出した
   音響信号の大きさに応じてアイコンの表示サイズを制御
   するアイコン制御手段を設けたことを特徴とする映像信
   号と音響信号の統合制御装置。
7. 【請求項７】少なくともオーディオ信号と映像信号を含
   む複合信号を複数受信しその複合信号から映像と音響を
   再生するシステムであって、いくつかの受信信号をアイ
   コン化して表示する表示手段と、アイコン化した複合信
   号の音響信号の内容を解析する手段と、解析した音響信
   号の内容に応じてアイコン表示色を制御する手段とを備
   えたことを特徴とした音響信号と映像信号の統合制御装
   置。
8. 【請求項８】少なくとも映像信号と音響信号とを含む複
   合信号を複数受信しその信号から映像信号と音響信号と
   を再生するシステムであって、映像信号の色信号、空間
   周波数信号、輝度信号、画像を構成する線分の特徴を解
   析するための少なくとも一つ以上の映像解析手段と、映
   像解析手段からの制御信号により制御可能な音響信号処
   理手段を設けたことを特徴とする映像信号と音響信号の
   統合制御装置。
9. 【請求項９】少なくとも映像信号と音響信号を含む複合
   信号を複数表示再生可能なシステムであって、操作者の
   操作状況を計測するユーザインタフェース手段と、この
   ユーザインタフェース手段から操作者の操作対象画像領
   域を検出する手段と、操作者の操作対象画像領域近傍か
   ら任意の映像領域に映像を移動させる手段と、この映像
   移動に同期して音像を移動させる音響信号処理手段とを
   備えたことを特徴とする映像信号と音響信号の統合制御
   装置。