JP2691185B2 - 音像定位制御方式 - Google Patents

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明はビデオ信号に含まれる顔、口、楽器等の発
音体の画像パターンを識別抽出し、その発音体画像パタ
ーンの表示画面上の位置座標の計数結果に基づいて、そ
の発音体の音像定位を動的に移動させる音像定位制御方
式に関するものである。

「従来の技術」 多地点間のテレビ会議に関して、各地点から送られて
くるオーディオ信号とビデオ信号を受信し、これらのビ
デオ信号を分割画面で同一の表示画面で会議の臨場感を
再現するように音像・映像の再生・表示を行う通信会議
システムが知られている。

第５図は従来のシステム例で、受信側の表示画面１に
３地点から送られてくるビデオ信号を分割画面２で同時
に合成表示している。表示画面１には発音体３である人
物、顔等が映し出され、各々の発音体３のオーディオ信
号はマイクロホン４を通じて会議の臨場感を再現させる
ために音像定位処理をほどこされて複数の再生スピーカ
５に出力される。会議に際しては会議を効果的に進行さ
せるため、会議内容に関連する物品類を実際に持ち込ん
で説明したり、黒板等の表示補助装置を用いて説明する
ことが多い。この場合人物とこれらの装置を映し出すた
めに視野が拡大し、その説明を行っている分割画面２は
臨場感の観点から他の地点から送られてくる人物・顔の
大きさに合わせるために相対的に前記他地点からの分割
画面２よりも表示領域が大きくなる。これに伴なって音
像定位の範囲６がアンバランスになり（ａ＞ｂ＝ｃ）音
の臨場感が低下するという欠点がある。即ち表示領域が
大きい分割画面２に含まれる発音体３が左右に移動した
際の音像定位精度が他に比べて相対的に低下し、画面全
体の音像定位精度が不均一になり自然さが損われる欠点
がある。

これに対処するため表示領域が大きい分割画面２に対
しては、送信側にマイクロホン４の個数を増加して設置
する方法が考えられるが、分割画面２の相対的比率を考
慮して送信側で逐次マイクロホン４の個数を調整する必
要があり、これが通信会議設営の簡便性・容易性を低下
させるとともに、各マイクロホンから入力された信号を
通す通信回線数が増加し、通信コストを増加させるとい
う欠点がある。

更にマイクロホン４を増加させても上下方向の微小な
音像定位を再現し難いという欠点もある。

この発明の目的は通信会議の臨場感を効率的に再現す
ることをねらいとし、上記従来の欠点を除去するため、
ビデオ信号に含まれる顔、口、楽器等の発音体と画像パ
ターンを識別抽出し、その発音体画像パターンの表示画
面上の位置座標の計数結果に基づいて前記発音体の音像
定位を前記発音体画像パターンの動きに追従して動的に
移動させる音像定位制御方式を提供することにある。

「課題を解決するための手段」 この発明によればオーディオ信号、ビデオ信号を含む
信号を受信し、これを信号分配手段でオーディオ信号と
ビデオ信号とに分配し、その分配されたビデオ信号に含
まれる、その再生画面上の画像パターンのうち顔、口、
楽器などの音を発する発音体の画像パターンを識別抽出
し、画面上のその発音体の画像パターンの位置座標が発
音体位置座標抽出手段で抽出され、その抽出された位置
座標に追従して音像定位が音像定位処理手段により形成
される。

つまりこの発明は発音体の画像パターンの動きに追従
してその発音体の音像定位を動的に変化させ、その発音
体の画像パターン位置と発音体の音像定位位置とを一致
させるように音像定位を制御する。

第６図はこの発明の特徴例を示している。従来の技術
との相違点は、発音体の動きを精度高く音像定位させる
ため、送信側のマイクロホン個数を増加させることな
く、発音体３の画像パターン７を追従し画面２における
発音体３の位置座標（x,y）を計数し、これに基づき音
像定位させる点である（第６図Ａ）。

第６図Ｂは画像パターン７に連動してタイピン形マイ
クロホン等の単一のマイクロホン４より入力されたオー
ディオ信号から音像定位するための複数の再生スピーカ
５に出力するイメージを示している。

第７図は精度の高い音像定位を実現するための再生ス
ピーカ５の配置と映像を出力する表示画面１との関係
（正面図）を示している。第７図Ａは表示画面１の周囲
に再生スピーカ５を複数個設置する形態、同図Ｂは表示
画面の裏側に再生スピーカ５を複数個設置し、表示画面
の中から音が発生するように感じさせる形態である。同
図Ｃは同図Ｂの形態を更にきめ細かく設置した形態であ
る。

「実施例」 第１図はこの発明の実施例の構成を示すブロック図で
あって、10は入力端子、20はビデオ信号、21はオーディ
オ信号、22は画面合成したビデオ信号、30はビデオ出力
端子、40はオーディオ再生出力端子、100は信号分配合
成部、200は発音体位置座法抽出部、300は音像定位処理
部、310は定位データメモリ、400は制御部である。

これを動作するには制御部400の指令により、信号分
配合成部100は入力端子10から転送された入力信号を受
信し、ビデオ信号20とオーディオ信号21とに分配し、オ
ーディオ信号21を音像定位処理部300に、又ビデオ信号2
0を発音体位置座標抽出部200に転送するとともに、定位
データメモリ310の内容に基づいて分配されたビデオ信
号を同一画面に分割表示するための画面合成を行い、画
面合成したビデオ信号22をビデオ出力端子30に出力す
る。

ビデオ信号20を受信すると、それぞれのビデオ信号を
対象にして発音体位置座標抽出部200は定位データメモ
リ310に格納されている識別用画像形状情報に基づいて
顔、口、楽器等の発音体３の画像パターン７の画像形状
を抽出しつつその発音体画像パターン７の動きに追従す
る画像処理を行うとともに発音体画像パターン７の画面
２における位置座標を計数し、その計数結果を音像定位
処理部300に転送する。転送が完了すると音像定位処理
部300はその計数結果に基づいて発音体画像パターン７
の動きの変化量、動きの方向等を算出し、その算出結果
に基づいて新たに動いた発音体画像パターンの位置に、
対応する音像定位を一致させるように信号分配合成部10
0から送られてくるオーディオ信号21に対して逐次音圧
差、位相差（時間おくれ）を制御して音像定位の移動処
理を行い、移動処理したオーディオ信号を逐次オーディ
オ再生出力端子40に出力する。発音体画像パターン７が
動いていない場合は、音像定位処理部300は現時点での
音像定位を保持してその保持オーディオ信号をオーディ
オ再生出力端子40に出力する。

第２図はこの発明中の発音体位置座標抽出部200の構
成例を示す。210は発音体画像追跡処理部、220は発音体
位置計数部である。

信号分配合成部100から転送されてくるビデオ信号に
対して発音体画像追跡処理部210は定位データメモリ310
に格納されている顔、口、楽器等の発音体の識別用画像
形状情報に基づいてその発音体の画像パターン７を追跡
処理を行う。その追跡処理結果に基づいて発音体位置計
数部220は画面２における発音体画像パターン７の位置
座標を計数し、その計数結果に基づいて音像定位の移動
を図る音像定位処理部300にその計数結果を転送する。

第３図はこの発明中の信号分配合成部の構成例を示す
ブロック図であって、110は信号分配部120は信号合成部
である。制御部400の指令により、信号分配部110は多地
点から送られてくる複数の信号を入力端子10を介して受
信し、その信号からオーディオ信号21とビデオ信号20と
を分配し、そのオーディオ信号21を音像定位処理部300
に、又ビデオ信号20を信号合成部120と発音体位置座標
抽出部200に転送する。転送受信後、信号合成部120は定
位データメモリ310に格納されている各ビデオ信号に関
する表示画面１での分割画面２の割当てデータに基づい
て分配されたビデオ信号20を同一画面に分割表示するた
めの画面合成を行い、画面合成したビデオ信号22をビデ
オ出力端子30に出力する。

第４図はこの発明中の音像定位処理部300の構成例を
示すブロック図であって、310は分割画面領域の割当て
データ、顔、口、楽器等の発音体の識別用画像形状情
報、現時点での音像定位状態等を格納する定位データメ
モリであり、320は音像移動制御部で、330は音像定位形
成部である。

音像移動制御部320は発音体位置座標抽出部200から転
送されてくる発音体画像パターンの表示画像上の位置座
標計数結果に基づいてその発音体画像パターンの動きの
変化量、動きの方向等を算出し、その算出結果を音像定
位形成部330に転送する。転送完了後、音像定位形成部3
30は定位データメモリ310に格納されている現時点での
音像定位状態と、前記算出結果に基づいて音像定位の移
動処理を逐次行い処理されたオーディオ信号をオーディ
オ再生出力端子40に出力する。音像定位の移動完了後、
音像定位形成部330は移動後の音像定位状態のデータを
定位データメモリ310に転送し、定位データメモリ310は
その定位状態のデータを用いて現時点での音像定位状態
のデータを書き換える。

なお複数の発音体の画像パターンを同時に抽出し、ビ
デオ信号が表示する画面上において同時に複数の発音体
画像パターンを追跡し、各々の発音体画像パターンの画
面上の位置座標を計数して複数の発音体画像パターンの
位置座標を並列処理して複数の画像とその音像について
定位させることもできる。

「発明の効果」 以上説明したように、この発明による音像定位制御方
式によれば、発音体の画像パターンを識別抽出しその画
像パターンの動きに追従して発音体の音像定位を動的に
変化させ、その発音体の画像パターン位置とその発音体
の音像定位位置とを一致させるように音像定位を制御す
ることから、通信会議の臨場感をきめ細く再現できる利
点がある。即ち分割された画面の表示領域の大きさに大
小が生じた場合にも、各発音体のオーディオ信号のみを
例えばタイピン形のマイクロホン等を介して受信し、そ
の発音体の各画像パターンの位置を識別抽出してその抽
出位置情報を用いることによって音像定位の精度を向上
させることができる利点がある。

また発音体の移動に伴う音像定位方法に関して送信側
のマイクロホンの個数を増加させる必要がなく、各々の
マイクロホンに付随する通信回線を確保する必要がない
ことから通信コスト面で優れているという利点がある。
またマイクロホンの個数を最小限にとどめられることか
ら設営の簡便性・容易性の点でも優れている。

【図面の簡単な説明】

第１図はこの発明の実施例の構成を示すブロック図、第
２図は第１図中の発音体位置座標抽出部200の構成を示
すブロック図、第３図は第１図中の信号分配合成部100
の構成を示すブロック図、第４図は第１図中の音像定位
処理部300の構成を示すブロック図、第５図は従来のシ
ステム例を示す図、第６図はこの発明の特徴例を示す
図、第７図は精度の高い音像定位を実現するための再生
スピーカ配置と映像を出力する表示画面との関係を示す
図である。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】オーディオ信号、ビデオ信号を含む信号を
   受信し、その信号から音像定位を形成し映像を合成して
   視聴者に再生・表示する制御システムであって、 前記オーディオ信号と前記ビデオ信号とを分配する信号
   分配手段と、 前記分配されたビデオ信号に含まれ、その再生画面上の
   画像パターンのうち顔、口、楽器等の音を発する発音体
   の画像パターンを識別抽出し、画面上のその発音体の画
   像パターンの位置座標を抽出する発音体位置座標抽出手
   段と、 前記抽出された位置座標に追従して音像定位を形成する
   音像定位処理手段とを具備することを特徴とする音像定
   位制御方式。