JPH01296900A - 音像定位制御方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明はビデオ信号に含まれる顔、口、楽器等の発音
体の画像パターンを識別抽出し、その発音体画像パター
ンの表示画面上の位置座標の計数結果に基づいて、その
発音体の音像定位を動的に移動させる音像定位制御方式
に関するものである。

「従来の技術」 多地点間のテレビ会°議に関して、各地点から送られて
くるオーディオ信号とビデオ信号を受信し、これらのビ
デオ信号を分割画面で同一の表示画面で会議の臨場感を
再現するように音像・映１象の再生・表示を行う通信会
議システムが知られている。

第５図は従来のシステム例で、受信側の表示画面１に３
地点から送られてくるビデオ信号を分割画面２で同時に
合成表示している。表示画面１には発音体３である人物
、顔等が映し出され、各々の発音体３のオーディオ信号
はマイクロホン４を通じて会議の臨場感を再現させるた
めに音数定位処理をほどこされて複数の再生スピーカ５
に出力される。会議に際しては会議を効果的に進行させ
るため、会議内容（二関連する物品類を実際に持ち込ん
で説明したり、黒板等の表示補助装置を用いて説明する
ことが多い。この場合人物とこれらの装置を映し出すた
めに視野が拡大し、その説明を行っている分割画面２は
臨場感の観点から他の地点から送られてくる人物・顔の
大きさに合わせるために相対的に前記他地点からの分割
画面２よりも表示領域が大きくなる。これ（二伴なって
音像定位の範囲６がアンバランスになり（ａ）ｂ＝ｃ）
音の臨場感が低下するという欠点がある。即ち表示領域
が大きい分割画面２に含まれる発音体３が左右に移動し
た際の音像定位精度が他に比べて相対的に低下し、画面
全体の音像定位精度が不均一になり自然さが損われる欠
点がある。

これに対処するため表示領域が大きい分割画面２に対し
ては、送信側にマイクロホン４の個数を増加して設置す
る方法が考えられるが、分割画面２の相対的比率を考慮
して送信側で逐次マイクロホン４の個数を調整する必要
があり、これが通信会議設営の簡便性・容易性を低下さ
せるとともに、各マイクロホンから入力された信号を通
す通信回線数が増加し、通信コストを増加させるという
欠点がある。

更にマイクロホン４を増加させても上下方向の微小な音
像定位を再現し難いという欠点もある。

この発明の目的は通信会議の臨場感を効率的に再現する
ことをねらいとし、上記従来の欠点を除去するため、ビ
デオ信号（ユ含まれる顔、口、楽器等の発音体の画像パ
ターンを識別抽出し、その発音体画像パターンの表示画
面上の位置座標の計数結果に基づいて前記発音体の音像
定位を前記発音体画像パターンの動きに追従して動的に
移動させる音像定位制御方式を提供することにある。

「課題を解決するための手段」 この発明によればオーディオ信号、ビデオ信号を含む信
号を受信し、これを信号分配合成手段でオーディオ信号
とビデオ信号とに分配し、そのビデオ信号に含まれる顔
、口、楽器などの発音体の画像パターンを識別抽出し、
画面上のその発音体の位置座標が発音体位置座標抽出手
段で抽出され、その抽出された位置座標に追従して音像
定位が音数定位処理手段Ｃ：より形成される。

つまりこの発明は発音体の画像パターンの動きＣ：追従
してその発音体の音像定位を動的（＝変化させ、その発
音体の画像パターン位置と発音体の音１象定位位置とを
一致させるように音像定位を制御する。

第６図はこの発明の特徴例を示している。従来の技術と
の相違点は、発音体の動きを精度高く音像定位させるた
め、送信側のマイクロホフ個数を増加させることなく、
発音体３の画像パターン７を追従し画面２における発音
体３の位置座標（ｘ。

ｙ）を計数し、これに基づき音像定位させる点である（
第６因Ａ）。

第６図Ｂは画像パターン７（＝連動してタイビン形マイ
クロホン等の単一のマイクロホン４より入力されたオー
ディオ信号から音像定位するための複数の再生スピーカ
５に出力するイメージを示している。

第７因は精度の高い音像定位を実現するための再生スピ
ーカ５の配置と映像を出力する表示画面１との関係（正
面図）を示している。第７因Ａは表示画面１の周囲に再
生スピーカ５を複数個設置する形態、同１ｋＢは表示画
面の裏側に再生スピーカ５を複数個設置し、表示画面の
中から音が発生するように感じさせる形態である。同図
Ｃは同（２）Ｂの形態を更にきめ細かく設置した形態で
ある。

「実施例」 第１図はこの発明の実施例の構成を示すブロック・図で
あって、１０は入力端子、２０はビデオ信号、２１はオ
ーディオ信号、２２は画面合成したビデオ信号、３０は
ビデオ出力端子、４０はオーディオ再生出力端子、１０
０は信号分配合成部、２００は発音体位置座標抽出部、
３００は音像定位処理部、３１０は定位データメモリ、
４００は制御部である。

これを動作する（−は制御部４００の指令により、信号
分配合成部１００は入力端子１０から転送された入力信
号を受信し、ビデオ信号２０とオーディオ信号２１とに
分配し、オーディオ信号２１を音像定位処理部３００に
、又ビデオ信号２ｏを発音体位置座標抽出部２００に転
送するとともに、定位データメモリ３１０の内容に基づ
いて分配されたビデオ信号を同一画面に分割表示するた
めの画面合成を行い、画面合成したビデオ信号２２をビ
デオ出力端子３０に出力する。

ビデオ信号２０を受信すると、それぞれのビデオ信号を
対象にして発音体位置座標抽出部２００は定位データメ
モリ３１０に格納されている識別用画像形状情報（二基
づいて顔、口、楽器等の発音体３の画像パターン７の画
像形状を抽出しつつその発音体画像パターン７の動きに
追従する画像処理を行うとともに発音体画像パターン７
の画面２における位置座標を計数し、その計数結果を音
像定位処理部３００に転送する。転送が完了すると音像
定位処理部３００はその計数結果に基づいて発音体画像
パターン７の動きの変化量、動きの方向等を算出し、そ
の算出結果に基づいて新たに動いた発音体側［象パター
ンの位置に、対応する音像定位を一致させるように信号
分配合成部１００から送られてくるオーディオ信号２１
に対して逐次音圧差、位相差（時間おくれ）を制御して
音（象定位の移動処理を行い、移動処理したオーディオ
信号を逐次オーディオ再生出力端子４，０に出力する。

発音体画像パターン７が動いていない場合は、音像定位
処理部３００は現時点での音像定位を保持してその保持
オーディオ信号をオーディオ再生出力端子４０に出力す
る。

第２図はこの発明中の発音体位置座標抽出部２・００の
構成例を示す。２１０は発音体画像追跡処理部、２２０
は発音体位置計数部である。

信号分配合成部１００から転送されてくるビデオ信号に
対して発音体画像追跡処理部２１０は定位データメモ！
１３１０１ｍ格納されている顔、口、楽器等の発音体の
識別用画像形状情報（二基づいてその発音体の画像パタ
ーン７を追跡処理を行う。

その追跡処理結果に基づいて発音体位置計数部２２０は
画面２における発音体画像パターン７の位置座標を計数
し、その計数結果（−基づいて音像定位の移動を図る音
像定位処理部３００にその計数結果を転送する。

第３図はこの発明中の信号分配合成部の構成例を示すブ
ロック図であって、１１０は信号分配部、１２０は信号
合成部である。制御部４００の指令により、信号分配部
１１０は多地点から送られてくる複数の信号を入力端子
１０を介して受信し、その信号からオーディオ信号２１
とビデオ信号２０とを分配し、そのオーディオ信号２１
を音像定位処理部３００に、又ビデオ信号２０を信号合
成部１２０と発音体位置座標抽出部２００に転送する。

転送受信後、信号合成部１２０は定位データメモリ３１
０に格納きれている各ビデオ信号Ｃ二関する表示画面１
での分割画面２の割当てデータ（二基づいて分配された
ビデオ信号２０を同一画面に分割表示するための画面合
成を行い、画面合成したビデオ信号２２をビデオ出力端
子３０に出力する。

第４図はこの発明中の音像定位処理部３００の構成例を
示すブロック図であって、３１０は分割画面領域の割当
てデータ、顔、口、楽器等の発音体の識別用画像形状情
報、現時点での音像定位状態等を格納する定位データメ
モリであり、３２０は音像移動制御部で、３３０は音像
定位形成部である。

音像移動制御部３２０は発音体位置座標抽出部２００か
ら転送されてくる発音体画数パターンの表示画面上の位
置座標計数結果に基づいてその発音体画像パターンの動
きの変化量、動きの方向等を算出し、その算出結果を音
１象定位形成部３３０に転送する。転送完了後、音像定
位形成部３３０は・定位データメモリ３１０に格納され
ている現時点での音１象定位状聾と、前記算出結果に基
づいて音像定位の移動処理を逐次行い処理されたオーデ
ィオ信号をオーディオ再生出力端モ４０に出力する。音
像定位の移動完了後、音像定位形成部３３０は移動後の
音像定位状態のデータを定位データメモリ３１０（二転
送し、定位データメモリ３１０はその定位状態のデータ
を用いて現時点での音像定位状態のデータを書き換える
。

なお複数の発音体の画１象パターンを同時に抽出し、ビ
デオ信号が表示する画面上において同時に複数の発音体
側１象パターンを追跡し、各々の発音体画像パターンの
画面上の位置座標を計数して複数の発音体側１象パター
ンの位置座標を並列処理して複数の画像とその音像につ
いて定位させることもできる。

「発明の効果」 以上説明したように、この発明による音像定位制御方式
によれば、発音体の画像パターンを識別抽出しその画像
パターンの動きに追従して発音体の音像定位を動的に変
化させ、その発音体の画像パターン位置とその発音体の
音数定位位置とを一致させるように音１象定位を制御す
ることから、通信会議の臨場感をきめ細く再現できる利
点がある。

即ち分割された画面の表示領域の大きさに大小が生じた
場合にも、各発音体のオーディオ信号のみを例えばタイ
ピン形のマイクロホン等を介して受信し、その発音体の
各画）象パターンの位置を識別抽出してその抽出位置情
報を用いることによって音］象定位の精度を向上させる
ことができる利点がある。

また発音体の移動に伴う音像定位方法（二関して送信側
のマイクロホンの個数を増加させる必要がなく、各々の
マイクロホンに付随する通信回線を確医する必要がない
ことから通信コスト面で浸れているという利点がある。

またマイクロホンの個数を最小限にとどめられることか
ら設営の簡便性・容易性の点でも摩れている。

【図面の簡単な説明】

第１図はこの発明の実施例の構成を示すブロック、因、
第２図は第１因中の発音体位置座標抽出部２００の構成
を示すブロック図、第３図は第１図中の信号分配合成部
１００の構成を示すブロック図、第４図は第１囚中の音
像定位処理部３００の構成を示すブロック図、第５図は
従来のシステム例を示す図、第６図はこの発明の特徴例
を示す図、第７図は精度の高い音１象定位を実現するた
めの再生スピーカ配置と映像を出力する表示画面との関
係を示す図である。 特許出願人　　日本電信電話株式会社 代　　理　　人　　　草　　　野　　　　　卓オ　１　
図 ＋７２　図 オ　３　図 、”１７４　　同 １ｏＯ 木　５図 中　６　図 Ａ　　　　　　　　　　　　　　　　　　　　　８士　
７　図

Claims (1)

【特許請求の範囲】
1. （１）オーディオ信号、ビデオ信号を含む信号を受信し
   、その信号から音像定位を形成し映像を合成して視聴者
   に再生・表示する制御システムであって、 前記オーディオ信号と前記ビデオ信号とを分配し、信号
   を合成する信号分配合成手段と、前記ビデオ信号に含ま
   れる顔、口、楽器等の発音体の画像パターンを識別抽出
   し、画面上のその発音体の位置座標を抽出する発音体位
   置座標抽出手段と、 前記位置座標に追従して音像定位を形成する音像定位処
   理手段とを具備することを特徴とする音像定位制御方式
   。