JPH08181962A - 音像定位方法および音像定位制御装置およびテレビ会議システム - Google Patents

Abstract

(57)【要約】 【目的】 発音体の表示位置と発音体に付随した音響信
号の定位位置とを良好に一致させる。 【構成】 動きベクトル検出部３１は、映像信号１１に
含まれる発音体の動きベクトルを検出し、動きベクトル
情報信号１４を出力する。予測音像定位制御部３３は、
発音体の動きベクトル検出から音像定位処理の終了まで
の処理時間を経過した時の発音体の位置を前記動きベク
トルから予測し、制御信号１５を音響信号処理部３２に
入力する。音響信号制御部３２は、前記制御信号１５に
基づいて、音響信号１２に対して音像定位処理（各スピ
ーカから再生する音量バランスおよび再生タイミング等
を制御する）を行い、処理後の音響信号１３を出力す
る。 【効果】 音像定位処理に要する時間を考慮した位置に
音像定位するため、発音体の表示位置と音像定位位置と
を良好に一致させることが出来る。これにより、臨場感
ある音響再生が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音像定位方法および音
像定位制御装置およびテレビ会議システムに関する。さ
らに詳しくは、発音体の画面上の位置と音像定位位置と
を良好に一致させうる音像定位方法および音像定位制御
装置およびテレビ会議システムに関する。

【０００２】

【従来の技術】従来の技術として、特開平１−２９６９
００号公報に開示の音像定位制御方式が知られている。
この音像定位制御方式は、映像信号および音響信号を受
信し、映像信号に含まれる顔，口，楽器等の発音体の画
像パターンを識別抽出し、その画像パターンの画面上の
位置に追従して前記音響信号を再生する際の音像定位を
行う方式である。

【０００３】

【発明が解決しようとする課題】上記従来の音像定位制
御方式には、次の問題点がある。 （１）発音体の動きを検出し追従させて音像定位すると
き、処理（例えば画像フレーム間の差分演算など）によ
る遅延が生じる。しかし、この遅延があると、発音体の
画像パターンの画面上の位置と音像定位位置とが一致し
なくなる。 （２）発音体の画像パターンの画面上での移動速度が速
い場合、ある音像定位位置から次の音像定位位置までの
移動が不自然に飛ぶようになる。 （３）複数の発音体の画像パターンがある場合、発音体
とそれに付随する音響信号の対応関係が不明確になる。

【０００４】そこで、本発明の第１の目的は、発音体の
画像パターンの画面上の位置と音像定位位置とを良好に
一致させうる音像定位方法および音像定位制御装置およ
びテレビ会議システムを提供することにある。また、本
発明の第２の目的は、音像定位位置を連続的に移動させ
うる音像定位方法及び音像定位制御装置及びテレビ会議
システムを提供することにある。さらに、本発明の第３
の目的は、複数の発音体がある場合、発音体とそれに付
随した音響信号とを良好に対応させうる音像定位方法お
よび音像定位制御装置およびテレビ会議システムを提供
することにある。

【０００５】

【課題を解決するための手段】第１の観点では、この発
明は、映像信号から画面上の発音体の動きベクトル（単
位時間での発音体の画面上での移動方向および移動距離
を表すベクトル）を検出し、音像定位処理の終了までの
処理時間を経過した時の発音体の位置を前記動きベクト
ルから予測し、音響信号に対して前記予測した位置への
音像定位を行うことを特徴とする音像定位方法を提供す
る。

【０００６】第２の観点では、この発明は、映像信号か
ら画面上の発音体の動きベクトル（単位時間での発音体
の画面上での移動方向および移動距離を表すベクトル）
を検出し、音響信号に対して前記動きベクトルに基づく
音像定位を行い、前記動きベクトルの検出から音像定位
処理の終了までの処理時間だけ前記映像信号の表示を遅
延させることを特徴とする音像定位方法を提供する。

【０００７】第３の観点では、この発明は、映像信号か
ら画面上の発音体の動きベクトル（単位時間での発音体
の画面上での移動方向および移動距離を表すベクトル）
を検出する動きベクトル検出手段と、音像定位処理の終
了までの処理時間を経過した時の発音体の位置を前記動
きベクトルから予測する予測音像定位制御手段と、音響
信号に対して前記予測した位置への音像定位を行う音像
定位処理手段とを具備したことを特徴とする音像定位制
御装置を提供する。

【０００８】第４の観点では、この発明は、映像信号か
ら画面上の発音体の動きベクトル（単位時間での発音体
の画面上での移動方向および移動距離を表すベクトル）
を検出する動きベクトル検出手段と、音像定位処理の終
了までの処理時間を経過した時の発音体の位置を前記動
きベクトルから予測する予測音像定位制御手段と、ある
予測位置と次の予測位置の間に補間により複数の補間位
置を設定する補間音像定位制御手段と、音響信号に対し
て前記補間位置および予測位置への音像定位を行う音像
定位処理手段とを具備したことを特徴とする音像定位制
御装置を提供する。

【０００９】第５の観点では、この発明は、上記構成の
音像定位制御装置において、前記予測音像定位制御手段
は、前記音像定位処理の終了までの処理時間を予測ベク
トル算出時間ｃとし、フレーム間時間をｔとし、動きベ
クトルにおける単位時間をＴとするとき、ｃ＜ｎ・ｔと
なる最小の正の整数ｎを求め、動きベクトル｛ｒ→｝に
ｎ・ｔ／Ｔを乗算して予測ベクトル｛ｘ→｝を算出する
ことを特徴とする音像定位制御装置を提供する。

【００１０】第６の観点では、この発明は、映像信号か
ら画面上の発音体の動きベクトル（単位時間での発音体
の画面上での移動方向および移動距離を表すベクトル）
を検出する動きベクトル検出手段と、音響信号に対して
前記動きベクトルに基づく音像定位を行う音像定位処理
手段と、映像信号を一時的に蓄積し前記動きベクトルの
検出から音像定位処理の終了までの処理時間だけ遅延さ
せて前記映像信号を出力する映像蓄積処理手段とを具備
したことを特徴とする音像定位制御装置を提供する。

【００１１】第７の観点では、この発明は、上記構成の
音像定位制御装置において、前記動きベクトル検出手段
は、ある発音体の動きベクトルとして複数の候補がある
ときそれらを出力するものであり、その動きベクトル検
出手段の後に、個々の発音体とそれに付随する音響信号
の対応関係を維持するように前記動きベクトルの複数の
候補中から１つを選定する追従音像定位制御手段を設け
たことを特徴とする音像定位制御装置を提供する。

【００１２】第８の観点では、この発明は、映像信号お
よび音響信号を受信する受信装置と、前記受信した映像
信号に基づいて画面に画像を表示する映像信号表示手段
と、前記受信した音響信号に対して音像定位処理を行う
上記構成の音像定位制御装置と、その音像定位制御装置
から出力される音響信号に基づいて音響を再生する音響
信号再生装置とを備えたことを特徴とするテレビ会議シ
ステムを提供する。

【００１３】

【作用】上記第１の観点による音像定位方法および上記
第３の観点による音像定位制御装置では、映像信号から
画面上の発音体の動きベクトルを検出する。次に、音像
定位処理の終了までの処理時間を経過した時の発音体の
位置を前記動きベクトルから予測する。そして、音響信
号に対して前記予測した位置への音像定位を行う。この
ように処理の遅延を考慮した位置に音像定位するので、
発音体の画面上の位置と音像定位位置とを良好に一致さ
せることが出来る。

【００１４】上記第２の観点による音像定位方法および
上記第６の観点による音像定位制御装置では、映像信号
から画面上の発音体の動きベクトルを検出する。次に、
音響信号に対して前記動きベクトルに基づく音像定位を
行う。さらに、前記動きベクトルの検出から音像定位処
理の終了までの処理時間だけ前記映像信号の表示を遅延
させる。このように処理の遅延を考慮して映像信号の表
示を遅延させるので、発音体の画面上の位置と音像定位
位置とを良好に一致させることが出来る。

【００１５】上記第４の観点による音像定位制御装置で
は、映像信号から画面上の発音体の動きベクトルを検出
する。次に、音像定位処理の終了までの処理時間を経過
した時の発音体の位置を前記動きベクトルから予測す
る。次に、ある予測位置と次の予測位置の間に補間によ
り複数の補間位置を設定する。そして、音響信号に対し
て前記補間位置および予測位置への音像定位を行う。こ
のように処理の遅延を考慮した位置に音像定位するの
で、発音体の画面上の位置と音像定位位置とを良好に一
致させることが出来る。さらに、予測位置と次の予測位
置との間を補間して音像定位移動を行うため、滑らかな
音像移動が可能となる。

【００１６】上記第５の観点による音像定位制御装置で
は、予測音像定位制御手段は、前記音像定位処理の終了
までの処理時間を予測ベクトル算出時間ｃとし、フレー
ム間時間をｔとし、動きベクトル｛ｒ→｝が単位時間Ｔ
での発音体の画面上での移動方向および移動距離を表す
とき、ｃ＜ｎ・ｔとなる最小の正の整数ｎを求める。次
に、動きベクトル｛ｒ→｝にｎ・ｔ／Ｔを乗算し、予測
ベクトル｛ｘ→｝を求める。これにより、フレームにお
ける発音体の位置を予測することが出来る。

【００１７】上記第７の観点による音像定位制御装置で
は、動きベクトル検出手段は、ある発音体の動きベクト
ルとして複数の候補があるとき、それらを全て出力す
る。また、その動きベクトル検出手段の後に追従音像定
位制御手段を設け、その追従音像定位制御手段は、個々
の発音体とそれに付随する音響信号の対応関係を維持す
るように前記動きベクトルの複数の候補中から１つを選
定する。これにより、複数の発音体がある場合でも、発
音体とそれに付随した音響信号とを良好に対応させるこ
とが出来る。

【００１８】上記第８の観点によるテレビ会議システム
では、上記構成の音像定位制御装置を備えているため、
発音体の表示位置と音像定位位置の一致性を高めること
が出来る。また、滑らかな音像移動が可能となる。さら
に、複数の発音体がある場合でも、発音体とそれに付随
する音響信号との対応関係を一致させることが出来る。

【００１９】

【実施例】以下、本発明の実施例を図面を用いて説明す
る。なお、これにより本発明が限定されるものではな
い。

【００２０】−第１実施例− 第１実施例は、フレームにおける発音体の位置を予測
し、その予測位置に音像定位する実施例である。図９
は、本発明の一実施例のテレビ会議システムのブロック
図である。このテレビ会議システム１００において、１
は映像信号表示装置を表し、２は音響信号再生装置を表
す。３は、本発明にかかる音像定位制御装置を表す。４
はカメラを表し、５はマイクを表す。６は映像信号およ
び音響信号の送受信装置を表す。また、１１は映像信号
を表し、１２は音響信号を表す。また、１３は通信回線
を表わす。人物（乙）は会議参加者である。

【００２１】次に、各部の動作を、通信回線１３によっ
て接続された遠隔の図示せぬテレビ会議システムとのテ
レビ会議を想定して説明する。なお、図示せぬテレビ会
議システムは、テレビ会議システム１００と同じ構成で
あり、その会議参加者は人物（甲）である。前記カメラ
４は、人物（乙）を撮影し、映像信号を送受信装置６に
渡す。前記マイク５は、人物（乙）の音声を収音し、音
響信号を送受信装置６に渡す。前記送受信装置６は、前
記カメラ４から渡された映像信号および前記マイク５か
ら渡された音響信号を、通信回線１３を介して、図示せ
ぬテレビ会議システムへ送信する。また、前記送受信装
置６は、図示せぬテレビ会議システムから通信回線１３
を介して送信されてきた映像信号および音響信号を受信
し、映像信号１１は映像信号表示装置１および音像定位
制御装置３に入力し、音響信号１２は音像定位制御装置
３に入力する。前記映像信号表示装置１は、入力された
映像信号１１により画面に画像を実時間で表示する。前
記音像定位制御装置３は、入力された映像信号１１を解
析し、その解析結果に応じて映像信号表示装置１の画面
上での音像定位位置を定め、前記音響信号１２に対して
定位処理を行い、定位処理後の音響信号１３を音響信号
再生装置２に渡す。前記音響信号再生装置２は、音響信
号１３に基づき、音響を実時間で再生する。

【００２２】図１は、前記音像定位制御装置３の構成を
示すブロック図である。この音像定位制御装置３は、動
きベクトル検出部３１と、予測音像定位制御部３３と、
音像定位処理部３２とから構成される。前記動きベクト
ル検出部３１は、映像信号１１から発音体の動きベクト
ル（単位時間Ｔでの発音体の画面上での移動方向および
移動距離を表すベクトル）を検出し、動きベクトル情報
信号１４を予測音像定位制御部３３に入力する。なお、
動きベクトルの検出は、例えば「認識技術を応用した対
話型映像編集の提案（上田 他）電子情報通信学会論文
誌 D-II Vol.J75-D-II No.2 pp.216-225 1992年2月」や
「ダイナミックシーンの理解（浅田稔）電子情報通信学
会編」に記載されている技術を用いることが出来る。前
記予測音像定位制御部３３は、入力された動きベクトル
情報信号１４から音響再生時の発音体の画面上の位置を
予測し、その予測位置に音像定位するように指示する制
御信号１５を音像定位処理部３２に入力する。前記制御
信号１５は、例えば表示位置座標を含んでいる。前記音
像定位処理部３２は、入力された制御信号１５に基づ
き、音響信号再生装置２で再生する音響の音量バランス
および再生タイミング等を制御する音像定位処理を行
い、定位処理後の音響信号１３を音響信号再生装置２に
渡す。

【００２３】図２は、第１実施例にかかる音像定位方法
の説明図である。予測音像定位制御部３３は、予測処理
に要する時間を予測ベクトル算出時間ｃとし、フレーム
間時間をｔ（例えば１／３０秒）とするとき、ｃ＜ｎ・
ｔとなる最小の正の整数ｎを求め、動きベクトル｛ｒ
→｝にｎ・ｔ／Ｔを乗算したものを予測ベクトル｛ｘ
→｝とする。この予測ベクトル｛ｘ→｝は、現フレーム
から数えてｎ番後のフレームまでの発音体の画面上での
移動方向および移動距離を表しており、これを音像定位
処理部３２に通知する。ここで、ｎ個の予測音像定位制
御部３３が並列に処理する構成とすれば、フレーム毎に
予測ベクトル｛ｘ→｝を算出することが出来る。音像定
位処理部３２は、現在の音像定位位置の次に、現在の音
像定位位置に予測ベクトル｛ｘ→｝を加えた予測位置に
音像定位する。なお、図２で、２１〜２４は、時刻（ｋ
−１）のフレーム〜時刻（ｎ）のフレームの画像であ
る。９１は、フレーム間時間ｔである。９２は、予測ベ
クトル算出時間ｃである。合成図２５は、時刻（ｋ−
１）から時刻（ｎ）までの発音体（甲）の表示映像を合
成した図である。４１は、時刻（ｋ−１）のフレームで
の表示映像である。４２は、時刻（ｋ）のフレームでの
表示映像である。４３は、時刻（ｎ）のフレームでの表
示映像である。

【００２４】以上の第１実施例によれば、処理の遅延を
考慮して音像定位するので、発音体の画面上の位置と音
像定位位置とを良好に一致させることが出来る。また、
遅延の累積もないので、発音体の画面上の位置と音像定
位位置が大きくずれてしまうこともない。

【００２５】なお、上記第１実施例では、動きベクトル
｛ｒ→｝として速度ベクトルを想定し、予測ベクトル
｛ｘ→｝を線形的に予測した。しかし、これに限定され
ず、例えば動きベクトル｛ｒ→｝として加速度ベクトル
を想定し、予測ベクトル｛ｘ→｝を非線形的に予測して
もよい。

【００２６】−第２実施例− 第２実施例は、フレームにおける発音体の位置を予測
し、現在の発音体の位置から予測位置の間の発音体の位
置を補間し、その補間位置をたどって予測位置まで順に
音像定位する実施例である。図３は、第２実施例におけ
る音像定位制御装置３Ａのブロック図である。この音像
定位制御装置３Ａは、図１の音像定位制御装置３におけ
る予測音像定位制御部３３と音像定位処理部３２の間
に、補間音像定位制御部３４を介設した構成である。前
記補間音像定位制御部３４では、予測音像定位制御部３
３から制御信号１５により入力された予測位置（ｎ−
１）と予測位置（ｎ）の間に、補間により複数の補間位
置を設定し、それら補間位置および前記予測位置を制御
信号１６として音響信号処理部３２に入力する。

【００２７】図４は、第２実施例にかかる補間音像定位
方法の説明図である。合成図２６は、予測音像定位制御
部３３において予測した発音体の予測位置（ｎ−１）
と、次の予測位置（ｎ）を合成した図である。補間音像
定位制御部３４は、予測位置（ｎ−１）と予測位置
（ｎ）の間をｍ分割し、補間位置６１〜６３を設定す
る。音響信号処理部３２は、予測位置（ｎ−１）の次に
補間位置６１に定位（１）し、順に補間位置６２に定位
（２）し、順に補間位置６３まで定位（ｍ−１）し、最
後に予測位置（ｎ）に定位（６４）する。

【００２８】以上の第２実施例によれば、音像定位位置
を連続的に移動させることが出来る。この結果、発音体
の画面上での移動速度が速い場合でも、音像定位位置が
不自然に飛ばず、滑らかに移動するようになる。

【００２９】−第３実施例− 第３実施例は、複数の発音体とそれらに付随した音響信
号の対応を維持する実施例である。図５は、第３実施例
における音像定位制御装置３Ｂのブロック図である。こ
の音像定位制御装置３Ｂは、図３の音像定位制御装置３
Ａにおける動きベクトル検出部３１と予測音像定位制御
部３３の間に、追従音像定位制御部３５を介設した構成
である。前記動きベクトル検出部３１は、ある発音体の
動きベクトルとして複数の候補があるとき、それらを全
て出力する。前記追従音像定位制御部３５は、前フレー
ムにおいて検出した動きベクトルと現フレームにおいて
検出した動きベクトルとを比較することにより、前記複
数の候補中から１つの動くベクトルを選定し、これによ
り個々の発音体とそれに付随する音響信号の対応関係を
維持し、個々の発音体ごとに区別した動きベクトル情報
信号１７を予測音像定位制御部３３に入力する。

【００３０】図６は、第３実施例にかかる追従音像定位
方法の説明図である。合成図２７は、フレーム（ｋ−
２）からフレーム（ｋ）までの発音体（甲）および発音
体（乙）の動きを合成した図である。説明の都合上、フ
レーム（ｋ−２），フレーム（ｋ−１）における発音体
（甲）の位置４０，４１およびその音響信号の対応が判
っているとする。また、フレーム（ｋ−２），フレーム
（ｋ−１）における発音体（乙）の位置４５，４６およ
びその音響信号の対応が判っているとする。次のフレー
ム（ｋ）では、２つの発音体の位置４２，４７は判る
が、発音体（甲）（乙）の位置がどちらかは判らない。
そこで、動きベクトル検出部３１は、フレーム（ｋ−
１）における発音体（甲）の位置４１からフレーム
（ｋ）における２つの発音体の位置４２，４７への２つ
の動きベクトル｛ｖ→｝（ｋ）５６および動きベクトル
｛ｖ’→｝（ｋ）５７を候補として追従音像定位制御部
３５に入力する。追従音像定位制御部３５は、フレーム
（ｋ−２）からフレーム（ｋ−１）までの発音体（甲）
の動きベクトル｛ｖ→｝（ｋ−１）５５となす角度θお
よびθ’を算出し、角度の小さい方を発音体（甲）の動
きベクトルとして選定する（角度が同じときは動きベク
トルの小さい方を選定する）。これにより、位置４２が
フレーム（ｋ）における発音体（甲）の位置と判る。ま
た、位置４７がフレーム（ｋ）における発音体（乙）の
位置と判る。従って、フレーム（ｋ）における発音体
（甲）の位置４２およびその音響信号の対応が判る。ま
た、フレーム（ｋ）における発音体（乙）の位置４７お
よびその音響信号の対応が判る。以下、同様にして、フ
レーム（ｋ＋１）以降でも発音体とその音響信号の対応
を維持することが出来る。

【００３１】図７は、第３実施例にかかる別の追従音像
定位方法の説明図である。２０６は、フレーム（ｆ）で
の発音体（Ａ）２１１および発音体（Ｂ）２１４の画面
上の位置を表している。また、２０７は、フレーム（ｆ
＋１）での発音体（Ａ）２１２および発音体（Ｂ）２１
５の画面上の位置を表している。次に、２０８および２
０９は、フレーム（ｆ）およびフレーム（ｆ＋１）での
発音体（Ａ），（Ｂ）の位置を合成表示した図である。

【００３２】説明の都合上、フレーム（ｆ）における発
音体（Ａ）の位置２１１およびその音響信号の対応が判
っているものとする。また、フレーム（ｆ）における発
音体（Ｂ）の位置２１４およびその音響信号の対応が判
っているものとする。次のフレーム（ｆ＋１）では、２
つの発音体の位置２１２，２１５は判るが、発音体
（Ａ），（Ｂ）の位置がどちらかは判らない。つまり、
２０８に示したように、フレーム（ｆ）における発音体
（Ａ）２１１がフレーム（ｆ＋１）において位置２１２
に移動し、且つ、フレーム（ｆ）の発音体（Ｂ）２１４
がフレーム（ｆ＋１）において位置２１５に移動する第
１の移動パターンと、２０９に示したように、フレーム
（ｆ）における発音体（Ａ）２１１がフレーム（ｆ＋
１）において位置２１５に移動し、且つ、フレーム
（ｆ）の発音体（Ｂ）２１４がフレーム（ｆ＋１）にお
いて位置２１２に移動する第２の移動パターンとがあ
り、いずれであるかが判らない。

【００３３】そこで、動きベクトル検出部３１は、第１
の移動パターンと仮定して、２０８における発音体
（Ａ）および（Ｂ）の動きベクトル２２１｛ａ→｝およ
び動きベクトル２２３｛ｂ→｝を算出し、発音体
（Ａ），（Ｂ）の第１の移動候補として追従音像定位制
御部３５に入力する。また、第２の移動パターンと仮定
して、２０９における発音体（Ａ）および（Ｂ）の動き
ベクトル２２２｛ａ’→｝および動きベクトル２２４
｛ｂ’→｝を算出し、発音体Ａ，Ｂの第２の移動候補と
して追従音像定位制御部３５に入力する。追従音像定位
制御部３５は、フレーム（ｆ）における発音体２１１を
動きベクトル２２１｛ａ→｝だけ移動させ、フレーム
（ｆ＋１）における発音体２１２と差分をとる。また、
フレーム（ｆ）における発音体２１４を動きベクトル２
２３｛ｂ→｝だけ移動させ、フレーム（ｆ＋１）におけ
る発音体２１５と差分をとる。そして、両差分を合計す
る。次に、フレーム（ｆ）における発音体２１１を動き
ベクトル２２２｛ａ’→｝だけ移動させ、フレーム（ｆ
＋１）における発音体２１５と差分をとる。また、フレ
ーム（ｆ）における発音体２１４を動きベクトル２２４
｛ｂ’→｝だけ移動させ、フレーム（ｆ＋１）における
発音体２１２と差分をとる。そして、両差分を合計す
る。さらに、前記差分の合計同士を比較し、合計の小さ
いの移動パターンが正しいと判定する。これにより、フ
レーム（ｆ＋１）における発音体（Ａ），（Ｂ）の位置
が判る。また、フレーム（ｆ＋１）における発音体
（Ａ），（Ｂ）と音響信号の対応が判る。以下、同様に
して、フレーム（ｆ＋２）以降でも発音体とその音響信
号の対応を維持することが出来る。

【００３４】なお、上記の２通りの追従音像定位方法の
外に、例えば発音体の色や輝度（Ｒ，Ｇ，Ｂ，Ｙ，Ｃ）
などの画像的特徴を比較することにより、発音体の移動
先を判定する方法を用いてもよい。

【００３５】以上の第３実施例によれば、複数の発音体
がある場合でも、発音体とそれに付随した音響信号とを
良好に対応させることが出来る。

【００３６】−第４実施例− 第４実施例は、発音体の動きベクトル検出から音像定位
に要する時間だけ映像信号を遅らせることにより、発音
体の画面上の位置と音像定位位置とを一致させる実施例
である。図８は、第４実施例における音像定位制御装置
３Ｃのブロック図である。この音像定位制御装置３Ｃ
は、動きベクトル検出部３１と、音像定位処理部３７
と、映像蓄積処理部３６とから構成される。前記動きベ
クトル検出部３１は、映像信号１１から発音体の動きベ
クトルを検出し、動きベクトル情報信号１８を音像定位
処理部３７に入力する。前記音像定位処理部３７は、入
力された音響信号１２を前記動きベクトルにより音像定
位処理し、処理後の音響信号１３を音響信号再生装置２
へ出力する。また、音響信号１３の再生と同期して映像
を表示するためのタイミングを制御する制御信号１９を
映像蓄積処理部３６へ送る。前記映像蓄積処理部３６
は、映像信号１１を一時的に蓄積し、前記制御信号１９
に基づくタイミングで取り出した映像信号１１’を映像
信号表示装置１へ出力する。なお、図８の動きベクトル
検出部３１と音像定位処理部３７の間に、図５の追従音
像定位制御部３５および／または補間音像定位制御部３
４を介設してもよい。

【００３７】以上の第４実施例によれば、処理の遅延を
考慮して映像信号の表示を遅延させるので、発音体の画
面上の位置と音像定位位置とを良好に一致させることが
出来る。この第４実施例は、図９のテレビ会議システム
１００に適用することも可能であるが、リアルタイム性
があまり重要でないビデオプレヤー等に適用する方が有
用である。

【００３８】

【発明の効果】本発明の音像定位方法および音像定位制
御装置およびテレビ会議システムによれば、次の効果が
得られる。 （１）映像信号に含まれる発音体の動きを検出し、その
動き検出処理および音像定位処理に要する時間後の発音
体の表示位置を予測し、音響信号の定位処理を行うた
め、発音体の表示位置と音像定位位置との一致性を高め
た音響再生が可能となる。 （２）予測位置と次の予測位置との間を補間して音像定
位移動を行うため、滑らかな音像移動が可能となる。 （３）発音体が複数ある場合、発音体とそれに付属した
音響信号の対応関係を常に維持するよう制御するため、
発音体とそれに付属した音響信号の対応関係が明確にな
る。 （４）発音体の動きを検出し、発音体の移動後の位置に
音像定位するよう信号処理を行い、音響信号処理に要し
た時間量だけ映像信号の再生を遅延させ、映像表示およ
び音響信号の再生を行うため、発音体の表示位置と音像
定位位置との一致性を高めた音響再生が可能となる。

【図面の簡単な説明】

【図１】本発明の第１実施例にかかる音像定位制御装置
を示すブロック図である。

【図２】第１実施例にかかる音像定位方法の説明図であ
る。

【図３】本発明の第２実施例にかかる音像定位制御装置
を示すブロック図である。

【図４】第２実施例にかかる補間音像定位方法の説明図
である。

【図５】本発明の第３実施例にかかる音像定位制御装置
を示すブロック図である。

【図６】第３実施例にかかる追従音像定位方法の説明図
である。

【図７】第３実施例にかかる追従音像定位方法の別の説
明図である。

【図８】本発明の第４実施例にかかる音像定位制御装置
を示すブロック図である。

【図９】本発明の一実施例にかかるテレビ会議システム
を示すブロック図である。

【符号の説明】

１…映像信号表示装置、２…音響信号再生装置、３，３
Ａ，３Ｂ，３Ｃ…音像定位制御装置、１１，１１’…映
像信号、１２，１３…音響信号、１４，１８…動きベク
トル情報信号、１５，１６，１７…制御信号、３１…動
きベクトル検出部、３２…音響信号処理部、３３…予測
音像定位制御部、３４…補間音像定位制御部、３５…追
従音像定位制御部、３６…映像蓄積処理部、５１…動き
ベクトル、５２…予測ベクトル

Claims (8)

【特許請求の範囲】
1. 【請求項１】 映像信号から画面上の発音体の動きベク
   トル（単位時間での発音体の画面上での移動方向および
   移動距離を表すベクトル）を検出し、発音体の動きベク
   トル検出から音像定位処理の終了までの処理時間を経過
   した時の発音体の位置を前記動きベクトルから予測し、
   音響信号に対して前記予測した位置への音像定位を行う
   ことを特徴とする音像定位方法。
2. 【請求項２】 映像信号から画面上の発音体の動きベク
   トル（単位時間での発音体の画面上での移動方向および
   移動距離を表すベクトル）を検出し、音響信号に対して
   前記動きベクトルに基づく音像定位を行い、前記動きベ
   クトルの検出から音像定位処理の終了までの処理時間だ
   け前記映像信号の表示を遅延させることを特徴とする音
   像定位方法。
3. 【請求項３】 映像信号から画面上の発音体の動きベク
   トル（単位時間での発音体の画面上での移動方向および
   移動距離を表すベクトル）を検出する動きベクトル検出
   手段と、音像定位処理の終了までの処理時間を経過した
   時の発音体の位置を前記動きベクトルから予測する予測
   音像定位制御手段と、音響信号に対して前記予測した位
   置への音像定位を行う音像定位処理手段とを具備したこ
   とを特徴とする音像定位制御装置。
4. 【請求項４】 映像信号から画面上の発音体の動きベク
   トル（単位時間での発音体の画面上での移動方向および
   移動距離を表すベクトル）を検出する動きベクトル検出
   手段と、音像定位処理の終了までの処理時間を経過した
   時の発音体の位置を前記動きベクトルから予測する予測
   音像定位制御手段と、ある予測位置と次の予測位置の間
   に補間により複数の補間位置を設定する補間音像定位制
   御手段と、音響信号に対して前記補間位置および予測位
   置への音像定位を行う音像定位処理手段とを具備したこ
   とを特徴とする音像定位制御装置。
5. 【請求項５】 請求項３または請求項４に記載の音像定
   位制御装置において、前記予測音像定位制御手段は、前
   記音像定位処理の終了までの処理時間を予測ベクトル算
   出時間ｃとし、フレーム間時間をｔとし、動きベクトル
   における単位時間をＴとするとき、ｃ＜ｎ・ｔとなる最
   小の正の整数ｎを求め、動きベクトル｛ｒ→｝にｎ・ｔ
   ／Ｔを乗算して予測ベクトル｛ｘ→｝を算出することを
   特徴とする音像定位制御装置。
6. 【請求項６】 映像信号から画面上の発音体の動きベク
   トル（単位時間での発音体の画面上での移動方向および
   移動距離を表すベクトル）を検出する動きベクトル検出
   手段と、音響信号に対して前記動きベクトルに基づく音
   像定位を行う音像定位処理手段と、映像信号を一時的に
   蓄積し前記動きベクトルの検出から音像定位処理の終了
   までの処理時間だけ遅延させて前記映像信号を出力する
   映像蓄積処理手段とを具備したことを特徴とする音像定
   位制御装置。
7. 【請求項７】 請求項３から請求項６のいずれかに記載
   の音像定位制御装置において、前記動きベクトル検出手
   段は、ある発音体の動きベクトルとして複数の候補があ
   るときそれらを出力するものであり、その動きベクトル
   検出手段の後に、個々の発音体とそれに付随する音響信
   号の対応関係を維持するように前記動きベクトルの複数
   の候補中から１つを選定する追従音像定位制御手段を設
   けたことを特徴とする音像定位制御装置。
8. 【請求項８】 映像信号および音響信号を受信する受信
   装置と、前記受信した映像信号に基づいて画面に画像を
   表示する映像信号表示手段と、前記受信した音響信号に
   対して音像定位処理を行う請求項３から請求項７のいず
   れかに記載の音像定位制御装置と、その音像定位制御装
   置から出力される音響信号に基づいて音響を再生する音
   響信号再生装置とを備えたことを特徴とするテレビ会議
   システム。