JPH08163526A - 映像選択装置 - Google Patents

Abstract

(57)【要約】 【目的】 複数カメラの映像から確実に所望の映像を選
択すること。 【構成】 テレビ会議の端末において、参加者用のカメ
ラ５１〜５３、マイク２１〜２３が設けられ、会議の初
めに各マイクからの参加者の音声レベルの各平均値を計
測してＲＡＭ１６に記憶しておく。会議中は各マイクか
らの発言者の音声レベルを検出し、それぞれ上記平均値
と比較し、音声レベルが平均値を最も大きく越えたマイ
クと対応するカメラからの映像を選択してディスプレイ
６に表示する。 【効果】 発言者個々の声の大きさや周囲ノイズ等に拘
らず常に確実に発言者の映像のみをモニタすることがで
きる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は複数のカメラからの映像
を各カメラに対応して設けた複数のマイクからの音圧レ
ベルに基づいて選択する映像選択装置に関する。

【０００２】

【従来の技術】従来、一地点で複数の人が参加して他の
地点と通信しながら会議を行うテレビ会議において、図
３に示すように各参加者５Ａ、５Ｂ、５Ｃに対応してそ
れぞれカメラ５１、５２、５３及びマイク２１、２２、
２３が設けられている場合、音声は合成して相手側の端
末に送信し、映像は発言者を撮影しているカメラの映像
を選択して送信するようにしている。この場合、複数の
カメラの映像から発言者の映像を自動的に選択する方法
として、従来より各マイクからの音圧を計測し、最大の
音圧レベルが得られたマイクと対応する参加者のカメラ
の映像を選択するという方式がある。

【０００３】

【発明が解決しようとする課題】上述した従来のテレビ
会議における発言者の映像の自動選択方法では、個々の
発言者の声の大きさが異なるため、声の大きな人が優先
的に選択されてしまうことがあった。このようにカメラ
とマイクが対になって複数設けられているテレビ会議等
のシステムにおいて、音の大きさによりカメラの映像を
自動的に選択する方法では、カメラの被写体の条件や被
写体周囲の環境等により、映像切り替えがうまくいかな
いという問題があった。

【０００４】本発明は上記の問題を解決するために成さ
れたもので、音により映像を自動的に選択する場合に、
被写体の条件や周囲環境によらず常に正確に映像を選択
することのできる映像選択装置を得ることを目的として
いる。

【０００５】

【課題を解決するための手段】本発明においては、複数
の映像入力手段にそれぞれ対応して設けられた複数の音
声入力手段から入力される各音声信号のレベルをそれぞ
れ検出する検出手段と、上記複数の映像入力手段から得
られる各映像のうちの１つを選択するための所定の条件
を設定する設定手段と、上記検出手段で検出された上記
各音声信号のレベルを上記設定手段で設定された上記所
定の条件とそれぞれ比較し、条件に適合した音声信号と
対応する１つの映像を選択する選択手段とを設けてい
る。

【０００６】

【作用】上記設定手段により上記選択手段に対して予め
映像選択のための所定の条件を設定した後、映像選択手
段は上記検出手段で検出した各音声信号のレベルを上記
所定の条件とぞれぞれ比較し、各映像入力手段からの各
映像のうちから上記所定の条件に適合した１つの映像を
選択して出力する。

【０００７】

【実施例】

〔第１の実施例〕図１は本発明の実施例によるテレビ会
議端末の構成を示すブロック図である。ここでは、パソ
コン本体にビデオボード１００と音声・通信処理ボード
２００とを付加し、これに各種の音声・映像入出力デバ
イスを接続する構成としている。

【０００８】図１において、１はスピーカ、２１〜２３
は音声入力手段であるマイクであり、会議の参加者の数
だけ接続される。本実施例においては３つのマイクが接
続されている。３はマイク２１〜２３からのアナログ音
声多重化処理、エコーを消去するためのエコーキャンセ
ル処理及びダイヤルトーン、呼出音、ビジートーン、着
信音等のトーンの生成処理等を行う音声コントローラ
部、４は、相手端末への送信音声信号を符号化、相手端
末からの受信音声信号を複号化する音声符号化復号化部
である。

【０００９】５１〜５３は映像入力手段であるカメラ
で、会議の参加者の分だけ接続される。６はカメラ５１
〜５３の入力画像、相手端末からの受信画像、操作画面
等を表示するディスプレイ、７はビデオメモリを有し、
カメラ５１〜５３からの入力画像、受信画像、操作画面
の出力をディスプレイ６及びビデオ符号化／複号化部８
へ切り替え処理を行うと共に、ディスプレイ６上で分割
表示するための画像信号合成処理を行うビデオコントロ
ーラ部、８はＩＴＵ−Ｔ勧告ＪＴ−Ｈ２６１に従って動
画像の符号化及び複号化及びＪＰＥＧに従った静止画像
の符号化及び複号化を行うビデオ符号化／複号化部であ
る。

【００１０】９はポインティング情報、ファイル等の送
信データを圧縮すると共に、受信データを解凍しシステ
ムバス３００経由でシステム制御部５０へ通知するデー
タコントローラ部である。１０はＩＴＵ−Ｔ勧告Ｈ．２
２１に従って音声符号化複号化部４からの音声信号、ビ
デオ符号化復号化部８からの画像信号、データコントロ
ーラ部９からのデータを送信フレーム単位で多重化する
と共に、受信フレームを構成単位の各メディアに分離し
各部に通知する多重／分離化部、１１はＩＳＤＮユーザ
・網インターフェースに従って回線を制御する回線イン
ターフェース部であり、ＩＳＤＮ回線１９に接続されて
相手端末と通信する。

【００１１】１２はキーボード１３の入力をシステムに
通知するためのキーボードインターフェース部であり、
システムバス３００に接続されている。１４はマウス１
５の入力をシステムに通知するためのマウスインターフ
ェース部であり、システムバス３００に接続されてい
る。

【００１２】１６はプログラムを実行する際にワークエ
リアとして使用するＲＡＭ、１７はプログラムを格納す
るためのＲＯＭ、１８はＣＰＵ（中央処理装置）であ
る。５０はＣＰＵ１８、ＲＯＭ１７、ＲＡＭ１６はから
成るシステム制御部であり、システムバス３００経由で
各デバイスの状態を監視し、装置全体の制御、状態に応
じた操作／表示画面の作成及びアプリケーションプログ
ラムの実行等を行う。

【００１３】図２は音声コントローラ３の構成を示すブ
ロック図であり、本発明に関する機能ブロックを示して
いる。マイク２１、２２、２３はそれぞれ入力音声の音
圧レベルを測定する音圧レベル検知部３１、３２、３３
に接続されている。尚、会議の初め等において測定され
た音圧レベルは、システムバス３００を介してシステム
制御部５０により読み出されるように成されている。ま
た、音圧レベル検知部３１、３２、３３は音声多重化部
３４に接続されている。音声多重化部３４では入力され
たアナログ音声信号を多重化して、音声符号化復号化部
４へ出力する。

【００１４】図３は本実施例のテレビ会議の形態を説明
する図である。テレビ会議参加者５Ａ、５Ｂ、５Ｃに対
してマイク２１〜マイク２３とカメラ５１〜５３とが割
り当てられている。各マイク２１〜２３から入力された
音声は符号化された後多重化して送信されると共に各カ
メラ５１〜５３から入力された映像は発言者の映像のみ
選択され、符号化されて送信されるように成されてい
る。

【００１５】次に上記構成において、会議開始時に会議
参加者の声の大きさを測定するために平均音圧レベルを
測定してＲＡＭ１６に保存する動作を図４のフローチャ
ートを用いて説明する。ステップＳ１では、システム制
御部５０により自己紹介などで初めて発音する話者に対
応する音圧レベル検知部３１〜３２を選択する。ステッ
プＳ２では選択した音圧レベル検知部からの音圧信号を
話者が話している間加重平均する。図５は音圧レベル検
知部から出力された音圧信号を図示したもので、所定の
測定時間に得られる音圧レベルの平均音圧を計算する。

【００１６】次にステップＳ３では上記計算した平均音
圧をＲＡＭ１６に保存する。ＲＡＭ１６に保存されたそ
れぞれの値をＡ１、Ａ２、Ａ３とすると、このＡ１、Ａ
２、Ａ３は会議参加者の声の大きさを示すパラメータと
なる。次にステップＳ４ではすべての参加者の平均音圧
を測定したかを判断する。すべての参加者の測定が済ん
でいなかったらステップＳ１へ戻り、測定が済んでいれ
ば平均音圧レベルの測定を終了する。

【００１７】次に図６のフローチャートを用いて映像出
力の切り替え動作について説明する。ステップＳ１１で
は音圧レベル検知部３１〜３３の出力をサンプリングす
る。このサンプリング値をＬ１、Ｌ２、Ｌ３とする。ス
テップＳ１２で比較値Ｒ１、Ｒ２、Ｒ３を計算する。こ
の比較値はＲｎ＝Ｌｎ−Ａｎ（ｎ＝１、２、３）により
計算する。次にステップＳ１３では計算した比較値Ｒ
１、Ｒ２、Ｒ３のなかで最大値に対応する参加者のカメ
ラを選択する。ステップＳ１４では選択した回数がＮ回
連続したかチェックする。これは雑音により小刻みな画
面の切り替わりを防ぐためのもので、比較値が最大にな
る時間が一定時間継続した時にモニタが切り替わるよう
にする。Ｎの値はシステムの能力や雑音等周囲の環境に
より異なる。

【００１８】上記選択回数がＮ回連続したならばステッ
プＳ１５へ進みそうでなければＮの値をインクリメント
してステップＳ１１へ戻る。ステップＳ１５ではＮ回連
続して比較値が最大になった参加者のカメラの映像が現
在送信するために選択されているかをチェックする。選
択されていれば切り替える必要がないのでステップＳ１
１へ戻り、選択されていなければステップＳ１６へ進
む。ステップＳ１６ではビデオコントローラ７がシステ
ム制御部５０の指示によりＮ回連続して比較値が最大に
なった参加者のカメラの映像に切り替える。そしてステ
ップＳ１７で会議が終了していないならステップＳ１１
へ戻る。

【００１９】本実施例では会議開始時に会議参加者の声
の大きさを測定して、これを比較値として用いるため
に、比較値を手動で調整する必要がないという利点があ
る。

【００２０】〔第２の実施例〕図７は本発明をリモート
監視システムに適用した場合の構成を示すブロック図で
ある。それぞれ監視カメラＡ、Ｂ、Ｃとマイクとを有す
るリモート監視端末（以下、リモート端末）４００Ａ、
４００Ｂ、４００Ｃとホスト端末を有する監視センター
５００とがＩＳＤＮ回線６００に接続されている。各リ
モート端末はマイクからの音響信号をホスト端末の指定
するモードに応じて常にモニタし、異常を検知すると自
動的にホスト端末に発信して回線を接続し、映像と音声
とを送信するように成されている。

【００２１】ホスト端末は各リモート端末に対して、異
常検知のトリガを決める音響監視モードを個別に設定す
る。リモート端末から受信した、映像、音声をモニタし
異常がなければ回線を切断するように成されている。

【００２２】上記異常検知のトリガを決める音響監視モ
ードには、音圧指定モードと変化率指定モードとがあ
る。音圧指定モードでは、ホスト端末はリモート端末に
対して音圧レベルと継続時間とをパラメータとして含む
音圧指定コマンドを送信する。リモート端末では指定さ
れた音圧レベル以上の音響データが指定された継続時間
以上続いたら異常検知とみなし、ホスト端末に発信して
マイクの音声とカメラの映像とを送信する。

【００２３】また変化率指定モードでは、音圧レベルの
変化率の大きさをパラメータとして含む変化率指定コマ
ンドを送信する。リモート端末ではモニタしている音圧
の変化率が指定された変化率の大きさより大きいならば
異常検知とみなし、ホスト端末に発信して音声と映像と
を送信する。

【００２４】図８はリモート監視システムにおける上記
監視センター５００に設けられるホスト端末の構成を示
すブロック図である。図８において、１０１はスピー
カ、１０２は受信音響信号を複号化する音響復号化部で
ある。１０３は図７のリモート端末からの受信画像を表
示するディスプレイ、１０４はビデオメモリを有しディ
スプレイ１０３上でリモート端末からの受信画像と操作
画面を分割表示するための画像信号合成処理等を行うビ
デオコントローラ部、１０５はＩＴＵ−Ｔ勧告ＪＴ−Ｈ
２６１に従った動画像の複号化、ＪＰＥＧに従った静止
画像の複号化を行うビデオ複号化部である。

【００２５】１０６はシステムバス１１５からの送信デ
ータを圧縮し、分離化部１０７へ通知するデータコント
ローラ部である。１０７はＩＴＵ−Ｔ勧告Ｈ．２２１に
従って、データコントローラ部９からのデータをフレー
ム化するとともに、受信フレームを音声、映像、データ
の各メディアに分離し各部に通知する分離化部、１０８
はＩＳＤＮユーザ・網インターフェースに従って回線を
制御する回線インターフェース部であり、ＩＳＤＮ回線
１０９に接続されてリモート端末との通信を行う。

【００２６】１１０はリモート端末のモード設定や回線
制御を行うユーザＩ／Ｆを提供する操作部でありシステ
ムバス１１５に接続されている。１１１はプログラムを
実行する際にワークエリアとして使用するＲＡＭ、１１
２はプログラムを格納するためのＲＯＭ、１１３はＣＰ
Ｕ（中央処理装置）である。１１４はＣＰＵ１１３、Ｒ
ＯＭ１１２、ＲＡＭ１１１はからなるシステム制御部
で、システムバス１１５経由で各デバイスの状態を監視
し、装置全体の制御、状態に応じた操作／表示画面の作
成及びアプリケーションプログラムの実行等を行う。

【００２７】図９は第２の実施例であるリモート監視シ
ステムのリモート端末の構成示すブロック図である。同
図において、１２０は音響入力手段であるマイク、１２
１はマイク１２０からの音響信号の音圧レベルを測定す
る音響検知部、１２２は送信音響信号を符号化する音響
符号化部である。

【００２８】１２３は映像入力手段であるカメラ部、１
２４はＩＴＵ−Ｔ勧告ＪＴ−Ｈ２６１に従った動画像の
符号化、ＪＰＥＧに従った静止画像の符号化を行うビデ
オ符号化部である。１２５は受信データを解凍し、シス
テムバス１３３経由でシステム制御部１３２へ通知する
データコントローラ部である。１２６はＩＴＵ−Ｔ勧告
Ｈ．２２１に従って音響符号化部１２２からの音響信
号、ビデオ符号化部１２４からの映像信号、データコン
トローラ部１２５からのデータを送信フレーム単位で多
重化するとともに受信フレーからデータメディアを分離
し、データコントローラ１２５に通知する多重／分離化
部、１２７はＩＳＤＮユーザ・網インターフェースに従
って回線を制御する回線インターフェース部であり、Ｉ
ＳＤＮ回線１２８に接続されて各リモート端末と通信を
行う。

【００２９】１２９はプログラムを実行する際にワーク
エリアとして使用するＲＡＭ、１３０はプログラムを格
納するためのＲＯＭ、１３１はＣＰＵ（中央処理装置）
である。１３２はＣＰＵ１８、ＲＯＭ１７、ＲＡＭ１６
からなるシステム制御部でシステムバス１３３経由で各
デバイスの状態を監視し端末全体の制御を行う。

【００３０】次に上記構成において、ホスト端末がリモ
ード端末に対して音響監視モードを設定する動作を図１
０のフローチャートを用いて説明する。本実施例におい
ては、音圧指定モードと変化率指定モードのどちらかを
ホスト端末のユーザが選択して、データコントロール部
１０６を介してコマンドを送信することによりモードを
設定する。

【００３１】ステップＳ１００ではモードを設定するリ
モート端末に対して発信して回線を接続する。ステップ
Ｓ１０１ではユーザの設定したモードが音圧指定モード
ならばステップＳ１０２へ、そうでなければ変化率指定
モードなのでステップＳ１０３へ進む。ステップＳ１０
２では音圧指定モードコマンドとそのパラメータであ
る、音圧レベルと継続時間とをデータコントロール部１
０６を介して選択したリモート端末に送信する。ステッ
プＳ１０３では変化率指定モードコマンドのパラメータ
である変化率の大きさをデータコントロール部１２５を
介してリモート端末に送信する。コマンドを受信したリ
モート端末は指定されたモードに移行する。

【００３２】次に、ホスト端末からモードを設定された
リモート端末が音響監視を行う動作を図１１のフローチ
ャートを用いて説明する。ステップＳ１１０ではマイク
１２０からの音響データを音響検知部１２１が取り込
む。ステップＳ１１１では音響監視モードをチェックし
音圧指定モードならばステップＳ１１２へ、そうでなけ
れば変化率指定モードなのでステップＳ１１５へ進む。

【００３３】ステップＳ１１２ではマイクから入力され
た音圧レベルが、ホスト端末から指定された音圧レベル
より大きいか比較する。大きければステップＳ１１３
へ、そうでなければステップＳ１１０へ進み監視を続け
る。ステップＳ１１３ではホスト端末から指定された音
圧を越えた時間の継続時間がホスト端末から指定された
時間を越えたかをチェックする。越えたならばホスト端
末から指定された条件を満たしたものとしてステップＳ
１１４へ、そうでなければステップＳ１１０へ進み監視
を続ける。ステップＳ１１４ではホスト端末に発信し
て、リモート端末の映像、音響を送信する。

【００３４】ステップＳ１１５では変化率指定モードな
ので音圧の変化率を計算する。ステップＳ１１６ではス
テップＳ１１５で計算した値がホスト端末から指定され
た値よりも大きいかを判定する。大きければ条件を満た
したものとしてステップＳ１１４へ進み、そうでなけれ
ばステップＳ１１０へ進み監視を続ける。

【００３５】本実施例によれば、リモート端末が異常を
検知した場合のみ回線を接続するため、常時回線を接続
しておく必要がない。このため公衆網などを伝送媒体と
して使用する場合、通信コストの削減になる。

【００３６】本実施例においては公衆回線を利用したた
め、異常検知時のみ回線を接続してディスプレイに表示
した。専用回線を用いて回線が常に接続されている場合
は、複数のリモート端末からの映像をホスト端末に分割
表示、あるいは順番に表示するようにしてよい。

【００３７】リモート端末が異常を検知した場合は、デ
ータ系のパスで異常検知コマンドをホスト端末に送信す
る。ホスト端末が映像の分割表示を行っている場合は、
異常検知コマンドを受信したリモート端末からの映像を
全画面表示する。順番に表示している場合は、異常検知
コマンドを受信したリモート端末からの映像に強調のた
めの枠を付けたり、異常を検知したリモート端末の映像
のみ表示するようにしてもよい。

【００３８】

【発明の効果】以上のように本発明によれば、複数の映
像の中から音声信号のレベルが所定の条件を満たしたも
のと対応する映像を選択するように構成したので、映像
入力手段及び音声入力手段の被写体あるいは周囲環境等
に適した条件を設定することにより、常に正確に所望の
映像を選択することができる効果がある。

【００３９】特に、所定の条件を、音声レベルが予め定
められた平均レベルを最も大きく越えたものとすること
により、テレビ会議システムに用いた場合は、発言者の
映像を確実に選択することができる。

【００４０】また、所定の条件を、音声信号のレベルが
所定時間継続して所定レベルを越えること、あるいはレ
ベルの変化率が所定の変化率を越えること、とすること
により、リモート監視システムに用いた場合は、異常を
確実に検出することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例によるテレビ会議端末の
構成を示すブロック図である。

【図２】音声コントローラの構成を示すブロック図であ
る。

【図３】会議の形態を示す説明図である。

【図４】会議参加者の音圧レベルを測定する動作を示す
フローチャートである。

【図５】音圧レベルを説明する特性図である。

【図６】送信映像を選択する動作を説明するフローチャ
ートである。

【図７】監視システムの形態を示すブロック図である。

【図８】ホスト端末の構成を示すブロック図である。

【図９】リモート端末の構成を示すブロック図である。

【図１０】ホスト端末が音響監視モードをリモート端末
に設定する動作を説明するフローチャートである。

【図１１】リモート端末の構成を説明するフロ−チャー
トである。

【符号の説明】

３ 音声コントローラ ７、１０４ ビデオコントローラ ９、１０６、１２５ データコントローラ ２１、２２、２３、１２０ マイク ５１、５２、５３、１２３ カメラ ３１、３２、３３ 音圧レベル検知部 ５０、１１４、１３２ システム制御部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数の映像入力手段にそれぞれ対応して
   設けられた複数の音声入力手段から入力される各音声信
   号のレベルをそれぞれ検出する検出手段と、 上記複数の映像入力手段から得られる各映像のうちの１
   つを選択するための所定の条件を設定する設定手段と、 上記検出手段で検出された上記各音声信号のレベルを上
   記設定手段で設定された上記所定の条件とそれぞれ比較
   し、条件に適合した音声信号と対応する１つの映像を選
   択する選択手段とを備えた映像選択装置。
2. 【請求項２】 上記所定の条件とは、上記検出手段で検
   出した上記各音声信号の所定時間における平均レベルを
   それぞれ記憶した値であり、上記選択手段は現在の上記
   各音声信号のレベルと上記各平均レベルとをそれぞれ比
   較し、音声信号が平均レベルを最も大きく越えているも
   のと対応する映像を選択することを特徴とする請求項１
   記載の映像選択装置。
3. 【請求項３】 上記所定の条件とは、音声信号のレベル
   が所定時間継続して所定レベルを越えることである請求
   項１記載の映像選択装置。
4. 【請求項４】 上記所定の条件とは、音声信号のレベル
   の変化率が所定の変化率を越えることである請求項１記
   載の映像選択装置。