JPH0771279B2 - テレビ会議用画像処理装置 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 旋回する人物カメラを含むカメラ群からの画像を切り替
えて画像符号化するテレビ会議用画像処理装置に関し、 カメラの旋回時又は切替時において早目に動き重視のモ
ードに追従することができるようにすることを目的と
し、 旋回カメラ及び固定カメラを含むカメラ群と、該カメラ
群の切替スイッチと、該旋回カメラを旋回させる旋回台
駆動部と、話者位置信号又は操作信号を入力して該旋回
台駆動部への駆動信号及び／又は該切替スイッチへの切
替信号を発生する制御部と、該切替スイッチからの画像
信号を符号化する画像符号化回路とを備え、該制御部で
は、該操作信号又は話者位置信号が該駆動信号及び／又
は該切替信号の発生を指示していると判定した時、動作
予告信号を該画像符号化回路に送り、該画像符号化回路
では、該動作予告信号に応答し該駆動又は切替の動作完
了信号を該制御部から受けるまで動き重視の処理を行う
ように構成する。

〔産業上の利用分野〕

本発明は、テレビ会議用画像処理装置に関し、特に旋回
する人物カメラを含むカメラ群からの画像を切り替えて
画像符号化するテレビ会議用画像処理装置に関するもの
である。

テレビ会議においては、通常、電動旋回台に載せて会議
参加者の画像を写す人物カメラと、全景を写すために固
定された全景カメラと、書画、小物を写すために固定さ
れた書画カメラ等が用意されるが、これらのカメラの旋
回時や切替時においては、できるだけ画像の追従性を良
くすることがテレビ会議を違和感無く円滑に進行させる
上で必要となる。

〔従来の技術〕

従来においては、上記のようなカメラの旋回又は切替を
行ったときは、特別な制御は行わず、画像符号化回路
（CODEC）の通常処理のみに任されていた。

即ち、画像符号化回路では、その圧縮率を高めるため、
１画面内の画質を重視する（動きの追従性を犠牲にす
る＝送信のコマを重点的に落とす）モードと、動きの
追従性を重視する（１画面内の画質の方を重点的に落と
す間引処理を行う）モードと、その中間の値を分割す
ることにより複数段階を作るモードとを持っており、実
際の処理の際は、前フレームに対する動きの大小によ
り、上記のモードをアクティブに処理する複合差分方式
（フレーム間予測＋フレーム内予測）を採用している。

従って、動きが激しい（前フレームとの差分が大きい）
場合は、動き重視のモードに徐々に移って行き、動き
が少なくなる（前フレームとの差分が小さい）場合は画
質重視のモードへと移って行く。

〔発明が解決しようとする課題〕

このようなテレビ会議用画像処理装置においては、第７
図（ａ）に示すように、人物カメラ100が旋回して人物
Ａ〜Ｄを映して行くとき、人物カメラ100自体の撮影画
面は第７図（ｂ）に示すように変わって行くが、これを
画像符号化回路で画像処理を施すと、第７図（ｃ）に示
すように、例えば人物カメラ100が旋回開始した場合、
上記のモードはからへ急には切り替えることができ
ず、徐々に動き重視のモードへ移って行くので、コマ
落としが多くなってしまい、人物カメラの場合には、画
面に連続性が無くなってしまい、またカメラ切替の場合
にはタイムラグが大きくなって時間的な連続性に欠け、
結局見づらい画面となってしまうという問題点があっ
た。

従って、本発明は、カメラの旋回時又は切替時において
早目に動き重視のモードに追従することができるように
することを目的とする。

〔課題を解決するための手段〕

上記の課題を解決するため、本発明に係るテレビ会議用
画像処理装置では、第１図に原理的に示すように、旋回
カメラ10及び固定カメラ11を含むカメラ群１と、該カメ
ラ群１のうち何れかの出力信号を選択するための切替ス
イッチ２と、該旋回カメラ10を旋回させる旋回台駆動部
３と、マイクロホン群13より集音された音声信号により
話者検出手段15から出力された話者の存在及び話者の位
置を特定する話者位置信号又は操作パネル12の操作によ
り出力された操作信号を入力して該旋回台駆動部３への
駆動信号及び／又は該切替スイッチ２への切替信号を発
生すると共に、該旋回台駆動部３からの動作完了信号又
は該切替信号に基くタイムアウト信号又は該操作信号に
よる操作が終了した事を示す信号に基き動作完了信号を
発生する制御部４と、該切替スイッチ２からの画像信号
を符号化する画像符号化回路５とを備えている。

そして、制御部４では、該操作信号又は話者位置信号が
該駆動信号及び／又は該切替信号の発生を指示している
と判定した時、動作予告信号を該画像符号化回路５に送
り、該画像符号化回路５では、該動作予告信号に応答し
該駆動又は切替の動作完了信号を該制御部４から受ける
まで一定量の伝送画像データにおいて空間解像度（画
質）のデータより時間解像度（動き）のデータの方に相
対的に多くのデータを割り当てるように構成している。

〔作用〕

本発明においては、制御部４が操作パネル12からの操作
信号又は話者検出手段15からの話者位置信号を入力した
時、これらの信号が旋回カメラ10を旋回させる旋回台駆
動部３への駆動信号又はカメラ群１の切替スイッチ２へ
の画像切替信号の発生を指示していると判定した時、動
作予告信号を画像符号化回路５に送る。

この動作予告信号を受けたことにより画像符号化回路５
は、第２図に示すように、画質重視のモードから動き
重視のモードに移るために、伝送容量が一定であるこ
とに鑑みて空間解像度のデータより、時間解像度のデー
タの方に相対的に多くのデータを割り当てることにより
動き重視の処理が行われ、実際に旋回台駆動部３に駆動
信号を与え、又は切替スイッチ２に切替信号を与える。

これにより旋回台駆動部３は旋回カメラ10を旋回させ且
つ切替スイッチ２を切り替えるか、或いは旋回又は切替
のいずれかを行うが、この間は、第２図に示すように画
質は劣化するがコマ落としの無い画面が送られる。

この旋回台駆動部３又は切替スイッチ２の動作が完了す
ると、制御部４はその動作完了信号を発生して画像符号
化回路５に与える。

そして、画像符号化回路５は動作完了信号を受けると、
これまで動き重視のモードであったものを元の画質重
視のモードに戻す。

このようにして、カメラの旋回開始等によるコマ落とし
の多い見づらい画面を無くすことができる。

〔実施例〕

第３図は、本発明に係るテレビ会議用画像処理装置のハ
ードウェア構成の一実施例を示し、この実施例では、カ
メラ群１は旋回カメラ10としての人物カメラ及び固定カ
メラ11としての全景カメラを含んでいる。また、操作入
力信号は操作パネル12で発生され、話者位置信号は、マ
イク群13で収音した音声を音声制御装置14及び話者検出
装置15によってどのマイクによる音声かを判定し、その
マイクに対応した信号として発生されたものである。制
御部４は、操作入力信号からカメラ位置の状態変化、即
ちカメラの旋回指示を検出する状態変化検出部21と、話
者位置信号からカメラ位置の状態変化、即ちカメラの切
替指示を検出する状態変化検出部22と、状態変化検出部
21、22での状態変化検出信号から旋回台駆動部３又は切
替スイッチ（ビデオスイッチ）２を制御するための信号
を発生する操作入力制御部23及び話者検出制御部24と、
操作入力制御部23及び話者検出制御部24の各出力信号を
後述する動作許可信号が発生されるまで遅延待機させる
ゲート回路25、26と、状態変化検出部21、22からの各状
態変化信号を入力して動作予告信号を発生し画像符号化
回路５に送るORゲート27と、ORゲート27からの動作予告
信号を受けて動作開始し一定時間後にタイムアウト信号
を発生するタイマ28と、タイマ28のタイムアウト信号又
は画像符号化回路５からのモード固定完了信号とを入力
して動作許可信号を発生するORゲート29と、ゲート25又
は26から共に操作入力制御部23及び話者検出制御部24の
出力信号を受けて旋回台駆動部３及び切替スイッチ２に
それぞれ送る旋回台出力制御部30及びスイッチ切替出力
制御部31と、切替スイッチ出力制御部31の切替信号を受
けて動作開始し一定時間後にタイムアウト信号（切替動
作完了擬似信号）を発生するタイマ32と、状態変化検出
部21からの操作終了信号、旋回台駆動部３からの動作終
了信号及びタイマ32からのタイムアウト信号を受けて動
作完了信号を画像符号化回路５に送るORゲート33とで構
成されている。

また、画像符号化回路５は第４図に示す構成を有してお
り、切替スイッチ２からの画像信号をA/D変換器51でデ
ィジタル信号に変換し、前フレーム信号を記憶したフレ
ームメモリ52とのフレーム間差分をとり、更にこのフレ
ーム間差分信号の各画素を遅延回路（Ｄ）53を用いて１
画素前の画素データとのフレーム内差分をとり、このフ
レーム内差分信号を量子化器54で量子化し、バッファメ
モリ55を介して符号化出力として多重化装置（図示せ
ず）等に送出するとともにバッファメモリ55の蓄積量に
応じてパラメータ決定部56が、パラメータ設定部57と58
のパラメータをアクティブに変更制御する複合差分方式
として良く知られたものであるが、本発明では、パラメ
ータ決定部56は制御部４からの動作予告信号又は動作完
了信号を更に受けてパラメータ設定部57、58のパラメー
タを固定又は可変にし且つこのモードに固定完了した旨
の信号を制御部４に出力するように構成している。

次に第３図及び第４図に示した実施例の動作を説明す
る。

通常は、全景カメラ11又は人物カメラ10からの画像信号
が切替スイッチ２を経て画像符号化回路５に送られ、上
記のようにフレーム間予測及びフレーム内予測をアクテ
ィブに行って符号化され圧縮された画像信号を伝送して
いる。

今、オペレータが操作パネル12を操作して人物カメラ10
を旋回させようとすると、操作入力信号により状態変化
検出部21及び操作入力制御部23を介して旋回台駆動部３
への駆動信号がゲート25に入力される。このとき、現在
の切替スイッチ２が全景カメラ11の方に切り替わってい
るときには切替スイッチ２への切替信号も併せて操作入
力制御部23からゲート25へ送られる。

このことは、話者位置信号についても同様に行われ、マ
イク群13、音声制御装置14及び話者検出装置15によって
音声源の話者位置を検出することよって発生された話者
位置信号により状態変化検出部22及び話者検出制御部24
から旋回台駆動部３への駆動信号及び必要に応じて切替
スイッチ２への切替信号がゲート26へ送られる。

このような状態変化の少なくとも一方が発生すると、そ
の状態変化信号がORゲート27に送られ、ORゲート27から
動作予告信号が発生されて画像符号化回路５及びタイマ
28に送られる。

画像符号化回路５（第４図参照）では、パラメータ決定
部56がパラメータ制御信号によりパラメータ設定部57と
58を動き（時間解像度）重視の固定値αとβにそれぞれ
設定する。この固定値αは“1"より小さいフレーム間差
分抑圧係数であり、βは1/αに相当し“1"より大きいフ
レーム間差分伸長係数であるため、フレーム間差分を小
さくすることになってフレーム内予測の比重を上げ、以
てコマ落としが少なく（時間解像度のデータが相対的に
多く）但し１画面の画質が劣化した（空間解像度のデー
タが相対的に少ない）間引かれた画面を送出する。

このように固定値αとβを設定した時には、パラメータ
決定部56からモード固定完了信号が発生されて制御部４
に与えられる。

これにより制御部４のORゲート29は動作許可信号をゲー
ト25、26に与える。尚、動作予告信号を画像符号化回路
５に与えてから一定時間経過してもモード固定完了信号
が戻って来ないときにも同様に動作許可信号が発生され
る。

この動作許可信号が来るまで待機していた操作入力制御
部23又は話者検出制御部24からの制御信号が旋回台出力
制御部30及び切替スイッチ出力制御部31に与えられ、そ
れぞれ旋回台駆動部３を駆動開始し、切替スイッチ２を
切り替える。

そして、旋回台駆動部３が人物カメラ10を、操作入力制
御部23又は話者検出制御部24で指示された移動量だけ旋
回させたときには、旋回台駆動部３より動作完了信号が
発生されてORゲート33に送られる。尚、この動作完了信
号は、オペレータが操作パネル12を操作し終わった時に
状態変化検出部21から操作終了信号として、又は切替信
号が切替スイッチ２に与えられてから一定時間が経過し
てタイマ32により発生されたタイムアウト信号としても
ORゲート33に与えられる。

ORゲート33は動作完了信号を画像符号化回路５に与え、
これにより画像符号化回路５のパラメータ決定部56では
上記の固定モードを解除してパラメータ設定部57及び58
のパラメータ値をバッファメモリ55の蓄積量に応じてア
クティブに変更する通常モードに戻す。これにより、動
き重視のモードから画質重視のモードに戻ることに
なる。

第５図は制御部４をソフトウェアで動作させる場合のシ
ステム構成を示したもので、この実施例では、操作入力
レジスタ41が第３図の操作入力制御部23に対応し、話者
検出入力レジスタ42が話者検出制御部24に、旋回台制御
出力レジスタ46及び旋回台制御入力レジスタ47が旋回台
出力制御部30に、スイッチ制御出力レジスタ48が切替ス
イッチ出力制御部31にそれぞれ対応し、制御部４と画像
符号化回路５とのインタフェースは制御出力レジスタ49
と制御入力レジスタ50とで行っており、第３図のゲート
25、26、タイマ28、32、そしてORゲート29、33の機能
は、マイクロプロセッサー（MPU）43、ROM44、及びRAM4
5がデータバスDB及びアドレスバスABを経由することに
よって行っている。

この第５図の実施例におけるプロセッサー43で実行され
るフローチャートが第６図に示されており、まず、状態
変化検出部21又は22で検出された状態変化がどういうも
のかチェックされ（第６図のステップS1）、旋回台動作
又はスイッチ切替であれば、画像符号化回路５へ固定モ
ード指定のための信号を制御出力レジスタ49を介して送
出する（同ステップS2）。これに応答して画像符号化回
路５は上述したようにパラメータを固定設定する。

この後、パラメータの固定モード設定が完了したか否か
をチェックし（同ステップS3）、完了していないときは
タイマ28と同様の機能を得るためにタイムアウトのチェ
ックを行う（同ステップS4）。

パラメータの固定モード設定が完了したとき、又はタイ
ムアウトしたときには、操作入力レジスタ41又は話者検
出入力レジスタ42からの信号がスイッチ切替を指示して
いるか否かをチェックし（同ステップS5）、スイッチ切
替を指示しているときにはスイッチ制御出力レジスタ48
より切替スイッチ２の切替を行い（同ステップS6）、更
に旋回台動作の指示があるか否かチェックし（同ステッ
プS7）、指示があるときには旋回台制御出力レジスタ46
を介して旋回台駆動部３に駆動信号を与えて人物カメラ
10を旋回させ、その後、旋回台の動作が完了したか否か
を旋回台入力レジスタ47を介してチェックし（同ステッ
プS9）、動作完了したと判定されたときには、画像符号
化回路５にパラメータの固定モード設定を解除する動作
完了信号を制御出力レジスタ49を介して送る（同ステッ
プS11）。

ステップS7で旋回台の動作が無いと判定された時には一
定の遅延時間を持たせ（同ステップS10）てからステッ
プS11を実行する。

また、ステップS1の状態変化が旋回台停止を指示してい
るときには、やはり動作完了としてステップS11に進
む。

このようにして本発明では、ハードウェア、ソフトウェ
アいずれによってもカメラの旋回又は切替時のコマ落と
し処理を抑制して見易い画面を得るようにしている。

〔発明の効果〕

このように、本発明のテレビ会議用画像処理装置によれ
ば、画像符号化回路を通常の画質（空間解像度）重視の
アクティブな処理と、動き（時間解像度）重視の処理の
いずれかが設定されるようにしておき、制御部への操作
入力又は話者位置入力によりカメラの旋回及び／又は切
替が指示された時点で動作予告し、動作が完了するまで
動き重視の処理にするように構成したので、コマ落とし
の多い不連続な又はタイムラグの大きい見づらい画面を
表示せずに済み、テレビ会議において違和感無く円滑な
会議の進行が実現できる。

【図面の簡単な説明】

第１図は本発明に係るテレビ会議用画像処理装置を原理
的に示したブロック図、 第２図は本発明に係るテレビ会議用画像処理装置で得ら
れる画面を示した図、 第３図は本発明に用いる制御部をハードウェアで構成し
た場合の一実施例を示すブロック図、 第４図は本発明に用いる画像符号化回路の一実施例を示
すブロック図、 第５図は本発明に用いる制御部をソフトウェア構成する
場合のシステムの一実施例を示すブロック図、 第６図は制御部のソフトウェア処理を示すフローチャー
ト図、 第７図は従来例による画面を示した図、である。 第１図において、 １……カメラ群、２……切替スイッチ、３……旋回台駆
動部、４……制御部、５……画像符号化回路、10……旋
回カメラ、11……固定カメラ。 図中、同一符号は同一又は相当部分を示す。

Claims (1)

【特許請求の範囲】
1. 【請求項１】旋回カメラ（10）及び固定カメラ（11）を
   含むカメラ群（１）と、 該カメラ群（１）のうち何れかの出力信号を選択するた
   めの切替スイッチ（２）と、 該旋回カメラ（10）を旋回させる旋回台駆動部（３）
   と、 マイクロホン群（13）より集音された音声信号により話
   者検出手段（15）から出力された話者の存在及び話者の
   位置を特定する話者位置信号又は操作パネル（12）の操
   作により出力された操作信号を入力して該旋回台駆動部
   （３）への駆動信号及び／又は該切替スイッチ（２）へ
   の切替信号を発生すると共に、該旋回台駆動部（３）か
   らの動作完了信号又は該切替信号に基くタイムアウト信
   号又は該操作信号による操作が終了した事を示す信号に
   基き動作完了信号を発生する制御部（４）と、 該切替スイッチ（２）からの画像信号を符号化する画像
   符号化回路（５）とを備え、 該制御部（４）では、該操作信号又は話者位置信号が該
   駆動信号及び／又は該切替信号の発生を指示していると
   判定した時、動作予告信号を該画像符号化回路（５）に
   送り、該画像符号化回路（５）では、該動作予告信号に
   応答し該駆動又は切替の動作完了信号を該制御部（４）
   から受けるまで一定量の伝送画像データにおいて空間解
   像度のデータより時間解像度のデータの方に相対的に多
   くのデータを割り当てることを特徴とするテレビ会議用
   画像処理装置。