JPH0252581A - テレビ会議用画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔１既　　　　　要〕 旋回する人物カメラを含むカメラ群からの画像を切り替
えて画像符号化するテレビ会議用画像処理装置に関し、 カメラの旋回時又は切替時において早目に動き重視のモ
ードに追従することができるようにすることを目的とし
、 旋回カメラ及び固定カメラを含むカメラ群と、該カメラ
群の切替スイッチと、該旋回カメラを旋回させる旋回台
駆動部と、話者位置信号又は操作信号を入力して該旋回
台駆動部への駆動信号及び／又は該切替スイッチへの切
替信号を発生する制御部と、該切替スイッチからの画像
信号を符号化する画像符号化回路とを備え、該制御部で
は、該操作信号又は話者位置信号が該駆動信号及び／又
は咳切替信号の発生を指示していると判定した時、動作
予告信号を該画像符号化回路に送り、該画像符号化回路
では、該動作予告信号に応答も該駆動又は切替の動作完
了信号を該制御部から受けるまで圧縮率を動き重視の値
に固定するように構成する。

〔産業上の利用分野〕

本発明は、テレビ会議用画像処理装置に関し、特に旋回
する人物カメラを含むカメラ群からの画像を切り替えて
画像符号化するテレビ会議用画像処理装置に関するもの
である。

テレビ会議においては、通常、電動旋回台に載せて会議
参加者の画像を写す人物カメラと、全景を写すために固
定された全景カメラと、６画、小物を写すために固定さ
れた書画カメラ等が用意されるが、これらのカメラの旋
回時や切替時においては、できるだけ画像の追従性を良
くすることがテレビ会議を違和感無く円滑に進行させる
上で必要となる。

〔従来の技術〕

従来においては、上記のようなカメラの旋回又は切替を
行ったときは、特別な制御は行わず、画像符号化回路（
ＣＯＤＥＣ）の通常処理のみに任されていた。

即ら、画像符号化回路では、その圧縮率を高めるため、
０１画面内の画質を重視する（動きの追従性を犠牲にす
る一送信のコマを重点的に落とす）モードと、■動きの
追従性を重視する（１画面内の画質の方を重点的に落と
す間引処理を行う）モードと、■その中間の値を分割す
ることにより複数段階を作るモードとを持っており、実
際の処理の際は、前フレームに対する動きの大小により
、上記のモードをアクティブに処理する複合差分方式（
フレーム間予測士フレーム内子ａｌｌ＋　）を採用して
いる。

従って、動きが激しい（前フレームとの差分が大きい）
場合は、動き重視のモード■に徐々に移って行き、動き
が少なくなる（前フレームとの差分が小さい）場合は画
質重視のモード■へと移って行く。

〔発明が解決しようとする課題〕

このようなテレビ会議用画像処理装置においては、第７
図（ａ）に示すように、人物カメラ１（１０が旋回して
人物Ａ−Ｄを映して行くとき、人物カメラ１（１０自体
の撮影画面は第７図（１））に示すように変わって行く
が、これを画像符号化回路で画像処理を施すと、第７図
（Ｃ１に示すように、例えば人物カメラ１（１０が旋回
開始した場合、上記のモードは■から■へ急には切り替
えることができず、徐々に動き重視のモード■へ移って
行くので、コマ落としが多くなってしまい、人物カメラ
の場合には、画面に連続性が無くなってしまい、またカ
メラ切替の場合にはタイムラグが大きくなって時間的な
連続性に欠け、結局見づらい画面となってしまうという
問題点があった。

従って、本発明は、カメラの旋回時又は切替時において
早目に動き重視のモードに追従することができるように
することを目的とする。

〔課題を解決するための手段〕

上記の課題を解決するため、本発明に係るテレビ会議用
画像処理装置では、第１図に原理的に示すように、旋回
カメラＩＯ及び固定カメラ１１を含むカメラ群１と、該
カメラ群１の切替スインチ２と、該旋回カメラ１０を旋
回させる旋回台駆動部３と、・話者位置信号又は操作信
号を人力して該旋回台駆動部３への駆動信号及び／又は
咳切替スインチ２への切替信号を発生する制御部４と、
該切替スイッチ２からの画像信号を符号化する画像符号
化回路５とを備えている。

そして、制御部４では、該操作信号又は話者位置信号が
該駆動信号及び／又は該切替信号の発生を指示している
と判定した時、動作予告信号を該画像符号化回路５に送
り、該画像符号化回路５では、該動作予告信号に応答し
該駆動又は切替の動作完了信号を該制御部４から受ける
まで圧縮率を動き重視の値に固定するように構成してい
る。

〔作　　　用］ 本発明においては、制御部４が操作信号又は話者位置信
号を人力した時、これらの信号が旋回カメラ１０を旋回
させる旋回台駆動部３への駆動信号又はカメラ群ｌの切
替スイッチ２への切替信号の発生を指示していると判定
した時、動作予告信号を画像符号化回路５に送る。

この動作予告信号を受けたことにより画像符号化回路５
は、第２図に示すように、画質重視のモード■から動き
重視のモード■に移るために、圧縮率を動き重視の値に
固定した後、実際に旋回台駆動部３に駆動信号を与え、
又は切替スイッチ２に切替信号を与える。

これにより旋回台駆動部３は旋回カメラ１０を旋回させ
且つ切替スイッチ２を切り替えるか、或いは旋回又は切
替のいずれかを行うが、この間は、第２図に示すように
画質は劣化するがコマ落としの無い画面が送られる。

この旋回台駆動部３又は切替スイッチ２の動作が完了す
ると、制御部４はその動作完了信号を発生して画像符号
化回路５に与える。

そして、画像符号化回路５は動作完了信号を受けると、
これまで動き重視のモード■であったものを元の画質重
視のモード■に戻す。

このようにして、カメラの旋回開始等によるコマ落とし
の多い見づらい画面を無くすことができる。

〔実　施　例〕

第３図は、本発明に係るテレビ会議用画像処理装置のハ
ードウェア構成の一実施例を示し、この実施例では、カ
メラ群ｌは旋回カメラ１０としての人物カメラ及び固定
カメラ１１としての全景カメラ１２を含んでいる。また
、操作人力信号は代作パネル１２で発生され、話者位置
信号は、マイク群１３で収音した音声を音声制御ｆｉ置
１４及び話者検出装置１５によってどのマイクによる音
声かを判定し、そのマイクに対応した信号として発生さ
れたものである。制御部４は、操作入力信号からカメラ
位置の状態変化、即ちカメラの旋回指示を検出する状態
変化検出部２１と、話者位置信号からカメラ位置の状態
変化、即ちカメラの切替指示を検出する状態変化検出部
２２と、状態変化検出部２１．２２での状態変化検出信
号から旋回台駆動部３又は切替スイッチ（ビデオスイッ
チ）２を制御するための信号を発生する操作人力制御部
２３及び話者検出制御部２４と、操作入力制御部２３及
び話者検出制御部２４の各出力信号を後述する動作許可
信号が発生されるまで遅延待機させるゲート回路２５．
２６と、状態変化検出部２１．２２からの各状態変化信
号を入力して動作予告信号を発生し画像符号化回路５に
送るＯＲゲート２７と、ＯＲゲート２７からの動作予告
信号を受けて動作開始し一定時間後にタイムアウト信号
を発生するタイマ２日と、タイマ２８のタイムアウト信
号又は画像符号化回路５からのモード固定完了信号とを
入力して動作許可信号を発生するＯＲゲート２９と、ゲ
ート２５又は２６から共に操作入力制御部２３及び話者
検出制御部２４の出力信号を受けて旋回台駆動部３及び
切替スイッチ２にそれぞれ送る旋回台出力制御部３０及
びスイッチ切替出力制御部３１と、切替スイッチ出力制
御′１部３１の切替信号を畳けて動作開始し一定時間後
にタイムアウト信号（切替動作完了擬似信号）を発生す
るタイマ３２と、状態変化検出部２Ｉからの操作終了信
号、旋回台駆動部３からの動作終了信号及びタイマ３２
からのタイムアウト信号を受けて動作完了信号を画像符
号化回路５に送るＯＲゲート３３とで構成されている。

また、画像符号化回路５は第４図に示す構成を有してお
り、切替スイッチ２からの画像信号をＡ／Ｄ変換器５１
でディジタル信号に変換し、前フレーム信号を記憶した
フレームメモリ５２とのフレーム間差分をとり、更にこ
のフレーム間差分信号の各画素を遅延回路（Ｄ）５３を
用いて１画素前の画素データとのフレーム内差分をとり
、このフレーム内差分信号を量子化器５４で量子化し、
バッファメモリ５５を介して符号化出力として多重化装
置（図示せず）等に送出するとともにバッファメモリ５
５の蓄４１１に応じてパラメータ決定部５６が、パラメ
ータ設定部５７と５８のパラメータをアクティブに変更
制御する複合差分方式として良く知られたものであるが
、本発明では、パラメータ決定部５６は制御部４からの
動作予告信号又は動作完了信号を更に受けてパラメータ
設定部５７．５日のパラメータを固定又は可変にし且つ
このモードに固定完了した旨の信号を制御部４に出力す
るように構成している。

次に第３図及び第４図に示した実施例の動作を説明する
。

通常は、全景カメラ１１又は人物カメラ１０からの画像
信号が切替スイッチ２を経て画像符号化回路５に送られ
、上記のようにフレーム間予測及びフレーム内予測をア
クティブに行って符号化され圧縮された画像信号を伝送
している。

今、オペレータが操作パネル１２を操作して人物カメラ
１０を旋回させようとすると、操作入力信号により状態
変化検出部２１及び操作人力制御部２３を介して旋回台
駆動部３への駆動信号がゲート２５に入力される。この
とき、現在の切替スイッチ２が全景カメラ１１の方に切
り替わっているときには切替スイッチ２への切替信号も
併せて操作入力制御部２３からゲート２５へ送られる。

このことは、話者位置信号についても同様に行われ、マ
イク群１３、音声制御装置１４及び話者検出装置１５に
よって音声源の話者位置を検出することよって発生され
た話者位置信号により状態変化検出部２２及び話者検出
制御部２４から旋回台駆動部３への駆動信号及び必要に
応じて切替スイッチ２への切替信号がゲート２６へ送ら
れる。

このような状態変化の少なくとも一方が発生すると、そ
の状態変化信号がＯＲゲート２７に送られ、ＯＲゲート
２７から動作予告信号が発生されて画像符号化回路５及
びタイマ２日に送られる。

画像符号化回路５（第４図参照）では、パラメータ決定
部５６がパラメータ制御信号によりバラメーク設定部５
７と５８を動き重視の固定値αとβにそれぞれ設定する
。この固定値αは”ビより小さいフレーム間差分抑圧係
数であり、βは１／αに相当し１゛より大きいフレーム
間差分伸長係数であるため、フレーム間差分を小さくす
ることになってフレーム内予測の比重を上げ、以てコマ
落としが少なく但し１画面の画質が劣化した間引かれた
画面を送出する。

このように固定値αとβを設定した時には、パラメータ
決定部５６からモード固定完了信号が発生されて制御部
４に与えられる。

これにより制御部４のＯＲゲート２９は動作許可信号を
ゲート２５．２６に与える。尚、動作予告信号を画像符
号化回路５に与えてから一定時間経過してもモード固定
完了信号が戻って来ないときにも同様に動作許可信号が
発生される。

この動作許可信号が来るまで待機していた操作入力制御
部２３又は話者検出制御部２４からの制御信号が旋回台
出力制御部３０及び切替スイッチ出力制御部３１に与え
られ、それぞれ旋回台駆動部３を駆動開始し、切替スイ
ッチ２を切り替える。

そして、旋回台駆動部３が人物カメラ１０を、操作人力
制御部２３又は話者検出制御部２４で指示された移動量
だけ旋回させたときには、旋回台部ｌｈ部３より動作完
了信号が発生されてＯＲゲート３３に送られる。尚、こ
の動作完了信号は、オペレータが操作パネル１２を操作
し終わった時に状態変化検出部２１から操作終了信号と
して、又は切替信号が切替スイッチ２に与えられてから
一定時間が経過してタイマ３２により発生されたタイム
アウト信号としてもＯＲゲート３３に与えられる。

ＯＲゲート３３は動作完了信号を画像符号化回路５に与
え、これにより画像符号化回路５のパラメータ決定部５
６では上記の固定モートを解除してパラメータ設定部５
７及び５８のパラメータ値をバッファメモリ５５の蓄積
量に応じてアクティブに変更する通常モードに戻す。こ
れにより、動き、！１￥視のモード■から画質重視のモ
ード■に戻ることになる。

第５図は制御部４をソフトウェアで動作させる場合のシ
ステム構成を示したもので、この実施例では、操作人力
レジスタ４１が第３図の操作入力制御部２３に対応し、
話者検出入力レジスタ４２が話者検出制御部２４に、旋
回台制御出力レジスタ４６及び旋回台制御人力レジスタ
４７が旋回台出力制御部３０に、スイッチ制御出力レジ
スタ４日が切替スインチ出力制御部３１にそれぞれ対応
し、制御部４と画像符号化回路５とのインタフェースは
制御出力レジスタ４９と制御人力レジスタ５０とで行っ
ており、第３図のゲート２５．２６、タイマ２８．３２
、そしてＯＲゲート２９．３３の機能は、マイクロプロ
セッサ−（ＭＰＵ）４３、ＲＯＭ４４、及びＩ’？ＡＭ
４５がデータバスＤＢ及びアドレスバスＡＢを経由する
ことによって行っている。

この第５図の実施例におけるプロセッサー４３で実行さ
れるフローチャートが第６図に示されており、まず、状
態変化検出部２１又は２２で検出された状態変化がどう
いうものかチエツクされ（第６圓のステップＳ１）、旋
回台動作又はスイッチ切替であれば、画像符号化回路５
へ固定モード指定のための信号を制御出力レジスタ４９
を介して送出する（同ステップ３２）。これに応答して
画像符号化回路５は上述したようにパラメータを固定設
定する。

この後、パラメータの固定モード設定が完了したか否か
をチエツクしく同ステップＳ３）、完了していないとき
はタイマ２８と同様の機能を得るためにタイムアウトの
チエツクを行う（同ステップ３４）。

パラメータの固定モード設定が完了したとき、又はタイ
ムアウトしたときには、操作人力レジスタ４１又は話者
検出入力レジスタ４２からの信号がスイッチ切替を指示
しているか否かをチエツクしく同ステップＳ５）、スイ
ッチ切替を指示しているときにはスイッチ制御出力レジ
スタ４８より切替スイッチ２の切替を行い（同ステップ
Ｓ６）、更に旋回台動作の指示があるか否かチエツクし
く同ステップＳ７）、指示があるときには旋回台制御出
力レジスタ４６を介して旋回台駆動部３に駆動信号を与
えて人物カメラ１０を旋回させ、その後、旋回台の動作
が完了したか否かを旋回台入力レジスタ４７を介してチ
エツクしく同ステップＳ９）、動作完了したと判定され
たときには、画像符号化回路５にパラメータの固定モー
ド設定を解除する動作完了信号を制御出力レジスタ４９
を介して送る（同ステップ５ｉｔ）。

ステップＳ７で旋回台の動作が無いと判定された時には
一定の遅延時間を持たせ（同ステップ５１０）でからス
テップ３１１を実行する。

また、ステップＳ１の状態変化が旋回台停止を指示して
いるときには、やはり動作完了としてステップＳｌｌに
進む。

このようにして本発明では、ハードウェア、ソフトウェ
アいずれによってもカメラの旋回又は切替時のコマ落と
し処理を抑制して見易い画面を得るようにしている。

〔発明の効果〕

このように、本発明のテレビ会議用画像処理装置によれ
ば、画像符号化回路の圧縮率を通常のアクティブな処理
と、動き重視の固定した値のいずれかが設定されるよう
にしておき、制御部への操作入力又は話者位置人力によ
りカメラの旋回及び／又は切替が指示された時点で動作
予告し、動作が完了するまで動き重視の圧縮率に固定す
るように構成したので、コマ落としの多い不連続な又は
タイムラグの大きい見づらい画面を表示せずに済み、テ
レビ会議において違和悪態（円滑な会議の進行が実現で
きる。

【図面の簡単な説明】

第１図は本発明に係るテレビ会議用画像処理装置を原理
的に示したブロック図、 第２図は本発明に係るテレビ会議用画像処理装置で得ら
れる画面を示した図、 第３図は本発明に用いる制御部をハードウェアで構成し
た場合の一実施例を示すブロック図、第４図は本発明に
用いる画像符号化回路の一実施例を示すブロック図、 第５図は本発明に用いる制御部をソフトウェア構成する
場合のシステムの一実施例を示すブロック図、 第６図は制御部のソフトウェア処理を示すフローチャー
ト図、 第７図は従来例による画面を示した図、である。 第１図において、 １・・・カメラ群、 ２・・・切替スイッチ、 ３・・・旋回台駆動部、 ４・・・制御部、 ５・・・画像符号化回路、 １０・・・旋回カメラ、 １１・・・固定カメラ。 図中、同一符号は同−又は相当部分を示す。

Claims (1)

1. 【特許請求の範囲】 旋回カメラ（１０）及び固定カメラ（１１）を含むカメ
   ラ群（１）と、 該カメラ群（１）の切替スイッチ（２）と、該旋回カメ
   ラ（１０）を旋回させる旋回台駆動部（３）と、話者位
   置信号又は操作信号を入力して該旋回台駆動部（３）へ
   の駆動信号及び／又は該切替スイッチ（２）への切替信
   号を発生する制御部（４）と、該切替スイッチ（２）か
   らの画像信号を符号化する画像符号化回路（５）とを備
   え、 該制御部（４）では、該操作信号又は話者位置信号が該
   駆動信号及び／又は該切替信号の発生を指示していると
   判定した時、動作予告信号を該画像符号化回路（５）に
   送り、該画像符号化回路（５）では、該動作予告信号に
   応答し該駆動又は切替の動作完了信号を該制御部（４）
   から受けるまで圧縮率を動き重視の値に固定することを
   特徴とするテレビ会議用画像処理装置。