JPH09153138A

JPH09153138A - カメラ制御装置

Info

Publication number: JPH09153138A
Application number: JP7314083A
Authority: JP
Inventors: Takehiko Fujiyama; 武彦藤山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-12-01
Filing date: 1995-12-01
Publication date: 1997-06-10

Abstract

(57)【要約】【課題】テレビ電話、テレビ会議、画像監視等に適用
される画像システムにおけるカメラ制御装置に関し、画
像の帯域圧縮の際に用いられる動きベクトルを利用して
画像のベクトル的な移動量を算出し、これを用いて被写
体の状態に合わせてカメラの制御を行なうカメラ制御装
置を提供する。【解決手段】カメラから得られる映像信号のフレーム
間差分をとることによって動きベクトルを算出する動き
ベクトル算出手段と、該動きベクトル算出手段から得ら
れた動きベクトルの内、映像の移動に寄与する有効ベク
トルの平均値を算出する画像移動ベクトル算出手段と、
該有効ベクトルの平均値を算出する期間を指定する制御
手段と、カメラから被写体までの距離を記憶する記憶手
段と、該有効ベクトルとカメラから被写体までの距離と
から、被写体の状態に合わせてカメラが行なうべき移動
を示す移動ベクトルを算出するカメラ移動ベクトル算出
手段と、該移動ベクトルに基づいてカメラの方向を制御
するカメラ制御手段とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビ電話、テレ
ビ会議、画像監視等に適用される画像システムにおける
カメラ制御装置に係り、特に、画像の帯域圧縮の際に用
いられる動きベクトルを利用して画像のベクトル的な移
動量を算出し、これを用いて被写体の状態に合わせてカ
メラの制御を行なうカメラ制御装置に関する。

【０００２】テレビ電話、テレビ会議、画像監視等の画
像システムにおいては、動く対象を追ってカメラを移動
させることが必要になることが多い。この場合、経済性
の要請から使用するカメラ数が少なく、被写体の状態に
対応してカメラを移動することができ、更に、予期せぬ
被写体の移動に対しても即応できることが望まれる。

【０００３】

【従来の技術】従来、テレビ電話、テレビ会議、画像監
視等の画像システムにおいてカメラを動かす場合のやり
方として、操作者がマニュアルで動かす方法と、カメラ
を向ける方向をプリセットしておき、話者検出等によっ
て自動的にカメラの向きを所定の向きに切り替える技術
が適用されている。

【０００４】その他、撮影したい人物等の数と同数のカ
メラを用意しておき、話者検出等の結果を用いて、当該
話者等を視野に捉えているカメラに切り替える技術もあ
る。

【０００５】

【発明が解決しようとする課題】上記の従来の技術にお
いて、操作者がマニュアルでカメラの向きを変える場合
には敏速にカメラを被写体の方向に向けることは困難で
ある。又、カメラを被写体の数だけ用意すれば、カメラ
の切替え時間だけの遅延で被写体に追従することができ
るが、経済的には極めて好ましくない。

【０００６】更に、カメラを向ける方向をプリセットす
る場合には、画像システムを使用する前、例えばテレビ
会議の開始前にそのプリセット操作が必要になる上、プ
リセットした方向以外にカメラを自由に向けることがで
きないという問題点がある。

【０００７】この発明は、カメラの方向制御に関する上
記の問題点を解決すべく、画像の帯域圧縮の際に算出さ
れる動きベクトルを用いて画像のベクトル的な移動量を
算出し、これに基づいて自動的にカメラの方向制御を行
なうカメラ制御装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】図１にこの発明の基本構
成図を示す。この発明は、図１に示す如く、カメラ７か
ら得られる画像信号のフレーム間の差分をとることによ
って動きベクトルを算出する動きベクトル算出手段１
と、該動きベクトル算出手段から得られた動きベクトル
の内、移動した画像部分の移動量及び移動方向に寄与す
る有効ベクトルの平均値を算出する画像移動ベクトル算
出手段２と、少なくとも該画像移動ベクトル算出手段が
有効ベクトルの平均値を算出するための開始タイミング
と終了タイミングを指定する制御手段と、少なくとも該
カメラから被写体までの距離を記憶する記憶手段５と、
該有効ベクトルの平均値と該カメラから被写体までの距
離とからカメラの移動量及び移動方向を示す移動ベクト
ルを算出するカメラ移動ベクトル算出手段３と、該移動
ベクトルに基づいて該カメラの方向を制御するカメラ制
御手段４とを備えてカメラの方向制御を行なうカメラ制
御装置を提供するものである。

【０００９】図２に、この発明の画像移動ベクトル算出
手段の構成ブロック図（その１）を示す。この発明は、
前記有効ベクトルの数を計数する有効ベクトル計数手段
２ａと、前記有効ベクトルの総和を算出する有効ベクト
ル総和手段２ｂと、該有効ベクトルの総和を該計数され
た有効ベクトルの数で除算して有効ベクトルの平均値を
算出するベクトル平均値算出手段２ｃとを備え、該ベク
トル平均値算出手段が前記制御手段が指定する開始タイ
ミングと終了タイミングとで決まる期間において有効ベ
クトルの平均値を算出して、前記カメラ移動ベクトル算
出手段に供給する画像移動ベクトル算出手段を提供する
ものである。

【００１０】ここで、有効ベクトルの総和とは、有効ベ
クトルをｘ軸方向の移動量とｙ軸方向の移動量に分解し
て表現した場合、複数の有効ベクトルについて求めたｘ
軸方向の移動量の総和をｘ軸方向の移動量とし、複数の
有効ベクトルについて求めたｙ軸方向の移動量の総和を
ｙ軸方向のの移動量とするベクトルのことを意味する。

【００１１】即ち、カメラが捉えた画像の動きベクトル
のから有効ベクトルを抽出するので、取り扱う動きベク
トルの数を縮減できるために画像の平均的な動きを短時
間で算出でき、又、被写体の周囲にランダムに移動する
部分があっても平均化によってそれを無視できるように
なるので、被写体の移動に忠実に即応してカメラ方向を
制御することができる上に、被写体の微小な動きに対応
したカメラの動きを緩和できるので、見やすい画像を提
供できる。

【００１２】図３に、この発明の画像移動ベクトル算出
手段の構成ブロック図（その２）を示す。この発明は、
前記有効ベクトルの数を計数する有効ベクトル計数手段
２ａと、前記有効ベクトルの総和を算出する有効ベクト
ル総和手段２ｂと、該有効ベクトルの総和を該計数され
た有効ベクトルの数で除算して有効ベクトルの平均値を
算出するベクトル平均値算出手段２ｃとを備え、該ベク
トル平均値算出手段が前記制御手段が指定する開始タイ
ミングと終了タイミングとで決まる期間において有効ベ
クトルの平均値を算出して、前記カメラ移動ベクトル算
出手段に供給する図２に示した画像移動ベクトル算出手
段に対して、該ベクトル平均値算出手段が算出した有効
ベクトルの平均値が所定の値以上の時に該算出された有
効ベクトルの平均値を前記カメラ移動ベクトル算出手段
に出力するしきい値制御手段を付加したものである。

【００１３】該しきい値制御手段を備えることにより、
該算出された有効ベクトルの平均値が小さい場合にはカ
メラの移動を示す移動ベクトルが算出されないので、無
用なカメラの方向制御が行なわれなくなる。これによ
り、被写体の微小な動きに追従してカメラが動くことが
緩和され、更に見やすい画像を提供することができる。

【００１４】

【発明の実施の形態】上記のように、この発明は基本的
には、動きベクトルを検出し、取り扱う対象を該動きベ
クトルの内被写体のベクトル的な移動に寄与する有効ベ
クトルに限定し、複数の有効ベクトルのベクトル的な平
均値を求めてカメラを制御するものである。そして、該
複数の有効ベクトルのベクトル的な平均値が所定の値以
上である時のみカメラを制御するように拡張することも
可能である。いずれにしても、動きベクトルの検出と有
効ベクトルのベクトル的な平均値を求めることが主要な
技術である。

【００１５】この内、動きベクトルの検出は動きベクト
ル算出手段が行なう。これは画像信号の帯域圧縮技術に
おいて既に公用されている技術であるから、改めて説明
することは不要であると思われるが、理解を容易にする
ために簡単な説明をしておくことにする。

【００１６】画像信号は、フレームと呼ばれる画面の単
位にまとめられて伝送される。動きベクトルとは、連続
する二のフレームの前のフレームにおける特定の画像の
単位（これをブロックというが、これは縦横に連続する
複数の画素の集合によって定義される。）が次のフレー
ムのどのブロックに対応するかを検出して決める。この
検出は、前のフレームにおける特定のブロックと次のフ
レームにおけるブロックとの間で画像の差分をとって、
該差分が最小になる次のフレームのブロックが前のフレ
ームの該特定のブロックに対応するものと判断する方法
によって行なわれる。そして、動きベクトルは、該特定
のブロックを表現するフレーム上の座標と、次のフレー
ムの該特定のブロックに対応するブロックを表現するフ
レーム上の座標とによって定義される。この方法の詳細
はＩＣＵのＩＴＶ−Ｈ２６１勧告に記載されている。

【００１７】その他、動きベクトル算出手段は、検出し
た動きベクトルから有効ベクトルを抽出して格納する機
能を備えていることが望ましい。これは、動きベクトル
を検出しただけでは、画像移動ベクトル算出手段におけ
る有効ベクトル計数手段と有効ベクトル総和手段とにお
いて個別に有効ベクトルを抽出しなければならなくなっ
て、同じ構成を重複して持つという不経済なことになる
からである。

【００１８】その有効ベクトルの抽出は、検出した動き
ベクトルについて始点と終点の間の距離が所定の値以上
であるか否かの判定によって行なうことができる。そし
て、抽出した有効ベクトルの始点と終点を記憶する。

【００１９】従って、動きベクトル算出手段は二のフレ
ーム・メモリ備え、その他、動きベクトルの長さを算出
する演算回路、抽出された有効ベクトルの始点と終点を
記憶するメモリを備える。

【００２０】尚、上記操作はデジタル的に行なうので、
カメラから入力される画像信号がアナログ信号である場
合には、動きベクトル算出手段には図示していないアナ
ログ−デジタル変換手段を備えることが必要になる。

【００２１】動きベクトル算出手段に上記の構成を備え
れば、画像移動ベクトル算出手段の構成は簡単なものに
なる。即ち、有効ベクトル計数手段は前記有効ベクトル
の始点と終点を格納するメモリにおいて有効なデータが
格納されているアドレス数を計数する構成を備えていれ
ばよい。ここで、該有効ベクトルの始点と終点を格納す
るメモリにおいて有効なデータが格納されているか否か
の判定は、装置の起動時に該有効ベクトルの始点と終点
を格納するメモリをリセットする際に、例えば、通常は
ありえないパターンを書き込んでおき、有効ベクトルを
抽出した時にその座標を書き込むようにしておけば容易
に行なうことができる。従って、有効ベクトル計数手段
は、データのパターン比較回路と計数回路とによって構
成できる。

【００２２】又、有効ベクトルの総和は、該有効ベクト
ルの始点と終点を格納するメモリから読み出した始点と
終点間の、二の直交座標軸方向の座標の差を座標軸毎に
加算すれば求められるので、加算回路と加算結果を格納
するレジスタによって構成することができる。

【００２３】ベクトル平均値算出手段においては、有効
ベクトル総和手段が算出した有効ベクトルの総和を有効
ベクトル計数手段が計数した有効ベクトルの数で除算し
て有効ベクトルの平均値を算出する。従って、ベクトル
平均値算出手段は有効ベクトルの総和と有効ベクトル数
を格納するレジスタと、除算回路と、除算結果を格納す
るレジスタとで構成することができる。

【００２４】ところで、有効ベクトルの平均値は前記制
御手段が出力する開始タイミングと終了タイミングの間
の期間で算出するので、有効ベクトル計数手段、有効ベ
クトル総和手段、ベクトル平均値算出手段には該開始タ
イミングでイネーブルになり、該終了タイミングでディ
スエイブルになると共にリセットされる構成をとる。通
常、有効ベクトル計数手段、有効ベクトル総和手段、ベ
クトル平均値算出手段の動作時間を指定する開始タイミ
ングと終了タイミングは連続する２フレーム期間の内に
出力されて、有効ベクトルの平均値も連続する２フレー
ム期間内で算出されることが多いであろう。しかし、こ
の発明は、開始タイミングと終了タイミングが２フレー
ム期間内のみで出力されることには限定されず、もっと
多数のフレーム期間にわたって出力されて、複数フレー
ムにわたる有効ベクトルの平均値が算出されるようにす
ることも可能である。しかも、複数フレームにわたる有
効ベクトルの平均値の算出は、複数フレームにわたって
連続して演算した結果によっても、２フレーム期間での
平均値を複数求めた後に更に平均化しても求めることが
可能である。そして、２フレーム間であろうと、もっと
多数のフレームにわたろうと、開始タイミングと終了タ
イミングを固定にすることも、可変にする、しかも、少
なくとも一方を可変にすることも可能である。開始タイ
ミングと終了タイミングを可変にすることによって、対
象となる画像の性質、画面の大きさに柔軟に対応できる
ようになる。

【００２５】又、しきい値制御手段は、予め設定された
しきい値を格納するメモリと、該しきい値と前記ベクト
ル平均値算出手段が出力する有効ベクトルの平均値とを
比較する比較回路と、該比較回路の出力によって該有効
ベクトルの平均値を出力するか否かを判定する論理回路
から構成される。該しきい値制御手段を設けることは、
画像移動ベクトル算出手段を構成する上で必須ではない
が、該しきい値制御手段を設けることによって、被写体
の動きがカメラを動かす必要がない程度に小さい時には
カメラを動かすことがないので、画面が安定する利点が
ある。

【００２６】図３においては、しきい値制御手段を画像
移動ベクトル算出手段の出力側に設ける場合を示した
が、しきい値制御手段の設置箇所もそれには限定されな
い。即ち、カメラ移動ベクトル算出手段の入力側に設置
しても、又、カメラ移動ベクトル算出手段の出力側に設
置してもよい。ここで、カメラ移動ベクトル算出手段の
入力側に設置するしきい値制御手段と画像移動ベクトル
算出手段の出力側に設置するしきい値制御手段のしきい
値は画面上での有効ベクトルの平均値に対応するもので
あるが、カメラ移動ベクトル算出手段の出力側に設置す
るしきい値制御手段はカメラの移動を示すベクトル的移
動量に対応するものであることに留意する必要がある。

【００２７】尚、しきい値制御手段の設置箇所とは無関
係に、設定されるしきい値は固定にすることも、可変に
することも可能である。しきい値を可変にすることによ
って、静止画に近い画像を扱うシステムにおけるカメラ
制御においても、背景の動きが大きい画像を扱うシステ
ムにおけるカメラ制御においても、柔軟に制御を行なう
ことが可能になる。

【００２８】画像移動ベクトル算出手段が出力する有効
ベクトルの平均値は、前記画像システムで使用される画
像モニタの画面上での画像の移動量に対応する量であ
る。従って、被写体の動きに合わせてカメラを制御する
ためには、該有効ベクトルの平均値をカメラ制御のパラ
メタ、即ちパン信号とチルト信号とに変換する必要があ
る。尚、パン信号とはカメラを水平方向に回転させる信
号のことであり、チルト信号とはカメラを上下方向に回
転させる信号のことである。

【００２９】カメラ移動ベクトル算出手段は、上記の機
能を果たすもので、まず、被写体のベクトル的な移動量
と画面上の有効ベクトルの長さが比例することを利用し
て被写体のベクトル的な移動量を求める。ただ、この比
例係数はカメラと被写体との距離と、レンズの性能、特
に視野角に依存する。次に、被写体の移動量をカメラの
パン角とチルト角に変換し、更にそれらをパルス信号で
あるパン信号とチルト信号に変換する。。従って、カメ
ラ移動ベクトル算出手段は、該比例係数を求め、有効ベ
クトルの平均値を被写体の移動量に変換し、さらにパン
角とチルト角を求める演算回路と、パン角とチルト角を
パン信号とチルト信号に変換するパルス・ジェネレータ
と計数回路等によって構成される。

【００３０】記憶手段には、アクセス時間等の性能面
と、記憶内容の書き替えの必要性と、経済性とから、現
状ではランダム・アクセス・メモリを適用するのが最も
好ましいが、電気的に書き替え可能な読み出し専用メモ
リや、フラッシュ・メモリも使用可能である。そして、
該記憶手段には、例えば、カメラから被写体までの距
離、画像移動ベクトル算出手段に与えられる開始タイミ
ングや終了タイミングを生成するために制御手段に備え
られる計数手段のロード信号や設定カウント値等を記憶
する。

【００３１】尚、カメラから被写体までの距離を予め測
定して、その値を記憶手段に格納しておいてもよいが、
自動焦点機能を備えるカメラを使用する場合には、カメ
ラによって得られたズーム値をカメラ制御装置内に設け
られたメモリに格納することも可能である。この場合に
は、カメラとカメラ移動ベクトル算出手段とを接続して
おくとか、カメラも後述する制御装置のバスに接続して
おくことで上記の機能を実現することができる。

【００３２】上記は、動きベクトル算出手段、画像移動
ベクトル算出手段、カメラ移動ベクトル算出手段、及び
カメラ制御手段の各機能を主として論理演算回路によっ
て実現することを前提にした説明であるが、これらの機
能を主制御ユニット、読み出し専用メモリ、ランダム・
アクセス・メモリなどによって構成されるマイクロ・コ
ンピュータを用いてプログラム制御で実現することも可
能である。この場合、このマイクロ・コンピュータの機
能を後述する制御手段に集中することも、各手段に個別
に備えることも可能であるが、前者の場合には制御手段
の主制御ユニットの処理負荷に十分留意する必要があ
り、後者の場合には複数の主制御ユニット間の役割分担
とその実行に当たっての優先度について十分に留意する
必要がある。

【００３３】制御手段は、中央制御ユニット、プログラ
ムを格納する読み出し専用メモリ、実行されるプログラ
ムのステップを格納するメモリや該プログラムが使用す
るデータを一時格納するレジスタとしてのランダム・ア
クセス・メモリ、タイマー等で構成する。

【００３４】尚、制御手段は、動きベクトル算出手段、
画像移動ベクトル算出手段、カメラ移動ベクトル算出手
段及びカメラ制御手段の動作を制御するために、これら
各手段とデータ・パス、アドレス・パスによって接続さ
れていることが望ましい。

【００３５】以上、この発明の根幹技術について説明し
た。以下、図に示す実施例に基づいてこの発明を詳述す
る。しかし、これによってこの発明が限定されるもので
はない。

【００３６】図４に、この発明のカメラ制御装置を利用
した一実施例の構成ブロック図を示す。同図において、
動き保証回路４１及びフレーム・メモリ３９は、図１に
おける動きベクトル算出手段として機能する。

【００３７】有効ベクトル個数算出部３１は図２の有効
ベクトル計数手段に、ベクトル値総和算出部３２は図２
の有効ベクトル総和手段に、ベクトル平均値算出部３３
は図２のベクトル平均値算出手段にそれぞれ対応し、該
有効ベクトル個数算出部とベクトル値総和算出部及びベ
クトル平均値算出部は図１の画像移動ベクトル算出手段
を構成する。

【００３８】又、カメラ移動量算出部３４は図１のカメ
ラ移動ベクトル算出手段に対応し、パルス・ジェネレー
タ３５及びカメラ旋回台３６は図１のカメラ制御手段に
対応し、又、制御部３８は図１の制御手段及び記憶手段
にそれぞれ対応する。

【００３９】図４において、フレーム・メモリ３９、ベ
クトルＤＬＹ４０、動き保証回路４１、ループ・フィル
タ４２、切替器４３、減算器４４、加算器４５、変換符
号化回路４６、量子化回路４７、逆量子化回路４８、逆
変換符号化回路４９及び可変長符号化回路５０は、画像
圧縮符号化装置を構成する部分であり、入力される画像
デジタル信号を圧縮するものである。

【００４０】この図４に示した構成を備える装置は、例
えば、テレビ会議システム又は画像監視システムに利用
される。図５に、この発明のカメラ制御装置を利用した
一実施例の構成ブロック図を示す。これは、画像端末装
置の一例である。

【００４１】ここで、画像端末装置は、多重・分離回路
８５及び回線Ｉ／Ｆ８６から構成される伝送制御部７９
と、画像入力部８０と、モニタ８８、マイク９１、スピ
ーカ９４等の装置によって構成され、画像入力部８０が
図４に示した構成ブロック図に対応する部分である。

【００４２】画像入力部８０は、一般にカメラ８１、ア
ナログ／デジタル変換器（図ではＡ／Ｄ）８２、画像圧
縮符号化装置８４、カメラ制御装置８３及びカメラ旋回
台等から構成することができるが、これに限定されるも
のではない。

【００４３】この画像入力部の動作を概説すると次のよ
うになる。即ち、カメラから出力された画像信号はアナ
ログ／デジタル変換器８２によってデジタル信号に変換
され、画像圧縮符号化装置８４において１フレーム毎に
符号化され、更に複数のフレーム間にわたって符号化デ
ータの差分をとることによって動きベクトルが求めら
れ、カメラ制御装置８３へ出力される。

【００４４】カメラ制御装置８３では、この動きベクト
ルを利用してカメラが捉えた被写体の動いた方向及び移
動量を算出して、常にカメラによって被写体を捉えるべ
く、カメラの方向を制御する信号をカメラ旋回台に出力
する。

【００４５】この発明は、図５におけるカメラ制御装置
８３に関するものであって、カメラから得られる画像信
号を元に、被写体の移動量を求め、被写体の移動に対し
て適切に追従するようにカメラの方向制御を行なうもの
である。

【００４６】カメラ制御装置８３は、図４の実施例にお
いて、有効ベクトル個数算出部３１、ベクトル値総和算
出部３２、ベクトル平均値算出部３３、カメラ移動量算
出部３４、パルス・ジェネレータ３５、カメラ旋回台３
６、制御部３８、アナログ−デジタル変換器５１と、前
記画像圧縮符号化装置８４の一部をも占めるフレーム・
メモリ３９及び動き補償回路４１とによって構成され
る。

【００４７】以下、図４における各構成部分を説明す
る。制御部３８は、主制御ユニット（図ではＣＰＵ）、
ランダム・アクセス・メモリ（図ではＲＡＭ）、読み出
し専用メモリ（図ではＲＯＭ）を含み、更にタイマー、
入出力インタフェース等の周辺回路から構成され、読み
出し専用メモリ等に格納された制御プログラムによっ
て、画像入力から符号化までの一連の処理を実行するも
のである。

【００４８】例えば、制御部３８は、切替器４３に対し
て切替信号を送出し、量子化回路４７に対して量子化制
御信号を、有効ベクトル個数算出部３１とベクトル値総
和算出部３２とベクトル平均値算出部３３及びカメラ移
動量算出部３４に対して開始タイミングと終了タイミン
グ及び各種設定情報を与える。ここで、各種設定情報と
は、カメラから被写体までの距離情報や、カメラのズー
ム倍率等に関する情報を意味する。

【００４９】減算器４４は、フレーム間差分をとるもの
であり、加算器４５は前フレームと現フレームの差分を
足し合わすものである。変換符号化回路４６は、画像圧
縮の中心的な部分であり、量子化回路４７は、変化符号
化回路より得られた情報を所定のしきい値によって量子
化するものであり、通常は専用のＬＳＩで実現される。

【００５０】逆量子化回路４８及び逆変換符号化回路４
９は、それぞれ、量子化回路４７及び変換符号化回路４
６とは逆の動作をする回路である。切替器４３は、フレ
ーム内符号化とフレーム間の動き補償符号化の選択をす
るものである。

【００５１】可変長符号化部５０は、量子化された情報
に対して、その出現確率によって異なる長さの符号を割
当て、伝送路符号の効率を上げるためのものである。フ
レーム・メモリ３９は、入力された１フレームの画像信
号に相当するデジタル情報を１フレーム毎に記憶するメ
モリであり、動きベクトルを求めるために二のランダム
・アクセス・メモリで構成される。

【００５２】ベクトルＤＬＹ回路４０は、減算器４４で
求めた現フレームのデータと前フレームのデータとの差
分と動きベクトルとによって前フレームのデータを決定
するものである。

【００５３】ループ・フィルタ４２は、フレーム間誤差
を抑圧する目的で挿入されているものである。動き補償
回路４１は、フレーム・メモリ３９に格納された画像の
デジタル情報のフレーム間差分をとって動きベクトルを
求めるものである。

【００５４】パルス・ジェネレータ３５は、カメラ移動
量算出部３４から得られるカメラの移動量及び移動方向
に関する情報、即ち移動ベクトルからパン信号及びチル
ト信号を生成して出力するものである。

【００５５】カメラ旋回台３６は、パン信号及びチルト
信号によってカメラの方向を上下方向と水平方向とに制
御するものである。次に、図４におけるこの発明の実施
例において、カメラ制御に関する主要部の構成とその動
作について説明する。

【００５６】まず、カメラの方向制御の動作を示すと下
記のようになる。図４の減算器４４において、現画像の
デジタル信号に対して、既に入力されている前フレーム
の画像信号との差分をとり、その差分に対して変換符号
化と量子化を行ない、可変長符号化回路５０に出力す
る。又、動き補償回路４１では、前フレームのデジタル
信号と現フレームのデジタル信号とから動きベクトルを
算出し、可変長符号化回路５０に出力すると共に、有効
ベクトル個数算出部３１及びベクトル値総和算出部３２
に出力する。又、開始タイミング信号及び終了タイミン
グ信号が、制御部３８から有効ベクトル個数算出部３
１、ベクトル値総和算出部３２及びベクトル平均値算出
部３３に供給される。

【００５７】有効ベクトル個数算出部３１では、制御部
３８から供給される開始タイミング信号から終了タイミ
ング信号までの期間の有効ベクトルの個数ｎを計数す
る。ベクトル値総和算出部３２では、その期間の有効ベ
クトルの総和Ｓを算出する。この後、ベクトル平均値算
出部３３で有効ベクトルの平均値Ｓ／ｎを算出する。

【００５８】この有効ベクトルの平均値Ｓ／ｎはカメラ
移動量算出部３４に供給され、対応するカメラの移動量
及び移動方向を示す移動ベクトルの算出に使われる。更
に、この移動ベクトルはパルス・ジェネレータ３５に与
えられ、カメラ旋回台３６を回転させるパン信号及びチ
ルト信号に変換されて、該パン信号及びチルト信号によ
ってカメラの方向制御が行なわれる。

【００５９】図６に、この発明の有効ベクトルの説明図
を示す。これは、有効ベクトルを説明するために、連続
する二のフレームの画像を合成した模式的な図である。
即ち、前フレームの画像ではＡの位置に人物がいて、現
在のフレームの画像ではその人物がＢの位置に移動した
ことを示している。

【００６０】この時、図６に示したように、人物の移動
の前後で人物の輪郭の主要な対応点を結んだ矢印付の線
分が動きベクトルで、その内人物の動きの表現に寄与す
るベクトルが有効ベクトルである。図６の場合には、人
物が平行移動した場合を示しているので、人物に関する
動きベクトルが有効ベクトルとなる。尚、人物の輪郭の
主要な対応点は、二のフレームで最も相関が強い、言い
換えれば最も差分が小さい画面上のブロックを代表する
座標で決まることは既に説明している。

【００６１】そして、背景など動きが小さい部分の動き
ベクトルは、被写体の動きを示すベクトルとしては寄与
が少ないので、無効ベクトルとしてカメラの移動量の算
出には使用しない。

【００６２】動きベクトルから有効ベクトルを抽出する
には、例えば、動き補償回路から得られる動きベクトル
に対してしきい値判定処理を行ない、所定のしきい値以
上の動きベクトルだけを選択すればよい。

【００６３】又、テレビ会議システム等において、対象
とする画像が人物であって動きが少ない場合には、カメ
ラで撮影された画面の内有効ベクトルを求める範囲を限
定した方が、安定して見やすい画像を得ることができ
る。このためにフレーム間差分によって得られた動きベ
クトルの内、人物が映っていると見られる領域にある動
きベクトルだけを有効ベクトルとして選択できるよう
に、開始タイミングと終了タイミングを上記領域に一致
させて設定すればよい。

【００６４】例えば、動き補償回路から得られる動きベ
クトルが画面の上部から下部へ順に送られる時、画面の
下半分のみが有効ベクトル領域である場合には、１フレ
ームの上半分に相当する動きベクトルが送出された後の
タイミングに、制御部３８から有効ベクトル個数算出部
３１及びベクトル値総和算出部３２へ開始タイミング信
号を出力する。これによって、このタイミング以降に送
られてくる動きベクトルの内所定の値以上のベクトルを
有効ベクトルと考え、有効ベクトル個数算出部３１で個
数の計数を開始し、ベクトル値総和算出部３２でベクト
ル加算を開始する。そして、次のフレームの終了時に制
御部から終了タイミング信号を出力し、これによって、
有効ベクトル個数算出部３１は有効ベクトルの個数の計
数を、ベクトル値総和算出部はベクトル加算を終了す
る。尚、このような演算をする場合には、開始タイミン
グと終了タイミングの他に、次のフレームの上半分では
演算を停止させる信号も与える必要がある。

【００６５】このようにすれば、カメラの方向制御に寄
与する有効ベクトルの範囲を限定できるので、人物の移
動に関係がない動きベクトルを排除することができ、人
物の動きだけに的確に追随したカメラの制御が可能にな
る。従って、背景にランダムな動きがあってもカメラは
それには追従しないので、安定な画像を得ることができ
るようになる。

【００６６】又、撮影の対象物には種々の大きさがある
ので、制御部３８から出力される開始タイミング及び終
了タイミングを示す信号は、１フレーム間の任意のタイ
ミイグに出力できるように可変にしておくのが望まし
い。

【００６７】次に、ベクトル平均値算出部３３では、有
効ベクトル個数算出部３１によって得られた有効ベクト
ル数ｎと、ベクトル値総和算出部３２によって得られた
ベクトル値の総和Ｓとから、１フレーム間での有効ベク
トルの平均値Ｓ／ｎが求められるが、カメラの方向制御
から背景等のランダムな動きの影響や重要な被写体の微
小な動きの影響を更に小さくするために、１フレーム間
で得た有効ベクトルの平均値Ｓ／ｎを複数ｍフレーム間
にわたって記憶しておき、（ΣＳ／ｎ）／ｍを算出して
カメラ制御のための有効ベクトルの平均値としてもよ
い。尚、複数フレームにわたる有効ベクトルの平均値を
求める方法は上記の方法に限定されるものではなく、開
始タイミング信号と終了タイミング信号との間の時間を
複数フレームに対応する時間として、一回の平均値演算
で求めてもよい。後者は前者と比較してメモリの構成が
簡単にできる利点がある一方、必要なメモリの要領は大
きくなる難点がある。従って、いずれによって複数フレ
ームにわたる有効ベクトルの平均値を求めるかは、この
発明のカメラ制御装置を適用するシステムが扱う画像の
性質によって選択すべきである。そして、上記フレーム
数ｍは任意に設定できることが望ましい。

【００６８】図７に、この発明のカメラ制御装置を利用
した位置実施例の構成ブロック図を示す。図７の構成が
図４の構成と異なる点は、ベクトル平均値算出部３３で
求められた有効ベクトルの平均値を直接カメラ移動量算
出部３４に渡さずに、しきい値制御部５２を設けて所定
のしきい値以上の有効ベクトルの平均値をカメラ移動量
算出部３４に渡すようにした点である。

【００６９】これにより、被写体の微小な動きに対して
カメラが追従するのを防止し、より安定したカメラ制御
が可能になる。この場合のしきい値は、この発明のカメ
ラ制御装置が適用されるシステム毎に、そのシステムが
扱う画像の性質（これは、被写体の動きの性質であり、
そのシステムの目的にほかならない。）に応じて、経験
的に設定されるべきである。カメラ制御装置自体は種々
の画像システムに共通に使用できることが望ましいの
で、該しきい値は可変できるようにしておくことが望ま
しい。これは、しきい値を、例えば、制御部３８のラン
ダム・アクセス・メモリに記憶しておき、該制御部から
しきい値制御部５２へ与えるようにすればよいが、この
他にも、しきい値制御部５２に電気的に書き替え可能な
読み出し専用メモリや、フラッシュ・メモリを設けて、
これらに記憶させておくようにしてもよい。

【００７０】又、被写体の微小な動きにカメラが追従し
ないようにするためにしきい値制御部を設置する箇所
は、図７に示した箇所に限定されるものではなく、カメ
ラ移動量算出部３４とパルス・ジェネレータ３５との間
であってもよい。

【００７１】次に、カメラ移動量算出部３４の動作につ
いて説明する。ここでは、まずベクトル平均値算出部３
３で得られた有効ベクトルの平均値と、予め制御部３８
のランダム・アクセス・メモリ等に記憶されているカメ
ラと被写体との間の距離とから、カメラの移動量、即
ち、カメラの方向を変えるためのパン角とチルト角を求
める演算について説明する。

【００７２】図８に、この発明のカメラ移動量の算出の
説明図を示す。ベクトル平均値算出部３３で得られた有
効ベクトルの平均値を

【００７３】

【数１】

【００７４】とする。これは、図８（ａ）に示すように
人物が動いた時、矢印で示される複数本の有効ベクトル
を加算した結果を有効ベクトルの本数で除算して得たも
のである。

【００７５】一方、カメラから被写体までの距離をｙと
し、人物の実際の移動を示す移動ベクトルを

【００７６】

【数２】

【００７７】とする。距離ｙは、画像システム（この場
合は、テレビ会議システムを想定している。）の設置時
に予め測定して、そのデータをこの発明のカメラ制御装
置に記憶しておいてもよいし、カメラが自動焦点カメラ
の場合には、カメラとカメラ制御装置とを接続してズー
ム・データを入力し、カメラ制御装置内でズーム・デー
タから距離ｙに変換してもよい。

【００７８】画面上での移動を示す動きベクトルと、被
写体の実際の移動ベクトルとは長さが比例するので、距
離ｙとカメラのレンズの特性に一意的に依存する定数を
ａとすれば、移動ベクトルは動きベクトルに該定数ａを
乗算したものとして与えられる。

【００７９】今、画面上での人物の移動を有効ベクトル
の平均値で表わすようにしているので、該有効ベクトル
の平均値を動きベクトルであるとして扱うことにする。
そうすると、移動ベクトルと有効ベクトルの平均値との
関係は式（１）で表される。

【００８０】

【数３】

【００８１】移動ベクトルと有効ベクトルの平均値とが
比例するものとしたから、移動ベクトルと画面上の水平
線との間の角度をγとすれば、被写体空間における移動
ベクトルと、カメラと被写体が前にいた位置とを結ぶ線
に垂直をなす水平線との間の角度はγである。従って、
移動ベクトルの水平方向の移動距離ｚ_hは式（２）で表
され、移動ベクトルの垂直方向の移動距離ｚ_vは式
（３）で表される。

【００８２】

【数４】

【００８３】

【数５】

【００８４】ここで、カメラと人物が前にいた位置との
距離ｙと、移動ベクトルの水平方向の移動距離ｚ_hと垂
直方向の移動距離ｚ_vとによってパン角αとチルト角β
が次の式によって求められる。

【００８５】

【数６】

【００８６】

【数７】

【００８７】こうして求められたパン角とチルト角はパ
ルス・ジェネレータ３５に与えられ、そこでデジタル化
されてパン信号とチルト信号に変換される。該パン信号
とチルト信号によってカメラ旋回台３６が制御され、所
望の方向にカメラを向ける。

【００８８】又、上記実施例の説明では、ベクトル平均
値算出部３３で得られた有効ベクトルの平均値を直接カ
メラ移動量算出部３４に供給するものとしていたが、該
有効ベクトルの平均値を制御部３８に供給ようにすれ
ば、カメラ制御装置の機能構成を更に発展させることが
できる。

【００８９】例えば、有効ベクトルの平均値からカメラ
の移動量を制御部３８で算出したり、制御部３８内にし
きい値制御部の機能を吸収することが可能となる。

【００９０】

【発明の効果】この発明によれば、動きベクトルの内画
像の移動に寄与する有効ベクトルの平均値を算出して、
該有効ベクトルの平均値とカメラから被写体までの距離
とから、カメラの移動方向とその移動量を求めて、これ
によりカメラの制御をするので、操作者によるカメラの
方向調整を不要にすることができる。

【００９１】又、この発明によれば、制御部から与えら
れる開始タイミングと終了タイミングによって有効ベク
トルの平均値を求めるようにしており、これらのタイミ
ングを可変にすることが可能である上、有効ベクトルの
平均値が所定のしきい値以上の時にカメラ制御するよう
にしており、該しきい値も可変にすることが可能なの
で、カメラが重要な被写体の動きに追従するようになっ
て、見やすい画像を得ることが可能になる。

【図面の簡単な説明】

【図１】この発明の基本構成図である。

【図２】この発明の画像移動ベクトル算出手段の構成
ブロック図（その１）である。

【図３】この発明の画像移動ベクトル算出手段の構成
ブロック図（その２）である。

【図４】この発明のカメラ制御装置を利用した一実施
例の構成ブロック図である。

【図５】この発明のカメラ制御装置を利用した一実施
例の構成ブロック図である。

【図６】この発明の有効ベクトルの説明図である。

【図７】この発明のカメラ制御装置を利用した一実施
例の構成ブロック図である。

【図８】この発明のカメラ移動量の算出の説明図であ
る。

【符号の説明】

１動きベクトル算出手段２画像移動ベクトル算出手段３カメラ移動ベクトル算出手段４カメラ制御手段５記憶手段６制御手段７カメラ

Claims

【特許請求の範囲】

【請求項１】カメラから得られる画像信号のフレーム
間差分をとることによって動きベクトルを算出する動き
ベクトル算出手段と、該動きベクトル算出手段から得られた動きベクトルの
内、画像の移動に寄与する有効ベクトルの平均値を算出
する画像移動ベクトル算出手段と、少なくとも、該有効ベクトルの平均値を算出する期間を
指定する制御手段と、少なくとも、カメラから被写体までの距離を記憶する記
憶手段と、該有効ベクトルの平均値とカメラから被写体までの距離
とから、被写体の状態に合わせてカメラの移動を示す移
動ベクトルを算出するカメラ移動ベクトル算出手段と、該移動ベクトルに基づいてカメラの方向を制御するカメ
ラ制御手段とを備えることを特徴とするカメラ制御装
置。
【請求項２】請求項１記載のカメラ制御装置であっ
て、前記画像移動ベクトル算出手段は、前記有効ベクトルの個数を計数する有効ベクトル計数手
段と、該有効ベクトルの総和を算出する有効ベクトル総和手段
と、該有効ベクトルの総和を、該計数された有効ベクトルの
個数で除算することによって有効ベクトルの平均値を求
めるベクトル平均値算出手段とを備える画像移動ベクト
ル算出手段であることをことを特徴とするカメラ制御装
置。
【請求項３】請求項１記載のカメラ制御装置であっ
て、前記画像移動ベクトル算出手段は、前記有効ベクトルの個数を計数する有効ベクトル計数手
段と、該有効ベクトルの総和を算出する有効ベクトル総和手段
と、該有効ベクトルの総和を、該計数された有効ベクトルの
個数で除算することによって有効ベクトルの平均値を求
めるベクトル平均値算出手段と、該ベクトル平均値算出手段が算出したベクトル平均値が
所定のしきい値以上の場合に、該ベクトル平均値を前記
カメラ移動ベクトル算出手段に供給するしきい値制御手
段とを備える画像移動ベクトル算出手段であることをこ
とを特徴とするカメラ制御装置。
【請求項４】請求項３記載のカメラ制御装置におい
て、前記しきい値制御手段は、前記カメラ移動ベクトル算出手段に備えることを特徴と
するカメラ制御装置。
【請求項５】請求項３又は請求項４記載のカメラ制御
装置であって、前記しきい値制御手段は、前記しきい値を任意に設定できるしきい値制御手段であ
ることを特徴とするカメラ制御装置。
【請求項６】請求項２又は請求項３記載のカメラ制御
装置であって、前記ベクトル平均値算出手段は、複数の期間において前記ベクトル平均値を算出し、該複数のベクトル平均値の平均値を算出するベクトル平
均値算出手段であることを特徴とするカメラ制御装置。
【請求項７】請求項１記載のカメラ制御装置であっ
て、前記制御手段は、前記開始タイミングと前記終了タイミングの少なくとも
一方を任意に設定できる制御手段であることを特徴とす
るカメラ制御装置。