JPH01300789A - テレビ電話装置におけるカメラの方向制御方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の概要〕 自動的に被写体の動きを認識してそれにテレビカメラの
向きを追従させるテレビカメラの方向制御方式に関し、 利用者が多少移動しても画面中央に大きく写し出してお
くことができる様にすることを目的とし、受信画像メモ
リ、送信画像メモリ、伝送制御部、テレビカメラ、およ
びディスプレイ部を備えたテレビ電話装置において、カ
メラ方向制御部、送信画像位置認識部、比較用メモリ、
および比較部を設け、送信画像位置認識部により送信画
像メモリ上の画像データを２値化し、データ圧縮して、
比較用メモリに前回画像および今回画像の２値化圧縮デ
ータを格納し、比較部により比較用メモリ上の前回画像
と今回画像を比較して被写体の動きを検出し、該動きに
従ってテレビカメラの向きを制御してカメラ視野上の被
写体位置が変らないように構成する。

〔産業上の利用分野〕

本発明は、テレビカメラによって写された画像の通信を
行う事の出来るテレビ電話装置において、手で向きを変
える１、リモコン操作を行うなどのマニュアル操作を伴
わずに、自動的に被写体の動きを認識してそれにテレビ
カメラの向きを追従させるテレビカメラの方向制御方式
に関する。

近年、情報通信サービスの多様化に伴い、音声だけでな
く画像をも伝送する事の出来るテレビ電話装置への期待
が高まりつつあるが、的確な映像（必要な部分を出来る
だけ鮮明に大きく写す）を確実にかつ簡単に送る事（Ｍ
ＭＩの向上）が必要であり、そのためには映像人力用の
テレビカメラの方向を柔軟に制御する方式の提供が必要
不可欠である。

〔従来の技術〕

従来のテレビ電話装置のテレビジョン部は、第１図の枠
Ｆ１部の如く構成される。１０はプロセッサ、１１は受
信画像メモリ　（フレームバッファ）で、回線を通して
送られてきた画像をＮｃｕｘ３、モデム１４、デコーダ
１９を介して取込む。１２は送信画像メモリで、テレビ
カメラ２０が撮像した画像をコーダー１６を介して取込
み、モデム１４、ＮＣｔＪ１３を通して回線へ送出する
。伝送制御は制御部１５が行ない、メモリ１１．１２の
画像のディスプレイ１８への表示制御は制御部１７が行
ない、全体の制御をプロセッサ１０が行なう。

Ｎ　ＣＵ　１３、モデム１４、伝送制御部１５は電話機
やファクシミリのそれと同じである。コーダー１６はテ
レビカメラ２０から出力されるアナログ画像信号をＡ／
Ｄ変換し、メモリに蓄積できるデータ形式に変換する。

送信画像メモリ１２はコーダ一部から送られた画像情報
を１画面分蓄積するが、ここに蓄積される情報は階調を
持ったドツト信号であるので、メモリ容量は画面の縦の
ドラ１−数をＮ、横のドツト数をＭ、階調数をにビット
（２に階調）とすると、ＭＸＮＸＫビットである。

テレビカメラが写した画像はテレビ電話の相手へ送られ
るが、自己のテレビ電話のディスプレイ１８にも表示さ
れ、どんな画像が相手へ送られるか、確認できるように
なっている。ディスプレイに表示される相手画像と自画
像はある方式ではスイッチ操作で切替可能とし、またあ
る方式では１つのディスプレイ画面を２分して同時表示
、とされる。

テレビカメラは、価格等の観点から、取付は位置は固定
で、移動はできないのが主流である。被写体、ここでは
人間、は動くから、固定では焦点ボケの問題があるが、
これに対してはカメラの焦点深度を大にすることで対処
している。また動いて、カメラの視野から外れるという
問題に対しては視野を広く取る（広角にする）ことで対
処している。

〔発明が解決しようとする課題〕

従来のテレビ電話装置におけるテレビカメラは本体に固
定されているものが主流であり、レンズの視野を広く取
ることによって使用者が多少動いても表示エリアの中に
収まる様にしてあった。しかし、このような方式におい
ては、撮影範囲を広く取るため、不必要な部分が多く写
り、必要な部分（利用者）が小さく、場合によっては隅
っこに写るだけ、などの状態になってしまう。必要な部
分を太き（写すには視野を制限する必要があるが、この
場合は利用者はテレビカメラの視野から外れないよう動
かないまたは小幅な移動にとどめる様にせねばならない
などの問題がある。

本発明はかかる点を改善しようとするもので、利用者が
多少移動しても画面中央に大きく写し出しておくことが
できる様にすることを目的とするものである。

〔課題を解決するための手段〕

第１図に本発明の基本構成図を示す。鎖線枠Ｆ１は従来
のテレビ電話部分であり、鎖線枠Ｆ２が本発明により追
加される部分である。枠Ｆ２部分はテレビカメラ２０の
方向制御部２１と、その制御系である送信画像位置認識
部２４、比較用メモリ２２ａ、２２ｂ、比較部２３を備
える。

〔作　用〕

テレビカメラ２０で写された利用者の画像データはコー
ダー１６を経由して送信画像メモリ１２に蓄積され、モ
デム１４、ＮＣＵ１３を経由して相手側へ、送信される
が、本発明ではこの送信画像メモリ１２の１画面分の画
（象データを送信画像位置認識部２４にも取込み、当該
画像の輪郭および特徴点の抽出を行ない、それを比較用
メモリ２２ａに格納する。次に、一定時間経過後、再度
送信画像メモリの１画面分の画像データを送信画像位置
認識部２４に取込み、当該画像の輪郭および特徴点の抽
出を行ない、それを比較用メモリ２２ｂに蓄積する。こ
うしてフレームメモリである比較用メモリ２２ａ、２２
ｂには、輪郭／特徴点抽出された画（象データがドツト
イメージで蓄積される。

比較部２３は比較用メモリ２２ａ、２２ｂ内容を比較し
て特徴点及び輪郭の移動方向及び移動量゛を検出し、そ
れをカメラ方向制御部２１に入力してカメラ２０の向き
を制御する。

こうして本発明では、送信画像メモリ１２の情報より当
該画像の特徴点／輪郭を検出し、一定時間ごとの該特徴
点／輪郭の位置変化から画像（利用者像）の移動方向お
よび移動量を検出してそれによりカメラの向きの制御を
するので、利用者が移動しても常に利用者像を最初に設
定したカメラ視野（画面）上所定位置例えば中央に保つ
ことができる。従ってカメラ視野は狭くてもよく、利用
者像を画面に大きく現示することができる。

〔実施例〕

第２図で３０は被写体であり、本来はテレビ電話の利用
者であるが、ここでは簡単に文字Ａで示している。送信
画像メモリ１２には被写体３０の画像データ（現在は白
黒方式であるので、各画素の濃淡情報）が格納されてい
るが、処理部２４ａでは該メモリ１２より画像情報を読
出し、圧縮、２値化してメモリ２２ａに格納する。３１
は該メモ’Ｊ　２２　ａに格納された２値化画像情報を
示す。

画面を粗い目で分割して各自につきその目が黒っぽい（
黒優勢）なら黒、白っぽい（白優勢）なら白とするので
、図示のように画像情報３１は目の粗い白黒画像になる
。

次に（を秒後に）サンプル部２４ｂの制御により処理部
２４ａは再び送信画像メモリ１２より画像情報を読出し
、圧縮、２値化してメモリ２２ｂに格納する。３２がそ
の２値化画像情報である。

比較部２３ａはｔ秒前と現在の画像情報をメモリ２２ａ
と２２ｂから読出し、比較して、メモリ上のビット情報
の動きとして特徴点の移動量（ＡとＢとの差）を算出す
る。算出結果は画面移動量への変換部２３ｄへ送られて
、実際の画面上での被写体の動き量に変換され、それが
カメラ方向制御部２１でカメラ方向制御情報（上下、左
右各方向回転角）に変換され、それがテレビカメラ２１
へ送られ該カメラの向きが変えられる。

各部の詳細を以下説明する。

処理部２４ａとサンプル部２４ｂは第１図の送信画像位
置認識部２４を構成し、処理部２４ａはサンプル部２４
ｂが一定時間毎に出力するサンプリング信号に従って送
信画像メモリの内容を読出し、また画像圧縮などのため
の各種タイミング信号を作成する。またサンプル部２４
ｂは、カメラ方向制御信号を作る為の、画像情報を取り
込むタイミングを発生する。ここでのタイミング信号の
発生頻度によって、カメラの方向補正の時間的な間隔が
、変化する。人間の動きに対するカメラの、追従性を向
上する為にはタイミング信号の間隔を短くすればよいが
、あまり短くすると、動き量の検出処理が追従しきれな
（なり、機能を満足出来なくなるので、検出処理の進行
を見ながら、タイミング発生を行う必要がある。

処理部２４ａでの２値化及びデータ圧縮要領を第３図に
示す。第３図（ａｌの鎖線枠Ｆ１は白／黒２レベルの変
換処理、Ｆ２はデータ圧縮処理である。

Ｆｌでは送信画像メモリ１２より画像データＰＤ＋を１
ドツト（１画素）ずつ読出し、変換基準（闇値）で２値
化する。第３図（ト））に示すように画像データＰＤ＋
は本例では８階調であり、変換基準りより黒いものは黒
、白いものは白と、２値化する。

この操作により、背景など少しぼけて輝度の低い部分は
利用者像から除外される。

２値化後の画像信号ＰＤ２は１またはＯ（白または黒）
の２レベルになっているが、ドツト構成は送信画像メモ
リと同様にＮＸＮドソ１−構成である。処理Ｆ２ではＮ
ＸＮドソｌ−構成の画像をｎ×ｎドツトのブロックに分
割し、各ブロックの中の１の数と００数を比較し、１の
方が多かったらそのブロックの代表値は１．０の方が多
かったら０とし、ｎＸｎドツトの各ブロックを１ピント
で表現する。従って、画面データ数はＮ２からＢ２　に
なり、ｎ２／Ｎ２に圧縮される（ｎ（Ｎ）。第３図（Ｃ
１の左側は圧縮前のＮＸＮドツトの２値化画像、右側は
圧縮後のｎＸｎドツトのブロックを１ピントで表わした
画像である。本例ではブロックは８ｘ８＝６４ｉ［１ｉ
１とし、従って６４ビツトで画像を表現する。この６４
ピノｌ−の画（象情報がメモリ２２ａ、２２ｂに、今回
のそれは２２ｂに、前回のそれは２２ａに格納される。

メモリ２２ａ、２２ｂの容量は、本例では８バイトであ
る。

第２図の比較部２３ａと演算部２３ｂは第１図の比較部
２３に相当するが、こ−で行なわれる比較／演算は第４
図および第５図に示す如くである。

即ら、比較用メモリ１．２の読出し制御を行なって、■
その内容をシフ１−レジスタ１，２へ読込む。

これらのシフトレジスタの容量は本例では８ピッ１−　
Ｘ　８　ｉ固であり、シフトレジスタ２に対するＸ（８
ビツト）、ｙ（８ｉ固）のシフト制御と、レジスタ情報
の読出しに対するタイミング制御ｔをレジスタ制御部が
行なう。最初は、■ｘ＝０．ｙ＝ｏ。

ｎ＋＝０．ｎ２＝Ｏとして、■読出したシフトレジスタ
間の対応するデータの比較を行なう。そして、■一致す
ればｎｌを＋１し、一致しなければ何もせず、これを６
４ビット全部につき（１画面分）行なう。■１画面分力
９冬了すると、■ｘ、ｙ。

ｎｌの値を次回路へ送出する。第４図のＣはこのｎｌで
あり、Ｓはｘ、ｙのシフｌ−ｆｆ１であって、こ＼では
Ｏである。

次は■シフトレジスタ２に対してＸを＋１し、■ｎｌ、
ｎ２をリセッｌ−Ｌ、上記■、■、・・・の処理を行な
う。これは■ｘ＝８まで行ない、各回のＸ　（シフト量
の１．２．・・・）、ｙ　（こ＼ではＯ）。

ｎｌを次回路へ送出する。

次は再び［相］比較用メモリ１．２の内容をシフトレジ
スタ１．２へ送り、＠ｘ＝０．ｙ＝Ｏとして、＠シフト
レジスタ間のデータ比較を行なう。■−致すれば、ｏｎ
２を＋工し、不一致ならそのま＼とし、か−る処理を１
画面分行なって、■それが終了すれば、［相］Ｘ、ｙ、
ｎ２の値を送出する。次は、ｙを＋１し、ｒｌ＋、Ｂ２
をリセットし、ｙ−８まで上記操作を繰り返す。

今、シフトレジスタ１に格納されているデータが第６図
（ａ）、シフトレジスタ２に格納されているデータが第
６図（ｂｌとすると、この状態で（ｘ＝ｙ−〇で）一致
するビットの数は５２である。次に第６図（ｂ）のデー
タをＸ方向に１ビツトシフトさせて同様な比較を行なう
と、一致するビット数は５４である。以下間で第６図（
ｂｌのデータをＸ方向に２．３．・・・ビットシフトし
てその各々における一敗ビソト数ｎ＋を求め、Ｘ方向に
も同様にシフトして一致ビノＩ・数ｎ２を求める。ｎｌ
、ｎ１２を求める回数は全部で８Ｘ８＝６４通りあり、
その各々のｎｌ、Ｂ２を求める。

第２図の差分検出２３ｃおよび移動量検出２３ｄは第７
図のように行なう。即ち（ｂ）の流れ図に示すように、
最初は■ｘ、ｙ、Ａ、Ｂ、Ｃ，Ｄを全てＯとし、■シフ
ｌ−１１ｘ、　　ｙ　　（今は０）の時のｎ＋、Ｂ２を
読込み、■これらの和Ａを求める。

これは■Ｘを逐次＋１して■ｘ＝８になるまで求め、■
各人が最大か否かを凋べる。■最大のＡをＢ、そのとき
のＸをＣ，ｙをＤとする。次は■Ｘをクリや（０）し、
■ｙを逐次＋１し、これを［相］ｙが８になるまで行な
う。そして■最大のＡをＢ１そのときのＸをＣ，ｙをＤ
とする。これらの■Ｂ。

Ｃ，Ｄを出力する。

第７図（Ｃ１のヘクトル■は対象となっている被写体の
移動量と方向を示している。これはＸ方向のシフトビッ
ト数ΔＸとＸ方向のシフトビット数Δｙで表わすことが
できる。前回の画像に対して現在の画像をｘ、Ｘ方向に
シフトし、一致したビットの数を求めると、被写体が重
なったとき一致数は最大で（これが第７図（Ｃ１の状態
）、このときのジフト量ΔＸ、Δｙ　（上記のＣ，Ｄ）
がメモリ上での所要移動量（これはカメラの所要移動■
に対応する）を示す。

メモリ上で求まった所要移動量をカメラの所要移動量に
変化する処理は次のように行なう。カメラの焦点距離、
フォーカス等のハードウェア構成は時間的に変化しない
ものとすると、被写体の移動−Ｘ、メモリ上の移動、ｆ
ｆ１ＹにはＹ＝ａＸの関係があるとすることができる。

こ＼でａは比例定数である。カメラはｌ　ｒｎ　Ｘ　］
、　ｍの範囲を移し、これをメモリ上では２５６　Ｘ　
２５６ドソトで表現すると、１ドソ１−の範囲は一一〜
×−−−３．９　ｔｍＸ　３．９＊＊　’−１５，２６
ＩＩ２となる。これを８×８個のブロックに分けると１
ブロツクは３２Ｘ３２ドツトであり、カメラの視野では
１２４．８　Ｘ　１２４．８　ｍになる。

これを第８図（ａｌに示す。一致したドツトの数が最も
多かった時がＸ・・１、ｙ＝０の時であったとすると、
被写体は第８図ｆｂ）に示すように１２４．８１ｍ、水
平に横へ移動したことになる。

被写体移動ｍＶ　（上記ではＸ方向１２４．８　ａｍ）
が求まったら、これによりカメラの向きを制御し、カメ
ラ視野上で被写体移動量がないようにする。これには第
９図（ａｌに示すように、該移動１ｖからカメラ制御角
度θを算出し、それをＡ／Ｄ変換して、カメラの向き制
御を行なうパルスモータに加える。

今、■＝ΔＸとすると、第９図（Ｃ）に示すようにθｘ
　＝　ｔａｎΔｘ／１２であり、Ｖ−Δｙとすると第９
図（ｄｌに示すようにθｙ　＝　ｔａｎΔｙ／／２であ
る。■がΔＸとΔｙからなるときはθＸとθｙを１榮作
量とする。

第１０図に本発明の実施例の全体図を示す。他の図と同
じ部分には同じ符号が付しである。テレビカメラ２０は
水平面上での回転及び垂直面上で回転が可能であり、θ
Ｘは前者、θｙは後者を制御する。回転操作はパルスモ
ータが行ない、２５はその制御部（駆動部）である。

〔発明の効果〕

以上説明したように本発明では被写体の動きを検出器し
てカメラ視野上での該動きがないようにカメラの向きを
制御するので、被写体が動いてもカメラ視野従って表示
部の画面から外れることなく、かつ被写体を画面に大き
く表示することが可能になる。カメラの制御は向きだけ
なので、比較的少ない部品で制御装置を構築することが
でき、テレビ電話のように小型化が必要な装置に有効で
ある。

また、被写体の移動はメモリ上でとらえ、この移動検出
用のメモリ２２ａ、２２ｂは、ブロック化したものをｌ
ビットで表現する画像を収容できればよいからフレーム
メモリ１２に比べて充分に小容量で済み、装置の低廉化
が可能である。

【図面の簡単な説明】

第１図は本発明の原理説明図、 第２図は本発明の実施例の要部説明図、第３図は２値化
とデータ圧縮の説明図、第４図および第５図は比較／演
算の説明図および流れ図、 第６図は一致ビットの説明図、 第７図は差分／移動量検出の説明図、 第８図はメモリと視野の対応説明図、 第９図は被写体移動量に対するカメラの向きの制御角の
説明図、 第１０図は本発明の実施例の全体説明図である。 第１図で１１は受信画像メモリ、１２は送信画像メモリ
、１５は伝送制御部、１８はディスプレイ、２０はテレ
ビカメラ、２１はカメラ方向制御部、２４は送信画像位
置認識部、２２ａ、２２ｂはメモリ、２３は比較部であ
る。

Claims (1)

1. 【特許請求の範囲】 １、受信画像メモリ（１１）、送信画像メモリ（１２）
   、伝送制御部（１５）、テレビカメラ（２０）、および
   ディスプレイ部（１８）を備えたテレビ電話装置におい
   て、 カメラ方向制御部（２１）、送信画像位置認識部（２４
   ）、比較用メモリ（２２ａ、２２ｂ）、および比較部（
   ２３）を設け、 送信画像位置認識部により送信画像メモリ上の画像デー
   タを２値化し、データ圧縮して、比較用メモリに前回画
   像および今回画像の２値化圧縮データを格納し、 比較部により比較用メモリ上の前回画像と今回画像を比
   較して被写体の動きを検出し、該動きに従ってテレビカ
   メラの向きを制御してカメラ視野上の被写体位置が変ら
   ないようにすることを特徴とするカメラの方向制御方式
   。