JP2680320B2 - テレビ電話装置 - Google Patents

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、TV電話の画面制御に関するテレビ電話装置
である。

（従来の技術） 従来、TV電話は顔自体を映し伝送する事が第一の目的
であるためある程度画面一ぱいに顔を映すために顔が画
面からはみ出す場合にはカメラを自動的に追尾させるか
自ら自画モニターに切換えてカメラの位置合わせをしな
ければならなかった。さらに後者の場合は、ずれている
事を確認するには第11図に示す様に常に自画モニターを
画面の一部に映しておかなければならず、画面が見づら
いという欠点があった。また、その様にして画面を動か
した場合、背景検出回路により作成した背景メモリをも
う一度作り直さなければならないだけでなく、常時人物
が存在する画面で背景を作らなければならないために人
物の移動が起こらなければ隠れた背景は背景として確認
されない。背景の確認アルゴリズムが複雑になるなどの
問題点があった。

（発明が解決しようとする課題） 上述した様に、従来TV電話は、自画モニターの制御を
マニュアルもしくはカメラの自動追尾装置により行なっ
ていたために以下の様な問題点があった。

マニュアル法 画面が見づらい 情報量が減る 自動追尾法 装置が複雑化する。（大型化する） 両方法共通 背景検出回路の複雑化 移動による背景の再作成 そこで本発明は、この様な問題点を解決して、人物の
動きに対して容易に追従でき、装置も小型化できるテレ
ビ電話装置を提供する事を目的とする。

〔発明の構成〕

（課題を解決するための手段） 本発明は上記問題点を解決するために以下の様な構成
となっている。

すなわち、本発明は、画像を撮像する撮像手段と、背
景領域の画像を予め受信器に伝送するために前記撮像手
段で撮像された画像から背景領域の画像を検出する背景
検出手段と、前記撮像手段で撮像された画面領域に含ま
れる画像を複数の部分領域の画像に分割する分割手段
と、各部分領域の画像から動領域を含む画像を選択する
選択手段と、選択手段により選択された動領域を含む画
像及び前記背景検出手段により検出された背景領域の画
像をそれぞれ符号化する符号化手段と、符号化された背
景領域の画像を予め伝送すると共に、符号化された動領
域を含む画像をその位置情報と共に伝送する伝送手段と
を備えた送信器と、送信器から予め伝送された背景領域
の画像及び動領域を含む画像を復号する復号手段と、前
記予め伝送された背景領域の画像を記憶する背景記憶手
段と、送信器から伝送された動領域を含む画像の位置情
報に基づき前記動領域を含む画像の領域を除く背景領域
の画像を前記背景記憶手段から読み出し、前記動領域を
含む画像と共に表示する表示手段とを備えた受信器とを
備えたことを特徴とするテレビ電話装置を提供する。

（作用） 本発明によれば、背景画像を予め伝送しておき、自分
の動きに対して動領域を含む部分画像のみを伝送するこ
とにより、伝送効率が向上させることができる。

（実施例） 本発明の一実施例を図面を用いて詳述する。カメラの
撮像素子上に撮像された全画面をＮ×Ｍとし（以下これ
を大画面と呼ぶ）分割画面をN/3×M/2（以下これを小画
面と呼ぶ）とした場合について説明していく。まず、撮
像装置（カメラ）101からの出力は、符号化処理を行な
うために一旦フレームメモリ102に蓄えられた後、画面
位置大きさ選択回路103による画面分割の選択信号に基
づいて、一つの小画面が選択される。この画面分割につ
いては、例えば第２図に示す様に６分割に設定するもの
であるが小画面を重なり合う様に設定することも可能で
ある。また、分割画面の選択については、マニュアルも
しくは第３図に示す様に各分割画面のフレーム間差分の
絶対値和の最大の画面を選択するなど色々な方法が考え
られる。

次に、選択、ゲートされた分割画面は、符号化回路10
6で符号化処理が施され、画面の大きさ及び位置情報を
含んだ小画面選択信号と共に合成回路107合成されて出
力される。一方、フレームメモリ102の信号は背景検出
回路105で画面の背景が検出され、この信号が符号化回
路106にも送られる。

受信機側では、合成された小画面選択信号と符号化画
像信号とを分離回路108により分離した後伝送された背
景画像信号または符号化画像信号は復号化回路109によ
り復号化される。送信側の背景検出により背景画像が伝
送された場合には、背景メモリ110には復号された背景
画像情報が蓄積される。また、分離された小画面選択信
号の内大きさの情報は復号化された画像信号をモニター
に出力するための補間フィルター117の係数を決定する
ために使われ、位置情報は大画面の背景を登録するため
に使われる。

補間フィルター117は例えば第４図に示す様に選択信
号によってROMなどの係数選択回路に記憶されたフィル
ターの係数が選択され、それによりフィルターの形が適
応的に変化する構成により容易に実現できる。

一方、上記背景検出回路105では、選択された小画面
ではなく大画面（つまり、この例ではＮ×Ｎ）において
背景を検出する。背景検出法としては、選択された分割
画面においては、その中に人物が存在する可能性が高い
ため、（または動く物体がある）フレーム間差分に基づ
いて人物の内側外側を検出し、外側を背景とする方法、
あるスレッショルドを設定してそれ以下であるフレーム
の連続回路により背景を検出する方法、人物と背景との
距離（超音波など用いる）の違いにより背景を検出する
方法などを用いる事ができる。また、選択されていない
画面については、その画面が背景のみで構成されている
可能性が高いのでそのままの画面を背景として登録する
か又は、フレーム間差分がスレショルド以下の場合に背
景として登録するなどの簡単な方法で背景を作成する事
ができる。この様に大きな画面全体で背景検出をする事
により、人物が存在する画像については従来通り背景の
検出が複雑となるが、実際には人物がかなり大きく移動
した時に背景の効果がでてくる事、また、選択されてい
ない画像の背景は容易に検出できる事などを考えれば、
次に選択されるべき分割画像に人物が入り込む様な大き
な動きに対しては、本発明の有効性は明らかである。

次に、第二の実施例を第５図に示す。

第一の実施例では、人物の移動に対して分割画面を切
換える事で対応してきたが、本実施例ではTVカメラを移
動させる事により、より大きな移動に対しても追従でき
る場合について説明する。

まず、人物の移動により第２図のの小画面が第６図
の様に選択されたとする。この時第６図に示す様にの
画面をさらに細かく分割し（以下極小画面と呼ぶ）第７
図に示す回路構成によりその中で最もフレーム間差分の
絶対値和の大きい極小画面がの小画面の中心にくる様
にカメラ制御を行ないその制御量を位置情報として伝送
する。また、隣接した小画面に人物がまたがって存在し
ている場合にはの小画面より少し大きめの範囲で検索
を行なう方法及び小画面を重なり合う様に設定する方法
も考えられる。カメラ制御については人物を抽出して制
御する方法も考えられるがそれについては第４の実施例
で述べる。以上の様にしてカメラ制御を行なう事で常に
注目位置が中心分割画面にあるので、背景メモリーを大
きく確保しておく事により、背景が周辺分割画面に新し
く現れるたびにカメラの画面上での移動量を基にして登
録する事ができ、事前に作成された背景メモリにより効
率良く、注目画像の伝送を行なう事ができる。

次に第三の実施例について説明する。

第三の実施例を第８図に示す。まず、選択回路により
選択された画面の位置により画面からはみ出す可能性の
ある位置を画面位置判断回路で作成しておく。選択信号
により選択された分割画面を二値化回路により二値化
し、輪郭追跡回路により輪郭の外側を追跡する。追跡の
途中で事前に作成した画面位置及び画面の端に達する場
合は、追跡の始点に戻り、逆に追跡をした後、画面の端
と輪郭で囲まれる面積を測定する。輪郭が一周する場合
は、その面積を測定しておく他に追跡された輪郭の面積
に比べて大きい場合（人物が最も大きく、映っていると
仮定）人物が画面よりはみ出していると判断してモニタ
ーを自己モニターに変える又は復号化画像を点滅させる
などの画面制御を行ない送信者に警告を与えるものであ
る。

次に第四の実施例を第９図に示す。これは、選択する
画面が固定及び等分割でなく、人物の動きに応じて移動
する場合について示したものである。

まず、カメラからの出力はフレームメモリに蓄積され
た後画面位置を決定するために人物検出が行なわれる。
フレームメモリから読み出された画像のフレーム間差分
信号からある闘値以上変化しているものをエッジとする
などの方法によりフレーム間差分信号のエッジ検出を行
ない人物の輪郭を抽出する。抽出された輪郭を追跡して
全体の面積を求めると共に重心を検出し、その重心があ
らかじめ設定された大きさで小画面の中心になる様に画
面の位置、大きさ選択回路により小画面の位置を決定す
る。この様にして選択された画面の位置選択信号（例え
ば画面のアドレス）により、大画面上の一部が小画面と
して選択され、符号化処理を行なった後伝送される。こ
の様にして選択された小画面の中に新たに背景として現
れてきた部分が存在する場合には、事前に第一の実施例
の様にして背景が求まっているので背景を識別する信号
と共に伝送する。しかし、多くの場合、背景は無意味
（又は伝送する必要がない）であるため背景の識別信号
だけを伝送して背景自体は伝送しないという方法も考え
られる。

以上の方法で符号化された画像信号は符号化処理と逆
に操作により復号化される。特に新たに現れた背景につ
いては、画面の位置選択信号により新たに現れた画像部
分の検出を行ない、その中で背景として伝送されてきた
ものについては復号器側でも背景メモリ上に登録する。
つまり、背景メモリとしては小画面だけでなく大画面も
しくはそれ以上の容量を持っているため、大きな動きに
対しても効率良く伝送する事ができる。

以上全ての実施例において、広角による歪及び消費電
力を下げる目的で複数の撮像素子を用いる方法も考えら
れる。この場合、中心以外の撮像素子は画素数を減らす
及び読出し時間を遅くするなどにより形は大きくなるが
歪及び消費電力という意味で性能が向上する。

〔発明の効果〕

以上の様に本発明によれば、人物の移動に際してある
程度の移動量であればカメラ制御する事なしに電気的に
小画面を移動させる事で対応でき、さらにその時、事前
に作成した背景メモリを使用する事で画像を効率良く伝
送する事ができる。また、伝送量を減らすためのサブサ
ンプリングを小画面を抽出する事により行なっているた
め折り返し除去用のフィルターが必要でなくなるなどの
効果もある。

【図面の簡単な説明】

第１図は本発明の第一の実施例を示す図、第２図は第１
の実施例を説明するための図、第３図は第１の実施例の
画面の位置、大きさ選択回路について詳しく説明した
図、第４図は補間フィルター回路のブロック図、第５図
は第２の実施例を示す図、第６図は第２の実施例を説明
するための図、第７図はカメラ制御のために必要な画面
位置情報を検出するブロック図、第８図は第３の実施例
を示す図、第９図は第４の実施例を示す図、第10図及び
第11図は従来例を説明するための図である。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】画像を撮像する撮像手段と、背景領域の画
   像を予め受信器に伝送するために前記撮像手段で撮像さ
   れた画像から背景領域の画像を検出する背景検出手段
   と、前記撮像手段で撮像された画面領域に含まれる画像
   を複数の部分領域の画像に分割する分割手段と、各部分
   領域の画像から動領域を含む画像を選択する選択手段
   と、選択手段により選択された動領域を含む画像及び前
   記背景検出手段により検出された背景領域の画像をそれ
   ぞれ符号化する符号化手段と、符号化された背景領域の
   画像を予め伝送すると共に、符号化された動領域を含む
   画像をその位置情報と共に伝送する伝送手段とを備えた
   送信器と、 送信器から予め伝送された背景領域の画像及び動領域を
   含む画像を復号する復号手段と、前記予め伝送された背
   景領域の画像を記憶する背景記憶手段と、送信器から伝
   送された動領域を含む画像の位置情報に基づき前記動領
   域を含む画像の領域を除く背景領域の画像を前記背景記
   憶手段から読み出し、前記動領域を含む画像と共に表示
   する表示手段とを備えた受信器とを備えたことを特徴と
   するテレビ電話装置。