JPH0652945B2 - テレビ電話装置 - Google Patents

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明はモニタに表示される相手人物との視線の一致を
可能にしたテレビ電話装置に関するものである。

（従来の技術） 従来、視線を一致させるテレビ電話装置として、ハーフ
ミラーを用いた方法がある。第５図はハーフミラーを用
いたテレビ電話装置の構成を示す図であり、１はＣＲＴ
モニタ、２はテレビカメラ、３はハーフミラー、４はテ
レビ電話装置本体、５はテレビ電話利用者である。

第５図からわかるように本装置はハーフミラー３を用い
ているため、実際に見ることができるモニタ輝度は半分
になり、またテレビカメラ２に入力される光量も半分に
なる、という欠点がある。

また、ハーフミラー３を設置するためテレビカメラ２、
ＣＲＴモニタ１をテレビ電話装置本体４内に組み込む必
要があり、装置が大きくなるという欠点がある。

さらに本装置では、もし送信側人物がテレビ電話モニタ
の正面からはずれた位置からモニタを見た場合、送出さ
れる送信側人物像の視線はカメラ（モニタ）に向いた視
線となり、送信側、受信側ともに視線のずれが起こるこ
とになる。この視線のずれの様子を第６図の(1)，(2)で
説明する。

第６図(1)，(2)はハーフミラーを用いた視線一致型テレ
ビ電話装置の接続例であり、６-aはＡ地点テレビ電話利
用人物、７-aはその人物６-aの視線の方向、６-bはＢ地
点テレビ電話利用人物、７-bはその人物６-bの視線の方
向、８は第５図でのべたハーフミラー３、テレビカメラ
２を含んだテレビ電話端末装置のモニタ部分、９-aはＡ
地点側テレビ電話モニタに表示されたＢ地点側人物像
(６-b))、10-bはその人物(６-b)の視線の方向、９-bは
Ｂ地点側テレビ電話モニタに表示されたＡ地点側人物像
(６-a)、10-bはその人物(６-a)の視線の方向、11はＢ地
点テレビ電話利用人物(６-b)の動きの方向、12は伝送路
である。

第６図(1)ではＡ，Ｂ地点人物共にモニタに向かって正
面に位置しておりお互いの視線は一致している。ここ
で、Ｂ地点テレビ電話利用人物６-bが矢印11の方向に動
き、見る位置を変化させた場合、第６図(2)に示すよう
にＡ，Ｂ地点テレビ電話利用人物６-a，６-b共に視線の
ずれを生じてしまう欠点がある。

（発明の目的） 本発明の目的は上述した従来装置の欠点であるモニタの
輝度不足、テレビ電話装置本体の大型化、利用者が動い
た場合の視線のずれを解決し、２台のカメラから入力さ
れた画像から画像処理によって相手の人物像の方向に向
いた視線を有する人物像を合成して相手に送出すること
により、常に視線の一致したテレビ電話装置を提供する
ことにある。

（発明の構成） （発明の特徴と従来技術との差異） 本発明は２台のカメラにより撮像された２枚の画像か
ら、回転法と人物位置を検出することによって、常に視
線の一致した画像を得ることを特徴とし、従来の技術の
ように、ハーフミラーを用いてカメラとモニタの空間的
な配置により視線の一致した画像を得るのとは原理的に
異なる。

（実施例） 本発明の一実施例して２台のテレビカメラ、モニタと回
転法を用いたテレビ電話装置について説明する。まず、
画像処理によって被写体は回転させる回転法について説
明する(特願昭６２−２６９０２７号)。

この回転法は、カメラで撮像された被写体を水平方向に
切断し、その断面を簡単な２次元モデルで表現し、その
モデル上に撮像された画素を写影し、そのモデルの任意
の回転角で回転させて所望の画像を得る方法である。以
下に２台のカメラによって撮像された画像に回転法を用
いて正面画像を再生する場合について説明する。

第２図は、被写体の人物像14と２台のカメラ13Ｌ，13Ｒ
との空間座標系を示し、第３図は、第２図の被写体をｙ
＝ｊなるｘ−ｚ平面で切断し、その切断面に円モデルを
用いた場合の円モデルと２次元座標系の関係を示す。

ここで、13Ｌは左画像用カメラ、13Ｒは右画像用カメ
ラ、14は被写体、ｘ₀はモデルの中心点、点ｐは回転前
の座標点(ｘ，ｊ，ｚ)、ｐ′は回転後の座標点(ｘ′，
ｊ′，ｚ′)、ｒ(ｙの関数)は回転半径、θは２台のカ
メラのなす角度、αは撮像した画像を希望する位置まで
回転させた時の回転角(反時計方向を正とする)、ａは被
写体画像左端座標点、ｂは被写体画像右端座標点であ
る。

第４図は、上記被写体の切断面に円モデルを用いて、例
えば正面の顔画像を作成する場合の処理の流れを示す図
であり、以下に同図に沿って処理を詳細について説明す
る。

エッジ、顔輪郭検出 ２台のカメラ13Ｌ，13Ｒにて撮像された人物像14の左
側、右側の人物顔画像はディジタル化されて取り込ま
れ、適当なエッジ検出用フィルターを作用させた後、顔
の輪郭線のみを抽出する。

位置補正 輪郭抽出された左右画像うち、左側の顔輪郭線を平行移
動させて右側の顔輪郭線画像の２次元座標の基準点(例
えば頭頂部)に一致させる。

鼻の切り出し、正面を向いた鼻の作成 位置補正された左右の原画像から鼻を取り出す。鼻の切
り出し処理は、顔の輪郭線から鼻を推定して切り出す方
法や、目，口などと一緒に鼻を認識して切り出す方法な
どがある。次に切り出した左右の鼻から鼻筋を検出する
(-1)。検出した左右の鼻筋を用いて、キーフレーム法
によって正面を向いた鼻筋を計算する(-2)。

最後に、正面を向いた鼻筋に沿って左右画像の画素を移
動させて正面を向いた鼻を作成する(-3)。

回転移動 位置補正された左右の顔輪郭線より輪郭半径ｒ(ｙ)を計
算し、それぞれの原画像の画像を回転移動させ、移動処
理画像を作成する。

合成顔輪郭の作成 位置補正された左右の顔輪郭線より、キーフレーム法を
用いて正面を向いた合成顔輪郭線を作成する。

移動処理画像の合成 左右の移動処理画像を一枚の画像に合成する。

鼻の合成 合成移動処理画像の鼻の部分に-3で作成した鼻を合成
する。

合成顔輪郭線 合成顔輪郭線を用いて移動処理画像の顔輪郭を補正す
る。

以上の処理より左右２枚の顔画像から正面を向いた画像
を得ることができる。そして、これと同様の処理によっ
て任意の角度から見た人物像を再生し、より正確な再生
画像を得ることができる。また鼻の処理が不用な楕円モ
デルを使用してもよい。

次に上記第４図でのべた回転法をテレビ電話に適用した
本発明の一実施例にかかる視線一致型テレビ電話装置の
構成図を第１図に示す。図において15は制御部、16は送
信映像信号、17は受信相手人物移動角度情報、18は送信
自人物移動角度情報、19は受信映像信号、20は回転移動
角度計算部、21は画像合成部、22は回転移動処理部、23
は初期値設定部、24は自人物位置情報検出部である。

まず、左画像用カメラ13Ｌ，右画像用カメラ13Ｒにより
撮像された２枚の画像は、受信相手人物移動角度情報17
に基づいて回転移動処理部22で回転法を用いてそれぞれ
回転移動され、画像合成部21で相手側人物位置に適した
視線を伴った、すなわちその人物の方向を向いた画像に
合成され、送信映像信号16として相手側に送出される。

回転移動処理部22で回転移動処理される際に、第４図の
処理によって例えば頭頂部が検出されるが、この情報
に基づいて自人物位置情報検出部24にて座標位置を検出
し、初期値設定部23にて設定される自人物とカメラ間の
距離、カメラ間隔などの初期値情報を用いて回転移動角
度計算部20にて回転移動角度が計算されて送信自人物移
動角度情報18として相手側に送出される。回転移動角度
は人物像の移動した距離とカメラ、人物間の距離から計
算される。受信映像信号19にて受信された映像信号はＣ
ＲＴモニタ１に表示される。

このような構成になっているから、テレビ電話利用者が
見る位置を変化させても、それに応じて相手側人物の回
転処理のための回転移動角度が変化し、相手人物像と常
に視線の一致したテレビ電話が実現できる。

（発明の効果） 以上説明したように、本発明では回転法という画像処理
をテレビ電話装置に適用し、テレビ電話利用者のモニタ
を見る位置が変化しても、それに応じて相手側人物の再
生画像を回転させることにより、視線が常に一致したテ
レビ電話が可能となる。

【図面の簡単な説明】

第１図は本発明の一実施例装置の構成図、第２図は回転
法を用いた場合の被写体を人物像と２台のカメラとの空
間座標系を示す図、第３図は第２図の被写体をｙ＝ｊな
るｘ−ｚ平面で切断し、その切断面に円モデルを用いた
場合の円モデルと座標系の関係を示す図、第４図は円モ
デルを用いた回転法の処理の流れを示す図、第５図は従
来のハーフミラーを用いたテレビ電話装置の構成を示す
図、第６図はハーフミラーを用いたテレビ電話での視線
のずれを説明する図である。 １……ＣＲＴモニタ、２……テレビカメラ、３……ハー
フミラー、４……ハーフミラーを内蔵したテレビ電話装
置本体、５……テレビ電話利用者、６-a……Ａ地点テレ
ビ電話利用人物、６-b……Ｂ地点テレビ電話利用人物、
７-a……Ａ地点テレビ電話利用人物(６-a)の視線の方
向、７-b……Ｂ地点テレビ電話利用人物(６-b)の視線の
方向、８……ハーフミラーとカメラを含んだテレビ電話
端末装置のモニタ部分、９-a……Ａ地点側テレビ電話モ
ニタに表示されたＢ地点側人物像、９-b……Ｂ地点側テ
レビ電話モニタに表示されたＡ地点側人物像、10-a……
Ａ地点側テレビ電話モニタに表示されたＢ地点側人物像
の視線の方向、10-b……Ｂ地点側テレビ電話モニタに表
示されたＡ地点側人物像の視線の方向、11……Ｂ地点テ
レビ電話利用人物の動きの方向、12……伝送路、13Ｌ…
…左画像用カメラ、13Ｒ……右画像用カメラ、14……被
写体、15……制御部、16……送信映像信号、17……受信
相手人物移動角度情報、18……送信自人物移動角度情
報、19……受信映像信号、20……回転移動角度計算部、
21……画像合成部、22……回転移動処理部、23……初期
値設定部、24……自人物位置情報検出部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】モニタの左右にある２台のテレビカメラに
   より人物像を撮像する手段と、得られた２枚の画像から
   人物像の位置座標を検出する手段と、検出された人物像
   の位置座標から回転移動角度を計算する手段と、計算さ
   れた回転移動角度を相手側端末に送出する手段と、相手
   端末側において同様な手段を用いて検出され、自端末側
   に送出された相手人物像の回転移動角度に応じて前記２
   枚の左右画像を回転法を用いて回転移動処理をする手段
   と、回転移動処理された２枚の画像から相手人物像の方
   向に向いた視線を有する画像を合成する手段と、合成さ
   れた人物像を相手側に伝送する手段を有することを特徴
   とするテレビ電話装置。