JPH0258484A - テレビ電話装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の屈する技術分野） 本発明はモニタに表示される相手人物との視線の一致を
可能にしたテレビ電話′！装置に関するものである。

（従来の技術） 従来、視線を一致させるテレビ電話装置として、ハーフ
ミラ−を用いた方法がある。第５図はハーフミラ−を用
いたテレビ電話装置の構成を示す図であり、１はＣＲＴ
モニタ、２はテレビカメラ。

３はハーフミラ−５４はテレビ電話装置本体、５はテレ
ビ電話利用者である。

第５図かられかるように本装置はハーフミラ−３を用い
ているため、実際に見ることができるモニタ輝度は半分
になり、またテレビカメラ２に入力される光量も半分に
なる、という欠点がある。

また、ハーフミラ−３を設置するためテレビカメラ２．
ＣＲＴモニタ１をテレビ電話装置本体４内に組み込む必
要があり、装置が大きくなるという欠点がある。

さらに本装置では、もし送信側人物がテレビ電話モニタ
の正面からはずれた位置からモニタを見た場合、送出さ
れる送信側人物像の視線はカメラ（モニタ）に向いた視
線となり、送Ｍ側、受信側ともに視線のずれが起こるこ
とになる。この視線のずれの様子を第６図の（］）、　
（２）で説明する。

第６図（１）、　（２）はハーフミラ−を用いた視線−
致型テレビ電話装置の接続例であり、６−ａはＡ地点テ
レビ電話利用人物、７−ａはその人物６−ａの視線の方
向、６−ｂはＢ地点テレビ電話利用人物、７−ｂはその
人物６−ｂの視線の方向、８は第５図でのべたハーフミ
ラ−３、テレビカメラ２を含んだテレビ電話端末装置の
モニタ部分、９−ａはＡ地点側テレビ電話モニタに表示
されたＢ地点側人物像（６−ｂ）、１０−ａはその人物
（６−ｂ）の視線の方向、９−ｂはＢ地点側テレビ電話
モニタに表示されたＡ地点側人物像（６−ａ）、１０−
ｂはその人物（６−ａ）の視線の方向、１１はＢ地点テ
レビ電話利用人物（６−ｂ）の動きの方向、１２は伝送
路である。

第６図（］）ではＡ、Ｂ地黒人物地上人物タに向かって
正面に位置しておりお互いの視線は一致している。ここ
で、１３地点テレビ電話利用人物６−ｂが矢印１１の方
向に動き、見る位置を変化させた場合、第６図（２）に
示すようにＡ、■３地点テレビ電話利用人物６−ａ、６
−ｂ共に視線のずれを生じてしまう欠点がある。

（発明の目的） 本発明のＩＩ的は上述した従来装置の欠点であるモニタ
の輝度不足、テレビ電話装置本体の大型化。

利用者が動いた場合の視線のずれを解決し、２台のカメ
ラから入力された画像から画像処理によって相−トの人
物像の方向に向いた視線を有する人物像を合成して相手
に送出することにより、常に視線の一致したテレビ電話
装置を提供することにある。

（発明の構成） （発明の特徴と従来技術との差異） 本発明は２台のカメラにより撮像された２枚の画像から
１回転法と人物位：４を検出することによって、常に視
線の一致した画像を＜：）ろことを特徴とし、従来の技
術のように、ハーフミラ−を用いてカメラとモニタの空
間的な配置により視線の一致した画像を得るのとは原理
的に異なる。

（実施例） 本発明の一実施例として２台のテレビカメラ。

モニタと回転法を用いたテレビ゛社話装置について説明
する。まず１画像処理によって被写体は回転させろ回転
法について説明する（特願昭６２＝２６９０２７号）。

この回転法は、カメラで撮像された被′ゲ体を水平方向
に切断し、その断面を簡１１４−な２次元モデルで表現
し、そのモデル上に撮像された画素を写影し、そのモデ
ルを任意の回転角で回転させて所望の画像を得る方法で
ある４以下に２台のカメラによって撮像された画像に回
転法を用いて正面画像を再生する場合について説明する
。

第２図は、被写体の人物像Ｌ４と２台のカメラ１３Ｌ、
＋３Ｒとの空間Ｉｇ標系を示し、第３図は、第２図の被
写体をｙ＝ｊなるｘ−ｚ平面で切断し、その切断面に円
モデルを用いた場合の円モデルと２次元座標系の関係を
示す。

ここで、１３Ｌは左画像用カメラ、１３Ｒは右画像”用
カメラ、１４は被写体、ｘｏはモデルの中心点。

、−ρｐは四転市の座標点（Ｘ＋　、］＋　Ｚ）−Ｐ′
は回転後の座標点（Ｘ′＋　、’３′＋　Ｚ′）−ｒ（
Ｙの関数）は回転半径、θは２台のカメラのなす角度、
αは撮像した画像を希望する位置まで回転させた時の回
転角（反時計方向を正とする）、ａは被写体画像左端座
標点、ｂは被写体画像左端座標点である。

第４図は、上記被写体の切断面に円モデルを用いて２例
えば正面の顔画像を作成する場合の処理の流れを示す図
であり、以下に同図に沿って処理を詳細について説明す
る。

（Ｔ）エツジ、顔輪郭検出 ２台のカメラ＋３Ｌ、１３Ｒにて撮像された人物像】４
の左側、右側の人物顔画像はディジタル化されて取り込
まれ、適当なエツジ検出用フィルターを作用させた後、
顔の輪郭線のみを抽出する。

■位置補正 輪郭抽出された左右画像のうち、左側の顔輪郭線を平行
移動させて右側のＰＡ輪郭線画像の２次元座標の基僧点
（例えば頭頂部）に一致させる。

（■鼻の切り出し、正面を向いた鼻の作成位置補正され
た左右の原画像から鼻を切り出す。鼻の切り出し処理は
、顔の輪郭線から鼻を推定して切り出す方法や、目２０
などと一緒に鼻を認識して切り出す方法などがある０次
に切り出した左右の鼻から鼻筋を検出する（（■−１）
。

検出した左右の鼻筋を用いて、キーフレーム法によって
正面を向いたＧ、筋を計算する（（■−２）。

最後に、工［面を向いた鼻筋に沿って左右画像の画素を
移動させて正面を向いた鼻を作成する←＠−３）。

（１回・匠移動 位置補正された左右の１１′１輪郭線より１陥郭゛ｂ径
ｒ（ｙ）を計算し、それぞれの原画像の画像を回転移動
させ、移動処理画像を作成する。

１［Ｆ］合成ＩＡ１輸郭の作成 位置補正された左右の顔輪郭線より、キーフレーム法を
用いて正面を向いた合成顔輸・連線を作成する６ ■移・功処理画像の合成 左右の移動処理画像を一枚の画像に合成する。

■鼻の合成 合成移動処理画像の鼻の部分にＯ〕−３で作成した尋、
を合成する。

■合成顔輪郭線 合成顔Ｉ鵠＋１＋線を用いて移動処理画像のＰｆ１４Ｑ
η（を補正する。

以上の処理より左右２枚の顔画像から正面を向いた画像
を９！）ろことかできろ。そして、これと同様の処理に
よって任５ａ：の角度から見た人物像を＋ｌｊ生し、よ
り正確な再生画像を１：）ることができろ。

また鼻の処理が不用な楕円モデルを使用してもよい。

次に一１―記第４図でのへた回転法をテレビ電話に適用
した本発明の一実施例にかかる視線一致型テレビ電話装
置の構成図を第１図に示す。図において１５は制御部、
１６は送信映像（３号、１７は受信相手人物移動角度情
報、１８は送信自人物移■肋角度情報、１９は受信映像
信号、２０は回転移動角度計算部、２１は画像合成部、
２２は回転移動処理部、２３は初期値設定部、２４は自
人物位置情報検出部である。

まず、左画像用カメラ１３Ｌ、右画像用カメラ１３Ｒに
より撮像された２枚の画像は、受信相手人物移動角度情
報１７に基づいて回転移動処理部２２で回転法を用いて
それぞれ回転移動され１両性合成部２１で相手側人物位
に５に適した視線を伴った、すなわちその人物の方向を
向いた画像に合成され、送信映像信号１６として相手側
に送出される。

回転移動処理部２２で回転移動処理されろ際に。

第４図の処理・、■によって例えば頭頂部が検出される
が、この情報に基づいて白人物位置情報検出部２４にて
座ｔ“１′！位置を検出し、初期値設定部２３にて設定
される自人物とカメラ間の距離、カメラ間隔などの初期
値情報を用いて回転移動角度計算部２０にて回転移動角
度が計算されて送信自人物移動角度情報１８として相手
側に送出される０回転移動角度は人物像の移動した距離
とカメラ、人物間の距離から３１算される。受信映像（
７３号１９にて受信された映像信号はＣＲＴモニタ１に
表示される。

このような構成になっているから、テレビ電話利用者が
見る位置を変化させても、それに応じて相手側人物の回
転処理のための回転移動角度が変化し、相手人物像と常
に視線の一致したテレビ電話が実現できる。

（発明の効果） 以り説明したように、本発明では回転法という画像処理
をテレビ？Ｕ、話装置に適用し、テレビ電話利用者のモ
ニタを見る位置が変化しても、それに応じて相手側人物
の再生画像を回転させることにより、視線が常に一致し
たテレビ電話が可能となる。

４、　図面の簡ｌｉｔ、な説明 第１図は本発明の一実施例装置の構成図、第２図は回転
法を用いた場合の被写体を人物像と２台のカメラとの空
間座標系を示す図、第３図は第２図の被写体をｙ＝ｊな
るｘ−ｚ平面で切断し、その切断面に円モデルを用いた
場合の円モデルと座標系の関係を示す図、第４区は円モ
デルを用いた回転法の処理の流れを示す図、第５図は従
来のハーフミラ−を用いたテレビ電話装置の構成を示す
図、第′６図はハーフミラ−を用いたテレビ電話での視
線のずれを説明する図である。

１　・・・ＣＲＴモニタ、　２　・・・テレビカメラ、
　３　・・・ハーフミラ−４・・ハーフミラ−を内蔵し
たテレビ電話装置本体、５　・・　テレビ電話利用者、
　６−ａ・・・Ａ地点テレビ電話利用人物、　６−ｂ・
・・Ｂ地点テレビ電話利用人物、　７二ａ　　・・Ａ地
点テレビ電話利用人物（６−ａ）の視線の方向、１−ｂ
　　・・　Ｂ地点テレビ電話利用人物（６−ｂ）の視線
の方向、　８　・・・ハーフミラ−とカメラを含んだテ
レビ１８話端末装置のモニタ部分、　９−ａ・・・　Ａ
地点側テレビ電話モニタに表示されたＢ地点側人物像。

９−ｂ・・・　Ｂ地点側テレビ電話モニタに表示された
Ａ地点側人物像、　　１０−ａ・・・Ａ地点側テレビ電
話モニタに表示されたＢ地点個人物像の視線の方向、１
０−ｂ・・・Ｂ地点側テレビ電話モニタに表示されたＡ
地点側人物像の視線の方向、１１　　・・Ｂ地点テレビ
電話利用人物の動きの方向、 １２・・伝送路、　＋３Ｌ　・・・左画像用カメラ、＋
３Ｒ・・右画像用カメラ、　１４・・・被写体、１５・
・・制御部、　１６　　・　送信映像信号、１７・・・
受信相手人物移動角度情報、１８・・・送信自人物移動
角度情報、１９　　・・受信映像信号、２０・・・回転
移動角度計算部、２１　　・・画像合成部、２２　　・
　回転移動処理部、２３・・・初期値設定部、２４　　
・・白人物位置情報検出部。

特許出願人　日本電信電話株式会社 第 図 第２図 第３図 ７　　女・寞ギＯシ゛〜テ＝キＩむ内１１市名麹ｓ　　
−＆＋ｓ　目ｉ、丁フＴＳ　ｑうＡ　１　埼ｐ６第 図 第 図

Claims (1)

【特許請求の範囲】
1. モニタの左右にある２台のテレビカメラにより人物像を
   撮像する手段と、得られた２枚の画像から人物像の位置
   座標を検出する手段と、検出された人物像の位置座標か
   ら回転移動角度を計算する手段と、計算された回転移動
   角度を相手側端末に送出する手段と、相手端末側におい
   て同様な手段を用いて検出され、自端末側に送出された
   相手人物像の回転移動角度に応じて前記２枚の左右画像
   を回転法を用いて回転移動処理をする手段と、回転移動
   処理された２枚の画像から相手人物像の方向に向いた視
   線を有する画像を合成する手段と、合成された人物像を
   相手側に伝送する手段を有することを特徴とするテレビ
   電話装置。