JP4089027B2

JP4089027B2 - Bidirectional communication system, terminal device and control method

Info

Publication number: JP4089027B2
Application number: JP25157898A
Authority: JP
Inventors: 哲二郎近藤; 洋一木; 靖立平; 真史内田; 知之大月; 淳一石橋; 典文吉原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-09-04
Filing date: 1998-09-04
Publication date: 2008-05-21
Anticipated expiration: 2018-09-04
Also published as: JP2000083228A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えば、異なる複数の地点間においてなされる遠隔テレビ会議等に用いて好適な双方向通信システム、端末装置および制御方法に関する。
【０００２】
【従来の技術】
従来、映像表示装置と撮影装置と通信手段とを用いて、遠隔地において相互にコミニュケーションを図ることが可能な装置が種々提案されている。このような装置を実際に用いる場合には、映像表示装置の上や隣接箇所に別体の撮影装置を設置するか、あるいは、映像表示装置と撮影装置とが一体化され、映像表示装置の縁部に撮影装置が内蔵されたものが用いられる。例えば、Ａ地点に人物ａが位置し、Ｂ地点に人物ｂが位置しているものとし、Ａ地点およびＢ地点の間でコミニュケーションを図る場合について説明すると、Ａ地点の撮影装置による映像は、Ｂ地点の映像表示装置の画面上に映し出され、Ｂ地点の撮影装置による映像は、Ａ地点の映像表示装置の画面上に映し出される。このようにそれぞれ互いに相手側の映像を映し出すことで、離れている２者ａ，ｂがあたかもお互いの目の前にいるような視覚的な状況が形成され、コミニュケーションが図られる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した装置においては、撮影装置の光軸と表示画面を見る目線がずれているため、コミニュケーションが不自然になってしまうことがある。このため、表示画面を十分に大きくしたものを用いて臨場感を高めることでコミニュケーションを図り易くすることが考えられるが、表示画面を大きくすればする程、目線が合いにくくなる問題点があった。このような問題を解決するため、一つの方法としてハーフミラーを用いて撮影装置の光軸と表示画面とを一致させることが考えられるが、構造上表示画面を大きくしにくく、また、コストや設置面積が大きくなるという問題点がある。また、他の方法として、網のようなスクリーンとプロジェクタを用いて表示画面の裏側から撮影するように構成された装置も提案されているが、投影された映像が暗くなってしまうため、明るい部屋等では、かえって使いにくくなる欠点を有していた。
【０００４】
従って、この発明の目的は、利用者の視線と顔の位置に応じて相手側の撮影装置を制御し、表示画面と視線を一致させることで臨場感を高めることができると共に、円滑にコミュニケーションを図ることができる双方向通信システム、端末装置および制御方法を提供することにある。
【０００５】
【課題を解決するための手段】
以上の問題を達成するために、請求項１の発明は、通信を介して異なる一方の地点および他方の地点に位置する第１の端末装置および第２の端末装置の間で映像および音声情報の交換がなされる双方向通信システムにおいて、
一方の地点の利用者の顔の位置および視線方向を検出する一の検出方法と、利用者の顔の位置を検出し、検出された顔の位置とカメラおよび一方の地点の利用者との距離に応じて視線方向を推定する他の検出方法の一方によって得られた顔の位置および視線方向に応じて、他方の地点のカメラの光軸を制御する制御情報を出力する第１の検出手段と、一の検出方法と他の検出方法との一方を選択する第１の設定手段と、第２の端末装置から送られてくる制御情報に応じて、一方の地点のカメラの光軸を制御する第１の制御手段と、他方の地点のカメラによる映像を映し出す第１の表示手段とを備えた第１の端末装置と、
他方の地点の利用者の顔の位置および視線方向を検出する一の検出方法と、利用者の顔の位置を検出し、検出された顔の位置とカメラおよび他方の地点の利用者との距離に応じて視線方向を推定する他の検出方法の一方によって得られた顔の位置および視線方向に応じて、一方の地点のカメラの光軸を制御する制御情報を出力する第２の検出手段と、一の検出方法と他の検出方法との一方を選択する第２の設定手段と、第１の端末装置から送られてくる制御情報に応じて、他方の地点のカメラの光軸を制御する第２の制御手段と、一方の地点のカメラによる映像を映し出す第２の表示手段とを備えた第２の端末装置とにより構成されることを特徴とする双方向通信システムである。
【０００６】
請求項２の発明は、通信を介して異なる一方の地点および他方の地点に位置する複数の端末装置の間で映像および音声情報の交換がなされる双方向通信システムにおける一方の地点に位置する端末装置において、
一方の地点の利用者の顔の位置および視線方向を検出する一の検出方法と、利用者の顔の位置を検出し、検出された顔の位置とカメラおよび一方の地点の利用者との距離に応じて視線方向を推定する他の検出方法の一方によって得られた顔の位置および視線方向に応じて、他方の地点のカメラの光軸を制御する制御情報を出力する検出手段と、
一の検出方法と他の検出方法との一方を選択する設定手段と、
他方の地点の端末装置から送られてくる制御情報に応じて、一方の地点のカメラの光軸を制御する制御手段と、
他方の地点のカメラによる映像を映し出す表示手段とを備えたことを特徴とする端末装置である。
【０００７】
さらに、請求項３の発明は、通信を介して異なる一方の地点および他方の地点に位置する複数の端末装置の間で映像および音声情報の交換を行う制御方法において、
一方の地点の利用者の顔の位置および視線方向を検出する一の検出方法と、利用者の顔の位置を検出し、検出された顔の位置とカメラおよび一方の地点の利用者との距離に応じて視線方向を推定する他の検出方法の一方によって得られた顔の位置および視線方向に応じて、他方の地点のカメラの光軸を制御する制御情報を出力する検出ステップと、
一の検出方法と他の検出方法との一方を選択する設定ステップと、
他方の地点の端末装置から送られてくる制御情報に応じて、一方の地点のカメラの光軸を制御する制御ステップと、
他方の地点のカメラによる映像を映し出す表示ステップとを有することを特徴とする制御方法である。
【０００８】
この発明では、例えば、地点Ａおよび地点Ｂに位置するそれぞれの利用者に対して検出部、表示部、撮影部、および光軸制御部を有した同一構成の端末装置が設けられる。地点Ａの端末装置の検出部において利用者の顔の位置および視線方向が検出され、この検出結果に応じて形成された制御情報が相手先となる地点Ｂの端末装置の光軸制御部に供給される。光軸制御部において制御情報に応じた制御信号が形成され、この制御信号により撮影部が制御されてカメラの光軸が所定位置に変位されると共に、所定方向に向けられる。地点Ｂの撮影部のカメラにより撮影された映像情報が表示部に供給され、表示部には、地点Ａの利用者の顔の位置および視線方向に応じて撮影された地点Ｂの利用者の映像が映し出される。同様な動作が地点Ｂの端末装置においてもなされ、このことで、利用者のそれぞれの目の前には、互いに先方の利用者を所望の位置と方向から見ているような状況がハーフミラーを介して形成される。
【０００９】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明による双方向通信システムの構成を示し、図２は、この発明による端末装置の主要な部分の構成を示す。なお、図１および図２において対応する箇所に関しては、同一の参照符号が付されている。
【００１０】
図１に示すように２つの異なる地点Ａおよび地点Ｂに位置する１ａおよび１ｂで示される利用者の間において双方向に映像および音声情報の交換を行うものとして説明する。この場合においては、利用者１ａ，１ｂのそれぞれに対して同一の構成の端末装置２ａ，２ｂが設置される。なお、他の地点に利用者が存在する場合や、同一箇所に複数人の利用者が存在する場合には、全ての利用者の組み合わせ毎に端末装置が設置され、端末装置の正面に一人の利用者のみが位置するように用いられる。
【００１１】
端末装置２ａは、本体ユニット１１ａと、検出部１２ａと、図示せずも音声処理部および伝送処理部等により構成され、本体ユニット１１ａには、表示部１４ａ、光軸制御部１５ａ、およびカメラ１６ａを有した撮影部１７ａ等が設けられている。また、端末装置２ｂは、本体ユニット１１ｂと、検出部１２ｂと、図示せずも音声処理部および伝送処理部等により構成され、本体ユニット１１ｂには、表示部１４ｂ、光軸制御部１５ｂ、およびカメラ１６ｂを有した撮影部１７ｂ等が設けられている。
【００１２】
端末装置２ａ，２ｂのそれぞれがネットワーク／電話回線３に接続され、地点Ａ，Ｂにおいてネットワーク／電話回線３を介して互いに映像および音声情報と制御情報との交換が可能な状態とされる。具体的には、端末装置２ａにおいて形成された映像情報ＤＡと、制御情報ＣＡと、音声情報等とが端末装置２ｂに供給されると共に、端末装置２ｂにおいて形成された映像情報ＤＢと、制御情報ＣＢと音声情報等とが端末装置２ａに供給される。地点Ａおよび地点Ｂのいずれの地点の端末装置１ａ，１ｂも同一の構成とされているため、利用者１ａ側の端末装置２ａを例に挙げてその構成と動作について以下に説明する。
【００１３】
図２に示すように端末装置２ａを構成する本体ユニット１１ａの略々中央上側には、ハーフミラー１３が配設され、ハーフミラー１３の下側に表示部１４ａが配設され、ハーフミラー１３の背面にカメラ１６ａと機構部等を有した撮影部１７ａが配設されている。また、撮影部１７ａに対して光軸制御部１５ａが配設されている。さらに、本体ユニット１１ａのハーフミラー１３に近接した上端部には、検出部１２ａが取り付けられている。
【００１４】
表示部１４ａは、例えば、ＣＲＴ等により構成されており、表示部１４ａには、Ｂ地点のカメラ１６ｂにより撮影された映像情報ＤＢが供給される。従って、表示部１４ａにおいて、映像情報ＤＢに基づいて映像信号が形成され、この映像信号により表示画面上にＢ地点において撮影された映像が映し出される。なお、この時、表示部１４ａの表示画面上においては、ハーフミラーを介して利用者１ａが図２中において矢印３１で示されるように映像を見ることを考慮し、例えば、反転されると共に、所定の比率で縦方向に伸長処理された映像が映し出される。また、表示部１４ａとしてＣＲＴ以外の例えば液晶表示板等を用いても良い。
【００１５】
撮影部１７ａは、カメラ１６ａおよび機構部等により構成されおり、機構部には、図２に示すようにＹ軸直線軌道２３と、Ｘ軸直線軌道２４と、駆動モータ等からなる位置決め用のＸＹステージが配設されており、Ｙ軸直線軌道２３上にカメラ１６ａが取り付けられている。カメラ１６ａは、チルト／パン機能を有し、制御信号に応じてチルト角（垂直方向）およびパン角（水平方向）が自在に制御される。従って、撮影部１７ａ全体としては、制御信号により４軸制御が可能とされ、カメラ１６ａの光軸の位置と方向が自在に制御される。
【００１６】
光軸制御部１５ａには、Ｂ地点の検出部１２ｂにおいて形成された制御情報ＣＢが供給され、光軸制御部１５において、制御情報ＣＢに基づいて各部への制御信号が形成され、この制御信号が撮影部１７ａの各部に供給される。このことで、撮影部１７ａのカメラ１６ａの光軸の位置と方向とがＢ地点の利用者１ｂの所望する状態に変位する。この状態でカメラ１６ａにより図２中において矢印３２で示されるように利用者１ａが撮影され、カメラ１６ａの映像信号が伝送処理部を介されることで映像情報ＤＡとされる。この映像情報ＤＡがネットワーク／電話回線３を介して端末装置２ｂの表示部１４ｂに供給される。
【００１７】
本体ユニット１１ａのハーフミラー１３に近接した上端部に取り付けられた検出部１２ａは、カメラ２１および検出器２２により構成されている。図２中において矢印３３で示されるようにカメラ２１により利用者１ａの姿が撮影され、カメラ２１の映像出力が検出器２２に供給される。検出器２２は、所定の処理を行い、利用者１ａの顔の位置と視線方向とを検出し、得られた検出結果に基づいて利用者１ａの見たい方向を推定して地点Ｂ側の端末装置２ｂの撮影部１６ｂを４軸制御するための制御信号を形成する。
【００１８】
検出器２２においてなされる顔の位置の検出処理は、例えば、映像信号から肌色成分の分布を計測し、面積の大きい肌色成分部分を顔と判定する。そして、面積の大きい肌色成分部分の重心を顔の中心位置と判定し、重心の変動を顔の動きとして検出する。なお、端末装置２ａ，２ｂの間における情報交換に先立って、利用者の顔の登録および較正処理が予めなされ、顔の位置の検出が精度良く行われる。
【００１９】
また、検出器２２においてなされる視線方向を検出処理は、例えば、先ず、テンプレートマッチング等により顔の幅や黒目、目頭の位置を検出し、大まかな顔の方向を推定する。そして、眼球の回転角度を計算し、得られた顔の方向と加算することで視線方向を検出する。なお、幅や黒目、目頭の位置以外に眉毛、白目、鼻、口等の位置情報を用いるようにしても良い。
【００２０】
このように検出器２２において利用者１ａの顔の位置と視線方向とが検出され、得られた検出結果に応じた制御信号が検出器２２において形成される。この制御信号が伝送処理部を介されることで制御情報ＣＡとされ、この制御情報ＣＡがネットワーク／電話回線３を介して端末装置２ｂの光軸制御部１５ｂに供給される。
【００２１】
なお、図示されていない端末装置２ａに内蔵された音声処理部は、アンプ、スピーカおよびマイクロホン等により構成されており、音声信号の入出力処理を行う。また、伝送処理部は、ネットワークインターフェース回路、伝送符号／復号器等により構成されており、映像信号および音声信号と制御信号とを伝送媒体等に応じた伝送形態となるように変換し、得られた情報を伝送路上に送出すると共に、その逆に供給される先方からの所定の伝送形態の情報から元の情報を復元し、各部に供給する。
【００２２】
上述した端末装置１ａと同様に他方の端末装置１ｂ側が構成される。従って、システム全体の動作としては、端末装置２ａの検出部１２ａにおいて利用者１ａの顔の位置および視線方向が検出され、この検出結果に応じて形成された制御情報ＣＡが端末装置２ｂの光軸制御部１５ｂに供給されると共に、端末装置２ｂの検出部１２ｂにおいて利用者１ｂの顔の位置および視線方向が検出され、この検出結果に応じて形成された制御情報ＣＢが端末装置２ａの光軸制御部１５ａに供給される。
【００２３】
端末装置２ａの光軸制御部１５ａにおいて制御情報ＣＢに応じた制御信号が形成され、この制御信号により撮影部１７ａが制御されてカメラ１６ａの光軸が所定位置に変位されると共に、所定方向に向けられる。一方、端末装置２ｂの光軸制御部１５ｂにおいて制御情報ＣＡに応じた制御信号が形成され、この制御信号により撮影部１７ｂが制御されてカメラ１６ｂの光軸が所定位置に変位されると共に、所定方向に向けられる。
【００２４】
端末装置２ａの撮影部１７ａのカメラ１６ａにより撮影された映像情報ＤＡが端末装置２ｂの表示部１４ｂに供給されると共に、端末装置２ｂの撮影部１７ｂのカメラ１６ｂにより撮影された映像情報ＤＢが端末装置２ａの表示部１４ａに供給される。このため、表示部１４ａには、利用者１ａの顔の位置および視線方向に応じ、Ｂ地点において撮影された利用者１ｂの映像が映し出される。一方、表示部１４ｂには、利用者１ｂの顔の位置および視線方向に応じ、Ａ地点において撮影された利用者１ａの映像が映し出される。従って、利用者１ａ，１ｂは、互いに先方の利用者を所望の位置と方向から見ているような映像をハーフミラー１３を介して目の前にすることができ、あたかも窓を介して会話しているような臨場感でコミニュケーションを図ることができる。
【００２５】
上述した利用者の顔の位置および視線方向に応じたカメラの制御動作について図３および図４を用いてさらに詳細に説明する。図３は、端末装置２ａ側からのの相手側のカメラの制御動作の処理手順を示し、各ステップには、Ｓ１〜Ｓ６の参照符号が付されている。
【００２６】
先ず、ステップＳ１において、Ｂ地点の端末装置２ｂのカメラ１６ｂを正面に向ける処理がなされる。つまり、撮影部１７ｂの制御状態が初期化され、カメラ１６ｂの光軸の位置および方向が原点位置に戻される。
【００２７】
そして、ステップＳ２において、Ａ地点の利用者１ａの顔の位置の検出がなされる。例えば、映像信号から肌色成分の分布を計測し、面積の大きい肌色成分部分を顔と判定する。そして、面積の大きい肌色成分部分の重心を顔の中心位置と判定し、重心の変動を顔の動きとして検出する。
【００２８】
次に、ステップＳ３において、Ａ地点の利用者１ａの顔の位置の検出が終了したかどうかの判定がなされる。検出結果がカメラの移動範囲を越えた場合や、処理が不可能だった場合には、ステップＳ２に戻り、引き続いてＡ地点の利用者１ａの顔の位置の検出がなされる。また、Ａ地点の利用者１ａの顔の位置の検出が終了したと判定される場合には、ステップＳ４に移行する。
【００２９】
Ａ地点の利用者１ａの顔の位置の検出が終了すると、ステップＳ４において、Ａ地点の利用者１ａの視線方向の検出がなされる。例えば、先ず、テンプレートマッチング等により顔の幅や黒目、目頭の位置を検出し、大まかな顔の方向を推定する。そして、眼球の回転角度を計算し、得られた顔の方向と加算することで視線方向を検出する。なお、テンプレートマッチングにおいては、画像中でマッチングをとる領域をＩ_Tとし、テンプレートをＴとし、分散をσで表し、平均を＜＞で表すとすると、下記(1) 式によって計算される相関値Ｃを最大にするような領域を求めることでなされる。
【００３０】
Ｃ＝（＜Ｉ_TＴ＞−＜Ｉ_T＞＜Ｔ＞）／σ（Ｉ_T）σ（Ｔ）・・・(1)
次に、ステップＳ５において、Ａ地点の利用者１ａの視線方向の検出が終了したかどうかの判定がなされる。検出結果がカメラの移動範囲を越えた場合や、処理が不可能だった場合には、ステップＳ４に戻り、引き続いてＡ地点の利用者１ａの視線方向の検出がなされる。また、Ａ地点の利用者１ａの視線方向の検出が終了したと判定される場合には、ステップＳ６に移行する。
【００３１】
Ａ地点の利用者１ａの視線方向の検出が終了すると、ステップＳ６において、Ａ地点の利用者１ａの顔の位置と視線方向の検出結果に基づいてＢ地点のカメラ１６Ｂの光軸の位置および方向が決定され、制御信号が形成される。つまり、ステップＳ２において検出されたＡ地点の利用者１ａの顔の位置の結果に応じて端末装置２ｂの撮影部１７ｂのＸＹステージが制御され、カメラ１６ｂの光軸が所定位置に変位する。また、ステップＳ２において検出されたＡ地点の利用者１ａの視線方向の結果に応じて端末装置２ｂの撮影部１７ｂのカメラ１６ｂのチルト角およびパン角が制御され、カメラ１６ｂの光軸が所定角度に変位する。
【００３２】
具体的には、例えば、地点Ａの利用者１ａが下から見上げるような恰好をしたとすると、検出器２２において利用者１ａの顔の位置と視線方向とが検出され、得られた検出結果に応じた制御信号が検出器２２において形成される。この制御信号が伝送処理部を介されることで制御情報ＣＡとされ、この制御情報ＣＡがネットワーク／電話回線３を介して端末装置２ｂの光軸制御部１５ｂに供給される。従って、地点Ｂの撮影部１７Ｂのカメラ１６ｂは、Ａ地点の利用者１ａの顔の位置の結果に応じて端末装置２ｂの撮影部１７ｂのＸＹステージが制御されることにより、図４においてDropで示される分だけ降下し、１６ｘで示される位置に変位する。また、カメラ１６ｂの光軸は、Ａ地点の利用者１ａの視線方向の結果に応じてチルト角およびパン角が制御され、図２においてθにて示される分だけチルトアップする。
【００３３】
このように端末装置２ｂ側の撮影部１７ｂのカメラ１６ｂを制御することで利用者１ａは、利用者１ｂを所望の位置と方向から見ているような映像をハーフミラー１３を介して目の前にすることができ、この状態で以て端末装置２ａ側の一連の処理が完了する。また、この時、端末装置２ｂ側においても同様の処理がなされ、利用者１ｂは、利用者１ａを所望の位置と方向から見ているような映像をハーフミラー１３を介して目の前にすることができ、この状態で以て端末装置２ｂ側の一連の処理が完了する。
【００３４】
なお、上述した一実施形態の説明においては、検出器２２において利用者の顔の位置と視線方向とを検出する場合について説明したが、利用者から端末装置までのそれぞれ距離が略々一定でお互いの顔が主に端末装置側に向いている場合には、検出器２２において顔の位置の検出のみを行うようにしても良い。この場合においては、カメラの制御動作の処理手順は、図３において破線の矢印ＪＰ１で示されるようにステップＳ４およびステップＳ５を飛ばしてステップＳＳ３からステップＳ６に移行して処理がなされる。
【００３５】
また、検出器２２において顔の位置の検出のみを行う場合には、顔の位置の検出結果に基づいて検出結果に応じたカメラを変位させる量をａとし、利用者から端末装置までの距離ｂとして、下記(2) 式の演算によりカメラの光軸の方向を決定し、その数値と顔の位置に応じて制御信号を形成するようにしても良い。
【００３６】
tan θ＝ａ／ｂ・・・(2)
例えば、上述した光軸の方向を決定する数値の算出を前述した地点Ａの利用者１ａが下から見上げるような恰好をした図４の場合に当てはめてみると、（tan θ＝ａ／ｂ＝Drop／Distance）となる。このように利用者から端末装置までのそれぞれ距離が略々一定でお互いの顔が主に端末装置側に向いている場合には、視線の方向を検出せずとも、良好に制御することが可能となる。
【００３７】
さらに、設定手段を設けて、検出器２２において利用者の顔の位置と視線方向とを検出する場合と、検出器２２において顔の位置の検出のみを行う場合とを選択的に行うようにしても良い。
【００３８】
また、上述した一実施形態の説明においては、検出部１２ａ，１２ｂを本体ユニット１１ａ，１１ｂの上端部に設ける場合について説明したが、本体ユニット１１ａ，１１ｂのハーフミラー１３の背面側に検出部１２ａ，１２ｂを固定して設けるようにしても良い。
【００３９】
【発明の効果】
従って、この発明に依れば、利用者の視線と顔の位置に応じて相手側の撮影装置を制御し、表示画面の映像と視線を一致させることで臨場感を高めることができると共に、円滑にコミュニケーションを図ることができる。また、この発明に依れば、１組毎に独立して使用可能な構成とされているため、各地において任意独立に通信先を拡張することができ、全体として柔軟性の高いシステムを構築することが可能となる。さらに、この発明の一実施形態の場合には、ハーフミラーとＣＲＴを用いる構成とされているため、特に設置面積、画質、明るさの点で有利な端末装置を提供することができる。よりさらに、この発明では、顔の位置と視線方向の両者を検出する一の検出方法と、顔の位置のみを検出し、視線方向を顔の位置とカメラとの距離に基づいて推定する他の検出方法との一方を選択的に設定可能としているので、実際の状況に適した検出方法を設定することができる。
【図面の簡単な説明】
【図１】この発明による双方向通信システムの構成を示すブロック図である。
【図２】この発明による表示端末装置の主要な部分の構成を示すブロック図である。
【図３】この発明の一実施形態の動作説明に用いるフローチャートである。
【図４】この発明の一実施形態の動作説明に用いる略線図である。
【符号の説明】
１ａ，１ｂ・・・利用者、２ａ，２ｂ・・・端末装置、３・・・ネットワーク／電話回線、１１ａ，１１ｂ・・・本体ユニット、１２ａ，１２ｂ・・・検出部、１３・・・ハーフミラー、１４ａ，１４ｂ・・・表示部、１５ａ、１５ｂ・・・光軸制御部、１６ａ，１６ｂ・・・カメラ、１７ａ，１７ｂ・・・撮影部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a bidirectional communication system, a terminal device, and a control method suitable for use in, for example, a remote video conference between a plurality of different points.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, various devices that can communicate with each other remotely using a video display device, a photographing device, and communication means have been proposed. When such a device is actually used, a separate photographing device is installed on or adjacent to the video display device, or the video display device and the photographing device are integrated to form an edge of the video display device. A device with a built-in photographing device is used. For example, assuming that a person a is located at a point A and a person b is located at a point B, and communication between the points A and B is described. The video by the photographing device at the point B is projected on the screen of the video display device at the point B, and the video by the photographing device at the point B is projected on the screen of the video display device at the point A. By projecting the images of the other party in this way, a visual situation is formed as if two distant parties a and b are in front of each other, and communication is achieved.
[0003]
[Problems to be solved by the invention]
However, in the above-described apparatus, communication may become unnatural because the optical axis of the photographing apparatus is not aligned with the line of sight of the display screen. For this reason, it may be possible to facilitate communication by enhancing the sense of reality using a display screen that is sufficiently large. However, the larger the display screen, the more difficult the line of sight is. . In order to solve these problems, it is conceivable to use a half mirror to match the optical axis of the photographing device with the display screen, but it is difficult to make the display screen large due to the structure, and the cost and installation are also low. There is a problem that the area becomes large. As another method, an apparatus configured to shoot from the back side of the display screen using a screen such as a net and a projector has been proposed, but the projected image becomes dark, so a bright room However, it has a drawback that it is difficult to use.
[0004]
Therefore, an object of the present invention is to control the other-side photographing device according to the user's line of sight and the position of the face, and to make the display screen and the line of sight coincide with each other, so that the presence can be enhanced and the communication can be smoothly performed. An object is to provide a bidirectional communication system, a terminal device, and a control method that can be achieved.
[0005]
[Means for Solving the Problems]
In order to achieve the above problems, the invention of claim 1 is characterized in that video and audio information is transmitted between a first terminal device and a second terminal device which are located at different one point and the other point through communication. In a bidirectional communication system in which exchanges are made,
One detection method for detecting the position and line-of-sight direction of the user's face at one point, the position of the user's face , and the distance between the detected face position and the camera and the user at one point First detection means for outputting control information for controlling the optical axis of the camera at the other point according to the face position and the line-of-sight direction obtained by one of the other detection methods for estimating the line-of-sight direction according to The first setting means for selecting one of the one detection method and the other detection method and the optical axis of the camera at one point are controlled in accordance with the control information sent from the second terminal device. first control means, a first terminal apparatus that includes a first display means for projecting an image by the other point of the camera,
One detection method for detecting the position and line-of-sight direction of the user's face at the other point, the position of the user's face , and the distance between the detected face position and the camera and the user at the other point Second detection means for outputting control information for controlling the optical axis of the camera at one point according to the face position and the line-of-sight direction obtained by one of the other detection methods for estimating the line-of-sight direction according to The second setting means for selecting one of the one detection method and the other detection method, and the optical axis of the camera at the other point according to the control information sent from the first terminal device and second control means, a bidirectional communication system, characterized in that the camera of the one point is constituted by a second terminal device and a second display means for displaying an image.
[0006]
The invention of claim 2 is a terminal located at one point in a bidirectional communication system in which video and audio information is exchanged between a plurality of terminal devices located at one different point and the other point via communication. In the device
One detection method for detecting the position and line-of-sight direction of the user's face at one point, the position of the user's face , and the distance between the detected face position and the camera and the user at one point Detecting means for outputting control information for controlling the optical axis of the camera at the other point according to the face position and the line-of-sight direction obtained by one of the other detection methods for estimating the line-of-sight direction according to
Setting means for selecting one of the one detection method and the other detection method;
In accordance with control information sent from the terminal device at the other point, control means for controlling the optical axis of the camera at one point;
A terminal device comprising display means for displaying an image from a camera at the other point.
[0007]
Furthermore, the invention of claim 3 is a control method for exchanging video and audio information between a plurality of terminal devices located at one different point and the other point via communication.
One detection method for detecting the position and line-of-sight direction of the user's face at one point, the position of the user's face , and the distance between the detected face position and the camera and the user at one point A detection step of outputting control information for controlling the optical axis of the camera at the other point according to the face position and the line-of-sight direction obtained by one of the other detection methods for estimating the line-of-sight direction according to
A setting step for selecting one of one detection method and another detection method;
A control step for controlling the optical axis of the camera at one point according to the control information sent from the terminal device at the other point ;
And a display step of displaying an image by the camera at the other point .
[0008]
In the present invention, for example, a terminal device having the same configuration having a detection unit, a display unit, a photographing unit, and an optical axis control unit is provided for each user located at the point A and the point B. The position and line-of-sight direction of the user's face is detected by the detection unit of the terminal device at the point A, and control information formed according to the detection result is supplied to the optical axis control unit of the terminal device at the point B as the destination. Is done. A control signal corresponding to the control information is formed in the optical axis control unit, and the photographing unit is controlled by this control signal, and the optical axis of the camera is displaced to a predetermined position and directed in a predetermined direction. Video information photographed by the camera of the photographing unit at the point B is supplied to the display unit, and the video of the user at the point B photographed according to the position and line-of-sight direction of the user's face at the point A is displayed on the display unit. Is projected. A similar operation is also performed at the terminal device at the point B. With this, in front of each of the users, a situation in which the other users are seen from the desired position and direction with respect to the half mirror is displayed. Formed through.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 shows a configuration of a bidirectional communication system according to the present invention, and FIG. 2 shows a configuration of main parts of a terminal device according to the present invention. In FIG. 1 and FIG. 2, the same reference numerals are assigned to corresponding portions.
[0010]
As shown in FIG. 1, it is assumed that video and audio information is exchanged bidirectionally between users indicated by 1a and 1b located at two different points A and B. In this case, terminal devices 2a and 2b having the same configuration are installed for users 1a and 1b, respectively. In addition, when there are users at other points, or when there are multiple users at the same location, a terminal device is installed for each combination of all users, and one user is placed in front of the terminal device. Used so that only the user is located.
[0011]
The terminal device 2a includes a main unit 11a, a detection unit 12a, a voice processing unit and a transmission processing unit (not shown), and the main unit 11a includes a display unit 14a, an optical axis control unit 15a, and a camera 16a. A photographing unit 17a having the above is provided. The terminal device 2b includes a main unit 11b, a detection unit 12b, a voice processing unit and a transmission processing unit (not shown), and the main unit 11b includes a display unit 14b, an optical axis control unit 15b, and An imaging unit 17b having a camera 16b is provided.
[0012]
Each of the terminal devices 2a and 2b is connected to the network / telephone line 3 so that video and audio information and control information can be exchanged with each other via the network / telephone line 3 at the points A and B. Specifically, video information DA formed in the terminal device 2a, control information CA, audio information and the like are supplied to the terminal device 2b, and a video information DB formed in the terminal device 2b, and control information The CB and voice information are supplied to the terminal device 2a. Since the terminal devices 1a and 1b at any of the points A and B have the same configuration, the configuration and operation will be described below by taking the terminal device 2a on the user 1a side as an example.
[0013]
As shown in FIG. 2, the half mirror 13 is disposed approximately at the center upper side of the main body unit 11 a constituting the terminal device 2 a, and the display unit 14 a is disposed below the half mirror 13. An imaging unit 17a having a camera 16a and a mechanism unit is disposed on the back side. Further, an optical axis control unit 15a is provided for the photographing unit 17a. Furthermore, the detection part 12a is attached to the upper end part close | similar to the half mirror 13 of the main body unit 11a.
[0014]
The display unit 14a is configured by a CRT, for example, and the display unit 14a is supplied with the video information DB taken by the camera 16b at the point B. Accordingly, a video signal is formed on the display unit 14a based on the video information DB, and the video imaged at the point B is displayed on the display screen by this video signal. At this time, on the display screen of the display unit 14a, considering that the user 1a views the video as shown by the arrow 31 in FIG. An image expanded in the vertical direction at a predetermined ratio is displayed. Further, for example, a liquid crystal display panel other than the CRT may be used as the display unit 14a.
[0015]
The imaging unit 17a includes a camera 16a, a mechanism unit, and the like. The mechanism unit includes an X-axis linear track 23, an X-axis linear track 24, a positioning motor XY, and the like as shown in FIG. A stage is provided, and a camera 16 a is mounted on the Y-axis linear track 23. The camera 16a has a tilt / pan function, and a tilt angle (vertical direction) and a pan angle (horizontal direction) are freely controlled according to a control signal. Accordingly, the entire photographing unit 17a can be controlled by four axes by the control signal, and the position and direction of the optical axis of the camera 16a can be freely controlled.
[0016]
The optical axis control unit 15a is supplied with the control information CB formed in the point B detection unit 12b, and the optical axis control unit 15 forms a control signal to each unit based on the control information CB. Is supplied to each part of the photographing unit 17a. As a result, the position and direction of the optical axis of the camera 16a of the photographing unit 17a are displaced to a state desired by the user 1b at the point B. In this state, the user 1a is photographed by the camera 16a as indicated by an arrow 32 in FIG. 2, and the video signal of the camera 16a is converted into video information DA through the transmission processing unit. This video information DA is supplied to the display unit 14b of the terminal device 2b via the network / telephone line 3.
[0017]
The detection unit 12 a attached to the upper end portion of the main unit 11 a close to the half mirror 13 includes a camera 21 and a detector 22. As shown by an arrow 33 in FIG. 2, the user 21 a is photographed by the camera 21, and the video output of the camera 21 is supplied to the detector 22. The detector 22 performs predetermined processing, detects the face position and line-of-sight direction of the user 1a, estimates the direction the user 1a wants to see based on the obtained detection result, and is a terminal on the point B side A control signal for controlling the imaging unit 16b of the apparatus 2b in four axes is formed.
[0018]
In the face position detection processing performed by the detector 22, for example, a skin color component distribution is measured from a video signal, and a skin color component portion having a large area is determined as a face. Then, the center of gravity of the skin color component part having a large area is determined as the center position of the face, and the change in the center of gravity is detected as the movement of the face. Prior to the information exchange between the terminal devices 2a and 2b, the user's face is registered and calibrated in advance, and the face position is accurately detected.
[0019]
In addition, the line-of-sight direction detection process performed by the detector 22 first detects the face width, the position of the black eye, and the eye head by template matching or the like, and estimates the rough face direction. Then, the rotational angle of the eyeball is calculated and added to the obtained face direction to detect the line-of-sight direction. In addition to the position of the width, the black eye, and the position of the eyes, position information such as eyebrows, white eyes, nose, and mouth may be used.
[0020]
As described above, the detector 22 detects the face position and the line-of-sight direction of the user 1 a, and a control signal corresponding to the obtained detection result is formed in the detector 22. The control signal is converted into control information CA through the transmission processing unit, and the control information CA is supplied to the optical axis control unit 15b of the terminal device 2b through the network / telephone line 3.
[0021]
Note that a voice processing unit built in the terminal device 2a (not shown) includes an amplifier, a speaker, a microphone, and the like, and performs voice signal input / output processing. The transmission processing unit includes a network interface circuit, a transmission code / decoder, and the like, and is obtained by converting a video signal, an audio signal, and a control signal so as to have a transmission form according to a transmission medium. The original information is sent out on the transmission line, and on the contrary, the original information is restored from the information of the predetermined transmission form supplied from the other side and supplied to each unit.
[0022]
Similar to the terminal device 1a described above, the other terminal device 1b side is configured. Therefore, as an operation of the entire system, the position and line-of-sight direction of the user 1a is detected by the detection unit 12a of the terminal device 2a, and the control information CA formed according to the detection result is the optical axis of the terminal device 2b. While being supplied to the control unit 15b, the detection unit 12b of the terminal device 2b detects the face position and the line-of-sight direction of the user 1b, and the control information CB formed according to the detection result is the optical axis of the terminal device 2a. It is supplied to the controller 15a.
[0023]
A control signal corresponding to the control information CB is formed in the optical axis control unit 15a of the terminal device 2a, and the photographing unit 17a is controlled by this control signal, and the optical axis of the camera 16a is displaced to a predetermined position, and in a predetermined direction. Directed. On the other hand, a control signal corresponding to the control information CA is formed in the optical axis control unit 15b of the terminal device 2b, and the imaging unit 17b is controlled by this control signal, and the optical axis of the camera 16b is displaced to a predetermined position. Directed in the direction.
[0024]
The video information DA captured by the camera 16a of the imaging unit 17a of the terminal device 2a is supplied to the display unit 14b of the terminal device 2b, and the video information DB captured by the camera 16b of the imaging unit 17b of the terminal device 2b is the terminal. It is supplied to the display unit 14a of the device 2a. For this reason, the video of the user 1b photographed at the point B is displayed on the display unit 14a according to the position of the face of the user 1a and the line-of-sight direction. On the other hand, the video of the user 1a photographed at the point A is displayed on the display unit 14b in accordance with the face position and line-of-sight direction of the user 1b. Therefore, the users 1a and 1b can view images of the other users from the desired position and direction in front of each other through the half mirror 13, as if they were talking through the window. Communication can be achieved with a sense of presence.
[0025]
The above-described camera control operation according to the user's face position and line-of-sight direction will be described in more detail with reference to FIGS. FIG. 3 shows a processing procedure of the control operation of the counterpart camera from the terminal device 2a side, and reference numerals S1 to S6 are given to the steps.
[0026]
First, in step S1, a process of directing the camera 16b of the terminal device 2b at the point B to the front is performed. That is, the control state of the photographing unit 17b is initialized, and the position and direction of the optical axis of the camera 16b are returned to the origin position.
[0027]
In step S2, the position of the face of the user 1a at the point A is detected. For example, the skin color component distribution is measured from the video signal, and the skin color component portion having a large area is determined as the face. Then, the center of gravity of the skin color component part having a large area is determined as the center position of the face, and the change in the center of gravity is detected as the movement of the face.
[0028]
Next, in step S3, it is determined whether or not the detection of the position of the face of the user 1a at the point A has been completed. If the detection result exceeds the moving range of the camera or if the process is impossible, the process returns to step S2, and subsequently the position of the face of the user 1a at the point A is detected. If it is determined that the detection of the position of the face of the user 1a at the point A has been completed, the process proceeds to step S4.
[0029]
When the detection of the position of the face of the user 1a at the point A is completed, the line-of-sight direction of the user 1a at the point A is detected in step S4. For example, first, the face width, the black eye, and the position of the eyes are detected by template matching or the like, and a rough face direction is estimated. Then, the rotational angle of the eyeball is calculated and added to the obtained face direction to detect the line-of-sight direction. In template matching, if the region to be matched in the image is I _T , the template is T, the variance is represented by σ, and the average is represented by <>, the correlation value calculated by the following equation (1) This is done by finding a region that maximizes C.
[0030]
C = (<I _T T> − <I _T ><T>) / σ (I _T ) σ (T) (1)
Next, in step S5, it is determined whether or not the detection of the line-of-sight direction of the user 1a at the point A is completed. If the detection result exceeds the moving range of the camera or if the processing is impossible, the process returns to step S4, and the line-of-sight direction of the user 1a at the point A is subsequently detected. On the other hand, if it is determined that the detection of the line-of-sight direction of the user 1a at the point A is completed, the process proceeds to step S6.
[0031]
When the detection of the line-of-sight direction of the user 1a at the point A is completed, in step S6, the position and direction of the optical axis of the camera 16B at the point B based on the position of the user 1a at the point A and the detection result of the line-of-sight direction. Is determined and a control signal is formed. That is, the XY stage of the photographing unit 17b of the terminal device 2b is controlled according to the result of the face position of the user 1a at the point A detected in step S2, and the optical axis of the camera 16b is displaced to a predetermined position. Further, the tilt angle and pan angle of the camera 16b of the photographing unit 17b of the terminal device 2b are controlled according to the result of the line-of-sight direction of the user 1a at the point A detected in step S2, and the optical axis of the camera 16b is a predetermined angle. It is displaced to.
[0032]
Specifically, for example, if the user 1a at the point A looks up from below, the detector 22 detects the face position and the line-of-sight direction of the user 1a. A corresponding control signal is formed at the detector 22. The control signal is converted into control information CA through the transmission processing unit, and the control information CA is supplied to the optical axis control unit 15b of the terminal device 2b through the network / telephone line 3. Therefore, the camera 16b of the photographing unit 17B at the point B is controlled by Drop in FIG. 4 by controlling the XY stage of the photographing unit 17b of the terminal device 2b according to the result of the face position of the user 1a at the point A. It is lowered by the amount shown and displaced to the position indicated by 16x. Further, the tilt angle and pan angle of the optical axis of the camera 16b are controlled according to the result of the direction of the line of sight of the user 1a at the point A, and the tilt is increased by the amount indicated by θ in FIG.
[0033]
In this way, by controlling the camera 16b of the photographing unit 17b on the terminal device 2b side, the user 1a can view an image that the user 1b is seen from a desired position and direction through the half mirror 13 in front of him. In this state, a series of processing on the terminal device 2a side is completed. At this time, the same processing is also performed on the terminal device 2b side, and the user 1b looks through the half mirror 13 in front of the user 1a as if viewing the user 1a from a desired position and direction. In this state, a series of processing on the terminal device 2b side is completed.
[0034]
In the description of the above-described embodiment, the case where the detector 22 detects the position of the user's face and the line-of-sight direction has been described. If the face is mainly facing the terminal device, the detector 22 may detect only the face position. In this case, the processing procedure of the camera control operation is skipped from step S4 and step S5 as shown by the dashed arrow JP1 in FIG. 3, and the process proceeds from step SS3 to step S6.
[0035]
When the detector 22 only detects the face position, the amount of displacement of the camera according to the detection result based on the detection result of the face is a, and the distance b from the user to the terminal device is b. As an alternative, the direction of the optical axis of the camera may be determined by the calculation of the following equation (2), and a control signal may be formed according to the numerical value and the face position.
[0036]
tan θ = a / b (2)
For example, when the calculation of the numerical value for determining the direction of the optical axis is applied to the case of FIG. 4 where the user 1a at the point A mentioned above looks up from below, (tan θ = a / b = Drop / Distance). In this way, when the distance from the user to the terminal device is substantially constant and each other's faces are mainly facing the terminal device side, it is possible to control well without detecting the direction of the line of sight It becomes.
[0037]
Further, a setting unit is provided so that the detector 22 can selectively detect the face position and the line-of-sight direction of the user and the detector 22 can only detect the face position. Also good.
[0038]
In the description of the above-described embodiment, the case where the detection units 12a and 12b are provided at the upper ends of the main body units 11a and 11b has been described. However, the detection unit 12a is provided on the back side of the half mirror 13 of the main body units 11a and 11b. , 12b may be fixedly provided.
[0039]
【The invention's effect】
Therefore, according to the present invention, it is possible to enhance the sense of reality by controlling the photographing device on the other side according to the user's line of sight and the position of the face and matching the line of sight with the video on the display screen. Can communicate with each other. In addition, according to the present invention, since it is configured so that it can be used independently for each set, the communication destination can be arbitrarily expanded in various places, and a highly flexible system as a whole is constructed. It becomes possible. Furthermore, in the case of one embodiment of the present invention, a configuration using a half mirror and a CRT can provide a terminal device that is particularly advantageous in terms of installation area, image quality, and brightness. Furthermore, in the present invention, there is one detection method for detecting both the face position and the line-of-sight direction, and only the face position is detected, and the line-of-sight direction is estimated based on the distance between the face position and the camera. Since one of the detection methods can be selectively set, a detection method suitable for the actual situation can be set.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a bidirectional communication system according to the present invention.
FIG. 2 is a block diagram showing a configuration of main parts of a display terminal device according to the present invention.
FIG. 3 is a flowchart used for explaining the operation of the embodiment of the present invention.
FIG. 4 is a schematic diagram used for explaining the operation of the embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1a, 1b ... User, 2a, 2b ... Terminal device, 3 ... Network / telephone line, 11a, 11b ... Main unit, 12a, 12b ... Detection part, 13 ... Half Mirror, 14a, 14b ... display unit, 15a, 15b ... optical axis control unit, 16a, 16b ... camera, 17a, 17b ... imaging unit

Claims

In a bidirectional communication system in which video and audio information is exchanged between a first terminal device and a second terminal device located at different one point and the other point via communication,
One detection method for detecting the position and line-of-sight direction of the user's face at one point, and detecting the position of the user's face, the detected face position and the camera, and the user at the one point The control information for controlling the optical axis of the camera at the other point is output according to the face position and the line-of-sight direction obtained by one of the other detection methods for estimating the line-of-sight direction according to the first distance. In accordance with control information sent from the detection means, the first setting method for selecting one of the one detection method and the other detection method, and the control information sent from the second terminal device , A first terminal device comprising: a first control means for controlling the optical axis of the camera; and a first display means for projecting an image from the camera at the other point;
One detection method for detecting the position and line-of-sight direction of the user's face at the other point, detecting the position of the user's face, the detected face position and camera, and the user at the other point The control information for controlling the optical axis of the camera at the one point is output according to the face position and the line-of-sight direction obtained by one of the other detection methods for estimating the line-of-sight direction according to the distance of the second. a detecting unit, a second setting means for selecting one of the detection methods and the other methods of detection of the one, in accordance with the control information sent from the first terminal device, the other point bidirectional characterized and second control means for controlling the optical axis of the camera, to be constituted by a second terminal device and a second display means for displaying an image by the camera in one point the Communications system.

In a terminal device located at one point in a two-way communication system in which video and audio information is exchanged between a plurality of terminal devices located at one different point and the other point via communication,
One detection method for detecting the position and line-of-sight direction of the user's face at one point, and detecting the position of the user's face, the detected face position and the camera, and the user at the one point depending of the location and direction of the line of sight of the face obtained by one of the other detection method to estimate the gaze direction according to the distance, and detection means for outputting control information for controlling the optical axis of the other point of the camera ,
Setting means for selecting one of the one detection method and the other detection method;
In accordance with control information sent from the terminal device at the other point, control means for controlling the optical axis of the camera at the one point;
A terminal device comprising: display means for displaying an image from the camera at the other point.

In a control method for exchanging video and audio information between a plurality of terminal devices located at different one point and the other point via communication,
One detection method for detecting the position and line-of-sight direction of the user's face at one point, and detecting the position of the user's face, the detected face position and the camera, and the user at the one point A detection step of outputting control information for controlling the optical axis of the camera at the other point according to the face position and the line-of-sight direction obtained by one of the other detection methods for estimating the line-of-sight direction according to the distance ; ,
A setting step for selecting one of the one detection method and the other detection method;
A control step for controlling the optical axis of the camera at the one point according to the control information sent from the terminal device at the other point ;
Control method characterized by having a display step for projecting an image by the other point of the camera.