JP4329300B2

JP4329300B2 - マルチウィンドウ表示方法

Info

Publication number: JP4329300B2
Application number: JP2002086441A
Authority: JP
Inventors: 俊昭柿井
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2002-03-26
Filing date: 2002-03-26
Publication date: 2009-09-09
Anticipated expiration: 2022-03-26
Also published as: JP2003284017A

Description

【０００１】
【発明の属する技術分野】
この発明は、所定の伝送手段を介して接続された端末装置間で遠隔地対話を実現する双方向対話型システム、該双方向対話型システムに適用可能な端末装置等に関するものである。
【０００２】
【従来の技術】
近年、英会話や補習などの伝送手段を介した遠隔地間で、教師と１又はそれ以上の生徒との遠隔学習の形態が構築されている。このような遠隔学習では、教師及び生徒は相手側対話者の映像を見ながら学習を進行させるため、例えば、特許第３０７４６７７号に開示された、伝送手段を介して行われる遠隔学習に適した双方向対話型システムが知られている。
【０００３】
一方、上述のような遠隔学習においては、教師は生徒に対して課題の提示や採点、評価といった付加情報を提供する必要があり、例えば、特許第２９７０６６１号に開示されたように、対話者の映像だけでなく種々の関連情報の提示できる表示方法も提案されている。
【０００４】
【発明が解決しようとする課題】
発明者は、上述の従来技術を詳細に検討した結果、以下のような課題を発見した。すなわち、撮像部により取り込まれた対話者の映像を相互に送信し合うことにより実現される遠隔地学習において、対話者自身を撮像しているＣＣＤカメラ等の撮像部のみから取り込まれた映像を対話に利用するのでは、十分に効果のある学習が実現できない場合があった。例えば編み物を教える場合などである。通常、このような遠隔地対話では、対話者（指導者）が手元にある資料の提示や編み物の実演などを相手側対話者（生徒）に見せる方がより学習効率が向上するケースは、経験的にも多数存在する。ところが、該対話者自身を撮像しているＣＣＤカメラ等の撮像部のみで異なる対象物の映像を相手側対話者に提示使用とすると、１つの撮像部で異なる映像を取り込むよう対話者自身が撮像対象の移動等を行わなければならず、対話者双方が遠隔地対話に集中できない対話環境となってしまうケースが考えられる。このように、対話者自身を撮像する撮像部のみが設けられた従来の双方向対話型システムでは、結果として、円滑な遠隔地対話の進行が困難になる場合があるという課題があった。
【０００５】
この発明は上述のような課題を解決するためになされたものであり、所定の伝送手段を介して行われる遠隔地対話において、対話進行を妨げることなく補助映像の利用を可能にするための構造を備えた端末装置、それを含む双方向対話型システム、ヘッドセット、マルチウィンドウ表示方法、該マルチウィンドウ表示方法を実行するコンピュータプログラム、及び該コンピュータプログラムが記録された記録媒体を提供することを目的としている。
【０００６】
【課題を解決するための手段】
この発明に係る双方向対話型システムは、所定の伝送手段を介して遠隔地にそれぞれ配置された端末装置間において、相互に対話者像を送信し合うことにより、間接的に対話を実現する。この双方向対話型システムにおいて、少なくとも一方の端末装置は、表示部と、第１撮像部と、第２撮像部と、映像処理装置とを備える。上記第１撮像部は、表示部の前方に位置する対話者を撮像すべく、該対話者と対向する位置に固定配置される。上記第２撮像部は、表示部の前方に位置する該対話者を除く対象物を撮像すべく、該表示部の前方で移動可能に配置される。上記映像処理装置は、表示部のモニタ画面上に、少なくとも対話者と遠隔地対話中である相手側対話者の像をウィンドウ表示する。
【０００７】
また、この第2撮像部は、表示部前方に位置する対話者の頭部に対して相対位置が固定されるのがよい。このため、当該端末装置は、第２撮像部と、対話者、特に対話者頭部に対して該第２撮像部の相対位置が固定されるよう支持部を備えたヘッドセットを含むのが好ましい。
【０００８】
上記映像処理装置は、種々の表示制御が可能であるが、特に、この発明に係るマルチウィンドウ表示方法を実施する。すなわち、この発明に係るマルチウィンドウ表示方法は、表示部のモニタ画面上に、相手側対話者像のウィンドウとともに、上記第２撮像部により撮像された映像のウィンドウも同時に表示することを特徴としている。この場合、対話者は、敢えて手元を見る必要はないため（大きく視線を相手側対話者像からずらす必要がない）、この手元映像を頻繁に確認したとしても著しく視線一致状態に影響を与えることはない。また、当該マルチウィンドウ表示方法では、上記第２撮像部により撮像された映像の一部を切り出し、この切り出し映像を、表示部におけるモニタ画面上に設定されるウィンドウサイズに一致するよう拡大あるいは縮小することも可能である。
【０００９】
さらに、上述のようなウィンドウ表示方法は、コンピュータ等で実行されるプログラムであってもよく、この場合、当該プログラムは、有線、無線を問わずネットワークを介して配信されてもよく、また、ＣＤ、DVD、フラッシュメモリ等の記録媒体に格納されていてもよい。
【００１０】
【発明の実施の形態】
以下、この発明に係る端末装置、それを含む双方向対話型システム等の各実施形態について、図１〜図７を用いて詳細に説明する。なお、図面の説明において、同一部位には同一符号を付して重複する説明を省略する。
【００１１】
この発明に係る端末装置は、所定の伝送手段を介して接続された端末装置間での遠隔地対話を実現する、例えば特許第３０７４６７７号に記載された双方向対話型システムに適応可能である。
【００１２】
まず、ここでは、当該端末装置が適応可能な、上記双方向対話型システムについて説明する。なお、この双方向対話型システムは、視線一致した状態での遠隔地対話を実現するシステムであるが、当該端末装置は、対話者間で視線一致できない構成であっても相手側対話者像を表示する双方向対話型システムであれば適応可能である。
【００１３】
図１は、遠隔地に居る対話者間の視線一致を可能にする双方向対話型システム全体を示す論理構成図である。このシステムは、Ａ地点（第１地点）にいる対話者３Ａ（第１対話者）とＢ地点（第２地点）にいる対話者３Ｂ（第２対話者）との間で双方向対話を実現するシステムである。特に、このシステムは遠隔地にいる対話者間でも親密な信頼関係を確立し綿密なコミュニケーションを実現するカウンセリング・システムや家庭学習を志向したシステムであるので、少なくとも一方の対話者として、教師、医師、心理学者などのカウンセラを想定している。したがって、このシステムはこれらカウンセラがカウンセリングを行うために必要な情報、及び理想的なカウンセリング環境を提供できるよう種々の機能及び構成を備える。
【００１４】
具体的には、Ａ地点において、（ａ）対話者３Ａ（例えはカウンセラ）が座る椅子４Ａ（高さ調節機構４０Ａを有する）と、（ｂ）対話者３Ａが向かうテーブル２Ａと、（ｃ）伝送手段２７を介して対話者間の視線を一致させるための機構を備えた端末装置２０Ａとが設置され、対話者３Ａはパーティション２２Ａにより隔離されている。また、対話者３Ａには、対話者撮像用のＣＣＤカメラ５Ａとは別に手元を撮像するためのＣＣＤカメラ９１０Ａが取り付けられている。一方、Ｂ地点には、（ａ）対話者３Ｂ（例えばカウンセリングを受けるクライアント）が座る椅子４Ｂと（高さ調節機構４０Ｂを有する）、（ｂ）対話者３Ｂが向かうテーブル２Ｂと、（ｃ）伝送手段２７を介して対話者間の視線を一致させるための機構を備えた端末装置２０Ｂとが設置され、対話者３Ｂはパーティション２２Ｂにより隔離されている。また、対話者３Ｂにも、対話者撮像用のＣＣＤカメラ５Ｂとは別に手元を撮像するためのＣＣＤカメラ９１０Ｂが取り付けられている。ここで、伝送手段２７は、Ａ地点の端末装置２０ＡとＢ地点の端末装置２０Ｂとの間で画像情報及び音声情報の送受信を可能にするため、大容量伝送を可能にする光ファイバ伝送路３１（主伝送路）及び衛星通信伝送路３２（バックアップ用伝送路）等を含む。なお、この伝送手段２７は有線、無線のいずれであってもよい。また、伝送手段は、既に敷設された電話回線網等のネットワークを含み、さらに種々のデータベースを備えた電子掲示板システム（BBS: Bulletin Board System）も含む。
【００１５】
Ａ地点において、上述の椅子４Ａは対話者３Ａの位置を規定するために機能する。この椅子４Ａは端末装置２０Ａの表示部２１Ａとの距離を一定に保つために固定されるのが好ましい。しかし、該椅子４Ａが固定されていない場合であっても、テーブル２Ａを対話者３Ａと表示部２１Ａに設置することによりこの椅子４Ａと表示部２１Ａとの距離を一定に保つことが可能になる（テーブル２Ａの存在が対話者３Ａの心理的な距離の基準となる事実が確認されている）。なお、相手側の対話者３Ｂ（例えば、カウンセリングを受ける者等）がいるＢ地点の端末装置２０Ｂの構成も同様である。
【００１６】
Ａ地点において、端末装置２０Ａは、(1)Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送されてきた画像情報に基づいて対話者３Ｂの映像などを表示する、テーブル２Ａの上に配置された、モニタＴＶ１Ａを備えた表示部２１Ａと、(2)ＣＣＤカメラ５Ａで撮像された対話者３Ａの映像及びＣＣＤカメラ９１０Ａで撮像された手元の映像それぞれを画像情報として取り込み、Ｂ地点の端末装置２０Ｂへ向けて伝送するための撮像ユニット６Ａと、(3)Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送されてきた音声情報に基づいて対話者３Ｂの音声を出力するための音声出力部２３Ａ（スピーカ）と、(4)対話者３Ａの音声を音声情報として集音し、Ｂ地点の端末装置２０Ｂへ向けて伝送するための音声入力部２４Ａ（マイク）を備える。さらに、このシステムはカウンセリング・システムとしてより綿密なコミュニケーションを実現するため、(5)対話者３Ａが文字や図形を入力し、入力された文字や図形を表示部２１Ａに表示するとともに、文字図形情報としてＢ地点の端末装置２０Ｂへ向けて伝送するための文字図形入力部２５Ａ（キーボード、ポインティング・デバイス、タッチパネルなどのインターフェース）と、(6)上記各構成要素と伝送手段２７との間に設けられ、信号処理、伝送制御及び映像データの編集作業等を行う映像処理装置２６Ａとを備える。なお、Ｂ地点の端末装置２０Ｂも、上述したＡ地点の端末装置２０Ａと同様に構成されており、具体的には、表示部２１Ｂ、ＣＣＤカメラ５Ｂと撮像ユニット６Ｂからなる撮像装置６００Ｂ、音声出力部２３Ｂ、音声入力部２４Ｂ、文字図形入力部２５Ｂ、及び映像処理装置２６Ｂを備える。
【００１７】
さらに、Ａ地点及びＢ地点の端末装置２０Ａ、２０Ｂにおいて、撮像装置６００Ａ、６００Ｂ（撮像手段）の構成を説明する。なお、説明の都合上、Ａ地点及びＢ地点の各端末装置２０Ａ、２０Ｂに共通する構成要素について言及する場合には、例えば撮像装置６００のように、各地点を区別する文字Ａ、Ｂを省略して説明する。また、特に説明がされていない場合には、原則としてＡ地点の端末装置２０Ａについて説明しているものとして、共通する構成を有するＢ地点の端末装置２０Ｂについては重複する説明は省略する。
【００１８】
この撮像装置６００は、撮像部である超小型ＣＣＤカメラ５（５Ａ）、該ＣＣＤカメラ５を支持した状態で所定位置に設置するための支持機構１０（図２参照）、及び該ＣＣＤカメラ５を制御するための撮像ユニット６（６Ａ）とを備える。モニタＴＶ１（１Ａ）はテーブル２（２Ａ）の上に載置されており、対話者３（３Ａ）はこのモニタＴＶ１から距離Ｌ（ｍ）離れて置かれた高さ調整機構４０（４０Ａ）を備えた椅子４（４Ａ）に座っている。この距離Ｌ（ＬＡ）は０．５ｍ以上５ｍ以下に設定される。撮影される対話者３及びモニタＴＶ１間には、外径φ２０ｍｍ以下，長さ約１００ｍｍの円筒状の超小型ＣＣＤカメラ５が設けられている。また、このＣＣＤカメラ５はその撮像方向が撮影される対話者３に向けられるよう設置されている。そしてカメラ５で撮像された対話者３の映像は、画像情報として撮像ユニット６から他方の対話者側に伝送される（伝送手段２７を介してＢ地点の端末装置２０Ｂに伝送される）。なお、対話者によっては表示部２１と該対話者間の間隔が弱冠ずれる可能性もある。したがって、このような状況にも対処すべく、ＣＣＤカメラ５は焦点深度の深いものを選択するのが好ましい。
【００１９】
次に、超小型ＣＣＤカメラ５の具体的な設置位置を図２を用いて説明する。
【００２０】
まず、撮像装置６００の撮像ユニット６は伝送されてきた他方の対話者の映像を表示するための表示部２１上に設置される。この撮像ユニット６本体にはカメラ５によって撮影された対話者自身の映像（カメラケーブル５０を介して撮像ユニット６に取り込まれる）の表示と、伝送されてきた他方の対話者３Ｂの映像の表示を切り換えるための、切り換えスイッチ６ａの他、種々の調節用スイッチ６ｂが設けられている。なお、スイッチ２１０はモニタＴＶ１の電源をオン／オフする電源スイッチ等を含む。ＣＣＤカメラ５は、伝送されてきた他方の対話者３Ｂの像９が表示されるモニタ画面８の前方の所定位置に支持機構１０（ロボット・アーム）によって設置される。なお、このモニタ画面８は４インチ程度であれば十分に利用できる。
【００２１】
具体的には、ＣＣＤカメラ５はモニタ画面８から前方ｗ（ｃｍ）の位置であって、該モニタ画面８に表示された対話者像９の頭部９ａ付近に配置される。円筒状ＣＣＤカメラ５の中心軸は、点線で示す対話者像９の目の位置の上方ｈ（ｃｍ）の部位に位置している。
【００２２】
このように超小型のＣＣＤカメラ５は、大型モニタＴＶ１の画面８に表示された対話者像９の目の位置より上の頭部付近に位置しているため、双方向対話に特別な支障は生じない。例えば、ＣＣＤカメラ５が画面８に表示された対話者像９の目の位置（図中、点線で示す位置）の上方ｈ＝約１０（ｃｍ）に設けられ、モニタＴＶ１および対話者３間の距離Ｌが約２．５（ｍ）に設定されているシステム構成の場合、視差角は２．３°で十分検知限界の視差角３°を下回ることが可能である（モニタ画面８とＣＣＤカメラ５の間隔ｗが１０（ｃｍ）程度ある場合でも、視差角の変動には特に影響はない）。つまり、視線一致時に相手の目（モニタ画面８に表示された他方の対話者３Ｂの像の目）がはっきりと見えれば、その頭部辺りに超小型のカメラ５が設けてあっても、モニタＴＶ１の画面８が大型であれば、双方向対話に支障はほとんどないことが確認されている。この画面８の大きさは、実験の結果、横３５ｃｍ，縦２６ｃｍ程度以上の大きさがあれば良好な双方向対話が実現できることも確認されている。なお、相互の対話者が知人同志であれば、画面の大きさは小さくとも心理的な障害も少ない傾向を示す結果も得られており、画面サイズに関しては用途に応じて使いわけるとよい。
【００２３】
さらに、視差角について、図３を用いて説明する。この明細書において、視差角とは、図３に示されたように、モニタ画面８に表示された対話者像９へ向けられた、撮影される対話者３の視線と、ＣＣＤカメラ５へ向けられた、該対話者３の視線とがなす角度θを言う。換言すれば、対話者３の視線に対するＣＣＤカメラ５の設置位置のずれ角を意味している。また、ここでいう視線一致とは、昭和４２年電気四学会連合大会（Ｎｏ．１９９８）で報告されているように、ＣＣＤカメラ５の設置位置による不自然さの許容限界以下を意味している。定量的には、視差角として、左右方向４．５°以下（対話者像９の目の中心Ａに対し、該像９の両こめかみ側），真上方向１２°（像中心Ａに対し、像９の頭部９ｂ側），真下方向８°（像中心Ａに対し、像９の胴体側）以下を視線一致範囲内としている。もちろん、この視差角は小さい方が良く、左右上下方向３°以下が検知限界とされている。したがって、ＣＣＤカメラ５が設置可能な領域は、図４に示された円錐領域である。なお、この円錐領域は、対話者３の目３０とモニタ画面８に表示された対話者像９の中心点Ａ（この実施形態では、対話者像９の両目の中心を該対話者像９の中心点Ａとして定義している）とを結ぶ該対話者３の視線３１に対し、所定距離Ｌ（ｍ）離れた時のモニタ画面８上の視線一致領域９ｂ、及び、該対話者３の目３０の位置とで規定される。なお、モニタ画面８上に表示される対話者像９のサイズが小さい場合には、必ずしも該ＣＣＤカメラ５と対話者像９の頭部が重なっている必要はない。むしろ対話者９の頭部がＣＣＤカメラ５に隠れてしまい見にくくなる。上述のように視線一致の条件は視差角３°の領域内にＣＣＤカメラ５と対話者像９の目が存在することであり、具体的に画面から５０ｃｍ離れた位置で約３ｃｍ程度（図２におけるｈ）である。したがって、この範囲内であればＣＣＤカメラ５と対話者像９の頭部をずらしても視線一致状態は維持される。この対話者像９とＣＣＤカメラ５をずらすには、例えばモニタ画面８上における画像表示位置を調節したり、ＣＣＤカメラ５の支持部を調節してＣＣＤカメラ5自体の位置を変更することにより実現される。
【００２４】
図５は、この発明に係る双方向対話型システムに適用可能な端末装置の構成を説明するための概念図である。なお、以下の説明では、図１に示された端末装置２０Ａ、２０Ｂのいずれにも相当する構成であるため、各構成要素の参照符号は添え字を省略する。
【００２５】
この端末装置は、図５に示されたように、表示部２１と、撮像装置６００（図１における撮像装置６００Ａ、６００Ｂに相当）と、第２撮像部であるＣＣＤカメラ９１０（図１におけるＣＣＤカメラ９１０Ａ、９１０Ｂに相当）と、映像処理装置２６（図１における映像処理装置２６Ａ、２６Ｂに相当）とを備える。表示部２１には、そのモニタ画面８上に少なくとも相手側対話者像が映像処理装置２６によりウィンドウ表示される。撮像装置６００は、対話者３を撮像するための第１撮像部であるＣＣＤカメラ５と、該ＣＣＤカメラ５をモニタ画面８の前方に支持する支持部１０と、該ＣＣＤカメラ５により撮像された映像を取り込むための撮像ユニット６とを備え、モニタ画面８の前方に固定されたＣＣＤカメラ５は、撮像領域Ａ１内に存在する対話者３を撮像する。一方、第２撮像部であるＣＣＤカメラ９１０は、例えばモニタ画面８に対して相対的に移動可能になるよう、対話者３の頭部に装着されたヘッドセット９５０（ヘッドホンでもよい）の支持部に固定される。このＣＣＤカメラ９１０の撮像方向は、例えば該対話者３の手元に向けられ、該ＣＣＤカメラ９１０の撮像領域Ａ２内に存在するブレット９２０等を撮像する。映像処理装置２６は、表示部２１のモニタ画面８上に、少なくとも相手側対話者像のウィンドウ８００Ａを表示する。
【００２６】
従来、ＣＣＤカメラ９１０のような補助カメラが利用される場合、ハンドカメラでは対話者の片方の手が拘束され、撮影と同時に他の作業、操作（文字を書いたり作業を示すなど）に支障が生じていた。これに対し、図５に示されたように、ヘッドセット９５０の支持部にＣＣＤカメラ９１０が装着されることにより、対話者は両手が自由になり、撮影と同時に他の作業、操作が平行してできるようになる。特に、この発明に係るヘッドセット９５０は、ＣＣＤカメラ９１０を対話者頭部に装着させている。これは、該頭部が回転自在であること、さらには該対話者が着席し自然体で作業等をする場合、その動きが非常に少なくなることに着目したためである。このことにより、対話者が自然な着席姿勢状態で手元資料を撮像できるようＣＣＤカメラ９１０の撮像角度が一度調節されれば、その後は頭部の許容できる自然な微調整で該ＣＣＤカメラ９１０の撮像範囲が調節できるので、対話者は相手側対話者との対話とともにハンドフリー作業が容易に行えるようになる。
【００２７】
映像処理装置２６は、この発明に係るマルチウィンドウ表示方法が実施可能である。具体的に、この発明に係るマルチウィンドウ表示方法は、表示部２１のモニタ画面８上に、相手側対話者像のウィンドウ８００Ａとともに、ＣＣＤカメラ１９０により撮像された映像ウィンドウ８８０Ｂも同時に表示させる。この場合、対話者３は、モニタ画面８上にウィンドウ表示された相手側対話者像と手元映像が同時にモニタ画面８上で見ることができるので、視線一致状態を実質的に維持しながら遠隔地対話の進行が可能になる。すなわち、対話者３は、敢えて手元を見る必要がないため（大きく視線を相手側対話者像からずらす必要がない）、この手元映像を頻繁に確認したとしても著しく視線一致状態に影響を与えることはない。さらに、当該マルチウィンドウ表示方法では、ＣＣＤカメラ９１０により撮像された映像の一部を切り出し、この切り出し映像を、表示部２１におけるモニタ画面８上に設定されるウィンドウサイズに一致するよう拡大あるいは縮小などの画像処理が行われてもよい。
【００２８】
例えば、ＣＣＤカメラ９１０により対話者３の手元資料を撮像する場合、該ＣＣＤカメラ９１０は、その撮像方向及び焦点深度が机表面に略一致するようセットされる。これにより、対話者３は、モニタ画面８上の一部領域にウィンドウ表示される手元映像の確認が可能になる。また、ウィンドウ内の映像がずれる場合には対話者自身が手元資料の位置を調節することにより、容易に映像修正が可能である。なお、ヘッドセット９５０に取り付けられるＣＣＤカメラ９１０は、直径１０ｍｍ程度のレンズ径であれば、寸法、重さとも対話に影響することはない。
【００２９】
図６は、この発明に係る端末装置の構成を示すブロック図である。この端末装置は、モニタ等の表示部２１（図１に示された双方向対話型システムにおける表示部２１Ａ、２１Ｂに相当）と、映像処理装置２６（図１に示された双方向対話型システムにおける映像処理装置２６Ａ、２６Ｂに相当）と、外部記録装置７００と、マウス等のポインティングデバイス９００及びタブレット９５０と、撮像装置を備える。なお、この撮像装置は、対話者を撮像するための撮像部（ＣＣＤカメラ）５と該対話者の手元などを撮像するための撮像部（ＣＣＤカメラ９１０）を含む。
【００３０】
また、映像処理装置２６は、上記撮像装置に含まれる撮像ユニット６からの画像情報の取り込みや伝送手段２７を介して相手側対話者像等の画像情報の送受信を行うためのデータ入出力部２６１（図中、Ｉ／Ｏ）と、画像表示動作などを実施するための制御部２６３、送受信される画像情報の他、予め対話者自身が用意した文字データ、映像データ等を格納しておくためのデータベース２６２（図中、Ｄ／Ｂ）、表示部２１へ制御手段２６３の指示に従って所定のパターンを表示させる描画部２６４と、マウス等のポインティングデバイス９００やタブレット９５０からの位置情報等の取り込みや外部記録装置７００とのデータ授受を可能にするデータ入出力部２６５（図中、Ｉ／Ｏ）を備える。なお、外部記録装置７００は、例えば磁気テープ、ＣＤ、光ディスク、ハードディスク、ＤＶＤ、フラッシュメモリ等を含む。
【００３１】
具体的に、伝送手段２７を介してＩ／Ｏ２６１が、相手側対話者の画像データを受信すると、制御部２６３は、該相手側対話者像を表示部のモニタ画面８上にウィンドウ表示する。すなわち、制御部２６３はまず、描画部２６４に対して、表示部２１のモニタ画面８上において予めマウス９００等で指定された位置にウィンドウ表示するよう、受信した該相手側対話者像の表示制御を行う。なお、制御部２６３による表示制御では、相手側対話者像の目よりも上方の頭部と表示部２１のモニタ画面前方に予め設置されているＣＣＤカメラ（撮像部）５とが重なるよう表示位置が調節され、伝送手段２７を介した視線一致状態が確保される。
【００３２】
一方、制御部２６３は、Ｉ／Ｏ２６１を介してＣＣＤカメラ５により撮像された対話者の画像データを伝送手段２７を介して相手側端末装置に送信するとともに、ＣＣＤカメラ９１０（撮像部）により撮像された該対話者の手元の映像データを取り込む。このとき、描画部２６４は、制御部２６３の指示に従って取り込まれた対話者の手元映像をモニタ画面８上の所定位置に、相手側対話者像とともにウィンドウ表示する。
【００３３】
なお、制御部２６３は、種々の表示制御が可能であり、例えば、図７に示されたように、表示部２１のモニタ画面８上に、相手側対話者像のウィンドウ８００Ａ（視線一致可能なようにモニタ画面８上にＣＣＤカメラ５と一部重なった状態で表示される）とともに、ＣＣＤカメラ９１０により撮像された手元映像のウィンドウ８００Ｂも同時に表示させることも可能である。この場合、対話者は、敢えて手元を見る必要はないため（大きく視線を相手側対話者像からずらす必要がない）、この手元映像を頻繁に確認したとしても著しく視線一致状態に影響を与えることはない。
【００３４】
モニタ画面８上のウィンドウ８００Ｂには、静止画像の他、動画が補助情報として表示されてもよい。特に、モニタ画面８上に画像取り込みボタンを表示しておけば、対話者がこのボタンをクリックすることにより、例えばＣＣＤカメラ９１０から取り込まれる映像の一部がディジタル記録され、静止画像としてハンドリングできるようになる。また、ＣＣＤカメラ９１０により対話者の手元に置かれた教科書が撮像される場合、１頁分が記録されるか、あるいは必要な部分をモニタ画面８上のウィンドウ８００Ｂのサイズに一致するよう拡大処理されるのが好ましい。この拡大映像を利用することで、遠隔対話における指導、学習が容易になる。
【００３５】
また、上述のＣＣＤカメラ９１０により撮像された補助情報として、例えば編み物指導など遠隔指導あるいは遠隔学習では、動画像であるのが好ましい。特に、編み物のような作業など、向かい合った状況で見た映像よりも対話者自身の視線で見た映像の方が理解し易いケースも多い（このことは、習字や手仕事などの学習にも言える）。この編み物学習の場合、補助情報をとしての映像を取り込むＣＣＤカメラ９１０は、対話者の手元を撮像するよう予め配置しておくことにより、より詳細な作業情報が相手側対話者に送信できる。勿論、外部記録装置７００やＤ／Ｂ２６２にＣＣＤカメラ９１０の映像データを記録しておくことにより、対話終了後（ＯＦＦ−ＬＩＮＥ状態）における個人学習やスローモーション再生など可能になる。特になれてくるとウィンドウ８００Ａ内の対話者映像と視線一致した状態で説明等が可能になるため、遠隔指導には効果的である。この場合、対話者がモニタ画面８と正対したときにＣＣＤカメラ９１０が該対話者の手元を撮像するよう位置されればよい。特に、ＣＣＤカメラ９１０の撮像方向を対話者の視線と一致させないことにより、手元の動きに違和感なく表示や説明が可能になる。
【００３６】
また、習字学習の場合、一般的には手元を見るので、対話者自身が頭を下げた状態（習字を行っている状態）で該対話者の手元が撮像できるようＣＣＤカメラ９１０の位置調節が行われる。例えば、一度書き出したら完了するまでＣＣＤカメラ９１０の映像を録画しておき、この録画された映像データを再生する課程において、ウィンドウ８００Ａ内の相手側対話者像と視線一致下状態で説明がおこなわれると、より高い学習効果が得られる。
【００３７】
【発明の効果】
以上のようにこの発明によれば、遠隔地間での親密な双方向対話を実現すべく対話者を撮像する固定された撮像部と、この双方向対話の進行に有益な静止画あるいは動画などの補助映像を撮像する移動可能に配置された撮像部とを個別に配置するよう構成されているので、対話者は、対話中に大きく視線を相手側対話者像からずらす必要がなく、円滑な双方向対話を妨げずに補助情報が利用できるという効果がある。
【図面の簡単な説明】
【図１】遠隔地間において伝送手段を介して視線一致を実現する双方向対話型システムの一構成を示す図である。
【図２】図１に示された撮像装置を示す図であって、視線一致のためのＣＣＤカメラの設置方法を説明するための図である。
【図３】視差角を説明するための図である。
【図４】ＣＣＤカメラが設置されるべき領域を示す図である。
【図５】この発明に係る双方向対話型システムにおける端末装置の構成を説明するための概念図である。
【図６】この発明に係る双方向対話型システムにおける端末装置の構成を示すブロック図である。
【図７】この発明に係る双方向対話型システムの各端末装置において、図６に示された映像処理装置によりウィンドウ表示されたモニタ画面の一例を示す図である。
【符号の説明】
８…モニタ画面、２１（２１Ａ、２１Ｂ）…表示部、３（３Ａ、３Ｂ）…対話者Ａ、Ｂ、５Ａ、５Ｂ、９１０Ａ、９１０Ｂ…ＣＣＤカメラ（撮像部）、６（６Ａ、６Ｂ）…撮像ユニット、６００（６００Ａ、６００Ｂ）…撮像装置、２６（２６Ａ、２６Ｂ）…映像処理装置、２０（２０Ａ、２０Ｂ）…端末装置、２６２…Ｄ／Ｂ、２６３…制御部、９００…マウス（ポインティング・デバイス）、９２０…タブレット、９５０…ヘッドセット。

Claims

所定の伝送手段を介して互いの映像を送受信することにより遠隔地対話を実現する双方向対話型システムにおける端末装置を用いたマルチウィンドウ表示方法であって、
前記端末装置は、表示部と、前記表示部の前方に位置する対話者を撮像する第１撮像部と、前記対話者と前記表示部との間の空間の視線一致領域外に位置する対象物を撮像する第２撮像部と、前記表示部のモニタ画面上に、少なくとも前記対話者と遠隔地対話中である相手側対話者の像をウィンドウ表示するための映像処理装置とを備えており、
遠隔地対話中、前記対話者と相手側対話者とが映像を介して視線一致状態となるよう該表示部の前方に前記第１撮像部を固定するとともに、前記対話者の視線に一致しないように撮像方向が調節された状態で該対話者の頭部位置の変動に連動して該撮像方向が変動するよう前記第２撮像部を配置し、
前記表示部のモニタ画面上に、前記対話者から見て前記第１撮像部と重なるよう相手側対話者像のウィンドウを表示させるとともに、前記相手側対話者像のウィンドウと重ならないように前記第２撮像部により撮像された映像のウィンドウも同時に表示させるマルチウィンドウ表示方法。
前記第２撮像部により撮像された映像の一部を切り出し、この切り出し映像を、前記表示部におけるモニタ画面上に設定されるウィンドウサイズに一致するよう拡大あるいは縮小することを特徴とする請求項１記載のマルチウィンドウ表示方法。
コンピュータにより請求項１又は２記載の方法を実行するコンピュータプログラム。
コンピュータにより請求項１又は２記載の方法を実行するコンピュータプログラムが記録された記録媒体。