JP4595397B2 - 画像表示方法、端末装置、及び双方向対話システム - Google Patents

Description

この発明は、所定の伝送手段を介して行われる対話者と相手側対話者との遠隔地対話において、対話者像が該対話者から該相手側対話者への一方向に送信される一方、対話者音声が双方向に送受信されるようなデータ非対称型の双方向対話に適用可能であり、該対話者と該相手側対話者間での擬似的な視線一致状態を実現するための画像表示方法、端末装置及び双方向対話システムに関するものである。

近年、遠隔地の対話者間で互いに相手側対話者の映像を互いに視線一致した状態でモニタに表示しながらテレビ会議やカウンセリング等の親密な対話を実現する双方向対話システムが提案されている。この視線一致技術には種々の技術が提案されており、相手側対話者像が表示されるモニタ前面の所定位置にＣＣＤカメラのような撮像デバイスを配置することにより視線一致を実現している（特許文献１参照）。
特許第３０７４６７７号公報 昭和４２年電気四学会連合大会（Ｎｏ．１９９８）

発明者は、上述のような双方向対話システムについて検討した結果、以下のような課題を発見した。すなわち、従来の双方向対話システムにおいて、所定の伝送手段を介して遠隔地対話を行っている対話者間で送受信される主要なデータは、対話者像（画像データ）及び対話者音声である。特に、対話者間において視線一致状態を実現する場合、対話者から相手側対話者へ提供されるデータの種類と相手側対話者から対話者へ提供されるデータの種類とは一致しており、したがって従来の双方向対話システムはデータ対称型の双方向対話システムと言える。このようなシステムでは、遠隔地対話を行う両対話者の端末装置のうち一方の端末装置のみに対話者像を撮像するための撮像装置が設置されている場合、視線一致した状態での円滑な対話が実現できない。

遠隔地対話を行っている対話者間で送受信されるデータの種類が一致していないデータ非対称の対話形態としては、例えば、ホテルの予約受付、コース料理の受付説明などが考えられる。このような対話形態では、お客様の顔は表示されないが、受付側、相談対応者側の顔が表示されると、お客様の安心感、信頼感は増大する。しかしながら、このとき、受付相談側において人物の表示されていないモニタ画面に、特に、撮像装置正面に向いた状態で係員がお客様に生き生きと話しかけるには、多大な違和感を生じてしまう。その結果、従来のデータ対称型の双方向対話システム（遠隔地対話を行う端末装置はいずれも対話者像を撮像するための撮像装置を備えている）では、データ非対称の対話形態において円滑な遠隔地対話が形成され得ない。また、従来のコミュニケーション文化においても、このように一方の対話者像のみが相手側に提示されないデータ非対称の対話形態は、全く想定されておらず、このようなデータ非対称の対話形態では円滑な対話は形成できないと暗黙に考えられていた。

実際、発明者は、上述のようなデータ非対称型の双方向システムの実験を行った。その結果、対話者像が表示される側の対話者（相手側対話者）の安心感、信頼感の増大は、顕著であった。一方、相手側対話者像が表示されない側の対話者は、強い違和感、抵抗感を感じることが確認された。また、顔がわからないので、お客様（相手側対話者に相当）の区分、初めての方、ＶＩＰ、業者、取引関係の人等の外見情報も分からないので、初期対応にまごつく場合が多かった。

さらに、この実験では、相手側対話者像が表示されない側の対話者（撮像装置によりその像が撮像されている対話者）は、目線を定めにくく、正面顔の像を相手側対話者に提供し難い。人は、相手の表情、特に目線の変化に注目して、コミュニケーションを形成している。サングラスなどをかけ、目線がわからないようにすると、対話はすすめ難くなる。更には、相手側対話者の反応、動作がビジュアルに伝わらないと、コミュニケーションに支障が生じ、結果として、お互いがクリエイティブな対話を形成し辛くなる。この場合、対話者自身が撮像装置を見て話しかけるようにしょうとしても、そのキッカケ、動機が生じない。

この発明は、上述のような課題を解決するためになされたものであり、遠隔地対話を行う対話者間で提供し合うデータの種類が一致していないデータ非対称の対話環境であっても、対話者と相手側対話者間での擬似的な視線一致状態を実現することにより、円滑な双方向対話を可能にする双方向対話システム、該双方向対話システムに適用可能な端末装置、該端末装置において実施可能な画像表示方法、該画像表示方法を実行するコンピュータプログラム、及び該コンピュータプログラムが記録された記録媒体を提供することを目的としている。

この発明は、所定の伝送手段を介して行われる対話者と相手側対話者との遠隔地対話において、対話者像が該対話者から該相手側対話者への一方向に送信される一方、対話者音声が双方向に送受信されるようなデータ非対称型の双方向対話システムへの適用を想定している。すなわち、このようなデータ非対称型の双方向対話システムは、各対話者の端末装置として、該対話者の像を相手側対話者へ送信可能にするため撮像装置を備えている第１端末装置と、撮像装置を備えていない第２端末装置が混在したネットワーク環境において、撮像装置を備えた該第１端末装置と撮像装置を備えない該第２端末装置との間におけるデータ非対称型の双方向対話を、擬似的に実現された視線一致状態で実現する。なお、この明細書において、視線一致状態での双方向対話に必要な主要データとしては、対話者像（画像データ）及び対話者音声のみを想定しており、テキストデータ等の対話補助用データについては想定していない。

上記第１端末装置（この発明に係る端末装置）は、撮像装置、表示装置、及び制御部を備える。撮像装置は、表示装置前方に位置する対話者の像を相手側対話者に送信すべく、表示装置前方でカメラ部分（撮像部）がモニタ画面に重なるように配置される。表示装置には、相手側対話者像は表示されない（相手側対話者像は送信されない）。一方、上記第２端末装置では、表示装置及び表示制御等を行う制御部を備えるが、相手側対話者を撮像するための撮像装置は備えていない。そのため、この第２端末装置では、表示装置前方に位置する相手側対話者の像は第１端末装置には送信されないが、第１端末装置から送信された対話者像が表示装置に表示される。

上述のようなデータ非対称の対話形態では、第１端末装置前方に位置する対話者は、相手側対話者との視線一致状態を体感することはできない。そこで、上記第１端末装置における制御部では、異なる構成の端末装置間で遠隔地対話を行う対話者間において、擬似的に視線一致状態を実現する画像表示方法（この発明に係る画像表示方法）を行う。

具体的に、上記第１端末装置における制御部は、モニタ画面前方に位置する対話者の注視点を該モニタ画面上の予め設定された特定部位（撮像装置のカメラ部分が設置される位置）に導くための注視点誘導指標を、該モニタ画面上に表示し、対話者及び該対話者と所定の伝送手段を介して対話する相手側対話者の少なくともいずれかの音声における音量変化に連動して、モニタ画面上に表示された注視点誘導指標の表示状態を変化させる。

人が視覚的に注目している位置（注視点）は、視覚的変化が生じている部位に特に集中し易いことが知られている。そこで、上記制御部では、係る知見に基づき、相手側対話者像が表示されない側の対話者に対し、対話の進行状況に応じて強制的に注視点を視線一致領域に誘導するよう、モニタ画面上に表示される指標の表示状態を変化させる。なお、視線一致領域は、撮像装置のカメラ部分の設置位置に相当するモニタ画面上の特定部位を中心とする所定領域であって、この特定部位は、対話者自身が撮像装置により撮像された自己像をモニタ画面に表示した状態で設定すればよい。

上記制御部は、上記注視点誘導指標の少なくとも一部の輝度を音量変化が生じている期間中連続的に変化させることにより、該注視点誘導指標の表示状態を変化させるのが好ましい。また、上記制御部は、上記注視点誘導指標のモニタ画面上における表示位置を音量変化が生じている期間中連続的に変化させることにより、該注視点誘導指標の表示状態を変化させてもよい。

さらに、人と人との対話は断続的に行われるのが一般的であり、この双方向の遠隔地対話においても対話が中断する状態が発生することが想定される。この場合、相手側対話者像が表示されない側の対話者にとって、視線一致状態を維持するのが難しくなる。そこで、上記制御部は、対話者及び相手側対話者双方の音量変化が生じていない期間をカウントし、無変化期間に相当する該カウント値が予め設定された値を超えてから所定期間だけ注視点誘導指標の表示状態を強制的に変化させることもできる。

上述のような画像表示方法は、コンピュータ等で実行されるプログラムであってもよく、この場合、当該プログラムは、有線、無線を問わずネットワークを介して配信されてもよく、また、ＣＤ、DVD、フラッシュメモリ等の記録媒体に格納されていてもよい。

この発明に係る画像表示方法は、遠隔地対話を行う対話者間で提供し合うデータが一致していないデータ非対称の対話形態であっても、相手側対話者像が表示されない一方、自己の像が相手側のモニタ画面に表示される対話者に対し、該対話者の注視点がモニタ画面内の視線一致領域に導かれるよう、該モニタ画面上に注視点誘導指標を表示し、対話の進行とともにその表示状態を変化させる。これにより、相手側対話者に対して、視線一致した状態の対話者像を提供し、該対話者と相手側対話者間での擬似的な視線一致状態が実現を可能になる。

以下、この発明に係る画像表示方法、端末装置、双方向対話システム等の各実施形態を、図１〜図１１を用いて詳細に説明する。なお、図面の説明において、同一部位、同一部材には同一符号を付して重複する説明を省略する。

図１は、この発明に係る画像表示方法を概略的に説明するための図であり、所定の伝送手段２７を介して行われる対話者３Ａと相手側対話者３Ｂとの遠隔地対話において、対話者像が該対話者３Ａから該相手側対話者３Ｂへの一方向に送信される一方、対話者音声が双方向に送受信されるようなデータ非対称型の双方向対話システムが示されている。

このようなデータ非対称型の双方向対話システムは、端末装置として、該対話者３Ａの像を相手側対話者３Ｂへ送信可能にするため撮像装置６００（ＣＣＤカメラ５を含む）を備えている第１端末装置と、撮像装置を備えていない第２端末装置が混在したネットワーク環境において、これら第１及び第２端末装置間におけるデータ非対称型の双方向対話を、擬似的に実現された視線一致状態で実現する。なお、この明細書において、視線一致状態での双方向対話に必要な主要データとしては、対話者像（画像データ）及び対話者音声のみを想定しており、テキストデータ等の対話補助用データについては想定していない。

上記第１端末装置は、撮像装置６００、表示装置２１Ａ、及び制御部を備える。撮像装置６００は、表示装置２１Ａ前方に位置する対話者３Ａの像を相手側対話者３Ｂに送信すべく、表示装置２１Ａ前方でＣＣＤカメラ５（撮像部）がモニタ画面に重なるように配置される。一方、この第１端末装置において、表示装置２１Ａには相手側対話者像は表示されない（相手側対話者像は送信されない）。また、この第１端末装置には、相手側対話者３Ｂの音声を対話者３Ａに聴かせるためのヘッドホン２３Ａと、該対話者３Ａ自身の声を取り込むためのマイク２４Ａとをさらに備える。

上記第２端末装置では、表示装置２１Ｂ及び表示制御等を行う制御部を備えるが、相手側対話者３Ｂを撮像するための撮像装置は備えていない。そのため、この第２端末装置では、表示装置２１Ｂ前方に位置する相手側対話者３Ｂの像は第１端末装置には送信されないが、第１端末装置から送信された対話者像が表示装置２１Ｂに表示される。この第１端末装置も、第１端末装置と同様に、対話者３Ａの音声を相手側対話者３Ｂに聴かせるためのヘッドホン２３Ｂと、該相手側対話者３Ｂ自身の声を取り込むためのマイク２４Ｂとをさらに備える。

この発明に係る画像表示方法は、上記第１端末装置における制御部において実行される。このとき、制御部は、モニタ画面前方に位置する対話者３Ａの注視点を該モニタ画面上の予め設定された特定部位（撮像装置６００のＣＣＤカメラ５が設置される位置）に導くための注視点誘導指標を、該モニタ画面上に表示し（キャラクタ生成）、対話者３Ａ及び該対話者３Ａと所定の伝送手段２７を介して対話する相手側対話者３Ｂの少なくともいずれかの音声における音量変化に連動して、モニタ画面上に表示された注視点誘導指標の表示状態を変化させる。

これは、人が視覚的に注目している位置（注視点）は、視覚的変化が生じている部位に特に集中し易いという知見に基づいており、上記制御部では、対話者３Ａ（相手側対話者像が表示されない）に対し、対話の進行状況に応じて強制的に注視点を視線一致領域に誘導するよう、モニタ画面上に表示される指標の表示状態を変化させる。なお、視線一致領域は、撮像装置６００のＣＣＤカメラ５の設置位置に相当するモニタ画面上の特定部位を中心とする所定領域であって、この特定部位は、対話者３Ａ自身が撮像装置６００により撮像された自己像をモニタ画面に表示した状態で設定すればよい。

次に、図１に示されたデータ非対称型の双方向対話システムのより具体的な構成を、図２を用いて説明する。

このシステムは、Ａ地点（第１地点）にいる対話者３Ａ（第１対話者）とＢ地点（第２地点）にいる相手側対話者３Ｂ（第２対話者）との間で、少なくとも音声情報に関して双方向対話を実現するシステムである。特に、このシステムは遠隔地にいる対話者間でも円滑なコミュニケーションを実現するよう予約やサービスの受付業務全般、ファイナンシャル相談、コンサルティング全般、カウンセリング・システムや遠隔学習にも適用可能である。

具体的には、Ａ地点において、（ａ）対話者３Ａが座る椅子４Ａ（高さ調節機構４０Ａを有する）と、（ｂ）対話者３Ａが向かうテーブル２Ａと、（ｃ）伝送手段２７を介して対話者３Ａを撮像するための撮像装置６００を備えた端末装置２０Ａとが設置され、対話者３Ａはパーティション２２Ａによって隔離されている。一方、Ｂ地点には、（ａ）相手側対話者３Ｂが座る椅子４Ｂ（高さ調節機構４０Ｂを有する）と、（ｂ）相手側対話者３Ｂが向かうテーブル２Ｂを備えた端末装置２０Ｂとが設置され、対話者３Ｂはパーティション２２Ｂにより隔離されている。なお、端末装置２０Ｂには、相手側対話者３Ｂを撮像するための撮像装置は設置されていない。

ここで、伝送手段２７は、Ａ地点の端末装置２０ＡとＢ地点の端末装置２０Ｂとの間で、画像情報を端末装置２０Ａから端末装置２０Ｂへ一方向に伝送する一方、音声情報を双方向に送受信を可能にするため、光ファイバ伝送路３１（主伝送路）及び衛星通信伝送路３２（バックアップ用伝送路）等を含む。なお、この伝送手段２７は有線、無線のいずれであってもよい。また、伝送手段は、既に敷設された電話回線網等のネットワークを含み、さらに種々のデータベースを備えた電子掲示板システム（BBS: Bulletin Board System）も含む。

Ａ地点において、上述の椅子４Ａは対話者３Ａの位置を規定するために機能する。この椅子４Ａは端末装置２０Ａの表示部（表示装置）２１Ａとの距離を一定に保つために固定されるのが好ましい。しかし、該椅子４Ａが固定されていない場合であっても、テーブル２Ａを対話者３Ａと表示部２１Ａに設置することによりこの椅子４Ａと表示部２１Ａとの距離を一定に保つことが可能になる（テーブル２Ａの存在が対話者３Ａの心理的な距離の基準となる事実が確認されている）。なお、相手側対話者３ＢがいるＢ地点の端末装置２０Ｂの構成も同様である。

Ａ地点において、端末装置２０Ａは、(1)対話者３Ａの注視点を特定部位に導くための注視点誘導指標が表示される、テーブル２Ａの上に配置された、モニタＴＶ１Ａを備えた表示部２１Ａと、(2)ＣＣＤカメラ（撮像部）５を所定位置に保持するための本体部６と、(3)Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送されてきた音声情報に基づいて相手側対話者３Ｂの音声を出力するためのヘッドホン２３Ａと、(4)対話者３Ａの音声を音声情報として集音し、Ｂ地点の端末装置２０Ｂへ向けて伝送するためのマイク２４Ａを備える。なお、このシステムは、円滑なコミュニケーションを実現するため、(5)対話者３Ａが文字や図形を入力し、入力された文字や図形を表示部２１Ａに表示するとともに、文字図形情報としてＢ地点の端末装置２０Ｂへ向けて伝送するための文字図形入力部２５Ａ（キーボード、ポインティング・デバイス、タッチパネルなどのインターフェース）と、(6)上記各構成要素と伝送手段２７との間に設けられ、信号処理、伝送制御及び映像データの編集作業等を行う映像処理装置２６Ａ（制御部含む）とを備える。

Ｂ地点において、端末装置２０Ｂは、撮像装置を備えていない点を除き、上述したＡ地点の端末装置２０Ａと同様に構成されており、具体的には、表示部２１Ｂ、ヘッドホン２３Ｂ、マイク２４Ｂ、文字図形入力部２５Ｂ、及び映像処理装置２６Ｂを備える。ここで、表示部２１Ｂは、伝送手段２７を介して伝送されてきた画像情報に基づいて対話者３Ａの映像などを表示する、テーブル２Ｂの上に配置された、モニタＴＶ１Ｂを備える。

さらに、Ａ地点の端末装置２０Ａにおける撮像装置６００の構成を説明する。

この撮像装置６００は、撮像部である超小型ＣＣＤカメラ５、該ＣＣＤカメラ５を支持した状態で所定位置に設置するための本体部６を備える。モニタＴＶ１Ａはテーブル２Ａの上に載置されており、対話者３ＡはこのモニタＴＶ１Ａから距離Ｌ（ｍ）離れて置かれた高さ調整機構４０Ａを備えた椅子４Ａに座っている。この距離Ｌ（ＬＡ）は０．５ｍ以上５ｍ以下に設定される。撮影される対話者３Ａ及びモニタＴＶ１Ａ間には、外径φ２０ｍｍ以下、長さ約１００ｍｍの円筒状の超小型ＣＣＤカメラ５が設けられている。また、このＣＣＤカメラ５はその撮像方向が撮影される対話者３Ａに向けられるよう設置されている。そしてＣＣＤカメラ５で撮像された対話者３Ａの映像は、画像情報として相手側対話者３Ｂに伝送される（伝送手段２７を介してＢ地点の端末装置２０Ｂに伝送される）。なお、対話者によっては表示部と該対話者間の間隔が弱冠ずれる可能性もある。したがって、このような状況にも対処すべく、ＣＣＤカメラ５は焦点深度の深いものを選択するのが好ましい。

次に、超小型ＣＣＤカメラ５の具体的な設置位置を、図３を用いて説明する。

まず、撮像装置６００の本体部６は表示部２１Ａ上に設置される。なお、スイッチ２１０はモニタＴＶ１Ａの電源をオン／オフする電源スイッチ等を含む。ＣＣＤカメラ５は、モニタ画面８の前方の所定位置に本体部６によって支持される。なお、このモニタ画面８は４インチ程度であれば十分に利用できる。

具体的には、ＣＣＤカメラ５はモニタ画面８から前方ｗ（ｃｍ）の位置であって、該モニタ画面８に表示された対話者像９（位置調節のために取り込まれた対話者３Ａの自己像）の頭部９ｂ付近に配置される。円筒状ＣＣＤカメラ５の中心軸は、点線で示す対話者像９の目の位置の上方ｈ（ｃｍ）の部位に位置している。

このように超小型のＣＣＤカメラ５は、大型モニタＴＶ１Ａの画面８に表示された対話者像９の目の位置より上の頭部９ｂ付近に位置しているため、双方向対話に特別な支障は生じない。例えば、ＣＣＤカメラ５が画面８に表示された対話者像９の目の位置（図中、点線で示す位置）の上方ｈ＝約１０（ｃｍ）に設けられ、モニタＴＶ１Ａ及び対話者３Ａ間の距離Ｌが約２．５（ｍ）に設定されているシステム構成の場合、視差角は２．３°で十分検知限界の視差角３°を下回ることが可能である（モニタ画面８とＣＣＤカメラ５の間隔ｗが１０（ｃｍ）程度ある場合でも、視差角の変動には特に影響はない）。この画面８の大きさは、実験の結果、横３５ｃｍ，縦２６ｃｍ程度以上の大きさがあれば良好な双方向対話が実現できることも確認されている。なお、相互の対話者が知人同志であれば、画面の大きさは小さくとも心理的な障害も少ない傾向を示す結果も得られており、画面サイズに関しては用途に応じて使いわけるとよい。

さらに、視差角について、図４を用いて説明する。この明細書において、視差角とは、図４に示されたように、モニタ画面８に表示された対話者像９へ向けられた、撮影される対話者３Ａの視線と、ＣＣＤカメラ５へ向けられた、該対話者３Ａの視線とがなす角度θを言う。換言すれば、対話者３Ａの視線に対するＣＣＤカメラ５の設置位置のずれ角を意味している。また、ここでいう視線一致とは、非特許文献１で報告されているように、ＣＣＤカメラ５の設置位置による不自然さの許容限界以下を意味している。定量的には、視差角として、左右方向４．５°以下（対話者像９の目の中心Ａに対し、該像９の両こめかみ側），真上方向１２°（像中心Ａに対し、像９の頭部９ｂ側），真下方向８°（像中心Ａに対し、像９の胴体側）以下を視線一致範囲内としている。もちろん、この視差角は小さい方が良く、左右上下方向３°以下が検知限界とされている。したがって、ＣＣＤカメラ５が設置可能な領域は、図５に示された円錐領域である。なお、この円錐領域は、対話者３Ａの目３０とモニタ画面８に表示された対話者像９の中心点Ａ（ここでは、対話者像９の両目の中心を該対話者像９の中心点Ａとして定義している）とを結ぶ該対話者３Ａの視線３１に対し、所定距離Ｌ（ｍ）離れた時のモニタ画面８上の視線一致領域８００、及び、該対話者３Ａの目３０の位置とで規定される。また、上述のようなＣＣＤカメラ５の設置作業の際、対話者３Ａ自身が、自己の注視点が導かれる特定部位８０（視線一致領域８００内に存在）を設定しておく。

なお、モニタ画面８上に表示される対話者像９のサイズが小さい場合には、必ずしも該ＣＣＤカメラ５と対話者像９の頭部９ｂが重なっている必要はない。むしろ対話者像９の頭部９ｂがＣＣＤカメラ５に隠れてしまい見にくくなる。上述のように視線一致の条件は視差角３°の領域内にＣＣＤカメラ５と対話者像９の目が存在することであり、具体的に画面から５０ｃｍ離れた位置で約３ｃｍ程度（図３におけるｈ）である。したがって、この範囲内であればＣＣＤカメラ５と対話者像９の頭部９ｂをずらしても視線一致状態は維持される。この対話者像９とＣＣＤカメラ５をずらすには、例えばモニタ画面８上における画像表示位置を調節したり、ＣＣＤカメラ５の支持部を調節してＣＣＤカメラ5自体の位置を変更することにより実現される。

この発明に係る画像表示方法は、所定の伝送手段２７を介して行われる対話者３Ａと相手側対話者３Ｂとの遠隔地対話において、対話者像が該対話者３Ａから該相手側対話者３Ｂへの一方向に送信される一方、対話者音声が双方向に送受信されるようなデータ非対称型の双方向対話システムに適用され、相手側対話者３Ｂの像が表示されていない対話者３Ａの注視点をモニタ画面８上の特定部位８０に導くことにより、Ｂ地点において表示部２１Ｂのモニタ１Ｂ上に表示された該対話者３Ａの像９の視線と、該像９を見る相手側対話者３Ｂとの視線を擬似的に一致させる。このように、データ非対称型の当該双方向対話システムでは、対話者３Ａの端末装置２０Ａと相手側対話者３Ｂの端末装置２０Ｂとは、異なる構造を有する。

図６は、この発明に係る双方向対話システムに適用されるＡ地点の端末装置２０Ａ（撮像素地６００あり）の構造を示すブロック図である。この端末装置２０Ａは、モニタ等を含む表示装置２１Ａと、映像処理部２６Ａと、外部記録装置７００と、マウス等のポインティングデバイス９００と、表示装置２１Ａの前方に位置する対話者３Ａを撮像するＣＣＤカメラ５等の撮像部及び撮像ユニット６からなる撮像装置６００、ヘッドホン２３Ａ、マイク２４Ａとを備える。上記映像処理部２６Ａは、撮像手段に含まれる撮像ユニット６からの画像情報や他の情報メディアの取り込みや伝送手段２７を介して相手側対話者３Ｂの音声データ（符号化データ）の送受信を行うためのデータ入出力部２６１（図中、Ｉ／Ｏ）と、この発明に係る画像表示方法を実行する制御部２６３と、遠隔地対話に必要な対話者情報等を格納しておくためのデータベース２６２（図中、Ｄ／Ｂ）と、表示装置２１Ａへ制御部２６３の指示に従って所定のパターン（注視点誘導指標）を表示させる描画部２６４と、マウス等のポインティングデバイス９００からの位置情報の取り込みや外部記録装置７００とのデータ授受を可能にするデータ入出力部２６５（図中、Ｉ／Ｏ）と、相手対話者の音声が出力されるマイク２４Ａを制御するための音源コントローラ９２０とを備える。

なお、外部記録装置７００は、例えば磁気テープ、ＣＤ、光ディスク、ハードディスク、ＤＶＤ、フラッシュメモリ等を含み、この発明に係る画像表示方法を実行するコンピュータプログラムや相手側対話者３Ｂの個人情報などが格納される。

図７は、図６に示された端末装置２０Ａにおけるモニタ画面８であって、この発明に係る画像表示方法の実施状態を説明するための図である。

まず、描画部２６４は、制御部２６３からの指示に従って、モニタ画面８前方に落とし込まれたＣＣＤカメラ５の近傍に、相手側対話者３Ｂの目に相当するデザイン目８００ａを、注視点誘導指標として表示する。なお、このデザイン目８００ａは、対話者３Ａが予め設定した特定部位８０を含む視線一致領域８００内に表示される。また、デザイン目とは、目、瞳、眉毛などの目を連想させるデザインの総称、目及びその周辺に関連するもの、顔、上半身、全身を付加してももちろんよい。また、人ではなく、動物、植物、広く生物、人工物、架空物でもかまわない。制御部２６３は、デザイン目８００ａが、伝送手段２７を介して送信されてくる相手側対話者３Ｂの音声の音量変化に対応して、その大きさ、色、形状など、表示状態を変化させる（例えば、まばたきなどの表現した表示変化）。

人は一般に、対話相手の目やその変化に対して、鋭敏に反応することが、心理学的にも指摘されている。そこで、この実施形態では、人の視線を誘導し易くするために、デザイン目８００ａが注視点誘導指標として採用されている。

デザイン目８００ａの変化は、プログラムされていても良いが、インタラクティブな臨場感を創り出すには、相手側対話者３Ｂの音量変化や動作に相関連動するようにしておくとよい。動作に連動させるときは、デザイン目８００ａよりも、その周辺の動きに連動させるのが好ましい。この場合、こまかい対応付けではなく、変化そのものを抽出して、シンプルなデザイン動作に対応づけ表示する程度でも十分効果が得られる（例えば、図１１（ａ）参照）。例えば、相手側対話者３Ｂからの音量が大きくなったら目が大きくなったり、ロが変化したり、腕を動かせてもよい。複数種類の連動変化を与えることにより強調効果が作用する。

特に重要なのは、この変化する注視点誘導指標が、モニタ画面８上に表示されており、その近傍にＣＣＤカメラ５が存在することである。近傍とは、注視点誘導指標の中心（２つの目の中心点）とＣＣＤカメラ５との対話者３Ａの視差角が左右４．５、真上１２度、真下８度以内、できれば各方向３〜５度以内が好ましい。対話者３Ａからモニタ画面８までの距離を１００ｃｍ程度とすると、５〜９ｃｍ程度以内の領域での設定が必要である。すなわち、対話者３Ａから見て、視線一致領域８００内にデザイン目８００ａ及びＣＣＤカメラ５が位置していることになる。

注視点誘導指標としては、ＣＣＤカメラ５の設置により、このＣＣＤカメラ５とデザイン目８００ａとが全体してまとまったイメージを構成するよう、予めそのデザインがプリセットされていてもよいし、対話者３Ａ又は相手側対話者３Ｂの好みに応じて、新しくデザインできるようにしておいてもよい。特に、目以外の胸の服に相当するところを、相手側対話者３Ｂがオリジナルデザインをした場合、２回目以降、そのデザインを通して本人認証ができる。このように、実際には見ることのない相手側対話者３Ｂがデザインを決めることにより、対話者３Ａにとって有効な情報を提示できる。例えば、Ｄ／Ｂ２６２に格納された個人情報から、重要顧客には、胸にバラの花がつくようにすれば、対応のし方も、視覚的に判断しやすくなる。初めての人か、２回目以降かなど、直接その数字を名札に表示してもよい。基本コンセプトは、対話者３Ａにとっての重要情報が、モニタ画面８上に、デザインとして視覚的に表示されるよう構成されるのが好ましい。

この様な個人情報を注視点誘導指標であるデザイン目８００ａ(特に周辺)に関連付けることで、初期対応しやすくなる。特に、対話前にＩＣカードをセットさせる対話システムでは、このＩＣカードから得られる情報をデザイン目８００ａ(特に周辺)に反映させることが容易になる。

図８は、図６に示された端末装置において、この発明に係る画像表示方法の実施状態を説明するためのタイムチャートである。

この図８に示されたように、制御部２６２は、対話者３Ａ及び相手側対話者３Ｂの少なくともいずれかの音声における音量変化に連動して、モニタ画面８上に表示されたデザイン目８００ａの輝度を連続的に変えるよう少なくともその一部を点滅させる。特に、対話者３Ａの音声と相手側対話者３Ｂの音声とが重なると、対話音量自体が大きくなるため、この場合には、点滅頻度を高くする。

ところが、人と人との対話は断続的に行われるのが一般的であり、この双方向の遠隔地対話においても、図８のタイムチャートに示されたように、対話が中断する状態が発生することが想定される。この場合、対話者３Ａにとって、視線一致状態（対話者３Ａの注視点が特定部位８０又はその近傍に位置する状態）を維持するのが難しくなる。そこで、制御部２６２は、対話者３Ａ及び相手側対話者３Ｂ双方の音量変化が生じていない期間をカウントし、無変化期間Ｔに相当する該カウント値が予め設定された値を超えてから所定期間だけデザイン目８００ａ強制的に点滅させてもよい。

なお、デザイン目８００ａの表示変化を対話者３Ａと相手側対話者３Ｂ双方の音量変化に対応付けた場合には、上記無変化期間Ｔの発生頻度は少なくなるが、相手側対話者３Ｂからの音量変化だけに対応付けていると、対話者３Ａが話している間、相手側対話者３Ｂはだまっているので、当然無変化期間Ｔも長くなるし、その発生頻度も多くなる（デザイン目８００ａが静止することになる）。この場合は、３秒単位又は１〜５秒でランダムに、デザイン目８００ａに表示変化が与えられる。特に、対話者３Ａの話しがとぎれたときは、３秒後にデザイン目８００ａの表示状態を強制的に変化させるなどして、対話者３Ａの注視点の誘導を誘起させるとよい。

一方、図９は、この発明に係る双方向対話型システムに適用されるＢ地点の端末装置２０Ｂ（撮像装置６００なし）の構造を示すブロック図である。この端末装置２０Ｂは、モニタ等を含む表示装置２１Ｂと、映像処理部２６Ｂと、外部記録装置７００と、マウス等のポインティングデバイス９００と、ヘッドホン２３Ｂ、マイク２４Ｂとを備えており、撮像装置を備えていない点を除き図６に示された端末装置２０Ａと同様の構造を有する。上記映像処理部２６Ｂは、伝送手段２７を介して送信された対話者３Ａの映像データや音声データ（符号化データ）の受信を行うためのデータ入出力部２６１（図中、Ｉ／Ｏ）と、この発明に係る画像表示方法を実行する制御部２６３と、遠隔地対話に必要な対話者情報等を格納しておくためのデータベース２６２（図中、Ｄ／Ｂ）と、表示装置２１Ｂへ制御部２６３の指示に従って所定のパターン（注視点誘導指標）を表示させる描画部２６４と、マウス等のポインティングデバイス９００からの位置情報の取り込みや外部記録装置７００とのデータ授受を可能にするデータ入出力部２６５（図中、Ｉ／Ｏ）と、相手対話者の音声が出力されるマイク２４Ａを制御するための音源コントローラ９２０とを備える。

なお、外部記録装置７００は、例えば磁気テープ、ＣＤ、光ディスク、ハードディスク、ＤＶＤ、フラッシュメモリ等を含み、この発明に係る画像表示方法を実行するコンピュータプログラムや相手側対話者３Ｂの個人情報などが格納される。

図１０は、図９に示された端末装置２０Ｂにおけるモニタ画面８（Ｂ地点において相手側対話者３Ｂが見るモニタ画面）の一例を示す図である。

この図１０に示されたように、相手側対話者３Ｂは、端末装置２０Ａにおけるモニタ画面８上の特定部位８０に注視点が誘導された対話者３Ａの像９を見ることにより、該対話者３Ａとの間で擬似的に視線一致状態が実現していると体感することなできる。

なお、対話者３Ａに提示される注視点誘導指標には、種々の変形が可能である。また、制御部２６２は、注視点誘導指標のモニタ画面８上における表示位置を音量変化が生じている期間中連続的に変化させることにより、該注視点誘導指標の表示状態を変化させてもよい。図１１は、この発明に係る画像表示方法の他の実施形態を説明するためのモニタ画面である。

例えば、図１１（ａ）に示されたように、視線一致領域８００内に表示されたデザイン８００ｂの一部を矢印Ｓ１で示された方向に動かすことによっても、対話者３Ａの注視点を該視線一致領域内８００内に設定された特定部位８０近傍に導くことができる。

また、図１１（ｂ）に示されたように、注視点誘導指標としてのデザイン８００ｃを矢印Ｓ２（デザイン８００ｃの表示位置から特定部位８０へ向かう方向Ｓ２ａ〜Ｓ２ｃ）で示された方向に動かすことによっても、対話者３Ａの注視点を該視線一致領域内８００内に設定された特定部位８０近傍に導くことができる。

この発明に係る画像表示方法等は、遠隔地対話を行っている対話者間で提供し合うデータが一致していないデータ非対称の対話環境であっても、対話者と相手側対話者間での擬似的な視線一致状態を実現することにより、円滑な双方向対話を可能にする双方向対話システムへの適用を可能にする。

この発明に係る画像表示方法を概略的に説明するための図である。 遠隔地間において伝送手段を介して疑似視線一致状態を実現するデータ非対称型の双方向対話システム（この発明に係る端末装置及び双方向対話システム）の一構成を示す図である。 図２に示された撮像装置を示す図であって、疑似視線一致状態を実現するためのＣＣＤカメラの設置方法を説明するための図である。 視差角を説明するための図である。 ＣＣＤカメラが設置されるべき領域を示す図である。 この発明に係る双方向対話システムに適用される一方の端末装置（ＣＣＤカメラあり）の構造を示すブロック図である。 図６に示された端末装置におけるモニタ画面であって、この発明に係る画像表示方法の実施状態を説明するための図である。 図６に示された端末装置において、この発明に係る画像表示方法の実施状態を説明するためのタイムチャートである。 この発明に係る双方向対話型システムに適用される他方の端末装置（ＣＣＤカメラなし）の構造を示すブロック図である。 図９に示された端末装置におけるモニタ画面の一例を示す図である。 この発明に係る画像表示方法の他の実施形態を説明するためのモニタ画面である。

符号の説明

３（３Ａ、３Ｂ）…対話者Ａ、Ｂ
５…撮像部（ＣＣＤカメラ）
６…撮像ユニット
８…モニタ画面
２０Ａ、２０Ｂ…端末装置
２１（２１Ａ、２１Ｂ）…表示部（表示装置）
２４（２４Ａ、２４Ｂ）…マイク
２６（２６Ａ、２６Ｂ）…映像処理装置
９…モニタ画像
８０…注視点
８００…視線一致領域
８００ａ、８００ｂ、８００ｃ…注視点誘導指標

Claims (9)

1. 所定の伝送手段を介して行われる対話者と相手側対話者との遠隔地対話において、対話者像が該対話者から該相手側対話者への一方向に送信される一方、対話者音声が双方向に送受信されるようなデータ非対称型の双方向対話システムに適用される画像表示方法であって、
   モニタ画面上の所定位置に、視覚的に変化可能な注視点誘導指標を一旦表示しておき、
   前記対話者及び前記相手側対話者の少なくともいずれかの音声における音量変化に連動して、前記モニタ画面上に表示された前記注視点誘導指標の表示状態を変化させる一方、前記対話者及び前記相手側対話者双方の音量変化が生じていない期間をカウントし、無変化期間に相当する該カウント値が予め設定された値を超えてから所定期間だけ前記注視点誘導指標の表示状態を強制的に変化させる画像表示方法。
2. 前記注視点誘導指標の少なくとも一部の輝度を音量変化が生じている期間中連続的に変化させることにより、該注視点誘導指標の表示状態を変化させることを特長とする請求項１記載の画像表示方法。
3. 前記注視点誘導指標の前記モニタ画面上における表示位置を音量変化が生じている期間中連続的に変化させることにより、該注視点誘導指標の表示状態を変化させることを特長とする請求項１記載の画像表示方法。
4. 所定の伝送手段を介して行われる対話者と相手側対話者との遠隔地対話において、対話者像が該対話者から該相手側対話者への一方向に送信される一方、対話者音声が双方向に送受信されるようなデータ非対称型の双方向対話システムに適用され、該対話者と該相手側対話者間での擬似的な視線一致状態を実現する端末装置であって、
   前記対話者の前方に設置され、視覚的に変化可能な注視点誘導指標が表示されるモニタ画面を含む表示装置と、
   前記表示装置前方に位置する前記対話者を撮像するための撮像装置と、
   前記注視点誘導指標を前記モニタ画面上の所定位置に一旦表示しておき、前記伝送手段を介して対話している前記対話者及び前記相手側対話者の少なくともいずれかの音声における音量変化に連動して、該モニタ画面上に表示された注視点誘導指標の表示状態を変化させる一方、前記対話者及び前記相手側対話者双方の音量変化が生じていない期間をカウントし、無変化期間に相当する該カウント値が予め設定された値を超えてから所定期間だけ前記注視点誘導指標の表示状態を強制的に変化させる制御部とを備えた端末装置。
5. 前記制御部は、前記注視点誘導指標の少なくとも一部の輝度を音量変化が生じている期間中連続的に変化させることにより、該注視点誘導指標の表示状態を変化させることを特長とする請求項４記載の端末装置。
6. 前記制御部は、前記注視点誘導指標の前記モニタ画面上における表示位置を音量変化が生じている期間中連続的に変化させることにより、該注視点誘導指標の表示状態を変化させることを特長とする請求項４記載の端末装置。
7. 所定の伝送手段を介して行われる対話者と相手側対話者との遠隔地対話において、対話者像が該対話者から該相手側対話者への一方向に送信される一方、対話者音声が双方向に送受信されるようなデータ非対称型の双方向対話システムであって、
   前記対話者側の端末装置として、請求項４〜６のいずれか一項記載の端末装置を含む双方向対話システム。
8. コンピュータにより請求項１〜３のいずれか一項記載の画像表示方法を実行するコンピュータプログラム。
9. コンピュータにより請求項１〜３のいずれか一項記載の画像表示方法を実行するコンピュータプログラムが記録された記録媒体。
   

Images