JP3074677B2 - 伝送手段を介して対話者間の視線を一致させる機構を備えた双方向対話型システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、伝送手段を介し
て対話者間の視線を一致させる機構を備えた双方向対話
型システムに関するものである。具体的には、相当距離
離れた医師と患者、カウンセラとクライアントの関係等
のように、伝送手段を介して双方向対話を実現するカウ
ンセリング・システムであって、主として１対１の双方
向対話を志向したシステム、及びその構成に関するもの
である。

【０００２】

【従来の技術】従来、教育、医療、心理学等の分野にお
いて行われているカウンセリングは、一般に対話者同士
が直接対面した状況において、両者間に親密な信頼関係
を築きながら行われる。しかしながら、自然災害、遠隔
地等の理由から、カウンセリングを必要とする者とカウ
ンセリングを行う技術を修得している者（カウンセラ）
とが同一の場所、時間を共有することが困難な状況も存
在する。そこで、通信技術の発達に伴い、遠隔の地にあ
る者同士によるカウンセリングを実現するシステムの必
要性が高まってきた。

【０００３】通信技術を利用してこのようなカウンセリ
ング・システムを構築しようとする場合、従来の対面式
の方法と同様に対話者間で親密な関係及び理想的なカウ
ンセリング環境を築き上げるためには、まず該対話者間
の視線を一致させることが重要である。

【０００４】そこで、従来、伝送路を介して対話者間の
視線を一致させる撮像装置として、第１に、特開昭６２
−２６９１２８号公報（第１従来技術）に示されるもの
がある。この第１従来技術では、対話者と当該撮像装置
との間に設けられたハーフミラーが設けられており、こ
れにより、被写体となる対話者から発せられる光を当該
撮像装置と画像表示装置とに分離している。従って、こ
の第１従来技術の装置構成によれば、撮像装置は対話者
が見る画像表示装置の表示画面を避けた位置に配置され
た状態で、該撮像装置の入力光軸と対話者の視線とを一
致させている。

【０００５】第２に、特開平４−２１３２８７号公報
（第２従来技術）には、光の反射／透過を切り替えるこ
とのできる特殊な表示装置を用い、この表示装置の後方
（この表示装置を介して対話者と反対側）に撮像装置を
配置した構成の撮像装置が開示されている。この装置構
成によれば、対話者の視線は表示装置の後方であって、
かつ対話者が見る表示装置の表示画面を避けた位置に配
置された撮像装置に向けられるので、会話者同士の視線
を一致させることが可能である。

【０００６】第３に、特開平４−９７６６３号公報（第
３従来技術）には、表示装置の上部に小型ミラーまたは
小型ハーフミラーを取り付け、このミラーに光軸が向い
た小型カメラで対話者を撮像する構成の撮像装置が開示
されている。この装置構成においては、ミラーで反射さ
れた対話者像は、該対話者が見る表示装置の表示画面を
避けた位置に配置された小型カメラに撮影される。よっ
て、会話者の視線の仰角は垂直方向における視線一致の
許容範囲である１０°以内に抑えられ、会話者相互の視
線一致が図られている。

【０００７】

【発明が解決しようとする課題】ハーフミラーで被写体
から光を分離する第１従来技術においては、表示装置の
画面サイズと同程度の大きさのハーフミラーが必要とな
る。必然的にこのような大きなハーフミラーを収容する
広いスペースが必要となってしまう。特に、画面サイズ
が４０インチを越える場合には容易に製造することがで
きなくなる。また、ハーフミラーを利用しているので、
対話者像が表示される画面を避けた位置に設置された撮
像装置によって撮像される像は暗くなってしまい、理想
的なカウンセリング環境は実現できない。

【０００８】次に、光の反射／透過を切り替える特殊な
表示装置を用いた第２従来技術は、既に量産導入されて
いる市販のＴＶ装置等に組み込むことは不可能である。
このため、この原理を用いたシステムを実現しようとし
た場合、専用機の開発が必要とされ、装置価格は高いも
のになってしまう。また、対話者を撮像する撮像装置
は、上記特殊な表示装置を介して該対話者を撮像するよ
う配置されている。したがって、撮像された対話者像は
暗くなってしまい、理想的なカウンセリング環境は実現
できない。

【０００９】さらに、反射ミラーと小型カメラとを組み
合わせた上記第３の従来技術は、該カメラを対話者が見
る表示画面を避けた位置に配置し、小型の反射ミラーを
介して対話者を撮像しているので、撮影される人物像は
暗くなってしまう。また、広い画角を得るには、反射ミ
ラーの大きさを小型カメラの大きさ以上にする必要があ
り、表示装置の人物像表示はこの大きな反射ミラーによ
って妨げられてしまう。また、撮影する人物の位置が変
化した場合、小型カメラの撮像方向は一定であるため、
これに追従することはできない。よって、対話者相互の
視線一致を常に確保することができない。

【００１０】上述した従来技術に共通する構造的特徴
は、撮像装置（カメラを含む）を対話者が見る表示画面
（相手側の対話者の像が表示される画面）と該対話者と
の間の空間を避けた位置に配置されている点である。換
言すれば、対話者間の視線を一致させるため、対話者と
撮像装置との間には反射ミラー、ハーフミラー、特殊な
表示装置を設置する必要がある。したがって、伝送され
る相手側の対話者像は暗くなり理想的なカウンセリング
環境は実現できない。

【００１１】この発明は、以上のような課題の解決する
ためになされたものであり、カウンセリング・システム
として、離れた場所にいる対話者間の対話中の違和感を
低減すべく、伝送手段を介して対話者間の視線を一致さ
せる機構を備えた双方向対話型システムを提供すること
を目的とする。特に、この発明に係る双方向対話型シス
テムは、対話者の映像以外に音声（背景音楽（ＢＧＭ）
を含む）、文字図形情報などを統合的に処理し、対話者
間で有機的な関係の創造（綿密なコミュニケーションの
実現）、理想的なカウンセリング環境の提供を目的とす
る。

【００１２】

【課題を解決するための手段】この発明は、第１対話者
のいる第１地点に設置された第１端末装置と、該第１地
点から相当距離離れた地点であって第２対話者のいる第
２地点に設置された第２端末装置と、該第１端末装置と
該第２端末装置の間において、少なくとも該第１対話者
及び第２対話者の画像・音声データの双方向通信を可能
にするための伝送手段を備えた双方向対話型システムに
関するものである。このシステムにおいて、少なくとも
第１端末装置は、伝送手段を介して受信した、第２対話
者の像をモニタ上に表示する表示部と、第１対話者と表
示手段との少なくとも距離を定義するため、該第１対話
者の位置を規定する位置規定手段と、該伝送手段を介し
て第２端末装置に、撮影された該第１対話者の像を送信
する撮像装置を備える。

【００１３】ここで、上記撮像装置は、少なくとも、該
第１対話者を撮像する撮像部と、該撮像部の撮像方向を
直接該第１対話者に向けた状態で、該第１対話者とモニ
タとの間の所定位置に該撮像部を設定するための支持機
構とを備えている。特に、(1)撮像部は、位置規定手段
によって規定された第１対話者とモニタ間の距離、及び
(2)該第１対話者の視線と該第２対話者のモニタ像の視
線とが一致したと判断される上述の視差角、これら(1)
及び(2)の要素によって定義される視線一致領域内であ
って、該第１対話者に対し第２対話者のモニタ像の一部
を遮る位置に設置されている。なお、第２端末装置も同
様な構成を備えてもよく、また、第１端末装置は該第２
端末装置を遠隔制御できる構成になっている。さらに、
各端末装置は、それぞれ対話者の周りに配置される、外
部音に対して遮断性を有する吸音部材を備えている。し
たがって、対話内容が外部に漏れることに対する心理的
障害が低減されるとともに、音質が向上するので、気持
ちの集中が可能となり、より深い対話が可能となる。

【００１４】以上のように、対話者とモニタ間の上述の
視線一致領域内にモニタ像の一部を遮るように、撮像部
を設置させて当該システムを構成したのは、対話者にと
って、該撮像部がモニタ上に表示された人物像の一部を
遮るように設置され場合であっても、該撮像部の大きさ
が一定以下に抑えられていれば、この撮像部の存在は双
方向対話にほとんど影響を与えないことを、発明者が実
験により確認したからである。

【００１５】なお、上述の双方向対話型システムにおい
て、対話者（第１対話者）の視線とモニタ上に表示され
た人物（第２対話者）の像（モニタ像）の視線を一致さ
せる視差角は、該対話者の視線に対し、該対話者から見
てモニタ画面の左右方向が４．５°以下，真上方向が１
２°以下および真下方向が８°以下であることが好まし
い。さらに、この視差角は、該対話者の視線に対し、該
対話者から見てモニタ画面の左右方向および前記上下方
向がそれぞれ３°以下であることが、理想的な視線一致
状態を実現するためにより好ましい。特に、図８に示す
ように、撮像デバイス２０５の光電変換面２０８に垂直
であって、該光電変換面２０８を通る線と上記第１対話
者とのなす角は、上述の視差角の範囲内である。

【００１６】また、撮像部が設置される視線一致領域
は、撮影される対話者の視線より高い領域であることが
好適である。特に、発明者による実験の結果、対話者と
モニタとの間を遮る撮像部は、該対話者から見てモニタ
上に表示された人物像の頭頂部近傍が該撮像部の設置位
置として好ましいことが確認された。

【００１７】位置規定手段によって特定された対話者か
らモニタまでの距離、及び、該対話者の視線と該モニタ
上に表示された人物像の視線とが一致したと判断される
所定の視差角、とによって定義される領域（視線一致領
域）内に、上記撮像部を設置する手段としては、第１
に、対話者とモニタ上の人物像の視線一致領域内に撮像
部自体を移動させる手段、第２に、モニタと対向する対
話者自身を移動させることにより、該対話者とモニタ上
の人物像の視線一致領域自体を移動させ、撮像部と該視
線一致領域の位置を相対的に変更する手段、第３に、モ
ニタ上の人物像を移動させ、同様に該モニタと対向する
対話者の視線とモニタ上の人物像の視線一致領域自体を
移動させる手段（なお、この第３の手段は後述する表示
制御部による画面分割時に人物像が表示される映像表示
領域を移動させるアルゴリズムとして有効である）があ
る。

【００１８】上記第１の手段は、上記端末装置に、モニ
タ上に表示された人物像の、該モニタ上の位置を認識す
る処理ユニットを設けるとともに、上記撮像装置に、撮
像部の設置位置を、該処理ユニットによって位置認識さ
れた人物像に対し相対的に移動させる駆動機構を設ける
ことにより実現することができる。実施の形態として
は、各端末装置ごとにこの第１の手段を行う場合と、第
１端末装置の処理ユニットで第２対話者のモニタ像の位
置認識を行い、該処理ユニットが所定の制御信号を第２
端末装置に送信することにより、該第１端末装置で該第
２端末装置を遠隔制御する場合とがある。

【００１９】また、第２の手段は、上記端末装置にモニ
タ上に表示された人物像の、該モニタ上の位置を認識す
る処理ユニットを設けるとともに、該処理ユニットによ
って位置認識された人物像の視線に対して撮影される対
話者の視線を調整する機構を上記位置規定手段に設ける
ことにより実現することができる。実施の形態として
は、各端末装置ごとにこの第１の手段を行う場合と、第
１端末装置の処理ユニットで第２対話者のモニタ像の位
置認識を行い、該処理ユニットが所定の制御信号を第２
端末装置に送信することにより、該第１端末装置で該第
２端末装置を遠隔制御する場合とがある。

【００２０】さらに、上記第３の手段を実現するため、
上記端末装置はモニタ上に表示される人物像の表示位置
を調節する処理ユニットを備える。この処理ユニット
は、受信されモニタ上に表示された該人物像に基づい
て、撮像部が本来存在すべき該モニタ像上における仮想
位置を基準点として特定し、続けて、該撮像部が実際に
設置されている位置に対応するモニタ上の座標と、得ら
れた基準点のモニタ上の座標に基づいて、該モニタ上に
表示された人物像のずれを検出する。もし、この人物像
が本来表示されるべきモニタ上の表示位置からずれてい
ると判断した場合には、この基準点のモニタ上の座標を
始点とするとともに、撮像部の設置位置に対応するモニ
タ上の座標を終点としたベクトルを算出し、そして、得
られたベクトルに基づいて、ずれている人物像をモニタ
上で平行移動させる。実施の形態としては、対話者自身
のモニタ像に対して行う場合（対話開始前の初期設定）
と、第２対話者のモニタ像に対して行う場合がある。特
に、後述する表示制部による画面分割動作（表示される
人物像の拡大・縮小動作を含む）の際、人物像（第１対
話者あるいは第２対話者のモニタ像）の表示サイズが任
意に変更されると、該像を表示する領域は該モニタ画面
上の任意の位置に設定可能であるので、この任意に表示
サイズが変更された人物像と対話者間で視線一致させる
場合、この第３の手段は特に有効である。

【００２１】なお、上記基準点は、受信されモニタ上に
表示された人物像の両方の目の、該モニタ上の各表示位
置をそれぞれ検出し、該両方の目の中央から該モニタの
上方に所定距離（例えば、１０ｃｍ程度）離間した、モ
ニタ上の位置とする。また、この基準点は、受信されモ
ニタ上に表示された人物像を２値化して該人物像の輪郭
を検出し、該人物像の頭頂部に相当するモニタ上の位置
として特定するようにしてもよい。

【００２２】撮像部を移動させる駆動機構は、対話者の
位置を一旦処理ユニットで認識し、該認識された対話者
の位置と撮像部の位置に基づいて、該撮像部の撮像方向
の角度を調整するよう構成してもよい。この駆動機構に
よる撮像部の角度調節により、該撮像部の撮像方向は上
記処理ユニットで位置認識された対話者の視線に自動的
に向けられる。さらに、撮像部を移動させる駆動機構
は、視線方向の平均一致を検出し、移動調心するにあた
って移動速度が所定値以下であり、視線方向の振れが所
定範囲内では調心動作を行わないように構成してもよい
（なお、この判断は処理ユニット等で行われる）。な
お、撮像部が移動すると該撮像部から出力される映像に
振れが生じるが、移動速度を制限するとともに移動を頻
繁に行わなわず必要最小限に押えることで違和感のある
ぶれの発生は避けられる。

【００２３】ここで、撮像部を移動させる上述の駆動機
構は、対話者及び表示部間に位置する部材の一部が透明
な材料で形成されていることが好ましい。

【００２４】次に、対話者の位置を規定する位置規定手
段は、表示部から所定距離離れて設置された高さ調整自
在の椅子（座高調節機構を備えた椅子）を含む。また、
対話者と表示部間に設けられたテーブルも位置規定手段
として機能する。当該システムでは、この位置規定手段
を利用し、撮影される対話者と表示部を０．５ｍ以上５
ｍ以下の距離だけ離している。このような構成とするの
は、上記位置規定手段により該対話者の前後左右の移動
が十分制限できるので、当該システムにおける対話者間
の視線一致には、該対話者の体格差等に起因する上下方
向の移動調整が最も有効だからである。

【００２５】なお、当該システムに適応される撮像部
は、例えば図２に示されたように表示部とは独立してい
てもよい。また、図７に示されたように表示部の一部に
支持機構により取り付けられてもよい。

【００２６】この発明に係る双方向対話型システムは、
遠隔地にいる対話者間におけるカウンセリング・システ
ムを志向しているので、有用なカウンセリング・データ
の収集や理想的なカウセリング環境を実現するため、種
々の構成及び機能を備えている。

【００２７】例えば、表示部における表示制御を行う表
示制御部は、該表示部に表示する映像を拡大・縮小する
機能を備えている。表示サイズは、対話者の心理的作用
に大きく影響するので、このお表示制御部でモニタ上に
おける映像表示領域の大きさを自由に設定することによ
り、対話の自由度が広がるとともに、快適な対話環境を
実現することができる。なお、縮小された人物像（モニ
タ像）は上述された第３の視線一致手段によりモニタ上
の表示位置が調整されるので、第１対話者と第２対話者
間での視線一致状態が保持される。

【００２８】また、伝送情報は対話者の画像及び音声の
他、文字・図形情報であってもよい。これにより、表示
部が伝送手段を介して受信した文字・図形情報に基づい
て文字または図形を人物像とともに表示することも可能
になる。すなわち、画像や音声のみならず、文字や図形
もあわせて表示することにより、より対話の円滑化が図
られる。

【００２９】文字または図形の表示方法としては、表示
された人物像に重ねて表示してもよい。また、モニタ画
面は文字または図形を表示する領域と人物像を表示する
領域とを分離してもよい。この画面分離の態様として
は、(1)モニタ画面を上下方向に分割し、上方側に人物
像を表示する、あるいは、(2)モニタ画面を左右方向に
分割し、片方向側又は中央部に人物像を表示する等の態
様が好ましい。なお、発明者は、(1)及び(2)の態様によ
っても、対話者と人物像間の視線一致は劣化しないこと
を確認した。この態様の応用例として、表示部は人物像
を表示する第１のモニタと、文字、図形等を表示する第
２のモニタを備えるなど、該表示部を複数構成としても
よい。

【００３０】さらに、当該システムでは、マン・マシン
・インターフェースとして、文字図形入力装置を備え
る。この構成により、表示部は文字図形入力装置から文
字図形入力制御部を介して入力された文字または図形の
表示が可能になるとともに、このように装置内に取り込
まれた文字または図形に応じた文字情報または図形情報
を相手方の端末装置へ向けて出力することも可能にな
る。なお、このような文字図形入力装置は、対話者のい
る第１地点または第２地点のいずれか一方の端末装置に
のみ設ける構成としてもよい。

【００３１】以上のように、当該システムが文字図形入
力装置を備えることにより、文字や図形を交えての対話
が行え、よりスムースな対話が可能となる。なお、この
ような文字図形入力装置としては、キーボード装置、対
話者の手元に配置されたペン入力装置（タッチパネル）
を採用することが可能である。また、このようなキーボ
ード装置とペン入力装置との双方を備えることとして適
宜選択可能とすることにより、さらにスムースな対話が
実現できる。さらに、文字図形入力装置は、表示されて
いる文字または図形を指し示すポインタ位置を入力する
ポインティング・デバイスを備えてもよい。ポインタに
よる位置指示により、各時点での対話対象を特定するこ
とが可能となる。なお、このような文字図形入力装置等
を利用し、入力された対話者の音声を認識して文字情報
に変換して表示することにより、スムースな対話（ある
いはカウンセリング）の成立にとって有効である。

【００３２】当該双方向対話型システムは、音声出力部
として、対話者の側面、かつ、耳元近傍に配置されたス
ピーカを備える。耳元で囁かれることにより親密感を向
上するからである。この音声出力部としてはヘッドホー
ンが代表的である。

【００３３】次に、当該システムは音声入力部として望
遠マイクを備える。マイクは、テーブル付きや胸元に付
けるものを採用することも可能であるが、テーブル付き
マイクは対話の意識障害になったりする場合がある。ま
た、胸元マイクは過って離席するとコードが破損する場
合がある。そこで、存在を意識しないですむ望遠マイク
を表示部の上部に配置するか、表示部に組込んでおくこ
とが望ましい。特に、視線は既に認識されているので、
口元へ集音方向を向けることにより指向性を上げること
が可能になる。

【００３４】また、上記音声入力部から音声信号を取り
込む音声・音響データ処理部は、集音音量を制御する音
声入力の増幅調整機能を有する。ここで、音声・音響デ
ータ処理部は、集音した音声の出力音量を所定レベルの
音量に自動調整する。また、音声・音響データ処理部
は、集音音量の所定時間での平均レベルを検出するとと
もに、集音音量と平均レベルとの差が所定値以上の場合
に音量の自動調整を行うように構成してもよい。

【００３５】このとき、表示部は上記音声・音響データ
処理部における出力音量（相手側に出力される対話者自
身の音量）を表示する。マイクが直接見えない状態で画
面内の人間に語りかけるという行為は、慣れないと自分
の音量をどれくらいにしてよいか判断に迷うものなの
で、語りかけの音量を調整することにより、円滑な対話
の便宜が図られる。また、対話者の出力音量をモニタ画
面に表示して対話者自身に認識させることにより、この
出力音量が伝送に適切かどうかを対話者自身へフィード
バックすることができる。

【００３６】一方、音声出力部を制御する音声・音響出
力制御部は、背景音楽（ＢＧＭ）を出力するとともに、
対話音量を検出して背景音楽の出力音量を調節する機能
を備えている。ここで、音声・音響出力制御部は、対話
音量が所定時間にわたって略零であることを検出すると
ともに、検出結果に基づいて、少なくとも、背景音楽を
開始、背景音楽の音量の増加調整、及び背景音楽の音量
の減少調整を行う。また、音声・音響出力制御部は、対
話者の音声の聞き取りに支障を起こさないよう、該対話
者の音声の音量を検出して、背景音楽の音量を調節する
ことにより、対話者の心を落ち着かせる背景音楽を該相
手側対話者の音声に重畳させて音声出力部から出力させ
てもよい。特に、沈黙が継続した場合に背景音楽を開始
したり音量を変化させると対話者の緊張が解け、対話者
をなごませることができる。

【００３７】さらに、当該双方向対話型システムでは、
各端末装置がモニタの表示画面を印刷するプリンタ、該
表示画面の情報を格納する格納手段を備えている。該格
納手段は、少なくともＩＣ（integrated circuit）を備
えたカード形状の記録媒体であって、例えば、光カー
ド、ＩＣカード、光ディスク、または光磁気ディスクが
使用でき、対話中の情報、特に対話中で使用した文字や
図形の情報の保存が可能となる。

【００３８】当該システムのセキュリティを維持するた
めは、各撮影装置が対話者の人物確認を行う人物認証部
を備えるのが好ましい。人物確認後に対話動作を開始す
ることにより当該システムのセキュリティが充分維持で
きるからである。ここで、人物認証部は認証用データが
書き込まれた記憶媒体から認証用データを専用の読取装
置から読み取り、この読み取り結果に基づいて人物確認
を行うように構成してもよい。なお、上記記憶媒体は、
少なくともＩＣを備えたカード形状の記録媒体であっ
て、例えば、光カード、ＩＣカード、または磁気カード
が使用可能である。さらに、この人物認証部は(1)対話
者の顔の分析結果に基づいて人物確認を行う、(2)対話
者の声の音声分析結果に基づいて人物確認を行う、ある
いは(3)対話者のサイン文字の文字分析結果に基づいて
人物確認を行う、さらに、(4)対話者のメッセージ文章
の文章分析結果に基づいて人物確認を行うこととしても
よい。このような人物認証により、対話者の特定が可能
となる。認証方法は、機密内容に応じて使い分けること
が好ましい。なお、上記のメッセージ文章の文章分析と
は、例えば、「ＸはＹである。」という文章に対して、
ＸおよびＹに入れられた文字とその人のデータベースや
指定された人物の暗号データベースとの照合分析をい
う。

【００３９】さらに、これらＩＣカード等のカード形状
の外部記録媒体を用いて、対話の予約や、指定された相
手側対話者の認証や、予約された対話時刻、予め設定さ
れた対話時間等の対話条件の認証や、制御を行ってもよ
い。もちろん、料金の電子決済の手段としての利用も可
能である。また、対話内容もまとめや宿題事項等の記録
に上記記録媒体を利用すると、次回のカウンセリングや
コミュニケーションの時に便利である。ＩＣカード等の
記録媒体に予め対話開始時刻や対話相手（相手側対話
者）等のデータを入力しておけば、該データに基づいて
例えば電子掲示板システム等のネットワーク上で相手側
端末装置の検索が可能となり、その検索結果を基づいて
第１対話者及び第２対話者がどこにいても特定の第１地
点と第２地点にある各端末装置間を回線接続して、該第
１及び第２対話者間における対話環境を構築することが
できる。また、上記記録媒体（ＩＣカード等）に相手側
対話者の名前、顔（画像データ）、対話事項（対話の主
題等）を入力しておき、これらの情報を対話開始の前に
所定期間（例えば３０秒程度）だけ対話者自身にモニタ
表示しておくことにより、該対話者自身の対話に対する
精神的な準備ができ、対話の主題に入りや易くなる。こ
の時、ＢＧＭや音声等が連動して出力されれば、該対話
者にとってより快適な対話環境の提供が可能になる。上
述のモニタ表示は必要に応じて対話中及び／又は対話後
にも行うことが効果的である。特に、対話終了後に上述
のモニタ表示を行うことにより、対話者は、対話のまと
め等をスムースに進めることができる（対話終了後の該
モニタ表示の時間は、該対話者にとって対話終了から別
の作業までの精神的な準備期間となる）。

【００４０】次に、上述した位置規定手段としてのテー
ブルは、対話者と表示部との間に、一方の端が対話者に
面し、他方の端が表示部と略接するように配置される。
ここで、テーブルは、(1)対話者が椅子に座った状態で
胸部より上がテーブルより高くなる高さに設定される、
(2)対話者が立った状態で胸部より上がテーブルより高
くなる高さに設定されることとしてもよい。このような
構成により、テーブルを介した連続感が生じるので、相
手方との相対距離（心理的距離）がわからなくなること
によって生じる不安感を低減する。この場合、表示部と
テーブルとが接することが望ましいが、心理的障害とな
らない隙間（例えば、数１０ｃｍ以下）があってもよ
い。

【００４１】次に、当該双方向対話型システムでは、端
末装置が対話者の対話時間を統計分析処理する対話処理
部を備えている。ここで、対話処理部は総合計対話時
間、平均対話時間、及び対話回数を算出し、表示部に該
総合計対話時間、該平均対話時間、該対話回数、及び該
対話時間の回数分布を表示することとしてもよい。さら
に、端末装置における音声・音響データ処理部は、対話
者の音声スペクトルまたは伝送されてきた音声情報に応
じた音声スペクトルを統計分析処理する。ここで、統計
分析処理とは、対話者の音声スペクトルまたは伝送され
てきた音声情報に応じた音声スペクトルを経時的に分析
し、平均スペクトルおよび所定の値以上変化した音声ス
ペクトルを検出することをいう。

【００４２】次に、当該システムの各端末装置は、対話
者の発した所定の用語または伝送されてきた音声情報に
応じた音声における所定の用語を検出する対話処理部を
備える。また、該端末装置は、対話者または伝送されて
きた人物像の頭、上半身、または手の移動軌跡、移動変
化量、移動速度、または移動加速度を分析する位置変化
分析手段を備えてもよい（なお、この分析は処理ユニッ
ト等で行われる）。

【００４３】カウンセリングなどを行う場合には、対話
時間分析、音声スペクトル分析、所定用語分析、また
は、身体動作分析といった対話状況分析をすることによ
り、該対話状況の定量化が可能となる。

【００４４】当該双方向対話型システムにおける伝送手
段は、互いに離れた第１の地点と第２の地点との間で互
いに独立な伝送路が複数確保されており、複数の伝送路
の少なくとも１つは、音声情報を伝送する音声伝送路で
ある。ここで、上記伝送手段は、既に敷設された電話回
線網等のネットワークを含み、さらに種々のデータベー
スを備えた電子掲示板システム（BBS:Bulletin Board S
ystem）も含む。また、当該システムは、対話使用中の
伝送路が故障を検出し、使用する伝送路を切換えるバッ
クアップ・システムを備えている。したがって、対話中
における伝送路の故障が発生した場合には、他の伝送路
を使用して対話を継続することができる。こうした場
合、他の伝送路では少なくとも音声の伝送を確保するこ
とが好ましい。なお、一般に、回線異常は、同軸ケーブ
ル、光ファイバケーブル、または伝送装置の異常が原因
と考えられるので、他の伝送路は無線系としておくこと
が好ましい。

【００４５】

【発明の実施の形態】以下、この発明に係る双方向対話
型システムの一実施形態について図１〜図２４を用いて
説明する。

【００４６】図１は、この発明に係る双方向対話型シス
テム全体を示す論理構成図である。このシステムは、Ａ
地点（第１地点）にいる対話者３Ａ（第１対話者）とＢ
地点（第２地点）にいる対話者３Ｂ（第２対話者）との
間で双方向対話を実現するシステムである。特に、この
システムは遠隔地にいる対話者間でも親密な信頼関係を
確立し綿密なコミュニケーションを実現するカウンセリ
ング・システムを志向したシステムであるので、少なく
とも一方の対話者として、教師、医師、心理学者などの
カウンセラを想定している。したがって、このシステム
はこれらカウンセラがカウンセリングを行うために必要
な情報、及び理想的なカウンセリング環境を提供できる
よう種々の機能及び構成を備える。

【００４７】具体的には、Ａ地点において、（ａ）対話
者３Ａ（例えはカウンセラ）が座る椅子４Ａと、（ｂ）
対話者３Ａが向かうテーブル２Ａと、（ｃ）伝送手段２
７を介して対話者間の視線を一致させるための機構を備
えた端末装置２０Ａとが設置される。一方、Ｂ地点に
は、（ａ）対話者３Ｂ（例えばカウンセリングを受ける
クライアント）が座る椅子４Ｂと、（ｂ）対話者３Ｂが
向かうテーブル２Ｂと、（ｃ）伝送手段２７を介して対
話者間の視線を一致させるための機構を備えた端末装置
２０Ｂとが設置される。ここで、伝送手段２７は、Ａ地
点の端末装置２０ＡとＢ地点の端末装置２０Ｂとの間で
画像情報及び音声情報の送受信を可能にするため、大容
量伝送を可能にする光ファイバ伝送路３１（主伝送路）
及び衛星通信伝送路３２（バックアップ用伝送路）等を
含む。なお、この伝送手段２７は有線、無線のいずれで
あってもよい。また、伝送手段は、既に敷設された電話
回線網等のネットワークを含み、さらに種々のデータベ
ースを備えた電子掲示板システム（BBS:Bulletin Board
System）も含む。

【００４８】Ａ地点において、上述の椅子４Ａは各対話
者３Ａの位置を規定するために機能する。この椅子４Ａ
は端末装置２０Ａの表示部２１Ａとの距離を一定に保つ
ために固定されるのが好ましい。しかし、該椅子４Ａが
固定されていない場合であっても、テーブル２Ａを対話
者３Ａと表示部２１Ａに設置することによりこの椅子４
Ａと表示部２１Ａとの距離を一定に保つことが可能にな
る（発明者の実験により、テーブル２Ａの存在が対話者
３Ａの心理的な距離の基準となる事実が確認された）。
なお、相手側の対話者３Ｂ（例えば、カウンセリングを
受ける者等）がいるＢ地点の端末装置２０Ｂの構成も同
様である。

【００４９】Ａ地点において、端末装置２０Ａは、(1)
Ｂ地点の端末装置２０Ｂから伝送手段２７を介して伝送
されてきた画像情報に基づいて対話者３Ｂの像などを表
示する、テーブル２Ａの上に配置された、モニタＴＶ１
Ａを備えた表示部２１Ａと、(2)ＣＣＤカメラ５Ａで撮
像された対話者３Ａの像を画像情報として取り込み、Ｂ
地点の端末装置２０Ｂへ向けて伝送するための撮像ユニ
ット６Ａと、(3)Ｂ地点の端末装置２０Ｂから伝送手段
２７を介して伝送されてきた音声情報に基づいて対話者
３Ｂの音声を出力するための音声出力部２３Ａ（スピー
カ）と、(4)対話者３Ａの音声を音声情報として集音
し、Ｂ地点の端末装置２０Ｂへ向けて伝送するための音
声入力部２４Ａ（マイク）を備える。さらに、このシス
テムはカウンセリング・システムとしてより綿密なコミ
ュニケーションを実現するため、(5)対話者３Ａが文字
や図形を入力し、入力された文字や図形を表示部２１Ａ
に表示するとともに、文字図形情報としてＢ地点の端末
装置２０Ｂへ向けて伝送するための文字図形入力部２５
Ａ（キーボード、ポインティング・デバイス、タッチパ
ネルなどのインターフェース）と、(6)上記各構成要素
と伝送手段２７との間に設けられ、信号処理および伝送
制御を行う処理部２６とを備える。なお、Ｂ地点の端末
装置２０Ｂも、上述したＡ地点の端末装置２０Ａと同様
に構成されている。

【００５０】さらに、Ａ地点及びＢ地点の端末装置２０
Ａ、２０Ｂにおいて、撮像装置６００Ａ、６００Ｂの構
成を説明する。なお、説明の都合上、Ａ地点及びＢ地点
の各端末装置２０Ａ、２０Ｂに共通する構成要素につい
て言及する場合には、例えば撮像装置６００のように、
各地点を区別する文字Ａ、Ｂを省略して説明する。ま
た、特に説明がされていない場合には、原則としてＡ地
点の端末装置２０Ａについて説明しているものとして、
共通する構成を有するＢ地点の端末装置２０Ｂについて
は重複する説明は省略する。

【００５１】この撮像装置６００は、撮像部である超小
型ＣＣＤカメラ５（５Ａ）、該ＣＣＤカメラ５を支持し
た状態で所定位置に設置するための支持機構１０（第１
実施形態を図２に示す）、及び該ＣＣＤカメラ５を制御
するための撮像ユニット６（６Ａ）とを備える。モニタ
ＴＶ１（１Ａ）はテーブル２（２Ａ）の上に載置されて
おり、対話者３（３Ａ）はこのモニタＴＶ１から距離Ｌ
（ｍ）離れて置かれた高さ調整機構４０（４０Ａ）を備
えた椅子４（４Ａ）に座っている。この距離Ｌ（ＬＡ）
は０．５ｍ以上５ｍ以下に設定される。撮影される対話
者３およびモニタＴＶ１間には、外径φ２０ｍｍ以下，
長さ約１００ｍｍの円筒状の超小型ＣＣＤカメラ５が設
けられている。また、このＣＣＤカメラ５はその撮像方
向が撮影される対話者３に向けられるよう設置されてい
る。そしてカメラ５で撮像された対話者３の像は、画像
情報として撮像ユニット６から他方の対話者側に伝送さ
れる（伝送手段２７を介してＢ地点の端末装置２０Ｂに
伝送される）。なお、対話者によっては表示部２１と該
対話者間の間隔が弱冠ずれる可能性もある。したがっ
て、このような状況にも対処すべく、ＣＣＤカメラ５は
焦点深度の深いものを選択するのが好ましい。

【００５２】次に、超小型ＣＣＤカメラ５の具体的な設
置位置を図２を用いて説明する。

【００５３】まず、撮像装置６００の撮像ユニット６は
伝送されてきた他方の対話者の像を表示するための表示
部２１上に設置される。この撮像ユニット６本体にはカ
メラ５によって撮影された対話者自身の像（カメラケー
ブル５０を介して撮像ユニット６に取り込まれる）の表
示と、伝送されてきた他方の対話者３Ｂの像の表示を切
り換えるための、切り換えスイッチ６ａの他、種々の調
節用スイッチ６ｂが設けられている。なお、スイッチ２
１０はモニタＴＶ１の電源をオン／オフする電源スイッ
チ等を含む。ＣＣＤカメラ５は、伝送されたきた他方の
対話者３Ｂの像９が表示されるモニタ画面８の前方の所
定位置に支持機構１０（ロボット・アーム）によって設
置される。なお、このモニタ画面８は４インチ以上で４
０インチ程度の画面である。

【００５４】具体的には、ＣＣＤカメラ５はモニタ画面
８から前方ｗ（ｃｍ）の位置であって、該モニタ画面８
に表示された対話者像９の頭部９ａ付近に配置される。
円筒状ＣＣＤカメラ５の中心軸は、点線で示す対話者像
９の目の位置の上方ｈ（ｃｍ）の部位に位置している。

【００５５】このように超小型のＣＣＤカメラ５は、大
型モニタＴＶ１の画面８に表示された対話者像９の目の
位置より上の頭部付近に位置しているため、双方向対話
に特別な支障は生じない。例えば、ＣＣＤカメラ５が画
面８に表示された対話者像９の目の位置（図中、点線で
示す位置）の上方ｈ＝約１０（ｃｍ）に設けられ、モニ
タＴＶ１および対話者３間の距離Ｌが約２．５（ｍ）に
設定されているシステム構成の場合、視差角は２．３°
で十分検知限界の視差角３°を下回ることが可能である
（モニタ画面８とＣＣＤカメラ５の間隔ｗが１０（ｃ
ｍ）程度ある場合でも、視差角の変動には特に影響はな
い）。つまり、発明者は、実験の結果、視線一致時に相
手の目（モニタが面８に表示された他方の対話者３Ｂの
像の目）がはっきりと見えれば、その頭部辺りに超小型
のカメラ５が設けてあっても、モニタＴＶ１の画面８が
大型であれば、双方向対話に支障はほとんどないことを
確認した。この画面８の大きさは、実験の結果、横３５
ｃｍ，縦２６ｃｍ程度以上の大きさがあれば良好な双方
向対話が実現できることが確認された。なお、相互の対
話者が知人同志であれば、画面の大きさは小さくとも心
理的な障害も少ない傾向を示す結果も得られており、画
面サイズに関しては用途に応じて使いわけるとよい。

【００５６】次に、図１の撮像装置６００のカメラ支持
機構１０であるロボット・アームを構造を図３を用いて
説明する。

【００５７】このロボット・アームは第１ロッド１０１
ａ、第２ロッド１０２ａ、及びカメラ５を把持するホル
ダ部１０３ａから構成されている。そして、撮像ユニッ
ト６本体と第１ロッド１０１ａは第１ジョイント部１０
０によって、第１ロッド１０１ａと第２ロッド１０２ａ
は第２ジョイント部１０１によって、そして、第２ロッ
ド１０２ａとホルダ部１０３ａは第３ジョイント部１０
２によって回転可能に接続されている。特に、第３ジョ
イント部１０２は特殊な回転を可能にするためホルダ部
１０３ａと直接回転可能に接続される突起部１０３を備
える。第１ジョイント部１００は自身が矢印１００ｂで
示される方向に回転可能であるとともに、第１ロッド１
０１ａの矢印１００ｃで示される方向の動きを可能にす
る。第２ジョイント部１０１は第２ロッド１０２ａを支
持するとともに、第２ロッド１０２ａの矢印１０１ｂで
示される方向の動きを可能にする。第３ジョイント部１
０２は突起部１０３の矢印１０２ｂで示される方向の動
きを可能にする。また、突起部１０３とホルダ部１０３
ａは矢印１０３ｂで示される方向に角度を変えることが
できる。当該ロボット・アーム（支持機構の第１実施形
態）の以上の構成は、カメラ５を所望の位置に設置する
ことを可能にするとともに、該カメラ５の角度も調節す
ることを可能にする。したがって、ロボット・アームに
より、該ＣＣＤカメラ５の設定位置及び撮像方向５ａは
自由に設定することができる。

【００５８】次に、撮像装置６００の応用例として、他
の支持機構（第２実施形態）を備えた撮像装置６０１の
構造を図４〜図６を用いて説明する。

【００５９】該撮像装置のカメラ支持機構は対話者３Ｂ
の像が表示されるモニタが面８の前方に設置されるた
め、透明糸やテープ、ガラス，アクリル等の透明板とい
った非常に安価な光透過性の材料で構成するのが好まし
い。モニタ画面８の表示を妨げないからである。

【００６０】図４に示された撮像装置６０１は、ＣＣＤ
カメラ５を一方の端部に固定して支持するとともに、モ
ニタ画面８前方の所定位置に設置するための、光透過性
材料からなる支持部材１１０と、該透明支持部材１１０
の他端を把持し該透明支持部材１１０全体を支持する台
座部６１を備える。特に、台座部６１は撮像装置６０１
の撮像ユニット６内部に収納され、データ処理部等の機
能を実現する回路基板６ｃも該撮像ユニット６内に収納
されている。なお、図中、６２はＣＣＤカメラ５の設置
位置を移動させるため、台座部６１自身を駆動制御する
電気信号を回路基板６０から駆動機構（図５及び図６）
に伝える複数の配線（リボン）である。

【００６１】ＣＣＤカメラ５の水平・垂直方向の移動
は、図５に示された機構により実現される。すなわち、
透明支持部材１１０を支持する台座部６１は第１の移動
用テーブル６３ａ上に設置されており、ワイヤ６４によ
って水平方向の位置が規定されている。したがって、第
１モータ６５がワイヤ６４をいずれかの方向に引っ張る
ことにより、該台座部６１は矢印６３ｃで示された方向
に移動する。また、第１の移動用テーブル６３ａも第１
モータ６５とともに第２の移動テーブル６３ｂ上に設置
されており、ワイヤ６７によって垂直方向の位置が規定
されている。したがって、第２モータ６６がワイヤ６７
をいずれかの方向に引っ張ることにより、該第１モータ
６５を含む第１の移動用テーブル６３ａ全体が矢印６３
ｄで示された方向に移動する。

【００６２】一方、ＣＣＤカメラ５の角度調節は、図６
に示された機構により実現される。すなわち、台座部６
１は一対の板材６８ａ、６８ｂとこれら板材の間隔を規
定する間隔調節部６９から構成されている。この時、透
明支持部材１１０はばね部材７０により矢印７０ａで示
された方向に押し上げられている。このような構成にお
いて、コネクタ６２ａで接続されている配線６２を介し
て回路基板６０から出力された制御信号（電気信号）に
したがって、間隔調節部６９が矢印６９ａで示された方
向に板材６８ａ、６８ｂの間隔を調節することにより、
該透明支持部材１１０は矢印１１０ａで示される方向に
角度調節される。換言すれば、透明支持部材１１０を矢
印１１０ａで示される方向に角度調節することにより、
ＣＣＤカメラ５の撮像方向５ｂの角度を変えることがで
きる。

【００６３】表示部２１は、モニタＴＶに代えて、フラ
ズマディスプレイや液晶ディスプレイを採用することが
できる。このような表示装置を利用する場合には、図７
に示すように、ＣＣＤカメラ２００を表示装置のハウジ
ング２１０に予め組み込んだ構造が好ましい。図７の表
示装置はハウジング２１０で支持されたモニタ画面２２
０の所定位置に貫通孔２３０が設けられており、該ＣＣ
Ｄカメラ２００の先端部分を直接貫通させ、かつ該モニ
タ画面２２０の前方に該先端部分が位置する構造を備え
ている。

【００６４】具体的な構造を図８に示す。この図８は図
７のＸ−Ｘ線に沿った表示装置の断面構造を示す図であ
る。図に示されたように、ＣＣＤカメラ２００の鏡筒２
０１にはハウジング２１０に取付可能にするため、球形
の突起部２０２が設けられている。鏡筒２０１内部には
撮像デバイス２０５と結像光学系２０３が組込まれてお
り、該撮像デバイス２０５によって検出された電気信号
は電子回路部２０６からカメラケーブル５００を介して
外部のデータ処理部に送られる。また、該鏡筒２０１
は、結像光学系２０３を構成するレンズのうち少なくと
も１枚のレンズを該鏡筒２０１の軸方向に移動可能にす
る構造を備えており、当該ＣＣＤカメラ２００のピント
は調節用ツマミ２０４によって行われる。

【００６５】なお、この発明に係る双方向対話型システ
ムにおいては、撮像部であるカメラ２００撮像デバイス
２０５の光電変換面２０８に垂直であって、該光電変換
面２０８を通る線５ｅと３対話者とのなす角は、上述の
視差角の範囲内である。この線分５ｅは該カメラ２００
の撮像方向と略一致している。そして、表示部に取り付
けられたカメラ２００は、該鏡筒２０１の所定部分を中
心に、図中矢印２０７で示された方向に該鏡筒２０１の
鏡筒軸（図中の線分５ｅに一致している）を移動させる
ことにより、該カメラ２００の撮像方向（図中の線分５
ｅに一致している）を変えることができる。

【００６６】以上のような構造を備えたＣＣＤカメラ５
は、ハウジング２１０に直接取り付けられる把持部材２
４０、２５０がＣＣＤカメラ５の突起部２０２を把持す
ることにより取り付けられる。なお、該鏡筒２０１の突
起部２０２は球形であるので、ＣＣＤカメラ２００の角
度は自由に変更することができ、これにより、該ＣＣＤ
カメラ２００の撮像方向５ｃを所望の方向に向けること
が可能となる。なお、図９は図８に示された構造を実現
するための組立工程を示す図である。この図において、
把持部材２４０、２５０はボルト２５２、２５３、２５
４によって固定される。また、図中、２５５は把持部材
２５０に設けられた、ボルト挿入用の貫通孔である。

【００６７】さらに、図１０はＣＣＤカメラ５と表示部
とを一体的に構成した端末装置を示す図である。図１０
の端末装置には、矢印２６０ａで示された方向（上下左
右）にＣＣＤカメラ２００を駆動するカメラ駆動機構２
６０が設けられている。このカメラ駆動機構２６０によ
りＣＣＤカメラ２００の撮像方向５ｄは図中点線で示さ
れた方向に変更することが可能となる。なお、ＣＣＤカ
メラ２００によって撮影された画像は撮像データ処理部
６０に取り込まれ、伝送手段２７を介して他方（Ｂ地
点）の端末装置２０Ｂに送られる。また、この実施形態
ではカメラ駆動機構２６０の制御は撮像データ処理部６
０で行われる。さらに、この実施形態では、撮像データ
処理部６０が処理ユニット２６内に構成されているが、
図１に示されたように独立に構成してもよい。

【００６８】次に、視差角について、図１１を用いて説
明する。この明細書において、視差角とは、図１１に示
すように、モニタ画面８に表示された像９へ向けられ
た、撮影される対話者３の視線と、ＣＣＤカメラ５へ向
けられた、該対話者３の視線とがなす角度θを言う。換
言すれば、対話者３の視線に対するＣＣＤカメラ５の設
置位置のずれ角を意味している。また、ここでいう視線
一致とは、昭和４２年電気四学会連合大会（Ｎｏ．１９
９８）で報告されているように、ＣＣＤカメラ５の設置
位置による不自然さの許容限界以下を意味している。定
量的には、視差角として、左右方向４．５°以下（像９
の目の中心Ａに対し、該像９の両こめかみ側），真上方
向１２°（像中心Ａに対し、像９の頭部９ｂ側），真下
方向８°（像中心Ａに対し、像９の胴体側）以下を視線
一致範囲内としている。もちろん、この視差角は小さい
方が良く、左右上下方向３°以下が検知限界とされてい
る。したがって、ＣＣＤカメラ５が設置可能な領域は、
図１２に示された円錐領域である。なお、この円錐領域
は、対話者３の目３０とモニタ画面８に表示された像９
の中心点Ａ（この実施形態では、像９の両目の中心を像
９の中心点Ａとして定義している）とを結ぶ該対話者３
の視線３１に対し、所定距離Ｌ（ｍ）離れた時のモニタ
画面８上の視線一致領域９ｂ、及び、該対話者３の目３
０の位置とで規定される。

【００６９】一方、ＣＣＤカメラ５をモニタ画面８に表
示されたＢ地点の対話者３Ｂの像９の目の位置（例え
ば、像中心Ａ）に対する一定領域内であって、例えば、
像９の目の位置から上方約１０ｃｍに設置させる手段と
して、次の３つの手段がある。

【００７０】第１の手段は、ＣＣＤカメラ５自体をモニ
タ画面８に対して移動させるものである。この第１の手
段を実現するため、モニタ画面８に表示された対話者３
（Ａ地点及びＢ地点の対話者３Ａ、３Ｂのいずれでもよ
い）の像９のモニタ画面８内における位置を画像認識処
理する撮像データ処理部６０（例えば、図１０に示され
たように）と、位置認識された像９に対し、ＣＣＤカメ
ラ５がモニタ画面８内の上記一定領域に設置されるよ
う、該ＣＣＤカメラ５を移動させる駆動機構（例えば、
図３に示されたロボット・アーム、図５、６、及び８に
示された機構）が撮像ユニット６に設けられている。

【００７１】第２の手段は、撮影される対話者３自身を
モニタ画面８に対して移動させるものである。この第２
の手段は、上記撮像データ処理部６０で、モニタ画面８
に表示された対話者３自身の像９の、該モニタ画面８内
における位置を画像認識処理させるとともに、位置認識
された対話者３自身の像９に対して撮影される対話者３
自身の位置を調整する人物位置規定手段を設けることに
より実現できる。この人物位置規定手段としては、例え
ば、対話者３が座る椅子４が好ましい。また、各対話者
ごとの座面高さの調整は、この椅子４に設けられている
座高調節機構４０を調節することにより可能である。な
ぜなら、椅子４の設置位置（モニタ画面８からの距離
等）は予め固定されるので、一旦対話者３が椅子４に座
ると、対話者３に対する左右方向の位置調整は不要にな
るからである。すなわち、対話者の位置を決めるための
不確定要素は、各対話者間の体格差に起因する上下方向
のずれのみであることから、各対話者ごとに座高調整を
行うことにより、充分第２の手段を実現することができ
る。

【００７２】第３の手段は、モニタ画面８に表示される
対話者３（Ａ地点及びＢ地点の対話者３Ａ、３Ｂのいず
れでもよい）の像９を、予め設置位置が固定されたＣＣ
Ｄカメラ５に対して相対的に移動させるものである。こ
の第３の手段は、上記各手段と同様に、まず、撮像ユニ
ット６に設けられた撮像データ処理部６０により、モニ
タ画面８内における像９の位置を認識し、そして、この
像９の表示位置を移動させる必要がある。これにより、
相対的にＣＣＤカメラ５を上記一定領域に存在させるこ
とができる。

【００７３】次に、図１３のフローチャートを用いてＣ
ＣＤカメラ５の初期設定動作（視線一致のための初期設
定動作）を説明する。なお、この設定動作を概念的に説
明するための図を図１５に示す。

【００７４】まず、対話者３は自分をＣＣＤカメラ５に
撮影させ（ステップＳＴ１）、該ＣＣＤカメラ５によっ
て撮影された自己の像９を表示部２１のモニタ画面８に
表示させる（ステップＳＴ２）。このとき、ＣＣＤカメ
ラ５の設置位置が対話者３の視線（対話者の目と像９の
中心点Ａを結んぶ線）と一致していると（視差角が０
゜）、該ＣＣＤカメラ５の存在が対話障害を引き起こ
す。

【００７５】そこで、このＣＣＤカメラ５を上方へΔｈ
だけ移動させ（ステップＳＴ３）、対話障害にならない
位置であって視線一致の許容領域内（例えば、図１２に
示された領域）に該ＣＣＤカメラ５を設置し直す。すな
わち、該ＣＣＤカメラ５を対話者３から見て像９の頭髪
部分９ｂに重なるよう設置する。

【００７６】以上のように、ＣＣＤカメラ５の設置位置
をΔｈだけ移動させると、ＣＣＤカメラ５の撮像方向も
実際の対話者３に向けられなくなる。そこで、ＣＣＤカ
メラ５の移動に合わせて該ＣＣＤカメラ５の設置角度を
Δθだけ下方修正する（ステップＳＴ４）。このよう
に、対話者３とモニタ画面８との距離Ｌに対する移動量
Δｈの関係から決定される視差角が３゜以内になるよ
う、ＣＣＤカメラ５の設置位置及び設定角度を予め調整
することにより、視線一致状態を保持できる。

【００７７】具体的には、対話者３が身長の低い子供の
場合、椅子４の座高調節機構４０により該子供の座高高
さを調節するとともに、ＣＣＤカメラ５の角度を下方に
修正し、さらに、モニタ画面８に表示されている像９そ
のものを移動させるのが好ましい。

【００７８】一方、モニタ画面８に表示される対話者３
（Ａ地点及びＢ地点の対話者３Ａ、３Ｂのいずれでもよ
い）の像９を移動させる動作を図１４のフローチャート
を用いて説明する。なお、図１６は、この画像移動処理
を概念的に説明するための図である。また、この画像移
動処理は撮像ユニット６の撮像データ処理部６０あるい
は処理ユニット２６（表示制御部２８５）で行われる。

【００７９】まず、受信した相手側対話者あるいは自己
の、モニタ画面８に表示された像９から基準点を特定す
る（ステップＳＴ５）。この基準点は像９の目の位置
（図中点線で示す）の中心（点Ａ）から上方１０ｃｍの
点、あるいは２値化処理することにより容易に得られる
該像９の輪郭のうち、像９の頭頂部に相当する点（ＣＣ
Ｄカメラ５が本来存在すべき位置）とする。

【００８０】続いて、現実のＣＣＤカメラ５の設置位置
に相当する位置８１を、モニタ画面８の絶対座標８０か
ら求め、すでに得られた基準点の位置８２と該現実の位
置８１とのずれ量が許容範囲内であるか否かを判断する
（ステップＳＴ６）。もし、この段階ですれ量が許容範
囲を超えていれば、像９の表示位置がずれていると判断
し、該基準点の座標８２を始点とし、該現実の位置８１
を終点とするベクトク８３を算出する（ステップＳＴ
７）。そして、図１６に示すように得られたベクトル８
３に基づいて、ずれている像９を平行移動させる（ステ
ップＳＴ８）。

【００８１】この発明の主旨からして伝送手段を介して
対話者間の視線を一致させる手段は、上述した第１から
第３のどの手段を用いても構わず、また、これら手段を
組み合わせて用いても良い。双方向対話においては、対
話者双方の各椅子４のモニタＴＶ１からの距離Ｌをある
範囲に固定し、上述した第２の手段によって各椅子４の
高さを座高調節機構４０によって上下方向に調整すれ
ば、モニタ画面８内に表示される対話者３の像９の顔の
位置はほぼ一定領域内に存在することになる。なお、対
話者ごとの顔の大きさ、目の位置等の微調整が必要とさ
れる範囲は、実験の結果、数ｃｍ〜数１０ｃｍ以内であ
ることを発明者は確認した。したがって、この微調整
は、上述した第２の手段によってモニタ画面８に表示さ
れた対話者３の像９の表示位置を移動させるのが有効で
ある。この表示移動により、椅子４の座高調節機構４０
の調整だけで対話者相互の視線一致を容易に図ることが
可能となる。また、ＣＣＤカメラ５の側に複雑な移動メ
カニズムや光学処理装置を設けなくても済む。上述した
実施形態では、ＣＣＤカメラ５の設置位置をモニタ画面
８に表示された対話者３の像９の目の位置から上方１０
（ｃｍ）の位置としたが、上記第３の手段による画像表
示移動によれば、この距離ｈを容易に変更することがで
きる。

【００８２】この実施形態の撮影装置６００は、通常市
販されているＴＶ装置に後付けすることが可能である。
よって、反射／透過を切り替える表示装置を用いる前述
した第２の従来技術のように専用機を開発する必要はな
く、安価に上述の撮影装置を実現することができる。ま
た、前述した第１および第３の従来技術のように特殊な
ハーフミラーや反射ミラーなどの光学部品を一切必要と
しない。よって、装置構成が簡略化されるとともに、ミ
ラーによって対話者像が暗くなるといったこともない。
また、広い画角を得るためにミラーを大きくする結果、
画面表示が妨げられるといった問題も、以上説明した実
施形態による撮影装置では生じない。よって、この発明
に係る双方向対話型システムによれば、大きな画面の画
像表示装置を用いた双方向対話が容易に実現される。

【００８３】図１７及び１８は、市販のＴＶ装置に後付
け可能な撮像装置６００の構成を示す図である。この撮
像装置は６００は、図１、２等に示されたように、対話
者を撮像するためのＣＣＤカメラ５と、該ＣＣＤカメラ
５を支持するとともに該ＣＣＤカメラ５を所望の位置に
設定するための支持機構１０（ロボット・アーム）と、
上述した撮像データ処理部６０を含む処理ユニット２６
を回路基板として内蔵する撮像ユニット６から構成され
ている。

【００８４】この撮像装置６００では、ＣＣＤカメラ５
からの電気信号はカメラケーブル５０を介して端子５１
と電気的に接続された処理ユニット２６に送られる。ま
た、対話者３の音声はマイク２４によって取り込まれ、
ケーブル２４０を介して端子２４１と電気的に接続され
た処理ユニット２６に電気信号として送られる。一方、
伝送手段２７から送られてきた対話者の画像データ及び
音声データはケーブル６１０を介して端子６１１と電気
的に接続された処理ユニット２６に取り込まれる。そし
て、一旦処理ユニット２６に取り込まれた他方の対話者
（例えばＢ地点の対話者３Ｂ）の画像データ及び音声デ
ータはケーブル６５０を介して市販のＴＶ装置に送られ
る。なお、ケーブル６５０の端子６０１ａ（音声用端
子）、６０１ｂ（画像用端子）は処理ユニット２６と電
気的に接続される一方、端子６０２ａ（音声用端子）、
６０２ｂ（画像用端子）は該ＴＶ装置の所定のコネクタ
に接続される。

【００８５】図１８は、上記撮像装置６００の裏面に設
けられたコネクタの具体的な構成を示す図である。この
図からも分かるように、ＣＣＤカメラ５の端子５１は画
像入力用コネクタ５２に挿入固定され、スピーカ２４の
端子２４１は音声入力用コネクタ２４２に挿入固定さ
れ、ＴＶ装置に画像及び音声データを送るためのケーブ
ル６５０の端子６０１ａ、６０１ｂは、それぞれ音声出
力用コネクタ６０３ａ、画像出力用コネクタ６０３ｂに
挿入固定され、そして、伝送手段２７とのデータの送受
信を行うためのケーブル６１０の端子６１１はデータ送
受信用コネクタ６１２に挿入固定される。なお、画像入
力用コネクタ６２０及び音声入力用コネクタ６３０は伝
送手段２７とのデータ送受信を行うための予備のコネク
タである。

【００８６】次に、この発明に係る双方向対話型システ
ムにおける端末装置２０Ａ、２０Ｂの論理構成図を、図
１９を用いて説明する。なお、当該システムは、遠隔地
にいる対話者間における現実的なカウンセリングを実現
するシステムを志向しており、対話者間の視線を一致さ
せる機構の他、理想的なカウンセリング環境を実現する
ための種々の機能を備えている。また、以下に説明され
る構成はＡ地点及びＢ地点の端末装置のいずれにも共通
する構成である。

【００８７】まず、この端末装置は、処理ユニット２６
に撮像データ処理部６０を含めた一体構成の装置であ
る。ここで、撮像データ処理部６０はＣＣＤカメラ５か
らの撮像データを取込み、所定の処理を行うデータ処理
部６００ａと、該ＣＣＤカメラ５の設定位置及び設定角
度を調節するための駆動機構６００ｃを制御する駆動制
御部６００ｂを備える。

【００８８】処理ユニット２６の主制御部２７３は、少
なくとも当該システムのセキュリティを管理するための
人物認証部２７４（少なくともＩＣ（integrated circu
it）を備えたカード形状の記録媒体２８９であって、例
えばＩＣカード等から読取装置２７１によって読取られ
た情報も利用する）、対話者間で交わされた対話の内容
を分析・記録するための対話処理部２７５、当該システ
ム全体の危機管理を行うためのバックアップ・システム
２７６（例えば、送受信システムの以上を検知し、光フ
ァイバ等の主送受信システム２８８を無線システム２８
７に切り換える）、当該システムで取り扱った表示情
報、音声分析情報等をプリンタ２７０やＩＣカード等の
少なくともＩＣを備えたカード形状の記録媒体２６９に
出力するための外部メモリ管理部２７７、受付、キーワ
ード情報、相談項目情報案内、カウンセラー情報、料金
情報等を統合情報Ｄ／Ｂ（データ・ベース）２６７で総
合的に管理するための統合情報処理システム２７８を備
える。また、この主制御部２７３ではモニタ上に表示さ
れる人物像（第１及び第２対話者のモニタ像を含む）の
位置認識も行う。

【００８９】さらに、この処理ユニット２６は、マイク
２４から取り込まれた音声情報を処理ための音声・音響
データ処理部２７９（例えば音声情報のスペクトル分析
等）、該マイク２４の設置位置を調節するための駆動機
構２８１を制御するための駆動制御部２８０、スピーカ
２３に所定の音声あるいは音響情報を出力させるための
音声・音響出力部２８２（この音声・音響出力部２８２
は専用の音声・音響情報Ｄ／Ｂ２６５を利用し、音量調
節機能２８３、理想的なカウンセリング環境を提供する
ためのＢＧＭ出力機能２８４を実現している。）、モニ
タ１へ画像データ、文字データ等を表示させるための表
示制御部２８５（画像の拡大・縮小機能等の処理機能を
備える）、マン・マシン・インターフェースとしての文
字・図形入力装置２７２を制御するための文字・図形入
力制御部２８６を備える。なお、モニタ１は複数備えて
もよく、図に示すように第１及び第２のモニタ１ａ、１
ｂのそれぞれに、表示制御部２８５が異なる情報を表示
させるよう制御してもよい（例えば第１のモニタ１ａに
画像情報を表示させ、第２のモニタ１ｂに文字・図形情
報を表示させる）。

【００９０】また、この処理ユニット２６は個別に専用
Ｄ／Ｂ（例えば、画像情報Ｄ／Ｂ２６１、音声・音響情
報Ｄ／Ｂ２６２、文字情報Ｄ／Ｂ２６３、バックアップ
用Ｄ／Ｂ２６４、ＢＧＭ情報Ｄ／Ｂ２６５、統合情報Ｄ
／Ｂ２６７、表示情報Ｄ／Ｂ２６６等）を備える。な
お、上記文字・図形入力装置２７２としては、例えば、
キーボード、ポインティング・デバイス、タッチパネル
と専用ペン等がある。

【００９１】以下、図１９の構成に基づいて、カウンセ
リング・システムとしての当該双方向対話型システムの
動作を詳細に説明する。なお、図２０は音声出力部２３
の構成を示す図である。対話者３の側面、かつ、耳元近
傍に配置されたスピーカを使用することにより、耳元で
囁かれる環境が実現し、より親密感が向上する。該音声
出力部２３としてはヘッドホーンが代表的であるが、こ
の図に示した椅子４にフレキシブル継ぎ手１３で固定さ
れた耳元独立スピーカ１２が、非接触で囁きを実現でき
るので好適である。なお、スピーカは周囲の壁（例え
ば、図１に示された吸音部材２２Ａ、２２Ｂ）にとりつ
けてもよい。

【００９２】音声出力部２３は、背景音楽（ＢＧＭ）を
出力する機能２８４と、自動的に対話音量を検出して背
景音楽の出力音量を調節する音量調節機能２８３を備え
た音声・音響出力制御部２８２によって出力制御されて
いる。この音声・音響出力制御部２８２は、対話音量が
所定時間にわたって略零であることを検出すると、該検
出結果に基づいて、背景音楽の出力を開始、背景音楽の
音量の増大、または背景音楽の音量の減少を調整する。
またこの音声・音響出力制御部２８２は対話者３の音声
の聞き取りに支障を起こすことなく、該対話者３の心を
落ち着かせる背景音楽を、相手側の対話者の音声に重畳
させて出力することができる。特に、沈黙が継続した場
合に背景音楽を開始したり音量を変化させると対話者３
の緊張が解け、該対話者３をなごませることができるか
らである。

【００９３】音声入力部２４は、望遠マイクが好まし
い。一般にマイクは、テーブル付きや胸元に付けるもの
を採用することも可能であるが、テーブル付きマイクは
カウンセリングの際の意識障害になったりする場合があ
る。また、胸元マイクは過って離席するとコードがこわ
れることがある。そこで、存在を意識しないですむ望遠
マイクを表示部２１の上部に配置するか、該表示部２１
に組込んでおくことが好ましい。なお、対話者３の視線
は既に認識されているので、口元へ集音方向を向けるこ
とにより指向性を高めることが可能になる。

【００９４】この音声入力部２４は、集音音量を制御す
る音声入力増幅調整機能と、集音された音声の出力音量
を所定レベルの音量に自動変換するとともに、集音音量
の所定時間での平均レベルを検出し、集音音量と平均レ
ベルとの差が所定値以上の場合に音量の自動変換を行う
音量調節機能を備えた音声・音響データ処理部２７９に
よって制御される。また、表示部２１は、処理ユニット
２６の主制御部２７３の制御の下で、上記音声・音響デ
ータ処理部２７９から伝送手段２７を介して他方の対話
者側へ送信されるべき音量を表示する。マイク２４が直
接見えない状態でモニタ画面８の人間（対話者の像）に
語りかけるという行為は、慣れないと自分の音量をどれ
くらいにしてよいか判断に迷うものである。したがっ
て、語りかけの音量を調整することにより、円滑な対話
の便宜が図られる。また、出力音量（相手側へ送られる
音声情報の音量）を画面に表示することにとり、該出力
音量が伝送に適切かどうかを対話者へフィードバックす
ることができる。

【００９５】一方、文字図形入力装置２７２から入力さ
れた文字または図形情報は、文字・図形入力制御部２８
６を介して表示部２１に表示されるとともに、文字図形
入力装置２７２から入力された文字または図形に応じた
文字情報または図形情報がＢ地点の端末装置２０Ｂへ送
信出力される。したがって、伝送路上で伝送される伝送
情報は、人物像情報（画像データ）および音声情報（音
声データ）に加えて、文字情報または図形情報（テキス
ト・データ）を更に含んでいる。表示部２１は、伝送さ
れてきた文字情報または図形情報に基づいて文字または
図形を相手側である対話者３の像９とともに表示する。
このように、文字または図形を人物像とともに表示する
ことにより、カウンセリングの円滑化が図られる。

【００９６】ここで、表示部２１のモニタＴＶ１に表示
される文字または図形は、対話者３の像に重ねて表示し
てもよいが、図２１〜図２３に示すように、文字または
図形の表示領域と対話者の像９の表示領域とを分離する
のがよい。特に、人物像を表示サイズを変えてモニタ上
に表示する場合には図１６に示されたアルゴリズムで人
物像をモニタ上で移動させることにより（このアルゴリ
ズムは第１対話者のモニタ像あるいは第２対話者のモニ
タ像のいずれを利用しても実現できる）、第１対話者と
第２対話者間で視線一致させる。なお、表示部２１のモ
ニタＴＶ１の表示領域８（モニタ画面）を上下方向に分
割する場合には、上方側に対話者の像９を表示するのが
よい（図２１参照）。または、表示部２１のモニタＴＶ
１の表示領域８の左右方向における片方向側又は中央部
に対話者の像を表示することも可能である（図２２参
照）。特に、左右に画面分割する場合は、該モニタ画面
を見る対話者に対し、向かって右側文字又は図形を表示
し、左側に相手側の対話者の像を表示するのが好まし
い。一般に、人間は右脳で芸術的・主観的思考を行い、
左脳で計算的・論理的思考を行っている。ところが、視
覚的には、この右脳と左脳の動作は逆になっており、右
目からの情報は主に左脳で処理され、左目からの情報は
主に右脳で処理される。そこで、文字・図形（論理的）
と対話者の像（主観的）の２種類を同時に表示する場合
には、右側に文字・図形を表示し、左側に人物像を表示
するこが好ましい。

【００９７】さらに、図２３に示すように、モニタＴＶ
１の表示領域８の上方中央部に対話者の像を表示しても
よい。この場合には、表示制御部２８５が対話者像９を
縮小するよう画像処理を行う。

【００９８】上記表示制御部２８５は、モニタＴＶ１上
に表示される対話者像９（第１対話者、第２対話者のい
ずれであってもよい）の拡大あるいは縮小を行うことが
可能であり、この際、該対話者像９の頭頂部近傍であっ
て、カメラ５が実際に設置されている位置に対応した像
の一部分を検出し、検出された像部分を固定した状態
で、該対話者像全体の拡大あるいは縮小を行う。この
時、該モニタＴＶ１上の所定領域であって、対話者像９
が表示されている領域を除いた該モニタ上の領域に、文
字及び図形の、少なくともいずれかを表示する。

【００９９】なお、上記の分離方式によれば視線一致が
劣化しない。また、対話者の像を表示する表示装置と、
文字または図形を表示する表示装置とを別にすることも
当然可能である（例えば、図１９に示すように、表示制
御部２８５が第１のモニタＴＶ１ａと第２のモニタＴＶ
１ｂを独立に表示制御することも可能）。また、Ａ地点
またはＢ地点の端末装置２０Ａ、２０Ｂのいずれか一方
に文字・図形入力装置２７２を配置してもよい。

【０１００】文字や図形を交えてカウンセリングを行う
ことによりスムースな対話が可能となるが、こうした文
字・図形入力装置２７２として、対話者の選択により、
該対話者の音声を入力して認識し、文字情報に変換して
表示できることが、スムースな対話の成立にとって最も
好適である（この機能は主制御部２７３の制御の下、音
声・音響出力制御部２８２が行う）。

【０１０１】文字・図形入力装置２７２としては、図１
９に示したように、キーボード装置、ポインティング・
デバイス、さらには、対話者の手元に配置されたペン入
力装置（タッチパネルとペン）を採用可能である。ま
た、キーボード装置と該ペン入力装置との双方を備える
こととして適宜選択可能とすることにより、更にスムー
スなカウンセリングの進行が可能となる。

【０１０２】当該システムは理想的なカウンセリングを
遠隔地にいる対話者間で可能にすることを目的としてい
る。したがって、このような特殊環境を保全するため、
当該システムはセキュリティ機能として、対話者の人物
確認を行う人物認証手段（処理ユニット２６内の人物認
証部２７４）を備えており、人物確認後にカウンセリン
グ動作が開始される。

【０１０３】この場合、人物認証部２７４が、認証用デ
ータが書き込まれた記憶媒体２８９から認証用データを
読み取り、読み取り結果に基づいて人物確認を行うこと
を特徴としてもよい。記憶媒体２８９は、ＩＣ等を備え
た記録媒体であって、例えば光カード、ＩＣカード、ま
たは磁気カードが使用可能である（このような記録媒体
２８９を利用する場合には、予め専用の読取装置２７１
を用意する）。

【０１０４】また、この人物認証部２７４は、対話者の
顔の画像分析結果に基づいて人物確認を行うこととして
もよい、対話者の声の音声分析結果に基づいて人物確認
を行うこととしてもよい、また、対話者のサイン文字の
文字分析結果に基づいて人物確認を行うことを特徴とし
てもよい、更に、対話者のメッセージ文章の文章分析結
果に基づいて人物確認を行うこととしてもよい。このよ
うな人物認証により、対話者の特定が可能となる。認証
方法は、機密内容に応じて使い分けることが好ましい。
なお、上記のメッセージ文章分析とは、例えば、「Ｘは
Ｙである。」という文章に対して、ＸおよびＹに入れら
れた文字とその人のデータベースや指定された人物の暗
号データベースとの照合分析をいう。

【０１０５】次に、テーブル２は、対話者３が椅子４に
座った状態で胸部より上がテーブルより高くなる高さに
設定される。しかし、このテーブル２の高さは、対話者
３が立った状態で胸部より上が該テーブルより高くなる
よう設定してもより。立った状態での対話を行うことに
より、活動的対話や対話の短時間化の効果が期待できる
からである。また、テーブル２を利用することにより対
話者３とモニタ画面８との間に連続感が生じるので、相
手方との相対距離（心理的距離）がわからなくなること
によって生じる不安感を低減する。この場合、表示部２
１とテーブル２とが接することが望ましいが（図１の構
成）、心理的障害とならない隙間（例えば、数１０ｃｍ
以下）があってもよい。

【０１０６】カウンセリングなどの場合には、処理ユニ
ット２６が、対話時間分析、音声スペクトル分析、所定
用語分析、または、身体動作分析といった対話状況分析
をすることが好ましい。この結果、カウンセリングを受
けている対話者の心理変化等を定量的に分析することが
可能になる（カウンセラの資料にもなる）。

【０１０７】対話者の周囲の少なくとも一部には、外部
音に対して遮断性を有する吸音部材２２が配設される
（図１参照）。この結果、対話内容（カウンセリングの
内容）が外部に漏れることに対する心理的障害が低減さ
れるとともに、音質が向上するので、気持ちの集中が可
能となり、より親密な対話が可能となる。

【０１０８】図１では、伝送手段２７として、互いに独
立な伝送路を２つ用意したが３以上であってもよい。ま
た、伝送路は、光ファイバ伝送路３１や衛星通信伝送路
３２の他に、同軸ケーブル伝送路や他の無線伝送路を使
用してもよい。

【０１０９】さらに、この発明に係る双方向対話型シス
テムは対話使用中の伝送路が故障した場合、それを検出
し、使用する伝送路を自動切換するバックアップ・シス
テムを備える。複数の伝送路で接続することにより、対
話中（あるいはカウンセリング中）における伝送路の故
障が発生した場合には、他の伝送路を使用して対話を継
続することができる。こうした場合、他の伝送路では少
なくとも音声の伝送を確保することが好ましい。一般
に、回線異常は、同軸ケーブル、光ファイバケーブル、
または伝送装置の以上が原因と考えられるので、他の伝
送路は無線系としておくことが好ましい。

【０１１０】次に、上記実施形態による視線一致機構を
備えた双方向対話型システムを用いて双方向画像通信対
話の実験を行った結果について説明する（なお、詳細な
システム構成については図１を参照）。

【０１１１】実験用のモニタＴＶ１には画面対角線１０
３．４ｃｍの４０インチ大型プロジェクション方式モニ
タを使用した。また、実験用のＣＣＤカメラ５にはカメ
ラヘッドの直径φが１２ｍｍの超小型カメラを用いた。
また、各モニタＴＶ１は隣接する各部屋に設置し、モニ
タ間の距離は約２０ｍとした。また、モニタＴＶ１と対
話者３との間の距離Ｌは約２ｍとし、幅８８ｃｍ，高さ
６６ｃｍの範囲内で対話者３の上半身を撮影し、その像
を相手側のモニタＴＶ１に画像伝送した。また、ＣＣＤ
カメラ５は対話者３の視線位置の上方ｈ＝１０ｃｍのと
ころに固定し、各対話者３の座高に応じて椅子４の高さ
を調整した。

【０１１２】このようなシステム構成で行われる双方向
対話において、対話者３が椅子４に通常の姿態で腰掛け
た基本姿勢では、視差角は約２．８６°の範囲内に入っ
た。しかし、実際には、話しをする時には対話者３の頭
や上半身は動いてしまう。この動きは、６人の対話者に
ついて実測したところ、左右方向で最大±１５ｃｍ程
度，上下方向で最大±１０ｃｍ程度であった。従って、
上述のシステム構成で対話者３の動きを含めた視差角を
計算すると、モニタＴＶ１の画面左右方向で最大４．３
°，上下方向で最大５．７°になる。このため、本実施
形態によれば、視差角は、電気四学会連合大会が視線一
致許容範囲内としている左右方向４．５°以下，真上方
向１２°，真下方向８°以下の範囲内に収まる。なお、
対話者３の動きの平均値は左右方向で±７ｃｍ程度，上
下方向で±４ｃｍ程度であり、それぞれ最大値の半分以
下に入っている。よって、本システムで得られる視差角
は、実際の対話上全く問題はないものと考えられる。ま
た、本実験結果ではこの視線一致に関して対話者も特別
な違和感を感じることはなく、双方向対話は円滑に行え
た。

【０１１３】この実験により、伝送手段２７を介して対
話者間の視線を一致させることにより、悩みに関するテ
ーマについても対話者相互に感情交流を実現することが
でき、８０％以上の被験者より、本システムでもカウン
セリングが可能であることが確認された。また、文字ま
たは図形を併用することにより、文字または図形を見つ
めながら対話を進めるという「文字図形認識対話」が可
能となり、より短時間で、話しを深められるとともに、
話しのまとまりを図ることができることが確認された。

【０１１４】さらに本システムを改良するには、モニタ
ＴＶ１と対話者３との距離Ｌを２．５ｍ程度にまで離
し、かつ、表示制御部２８５によってモニタ画面に表示
された対話者像９の表示位置を微調整し対話者３の視線
位置が常にＣＣＤカメラ５に対して視差角３°以内に入
るように制御するのが良い。このような構成によれば対
話者３が微動した場合でも適正な視線一致を保つことが
でき、より現実に近い対話者間での視線一致を実現する
ことが可能になるからである。

【０１１５】また、上記の実験は、大型モニタＴＶ１を
用い、撮影される対話者３及びモニタＴＶ１間の距離を
ある程度とって行われた。このモニタＴＶ１に小型モニ
タ例えば１０インチのモニタＴＶを用いた場合には、当
然、モニタ画面８に表示される対話者像も小さくなる。
したがって、この小型モニタＴＶに超小型ＣＣＤ撮像装
置を組み合わせ、小型モニタ画面に占めるこの撮像装置
の大きさを一定割合以下に設定することによっても、視
差角を小さくすることができる。この場合には、対話者
３およびモニタＴＶ１間の距離Ｌを１ｍ以下まで容易に
短くすることができ、省スペース化を図る上で有利であ
る。発明者は、１４インチのモニタＴＶを用いて、ｈ＝
５（ｃｍ）、Ｌ＝１．２（ｍ）の条件下でカウンセリン
グ実験を試みた。その結果、１８人のクライアントのう
ち８３％のクライアントが、この方式でのカウンセリン
グを肯定的に評価した。

【０１１６】このような上記実施形態によれば、通常に
出荷されているモニタＴＶ１に後付け可能で、特殊なハ
ーフミラー，反射ミラーなどの光学部品を一切必要とせ
ず、ＣＣＤカメラ５のみで対応可能で、かつ、画像処理
機能を付加すれば、視線一致追従機能を有する視線一致
機構を備えた撮像装置を実現できる（図１７及び図１８
参照）。なお、上記実施形態においては、撮像装置を既
存のＴＶ装置に後付けする構成について説明したが、撮
像部（カメラ）を表示部の一部に一体化した装置構成と
しても良い。つまり、液晶テレビやプラズマディスプレ
イなどの表示装置の一部にＣＣＤカメラといった撮像部
を埋め込む装置構成、または、表示装置の一部の領域に
この撮像部を予めデバイスの一部として作り込んでおく
装置構成としても良い（図７〜図１０参照）。この場合
には、専用機の開発が必要とされるが、将来のモニタ薄
型化には極めて有効な装置構成になる。

【０１１７】本発明は上記の実施形態に限定されるもの
ではなく、変形が可能である。たとえば、表示画面を印
刷する画像印刷装置（プリンタ２７０）、または、表示
画面情報を格納する格納手段（例えば、表示情報Ｄ／Ｂ
２６６、バックアップ用Ｄ／Ｂ２６４等、ＩＣカード等
２６９）を更に備えて構成することが可能である。格納
手段としては、光カード、ＩＣカード、光ディスク、ま
たは光磁気ディスクが使用できる。この場合、対話中の
情報、特に対話中で使用した文字や図形の情報の保存が
可能となる。

【０１１８】

【発明の効果】以上説明したように、この発明に係るシ
ステムは、撮像部（カメラ）が表示部の対話者の像の前
方一定領域内に設置された場合（対話者は相手の像に重
ねて該カメラを見る場合）であっても、その大きさが一
定以下に抑えられていると、撮影される対話者及び表示
部間に置かれた撮像部の存在は双方向対話にほとんど影
響を与えないという実験結果に基づいて実現されたもの
である。

【０１１９】このため、既存の表示装置に構成要素を後
付けすることにより、容易に対話者間の視線一致を実現
する機構を備えた撮影装置、端末装置、及びこれら装置
により構成されるシステムを実現することができる。よ
って、専用機の開発の必要はなく、低コストで装置を実
現できる。また、撮像部を画面の一定位置に固定するだ
けで装置を構成できるため、従来のように画面サイズと
同程度のハーフミラーを設ける必要もないため、装置構
成スペースを広く必要とせず、しかも、表示画面の大型
化が容易に図れる。また、対話者の撮影はミラーを介す
ることなく直接行われるため、得られる像が暗くなると
いったこともない。

【０１２０】さらに、駆動機構によって撮像部を移動す
ることにより、対話者自身による位置調整（座高調節
等）によって対話者自身の視線方向を調整することによ
り、また、表示制御部による画像移動処理によって表示
部の画面に表示された対話者の像の表示位置を移動させ
ることにより、撮像部（カメラ）は対話者からみて画面
に表示される相手側対話者の像の一定領域内に存在する
よう設置される。また、これら各手段を組み合わせるこ
とにより、理想的な視線一致に必要とされる３°以内の
視差角の達成が容易に図れる。特に、表示処理部で画像
処理を行い、画面に表示された相手側対話者の者の像
を、撮像部に対して一定位置に動かすことにより、より
高精度な視線一致や視線認知を機械的な駆動系を用いる
ことなく実現することが可能となる。また、その視線一
致度も個人レベルに合わせて可変、設定することができ
る。

【０１２１】さらに、撮像部の駆動機構は該撮像部の角
度調整を行っており、該撮像部の撮像方向の角度を調整
することにより、撮像方向は例えば撮像データ処理部で
位置認識された対話者の視線に一致するよう自動的に向
けられる。このため、双方向対話中に対話者が動いて
も、対話者間で最適な視線一致状態を保つことが可能に
なる。

【０１２２】また、文字または図形を併用することによ
り、文字または図形を見つめながら対話を進めるという
「文字図形認識対話（ビジュアル・コミュニケーショ
ン）」が可能となり、より短時間で、話しを深められる
とともに、話しのまとまりを図ることができる。以上の
ように、本システムを利用することにより感情交流をと
もなう、モニタＴＶを介しての円滑な対話が可能にな
る。さらに、本システムは、マルチメディア・コミュニ
ケーション、マルチメディア・カウンセリング、マルチ
メディア・ヘルピング、オーディオ・ビジュアル・カウ
ンセリグなどへの幅広い適応が可能である。

【図面の簡単な説明】

【図１】この発明に係る双方向対話型システム全体を示
す論理構成図である。

【図２】図１の撮像装置を示す図であって、ＣＣＤカメ
ラ（撮像部）の所定位置への設置方法を説明するための
図である。

【図３】図１の撮像装置における支持機構の第１実施形
態を示す図であって、ＣＣＤカメラを所定位置に設置す
るための構造を示す図である。

【図４】図１の撮像装置における支持機構の第２実施形
態を示す図であって、ＣＣＤカメラを所定位置に設置す
るための構造を示す図である。

【図５】図４に示された支持機構（第２実施形態）のカ
メラ移動機構の構造を示す図である。特に、この機構は
ＣＣＤカメラを水平及び垂直方向に移動させる。

【図６】図４に示された支持機構（第２実施形態）の角
度調節機構の構造を示す図である。特に、この機構はＣ
ＣＤカメラの撮像方向を変える。

【図７】双方向対話型システムにおける端末装置の第２
実施形態を示す図であって、この実施形態は、ＣＣＤカ
メラを所定位置に設置するための支持機構（第３実施形
態）として、ＣＣＤラメラは表示部に取り付けられた構
造を備える。

【図８】図７に示された支持機構（第３実施形態）の、
ＣＣＤカメラの取り付け構造を示す図であって、図７の
Ｘ−Ｘ線に沿った断面図である。

【図９】図７に示された支持機構（第３実施形態）の、
組立工程を示す斜視図である。

【図１０】図７に示された支持機構（第３実施形態）の
応用例として、ＣＣＤカメラの位置及び撮像方向を調節
するための構造を示す図である。

【図１１】視差角を説明するための図である。

【図１２】ＣＣＤカメラが設置されるべき領域を示す図
である。

【図１３】ＣＣＤカメラの初期設置動作を説明するため
のフローチャートである。

【図１４】モニタに表示された像を、対話者間で視線が
一致するよう移動させるための動作を説明するためのフ
ローチャートである。

【図１５】図１３のフローチャートで説明される、ＣＣ
Ｄカメラの初期設置動作を概念的に説明するための図で
ある。

【図１６】図１３のフローチャートで説明される、モニ
タに表示された像の移動動作を概念的に説明するための
図である。

【図１７】図１の撮像ユニット単体の応用例（撮像装
置）を示す図である。

【図１８】図１７に示された撮像ユニットの裏面の構造
を示す図である。

【図１９】図１に示された端末装置の全体構成を示す論
理ブロック図である。

【図２０】図１の音声出力部の構成を示す斜視図であ
る。

【図２１】図１のモニタによって表示される表示画面
（特に、画面分割表示の場合）の画面構成例を示す図で
ある（その１）。

【図２２】図１のモニタによって表示される表示画面
（特に、画面分割表示の場合）の画面構成例を示す図で
ある（その２）。

【図２３】図１のモニタによって表示される表示画面
（特に、画面分割表示の場合）の画面構成例を示す図で
ある（その３）。

【符号の説明】

１…モニタＴＶ、２…テーブル、３…対話者、４…椅
子、５、２００…撮像装置（ＣＣＤカメラ）、６…撮像
ユニット、９…対話者像、１０、１１０…支持機構、２
０…端末装置、２１…表示部、２３…スピーカ、２４…
マイク、２５、２７２…文字図形入力装置、２６…処理
ユニット、２７…伝送手段、６０…撮像データ処理部、
２７１…読取装置、２７４…人物認証部、２７５…対話
処理部、２８１、６００ｃ…駆動機構、２６９、２８８
…記録媒体、２７９…音声・音響データ処理部、２８２
…音声・音響出力制御部、２８５…表示制御部、６０
０、６０１…撮像装置。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/14 - 7/15 H04N 5/225

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 第１対話者のいる第１地点に設置された
   第１端末装置と、該第１地点から相当距離離れた地点で
   あって第２対話者のいる第２地点に設置された第２端末
   装置と、該第１端末装置と該第２端末装置の間におい
   て、少なくとも該第１対話者及び第２対話者の画像デー
   タの双方向通信を可能にするための伝送手段を備えた双
   方向対話型システムにおいて、少なくとも前記第１端末
   装置は、 前記第１対話者自身の像、又は前記伝送手段を介して受
   信した前記第２対話者の像の少なくともいずれかをモニ
   タ上に表示する表示部と、 前記伝送手段を介して前記第２端末装置に、前記第１対
   話者の像の送信を可能にする装置であって、該第１対話
   者を直接撮像する撮像部と、該第１対話者と前記モニタ
   との間に該撮像部を設置させるための支持機構とを有す
   る撮像装置と、 前記撮像部の撮像方向が直接該第１対話者に向けられた
   状態で、かつ前記第１対話者から見て、該撮像部が前記
   モニタ上に表示された人物像のうち該人物像の目の位置
   よりも上方部分と重なるよう、該撮像部と該人物像との
   相対位置を調節する手段とを備えたことを特徴とする双
   方向対話型システム。
2. 【請求項２】 前記撮像部と前記人物像との相対位置を
   調節する手段は、前記第１対話者から見て、前記人物像
   のうち該人物像の目の位置よりも上方部分と前記撮像部
   分が重なるよう、該人物像の表示位置を調節する手段を
   含むことを特徴とする請求項１記載の双方向対話型シス
   テム。
3. 【請求項３】 前記撮像装置の支持機構は、前記撮像部
   の撮像方向の角度を調節する構造を備えたことを特徴と
   する請求項１記載の双方向対話型システム。
4. 【請求項４】 前記撮像部と前記人物像との相対位置を
   調節する手段は、前記撮像部によって取り込まれる前記
   第１対話者の像をモニタ上に表示すべく、前記撮像装置
   と電気的に接続されているとともに、前記第１端末装置
   は、該モニタ上に表示された第１対話者自身の像の、該
   モニタ上の位置を認識する処理ユニットを含み、 前記第１端末装置の撮像装置は、前記処理ユニットによ
   り位置認識された前記第１対話者に対して相対的に、前
   記撮像部の位置を移動させるか、あるいは該撮像部の撮
   像角度を変える駆動機構を備えることを特徴とする請求
   項１記載の双方向対話型システム。
5. 【請求項５】 前記第２端末装置は、少なくとも、前記
   第２対話者を撮像する第２地点撮像部と、該第２地点撮
   像部の位置を移動させるか、あるいは該第２地点撮像部
   の撮像角度を変える第２地点駆動機構を備え、 前記第１端末装置の処理ユニットは、前記伝送手段を介
   して受信され前記モニタ上に表示された前記第２対話者
   の像の、該モニタ上の位置を認識し、該第２対話者に対
   して相対的に、前記第２地点撮像部の位置を移動させる
   か、あるいは該第２地点撮像部の撮像角度を変えるため
   の制御信号を、前記伝送手段を介して前記第２端末装置
   に送信することを特徴とする請求項４記載の双方向対話
   型システム。
6. 【請求項６】 前記撮像装置の支持機構は、前記撮像部
   を直接支持するための透明部材を備えることを特徴とす
   る請求項１記載の双方向対話型システム。
7. 【請求項７】 前記表示部は、該表示部の裏面から該表
   示部の前面のモニタ画面とを連絡する貫通孔を有し、前
   記撮像部は、その先端が前記表示部の貫通孔を貫通し該
   撮像部の先端が前記モニタ画面の前方に突出した状態
   で、前記支持機構により該表示部に取り付けられている
   ことを特徴とする請求項１記載の双方向対話型システ
   ム。
8. 【請求項８】 前記撮像部は、該撮像部の所定部位を中
   心に回転可能な状態で、前記支持機構により前記表示部
   に取り付けられており、これにより、該撮像部の撮像方
   向は所望の方向に変更されることを特徴とする請求項７
   記載の双方向対話型システム。