JP6450893B1 - 画像通信装置及び画像通信方法 - Google Patents

Abstract

画像信号を受けて人物Ａの画像を表示する表示手段１５と、表示手段１５に表示された人物Ａの画像を自由空間に実像２６として結像する平面状の光学結像手段１６と、自由空間の実像２６と対話する人物Ｂを撮像する撮像手段１８と、撮像手段１８で撮像した人物Ｂの画像の画像信号を人物Ａに送る画像信号出力手段２０とを有する画像通信装置１０ｂにおいて、ハーフミラー１７を光学結像手段１６の出光側に配置し、表示手段１５に表示された人物Ａの画像は、光学結像手段１６によってしかもハーフミラー１７を介して自由空間に表示され、撮像手段１８による人物Ｂの撮像はハーフミラー１７を介して行われる。

Description

本発明は、複数の地点間で画像（実像）を介して、リアルタイムで遠隔会議（テレビ会議）やビデオチャット等を行うことができる画像通信装置及び画像通信方法に関する。

従来、遠隔地に存在する人物（通信者）同士が、画像（映像）を通して会話を行うための技術として、テレビ会議システムやテレビ電話システム等が知られている。これらのシステムは、各地点で双方向的に、ビデオカメラ等により各人物の顔を含めた画像を撮影し、それを遠隔地点に伝送して表示手段（表示装置、ディスプレイ）上に表示することにより、遠隔地点間での会話を可能としている。このような遠隔地との双方向通信システムは、近年のブロードバンドに代表される通信回線容量の増大及び制御装置の高性能化と共に急速に進歩しており、高画質のカラー画像を音声と共にリアルタイムで双方向通信することが可能で、特に、ビジネス分野での使用は、一般的になりつつある。

しかし、従来のこれらのシステムでは、例えば、特許文献１のように、表示装置の上方にビデオカメラやウェブカメラ等の撮像装置が設置された構成が採用されており、会話中の通信者を上方から見下ろして撮像している。一方、通信者は、撮像装置ではなく、主に表示装置に表示される通信相手の画像を見ながら会話を行う。従って、撮像装置による撮像方向と、通信者の視線の方向（目線）が異なっており、表示装置には視線が下方を向いた状態で通信相手の画像が映し出されることになる。この結果、通信者同士は視線を合わせることができず、会話に違和感を生じ易く、意思疎通が図りづらくなり、臨場感や緊張感に欠けるという問題点があった。

この問題点を解決するものとして、例えば、特許文献２では、撮像装置が設置されている高さ及び高さ検知部が検知した目の高さが異なるとき、三次元映像生成部により、双方の差及び撮像装置とユーザ（通信者）との間の距離に基づいて、高さ検知部が検知した目の高さにある仮想的な視点から見たときのユーザの三次元映像を取得するためのレンダリング処理を実行する映像表示システムが提案されている。
また、特許文献３には、相手方の画像を表示する表示装置と使用者の画像を撮像するカメラをそれぞれ有するテレビ会議システムが提案されている。このテレビ会議システムでは図８に示すように、反射型結像素子（光学結像手段の一例）８０を用いて、表示装置８１に表示された相手方の映像を空間内に空中映像８２として形成し、この空中映像８２を観察する使用者８３を反射型結像素子８０の上に設けたカメラ８４によって撮像し、撮像した画像をその音声と共に、通信手段を用いて、相手方のテレビ会議システムに送っている。

特開２００６−９３８８３号公報 特開２０１６−１９２６８８号公報 国際公開第２０１１／１０８１３９号 特開平５−１６１１３５号公報

しかしながら、特許文献２において、動作を交えて会話する通信者同士の目の高さを確実に合わせるためには、常に通信者の映像を抽出しながら、高さ検知部で通信者の目の高さを検知し、通信者の目の高さや撮像装置と通信者との間の距離が変化する度に、三次元映像生成部によって三次元映像を作成して、表示画面の映像を切り替えなければならない。これらの制御は複雑で、処理にも時間を要するため、実際の通信者の動きと表示装置に表示される映像を一致させることは困難であり、その時間差によって違和感を生じる可能性がある。また、通信者同士の目の高さを仮想的に一致させているに過ぎないため、通信者の目の上下左右の動きには対応することができず、通信者同士の視線を完全に一致させることはできない。よって、例えば、表示装置に、通信者と共に写真や文書等の資料画像（共通画像）が表示されている場合に、一方の通信者が資料画像に視線を移しても、他方の通信者は相手がどこを見ているのか判断がつかず、即座に会話に反応することができない。つまり、現実に対面して会話を行うように、視線を送ったり、目配せをしたりして、アイコンタクトを取ることができないため、十分な意思疎通を図ることが難しく、スムーズな会話が成り立たないという問題があった。

特許文献３の実施例に記載されたテレビ会議システムは、ハーフミラーや偏光ビームスプリッタ等の光学素子を使用せず、カメラ８４で使用者８３を直接撮影することを前提としたもので、使用者８３を撮影するカメラ８４を、空中映像８２よりも使用者８３から遠い位置に配置することにより、使用者８３の視線方向とカメラ８４の撮影方向とのズレ角θを、視線の不一致を実質的に感じない程度にまで小さくしようとするものである。このため、使用者８３から空中映像８２までの距離、及び使用者からカメラ８４までの距離を適正に管理しなければならない。つまり、使用者８３の視線方向とカメラ８４の撮影方向とのズレ角θを、視線の不一致を実質的に感じない程度にまで小さくするためには、使用者８３からカメラ８４までの距離を長くする必要があるが、それに伴って、使用者８３から空中映像８２までの距離が長くなり過ぎると、使用者８３の指が空中映像８２に届かず、空中映像８２を指し示すことや、タッチ入力を行うことが困難になるという問題があった。そして、空中映像８２に指等で触れるために使用者８３が空中映像８２に近づき過ぎると、カメラ８４までの距離も近くなり、使用者８３の視線方向とカメラ８４の撮影方向とのズレ角θが大きくなって通信相手と視線が合わなくなることや、場合によっては使用者８３の顔をカメラ８４で鮮明に捉えることができなくなることもあり、汎用性、操作性に欠けるという問題があった。また、使用者８３から空中映像８２までの距離を変えずに、使用者８３からカメラ８４までの距離のみを長くするために、空中映像８２の形成部の位置を動かさずにカメラ８４のみを使用者８３から遠ざけた場合、装置の奥行き方向寸法が増大して広い設置スペースが必要になるため、コンパクト性、設置自在性に欠けるという問題もあった。

更に、特許文献３には従来技術として、ハーフミラーを用いたテレビ会議システムが提案されている。このテレビ会議システムの一例を図９（Ａ）に示すが、表示装置８６に表示された相手方の画像を４５度に傾斜配置されたハーフミラー８７を通して観察し、このハーフミラー８７を介して使用者８８の画像をカメラ８９で撮像し、相手方のテレビ会議システムに送っている。そして、特許文献３には、ハーフミラー８７等の光学素子は、一般に波長依存性があるので、カメラ８９で撮影した映像は色合いが不自然になり、相手方に表示される映像の画質が低いという課題があると記載されている。

そこで、本発明者がハーフミラー８７を使用した場合の問題を鋭意研究した結果を以下に説明する。
図９（Ｂ）にハーフミラー８７の部分断面を示すが、厚みを有する透明な板材９０の裏面にハーフミラー８７を形成する金属層による光透過率が４０〜６０％の反射面９１が形成されている。表示装置８６からの光Ｄ１は、Ｄ２に示すように、板材９０に進入し、Ｄ３に示すように、使用者側に出光する。更に、Ｄ４に示すように、板材９０の表面裏側で繰り返し反射して使用者８８に届く光もある。一方、別照明された使用者８８からの光Ｅ１は、Ｅ２に示すように反射面９１によってカメラ側に反射するが、その一部は光Ｅ３となって、板材９０内に進入し、板材９０の表面側からＦ１として出光する他、板材９０の表面裏側で反射してＥ４、Ｅ５となってカメラ８９に届くもの、更に、Ｅ６に示すように、繰り返し反射してカメラ８９に届くものもある。従って、像が多重に撮影され、鮮明な映像が得られないという問題がある。以上の問題はハーフミラー８７の厚みが厚い場合に顕著に発生する問題である。このような問題は、例えば、特許文献４においても同様で、厚みを有するハーフミラーを傾斜して使用すれば、共通に発生する問題である。なお、Ｆ１、Ｆ２は板材９０から外部に出る不要光を示す。

本発明はかかる事情に鑑みてなされたもので、複雑な制御や特別な画像処理等を行う必要がなく、ハーフミラーを使用して遠隔の人物同士が正対して視線を合わせることができ、アイコンタクトやジェスチャーによる意思疎通を図って会話をスムーズに行うことが可能で、操作性、コンパクト性に優れる画像通信装置及び画像通信方法を提供することを目的とする。

前記目的に沿う第１の発明に係る画像通信装置は、画像信号を受けて対話相手の画像を表示する表示手段と、該表示手段に表示された前記対話相手の画像を自由空間に実像として結像する平面状の光学結像手段と、前記自由空間の実像と対話する人物を撮像する撮像手段と、該撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像信号出力手段とを有する画像通信装置において、
ハーフミラーを、１）透明なフィルムを介して、又は２）直接、前記光学結像手段の出光側に積層し、前記表示手段に表示された前記対話相手の画像は、前記光学結像手段によってしかも前記ハーフミラーを介して前記自由空間に表示され、更に、前記撮像手段による前記人物の撮像は前記ハーフミラーを介して行われる。
なお、この画像通信装置を用いて、テレビ会議を行うには、使用者側の画像通信装置Ａの他、相手方の画像通信装置Ｂが必要である。画像通信装置Ｂは、画像通信装置Ａと同一構成である必要はなく、相手方を撮像するカメラと、使用者側のカメラで撮像した使用者の画像データを表示する表示装置があれば十分である。
また、第１の発明に係る画像通信装置において、前記光学結像手段は、出光側を斜め上向き、斜め下向き又は斜め横向きにして配置されているのが好ましい。

第１の発明に係る画像通信装置において、前記画像信号出力手段は、共通画像作成手段を有し、前記対話相手の画像と前記共通画像作成手段で作成した共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させるのが好ましい。この場合、前記画像信号出力手段で前記対話相手に送られる前記人物の画像は左右反転しているのが好ましい。また、この画像通信装置において、前記人物の動作を検知する検知手段を有し、前記画像信号出力手段は、前記検知手段で検知した動作に基づいて前記共通画像を操作することもできる。

第２の発明に係る画像通信方法は、表示手段に表示された対話相手の画像を平面状の光学結像手段によって自由空間に実像として結像させ、前記自由空間の実像と対話する人物を撮像手段によって撮像し、前記撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像通信方法において、
ハーフミラーを、１）透明なフィルムを介して、又は２）直接、前記光学結像手段の出光側に積層し、前記表示手段に表示された前記対話相手の画像は、前記光学結像手段によってしかも前記ハーフミラーを介して前記自由空間に表示し、更に、前記撮像手段による前記人物の撮像は前記ハーフミラーを介して行う。

第２の発明に係る画像通信方法において、前記対話相手の画像と共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させるのが好ましい。

以上に記載した第１、第２の発明において、ハーフミラーは、ビームスプリッタとも言われる。なお、ハーフミラーの透過率と反射率は必ずしも等しい必要がなく、例えば透過率が４０〜６０％の範囲のものを用いることができる。

第１の発明に係る画像通信装置及び第２の発明に係る画像通信方法は、表示手段に表示される対話相手の画像を光学結像手段とハーフミラーを介して自由空間に実像として結像させることができるので、実像と対話する人物は、対話相手が目の前に存在しているような感覚で会話をすることができる。また、撮像手段は、光学結像手段の出光側に配置されたハーフミラーを介して、人物を正面から撮像することができ、撮像した画像の画像信号を対話相手に送ることができるので、対話相手と人物が視線を合わせてリアルタイムで会話をすることができ、アイコンタクトやジェスチャーによるスムーズな意思疎通を図ることができる。更に、撮像手段で人物を撮像する際にハーフミラーを介して撮像することにより、人物と実像との距離が変化しても、人物の視線方向と撮像手段による撮像方向は変化せず一定に保たれ、人物を常に正面から撮像することができ、汎用性、操作性に優れる。

特に、第１の発明に係る画像通信装置及び第２の発明に係る画像表示方法においては、ハーフミラーを、１）透明なフィルムを介して、又は２）直接、光学結像手段の出光側に積層しているので、厚みのある透明な板材を用いたハーフミラーとは異なり、非ミラー面からの二重反射も少なくなる。ここで、透明なフィルムの厚みは薄い方がより好ましいが、１０ｎｍ〜１０μｍ（より好ましくは、０．２μｍ〜６μｍ）が実用的である。このような薄い透明なフィルムは光学結像手段の片面に積層することで平面性が保たれる。
また、光学結像手段の表面に直接ハーフミラーを蒸着等で形成すると、ハーフミラーの厚みが実質的に無くなるので、より鮮明な画像を得ることができる。

また、第１の発明に係る画像通信装置は、撮像手段による人物の撮像を、光学結像手段の出光側に配置したハーフミラーを介して行うので、光路が折れ曲がり、人物から撮像手段までの水平方向距離を短縮して画像通信装置をコンパクト化することができ、省スペース性、設置自在性にも優れる。

光学結像手段を表示手段に対して一定角度で傾斜配置した場合、結像する実像の角度を表示手段に対して傾斜させることができ、特に、表示手段の配置（設置角度）に応じて、実像が鉛直面となるように、光学結像手段の傾斜角度を選択すれば、人物は対話相手の画像（実像）と正対することができ、画像の歪みも少なく、視認性を向上させることができる。

対話相手の画像と共通画像を合成して表示手段に表示させると共に、対話相手に送る画像信号にも共通画像の共通画像信号を重畳させた場合、対話相手と人物は同時に共通画像を見ながらスムーズに会話をすることができる。また、対話相手側では、受けた画像信号と共通画像信号をそのまま表示手段に表示させることができ、特別な画像処理手段や画像処理工程が不要で、汎用の携帯端末やパーソナルコンピュータ等を使用して相手の人物と手軽に通信（対話）を行うことができる。ここで、人物の画像を左右反転して対話相手に送った場合、画像信号を受ける側では、画像処理等を行うことなく、汎用の携帯端末やパーソナルコンピュータ等の画面（ディスプレイ）に、そのまま画像を表示させることができる。

人物の動作（ジェスチャー）を検知して、検知した動作に基づいて共通画像を操作する場合、表示手段に表示される共通画像の拡大、縮小、移動、回転等の各種操作を直感的かつ簡単に行うことができ、操作性に優れる。

本発明の第１の実施例に係る画像通信装置の構成を示す説明図である。 （Ａ）、（Ｂ）、（Ｃ）はそれぞれ図１の矢視Ｄ部の拡大断面図である。 同画像通信装置の構成を示すブロック図である。 同画像通信装置の使用状態を示す説明図である。 （Ａ）、（Ｂ）はそれぞれ同画像通信装置における光学結像手段の正断面図、側断面図である。 本発明の第２の実施例に係る画像通信装置の構成を示す説明図である。 本発明の第３の実施例に係る画像通信装置の構成を示す説明図である。 従来例に係るテレビ会議システムの説明である。 （Ａ）、（Ｂ）はそれぞれ従来例に係るハーフミラーの動作説明図である。

続いて、添付した図面を参照しつつ、本発明を具体化した実施例につき説明し、本発明の理解に供する。
図１に示すように、本発明の第１の実施例に係る画像通信装置１０ａ、１０ｂは各地点に配置され、各地点に存在する人物Ａ、Ｂが、画像通信装置１０ａ、１０ｂにより、画像を介して会話を行うものである。
図１、図３に示すように、各画像通信装置１０ａ、１０ｂは、表示面１４が上向きで水平に配置された表示手段１５と、表示手段１５の上方に表示手段１５の表示面１４に対して４５度の傾斜角度で出光側を斜め上向きに傾斜配置された平面状の光学結像手段１６と、光学結像手段１６の出光側（上面）に積層して配置されたハーフミラー１７と、表示面１４の鉛直上方にハーフミラー１７（光学結像手段１６）を挟んで表示面１４と対向配置された撮像手段１８とを有している。表示手段１５としては、高輝度モニターが好適に用いられ、撮像手段１８としては、ウェブカメラ等が好適に用いられる。また、各画像通信装置１０ａ、１０ｂは、画像信号を送受信し、対話相手から受信した画像信号に基づいて表示手段１５に画像を表示する画像信号出力手段２０を有している。この画像信号出力手段２０としては、ＲＡＭ、ＣＰＵ、ＲＯＭ、Ｉ／Ｏ、及びこれらの要素を接続するバスを備えた従来公知の演算器（即ち、コンピュータ）が好適に用いられる。そして、ＣＰＵが所定のプログラムを実行することにより、画像信号出力手段２０での処理が実現される。なお、画像信号出力手段２０には、スピーカー２１とマイク２２が接続されており、音声信号を送受信することにより会話を行うことができる。

光学結像手段１６は、表示手段１５に表示される画像をハーフミラー１７の前面側の自由空間内（実体のない結像面２３上）に実像として結像させるものである。この光学結像手段１６の詳細については、後述する。
ここで、ハーフミラー１７の構成について、図２を参照しながら更に詳細に説明する。図２（Ａ）に示す第１例に係るハーフミラー１７は、厚みが極めて薄い（例えば、１０ｎｍ〜１０μｍ）の透明フィルム１７ａの上面（表面）に形成されている。第１例の場合はハーフミラー１７が光学結像手段１６の出光側に透明フィルム１７ａを介して積層されている。図２（Ｂ）に示す第２例に係るハーフミラー１７は、透明フィルム１７ａの下面（裏面）１７ｂに形成されている。ここで、第１例及び第２例において、ハーフミラー１７が片面に形成された透明フィルム１７ａを表側又は裏側にして光学結像手段１６の出光側に積層する。
また、図２（Ｃ）に示す第３例ではハーフミラー１７が直接光学結像手段１６の出光側に形成されている。ハーフミラー１７は、化学反応によって、光学結像手段１６の表面に形成する他、例えば、光学結像手段１６の表面に金属蒸着を行うことによって形成される。
第３例に係るハーフミラー１７は透明フィルムが存在しないので、フィルム内部で反射を起こすことがなく、ハーフミラー１７を介してより鮮明な画像の撮像が可能となる。

以下、複数の地点の中で、人物Ａと人物Ｂが通信を行う場合について説明する。
まず、画像通信装置１０ａは、ハーフミラー１７（第１例〜第３例を含む）の前方にいる人物Ａをハーフミラー１７を介して撮像手段１８で撮像する。そして、画像信号出力手段２０は、撮像した画像の画像信号を通信ネットワーク２４を介して接続される画像通信装置１０ｂの画像信号出力手段２０に送信すると共に、画像通信装置１０ｂの撮像手段１８でハーフミラー１７を介して撮像された人物Ｂ（人物Ａの対話相手）の画像の画像信号を受信して表示手段１５に表示することができる。
同様に、画像通信装置１０ｂは、ハーフミラー１７の前方にいる人物Ｂをハーフミラー１７を介して撮像手段１８で撮像する。そして、画像信号出力手段２０は、撮像した画像の画像信号を通信ネットワーク２４を介して接続される画像通信装置１０ａの画像信号出力手段２０に送信すると共に、画像通信装置１０ａの撮像手段１８でハーフミラー１７を介して撮像された人物Ａ（人物Ｂの対話相手）の画像の画像信号を受信して表示手段１５に表示することができる。

画像通信装置１０ａ、１０ｂの表示手段１５に表示される画像は、前述のように、光学結像手段１６によって、ハーフミラー１７を介して自由空間に実像として結像する（画像の光が光学結像手段１６を通過して結像する際に、ハーフミラー１７を透過する）ので、図４に示すように、画像通信装置１０ａ側（図４では左側）の人物Ａの正面には、対話相手となる人物Ｂの画像（実像）２５が表示され、画像通信装置１０ｂ側（図４では右側）の人物Ｂの正面には、対話相手となる人物Ａの画像（実像）２６が表示される。
このとき、表示手段１５の表示面１４が水平に配置され、光学結像手段１６の出光側が表示手段１５の上方に４５度の傾斜角度で斜め上向きに配置されていることにより、結像面２３は鉛直面となる。また、表示面１４の鉛直上方に配置された撮像手段１８の撮像方向は鉛直下向きであり、ハーフミラー１７の表面に対しては４５度傾斜しており、結像面２３とは平行である。よって、結像面２３上の画像２５、２６とそれぞれ正対している人物Ａ、Ｂをハーフミラー１７で反射させて撮像手段１８で正面から撮像することができ、各表示手段１５に表示され、光学結像手段１６によって結像する人物Ｂの画像２５及び人物Ａの画像２６には違和感が少なく、視線の方向も確認し易くなる。

なお、各画像信号出力手段２０は、図３に示すように、共通画像作成手段２７を有しており、各表示手段１５に共通して表示される共通画像２８を作成することができる。必要に応じて、人物Ｂの画像２５及び人物Ａの画像２６に共通画像２８を合成して各表示手段１５に表示させることにより、図４に示すように、各結像面２３において人物Ｂの画像２５及び人物Ａの画像２６に対して同じ位置に同じ向きで共通画像２８を重ねて表示することができる。なお、共通画像２８は、主に写真や文書等の資料画像であり、共通画像作成手段２７には、例えば、カメラ、キーボード、タッチペン、スキャナー等の入力機器の他に、画像信号出力手段２０で実行されるプログラムも含まれる。また、共通画像作成手段２７による共通画像２８の作成とは、例えば、カメラで撮影した写真、キーボードやタッチペン等から入力した文書やイラスト等を画像信号出力手段２０のＲＡＭ等に保存すること、写真や文書等をスキャナーで画像として取込んで画像信号出力手段２０のＲＡＭ等に保存すること、画像に対する各種加工だけでなく、予め作成されＵＳＢメモリ等の記憶媒体に保存された写真や文書等のデータの選択や読込み（コピー）等が含まれる。

なお、共通画像２８の作成、人物Ａの画像２６及び人物Ｂの画像２５と共通画像２８との合成は、いずれか一方の共通画像作成手段２７によって選択的に行われる。例えば、画像通信装置１０ｂ側の人物Ｂが、共通画像２８として表示したい画像を共通画像作成手段２７で作成（選択）すると、画像信号出力手段２０で受信した人物Ａの画像２６と共通画像２８が合成されて画像通信装置１０ｂ側の表示手段１５に表示されると共に、対話相手（人物Ａ側）に送る画像信号にも共通画像２８の共通画像信号が重畳されることにより、画像通信装置１０ａ側の表示手段１５に、人物Ｂの画像２５と共通画像２８が合成されて表示される。このとき、人物Ａ及び人物Ｂと共通画像２８との位置関係を整合させるために、必要に応じて、人物Ａの画像２６及び人物Ｂの画像２５を左右反転させる。なお、この場合、各画像信号出力手段２０（送信側）で、予め人物Ａの画像２６及び人物Ｂの画像２５を左右反転させて、その画像信号を相手側の画像信号出力手段２０に送信してもよいし、人物Ａの画像２６及び人物Ｂの画像２５の画像信号を各画像信号出力手段２０から相手側の画像信号出力手段２０に送信した後、相手側（受け側）の画像信号出力手段２０で反転させてもよい。

図４に示すように、それぞれの結像面２３上の同一位置に共通画像２８が表示されると、人物Ａ、Ｂは、あたかも共通画像２８を挟んで対面するようにして、視線を合わせて会話することができ、互いの動作を正面から観察することができる。そして、それぞれの結像面２３上の共通画像２８に対して人物Ａ、Ｂが行う動作を、対話相手の結像面２３上に表示される共通画像２８の位置や向きと一致させて表示させることにより、互いに対話相手の視線の動きや身振り手振りを目で追って、共通画像２８の確認等を確実に行うことが可能となる。例えば、図４に示すように、人物Ａは、人物Ｂが共通画像２８のどこを指差しているのか、結像面２３上で容易に確認することができ、アイコンタクトを取りながら、スムーズに会話することができる。更に、人物Ａ、Ｂは、結像面２３上の同じ位置を双方から指差すことができ、その様子を互いに結像面２３上で確認することができるので、身振り手振りも交えながら意思疎通を図ることができる。共通画像２８は小窓のように表示され、共通画像２８の数、大きさ、配置は、適宜、選択することができる。

また、各画像通信装置１０ａ、１０ｂは、図１、図３に示すように、各地点（自地点）の人物Ａ又はＢの動作を検知する検知手段２９を有している。そして、画像信号出力手段２０は、検知手段２９で検知した動作に基づいて共通画像２８を操作（処理）して、表示手段１５に表示することができる。例えば、人物Ａが共通画像２８を拡大する動作を行った場合、画像通信装置１０ａ側の検知手段２９が、その動作を検知し、画像通信装置１０ａ側の画像信号出力手段２０が共通画像２８を拡大する操作（処理）を行う。そして、拡大された共通画像２８が、画像通信装置１０ａ側の表示手段１５に表示されると共に、その共通画像信号が人物Ａの画像２６の画像信号に重畳されて、画像通信装置１０ａ側の画像信号出力手段２０から画像通信装置１０ｂ側の画像信号出力手段２０に送られ、画像通信装置１０ｂ側の表示手段１５に表示される。これにより、各地点の人物Ａ、Ｂは同じように拡大された共通画像２８を見ながら会話を進めることができる。
特に、画像（実像）２５、２６に焦点を合わせ、結像面２３上での人物Ａ又はＢの手や指の位置及び動作を検知する検知手段２９は、動作の検知性能に優れるので、画像信号出力手段２０によって共通画像２８の大きさや位置等を調整して表示手段１５に表示させることができ、操作性に優れる。このような検知手段２９として、赤外線モーションセンサー等が好適に用いられる。なお、画像信号出力手段２０での処理は、ＣＰＵが所定のプログラムを実行することで実現されるが、手や指の動作と、画像操作指令が予め対応付けられており、共通画像２８の拡大、縮小、移動、回転等の操作（処理）を行うことができる。これにより、共通画像２８を利用して円滑に会話を進めることができる。

次に、光学結像手段１６について説明する。
図５（Ａ）、（Ｂ）に示すように、光学結像手段１６は、複数の光反射面３０を有する第１の光制御部３１と、複数の光反射面３２を有する第２の光制御部３３からなり、それぞれの光反射面３０、３２が平面視して直交するように第１、第２の光制御部３１、３３が、厚さ方向に重ね合わされて配置（一体化）されたものである。
第１の光制御部３１は、第１の透明板材３４の一側に、傾斜面３５と垂直面３６とを有する断面三角形の複数の溝３７、及び隣り合う溝３７の間に形成される断面三角形の複数の凸条３８がそれぞれ所定ピッチで配置されたものであり、それぞれの溝３７の垂直面３６のみに鏡面（金属反射面）からなる光反射面３０が形成されている。なお、溝３７の底部（傾斜面３５の下端と垂直面３６の下端との間）、及び凸条３８の頂部（傾斜面３５の上端と垂直面３６の上端との間）には、それぞれ微小平面部３９、４０が形成されている。

また、第２の光制御部３３は、第２の透明板材４１の他側に、傾斜面４２と垂直面４３とを有する断面三角形の複数の溝４４、及び隣り合う溝４４の間に形成される断面三角形の複数の凸条４５がそれぞれ所定ピッチで配置されたものであり、それぞれの溝４４の垂直面４３のみに鏡面（金属反射面）からなる光反射面３２が形成されている。なお、溝４４の底部（傾斜面４２の下端と垂直面４３の下端との間）、及び凸条４５の頂部（傾斜面４２の上端と垂直面４３の上端との間）には、それぞれ微小平面部４６、４７が形成されている。

そして、向かい合わせに配置された溝３７、４４には透明樹脂４８が充填されている。
なお、第１、第２の透明板材３４、４１の屈折率η１、η２は同一で、その間に充填される透明樹脂４８の屈折率η３は、第１、第２の透明板材３４、４１の屈折率η１、η２の０．８〜１．２倍（より好ましくは、０．９〜１．１倍、更に好ましくは、０．９５〜１．０５倍）の範囲にあることが好ましい。
第１、第２の透明板材３４、４１の原料となる透明樹脂としては、シクロオレフィンポリマー、ポリメチルメタルクレート（アクリル系樹脂）、非晶質フッ素樹脂、ＰＭＭＡ、光学用ポリカーボネイト、フルオレン系ポリエステル、ポリエーテルスルホン等の熱可塑性樹脂を使用することができるが、特に融点、透明度の高いものが好適に用いられる。

鏡面（金属反射面）を形成する方法としては、溝３７、４４の垂直面３６、４３に直接、スパッタリング、金属蒸着、金属微小粒子の吹き付け、イオンビームの照射、金属ペーストの塗布等を行うものが好適に用いられるが、スパッタリングや金属蒸着等で反射膜を形成した樹脂フィルムを溝３７、４４の垂直面３６、４３に貼り付けてもよい。なお、溝３７、４４の垂直面３６、４３に直接、スパッタリング、金属蒸着、金属微小粒子の吹き付け、イオンビームの照射等を行う場合は、真空中又は低圧下で、斜め上方から垂直面３６、４３に向けて金属粒子を照射する。このとき、溝３７、４４の底部にそれぞれ微小平面部３９、４６が形成されているので、傾斜面３５、４２に金属粒子が付着することを減らし又は無くしながら、垂直面３６、４３の下端まで斑なく金属粒子を照射することができる。なお、溝３７、４４の傾斜面３５、４２は平面状に形成する代わりに、凸条３８、４５の内側に窪む断面多角形状の多角面や断面円弧状の凹面、或いは表面に多数の微小な凹凸（疵）を有する凹凸面として、金属粒子の付着を防止してもよい。

溝３７、４４に透明樹脂４８を充填して第１、第２の光制御部３１、３３を一体化する方法としては、第１の光制御部３１の一側と、第２の光制御部３３の他側、つまり、それぞれの溝３７、４４が形成された側の面が対向するように向かい合わせに配置された状態で、その間に、第１、第２の透明板材３４、４１より融点が低いシート状の透明樹脂を挟み込み、真空状態で加熱、押圧して、透明樹脂のみを溶解し、固化させてもよいし、それぞれの溝３７、４４に別々に透明樹脂からなる透明接着剤を充填し、第１、第２の光制御部３１、３３の溝３７、４４を向かい合わせ、突き合わせて、透明接着剤を硬化させてもよい。透明接着剤としては、紫外線等を照射することにより硬化する光硬化型の他、熱硬化型や二液混合型の接着剤を用いることができる。特に、屈折率η３を屈折率η１、η２に近づけるために、屈折率を調整した屈折率調整樹脂からなる光学用接着剤等が好適に用いられる。
なお、各溝の傾斜面が多角面、凹面、凹凸面等である場合、アンカー効果によって、傾斜面と、溝に充填される透明樹脂との密着性を高め、溝内を透明樹脂で隙間なく埋めて凹凸を解消することができる。その結果、傾斜面と透明樹脂との界面で乱反射（散乱）を発生させることなく光を通過させることができ、屈折も最小限に抑えて、明るく鮮明な立体像を得ることができる。

次に、光学結像手段１６の動作を説明する。
図１において、表示手段１５に画像が表示されると、その光が光学結像手段１６に向かって放射される。図５（Ａ）、（Ｂ）に示すように、光Ｌ１がＰ１の位置で光学結像手段１６の第２の光制御部３３に入光した場合、その光Ｌ１は、光反射面３２上のＰ２の位置で反射し、第１の光制御部３１に進入する。そして、光反射面３０のＰ３の位置で反射した後、Ｐ４の位置で第１の光制御部３１から空中に出て行き結像する。ここで、図４（Ａ）のＱ１で第２の透明板材４１から透明樹脂４８に、Ｑ２で透明樹脂４８から第１の透明板材３４に入光するが、第１、第２の透明板材３４、４１の屈折率η１、η２が同一で、透明樹脂４８の屈折率η３と近似する（略同等である）ので、全反射や分光等の現象は起こらない。また、図４（Ｂ）のＳ１で第２の透明板材４１から透明樹脂４８に、Ｓ２で透明樹脂４８から第１の透明板材３４に入光するが、第１、第２の透明板材３４、４１の屈折率η１、η２が同一で、透明樹脂４８の屈折率η３と近似する（略同等である）ので、全反射や分光等の現象は起こらない。
なお、Ｐ１、Ｐ４の位置でも屈折を起こすが、Ｐ１、Ｐ４の屈折は相殺する。また、光反射面３０、３２は表裏（図４（Ａ）、（Ｂ）では左右）いずれ側の面も光反射面として機能させることができる。

なお、第１、第２の光制御部３１、３３が形成される過程において、前記垂直面３６、４３の頂部に形成される微小平面部４０、４７には金属反射膜が形成される。この金属反射膜が形成されると、光学結像手段１６の中に微小反射膜が存在することになり、光学結像手段の結像性が悪くなる。そこで、微小平面部４０、４７に形成された金属反射膜は除去、又は金属反射膜の表面及び裏面を黒色（光線吸収色の一例）に着色して、光反射面を形成しないようにするのが好ましい。

次に、本発明の第１の実施例に係る画像通信装置１０ａ、１０ｂを用いた画像通信方法について説明する。
当該画像通信方法は、図１〜図４に示したように、各地点に配置された画像通信装置１０ａ、１０ｂを用いて、各地点に存在する人物Ａ、Ｂが、画像を介して会話を行うものである。即ち、人物Ａ側では画像通信装置１０ａを用いて、表示手段１５に表示された対話相手（人物Ｂ）の画像を平面状の光学結像手段１６によって、ハーフミラー１７を介して自由空間の結像面２３に実像として結像させると共に、自由空間の実像と対話する人物Ａを撮像手段１８によってハーフミラー１７を介して撮像し、撮像した画像の画像信号を対話相手（人物Ｂ）側の画像通信装置１０ｂに送る。同様に、人物Ｂ側では画像通信装置１０ｂを用いて、画像通信装置１０ａから送られる対話相手（人物Ａ）の画像を表示手段１５に表示し、表示された画像を平面状の光学結像手段１６によって、ハーフミラー１７を介して自由空間の結像面２３に実像として結像させると共に、自由空間の実像と対話する人物Ｂを撮像手段１８によってハーフミラー１７を介して撮像し、撮像した画像の画像信号を対話相手（人物Ａ）側の画像通信装置１０ａに送る。このように、人物Ｂの画像２５及び人物Ａの画像２６を相互に送受信して、その実像と各人物Ａ、Ｂが対話することにより、対話相手が目の前に存在しているような感覚で視線を合わせて会話をすることができ、アイコンタクトやジェスチャーによるスムーズな意思疎通を図ることが可能となる。

続いて、図６を参照して、本発明の第２の実施例に係る画像通信装置５０ａ、５０ｂについて説明する。
この画像通信装置５０ａ、５０ｂが、第１の実施例と異なる点は、表示手段１５、光学結像手段１６、ハーフミラー１７、撮像手段１８、検知手段２９が、上下反転して配置されている点であり、その動作及び得られる作用、効果は第１の実施例と同様である。
なお、検知手段２９は、実像に焦点を合わせ、結像面２３上での人物Ａ又はＢの手や指の位置及び動作を検知できればよいので、第１の実施例と同様に、光学結像手段１６の上方に配置してもよい。
また、第１の実施例では、光学結像手段１６を斜め上向きに配置したのに対し、本実施例では、表示手段１５、光学結像手段１６、ハーフミラー１７、撮像手段１８、検知手段２９の位置関係を上下反転（１８０度回転）させて、光学結像手段１６の出光側を斜め下向きに配置したが、第１の実施例における上記構成の位置関係を９０度回転させて表示手段の表示面を鉛直方向に配置し、表示手段の側方に光学結像手段を出光側が斜め横向きとなるようにして配置することもできる。

次に、図７を参照して、本発明の第３の実施例に係る画像通信装置５１ａ、５１ｂについて説明する。
この画像通信装置５１ａ、５１ｂが、第１の実施例と異なる点は、表示手段１５の設置角度が水平面に対して傾斜しており、それに応じて光学結像手段１６の傾斜角度を変更している点である。このように、表示手段１５の設置角度が水平でなく傾斜している場合でも、光学結像手段１６の傾斜角度を適宜、選択することにより、結像面２３を鉛直面とすることができる。また、画像通信装置５１ａ、５１ｂの動作及び得られる作用、効果は第１の実施例と同様である。

以上、本発明の実施例を説明したが、本発明は何ら上記した実施例に記載の構成に限定されるものではなく、請求の範囲に記載されている事項の範囲内で考えられるその他の実施例や変形例も含むものである。
上記実施例では、通信を行う２つの地点の双方に本発明に係る画像通信装置を設置した場合について説明したが、必ずしも双方にこの画像通信装置を設置する必要はなく、一方の装置は、他方の画像通信装置から送られる画像信号を受けて対話相手となる人物の画像を表示する表示手段（ディスプレイ）と、その表示手段を見ている人物を撮像する撮像手段（カメラ）と、撮像手段で撮像された画像の画像信号を通信ネットワークを介して画像通信装置に送信する画像信号出力手段のみを備えたものであればよい。このような装置として、例えば、汎用のカメラ付きのスマートフォン等の携帯端末やパーソナルコンピュータ等を使用することができる。

また、上記実施例では、２つの地点間で通信を行う場合について説明したが、３つ以上の地点間で通信を行うことも可能である。なお、３つ以上の地点間で通信を行う場合は、各地点の表示手段に表示する他地点の人物の画像を適宜、選択して切替える必要がある。例えば、３つの地点で人物Ａ、Ｂ、Ｃが通信を行う場合、人物Ａが発言している時には、人物Ｂ、Ｃ側の表示手段に人物Ａの画像を表示することが好ましい。このとき、発言している人物Ａ或いは発言を聞いている人物Ｂ、Ｃが、手動で選択して人物Ａの画像が表示されるように切替えてもよいが、人物Ａ側の検知手段で人物Ａの声を検知した時に、人物Ａの画像を人物Ａ側の画像信号出力手段から人物Ｂ、Ｃ側の画像信号出力手段に送信し、それぞれの表示手段に表示するようにして、画像の切替えを自動化することもできる。なお、人物Ａ側の表示手段には、人物Ｂ又はＣの画像を表示することが好ましい。このとき、表示する人物Ｂ又Ｃの画像は、例えば、人物Ａ側の画像信号出力手段により自動的に定期又は不定期で切替えてもよいし、人物Ａが、発言の内容等に応じて、手動で人物Ｂ又はＣの画像を選択して切替えてもよい。

上記実施例では、実像が形成される結像面が鉛直となるように、表示手段の設置角度と、光学結像手段の傾斜角度を設定したが、人物の姿勢（視線の方向）に応じて実像（結像面）を傾斜させてもよく、表示手段の設置角度と、光学結像手段の傾斜角度は、適宜、選択することができる。
撮像手段で人物の画像を撮像する際に、ハーフミラーで反射した人物を撮像する代わりに、必要に応じて、ハーフミラーで反射した人物を更に鏡で反射させてから撮像することもでき、鏡の配置や設置角度に応じて、撮像手段の設置位置を適宜、変更することができる。

更に、上記実施例では、検知手段として、実像に焦点を合わせ、結像面上での人物の手や指の位置及び動作を検知するもの（赤外線モーションセンサー等）について説明したが、その他に、検知手段として、表示手段の表面（表示面）に、表側からの光のみを検知するセンサ素子が並んで設けられた光センサを設置しておき、結像面に触れた手や指からの反射光を光学結像手段を介して表示手段上に実像として形成して、その実像の位置を、光センサで検知することもできる。更に、検知手段として、人物の指や手の動作を検知するものの他、声や音を検知するものを用いることもできる。

また、上記実施例では、光学結像手段として、第１、第２の光制御部の表側（溝が形成された面）同士が接するように配置したものを用いたが、光学結像手段は、第１、第２の光制御部の光反射面が、平面視して直交配置されていればよい。よって、第１、第２の光制御部の表側と裏側が接するように配置する場合や、第１、第２の光制御部の裏側同士が接するように配置する場合もある。更に、第１、第２の光制御部を２枚の透明板材に別々に形成して接合する代わりに、１枚の透明板材の両面に第１、第２の光制御部を形成することもできる。
なお、第１、第２の光制御部の各溝の垂直面に鏡面（金属反射面）を形成する代わりに、溝内に空気等の気体を密封したり、溝内を真空にしたりして、光の全反射を利用すれば、各溝の垂直面をそのまま光反射面とすることができる。
また、上記実施例では、光学結像手段として、第１、第２の光制御部の複数の光反射面がそれぞれ直線状（平行）に配置されたものについて説明したが、複数の光反射面が放射状に配置された第１の光制御部と、複数の光反射面が同心円状に配置された第２の光制御部を有するものも使用することができる。この場合、第１の光制御部の放射状の光反射面が、基準点Ｘを中心にして直線状に設けられるのに対し、第２の光制御部の同心円状の光反射面は、平面視して基準点Ｘと重なる基準点Ｙを中心とする同心円に沿って湾曲しているが、平面視して光反射面同士が交差する点では、両者は直交している。よって、上記実施例と同様に、立体像を結像させることができる。
更には、光学結像手段としては、例えば、特許第５４３７４３６に記載のように、一方側の面に垂直に（例えば、同一ピッチで）並べて形成された多数の帯状反射面を有する第１、第２の光制御部を、それぞれの帯状反射面が平面視して直交するように重ね合わせて配置した光学結像手段を使用することもできる。

本発明に係る画像通信装置及び画像通信方法は、遠隔地の人物同士が、画像を通して会話を行う際に、視線を合わせて意思疎通を図り、スムーズに会話を進めることができ、遠隔会議（テレビ会議）やビデオチャット等で有効に利用できる。

１０ａ、１０ｂ：画像通信装置、１４：表示面、１５：表示手段、１６：光学結像手段、１７：ハーフミラー、１７ａ：透明フィルム、１７ｂ：下面、１８：撮像手段、２０：画像信号出力手段、２１：スピーカー、２２：マイク、２３：結像面、２４：通信ネットワーク、２５、２６：画像（実像）、２７：共通画像作成手段、２８共通画像、２９：検知手段、３０：光反射面、３１：第１の光制御部、３２：光反射面、３３：第２の光制御部、３４：第１の透明板材、３５：傾斜面、３６：垂直面、３７：溝、３８：凸条、３９、４０：微小平面部、４１：第２の透明板材、４２：傾斜面、４３：垂直面、４４：溝、４５：凸条、４６、４７：微小平面部、４８：透明樹脂、５０ａ、５０ｂ、５１ａ、５１ｂ：画像通信装置

Claims (7)

1. 画像信号を受けて対話相手の画像を表示する表示手段と、該表示手段に表示された前記対話相手の画像を自由空間に実像として結像する平面状の光学結像手段と、前記自由空間の実像と対話する人物を撮像する撮像手段と、該撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像信号出力手段とを有する画像通信装置において、
   ハーフミラーを、１）透明なフィルムを介して、又は２）直接、前記光学結像手段の出光側に積層し、前記表示手段に表示された前記対話相手の画像は、前記光学結像手段によってしかも前記ハーフミラーを介して前記自由空間に表示され、更に、前記撮像手段による前記人物の撮像は前記ハーフミラーを介して行われることを特徴とする画像通信装置。
2. 請求項１記載の画像通信装置において、前記光学結像手段は、出光側を斜め上向き、斜め下向き又は斜め横向きにして配置されていることを特徴とする画像通信装置。
3. 請求項１又は２記載の画像通信装置において、前記画像信号出力手段は、共通画像作成手段を有し、前記対話相手の画像と前記共通画像作成手段で作成した共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることを特徴とする画像通信装置。
4. 請求項３に記載の画像通信装置において、前記画像信号出力手段で前記対話相手に送られる前記人物の画像は左右反転していることを特徴とする画像通信装置。
5. 請求項３又は４記載の画像通信装置において、前記人物の動作を検知する検知手段を有し、前記画像信号出力手段は、前記検知手段で検知した動作に基づいて前記共通画像を操作することを特徴とする画像通信装置。
6. 表示手段に表示された対話相手の画像を平面状の光学結像手段によって自由空間に実像として結像させ、前記自由空間の実像と対話する人物を撮像手段によって撮像し、前記撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像通信方法において、
   ハーフミラーを、１）透明なフィルムを介して、又は２）直接、前記光学結像手段の出光側に積層し、前記表示手段に表示された前記対話相手の画像は、前記光学結像手段によってしかも前記ハーフミラーを介して前記自由空間に表示し、更に、前記撮像手段による前記人物の撮像は前記ハーフミラーを介して行うことを特徴とする画像通信方法。
7. 請求項６項に記載の画像通信方法において、前記対話相手の画像と共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることを特徴とする画像通信方法。

Images