JP7101062B2 - Image communication device and image communication method - Google Patents
Image communication device and image communication method Download PDFInfo
- Publication number
- JP7101062B2 JP7101062B2 JP2018126004A JP2018126004A JP7101062B2 JP 7101062 B2 JP7101062 B2 JP 7101062B2 JP 2018126004 A JP2018126004 A JP 2018126004A JP 2018126004 A JP2018126004 A JP 2018126004A JP 7101062 B2 JP7101062 B2 JP 7101062B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- communication device
- common
- optical imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、複数の地点間で画像(実像)を介して、リアルタイムで遠隔会議(テレビ会議)やビデオチャット等を行うことができる画像通信装置及び画像通信方法に関する。 The present invention relates to an image communication device and an image communication method capable of performing a remote conference (video conference), a video chat, or the like in real time between a plurality of points via an image (real image).
従来、遠隔地に存在する人物(通信者)同士が、画像(映像)を通して会話を行うための技術として、テレビ会議システムやテレビ電話システム等が知られている。これらのシステムは、各地点で双方向的に、ビデオカメラ等により各人物の顔を含めた画像を撮影し、それを遠隔地点に伝送して表示手段(表示装置、ディスプレイ)上に表示することにより、遠隔地点間での会話を可能としている。このような遠隔地との双方向通信システムは、近年のブロードバンドに代表される通信回線容量の増大及び制御装置の高性能化と共に急速に進歩しており、高画質のカラー画像を音声と共にリアルタイムで双方向通信することが可能で、特に、ビジネス分野での使用は、一般的になりつつある。 Conventionally, a video conference system, a videophone system, or the like is known as a technique for having a person (communication person) existing in a remote place talk with each other through an image (video). These systems bidirectionally take an image including the face of each person with a video camera or the like at each point, transmit it to a remote point, and display it on a display means (display device, display). Allows conversations between remote points. Such two-way communication systems with remote locations are rapidly advancing with the increase in communication line capacity represented by broadband in recent years and the improvement of the performance of control devices, and high-quality color images are displayed in real time together with voice. Two-way communication is possible, especially in the business field, where it is becoming more common.
しかし、従来のこれらのシステムでは、例えば、特許文献1のように、表示装置の上方にビデオカメラやウェブカメラ等の撮像装置が設置された構成が採用されており、会話中の通信者を上方から見下ろして撮像している。一方、通信者は、撮像装置ではなく、主に表示装置に表示される通信相手の画像を見ながら会話を行う。従って、撮像装置による撮像方向と、通信者の視線の方向(目線)が異なっており、表示装置には視線が下方を向いた状態で通信相手の画像が映し出されることになる。この結果、通信者同士は視線を合わせることができず、会話に違和感を生じ易く、意思疎通が図りづらくなり、臨場感や緊張感に欠けるという問題点があった。
However, in these conventional systems, for example, as in
この問題点を解決するものとして、例えば、特許文献2では、撮像装置が設置されている高さ及び高さ検知部が検知した目の高さが異なるとき、三次元映像生成部により、双方の差及び撮像装置とユーザ(通信者)との間の距離に基づいて、高さ検知部が検知した目の高さにある仮想的な視点から見たときのユーザの三次元映像を取得するためのレンダリング処理を実行する映像表示システムが提案されている。
また、特許文献3には、相手方の画像を表示する表示装置と使用者の画像を撮像するカメラをそれぞれ有するテレビ会議システムが提案されている。このテレビ会議システムでは図7に示すように、反射型結像素子(光学結像手段の一例)80を用いて、表示装置81に表示された相手方の映像を空間内に空中映像82として形成し、この空中映像82を観察する使用者83を反射型結像素子80の上に設けたカメラ84によって撮像し、撮像した画像をその音声と共に、通信手段を用いて、相手方のテレビ会議システムに送っている。
As a solution to this problem, for example, in
Further,
しかしながら、特許文献2において、動作を交えて会話する通信者同士の目の高さを確実に合わせるためには、常に通信者の映像を抽出しながら、高さ検知部で通信者の目の高さを検知し、通信者の目の高さや撮像装置と通信者との間の距離が変化する度に、三次元映像生成部によって三次元映像を作成して、表示画面の映像を切り替えなければならない。これらの制御は複雑で、処理にも時間を要するため、実際の通信者の動きと表示装置に表示される映像を一致させることは困難であり、その時間差によって違和感を生じる可能性がある。また、通信者同士の目の高さを仮想的に一致させているに過ぎないため、通信者の目の上下左右の動きには対応することができず、通信者同士の視線を完全に一致させることはできない。よって、例えば、表示装置に、通信者と共に写真や文書等の資料画像(共通画像)が表示されている場合に、一方の通信者が資料画像に視線を移しても、他方の通信者は相手がどこを見ているのか判断がつかず、即座に会話に反応することができない。つまり、現実に対面して会話を行うように、視線を送ったり、目配せをしたりして、アイコンタクトを取ることができないため、十分な意思疎通を図ることが難しく、スムーズな会話が成り立たないという問題があった。
However, in
特許文献3の実施の形態に記載されたテレビ会議システムは、ハーフミラーや偏光ビームスプリッタ等の光学素子を使用せず、図7に示すように、カメラ84で使用者83を直接撮影することを前提としたもので、使用者83を撮影するカメラ84を、空中映像82よりも使用者83から遠い位置に配置することにより、使用者83の視線方向とカメラ84の撮影方向とのズレ角θを、視線の不一致を実質的に感じない程度にまで小さくしようとするものである。このため、使用者83から空中映像82までの距離、及び使用者からカメラ84までの距離を適正に管理しなければならない。つまり、使用者83の視線方向とカメラ84の撮影方向とのズレ角θを、視線の不一致を実質的に感じない程度にまで小さくするためには、使用者83からカメラ84までの距離を長くする必要があるが、それに伴って、使用者83から空中映像82までの距離が長くなり過ぎると、使用者83の指が空中映像82に届かず、空中映像82を指し示すことや、タッチ入力を行うことが困難になるという問題があった。そして、空中映像82に指等で触れるために使用者83が空中映像82に近づき過ぎると、カメラ84までの距離も近くなり、使用者83の視線方向とカメラ84の撮影方向とのズレ角θが大きくなって通信相手と視線が合わなくなることや、場合によっては使用者83の顔をカメラ84で鮮明に捉えることができなくなることもあり、汎用性、操作性に欠けるという問題があった。また、使用者83から空中映像82までの距離を変えずに、使用者83からカメラ84までの距離のみを長くするために、空中映像82の形成部の位置を動かさずにカメラ84のみを使用者83から遠ざけた場合、装置の奥行き方向寸法が増大して広い設置スペースが必要になるため、コンパクト性、設置自在性に欠けるという問題もあった。
The video conference system described in the embodiment of
更に、特許文献3には従来技術として、ハーフミラーを用いたテレビ会議システムが提案されている。このテレビ会議システムの一例を図8(A)に示すが、表示装置86に表示された相手方の画像を45度に傾斜配置されたハーフミラー87を通して観察し、このハーフミラー87を介して使用者88の画像をカメラ89で撮像し、相手方のテレビ会議システムに送っている。そして、特許文献3には、ハーフミラー87等の光学素子は、一般に波長依存性があるので、カメラ89で撮影した映像は色合いが不自然になり、相手方に表示される映像の画質が低いという課題があると記載されている。
Further,
そこで、本発明者がハーフミラー87を使用した場合の問題を鋭意研究した結果を以下に説明する。
図8(B)にハーフミラー87の部分断面を示すが、厚みを有する透明な板材90の裏面にハーフミラー87を形成する金属層による光透過率が40~60%の反射面91が形成されている。表示装置86からの光D1は、D2に示すように、板材90に進入し、D3に示すように、使用者側に出光する。更に、D4に示すように、板材90の表面裏側で繰り返し反射して使用者88に届く光もある。一方、別照明された使用者88からの光E1は、E2に示すように反射面91によってカメラ側に反射するが、その一部は光E3となって、板材90内に進入し、板材90の表面側からF1として出光する他、板材90の表面裏側で反射してE4、E5となってカメラ89に届くもの、更に、E6に示すように、繰り返し反射してカメラ89に届くものもある。従って、像が多重に撮影され、鮮明な映像が得られないという問題がある。以上の問題はハーフミラー87の厚みが厚い場合に顕著に発生する問題である。このような問題は、例えば、特許文献4においても同様で、厚みを有するハーフミラーを傾斜して使用すれば、共通に発生する問題である。なお、F1、F2は板材90から外部に出る不要光を示す。
Therefore, the result of diligent research on the problem when the present inventor uses the
FIG. 8B shows a partial cross section of the
本発明はかかる事情に鑑みてなされたもので、複雑な制御や特別な画像処理等を行う必要がなく、ハーフミラーを使用しない簡素な構成で遠隔の人物同士が正対して視線を合わせることができ、アイコンタクトやジェスチャーによる意思疎通を図って会話をスムーズに行うことが可能で、操作性、コンパクト性に優れる画像通信装置及び画像通信方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and it is not necessary to perform complicated control or special image processing, and it is possible for remote persons to face each other and make eye contact with each other in a simple configuration without using a half mirror. It is possible to communicate smoothly by eye contact and gesture, and the purpose is to provide an image communication device and an image communication method having excellent operability and compactness.
前記目的に沿う第1の発明に係る画像通信装置は、画像信号を受けて対話相手の画像を表示する表示手段と、該表示手段に表示された前記対話相手の画像を自由空間に実像として結像する平面状の光学結像手段と、前記自由空間の実像と対話する人物を撮像する撮像手段と、該撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像信号出力手段とを有する画像通信装置において、
前記撮像手段は、前記光学結像手段の出光側中央部に取付けられる。
ここで、光学結像手段の出光側中央部は、自由空間の実像(対話相手)と対話する人物を正面から撮像することができ、その人物の視線方向と撮像手段の撮影方向との間に大きなずれを発生させず、人物と対話相手の視線が合う範囲であればよい。特に、画像通信装置を使用する人物の目の位置(高さ)に合わせて撮像手段を設置することが好ましい。なお、この画像通信装置を用いて、テレビ会議を行うには、使用者側の画像通信装置Aの他、相手方の画像通信装置Bが必要である。画像通信装置Bは、画像通信装置Aと同一構成である必要はなく、相手方を撮像するカメラと、使用者側のカメラで撮像した使用者の画像データを表示する表示装置があれば十分である。
The image communication device according to the first invention according to the above object is a display means for receiving an image signal and displaying an image of a dialogue partner, and an image of the dialogue partner displayed on the display means is formed as a real image in free space. A planar optical imaging means for imaging, an imaging means for capturing an image of a person interacting with a real image in the free space, and an image signal output means for sending an image signal of an image of the person captured by the imaging means to the dialogue partner. In the image communication device having
The image pickup means is attached to the central portion on the light emitting side of the optical image pickup means.
Here, the central portion on the light emitting side of the optical imaging means can image a person interacting with a real image (dialogue partner) in free space from the front, and is between the line-of-sight direction of the person and the photographing direction of the imaging means. It suffices as long as it does not cause a large deviation and the line of sight of the person and the dialogue partner meet. In particular, it is preferable to install the image pickup means according to the position (height) of the eyes of the person who uses the image communication device. In addition to the image communication device A on the user side, the image communication device B on the other side is required to hold a video conference using this image communication device. The image communication device B does not have to have the same configuration as the image communication device A, and it is sufficient if there is a camera that captures the other party and a display device that displays the image data of the user captured by the camera on the user side. ..
第1の発明に係る画像通信装置において、前記光学結像手段の中央部に、前記撮像手段が装着される取付孔が形成されていることが好ましい。
第1の発明に係る画像通信装置において、前記光学結像手段は、出光側を斜め上向き、斜め下向き又は斜め横向きにして配置されていることが好ましい。
第1の発明に係る画像通信装置において、前記画像信号出力手段は、共通画像作成手段を有し、前記対話相手の画像と前記共通画像作成手段で作成した共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることが好ましい。この場合、前記画像信号出力手段で前記対話相手に送られる前記人物の画像は左右反転していることが好ましい。
また、第1の発明に係る画像通信装置において、前記人物の動作を検知する検知手段を有し、前記画像信号出力手段は、前記検知手段で検知した動作に基づいて前記共通画像を操作することもできる。
In the image communication device according to the first invention, it is preferable that a mounting hole for mounting the image pickup means is formed in the central portion of the optical imaging means.
In the image communication device according to the first invention, it is preferable that the optical imaging means is arranged with the light emitting side facing diagonally upward, diagonally downward, or diagonally sideways.
In the image communication device according to the first invention, the image signal output means has a common image creating means, and the image of the dialogue partner and the common image created by the common image creating means are combined and used as the display means. In addition to displaying the image, it is preferable to superimpose the common image signal of the common image on the image signal sent to the dialogue partner. In this case, it is preferable that the image of the person sent to the dialogue partner by the image signal output means is horizontally inverted.
Further, in the image communication device according to the first invention, the image communication device has a detection means for detecting the movement of the person, and the image signal output means operates the common image based on the movement detected by the detection means. You can also.
第2の発明に係る画像通信方法は、表示手段に表示された対話相手の画像を平面状の光学結像手段によって自由空間に実像として結像させ、前記自由空間の実像と対話する人物を撮像手段によって撮像し、前記撮像手段で撮像した人物の画像の画像信号を前記対話相手に送る画像通信方法において、
前記撮像手段は、前記光学結像手段の出光側中央部に取付けられて、前記自由空間の実像と対話する人物を正面から撮像する。
In the image communication method according to the second invention, an image of a dialogue partner displayed on a display means is imaged as a real image in a free space by a planar optical imaging means, and a person interacting with the real image in the free space is imaged. In an image communication method in which an image is taken by means and an image signal of an image of a person captured by the image pickup means is sent to the dialogue partner.
The imaging means is attached to the central portion of the optical imaging means on the light emitting side, and images a person interacting with a real image in the free space from the front.
第2の発明に係る画像通信方法において、前記対話相手の画像と共通画像を合成して前記表示手段に表示させると共に、前記対話相手に送る画像信号にも前記共通画像の共通画像信号を重畳させることが好ましい。 In the image communication method according to the second invention, the image of the dialogue partner and the common image are combined and displayed on the display means, and the common image signal of the common image is superimposed on the image signal sent to the dialogue partner. Is preferable.
第1の発明に係る画像通信装置及び第2の発明に係る画像通信方法は、表示手段に表示される対話相手の画像を光学結像手段によって自由空間に実像として結像させることができるので、実像と対話する人物は、対話相手が目の前に存在しているような感覚で会話をすることができる。このとき、撮像手段が光学結像手段の出光側中央部に取付けられることにより、光学結像手段と撮像手段が一体化されているので、別途、撮像手段を位置決めして設置する作業や撮像手段を保持する手段を必要とすることなく、実用性に優れる。また、ハーフミラーを必要とせず、撮像手段で人物を正面から直接撮像して、撮像した画像の画像信号を対話相手に送ることができるので、極めて簡素な構成で対話相手と人物が視線を合わせてリアルタイムで会話をすることができ、アイコンタクトやジェスチャーによるスムーズな意思疎通を図ることができる。さらに、撮像手段で人物を撮像する際に、常に正面から直接撮像することができ、人物と実像との距離が変化しても、人物の視線方向と撮像手段による撮像方向は変化せず一定に保たれ、画像が鮮明で、操作性に優れる。 In the image communication device according to the first invention and the image communication method according to the second invention, the image of the dialogue partner displayed on the display means can be imaged as a real image in free space by the optical imaging means. A person who interacts with a real image can have a conversation as if the other person were in front of him. At this time, since the optical image pickup means and the image pickup means are integrated by attaching the image pickup means to the central portion on the light emitting side of the optical image pickup means, the work of separately positioning and installing the image pickup means or the image pickup means. It is excellent in practicality without the need for a means for holding the optics. In addition, since a person can be directly imaged from the front by an imaging means and the image signal of the captured image can be sent to the dialogue partner without the need for a half mirror, the dialogue partner and the person can match their eyes with an extremely simple configuration. It is possible to have a conversation in real time, and to achieve smooth communication through eye contact and gestures. Furthermore, when a person is imaged by the image pickup means, the person can always be directly imaged from the front, and even if the distance between the person and the real image changes, the line-of-sight direction of the person and the image pickup direction by the image pickup means do not change and are constant. It is maintained, the image is clear, and it is easy to operate.
第1の発明に係る画像通信装置において、光学結像手段の中央部に、撮像手段が装着される取付孔が形成されている場合、光学結像手段への撮像手段の取付けを容易に行うことができ、組立作業性及び取り扱い性に優れる。 In the image communication device according to the first invention, when the mounting hole for mounting the imaging means is formed in the central portion of the optical imaging means, the imaging means can be easily attached to the optical imaging means. It is excellent in assembly workability and handleability.
第1の発明に係る画像通信装置において、光学結像手段が、出光側を斜め上向き、斜め下向き又は斜め横向きにして配置されている場合、結像する実像の角度を表示手段に対して傾斜させることができ、特に、表示手段の配置(設置角度)に応じて、実像が鉛直面となるように、光学結像手段の傾斜角度を選択すれば、人物は対話相手の画像(実像)と正対することができ、画像の歪みも少なく、視認性を向上させることができる。 In the image communication device according to the first invention, when the optical imaging means is arranged with the light emitting side diagonally upward, diagonally downward, or diagonally sideways, the angle of the real image to be imaged is tilted with respect to the display means. In particular, if the tilt angle of the optical imaging means is selected so that the real image faces vertically according to the arrangement (installation angle) of the display means, the person can be positive with the image (real image) of the conversation partner. However, there is little distortion of the image, and visibility can be improved.
第1の発明に係る画像通信装置及び第2の発明に係る画像通信方法において、対話相手の画像と共通画像を合成して表示手段に表示させると共に、対話相手に送る画像信号にも共通画像の共通画像信号を重畳させた場合、対話相手と人物は同時に共通画像を見ながらスムーズに会話をすることができる。また、対話相手側では、受けた画像信号と共通画像信号をそのまま表示手段に表示させることができ、特別な画像処理手段や画像処理工程が不要で、汎用の携帯端末やパーソナルコンピュータ等を使用して相手の人物と手軽に通信(対話)を行うことができる。ここで、人物の画像を左右反転して対話相手に送った場合、画像信号を受ける側では、画像処理等を行うことなく、汎用の携帯端末やパーソナルコンピュータ等の画面(ディスプレイ)に、そのまま画像を表示させることができる。 In the image communication device according to the first invention and the image communication method according to the second invention, the image of the dialogue partner and the common image are combined and displayed on the display means, and the image signal sent to the dialogue partner is also the common image. When the common image signal is superimposed, the conversation partner and the person can have a smooth conversation while viewing the common image at the same time. In addition, on the other side of the dialogue, the received image signal and the common image signal can be displayed on the display means as they are, no special image processing means or image processing process is required, and a general-purpose mobile terminal, personal computer, or the like is used. You can easily communicate (dialogue) with the other person. Here, when the image of a person is flipped left and right and sent to the dialogue partner, the side receiving the image signal directly displays the image on the screen (display) of a general-purpose mobile terminal or personal computer without performing image processing or the like. Can be displayed.
第1の発明に係る画像通信装置において、人物の動作(ジェスチャー)を検知して、検知した動作に基づいて共通画像を操作する場合、表示手段に表示される共通画像の拡大、縮小、移動、回転等の各種操作を直感的かつ簡単に行うことができ、操作性に優れる。 In the image communication device according to the first invention, when a person's motion (gesture) is detected and a common image is operated based on the detected motion, the common image displayed on the display means is enlarged, reduced, or moved. Various operations such as rotation can be performed intuitively and easily, and it is excellent in operability.
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図1に示すように、本発明の第1の実施の形態に係る画像通信装置10a、10bは各地点に配置され、各地点に存在する人物A、Bが、画像通信装置10a、10bにより、画像を介して会話を行うものである。
図1、図2に示すように、各画像通信装置10a、10bは、表示面14が上向きで水平に配置された表示手段15と、表示手段15の上方に表示手段15の表示面14に対して45度の傾斜角度で出光側を斜め上向きに傾斜配置された平面状の光学結像手段16と、光学結像手段16の出光側中央部に取付けられた撮像手段18とを有している。表示手段15としては、高輝度モニターが好適に用いられ、撮像手段18としては、ウェブカメラ等の小型のビデオカメラが好適に用いられる。このとき、光学結像手段16の中央部に、撮像手段18が装着される取付孔19が形成されていることにより、光学結像手段16に撮像手段18を簡単に取付けて一体化することができる。また、各画像通信装置10a、10bは、画像信号を送受信し、対話相手から受信した画像信号に基づいて表示手段15に画像を表示する画像信号出力手段20を有している。この画像信号出力手段20としては、RAM、CPU、ROM、I/O、及びこれらの要素を接続するバスを備えた従来公知の演算器(即ち、コンピュータ)が好適に用いられる。そして、CPUが所定のプログラムを実行することにより、画像信号出力手段20での処理が実現される。なお、画像信号出力手段20には、スピーカー21とマイク22が接続されており、音声信号を送受信することにより会話を行うことができる。
光学結像手段16は、表示手段15に表示される画像を光学結像手段16の前面側の自由空間内(実体のない結像面23上)に実像として結像させるものである。この光学結像手段16の詳細については、後述する。
Subsequently, an embodiment embodying the present invention will be described with reference to the attached drawings, and the present invention will be understood.
As shown in FIG. 1, the
As shown in FIGS. 1 and 2, each
The optical imaging means 16 forms an image displayed on the display means 15 as a real image in a free space (on an intangible imaging surface 23) on the front side of the optical imaging means 16. Details of the optical imaging means 16 will be described later.
以下、複数の地点の中で、人物Aと人物Bが通信を行う場合について説明する。
まず、画像通信装置10aは、光学結像手段16の前方にいる人物Aを撮像手段18で撮像する。そして、画像信号出力手段20は、撮像した画像の画像信号を通信ネットワーク24を介して接続される画像通信装置10bの画像信号出力手段20に送信すると共に、画像通信装置10bの撮像手段18で撮像された人物B(人物Aの対話相手)の画像の画像信号を受信して表示手段15に表示することができる。
同様に、画像通信装置10bは、光学結像手段16の前方にいる人物Bを撮像手段18で撮像する。そして、画像信号出力手段20は、撮像した画像の画像信号を通信ネットワーク24を介して接続される画像通信装置10aの画像信号出力手段20に送信すると共に、画像通信装置10aの撮像手段18で撮像された人物A(人物Bの対話相手)の画像の画像信号を受信して表示手段15に表示することができる。
なお、各撮像手段18からは、結像面23に形成される画像(実像)は見えず、それぞれ人物A、Bを正面から直接撮像して鮮明な画像を得ることができる。また、各光学結像手段16に形成される取付孔19は、小さく、各撮像手段18が装着されることにより塞がれるので、各取付孔19を光が通過することはなく、人物A、Bが見ている結像面23上の画像には影響を与えない。
Hereinafter, a case where the person A and the person B communicate with each other at a plurality of points will be described.
First, the
Similarly, the
The image (real image) formed on the
画像通信装置10a、10bの表示手段15に表示される画像は、前述のように、光学結像手段16によって、自由空間に実像として結像する(画像の光が光学結像手段16を通過して結像する)ので、図3に示すように、画像通信装置10a側(図3では左側)の人物Aの正面には、対話相手となる人物Bの画像(実像)25が表示され、画像通信装置10b側(図3では右側)の人物Bの正面には、対話相手となる人物Aの画像(実像)26が表示される。
このとき、図1に示したように、表示手段15の表示面14が水平に配置され、光学結像手段16の出光側が表示手段15の上方に45度の傾斜角度で斜め上向きに配置されていることにより、結像面23は鉛直面となる。また、光学結像手段16の取付孔19に装着された撮像手段18の撮像方向は水平方向であり、光学結像手段16の表面に対しては45度傾斜しており、結像面23とは垂直である。よって、結像面23上の画像25、26とそれぞれ正対して対話する人物A、Bを撮像手段18で正面から直接撮像することができ、各表示手段15に表示され、光学結像手段16によって結像する人物Bの画像25及び人物Aの画像26には違和感が少なく、視線の方向も確認し易くなる。
As described above, the image displayed on the display means 15 of the
At this time, as shown in FIG. 1, the
各画像信号出力手段20は、図2に示すように、共通画像作成手段27を有しており、各表示手段15に共通して表示される共通画像28を作成することができる。必要に応じて、人物Bの画像25及び人物Aの画像26に共通画像28を合成して各表示手段15に表示させることにより、図3に示すように、各結像面23において人物Bの画像25及び人物Aの画像26に対して同じ位置に同じ向きで共通画像28を重ねて表示することができる。なお、共通画像28は、主に写真や文書等の資料画像であり、共通画像作成手段27には、例えば、カメラ、キーボード、タッチペン、スキャナー等の入力機器の他に、画像信号出力手段20で実行されるプログラムも含まれる。また、共通画像作成手段27による共通画像28の作成とは、例えば、カメラで撮影した写真、キーボードやタッチペン等から入力した文書やイラスト等を画像信号出力手段20のRAM等に保存すること、写真や文書等をスキャナーで画像として取込んで画像信号出力手段20のRAM等に保存すること、画像に対する各種加工だけでなく、予め作成されUSBメモリ等の記憶媒体に保存された写真や文書等のデータの選択や読込み(コピー)等が含まれる。
As shown in FIG. 2, each image signal output means 20 has a common image creating means 27, and can create a
なお、共通画像28の作成、人物Aの画像26及び人物Bの画像25と共通画像28との合成は、いずれか一方の共通画像作成手段27によって選択的に行われる。例えば、画像通信装置10b側の人物Bが、共通画像28として表示したい画像を共通画像作成手段27で作成(選択)すると、画像信号出力手段20で受信した人物Aの画像26と共通画像28が合成されて画像通信装置10b側の表示手段15に表示されると共に、対話相手(人物A側)に送る画像信号にも共通画像28の共通画像信号が重畳されることにより、画像通信装置10a側の表示手段15に、人物Bの画像25と共通画像28が合成されて表示される。このとき、人物A及び人物Bと共通画像28との位置関係を整合させるために、必要に応じて、人物Aの画像26及び人物Bの画像25を左右反転させる。なお、この場合、各画像信号出力手段20(送信側)で、予め人物Aの画像26及び人物Bの画像25を左右反転させて、その画像信号を相手側の画像信号出力手段20に送信してもよいし、人物Aの画像26及び人物Bの画像25の画像信号を各画像信号出力手段20から相手側の画像信号出力手段20に送信した後、相手側(受け側)の画像信号出力手段20で反転させてもよい。
The creation of the
図3に示すように、それぞれの結像面23上の同一位置に共通画像28が表示されると、人物A、Bは、あたかも共通画像28を挟んで対面するようにして、視線を合わせて会話することができ、互いの動作を正面から観察することができる。そして、それぞれの結像面23上の共通画像28に対して人物A、Bが行う動作を、対話相手の結像面23上に表示される共通画像28の位置や向きと一致させて表示させることにより、互いに対話相手の視線の動きや身振り手振りを目で追って、共通画像28の確認等を確実に行うことが可能となる。例えば、図3に示すように、人物Aは、人物Bが共通画像28のどこを指差しているのか、結像面23上で容易に確認することができ、アイコンタクトを取りながら、スムーズに会話することができる。更に、人物A、Bは、結像面23上の同じ位置を双方から指差すことができ、その様子を互いに結像面23上で確認することができるので、身振り手振りも交えながら意思疎通を図ることができる。共通画像28は小窓のように表示され、共通画像28の数、大きさ、配置は、適宜、選択することができる。
As shown in FIG. 3, when the
また、各画像通信装置10a、10bは、図1、図2に示すように、各地点(自地点)の人物A又はBの動作を検知する検知手段29を有している。そして、画像信号出力手段20は、検知手段29で検知した動作に基づいて共通画像28を操作(処理)して、表示手段15に表示することができる。例えば、人物Aが共通画像28を拡大する動作を行った場合、画像通信装置10a側の検知手段29が、その動作を検知し、画像通信装置10a側の画像信号出力手段20が共通画像28を拡大する操作(処理)を行う。そして、拡大された共通画像28が、画像通信装置10a側の表示手段15に表示されると共に、その共通画像信号が人物Aの画像26の画像信号に重畳されて、画像通信装置10a側の画像信号出力手段20から画像通信装置10b側の画像信号出力手段20に送られ、画像通信装置10b側の表示手段15に表示される。これにより、各地点の人物A、Bは同じように拡大された共通画像28を見ながら会話を進めることができる。
特に、画像(実像)25、26に焦点を合わせ、結像面23上での人物A又はBの手や指の位置及び動作を検知する検知手段29は、動作の検知性能に優れるので、画像信号出力手段20によって共通画像28の大きさや位置等を調整して表示手段15に表示させることができ、操作性に優れる。このような検知手段29として、赤外線モーションセンサー等が好適に用いられる。なお、画像信号出力手段20での処理は、CPUが所定のプログラムを実行することで実現されるが、手や指の動作と、画像操作指令が予め対応付けられており、共通画像28の拡大、縮小、移動、回転等の操作(処理)を行うことができる。これにより、共通画像28を利用して円滑に会話を進めることができる。
Further, as shown in FIGS. 1 and 2, each
In particular, the detecting means 29 that focuses on the images (real images) 25 and 26 and detects the position and movement of the hand or finger of the person A or B on the
次に、光学結像手段16について説明する。
図4(A)、(B)に示すように、光学結像手段16は、複数の光反射面30を有する第1の光制御部31と、複数の光反射面32を有する第2の光制御部33からなり、それぞれの光反射面30、32が平面視して直交するように第1、第2の光制御部31、33が、厚さ方向に重ね合わされて配置(一体化)されたものである。
第1の光制御部31は、第1の透明板材34の一側に、傾斜面35と垂直面36とを有する断面三角形の複数の溝37、及び隣り合う溝37の間に形成される断面三角形の複数の凸条38がそれぞれ所定ピッチで配置されたものであり、それぞれの溝37の垂直面36のみに鏡面(金属反射面)からなる光反射面30が形成されている。なお、溝37の底部(傾斜面35の下端と垂直面36の下端との間)、及び凸条38の頂部(傾斜面35の上端と垂直面36の上端との間)には、それぞれ微小平面部39、40が形成されている。
Next, the optical imaging means 16 will be described.
As shown in FIGS. 4A and 4B, the optical imaging means 16 has a first
The first
また、第2の光制御部33は、第2の透明板材41の他側に、傾斜面42と垂直面43とを有する断面三角形の複数の溝44、及び隣り合う溝44の間に形成される断面三角形の複数の凸条45がそれぞれ所定ピッチで配置されたものであり、それぞれの溝44の垂直面43のみに鏡面(金属反射面)からなる光反射面32が形成されている。なお、溝44の底部(傾斜面42の下端と垂直面43の下端との間)、及び凸条45の頂部(傾斜面42の上端と垂直面43の上端との間)には、それぞれ微小平面部46、47が形成されている。
Further, the second
そして、向かい合わせに配置された溝37、44には透明樹脂48が充填されている。
なお、第1、第2の透明板材34、41の屈折率η1、η2は同一で、その間に充填される透明樹脂48の屈折率η3は、第1、第2の透明板材34、41の屈折率η1、η2の0.8~1.2倍(より好ましくは、0.9~1.1倍、更に好ましくは、0.95~1.05倍)の範囲にあることが好ましい。
第1、第2の透明板材34、41の原料となる透明樹脂としては、シクロオレフィンポリマー、ポリメチルメタルクレート(アクリル系樹脂)、非晶質フッ素樹脂、PMMA、光学用ポリカーボネイト、フルオレン系ポリエステル、ポリエーテルスルホン等の熱可塑性樹脂を使用することができるが、特に融点、透明度の高いものが好適に用いられる。
The
The refractive indexes η1 and η2 of the first and second
As the transparent resins used as raw materials for the first and second
鏡面(金属反射面)を形成する方法としては、溝37、44の垂直面36、43に直接、スパッタリング、金属蒸着、金属微小粒子の吹き付け、イオンビームの照射、金属ペーストの塗布等を行うものが好適に用いられるが、スパッタリングや金属蒸着等で反射膜を形成した樹脂フィルムを溝37、44の垂直面36、43に貼り付けてもよい。なお、溝37、44の垂直面36、43に直接、スパッタリング、金属蒸着、金属微小粒子の吹き付け、イオンビームの照射等を行う場合は、真空中又は低圧下で、斜め上方から垂直面36、43に向けて金属粒子を照射する。このとき、溝37、44の底部にそれぞれ微小平面部39、46が形成されているので、傾斜面35、42に金属粒子が付着することを減らし又は無くしながら、垂直面36、43の下端まで斑なく金属粒子を照射することができる。なお、溝37、44の傾斜面35、42は平面状に形成する代わりに、凸条38、45の内側に窪む断面多角形状の多角面や断面円弧状の凹面、或いは表面に多数の微小な凹凸(疵)を有する凹凸面として、金属粒子の付着を防止してもよい。
As a method of forming a mirror surface (metal reflective surface), sputtering, metal vapor deposition, spraying of metal fine particles, irradiation of an ion beam, application of a metal paste, etc. are directly performed on the
溝37、44に透明樹脂48を充填して第1、第2の光制御部31、33を一体化する方法としては、第1の光制御部31の一側と、第2の光制御部33の他側、つまり、それぞれの溝37、44が形成された側の面が対向するように向かい合わせに配置された状態で、その間に、第1、第2の透明板材34、41より融点が低いシート状の透明樹脂を挟み込み、真空状態で加熱、押圧して、透明樹脂のみを溶解し、固化させてもよいし、それぞれの溝37、44に別々に透明樹脂からなる透明接着剤を充填し、第1、第2の光制御部31、33の溝37、44を向かい合わせ、突き合わせて、透明接着剤を硬化させてもよい。透明接着剤としては、紫外線等を照射することにより硬化する光硬化型の他、熱硬化型や二液混合型の接着剤を用いることができる。特に、屈折率η3を屈折率η1、η2に近づけるために、屈折率を調整した屈折率調整樹脂からなる光学用接着剤等が好適に用いられる。
なお、各溝の傾斜面が多角面、凹面、凹凸面等である場合、アンカー効果によって、傾斜面と、溝に充填される透明樹脂との密着性を高め、溝内を透明樹脂で隙間なく埋めて凹凸を解消することができる。その結果、傾斜面と透明樹脂との界面で乱反射(散乱)を発生させることなく光を通過させることができ、屈折も最小限に抑えて、明るく鮮明な立体像を得ることができる。
As a method of filling the
When the inclined surface of each groove is a polygonal surface, a concave surface, an uneven surface, etc., the adhesion between the inclined surface and the transparent resin filled in the groove is improved by the anchor effect, and the inside of the groove is filled with the transparent resin without any gap. It can be filled to eliminate unevenness. As a result, light can pass through the interface between the inclined surface and the transparent resin without causing diffused reflection (scattering), refraction can be minimized, and a bright and clear stereoscopic image can be obtained.
次に、光学結像手段16の動作を説明する。
図1において、表示手段15に画像が表示されると、その光が光学結像手段16に向かって放射される。図4(A)、(B)に示すように、光L1がP1の位置で光学結像手段16の第2の光制御部33に入光した場合、その光L1は、光反射面32上のP2の位置で反射し、第1の光制御部31に進入する。そして、光反射面30のP3の位置で反射した後、P4の位置で第1の光制御部31から空中に出て行き結像する。ここで、図4(A)のQ1で第2の透明板材41から透明樹脂48に、Q2で透明樹脂48から第1の透明板材34に入光するが、第1、第2の透明板材34、41の屈折率η1、η2が同一で、透明樹脂48の屈折率η3と近似する(略同等である)ので、全反射や分光等の現象は起こらない。また、図4(B)のS1で第2の透明板材41から透明樹脂48に、S2で透明樹脂48から第1の透明板材34に入光するが、第1、第2の透明板材34、41の屈折率η1、η2が同一で、透明樹脂48の屈折率η3と近似する(略同等である)ので、全反射や分光等の現象は起こらない。
なお、P1、P4の位置でも屈折を起こすが、P1、P4の屈折は相殺する。また、光反射面30、32は表裏(図4(A)、(B)では左右)いずれ側の面も光反射面として機能させることができる。
Next, the operation of the optical imaging means 16 will be described.
In FIG. 1, when an image is displayed on the display means 15, the light is emitted toward the optical imaging means 16. As shown in FIGS. 4A and 4B, when the light L1 enters the second
Although refraction occurs at the positions of P1 and P4, the refraction of P1 and P4 cancels out. Further, any of the front and back surfaces (left and right in FIGS. 4A and 4B) of the
なお、第1、第2の光制御部31、33が形成される過程において、垂直面36、43の頂部に形成される微小平面部40、47には金属反射膜が形成される。この金属反射膜が形成されると、光学結像手段16の中に微小な光反射面が存在することになり、光学結像手段の結像性が悪くなる。そこで、微小平面部40、47に形成された金属反射膜は除去、又は金属反射膜の表面及び裏面を黒色(光線吸収色の一例)に着色して、光反射面を形成しないようにするのが好ましい。
In the process of forming the first and second
次に、本発明の第1の実施の形態に係る画像通信装置10a、10bを用いた画像通信方法について説明する。
当該画像通信方法は、図1~図3に示したように、各地点に配置された画像通信装置10a、10bを用いて、各地点に存在する人物A、Bが、画像を介して会話を行うものである。即ち、人物A側では画像通信装置10aを用いて、表示手段15に表示された対話相手(人物B)の画像を平面状の光学結像手段16によって、自由空間の結像面23に実像として結像させると共に、自由空間の実像と対話する人物Aを光学結像手段16の出光側中央部に取付けられた撮像手段18によって撮像し、撮像した画像の画像信号を対話相手(人物B)側の画像通信装置10bに送る。同様に、人物B側では画像通信装置10bを用いて、画像通信装置10aから送られる対話相手(人物A)の画像を表示手段15に表示し、表示された画像を平面状の光学結像手段16によって、自由空間の結像面23に実像として結像させると共に、自由空間の実像と対話する人物Bを光学結像手段16の出光側中央部に取付けられた撮像手段18によって撮像し、撮像した画像の画像信号を対話相手(人物A)側の画像通信装置10aに送る。このように、人物Bの画像25及び人物Aの画像26を相互に送受信して、その実像と各人物A、Bが対話することにより、対話相手が目の前に存在しているような感覚で視線を合わせて会話をすることができ、アイコンタクトやジェスチャーによるスムーズな意思疎通を図ることが可能となる。
なお、図1において、表示手段15、撮像手段18、スピーカー21、マイク22、検知手段29と画像信号出力手段20との間は、それぞれ信号ケーブル等の必要なケーブル50~54で接続されているが、無線で接続可能な場合はケーブルを省略することができる。
Next, an image communication method using the
In the image communication method, as shown in FIGS. 1 to 3, the persons A and B existing at each point have a conversation through an image by using the
In FIG. 1, the display means 15, the image pickup means 18, the
本実施の形態では、図1に示したように、表示面14が上向きで水平に配置された表示手段15に対し、表示面14の上方に、出光側が斜め上向きとなるように光学結像手段16を傾斜配置したが、表示手段15、光学結像手段16、撮像手段18、検知手段29の位置関係を上下反転(180度回転)させて、光学結像手段16を出光側が斜め下向きとなるように配置してもよい。また、上記構成の位置関係を撮像手段18の軸心を中心に90度回転(回転方向は右回りでも左回りでも可)させて表示手段の表示面を鉛直方向に配置し、表示手段の側方に光学結像手段を出光側が斜め横向きとなるようにして配置することもできる。
In the present embodiment, as shown in FIG. 1, the optical imaging means is provided so that the light emitting side faces diagonally upward above the
続いて、図5を参照して、本発明の第2の実施の形態に係る画像通信装置55a、55bについて説明する。なお、第1の実施の形態と同様のものには同じ符号を付して説明を省略する。
この画像通信装置55a、55bが、第1の実施の形態と異なる点は、表示手段15及び検知手段29が、上下反転して配置され、光学結像手段16aが、表示手段15の下方に表示手段15の表示面14に対して45度の傾斜角度で出光側を斜め下向きにして傾斜配置されており、光学結像手段16aの出光側中央部に取付孔が形成されることなく、その表面(出光側)に撮像手段18aが取付けられている点であり、その動作及び得られる作用、効果は第1の実施の形態と同様である。このとき、撮像手段18aに接続されるケーブル51は、そのまま下方に垂らすことや、光学結像手段16aの表面や外側面に沿って配置することができ、いずれの場合も、光学結像手段16aによって結像面23に実像を結像する際に支障となることはなく、人物A、Bは結像面23に結像する実像を視認することができる。但し、ケーブル51を下方に垂らす場合は、検知手段29で結像面23上での人物A又はBの手や指の位置及び動作を検知する際に、ケーブル51が邪魔にならないように、検知手段29とケーブル51の位置関係を考慮する。例えば、検知手段29の正面にケーブル51が重ならないように、検知手段29を光学結像手段16aの幅方向(左右方向)にずらして配置してもよいし、ケーブル51よりも前方側(結像面23側)に配置してもよい。
Subsequently, with reference to FIG. 5, the
The
特に撮像手段18aが小型(薄型)である場合に、本実施の形態のように、取付孔を形成していない光学結像手段16aの表面に撮像手段18aを取付けることができる。なお、本実施の形態では、表示面14が下向きで水平に配置された表示手段15に対し、表示面14の下方に、光学結像手段16aの出光側を斜め下向きに配置したが、表示手段15、光学結像手段16a、撮像手段18a、検知手段29の位置関係を上下反転(180度回転)させて、第1の実施の形態と同様に、光学結像手段16aの出光側を斜め上向きに配置してもよい。また、上記構成の位置関係を撮像手段18aの軸心を中心に90度回転(回転方向は右回りでも左回りでも可)させて表示手段の表示面を鉛直方向に配置し、表示手段の側方に光学結像手段を出光側が斜め横向きとなるようにして配置することもできる。
In particular, when the image pickup means 18a is small (thin), the image pickup means 18a can be attached to the surface of the optical image pickup means 16a having no attachment hole as in the present embodiment. In the present embodiment, the light emitting side of the optical imaging means 16a is arranged diagonally downward below the
次に、図6を参照して、本発明の第3の実施の形態に係る画像通信装置56a、56bについて説明する。
この画像通信装置56a、56bが、第1の実施の形態と異なる点は、表示手段15の設置角度が水平面に対して傾斜しており、それに応じて光学結像手段16bの傾斜角度が変更され、光学結像手段16bの出光側中央部に撮像手段18aのケーブル51を挿通するための取付孔19aが形成されて、その表面(出光側)に撮像手段18aが取付けられている点であり、その動作及び得られる作用、効果は第1の実施の形態と同様である。このように、表示手段15の設置角度が水平でなく傾斜している場合でも、光学結像手段16bの傾斜角度を適宜、選択することにより、結像面23を鉛直面とすることができる。また、撮像手段18aのケーブル51を取付孔19aに挿通して光学結像手段16bの背面側(入光側)から取出すことにより、光学結像手段16bの表面側(出光側)にケーブル51が露出することがなく、取り扱い性に優れる。このとき、取付孔19aから取出したケーブル51は、そのまま後方又は下方に引き出すことや、光学結像手段16bの背面や外側面に沿って配置することができ、いずれの場合も、光学結像手段16bによって結像面23に実像を結像する際に支障となることはなく、人物A、Bは結像面23に結像する実像を視認することができる。ケーブル51のみを挿通する取付孔19aは小さく、加工も容易に行うことができる。
Next, the
The
なお、本実施の形態では、表示面14が上向きで水平面に対して傾斜するように表示手段15を配置したが、第1の実施の形態と同様に、表示面14が上向きで水平となるように表示手段15を配置し、表示面14の上方に、出光側が斜め上向きとなるように光学結像手段16bを傾斜配置してもよいし、第2の実施の形態と同様に、表示面14が下向きで水平となるように表示手段15を配置し、表示面14の下方に、出光側が斜め下向きとなるように光学結像手段16bを傾斜配置してもよい。また、本実施の形態における表示手段15、光学結像手段16b、撮像手段18a、検知手段29の位置関係を、撮像手段18aの軸心を中心に上下反転(180度回転)させることや、90度回転(回転方向は右回りでも左回りでも可)させることもできる。
In the present embodiment, the display means 15 is arranged so that the
以上、本発明の実施の形態を説明したが、本発明は何ら上記した実施の形態に記載の構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
上記実施の形態では、通信を行う2つの地点の双方に本発明に係る画像通信装置を設置した場合について説明したが、必ずしも双方にこの画像通信装置を設置する必要はなく、一方の装置は、他方の画像通信装置から送られる画像信号を受けて対話相手となる人物の画像を表示する表示手段(ディスプレイ)と、その表示手段を見ている人物を撮像する撮像手段(カメラ)と、撮像手段で撮像された画像の画像信号を通信ネットワークを介して画像通信装置に送信する画像信号出力手段のみを備えたものであればよい。このような装置として、例えば、汎用のカメラ付きのスマートフォン等の携帯端末やパーソナルコンピュータ等を使用することができる。
Although the embodiment of the present invention has been described above, the present invention is not limited to the configuration described in the above-described embodiment, and can be considered within the scope of the matters described in the claims. Other embodiments and modifications are also included.
In the above embodiment, the case where the image communication device according to the present invention is installed at both of the two points where communication is performed has been described, but it is not always necessary to install the image communication device at both of them, and one of the devices may be used. A display means (display) that receives an image signal sent from the other image communication device and displays an image of a person to be interacted with, an image pickup means (camera) that captures a person viewing the display means, and an image pickup means. It suffices if it is provided only with an image signal output means for transmitting an image signal of the image captured in 1 to an image communication device via a communication network. As such a device, for example, a mobile terminal such as a smartphone with a general-purpose camera, a personal computer, or the like can be used.
また、上記実施の形態では、2つの地点間で通信を行う場合について説明したが、3つ以上の地点間で通信を行うことも可能である。なお、3つ以上の地点間で通信を行う場合は、各地点の表示手段に表示する他地点の人物の画像を適宜、選択して切替える必要がある。例えば、3つの地点で人物A、B、Cが通信を行う場合、人物Aが発言している時には、人物B、C側の表示手段に人物Aの画像を表示することが好ましい。このとき、発言している人物A或いは発言を聞いている人物B、Cが、手動で選択して人物Aの画像が表示されるように切替えてもよいが、人物A側の検知手段で人物Aの声を検知した時に、人物Aの画像を人物A側の画像信号出力手段から人物B、C側の画像信号出力手段に送信し、それぞれの表示手段に表示するようにして、画像の切替えを自動化することもできる。なお、人物A側の表示手段には、人物B又はCの画像を表示することが好ましい。このとき、表示する人物B又Cの画像は、例えば、人物A側の画像信号出力手段により自動的に定期又は不定期で切替えてもよいし、人物Aが、発言の内容等に応じて、手動で人物B又はCの画像を選択して切替えてもよい。 Further, in the above embodiment, the case of communicating between two points has been described, but it is also possible to communicate between three or more points. When communicating between three or more points, it is necessary to appropriately select and switch the image of the person at another point to be displayed on the display means of each point. For example, when the persons A, B, and C communicate at three points, it is preferable to display the image of the person A on the display means on the person B, C side when the person A is speaking. At this time, the person A who is speaking or the persons B and C who are listening to the speech may be manually selected and switched so that the image of the person A is displayed, but the person A can be detected by the detection means. When the voice of A is detected, the image of the person A is transmitted from the image signal output means on the person A side to the image signal output means on the people B and C sides, and the images are displayed on the respective display means to switch the images. Can also be automated. It is preferable to display the image of the person B or C on the display means on the person A side. At this time, the image of the person B or C to be displayed may be automatically switched periodically or irregularly by, for example, the image signal output means on the person A side, or the person A may change the image according to the content of the remark or the like. The image of the person B or C may be manually selected and switched.
上記実施の形態では、実像が形成される結像面が鉛直となるように、表示手段の設置角度と、光学結像手段の傾斜角度を設定したが、人物の姿勢(視線の方向)に応じて実像(結像面)を傾斜させてもよく、表示手段の設置角度と、光学結像手段の傾斜角度は、適宜、選択することができる。また、表示手段と光学結像手段との間には、必要に応じて、凸レンズ又はその他のレンズ等を用いた拡大手段を配置してもよい。表示手段に表示される画像を拡大手段で拡大してから光学結像手段によって実像として結像させることができるので、表示手段を小型化することができる。
更に、上記実施の形態では、検知手段として、実像に焦点を合わせ、結像面上での人物の手や指の位置及び動作を検知するもの(赤外線モーションセンサー等)について説明したが、その他に、検知手段として、表示手段の表面(表示面)に、表側からの光のみを検知するセンサ素子が並んで設けられた光センサを設置しておき、結像面に触れた手や指からの反射光が光学結像手段を介して表示手段上に実像を形成して、その実像の位置を、光センサで検知することもできる。更に、検知手段として、人物の指や手の動作を検知するものの他、声や音を検知するものを用いることもできる。
In the above embodiment, the installation angle of the display means and the tilt angle of the optical image forming means are set so that the image plane on which the real image is formed is vertical, but it depends on the posture (direction of the line of sight) of the person. The real image (image plane) may be tilted, and the installation angle of the display means and the tilt angle of the optical image forming means can be appropriately selected. Further, an enlarging means using a convex lens or another lens may be arranged between the display means and the optical imaging means, if necessary. Since the image displayed on the display means can be enlarged by the magnifying means and then formed as a real image by the optical imaging means, the display means can be miniaturized.
Further, in the above embodiment, as a detection means, a device that focuses on a real image and detects the position and movement of a person's hand or finger on the image plane (infrared motion sensor or the like) has been described. As a detection means, an optical sensor in which sensor elements for detecting only light from the front side are arranged side by side is installed on the surface (display surface) of the display means, and the light is from a hand or finger touching the image plane. It is also possible that the reflected light forms a real image on the display means via the optical imaging means, and the position of the real image is detected by the optical sensor. Further, as the detection means, one that detects the movement of a person's finger or hand, as well as one that detects a voice or sound can be used.
また、上記実施の形態では、光学結像手段として、第1、第2の光制御部の表側(溝が形成された面)同士が接するように配置したものを用いたが、光学結像手段は、第1、第2の光制御部の光反射面が、平面視して直交配置されていればよい。よって、第1、第2の光制御部の表側と裏側が接するように配置する場合や、第1、第2の光制御部の裏側同士が接するように配置する場合もある。更に、第1、第2の光制御部を2枚の透明板材に別々に形成して接合する代わりに、1枚の透明板材の両面に第1、第2の光制御部を形成することもできる。
なお、第1、第2の光制御部の各溝の垂直面に鏡面(金属反射面)を形成する代わりに、溝内に空気等の気体を密封したり、溝内を真空にしたりして、光の全反射を利用すれば、各溝の垂直面をそのまま光反射面とすることができる。
また、上記実施の形態では、光学結像手段として、第1、第2の光制御部の複数の光反射面がそれぞれ直線状(平行)に配置されたものについて説明したが、複数の光反射面が放射状に配置された第1の光制御部と、複数の光反射面が同心円状に配置された第2の光制御部を有するものも使用することができる。この場合、第1の光制御部の放射状の光反射面が、基準点Xを中心にして直線状に設けられるのに対し、第2の光制御部の同心円状の光反射面は、平面視して基準点Xと重なる基準点Yを中心とする同心円に沿って湾曲しているが、平面視して光反射面同士が交差する点では、両者は直交している。よって、上記実施の形態と同様に、立体像を結像させることができる。
更には、光学結像手段としては、例えば、特許第5437436号公報に記載のように、一方側の面に垂直に(例えば、同一ピッチで)並べて形成された多数の帯状反射面を有する第1、第2の光制御部を、それぞれの帯状反射面が平面視して直交するように重ね合わせて配置した光学結像手段を使用することもできる。
Further, in the above embodiment, as the optical imaging means, those arranged so that the front sides (the surfaces on which the grooves are formed) of the first and second optical control units are in contact with each other are used, but the optical imaging means is used. It is sufficient that the light reflecting surfaces of the first and second optical control units are arranged orthogonally in a plan view. Therefore, it may be arranged so that the front side and the back side of the first and second optical control units are in contact with each other, or the back sides of the first and second optical control units may be arranged so as to be in contact with each other. Further, instead of forming the first and second optical control units separately on the two transparent plate materials and joining them, it is also possible to form the first and second optical control units on both sides of the one transparent plate material. can.
Instead of forming a mirror surface (metal reflection surface) on the vertical surface of each groove of the first and second optical control units, a gas such as air is sealed in the groove or the inside of the groove is evacuated. If the total reflection of light is used, the vertical surface of each groove can be used as the light reflection surface as it is.
Further, in the above embodiment, as the optical imaging means, a plurality of light reflecting surfaces of the first and second optical control units are arranged in a straight line (parallel), respectively, but a plurality of light reflections have been described. Those having a first optical control unit in which the surfaces are arranged radially and a second optical control unit in which a plurality of light reflecting surfaces are arranged concentrically can also be used. In this case, the radial light reflecting surface of the first light control unit is provided linearly with respect to the reference point X, whereas the concentric light reflecting surface of the second light control unit is viewed in a plan view. It is curved along a concentric circle centered on the reference point Y that overlaps with the reference point X, but at the point where the light reflecting surfaces intersect with each other in a plan view, the two are orthogonal to each other. Therefore, a stereoscopic image can be formed in the same manner as in the above embodiment.
Further, as the optical imaging means, for example, as described in Japanese Patent No. 5437436, a first having a large number of band-shaped reflecting surfaces formed by arranging them vertically (for example, at the same pitch) on one side surface. It is also possible to use an optical imaging means in which the second optical control unit is superposed so that the band-shaped reflecting surfaces are orthogonal to each other in a plan view.
本発明に係る画像通信装置及び画像通信方法は、遠隔地の人物同士が、画像を通して会話を行う際に、視線を合わせて意思疎通を図り、スムーズに会話を進めることができ、遠隔会議(テレビ会議)やビデオチャット等で有効に利用できる。 The image communication device and the image communication method according to the present invention allow people in remote areas to communicate with each other by aligning their eyes when having a conversation through an image, and to smoothly proceed with the conversation. It can be effectively used for conference calls) and video chat.
10a、10b:画像通信装置、14:表示面、15:表示手段、16、16a、16b:光学結像手段、18、18a:撮像手段、19、19a:取付孔、20:画像信号出力手段、21:スピーカー、22:マイク、23:結像面、24:通信ネットワーク、25、26:画像(実像)、27:共通画像作成手段、28共通画像、29:検知手段、30:光反射面、31:第1の光制御部、32:光反射面、33:第2の光制御部、34:第1の透明板材、35:傾斜面、36:垂直面、37:溝、38:凸条、39、40:微小平面部、41:第2の透明板材、42:傾斜面、43:垂直面、44:溝、45:凸条、46、47:微小平面部、48:透明樹脂、50~54:ケーブル、55a、55b:画像通信装置、56a、56b:画像通信装置、80:反射型結像素子、81:表示装置、82:空中映像、83:使用者、84:カメラ、86:表示装置、87:ハーフミラー、88:使用者、89:カメラ、90:板材、91:反射面 10a, 10b: image communication device, 14: display surface, 15: display means, 16, 16a, 16b: optical imaging means, 18, 18a: image pickup means, 19, 19a: mounting holes, 20: image signal output means, 21: Speaker, 22: Microscope, 23: Image plane, 24: Communication network, 25, 26: Image (real image), 27: Common image creation means, 28 Common image, 29: Detection means, 30: Light reflection surface, 31: 1st light control unit, 32: light reflection surface, 33: 2nd light control unit, 34: 1st transparent plate material, 35: inclined surface, 36: vertical surface, 37: groove, 38: ridge , 39, 40: Micro flat surface, 41: Second transparent plate, 42: Inclined surface, 43: Vertical surface, 44: Groove, 45: Convex, 46, 47: Micro flat surface, 48: Transparent resin, 50 ~ 54: Cable, 55a, 55b: Image communication device, 56a, 56b: Image communication device, 80: Reflective imaging element, 81: Display device, 82: Aerial image, 83: User, 84: Camera, 86: Display device, 87: Half mirror, 88: User, 89: Camera, 90: Plate material, 91: Reflective surface
Claims (8)
前記撮像手段は、前記光学結像手段の出光側中央部に取付けられることを特徴とする画像通信装置。 A display means for receiving an image signal and displaying an image of a dialogue partner, a planar optical imaging means for forming an image of the dialogue partner displayed on the display means as a real image in free space, and the free space. In an image communication device having an image pickup means for capturing an image of a person interacting with a real image and an image signal output means for sending an image signal of an image of the person captured by the image pickup means to the dialogue partner.
The image communication device is an image communication device, characterized in that the image pickup means is attached to a central portion on the light emitting side of the optical image pickup means.
前記撮像手段は、前記光学結像手段の出光側中央部に取付けられて、前記自由空間の実像と対話する人物を正面から撮像することを特徴とする画像通信方法。 The image of the dialogue partner displayed on the display means is imaged as a real image in free space by a planar optical imaging means, a person interacting with the real image in the free space is imaged by the image pickup means, and the image is taken by the image pickup means. In the image communication method of sending an image signal of a person's image to the dialogue partner,
An image communication method, wherein the image pickup means is attached to a central portion on the light emitting side of the optical image pickup means and captures a person interacting with a real image in the free space from the front.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126004A JP7101062B2 (en) | 2018-07-02 | 2018-07-02 | Image communication device and image communication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018126004A JP7101062B2 (en) | 2018-07-02 | 2018-07-02 | Image communication device and image communication method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020005226A JP2020005226A (en) | 2020-01-09 |
JP7101062B2 true JP7101062B2 (en) | 2022-07-14 |
Family
ID=69100661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018126004A Active JP7101062B2 (en) | 2018-07-02 | 2018-07-02 | Image communication device and image communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7101062B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010087907A (en) | 2008-09-30 | 2010-04-15 | Canon Inc | Video combination and display, video display system and video display method |
US20130155176A1 (en) | 2011-12-16 | 2013-06-20 | Polycom, Inc. | Reflective and Refractive Solutions to Providing Direct Eye Contact Videoconferencing |
JP2016143998A (en) | 2015-01-30 | 2016-08-08 | 日本電信電話株式会社 | Video communication apparatus and video communication method |
JP6336223B1 (en) | 2017-08-29 | 2018-06-06 | 株式会社アスカネット | Two-way communication system |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3011439B2 (en) * | 1990-08-14 | 2000-02-21 | 日本電信電話株式会社 | Eye-gaze type image display device |
JP2859416B2 (en) * | 1990-10-15 | 1999-02-17 | 日本電信電話株式会社 | Display / Imaging device |
JPH0564183A (en) * | 1991-09-04 | 1993-03-12 | Hitachi Ltd | Video telephone set |
JPH0879721A (en) * | 1994-09-02 | 1996-03-22 | Hitachi Ltd | Video telephone system |
JPH09168141A (en) * | 1995-12-14 | 1997-06-24 | Denso Corp | Display device with image pickup device |
JPH11122592A (en) * | 1997-10-17 | 1999-04-30 | Micro Denshi System:Kk | Video conference system |
-
2018
- 2018-07-02 JP JP2018126004A patent/JP7101062B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010087907A (en) | 2008-09-30 | 2010-04-15 | Canon Inc | Video combination and display, video display system and video display method |
US20130155176A1 (en) | 2011-12-16 | 2013-06-20 | Polycom, Inc. | Reflective and Refractive Solutions to Providing Direct Eye Contact Videoconferencing |
JP2016143998A (en) | 2015-01-30 | 2016-08-08 | 日本電信電話株式会社 | Video communication apparatus and video communication method |
JP6336223B1 (en) | 2017-08-29 | 2018-06-06 | 株式会社アスカネット | Two-way communication system |
Also Published As
Publication number | Publication date |
---|---|
JP2020005226A (en) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9360671B1 (en) | Systems and methods for image zoom | |
WO2011108139A1 (en) | Teleconference system | |
US8384760B2 (en) | Systems for establishing eye contact through a display | |
KR100936689B1 (en) | Projection image display device | |
CN110198407A (en) | Electronic equipment and image pickup method | |
WO1997022964A1 (en) | Flat virtual displays for virtual reality | |
EP2902838B1 (en) | Head-mounted display device having two lens-prisms | |
JP2009271263A (en) | Screen for front projection using one side specular serration reflecting plate, and front projection type display and information processing apparatus using the same | |
JP2019525220A (en) | Prompters and how to use aerial imaging elements in prompters | |
CN112180607A (en) | Image display device and wearable equipment | |
CN108495103A (en) | A kind of electronic equipment | |
Hong et al. | See-through multi-projection three-dimensional display using transparent anisotropic diffuser | |
JP6336223B1 (en) | Two-way communication system | |
CN213338223U (en) | Image display device and wearable equipment | |
Yasui et al. | Occlusion-robust sensing method by using the light-field of a 3D display system toward interaction with a 3D image | |
JP7101062B2 (en) | Image communication device and image communication method | |
WO2019138592A1 (en) | Image communication device and image communication method | |
US20090237354A1 (en) | Optical apparatus and optical system | |
KR20190054727A (en) | Smart mirror device and and method the same | |
JP6450893B1 (en) | Image communication apparatus and image communication method | |
JP5963637B2 (en) | Display device with imaging device | |
WO2018149266A1 (en) | Information processing method and device based on augmented reality | |
KR101954680B1 (en) | Videoconferencing system using an inverted telescope camera | |
KR20170026002A (en) | 3d camera module and mobile terminal comprising the 3d camera module | |
CN113965668A (en) | Optical processing device, camera module, electronic apparatus, photographing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7101062 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |