JP6915368B2

JP6915368B2 - Multifocal visual output method, multifocal visual output device

Info

Publication number: JP6915368B2
Application number: JP2017090497A
Authority: JP
Inventors: 森本　哲郎; 哲郎森本; 翼市川
Original assignee: Toppan Inc
Current assignee: Toppan Inc
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2021-08-04
Anticipated expiration: 2037-04-28
Also published as: JP2018191079A

Description

本発明は、画像を表示するための技術に関する。 The present invention relates to a technique for displaying an image.

近年、医療や建設等のさまざまな分野において、人間（以下、オペレータという）がロボットや重機等を遠隔操作して種々の作業を行うためのテレイグジスタンスと呼ばれる技術が研究されている。テレイグジスタンス技術では、オペレータはヘッドマウントディスプレイやディスプレイを通して、ロボットや重機等に設置されたカメラが撮影する映像を観察し、遠隔地にいながら、あたかも現地に存在して自分自身が作業を行っているかのような感覚を得ることができる。しかしながら、現状の遠隔操作では、人間の視覚機能を完全に再現することが出来ない。そこで、ロボットや重機等を正確に動かすために、オペレータに臨場感のある映像を提示できる技術が望まれている。 In recent years, in various fields such as medical treatment and construction, a technique called telexistence has been studied for human beings (hereinafter referred to as operators) to remotely control robots and heavy machinery to perform various tasks. With telexistence technology, operators observe images taken by cameras installed on robots and heavy machinery through head-mounted displays and displays, and while they are in remote areas, they are present in the field and work on their own. You can get the feeling that you are. However, the current remote control cannot completely reproduce human visual functions. Therefore, in order to accurately move a robot, a heavy machine, or the like, a technique capable of presenting a realistic image to an operator is desired.

特開２０１６−２１８３６６号公報Japanese Unexamined Patent Publication No. 2016-218366

従来のヘッドマウントディスプレイでは、ディスプレイに右目用と左目用の異なる画像を表示して人為的に視差を生じさせることによって、両眼視差や輻輳の機能による立体感を知覚させている（例えば、特許文献１）。しかしながら、人間が立体感を知覚する機能としては両眼視差や輻輳だけでなく、ピント調節による調節と言われる機能も使うことが知られている。通常のディスプレイでは目のピント調節を行う調節機能を利用した立体情報を提示することができない。そのため、「輻輳と調節の不一致」と言われる現象が起こり、眼精疲労などの原因となっている。また、ディスプレイに表示される画像を常に見続けることになるため、眼球の毛様筋を動かさなくなり、緊張状態が続くため、このことも眼精疲労の一因となっていた。 In a conventional head-mounted display, different images for the right eye and the left eye are displayed on the display to artificially generate parallax, thereby perceiving a stereoscopic effect due to the function of binocular parallax and convergence (for example, patent). Document 1). However, it is known that humans use not only binocular parallax and convergence but also a function called accommodation by focusing as a function of perceiving a stereoscopic effect. A normal display cannot present stereoscopic information using an accommodation function that adjusts the focus of the eyes. Therefore, a phenomenon called "mismatch between congestion and regulation" occurs, which causes eye strain and the like. In addition, since the image displayed on the display is constantly viewed, the ciliary muscles of the eyeball are not moved and the tension state continues, which also contributes to eye strain.

さらに、調節機能を利用した立体情報の提示ができたとしても、個々のユーザの視覚特性によって視力や調節の能力が異なるため、オペレータによっては、ディスプレイに表示された画像に焦点が合わない場合があった。このように、従来のヘッドマウントディスプレイでは、それぞれのオペレータの眼に適した立体感のある画像を表示することが困難であった。 Furthermore, even if it is possible to present stereoscopic information using the accommodation function, the image displayed on the display may not be in focus depending on the operator because the visual acuity and accommodation ability differ depending on the visual characteristics of each user. there were. As described above, it has been difficult for the conventional head-mounted display to display a stereoscopic image suitable for the eyes of each operator.

本発明は、このような問題に鑑みてなされたものであり、その目的とするところは、ユーザが、そのユーザの眼に適した立体感のある画像を閲覧することができる方法および装置を提供することにある。 The present invention has been made in view of such a problem, and an object of the present invention is to provide a method and an apparatus capable of allowing a user to view a stereoscopic image suitable for the user's eyes. To do.

このような目的を達成するために、本発明の一態様である、ヘッドマウントディスプレイは、接眼レンズと、画像を表示するための２以上のパネルから成るディスプレイであって、前記２以上のパネルは、前記接眼レンズよりもユーザの眼から遠い位置に、前記接眼レンズに対して平行に配置される、ディスプレイと、前記パネルを前記接眼レンズに対して光軸方向に移動させるための位置調節機構と、を備える。 In order to achieve such an object, the head-mounted display, which is one aspect of the present invention, is a display including an eyepiece and two or more panels for displaying an image, and the two or more panels are , A display arranged parallel to the eyepiece at a position farther from the user's eye than the eyepiece, and a position adjusting mechanism for moving the panel in the optical axis direction with respect to the eyepiece. , Equipped with.

また、本発明のヘッドマウントディスプレイは、前記２以上のパネルの各々に表示される画像が、異なる画像であってもよく、光線空間圧縮画像であってもよい。 Further, in the head-mounted display of the present invention, the images displayed on each of the two or more panels may be different images or may be ray space compressed images.

また、本発明のヘッドマウントディスプレイの前記位置調節機構は、前記接眼レンズから最も近い位置に配置されたパネルにテストパターン画像を表示し、前記接眼レンズから最も遠い位置に配置されたパネルにテストパターン画像を表示し、前記ユーザがテストパターン画像に焦点が合ったか否かに基づいて前記パネルを移動させてもよい。 Further, the position adjustment mechanism of the head mount display of the present invention displays a test pattern image on the panel arranged at the position closest to the eyepiece, and the test pattern is displayed on the panel arranged at the position farthest from the eyepiece. The image may be displayed and the panel may be moved based on whether the user has focused on the test pattern image.

また、本発明の一態様である、ヘッドマウントディスプレイの位置調節機構が実行する画像表示方法は、前記ヘッドマウントディスプレイは、接眼レンズと、画像を表示するための２以上のパネルから成るディスプレイとを備え、前記方法は、前記パネルを前記接眼レンズに対して光軸方向に移動させるステップであって、前記２以上のパネルは、前記接眼レンズよりもユーザの眼から遠い位置に、前記接眼レンズに対して平行に配置される、ステップを含む。 Further, in the image display method executed by the position adjusting mechanism of the head-mounted display, which is one aspect of the present invention, the head-mounted display includes an eyepiece and a display including two or more panels for displaying an image. The method is a step of moving the panel in the optical axis direction with respect to the eyepiece, and the two or more panels are placed on the eyepiece at a position farther from the user's eye than the eyepiece. Includes steps that are arranged parallel to each other.

本発明によれば、２層以上のパネルから成るディスプレイを備えたヘッドマウントディスプレイの各パネルが動くことによって、ユーザごとの調節機能特性に合った立体感のある画像を表示することができる。 According to the present invention, by moving each panel of a head-mounted display including a display composed of two or more layers of panels, it is possible to display a stereoscopic image that matches the accommodation function characteristics of each user.

本発明の一実施形態にかかるヘッドマウントディスプレイを使用した画像表示システムの構成図である。It is a block diagram of the image display system using the head-mounted display which concerns on one Embodiment of this invention. 本発明の一実施形態にかかるヘッドマウントディスプレイのイメージ図である。It is an image figure of the head-mounted display which concerns on one Embodiment of this invention. 本発明の一実施形態にかかるヘッドマウントディスプレイに表示される画像の例である。This is an example of an image displayed on a head-mounted display according to an embodiment of the present invention. 本発明の一実施形態にかかるヘッドマウントディスプレイに表示される光線空間圧縮画像の取得方法の例を説明するための図である。It is a figure for demonstrating an example of the acquisition method of the ray space compressed image displayed on the head-mounted display which concerns on one Embodiment of this invention. 本発明の一実施形態にかかるヘッドマウントディスプレイに表示される光線空間圧縮画像の例である。This is an example of a ray space compressed image displayed on a head-mounted display according to an embodiment of the present invention. 本発明の一実施形態にかかるヘッドマウントディスプレイのパネルの位置調節の方法を説明するための図である。It is a figure for demonstrating the method of the position adjustment of the panel of the head-mounted display which concerns on one Embodiment of this invention. 本発明の一実施形態にかかるヘッドマウントディスプレイに表示されるテストパターンの例である。This is an example of a test pattern displayed on a head-mounted display according to an embodiment of the present invention. 本発明の一実施形態にかかるヘッドマウントディスプレイにおける処理フローを示すフローチャートである。It is a flowchart which shows the processing flow in the head-mounted display which concerns on one Embodiment of this invention. 本発明の一実施形態にかかるヘッドマウントディスプレイを用いた遠隔システムの例である。This is an example of a remote system using a head-mounted display according to an embodiment of the present invention.

以下、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、本明細書では、カメラで撮影された実空間の画像（動画像または静止画像）を用いる場合について主に説明するが、本発明は、コンピュータグラフィックス（ＣＧ）を用いる場合にも適用することができる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In this specification, the case of using a real space image (moving image or still image) taken by a camera will be mainly described, but the present invention is also applied to the case of using computer graphics (CG). be able to.

図１を参照しながら、まず、本発明の一実施形態にかかるヘッドマウントディスプレイ１００の構成を説明する。ヘッドマウントディスプレイ（ＨＭＤ、頭部装着ディスプレイとも呼ばれる）１００は、筐体１１１、１つまたは２つの接眼レンズ１１２、ディスプレイ１１３、処理装置１１４を備えることができる。接眼レンズ１１２は、任意の倍率の光学レンズである。ディスプレイ１１３は、２層以上のパネルから成る積層ディスプレイである。ヘッドマウントディスプレイ１００は、入力端子１１５および出力端子１１６を介して、パーソナルコンピュータやゲーム機などのコンピュータ１２０と接続されうる。 First, the configuration of the head-mounted display 100 according to the embodiment of the present invention will be described with reference to FIG. The head-mounted display (HMD, also referred to as a head-mounted display) 100 can include a housing 111, one or two eyepieces 112, a display 113, and a processing device 114. The eyepiece 112 is an optical lens having an arbitrary magnification. The display 113 is a laminated display composed of two or more layers of panels. The head-mounted display 100 can be connected to a computer 120 such as a personal computer or a game machine via an input terminal 115 and an output terminal 116.

ヘッドマウントディスプレイ１００は、コンピュータ１２０から受信した画像（動画像または静止画像）１１７をディスプレイ１１３の各パネル上に表示することができる。例えば、本発明では、ヘッドマウントディスプレイ１００を装着したユーザは、カメラ１１９が撮影した画像をディスプレイ１１３上で閲覧することができる。また、カメラ１１９を遠隔地にいるロボットや重機等に取り付ければ、遠隔地に設置されたカメラ１１９が撮影した画像はコンピュータ１２０に送られ、ユーザは、撮影された画像をディスプレイ１１３上で閲覧しながら、遠隔地にいるロボットや重機等を遠隔操作することができる。カメラ１１９からコンピュータ１２０への撮影された画像の送信は、ネットワークを介して行われてもよい。また、コンピュータ１２０で行われる画像処理等は、ヘッドマウントディスプレイ１００に備えられる処理装置１１４で行われても構わない。この場合、カメラ１１９は、ネットワークを介して（またはネットワークを介さずに）、コンピュータ１２０を経由せずに処理装置１１４に直接接続されることになる。 The head-mounted display 100 can display an image (moving image or still image) 117 received from the computer 120 on each panel of the display 113. For example, in the present invention, a user wearing the head-mounted display 100 can view an image taken by the camera 119 on the display 113. Further, if the camera 119 is attached to a robot, a heavy machine, or the like in a remote place, the image taken by the camera 119 installed in the remote place is sent to the computer 120, and the user browses the taken image on the display 113. However, it is possible to remotely control robots and heavy machinery in remote areas. The transmitted image taken from the camera 119 to the computer 120 may be transmitted via the network. Further, the image processing or the like performed by the computer 120 may be performed by the processing device 114 provided in the head-mounted display 100. In this case, the camera 119 will be directly connected to the processing device 114 via the network (or without the network) and without the computer 120.

さらに、本発明に係るヘッドマウントディスプレイ１００は、各パネルを移動させるための位置調節機構１１８を備える。以下、さらにディスプレイ１１３、処理装置１１４、位置調節機構１１８について説明する。 Further, the head-mounted display 100 according to the present invention includes a position adjusting mechanism 118 for moving each panel. Hereinafter, the display 113, the processing device 114, and the position adjusting mechanism 118 will be described.

ディスプレイ１１３は、コンピュータ１２０から受信した画像１１７を表示することができる。ディスプレイ１１３は、２つ以上のパネルを備える。各パネルは、例えば、透過型の液晶パネルである。そのため、ヘッドマウントディスプレイ１００を装着したユーザは、各パネルに表示された画像１１７を重ね合わせて同時に見ることができる。以下、図２を参照しながら、パネルの配置について説明する。 The display 113 can display the image 117 received from the computer 120. The display 113 includes two or more panels. Each panel is, for example, a transmissive liquid crystal panel. Therefore, the user wearing the head-mounted display 100 can superimpose the images 117 displayed on each panel and view them at the same time. Hereinafter, the arrangement of the panels will be described with reference to FIG.

図２は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００のイメージ図である。図２に示されるように、ヘッドマウントディスプレイ１００は、例えば、２つの液晶パネル（パネル（前面）２０１およびパネル（後面）２０２）と、バックライト２０３およびスペーサー２０４を備えることができる。２つ以上のパネル（例えば、パネル（前面）２０１とパネル（後面）２０２）は、接眼レンズ１１２の光軸（主軸ともいう）に直交する面と、各パネルの表示面とが平行になるように設置されうる。パネル同士の間にはスペーサー２０４が設けられていてもよい。これにより、パネルの間隔を一定距離以上に保ちやすくなる。また、後述する位置調節機構１１８によってパネル同士の間隔は変わることがあるため、スペーサー２０４は伸縮するようにされていてもよい。また、２つ以上のパネルは、位置調節機構１１８によって、接眼レンズ１１２に近づくように、または、接眼レンズ１１２から離れるように、接眼レンズ１１２に対して平行を保ったまま光軸方向に動くことができる。 FIG. 2 is an image diagram of the head-mounted display 100 according to the embodiment of the present invention. As shown in FIG. 2, the head-mounted display 100 can include, for example, two liquid crystal panels (panel (front) 201 and panel (rear) 202), a backlight 203, and a spacer 204. Two or more panels (for example, the panel (front) 201 and the panel (rear surface) 202) have a surface orthogonal to the optical axis (also referred to as a main axis) of the eyepiece 112 so that the display surface of each panel is parallel to each other. Can be installed in. Spacer 204 may be provided between the panels. This makes it easier to keep the panel spacing above a certain distance. Further, since the distance between the panels may change depending on the position adjusting mechanism 118 described later, the spacer 204 may be expanded or contracted. Further, the two or more panels move in the optical axis direction while being parallel to the eyepiece 112 so as to approach the eyepiece 112 or move away from the eyepiece 112 by the position adjusting mechanism 118. Can be done.

ここで、本発明に係るヘッドマウントディスプレイ１００に表示される画像について説明する。本発明では、図３から図５を参照しながら説明するように、ヘッドマウントディスプレイ１００を装着したユーザは、各パネルに表示された画像を重ね合わせて同時に見ることによって、立体感を得ることができる。以下では、２つのパネルに画像が表示される場合を説明するが、３つ以上のパネルに画像が表示される場合も同様である。 Here, the image displayed on the head-mounted display 100 according to the present invention will be described. In the present invention, as will be described with reference to FIGS. 3 to 5, a user wearing the head-mounted display 100 can obtain a stereoscopic effect by superimposing and simultaneously viewing the images displayed on the respective panels. can. Hereinafter, the case where the image is displayed on two panels will be described, but the same applies to the case where the image is displayed on three or more panels.

図３は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００に表示される画像の例である。この例では、それぞれのパネルに異なる画像が表示される。例えば、前面のパネル（つまり、接眼レンズ１１２により近い方のパネル）２０１には、図３の中央下に示される画像が表示される。また、後面のパネル（つまり、接眼レンズ１１２からより遠い方のパネル）２０２には、図３の中央上に示される画像が表示される。もし、文字のような奥行きのない情報が表示される場合は眼から近い距離にあるパネルに表示される方が視認しやすいため、パネル（前面）２０１には、「ＡＢＣＤＥ」という文字が表示され、パネル（後面）２０２には、丸い物体が表示されているように、それぞれのパネルに異なる画像が表示される。ユーザの網膜では、パネル（前面）２０１およびパネル（後面）２０２に表示された物体や文字が異なる２つの奥行きの平面として結像される。よって、ヘッドマウントディスプレイ１００を装着したユーザは、仮想スクリーン（前面）３０１および仮想スクリーン（後面）３０２上に投影された物体や文字の虚像を認識することができる。ヘッドマウントディスプレイ１００を装着したユーザは、パネル（前面）２０１に表示された画像とパネル（後面）２０２に表示された画像とを重ね合わせて見ることができる。つまり、ユーザは、奥行きの違う２枚の層に表示された重畳画像３０３を認識する。表示内容の組み合わせは、用途に応じて適宜変更することができる。例えば、パネル（前面）２０１とパネル（後面）の両方に物体と文字を表示してもよいし、パネル（前面）２０１に物体を表示し、パネル（後面）２０２に文字を表示してもよい。 FIG. 3 is an example of an image displayed on the head-mounted display 100 according to the embodiment of the present invention. In this example, different images are displayed on each panel. For example, the front panel (that is, the panel closer to the eyepiece 112) 201 displays the image shown in the lower center of FIG. Further, the image shown in the upper center of FIG. 3 is displayed on the rear panel (that is, the panel farther from the eyepiece 112) 202. If information with no depth such as characters is displayed, it is easier to see if it is displayed on a panel close to the eyes, so the characters "ABCDE" are displayed on the panel (front) 201. , Panels (rear surface) 202 display different images on each panel, as if a round object were displayed. On the user's retina, the objects and characters displayed on the panel (front) 201 and the panel (rear) 202 are imaged as planes of two different depths. Therefore, the user wearing the head-mounted display 100 can recognize virtual images of objects and characters projected on the virtual screen (front surface) 301 and the virtual screen (rear surface) 302. A user wearing the head-mounted display 100 can superimpose and view the image displayed on the panel (front surface) 201 and the image displayed on the panel (rear surface) 202. That is, the user recognizes the superimposed image 303 displayed on the two layers having different depths. The combination of display contents can be appropriately changed according to the intended use. For example, an object and characters may be displayed on both the panel (front) 201 and the panel (rear surface), or the object may be displayed on the panel (front) 201 and the characters may be displayed on the panel (rear surface) 202. ..

このように、接眼レンズ１１２からの距離が異なる２つ以上のパネルのそれぞれに異なる画像を表示することにより、重畳画像３０３内で、物体または文字ごとに焦点が合う距離が異なるようにすることができる。これにより、ユーザは従来の１つのパネルから構成されるヘッドマウントディスプレイを使用した場合に比べて、立体感のある画像を閲覧することができる。さらに、ヘッドマウントディスプレイ１００を装着したユーザは、重畳画像３０３を閲覧している最中でも、焦点を調節する必要が生じ、毛様筋を頻繁に動かすので緊張が緩和され、眼精疲労を低減することができるようになる。 In this way, by displaying different images on each of two or more panels having different distances from the eyepiece 112, it is possible to make the focusing distances different for each object or character in the superimposed image 303. can. As a result, the user can view a stereoscopic image as compared with the case of using a conventional head-mounted display composed of one panel. Further, the user wearing the head-mounted display 100 needs to adjust the focus even while viewing the superimposed image 303, and frequently moves the ciliary muscles to relieve tension and reduce eye strain. You will be able to do it.

次に、本発明に係るヘッドマウントディスプレイ１００に表示される画像の別の例について説明する。本発明では、光線の情報に基づいて実空間や仮想空間を表した画像（以下、光線空間圧縮画像と呼ぶ）を用いることができる。以下、光線空間圧縮画像について説明する。 Next, another example of the image displayed on the head-mounted display 100 according to the present invention will be described. In the present invention, an image representing a real space or a virtual space based on light ray information (hereinafter, referred to as a ray space compressed image) can be used. Hereinafter, the ray space compressed image will be described.

まず、光線の情報について説明する。光線空間圧縮画像は、その光線空間圧縮画像が再現している実空間（実世界の空間）内に存在する光線の量（方向と強度）の情報を保持している。あるいは、光線空間圧縮画像は、その光線空間圧縮画像が表現している仮想空間（コンピュータグラフィックス（ＣＧ）によって作成された空間）内に存在する光線の量（方向と強度）の情報を保持している。ある空間内のある点（Ｖ）に存在する全ての光線は、式（１）の関数で定義される。ここで、（θ，φ）は光線の方向、λは色（波長）、ｔは時間、（Ｖｘ，Ｖｙ，Ｖｚ）は位置である。
Ｐ＝Ｐ（θ，φ，λ，ｔ，Ｖｘ，Ｖｙ，Ｖｚ）・・・式（１）（Plenoptic function(7D)）
しかしながら、７次元の光線情報を取得するのは難しいため、一般的には奥行き位置、色、時間を除いた式（２）の関数であらわされる４次元の光線情報が使われる。
Ｐ＝Ｐ（θ，φ，Ｖｘ，Ｖｙ）・・・式（２）（Plenoptic function(4D)) First, information on light rays will be described. The ray space compressed image holds information on the amount (direction and intensity) of rays existing in the real space (real world space) reproduced by the ray space compressed image. Alternatively, the ray space compressed image holds information on the amount (direction and intensity) of rays existing in the virtual space (space created by computer graphics (CG)) represented by the ray space compressed image. ing. All the rays existing at a certain point (V) in a certain space are defined by the function of the equation (1). Here, (θ, φ) is the direction of the light ray, λ is the color (wavelength), t is the time, and (Vx, Vy, Vz) is the position.
P = P (θ, φ, λ, t, Vx, Vy, Vz) ... Equation (1) (Plenoptic function (7D))
However, since it is difficult to obtain 7-dimensional ray information, 4-dimensional ray information represented by the function of equation (2) excluding the depth position, color, and time is generally used.
P = P (θ, φ, Vx, Vy) ... Equation (2) (Plenoptic function (4D))

次に、図４を参照しながら、実空間に存在する４次元の光線の量を記録するための方法の例について説明する。まず、同一平面状（Ｖｘ，Ｖｙ）に並んだ複数台のカメラが被写体４０３を撮影する。図４の例では、縦３台×横３台の計９台のカメラ４０１が同一の被写体４０３を撮影している。そのため、９つの画像４０２が撮影されることとなる。これらの複数の画像４０２は、ある点に原点を持つ平面上にｘ、ｙずつずらされた画像列（つまり、視差がずれた画像列）である。なお、本発明では、ライトフィールドカメラと呼ばれる、複数のカメラを使ったアレイカメラやマイクロアレイレンズを備えるカメラが、図４と同様の画像列を撮影するようにしてもよい。そして、画像列に含まれる画像ごとに、光線の情報が記録される。図４の場合、９つの画像が撮影されたので、９つの光線の情報が記録される。 Next, an example of a method for recording the amount of four-dimensional light rays existing in the real space will be described with reference to FIG. First, a plurality of cameras arranged in the same plane (Vx, Vy) take a picture of the subject 403. In the example of FIG. 4, a total of nine cameras 401, three in the vertical direction and three in the horizontal direction, are shooting the same subject 403. Therefore, nine images 402 will be captured. These plurality of images 402 are image sequences shifted by x and y on a plane having an origin at a certain point (that is, an image sequence in which the parallax is deviated). In the present invention, an array camera using a plurality of cameras or a camera provided with a microarray lens, which is called a light field camera, may capture an image sequence similar to that in FIG. Then, light ray information is recorded for each image included in the image sequence. In the case of FIG. 4, since nine images were taken, the information of the nine rays is recorded.

次に、撮影された画像とパネルに表示される画像について説明する。上述の方法で撮影された複数の画像４０２は、ヘッドマウントディスプレイ１００に備えられたパネルの数と同一の数の画像へと圧縮される。圧縮された画像は、それぞれ、圧縮された光線情報（つまり、上述の方法で記録された光線情報が圧縮される）を保持している。例えば、パネルの数が２つ（前面パネル２０１と後面パネル２０２）の場合、図４の９つの画像４０２が２つの画像に圧縮され、２つの画像は、それぞれ、圧縮された９つ（つまり、上述の方法で記録された視点の数）の光線の情報を保持している。画像の圧縮（つまりは、光線の情報の圧縮）は、従来技術を用いて実施することができる。例えば、光線情報をパネルの数に応じて行列に変換した後、非負値行列因子分解法により、光線情報を圧縮することができる。このように圧縮された画像が各パネルに表示される。 Next, the captured image and the image displayed on the panel will be described. The plurality of images 402 captured by the above method are compressed into the same number of images as the number of panels provided on the head-mounted display 100. Each compressed image retains compressed ray information (ie, the ray information recorded by the method described above is compressed). For example, if the number of panels is two (front panel 201 and rear panel 202), the nine images 402 in FIG. 4 are compressed into two images, and the two images are each compressed into nine (ie, nine). It holds information on the rays of light (the number of viewpoints recorded by the method described above). Image compression (ie, compression of ray information) can be performed using prior art. For example, after converting the ray information into a matrix according to the number of panels, the ray information can be compressed by the non-negative matrix factorization method. The image compressed in this way is displayed on each panel.

図５は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００に表示される光線空間圧縮画像の例である。この例では、それぞれのパネルに同一の被写体の異なる画像が表示される。具体的には、それぞれのパネルに、上述の方法で圧縮された光線空間圧縮画像が表示される。例えば、前面のパネル（つまり、接眼レンズ１１２により近い方のパネル）２０１には、図５の中央下に示される画像が表示される。また、後面のパネル（つまり、接眼レンズ１１２からより遠い方のパネル）２０２には、図５の中央上に示される画像が表示される。ユーザの網膜では、パネル（前面）２０１およびパネル（後面）２０２に表示された画像が結像される。そして、ヘッドマウントディスプレイ１００を装着したユーザは、仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２とに表示された光線空間圧縮画像を見た結果、仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の空間内の物体を知覚することができる。ヘッドマウントディスプレイ１００を装着したユーザは、パネル（前面）２０１に表示された画像とパネル（後面）２０２に表示された画像とを重ね合わせて見ることができる。つまり、ユーザは、立体像３０３を認識している。 FIG. 5 is an example of a ray space compressed image displayed on the head-mounted display 100 according to the embodiment of the present invention. In this example, different images of the same subject are displayed on each panel. Specifically, each panel displays a ray space compressed image compressed by the method described above. For example, the front panel (that is, the panel closer to the eyepiece 112) 201 displays the image shown in the lower center of FIG. Further, the image shown in the upper center of FIG. 5 is displayed on the rear panel (that is, the panel farther from the eyepiece 112) 202. On the user's retina, the images displayed on the panel (front) 201 and the panel (rear) 202 are imaged. Then, the user wearing the head-mounted display 100 sees the light space compressed images displayed on the virtual screen (front) 301 and the virtual screen (rear) 302, and as a result, the virtual screen (front) 301 and the virtual screen (rear). ) It is possible to perceive an object in the space between 302. A user wearing the head-mounted display 100 can superimpose and view the image displayed on the panel (front surface) 201 and the image displayed on the panel (rear surface) 202. That is, the user recognizes the stereoscopic image 303.

本発明では、光線空間圧縮画像を用いることによって、ヘッドマウントディスプレイ１００を装着したユーザは、視覚の調節機能による奥行きを知覚できるようになる。すなわち、光線空間圧縮画像ではない画像を表示したときと比べて、仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の全ての空間内における物体までの距離を知覚できるようになる。すなわち、ユーザは、図３の場合、仮想スクリーン（前面）３０１上の画像（つまり、仮想スクリーン（前面）３０１上に投影された虚像）と、仮想スクリーン（後面）３０２上の画像（つまり、仮想スクリーン（後面）３０２上に投影された虚像）とを知覚する。一方、ユーザは、図５の場合、仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の空間内の物体を知覚することができる。このように、光線空間圧縮画像を用いれば、仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の空間内において焦点を調節できるようになるので、光線空間圧縮画像を用いない場合に比べて、ユーザはより細かく焦点調節を行えるようになる。さらに、ユーザは、調節機能による奥行きを知覚することによって焦点の調節をさらに頻繁に行うようになり、毛様筋の緊張を軽減することができるため、眼精疲労が好適に低減される。 In the present invention, by using the ray space compressed image, the user wearing the head-mounted display 100 can perceive the depth by the visual adjustment function. That is, the distance to an object in all the space between the virtual screen (front surface) 301 and the virtual screen (rear surface) 302 can be perceived as compared with the case where an image that is not a ray space compressed image is displayed. That is, in the case of FIG. 3, the user can see the image on the virtual screen (front) 301 (that is, the virtual image projected on the virtual screen (front) 301) and the image on the virtual screen (rear) 302 (that is, virtual). It perceives a virtual image projected on the screen (rear surface) 302. On the other hand, in the case of FIG. 5, the user can perceive an object in the space between the virtual screen (front surface) 301 and the virtual screen (rear surface) 302. In this way, if the ray space compressed image is used, the focus can be adjusted in the space between the virtual screen (front surface) 301 and the virtual screen (rear surface) 302. In comparison, the user will be able to make finer focus adjustments. In addition, the user will be able to adjust the focus more frequently by perceiving the depth of the accommodation function, and the tension of the ciliary muscle can be reduced, so that eye strain is preferably reduced.

なお、ヘッドマウントディスプレイ１００は、いずれか１つのパネルのみに画像を表示する（つまり、従来のヘッドマウントディスプレイのように用いられる）ことも可能である。 The head-mounted display 100 can also display an image on only one of the panels (that is, it is used like a conventional head-mounted display).

図１に戻る。処理装置１１４は、コンピュータ１２０と連携して、ディスプレイ１１３に画像を表示させることができる。処理装置１１４は、例えば、ＧＰＵ（Graphics Processing Unit）やＣＰＵ（Central Processing Unit）である。 Return to FIG. The processing device 114 can display an image on the display 113 in cooperation with the computer 120. The processing device 114 is, for example, a GPU (Graphics Processing Unit) or a CPU (Central Processing Unit).

位置調節機構１１８は、各パネルを、接眼レンズ１１２に近づくように、または、接眼レンズ１１２から離れるように、接眼レンズ１１２に対して平行を保ったまま光軸方向に移動させることができる。具体的には、位置調節機構１１８は、モータ（電動機）を用いて、ヘッドマウントディスプレイ１００に搭載された開始ボタンまたは停止ボタンのユーザの押下に応じて、各パネルを移動または停止させることができる。あるいは、位置調節機構１１８は、ユーザによる手動で（例えば、ヘッドマウントディスプレイ１００に搭載されたスライドレバー、ネジ、ダイヤル等のユーザの操作に応じて）、各パネルを移動または停止させることができる。 The position adjusting mechanism 118 can move each panel in the optical axis direction while maintaining parallelism with the eyepiece 112 so as to approach the eyepiece 112 or move away from the eyepiece 112. Specifically, the position adjusting mechanism 118 can move or stop each panel by using a motor (motor) in response to a user pressing a start button or a stop button mounted on the head-mounted display 100. .. Alternatively, the position adjusting mechanism 118 can move or stop each panel manually by the user (for example, according to the user's operation of a slide lever, a screw, a dial, or the like mounted on the head-mounted display 100).

図６は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００のパネルの位置調節の方法を説明するための図である。 FIG. 6 is a diagram for explaining a method of adjusting the position of the panel of the head-mounted display 100 according to the embodiment of the present invention.

上述のとおり、本発明に係るヘッドマウントディスプレイ１００では、各パネルは、接眼レンズ１１２に近づくように、または、接眼レンズ１１２から離れるように、接眼レンズ１１２に対して平行を保ったまま光軸方向に動くことができる。図６で示されるように、接眼レンズ１１２とパネル（前面）２０１との間の距離をｄ₁とする。また、接眼レンズ１１２とパネル（後面）２０２との間の距離をｄ₂とする。また、接眼レンズ１１２と仮想スクリーン（前面）３０１との間の距離をｄ₁’とする。また、接眼レンズ１１２と仮想スクリーン（後面）３０２との間の距離をｄ₂’とする。また、接眼レンズ１１２と眼との間の距離をｄ_eとする。パネル（前面）２０１を移動させてｄ₁を変更することによって、虚像を投影する仮想スクリーン（前面）３０１までの投影距離（つまり、ｄ₁’）を変更することができる。同様に、パネル（後面）２０２を移動させてｄ₂を変更することによって、虚像を投影する仮想スクリーン（後面）３０２までの投影距離（つまり、ｄ₂’）を変更することができる。このように、ヘッドマウントディスプレイ１００を装着したユーザの近方視力に基づいたパネル（前面）２０１の調節と、遠方視力に基づいたパネル（後面）２０２の調節と、を実施することができる。すなわち、ヘッドマウントディスプレイ１００は、パネル（前面）２０１およびパネル（後面）２０２を接眼レンズ１１２に対して光軸方向に移動させるための位置調節機構１１８を備えることにより、ユーザの眼に適した立体感のある画像を表示することができる。なお、ｄ_eによって、網膜上に結像される画像のサイズが変わってくる。 As described above, in the head-mounted display 100 according to the present invention, each panel is kept parallel to the eyepiece 112 in the optical axis direction so as to approach the eyepiece 112 or move away from the eyepiece 112. Can move to. As shown in FIG. 6, the distance between the eyepiece 112 and the panel (front surface) 201 is d ₁ . Further, the distance between the eyepiece 112 and the panel (rear surface) 202 is d ₂ . Further, the distance between the eyepiece 112 and the virtual screen (front surface) 301 is d ₁ '. Further, the distance between the eyepiece 112 and the virtual screen (rear surface) 302 is d ₂ '. Further, the distance between the eyepiece 112 and the eye to d _e. By moving the panel (front) 201 and _{changing d 1} _{, the projection distance (that is, d 1} ') to the virtual screen (front) 301 on which the virtual image is projected can be changed. Similarly, by moving the panel (rear surface) 202 to _{change d 2} , the projection distance to the virtual screen (rear surface) 302 on which the virtual image is projected (that is, d ₂ ') can be changed. In this way, the panel (front surface) 201 can be adjusted based on the near vision of the user wearing the head-mounted display 100, and the panel (rear surface) 202 can be adjusted based on the far vision. That is, the head-mounted display 100 includes a position adjusting mechanism 118 for moving the panel (front surface) 201 and the panel (rear surface) 202 in the optical axis direction with respect to the eyepiece 112, so that the three-dimensional object is suitable for the user's eye. It is possible to display a sensational image. Depending d _e, it varies the size of the image formed on the retina.

また、接眼レンズ１１２とパネル２０１、２０２との距離から仮想スクリーン３０１、３０２の位置は式（３）から計算することができる。
1/d’ + 1/d = 1/f・・・式（３）
このとき、接眼レンズ１１２の焦点距離をｆとする。 Further, the positions of the virtual screens 301 and 302 can be calculated from the equation (3) from the distance between the eyepiece 112 and the panels 201 and 202.
1 / d'+ 1 / d = 1 / f ・・・ Equation (3)
At this time, the focal length of the eyepiece 112 is f.

本発明では、「仮想スクリーン（前面）３０１の位置」と「仮想スクリーン（後面）３０２の位置」と「仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の空間」に適した光線空間圧縮画像を表示することができる。すなわち、ヘッドマウントディスプレイ１００は、コンピュータ１２０が「パネル（前面）２０１の位置」と「パネル（後面）２０２の位置」に基づいて画像処理した光線空間圧縮画像を、各パネル上に表示させることができる。つまり、ヘッドマウントディスプレイ１００を装着したユーザは、この空間中（仮想スクリーン（前面）３０１と仮想スクリーン（後面）３０２との間の空間）の任意の場所に提示された物体に焦点を合わせることができる。そのため、ヘッドマウントディスプレイ１００を装着したユーザは、そのユーザの眼の特性（例えば、近眼、老眼等）に適した光線情報を知覚することができる。すなわち、ユーザごとの調節機能特性に合わせて立体感のある画像を表示することができる。 In the present invention, light rays suitable for "the position of the virtual screen (front) 301", "the position of the virtual screen (rear surface) 302", and "the space between the virtual screen (front) 301 and the virtual screen (rear surface) 302". A spatially compressed image can be displayed. That is, the head-mounted display 100 can display a ray space compressed image image-processed by the computer 120 based on the "position of the panel (front) 201" and the "position of the panel (rear) 202" on each panel. can. That is, the user wearing the head-mounted display 100 can focus on an object presented anywhere in this space (the space between the virtual screen (front) 301 and the virtual screen (rear) 302). can. Therefore, the user wearing the head-mounted display 100 can perceive light ray information suitable for the characteristics of the user's eyes (for example, myopia, presbyopia, etc.). That is, it is possible to display an image having a stereoscopic effect according to the accommodation function characteristics of each user.

図７は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００に表示されるテストパターンの例である。このようなテストパターンが、パネルの位置調節の際に各パネル上に表示される。ユーザは、テストパターンに焦点が合わない場合には７０１のように認識し、焦点が合う場合には７０２のように認識する。なお、テストパターンは、図７のような画像に限らず、ユーザが焦点が合っているか否かを判断することができる画像であればよい。 FIG. 7 is an example of a test pattern displayed on the head-mounted display 100 according to the embodiment of the present invention. Such test patterns are displayed on each panel when adjusting the position of the panels. The user recognizes the test pattern as 701 when it is out of focus and as 702 when it is in focus. The test pattern is not limited to the image shown in FIG. 7, and may be any image that allows the user to determine whether or not the image is in focus.

図８は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００における処理フローを示すフローチャートである。ヘッドマウントディスプレイ１００を装着したユーザは、以下の処理フローによって、ユーザの視力および焦点の調節力に合った画像を閲覧できるように、各パネルの位置を調節することができる。なお、ヘッドマウントディスプレイ１００は、テストパターンの画像をコンピュータ１２０から受信して、ディスプレイ１１３の各パネル上に表示することができる。 FIG. 8 is a flowchart showing a processing flow in the head-mounted display 100 according to the embodiment of the present invention. The user wearing the head-mounted display 100 can adjust the position of each panel so that the image suitable for the user's visual acuity and the accommodation power of the focus can be viewed by the following processing flow. The head-mounted display 100 can receive an image of the test pattern from the computer 120 and display it on each panel of the display 113.

ステップＳ８０１において、前面のパネル２０１にテストパターンが表示される。この際、後面のパネル２０２には、パネル（前面）２０１と同一のテストパターンの画像あるいは他の画像が表示されていてもよいし、何も表示されていなくてもよい。ただし、他の画像は、パネル（前面）２０１のテストパターンのユーザの視認に影響を与えない画像である。なお、複数枚の異なる空間周波数を持った縦縞および横縞のテストパターンを切り替えて表示するようにしてもよい。 In step S801, the test pattern is displayed on the front panel 201. At this time, the rear panel 202 may display an image of the same test pattern as the panel (front) 201 or another image, or may not display anything. However, the other images are images that do not affect the user's visibility of the test pattern of the panel (front) 201. It should be noted that the test patterns of a plurality of vertical stripes and horizontal stripes having different spatial frequencies may be switched and displayed.

ステップＳ８０２において、ヘッドマウントディスプレイ１００を装着したユーザは、ステップＳ８０１でパネル（前面）２０１に表示されたテストパターンの虚像（つまり、仮想スクリーン（前面）３０１上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、ステップＳ８０５へ進む。焦点が合わない場合は、ステップＳ８０３へ進む。 In step S802, whether or not the user wearing the head-mounted display 100 focuses on the virtual image of the test pattern displayed on the panel (front) 201 in step S801 (that is, the virtual image on the virtual screen (front) 301). To judge. If it is in focus, the process proceeds to step S805. If it is out of focus, the process proceeds to step S803.

ステップＳ８０３において、位置調節機構１１８は、モータ（電動機）を用いて、ヘッドマウントディスプレイ１００に搭載された開始ボタンおよび停止ボタンのユーザの押下に応じて、パネル（前面）２０１を移動および停止させる。 In step S803, the position adjusting mechanism 118 uses a motor (motor) to move and stop the panel (front surface) 201 in response to the user pressing the start button and the stop button mounted on the head-mounted display 100.

ステップＳ８０４において、ユーザは、ステップＳ８０３でパネル（前面）２０１に表示されたテストパターン（つまり、仮想スクリーン（前面）３０１上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、ステップＳ８０５へ進む。焦点が合わない場合は、ステップＳ８０３へ戻る。 In step S804, the user determines whether or not the test pattern displayed on the panel (front) 201 (that is, the virtual image on the virtual screen (front) 301) is in focus in step S803. If it is in focus, the process proceeds to step S805. If it is out of focus, the process returns to step S803.

ステップＳ８０５において、パネル（前面）２０１には、ステップＳ８０１で表示されたテストパターンとは別のテストパターンが表示される。例えば、ステップＳ８０５で表示されるテストパターンは、ステップＳ８０１で表示されたテストパターンよりも高い解像度の画像である。そのため、ユーザは、低い解像度のテストパターンから高い解像度のテストパターンへと、徐々に焦点を合わせていくことができる。 In step S805, a test pattern different from the test pattern displayed in step S801 is displayed on the panel (front surface) 201. For example, the test pattern displayed in step S805 is an image having a higher resolution than the test pattern displayed in step S801. As a result, the user can gradually focus from low resolution test patterns to high resolution test patterns.

ステップＳ８０６において、ユーザは、ステップＳ８０５でパネル（前面）２０１に表示されたテストパターン（つまり、仮想スクリーン（前面）３０１上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、ステップＳ８０９へ進む。焦点が合わない場合は、ステップＳ８０７へ進む。 In step S806, the user determines whether or not the test pattern displayed on the panel (front) 201 (that is, the virtual image on the virtual screen (front) 301) is focused in step S805. If it is in focus, the process proceeds to step S809. If it is out of focus, the process proceeds to step S807.

ステップＳ８０７において、位置調節機構１１８は、モータ（電動機）を用いて、ヘッドマウントディスプレイ１００に搭載された開始ボタンおよび停止ボタンのユーザの押下に応じて、パネル（前面）２０１を移動および停止させる。 In step S807, the position adjusting mechanism 118 uses a motor (motor) to move and stop the panel (front surface) 201 in response to the user pressing the start button and the stop button mounted on the head-mounted display 100.

ステップＳ８０８において、ユーザは、ステップＳ８０７でパネル（前面）２０１に表示されたテストパターン（つまり、仮想スクリーン（前面）３０１上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、ステップＳ８０９へ進む。焦点が合わない場合は、ステップＳ８０７へ戻る。 In step S808, the user determines whether or not the test pattern displayed on the panel (front) 201 (that is, the virtual image on the virtual screen (front) 301) is in focus in step S807. If it is in focus, the process proceeds to step S809. If it is out of focus, the process returns to step S807.

ステップＳ８０９において、パネル（後面）２０２にテストパターンが表示される。この際、パネル（前面）２０１は、全透過の状態である。そのため、ヘッドマウントディスプレイ１００を装着したユーザは、パネル（後面）２０２に表示されたテストパターンのみを見ることができる。 In step S809, the test pattern is displayed on the panel (rear surface) 202. At this time, the panel (front surface) 201 is in a fully transparent state. Therefore, the user wearing the head-mounted display 100 can see only the test pattern displayed on the panel (rear surface) 202.

ステップＳ８１０において、ユーザは、ステップＳ８０９でパネル（後面）２０２に表示されたテストパターン（つまり、仮想スクリーン（後面）３０２上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、パネルの位置調節が完了する。焦点が合わない場合は、ステップＳ８１１へ進む。 In step S810, the user determines whether or not the test pattern displayed on the panel (rear surface) 202 (that is, the virtual image on the virtual screen (rear surface) 302) is focused in step S809. If it is in focus, the panel position adjustment is complete. If it is out of focus, the process proceeds to step S811.

ステップＳ８１１において、位置調節機構１１８は、モータ（電動機）を用いて、ヘッドマウントディスプレイ１００に搭載された開始ボタンおよび停止ボタンのユーザの押下に応じて、パネル（後面）２０２を移動および停止させる。 In step S811, the position adjusting mechanism 118 uses a motor (motor) to move and stop the panel (rear surface) 202 in response to the user pressing the start button and the stop button mounted on the head-mounted display 100.

ステップＳ８１２において、ユーザは、ステップＳ８０９でパネル（後面）２０２に表示されたテストパターン（つまり、仮想スクリーン（後面）３０２上の虚像）に焦点が合うか否かを判断する。焦点が合う場合は、パネルの位置調節が完了する。焦点が合わない場合は、ステップＳ８１１へ戻る。 In step S812, the user determines whether or not the test pattern displayed on the panel (rear surface) 202 (that is, the virtual image on the virtual screen (rear surface) 302) is focused in step S809. If it is in focus, the panel position adjustment is complete. If it is out of focus, the process returns to step S811.

以上の処理フローによってパネルの位置を調節することにより、ユーザが焦点を合わせることが可能な最も近い距離と最も遠い距離を決めることができる。つまり、焦点調節機能により知覚可能な空間の大きさを決定することができる。 By adjusting the position of the panel by the above processing flow, it is possible to determine the closest distance and the farthest distance that the user can focus on. That is, the size of the perceptible space can be determined by the focus adjustment function.

なお、パネル（前面）２０１に表示されるテストパターンは、１種類でもよい（つまり、ステップＳ８０５〜ステップＳ８０８は省略される）。また、パネル（前面）２０１に表示されるテストパターンは、３種類以上であってもよい。同様に、パネル（後面）２０２のテストパターンは、１種類でもよいし、２種類以上であってもよい。 The test pattern displayed on the panel (front surface) 201 may be of one type (that is, steps S805 to S808 are omitted). Further, the test patterns displayed on the panel (front surface) 201 may be three or more types. Similarly, the test pattern of the panel (rear surface) 202 may be one type or two or more types.

また、ヘッドマウントディスプレイ１００に、眼球の瞳孔の拡がりを検出するための赤外線センサー等を搭載することにより、パネル（前面）２０１もしくはパネル（後面）２０２に表示されているテストパターンに焦点が合っているかどうかを自動で判定できるようになる。これにより、上記の処理フローにおいて、ユーザが焦点が合ったときにボタンを押す等の動作を省略することができ、焦点調節機能により知覚可能な空間の大きさを決定するための手順が簡略化される。 Further, by mounting an infrared sensor or the like for detecting the expansion of the pupil of the eyeball on the head-mounted display 100, the test pattern displayed on the panel (front) 201 or the panel (rear) 202 is focused. It will be possible to automatically determine whether or not it is present. As a result, in the above processing flow, it is possible to omit operations such as pressing a button when the user is in focus, and the procedure for determining the size of the perceptible space by the focus adjustment function is simplified. Will be done.

ここで、３つ以上のパネルに画像が表示される場合について説明する。３つ以上のパネルに画像が表示される場合、最前面のパネル（つまり、最も接眼レンズから近い位置に配置されたパネル）と最後面のパネル（つまり、最も接眼レンズから遠い位置に配置されたパネル）は、図８の処理フローによって位置が調節される。その後、最前面のパネルと最後面のパネル以外のパネル（つまり、最前面のパネルと最後面のパネルに挟まれた１または複数のパネル）は、位置調節機構１１８によって自動的に移動させられうる。例えば、最前面のパネルと最後面のパネルに挟まれた１または複数のパネルは、均等な間隔となるように移動することもできるし、パネルの位置調節後にユーザが閲覧しようとしている画像に応じた間隔となるように移動することもできる。 Here, a case where an image is displayed on three or more panels will be described. If the image is displayed on three or more panels, the front panel (that is, the panel that is closest to the eyepiece) and the rearmost panel (that is, the panel that is farthest from the eyepiece) are placed. The position of the panel) is adjusted by the processing flow of FIG. Subsequent panels other than the front and rear panels (ie, one or more panels sandwiched between the front and rear panels) can be automatically moved by the position adjustment mechanism 118. .. For example, one or more panels sandwiched between the frontmost panel and the rearmost panel can be moved evenly spaced, depending on the image the user is trying to view after adjusting the panel position. It can also be moved so that the intervals are different.

図９は、本発明の一実施形態にかかるヘッドマウントディスプレイ１００を用いた遠隔システムの例である。ヘッドマウントディスプレイ１００を装着したユーザは、ロボットや重機等９０１を遠隔操作することができるものとする。ロボットや重機等９０１に設置されたカメラ９０２は、例えば、手術を受けている患者や建設現場を撮影することができる。ロボットの制御部９０３は、ネットワーク９０４を介して、カメラ９０２が撮影した画像をコンピュータ１２０へ送信することができる。コンピュータ１２０は、制御部９０３から受信した画像をヘッドマウントディスプレイ１００へ送信することができる。このように、ユーザは、遠隔地にあるカメラ９０２が撮影した映像をヘッドマウントディスプレイ１００で閲覧しながら、ロボットや重機等９０１を遠隔操作することができる。 FIG. 9 is an example of a remote system using the head-mounted display 100 according to the embodiment of the present invention. A user wearing the head-mounted display 100 can remotely control a robot, a heavy machine, or the like 901. A camera 902 installed in a robot, a heavy machine, or the like 901 can, for example, photograph a patient undergoing surgery or a construction site. The robot control unit 903 can transmit the image captured by the camera 902 to the computer 120 via the network 904. The computer 120 can transmit the image received from the control unit 903 to the head-mounted display 100. In this way, the user can remotely control the robot, heavy machinery, and the like 901 while viewing the image taken by the camera 902 at a remote location on the head-mounted display 100.

このように、本発明では、接眼レンズと、画像を表示するためのパネル（前面）と、パネル（後面）とを備え、接眼レンズとパネル（前面）との距離、および、接眼レンズとパネル（後面）との距離、および、パネル（前面）とパネル（後面）との距離を変更することができる。そのため、表示される物体によって焦点が合う距離が異なる立体感のある画像を閲覧することができる。また、焦点調節を頻繁に行うようになるので、毛様筋の緊張が緩和され、眼精疲労の低減にも効果が見込まれる。また、ヘッドマウントディスプレイを装着したユーザの近方視力に基づいた前面パネルの調節と、遠方視力に基づいた後面パネルの調節と、の両方を行うことが可能である。これにより、ユーザが焦点を調節できる最大限の領域内に画像を表示させることができる。また、本発明では、パネルを移動させることによって、ヘッドマウントディスプレイを装着したユーザの焦点（焦点が合う位置）と輻輳（虚像の位置）とを一致させることができると考えられる。 As described above, the present invention includes an eyepiece, a panel (front surface) for displaying an image, and a panel (rear surface), the distance between the eyepiece and the panel (front surface), and the eyepiece and the panel (front surface). The distance to the rear surface) and the distance between the panel (front surface) and the panel (rear surface) can be changed. Therefore, it is possible to browse a stereoscopic image in which the focusing distance differs depending on the displayed object. In addition, since the focus is adjusted frequently, the tension of the ciliary muscle is relieved, and it is expected to be effective in reducing eye strain. In addition, it is possible to adjust the front panel based on the near vision of the user wearing the head-mounted display and to adjust the rear panel based on the far vision. This allows the image to be displayed within the maximum area in which the user can adjust the focus. Further, in the present invention, it is considered that the focus (position of focus) and the convergence (position of virtual image) of the user wearing the head-mounted display can be matched by moving the panel.

ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。 Although the embodiments of the present invention have been described so far, the above embodiments are merely examples, and the present invention is not limited to the above-described embodiments, and is implemented in various different embodiments within the scope of the technical idea. Needless to say, it's good.

また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。 Also, the scope of the present invention is not limited to the exemplary embodiments illustrated and described, but also includes all embodiments that provide an effect equal to that intended by the present invention. Furthermore, the scope of the present invention is not limited to the combination of the features of the invention defined by each claim, but may be defined by any desired combination of the specific features of all the disclosed features. ..

１００ヘッドマウントディスプレイ
１１１筐体
１１２接眼レンズ
１１３ディスプレイ
１１４処理装置
１１５入力端子
１１６出力端子
１１７画像
１１８位置調節機構
１１９カメラ（ライトフィールドカメラ）
１２０コンピュータ
２０１パネル（前面）
２０２パネル（後面）
２０３バックライト
２０４スペーサー
３０１仮想スクリーン（前面）
３０２仮想スクリーン（後面）
３０３重畳画像、立体像
４０１カメラ
４０２光線空間圧縮画像
４０３被写体
６０１網膜
７０１テストパターン（焦点が合わない場合）
７０２テストパターン（焦点が合う場合）
９０１ロボット
９０２カメラ
９０３制御部
９０４ネットワーク 100 Head-mounted display 111 Housing 112 Eyepiece 113 Display 114 Processing device 115 Input terminal 116 Output terminal 117 Image 118 Position adjustment mechanism 119 Camera (light field camera)
120 Computer 201 Panel (Front)
202 panel (rear side)
203 Backlight 204 Spacer 301 Virtual screen (front)
302 Virtual screen (rear side)
303 Superimposed image, stereoscopic image 401 Camera 402 Ray space compressed image 403 Subject 601 Retina 701 Test pattern (when out of focus)
702 test pattern (if in focus)
901 Robot 902 Camera 903 Control Unit 904 Network

Claims

With eyepieces
A display consisting of two or more panels for displaying an image, wherein the two or more panels are arranged at a position farther from the user's eye than the eyepiece and parallel to the eyepiece. When,
The test pattern image is displayed on the panel arranged at the position closest to the eyepiece, the test pattern image is displayed on the panel arranged at the position farthest from the eyepiece, and the user focuses on the test pattern image. A head-mounted display including a position adjusting mechanism for moving the panel in the optical axis direction with respect to the eyepiece based on whether or not the panel is used.

The head-mounted display according to claim 1, wherein the images displayed on each of the two or more panels are different images.

The head-mounted display according to claim 2, wherein the image displayed on the two or more panels is a ray space compressed image.

An image display method performed by a position adjusting mechanism of a head-mounted display, wherein the head-mounted display includes an eyepiece and a display including two or more panels for displaying an image.
Whether the test pattern image was displayed on the panel located closest to the eyepiece and the test pattern image was displayed on the panel located farthest from the eyepiece, and the user focused on the test pattern image. Based on whether or not the panel is moved in the optical axis direction with respect to the eyepiece, the two or more panels are moved to the eyepiece at a position farther from the user's eye than the eyepiece. An image display method including steps, which are arranged in parallel to each other.