WO2022059521A1 - 頭部装着型画像表示装置 - Google Patents

頭部装着型画像表示装置 Download PDF

Info

Publication number
WO2022059521A1
WO2022059521A1 PCT/JP2021/032439 JP2021032439W WO2022059521A1 WO 2022059521 A1 WO2022059521 A1 WO 2022059521A1 JP 2021032439 W JP2021032439 W JP 2021032439W WO 2022059521 A1 WO2022059521 A1 WO 2022059521A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
display unit
head
user
distance
Prior art date
Application number
PCT/JP2021/032439
Other languages
English (en)
French (fr)
Inventor
健 笠原
淳一 澤田
Original Assignee
株式会社テックジェーピー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社テックジェーピー filed Critical 株式会社テックジェーピー
Publication of WO2022059521A1 publication Critical patent/WO2022059521A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis

Definitions

  • the present invention relates to a head-mounted image display device.
  • the distance between the cameras that capture the images corresponding to the left and right eyes of the user has been fixed in the past.
  • the distance between the cameras may be set wider than the distance between the pupils of the left and right eyes of the user (PD value).
  • PD value the distance between the pupils of the left and right eyes of the user
  • the present invention has been made in view of the above, and an object of the present invention is to provide a head-mounted image display device capable of displaying a natural three-dimensional image according to a user.
  • the present invention is a head-mounted image display device having an image display unit and an adjustment unit, and the image display unit is at least one in which the distance between the optical axes of the lenses is adjustablely juxtaposed. It has a first display unit and a second display unit capable of displaying images acquired from the first camera and the second camera of the set, respectively, and the adjustment unit is from the first display unit and the second display unit.
  • the distance between the optical axes of each output image can be matched with the PD value, which is the distance between the pupils of the user, and the distance between the optical axes of the lenses of the first camera and the second camera can be set by the user.
  • the present invention relates to a head-mounted image display device capable of matching a PD value which is an interval between pupils.
  • the head-mounted image display device according to (1) which has a fixed portion and a fixed portion.
  • the head-mounted image display device which has a communication unit capable of transmitting the PD value to the first camera and the second camera.
  • the adjusting unit can adjust the vertical spacing and angle of the first display unit and the second display unit, and the adjusting unit can adjust the vertical spacing and angle of the first display unit and the second display unit, and the adjusting unit can be used with the user's left and right line of sight, the first display unit, and the first display unit.
  • the head-mounted image display device according to any one of (1) to (3), which can match the optical axis of the image output from the second display unit.
  • the adjusting unit has a distance measuring sensor capable of measuring the distance L between the first camera and the second camera and the object to be imaged, and the adjusting unit is used when the distance L is equal to or less than a predetermined threshold value.
  • the optical axes of the lenses of the first camera and the second camera with respect to the object to be photographed are aligned with the optical axes of the images output from the first display unit and the second display unit, respectively (4).
  • a head-mounted image display device capable of displaying a natural three-dimensional image according to a user.
  • the head-mounted image display device 1 As shown in FIGS. 1 (a) to 1 (c), the head-mounted image display device 1 according to the present embodiment is described as user 2 of the head-mounted image display device 1 (hereinafter, simply referred to as “user”). (In some cases), the distance (PD value) C between the pupils of the right eye RE and the left eye LE, the distance A between the optical axes of the lenses of the first camera 30a and the second camera 30b juxtaposed, and the first display unit. The intervals B between the optical axes of the images output from the 11a and the second display unit 11b can all be equal. As a result, the head-mounted image display device 1 can display a 3D image that is natural for the user.
  • the juxtaposed first and second cameras may be at least one set of remote cameras located away from the user, or a head-mounted image display device that captures an image similar to the user's field of view. It may be a set of cameras arranged in 1 or a combination of the above.
  • the head-mounted image display device 1 includes a first display unit 11a and a second display unit 11b as an image display unit, and a first fixing unit 12a and a second fixing unit 12b.
  • the position detecting units 13a and 13b, the motors 14a and 14b as adjusting units, the first camera 31a and the second camera 31b, and the frame F accommodating the above.
  • FIG. 2 is a view seen from the outside with the user wearing the head-mounted image display device 1
  • FIG. 3 is a view seen from the side where the user wears the head-mounted image display device 1. be.
  • the head-mounted image display device 1 has a communication unit (not shown) capable of transmitting and receiving information such as PD values and image data to and from the outside, and a control unit (not shown). You may. Further, a wearing tool such as a belt for fixing the frame F to the user's head may be provided.
  • the first display unit 11a and the second display unit 11b can output images acquired from the first camera 31a and the second camera 31b as images corresponding to the user's right eye RE and left eye LE, respectively.
  • the first display unit 11a and the second display unit 11b may be capable of displaying images acquired from the first camera 30a and the second camera 30b of the external remote camera 3, respectively. Further, images acquired from the plurality of cameras may be superimposed and displayed, or virtual images, characters and the like may be superimposed and displayed on the images. For example, an image in front of the user (for example, the user's hand) may be superimposed on the image acquired from the remote camera 3 and displayed. As a result, the user can feel as if he / she is in a remote place.
  • the first display unit 11a and the second display unit 11b are retinal displays.
  • the first display unit 11a and the second display unit 11b use the modules 111a and 111b that generate laser beams based on the image data acquired from the first camera and the second camera, and the generated laser beams with the optical axis Or and, respectively. It includes mirrors 112a and 112b that guide the user's retina on the optical axis Ol.
  • the first display unit 11a and the second display unit 11b are not limited to the above, and may be a liquid crystal display.
  • the respective optical axis Or and optical axis Ol are used as the optical axis center of the image output from the first display unit 11a and the second display unit 11b. Defined.
  • the first fixing portion 12a is a plate-shaped member for fixing the first display portion 11a and the first camera 31a described later.
  • the second fixing portion 12b is a plate-shaped member for fixing the second display portion 11b and the second camera 31b described later.
  • the optical axis of the image output from the first display unit 11a and the optical axis of the lens of the first camera 31a coincide with each other as the same optical axis Or. Fix it so that it does.
  • the second fixing unit 12b is also fixed so that the optical axis of the image output from the second display unit 11b and the optical axis of the lens of the second camera 31b coincide with each other as the optical axis Ol.
  • the distance A between the optical axes of the lenses of the first camera 31a and the second camera 31b and the distance B between the optical axes of the first display unit 11a and the second display unit 11b require special operation. Can always be matched without.
  • the upper portions of the first fixing portion 12a and the second fixing portion 12b extend upward of the frame F through the slits SLa and SLb partially formed in the frame F, and the knobs 121a and 121b as adjusting portions are extended.
  • the first fixing portion 12a and the second fixing portion 12b are slidable in the left-right direction when viewed from the user's point of view.
  • the knobs 121a and 121b left and right By the user operating the knobs 121a and 121b left and right, the first fixing portion 12a and the second fixing portion 12b can be slid left and right, and the user's left and right line of sight can be aligned with the optical axes Or and Ol. .. That is, it is output from the PD value which is the interval C in FIG.
  • the distance B between the optical axes of the image can be matched.
  • the optical axes Or and Ol of the images output from the first display unit 11a and the second display unit 11b can be aligned with the left and right lines of sight of the user.
  • the head-mounted image display device 1 can display a three-dimensional image that is the same as the actual field of view of the user.
  • the adjustment range of the distance between the optical axis Or and the optical axis Ol can be, for example, a minimum of 50 mm and a maximum of 80 mm in consideration of the average value of human PD.
  • the adjustment of the first fixing portion 12a and the second fixing portion 12b by the user operating the knobs 121a and 121b is performed, for example, by displaying the adjustment chart on the first display unit 11a and the second display unit 11b for the adjustment. This is done by the user moving the knobs 121a and 121b left and right so that the center position of the chart is aligned.
  • the knobs 121a and 121b may have a linking mechanism such that the distances between the optical axes Or and the center line Oct are constant, and in addition to the above, the distances from the center line Oct are fine. It is preferably adjustable.
  • the position detection units 13a and 13b are position detection encoders that can detect the positions of the optical axes Or and Ol.
  • the position information detected by the position detection units 13a and 13b is quantified as, for example, the distance from the center line Oct of the optical axis Or and Ol.
  • the above distance may be added and quantified as a PD value.
  • the quantified PD value or the like is transmitted to, for example, an external remote camera 3.
  • the distance A between the first camera 30a and the second camera 30b of the external remote camera 3 can be made to match the PD value. Therefore, the image acquired from the external remote camera 3 can be made into a natural three-dimensional image according to the user.
  • the position detection encoder is not particularly limited, and for example, an optical reflection type linear encoder, a magnet type linear encoder, a resistance type encoder, a rotary type encoder, or the like can be used.
  • the motors 14a and 14b as adjusting portions can slide the first fixing portion 12a and the second fixing portion 12b to the left and right in the same manner as the knobs 121a and 121b.
  • the operation of the first fixing portion 12a and the second fixing portion 12b by the motors 14a and 14b may be performed by the user's operation, the left and right pupil positions of the user, and the center of the user's face (for example, the user's face). It may be done automatically or semi-automatically by detecting the nose) with an optical sensor.
  • the pupil position and the center of the face can be detected by a face detection technique using known image recognition, a pupil detection technique, or the like. The detection and operation of the pupil position may be combined with the adjustment by the user's operation.
  • the user operates the knobs 121a and 121b or the motors 14a and 14b to make fine adjustments. May be configured to do.
  • the first camera 31a and the second camera 31b capture a three-dimensional image according to the actual field of view of the user.
  • a method of displaying the user's actual field of view on the display there is a method of using a half mirror.
  • a half mirror it is difficult to display a natural three-dimensional image because the actual image appears to be transmitted through the image displayed on the half mirror.
  • the head-mounted image display device can display a more natural three-dimensional image by having the first camera 31a and the second camera 31b.
  • the first camera 31a and the second camera 31b are fixed to the first fixing portion 12a and the second fixing portion 12b, respectively, so that the optical axis direction of the lens faces the user's field of view.
  • the first camera 31a and the second camera 31b are fixed to the first fixing portion 12a and the second fixing portion 12b that can slide left and right, and the distance between the optical axes of the lens can be adjusted.
  • the images taken by the first camera 31a and the second camera 31b are displayed on the first display unit 11a and the second display unit 11b, respectively.
  • the first camera and the second camera may be mounted on an external remote camera 3 capable of acquiring an image at a position away from the user.
  • the distance between the optical axes of the lenses of the first camera 30a and the second camera 30b mounted on the remote camera 3 can be adjusted by remote control.
  • the first camera and the second camera are not particularly limited, and known camera devices can be used.
  • the communication unit is configured to be able to send and receive data between the outside such as the remote camera 3 and the head-mounted image display device 1.
  • Examples of the data transmitted from the communication unit to the outside include PD values acquired by the position detection units 13a and 13b.
  • Examples of the data received by the communication unit from the outside include image data taken by the external remote camera 3.
  • the communication unit may be able to acquire information such as virtual images and characters to be displayed on the first display unit 11a and the second display unit 11b via the Internet.
  • the control unit operates the motors 14a and 14b as the adjustment unit automatically or by the user's operation.
  • the control unit operates the motors 14a and 14b so that the pupil position of the user and the optical axes Or and Ol match, for example, by a pupil detection program stored in a storage medium.
  • the control unit operates the motors 14a and 14b by receiving the operation input of the user. Examples of the user's operation input method include a switch operation installed in a head-mounted image display device and an operation by wireless communication of a smartphone, a remote controller, or the like.
  • the head-mounted image display device has a first display unit 11a and a second display unit 11b that can be moved in the vertical direction and can freely change the angle by the pan and tilt functions.
  • the head-mounted image display device can display a three-dimensional image that can be viewed by a user having a perspective, which was conventionally difficult to view the three-dimensional image. Further, even a user who does not have a strabismus may have a slight parallax, but a natural three-dimensional image can be provided to such a user.
  • FIG. 4A is a conceptual diagram of the positional relationship between the user's left eye LE and right eye RE and the first display unit 11a and the second display unit 11b as viewed from the side of the user.
  • FIG. 4B is a conceptual diagram of the positional relationship with each display unit as viewed from above of the user.
  • the line-of-sight direction of the left eye LE of the user faces the front
  • the line-of-sight direction of the right eye RE has an angle ⁇ upward and is to the right when viewed from the user. Has an angle of ⁇ 1.
  • the first display unit 11a is moved upward by a height h with respect to the second display unit 11b, tilted downward by an angle ⁇ , and tilted by an angle ⁇ 1 to the left when viewed from the user.
  • the line of sight of the user's left eye LE matches the optical axis Ol of the second display unit 11b
  • the line of sight of the user's right eye RE matches the optical axis Or of the first display unit 11a.
  • the head-mounted image display device has a distance measuring sensor 15 capable of measuring a distance from an object to be photographed.
  • the range-finding sensor 15 is not particularly limited, and for example, an infrared sensor, a laser sensor, an ultrasonic sensor, a LIDAR (Light Detection and Ringing, Laser Imaging Detection and Ranking) sensor, or the like can be used.
  • the head-mounted image display device has at least a pan function and has a first display unit 11a and a second display unit 11b whose angles can be changed, as in the second embodiment.
  • FIG. 5 is a conceptual diagram of the positional relationship between the head-mounted image display device according to the present embodiment and the user's left eye LE and right eye RE as viewed from above the user.
  • the head-mounted image display device has a distance L between the first camera and the second camera with respect to the object X to be photographed when the distance L is equal to or less than a predetermined threshold value.
  • the optical axes of the first camera and the second camera are aligned with the optical axes Or and Ol of the images output from the first display unit 11a and the second display unit 11b, respectively.
  • the first display unit 11a and the second display unit 11b are tilted outward by an angle ⁇ 2 with respect to the front direction of the user, respectively.
  • an object at a close distance to the first camera and the second camera can be displayed more naturally as a three-dimensional image.
  • the angle formed by the optical axis Or of the first display unit 11a and the front direction and the angle formed by the optical axis Ol of the second display unit 11b and the front direction differ depending on the position of the object X to be photographed. You may.
  • the adjusting unit for adjusting the distance between the centers of the images output from the first display unit 11a and the second display unit 11b is the knob 121a and 121b or the motors 14a and 14b as the adjusting unit, respectively.
  • the adjustment unit moves the center of the optical axis of the displayed image in the left-right direction with the display fixed. It is also good.
  • the distance A between the optical axes of the lenses of the first camera 30a and the second camera 30b juxtaposed can be adjusted by remote control.
  • the distance A between the optical axes of the lenses of the first camera 30a and the second camera 30b may be virtually adjustable by adding a correction to the image. That is, the images acquired from the fixed first camera 30a and the second camera 30b may be corrected by trimming and partial compression, and the distance A between the optical axes of the lens may be virtually adjusted.
  • the image for the left eye has a high compression rate on the left side
  • the image for the right eye has a high compression rate on the right side, so that the image can be corrected to be close to the actual image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

ユーザに応じた自然な３次元画像の表示を可能とする頭部装着型画像表示装置を提供すること。　画像表示部と、調節部と、を有する頭部装着型画像表示装置であり、画像表示部は、レンズの光軸間の間隔を調節可能に並置される少なくとも一組の第１カメラ及び第２カメラから取得される画像をそれぞれ表示可能な、第１表示部及び第２表示部を有し、調節部は、第１表示部及び第２表示部からそれぞれ出力される画像の光軸間の間隔と、ユーザの瞳孔間間隔であるＰＤ値とを一致可能であり、第１カメラ及び第２カメラのレンズの光軸間の間隔を、ユーザの瞳孔間間隔であるＰＤ値に一致可能である、頭部装着型画像表示装置。

Description

頭部装着型画像表示装置
　本発明は、頭部装着型画像表示装置に関する。
　従来、複数のカメラ装置を組み合わせて、ユーザの左右両眼に対応する画像を作成することで３次元画像を表示する方法が知られている。近年では、頭部装着型の画像表示装置を用いてユーザの左右両眼にそれぞれ対応する画像を見せることで没入感を高める技術や、現実の画像と作成された虚像や文字等とを組み合わせて表示する技術が知られている（例えば、特許文献１参照）。
国際公開第２０１８／１０１１６２号
　特許文献１に開示されているように、ユーザの左右両眼にそれぞれ対応する画像を撮影するカメラ間の間隔は従来固定されているものであった。例えば、ステレオ感を強調するために、カメラ間の間隔はユーザの左右両眼の瞳孔間間隔（ＰＤ値）よりも広く設定されている場合がある。このような場合、裸眼では通常見ることのできない視野角から撮影された画像を見続けることで、脳が視覚した経験のある画像との相違による違和感から、疲れを感じやすく、長時間の画像視聴を行い難いという問題があった。
　本発明は、上記に鑑みてなされたものであり、ユーザに応じた自然な３次元画像の表示を可能とする頭部装着型画像表示装置を提供することを目的とする。
　（１）　本発明は、画像表示部と、調節部と、を有する頭部装着型画像表示装置であり、前記画像表示部は、レンズの光軸間の間隔を調節可能に並置される少なくとも一組の第１カメラ及び第２カメラから取得される画像をそれぞれ表示可能な、第１表示部及び第２表示部を有し、前記調節部は、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸間の間隔と、ユーザの瞳孔間間隔であるＰＤ値とを一致可能であり、前記第１カメラ及び前記第２カメラのレンズの光軸間の間隔を、ユーザの瞳孔間間隔であるＰＤ値に一致可能である、頭部装着型画像表示装置に関する。
　（２）　前記第１カメラ及び前記第２カメラを有し、前記第１カメラ及び前記第１表示部を固定する第１固定部と、前記第２カメラ及び前記第２表示部を固定する第２固定部と、を有する、（１）に記載の頭部装着型画像表示装置。
　（３）　前記第１カメラ及び前記第２カメラに前記ＰＤ値を送信可能な通信部を有する、（１）又は（２）に記載の頭部装着型画像表示装置。
　（４）　前記調節部は、前記第１表示部及び前記第２表示部の上下間隔及び角度を調節可能であり、前記調節部は、前記ユーザの左右の視線と、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸とをそれぞれ一致可能である、（１）～（３）のいずれかに記載の頭部装着型画像表示装置。
　（５）　前記第１カメラ及び前記第２カメラと、被撮影物との距離Ｌを測定可能な測距センサを有し、前記調節部は、前記距離Ｌが所定の閾値以下である場合には、前記被撮影物に対する前記第１カメラ及び前記第２カメラのレンズの光軸と、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸とを一致させる、（４）に記載の頭部装着型画像表示装置。
　（６）　前記第１表示部及び前記第２表示部は、網膜ディスプレイである、（１）～（５）のいずれかに記載の頭部装着型画像表示装置。
　本発明によれば、ユーザに応じた自然な３次元画像の表示を可能とする頭部装着型画像表示装置を提供できる。
本実施形態に係る頭部装着型画像表示装置の概要図である。 本実施形態に係る頭部装着型画像表示装置を示す斜視図である。 本実施形態に係る頭部装着型画像表示装置を示す斜視図である。 他の実施形態に係る頭部装着型画像表示装置の概念図である。 他の実施形態に係る頭部装着型画像表示装置の概念図である。
《第１実施形態》
　以下、本発明の一実施形態について図面を参照しながら説明する。本発明の内容は以下の実施形態の記載に限定されない。
＜頭部装着型画像表示装置＞
　本実施形態に係る頭部装着型画像表示装置１は、図１（ａ）～（ｃ）に示すように、頭部装着型画像表示装置１のユーザ２（以下、単に「ユーザ」と記載する場合がある）の右眼ＲＥと左眼ＬＥの瞳孔間間隔（ＰＤ値）Ｃと、並置される第１カメラ３０ａと第２カメラ３０ｂのレンズの光軸間の間隔Ａと、第１表示部１１ａ及び第２表示部１１ｂからそれぞれ出力される画像の光軸間の間隔Ｂを全て等しい間隔とすることができる。これにより、頭部装着型画像表示装置１は、ユーザにとって自然な３Ｄ画像を表示させることができる。並置される第１カメラ及び第２カメラは、ユーザから離れた位置にある少なくとも一組のリモートカメラであってもよいし、ユーザの視界と同様の画像を撮影する、頭部装着型画像表示装置１に配置された一組のカメラであってもよいし、上記を組み合わせてもよい。
　頭部装着型画像表示装置１は、図２及び図３に示すように、画像表示部としての第１表示部１１ａ及び第２表示部１１ｂと、第１固定部１２ａ及び第２固定部１２ｂと、位置検出部１３ａ及び１３ｂと、調節部としてのモータ１４ａ及び１４ｂと、第１カメラ３１ａ及び第２カメラ３１ｂと、上記を収容するフレームＦと、を有する。図２は、ユーザが頭部装着型画像表示装置１を装着した状態で外側から見た図であり、図３は、頭部装着型画像表示装置１をユーザが装着する側から見た図である。上記以外に、頭部装着型画像表示装置１は、ＰＤ値や画像データ等の情報を外部と送受信可能な通信部（図示せず）と、制御部（図示せず）と、を有していてもよい。また、フレームＦをユーザの頭部に固定するベルト等の装着具を有していてもよい。
　第１表示部１１ａ及び第２表示部１１ｂは、それぞれ第１カメラ３１ａ及び第２カメラ３１ｂから取得した画像を、ユーザの右眼ＲＥ及び左眼ＬＥに対応する画像として出力できる。第１表示部１１ａ及び第２表示部１１ｂは、外部のリモートカメラ３の第１カメラ３０ａ及び第２カメラ３０ｂから取得した画像をそれぞれ表示可能であってもよい。更に、上記複数のカメラから取得される画像を重畳させて表示可能であってもよいし、上記の画像に虚像や文字等を重畳させて表示可能であってもよい。例えば、リモートカメラ３から取得される画像に対し、ユーザの目の前の画像（例えば、ユーザの手）を重畳させて表示可能であってもよい。これにより、ユーザはまるで自己が離れた場所に存在するかのような感覚を得ることができる。
　本実施形態において、第１表示部１１ａ及び第２表示部１１ｂは、網膜ディスプレイである。第１表示部１１ａ及び第２表示部１１ｂは、第１カメラ及び第２カメラから取得した画像データに基づいたレーザ光線を生成するモジュール１１１ａ及び１１１ｂと、生成されたレーザ光線をそれぞれ光軸Ｏｒ及び光軸Ｏｌでユーザの網膜へと導くミラー１１２ａ及び１１２ｂと、を備える。第１表示部１１ａ及び第２表示部１１ｂを網膜ディスプレイとすることで、ユーザの視力に依らずに視聴可能な３次元画像を表示できる。第１表示部１１ａ及び第２表示部１１ｂは、上記に限定されず、液晶ディスプレイであってもよい。第１表示部１１ａ及び第２表示部１１ｂが液晶ディスプレイである場合、それぞれの光軸Ｏｒ及び光軸Ｏｌは、第１表示部１１ａ及び第２表示部１１ｂから出力される画像の光軸中心として定義される。
　第１固定部１２ａは、第１表示部１１ａ及び、後述する第１カメラ３１ａを固定する板状部材である。同様に、第２固定部１２ｂは、第２表示部１１ｂ及び、後述する第２カメラ３１ｂを固定する板状部材である。第１固定部１２ａは、図２及び図３に示すように、第１表示部１１ａから出力される画像の光軸と、第１カメラ３１ａのレンズの光軸とが同一の光軸Ｏｒとして一致するように固定する。第２固定部１２ｂも上記と同様に、第２表示部１１ｂから出力される画像の光軸と、第２カメラ３１ｂのレンズの光軸が光軸Ｏｌとして一致するように固定する。これにより、第１カメラ３１ａと第２カメラ３１ｂとのレンズの光軸間の間隔Ａと、第１表示部１１ａと第２表示部１１ｂの光軸間の間隔Ｂとを、特に操作を要することなく常に一致させることができる。
　第１固定部１２ａ及び第２固定部１２ｂの上部は、一部がフレームＦに形成されたスリットＳＬａ及びＳＬｂを介してフレームＦの上方に向けて延出し、調節部としてのノブ１２１ａ及び１２１ｂを形成する。第１固定部１２ａ及び第２固定部１２ｂは、ユーザの視点から見て左右方向に摺動可能である。ユーザがノブ１２１ａ及び１２１ｂを左右に操作することで、第１固定部１２ａ及び第２固定部１２ｂを左右に摺動させ、ユーザの左右の視線と光軸Ｏｒ及びＯｌとを一致させることができる。即ち、図１における間隔ＣであるＰＤ値と、第１カメラ３１ａと第２カメラ３１ｂのレンズ間の光軸間の間隔Ａ、及び第１表示部１１ａと第２表示部１１ｂからそれぞれ出力される画像の光軸間の間隔Ｂを一致させることができる。上記に加え、第１表示部１１ａ及び第２表示部１１ｂから出力される画像の光軸Ｏｒ及びＯｌを、ユーザの左右の視線と一致させることができる。これにより、頭部装着型画像表示装置１は、ユーザの実際の視界と同一の３次元画像を表示させることができる。光軸Ｏｒ及び光軸Ｏｌの間隔の調節レンジは、人間のＰＤ平均値を考慮し、例えば、最小５０ｍｍ、最大８０ｍｍとすることができる。
　ノブ１２１ａ及び１２１ｂをユーザが操作することによる第１固定部１２ａ及び第２固定部１２ｂの調整は、例えば、第１表示部１１ａ及び第２表示部１１ｂに調整用チャートを表示させ、該調整用チャートの中心位置が合うようにユーザがノブ１２１ａ及び１２１ｂを左右に動かすことで行われる。ノブ１２１ａ及び１２１ｂは、光軸Ｏｒ及びＯｌの中心線Ｏｃからのそれぞれの間隔が一定になるような連携機構を有していてもよく、上記に加えて、中心線Ｏｃからの間隔をそれぞれ微調整可能であることが好ましい。
　位置検出部１３ａ及び１３ｂは、光軸Ｏｒ及びＯｌの位置を検出可能な位置検出エンコーダである。位置検出部１３ａ及び１３ｂにより検出される位置情報は、例えば、光軸Ｏｒ及びＯｌの中心線Ｏｃからの距離として数値化される。上記距離を加算してＰＤ値として数値化してもよい。上記数値化されたＰＤ値等は、例えば外部のリモートカメラ３に送信される。これにより、外部のリモートカメラ３の第１カメラ３０ａと第２カメラ３０ｂの間隔Ａを、ＰＤ値に一致させることができる。従って、外部のリモートカメラ３から取得した画像を、ユーザに応じた自然な３次元画像とすることができる。上記位置検出エンコーダとしては、特に限定されないが、例えば、光学反射式リニアエンコーダ、マグネット式リニアエンコーダ、抵抗式エンコーダ、回転式エンコーダ等を使用できる。
　調節部としてのモータ１４ａ及び１４ｂは、ノブ１２１ａ及び１２１ｂと同様に、第１固定部１２ａ及び第２固定部１２ｂを左右に摺動可能である。モータ１４ａ及び１４ｂによる第１固定部１２ａ及び第２固定部１２ｂの上記動作は、ユーザの操作により行われてもよいし、ユーザの左右の瞳孔位置や、ユーザの顔の中心（例えば、ユーザの鼻）を光学式センサにより検出することで、自動的又は半自動的に行われてもよい。上記瞳孔位置及び顔の中心の検出は、公知の画像認識を用いた顔検出技術や、瞳孔検出技術等により行うことができる。上記瞳孔位置の検出及び動作と、ユーザの操作による調節とを組み合わせてもよい。例えば、上記瞳孔位置の検出と、光軸Ｏｒ及びＯｌをユーザの左右の瞳孔位置に合わせる動作が自動的に行われた後に、ユーザがノブ１２１ａ及び１２１ｂ又はモータ１４ａ及び１４ｂを操作して微調整を行うように構成してもよい。
　第１カメラ３１ａ及び第２カメラ３１ｂは、ユーザの実際の視界に応じた３次元画像を撮影する。ユーザの実際の視界をディスプレイ上に表示させる方法としては、ハーフミラーを用いる方法がある。しかし、ハーフミラーを用いる場合、ハーフミラー上に表示される画像に実際の画像が透過して見えるため、自然な３次元画像を表示することが困難である。本実施形態に係る頭部装着型画像表示装置は、第１カメラ３１ａ及び第２カメラ３１ｂを有することで、より自然な３次元画像を表示できる。
　第１カメラ３１ａ及び第２カメラ３１ｂは、レンズの光軸方向がユーザの視界方向を向くように、それぞれ第１固定部１２ａ及び第２固定部１２ｂに固定される。第１カメラ３１ａ及び第２カメラ３１ｂは、左右に摺動可能な第１固定部１２ａ及び第２固定部１２ｂに固定され、レンズの光軸間の間隔を調節可能である。第１カメラ３１ａ及び第２カメラ３１ｂにより撮影された画像は、第１表示部１１ａ及び第２表示部１１ｂにそれぞれ表示される。上記以外に、第１カメラ及び第２カメラは、ユーザから離れた位置の画像を取得可能な外部のリモートカメラ３に搭載されていてもよい。この場合、リモートカメラ３に搭載される第１カメラ３０ａ及び第２カメラ３０ｂは、レンズの光軸間の間隔を遠隔操作により調節可能であることが好ましい。上記第１カメラ及び第２カメラとしては特に制限されず、公知のカメラ装置を用いることができる。
　通信部は、リモートカメラ３等の外部と、頭部装着型画像表示装置１との間でデータを送受信可能に構成される。通信部から外部に送信されるデータとしては、例えば、位置検出部１３ａ及び１３ｂにより取得されるＰＤ値が挙げられる。外部から通信部が受信するデータとしては、例えば、外部のリモートカメラ３により撮影される画像データが挙げられる。上記以外に、通信部は、インターネットを介して第１表示部１１ａ及び第２表示部１１ｂに表示させる虚像や文字等の情報を取得可能であってもよい。
　制御部は、調節部としてのモータ１４ａ及び１４ｂを、自動的に又はユーザの操作により動作させる。制御部は、例えば記憶媒体に記憶された瞳孔検出プログラムにより、ユーザの瞳孔位置と、光軸Ｏｒ及びＯｌが一致するように、モータ１４ａ及び１４ｂを動作させる。又は、制御部は、ユーザの操作入力を受け付けることで、モータ１４ａ及び１４ｂを動作させる。ユーザの操作入力方法としては、頭部装着型画像表示装置に設置されるスイッチ操作や、スマートフォン、リモコン等の無線通信による操作が挙げられる。
　以下、本発明の他の実施形態について説明する。上記第１実施形態と同様の構成については、説明を省略する場合がある。
《第２実施形態》
　本実施形態に係る頭部装着型画像表示装置は、上下方向に移動可能であり、更にパン及びチルト機能により角度を自在に変更可能である第１表示部１１ａ及び第２表示部１１ｂを有する。これにより、ユーザが例えば斜視を有している場合であっても、ユーザの左眼ＬＥ及び右眼ＲＥの視線と、第１表示部１１ａ及び第２表示部１１ｂの光軸Ｏｒ及びＯｌをそれぞれ一致させることができる。従って、本実施形態に係る頭部装着型画像表示装置は、従来は３次元画像を視聴することが困難であった、斜視を有するユーザが視聴可能な３次元画像を表示できる。また、斜視を有していないとされるユーザであっても、僅かな視差を有している場合があるが、そうしたユーザに対しても自然な３次元映像を提供できる。
　本実施形態に係る頭部装着型画像表示装置の構成について、概念図である図４を用いて説明する。図４（ａ）は、ユーザの左眼ＬＥ及び右眼ＲＥと、第１表示部１１ａ及び第２表示部１１ｂとの位置関係を、ユーザの真横から見た概念図である。同様に、図４（ｂ）は各表示部との位置関係を、ユーザの上方から見た概念図である。図４（ａ）に示すように、ユーザの左眼ＬＥの視線方向は正面を向いているのに対し、右眼ＲＥの視線方向は、上方に角度θを有し、ユーザから見て右方に角度φ１の角度を有している。この場合に、第１表示部１１ａを、第２表示部１１ｂに対し上方に高さｈ移動させ、下方に角度θ傾けると共に、ユーザから見て左方に角度ψ１傾ける。これにより、ユーザの左眼ＬＥの視線と、第２表示部１１ｂの光軸Ｏｌとを一致させるだけでなく、ユーザの右眼ＲＥの視線と、第１表示部１１ａの光軸Ｏｒとを一致させることができる。
《第３実施形態》
　本実施形態に係る頭部装着型画像表示装置は、図５に示すように、被撮影物との距離を測定可能な測距センサ１５を有する。測距センサ１５としては、特に限定されないが、例えば、赤外線センサ、レーザセンサ、超音波センサ、ＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）センサ等を用いることができる。
　本実施形態に係る頭部装着型画像表示装置は、第２実施形態と同様に、少なくともパン機能を有し、角度を変更可能な第１表示部１１ａ及び第２表示部１１ｂを有する。図５は、本実施形態に係る頭部装着型画像表示装置とユーザの左眼ＬＥ及び右眼ＲＥとの位置関係を、ユーザの上方から見た概念図である。
　本実施形態に係る頭部装着型画像表示装置は、図５に示すように、被撮影物Ｘに対する第１カメラ及び第２カメラの距離Ｌが所定の閾値以下である場合、被撮影物Ｘに対する第１カメラ及び第２カメラの光軸と、第１表示部１１ａ及び第２表示部１１ｂからそれぞれ出力される画像の光軸Ｏｒ及びＯｌとを一致させる。具体的には、第１表示部１１ａ及び第２表示部１１ｂを、それぞれユーザの正面方向に対し、外側に角度φ２だけ傾ける。これにより、第１カメラ及び第２カメラに対して至近距離にある物体をより自然に３次元画像で表示できる。なお、第１表示部１１ａの光軸Ｏｒと正面方向とのなす角度と、第２表示部１１ｂの光軸Ｏｌと正面方向とのなす角度とは、被撮影物Ｘの位置に応じて異なっていてもよい。
　以上、本発明の好ましい実施形態について説明したが、本発明の内容は上記実施形態に限定されず、適宜変更が可能である。
　上記実施形態では、第１表示部１１ａ及び第２表示部１１ｂからそれぞれ出力される画像の中心間の間隔を調節する調節部を、調節部としてのノブ１２１ａ及び１２１ｂ又はモータ１４ａ及び１４ｂとして、第１固定部１２ａ及び第２固定部１２ｂを物理的に左右方向に摺動させるものとして説明した。上記に限定されない。調節部は、例えば、第１表示部１１ａ及び第２表示部１１ｂが液晶ディスプレイである場合、表示される画像の光軸中心を、ディスプレイが固定された状態で左右方向に移動するものであってもよい。
　上記実施形態では、並置される第１カメラ３０ａと第２カメラ３０ｂのレンズの光軸間の間隔Ａを、遠隔操作で調節可能であるものとして説明した。上記に限定されない。第１カメラ３０ａと第２カメラ３０ｂのレンズの光軸間の間隔Ａは、画像に補正を加えることで仮想的に調節可能であってもよい。即ち、固定された第１カメラ３０ａ及び第２カメラ３０ｂから取得された画像をトリミング、部分圧縮により補正し、仮想的にレンズの光軸間の間隔Ａを調節してもよい。この際に、例えば左眼用の画像は左側の圧縮率を高くし、右眼用の画像は右側の圧縮率を高くすることで、現実の画像に近い画像に補正することができる。
　１　　　　　　　　　　頭部装着型画像表示装置
　２　　　　　　　　　　ユーザ
　３０ａ、３１ａ　　　　第１カメラ
　３０ｂ、３１ｂ　　　　第２カメラ
　１１ａ　　　　　　　　第１表示部
　１１ｂ　　　　　　　　第２表示部
　１２ａ　　　　　　　　第１固定部
　１２ｂ　　　　　　　　第２固定部
　１２１ａ、１２１ｂ　　ノブ（調節部）
　１４ａ、１４ｂ　　　　モータ（調節部）
　１５　　　　　　　　　測距センサ

Claims (6)

  1. 　画像表示部と、調節部と、を有する頭部装着型画像表示装置であり、
    　前記画像表示部は、レンズの光軸間の間隔を調節可能に並置される少なくとも一組の第１カメラ及び第２カメラから取得される画像をそれぞれ表示可能な、第１表示部及び第２表示部を有し、
    　前記調節部は、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸間の間隔と、ユーザの瞳孔間間隔であるＰＤ値とを一致可能であり、
    　前記第１カメラ及び前記第２カメラのレンズの光軸間の間隔を、ユーザの瞳孔間間隔であるＰＤ値に一致可能である、頭部装着型画像表示装置。
  2. 　前記第１カメラ及び前記第２カメラを有し、
    　前記第１カメラ及び前記第１表示部を固定する第１固定部と、前記第２カメラ及び前記第２表示部を固定する第２固定部と、を有する、請求項１に記載の頭部装着型画像表示装置。
  3. 　前記第１カメラ及び前記第２カメラに前記ＰＤ値を送信可能な通信部を有する、請求項１又は２に記載の頭部装着型画像表示装置。
  4. 　前記調節部は、前記第１表示部及び前記第２表示部の上下間隔及び角度を調節可能であり、
    　前記調節部は、前記ユーザの左右の視線と、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸とをそれぞれ一致可能である、請求項１～３のいずれかに記載の頭部装着型画像表示装置。
  5. 　前記第１カメラ及び前記第２カメラと、被撮影物との距離Ｌを測定可能な測距センサを有し、
    　前記調節部は、前記距離Ｌが所定の閾値以下である場合には、前記被撮影物に対する前記第１カメラ及び前記第２カメラのレンズの光軸と、前記第１表示部及び前記第２表示部からそれぞれ出力される画像の光軸とを一致させる、請求項４に記載の頭部装着型画像表示装置。
  6. 　前記第１表示部及び前記第２表示部は、網膜ディスプレイである、請求項１～５のいずれかに記載の頭部装着型画像表示装置。
PCT/JP2021/032439 2020-09-16 2021-09-03 頭部装着型画像表示装置 WO2022059521A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-155355 2020-09-16
JP2020155355A JP2022049247A (ja) 2020-09-16 2020-09-16 頭部装着型画像表示装置

Publications (1)

Publication Number Publication Date
WO2022059521A1 true WO2022059521A1 (ja) 2022-03-24

Family

ID=80776978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032439 WO2022059521A1 (ja) 2020-09-16 2021-09-03 頭部装着型画像表示装置

Country Status (2)

Country Link
JP (1) JP2022049247A (ja)
WO (1) WO2022059521A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004080679A (ja) * 2002-08-22 2004-03-11 Mitsubishi Electric Corp 頭部装着型画像表示装置
JP2005115251A (ja) * 2003-10-10 2005-04-28 Daisuke Omori 立体映像撮影再生装置
JP2006287812A (ja) * 2005-04-04 2006-10-19 Daisuke Omori 立体映像撮影装置、立体映像表示装置
JP2008035146A (ja) * 2006-07-28 2008-02-14 Canon Inc 画像表示装置
WO2018003084A1 (ja) * 2016-06-30 2018-01-04 オリンパス株式会社 ウェアラブル装置及び調整方法
JP2018107499A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 画像表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004080679A (ja) * 2002-08-22 2004-03-11 Mitsubishi Electric Corp 頭部装着型画像表示装置
JP2005115251A (ja) * 2003-10-10 2005-04-28 Daisuke Omori 立体映像撮影再生装置
JP2006287812A (ja) * 2005-04-04 2006-10-19 Daisuke Omori 立体映像撮影装置、立体映像表示装置
JP2008035146A (ja) * 2006-07-28 2008-02-14 Canon Inc 画像表示装置
WO2018003084A1 (ja) * 2016-06-30 2018-01-04 オリンパス株式会社 ウェアラブル装置及び調整方法
JP2018107499A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 画像表示装置

Also Published As

Publication number Publication date
JP2022049247A (ja) 2022-03-29

Similar Documents

Publication Publication Date Title
CN108369325B (zh) 焦点调整虚拟现实耳机
US10591735B2 (en) Head-mounted display device and image display system
US5861936A (en) Regulating focus in accordance with relationship of features of a person's eyes
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
US9430878B2 (en) Head mounted display and control method thereof
EP3753246B1 (en) Imaging system and method for producing stereoscopic images using more than two cameras and gaze direction
US20220146839A1 (en) Binocular type head mounted display system with adjustable interpupillary distance mechanism
CN114945853A (zh) 用于头戴式显示系统中的变形的补偿
US20160247322A1 (en) Electronic apparatus, method and storage medium
US20110316984A1 (en) Adaptive adjustment of depth cues in a stereo telepresence system
KR102194178B1 (ko) 피검자에게 안경을 맞추기 위해 피검자의 광학적 파라미터들을 정밀하게 결정하는 방법, 및 고정형 비디오 센터링 시스템
JP7168285B2 (ja) 融合機能改善のための視力訓練装置
KR20140067575A (ko) 삼차원 이미지 구동 방법 및 이를 수행하는 입체 영상 표시 장치
KR101650706B1 (ko) 웨어러블 디스플레이장치
CN106648075B (zh) 一种虚拟现实设备的控制方法及虚拟现实设备
US10650713B2 (en) Head mounted display
JP2010124191A (ja) 映像表示装置
WO2022059521A1 (ja) 頭部装着型画像表示装置
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
JP2001290101A (ja) 奥行き方向視点調節意志検出と意志駆動方式および遠近自動補正眼鏡
US9131839B2 (en) Apparatus for obtaining status information of crystalline lens and equipment including the same
EP3800530A1 (en) Methods and systems for a head-mounted device for updating an eye tracking model
JPH10115878A (ja) 指向性スクリーンを用いる３次元画像投写システム
KR101862381B1 (ko) 사용자의 양안의 초점에 부합하는 영상제공 휴대단말장치
US20060152580A1 (en) Auto-stereoscopic volumetric imaging system and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869208

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21869208

Country of ref document: EP

Kind code of ref document: A1