JPWO2020059357A1 - Display device, display control method, and display control program - Google Patents

Display device, display control method, and display control program Download PDF

Info

Publication number
JPWO2020059357A1
JPWO2020059357A1 JP2020548127A JP2020548127A JPWO2020059357A1 JP WO2020059357 A1 JPWO2020059357 A1 JP WO2020059357A1 JP 2020548127 A JP2020548127 A JP 2020548127A JP 2020548127 A JP2020548127 A JP 2020548127A JP WO2020059357 A1 JPWO2020059357 A1 JP WO2020059357A1
Authority
JP
Japan
Prior art keywords
light
eye
unit
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020548127A
Other languages
Japanese (ja)
Inventor
田中 伸也
伸也 田中
素 寺横
素 寺横
佐藤 俊治
俊治 佐藤
中嶋 豊
豊 中嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020059357A1 publication Critical patent/JPWO2020059357A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

ユーザの一方の眼により視認が可能な状態に画像の光を投光する投光部と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な遮蔽部と、遮蔽部の状態を、投光部が画像の光を投光している場合、光が遮蔽される状態に、投光部が画像を投光していない場合、光が透過される状態に切り替える制御を行う制御部と、を備えた表示装置。 A light projecting unit that projects the light of the image so that it can be visually recognized by one eye of the user, a state that blocks the light incident on the other eye of the user from the outside of the own device, and a state that transmits the light. The state of the shielding part that can be switched to and the state of the shielding part, when the light projecting unit is projecting the light of the image, when the light is blocked, and when the projecting unit is not projecting the image A display device including a control unit that controls switching to a state in which light is transmitted.

Description

本開示は、表示装置、表示制御方法、及び表示制御プログラムに関する。 The present disclosure relates to a display device, a display control method, and a display control program.

従来、立体的な映像を表示する表示装置として、現実の世界と、画像とを重ね合わせた状態で表示する、拡張現実(AR:Augmented Reality)機器を用いた表示装置が知られている。 Conventionally, as a display device for displaying a three-dimensional image, a display device using an augmented reality (AR) device that displays a state in which an image is superimposed on the real world is known.

AR機器として、ユーザが片眼で、現実の世界と、画像とを重ね合わせた状態を視認する機器が知られている。この種のAR機器では、いわゆる両眼視野闘争によって、ユーザが疲労することが知られている。両眼視野闘争によるユーザの疲労を軽減する技術として、例えば、再公表2005−26819号公報及び特開2005−195822号公報には、眼鏡形状の表示装置本体において、予め定められた一方の眼の側に画像を表示するディスプレイを設け、予め定められた他方の眼の側に外部から入射する光を遮断する遮蔽板を固定する技術が記載されている。 As an AR device, a device is known in which a user visually recognizes a state in which a real world and an image are superimposed with one eye. It is known that in this type of AR device, the user is tired due to the so-called binocular struggle. As a technique for reducing user fatigue due to binocular visual field struggle, for example, Republished No. 2005-26819 and Japanese Unexamined Patent Publication No. 2005-195822 describe a predetermined eye of one eye in a spectacle-shaped display device main body. A technique is described in which a display for displaying an image is provided on the side, and a shielding plate for blocking light incident from the outside is fixed to a predetermined side of the other eye.

再公表2005−26819号公報及び特開2005−195822号公報に記載の技術によれば、予め定められた他方の眼の側を常に遮蔽することになる。そのため、例えば、遮蔽の必要が無い場合であっても、遮蔽板によって視界が遮られてしまうため、却って、ユーザに負担がかかり疲労を招く場合がある。 According to the techniques described in Republishing 2005-26819 and 2005-195822, the other predetermined eye side is always shielded. Therefore, for example, even when there is no need for shielding, the field of view is blocked by the shielding plate, which may rather impose a burden on the user and cause fatigue.

本開示は、片眼で現実の世界と、画像とを重ね合わせた状態を視認する場合のユーザの負担をより軽減できる表示装置、表示制御方法、及び表示制御プログラムを提供する。 The present disclosure provides a display device, a display control method, and a display control program that can further reduce the burden on the user when visually recognizing a state in which an image is superimposed on the real world with one eye.

本開示の第1の態様は、表示装置であって、ユーザの一方の眼により視認が可能な状態に画像の光を投光する投光部と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な遮蔽部と、遮蔽部の状態を、投光部が画像の光を投光している場合、光が遮蔽される状態に、投光部が画像を投光していない場合、光が透過される状態に切り替える制御を行う制御部と、を備える。 The first aspect of the present disclosure is a display device, which is a light projecting unit that projects light of an image so that it can be visually recognized by one eye of the user, and a light projecting unit that projects light of an image from the outside of the own device to the other eye of the user. When the light projecting unit projects the light of the image, the light is blocked depending on the state of the shielding unit that can switch between the state of blocking the incident light and the state of transmitting the light, and the state of the shielding unit. The state includes a control unit that controls switching to a state in which light is transmitted when the light projecting unit does not project an image.

本開示の第2の態様は、第1の態様において、投光部は、一方の眼の網膜に画像を直接投光してもよい。 In the second aspect of the present disclosure, in the first aspect, the light projecting unit may directly project an image onto the retina of one eye.

本開示の第3の態様は、第1の態様において、投光部から投光された画像の光が結像される画像結像部をさらに備えてもよい。 A third aspect of the present disclosure may further include an image forming unit in which the light of the image projected from the light emitting unit is imaged in the first aspect.

本開示の第4の態様は、第3の態様において、ユーザの顔の一部と接し、投光部、画像結像部、及び遮蔽部を保持するフレームをさらに備えてもよい。 A fourth aspect of the present disclosure may further include, in the third aspect, a frame that is in contact with a portion of the user's face and holds a light projecting section, an image imaging section, and a shielding section.

本開示の第5の態様は、第4の態様において、一つの投光部と、ユーザの両眼に対応する二つの遮蔽部と、ユーザの両眼に対応する二つの画像結像部と、を備え、ユーザの両眼に対応する位置にそれぞれ設けられ、投光部をフレームに着脱可能とする二つの着脱部をさらに備えてもよい。 A fifth aspect of the present disclosure is, in the fourth aspect, one light projecting unit, two shielding units corresponding to both eyes of the user, and two image forming units corresponding to both eyes of the user. It may be further provided with two detachable portions, which are provided at positions corresponding to both eyes of the user and allow the light projecting portion to be attached to and detached from the frame.

本開示の第6の態様は、第1の態様から第4の態様のいずれか1態様において、 投光部は、一方の眼をユーザの右目とした右目用の投光部、及び一方の眼をユーザの左目とした左目用の投光部を有し、遮蔽部は、他方の眼をユーザの左目とした左目用の遮蔽部、及び他方の眼をユーザの右目とした右目用の遮蔽部を有し、制御部は、右目用の投光部による画像の投光に応じて左目用の遮蔽部を光が遮蔽される状態に制御し、左目用の投光部による画像の投光に応じて右目用の遮蔽部を光が遮蔽される状態に制御してもよい。 A sixth aspect of the present disclosure is that in any one of the first to fourth aspects, the light projecting unit is a light projecting unit for the right eye with one eye as the user's right eye, and one eye. Has a light projecting unit for the left eye with the user's left eye, and the shielding unit is a shielding unit for the left eye with the other eye as the user's left eye, and a shielding unit for the right eye with the other eye as the user's right eye. The control unit controls the shielding unit for the left eye so that the light is shielded according to the projection of the image by the projection unit for the right eye, and the projection unit for the left eye emits the image. Depending on the situation, the shielding portion for the right eye may be controlled so that the light is shielded.

本開示の第7の態様は、第6の態様において、ユーザの眼の疲労状態を判定する疲労状態判定部をさらに備え、制御部は、投光部による画像の光の投光中に、疲労状態判定部が疲労状態であると判定した場合、画像の光を投光する投光部を、右目用の投光部と左目用の投光部とで切り替える制御を行ってもよい。 A seventh aspect of the present disclosure further includes, in the sixth aspect, a fatigue state determination unit that determines the fatigue state of the user's eyes, and the control unit is fatigued during the light projection of the image by the light projection unit. When the state determination unit determines that the state is in a fatigued state, control may be performed to switch the light projection unit for projecting the light of the image between the light projection unit for the right eye and the light projection unit for the left eye.

本開示の第8の態様は、第1の態様から第7の態様のいずれか1態様において、一方の眼は、ユーザの利き目であってもよい。 The eighth aspect of the present disclosure is any one of the first to seventh aspects, in which one eye may be the dominant eye of the user.

本開示の第9の態様は、第8の態様において、ユーザの利き目を判定する利き目判定部をさらに備えてもよい。 A ninth aspect of the present disclosure may further include a dominant eye determination unit for determining the dominant eye of the user in the eighth aspect.

本開示の第10の態様は、第8の態様において、ユーザの利き目に関する情報を受け付ける受付部をさらに備えた。 A tenth aspect of the present disclosure further comprises a reception unit that receives information about the user's dominant eye in the eighth aspect.

本開示の第11の態様は、上記態様において、遮蔽部は、ユーザが一方の眼により視認する領域のうち、画像の光が投光されている領域に対応する、他方の眼により視認する領域を遮蔽してもよい。 In the eleventh aspect of the present disclosure, in the above aspect, the shielding portion is a region visually recognized by the other eye, which corresponds to a region in which the light of the image is projected, in the region visually recognized by the user with one eye. May be shielded.

本開示の第12の態様は、ユーザの一方の眼により視認が可能な状態に画像を投光する投光部と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な遮蔽部とを備えた表示装置の制御方法であって、遮蔽部の状態を、投光部が画像を投光している場合、光が遮蔽される状態に、投光部が画像を投光していない場合、光が透過される状態に切り替える制御を行う、ことをコンピュータが実行する。 A twelfth aspect of the present disclosure is a state in which a light projecting unit that projects an image so that it can be visually recognized by one eye of the user and a state that shields light incident on the other eye of the user from the outside of the own device. It is a control method of a display device provided with a shielding portion that can switch between a state in which light is transmitted and a state in which light is transmitted. When the light projecting unit does not project an image in this state, the computer executes control to switch to a state in which light is transmitted.

本開示の第13の態様は、ユーザの一方の眼により視認が可能な状態に画像を投光する投光部と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な遮蔽部とを備えた表示装置の制御プログラムであって、遮蔽部の状態を、投光部が画像を投光している場合、光が遮蔽される状態に、投光部が画像を投光していない場合、光が透過される状態に切り替える制御を行う、ことを含む処理をコンピュータに実行させる。 A thirteenth aspect of the present disclosure is a state in which a light projecting unit that projects an image so that it can be visually recognized by one eye of the user and a state that shields light incident on the other eye of the user from the outside of the own device. It is a control program of a display device provided with a shielding unit that can switch between a state in which light is transmitted and a state in which light is transmitted. In this state, when the light projecting unit does not project an image, the computer is made to execute a process including controlling the switching to a state in which light is transmitted.

また、本開示の第14の態様は、ユーザの一方の眼により視認が可能な状態に画像を投光する投光部と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な遮蔽部とを備え、プロセッサを有する表示装置であって、プロセッサが、遮蔽部の状態を、投光部が画像を投光している場合、光が遮蔽される状態に、投光部が画像を投光していない場合、光が透過される状態に切り替える制御を行う。 Further, in the fourteenth aspect of the present disclosure, a light projecting unit that projects an image in a state that can be visually recognized by one eye of the user and a light incident on the other eye of the user from the outside of the own device are shielded. A display device having a processor having a shielding unit that can switch between a state in which light is transmitted and a state in which light is transmitted, and the processor projects the state of the shielding unit and the light projecting unit projects an image. , When the light projecting unit does not project an image in a state where light is blocked, control is performed to switch to a state in which light is transmitted.

上記態様によれば、本開示の表示装置、表示制御方法、及び表示制御プログラムは、片眼で現実の世界と、画像とを重ね合わせた状態を視認する場合のユーザの負担をより軽減できる。 According to the above aspect, the display device, the display control method, and the display control program of the present disclosure can further reduce the burden on the user when visually recognizing the state in which the real world and the image are superimposed with one eye.

例示的実施形態の表示装置の構成の一例を示す斜視図である。It is a perspective view which shows an example of the structure of the display device of an exemplary embodiment. 例示的実施形態の表示装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure of the display device of an exemplary embodiment. 例示的実施形態の表示装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware composition of the display device of an exemplary embodiment. 例示的実施形態の表示装置で実行される表示制御処理の一例を示すフローチャートである。It is a flowchart which shows an example of the display control processing executed by the display device of an exemplary embodiment. 本例示的実施形態の表示制御処理を説明するための図である。It is a figure for demonstrating the display control processing of this example embodiment. 本例示的実施形態の遮蔽部による遮蔽状態の他の例を説明するための図である。It is a figure for demonstrating another example of the shielding state by the shielding part of this example embodiment. 本例示的実施形態の遮蔽部による遮蔽状態のさらに他の例を説明するための図である。It is a figure for demonstrating still another example of the shielding state by the shielding part of this example embodiment. 例示的実施形態の表示装置の構成の他の例を示す斜視図である。It is a perspective view which shows another example of the structure of the display device of an exemplary embodiment. 例示的実施形態の表示装置の構成の他の例を示すブロック図である。It is a block diagram which shows another example of the structure of the display device of an exemplary embodiment. 例示的実施形態の表示装置の構成のさらに他の例を示すブロック図である。It is a block diagram which shows still another example of the structure of the display device of an exemplary embodiment.

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。 Hereinafter, examples of embodiments for carrying out the technique of the present disclosure will be described in detail with reference to the drawings.

図1及び図2を参照して、本例示的実施形態の表示装置10の構成を説明する。図1は、本例示的実施形態の表示装置10の構成の一例を示す斜視図である。また、図2は、表示装置10の一例を示すブロック図である。本例示的実施形態の表示装置10は、AR(Augmented Reality)を表示する表示装置であり、レンズ13を通した現実の世界と、表示ユニット22から投光された画像とを重ね合わせた状態でユーザが視認可能に表示する装置である。表示装置10は、フレーム12及びレンズ13を備えた眼鏡の形状を有している。 The configuration of the display device 10 of this exemplary embodiment will be described with reference to FIGS. 1 and 2. FIG. 1 is a perspective view showing an example of the configuration of the display device 10 of this exemplary embodiment. Further, FIG. 2 is a block diagram showing an example of the display device 10. The display device 10 of this exemplary embodiment is a display device that displays AR (Augmented Reality), and is in a state where the real world through the lens 13 and the image projected from the display unit 22 are superimposed. It is a device that is visually displayed by the user. The display device 10 has the shape of eyeglasses including the frame 12 and the lens 13.

図1及び図2に示すように、本例示的実施形態の表示装置10は、センサ15、制御部20、表示ユニット22、遮蔽部24、利き目判定部26、及び疲労状態判定部28を備えている。 As shown in FIGS. 1 and 2, the display device 10 of this exemplary embodiment includes a sensor 15, a control unit 20, a display unit 22, a shielding unit 24, a dominant eye determination unit 26, and a fatigue state determination unit 28. ing.

センサ15は、表示装置10をユーザが装着した場合に、眉間の位置に対応する位置となる、レンズ13の中央部に設けられており、本例示的実施形態では、一例として、立体形状の検出が可能な深度センサである。 The sensor 15 is provided at the center of the lens 13, which is a position corresponding to the position between the eyebrows when the display device 10 is worn by the user. In this exemplary embodiment, the sensor 15 detects a three-dimensional shape as an example. Is a possible depth sensor.

表示ユニット22は、左目用表示ユニット40L及び右目用表示ユニット40Rを備えている。左目用表示ユニット40Lは、スクリーン42L及びプロジェクタ43Lを有しており、右目用表示ユニット40Rは、スクリーン42R及びプロジェクタ43Rを有している。換言すると、表示ユニット22は、一対のスクリーン42及びプロジェクタ43を有している。本例示的実施形態では、スクリーン42及びプロジェクタ43について、総称する場合は、単に「スクリーン42」及び「プロジェクタ43」といい、左右を区別する場合は、各々「スクリーン42」及び「プロジェクタ43」の後に、左右を表す符号(L、R)を付す。本例示的実施形態のスクリーン42が本開示の画像結像部の一例であり、本例示的実施形態のプロジェクタ43が、本開示の投光部の一例である。 The display unit 22 includes a left-eye display unit 40L and a right-eye display unit 40R. The left-eye display unit 40L has a screen 42L and a projector 43L, and the right-eye display unit 40R has a screen 42R and a projector 43R. In other words, the display unit 22 has a pair of screens 42 and a projector 43. In this exemplary embodiment, the screen 42 and the projector 43 are collectively referred to as the "screen 42" and the "projector 43", and when the left and right are distinguished, the "screen 42" and the "projector 43" are used, respectively. After that, symbols (L, R) indicating left and right are added. The screen 42 of this exemplary embodiment is an example of the image imaging unit of the present disclosure, and the projector 43 of this exemplary embodiment is an example of the light projecting unit of the present disclosure.

プロジェクタ43は、ケース状の着脱部14に収納され、着脱部14によってフレーム12に着脱可能とされている。プロジェクタ43は、制御部20の制御に応じて画像データに応じた画像の光を、レンズ13に設けられたスクリーン42に向けて投光する。スクリーン42は、プロジェクタ43から投光された画像の光が結像されることで画像を表示する。なお、プロジェクタ43から投光する画像データに応じた画像は、静止画及び動画のいずれであってもよく、限定されるものではない。 The projector 43 is housed in a case-shaped attachment / detachment portion 14, and can be attached / detached to / from the frame 12 by the attachment / detachment portion 14. The projector 43 projects the light of the image according to the image data under the control of the control unit 20 toward the screen 42 provided on the lens 13. The screen 42 displays an image by forming an image of the light of the image projected from the projector 43. The image corresponding to the image data projected from the projector 43 may be either a still image or a moving image, and is not limited.

スクリーン42としては、例えば、ハーフミラーや、波長選択フィルム、及びホログラム等が挙げられる。また、プロジェクタ43としては、例えば、液晶パネルや、有機EL(ElectroLuminescence)パネル等が挙げられる。 Examples of the screen 42 include a half mirror, a wavelength selection film, a hologram, and the like. Further, examples of the projector 43 include a liquid crystal panel, an organic EL (ElectroLuminescence) panel, and the like.

また、遮蔽部24は、左目用遮蔽部30L及び右目用遮蔽部30Rを備えている。遮蔽部24は、レンズ13に設けられており、制御部20の制御に応じて、表示装置10の外部からユーザの眼に入射する光を遮蔽する。本例示的実施形態の遮蔽部24は、一例として、左右の各スクリーン42に対応する部分全体を遮蔽する。遮蔽部24としては、例えば、液晶シャッター、エレクトロクロミズム、及び可変式ND(Neutral Density)フィルタ等が挙げられる。 Further, the shielding portion 24 includes a shielding portion 30L for the left eye and a shielding portion 30R for the right eye. The shielding unit 24 is provided on the lens 13 and shields the light incident on the user's eye from the outside of the display device 10 according to the control of the control unit 20. As an example, the shielding portion 24 of this exemplary embodiment shields the entire portion corresponding to each of the left and right screens 42. Examples of the shielding unit 24 include a liquid crystal shutter, electrochromism, and a variable ND (Neutral Density) filter.

制御部20は、表示装置10の全体を制御する。詳細は後述するが、上述したように、プロジェクタ43からスクリーン42への画像データに応じた画像の光の投光、及び遮蔽部24による光の遮蔽を制御する。利き目判定部26は、ユーザの利き目が、右目及び左目のいずれであるかを判定する。また、疲労状態判定部28は、ユーザの眼の疲労状態を判定する。 The control unit 20 controls the entire display device 10. Although the details will be described later, as described above, the projection of the light of the image according to the image data from the projector 43 to the screen 42 and the shielding of the light by the shielding unit 24 are controlled. The dominant eye determination unit 26 determines whether the user's dominant eye is the right eye or the left eye. In addition, the fatigue state determination unit 28 determines the fatigue state of the user's eyes.

次に、図3を参照して、本例示的実施形態の表示装置10のハードウェア構成を説明する。図3に示すように、表示装置10は、上述したセンサ15、表示ユニット22、及び遮蔽部24の他、CPU(Central Processing Unit)50、一時記憶領域としてのメモリ51、及び不揮発性の記憶部52を含む。また、表示装置10は、着脱部14に設けられたスイッチ等の入力部54(図1では図示省略)、及び外部の装置と有線または無線により通信するためのI/F(InterFace)56を含む。センサ15,表示ユニット22、遮蔽部24、CPU50、メモリ51、記憶部52、入力部54、及びI/F56は、バス58に接続される。 Next, the hardware configuration of the display device 10 of this exemplary embodiment will be described with reference to FIG. As shown in FIG. 3, the display device 10 includes the above-mentioned sensor 15, display unit 22, and shielding unit 24, as well as a CPU (Central Processing Unit) 50, a memory 51 as a temporary storage area, and a non-volatile storage unit. Includes 52. Further, the display device 10 includes an input unit 54 (not shown in FIG. 1) such as a switch provided in the attachment / detachment unit 14, and an I / F (InterFace) 56 for communicating with an external device by wire or wirelessly. .. The sensor 15, the display unit 22, the shielding unit 24, the CPU 50, the memory 51, the storage unit 52, the input unit 54, and the I / F 56 are connected to the bus 58.

記憶部52は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、及びフラッシュメモリ等の不揮発性の記憶媒体によって実現される。記憶媒体としての記憶部52には、表示制御プログラム60が記憶される。CPU50は、記憶部52から表示制御プログラム60を各々読み出してからメモリ51に展開し、展開した表示制御プログラム60を実行する。CPU50が表示制御プログラム60を実行することで、CPU50は、制御部20、利き目判定部26、及び疲労状態判定部28として機能する。 The storage unit 52 is realized by a non-volatile storage medium such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), and a flash memory. The display control program 60 is stored in the storage unit 52 as a storage medium. The CPU 50 reads out the display control program 60 from the storage unit 52, expands the display control program 60 into the memory 51, and executes the expanded display control program 60. When the CPU 50 executes the display control program 60, the CPU 50 functions as a control unit 20, a dominant eye determination unit 26, and a fatigue state determination unit 28.

次に、本例示的実施形態の表示装置10の作用を説明する。CPU50が表示制御プログラム60を実行することによって、図4に示す表示制御処理が実行される。図4には、本例示的実施形態の表示装置10で実行される表示制御処理の流れの一例を示すフローチャートが示されている。また、図5には、本例示的実施形態の表示制御処理の実行により、レンズ13及びスクリーン42を通してユーザが視認する状態の一例を示す。 Next, the operation of the display device 10 of this exemplary embodiment will be described. When the CPU 50 executes the display control program 60, the display control process shown in FIG. 4 is executed. FIG. 4 shows a flowchart showing an example of a flow of display control processing executed by the display device 10 of this exemplary embodiment. Further, FIG. 5 shows an example of a state in which the user visually recognizes through the lens 13 and the screen 42 by executing the display control process of this exemplary embodiment.

例として、本例示的実施形態の表示装置10では、ユーザによる表示開始の指示が入力部54を介して入力された場合に、図4に示した表示制御処理が実行される。なお、本例示的実施形態に限定されず、例えば、表示装置10の電源(図示省略)が投入された場合に表示制御処理を実行する形態としてもよい。また例えば、表示装置10をユーザが装着したことを検知した場合に表示制御処理を実行する形態としてもよい。この場合の例としては、フレーム12の内側に、ユーザの皮膚が接触したことを検知した場合、フレーム12が開かれたことを検知した場合、及び表示装置10である眼鏡を装着するユーザの動作を検知した場合等が挙げられる。これらの検知を行う場合、各検知に応じた、加速度センサ、ジャイロセンサ、及びタッチセンサ等の各種センサを設けておけばよい。 As an example, in the display device 10 of the present exemplary embodiment, when a user's instruction to start display is input via the input unit 54, the display control process shown in FIG. 4 is executed. The embodiment is not limited to this embodiment, and may be, for example, a mode in which the display control process is executed when the power supply (not shown) of the display device 10 is turned on. Further, for example, the display control process may be executed when it is detected that the display device 10 is worn by the user. Examples of this case are when it is detected that the user's skin has come into contact with the inside of the frame 12, when it is detected that the frame 12 has been opened, and when the user wears eyeglasses which is the display device 10. For example, when is detected. When performing these detections, various sensors such as an acceleration sensor, a gyro sensor, and a touch sensor may be provided according to each detection.

図5に示した一例のように、本表示制御処理を開始した時点では、ユーザは、左右の目共に、レンズ13(スクリーン42)を通して、現実の世界を視認している。 As in the example shown in FIG. 5, at the time when the present display control process is started, the user is visually recognizing the real world through the lens 13 (screen 42) with both the left and right eyes.

図4のステップS100で利き目判定部26は、利き目判定処理を実行し、ユーザの利き目が左右のいずれであるかを判定する。一例として、本例示的実施形態の利き目判定部26は、ユーザが自身の指を視認した場合の、左右の目での見え方の違いによって利き目を判定する。図5を参照して具体的な方法について説明する。まず、図5に示した一例のように、表示ユニット22の左右のプロジェクタ43により、左右のスクリーン42の各々の中央に覗き窓枠72を表示させる。この場合、覗き窓枠72以外は、ユーザにはレンズ13を通した現実の世界が見えている。ユーザは、鼻先の前方20cm〜40cmの視認できる位置に、自身の左右どちらかの人差し指を立てる。なお、ユーザが人差し指を立てるのを誘導するための情報をスクリーン42に表示する、または音声出力部を有する場合は、音声出力部から出力する音声により提示することが好ましい。次に、利き目判定部26は、立体形状認識センサとして作用する深度センサであるセンサ15の出力結果に基づいて、ユーザが立てている人差し指の位置を認識する。さらに、利き目判定部26は、人差し指の位置が、より除き窓枠72の内部にある方、換言すると、覗き窓枠72内に人差し指がより収まっている方を利き目とする。図5に示した一例では、ユーザの指74は、スクリーン42Lに表示されている覗き窓枠72内の方が、スクリーン42Rに表示されている覗き窓枠72内よりもより多く収まっている。そのため、この場合、利き目判定部26は、右目をユーザの利き目と判定する。 In step S100 of FIG. 4, the dominant eye determination unit 26 executes the dominant eye determination process and determines whether the user's dominant eye is left or right. As an example, the dominant eye determination unit 26 of the present exemplary embodiment determines the dominant eye based on the difference in appearance between the left and right eyes when the user visually recognizes his / her finger. A specific method will be described with reference to FIG. First, as in the example shown in FIG. 5, the left and right projectors 43 of the display unit 22 display the viewing window frame 72 in the center of each of the left and right screens 42. In this case, except for the viewing window frame 72, the user can see the real world through the lens 13. The user raises his or her left or right index finger at a visible position 20 cm to 40 cm in front of the tip of the nose. It is preferable to display the information for guiding the user to raise the index finger on the screen 42, or to present the information by the voice output from the voice output unit when the screen 42 has the voice output unit. Next, the dominant eye determination unit 26 recognizes the position of the index finger raised by the user based on the output result of the sensor 15, which is a depth sensor that acts as a three-dimensional shape recognition sensor. Further, the dominant eye determination unit 26 determines that the position of the index finger is inside the window frame 72, in other words, the position of the index finger is more contained in the viewing window frame 72. In the example shown in FIG. 5, the user's finger 74 fits more in the viewing window frame 72 displayed on the screen 42L than in the viewing window frame 72 displayed on the screen 42R. Therefore, in this case, the dominant eye determination unit 26 determines that the right eye is the dominant eye of the user.

なお、利き目判定部26が利き目を判定する方法は、上述した本例示的実施形態の方法に限定されない。例えば、CPU50が受付部として機能し、入力部54を用いて、ユーザ自身が入力した、自分の利き目がいずれであるかに関する情報を受け付ける形態としてもよい。 The method by which the dominant eye determination unit 26 determines the dominant eye is not limited to the method of the above-described exemplary embodiment. For example, the CPU 50 may function as a reception unit, and the input unit 54 may be used to receive information about which is the dominant eye of the user himself / herself.

次のステップS102で制御部20は、画像の表示を指示されたか否かを判定する。一例として本例示的実施形態では、ユーザによる表示指示が入力部54を介して入力された場合に、画像の光の投光を開始する。表示指示が入力されるまで、ステップS102の判定が否定判定となり、表示指示が入力されると、ステップS102の判定が肯定判定となり、ステップS104へ移行する。 In the next step S102, the control unit 20 determines whether or not the display of the image is instructed. As an example, in the present exemplary embodiment, when a display instruction by the user is input via the input unit 54, the light projection of the image is started. Until the display instruction is input, the determination in step S102 becomes a negative determination, and when the display instruction is input, the determination in step S102 becomes an affirmative determination, and the process proceeds to step S104.

ステップS104で制御部20は、上記ステップS100において利き目判定部26が判定した利き目の側のプロジェクタ43から、画像を表す光を投光し、スクリーン42に画像を表示させる。なお、表示させる画像の画像データは、予め記憶部52内に記憶させておいてもよいし、I/F56を介して、外部の装置から受信してもよい。また例えば、表示装置10が、ユーザが視認する現実世界の範囲と少なくとも一部が同様の範囲の現実世界を撮像する撮像装置を有している場合、撮像装置で撮像された撮像画像の画像データを用いてもよい。 In step S104, the control unit 20 projects light representing an image from the projector 43 on the dominant eye side determined by the dominant eye determination unit 26 in step S100, and causes the screen 42 to display the image. The image data of the image to be displayed may be stored in the storage unit 52 in advance, or may be received from an external device via the I / F 56. Further, for example, when the display device 10 has an image pickup device that captures an image pickup device that captures the real world in a range that is at least partially similar to the range of the real world that the user visually recognizes, the image data of the captured image captured by the image pickup device. May be used.

次のステップS106で制御部20は、利き目と判定した眼と反対側の眼の側の遮蔽部24(左目用遮蔽部30Lまたは右目用遮蔽部30R)によって、外部からの光を遮蔽する。 In the next step S106, the control unit 20 shields the light from the outside by the shielding unit 24 (the left eye shielding unit 30L or the right eye shielding unit 30R) on the side of the eye opposite to the eye determined to be the dominant eye.

上述のように、右目を利き目と判定した場合、図5に示した一例のように、ステップ104で制御部20は、右目用のプロジェクタ43Rから画像の光を投光し、右目用のスクリーン42Rに画像80を表示させる。また、ステップS106で制御部20は、左目用遮蔽部30Lによって、外部からユーザの左目に入射される光を遮蔽する。 As described above, when the right eye is determined to be the dominant eye, the control unit 20 projects the light of the image from the projector 43R for the right eye in step 104 as in the example shown in FIG. 5, and the screen for the right eye. The image 80 is displayed on the 42R. Further, in step S106, the control unit 20 shields the light incident on the user's left eye from the outside by the left eye shielding unit 30L.

次のステップS108で疲労状態判定部28は、ユーザの眼の疲労状態の判定処理を実行するか否かを判定する。一例として本例示的実施形態では、プロジェクタ43が画像の光の投光を開始してから、予め定められた時間が経過する毎に、疲労状態の判定を実行する。そのため、本ステップでは、上記予め定められた時間が経過したか否かを判定する。経過していない場合、ステップS108の判定が否定判定となり、ステップS116へ移行する。一方、経過した場合、ステップS108の判定が肯定判定となり、ステップS110へ移行する。 In the next step S108, the fatigue state determination unit 28 determines whether or not to execute the fatigue state determination process of the user's eyes. As an example, in the present exemplary embodiment, the fatigue state is determined every time a predetermined time elapses after the projector 43 starts projecting the light of the image. Therefore, in this step, it is determined whether or not the predetermined time has elapsed. If it has not elapsed, the determination in step S108 becomes a negative determination, and the process proceeds to step S116. On the other hand, when the lapse has passed, the determination in step S108 becomes an affirmative determination, and the process proceeds to step S110.

ステップS110で疲労状態判定部28は、ユーザの眼の疲労状態の判定処理を実行する。本例示的実施形態では、一例として、ユーザの瞬きの回数により、疲労状態の判定を行う。具体的には、疲労状態判定部28が、ユーザの眼(まぶた)を撮像する撮像部を備え、予め定められた間隔で撮像された撮像画像に対して画像解析を行い、上記、予め定められた時間内におけるユーザの瞬きの回数を計測する。そして、疲労状態判定部28は、眼が疲労するほど、瞬きの回数が増加する傾向があるため、計数した瞬きの回数が、実験的に予め得られた閾値を超えた場合、疲労状態にあると判定し、瞬きの回数が閾値未満の場合、疲労状態にないと判定する。なお、疲労状態判定部28における疲労状態の判定処理方法は本例示的実施形態に限定されないことは言うまでもない。例えば、疲労状態にあるほど、副交感神経が交感神経よりも優位になり、瞳が縮瞳する傾向があるため、撮像部によりユーザの瞳を撮像し、撮像画像を解析して得られた瞳の大きさの変化に基づいて、疲労状態であるか否かを判定してもよい。また例えば、疲労状態にあるほど、視線の動きが大きくなる(距離が長くなる)傾向があるため、撮像部によりユーザの瞳を撮像し、撮像画像を解析して得られた視線の動きの変化に基づいて、疲労状態であるか否かを判定してもよい。また例えば、ユーザの眼の眼振、及び乾き具合等を、疲労状態の判定に用いてもよい。 In step S110, the fatigue state determination unit 28 executes the determination process of the fatigue state of the user's eyes. In this exemplary embodiment, as an example, the fatigue state is determined by the number of blinks of the user. Specifically, the fatigue state determination unit 28 includes an imaging unit that images the user's eye (eyelid), performs image analysis on the captured images captured at predetermined intervals, and is determined in advance. Measure the number of blinks of the user within the time. The fatigue state determination unit 28 tends to increase the number of blinks as the eyes become tired. Therefore, when the counted number of blinks exceeds the threshold value obtained in advance experimentally, the fatigue state determination unit 28 is in a fatigued state. If the number of blinks is less than the threshold value, it is determined that the person is not in a fatigued state. Needless to say, the fatigue state determination processing method in the fatigue state determination unit 28 is not limited to this exemplary embodiment. For example, the more tired the person is, the more the parasympathetic nerve becomes dominant over the sympathetic nerve, and the pupil tends to miosis. It may be determined whether or not the patient is in a fatigued state based on the change in size. Further, for example, the more tired the person is, the larger the movement of the line of sight tends to be (the distance becomes longer). You may determine whether or not you are in a fatigued state based on. Further, for example, the nystagmus of the user's eyes, the degree of dryness, and the like may be used for determining the fatigue state.

なお、瞬きの回数等の検出は、上記撮像部に限定されず、筋電位センサ等、他のセンサを用いてもよいことはいうまでもない。 It goes without saying that the detection of the number of blinks and the like is not limited to the imaging unit, and other sensors such as a myoelectric potential sensor may be used.

なお、疲労状態の判定を行うか否かの基準となる、上記予め定められた時間は、一定の時間でなくてもよく、例えば、画像80の表示を開始した直後は判定の間隔を5分とし、開始から20分が経過した後は、判定の間隔を3分としてもよい。また例えば、ユーザが疲労状態であるとの判定に至る時間(画像80を表示している時間)と、その判定に至った瞳の状態等との対応関係を学習させた学習済みモデルを用いて、疲労状態の判定を行う形態としてもよい。 The predetermined time, which is a criterion for determining whether or not to determine the fatigue state, does not have to be a fixed time. For example, immediately after starting the display of the image 80, the determination interval is 5 minutes. Then, after 20 minutes have passed from the start, the determination interval may be set to 3 minutes. Further, for example, using a trained model in which the correspondence relationship between the time required for the user to determine that he / she is in a fatigued state (the time during which the image 80 is displayed) and the state of the pupil leading to the determination is learned. , The form of determining the fatigue state may be used.

また、ユーザが入力部54により、眼が疲労状態であることを入力する形態としてもよい。 In addition, the user may use the input unit 54 to input that the eyes are in a fatigued state.

ステップS112で制御部20は、上記ステップS110の判定結果に基づき、ユーザの眼が疲労状態であるか否かを判定する。ユーザの眼が疲労状態ではないと判定された場合、ステップS112の判定が否定判定となり、ステップS116へ移行する。一方、ユーザの眼が疲労状態であると判定された場合、ステップS112の判定が肯定判定となり、ステップS114へ移行する。 In step S112, the control unit 20 determines whether or not the user's eyes are in a fatigued state based on the determination result in step S110. When it is determined that the user's eyes are not in a fatigued state, the determination in step S112 becomes a negative determination, and the process proceeds to step S116. On the other hand, when it is determined that the user's eyes are in a fatigued state, the determination in step S112 becomes an affirmative determination, and the process proceeds to step S114.

ステップS114で、制御部20は、プロジェクタ43による投光、及び遮蔽部24による遮蔽において、左右を切り替える。上述したように、右目用のプロジェクタ43Rから画像の光を投光する一方、左目用遮蔽部30Lによって、外部からユーザの左目に入射される光を遮蔽している場合に、疲労状態と判定した場合、図5に示した一例のように、左目用のプロジェクタ43Lから画像80の光を投光する一方、右目用遮蔽部30Rによって、外部からユーザの右目に入射される光を遮蔽する。 In step S114, the control unit 20 switches between left and right in the light projection by the projector 43 and the shielding by the shielding unit 24. As described above, when the light of the image is projected from the projector 43R for the right eye and the light incident on the left eye of the user from the outside is blocked by the shielding portion 30L for the left eye, it is determined to be in a fatigued state. In this case, as in the example shown in FIG. 5, the light of the image 80 is projected from the projector 43L for the left eye, and the light incident on the right eye of the user from the outside is blocked by the shielding unit 30R for the right eye.

次のステップS116で表示を終了するか否かを判定する。本例示的実施形態の表示装置10では、一例として、表示ユニット22によって表示中の画像の画像データが終端となった場合、及びユーザによる表示終了の指示が入力部54を介して入力された場合の少なくとも一方の場合を満たすこと画像80の表示の終了条件としている。本例示的実施形態では、終了条件を満たす場合に画像80の表示を終了する。終了条件を満たさない場合、画像80の表示を未だ終了しないため、ステップS116の判定が否定判定となり、ステップS108に戻り、ステップS110〜S114の各処理を繰り返す。一方、終了条件を満たす場合、ステップS116の判定が肯定判定となり、ステップS118へ移行する。 In the next step S116, it is determined whether or not to end the display. In the display device 10 of the present exemplary embodiment, as an example, when the image data of the image being displayed by the display unit 22 is terminated, and when the user gives an instruction to end the display via the input unit 54. It is a condition for ending the display of the image 80 that at least one of the above cases is satisfied. In this exemplary embodiment, the display of the image 80 is terminated when the termination condition is satisfied. If the end condition is not satisfied, the display of the image 80 is not yet ended, so that the determination in step S116 is a negative determination, the process returns to step S108, and each process in steps S110 to S114 is repeated. On the other hand, when the end condition is satisfied, the determination in step S116 becomes an affirmative determination, and the process proceeds to step S118.

ステップS118で制御部20は、ユーザの一方の眼の側における表示ユニット22による画像80の表示、及び他方の眼の側における遮蔽部24による遮蔽を終了する。図5に示した一例のように、ユーザは、左右の目共に、画像80及び遮蔽部24のいずれにも遮られることなく、レンズ13(スクリーン42)を通して、現実の世界を視認可能な状態となる。 In step S118, the control unit 20 ends the display of the image 80 by the display unit 22 on the side of one eye of the user and the shielding by the shielding unit 24 on the side of the other eye. As in the example shown in FIG. 5, the user can see the real world through the lens 13 (screen 42) without being obstructed by either the image 80 or the shielding portion 24 with both the left and right eyes. Become.

次のステップS120で制御部20は、本表示制御処理を終了するか否かを判定する。本例示的実施形態では、一例として、表示装置10の電源(図示省略)がユーザによって切られた場合に、本表示制御処理を終了する。表示装置10に電源が投入されたままの場合、ステップS120の判定が否定判定となり、ステップS100に戻り、ステップS102〜S118の各処理を繰り返す。一方、表示装置10の電源が切られた場合、ステップS120の判定が肯定判定となり、本表示制御処理を終了する。 In the next step S120, the control unit 20 determines whether or not to end the display control process. In this exemplary embodiment, as an example, the display control process is terminated when the power supply (not shown) of the display device 10 is turned off by the user. When the power is still turned on in the display device 10, the determination in step S120 becomes a negative determination, the process returns to step S100, and each process in steps S102 to S118 is repeated. On the other hand, when the power of the display device 10 is turned off, the determination in step S120 becomes an affirmative determination, and the present display control process ends.

以上説明したように、本例示的実施形態の表示装置10は、ユーザの一方の眼により視認が可能な状態に画像の光を投光するプロジェクタ43と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な左目用遮蔽部30L及び右目用遮蔽部30Rを含む遮蔽部24と、遮蔽部24の状態を、プロジェクタ43が画像の光を投光している場合、光が遮蔽される状態に、プロジェクタ43が画像を投光していない場合、光が透過される状態に切り替える制御を行う制御部20と、を備える。 As described above, the display device 10 of the present exemplary embodiment includes the projector 43 that projects the light of the image in a state that can be visually recognized by one eye of the user, and the other eye of the user from the outside of the own device. The projector 43 captures an image of the state of the shielding unit 24 including the left-eye shielding unit 30L and the right-eye shielding unit 30R, which can be switched between a state of shielding the light incident on the light and a state of transmitting the light, and the state of the shielding unit 24. The control unit 20 controls to switch to a state in which the light is blocked when the light is projected, and to a state in which the light is transmitted when the projector 43 does not project an image.

一般的に、ユーザが片眼だけで画像を視認した場合、画像を視認していない方の眼では、現実世界そのものを視認することになる。両眼で異なる物を視認するため、両者の情報が混在することになり、モザイク状に画像が交互に入れ替わる、いわゆる両眼視野闘争が生じる。そこで、両眼視野闘争を抑制するために、予め定められた、画像を視認しない方の眼の側に遮蔽板を固定し、遮蔽板によりユーザの眼に入射される光を遮蔽する技術が知られている。しかしながら、遮蔽板を固定的に設けてしまうと、遮蔽してほしくない場合、例えば、一方の眼の側に画像を表示していない場合であっても、ユーザの視界が遮蔽されてしまうことになり、表示装置を装着したままでは他方の眼だけ現実世界が視認し難くなる。 In general, when a user visually recognizes an image with only one eye, the person who does not visually recognize the image visually recognizes the real world itself. Since different objects are visually recognized by both eyes, the information of both is mixed, and a so-called binocular visual field struggle occurs in which images are alternately replaced in a mosaic pattern. Therefore, in order to suppress the binocular visual field struggle, a predetermined technique is known in which a shielding plate is fixed to the side of the eye that does not visually recognize the image, and the shielding plate shields the light incident on the user's eye. Has been done. However, if the shielding plate is fixedly provided, the user's field of view will be blocked even when the image is not displayed on one eye side, for example, when the shielding plate is not desired to be shielded. Therefore, it becomes difficult to see the real world only with the other eye while the display device is attached.

これに対して本例示的実施形態の表示装置10では、ユーザの操作を要せず、表示ユニット22による画像の表示と同期して、遮蔽部24による光の遮蔽状態を切り替えるため、自動的に、遮蔽状態が解除される。このように本例示的実施形態の表示装置10では、ユーザの負担をより軽減することができ、眼の疲労という負担と共に、操作の負担も軽減することができる。 On the other hand, in the display device 10 of the present exemplary embodiment, the user does not need to operate the display unit 22, and the light shielding state of the shielding unit 24 is switched in synchronization with the display of the image by the display unit 22, so that the display device 10 automatically switches the light shielding state. , The shielded state is released. As described above, in the display device 10 of the present exemplary embodiment, the burden on the user can be further reduced, and the burden of operation as well as the burden of eye fatigue can be reduced.

なお、本例示的実施形態の表示装置10では、遮蔽部24により、スクリーン42全体を遮蔽する形態について説明したが、遮蔽部24が遮蔽する領域は本例示的実施形態に限定されず、少なくとも、画像80の光が投光されているスクリーン42の領域、換言すると、画像80が表示されている領域に対応する、領域を遮蔽すればよい。例えば、図6Aに示した状態では、左目用遮蔽部30Lは、スクリーン42Rにおいて画像80が表示されている領域に対応する領域を含み、かつスクリーン42L全体よりも小さい領域を遮蔽している。 In the display device 10 of this exemplary embodiment, a mode in which the entire screen 42 is shielded by the shielding unit 24 has been described, but the region shielded by the shielding unit 24 is not limited to this exemplary embodiment, and at least The area of the screen 42 where the light of the image 80 is projected, in other words, the area corresponding to the area where the image 80 is displayed may be shielded. For example, in the state shown in FIG. 6A, the left-eye shielding portion 30L includes an area corresponding to the area where the image 80 is displayed on the screen 42R, and shields an area smaller than the entire screen 42L.

また、例えば、画像80を表示する側においても、遮蔽部24により、画像80の修理の一部の領域を遮蔽してもよい。この場合の一例を、図6Bに示す。図6Bに示した一例では、スクリーン42Rにおいても、画像80の周囲が、右目用遮蔽部30Rにより遮蔽されている。また、スクリーン42Lでは、左目用遮蔽部30Lにより、右目用遮蔽部30Rが遮蔽する領域に対応する領域を遮蔽している。図6Bに示した形態とすることにより、左右の画像を光学的に重ね合わせた場合の視認性を向上させることができる。 Further, for example, on the side displaying the image 80, a part of the repair area of the image 80 may be shielded by the shielding unit 24. An example of this case is shown in FIG. 6B. In the example shown in FIG. 6B, even in the screen 42R, the periphery of the image 80 is shielded by the right-eye shielding portion 30R. Further, in the screen 42L, the area corresponding to the area shielded by the right eye shielding portion 30R is shielded by the left eye shielding portion 30L. By adopting the form shown in FIG. 6B, the visibility when the left and right images are optically superimposed can be improved.

また、本例示的実施形態では、プロジェクタ43をプロジェクタ43L及びプロジェクタ43Rの2つ備え、着脱部14も二つ備え、左右各々、着脱部14によりフレーム12に取り付ける形態について説明したが、本例示的実施形態に限定されず、一例として図7及び図8に示す表示装置10のように、表示ユニット22が、1つのプロジェクタ43と、スクリーン42L及びスクリーン42Rと、を備える形態としてもよい。この場合、画像80を表示する眼を左右で切り変える場合、ユーザが着脱部14を左右逆に装着し直せばよい。一般的に、スクリーンに比べ、プロジェクタの方が比較的、高額である。プロジェクタの数は1つとし、スクリーンは2とすることにより、スクリーン及びプロジェクタの両方を装着し直す場合に比べて、価格が高額になることを抑制するとともに、ユーザの簡便性の低下も抑制することができる。 Further, in the present exemplary embodiment, a mode in which the projector 43 is provided with two projectors 43L and 43R, two attachment / detachment portions 14 are provided, and the left and right portions are attached to the frame 12 by the attachment / detachment portions 14, respectively, has been described. The present invention is not limited to the embodiment, and as an example, as in the display device 10 shown in FIGS. 7 and 8, the display unit 22 may include one projector 43, a screen 42L, and a screen 42R. In this case, when the eye displaying the image 80 is switched between left and right, the user may reattach the attachment / detachment portion 14 in the opposite direction. In general, projectors are relatively more expensive than screens. By setting the number of projectors to one and the number of screens to two, it is possible to suppress the increase in price and the deterioration of user convenience as compared with the case where both the screen and the projector are reattached. be able to.

また例えば、表示ユニット22が、1つのスクリーン42と、1つのプロジェクタ43とを備える形態であってもよい。例えば、表示ユニット22が、スクリーン42Lとプロジェクタ43Rとを備える形態であってもよいし、表示ユニット22が、スクリーン42Rとプロジェクタ43Lとを備える形態であってもよい。 Further, for example, the display unit 22 may include one screen 42 and one projector 43. For example, the display unit 22 may have a screen 42L and a projector 43R, or the display unit 22 may have a screen 42R and a projector 43L.

また、例えば表示ユニット22は、図9に示した一例のように、スクリーン42L及びプロジェクタ43Lに代えて、ユーザの左目の網膜に画像を直接投光する網膜プロジェクタ45Lを備え、また、スクリーン42R及びプロジェクタ43Rに変えて、ユーザの右目の網膜に画像を直接投光する網膜プロジェクタ45Rを備える形態としてもよい。 Further, for example, as in the example shown in FIG. 9, the display unit 22 includes a retinal projector 45L that directly projects an image onto the retina of the user's left eye instead of the screen 42L and the projector 43L, and also includes the screen 42R and the projector 43L. Instead of the projector 43R, a retinal projector 45R that directly projects an image onto the retina of the user's right eye may be provided.

また、本例示的実施形態の表示装置10では、ユーザの眼が疲労状態ではない場合、利き目側の表示ユニット22によって画像80の表示を行う。本発明者らは、片眼で画像を視認する場合、利き目で画像の視認を行うことにより、片眼であるということに違和感を感じない(片眼で見ていることに気づかない)傾向があることを知見により得た。従って、本例示的実施形態の表示装置10によれば、主に利き目側の表示ユニット22によって画像80の表示を行うことにより、ユーザの違和感を軽減すると共に、ユーザの負担をより軽減することができる。 Further, in the display device 10 of the present exemplary embodiment, when the user's eyes are not in a fatigued state, the image 80 is displayed by the display unit 22 on the dominant eye side. When the image is visually recognized by one eye, the present inventors tend not to feel a sense of discomfort in the fact that the image is viewed by the dominant eye (they do not notice that the image is viewed by one eye). It was obtained from the knowledge that there is. Therefore, according to the display device 10 of the present exemplary embodiment, the image 80 is displayed mainly by the display unit 22 on the dominant eye side, thereby reducing the discomfort of the user and further reducing the burden on the user. Can be done.

本例示的実施形態において、例えば制御部20、利き目判定部26、及び疲労状態判定部28といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。 In this exemplary embodiment, the hardware structures of the processing unit that executes various processes such as the control unit 20, the dominant eye determination unit 26, and the fatigue state determination unit 28 are as follows. Processor can be used. As described above, the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like. Dedicated electricity, which is a processor having a circuit configuration specially designed to execute a specific process such as a programmable logic device (PLD), which is a processor whose configuration can be changed, and an ASIC (Application Specific Integrated Circuit). Circuit etc. are included.

1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。 One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). It may be composed of a combination). Further, a plurality of processing units may be configured by one processor.

複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。 As an example of configuring a plurality of processing units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server. An example is a form in which a processor functions as a plurality of processing units. Secondly, as typified by System On Chip (SoC), there is a form in which a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. Can be mentioned. As described above, the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。 Further, as the hardware structure of these various processors, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined can be used.

また、上記例示的実施形態では、表示制御プログラム60が記憶部52に予め記憶(インストール)されている態様を説明したが、これに限定されない。表示制御プログラム60は、CD−ROM(Compact Disk Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、表示制御プログラム60は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。 Further, in the above exemplary embodiment, the mode in which the display control program 60 is stored (installed) in the storage unit 52 in advance has been described, but the present invention is not limited to this. The display control program 60 is provided in a form recorded on a recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory. May be good. Further, the display control program 60 may be downloaded from an external device via a network.

2018年9月20日出願の日本国特許出願2018−176490号の開示は、その全体が参照により本明細書に取り込まれる。 The disclosure of Japanese Patent Application No. 2018-176490 filed September 20, 2018 is incorporated herein by reference in its entirety.

本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。 All documents, patent applications, and technical standards described herein are to the same extent as if the individual documents, patent applications, and technical standards were specifically and individually stated to be incorporated by reference. Incorporated herein by reference.

Claims (13)

ユーザの一方の眼により視認が可能な状態に画像の光を投光する投光部と、
自装置の外部から前記ユーザの他方の眼に入射される光を遮蔽する状態と前記光を透過させる状態とに切り替え可能な遮蔽部と、
前記遮蔽部の状態を、前記投光部が前記画像の光を投光している場合、前記光が遮蔽される状態に、前記投光部が前記画像を投光していない場合、前記光が透過される状態に切り替える制御を行う制御部と、
を備えた表示装置。
A light projecting unit that projects the light of the image so that it can be visually recognized by one of the user's eyes.
A shielding unit that can switch between a state in which light incident on the other eye of the user from the outside of the own device is blocked and a state in which the light is transmitted.
When the light projecting unit projects the light of the image in the state of the shielding unit, the light is shielded, and the light projecting unit does not project the image. A control unit that controls switching to a transparent state,
Display device equipped with.
前記投光部は、前記一方の眼の網膜に前記画像を直接投光する、請求項1に記載の表示装置。 The display device according to claim 1, wherein the light projecting unit directly projects the image onto the retina of one eye. 前記投光部から投光された前記画像の光が結像される画像結像部をさらに備えた、請求項1に記載の表示装置。 The display device according to claim 1, further comprising an image imaging unit in which the light of the image projected from the light projecting unit is imaged. 前記ユーザの顔の一部と接し、前記投光部、前記画像結像部、及び前記遮蔽部を保持するフレームをさらに備える、請求項3に記載の表示装置。 The display device according to claim 3, further comprising a frame that is in contact with a part of the user's face and further holds the light projecting unit, the image forming unit, and the shielding unit. 一つの前記投光部と、
前記ユーザの両眼に対応する二つの前記遮蔽部と、
前記ユーザの両眼に対応する二つの前記画像結像部と、
を備え、
前記ユーザの両眼に対応する位置にそれぞれ設けられ、前記投光部を前記フレームに着脱可能とする二つの着脱部をさらに備える、
請求項4に記載の表示装置。
With one of the floodlights
The two shields corresponding to the user's eyes and
The two image imaging units corresponding to both eyes of the user,
With
It further includes two detachable portions that are provided at positions corresponding to both eyes of the user and that allow the light projecting portion to be attached to and detached from the frame.
The display device according to claim 4.
前記投光部は、前記一方の眼を前記ユーザの右目とした右目用の投光部、及び前記一方の眼を前記ユーザの左目とした左目用の投光部を有し、
前記遮蔽部は、前記他方の眼を前記ユーザの左目とした左目用の遮蔽部、及び前記他方の眼を前記ユーザの右目とした右目用の遮蔽部を有し、
前記制御部は、前記右目用の投光部による前記画像の投光に応じて前記左目用の遮蔽部を前記光が遮蔽される状態に制御し、前記左目用の投光部による前記画像の投光に応じて前記右目用の遮蔽部を前記光が遮蔽される状態に制御する、
請求項1から請求項4のいずれか1項に記載の表示装置。
The light projecting unit includes a light projecting unit for the right eye with one eye as the right eye of the user, and a light projecting unit for the left eye with the one eye as the left eye of the user.
The shielding portion has a shielding portion for the left eye with the other eye as the left eye of the user, and a shielding portion for the right eye with the other eye as the right eye of the user.
The control unit controls the light-shielding unit for the left eye in a state in which the light is shielded in response to the light projection of the image by the light-projecting unit for the right eye, and the light-emitting unit for the left eye of the image. The shielding portion for the right eye is controlled so that the light is shielded according to the light projection.
The display device according to any one of claims 1 to 4.
前記ユーザの眼の疲労状態を判定する疲労状態判定部をさらに備え、
前記制御部は、前記投光部による前記画像の光の投光中に、前記疲労状態判定部が疲労状態であると判定した場合、前記画像の光を投光する投光部を、前記右目用の投光部と前記左目用の投光部とで切り替える制御を行う、
請求項6に記載の表示装置。
A fatigue state determination unit for determining the fatigue state of the user's eyes is further provided.
When the fatigue state determination unit determines that the fatigue state determination unit is in a fatigued state during the light projection of the image by the light projection unit, the control unit directs the light projection unit that projects the light of the image to the right eye. Controls to switch between the light projecting unit for the left eye and the light projecting unit for the left eye.
The display device according to claim 6.
前記一方の眼は、前記ユーザの利き目である、請求項1から請求項7のいずれか1項に記載の表示装置。 The display device according to any one of claims 1 to 7, wherein the one eye is the dominant eye of the user. 前記ユーザの利き目を判定する利き目判定部をさらに備えた、請求項8に記載の表示装置。 The display device according to claim 8, further comprising a dominant eye determination unit for determining the dominant eye of the user. 前記ユーザの利き目に関する情報を受け付ける受付部をさらに備えた、請求項8に記載の表示装置。 The display device according to claim 8, further comprising a reception unit for receiving information on the dominant eye of the user. 前記遮蔽部は、前記ユーザが前記一方の眼により視認する領域のうち、前記画像の光が投光されている領域に対応する、前記他方の眼により視認する領域を遮蔽する、請求項1から請求項10のいずれか1項に記載の表示装置。 From claim 1, the shielding portion shields an area visually recognized by the other eye, which corresponds to a region in which the light of the image is projected, among the areas visually recognized by the user by the other eye. The display device according to any one of claims 10. ユーザの一方の眼により視認が可能な状態に画像を投光する投光部と、自装置の外部から前記ユーザの他方の眼に入射される光を遮蔽する状態と前記光を透過させる状態とに切り替え可能な遮蔽部と、を備えた、表示装置の制御方法であって、
前記遮蔽部の状態を、前記投光部が前記画像を投光している場合、前記光が遮蔽される状態に、前記投光部が前記画像を投光していない場合、前記光が透過される状態に切り替える制御を行う、
ことを含む、コンピュータが実行する表示装置の制御方法。
A light projecting unit that projects an image so that it can be visually recognized by one eye of the user, a state that blocks light incident on the other eye of the user from the outside of the own device, and a state that transmits the light. It is a control method of a display device provided with a shield that can be switched to.
When the light projecting unit projects the image in the state of the shielding unit, the light is transmitted when the light projecting unit does not project the image in the state where the light is shielded. Control to switch to the state to be
A method of controlling a display device performed by a computer, including the fact that.
ユーザの一方の眼により視認が可能な状態に画像を投光する投光部と、自装置の外部から前記ユーザの他方の眼に入射される光を遮蔽する状態と前記光を透過させる状態とに切り替え可能な遮蔽部と、を備えた、表示装置の制御プログラムであって、
前記遮蔽部の状態を、前記投光部が前記画像を投光している場合、前記光が遮蔽される状態に、前記投光部が前記画像を投光していない場合、前記光が透過される状態に切り替える制御を行う、
ことを含む処理を、コンピュータに実行させる表示制御プログラム。
A light projecting unit that projects an image so that it can be visually recognized by one eye of the user, a state that blocks light incident on the other eye of the user from the outside of the own device, and a state that transmits the light. It is a control program of a display device equipped with a shield unit that can be switched to.
When the light projecting unit projects the image in the state of the shielding unit, the light is transmitted when the light projecting unit does not project the image in the state where the light is shielded. Control to switch to the state to be
A display control program that causes a computer to perform processing including that.
JP2020548127A 2018-09-20 2019-08-08 Display device, display control method, and display control program Pending JPWO2020059357A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018176490 2018-09-20
JP2018176490 2018-09-20
PCT/JP2019/031465 WO2020059357A1 (en) 2018-09-20 2019-08-08 Display device, display control method, and display control program

Publications (1)

Publication Number Publication Date
JPWO2020059357A1 true JPWO2020059357A1 (en) 2021-08-30

Family

ID=69887058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020548127A Pending JPWO2020059357A1 (en) 2018-09-20 2019-08-08 Display device, display control method, and display control program

Country Status (2)

Country Link
JP (1) JPWO2020059357A1 (en)
WO (1) WO2020059357A1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005026819A1 (en) * 2003-09-09 2005-03-24 Scalar Corporation Image display device
JP2005195822A (en) * 2004-01-06 2005-07-21 Scalar Corp Image display apparatus
JP2010193287A (en) * 2009-02-19 2010-09-02 Olympus Imaging Corp Camera
JP2010197911A (en) * 2009-02-27 2010-09-09 Brother Ind Ltd Head-mounted display
JP2012211959A (en) * 2011-03-30 2012-11-01 Brother Ind Ltd Head-mounted display
JP2016133629A (en) * 2015-01-20 2016-07-25 株式会社Nttドコモ Picture display device, picture display method, and program
JP2017198825A (en) * 2016-04-27 2017-11-02 株式会社リコー Monocular image display device
JP2018505458A (en) * 2014-11-14 2018-02-22 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH Eye tracking system and method for detecting dominant eye

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005026819A1 (en) * 2003-09-09 2005-03-24 Scalar Corporation Image display device
JP2005195822A (en) * 2004-01-06 2005-07-21 Scalar Corp Image display apparatus
JP2010193287A (en) * 2009-02-19 2010-09-02 Olympus Imaging Corp Camera
JP2010197911A (en) * 2009-02-27 2010-09-09 Brother Ind Ltd Head-mounted display
JP2012211959A (en) * 2011-03-30 2012-11-01 Brother Ind Ltd Head-mounted display
JP2018505458A (en) * 2014-11-14 2018-02-22 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH Eye tracking system and method for detecting dominant eye
JP2016133629A (en) * 2015-01-20 2016-07-25 株式会社Nttドコモ Picture display device, picture display method, and program
JP2017198825A (en) * 2016-04-27 2017-11-02 株式会社リコー Monocular image display device

Also Published As

Publication number Publication date
WO2020059357A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
CN107783298B (en) Display device and the method shown using the display device
EP3108292B1 (en) Stereoscopic display responsive to focal-point shift
TWI619967B (en) Adjustable virtual reality device capable of adjusting display modules
CN103605208B (en) content projection system and method
CN107959837A (en) Display device and the method shown by the display device
WO2014128773A1 (en) Gesture registration device, gesture registration program, and gesture registration method
TW201400868A (en) Head-mounted display
TWI486631B (en) Head mounted display and control method thereof
WO2017088236A1 (en) Intelligent dynamic compound vision improving instrument
CN103439801A (en) Eyesight protection imaging device and method
JP6481084B2 (en) Glasses with video display function
KR102093953B1 (en) Method for helping determine the vision parameters of a subject
TW201545713A (en) Vision Protection Method and System Thereof
KR20220148921A (en) Eyewear that uses muscle sensors to determine facial expressions
KR20160075571A (en) System and method for reconfigurable projected augmented/virtual reality appliance
JP6850903B2 (en) Visual acuity training device for cognitive correction
US9805612B2 (en) Interest-attention feedback method for separating cognitive awareness into different left and right sensor displays
CN114616511A (en) System and method for improving binocular vision
JP2018051100A (en) Exercise training device, program and display method
TW201814356A (en) Head-mounted display apparatus and lens position adjusting method thereof
CN103778602A (en) Color vision defect correction
CN109758108A (en) A kind of AR spectacle visual function examination device
JP2014130204A (en) Display device, display system, and control method of display device
JP2003230539A (en) Visual axis-detecting device
JP2017191546A (en) Medical use head-mounted display, program of medical use head-mounted display, and control method of medical use head-mounted display

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20201023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220524