JPWO2020059357A1 - Display device, display control method, and display control program - Google Patents
Display device, display control method, and display control program Download PDFInfo
- Publication number
- JPWO2020059357A1 JPWO2020059357A1 JP2020548127A JP2020548127A JPWO2020059357A1 JP WO2020059357 A1 JPWO2020059357 A1 JP WO2020059357A1 JP 2020548127 A JP2020548127 A JP 2020548127A JP 2020548127 A JP2020548127 A JP 2020548127A JP WO2020059357 A1 JPWO2020059357 A1 JP WO2020059357A1
- Authority
- JP
- Japan
- Prior art keywords
- light
- eye
- unit
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
Abstract
ユーザの一方の眼により視認が可能な状態に画像の光を投光する投光部と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な遮蔽部と、遮蔽部の状態を、投光部が画像の光を投光している場合、光が遮蔽される状態に、投光部が画像を投光していない場合、光が透過される状態に切り替える制御を行う制御部と、を備えた表示装置。 A light projecting unit that projects the light of the image so that it can be visually recognized by one eye of the user, a state that blocks the light incident on the other eye of the user from the outside of the own device, and a state that transmits the light. The state of the shielding part that can be switched to and the state of the shielding part, when the light projecting unit is projecting the light of the image, when the light is blocked, and when the projecting unit is not projecting the image A display device including a control unit that controls switching to a state in which light is transmitted.
Description
本開示は、表示装置、表示制御方法、及び表示制御プログラムに関する。 The present disclosure relates to a display device, a display control method, and a display control program.
従来、立体的な映像を表示する表示装置として、現実の世界と、画像とを重ね合わせた状態で表示する、拡張現実(AR:Augmented Reality)機器を用いた表示装置が知られている。 Conventionally, as a display device for displaying a three-dimensional image, a display device using an augmented reality (AR) device that displays a state in which an image is superimposed on the real world is known.
AR機器として、ユーザが片眼で、現実の世界と、画像とを重ね合わせた状態を視認する機器が知られている。この種のAR機器では、いわゆる両眼視野闘争によって、ユーザが疲労することが知られている。両眼視野闘争によるユーザの疲労を軽減する技術として、例えば、再公表2005−26819号公報及び特開2005−195822号公報には、眼鏡形状の表示装置本体において、予め定められた一方の眼の側に画像を表示するディスプレイを設け、予め定められた他方の眼の側に外部から入射する光を遮断する遮蔽板を固定する技術が記載されている。 As an AR device, a device is known in which a user visually recognizes a state in which a real world and an image are superimposed with one eye. It is known that in this type of AR device, the user is tired due to the so-called binocular struggle. As a technique for reducing user fatigue due to binocular visual field struggle, for example, Republished No. 2005-26819 and Japanese Unexamined Patent Publication No. 2005-195822 describe a predetermined eye of one eye in a spectacle-shaped display device main body. A technique is described in which a display for displaying an image is provided on the side, and a shielding plate for blocking light incident from the outside is fixed to a predetermined side of the other eye.
再公表2005−26819号公報及び特開2005−195822号公報に記載の技術によれば、予め定められた他方の眼の側を常に遮蔽することになる。そのため、例えば、遮蔽の必要が無い場合であっても、遮蔽板によって視界が遮られてしまうため、却って、ユーザに負担がかかり疲労を招く場合がある。 According to the techniques described in Republishing 2005-26819 and 2005-195822, the other predetermined eye side is always shielded. Therefore, for example, even when there is no need for shielding, the field of view is blocked by the shielding plate, which may rather impose a burden on the user and cause fatigue.
本開示は、片眼で現実の世界と、画像とを重ね合わせた状態を視認する場合のユーザの負担をより軽減できる表示装置、表示制御方法、及び表示制御プログラムを提供する。 The present disclosure provides a display device, a display control method, and a display control program that can further reduce the burden on the user when visually recognizing a state in which an image is superimposed on the real world with one eye.
本開示の第1の態様は、表示装置であって、ユーザの一方の眼により視認が可能な状態に画像の光を投光する投光部と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な遮蔽部と、遮蔽部の状態を、投光部が画像の光を投光している場合、光が遮蔽される状態に、投光部が画像を投光していない場合、光が透過される状態に切り替える制御を行う制御部と、を備える。 The first aspect of the present disclosure is a display device, which is a light projecting unit that projects light of an image so that it can be visually recognized by one eye of the user, and a light projecting unit that projects light of an image from the outside of the own device to the other eye of the user. When the light projecting unit projects the light of the image, the light is blocked depending on the state of the shielding unit that can switch between the state of blocking the incident light and the state of transmitting the light, and the state of the shielding unit. The state includes a control unit that controls switching to a state in which light is transmitted when the light projecting unit does not project an image.
本開示の第2の態様は、第1の態様において、投光部は、一方の眼の網膜に画像を直接投光してもよい。 In the second aspect of the present disclosure, in the first aspect, the light projecting unit may directly project an image onto the retina of one eye.
本開示の第3の態様は、第1の態様において、投光部から投光された画像の光が結像される画像結像部をさらに備えてもよい。 A third aspect of the present disclosure may further include an image forming unit in which the light of the image projected from the light emitting unit is imaged in the first aspect.
本開示の第4の態様は、第3の態様において、ユーザの顔の一部と接し、投光部、画像結像部、及び遮蔽部を保持するフレームをさらに備えてもよい。 A fourth aspect of the present disclosure may further include, in the third aspect, a frame that is in contact with a portion of the user's face and holds a light projecting section, an image imaging section, and a shielding section.
本開示の第5の態様は、第4の態様において、一つの投光部と、ユーザの両眼に対応する二つの遮蔽部と、ユーザの両眼に対応する二つの画像結像部と、を備え、ユーザの両眼に対応する位置にそれぞれ設けられ、投光部をフレームに着脱可能とする二つの着脱部をさらに備えてもよい。 A fifth aspect of the present disclosure is, in the fourth aspect, one light projecting unit, two shielding units corresponding to both eyes of the user, and two image forming units corresponding to both eyes of the user. It may be further provided with two detachable portions, which are provided at positions corresponding to both eyes of the user and allow the light projecting portion to be attached to and detached from the frame.
本開示の第6の態様は、第1の態様から第4の態様のいずれか1態様において、 投光部は、一方の眼をユーザの右目とした右目用の投光部、及び一方の眼をユーザの左目とした左目用の投光部を有し、遮蔽部は、他方の眼をユーザの左目とした左目用の遮蔽部、及び他方の眼をユーザの右目とした右目用の遮蔽部を有し、制御部は、右目用の投光部による画像の投光に応じて左目用の遮蔽部を光が遮蔽される状態に制御し、左目用の投光部による画像の投光に応じて右目用の遮蔽部を光が遮蔽される状態に制御してもよい。 A sixth aspect of the present disclosure is that in any one of the first to fourth aspects, the light projecting unit is a light projecting unit for the right eye with one eye as the user's right eye, and one eye. Has a light projecting unit for the left eye with the user's left eye, and the shielding unit is a shielding unit for the left eye with the other eye as the user's left eye, and a shielding unit for the right eye with the other eye as the user's right eye. The control unit controls the shielding unit for the left eye so that the light is shielded according to the projection of the image by the projection unit for the right eye, and the projection unit for the left eye emits the image. Depending on the situation, the shielding portion for the right eye may be controlled so that the light is shielded.
本開示の第7の態様は、第6の態様において、ユーザの眼の疲労状態を判定する疲労状態判定部をさらに備え、制御部は、投光部による画像の光の投光中に、疲労状態判定部が疲労状態であると判定した場合、画像の光を投光する投光部を、右目用の投光部と左目用の投光部とで切り替える制御を行ってもよい。 A seventh aspect of the present disclosure further includes, in the sixth aspect, a fatigue state determination unit that determines the fatigue state of the user's eyes, and the control unit is fatigued during the light projection of the image by the light projection unit. When the state determination unit determines that the state is in a fatigued state, control may be performed to switch the light projection unit for projecting the light of the image between the light projection unit for the right eye and the light projection unit for the left eye.
本開示の第8の態様は、第1の態様から第7の態様のいずれか1態様において、一方の眼は、ユーザの利き目であってもよい。 The eighth aspect of the present disclosure is any one of the first to seventh aspects, in which one eye may be the dominant eye of the user.
本開示の第9の態様は、第8の態様において、ユーザの利き目を判定する利き目判定部をさらに備えてもよい。 A ninth aspect of the present disclosure may further include a dominant eye determination unit for determining the dominant eye of the user in the eighth aspect.
本開示の第10の態様は、第8の態様において、ユーザの利き目に関する情報を受け付ける受付部をさらに備えた。 A tenth aspect of the present disclosure further comprises a reception unit that receives information about the user's dominant eye in the eighth aspect.
本開示の第11の態様は、上記態様において、遮蔽部は、ユーザが一方の眼により視認する領域のうち、画像の光が投光されている領域に対応する、他方の眼により視認する領域を遮蔽してもよい。 In the eleventh aspect of the present disclosure, in the above aspect, the shielding portion is a region visually recognized by the other eye, which corresponds to a region in which the light of the image is projected, in the region visually recognized by the user with one eye. May be shielded.
本開示の第12の態様は、ユーザの一方の眼により視認が可能な状態に画像を投光する投光部と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な遮蔽部とを備えた表示装置の制御方法であって、遮蔽部の状態を、投光部が画像を投光している場合、光が遮蔽される状態に、投光部が画像を投光していない場合、光が透過される状態に切り替える制御を行う、ことをコンピュータが実行する。 A twelfth aspect of the present disclosure is a state in which a light projecting unit that projects an image so that it can be visually recognized by one eye of the user and a state that shields light incident on the other eye of the user from the outside of the own device. It is a control method of a display device provided with a shielding portion that can switch between a state in which light is transmitted and a state in which light is transmitted. When the light projecting unit does not project an image in this state, the computer executes control to switch to a state in which light is transmitted.
本開示の第13の態様は、ユーザの一方の眼により視認が可能な状態に画像を投光する投光部と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な遮蔽部とを備えた表示装置の制御プログラムであって、遮蔽部の状態を、投光部が画像を投光している場合、光が遮蔽される状態に、投光部が画像を投光していない場合、光が透過される状態に切り替える制御を行う、ことを含む処理をコンピュータに実行させる。 A thirteenth aspect of the present disclosure is a state in which a light projecting unit that projects an image so that it can be visually recognized by one eye of the user and a state that shields light incident on the other eye of the user from the outside of the own device. It is a control program of a display device provided with a shielding unit that can switch between a state in which light is transmitted and a state in which light is transmitted. In this state, when the light projecting unit does not project an image, the computer is made to execute a process including controlling the switching to a state in which light is transmitted.
また、本開示の第14の態様は、ユーザの一方の眼により視認が可能な状態に画像を投光する投光部と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な遮蔽部とを備え、プロセッサを有する表示装置であって、プロセッサが、遮蔽部の状態を、投光部が画像を投光している場合、光が遮蔽される状態に、投光部が画像を投光していない場合、光が透過される状態に切り替える制御を行う。 Further, in the fourteenth aspect of the present disclosure, a light projecting unit that projects an image in a state that can be visually recognized by one eye of the user and a light incident on the other eye of the user from the outside of the own device are shielded. A display device having a processor having a shielding unit that can switch between a state in which light is transmitted and a state in which light is transmitted, and the processor projects the state of the shielding unit and the light projecting unit projects an image. , When the light projecting unit does not project an image in a state where light is blocked, control is performed to switch to a state in which light is transmitted.
上記態様によれば、本開示の表示装置、表示制御方法、及び表示制御プログラムは、片眼で現実の世界と、画像とを重ね合わせた状態を視認する場合のユーザの負担をより軽減できる。 According to the above aspect, the display device, the display control method, and the display control program of the present disclosure can further reduce the burden on the user when visually recognizing the state in which the real world and the image are superimposed with one eye.
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。 Hereinafter, examples of embodiments for carrying out the technique of the present disclosure will be described in detail with reference to the drawings.
図1及び図2を参照して、本例示的実施形態の表示装置10の構成を説明する。図1は、本例示的実施形態の表示装置10の構成の一例を示す斜視図である。また、図2は、表示装置10の一例を示すブロック図である。本例示的実施形態の表示装置10は、AR(Augmented Reality)を表示する表示装置であり、レンズ13を通した現実の世界と、表示ユニット22から投光された画像とを重ね合わせた状態でユーザが視認可能に表示する装置である。表示装置10は、フレーム12及びレンズ13を備えた眼鏡の形状を有している。
The configuration of the
図1及び図2に示すように、本例示的実施形態の表示装置10は、センサ15、制御部20、表示ユニット22、遮蔽部24、利き目判定部26、及び疲労状態判定部28を備えている。
As shown in FIGS. 1 and 2, the
センサ15は、表示装置10をユーザが装着した場合に、眉間の位置に対応する位置となる、レンズ13の中央部に設けられており、本例示的実施形態では、一例として、立体形状の検出が可能な深度センサである。
The
表示ユニット22は、左目用表示ユニット40L及び右目用表示ユニット40Rを備えている。左目用表示ユニット40Lは、スクリーン42L及びプロジェクタ43Lを有しており、右目用表示ユニット40Rは、スクリーン42R及びプロジェクタ43Rを有している。換言すると、表示ユニット22は、一対のスクリーン42及びプロジェクタ43を有している。本例示的実施形態では、スクリーン42及びプロジェクタ43について、総称する場合は、単に「スクリーン42」及び「プロジェクタ43」といい、左右を区別する場合は、各々「スクリーン42」及び「プロジェクタ43」の後に、左右を表す符号(L、R)を付す。本例示的実施形態のスクリーン42が本開示の画像結像部の一例であり、本例示的実施形態のプロジェクタ43が、本開示の投光部の一例である。
The
プロジェクタ43は、ケース状の着脱部14に収納され、着脱部14によってフレーム12に着脱可能とされている。プロジェクタ43は、制御部20の制御に応じて画像データに応じた画像の光を、レンズ13に設けられたスクリーン42に向けて投光する。スクリーン42は、プロジェクタ43から投光された画像の光が結像されることで画像を表示する。なお、プロジェクタ43から投光する画像データに応じた画像は、静止画及び動画のいずれであってもよく、限定されるものではない。
The
スクリーン42としては、例えば、ハーフミラーや、波長選択フィルム、及びホログラム等が挙げられる。また、プロジェクタ43としては、例えば、液晶パネルや、有機EL(ElectroLuminescence)パネル等が挙げられる。
Examples of the screen 42 include a half mirror, a wavelength selection film, a hologram, and the like. Further, examples of the
また、遮蔽部24は、左目用遮蔽部30L及び右目用遮蔽部30Rを備えている。遮蔽部24は、レンズ13に設けられており、制御部20の制御に応じて、表示装置10の外部からユーザの眼に入射する光を遮蔽する。本例示的実施形態の遮蔽部24は、一例として、左右の各スクリーン42に対応する部分全体を遮蔽する。遮蔽部24としては、例えば、液晶シャッター、エレクトロクロミズム、及び可変式ND(Neutral Density)フィルタ等が挙げられる。
Further, the shielding
制御部20は、表示装置10の全体を制御する。詳細は後述するが、上述したように、プロジェクタ43からスクリーン42への画像データに応じた画像の光の投光、及び遮蔽部24による光の遮蔽を制御する。利き目判定部26は、ユーザの利き目が、右目及び左目のいずれであるかを判定する。また、疲労状態判定部28は、ユーザの眼の疲労状態を判定する。
The
次に、図3を参照して、本例示的実施形態の表示装置10のハードウェア構成を説明する。図3に示すように、表示装置10は、上述したセンサ15、表示ユニット22、及び遮蔽部24の他、CPU(Central Processing Unit)50、一時記憶領域としてのメモリ51、及び不揮発性の記憶部52を含む。また、表示装置10は、着脱部14に設けられたスイッチ等の入力部54(図1では図示省略)、及び外部の装置と有線または無線により通信するためのI/F(InterFace)56を含む。センサ15,表示ユニット22、遮蔽部24、CPU50、メモリ51、記憶部52、入力部54、及びI/F56は、バス58に接続される。
Next, the hardware configuration of the
記憶部52は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、及びフラッシュメモリ等の不揮発性の記憶媒体によって実現される。記憶媒体としての記憶部52には、表示制御プログラム60が記憶される。CPU50は、記憶部52から表示制御プログラム60を各々読み出してからメモリ51に展開し、展開した表示制御プログラム60を実行する。CPU50が表示制御プログラム60を実行することで、CPU50は、制御部20、利き目判定部26、及び疲労状態判定部28として機能する。
The
次に、本例示的実施形態の表示装置10の作用を説明する。CPU50が表示制御プログラム60を実行することによって、図4に示す表示制御処理が実行される。図4には、本例示的実施形態の表示装置10で実行される表示制御処理の流れの一例を示すフローチャートが示されている。また、図5には、本例示的実施形態の表示制御処理の実行により、レンズ13及びスクリーン42を通してユーザが視認する状態の一例を示す。
Next, the operation of the
例として、本例示的実施形態の表示装置10では、ユーザによる表示開始の指示が入力部54を介して入力された場合に、図4に示した表示制御処理が実行される。なお、本例示的実施形態に限定されず、例えば、表示装置10の電源(図示省略)が投入された場合に表示制御処理を実行する形態としてもよい。また例えば、表示装置10をユーザが装着したことを検知した場合に表示制御処理を実行する形態としてもよい。この場合の例としては、フレーム12の内側に、ユーザの皮膚が接触したことを検知した場合、フレーム12が開かれたことを検知した場合、及び表示装置10である眼鏡を装着するユーザの動作を検知した場合等が挙げられる。これらの検知を行う場合、各検知に応じた、加速度センサ、ジャイロセンサ、及びタッチセンサ等の各種センサを設けておけばよい。
As an example, in the
図5に示した一例のように、本表示制御処理を開始した時点では、ユーザは、左右の目共に、レンズ13(スクリーン42)を通して、現実の世界を視認している。 As in the example shown in FIG. 5, at the time when the present display control process is started, the user is visually recognizing the real world through the lens 13 (screen 42) with both the left and right eyes.
図4のステップS100で利き目判定部26は、利き目判定処理を実行し、ユーザの利き目が左右のいずれであるかを判定する。一例として、本例示的実施形態の利き目判定部26は、ユーザが自身の指を視認した場合の、左右の目での見え方の違いによって利き目を判定する。図5を参照して具体的な方法について説明する。まず、図5に示した一例のように、表示ユニット22の左右のプロジェクタ43により、左右のスクリーン42の各々の中央に覗き窓枠72を表示させる。この場合、覗き窓枠72以外は、ユーザにはレンズ13を通した現実の世界が見えている。ユーザは、鼻先の前方20cm〜40cmの視認できる位置に、自身の左右どちらかの人差し指を立てる。なお、ユーザが人差し指を立てるのを誘導するための情報をスクリーン42に表示する、または音声出力部を有する場合は、音声出力部から出力する音声により提示することが好ましい。次に、利き目判定部26は、立体形状認識センサとして作用する深度センサであるセンサ15の出力結果に基づいて、ユーザが立てている人差し指の位置を認識する。さらに、利き目判定部26は、人差し指の位置が、より除き窓枠72の内部にある方、換言すると、覗き窓枠72内に人差し指がより収まっている方を利き目とする。図5に示した一例では、ユーザの指74は、スクリーン42Lに表示されている覗き窓枠72内の方が、スクリーン42Rに表示されている覗き窓枠72内よりもより多く収まっている。そのため、この場合、利き目判定部26は、右目をユーザの利き目と判定する。
In step S100 of FIG. 4, the dominant
なお、利き目判定部26が利き目を判定する方法は、上述した本例示的実施形態の方法に限定されない。例えば、CPU50が受付部として機能し、入力部54を用いて、ユーザ自身が入力した、自分の利き目がいずれであるかに関する情報を受け付ける形態としてもよい。
The method by which the dominant
次のステップS102で制御部20は、画像の表示を指示されたか否かを判定する。一例として本例示的実施形態では、ユーザによる表示指示が入力部54を介して入力された場合に、画像の光の投光を開始する。表示指示が入力されるまで、ステップS102の判定が否定判定となり、表示指示が入力されると、ステップS102の判定が肯定判定となり、ステップS104へ移行する。
In the next step S102, the
ステップS104で制御部20は、上記ステップS100において利き目判定部26が判定した利き目の側のプロジェクタ43から、画像を表す光を投光し、スクリーン42に画像を表示させる。なお、表示させる画像の画像データは、予め記憶部52内に記憶させておいてもよいし、I/F56を介して、外部の装置から受信してもよい。また例えば、表示装置10が、ユーザが視認する現実世界の範囲と少なくとも一部が同様の範囲の現実世界を撮像する撮像装置を有している場合、撮像装置で撮像された撮像画像の画像データを用いてもよい。
In step S104, the
次のステップS106で制御部20は、利き目と判定した眼と反対側の眼の側の遮蔽部24(左目用遮蔽部30Lまたは右目用遮蔽部30R)によって、外部からの光を遮蔽する。
In the next step S106, the
上述のように、右目を利き目と判定した場合、図5に示した一例のように、ステップ104で制御部20は、右目用のプロジェクタ43Rから画像の光を投光し、右目用のスクリーン42Rに画像80を表示させる。また、ステップS106で制御部20は、左目用遮蔽部30Lによって、外部からユーザの左目に入射される光を遮蔽する。
As described above, when the right eye is determined to be the dominant eye, the
次のステップS108で疲労状態判定部28は、ユーザの眼の疲労状態の判定処理を実行するか否かを判定する。一例として本例示的実施形態では、プロジェクタ43が画像の光の投光を開始してから、予め定められた時間が経過する毎に、疲労状態の判定を実行する。そのため、本ステップでは、上記予め定められた時間が経過したか否かを判定する。経過していない場合、ステップS108の判定が否定判定となり、ステップS116へ移行する。一方、経過した場合、ステップS108の判定が肯定判定となり、ステップS110へ移行する。
In the next step S108, the fatigue
ステップS110で疲労状態判定部28は、ユーザの眼の疲労状態の判定処理を実行する。本例示的実施形態では、一例として、ユーザの瞬きの回数により、疲労状態の判定を行う。具体的には、疲労状態判定部28が、ユーザの眼(まぶた)を撮像する撮像部を備え、予め定められた間隔で撮像された撮像画像に対して画像解析を行い、上記、予め定められた時間内におけるユーザの瞬きの回数を計測する。そして、疲労状態判定部28は、眼が疲労するほど、瞬きの回数が増加する傾向があるため、計数した瞬きの回数が、実験的に予め得られた閾値を超えた場合、疲労状態にあると判定し、瞬きの回数が閾値未満の場合、疲労状態にないと判定する。なお、疲労状態判定部28における疲労状態の判定処理方法は本例示的実施形態に限定されないことは言うまでもない。例えば、疲労状態にあるほど、副交感神経が交感神経よりも優位になり、瞳が縮瞳する傾向があるため、撮像部によりユーザの瞳を撮像し、撮像画像を解析して得られた瞳の大きさの変化に基づいて、疲労状態であるか否かを判定してもよい。また例えば、疲労状態にあるほど、視線の動きが大きくなる(距離が長くなる)傾向があるため、撮像部によりユーザの瞳を撮像し、撮像画像を解析して得られた視線の動きの変化に基づいて、疲労状態であるか否かを判定してもよい。また例えば、ユーザの眼の眼振、及び乾き具合等を、疲労状態の判定に用いてもよい。
In step S110, the fatigue
なお、瞬きの回数等の検出は、上記撮像部に限定されず、筋電位センサ等、他のセンサを用いてもよいことはいうまでもない。 It goes without saying that the detection of the number of blinks and the like is not limited to the imaging unit, and other sensors such as a myoelectric potential sensor may be used.
なお、疲労状態の判定を行うか否かの基準となる、上記予め定められた時間は、一定の時間でなくてもよく、例えば、画像80の表示を開始した直後は判定の間隔を5分とし、開始から20分が経過した後は、判定の間隔を3分としてもよい。また例えば、ユーザが疲労状態であるとの判定に至る時間(画像80を表示している時間)と、その判定に至った瞳の状態等との対応関係を学習させた学習済みモデルを用いて、疲労状態の判定を行う形態としてもよい。
The predetermined time, which is a criterion for determining whether or not to determine the fatigue state, does not have to be a fixed time. For example, immediately after starting the display of the
また、ユーザが入力部54により、眼が疲労状態であることを入力する形態としてもよい。
In addition, the user may use the
ステップS112で制御部20は、上記ステップS110の判定結果に基づき、ユーザの眼が疲労状態であるか否かを判定する。ユーザの眼が疲労状態ではないと判定された場合、ステップS112の判定が否定判定となり、ステップS116へ移行する。一方、ユーザの眼が疲労状態であると判定された場合、ステップS112の判定が肯定判定となり、ステップS114へ移行する。
In step S112, the
ステップS114で、制御部20は、プロジェクタ43による投光、及び遮蔽部24による遮蔽において、左右を切り替える。上述したように、右目用のプロジェクタ43Rから画像の光を投光する一方、左目用遮蔽部30Lによって、外部からユーザの左目に入射される光を遮蔽している場合に、疲労状態と判定した場合、図5に示した一例のように、左目用のプロジェクタ43Lから画像80の光を投光する一方、右目用遮蔽部30Rによって、外部からユーザの右目に入射される光を遮蔽する。
In step S114, the
次のステップS116で表示を終了するか否かを判定する。本例示的実施形態の表示装置10では、一例として、表示ユニット22によって表示中の画像の画像データが終端となった場合、及びユーザによる表示終了の指示が入力部54を介して入力された場合の少なくとも一方の場合を満たすこと画像80の表示の終了条件としている。本例示的実施形態では、終了条件を満たす場合に画像80の表示を終了する。終了条件を満たさない場合、画像80の表示を未だ終了しないため、ステップS116の判定が否定判定となり、ステップS108に戻り、ステップS110〜S114の各処理を繰り返す。一方、終了条件を満たす場合、ステップS116の判定が肯定判定となり、ステップS118へ移行する。
In the next step S116, it is determined whether or not to end the display. In the
ステップS118で制御部20は、ユーザの一方の眼の側における表示ユニット22による画像80の表示、及び他方の眼の側における遮蔽部24による遮蔽を終了する。図5に示した一例のように、ユーザは、左右の目共に、画像80及び遮蔽部24のいずれにも遮られることなく、レンズ13(スクリーン42)を通して、現実の世界を視認可能な状態となる。
In step S118, the
次のステップS120で制御部20は、本表示制御処理を終了するか否かを判定する。本例示的実施形態では、一例として、表示装置10の電源(図示省略)がユーザによって切られた場合に、本表示制御処理を終了する。表示装置10に電源が投入されたままの場合、ステップS120の判定が否定判定となり、ステップS100に戻り、ステップS102〜S118の各処理を繰り返す。一方、表示装置10の電源が切られた場合、ステップS120の判定が肯定判定となり、本表示制御処理を終了する。
In the next step S120, the
以上説明したように、本例示的実施形態の表示装置10は、ユーザの一方の眼により視認が可能な状態に画像の光を投光するプロジェクタ43と、自装置の外部からユーザの他方の眼に入射される光を遮蔽する状態と、光を透過させる状態とに切り替え可能な左目用遮蔽部30L及び右目用遮蔽部30Rを含む遮蔽部24と、遮蔽部24の状態を、プロジェクタ43が画像の光を投光している場合、光が遮蔽される状態に、プロジェクタ43が画像を投光していない場合、光が透過される状態に切り替える制御を行う制御部20と、を備える。
As described above, the
一般的に、ユーザが片眼だけで画像を視認した場合、画像を視認していない方の眼では、現実世界そのものを視認することになる。両眼で異なる物を視認するため、両者の情報が混在することになり、モザイク状に画像が交互に入れ替わる、いわゆる両眼視野闘争が生じる。そこで、両眼視野闘争を抑制するために、予め定められた、画像を視認しない方の眼の側に遮蔽板を固定し、遮蔽板によりユーザの眼に入射される光を遮蔽する技術が知られている。しかしながら、遮蔽板を固定的に設けてしまうと、遮蔽してほしくない場合、例えば、一方の眼の側に画像を表示していない場合であっても、ユーザの視界が遮蔽されてしまうことになり、表示装置を装着したままでは他方の眼だけ現実世界が視認し難くなる。 In general, when a user visually recognizes an image with only one eye, the person who does not visually recognize the image visually recognizes the real world itself. Since different objects are visually recognized by both eyes, the information of both is mixed, and a so-called binocular visual field struggle occurs in which images are alternately replaced in a mosaic pattern. Therefore, in order to suppress the binocular visual field struggle, a predetermined technique is known in which a shielding plate is fixed to the side of the eye that does not visually recognize the image, and the shielding plate shields the light incident on the user's eye. Has been done. However, if the shielding plate is fixedly provided, the user's field of view will be blocked even when the image is not displayed on one eye side, for example, when the shielding plate is not desired to be shielded. Therefore, it becomes difficult to see the real world only with the other eye while the display device is attached.
これに対して本例示的実施形態の表示装置10では、ユーザの操作を要せず、表示ユニット22による画像の表示と同期して、遮蔽部24による光の遮蔽状態を切り替えるため、自動的に、遮蔽状態が解除される。このように本例示的実施形態の表示装置10では、ユーザの負担をより軽減することができ、眼の疲労という負担と共に、操作の負担も軽減することができる。
On the other hand, in the
なお、本例示的実施形態の表示装置10では、遮蔽部24により、スクリーン42全体を遮蔽する形態について説明したが、遮蔽部24が遮蔽する領域は本例示的実施形態に限定されず、少なくとも、画像80の光が投光されているスクリーン42の領域、換言すると、画像80が表示されている領域に対応する、領域を遮蔽すればよい。例えば、図6Aに示した状態では、左目用遮蔽部30Lは、スクリーン42Rにおいて画像80が表示されている領域に対応する領域を含み、かつスクリーン42L全体よりも小さい領域を遮蔽している。
In the
また、例えば、画像80を表示する側においても、遮蔽部24により、画像80の修理の一部の領域を遮蔽してもよい。この場合の一例を、図6Bに示す。図6Bに示した一例では、スクリーン42Rにおいても、画像80の周囲が、右目用遮蔽部30Rにより遮蔽されている。また、スクリーン42Lでは、左目用遮蔽部30Lにより、右目用遮蔽部30Rが遮蔽する領域に対応する領域を遮蔽している。図6Bに示した形態とすることにより、左右の画像を光学的に重ね合わせた場合の視認性を向上させることができる。
Further, for example, on the side displaying the
また、本例示的実施形態では、プロジェクタ43をプロジェクタ43L及びプロジェクタ43Rの2つ備え、着脱部14も二つ備え、左右各々、着脱部14によりフレーム12に取り付ける形態について説明したが、本例示的実施形態に限定されず、一例として図7及び図8に示す表示装置10のように、表示ユニット22が、1つのプロジェクタ43と、スクリーン42L及びスクリーン42Rと、を備える形態としてもよい。この場合、画像80を表示する眼を左右で切り変える場合、ユーザが着脱部14を左右逆に装着し直せばよい。一般的に、スクリーンに比べ、プロジェクタの方が比較的、高額である。プロジェクタの数は1つとし、スクリーンは2とすることにより、スクリーン及びプロジェクタの両方を装着し直す場合に比べて、価格が高額になることを抑制するとともに、ユーザの簡便性の低下も抑制することができる。
Further, in the present exemplary embodiment, a mode in which the
また例えば、表示ユニット22が、1つのスクリーン42と、1つのプロジェクタ43とを備える形態であってもよい。例えば、表示ユニット22が、スクリーン42Lとプロジェクタ43Rとを備える形態であってもよいし、表示ユニット22が、スクリーン42Rとプロジェクタ43Lとを備える形態であってもよい。
Further, for example, the
また、例えば表示ユニット22は、図9に示した一例のように、スクリーン42L及びプロジェクタ43Lに代えて、ユーザの左目の網膜に画像を直接投光する網膜プロジェクタ45Lを備え、また、スクリーン42R及びプロジェクタ43Rに変えて、ユーザの右目の網膜に画像を直接投光する網膜プロジェクタ45Rを備える形態としてもよい。
Further, for example, as in the example shown in FIG. 9, the
また、本例示的実施形態の表示装置10では、ユーザの眼が疲労状態ではない場合、利き目側の表示ユニット22によって画像80の表示を行う。本発明者らは、片眼で画像を視認する場合、利き目で画像の視認を行うことにより、片眼であるということに違和感を感じない(片眼で見ていることに気づかない)傾向があることを知見により得た。従って、本例示的実施形態の表示装置10によれば、主に利き目側の表示ユニット22によって画像80の表示を行うことにより、ユーザの違和感を軽減すると共に、ユーザの負担をより軽減することができる。
Further, in the
本例示的実施形態において、例えば制御部20、利き目判定部26、及び疲労状態判定部28といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
In this exemplary embodiment, the hardware structures of the processing unit that executes various processes such as the
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。 One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). It may be composed of a combination). Further, a plurality of processing units may be configured by one processor.
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。 As an example of configuring a plurality of processing units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server. An example is a form in which a processor functions as a plurality of processing units. Secondly, as typified by System On Chip (SoC), there is a form in which a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. Can be mentioned. As described above, the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。 Further, as the hardware structure of these various processors, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined can be used.
また、上記例示的実施形態では、表示制御プログラム60が記憶部52に予め記憶(インストール)されている態様を説明したが、これに限定されない。表示制御プログラム60は、CD−ROM(Compact Disk Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、表示制御プログラム60は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
Further, in the above exemplary embodiment, the mode in which the
2018年9月20日出願の日本国特許出願2018−176490号の開示は、その全体が参照により本明細書に取り込まれる。 The disclosure of Japanese Patent Application No. 2018-176490 filed September 20, 2018 is incorporated herein by reference in its entirety.
本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。 All documents, patent applications, and technical standards described herein are to the same extent as if the individual documents, patent applications, and technical standards were specifically and individually stated to be incorporated by reference. Incorporated herein by reference.
Claims (13)
自装置の外部から前記ユーザの他方の眼に入射される光を遮蔽する状態と前記光を透過させる状態とに切り替え可能な遮蔽部と、
前記遮蔽部の状態を、前記投光部が前記画像の光を投光している場合、前記光が遮蔽される状態に、前記投光部が前記画像を投光していない場合、前記光が透過される状態に切り替える制御を行う制御部と、
を備えた表示装置。A light projecting unit that projects the light of the image so that it can be visually recognized by one of the user's eyes.
A shielding unit that can switch between a state in which light incident on the other eye of the user from the outside of the own device is blocked and a state in which the light is transmitted.
When the light projecting unit projects the light of the image in the state of the shielding unit, the light is shielded, and the light projecting unit does not project the image. A control unit that controls switching to a transparent state,
Display device equipped with.
前記ユーザの両眼に対応する二つの前記遮蔽部と、
前記ユーザの両眼に対応する二つの前記画像結像部と、
を備え、
前記ユーザの両眼に対応する位置にそれぞれ設けられ、前記投光部を前記フレームに着脱可能とする二つの着脱部をさらに備える、
請求項4に記載の表示装置。With one of the floodlights
The two shields corresponding to the user's eyes and
The two image imaging units corresponding to both eyes of the user,
With
It further includes two detachable portions that are provided at positions corresponding to both eyes of the user and that allow the light projecting portion to be attached to and detached from the frame.
The display device according to claim 4.
前記遮蔽部は、前記他方の眼を前記ユーザの左目とした左目用の遮蔽部、及び前記他方の眼を前記ユーザの右目とした右目用の遮蔽部を有し、
前記制御部は、前記右目用の投光部による前記画像の投光に応じて前記左目用の遮蔽部を前記光が遮蔽される状態に制御し、前記左目用の投光部による前記画像の投光に応じて前記右目用の遮蔽部を前記光が遮蔽される状態に制御する、
請求項1から請求項4のいずれか1項に記載の表示装置。The light projecting unit includes a light projecting unit for the right eye with one eye as the right eye of the user, and a light projecting unit for the left eye with the one eye as the left eye of the user.
The shielding portion has a shielding portion for the left eye with the other eye as the left eye of the user, and a shielding portion for the right eye with the other eye as the right eye of the user.
The control unit controls the light-shielding unit for the left eye in a state in which the light is shielded in response to the light projection of the image by the light-projecting unit for the right eye, and the light-emitting unit for the left eye of the image. The shielding portion for the right eye is controlled so that the light is shielded according to the light projection.
The display device according to any one of claims 1 to 4.
前記制御部は、前記投光部による前記画像の光の投光中に、前記疲労状態判定部が疲労状態であると判定した場合、前記画像の光を投光する投光部を、前記右目用の投光部と前記左目用の投光部とで切り替える制御を行う、
請求項6に記載の表示装置。A fatigue state determination unit for determining the fatigue state of the user's eyes is further provided.
When the fatigue state determination unit determines that the fatigue state determination unit is in a fatigued state during the light projection of the image by the light projection unit, the control unit directs the light projection unit that projects the light of the image to the right eye. Controls to switch between the light projecting unit for the left eye and the light projecting unit for the left eye.
The display device according to claim 6.
前記遮蔽部の状態を、前記投光部が前記画像を投光している場合、前記光が遮蔽される状態に、前記投光部が前記画像を投光していない場合、前記光が透過される状態に切り替える制御を行う、
ことを含む、コンピュータが実行する表示装置の制御方法。A light projecting unit that projects an image so that it can be visually recognized by one eye of the user, a state that blocks light incident on the other eye of the user from the outside of the own device, and a state that transmits the light. It is a control method of a display device provided with a shield that can be switched to.
When the light projecting unit projects the image in the state of the shielding unit, the light is transmitted when the light projecting unit does not project the image in the state where the light is shielded. Control to switch to the state to be
A method of controlling a display device performed by a computer, including the fact that.
前記遮蔽部の状態を、前記投光部が前記画像を投光している場合、前記光が遮蔽される状態に、前記投光部が前記画像を投光していない場合、前記光が透過される状態に切り替える制御を行う、
ことを含む処理を、コンピュータに実行させる表示制御プログラム。A light projecting unit that projects an image so that it can be visually recognized by one eye of the user, a state that blocks light incident on the other eye of the user from the outside of the own device, and a state that transmits the light. It is a control program of a display device equipped with a shield unit that can be switched to.
When the light projecting unit projects the image in the state of the shielding unit, the light is transmitted when the light projecting unit does not project the image in the state where the light is shielded. Control to switch to the state to be
A display control program that causes a computer to perform processing including that.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018176490 | 2018-09-20 | ||
JP2018176490 | 2018-09-20 | ||
PCT/JP2019/031465 WO2020059357A1 (en) | 2018-09-20 | 2019-08-08 | Display device, display control method, and display control program |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2020059357A1 true JPWO2020059357A1 (en) | 2021-08-30 |
Family
ID=69887058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548127A Pending JPWO2020059357A1 (en) | 2018-09-20 | 2019-08-08 | Display device, display control method, and display control program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2020059357A1 (en) |
WO (1) | WO2020059357A1 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005026819A1 (en) * | 2003-09-09 | 2005-03-24 | Scalar Corporation | Image display device |
JP2005195822A (en) * | 2004-01-06 | 2005-07-21 | Scalar Corp | Image display apparatus |
JP2010193287A (en) * | 2009-02-19 | 2010-09-02 | Olympus Imaging Corp | Camera |
JP2010197911A (en) * | 2009-02-27 | 2010-09-09 | Brother Ind Ltd | Head-mounted display |
JP2012211959A (en) * | 2011-03-30 | 2012-11-01 | Brother Ind Ltd | Head-mounted display |
JP2016133629A (en) * | 2015-01-20 | 2016-07-25 | 株式会社Nttドコモ | Picture display device, picture display method, and program |
JP2017198825A (en) * | 2016-04-27 | 2017-11-02 | 株式会社リコー | Monocular image display device |
JP2018505458A (en) * | 2014-11-14 | 2018-02-22 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH | Eye tracking system and method for detecting dominant eye |
-
2019
- 2019-08-08 JP JP2020548127A patent/JPWO2020059357A1/en active Pending
- 2019-08-08 WO PCT/JP2019/031465 patent/WO2020059357A1/en active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005026819A1 (en) * | 2003-09-09 | 2005-03-24 | Scalar Corporation | Image display device |
JP2005195822A (en) * | 2004-01-06 | 2005-07-21 | Scalar Corp | Image display apparatus |
JP2010193287A (en) * | 2009-02-19 | 2010-09-02 | Olympus Imaging Corp | Camera |
JP2010197911A (en) * | 2009-02-27 | 2010-09-09 | Brother Ind Ltd | Head-mounted display |
JP2012211959A (en) * | 2011-03-30 | 2012-11-01 | Brother Ind Ltd | Head-mounted display |
JP2018505458A (en) * | 2014-11-14 | 2018-02-22 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH | Eye tracking system and method for detecting dominant eye |
JP2016133629A (en) * | 2015-01-20 | 2016-07-25 | 株式会社Nttドコモ | Picture display device, picture display method, and program |
JP2017198825A (en) * | 2016-04-27 | 2017-11-02 | 株式会社リコー | Monocular image display device |
Also Published As
Publication number | Publication date |
---|---|
WO2020059357A1 (en) | 2020-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107783298B (en) | Display device and the method shown using the display device | |
EP3108292B1 (en) | Stereoscopic display responsive to focal-point shift | |
TWI619967B (en) | Adjustable virtual reality device capable of adjusting display modules | |
CN103605208B (en) | content projection system and method | |
CN107959837A (en) | Display device and the method shown by the display device | |
WO2014128773A1 (en) | Gesture registration device, gesture registration program, and gesture registration method | |
TW201400868A (en) | Head-mounted display | |
TWI486631B (en) | Head mounted display and control method thereof | |
WO2017088236A1 (en) | Intelligent dynamic compound vision improving instrument | |
CN103439801A (en) | Eyesight protection imaging device and method | |
JP6481084B2 (en) | Glasses with video display function | |
KR102093953B1 (en) | Method for helping determine the vision parameters of a subject | |
TW201545713A (en) | Vision Protection Method and System Thereof | |
KR20220148921A (en) | Eyewear that uses muscle sensors to determine facial expressions | |
KR20160075571A (en) | System and method for reconfigurable projected augmented/virtual reality appliance | |
JP6850903B2 (en) | Visual acuity training device for cognitive correction | |
US9805612B2 (en) | Interest-attention feedback method for separating cognitive awareness into different left and right sensor displays | |
CN114616511A (en) | System and method for improving binocular vision | |
JP2018051100A (en) | Exercise training device, program and display method | |
TW201814356A (en) | Head-mounted display apparatus and lens position adjusting method thereof | |
CN103778602A (en) | Color vision defect correction | |
CN109758108A (en) | A kind of AR spectacle visual function examination device | |
JP2014130204A (en) | Display device, display system, and control method of display device | |
JP2003230539A (en) | Visual axis-detecting device | |
JP2017191546A (en) | Medical use head-mounted display, program of medical use head-mounted display, and control method of medical use head-mounted display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20201023 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220524 |