JP7431267B2 - 虚像表示装置およびそれを用いたヘッドマウントディスプレイ - Google Patents

虚像表示装置およびそれを用いたヘッドマウントディスプレイ Download PDF

Info

Publication number
JP7431267B2
JP7431267B2 JP2022032221A JP2022032221A JP7431267B2 JP 7431267 B2 JP7431267 B2 JP 7431267B2 JP 2022032221 A JP2022032221 A JP 2022032221A JP 2022032221 A JP2022032221 A JP 2022032221A JP 7431267 B2 JP7431267 B2 JP 7431267B2
Authority
JP
Japan
Prior art keywords
virtual image
distance
light
user
image light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022032221A
Other languages
English (en)
Other versions
JP2022082551A (ja
Inventor
邦一 大西
誠治 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2022032221A priority Critical patent/JP7431267B2/ja
Publication of JP2022082551A publication Critical patent/JP2022082551A/ja
Application granted granted Critical
Publication of JP7431267B2 publication Critical patent/JP7431267B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0129Head-up displays characterised by optical features comprising devices for correcting parallax
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance

Description

本発明は、所定の光学系により任意の映像を虚像として使用者に視認させる機能を備えた虚像表示装置に関し、特に使用者が視認している実空間視野内に虚像を重畳表示する機能を備えた虚像表示装置に関する。
使用者が視認している実空間視野内に所定の虚像を重畳表示する機能を備えた虚像表示装置の例としては、ヘッドマウントディスプレイ(以下、HMDと記す)やヘッドアップディスプレイ(以下、HUDと記す)等が知られている。これら虚像表示装置においては、使用者の実空間視野内に重畳表示される虚像の視認距離を当該視野内にある実対象物の実空間視認距離に適合させる機能(以下、虚像視認距離適合機能と記す)の存否が、使用者に与える生理学的な負担を軽減し使用者の視認性向上に寄与する重要な性能要件となる。
従来、特に使用者の頭部に装着するHMDにおける虚像視認距離適合機能の実現手段としては、例えば特許文献1に、所定の検知手段により使用者が注視している実空間対象物までの視認距離(実視認距離)を検知し、この実視認距離で対象物を注視する際に生じる使用者の左眼視認像と右眼視認像との相対的な乖離量すなわち「両眼視差」を、使用者の左眼でのみ視認させる左眼用表示虚像と右眼でのみ視認させる右眼用表示虚像に付与することで、使用者にあたかも虚像の視認距離が実空間視認距離に適合しているかのように錯視させる、いわゆる「両眼視差方式」による虚像視認距離適合手段が開示されている。
特開2016-186561号公報
しかしながら、特許文献1に開示されているような「両眼視差方式」による虚像視認距離適合手段は、当該両眼視差により使用者が知覚する知覚虚像距離と実際に使用者の眼が虚像上に合焦している距離すなわち実虚像距離との間に乖離が生じるため、使用者に生理学的な負担をかけ、長時間使用時における使用者の疲労感が大きいという問題がある。また、両眼視差自体が、視認距離に加えて使用者の注視視線方向にも依存して変化するため、虚像を所定の視認距離で正しく視認することができる使用者の視点範囲いわゆるEyeboxが極めて狭いという問題もある。さらに、この「両眼視差方式」は、左目用と右目用で表示映像アイテムの位置がずれた互いに異なる虚像を表示しなければならないため、HMD内に左目用と右目用で独立した2個の虚像表示用光学系を具備しなければならず、HMDの小型軽量化や低コスト化に大きな制約がある。
以上のような背景を基に本願発明の目的は、前記したような使用者の生理的負担や視点範囲の狭さの問題を良好に改善することにある。
本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、所定の虚像映像を使用者の視野内に投影する機能を備えた虚像表示装置において、使用者が注視している視認対象物もしくは視野内にある複数の対象物のうちの少なくとも一部の対象物に関し使用者から対象物までの実視認距離を検知する視認距離検知部と、互いに独立した複数の虚像光を生成する機能を備えた虚像光生成部と、虚像光を略同一の光学経路を経由して使用者の左右両眼に伝送、投影し使用者の視野内の所定位置に所定の虚像映像を視認させる機能を備えた虚像光伝送投影部と、複数の投影虚像光を用いて使用者に視認される虚像の視認距離を可変制御する機能を備えた虚像視認距離制御部とを有するように構成する。
本願発明によれば、使用者の生理的負担を軽減した良好な視認環境下での虚像視認距離適合機能を実現できる、虚像表示装置およびそれを用いたヘッドマウントディスプレイを提供できる。
実施例1におけるHMDの概略斜視図である。 実施例1におけるHMDの使用シーンを示した概略斜視図である。 図2の使用シーンにおける使用者視野内の視認像の一例を示す概略平面図である。 実施例1におけるHMDの別の使用シーンを示した概略斜視図である。 図4の使用シーンにおける使用者視野内の視認像の一例を示す概略平面図である。 実施例1におけるHMDのさらに別の使用シーンにおける使用者視野内の視認状態を示す概略平面図である。 実施例1におけるHMDの概略構成を示すブロック図である。 実施例1におけるHMDの動作手順を示すフローチャートである。 実施例1におけるHMDの視認対象物実視認距離検知部の動作原理を説明するための模式図である。 実施例1におけるHMDの視認対象物実視認距離検知部の動作手順を示すフローチャートである。 実施例1におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示す平面図である。 実施例1におけるHMDの虚像光生成部および虚像光伝送投影部の動作概要を説明するための模式図である。 実施例1におけるHMDの虚像光生成部および虚像光伝送投影部の別の動作概要を説明するための模式図である。 実施例1におけるHMDの虚像視認距離可変制御の概要を説明するための模式図である。 実施例2におけるHMDの視認対象物実視認距離検知部の動作原理を説明するための模式図である。 実施例2におけるHMDの視認対象物実視認距離検知部の動作手順を示すフローチャートである。 実施例3におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示す平面図である。 実施例3におけるHMDの虚像光生成部および虚像光伝送投影部の動作概要を説明するための模式図である。 実施例3におけるHMDの虚像光生成部および虚像光伝送投影部の別の動作概要を説明するための模式図である。 実施例4におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示す平面図である。 実施例5におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示す平面図である。 実施例6におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示す平面図である。 実施例7における携帯型情報端末の使用シーンを示した概略斜視図である。 実施例8における車両用ヘッドアップディスプレイの使用シーンを示した概略正面図である。
以下、図面を用いて本発明の実施例について説明する。
図1は、本実施例における虚像表示装置である眼鏡型HMDの概略斜視図である。図1に示すように、眼鏡型HMD1は使用者100の頭部に装着されている。このHMD1は、左右の耳にかけるための眼鏡の弦に相当する部位2および3に、後述する電子回路および光学エンジンが格納されている。また眼鏡レンズに相当する部位には、光学ガラスまたは光学部品用プラスチック部材で製作された透明薄板4、5が配置されている。この透明薄板4および5は「導光板」と呼ばれる光学デバイスで、本実施例では導光板4、5が積層された構造になっており、かつ左右の眼鏡レンズに相当する部分が同一の導光板でカバーされている。さらに、この導光板4、5には、左右眼の眼前に当たる部分に所定の出射用ホログラム8a、8b、9a、9bが配置されている。なお、この導光板4、5および出射用ホログラム8a、8b、9a、9bの機能等の詳細については後述する。
なお、本実施例では、弦部位2および3に使用者眼前の外景映像を撮影するための小型電子カメラ20が具備されている。特に本実施例では、小型電子カメラ20は左右の弦部位2および3の両方に取り付けられた2眼カメラになっており、いわゆるステレオカメラ機能によって撮影対象物までの距離を測距する機能も兼ね備えた構成になっている。ただし、本実施例で説明するようなHMDに搭載される外景撮影用カメラは、前記の2眼ステレオカメラに限定されるものではなく、当然1眼のカメラでも一向に構わないし、その設置位置も図1に示したような位置に限定されるものではない。
また、本実施例では、眼鏡枠部の上部に所定のセンサボックス21が配置されている。センサボックス21内には、例えば使用者100の左右両眼瞳の位置をモニタする、いわゆるアイトラッキングカメラ、あるいはTOF(Time Of Flight)センサなど使用者眼前にある任意の対象物までの距離を測距するセンサなどが搭載されている。なお、このセンサボックス21内に具備されるセンサについては、当然のことながらアイトラッキングカメラやTOFセンサに限定されるものではなく、使用者眼前の外部情景中の任意の対象物までの距離を測距する機能または所定の手段で当該距離情報を検知するために必要な情報信号等を検知するセンサであればどのようなセンサであっても構わない。また当該センサボックス21自体の設置位置も図中に示した位置に限定されるものではなく、さらに云えば当該センサボックス自体を無くし、例えば個々のセンサをHMD1内部の所定位置に組み込む構成であっても構わない。
ところで、本実施例においては、HMD1はスマートフォンなど使用者が携帯する携帯情報端末50と相互無線通信する機能を備えており、HMD1が表示すべき所定の虚像映像に関するデータを携帯情報端末50から取得する仕組みになっている。ただし、この仕組みについても、前記の仕組みに限定されるものではなく、例えばHMD自身が前記携帯情報端末50の機能の一部または全部を兼ね備えていて、HMD1の内部に表示すべき虚像映像に関するデータを保有する仕組みであっても構わない。以下では本実施例におけるHMD1の構成等について具体的に説明する。
なお、本実施例の具体的説明の前に、本実施例の虚像表示装置が実現しようとしている機能をより明確にするため、日常生活において使用者が本実施例の虚像表示装置を用いたHMDを使用するシーン例をいくつか紹介する。
例えば、図2は、本願発明のHMD1を装着した使用者100が手に持った書類60を注視しているシーンを示した概略斜視図であり、図3は、その際、使用者100の視野101(破線で囲われた領域)内で視認される書類60の実視認像と、HMD1によって同じ視野101内に重畳表示されている虚像映像70の例を示している。この時、使用者100の両眼は、当然のことながら手に持った書類60上にピントが合っており、その視認距離aは高々数10センチ程度である。このような使用シーンにおいて、例えば書類60上に記載されている何らかの文言に関する関連情報あるいは解説情報を、HMD1による虚像映像70として視野101内の所定位置に重畳表示させる場合、その虚像映像70の視認距離は、少なくともその時点で使用者100の両眼のピントがあっている視認距離aに略一致させておく必要がある。なぜならば、もし両者の視認距離が一致していない場合、使用者100の視野内に視認距離すなわち眼のピントが合う距離が異なる映像アイテムが同時に存在することになり、HMD使用者は、これらを違和感やストレス感無く同時視認することが難しくなってしまう。
同様に例えば、図4では、前記HMD1を装着した使用者100が数メートル離れた位置から所定の対象物61(図4の例では絵画)を注視しているシーンを示した概略斜視図であり、図5は、その際の使用者100の視野101(破線で囲われた領域)内で視認されている対象物61の実視認像と、HMD1によって同じ視野101内に重畳表示されている虚像映像71の例を示している。このシーンにおいても、前記した書類注視のシーンと同様、使用者100の両眼は視認対象物61上にピントが合っているが、その視認距離bは書類注視の場合と異なり数メートルに伸びている。このような使用シーンにおいても、例えば、対象物61に関する関連情報あるいは解説情報を、HMD1による虚像映像71として視野101内の所定位置に重畳表示させる場合、その虚像映像71の視認距離は、使用者100の両眼のピントがあっている視認距離bに略一致させておかないと、使用者100が当該虚像映像71と対象物61を違和感やストレス感無く同時視認するは難しい。
このように、HMD使用者が、その視野内に見える実像とHMDによって重畳表示される虚像映像を違和感やストレス感無く同時視認し続けるためには、HMDによって重畳表示される虚像映像の視認距離を、その都度使用者が実際に視認している対象物の視認距離に略一致させておく必要がある。
さらに云えば、HMDを用いていわゆる拡張現実(Augmented Reality:略称AR)の視認環境を実現するためには、少なくともHMD使用者の視野内に見えている任意の対象物に対して、その対象物に関連づけて所定の仮想映像を虚像として重畳表示する必要があるので、その仮想映像の視認距離を当該対象物の実視認距離に略一致させるか、あるいは当該実視認距離に関連づけられた所定の視認距離で表示する必要がある。
例えば、図6は、HMD使用者がある部屋の内部を一望した場合に、その視野内に見えている実視認対象物の例を示しているが、テーブル62やソファ65やカーテン67など部屋の中にある各家具アイテムは、当然のことながらその設置位置によってその時点における使用者の立ち位置に応じてそれぞれ異なった視認距離を有している。しかもその視認距離は、使用者の立ち位置の変化に応じて逐次変化する。したがって例えば、これら各家具アイテムにHMDを用いて何らかの仮想映像72乃至77を虚像映像として重畳表示してAR環境を実現する場合は、個々の家具アイテムの実視認距離を逐次検知し、対応する仮想映像の視認距離を検知した実視認距離に略一致させるか、あるいは当該実視認距離に関連づけられた所定の視認距離で表示する必要がある。
以上述べたような必要性に応えるため、本実施例は、使用者が注視している対象物あるいは使用者の視野内に見えている対象物の実視認距離を逐次検知し、ほぼリアルタイムで当該実視認距離に略一致あるいは当該実視認距離に関連づけられた所定の視認距離に所定の虚像映像を表示する機能を備えたHMDなどの虚像表示装置を提供する。
なお、図3、図5、図6では、説明を分かり易くする目的から、HMDによって使用者の視野内に重畳表示される虚像映像アイテムの例として、いわゆる「吹き出し」態様の情報表示アイテムに限定して掲載しているが、当然のことながら表示虚像映像アイテムは、このような「吹き出し」態様の物の限定されるわけではなく、どのような態様の映像アイテムであっても構わない。
次に、本実施例における、図1に示したHMDの具体的構成について説明する。図7は本実施例におけるHMD1の概略構成を示すブロック図である。図7において、表示虚像用情報信号受信部31は、使用者100が携帯する携帯情報端末50との相互通信により、HMD1に用いて重畳表示すべき虚像映像に関する必要データを受信する。また同時に、映像情報取得部32では、外景撮影用の小型電子カメラ20等で撮影した使用者眼前の外景映像およびセンサボックス21内のアイトラッキングカメラ等で撮影した使用者100の両眼瞳の映像を所定の映像データとして取得する。そして、表示虚像用情報信号受信部31で受信した虚像映像データおよび映像情報取得部32で取得した所定の映像データを基に、表示虚像用画像データ生成部33において、使用者視野内で重畳表示される虚像映像78あるいは79を生成するためのディスプレイ用映像データを生成する。
一方、視認対象物実視認距離検知部34では、所定の手段を用いて使用者100の実視認距離を逐次検知する。また、虚像視認距離制御部35では、視認対象物実視認距離検知部34で検知された実視認距離を基に、表示虚像の視認距離を可変制御するための所定の制御処理が行われる。なお、視認対象物実視認距離検知部34における実視認距離の検知、および虚像視認距離制御部35における表示虚像の視認距離可変制御に関しては、後ほど説明する。
次に、メモリ36は、前記各ブロックで生成された各種データ信号の少なくとも一部を一時格納しておく機能を備えているが、必ずしもHMD1内に配置することが必須ではなく、例えば同様の機能を持つメモリが携帯情報端末50側に配置されていてもよい。また表示虚像用情報信号受信部31乃至メモリ36は、制御部37によってその動作を適宜制御されている。
なお、表示虚像用情報信号受信部31から制御部37までの各ブロック(図中一点鎖線で囲まれた領域内のブロック)は電子回路のみで構成されたブロックであり、以下の説明では簡単のために、HMD駆動制御回路30として一括表記する。
一方、虚像光生成部40,41は、それぞれ所定の虚像映像表示用ディスプレイおよび当該ディスプレイの駆動回路(ディスプレイドライバ)と所定の光学系から構成されており、それに続く虚像光伝送投影部10は、所定の光学部品によってのみ構成されており、虚像光を略同一の光学経路を経由して使用者の左右両眼に伝送、投影し使用者視野内の所定位置に所定の虚像映像を視認させる機能を備えている。なお、虚像光生成部40,41および虚像光伝送投影部10の具体的な構成例についても、後ほど説明する。
図8は、図1および図7で示した本実施例におけるHMDの動作手順を示すフローチャートである。図8において、フロー開始後、まずステップ201(以降、図中ではステップをSと称し、S201のように表記する)では、携帯情報端末50より送信されたN個の表示虚像映像アイテム(S1,S2,:SN)の各映像データを受信する。同時にステップ202では、外景撮影用の小型電子カメラ20等によって撮影した使用者眼前の外景映像から使用者視野内にある実対象物の各映像データを取得する。さらにステップ203では、アイトラッキングカメラ等によって使用者両眼瞳の映像データを取得する。
次に、ステップ204で所定の番号変数nを1とし、次のステップ205では、ステップ202で取得した視野内実対象物の各映像データの中から、受信したn番目の表示虚像映像アイテムSnのリンク表示対象となる対象物を選定する。そして、次のサブプログラム300(S300)において、後述する手段にて当該対象物の実視認距離を検知し表示虚像映像アイテムSnの視認距離を確定する。さらに、次のサブプログラム400(S400)において、表示虚像映像アイテムSnの視認距離を可変制御するために本実施例で用いる所定の制御手段に必要なデータとして、遠距離基準虚像と近距離基準虚像の輝度按分データを算定する。この遠近基準虚像およびその輝度按分による虚像視認距離可変制御
の詳細については、後ほど説明する。
次に、ステップ206では、虚像映像表示用ディスプレイ上での表示虚像映像アイテムSnの表示位置や表示寸法などの映像表示用データを確定する。そして、ステップ207において、n=Nか否か判定し、否の場合は、n=n+1としてステップ205にフィードバックする。
以上の処理フローを繰り返すことにより、受信したN個の表示虚像映像アイテム(S1,S2,:SN)の全てについて、前記の映像表示用データと前記の遠近基準虚像輝度按分データを確定させる。
その後、ステップ208において、確定した前記N個の表示虚像映像アイテム(S1,S2,:SN)の各々に関する映像表示用データと遠近基準虚像輝度按分データを用いて、虚像映像表示用ディスプレイに入力する映像データ信号を生成し、次のステップ209において実際に虚像映像表示用ディスプレイを駆動して所定の映像表示を行う。そして、さらに所定の光学系を経由することで、前記ディスプレイから出射された映像光から所定の遠近基準虚像光を生成し、当該虚像光を使用者の両眼まで伝送、投影する。
次に、図8のフローチャート中のサブプログラム300(S300)で実行される使用者視認対象物の実視認距離検知について、その具体的実施例を説明する。
図9および図10は、当該実視認距離の検知手順および原理を説明するための模式図とフローチャートである。まずアイトラッキングカメラ等を用いて使用者100の両眼瞳を撮影し、その映像データから、図中に示す左右眼瞳中心102および103の基準位置(無限遠方注視時の瞳中心位置)104および105からのシフト量いわゆる輻輳量PLおよびPRと、その際の左右眼瞳中心間隔WLRを検出する。
今、左右眼球の回動中心106および107から左右眼瞳中心102および103までの距離、すなわち眼球回動半径をRとすると、任意の視認対象物68上の注視点120に向けた使用者100の左右眼の視線傾斜角αLαRは、以下の関係式(1)、(2)で求まる。
tan(αL)=PL/R ---(1)
tan(αR)=PR/R ---(2)
さらに、使用者100の左右瞳間隔の中心位置から前記注視点120までの距離、すなわち実視認距離Sは、以下の関係式(3)でも求まる。
S=WLR/{tan(αL)+tan(αR)}=R×WLR/{PL+PR}---(3)
このような処理手順を逐次実行することにより、使用者100が視認している対象物までの実視認距離をほぼリアルタイムで検知することができる。
なお、図10のフローチャート中の処理ステップS301~S306における個々の処理手順については、前記説明と重複するので説明を省略する。
また、前記眼球回動半径Rについては、所定のキャリブレーション処理(実視認距離が既知のキャリブレーション用対象物を用いて同様の検知手順を実施し、前記(1)~(3)式を逆に演算することで算定する)によって使用前に検知しておけばよい。
次に、図7のブロック図における虚像光生成部40,41および虚像光伝送投影部10の具体的な構成と、当該虚像光生成部40,41および虚像光伝送投影部10によって、使用者視野内に重畳表示される虚像映像の視認距離可変制御の具体的実施例について説明する。
図11は、図1および図7で示した本実施例におけるHMDの虚像光生成部40,41および虚像光伝送投影部10の概略構成を示した平面図である。図1で示したHMD1の眼鏡の弦に相当する部位内には、前記のHMD駆動制御回路30と、それぞれ独立した虚像光生成部40および41(図中一点鎖線で囲われた部位)が配置されている。そして、この虚像光生成部40および41内には、それぞれ例えば液晶ディスプレイ等の映像ディスプレイからなる虚像映像表示用ディスプレイ42,43、当該ディスプレイを駆動するためのディスプレイ駆動回路44,45、虚像光生成用投影レンズ系46,47が配置されている。なお虚像映像表示用ディスプレイ42,43は、前記の液晶ディスプレイに限定されるものではなく、例えば有機エレクトロルミネッセンスディスプレイ(略称:OLED)等小型の映像ディスプレイであればどのような形態、構成のディスプレイであっても構わない。
一方、虚像光伝送投影部10(図中点線で囲われた部位)には、図1でも示したように、積層された2枚の透明な導光板4および5が配置されている。この導光板4,5は、所定の入射角で当該導光板に入射した光を、当該導光板の上下面での全反射の繰り返しによって当該導光板内部に閉じ込め、伝送させる機能を備えている。また、この導光板4,5にはそれぞれ、導光板内に光波を入射させる機能を備えた入射用ホログラム6および7と、導光板内を進行する光波を外部に出射させる機能を備えた出射用ホログラム8a、8および9a,9bが配置されている。このように入射用ホログラムと出射用ホログラムを具備した導光板については、HMD用虚像光伝送投影用光学デバイスとして既に公知であるので、これ以上の詳しい説明は省略する。
本実施例では、HMD駆動制御回路30からの所定の指令信号もしくは制御信号を受け、虚像映像表示用ディスプレイ42,43で表示虚像に相当する映像を映し出して所定の映像光を生成する。
そして、前記映像光のうち、虚像映像表示用ディスプレイ42で生成された第1の映像光は、まず、図12に示すように、虚像光生成用投影レンズ系46に入射しそこで所定の視認距離を有する第1の虚像光に変換される。そして次に、導光板4に配置された入射用ホログラム6を経て導光板4の内部に入射し、この導光板4内を図の右向きに進行後、出射用ホログラム8aおよび8bから出射してそれぞれ使用者100の両眼112aおよび112bに入射する。この時使用者100は、この第1の虚像光によって、透明な導光板4および5越しの所定視認距離DLの位置に虚像78を視認する。本明細書では以降この虚像78を遠距離基準虚像と記す。
一方、虚像映像表示用ディスプレイ43で生成された第2の映像光は、図13に示すように、虚像光生成用投影レンズ系47に入射しそこで所定の視認距離を有する第2の虚像光に変換される。そして次に導光板5に配置された入射用ホログラム7を経て導光板5の内部に入射し、この導光板5内を図の左向きに進行後、出射用ホログラム9aおよび9bから出射して前記出射用ホログラム8aおよび8bから出射した虚像光と同様それぞれ使用者100の両眼112aおよび112bに入射する。この時使用者100は、この第2の虚像光によって、導光板4および5越しの所定視認距離DS(DS<DL)の位置に虚像79を視認する。本明細書では以降この虚像79を近距離基準虚像と記す。
つまり、使用者100から見て、導光板4および5越しの所定の視認距離DLの位置に遠距離基準虚像78が、そして視認距離DS(DS<DL)の位置に近距離基準虚像79を正しく視認されるように、虚像光生成用投影レンズ系46と47の光学定数やレンズ位置が適切に設定されている。
しかも、この遠距離基準虚像78と近距離基準虚像79は、図14に示すように、完全な射影関係で重畳視認されるように、虚像映像表示用ディスプレイ42および43での映像表示位置や虚像光生成用投影レンズ系46および47の虚像の視認倍率が適切に設定されている。具体的には、遠距離基準虚像78の視認倍率Mに対して、近距離基準虚像79の視認倍率M’は、M’=(DS/DL)×Mとなるように設定される。
さらに、この状態で、前記遠距離基準虚像78と近距離基準虚像79の輝度VLおよびVSを以下に示すような所定の関係式(4)、(5)に基づいて按分すると、使用者100はあたかも距離DLとDSの中間の任意距離Doの位置に虚像が視認されるかのように錯視してしまう。すなわち、
VL=VO×(DO-DS)/(DL-DS) ---(4)
VS=VO×(DL-DO)/(DL-DS) ---(5)
なお、VOは、任意距離Doの位置に錯視される虚像の輝度。
このような錯視現象は、一般に立体錯視現象(Depth-fused 3D:略称DFD)と呼ばれている。生理学の一事象であるDFDに関しては、既に公知の事象であるので、その生理学的な発生メカニズムなど詳細な説明は省略するが、このDFDを用いた立体視は、錯視による立体視として従来最も広く適用されている両眼視差方式に比べ、観測者の疲労感が少なくかつ正しく立体視できる視点領域(EyeBox)が広いという特徴を持つとされている。またこのDFDを用いた立体視では、遠近の基準虚像の輝度按分を制御するという比較的簡便な方法で、当該遠近基準虚像間の任意距離に錯視虚像の視認距離を適合させることができるので、本実施例のように、使用者実視認距離検知とその実視認距離に適合させた表示虚像視認距離の可変制御をほぼリアルタイムに実行するようなケースに適した手法である。そこで本実施例では、このDFDを用いた表示虚像視認位置の可変制御を実施している。
すなわち、本実施例では、虚像表示装置として、使用者の視野内にある所定の対象物までの実視認距離を検知する視認距離検知部と、視認距離が異なる少なくとも2種類の基準虚像光を生成する機能を備えた虚像光生成部と、光波入出射用ホログラムを配置した透明な導光板によって基準虚像光を使用者の両眼まで伝送投影する機能を備えた虚像光伝送投影部と、検知実視認距離に応じて2種類の虚像光の映像輝度按分を制御することにより、その視認距離を所定の距離に可変制御する虚像視認距離制御部を設けた。
これにより、本実施例によれば、DFDを用いた表示虚像視認位置の可変制御を行い、使用者視認虚像の視認距離を視認距離検知部で検知した実視認距離と適合させることで、使用者の生理的負担を軽減した良好な視認環境下での虚像表示装置およびそれを用いたHMDを提供できる。また、さらには装置の小型軽量化や低コスト化にも適した虚像表示装置を提供することができる。
なお、このDFDを用いた表示虚像視認位置の可変制御は、前記したように、遠近の基準虚像の輝度按分を制御することで、当該遠近基準虚像間の任意距離に錯視虚像の視認距離を適合させる方式であるため、その可変制御範囲すなわちダイナミックレンジは、遠近両基準虚像間の視認距離範囲に限定される。そこで例えば、虚像光生成用投影レンズ系46および47を構成する個々の投影レンズのレンズ間隔を機械的に調整する等の手段を用いて遠近両基準虚像自体の視認距離を可変することにより、錯視虚像視認距離のダイナミックレンジを任意に拡大、縮小することも可能である。ただし、このような場合においても、遠近両基準虚像は常に完全な射影関係で重畳視認されるように、各ディスプレイでの映像表示位置や虚像光生成用投影レンズ系46および47の虚像投影倍率は適切にコントロールされていなければならない。
また、DFDによる表示虚像視認位置可変制御のダイナミックレンジを決める基準虚像は、前記の遠距離基準虚像78と近距離基準虚像79の2つに限定されるものではない。前記のような虚像光生成部および虚像光伝送投影部を追加することで、最遠距離基準虚像と最近距離基準虚像の間の任意の視認距離に一つもしくは複数の中間距離基準虚像を設け、それら複数の基準虚像の中から任意に二つの基準虚像を選択し、それを改めて遠距離基準虚像78と近距離基準虚像79として前記したような輝度按分制御を行うことにより、表示虚像視認位置可変制御のダイナミックレンジを任意に可変することができる。
さらに云えば、本実施例はDFDによる表示虚像視認位置可変制御に限定されるものではない。本実施例が適用可能な可変制御であればどのような手段であっても勿論構わない。例えば後述する第5の実施例では、従来広く適用されている両眼視差方式による表示虚像視認位置可変制御に適用した例も開示している。
実施例1では、使用者視認対象物の実視認距離検知として、図9および図10で説明したような使用者両眼瞳の輻輳量のみから検知する手段を用いていたが、当然のことながら、実視認距離検知はこれに限定されるものではない。
以下では、本実施例として、前記検知手段とは異なる新たな実視認距離検知について説明する。図15はその検知原理を説明するための模式図であり、図16はその検知処理手順をまとめたフローチャートである。まず図16を用いて検知処理手順から説明する。
図16において、まず、ステップ351で、外景映像撮影用の小型電子カメラ20等によって撮影した使用者眼前の外景映像から視野内対象物の各映像データを取得する。次にステップ352では、取得した映像データから使用者視野内の各対象物について、そのユーザ基点相対位置を検出する。そしてさらに、ステップ353において、検出された前記相対位置から視野内各対象物のユーザ基点方位角(ユーザから対象物を注視した場合の見込み角)βを算出する。
一方、同時に、ステップ354でアイトラッキングカメラ等によって撮影された使用者両眼瞳の撮影映像データを取得し、次のステップ355で、前記映像データより左右眼の瞳中心位置を検出する。そして、さらに次のステップ356で、左右眼の視線傾斜角αL、αR(図15参照)を算出する。なお、前記ステップ354からステップ356に至る手順は、図9および図10で説明した使用者実視認距離検知に関する実施例1におけるステップ301からステップ305までの手順と同様の手順である。
本実施例では、次のステップ357において、前記手順で算出した左右眼の視線傾斜角αL、αRから、現在使用者が注視している視認対象物68上の注視点120に向けた使用者100の注視視線傾斜角γ(図15参照)を以下の関係式(6)を用いて算出する。
tan(γ)=sin(αL-αR)/{cos(αL+αR)+cos(αL-αR)} ---(6)
次に、ステップ358において、前記の手順で算出された視野内対象物のユーザ基点方位角βと使用者の注視視線傾斜角γを比較し、βとγが一致する視野内対象物すなわち現在使用者が注視している対象物を特定する。そして、特定された前記注視対象物までの実効距離Sすなわち現時点における使用者の実視認距離をHMDに装備された測距用センサを用いて測距する。なお、この測距用センサとしては、図1で紹介した、いわゆるステレオカメラやTOFセンサあるいは超音波センサなど既存の測距用センサであればどのようなセンサを用いても構わない。
ところで、これまで説明してきた実施例1、2は、あくまでHMD使用者の実視認距離を検知して表示虚像をその実視認距離に適合させることを目的としていたが、当然本実施例そのような目的に限定されるものではない。
例えば、使用者が注視しているか否かに関わらず、使用者の視野内に見えている全ての対象物について使用者からの各実効距離を検知して、当該各対象物に関連づけて重畳表示される表示虚像個々の視認距離をそれぞれの関連実対象物の実効距離に適合させることにより、いわゆるAR(拡張現実)対応を実現させた表示手段であっても一向に構わない。
さらに云えば、視野内各対象物の実効距離あるいは使用者実視認距離に全く関わりなく、任意の視認距離で虚像を表示させても構わないし、表示虚像の視認距離可変制御をリアルタイムに活用し、当該表示虚像の視認位置が任意視認距離間をダイナミックに変化するような表示方法であっても構わない。
図17は、本実施例におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示した平面図である。なお図17において、図11に示した構成要素と同じ構成要素には、同じ番号を付している。
図11では、遠距離基準虚像光と近距離基準虚像光をそれぞれ別個に生成するために、HMD内に2個の独立した虚像光生成部40および41が配置されていた。また虚像光伝送投影部10は、積層配置された2枚の透明な導光板4および5で構成され、前記虚像光生成部40および41のそれぞれで生成された虚像光は、前記2枚の導光板4、5のどちらか一方の導光板の中を伝送する構成になっていた。しかしながら、遠距離基準虚像光と近距離基準虚像光をそれぞれに別個の導光板内に伝送させるのではなく、単一の導光板内を共に伝送させるような構成であっても一向に構わない。また光学系を工夫することにより、前記したような独立した2個の虚像光生成部を1個に集約することも可能である。図17に示す本実施例は、このような目的を実現した実施例である。
まず、図17に示すように、本実施例におけるHMD1は、図11に示した実施例1と異なり、単一の虚像光生成部40(図中一点鎖線で囲われた部位)のみを備えている。この虚像光生成部40は、虚像映像表示用ディスプレイ42とそれを駆動するためのディスプレイ駆動回路44、2つのレンズ群に分割された第1および第2の虚像光生成用投影レンズ系46aと46b、台形PBS(偏光ビームスプリッタ)49、そして所定の電気信号に基づき入射した光の偏光方向を互いに垂直なP偏光およびS偏光に適宜変換する機能を備えた偏光変換素子48などから構成されている。なお前記偏光変換素子としては、液晶ディスプレイで用いられる液晶型偏光変換素子など既存のデバイスを用いて構わない。
また、本実施例では、虚像光伝送投影部10(図中点線で囲われた部位)内には単一の導光板4しか配置されていない。さらにこの導光板4には、2個の入射用ホログラム6および7と2個の出射用ホログラム8aおよび8bが設置されている。
本実施例では、まず前記虚像映像表示用ディスプレイ42において、前記遠距離基準虚像光用の映像と近距離基準虚像光用の映像が所定のフレームレートごとに交互に切り替えて表示される。そして生成された映像光は、第1の虚像光生成用投影レンズ系46aに入射しそこで所定の視認距離を持った虚像光、例えば視認距離DLを持つ前記遠距離基準虚像光に変換されたのち、偏光変換素子48に入射する。この偏光変換素子48は虚像映像表示用ディスプレイ42で表示される遠距離基準虚像光用映像と近距離基準虚像光用映像の表示切り替えのタイミングに同期して入射光のP偏光またはS偏光に切り替えるように設定されている。
今、前記偏光変換素子48により当該偏光変換素子48に入射した虚像光が、例えば、虚像映像表示用ディスプレイ42で遠距離基準虚像光用映像が表示されているタイミングではP偏光に変換され、逆に近距離基準虚像光用映像が表示されているタイミングではS偏光に変換されるように設定されているものとする。なお、以下では、前記P偏光に変換された虚像光を第1の虚像光、S偏光に変換された虚像光を第2の虚像光と記す。
さて、偏光変換素子48によってP偏光(図中の両端矢印線で表される偏光方向)光に変換された第1の虚像光は、図18に示すように、台形PBS49の偏光分離膜49aを透過し、次に導光板4に配置された第1の入射用ホログラム6を経て導光板4の内部に入射する。そしてこの導光板4内を図の右方向に進行したのち出射用ホログラム8aおよび8bから出射し、それぞれ使用者100の両眼112aおよび112bに入射する。
このとき、この第1の虚像光は、第1の虚像光生成用投影レンズ系46aによって前記遠距離基準虚像光相当の光として生成されているため、使用者100は、導光板4越しの所定視認距離DLの位置に、所定の視認倍率で遠距離基準虚像78を視認する。
一方、前記偏光変換素子48によってP偏光に対して垂直な偏光方向であるS偏光光に変換された第2の虚像光は、図19に示すように、台形PBS49の偏光分離膜49aを反射後、さらに全反射面49bも反射し、第1の虚像光とは別の光路を辿り第2の虚像光生成用投影レンズ系46bに入射する。この第2の虚像光生成用投影レンズ系46bは、第1の虚像光生成用投影レンズ系46aによりいったん遠距離基準虚像光相当の光に生成された第2の虚像光を所定の視認距離DS(DS<DL)を持つ近距離基準虚像光相当の光に再変換する機能を持つ。
そして、近距離基準虚像光相当光に再変換された第2の虚像光は、次に導光板4に配置された第2の入射用ホログラム7を経て導光板4の内部に入射する。そしてこの導光板4内を前記第1の虚像光と同様に図の右方向に進行したのち出射用ホログラム8aおよび8bから出射してそれぞれ使用者100の両眼112aおよび112bに入射する。このときこの第2の虚像光は、前記したように第1および第2の虚像光生成用投影レンズ系46aと46bの両方を通過したことによって、前記近距離基準虚像光相当の虚像光に変換されているため、使用者100は、導光板4越しの所定視認距離DSの位置に、所定の視認倍率で近距離基準虚像79を視認する。
すなわち、使用者100は、所定のフレームレートで切り替わる遠距離基準虚像78と近距離基準虚像79を交互に視認することになるが、使用者100は高速に切り替わる個々の虚像を識別することはできないので、あたかも遠距離基準虚像78と近距離基準虚像79を同時に視認しているように知覚する。したがって前記前記第1および第2の実施例と同様、立体錯視現象(DFD)を利用した表示虚像視認距離可変制御が可能となる。
以上、本実施例で示した構成にすることにより、虚像光生成部および虚像光伝送投影部内の導光板を一つに集約、削減することができ、前記第1の実施例に比べHMDの小型化、軽量化、低コスト化に大きな効果が得られる。
なお、当然のことながら、本実施例で述べた、遠/近距離基準虚像光とP/S偏光の関係性はそれぞれ全く逆であっても一向に構わない。この場合は、第1の虚像光生成用投影レンズ系46aは近距離基準虚像光に相当する光を生成し、第2の虚像光生成用投影レンズ系46bは当該光をさらに遠距離基準虚像光に相当する光に再変換する機能を持つことになる。
図20は、本実施例におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示した平面図である。なお、図20において、図11および図17で示した構成要素と同じ構成要素には、同じ番号を付している。
実施例3では、単一の虚像映像表示用ディスプレイを用い、遠距離基準虚像光用映像と近距離基準虚像光用映像を所定のフレームレートで時分割に切り替えて表示し、併せて当該フレームレートに同期して生成虚像光の偏光方向も時分割切り替えを行うことで、使用者100にあたかも遠距離基準虚像と近距離基準虚像を同時に視認しているかのように知覚させていた。これに対して本実施例は、前記のような時分割表示では無く、遠近両基準虚像光を同時に使用者100の両眼112aおよび112bに投影する構成になっている。
また、本実施例では、図17と同様、虚像光伝送投影部10(図中点線で囲われた部位)内には単一の導光板4しか配置されていない。そいて、この導光板4には、1個の入射用ホログラム6と2個の出射用ホログラム8aおよび8bが設置されている。
本実施例では、虚像光生成部40内の虚像映像表示用ディスプレイ42は、その映像表示面が2つの分割表示エリア42aと42bに分割されており、各々の表示エリアで独立した映像、あるいは同じ映像ではあるがその表示アイテムごとに輝度按分が独立に制御できる映像を同時に表示できるようになっている。さらに各表示エリアの直後にはそれぞれ位相板もしくは偏光フィルタ11および12が配置されている。この位相板もしくは偏光フィルタ11および12は、虚像映像表示用ディスプレイ42の各分割表示エリア42aおよび42bから出射した映像光の偏光方向をそれぞれ所定の偏光方向に揃える機能を持つ。すなわち位相板もしくは偏光フィルタ11は、分割表示エリア42aから出射した第1の映像光をP偏光(図中の両端矢印線で表される偏光方向)光に揃え、偏光フィルタ12は、分割表示エリア42bを出射した第2の映像光をP偏光とは垂直のS偏光光に揃える。
そこで、例えば、分割表示エリア42aで遠距離基準虚像光に相当する映像を、分割表示エリア42bで近距離基準虚像光に相当する映像を同時に表示する。
まず、分割表示エリア42aを出射した第1の映像光は、位相板もしくは偏光フィルタ11を経て台形PBS49に入射するが、この第1の映像光は前記したように位相板もしくは偏光フィルタ11によって偏光方向がP偏光に揃えられているので、台形PBS49の偏光分離膜49aを透過して、第1の虚像光生成用投影レンズ系46aに入射する。そして、そこで視認距離DLを持つ遠距離基準虚像光が生成されたのち、導光板4に配置された入射用ホログラム6を経て導光板4の内部に入射する。そして、この導光板4内を図の右方向に進行したのち出射用ホログラム8aおよび8bから出射して、それぞれ使用者100の両眼112aおよび112bに入射する。
一方、分割表示エリア42bを出射した第2の映像光は、位相板もしくは偏光フィルタ12と第2の虚像光生成用投影レンズ系46bを経て台形PBS49に入射し、その全反射面49bを反射したのち偏光分離膜49aに達する。このとき、この第2の映像光は、位相板もしくは偏光フィルタ12によって偏光方向がS偏光に揃えられているので、当該偏光分離膜49aを反射して前記第1の映像光の光路と合成されて同じく第1の虚像光生成用投影レンズ系46aに入射する。つまり、第2の映像光は、台形プリズム49を挟んで第2の虚像光生成用投影レンズ系46bと第1の虚像光生成用投影レンズ系46aの両方を通過することになり、このレンズ系の組み合わせにより視認距離DSを持つ近距離基準虚像光が生成される。そして、この近距離基準虚像光は、第1の映像光から生成された遠距離基準虚像光と同じく導光板4に配置された入射用ホログラム6を経て導光板4の内部に入射し、この導光板4内を図の右方向に進行したのち出射用ホログラム8aおよび8bから出射して、それぞれ使用者100の両眼112aおよび112bに入射する。
すなわち、以上述べたような本実施例の構成により、使用者100は遠距離基準虚像光と近距離基準虚像光を同時に視認することができる。したがって、実施例1、2、3と同様、立体錯視現象(DFD)を利用した表示虚像視認距離可変制御が可能となる。
本実施例で示した構成では、実施例3で示したような映像光の高速切り替え制御や比較的高価な偏光変換素子等の光学デバイス必要としないので、HMDの低コスト化にさらに大きな効果が得られる。
なお当然のことながら、本実施例で述べた、遠/近距離基準虚像光とP/S偏光の関係性はそれぞれ全く逆であっても一向に構わない。この場合は、第1の虚像光生成用投影レンズ系46aが近距離基準虚像光に相当する光を生成し、当該第1の虚像光生成用投影レンズ系46aと第2の虚像光生成用投影レンズ系46bを組み合わせた投射レンズ系が遠距離基準虚像光に相当する光を生成する機能を持つことになる。
実施例4では、表示虚像視認距離可変制御として立体錯視現象(DFD)を利用する例を示したが、ほぼ同様の光学構成で、表示虚像視認距離可変制御として従来最も一般的な両眼視差方式を用いたHMDも実現することができる。本実施例では、両眼視差方式のHMDに本願発明を適用した例を説明する。
図21は、本実施例におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示した平面図である。なお、図21においては、図20に示した構成要素と同じ構成要素には、同じ番号を付している。
図21において、図20と同様の虚像光生成部および虚像光伝送投影部を有しているが、唯一異なる点が、出射用ホログラム8aと使用者100の右眼112a間の光路中に偏光フィルタ13を、出射用ホログラム8bと使用者100の左眼112b間の光路中に偏光フィルタ14を追加配置している点である。このうち、偏光フィルタ13は、例えば、P偏光(図中の両端矢印線で表される偏光方向)光を透過しS偏光を反射または吸収する機能を備え、逆に偏光フィルタ14は、S偏光光を透過しP偏光を反射または吸収する機能を備えている。ただし、当然のことながらP/S偏光の組み合わせは真逆であっても一向に構わない。
このような構成にすることで、使用者100の右眼112aには虚像映像表示用ディスプレイ42の分割表示エリア42aの表示画像から生成された虚像光のみを入射、視認させ、左眼112bには分割表示エリア42bの表示画像から生成された虚像光のみを入射、視認させることができる。そこで、所望の視認距離に応じた両眼視差相当の映像アイテム表示位置シフトを持つ右眼用映像と左眼用映像をそれぞれ分割表示エリア42aおよび42bで表示することにより、両眼視差方式による表示虚像視認距離可変制御を実現することができる。なお両眼視差方式の具体的な手順や原理等に関しては、既に公知の内容であるので詳細な説明は省略する。
ただし、図21に示した本実施例の光学構成では、虚像映像表示用ディスプレイ42の分割表示エリア42aを出射した第1の映像光と分割表示エリア42bを出射した第2の映像光の第1の虚像光生成用投影レンズ系46aに達するまでの光路長が異なる。(分割表示エリア42bを出射した第2の映像光の方が台形PBS49内の全反射面49bから偏光分離膜49aに至る光路分だけ長い。)このため第1の虚像光生成用投影レンズ系46aで生成される虚像についても、第1の映像光から生成される第1の虚像光と前記第2の映像光から生成される第2の虚像光ではその視認距離や視認映像倍率が異なってしまう。
しかしながら、両眼視差方式で表示虚像視認距離可変制御を行う場合、右眼で視認する虚像映像と左眼で視認する虚像映像の視認距離と映像寸法は完全に一致していなければならない。そこで本実施例では、第2の虚像光生成用投影レンズ系46bに、光路長の差異に起因する第1の虚像光に対する第2の虚像光の視認距離や視認映像倍率の差異を補正する機能を持たせている。このような光学構成にすることにより、本実施例においても右眼で視認する虚像映像と左眼で視認する虚像映像の視認距離と映像寸法を一致させることができるので、両眼視差方式による表示虚像視認距離可変制御を実現できる。
本実施例で示した光学構成を用いた両眼視差方式HMDは、従来の両眼視差方式HMDのように左右眼用に分離独立した2個の虚像光生成部すなわち映像表示用光学エンジンを搭載する必要が無いため、両眼視差方式HMDの小型化、軽量化、低コスト化に大きな効果が得られる。
ところで本実施例では、図20に示した実施例4の光学構成を両眼視差方式HMDに適用した例を示したが、当然のことながら図17に示した実施例3の光学構成に対しても、偏光フィルタと全く同様のフィルタ設置により、同様の効果を持つ両眼視差方式HMDを実現することができる。
図22は、本実施例におけるHMDの虚像光生成部および虚像光伝送投影部の概略構成を示した平面図である。なお図22においては、図20に示した実施例4および図21に示した実施例5における構成要素と同じ構成要素には、同じ番号を付している。
本実施例においても、HMD1は図20に示した実施例4と同様の虚像光生成部および虚像光伝送投影部を有しているが、唯一異なる点が、導光板4の前面に所定の電気信号により遮光性を制御できる光学デバイスである遮光性制御可デバイス15を追加配置している点である。このような遮光性可制御の光学デバイスとしては、例えば液晶を用いたアクティブ偏光フィルタや調光ガラスがあるが、このような光学デバイスを導光板4の前面に配置することにより、この導光板4越しに使用者100の左右眼に飛び込んでくる外景光を任意に遮断し、使用者の眼前に表示虚像だけを明瞭に視認させることができる。このような機能を備えることで、一台のHMDで、実視認像と表示虚像を融合視認できるいわゆる拡張現実(AR)対応のHMDと、外の景色を遮断して表示虚像だけを視認するいわゆる仮想現実(VR)対応のHMDとを、使用者が任意に切り替えて使い分けることができ、HMDの汎用性拡大に大きな効果がある。
なお、図22では、導光板4の全面をカバーするように遮光性制御可デバイス15を配置しているが、出射用ホログラム8aおよび8bの開口部およびその近傍のみをカバーするように配置しても構わない。
これまで述べてきた各実施例は、主にHMDに関する実施例であったが、本実施例は、透明ディスプレイを備えた携帯情報端末または携帯型パーソナルコンピュータ(PC)16に本発明を適用した例である。
図23は、本実施例における携帯型情報端末の使用シーンを示した概略斜視図である。図23に示すように、携帯端末または携帯PC16の本体内に、少なくとも実施例1乃至6のいずれかの実施例で開示したHMD駆動制御回路および虚像光生成部を組み込み、かつシースルー型映像ディスプレイとして、図11、図17、図20乃至図22で示したような虚像光入出射用ホログラム付き導光板4等からなる虚像光伝送投影部10を装備している。このように携帯端末または携帯PCに本発明を適用することにより、頭部装着タイプのHMDとは異なり、携帯用デバイスによる拡張現実(AR)あるいは仮想現実(VR)を実現できる。
図24は、本発明を車載用ヘッドアップディスプレイ(HUD)に適用した実施例を示している。この例では、車のダッシュボード内に組み込むかダッシュボード上に取り付けたHUD本体17に、少なくとも実施例1乃至6のいずれかの実施例で開示したHMD駆動制御回路および虚像光生成部を組み込み、かつ、いわゆるHUDコンバイナあるいはHUD用シースルーディスプレイとして、前記の虚像光入出射用ホログラム付き導光板4等からなる虚像光伝送投影部10を装備している。
なお、この虚像光伝送投影部10については、車両運転席全面に備えられているウィンドシールドガラスの一部または全面に装備するか、ウィンドシールドガラス自体を一部前記虚像光入出射用ホログラム付き導光板4で形成することにより、ウィンドシールドガラス自体にHUD用シースルー型ディスプレイの機能も具備させることができる。
1:HMD、4,5:導光板、6,7:入射用ホログラム、8a,8b,9a,9b:出射用ホログラム、10:虚像光伝送投影部、20:外景映像撮影用の小型電子カメラ、30:HMD駆動制御回路、34:視認対象物実視認距離検知部、35:虚像視認距離制御部、40,41:虚像光生成部、42,43:虚像映像表示用ディスプレイ、46,47:虚像光生成用投影レンズ系、49:台形PBS(偏光ビームスプリッタ)、50:携帯情報端末、100:使用者

Claims (5)

  1. 視認距離の異なる第1の映像光および第2の映像光を生成する生成部と、
    前記第1の映像光および前記第2の映像光を使用者の左右両眼に投影し、前記使用者にそれぞれ遠距離基準虚像および近距離基準虚像として視認させる投影部と、
    前記使用者に視認される前記遠距離基準虚像および前記近距離基準虚像が重なるように前記第1の映像光および前記第2の映像光の位置および大きさを制御し、前記遠距離基準虚像および前記近距離基準虚像に基づいて錯視される視認虚像の視認距離と前記遠距離基準虚像の視認距離および近距離基準虚像の視認距離に応じて前記遠距離基準虚像および前記近距離基準虚像の輝度を按分する制御部とを具備し、
    前記錯視される視認虚像の視認距離をDO、輝度をVO、前記遠距離基準虚像の視認距離をDL、輝度をVL、前記近距離基準虚像の視認距離をDS、輝度をVS、としたとき、
    前記制御部は、
    VL=VO×(DO-DS)/(DL-DS)
    VS=VO×(DL-DO)/(DL-DS)
    となるように、前記遠距離基準虚像および近距離基準虚像の輝度を按分することを特徴とする虚像表示装置。
  2. 請求項1に記載の虚像表示装置であって、
    前記使用者の左右両眼瞳中心の輻輳量から該左右両眼の視線傾斜角を検知し、該視線傾斜角に基づいて前記使用者から前記使用者が注視している対象物までの実視認距離を算定する視認距離検知部を備え、
    前記制御部は、前記使用者に錯視される視認虚像の視認距離を、前記実視認距離と適合させることを特徴とする虚像表示装置。
  3. 請求項に記載の虚像表示装置であって、
    前記第1の映像光および前記第2の映像光は略垂直な偏光方向を有しており、前記生成部内に配置された偏光ビームスプリッタにより前記第1の映像光および前記第2の映像光の光路が分離または合成される構成であることを特徴とする虚像表示装置。
  4. 請求項1に記載の虚像表示装置であって、
    前記投影部は1枚もしくは積層された複数枚の導光板から構成されており、該複数枚の導光板には、それぞれ該導光板内に光波を入射させる機能を備えた入射用ホログラムと前記導光板内を進行する光波を外部に出射させる機能を備えた出射用ホログラムが具備されていることを特徴とする虚像表示装置。
  5. 請求項1に記載の虚像表示装置であって、
    前記虚像表示装置は、ヘッドマウントディスプレイ装置であることを特徴とする虚像表示装置。
JP2022032221A 2017-11-02 2022-03-03 虚像表示装置およびそれを用いたヘッドマウントディスプレイ Active JP7431267B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022032221A JP7431267B2 (ja) 2017-11-02 2022-03-03 虚像表示装置およびそれを用いたヘッドマウントディスプレイ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017212339A JP7036572B2 (ja) 2017-11-02 2017-11-02 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
JP2022032221A JP7431267B2 (ja) 2017-11-02 2022-03-03 虚像表示装置およびそれを用いたヘッドマウントディスプレイ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017212339A Division JP7036572B2 (ja) 2017-11-02 2017-11-02 虚像表示装置およびそれを用いたヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JP2022082551A JP2022082551A (ja) 2022-06-02
JP7431267B2 true JP7431267B2 (ja) 2024-02-14

Family

ID=66333097

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017212339A Active JP7036572B2 (ja) 2017-11-02 2017-11-02 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
JP2022032221A Active JP7431267B2 (ja) 2017-11-02 2022-03-03 虚像表示装置およびそれを用いたヘッドマウントディスプレイ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017212339A Active JP7036572B2 (ja) 2017-11-02 2017-11-02 虚像表示装置およびそれを用いたヘッドマウントディスプレイ

Country Status (4)

Country Link
US (2) US11297304B2 (ja)
JP (2) JP7036572B2 (ja)
CN (1) CN111295702A (ja)
WO (1) WO2019088071A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6726674B2 (ja) * 2015-10-15 2020-07-22 マクセル株式会社 情報表示装置
JP6987346B2 (ja) * 2018-01-18 2021-12-22 マクセル株式会社 ウェアラブル装置およびこれに用いるバッテリーと給電システム
US11327319B2 (en) * 2018-05-15 2022-05-10 Sony Interactive Entertainment Inc. Head mounted display, image display method, and computer program
JP7349808B2 (ja) 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法
JP7272040B2 (ja) * 2019-03-25 2023-05-12 セイコーエプソン株式会社 装着型表示装置
US11137607B2 (en) 2019-06-28 2021-10-05 Canon Kabushiki Kaisha Image capturing and display apparatus and wearable device
EP4066042A4 (en) * 2019-11-26 2023-11-08 Telefonaktiebolaget LM Ericsson (publ) PROVIDING A USER WITH MULTI-LAYER AUGMENTED REALITY IMAGES
EP4071542A4 (en) * 2019-12-05 2023-01-25 Koito Manufacturing Co., Ltd. IMAGE DISPLAY DEVICE
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN114442319A (zh) * 2020-11-05 2022-05-06 群创光电股份有限公司 影像的显示方法
JP2022086237A (ja) * 2020-11-30 2022-06-09 セイコーエプソン株式会社 虚像表示装置
CN115128802A (zh) * 2021-03-24 2022-09-30 群创光电股份有限公司 影像的显示方法
JP2023116935A (ja) * 2022-02-10 2023-08-23 パナソニックIpマネジメント株式会社 画像表示装置
WO2024040430A1 (en) * 2022-08-23 2024-02-29 Qualcomm Incorporated Method and apparatus to extend field of view of an augmented reality device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261832A (ja) 1999-03-08 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法およびヘッドマウントディスプレイ装置
JP2004294848A (ja) 2003-03-27 2004-10-21 Nippon Telegr & Teleph Corp <Ntt> 三次元表示装置
JP2010271565A (ja) 2009-05-22 2010-12-02 Seiko Epson Corp 頭部装着型表示装置
JP2011028141A (ja) 2009-07-29 2011-02-10 Shimadzu Corp 表示装置
JP2013055383A (ja) 2011-09-01 2013-03-21 Panasonic Corp 立体視映像のための画像表示システム及び3次元表示装置
JP2015084150A (ja) 2013-10-25 2015-04-30 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015228095A (ja) 2014-05-30 2015-12-17 キヤノン株式会社 頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法
US20160260258A1 (en) 2014-12-23 2016-09-08 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877080B2 (ja) * 1996-05-24 2007-02-07 オリンパス株式会社 立体視ディスプレイ装置
US6525699B1 (en) 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
JP2001021853A (ja) * 1999-07-06 2001-01-26 Fuji Xerox Co Ltd 映像表示装置
JP2005107038A (ja) * 2003-09-29 2005-04-21 Brother Ind Ltd 網膜走査表示装置
JP4608947B2 (ja) 2004-05-26 2011-01-12 カシオ計算機株式会社 液晶表示装置
US7751122B2 (en) * 2005-02-10 2010-07-06 Lumus Ltd. Substrate-guided optical device particularly for vision enhanced optical systems
IL166799A (en) * 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
JP2011002778A (ja) * 2009-06-22 2011-01-06 Hoya Corp 映像表示装置、及びヘッドマウントディスプレイ
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP6264855B2 (ja) * 2013-11-18 2018-01-24 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
RU2621488C2 (ru) 2013-02-14 2017-06-06 Сейко Эпсон Корпорейшн Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
JP5420793B1 (ja) 2013-09-10 2014-02-19 テレパシー インク 画像の視認距離を調整できるヘッドマウントディスプレイ
JP6648041B2 (ja) * 2014-05-30 2020-02-14 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想および拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法およびシステム
US10663740B2 (en) * 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
JP6707809B2 (ja) 2015-03-27 2020-06-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
CN107636514B (zh) * 2015-06-19 2020-03-13 麦克赛尔株式会社 头戴式显示装置和使用该装置的视觉辅助方法
US20180190011A1 (en) * 2017-01-04 2018-07-05 Osterhout Group, Inc. Content rendering systems for head-worn computers
WO2017179054A1 (en) * 2016-04-10 2017-10-19 Everysight Ltd. Binocular wide field of view (wfov) wearable optical display system
US10139644B2 (en) * 2016-07-01 2018-11-27 Tilt Five, Inc Head mounted projection display with multilayer beam splitter and color correction
US10353213B2 (en) * 2016-12-08 2019-07-16 Darwin Hu See-through display glasses for viewing 3D multimedia
JP2018169428A (ja) * 2017-03-29 2018-11-01 セイコーエプソン株式会社 画像表示装置
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
JP2019082531A (ja) * 2017-10-30 2019-05-30 ソニー株式会社 頭部装着型ディスプレイ

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261832A (ja) 1999-03-08 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 三次元表示方法およびヘッドマウントディスプレイ装置
JP2004294848A (ja) 2003-03-27 2004-10-21 Nippon Telegr & Teleph Corp <Ntt> 三次元表示装置
JP2010271565A (ja) 2009-05-22 2010-12-02 Seiko Epson Corp 頭部装着型表示装置
JP2011028141A (ja) 2009-07-29 2011-02-10 Shimadzu Corp 表示装置
JP2013055383A (ja) 2011-09-01 2013-03-21 Panasonic Corp 立体視映像のための画像表示システム及び3次元表示装置
JP2015084150A (ja) 2013-10-25 2015-04-30 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2015228095A (ja) 2014-05-30 2015-12-17 キヤノン株式会社 頭部装着型情報表示装置及び頭部装着型情報表示装置の制御方法
US20160260258A1 (en) 2014-12-23 2016-09-08 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest

Also Published As

Publication number Publication date
JP7036572B2 (ja) 2022-03-15
CN111295702A (zh) 2020-06-16
JP2022082551A (ja) 2022-06-02
US20200252602A1 (en) 2020-08-06
US11297304B2 (en) 2022-04-05
WO2019088071A1 (ja) 2019-05-09
JP2019086556A (ja) 2019-06-06
US20220150466A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
JP7431267B2 (ja) 虚像表示装置およびそれを用いたヘッドマウントディスプレイ
JP7329105B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
US10663728B2 (en) Relating to displays
AU2013361148B2 (en) Auto-stereoscopic augmented reality display
US7414792B2 (en) Method of changing the inter-pupilar distance of a head mounted display while maintaining a constant optical path length
JP3984907B2 (ja) 画像観察システム
JP2016212177A (ja) 透過型表示装置
US10609364B2 (en) Pupil swim corrected lens for head mounted display
US10623722B2 (en) Head-up multiplex display with redirection optic
US11885974B2 (en) Near-eye display (NED) system and method using flexible reflector
CN217739617U (zh) 使用波导提供可转向混合显示器的系统
EP3091740A1 (en) Improvements in and relating to displays
US10911743B2 (en) Field of view expansion by color separation
CN116802544A (zh) 位于波导显示器上的相位结构
US20220163816A1 (en) Display apparatus for rendering three-dimensional image and method therefor
Hua et al. Near-eye displays: state-of-the-art and emerging technologies
WO2022111668A1 (zh) 实现虚实融合的显示设备
유찬형 Enhanced waveguide-based near-eye displays with polarization multiplexing
WO2023220282A1 (en) Waveguide with tunable bulk reflectors
CN117950189A (en) Virtual image display device
CN117242390A (zh) 头戴式显示器(hmd)中用于改善视场(fov)的波导构造
JP2001013448A (ja) 映像観察装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231031

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240201

R150 Certificate of patent or registration of utility model

Ref document number: 7431267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150