JP6999687B2 - バーチャル・リアリティー・ヘッドマウント装置 - Google Patents

バーチャル・リアリティー・ヘッドマウント装置 Download PDF

Info

Publication number
JP6999687B2
JP6999687B2 JP2019546272A JP2019546272A JP6999687B2 JP 6999687 B2 JP6999687 B2 JP 6999687B2 JP 2019546272 A JP2019546272 A JP 2019546272A JP 2019546272 A JP2019546272 A JP 2019546272A JP 6999687 B2 JP6999687 B2 JP 6999687B2
Authority
JP
Japan
Prior art keywords
lens
partially
camera
infrared light
convex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019546272A
Other languages
English (en)
Other versions
JP2020508494A (ja
Inventor
ホアンミー イン
ホン チャン
フォン リン
チュン ウー
Original Assignee
アドバンスド ニュー テクノロジーズ カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アドバンスド ニュー テクノロジーズ カンパニー リミテッド filed Critical アドバンスド ニュー テクノロジーズ カンパニー リミテッド
Publication of JP2020508494A publication Critical patent/JP2020508494A/ja
Application granted granted Critical
Publication of JP6999687B2 publication Critical patent/JP6999687B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本出願は、バーチャル・リアリティーの技術分野に関し、詳細には、バーチャル・リアリティー・ヘッドマウント装置に関する。
バーチャル・リアリティー(VR)技術は、コンピュータ上で対話型の3次元インタラクション環境を生成してユーザに没入型の体験を提供するために、コンピュータ・グラフィック・システムおよび様々な制御インタフェースを総合的に利用する技術である。関連技術において、ユーザは、対応するVR体験を得るために、VRメガネ、VRヘルメット、または別のVR装置等のVRヘッドマウント装置を装着することができる。
しかしながら、VRシナリオの独特の特性に起因して、モバイル・フォンまたはPC等の従来の電子機器のための技術的解決策は、VRシナリオに適用可能でない場合がある。例えば、VR装置を装着しているユーザの眼の赤外線画像を取得するには、VR装置内の構造的制限に起因して、従来の方法のための画像取得条件は、満たすことが難しい場合があり、結果として、生体認証、視線追跡等のような対応するタスクの完了に成功するのが困難となることがある。
これらの制限に鑑みて、本出願は、ユーザの眼の赤外線画像の取得精度を改善することができるVRヘッドマウント装置を提供する。
上述した目的を達成するために、本出願は、以下の技術的解決策を提供する。
本出願の第1の態様によると、VRヘッドマウント装置が提供される。本VRヘッドマウント装置は、
装置本体を含み、装置本体が凸レンズと、カメラと、赤外光を反射するための部分反射部分透過レンズと、を含む。部分反射部分透過レンズは、凸レンズの、ユーザから離れた側に位置し、カメラは、凸レンズと部分反射部分透過レンズとの間に位置する。部分反射部分透過レンズのレンズ表面は、ユーザの眼の赤外線画像をカメラに向けて斜めに反射するように斜めに配設することができる。
任意選択で、部分反射部分透過レンズは、可視光に対して高い透過率、および赤外光に対して低い透過率を有する。
任意選択で、部分反射部分透過レンズは、赤外線ダイクロイック・ミラーを含む。
任意選択で、カメラは、凸レンズに対し、VRヘッドマウント装置のVR表示コンポーネントの表示領域外に位置する。
任意選択で、部分反射部分透過レンズは、プレート形状を有し、部分反射部分透過レンズのレンズ表面は、斜めに下向きに傾けられ、カメラは、装置本体の底部に位置し、カメラのレンズは、斜めに上向きに配設されている。
任意選択で、部分反射部分透過レンズは、プレート形状を有し、部分反射部分透過レンズのレンズ表面は、斜めに上向きに傾けられ、カメラは、装置本体の頂部に位置し、カメラのレンズは、斜めに下向きに配設されている。
任意選択で、装置本体は、2つの凸レンズを含むことができ、部分反射部分透過レンズは、2つの凸レンズの少なくとも一方に設けられている。部分反射部分透過レンズは、プレート形状を有し、部分反射部分透過レンズのレンズ表面は、2つの凸レンズに向けて水平に傾けられ、カメラは、2つの凸レンズの間に位置する。
任意選択で、装置本体は、バッフルを含み、バッフルは、凸レンズの、ユーザから離れた側で、装置本体の2つの凸レンズの間に位置する。部分反射部分透過レンズは、矩形であり、部分反射部分透過レンズの水平方向の2つの側縁部は、バッフルおよび装置本体の内壁にそれぞれ当接し、カメラは、バッフルの側面に設置されている。
任意選択で、本装置は、
装置本体に設けられた赤外線光源を更に含み、赤外線光源が凸レンズの、ユーザに近い側に位置し、ユーザの眼に赤外光補償を提供する。
任意選択で、赤外線光源は、少なくとも1つの凸レンズの周辺に分布し、対応する部分反射部分透過レンズは、少なくとも1つの凸レンズの、ユーザから離れた側に位置する。
任意選択で、赤外線光源の設置位置は、対応する凸レンズの外接矩形のカバレージ領域内にある。
任意選択で、本装置は、
装置本体上に設けられた装置インタフェースを更に含み、装置インタフェースが装置本体に設置された電子機器に電気的に接続され、電子機器がVR表示コンテンツを再生するために使用され、
カメラおよび赤外線光源がデータ線を介して装置インタフェースに接続されている。装置インタフェースおよびデータ線を介して電子機器によって送信されたスイッチ制御命令を受信すると、カメラおよび赤外線光源は、スイッチ制御命令に応答して状態切替え動作を実行し、カメラはまた、装置インタフェースおよびデータ線を介して取得した赤外線画像を電子機器に送信する。
上記の技術的解決策から見て取ることができるように、本出願において、部分反射部分透過レンズがVRヘッドマウント装置に設けられ、部分反射部分透過レンズのレンズ表面が斜めに配設されている。ユーザがVR表示コンテンツを見るのを干渉することなく、ユーザの眼の赤外線画像を斜めに反射することによって、眼の赤外線画像の取得中のカメラの偏角を低減することができ、これにより、眼の赤外線画像の変形および歪みが低減され、眼の赤外線画像の取得精度を改善するのに役立つ。
本出願の例示的な実施形態によって提供されるVRヘルメットの側断面図である。 本出願の例示的な実施形態によって提供されるVRヘルメットの3D構造図である。 本出願の例示的な実施形態によって提供される別のVRヘルメットの3D構造図である。 本出願の例示的な実施形態によって提供される更に別のVRヘルメットの3D構造図である。 本出願の例示的な実施形態によって提供される別のVRヘルメットの側断面図である。 本出願の例示的な実施形態によって提供される、装着者の方向から観察されるVRヘルメットの構造図である。 本出願の例示的な実施形態によって提供される赤外線光源と凸レンズとの間の位置関係の概略図である。 本出願の例示的な実施形態によって提供される更に別のVRヘルメットの側断面図である。
以下の実施形態は、本出願のVRヘッドマウント装置の関連構造を紹介するために、VRヘルメットを例として用いて提供される。
図1は、本出願の例示的な実施形態によって提供されるVRヘルメットの側断面図である。図1に示すように、VRヘルメットは、装置本体1を含むことができる。装置本体1は、凸レンズ2およびVR再生コンポーネント5を含むことができる。更に、装置本体1は、赤外光を反射するための部分反射部分透過レンズ3を更に含むことができる。部分反射部分透過レンズ3は、凸レンズ2の、ユーザから離れた側に位置する(すなわち、部分反射部分透過レンズ3は、凸レンズ2とVR再生コンポーネント5との間に位置する)。部分反射部分透過レンズ3は、(赤外光と比較して)可視光に対して高い透過率、および(可視光と比較して)赤外光に対して低い透過率を有するため、VR再生コンポーネント5によって再生されるVR表示コンテンツは、可視光S1の形態で、ほとんど影響を受けずに部分反射部分透過レンズ3を通過することができ、ユーザの眼6は、可視光S1を受け取ってVR表示コンテンツを見る。ユーザの眼6から放出される赤外光S2は、部分反射部分透過レンズ3によって、完全ではないにしても、大部分が反射される。反射された赤外光S2’は、凸レンズ2と部分反射部分透過レンズ3との間に位置するカメラ4によって取得され、反射された赤外光S2’は、視線追跡および虹彩認識等の機能を達成するように眼6の赤外線画像を形成することができる。カメラは、赤外線放射(IR)カメラまたは赤-緑-青(RGB)-IR一体型カメラであってもよく、これは、本出願では限定されない。カメラは、画像取得中にカメラがオートフォーカスを達成することを可能にする可変焦点機能部品を含むことができ、それによって、眼6の赤外線画像の取得動作をより迅速かつ正確に実行する。
本実施形態において、赤外光を反射するための部分反射部分透過レンズ3は、赤外線スペクトルに対して低い透過率、および他のスペクトル(例えば、可視光)に対して高い透過率を有するレンズを指す。低透過率赤外線スペクトルの光の全てではないにしても、大部分を遮断することによって、部分反射部分透過レンズ3は、赤外線スペクトルの光を反射する(すなわち「部分反射」)。一方で、高透過率可視光等の他のスペクトルの光の全てではないにしても大部分は、部分反射部分透過レンズ3を透過することができ、部分反射部分透過レンズ3の、可視光等の他のスペクトルの光への影響を最小限に抑える(すなわち「部分透過」)。
例えば、赤外光を反射するための前述の部分反射部分透過レンズ3は、可視スペクトルをほぼ完全に透過させることができ、赤外スペクトルをほぼ完全に反射することができるように、赤外線ダイクロイック・ミラーとすることができる。具体的には、一事例では、TiO2-Ag-TiO2赤外反射膜またはZnS-Ag-ZnS赤外反射膜等の赤外反射膜を、可視光に対して光透過率が高い(可視スペクトルをほぼ完全に透過させることができる)光学レンズの表面上にコーティングすることができ、それによって赤外線ダイクロイック・ミラーを形成する。別の例では、赤外線ダイクロイック・ミラーを形成するために、レンズは、もっぱら前述の赤外反射膜または類似の調製材料で作製されてもよい。
より具体的には、部分反射部分透過レンズ3のレンズ表面30は、斜めに配設され、部分反射部分透過レンズ3およびカメラ4の位置は、部分反射部分透過レンズ3のレンズ表面30が眼6の赤外線画像に対応する赤外光S2をカメラ4に向かって斜めに反射して反射された赤外光S2’を形成することができるように、配置することができる。その場合、カメラ4と赤外光S2との間の角度αが維持されると仮定すると、部分反射部分透過レンズ3のレンズ表面30が斜めに配設されているため、カメラ4と反射された赤外光S2’との間の角度βが前述の角度αよりも必然的に小さくなるように、赤外光S2をカメラ4に向かって反射して反射された赤外光S2’を形成する。これにより、カメラ4によって取得される眼の赤外線画像の変形および歪みの可能性が低減し、眼6の赤外線画像の取得精度を改善し、虹彩認識および視線追跡等の後続の処理の正確さおよび精度を更に改善するのに役立つ。
実際には、部分反射部分透過レンズ3およびカメラ4の傾斜角は、装置本体1の内部空間に応じて決定することができる。例えば、部分反射部分透過レンズ3の傾斜角は、45°であってもよく、カメラ4のレンズの指向方向は、部分反射部分透過レンズ3に対して垂直または実質的に垂直であってもよく、これは、本出願では限定されない。
加えて、カメラ4が凸レンズ2とVR再生コンポーネント5との間に位置するため、すなわち、カメラ4の設置位置が可視光S1の伝播線上に位置するため、カメラ4の設置位置は、可視光S1を遮断しないように適切に制限することができる。例えば、図1に示すように、カメラ4を、最大限可能な範囲で、凸レンズ2に対し、VR再生コンポーネント5(すなわちVRのヘッドマウント装置のVR表示コンポーネント)の表示領域(例えば、表示領域は、図1に示す上側境界T1および下側境界T2によって示すことができる)から更に離れて配設することができる。
凸レンズ2と、部分反射部分透過レンズ3と、カメラ4と、VR再生コンポーネント5との間の相対的な位置関係が変わらない場合、部分反射部分透過レンズ3およびカメラ4は、VRヘルメット内で様々な設置モードを有することができ、これについて以下の例で説明する。
一実施形態において、図2に示すように、部分反射部分透過レンズ3がプレート形状を有する場合、部分反射部分透過レンズ3のレンズ表面は、斜めに下向きに傾けられていてもよい。例えば、凸レンズ2とVR再生コンポーネント5との間の空間内で、部分反射部分透過レンズ3は、その上側縁部が空間の頂部内側に当接し、その下側縁部が空間の底部外側に当接することができる。カメラ4は、装置本体1の底部に位置することができ、カメラ4のレンズは、部分反射部分透過レンズ3によって反射された、反射された赤外光S2’を取得するために斜めに上向きに配設することができる。垂直方向ではあるが、可視光S1を遮断しないようにするために、カメラ4は、前述の表示領域の外側に位置しなければならず、水平方向(図1の紙面に垂直な方向)に眼6と同じ高さにすることはできず、カメラ4のレンズと赤外光S2(または反射された赤外光S2’)との間の水平角を排除できないにしても減少させることができる。例えば、図2に示すように、ユーザの眼6は、通常、水平方向に凸レンズ2の中央に位置するため、カメラ4は、水平方向に凸レンズ2の中央に位置することができ、これによって、眼の赤外線画像が変形または歪む可能性を低くする。
別の実施形態において、図3に示すように、部分反射部分透過レンズ3がプレート形状を有する場合、部分反射部分透過レンズ3のレンズ表面は、斜めに上向きに傾けられていてもよい。例えば、凸レンズ2とVR再生コンポーネント5との間の空間内で、部分反射部分透過レンズ3は、その上側縁部が空間の頂部外側に当接し、その下側縁部が空間の底部内側に当接することができる。カメラ4は、装置本体1の頂部に位置し、カメラ4のレンズは、部分反射部分透過レンズ3によって反射された、反射された赤外光S2’を取得するために斜めに下向きに配設することができる。その場合、図2に示す実施形態と同様に、カメラ4はまた、水平方向に凸レンズ2の中央に位置して、反射赤外光S2’との水平角を排除できないにしても減少させることができ、これによって、眼の赤外線画像が変形または歪む可能性を低くする。
更に別の実施形態において、図4に示すように、装置本体1が2つの凸レンズ2(ユーザの2つの眼にそれぞれ対応する)を含んでいる場合、部分反射部分透過レンズ3を少なくとも1つの凸レンズ2に設けて、ユーザの対応する眼の赤外線画像の反射および取得を行うことができる。例えば、図4において、部分反射部分透過レンズ3は、ユーザの左眼に対応する左側の凸レンズ2ではなく、ユーザの右眼に対応する右側の凸レンズ2にのみ設けられている。部分反射部分透過レンズ3がプレート形状を有する場合、部分反射部分透過レンズ3のレンズ表面は、2つの凸レンズ2に向かって水平に傾けられていてもよく、カメラ4は、2つの凸レンズ2の間に位置する。例えば、図4において、部分反射部分透過レンズ3は、ユーザの右眼に設けられている。凸レンズ2とVR再生コンポーネント5との間の空間内で、部分反射部分透過レンズ3は、その右側が空間の右内部に当接し、その左側が空間の左外部に当接することができる。すなわち、部分反射部分透過レンズ3のレンズ表面は、左向きに傾けられ、カメラ4のレンズは、左から右に向けて配設されて部分反射部分透過レンズ3からの反射された赤外光S2’を取得する。
より具体的には、装置本体1は、バッフル7を含むことができる。バッフル7は、凸レンズ2の、ユーザから離れた側に位置し、装置本体1の2つの凸レンズ2の間に位置する。装置本体1内部の直方体空間に適合するために、部分反射部分透過レンズ3は、矩形であってもよい。部分反射部分透過レンズ3を設置するために、部分反射部分透過レンズ3の水平方向の2つの側縁部は、バッフル7および装置本体1の内壁にそれぞれ当接することができる。カメラ4は、バッフル7の側面に設置され、部分反射部分透過レンズ3のレンズ表面に面することができる。
本出願の前述の実施形態において、VRヘルメットは、ユーザに没入型VRシナリオおよびユーザ体験を提供する必要があるため、外部光の入射は、最小限に抑えられるべきである。したがって、ユーザがVRヘルメットを装着した後は、装置本体1内部の光の状態が悪いため、眼についてのカメラ4の画像取得条件を満足させるのは困難な場合がある。この問題に対処するために、本出願は、前述の実施形態に基づいて以下の技術的解決策を更に提案する。
本出願のVRヘルメットは、図5に示すように、装置本体1内に設けられた赤外線光源8を更に含むことができる。赤外線光源8は、少なくとも1つの凸レンズ2の周辺に分布し、少なくとも1つの凸レンズ2に対応するユーザの眼6に赤外光補償を提供する(赤外線光源8は、図5に示すように、R1およびR2等の赤外光を眼6に放射する)。図6に示すように、VRヘルメットは、通常、ユーザの眼に対応する2つの凸レンズ2で構成されている。赤外線光源8は、単一の凸レンズ2の周辺に分布していてもよい。例えば、赤外線光源は、ユーザの右眼に赤外光補償を提供するために図6の右側の凸レンズ2の周辺に分布することができ、左側の凸レンズ2の周辺には分布しない。確かに、他の実施形態において、赤外線光源8は、赤外光補償のために2つの凸レンズ2の周辺に同時に配設されてもよい。詳細な実施態様は、本出願では限定されない。
実際、VRヘルメットでは、赤外線光源8、カメラ4、および部分反射部分透過レンズ3の位置は、互いに関連している。例えば、図6に示すように、ユーザの右眼の視線追跡、虹彩認識等を行うために、少なくとも1つの赤外線光源8が右側の凸レンズ2の周辺に配設されてもよい。更に、部分反射部分透過レンズ3およびカメラ4は、対応する赤外線画像取得を達成するために、右側の凸レンズ2の、ユーザから離れた側に設けることができる。同様に、ユーザの両眼の視線追跡、虹彩認識等を行うために、赤外線光源8は、2つの凸レンズ2の周辺に同時に配設されてもよく、部分反射部分透過レンズ3およびカメラ4は、対応する赤外線画像取得を達成するために、各凸レンズ2の、ユーザから離れた側に設けることができる。
図6に示す実施形態は、右側の凸レンズ2の周辺に分布する4つの赤外線光源8を有するが、ここでは単に例として用いられている。実際、本出願のVRヘルメットでは、1つまたは複数の赤外線光源8が各凸レンズの周辺に分布することができる。赤外線光源8の数は、本出願では限定されない。複数の赤外線光源8が存在する場合(例えば、図6に示すように4つの赤外線光源8が右側の凸レンズ2の周辺に分布している場合)、これらの赤外線光源8を、最大限可能な範囲で一様に分布させて眼6に均一な光補償を提供することができる。
加えて、装置本体1が凸レンズ2を含んでいる場合、装置本体1の外形サイズは、凸レンズ2の占有空間に関係する。例えば、図7に示すように、凸レンズ2が水平方向(すなわち、図7のX軸方向)にLの長さ、および垂直方向(すなわち、図7のY軸方向)にHの長さを有すると仮定すると、凸レンズ2が円である場合、LおよびHは、円の直径の長さに等しい。その場合、装置本体1に対する凸レンズ2の占有空間は、LおよびHの値に関係する。すなわち、装置本体1は、水平方向に少なくともLの長さ、および垂直方向に少なくともHの長さを有することができる。実際、装置本体1が実質的に直方体形状を有する場合、凸レンズ2が必要とする装置本体1の外形サイズは、凸レンズ2の外接矩形が必要とする装置本体1の外形サイズと実質的に同じである(図7に示すように、外接矩形は、Lの横幅およびHの縦高さを有する)。
一実施形態において、図7に示すように、赤外線光源8の設置位置が凸レンズ2の外接矩形のカバレージ領域内にある場合、赤外線光源8は、凸レンズ2を遮らないようにする必要があるため、赤外線光源8は、凸レンズ2内(例えば、点A)に位置すべきではなく、図7に示す斜線部分内(例えば、点B)に位置すべきである。この場合、赤外線光源8を有する装置本体1が必要とする空間は、外接矩形(または、凸レンズ2自体)と重なる可能性があり、その結果、赤外線光源8は、装置本体1から追加の空間を必要としない。これは、装置本体1およびVRヘルメットのサイズを制御して、または小さくさえして、VRヘルメットが大きすぎて扱いにくいものになるのを防ぐのに役立つ。
別の実施形態において、図7に示すように、赤外線光源8が点Cに位置する場合、垂直方向に赤外線光源8と凸レンズ2を合わせた全高は、HからH1に増加する。すなわち、装置本体1に対する垂直方向の空間占有要件がHからH1に増加し、VRヘルメットが厚くなる。同様に、赤外線光源8が点Dに位置する場合、水平方向に赤外線光源8と凸レンズ2を合わせた全幅は、LからL1に増加する。すなわち、装置本体1に対する水平方向の空間占有要件がLからL1に増加し、VRヘルメットが広くなる。
したがって、最大限可能な範囲で、赤外線光源8を対応する凸レンズ2の外接矩形のカバレージ領域内に設けて、装置本体1に対する空間占有要件の増加を回避することができ、VRヘルメットが占有する空間を制御するのを助けることができる。
図8は、本出願の例示的な実施形態によって提供される別のVRヘルメットの側断面図である。図8に示すように、VRヘルメットは、分割型VRヘッドマウント装置であってもよく、VRヘルメットの装置本体1が装置インタフェース9を備えることができ、その結果、装置インタフェース9は、装置本体1に設置されたモバイル・フォンまたはタブレット等の電子機器に電気的に接続することができる。レンダリングのためにプロセッサまたはグラフィックス・カード・チップ等を使用し、コンテンツ表示のためにスクリーン・コンポーネントを使用することによって、電子機器は、装置本体1のVR再生コンポーネント5として機能することができる。
更に、装置本体1のカメラ4および赤外線光源8は、データ線10を介して装置インタフェース9に接続されてもよく、その結果、装置インタフェース9に接続された電子機器がスイッチ制御命令を出すと、カメラ4および赤外線光源8は、装置インタフェース9およびデータ線10を介してスイッチ制御命令を受信して、スイッチ制御命令に応答して状態切替え動作を実行することができる。言いかえれば、電子機器または電子機器上で動作するアプリケーション・プログラムに対するユーザ制御に基づいて、電子機器は、カメラ4および赤外線光源8にスイッチ制御命令を送信することができ、それによって、赤外線光源8を制御して眼6に赤外光補償を提供し、カメラ4を制御して眼6の赤外線画像取得を実行する。これにより、赤外光補償および赤外線画像取得の制御性が改善される。
スイッチ制御命令は、カメラ4および赤外線光源8に同時に送信されてもよい。あるいは、スイッチ制御命令をカメラ4または赤外線光源8に別々に送信することもできる。例えば、命令は、カメラ4を別個に制御して赤外線画像取得を実行し、赤外線光源8を別個に制御して照明条件が悪い場合に赤外光補償を提供することができる。
加えて、カメラ4が赤外線画像取得を完了した後、VRヘルメットが処理モジュールを備えている場合は、取得した赤外線画像は、処理のために処理モジュールに送信されてもよい。あるいは、カメラ4は、装置インタフェース9およびデータ線10を介して、取得した赤外線画像を電子機器による処理のために前述の電子機器に送信することができる。
確かに、本出願のVRヘルメットは、モバイル・フォン等の電子機器とペアにされた分割型VRヘッドマウント装置以外の他の形態のVRヘッドマウント装置を含むことができる。例えば、分割型VRヘッドマウント装置については、VRヘルメットは、PCホスト、ゲーム・コンソール、または別の外部装置とペアにされてもよく、そのため、VR再生コンポーネント5は、VRヘルメットに組み込まれた表示コンポーネントであってもよく、外部機器は、VR表示コンテンツのレンダリングのために使用される。別の例については、VRヘルメットは、一体型のVRヘッドマウント装置であってもよい。すなわち、VRヘルメットは、任意の外部機器に頼らずに、VR表示コンテンツを再生することができる可能性がある。VR再生コンポーネント5は、VRヘルメットに内蔵され、VR表示コンテンツのレンダリングおよび表示等の再生機能を有することができる。
用語「含む」、「備える」、およびその他の派生形は、非排他的な包含をカバーすることを意図することにも留意するべきである。それによって、一連の要素を含むプロセス、方法、物品、またはデバイスは、これらの要素を含むだけでなく、明記されていないその他の要素をも含むか、またはプロセス、方法、物品、およびデバイスに固有な要素をも含む。更なる制限がなければ、「1つの~を含む(include one・・・)」というフレーズによって定義される要素は、その要素を含むプロセス、方法、物品、またはデバイスにおける他の同じ要素を除外するものではない。
例示的な実施形態を詳細に参照し、例示的な実施形態の例は、添付の図面に示されている。上記の説明は添付の図面を参照し、添付の図面において、別段の指定がない限り、異なる図面における同一の番号は、同一または同様の要素を表す。上記の例示的な実施形態の説明において記載される実施態様は、本出願に一致する全ての実施態様を表しているわけではない。そうではなく、これらの実施態様は、添付の特許請求の範囲に記載されるような本出願に関連する態様に一致する装置および方法の例にすぎない。
本出願において使用される用語は、特定の実施形態を説明する目的のためのみのものであり、本出願を制限することは意図されていない。文脈上そうでないと明示的に示されない限り、本出願および添付の特許請求の範囲において用いられる単数形の用語「一」、「前記」、および「上記」は、複数形も含むことが意図されている。また、本明細書において用いられる用語「および/または」は、1つまたは複数の関連する記載項目のありとあらゆる可能な組み合わせを示し、含むことを理解されたい。
第1、第2、および第3等の用語が、本明細書において様々な情報を説明するのに用いられる場合があるが、そのような情報は、これらの用語に限定されるべきではないことを理解されたい。これらの用語は、互いに同一の種類の情報を区別するためにのみ用いられる。例えば、本出願の範囲内で、第1の情報は、第2の情報と呼ばれる場合もあり、同様に、第2の情報は、第1の情報と呼ばれる場合もある。文脈に応じて、本明細書において用いられる「場合(if)」という語は、「~のとき(when)」、または「~の際(upon)」、または「判断に応答して(in response to determining)」と解釈される場合がある。
上記の説明は、本出願の例示的な実施形態にすぎず、本出願を制限することを意図したものではない。本出願の趣旨および原則から逸脱することなく行われるあらゆる修正、同等の置き換えまたは改善は、本出願の保護の範囲内にあるものとする。

Claims (9)

  1. 装置本体を備えるバーチャル・リアリティー(VR)・ヘッドマウント装置であって、 前記装置本体が凸レンズと、カメラと、赤外光を反射するための部分反射部分透過レンズと、を備え、前記部分反射部分透過レンズが前記凸レンズの、ユーザから離れた側に位置し、前記カメラが前記凸レンズと前記部分反射部分透過レンズとの間に位置し、前記部分反射部分透過レンズのレンズ表面が前記ユーザの眼の赤外線画像を前記カメラに向けて斜めに反射するように斜めに配設され、
    前記装置本体に設けられた複数の赤外線光源を備え、前記複数の赤外線光源が前記凸レンズと前記ユーザの間に位置し、前記ユーザの眼に赤外光を放射し
    前記複数の赤外線光源の全てが前記凸レンズの周辺に分布し、前記部分反射部分透過レンズが前記凸レンズの、前記ユーザから離れた側に位置し、
    前記複数の赤外線光源はすべて、前記凸レンズの光軸に平行な方向に沿って見たときに、凸レンズの外接矩形のカバレージ領域内且つ前記凸レンズの外側に位置し、前記外接矩形は、 前記凸レンズと同じ横幅、同じ縦高さである、
    バーチャル・リアリティー(VR)・ヘッドマウント装置。
  2. 前記部分反射部分透過レンズが可視光に対して高い透過率、および赤外光に対して低い透過率を有する、請求項1に記載の装置。
  3. 前記部分反射部分透過レンズが赤外線ダイクロイック・ミラーを備える、請求項1に記載の装置。
  4. 前記カメラが前記凸レンズに対し、前記VRヘッドマウント装置のVR表示コンポーネントの表示領域の外側に位置する、請求項1に記載の装置。
  5. 前記部分反射部分透過レンズがプレート形状を有し、前記部分反射部分透過レンズの前記レンズ表面が斜めに下向きに傾けられ、前記カメラが前記装置本体の底部に位置し、前記カメラのレンズが斜めに上向きに配設されている、請求項1に記載の装置。
  6. 前記部分反射部分透過レンズがプレート形状を有し、前記部分反射部分透過レンズの前記レンズ表面が斜めに上向きに傾けられ、前記カメラが前記装置本体の頂部に位置し、前記カメラのレンズが斜めに下向きに配設されている、請求項1に記載の装置。
  7. 前記装置本体が2つの凸レンズを備え、前記部分反射部分透過レンズが前記2つの凸レンズの少なくとも一方に設けられ、前記部分反射部分透過レンズがプレート形状を有し、前記部分反射部分透過レンズの前記レンズ表面が前記2つの凸レンズに向かって傾けられ、前記カメラが前記2つの凸レンズの間に位置する、請求項1に記載の装置。
  8. 前記装置本体がバッフルを備え、前記バッフルが前記凸レンズの、前記ユーザから離れた側に位置し、前記装置本体の前記2つの凸レンズの間に位置し、前記部分反射部分透過レンズが矩形であり、前記部分反射部分透過レンズの水平方向の2つの側縁部が前記バッフルおよび前記装置本体の内壁にそれぞれ当接し、前記カメラが前記バッフルの側面に設置されている、請求項7に記載の装置。
  9. 前記装置本体上に設けられた装置インタフェースを更に備え、前記装置インタフェースが前記装置本体に設置された電子機器に電気的に接続され、前記電子機器がVR表示コンテンツを再生するために使用され、
    前記カメラおよび前記赤外線光源がデータ線を介して前記装置インタフェースに接続されており、前記カメラは、前記装置インタフェースおよび前記データ線を介して前記電子機器によって送信されたスイッチ制御命令を受信すると、前記装置インタフェースおよび前記データ線を介して取得した赤外線画像を前記電子機器に送信するように構成される、
    請求項1に記載の装置。
JP2019546272A 2017-02-27 2018-02-26 バーチャル・リアリティー・ヘッドマウント装置 Active JP6999687B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710108672.8 2017-02-27
CN201710108672.8A CN106932904A (zh) 2017-02-27 2017-02-27 虚拟现实头戴设备
PCT/CN2018/077281 WO2018153368A1 (zh) 2017-02-27 2018-02-26 虚拟现实头戴设备

Publications (2)

Publication Number Publication Date
JP2020508494A JP2020508494A (ja) 2020-03-19
JP6999687B2 true JP6999687B2 (ja) 2022-01-19

Family

ID=59423238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546272A Active JP6999687B2 (ja) 2017-02-27 2018-02-26 バーチャル・リアリティー・ヘッドマウント装置

Country Status (12)

Country Link
US (1) US10996477B2 (ja)
EP (1) EP3564731B1 (ja)
JP (1) JP6999687B2 (ja)
KR (1) KR102397064B1 (ja)
CN (1) CN106932904A (ja)
ES (1) ES2826888T3 (ja)
MY (1) MY195276A (ja)
PH (1) PH12019501870A1 (ja)
PL (1) PL3564731T3 (ja)
SG (1) SG11201907252PA (ja)
TW (1) TWI664443B (ja)
WO (1) WO2018153368A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569339B (zh) * 2016-11-08 2019-11-15 歌尔科技有限公司 Vr头戴设备以及vr头戴设备的控制方法
CN106932904A (zh) 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10788677B2 (en) * 2017-10-03 2020-09-29 Facebook Technologies, Llc Fresnel assembly for light redirection in eye tracking systems
WO2019113942A1 (zh) * 2017-12-15 2019-06-20 歌尔科技有限公司 Vr头戴显示设备及显示方法
US10845594B1 (en) 2017-12-21 2020-11-24 Facebook Technologies, Llc Prism based light redirection system for eye tracking systems
CN108169842B (zh) 2018-01-02 2020-06-26 京东方科技集团股份有限公司 用于智能显示穿戴设备的波导组件及智能显示穿戴设备
KR102493028B1 (ko) * 2018-02-23 2023-01-31 삼성전자주식회사 가시광선 대역의 빛을 흡수할 수 있는 렌즈를 포함하는 카메라 모듈을 이용하여 적외선에 대응하는 이미지를 획득하는 방법 및 이를 구현한 전자 장치
CN108378819B (zh) * 2018-05-02 2023-10-27 重庆贝奥新视野医疗设备有限公司 眼底照相机以及虚拟现实成像设备
CN108521564A (zh) * 2018-05-25 2018-09-11 嘉兴玄视信息科技有限公司 一种虚拟现实一体机
CN109816675A (zh) * 2018-12-28 2019-05-28 歌尔股份有限公司 物体的检测方法、检测装置及存储介质
CN109725416B (zh) * 2019-03-13 2021-09-21 北京七鑫易维信息技术有限公司 眼球追踪光学系统、头戴式设备及成像方法
US11844958B2 (en) * 2019-05-14 2023-12-19 Twenty Twenty Therapeutics Llc Gland treatment devices and methods for treating dry eye disease
CN111580278B (zh) * 2020-06-11 2022-06-17 京东方科技集团股份有限公司 一种ar或vr眼镜
TWI738473B (zh) * 2020-08-19 2021-09-01 宏達國際電子股份有限公司 頭戴式顯示裝置以及眼球追蹤裝置
KR20220072066A (ko) * 2020-11-24 2022-06-02 삼성전자주식회사 카메라를 포함하는 증강 현실 웨어러블 전자 장치
EP4202531A4 (en) 2020-11-24 2024-03-20 Samsung Electronics Co., Ltd. WEARABLE ELECTRONIC DEVICE WITH AUGMENTED REALITY INCLUDING A CAMERA

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008241822A (ja) 2007-03-26 2008-10-09 Mitsubishi Electric Corp 画像表示装置
JP2015015563A (ja) 2013-07-04 2015-01-22 セイコーエプソン株式会社 画像表示装置
DE202016104179U1 (de) 2016-07-29 2016-08-12 Christian Hildebrandt Ausgabegerät zur stereoskopischen Bildwiedergabe
US20160240013A1 (en) 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
WO2016157485A1 (ja) 2015-04-01 2016-10-06 フォーブ インコーポレーテッド ヘッドマウントディスプレイ
WO2017015603A1 (en) 2015-07-23 2017-01-26 New Jersey Institute Of Technology Method, system, and apparatus for treatment of binocular dysfunctions

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121254A (ja) * 1992-10-06 1994-04-28 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JPH08205200A (ja) * 1995-01-27 1996-08-09 Olympus Optical Co Ltd 立体撮像装置
US6043799A (en) * 1998-02-20 2000-03-28 University Of Washington Virtual retinal display with scanner array for generating multiple exit pupils
JPH11249588A (ja) * 1998-02-27 1999-09-17 Shimadzu Corp 頭部装着型表示装置
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8754931B2 (en) 2010-01-08 2014-06-17 Kopin Corporation Video eyewear for smart phone games
US9406166B2 (en) * 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
JP2012168346A (ja) * 2011-02-15 2012-09-06 Casio Comput Co Ltd 閲覧装置
US8692738B2 (en) 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
US9268024B1 (en) * 2012-01-06 2016-02-23 Google Inc. Expectation maximization to determine position of ambient glints
US9147111B2 (en) 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
CN103293673B (zh) * 2013-06-03 2015-04-01 卫荣杰 集成显示器和眼动仪和虹膜识别仪的帽子
KR20150027651A (ko) * 2013-09-04 2015-03-12 (주)판도라나인 스마트폰이 장착되는 두부 탑재형 장치
US9993335B2 (en) * 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
US9706910B1 (en) * 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
US10445573B2 (en) * 2014-06-27 2019-10-15 Fove, Inc. Gaze detection device
CN104407440A (zh) * 2014-11-19 2015-03-11 东南大学 具有视线跟踪功能的全息显示装置
US9684172B2 (en) * 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US9791924B2 (en) 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
US20160370591A1 (en) 2014-12-27 2016-12-22 Fove, Inc. Head mounted display
US9897886B2 (en) * 2015-02-10 2018-02-20 LAFORGE Optical, Inc. Lens for displaying a virtual image
WO2016157486A1 (ja) * 2015-04-01 2016-10-06 フォーブ インコーポレーテッド ヘッドマウントディスプレイ
EP3294113B1 (en) 2015-05-08 2019-09-25 Apple Inc. Eye tracking device and method for operating an eye tracking device
US20160349509A1 (en) 2015-05-26 2016-12-01 Microsoft Technology Licensing, Llc Mixed-reality headset
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
CN105068249A (zh) 2015-08-03 2015-11-18 众景视界(北京)科技有限公司 全息智能眼镜
JP2016127587A (ja) 2015-09-03 2016-07-11 株式会社Fove ヘッドマウントディスプレイ
US10013055B2 (en) 2015-11-06 2018-07-03 Oculus Vr, Llc Eye tracking using optical flow
CN205139485U (zh) * 2015-11-30 2016-04-06 上海圆津电子科技有限公司 一种立体成像的虚拟现实眼镜
US9910282B2 (en) * 2015-12-28 2018-03-06 Oculus Vr, Llc Increasing field of view of head-mounted display using a mirror
US11281003B2 (en) * 2015-12-30 2022-03-22 Dualitas Ltd Near eye dynamic holography
CN106214118A (zh) * 2016-01-28 2016-12-14 北京爱生科贸有限公司 一种基于虚拟现实的眼球运动监测系统
US10459230B2 (en) 2016-02-02 2019-10-29 Disney Enterprises, Inc. Compact augmented reality / virtual reality display
US10424295B2 (en) 2016-02-03 2019-09-24 Disney Enterprises, Inc. Calibration of virtual image displays
US10151924B2 (en) * 2016-02-10 2018-12-11 Nvidia Corporation Holographic reflective slim virtual/augmented reality display system and method
US10455214B2 (en) 2016-03-03 2019-10-22 Disney Enterprises, Inc. Converting a monocular camera into a binocular stereo camera
US10228564B2 (en) 2016-03-03 2019-03-12 Disney Enterprises, Inc. Increasing returned light in a compact augmented reality/virtual reality display
CN205594581U (zh) * 2016-04-06 2016-09-21 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
US9922464B2 (en) 2016-05-10 2018-03-20 Disney Enterprises, Inc. Occluded virtual image display
US10095307B2 (en) * 2016-05-13 2018-10-09 Google Llc Eye tracking systems and methods for virtual reality environments
CN106406509B (zh) * 2016-05-16 2023-08-01 上海青研科技有限公司 一种头戴式眼控虚拟现实设备
US10151927B2 (en) 2016-05-31 2018-12-11 Falcon's Treehouse, Llc Virtual reality and augmented reality head set for ride vehicle
US10429647B2 (en) * 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
CN105929543A (zh) * 2016-06-18 2016-09-07 深圳晨芯时代科技有限公司 一种虚拟现实装置及其虚拟现实眼镜盒子和虚拟现实平板
CN105955491B (zh) * 2016-06-30 2020-07-10 北京上古视觉科技有限公司 一种具有眼控及虹膜识别功能的vr眼镜
CN205942608U (zh) * 2016-06-30 2017-02-08 上海青研科技有限公司 一种用于眼球追踪和虹膜识别的一体化镜杯
US9996984B2 (en) 2016-07-05 2018-06-12 Disney Enterprises, Inc. Focus control for virtual objects in augmented reality (AR) and virtual reality (VR) displays
CN117770757A (zh) * 2016-07-25 2024-03-29 奇跃公司 光场处理器系统
US10203489B2 (en) * 2016-08-02 2019-02-12 Apple Inc. Optical system for head-mounted display
CN106325521B (zh) 2016-08-31 2018-06-29 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
KR102402467B1 (ko) 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
CN106406543A (zh) * 2016-11-23 2017-02-15 长春中国光学科学技术馆 人眼控制vr场景变换装置
CN106932904A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN206573783U (zh) * 2017-02-27 2017-10-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008241822A (ja) 2007-03-26 2008-10-09 Mitsubishi Electric Corp 画像表示装置
JP2015015563A (ja) 2013-07-04 2015-01-22 セイコーエプソン株式会社 画像表示装置
US20160240013A1 (en) 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
WO2016157485A1 (ja) 2015-04-01 2016-10-06 フォーブ インコーポレーテッド ヘッドマウントディスプレイ
WO2017015603A1 (en) 2015-07-23 2017-01-26 New Jersey Institute Of Technology Method, system, and apparatus for treatment of binocular dysfunctions
DE202016104179U1 (de) 2016-07-29 2016-08-12 Christian Hildebrandt Ausgabegerät zur stereoskopischen Bildwiedergabe

Also Published As

Publication number Publication date
CN106932904A (zh) 2017-07-07
KR20190105642A (ko) 2019-09-17
US20190353909A1 (en) 2019-11-21
EP3564731A4 (en) 2020-01-29
JP2020508494A (ja) 2020-03-19
PL3564731T3 (pl) 2021-01-25
KR102397064B1 (ko) 2022-05-11
MY195276A (en) 2023-01-12
WO2018153368A1 (zh) 2018-08-30
TW201831951A (zh) 2018-09-01
EP3564731B1 (en) 2020-09-09
ES2826888T3 (es) 2021-05-19
US10996477B2 (en) 2021-05-04
EP3564731A1 (en) 2019-11-06
SG11201907252PA (en) 2019-09-27
PH12019501870A1 (en) 2020-06-01
TWI664443B (zh) 2019-07-01

Similar Documents

Publication Publication Date Title
JP6999687B2 (ja) バーチャル・リアリティー・ヘッドマウント装置
JP6856863B2 (ja) バーチャル・リアリティー・ヘッドマウント装置
JP7369173B2 (ja) バーチャル・リアリティー・ヘッドマウント装置
KR102380809B1 (ko) 가상현실용 머리-착용형 장치
JP7071384B2 (ja) バーチャルリアリティーヘッドマウント装置
CN112470163A (zh) 用于眼睛跟踪的场内照明和成像
JP2015518199A (ja) 光ガイドディスプレイ及び視野
US11231580B2 (en) Eye tracking device and virtual reality imaging apparatus
US11126000B2 (en) Systems, devices, and methods for increasing resolution in wearable heads-up displays
JP2022039127A (ja) ヘッドマウントディスプレイ
WO2021052190A1 (zh) 电子设备
CN206573783U (zh) 虚拟现实头戴设备
CN115295601A (zh) 显示模组和显示设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191008

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210127

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211222

R150 Certificate of patent or registration of utility model

Ref document number: 6999687

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150