JP2023525839A - 多焦点画像生成装置、ヘッドアップディスプレイ装置、関連する方法およびデバイス - Google Patents

多焦点画像生成装置、ヘッドアップディスプレイ装置、関連する方法およびデバイス Download PDF

Info

Publication number
JP2023525839A
JP2023525839A JP2022569190A JP2022569190A JP2023525839A JP 2023525839 A JP2023525839 A JP 2023525839A JP 2022569190 A JP2022569190 A JP 2022569190A JP 2022569190 A JP2022569190 A JP 2022569190A JP 2023525839 A JP2023525839 A JP 2023525839A
Authority
JP
Japan
Prior art keywords
focal length
focal
imaging
length adjuster
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022569190A
Other languages
English (en)
Other versions
JP7490820B2 (ja
Inventor
マオ,レイ
イエン,ユインフェイ
ゾーン,リヤーンジア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023525839A publication Critical patent/JP2023525839A/ja
Application granted granted Critical
Publication of JP7490820B2 publication Critical patent/JP7490820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/40Optical focusing aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Instrument Panels (AREA)
  • Liquid Crystal (AREA)

Abstract

多焦点画像生成装置、ヘッドアップディスプレイ装置、関連する方法、および装置が提供される。多焦点画像生成装置は、画像生成ユニット、光スプリッタ(203)、および焦点距離調整器(204)を含む。画像生成ユニットは、多焦点画像生成装置の第1の焦点面を生成するように構成される。光スプリッタ(203)は:画像生成ユニットに光分割を実行し、光分割により得られた光ビームを焦点距離調整器(204)の表面に照射する。焦点距離調整器(204)は、多焦点画像生成装置の第2の焦点面を生成するために、焦点距離調整器(204)の表面に照射された光ビームに焦点距離調整を実行するように構成される。焦点距離は、焦点距離調整器(204)を使用することによって柔軟に調整され、その結果、任意の焦点距離の連続調整を実装することができ、任意の数量の焦点面(またはイメージング面)および任意の位置の焦点面を実装することができる。

Description

本出願は、2020年5月15日に中国国家知識産権局に出願され、"MULTI-FOCAL PICTURE GENERATION APPARATUS, HEAD-UP DISPLAY APPARATUS, RELATED METHOD, AND DEVICE"と題する中国特許出願第202010413996.4号に対する優先権を主張しており、その全体は参照により本出願に組み込まれる。
本出願は、画像表示(picture display)技術の分野、特に、多焦点画像生成(multi-focal picture generation)装置、ヘッドアップディスプレイ装置及び関連する方法に関する。
ヘッドアップディスプレイ(Head-up display、HUD)は、並列ディスプレイシステムとも呼ばれ、ドライバー中心の多機能ダッシュボードである。ヘッドアップディスプレイは、ドライバーが頭を下げたり回したりすることなく、可能な限り時速およびナビゲーションなどの重要な運転情報を見ることができるように、ドライバーの前のウインドシールド(windshield(フロントガラス))に、時速およびナビゲーションなどの重要な運転情報を投影するために使用される。図1は、HUDのディスプレイインターフェースの概略図である。図1に示すように、HUDに表示される画像は、時速「4km/h」およびナビゲーション「20m右折矢印」などの情報を含む。
しかし、一般的なHUDに表示される画像と実際の道路上の物体は同じ焦点面上にないため、ドライバーの視界(sight)は道路上の物体とHUDのイメージング面(imaging plane)を行き来して、目の焦点を調整する必要がある。現在のHUDは頭を下げる問題を解決しているが、頻繁な焦点調整は、視覚疲労の原因にもなり、ユーザー体験を低下させる。真に拡張現実(Augmented reality、AR)に基づくHUDを実現するためには、画像生成装置の多焦点面イメージングの技術的課題を解決する必要がある。
本出願は、主に画像生成装置の多焦点面イメージングの技術的問題を解決し、任意の焦点距離の連続調整を実現するために、多焦点画像生成装置、ヘッドアップディスプレイ装置および関連する方法を提供する。
第1の態様によれば、本出願は多焦点画像生成装置を提供する。この装置は、画像生成ユニット、光スプリッタ、および焦点距離調整器を含む。画像生成ユニットは、多焦点画像生成装置の第1の焦点面を生成するように構成され;光スプリッタは:画像生成ユニット上で光分割(optical splitting)を実行し、光分割によって得られた光ビームを焦点距離調整器の表面に照射するように構成され;焦点距離調整器は、焦点距離調整器の表面に照射された光ビームに対して焦点距離調整を実行し、多焦点画像生成装置の第2の焦点面を生成するように構成される。
本出願の技術的な解決策では、焦点距離位置が、焦点距離調整器を使用することによって柔軟に調整され、その結果、任意の焦点距離の連続的な調整を実現し、任意の数量(quantity)の焦点面(またはイメージング面)および任意の位置の焦点面を実現することができる。
可能な実装では、異なる位相情報が焦点距離調整器にロードされて、多焦点画像生成装置が複数の第2の焦点面を生成することを可能にし、異なる位相情報は異なる第2の焦点面に対応する。
本出願の技術的解決策では、位相情報は、焦点距離調整器にロードされて、焦点距離を調整し、焦点面の数量および位置を制御し、それによって、比較的高い柔軟性を達成する。
可能な実装では、焦点距離調整器は、複数のイメージング領域を含み、異なるイメージング領域は、異なる第2の焦点面に対応する。焦点距離調整器のイメージング領域は、ソフトウェアを使用することによって分割され得、任意の境界形状をサポートし、高い柔軟性を有する。
可能な実装では、異なる位相情報が異なるイメージング領域にロードされる。異なる位相情報は、異なるイメージング領域にロードされ、その結果、異なる焦点面の画像を異なる領域に表示することができる。
可能な実装では、画像生成ユニットは光源を含み、光スプリッタは光源によって生成された光ビームを分割するように構成される。アップグレードおよび変更は、画像生成ユニットの光路に基づいて実行され得るため、実装が容易である。
可能な実装では、第2の焦点面が2つの焦点面を含む場合、一方の第2の焦点面の位置は固定され、他方の第2の焦点面の位置は調整可能である。第2の焦点面が複数の焦点面を含む場合、任意の1つまたは複数の焦点面の位置が、調整可能な二焦点面(bifocal plane)または多焦点面を構成するようにランダムに調整され得る。
可能な実装では、焦点距離調整器にロードされる位相情報は、フレネルレンズの位相分布またはゼルニケレンズの位相分布を含む。等価レンズ焦点距離(equivalent lens focal length)が、多焦点画像生成装置を制御して複数の連続した焦点面を生成するために、フレネルレンズまたはゼルニケレンズのものであり、焦点距離調整器にロードされている位相分布パターンを変化させることによって、変えられ得る。
可能な実装では、焦点距離調整器は空間光変調器である。空間光変調器は、位相型の空間光変調器であり得、液晶またはマイクロエレクトロメカニカルシステムに基づいて実装され得る。
第2の態様によれば、本出願は多焦点画像生成方法を提供する。本方法は、多焦点画像生成装置に適用され得、多焦点画像生成装置は、画像生成ユニット、光スプリッタ、および焦点距離調整器を含む。本方法は:画像生成ユニットを使用することによって第1の焦点面を生成すること;光スプリッタを使用することによって画像生成ユニット上で光学分割を実行し、光分割によって得られた光ビームを焦点距離調整器の表面に照射すること;および第2の焦点面を生成するために、焦点距離調整器を使用することによって焦点距離調整器の表面に照射された光ビームに焦点距離調整を実行すること;を含む。
本出願の技術的な解決策では、焦点距離位置が、焦点距離調整器を使用することによって柔軟に調整され、その結果、任意の焦点距離の連続的な調整性(adjustability)を実装することができ、任意の数量の焦点面(またはイメージング面)および任意の位置の焦点面を実装することができる。
可能な実装では、第2の焦点面を生成するために、焦点距離調整器の表面に照射された光ビームに焦点距離調整を実行することは:複数の第2の焦点面を生成するために、焦点距離調整器に異なる位相情報をロードすることを含み、異なる位相情報は異なる第2の焦点面に対応する。
本出願の技術的解決策では、位相情報は、焦点距離調整器にロードされて、焦点距離を調整し、焦点面の数量および位置を制御し、それによって、比較的高い柔軟性を達成する。
可能な実装では、本方法は:焦点距離調整器を複数のイメージング領域に分割することを含み、異なるイメージング領域は異なる第2の焦点面に対応する。焦点距離調整器のイメージング領域は、ソフトウェアを使用することによって分割され得、任意の境界形状をサポートし、高い柔軟性を有する。
可能な実装では、本方法はさらに:異なるイメージング領域に異なる位相情報をロードすることを含む。異なる位相情報は異なるイメージング領域にロードされ、その結果、異なる焦点面の画像を異なる領域に表示することができる。
可能な実装では、画像生成ユニットは光源を含み、光源によって生成された光ビームは光スプリッタを使用することによって分割される。画像生成ユニットの光路に基づいてアップグレードや変更が実行され得るため、実装が容易である。
可能な実装では、第2の焦点面が2つの焦点面を含む場合、本方法は:一方の第2の焦点面の位置を固定すること、および他方の第2の焦点面の位置を調整することを含む。第2の焦点面が複数の焦点面を含む場合、任意の1つまたは複数の焦点面の位置が、調整可能な二焦点面または多焦点面を構成するように、ランダムに調整され得る。
可能な実装では、焦点距離調整器にロードされる位相情報は、フレネルレンズの位相分布またはゼルニケレンズの位相分布を含む。等価レンズ焦点距離が、多焦点画像生成装置を制御して複数の連続した焦点面を生成するために、フレネルレンズまたはゼルニケレンズのものであり、焦点距離調整器にロードされている位相分布パターンを変化させることによって、変えられ得る。
可能な実装では、焦点距離調整器は空間光変調器である。空間光変調器は、位相型の空間光変調器であり得、液晶またはマイクロエレクトロメカニカルシステムに基づいて実装され得る。
第3の態様によれば、本出願はヘッドアップディスプレイ装置を提供する。ヘッドアップディスプレイ装置は、第1の態様または第1の態様の可能な実装のいずれかによる多焦点画像生成装置およびイメージングコンポーネントを含む。多焦点画像生成装置は、複数の第1の画像を生成するように構成され、多焦点画像生成装置は複数の焦点面を有し、異なる焦点面は複数の第1の画像の異なる画像に対応する。イメージングコンポーネントは、人間の目によって受けるために、第2の画像を生成するように複数の第1の画像にイメージングを実行するように構成されている。
ヘッドアップディスプレイ装置に適用されることに加えて、本出願の技術的解決策は、フラットガラスディスプレイまたはプロジェクタなどのディスプレイ装置に適用され得る。連続的に調整可能な焦点面は、多焦点ピクチャーユニットを使用することによって生成されるため、異なるイメージング面に異なる情報を提示することができ、それによってユーザー体験を向上させる。
第4の態様によれば、本出願は、オペレータキャビン(operator cabin(運転室))、オペレータキャビンに取り付けられたウインドシールド、および第3の態様によるヘッドアップディスプレイ装置を含む、ドライビング装置(driving device)を提供する。ヘッドアップディスプレイ装置は、オペレータキャビンに搭載され、ウインドシールドはヘッドアップディスプレイ装置によって生成された第2の画像に対して反射イメージング(reflection imaging)を実行する。
本出願の技術的な解決策は、車載ヘッドアップディスプレイの多焦点面イメージングの技術的な問題を解決することができ、その結果、ユーザーは、運転プロセスにおいて頻繁に焦点を調整する必要がなく、それによってユーザー体験を向上させる。
HUDのディスプレイインターフェースの概略図である。 本出願による多焦点画像生成装置の構造の概略図である。 本出願による多焦点画像生成装置の構造の概略図である。 本出願による多焦点画像生成装置の構造の概略図である。 本出願による多焦点画像生成装置の構造の概略図である。 本出願による多焦点面画像生成装置の構造の概略図である。 本出願による別の多焦点面画像生成装置の構造の概略図である。 本出願によるフレネルレンズの位相分布の図である。 本出願によるフレネルレンズの位相分布の図である。 本出願による二焦点面イメージングの概略図である。 本出願による二焦点面イメージングの概略図である。 本出願による空間光変調器のイメージング領域分割方法の概略図である。 本出願による空間光変調器のイメージング領域分割方法の概略図である。 本出願による空間光変調器のイメージング領域分割方法の概略図である。 本出願による空間光変調器のイメージング領域分割方法の概略図である。 本出願によるイメージング面領域分割方法の概略図である。 本出願によるHUDの構造の概略図である。
本出願の実施形態は、多焦点画像生成装置、ヘッドアップディスプレイ装置、および関連する方法に関する。以下、添付の図面を参照して詳細に説明する。
図2は、本出願による多焦点画像生成装置の構造の概略図である。図2に示すように、多焦点イメージング装置は、光源201、イメージングコンポーネント202、光スプリッタ203、および焦点距離調整器204を含む。光源201は、画像信号による光ビームを生成するように構成される。イメージングコンポーネント202は、レンズ、またはレンズ群などを含み得、多焦点画像生成装置の焦点面1を生成するように、光源201によって生成された光ビームにイメージング(imaging)を実行する。光スプリッタ203は、光源201からの光ビームの一部を分割し、多焦点画像生成装置が異なる焦点面(焦点面2、焦点面3、...、焦点面N)を有し、複数の焦点面を連続的に調整可能であるように、焦点距離調整が、焦点距離調整器204を使用することによって分割された光ビームに実行される。焦点距離調整器204は、空間光変調器(Spatial light modulator、SLM)であり得る。焦点面の位置を変更できるように、任意の位相分布のホログラフィック位相画像がSLMにロードされる。加えて、焦点面位置は、SLMのライトフィールド(light field)振幅、または偏光状態などを変化させることによって代替的に変化され得る。本出願の多焦点画像生成装置によれば、任意の焦点距離の連続的な調整が、連続的な可変イメージング面を生成するために、光路内のイメージングコンポーネントの物理的位置を変えることなく実現することができる。本出願における「焦点面」および「イメージング面」は、同じ空間的位置、言い換えれば光ビームイメージング位置を示し得る。SLMの焦点距離が変化するとき、それに応じて焦点面またはイメージング面は変化する。
図3a~図3cは、本出願による3つの多焦点画像生成装置の構造の概略図である。図3aに示すように、図2の例に基づいて、光源は単色光源301であり得、イメージングコンポーネントはレンズまたはレンズ群302であり得、焦点距離調整器は位相型空間光変調器304であり得る。レンズまたはレンズ群302は、焦点面1を生成するように、単色光源301によって生成された光ビームにイメージングを実行する。位相型空間光変調器304は、複数の連続した焦点面(焦点面2、焦点面3、...、焦点面N)を生成するように、光源からの光スプリッタ303によって分割された光ビームに焦点距離調整を実行する。
図3bに示すように、図3aとの違いは、光源がR、G、B三色光源301であり得る点にある。焦点距離調整器が単一位相型空間光変調器(single phase-type spatial light modulator)304である場合、位相型空間光変調器304はR、G、B三色光源301による時分割多重を実行し得る。例えば、位相型空間光変調器304は、第1の瞬間(first second)にR光源に焦点距離調整を実行し、第2の瞬間にG光源に焦点距離調整を実行し、第3の瞬間にB光源に焦点距離調整を実行する。位相型空間光変調器304は、複数の連続した焦点面(焦点面2、焦点面3、...、焦点面N)を生成するように、R、G、B単色光源のいずれか1つに対して同時に焦点距離調整を実行する。
図3cに示すように、図3aとの違いは、光源がR、G、B三色光源301であり得る点にある。焦点距離調整器が3つの位相型空間光変調器304である場合、各位相型空間光変調器304は、R、G、B光源の1つに焦点距離調整を実行し得る。位相型空間光変調器1はR光源に焦点距離調整を実行し、位相型空間光変調器2はG光源に焦点距離調整を実行し、位相型空間光変調器3はB光源に焦点距離調整を実行する。R、G、B光源によって発せられた光ビームが位相型空間光変調器304によって処理された後、処理された光ビームは、連続した複数の焦点面(焦点面2、焦点面3、...、焦点面N)を生成するように、ビームコンバイナ305を使用することによって合成され得る。
本出願の実施形態では、画像生成ユニット(picture generation unit、PGU)の光路に基づいて変更やアップグレードが実装され得るため、実装が容易である。空間光変調器は焦点距離を調整して焦点面の数量および位置を制御し、それによって、比較的高い柔軟性を達成する。
図4aは、本出願による多焦点平面画像生成装置の構造の概略図である。図4aに示すように、多焦点平面画像生成装置は、PGUモジュール410、空間光変調器420、および光スプリッタ430を含み得る。オプションで、イメージングスクリーン440およびイメージングスクリーン450が、多焦点画像生成装置の異なる焦点面に配置され得る。例えば、イメージングスクリーン440は焦点面1に位置し、イメージングスクリーン450は焦点面2に位置する。PGUモジュール410は、振幅イメージングユニット411およびイメージングコンポーネント412を含み得る。振幅イメージングユニット411は、単色光源または多色光源を含み得る。例えば、図4aはR、G、B三色光源を示している。イメージングコンポーネント412は、レンズまたはレンズ群を含み得る。空間光変調器420は、マイクロエレクトロメカニカルシステム(Microelectromechanical systems、MEMS)に基づいてまたは液晶に基づいて実装され得る。例えば、液晶オンシリコン(liquid crystal on silicon、LCoS)は、液晶に基づいて実装された空間光変調器である。光路上では、イメージングコンポーネント412は、イメージングスクリーン440上に画像を形成するように、振幅イメージングユニット411によって生成された光ビームにイメージングを実行するように構成される。別の光路では、光スプリッタ430は、R、G、B光源のうちのいずれか1つ又は複数に対して光分割を実行する。図4aはG光源に光分割が実行されていることを示している。加えて、光分割は、R、G、Bの三色光源に、時分割多重方式で実行され得る。オプションで、光スプリッタ430によって分割された光ビームの拡散損失を低減するために、光スプリッタ430によって分割された光ビームを、イメージングコンポーネント460を用いてコリメートされ得、その後空間光変調器420の表面に照射され得る。代替的には、偏光子(図示せず)が、空間光変調器の表面に入射する光ビームの偏光状態を空間光変調器のアライメント層方向に揃えるために、空間光変調器420の前に配置され得る。イメージングコンポーネント460は、レンズまたはレンズ群であり得る。空間光変調器420は透過型又は反射型であり得、位相分布が、光ビームを収束させるように等価レンズ機能(equivalent lens function)を実装し、それによってイメージングスクリーン450上に画像を形成するために、空間光変調器420の表面にロードされる。イメージングスクリーン450の位置をランダムに調整することができるように、イメージングスクリーン450の位置は、空間光変調器420の等価レンズ焦点距離を調整することによって変更され得る。イメージングスクリーン450は、散光器(diffusor)、スクリーン、ホワイトペーパーなどを使用することによって実装され得る。イメージングスクリーン450は、焦点面(またはイメージング面)上に配置され、焦点面上で画像を受けるように構成される。
図4bは、本出願による別の多焦点平面画像生成装置の構造の概略図である。図4bに示すように、図4aとの違いは、空間光変調器420の後ろにイメージングスクリーン470が追加されている点である。イメージングスクリーン450およびイメージングスクリーン470は、二つの独立した要素であり得るまたは一体化され得るが、異なる空間位置にある。イメージングスクリーン450と同様に、イメージングスクリーン470の位置もまた、空間光変調器420の等価レンズ焦点距離を調整することによって、調整され得る。
本出願の実施形態では、焦点距離位置は、空間光変調器を使用することによって柔軟に調整され、その結果、任意の焦点距離の連続調整を実装することができ、任意の数量の焦点面(またはイメージング面)および任意の位置の焦点面を実装することができる。
以下は、具体例を参照して、空間光変調器によるイメージングスクリーンの位置調整の原理について説明する。図5aおよび図5bは、本出願によるフレネルレンズの位相分布の図である。焦点距離の異なる2つのフレネルレンズのものであり、図5aおよび図5bに示す位相分布が空間光変調器の表面に別々にロードされると、2つの異なる焦点面が形成され得る、すなわち、イメージングスクリーンの位置が2つの異なる焦点面に調整され得る。フレネルレンズの位相分布は、ライトフィールドを制御するために空間光変調器の表面にロードされる。これはレンズ機能と等価である。フレネル位相のm番目のリングの半径はrm=(2mfλ)1/2であり、ここでλは入射光の波長、fはm番目のリングの位相における等価レンズ焦点距離である。異なる焦点距離のレンズの機能が、焦点面およびイメージングスクリーンの位置を調整するために実装することができるように、空間光変調器に異なる位相分布がロードされることがわかる。
図6aおよび図6bは、本出願による二焦点面画像の概略図である。実際の応用では、1つの焦点面は固定され得、フレネルレンズの焦点距離が、調整可能な二焦点面を構成するようにランダムに調整され得る。図6aは、異なる焦点面上の文字Aおよび文字Bについて生成された画像を示しており、文字Aは文字Bよりも鮮明に見える。この場合、文字Aと文字Bの両方をはっきりと見るために、文字Aおよび文字Bは、異なるイメージングスクリーン(例えば、イメージングスクリーン450およびイメージングスクリーン470)上に別々にイメージングされ得る。図6bは同一焦点面上の文字Aおよび文字Bの画像を示し、文字Aの精細解像度(definition resolution)は文字Bのものとほぼ同じである。この場合、文字Aおよび文字Bの両方を、同一のイメージングスクリーン(例えば、イメージングスクリーン450)上ではっきりと見ることができる。
空間光変調器の表面は、さらにイメージング領域に分割され得、異なるイメージング領域に異なる位相分布をロードして、異なる焦点面を形成する。図7a~図7dは、本出願による空間光変調器の4つのイメージング領域分割方法の概略図である。空間光変調器のイメージング領域は、ソフトウェア構成方法により、任意の数量、任意の形状、および任意の焦点距離の複数のイメージング領域に分割され得る。イメージング領域の数量、形状、焦点距離は、自動車の走行プロセスにおける環境要因(例えば、車、歩行者、道路状況など)に基づいて、決定され得、その結果、異なる焦点面に異なる情報がイメージングされる。図7aに示すように、空間変調器の表面は2つの矩形領域に分割されている。図7bに示すように、空間光変調器の表面は3つの矩形領域に分割されている。図7cに示すように、空間光変調器の表面は2つの不規則な領域に分割されている。図7dに示すように、空間光変調器の表面は3つの不規則な領域に分割されている。図7a~図7dに示す分割方法に加えて、空間光変調器の表面は、代替的に、N個のイメージング領域に分割され得、イメージング領域は、正方形、扇形、三角形、円形、多角形などである。0から255のグレースケール(0から2π位相深度に対応)のパターンが空間光変調器の表面にロードされ、異なる焦点距離のレンズの位相分布が各イメージング領域にロードされ得る。例えば、ゼルニケレンズの位相分布またはフレネルレンズの位相分布が空間光変調器の各イメージング領域にロードされ、位相分布は、ゼルニケ関数(Zernike function(ゼルニケ機能))またはフレネルレンズ関数(Fresnel lens function(フレネルレンズ機能))などのホログラフィックイメージング関数(holographic imaging function(ホログラフィックイメージング機能))を使用することによって実装され得る。異なる焦点面が異なる領域に生成され、各焦点面に形成される画像は2D画像であり得る。空間光変調器の領域は、ソフトウェアを使用することによって分割され得、任意の境界形状をサポートし、高い柔軟性を有する。
図8は、本出願によるイメージング面領域分割方法の概略図である。図8に示すように、人間の目の前の空間位置が、複数のイメージング面領域に分割され得、異なるイメージング面領域は、異なる空間位置に位置し得る。空間光変調器の表面領域が、図7a~図7dに示されるものと同様の方法で分割され、異なる位相分布が、異なるイメージング面(または焦点面)を生成するために、異なる領域にロードされる。例えば、ダッシュボード801およびダッシュボード802が、人の目の前30cmから40cmの位置でイメージングされ、ナビゲーション情報803が、人の目の前2mから3mの位置でイメージングされ、マップ804が、人の目の前3mから5mの位置でイメージングされ、プロンプト情報(例えば、天気または周囲の建物)805が、人の目の前5mから10mの位置でイメージングされる。領域分割は、空間光変調器の表面で実行され、異なる位相分布が、異なる領域にロードされ、その結果、異なる焦点面の画像が異なる領域に表示される。
本出願の実施形態では、異なる位相情報が、焦点面の数量と位置を制御するために、領域分割方式で空間光変調器にロードされ、それによって、比較的高い柔軟性を達成する。したがって、任意の数量の焦点面(またはイメージング面)および任意の位置の焦点面が実装される。
本出願の実施形態における図中の多焦点イメージング装置は、HUD、プロジェクタ、または平面ガラスディスプレイなどのディスプレイデバイスに適用され得る。HUDは説明の例として使用される。図9は、本出願によるHUDの構造の概略図である。図9に示すように、HUDは、上記の実施形態のいずれか1つの多焦点画像生成装置901、およびイメージングスクリーン902を含み得る。多焦点画像生成装置901は、複数の焦点面を有し、複数の画像を生成するように構成される。異なる画像が異なる焦点面に形成される。イメージングスクリーン902は、散光器、スクリーン、ホワイトペーパーなどを含み得る。イメージングスクリーン902は、焦点面上に配置され、異なる焦点面上にあり、画像生成装置901によって生成される画像を受けるように構成される。異なる焦点面上の画像は、1つのイメージングスクリーンを使用することによって受けられ得る、または、複数の焦点面の画像は、複数のイメージングスクリーンを使用することによって(1つのイメージングスクリーンが1つの焦点面に対応する)それぞれ受けられ得る。オプションで、光路折り返しミラーまたは反射鏡などの光学要素が、イメージングスクリーン902の後ろに配置され得、イメージングスクリーン上のイメージング面によって反射された光ビームをウインドシールド903に投影するように構成され、その結果、ウインドシールド上に形成された仮想画像(または画像)904および905が人間の目906によって受けられる。多焦点画像生成装置901の焦点距離は連続的に調整可能であり、その結果、異なるイメージング面が、同じイメージングスクリーンの異なる位置または異なる位置の複数のイメージングスクリーンに生成され、最終的に人間の目は異なる距離の画像を観察する。
本出願で提供されるHUDは、自動車、バス、飛行機などのドライビング装置に適用され得、複数の種類のAR表示シナリオに適用され得る。HUDをドライビング装置に適用する場合、HUDは、ドライビング装置のオペレータキャビンに搭載され得、HUDによって生成された画像は、ドライビング装置のウインドシールドを使用することによって人間の目に映される。
本出願の本実施形態における多焦点画像装置は、HUDに適用され、その結果、HUDの焦点距離は連続的に調整可能であり、異なる情報を異なるイメージング面に提示することができる。したがって、ユーザーは運転プロセスで頻繁に焦点を調整する必要がなく、それによってユーザー体験を向上させる。
本明細書の説明では、特定の特徴、構造、材料、または特性が、実施形態または例のうちのいずれか1つまたは複数において適切な方法で組み合わされ得る。
上記の説明は、本発明の特定の実装にすぎないが、本発明の保護範囲を限定することを意図するものではない。本発明に開示された技術的範囲内で当業者が容易に理解できる変形または置換は、本発明の保護範囲内にあるものとする。したがって、本発明の保護範囲は、請求項の保護範囲に従うものとする。
図2は、本出願による多焦点画像生成装置の構造の概略図である。図2に示すように、多焦点画像生成装置は、光源201、イメージングコンポーネント202、光スプリッタ203、および焦点距離調整器204を含む。光源201は、画像信号による光ビームを生成するように構成される。イメージングコンポーネント202は、レンズ、またはレンズ群などを含み得、多焦点画像生成装置の焦点面1を生成するように、光源201によって生成された光ビームにイメージング(imaging)を実行する。光スプリッタ203は、光源201からの光ビームの一部を分割し、多焦点画像生成装置が異なる焦点面(焦点面2、焦点面3、...、焦点面N)を有し、複数の焦点面を連続的に調整可能であるように、焦点距離調整が、焦点距離調整器204を使用することによって分割された光ビームに実行される。焦点距離調整器204は、空間光変調器(Spatial light modulator、SLM)であり得る。焦点面の位置を変更できるように、任意の位相分布のホログラフィック位相画像がSLMにロードされる。加えて、焦点面位置は、SLMのライトフィールド(light field)振幅、または偏光状態などを変化させることによって代替的に変化され得る。本出願の多焦点画像生成装置によれば、任意の焦点距離の連続的な調整が、連続的な可変イメージング面を生成するために、光路内のイメージングコンポーネントの物理的位置を変えることなく実現することができる。本出願における「焦点面」および「イメージング面」は、同じ空間的位置、言い換えれば光ビームイメージング位置を示し得る。SLMの焦点距離が変化するとき、それに応じて焦点面またはイメージング面は変化する。
空間光変調器の表面は、さらにイメージング領域に分割され得、異なるイメージング領域に異なる位相分布をロードして、異なる焦点面を形成する。図7a~図7dは、本出願による空間光変調器の4つのイメージング領域分割方法の概略図である。空間光変調器のイメージング領域は、ソフトウェア構成方法により、任意の数量、任意の形状、および任意の焦点距離の複数のイメージング領域に分割され得る。イメージング領域の数量、形状、焦点距離は、自動車の走行プロセスにおける環境要因(例えば、車、歩行者、道路状況など)に基づいて、決定され得、その結果、異なる焦点面に異なる情報がイメージングされる。図7aに示すように、空間変調器の表面は2つの矩形領域に分割されている。図7bに示すように、空間光変調器の表面は3つの矩形領域に分割されている。図7cに示すように、空間光変調器の表面は2つの不規則な領域に分割されている。図7dに示すように、空間光変調器の表面は3つの不規則な領域に分割されている。図7a~図7dに示す分割方法に加えて、空間光変調器の表面は、代替的に、N個のイメージング領域に分割され得、イメージング領域は、正方形、扇形、三角形、円形、多角形などである。0から255のグレースケール(0から2π位相深度に対応)のパターンが空間光変調器の表面にロードされ、異なる焦点距離のレンズの位相分布が各イメージング領域にロードされ得る。例えば、ゼルニケレンズの位相分布またはフレネルレンズの位相分布が空間光変調器の各イメージング領域にロードされ、位相分布は、ゼルニケ関数(Zernike function)またはフレネルレンズ関数(Fresnel lens function)などのホログラフィックイメージング関数(holographic imaging function)を使用することによって実装され得る。異なる焦点面が異なる領域に生成され、各焦点面に形成される画像は2D画像であり得る。空間光変調器の領域は、ソフトウェアを使用することによって分割され得、任意の境界形状をサポートし、高い柔軟性を有する。

Claims (27)

  1. 画像生成ユニット、光スプリッタ、および焦点距離調整器を有する画像生成装置であって、
    前記画像生成ユニットは、前記画像生成装置の第1の焦点面を生成するように構成され;
    前記光スプリッタは:前記画像生成ユニット上で光分割を実行し、光分割によって得られた光ビームを前記焦点距離調整器の表面に照射するように構成され;
    前記焦点距離調整器は、前記焦点距離調整器の前記表面に照射された前記光ビームに対して焦点距離調整を実行するように構成される、
    画像生成装置。
  2. 前記焦点距離調整器は、前記画像生成装置の第2の焦点面を生成するように構成される、
    請求項1に記載の画像生成装置。
  3. 異なる位相情報が、前記画像生成装置が複数の第2の焦点面を生成することを可能にするように、前記焦点距離調整器にロードされ、前記異なる位相情報は異なる第2の焦点面に対応する、
    請求項2に記載の画像生成装置。
  4. 前記複数の第2の焦点面は、複数の連続した焦点面である、
    請求項3に記載の画像生成装置。
  5. 前記焦点距離調整器は、複数のイメージング領域を有し、異なるイメージング領域は異なる第2の焦点面に対応する、
    請求項3又は4に記載の画像生成装置。
  6. 異なる位相情報が、前記異なるイメージング領域にロードされる、
    請求項5に記載の画像生成装置。
  7. 前記複数のイメージング領域の数量、形状、または焦点距離のうちの少なくとも1つが動的に設定可能である、
    請求項5又は6に記載の画像生成装置。
  8. 前記画像生成ユニットは光源を有し、前記光スプリッタは、前記光源によって生成された光ビームを分割するように構成される、
    請求項1乃至7のいずれか1項に記載の画像生成装置。
  9. 前記光源は多色光源であり、前記焦点距離調整器は、前記多色光源の異なる色を持つ光源に時分割多重方式で焦点距離調整を実行する、
    請求項8に記載の画像生成装置。
  10. 前記第2の焦点面が2つの焦点面を含むとき、一方の第2の焦点面の位置は固定され、他方の第2の焦点面の位置は調整可能である、
    請求項2乃至7のいずれか1項に記載の画像生成装置。
  11. 前記焦点距離調整器にロードされる前記位相情報は、フレネルレンズの位相分布またはゼルニケレンズの位相分布を含む、
    請求項3乃至7のいずれか1項に記載の画像生成装置。
  12. 前記焦点距離調整器は、空間光変調器である、
    請求項1乃至11のいずれか1項に記載の画像生成装置。
  13. 画像生成方法であって:
    画像生成ユニットを使用することによって第1の焦点面を生成すること;
    光スプリッタを使用することによって前記画像生成ユニット上で光分割を実行し、光分割によって得られた光ビームを焦点距離調整器の表面に照射すること;および
    前記焦点距離調整器を使用することによって、前記焦点距離調整器の前記表面に照射された前記光ビームに焦点距離調整を実行すること;を含む、
    方法。
  14. 画像生成装置の第2の焦点面が、前記焦点距離調整器を使用することによって生成される、
    請求項13に記載の方法。
  15. 画像生成装置の第2の焦点面が、前記焦点距離調整器を使用することによって生成されることは:
    異なる位相情報が、複数の第2の焦点面を生成するために、前記焦点距離調整器にロードされることを含み、前記異なる位相情報は、異なる第2の焦点面に対応する、
    請求項14に記載の方法。
  16. 前記複数の第2の焦点面は、複数の連続した焦点面である、
    請求項15に記載の方法。
  17. 前記方法は:
    前記焦点距離調整器を複数のイメージング領域に分割することを含み、異なるイメージング領域は異なる第2の焦点面に対応する、
    請求項15又は16に記載の方法。
  18. 前記方法はさらに:
    異なる位相情報を前記異なるイメージング領域にロードすることを含む、
    請求項17に記載の方法。
  19. 前記複数のイメージング領域の数量、形状、または焦点距離のうち少なくとも1つが動的に設定可能である、
    請求項17又は18に記載の方法。
  20. 前記画像生成ユニットは光源を含み、前記光源によって生成された光ビームは前記光スプリッタを使用することによって分割される、
    請求項13乃至19のいずれか1項に記載の方法。
  21. 前記光源は多色光源であり、焦点距離調整が、前記多色光源の異なる色を持つ光源に時分割多重方式で前記焦点距離調整器を使用することによって実行される、
    請求項20に記載の方法。
  22. 前記第2の焦点面が2つの焦点面を含むとき、前記方法は:
    一方の第2の焦点面の位置を固定すること、および他方の第2の焦点面の位置を調整することを含む、
    請求項14乃至19のいずれか1項に記載の方法。
  23. 前記焦点距離調整器にロードされる前記位相情報は、フレネルレンズの位相分布またはゼルニケレンズの位相分布を含む、
    請求項15乃至19のいずれか1項に記載の方法。
  24. 前記焦点距離調整器は空間光変調器である、
    請求項13乃至23のいずれか1項に記載の方法。
  25. 請求項1乃至12のいずれか1項に記載の画像生成装置およびイメージングコンポーネントを有するディスプレイ装置であって、
    前記画像生成装置は第1の画像を生成するように構成され;
    前記イメージングコンポーネントは、第2の画像を生成するように前記第1の画像にイメージングを実行するように構成される、
    ディスプレイ装置。
  26. 前記ディスプレイ装置はさらに、イメージングスクリーンを含み、前記イメージングスクリーンは、前記画像生成装置の焦点面上に配置される、
    請求項25に記載のディスプレイ装置。
  27. ドライビング装置であって:オペレータキャビン、前記オペレータキャビン内に取り付けられたウインドシールド、および請求項25または26に記載のディスプレイ装置を有し、前記ディスプレイ装置は、前記オペレータキャビン内に取り付けられ、前記ウインドシールドは、前記ディスプレイ装置によって生成された第2の画像に反射イメージングを実行する、ドライビング装置。
JP2022569190A 2020-05-15 2021-03-20 多焦点画像生成装置、ヘッドアップディスプレイ装置、関連する方法およびデバイス Active JP7490820B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010413996.4 2020-05-15
CN202010413996.4A CN113671699A (zh) 2020-05-15 2020-05-15 一种多焦图像生成装置、抬头显示装置、相关方法及设备
PCT/CN2021/081944 WO2021227657A1 (zh) 2020-05-15 2021-03-20 一种多焦图像生成装置、抬头显示装置、相关方法及设备

Publications (2)

Publication Number Publication Date
JP2023525839A true JP2023525839A (ja) 2023-06-19
JP7490820B2 JP7490820B2 (ja) 2024-05-27

Family

ID=78526333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022569190A Active JP7490820B2 (ja) 2020-05-15 2021-03-20 多焦点画像生成装置、ヘッドアップディスプレイ装置、関連する方法およびデバイス

Country Status (6)

Country Link
US (1) US20230074131A1 (ja)
EP (1) EP4134728A4 (ja)
JP (1) JP7490820B2 (ja)
KR (1) KR20230003218A (ja)
CN (3) CN113671699A (ja)
WO (1) WO2021227657A1 (ja)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013032087A (ja) * 2011-08-01 2013-02-14 Denso Corp 車両用ヘッドアップディスプレイ
CN103376551B (zh) * 2012-04-23 2017-04-19 北京蚁视昂维科技有限公司 小孔投射式近眼显示器
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
JP6271006B2 (ja) 2014-06-13 2018-01-31 三菱電機株式会社 虚像表示装置
CN105785569A (zh) * 2014-12-25 2016-07-20 比亚迪股份有限公司 一种车载抬头显示系统
CN104932104B (zh) * 2015-06-03 2017-08-04 青岛歌尔声学科技有限公司 一种可变焦光学系统及抬头显示系统
JP6516642B2 (ja) * 2015-09-17 2019-05-22 アルパイン株式会社 電子装置、画像表示方法および画像表示プログラム
CN111752046B (zh) * 2015-10-15 2023-06-02 麦克赛尔株式会社 平视显示装置
CN105607393A (zh) * 2015-12-24 2016-05-25 中国人民解放军装甲兵工程学院 利用相位型空间光调制器的可变焦投影显示系统
US9946070B2 (en) * 2016-03-08 2018-04-17 Sharp Kabushiki Kaisha Automotive head up display
JP6409015B2 (ja) * 2016-03-29 2018-10-17 矢崎総業株式会社 車両用投影表示装置
US10055867B2 (en) * 2016-04-25 2018-08-21 Qualcomm Incorporated Accelerated light field display
CN107329256B (zh) * 2016-04-28 2022-04-05 江苏慧光电子科技有限公司 显示装置及其控制方法
CN109477967A (zh) * 2016-05-11 2019-03-15 威瑞股份公司 具可变焦平面的抬头显示系统
KR20180025130A (ko) * 2016-08-31 2018-03-08 재단법인 구미전자정보기술원 가변초점 거리 조절용 허드 시스템
GB2557227A (en) * 2016-11-30 2018-06-20 Jaguar Land Rover Ltd Multi-depth display apparatus
CN106526867B (zh) * 2017-01-22 2018-10-30 网易(杭州)网络有限公司 影像画面的显示控制方法、装置及头戴式显示设备
US20190116344A1 (en) 2017-10-17 2019-04-18 Visteon Global Technologies, Inc. Multiple image plane head-up display
CN207366832U (zh) * 2017-10-27 2018-05-15 惠州市华阳多媒体电子有限公司 一种增强现实抬头显示器双光路结构
CN207752239U (zh) * 2017-12-25 2018-08-21 宁波均胜科技有限公司 一种车载增强现实抬头显示系统
CN108399903B (zh) * 2018-03-27 2020-11-27 京东方科技集团股份有限公司 一种成像位置的调节方法及装置、平视显示系统

Also Published As

Publication number Publication date
KR20230003218A (ko) 2023-01-05
JP7490820B2 (ja) 2024-05-27
CN115298595A (zh) 2022-11-04
EP4134728A4 (en) 2023-10-11
WO2021227657A1 (zh) 2021-11-18
US20230074131A1 (en) 2023-03-09
CN114326118A (zh) 2022-04-12
CN113671699A (zh) 2021-11-19
EP4134728A1 (en) 2023-02-15

Similar Documents

Publication Publication Date Title
US20230073664A1 (en) Multi-focal-plane image generation apparatus, head-up display apparatus, related method, and device
KR101197948B1 (ko) 특히 차량에서 가상 영상에 의해 광학 정보를 표시하는장치
JPH07270711A (ja) 情報表示装置
US20190116344A1 (en) Multiple image plane head-up display
US11561396B2 (en) Head-up display device and transportation device
US10955673B2 (en) Devices for data superimposition
JPH0396913A (ja) 画像表示装置
KR20050083548A (ko) 입체화상표시장치
US11360303B2 (en) Head up display system and display method of head up display system
US10642035B2 (en) Laser projection arrangement and process for the generation of virtual images
JP7490820B2 (ja) 多焦点画像生成装置、ヘッドアップディスプレイ装置、関連する方法およびデバイス
CN112335237A (zh) 显示三维图像的立体显示系统和方法
KR101610275B1 (ko) 가변초점 허드 시스템
JP2016126122A (ja) ホログラム表示装置
WO2019151314A1 (ja) 表示装置
JP7121349B2 (ja) 表示方法及び表示装置
CN214751108U (zh) 基于mems阵列的车载成像装置
CN114815241B (zh) 抬头显示系统、方法及车载系统
JP7111071B2 (ja) ヘッドアップディスプレイ装置
CN117590611A (zh) 一种多焦面显示系统、用于汽车的抬头显示系统及层析方法
CN115469462A (zh) 抬头显示器及抬头显示设备
CN114690411A (zh) 基于mems阵列的车载成像装置
CN115097635A (zh) 一种抬头显示装置
JPWO2019070079A1 (ja) 表示装置及びこれによる表示方法
JPH0916061A (ja) ホログラム表示システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240515

R150 Certificate of patent or registration of utility model

Ref document number: 7490820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150