JP6784058B2 - 情報表示装置 - Google Patents

情報表示装置 Download PDF

Info

Publication number
JP6784058B2
JP6784058B2 JP2016102552A JP2016102552A JP6784058B2 JP 6784058 B2 JP6784058 B2 JP 6784058B2 JP 2016102552 A JP2016102552 A JP 2016102552A JP 2016102552 A JP2016102552 A JP 2016102552A JP 6784058 B2 JP6784058 B2 JP 6784058B2
Authority
JP
Japan
Prior art keywords
brightness
image
viewer
age
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016102552A
Other languages
English (en)
Other versions
JP2017211424A (ja
Inventor
翔太 小橋川
翔太 小橋川
由美子 岸
由美子 岸
裕紀 平口
裕紀 平口
直樹 坂井
直樹 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016102552A priority Critical patent/JP6784058B2/ja
Priority to PCT/JP2017/017404 priority patent/WO2017203964A1/en
Priority to US16/099,477 priority patent/US10831022B2/en
Priority to EP17726713.5A priority patent/EP3465327B1/en
Publication of JP2017211424A publication Critical patent/JP2017211424A/ja
Application granted granted Critical
Publication of JP6784058B2 publication Critical patent/JP6784058B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0033Operational features thereof characterised by user input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/06Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision
    • A61B3/066Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision for testing colour vision
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Instrument Panels (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Semiconductor Lasers (AREA)

Description

本発明は、情報表示装置に関する。
運転者が少ない視線移動で警報・情報を認知できるアプリケーションとして、車両に搭載するヘッドアップディスプレイ(以降、HuDと称する場合がある)の技術開発が進んでいる。特に、ADAS(Advanced Driving Assistance System)という言葉に代表される車載センシング技術の進展に伴い、車両は様々な走行環境情報及び車内乗員の情報を取り込むことができるようになっており、それらの情報を運転者に伝える「ADASの出口」としてもHuDが注目されている。
情報表示装置であるHuDに対しては、市場からコンパクト性や視認ストレスの低さについての要求があるが、中でも視認ストレスの低さは重要である。つまり、HuDの映像は常に運転者の視界周辺に表示されるため、運転者の個人差等に応じたストレスのない映像表現が求められており、これに対応した技術が提案されている。
例えば、車両の状況に関する情報を取得し、車両の状況に関する情報に基づいて、ヘッドアップディスプレイで表示すべき情報を判断する情報表示判断部と、車両の前方を撮影した画像を取得する画像処理部と、運転者の視線の方向を検出する視線方向検出部と、車両の前方の画像及び運転者の視線の方向に基づいて、運転者の視野に対応する画像である仮想視野画像を作成する仮想視野構築部と、仮想視野画像及び車両の状況に基づいて、ヘッドアップディスプレイで 表示する情報のレイアウトを決定する表示処理部とを備えた情報表示装置が挙げられる(例えば、特許文献1参照)。
しかしながら、上記の情報表示装置では、車両の前方を撮影した画像をセンサ等により検出し、検出した結果に応じて表示する情報のレイアウトを変更することを提案しているが、検出及び制御について非常に煩雑な機構が必要となりコストが上昇する問題がある。
本発明は、上記に鑑みてなされたものであり、簡易な構成により視認ストレスを低減可能な情報表示装置を提供することを課題とする。
本情報表示装置は、画像を形成する光を透過反射部材に照射し、前記透過反射部材を介して前記画像の虚像を視認させる情報表示装置であって、前記画像の生成に用いる、それぞれ異なるピーク発光波長を有する複数の光源と、前記虚像の視認者の視覚と関連する情報が入力される視覚関連情報入力部と、前記視覚関連情報入力部に入力された前記情報に基づいて、前記複数の光源の輝度を独立に調整する輝度調整部と、を有し、前記情報は、前記視認者の年齢であり、前記輝度調整部は、前記視認者の年齢が所定の年齢以上である場合には、前記複数の光源のうち青の光源の輝度の初期設定値を、赤の光源の輝度又は緑の光源の輝度の初期設定値に上乗せすることで、赤の光源の輝度又は緑の光源の輝度を初期設定値よりも高く調整することを要件とする。
開示の技術によれば、簡易な構成により視認ストレスを低減可能な情報表示装置を提供できる。
第1の実施の形態に係る情報表示装置を例示する模式図である。 第1の実施の形態に係る情報表示装置の光学部の構成を例示する図である。 第1の実施の形態に係る情報表示装置のハードウェア構成を例示するブロック図である。 第1の実施の形態に係る情報表示装置の機能を例示するブロック図である。 第1の実施の形態に係る輝度調整を例示するフローチャートである。 年齢に対する輝度調整係数の関係を例示する図である。 画像を快適に視認できる明るさであるかを主観評価した結果を例示する図である。 第2の実施の形態に係る輝度調整を例示するフローチャートである。 第3の実施の形態に係る輝度調整を例示するフローチャートである。 視認者の視覚特性のチェック方法の一例を示す図である。
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
〈第1の実施の形態〉
[情報表示装置の概要]
図1は、第1の実施の形態に係る情報表示装置を例示する模式図である。図1を参照するに、情報表示装置1は、自車両900に搭載されている。情報表示装置1は、所定の画像を視認者Vの前方のフロントウィンドシールド910に投影し、視認者Vの視界に虚像Iとして重畳して表示する機能を有する、所謂ヘッドアップディスプレイ(HuD)である。なお、視認者Vは、ここでは自車両900の乗員である運転者である。フロントウィンドシールド910は、入射光の一部を透過させ、残部の少なくとも一部を反射させる透過反射部材としても機能する。
情報表示装置1は、自車両900のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両900内のダッシュボード上に配置することができる。情報表示装置1を自車両900のダッシュボード内に埋め込んでもよい。情報表示装置1は、主要な構成要素として、光学部10と、電気部20とを有している。
但し、本実施の形態では、情報表示装置1を自車両900に搭載する例を示すが、これには限定されない。情報表示装置1は、例えば、車両、航空機、船舶、産業用ロボット等の移動体に搭載され、移動体のフロントウィンドシールドを介して、移動体の操縦に必要なナビゲーション情報を視認可能にする。ここで、ナビゲーション情報とは、例えば、移動体の速度、進行方向、目的地までの距離、現在地名称、移動体前方における物体(現実物体)の有無や位置、制限速度等の標識、渋滞情報等の情報である。
情報表示装置1の投射方式としては、パネル方式やレーザ走査方式を採用することができる。パネル方式は、液晶パネル、DMDパネル(デジタルミラーデバイスパネル)、蛍光表示管(VFD)等のイメージングデバイスで中間像を形成する方式である。一方、レーザ走査方式は、レーザ光源から射出されたレーザビームを2次元走査デバイスで走査し中間像を形成する方式である。
レーザ走査方式は、全画面発光の部分的遮光で画像を形成するパネル方式とは違い、各画素に対して発光/非発光を割り当てることができるため、一般に高コントラストの画像を形成することができる点で好適である。本実施の形態では、情報表示装置1の投射方式としてレーザ走査方式を採用する例を示すが、これには限定されない。
図2は、第1の実施の形態に係る情報表示装置の光学部の構成を例示する図である。図2を参照するに、光学部10は、大略すると、光源部101と、光偏向器102と、ミラー103と、スクリーン104と、凹面ミラー105とを有している。
光学部10からフロントウィンドシールド910に対して画像を形成する光(画像光)を照射することにより、視認者Vの視点位置E(左右の目の中間点)から画像の虚像Iを視認可能にすることができる。つまり、視認者Vは、光学部10のスクリーン104に形成(描画)される画像(中間像)を、フロントウィンドシールド910を介して虚像Iとして視認することができる。この中間像は、視認者Vに対して情報を提供するための情報提供画像である。
以下、光学部10の構成例について詳しく説明する。光源部101は、光源であるレーザ1010R、1010G、及び1010Bと、光路合成部1011と、光学系1012とを有している。レーザ1010R、1010G、及び1010Bのピーク発光波長は、それぞれ異なる。
レーザ1010Rは赤(R)の光源であり、例えば、ピーク発光波長が600nm以上680nm未満の波長のレーザビームを出射する赤色半導体レーザを用いることができる。レーザ1010Gは緑(G)の光源であり、例えば、ピーク発光波長が495nm以上570nm未満の波長のレーザビームを出射する緑色半導体レーザを用いることができる。レーザ1010Bは青(B)の光源であり、ピーク発光波長が450nm以上495nm未満の波長のレーザビームを出射する青色半導体レーザを用いることができる。
レーザ1010R、1010G、及び1010Bから出射された各レーザビームは、必要に応じて設けられるカップリングレンズやアパーチャ等を透過後、ダイクロイックミラー等である光路合成部1011で合成される。合成後のレーザビームは、光学系1012により光偏向器102の反射面に導かれる。光学系1012は、例えば、複数のレンズを組み合わせて構成できる。
光偏向器102の反射面に導かれたレーザビームは、光偏向器102により2次元的に偏向される。光偏向器102としては、例えば、直交する2軸に対して揺動する1つの微小なミラーや、1軸に揺動又は回動する2つの微小なミラー等を用いることができる。光偏向器102は、例えば、半導体プロセス等で作製されたMEMS(Micro Electro Mechanical Systems)とすることができる。光偏向器102は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。光偏向器102として、ガルバノミラーやポリゴンミラー等を用いてもよい。
光偏向器102により2次元的に偏向されたレーザビームは、ミラー103に入射し、ミラー103により折り返され、スクリーン104の表面(被走査面)上に2次元の画像(中間像)を描画する。ミラー103としては、例えば凹面鏡を用いることができるが、凸面鏡や平面鏡を用いてもよい。スクリーン104としては、レーザビームを所望の発散角で発散させる機能を有するマイクロレンズアレイやマイクロミラーアレイを用いると好適であるが、レーザビームを拡散させる拡散板、表面が平滑な透過板や反射板等を用いてもよい。
スクリーン104から射出されたレーザビームは、凹面ミラー105で反射され、フロントウィンドシールド910に入射する。フロントウィンドシールド910への入射光束の一部はフロントウィンドシールド910を透過し、残部の少なくとも一部は視点位置Eに向けて反射される。この結果、視認者Vはフロントウィンドシールド910を介して中間像の拡大された虚像Iを視認可能となる、すなわち、視認者Vから見て虚像Iがフロントウィンドシールド910越しに拡大表示される。
通常、フロントウィンドシールド910は、平面ではなく僅かに湾曲している。このため、凹面ミラー105とフロントウィンドシールド910の曲面とにより、虚像Iの結像位置が決定される。
又、ミラー103及び凹面ミラー105の少なくとも一方は、フロントウィンドシールド910の影響で中間像の水平線が上又は下に凸形状となる光学歪み要素を補正するように設計、配置されることが好ましい。
なお、フロントウィンドシールド910よりも視点位置E側に透過反射部材としてコンバイナを配置してもよい。コンバイナに凹面ミラー105からの光を照射するようにしても、フロントウィンドシールド910に凹面ミラー105からの光を照射した場合と同様に、虚像Iを表示することができる。
図3は、第1の実施の形態に係る情報表示装置のハードウェア構成を例示するブロック図である。図3を参照するに、電気部20は、FPGA201と、CPU202と、ROM203と、RAM204と、I/F205と、バスライン206と、LDドライバ207と、MEMSコントローラ208とを有している。FPGA201、CPU202、ROM203、RAM204、及びI/F205は、バスライン206を介して相互に接続されている。
FPGA201は、LDドライバ207を介して光学部10の光源部101のレーザ1010R、1010G、及び1010Bを駆動する。又、FPGA201は、MEMSコントローラ208を介して光学部10の光偏向器102を動作させる。
CPU202は、情報表示装置1の各機能を制御する。ROM203は、CPU202が情報表示装置1の各機能を制御するために実行するプログラムを記憶している。RAM204は、CPU202のワークエリアとして使用される。
I/F205は、他の機器等と接続するためのインターフェイスであり、例えば、自動車のCAN(Controller Area Network)、外部ネットワーク、タッチパネルやキーボード等の入力機器と接続される。
図4は、第1の実施の形態に係る情報表示装置の機能を例示するブロック図である。図4を参照するに、情報表示装置1は、車両情報入力部800、外部情報入力部801、視覚関連情報入力部802、画像データ生成部820、及び画像描画部840を備えている。図3に示したCPU202が所定のプログラムを実行し、必要に応じて他のハードウェア資源と協働することにより、図4に示す各ブロックの機能を実現することができる。但し、図4に示す各ブロックの機能の全部又は一部は、FPGA等のハードウェアにより実現してもよい。
車両情報入力部800には、CAN等から車両の情報(速度、走行距離等の情報)が入力される。外部情報入力部801には、外部ネットワークから車両外部の情報(GPSからのナビ情報等)が入力される。視覚関連情報入力部802には、例えばタッチパネルやキーボード等の入力機器から、虚像の視認者の視覚に関する情報が入力される。車両情報入力部800、外部情報入力部801、及び視覚関連情報入力部802に入力された情報は、画像データ生成部820に伝達される。
画像データ生成部820は、車両情報入力部800、外部情報入力部801、及び視覚関連情報入力部802の少なくとも1つから入力される情報に基づいて、描画すべき画像の画像データを生成する。生成された画像データは、画像描画部840に送られる。
画像データ生成部820は、輝度調整部8210を備えている。輝度調整部8210は、画像データを生成する際に、視覚関連情報入力部802から情報が入力されていない場合には、情報表示装置1において輝度の初期設定値(調整前の輝度)を、画像データの一部として画像描画部840に送る。輝度調整部8210は、画像データを生成する際に、視覚関連情報入力部802から情報が入力されている場合には、視覚関連情報入力部802から得た情報に基づいて各光源の輝度を独立に調整し、調整後の輝度を画像データの一部として画像描画部840に送る。
画像描画部840は、制御部8410を備え、制御部8410によって画像データに応じて光学部10が制御されることにより、フロントウィンドシールド910に光を照射する。結果として、視認者Vの視点位置Eから虚像Iが視認可能となる。画像データには、輝度調整部8210からの輝度の情報が含まれているため、輝度調整部8210からの輝度の情報に基づいた虚像Iが視認可能となる。
[視覚関連情報入力部802から得た情報に基づく輝度調整]
ここでは、視覚関連情報入力部802に、虚像の視認者の視覚に関する情報として、『視認者の年齢』が入力された場合について説明する。なお、視認者の年齢によって、RGBの各色に対する見えやすさが変わるため、視認者の年齢は、虚像の視認者の視覚に関する情報である。
図5は、第1の実施の形態に係る輝度調整を例示するフローチャートである。まず、ステップS301では、視覚関連情報入力部802に情報入力可能に構成されたタッチパネルやキーボード等の入力機器から、虚像の視認者の年齢を入力する。
視覚関連情報入力部802に入力された虚像の視認者の年齢の情報は、画像データ生成部820に伝達される。なお、虚像の視認者の年齢は、視認者自身が入力機器から入力してもよいし、車両の同乗者等が視認者に代わって入力機器から入力してもよい。
次に、ステップS302では、画像データ生成部820の輝度調整部8210は、視覚関連情報入力部802から得た視認者の年齢に基づいて輝度調整を行う。例えば、情報表示装置1において、初期設定値として、レーザ1010R、1010G、及び1010Bに対して、輝度IR1、IG1、及びIB1が設定されている場合、輝度調整部8210は視覚関連情報入力部802から得た視認者の年齢に基づいて、輝度IR1、IG1、及びIB1を輝度IR2、IG2、及びIB2に調整する。
輝度IR2、IG2、及びIB2は、例えば、視覚関連情報入力部802から得た視認者の年齢に基づいて、調整係数G(AGE)、B(AGE)を初期設定値であるIG1及びIB1に乗じて求めることができる。つまり、IG2=G(AGE)×IG1、IB2=B(AGE)×IB1である。
なおIR1については輝度の調整を行わず(調整係数を1とし)、IR2=IR1とする。これは赤色の画像については、視認者の年齢に対して視覚特性が大きく変化せず、高齢者であっても調整せずに視認できるためである。
一例として、調整係数G(AGE)及びB(AGE)を、図6に示すように、年齢(AGE)に対応して変更する。図6の例では、何れも60歳までは調整係数を1.0として初期設定値の輝度は変化させない。これに対し、60歳以上では、視認者の年齢が高いほど、複数の光源のうち青及び緑の光源の輝度を初期設定値よりも高く調整する。
具体的には、年齢の増加につれて線形に調整係数を増加させる。増加させる割合は80歳でG(AGE)は2.0、B(AGE)は3.0となるようにする。なお、図6の調整係数G(AGE)及びB(AGE)は、様々な年齢の視認者に対する知覚実験等により求めることができるものであり、図6の例には限定されない。
例えば、図6のデータ(各年齢に対する、輝度IR1、IG1、及びIB1と、輝度IR2、IG2、及びIB2との関係)をテーブルや関数としてROM203に記憶しておき、輝度調整部8210がROM203から年齢に対応する輝度の調整係数を読み出すことで、輝度の調整が可能となる。調整後の輝度は、画像データの一部として画像描画部840に送られる。
次に、ステップS303では、画像描画部840の制御部8410は、画像データに応じて光学部10を制御し、フロントウィンドシールド910に光を照射する。この際、視認者の年齢が60歳未満であれば、IR2=IR1、IG2=IG1、IB2=IB1として、レーザ1010R、1010G、及び1010Bの電流値が独立に制御され、輝度の調整されていない虚像が視認可能となる。
一方、視認者の年齢が60歳以上であれば、IR2=IR1、IG2=G(AGE)×IG1、IB2=B(AGE)×IB1として、レーザ1010R、1010G、及び1010Bの電流値が独立に制御され、所望の輝度の虚像が視認可能となる。
なお、以上では所定年齢を60歳として説明したが、これには限定されない。例えば図6において、調整係数を変化させる閾値を60歳以外としてもよい。又、図6の例では、調整係数の増加を年齢に対し線形としたが、これに限らず、二次関数等の非線形な増加としてもよいし、ある年齢の範囲では一定とし異なる年齢の範囲になると変化する階段状のグラフにしてもよい。
又、図6の例では、60歳以上で調整係数B(AGE)をG(AGE)よりも大きくしているが、これは、高齢者は短波長になるほど視覚特性が悪化する傾向にあるため、高齢者ではB(AGE)を大きくすることで視認性が向上すると考えたためである。必要に応じ、調整係数B(AGE)をG(AGE)と同じ値にしてもよいし、調整係数をかけるのをB(AGE)のみにし、G(AGE)はR(AGE)と同様に調整を行わない構成にしてもよい。
なお、「水晶体加齢モデルによる高齢者の照明シミュレーションと最適照度の検討」(照明学会 照明学会誌 第82巻 第8A号 平成10年)の年齢別の目の水晶体の分光透過率モデルによると、ピーク発光波長が520nm未満の光源を使っている場合、目の水晶体の分光透過率は、高齢者(60歳以上〜80歳以下)では若年者(22歳)に対して30〜50%低下する。
このことから、高齢者に対しては、視認者の年齢が高いほど、複数の光源のうちピーク発光波長が520nm未満の光源の輝度を初期設定値よりも高く調整することが有効であると考えられる。すなわち、調整係数をかけるのをB(AGE)のみにするか、或いはB(AGE)及びG(AGE)にすることが有効である。
具体的には、ピーク発光波長が520nm未満の光源を使っている場合には、これを補うために、高齢者(60歳以上〜80歳以下)に対する輝度の設定値を初期設定値に対して1.4〜2.0倍程度上昇させることが望ましい。例えば輝度の初期設定値が5000cd/mの場合、高齢者(60歳以上〜80歳以下)に対する輝度の設定値は7000〜10000cd/mにすることが望ましい。
このように、第1の実施の形態では、情報表示装置1において、視覚関連情報入力部802に入力される虚像の視認者の年齢に基づいて、レーザ1010R、1010G、及び1010Bの各色の一部又は全部について、輝度を調整する(調整後の輝度になるように各レーザの電流値を調整する)。これにより、視認者の視覚特性の個人差によらず視認者が表示画像を認識しやすくする。より具体的には、高齢者が認識しにくい色について高輝度にすることができるため、高齢者における虚像の視覚特性が向上する。この効果について、図7を参照して更に詳しく説明する。
図7は、画像を快適に視認できる明るさであるかを主観評価した結果を例示する図であり、ある青色の自動車の塗装面を背景として、情報表示装置1の青色の表示画像を視認者が見た際に、画像を快適に視認できる明るさであるかを主観評価した結果を示している。具体的には、評価項目として、画像の内容を視認できるか、及び眩しく感じることはないかを被験者に確認した結果であり、被験者の各年齢に対して画像の明るさが快適な明るさに対してどの程度であるかを示したものである。なお、図7の梨地模様は、快適な明るさの範囲を示している。
図7の(1)は、従来の情報表示装置の例であり、輝度を年齢によらず一定とした構成である。(1)の構成では、60歳未満の被験者は快適な明るさであると判断したのに対し、高齢になるにつれて青色の画像を視認できなくなり、快適な明るさの範囲から外れる結果になった。
図7の(2)は、従来の情報表示装置の例であり、輝度を年齢によらず一定とした構成であって、輝度を(1)より高く設定したものである。(2)の構成では、60歳以上の被験者は快適な明るさであると判断したのに対し、60歳未満の被験者では眩しすぎてしまい、快適な明るさの範囲から外れる結果になった。
図7の(3)は、本実施の形態に係る情報表示装置1の例である。(3)の構成では、視覚関連情報入力部802に視認者の年齢を入力し、60歳以上の場合に図6に従って青及び緑も輝度を高めている。その結果、60歳以上の被験者が画像を認知できるようにしながら、かつ60歳未満の被験者が眩しく感じないようにすることができ、年齢によらず快適に表示画像(虚像)を視認できることがわかった。
なお、上の説明は、視覚関連情報入力部802に、虚像の視認者の視覚に関する情報として、『視認者の年齢』が入力された場合について説明した。しかし、視覚関連情報入力部802に入力される虚像の視認者の視覚に関する情報は、視認者の視覚特性に影響を与える因子であればよく、年齢には限らない。例えば、虚像の視認者の視覚に関する情報は、『視認者の疲労状態』や『視認者の視力』であってもよい。
又、視覚特性だけでなく個人の嗜好も生じるので、輝度値を視認者が直接調整する機能を持たせてもよい。
〈第1の実施の形態の変形例〉
第1の実施の形態の変形例では、青の画像を赤又は緑がかった画像とする例を示す。
例えば、図5のステップS302において、視認者の年齢が所定の年齢以上(例えば、60歳以上)である場合には、複数の光源のうち青の光源の輝度の初期設定値を、赤の光源の輝度又は緑の光源の輝度の初期設定値に上乗せすることで、赤の光源の輝度又は緑の光源の輝度を初期設定値よりも高く調整する。
具体的には、例えば、図5のステップS302において、視認者の年齢が60歳以上の場合に、IR2=IR1+IB1、IG2=IG1、IB2=IB1、とする。或いは、視認者の年齢が60歳以上の場合に、IR2=IR1、IG2=IG1+IB1、IB2=IB1、とする。
これにより、B(青)の光源で表示していた画像に対し、視認者の年齢が60歳以上では、R(赤)又はG(緑)の輝度を上昇させることになり、青の画像が赤又は緑がかった画像となる。そのため、特に青色が見にくくなる高齢者に対して虚像の視認性を向上することができる。
なお、上記の場合、更にB(青)の輝度を初期設定値より下げてもよい。つまり、年齢が60歳以上の場合に、IR2=IR1+IB1、IG2=IG1、IB2=α×IB1(α<1)、としてもよい。或いは、IR2=IR1、IG2=IG1+IB1、IB2=α×IB1(α<1)、としてもよい。
〈第2の実施の形態〉
第2の実施の形態では、視覚関連情報入力部802に、虚像の視認者の視覚に関する情報として、『色弱の有無(色覚以上の有無)』が入力された場合について説明する。なお、色弱の有無によって、RBGの各色に対する見えやすさが変わるため、色弱の有無は、虚像の視認者の視覚に関する情報である。
輝度調整部は、視認者に色覚異常が有る場合には、例えば、複数の光源のうち赤及び緑の光源の輝度を、視認者に色覚異常がない場合の輝度よりも高く調整することができる。以下、より具体的に説明する。
図8は、第2の実施の形態に係る輝度調整を例示するフローチャートである。まず、ステップS401では、視覚関連情報入力部802に情報入力可能に構成されたタッチパネルやキーボード等の入力機器から、虚像の視認者の色弱の有無を入力する。
視覚関連情報入力部802に入力された虚像の視認者の色弱の有無の情報は、画像データ生成部820に伝達される。なお、虚像の視認者の色弱の有無は、視認者自身が入力機器から入力してもよいし、車両の同乗者等が視認者に代わって入力機器から入力してもよい。
次に、ステップS402では、画像データ生成部820の輝度調整部8210は、視覚関連情報入力部802から得た視認者の色弱の有無に基づいて輝度調整を行う。例えば、情報表示装置1において、初期設定値として、レーザ1010R、1010G、及び1010Bに対して、輝度IR1、IG1、及びIB1が設定されている場合、輝度調整部8210は視覚関連情報入力部802から得た視認者の色弱の有無に基づいて、輝度IR1、IG1、及びIB1を輝度IR2、IG2、及びIB2に調整する。
輝度IR2、IG2、及びIB2は、例えば、視覚関連情報入力部802から得た視認者の色弱の有無に基づいて、調整係数を初期設定値であるIR1、IG1、及びIB1に乗じて求めることができる。例えば、視認者の色弱が無い場合には、IR2=IR1、IG2=IG1、IB2=IB1とし、視認者の色弱の有る場合には、IR2=2.0×IR1、IG2=2.0×IG1、IB2=IB1とすることができる。
例えば、色弱の有無に対する、輝度IR1、IG1、及びIB1と、輝度IR2、IG2、及びIB2との関係をテーブルや関数としてROM203に記憶しておき、輝度調整部8210がROM203から年齢に対応する輝度の調整係数を読み出すことで、輝度の調整が可能となる。調整後の輝度は、画像データの一部として画像描画部840に送られる。
次に、ステップS403では、画像描画部840の制御部8410は、画像データに応じて光学部10を制御し、フロントウィンドシールド910に光を照射する。この際、輝度調整部8210が調整した輝度に基づいてレーザ1010R、1010G、及び1010Bの電流値が独立に制御され、所望の輝度の虚像が視認可能となる。
このように、第2の実施の形態では、情報表示装置1において、視覚関連情報入力部802に入力される虚像の視認者の色弱の有無に基づいて、レーザ1010R、1010G、及び1010Bの各色の一部又は全部について、輝度を調整する(電流値を調整する)。これにより、色弱者が認識しにくい色について高輝度にすることができるため、色弱者における虚像の視覚特性が向上する。
色弱にはP型(赤を感じにくい)やD型(緑を感じにくい)があるが、特に人数の多いP型やD型の色弱者(日本人男性の5%)に対して、RとGの輝度を高く(例えば、初期設定値の2.0倍)することにより、視認しにくい赤の光源や緑の光源の輝度を初期設定値よりも高く調整して視認しやすくすることができる。これにより色弱の運転者に対しても快適に表示画像(虚像)を視認させることができるようになる。
〈第3の実施の形態〉
第3の実施の形態では、視覚関連情報入力部802に、虚像の視認者の視覚に関する情報として、『視認者の視覚特性のチェック結果』が入力された場合について説明する。なお、視認者の視覚特性のチェック結果は、RBGの各色に対する見えやすさのチェック結果であるため、虚像の視認者の視覚に関する情報である。
図9は、第3の実施の形態に係る輝度調整を例示するフローチャートである。まず、ステップS501では、視覚関連情報入力部802に情報入力可能に構成されたタッチパネルやキーボード等の入力機器から、視認者の視覚特性のチェック結果を入力する。
視認者の視覚特性のチェックは、例えば、図10に示すような、輝度の異なる複数の検査用画像を虚像としてフロントウィンドシールドに投影し、周囲の画像Sに対して中央の画像I〜Iの中から最も視認しやすい画像を視認者に選択してもらう仕様とすることができる。輝度の異なる複数の検査用画像は、画像データ生成部820により生成することができる。
図10では、画像Sと画像I〜Iは同じ色であり、輝度のみ画像I〜Iの方が高くなっている。又、画像Iより画像Iの方が輝度が高く、画像Iより画像Iの方が輝度が高くなっている。これにより、背景画像に対して虚像の輝度をどの程度高めれば視認者が視認しやすくなるかを擬似的にチェックできる。そして、画像I〜Iの内、高い輝度の画像を選択した場合ほど、輝度の調整係数を大きくする。
例えば、画像Iが選択された場合には、IR2=R(TEST)×IR1、IG2=G(TEST)×IG1、IB2=B(TEST)×B1の式において、輝度の調整係数であるR(TEST)、G(TEST)、及びB(TEST)を1とする。又、画像Iが選択された場合には、R(TEST)、G(TEST)、及びB(TEST)を2とする。又、画像Iが選択された場合には、R(TEST)、G(TEST)、及びB(TEST)を3とする。
このように、チェック結果に応じて、輝度の調整係数を変えることで、単に高齢者なら輝度を上げるというような単純な調整ではなく、視認者の視覚特性に、より合致し、かつ嗜好も考慮された快適な輝度に調整することができる。
なお、チェックテストの内容は、図10の例には限定されず、例えば、擬似的な背景(図10の画像S)を用いずに、実際の運転時の背景を用いても良い。
以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。
例えば、上記の実施の形態では、レーザ光源を用いた情報表示装置の例を示したが、本発明は、レーザ光源の代わりに発光オードを用いた情報表示装置にも適用可能である。但し、光源としてレーザ光源を用いる方が、より背景と異なる色(自然吸収色以外の色)を出しやすいため、発光オードを用いる場合よりも、視認者が視認しやすい画像を提供できる点で好適である。これは、発光オードはRGBの各光源の波長域が広い(ブロードである)ため、自然吸収色(JapanColor)をカバーする程度の色再現域しか実現できないが、レーザ光源はRGBの各光源の波長域が狭いため、色再現域が広く、自然吸収色(JapanColor)よりも広い色再現域を実現できるためである。
又、上記の実施の形態では、本発明に係る情報表示装置がHuDである場合の例について説明したが、本発明に係る情報表示装置は、HuDに限らず、虚像等で光源画像を背景に重ねる装置であれば適用可能である。一例としては、HMD(ヘッドマウントディスプレイ)等を挙げることができる。
1 情報表示装置
10 光学部
20 電気部
101 光源部
102 光偏向器
103 ミラー
104 スクリーン
105 凹面ミラー
201 FPGA
202 CPU
203 ROM
204 RAM
205 I/F
206 バスライン
207 LDドライバ
208 MEMSコントローラ
800 車両情報入力部
801 外部情報入力部
802 視覚関連情報入力部
820 画像データ生成部
840 画像描画部
1010R、1010G、1010B レーザ
1011 光路合成部
1012 光学系
8210 輝度調整部
8410 制御部
特開2015−134521号公報

Claims (5)

  1. 画像を形成する光を透過反射部材に照射し、前記透過反射部材を介して前記画像の虚像を視認させる情報表示装置であって、
    前記画像の生成に用いる、それぞれ異なるピーク発光波長を有する複数の光源と、
    前記虚像の視認者の視覚と関連する情報が入力される視覚関連情報入力部と、
    前記視覚関連情報入力部に入力された前記情報に基づいて、前記複数の光源の輝度を独立に調整する輝度調整部と、を有し、
    前記情報は、前記視認者の年齢であり、
    前記輝度調整部は、前記視認者の年齢が所定の年齢以上である場合には、前記複数の光源のうち青の光源の輝度の初期設定値を、赤の光源の輝度又は緑の光源の輝度の初期設定値に上乗せすることで、赤の光源の輝度又は緑の光源の輝度を初期設定値よりも高く調整することを特徴とする情報表示装置。
  2. 前記輝度調整部は、前記視認者の年齢が所定の年齢以上である場合には、前記複数の光源のうち青の光源の輝度を初期設定値よりも低く調整することを特徴とする請求項1に記載の情報表示装置。
  3. 前記輝度調整部は、前記視認者に色覚異常が有る場合には、前記複数の光源のうち赤及び緑の光源の輝度を初期設定値よりも高く調整することを特徴とする請求項に記載の情報表示装置。
  4. 前記輝度調整部は、前記視認者に色覚異常が有る場合には、前記複数の光源のうち赤及び緑の光源の輝度を、前記視認者に色覚異常がない場合の輝度よりも高く調整することを特徴とする請求項に記載の情報表示装置。
  5. 前記複数の光源はレーザ光源であることを特徴とする請求項1乃至の何れか一項に記載の情報表示装置。
JP2016102552A 2016-05-23 2016-05-23 情報表示装置 Active JP6784058B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016102552A JP6784058B2 (ja) 2016-05-23 2016-05-23 情報表示装置
PCT/JP2017/017404 WO2017203964A1 (en) 2016-05-23 2017-05-08 Information display device
US16/099,477 US10831022B2 (en) 2016-05-23 2017-05-08 Information display device
EP17726713.5A EP3465327B1 (en) 2016-05-23 2017-05-08 Information display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016102552A JP6784058B2 (ja) 2016-05-23 2016-05-23 情報表示装置

Publications (2)

Publication Number Publication Date
JP2017211424A JP2017211424A (ja) 2017-11-30
JP6784058B2 true JP6784058B2 (ja) 2020-11-11

Family

ID=58800874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016102552A Active JP6784058B2 (ja) 2016-05-23 2016-05-23 情報表示装置

Country Status (4)

Country Link
US (1) US10831022B2 (ja)
EP (1) EP3465327B1 (ja)
JP (1) JP6784058B2 (ja)
WO (1) WO2017203964A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4089469A1 (de) * 2021-05-12 2022-11-16 Continental Automotive Technologies GmbH Head-up-display mit anzeigevorrichtung

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221430B (zh) * 2018-03-02 2022-02-18 蒋晶 Hud系统和多屏拼接式衍射显示系统
JP7182368B2 (ja) * 2018-03-16 2022-12-02 株式会社豊田中央研究所 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム
CN112513708B (zh) * 2018-07-26 2023-02-21 宝马股份公司 用于与车辆一起使用的设备和方法
US11682357B1 (en) * 2022-02-18 2023-06-20 Harman International Industries, Incorporated Heads up display

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5900336A (en) 1995-01-25 1999-05-04 Ricoh Company, Ltd. Negative electrode for lithium secondary battery and lithium secondary battery using the negative electrode
JP3552413B2 (ja) * 1995-07-25 2004-08-11 株式会社豊田中央研究所 画像処理装置
JPH1116091A (ja) * 1997-06-24 1999-01-22 Nissan Motor Co Ltd 車両用表示装置
NZ333002A (en) 1997-11-26 2000-07-28 Ricoh Microelectronics Company Ultrasonic Doppler speed measurement
JPH11285022A (ja) * 1998-03-26 1999-10-15 Nec Home Electron Ltd 陰極線管表示装置
KR100308580B1 (ko) * 1999-05-27 2001-09-26 구자홍 연령대별 영상보상장치
JP2005075081A (ja) 2003-08-29 2005-03-24 Denso Corp 車両の表示方法及び表示装置
JP4390061B2 (ja) * 2004-06-25 2009-12-24 船井電機株式会社 テレビジョンおよび画像表示装置
KR100664957B1 (ko) * 2005-07-05 2007-01-04 삼성전자주식회사 연령을 기초로 색상을 보정하는 장치 및 그 방법
JP4818166B2 (ja) 2007-03-09 2011-11-16 株式会社リコー 画像形成装置、画像形成システム、画像形成方法および画像形成プログラム
US8547587B2 (en) 2007-03-09 2013-10-01 Ricoh Company, Ltd. Image processing apparatus including an input unit that receives plural images
JP5005460B2 (ja) 2007-07-30 2012-08-22 株式会社リコー 画像形成装置、画像形成方法および画像形成プログラム
JP5217426B2 (ja) 2007-12-27 2013-06-19 株式会社リコー 画像処理装置、画像形成装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
JP2010067096A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 認証装置、認証方法、情報処理プログラム及び記録媒体
JP2009301323A (ja) * 2008-06-13 2009-12-24 Hitachi Ltd 画像表示装置
JP2010058742A (ja) 2008-09-05 2010-03-18 Mazda Motor Corp 車両用運転支援装置
JP5332984B2 (ja) 2009-07-08 2013-11-06 株式会社リコー 画像処理装置システム、画像処理装置利用方法
JP5359700B2 (ja) 2009-08-31 2013-12-04 株式会社リコー 画像形成装置、画像形成装置利用システム、画像形成方法
CN102378998B (zh) * 2009-12-10 2014-12-10 松下电器产业株式会社 信息显示设备和信息显示方法
JP2012121527A (ja) 2010-12-10 2012-06-28 Toyota Motor Corp 画像表示装置
JP5780453B2 (ja) 2011-05-09 2015-09-16 株式会社リコー 定着装置、及び、画像形成装置
JP5975285B2 (ja) * 2012-10-05 2016-08-23 日本精機株式会社 レーザー走査型表示装置
US8983348B2 (en) 2013-01-22 2015-03-17 Ricoh Company, Ltd. Fixing device and image forming apparatus including same
JP6111696B2 (ja) 2013-01-30 2017-04-12 株式会社リコー 定着装置及び画像形成装置
US20150302773A1 (en) * 2013-07-29 2015-10-22 Fusao Ishii See Through Display enabling the correction of visual deficits
EP2849002B1 (en) 2013-09-12 2019-03-13 Ricoh Company, Ltd. Image forming apparatus and method of adjusting image formation
JP6256141B2 (ja) 2013-11-11 2018-01-10 株式会社リコー 定着装置及び画像形成装置
DE102013019550B3 (de) * 2013-11-21 2015-01-08 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Fahrerunterstützung bezüglich einer Ampelschaltung
JP6253417B2 (ja) 2014-01-16 2017-12-27 三菱電機株式会社 車両情報表示制御装置
JP2015194709A (ja) * 2014-03-28 2015-11-05 パナソニックIpマネジメント株式会社 画像表示装置
KR101631963B1 (ko) * 2014-04-30 2016-06-20 엘지전자 주식회사 헤드 업 디스플레이 장치 및 이를 구비한 차량
JP2016025394A (ja) 2014-07-16 2016-02-08 株式会社デンソー 車両用表示装置
JP2016076851A (ja) 2014-10-07 2016-05-12 株式会社リコー 撮像装置、画像処理方法、及びプログラム
US9618886B2 (en) 2014-12-26 2017-04-11 Ricoh Company, Ltd. NIP formation assembly, fixing device, and image forming apparatus
JP6464782B2 (ja) 2015-02-04 2019-02-06 株式会社リコー 定着装置及び画像形成装置
US9829840B2 (en) 2015-02-09 2017-11-28 Ricoh Company, Ltd. Fixing device and image forming apparatus
US9778606B2 (en) 2015-02-12 2017-10-03 Ricoh Company, Ltd. Fixing device and image forming apparatus
JP2016156858A (ja) 2015-02-23 2016-09-01 株式会社リコー 定着装置と画像形成装置
US9639042B2 (en) 2015-03-16 2017-05-02 Ricoh Company, Ltd. Fixing device and image forming apparatus
JP6497147B2 (ja) 2015-03-17 2019-04-10 株式会社リコー 定着装置及び画像形成装置
US9678460B2 (en) 2015-03-19 2017-06-13 Ricoh Company, Ltd. Fixing device, image forming apparatus, and fixing method
US10136010B2 (en) 2015-03-20 2018-11-20 Ricoh Company, Ltd. Position measurement reference sheet, image forming apparatus, and image position measurement method
US9851663B2 (en) 2015-05-15 2017-12-26 Ricoh Company, Ltd. Fixing device and image forming apparatus
US9874839B2 (en) 2015-06-23 2018-01-23 Ricoh Company, Ltd. Fixing device and image forming apparatus
JP6583716B2 (ja) 2015-07-07 2019-10-02 株式会社リコー 定着装置及び画像形成装置
JP6620977B2 (ja) * 2015-10-09 2019-12-18 パナソニックIpマネジメント株式会社 表示制御装置、投影装置、および表示制御プログラム
EP3206075A1 (en) 2016-02-10 2017-08-16 Ricoh Company, Ltd. Image display apparatus and image display method
JP6969102B2 (ja) 2016-02-10 2021-11-24 株式会社リコー 画像表示装置及び画像表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4089469A1 (de) * 2021-05-12 2022-11-16 Continental Automotive Technologies GmbH Head-up-display mit anzeigevorrichtung

Also Published As

Publication number Publication date
EP3465327A1 (en) 2019-04-10
JP2017211424A (ja) 2017-11-30
WO2017203964A1 (en) 2017-11-30
EP3465327B1 (en) 2023-08-02
US10831022B2 (en) 2020-11-10
US20190162958A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
JP6904390B2 (ja) Hud装置、車両装置、表示方法及びプログラム。
JP6784058B2 (ja) 情報表示装置
US10705334B2 (en) Display device, display method and display medium
JP5650661B2 (ja) 透過型表示装置
WO2017163292A1 (ja) ヘッドアップディスプレイ装置、及び車両
JP4686586B2 (ja) 車載用表示装置及び表示方法
JP6780663B2 (ja) 情報表示装置
CN112904558B (zh) 平视显示器校准
US10502962B2 (en) Projection type display device and projection control method
KR20190015552A (ko) 표시 장치, 이동체 장치, 표시 장치의 제조 방법, 및 표시 방법
US11009781B2 (en) Display system, control device, control method, non-transitory computer-readable medium, and movable object
JP6023466B2 (ja) 車載用表示装置
JP6792188B2 (ja) 光走査装置及び画像表示装置
JP2018105838A (ja) 情報表示装置及び車両装置
WO2019003514A1 (ja) 虚像表示装置
JP6922217B2 (ja) 表示装置、物体装置及び表示方法
WO2016113873A1 (ja) 表示装置、制御方法、プログラム及び記憶媒体
US20150375691A1 (en) Display, in particular a head-up display, for a vehicle
KR101408998B1 (ko) 헤드 업 디스플레이 장치 및 방법
JP7127415B2 (ja) 虚像表示装置
JP6907488B2 (ja) 光源装置、画像表示装置及び物体装置
JP7372618B2 (ja) 車載表示装置
JP7163868B2 (ja) 虚像表示装置
JP2010224293A (ja) 表示装置、表示方法及び車両
WO2019230094A1 (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200923

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201006

R151 Written notification of patent or utility model registration

Ref document number: 6784058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151