JP7072317B1 - 立体視光学系を用いたhud装置を有する操縦システム - Google Patents

立体視光学系を用いたhud装置を有する操縦システム Download PDF

Info

Publication number
JP7072317B1
JP7072317B1 JP2021106436A JP2021106436A JP7072317B1 JP 7072317 B1 JP7072317 B1 JP 7072317B1 JP 2021106436 A JP2021106436 A JP 2021106436A JP 2021106436 A JP2021106436 A JP 2021106436A JP 7072317 B1 JP7072317 B1 JP 7072317B1
Authority
JP
Japan
Prior art keywords
eye
eye image
image
display panel
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021106436A
Other languages
English (en)
Other versions
JP2023004615A (ja
Inventor
隆志 矢野
Original Assignee
隆志 矢野
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 隆志 矢野 filed Critical 隆志 矢野
Priority to JP2021106436A priority Critical patent/JP7072317B1/ja
Application granted granted Critical
Publication of JP7072317B1 publication Critical patent/JP7072317B1/ja
Publication of JP2023004615A publication Critical patent/JP2023004615A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instrument Panels (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】 自動車、モーターサイクル等のための、視認性の高いHUD(ヘッドアップディスプレイ)の表示システムを提供すること。【解決手段】 表示パネルの左右方向の長さが右目と左目の距離と等しいかより小さくし、右目映像と左目映像の左右方向の相対的シフト量を表示パネルの左右方向長さと等しいかより小さくし、ウィンドウ違反の右目映像と左目映像を表示することにより、表示パネルに阻害されることなく前方風景と表示パネルの映像を重畳して視認できるようにする。【選択図】 図2

Description

自動車やモータサイクル等に用いられる、操縦に必要な情報を表示するHUD (ヘッドアップディスプレイ) 表示装置を含む操縦システムに関するものである。
HUD装置について説明する。
従来のHUD装置は、映像をフロントウィンドウシールドやガラス板で反射することにより、ロントウィンドウシールドやガラス板の前方に虚像を生成する反射光学系HUD装置であり、三つの課題がある。
第1の課題は、視認性が低いことである。特に虚像の背景が明るい時に、虚像の視認が虚像の背景からの光によって低下することである。
第2の課題は、HUD装置の光学系に入射する外光の反射によって虚像の視認が低下する(特許文献1で説明されている)ことである。
第3の課題は、HUD装置の体積が大きいことである。通常HUD装置は従来の表示装置と併用されるものなので表示装置全体の体積はさらに大きくなることである。
モーターサイクルの電子ミラー(ミラーレス)について説明する。
自動車の電子ミラーについては、国際連合欧州経済委員会(UN/ECE)が定める後写鏡に関する規則「Regulation No.46」の改訂を受けて、日本も2016年6月、道路運送車両の保安基準を改正された。しかし、モーターサイクルの電子ミラーは認められていない。
モーターサイクルの後写鏡を電子ミラー化する必要性について説明する。
第1は、後写鏡は操縦者の視界の中心から左右に大きな角度をなす位置に配置されていて視認が容易でないことである。
第2は、操縦者の目の位置は、速度によって前後に大きく移動しコーナリング時に左右に大きく移動するので、後写鏡が後方を正しく写すことが困難なことである。
第3は、後写鏡の面積は大きく、操縦者の身体の幅よりも外側に配置する必要から、モーターサイクルのデザイン価値を損なうことである。
従がって、モーターサイクルは自動車以上に電子ミラー化するニーズの必要性が高い。
モーターサイクルのHUD装置について説明する。
モーターサイクルの操縦は自動車より前方の視認が重要であるのでモーターサイクルのHUD装置の必要性が高いが、モーターサイクルにおいては、反射光学系HUD装置の前述の三つの課題の影響が大きい。
第1の課題について、HUD装置は露出していてウィンドウシールドによる減衰がないので背景からの光の影響は大きい。
第2の課題について、HUD装置は露出しているので外光のHUD装置内への入射光の影響が大きく、雨水の浸入や水滴の影響もある。
第3の課題は、従来技術のHUD装置がモーターサイクルには大きすぎる。さらに、操縦姿勢により操縦者の目の位置が上下、左右、前後に大きく変化し、これを許容するためにHUD装置はさらに大きな装置になってしまう。
本発明が用いる立体視技術について、まず輻輳について説明する。
本発明は、レンチキュラー光学系方式、パララックスバリア(イメージスプリッター)光学系方式、液晶シャッター (めがね) 方式、偏光フィルター (めがね) 方式等の立体視技術を用いることができる。
両眼による立体の知覚は、両眼視差と輻輳によって行われる。両眼視差は右目と左目で見た対象物の形状が異なることにより距離を推定する。輻輳は対象物を注視する眼球の角度すなわち輻輳角から距離を推定する。両眼視差と輻輳に関する文献には非特許文献1のように両眼視差と輻輳を分離して説明している文献、両眼視差と輻輳を統合して説明している文献がある。
本発明は同じ映像である右目映像と左目映像を左右方向にずらして表示する輻輳のみを用いる技術であるので両眼視差と輻輳を分離して説明している非特許文献1に準じて説明する。
本発明は、立体視を目的とするものではなく、同じ映像である右目映像と左目映像を左右方向にずらして表示することにより、操縦者は表示パネル面から離れた位置に生成される輻輳虚像を視認ことになる。
次に、ウィンドウ違反について説明する。
両眼による立体視は両眼視差と輻輳を組み合わせであり、両眼視差は対象の形状の変形であり、右目映像と左目映像で形状が変化していて、輻輳は両眼と対象のなす角度であり、右目映像と左目映像は左右方向に相対的にシフトしている。
ウィンドウ違反は右目映像と左目映像が左右方向にシフトして表示パネルからはみ出して右目映像と左目映像の一方が無い状態である。
「ウィンドウ違反は対象物の映像が表示画面の境界で切り落とされ、右目映像と左目映像の一方しか無い場合に正しく立体を知覚できない現象である (非特許文献1)」 と説明されている。また、「ウィンドウ違反(Windowviolation) 左右どちらかの目でしか見えないモノは、奥行きが把握できないだけでなく、チラツキを起こしたりする。これは右目左目どちらかの像で、画面からはみ出している物があると起こる。表示画面の手前の(飛び出して見える)物ほど、画面の端でこの現象を起こしやすい(遠藤雅伸公式blog https://ameblo.jp/evezoo/entry-10901438221.html)」と説明されている。
本発明は、右目映像と左目映像は同じ映像が左右方向に相対的にシフトしているだけなので両眼視差はなく輻輳だけである。ウィンドウ違反領域とウィンドウ違反でない領域で不連続を生じない。本発明は右目映像と左目映像の一方があれば問題は生じない。
特許文献1の技術が解決しようとする課題は従来のHUD装置の第2の課題である。
特許文献1の技術の解決手段は、シリンドリカルレンズ7を透過した映像光81がフロントウィンドウシールド9を反射することで車両の乗員に映像光81の虚像を視認させるHUD装置において、シリンドリカルレンズ7が、自身を反射した外光が車両の乗員のアイレンジ3に到達しないように、映像光81に対して傾斜して配置することである。
特開2008-268883
国立情報学研究所 後藤田洋伸 公開講座 DiGRA_JAPAN_2011_0514_gotoda
本発明が解決しようとする課題は、従来の反射光学系HUD装置の第1の課題、第2の課題、第3の課題である。モーターサイクルのHUD装置の実現のためにはこれらの三つの課題は影響が大きい。
本発明が解決しようとする上位の課題は、これらの三つの課題を解決して反射光学系HUD装置に代わる新しいHUD装置を提供することである。
第1の課題の外光による課題は反射光学系HUD装置では解決が困難である。
第2の課題はHUD装置の反射光学系に入射する外光の課題であり、オープンカーやモーターサイクルでは、反射光学系HUD装置を使う限り解決は困難である。
第3の課題は反射光学系のためにHUD装置の体積が大きいことでありモーターサイクル等への実装は、反射光学系HUD装置を使う限り解決は困難である。
本発明の解決手段は、第1に、レンチキュラー光学系方式、パララックスバリア(イメージスプリッター)光学系方式、液晶シャッター (めがね) 方式、偏光フィルター(めがね) 方式等の立体視技術を用い左右方向に相対的にシフトした右目映像と左目映像を表示可能な表示パネルを有すること。
第2に、表示パネルの左右方向の長さは右目と左目の距離と等しいか小さいこと。
第3に、右目映像と左目映像の相対的シフト量(右目映像の右方向のシフト量と左目映像の左方向のシフト量の和)は表示パネルの左右方向の長さより小さいこと。
第4に、積極的にウィンドウ違反の右目映像と左目映像を生成すること、
これらによって、操縦者の前方風景が表示パネルに阻害されることなく、前方風景と表示パネルの映像が重畳して視認されるようにする。
本発明の技術と特許文献1の技術の差異について説明する。
特許文献1の解決しようとする課題は従来の反射光学系HUD装置の第2の課題であり、特許文献1の解決手段は反射光学系HUD装置の改良である。
本発明が解決しようとする課題は第1の課題、第2の課題、第3の課題の改良ではなく本質的な解決である。本発明の解決手段は反射光学系HUD装置に代わるHUD装置である。
本発明の第1の効果は、第1の課題の本質的な解決である。表示パネルは背景からの光を透過しないので、右目は右目映像を背景からの光に妨げられることなく視認し、右目映像の背景は左目で視認する。左目は左目映像を背景からの光に妨げられることなく視認し、左目映像の背景は右目で視認する。従がって、従来の反射光学系HUD装置に比べて高い視認性が得られる。
第2の効果は、第2の課題の解決であり、光学系は表示パネルだけなので、光学系に入射する外光は表示パネルへの入射光のみで表示パネルの角度の調整により解決できる。
第3の効果は、第3の課題の解決であり、光学系は表示パネルだけなので、光学系のための空間を必要としないことである。モーターサイクルへの実装や自動車への後付装着にも適している。
第4の効果は、対候性であり、光学系は表示パネルだけなので、防水は容易であり、モーターサイクル等への実装に適している。
Model 42 表示システムの原理を説明する図(1)である。 Model 42 表示システムの原理を説明する図(2)である。 Model 42 表示システムの第1の要件を説明する図である。 Model 42 表示システムの第2の要件を説明する図である。 Model 42 表示システムの第3の要件を説明する図である。 Model 423, Model 424 表示システムの第4の要件を説明する図である。 Model 42の偏光フィルター方式の構成を説明する図である。 Model 42のレンチキュラー光学系方式の構成を説明する図である。 Model 42のモデル一覧を説明する図である。 Model 42の全てのモデルに対応した表示システムのシステム構成を説明する図である。 Model 421表示システムの概要外観を説明する図である。 Model 422表示システムの概要外観を説明する図である。 Model 423表示システムの概要外観を説明する図である。 Model 424表示システムの概要外観を説明する図である。 Model 42_1の制御を説明する図である。 Model 42_2, Model 42_3の制御を説明する図である。
Model42は、図11、図12に示すような、自動車、モーターサイクル等の操縦者によって操縦される乗り物に用いるHUD(ヘッドアップディスプレイ)装置の表示システムである。
表示パネル2の幅を小さくすること、立体視光学系を用いて表示する映像23,24の輻輳角を前方風景の輻輳角に近づけることにより、操縦者の前方風景と表示パネル2の映像23,24が重畳して視認されるようにした表示システムである。
図1、図2は本発明のModel42表示システムの原理を説明する図である。
車体の左右方向の座標軸をX軸、車体の上下方向の座標軸をY軸、車体の前後方向の座標軸をZ軸とする。
操縦者の目のZ軸方向の位置をZe、右目と左目のX軸方向の距離をWe、表示パネルのZ軸方向の位置をZp、表示パネルのX軸方向の長さをWpxとする。右目映像と左目映像のX軸方向の相対的シフト量をSiとする。図示しないが通常右目映像のX軸右方向のシフト量SiRと左目映像のX軸左方向のシフト量SiLは等しく、SiR=SiL=Si/2,SiR+SiL=Siである。
図1は、右目映像と左目映像のX軸方向の相対的シフトはない状態Si=0であり、右目映像23と左目映像24は同じ位置に表示される同じ映像であり、輻輳虚像はない。
図2は、右目映像と左目映像のX軸方向の相対的シフト量Siの積極的ウィンドウ違反の状態である。
右目映像23は、シフトにより表示パネル2からはみ出した右目映像の消失した領域23f、対応する左目映像24のない右目映像のウィンドウ違反領域23cからなり、左目映像24は、シフトにより表示パネル2からはみ出した左目映像の消失した領域24f、対応する右目映像23のない左目映像のウィンドウ違反領域24cからなる。
右目映像のウィンドウ違反領域23cは、左目映像24がシフトして対応する左目映像24が消失した第1の右目映像のウィンドウ違反領域23c1と右目映像23がシフトして新たに生成されたために対応する左目映像24がない第2の右目映像のウィンドウ違反領域23c2からなる。
左目映像のウィンドウ違反領域24cは、右目映像23がシフトして対応する右目映像24が消失した第1の左目映像のウィンドウ違反領域24c1と左目映像24がシフトして新たに生成されたために対応する右目映像23がない第2の左目映像のウィンドウ違反領域24c2からなる。
右目映像の消失した領域のX軸方向の長さSfRは右目映像のX軸右方向のシフト量SiRに等しくSfR=Si/2であり、左目映像の消失した領域のX軸方向の長さSfLも同様にSfL=Si/2である。
右目映像のウィンドウ違反領域のX軸方向の長さScRは左目映像24がシフトして対応する左目映像24が消失した第1の右目映像のウィンドウ違反領域23c1の長さと右目映像23がシフトして新たに生成されたために対応する左目映像24がない第2の右目映像のウィンドウ違反領域23c2の和、すなわち、左目映像のX軸左方向のシフト量SiL=Si/2と右目映像のX軸右方向のシフト量SiR=Si/2の和であり、ScR=SiL+SiR=Siであり、左目映像のウィンドウ違反領域のX軸方向の長さScLも同様にScL=Siである。
右目映像のウィンドウ違反のない領域のX軸方向の長さSdRは表示パネルのX軸方向の長さWpxと右目映像のウィンドウ違反領域のX軸方向の長さScRの差であるのでSdR=Wpx-ScR=Wpx-Siであり、左目映像のウィンドウ違反のない領域のX軸方向の長さSdLも同様にSdL=Wpx-ScL=Wpx-Siである。
右目輻輳虚像26は対応する左目輻輳虚像27のない右目輻輳虚像のウィンドウ違反領域26cと右目輻輳虚像のウィンドウ違反のない領域26dからなり、左目輻輳虚像27は対応する右目輻輳虚像26のない左目輻輳虚像のウィンドウ違反領域27cと左目輻輳虚像のウィンドウ違反のない領域27dからなる。
Model 42は操縦者の前方風景と表示パネル2の映像23, 24の重畳視認を実用的に実現するには下記の三つの要件が必要である。
第1の要件のWpx≦We について図3で説明する。
Wpx>We では前方風景の表パネル2によって視認が阻害されるWpx視認阻害領域29aが存在し、前方風景の視認は阻害される。(図3a)
Wpx視認阻害領域29aは右目による前方風景の視認が阻害されるWpx右目視認阻害領域29a1と左目による前方風景の視認が阻害されるWpx左目視認阻害領域29a2の共通領域である。Wpx≦We とすることによりWpx視認阻害領域29aはWpx視認阻害境界点29cより前方には存在しない。すなわち、前方風景は表示パネル2に阻害されることなく視認される。(図3b)
Wpx=We では前方風景の内、遠方の小さな物体が視認されないことが起きるが、それらは表示パネル2がなくても視認されない可能性があり、問題がないとする。
第2の要件のSi≦Wpx について図4で説明する。
Si>Wpx では、SdR=Wpx-Si<0, SdL=Wpx-Si<0 なので右目映像のウィンドウ違反のない領域23d、左目映像のウィンドウ違反のない領域24dは存在せず、右目輻輳虚像のウィンドウ違反領域26cと左目輻輳虚像のウィンドウ違反領域27cが離れて生成され、輻輳虚像26,27を正しく視認することができない。(図4)
第3の要件の積極的ウィンドウ違反について図5と図2で説明する。
Model 42のように表示パネルのX軸方向の長さWpx が短いモデルにおいては積極的ウィンドウ違反は重要である。
ウィンドウ違反の効果Ewv は、輻輳虚像のX軸方向の長さWvを右目輻輳虚像のX軸方向の長さWvR または左目輻輳虚像のX軸方向の長さWvL で割ったEwv=Wv/WvR=Wv/WvL で評価することができる。
図2で積極的ウィンドウ違反の場合について説明する。
ウィンドウ違反の効果Ewv は、右目輻輳虚像のウィンドウ違反領域のX軸方向の長さWnR、左目輻輳虚像のウィンドウ違反領域のX軸方向の長さWnL とすると、
Ewv=(WvR+WnL))/WvR
=1+WnL/WvR
=1+ScL/Wpx
=1+Si/Wpx
すなわち、右目映像と左目映像のX軸方向の相対的シフト量Si が第2の要件のSi≦Wpx の範囲で大きくなると、Ewv は大きくなる。
例えば、Si=40mm、Wpx=50mm の場合、Ewv=1+40/50=1.8 となる。Model 42の積極的ウィンドウ違反の表示パネル2は本来の1.8倍の表示が可能、すなわち従来のWpx=90mm の表示パネルに相当する表示が可能である。
次に、図5でウィンドウ違反を行わない場合について説明する。
ウィンドウ違反を行わない場合、ウィンドウ違反の効果Ewv は下記のように示される。
Ewv=Wv/WvR
=(WvR-WnL))/WvR
=1-WnL/WvR
=1-ScL/Wpx
=1-Si/Wpx
すなわち、右目映像と左目映像のX軸方向の相対的シフト量Si が第2の要件のSi≦Wpx の範囲で大きくなると、Ewv は小さくなる。
例えば、Si=40mm、Wpx=50mm の場合、Ewv=1-40/50=0.2 となる。Model 42のウィンドウ違反のない表示パネル2は本来の0.2倍の表示になってしまう。すなわち従来のWpx=10mm の表示パネルに相当する表示になってしまう。
従がってModel 42にとってウィンドウ違反は重要な技術である。
本発明で用いる立体視光学系としては、液晶シャツター(眼鏡)方式、偏光フィルター(眼鏡)方式方式、レンチキュラー (イメージスプリッター) 光学系方式がある。
液晶シャツター(眼鏡)方式は、眼鏡の左右の液晶シャツターに同期して右目映像23と左目映像24を交互に表示パネル2に表示する方式である。右目映像23は右目21によってのみ視認され、左目映像24は左目22によってのみ視認される。
図7は偏光フィルター(眼鏡)方式の構成を説明する図(XZ平面の平面図)である。眼鏡は右目偏光フィルター14と左目偏光フィルター15を有し、表示パネル2の表面にはストライプ状の右目偏光フィルター14と左目偏光フィルター15が交互に配置される。右目映像23と左目映像24をストライプ状に分割し、右目ストライプ映像23aを右目偏光フィルター14配置部に、左目ストライプ映像24aを左目偏光フィルター15配置部に表示する。右目ストライプ映像23aは表示パネル2の右目偏光フィルター14と眼鏡の右目偏光フィルター14を通過してと右目21によってのみ視認され、左目ストライプ映像24aは表示パネル2の左目偏光フィルター15と眼鏡の左目偏光フィルター15を通過して左目22によってのみ視認される。
図8はレンチキュラー光学系方式の構成を説明する図(XZ平面の平面図)である。表示パネル2の表面にはレンチキュラープレート16が貼られている。
右目映像23と左目映像24を右目ストライプ映像23aと左目ストライプ映像24aに分割し、レンチキュラープレート16を介してそれぞれ右目21と左目22で視認される位置に生成し、レンチキュラープレート16によって、右目ストライプ映像23aは右目21によってのみ視認され、左目ストライプ映像24aは左目22によってのみ視認される。
表示パネル2のX軸方向の中心位置では図8aに示すように、右目ストライプ映像23aと左目ストライプ映像24aをレンチキュラープレート16のシリンドリカルレンズに対して左右対称位置に生成する。また、表示パネル2のX軸方向の中心から離れた位置では図8bに示すように、右目ストライプ映像23aと左目ストライプ映像24aをレンチキュラープレート16のシリンドリカルレンズに対してオフセットした位置に生成する。パララックスバリア(イメージスプリッター)光学系方式でも同様に実現できる。
図9はModel 42のモデル一覧を示す図である。
Model 421からModel 424の各モデルは、表示パネル2の構成に関するモデルである。
Model 421は、表示パネル2が一つの表示パネルで構成されるモデルである。
Model 422は、表示パネル2が凸形状の表示パネルで構成されるモデルであり、表示パネル2の上半分がHUDである。
Model 423は、表示パネル2が複数の表示パネルで構成されるモデルである。
Model 424は、表示パネル2が凹形状の表示パネルで構成されるモデルであり、表示パネル2の上半分がHUDである。
Model 42_1からModel 42_3はModel 421からModel 424の各モデルの機能追加モデルである。
Model 42_1は、レンチキュラー光学系方式等の立体視光学系のために、右目位置(XeR, YeR, ZeR)から正確に視認される右目映像23と左目位置(XeL, YeL, ZeL)から正確に視認される左目映像24を生成するモデルである。
Model 42_2とModel 42_3は、操縦者の後方を撮影する後写カメラ17を有し、表示パネル2に後写映像32a, 32b, 32cを表示する。右目位置(XeR, YeR, ZeR)と左目位置(XeL, YeL, ZeL)を測定して、それらの変化に対応して右目映像23と左目映像24を強制移動させるモデルである。
図10はModel 42の全てのモデルに対応した表示システム(モーターサイクル用の表示システム)のシステム構成を説明する図である。
表示制御装置6には、記憶装置3、演算装置4、画像生成装置5、光学式目位置測定装置10、映像処理装置18が接続され、表示装置1には、画像生成装置5に接続された表示パネル2、光学式目位置測定装置10に接続された目位置センサー(右)10aと目位置センサー(左)10b、映像処理装置18に接続された後写カメラ17が設けられている。
実施例1はModel 421表示システムであり、図11はModel 421表示システムの概要外観を説明する図である。
図11aはModel 421の自動車用の表示システムの概要外観である。表示パネルのX軸方向の長さをWpx 、右目と左目のX軸方向の距離Weとして、Wpx≦We の範囲でWpx をなるべく大きく設定する。
図11bはModel 421のモーターサイクル用の表示システムの概要外観を説明する図である。表示パネル2は台形の形状であり、表示パネルのX軸方向の長さWpx が右目と左目のX軸方向の距離We より大きな部分には前方風景が視認できない図3に示すWpx視認阻害領域29aが存在する。Wpx視認阻害領域29aが小さく前方風景の視認に影響の小さい領域であればHUDとして実用的に問題はない。すなわち、部分的にWpx がWe より少々大きくても問題にならない場合がある。
実施例2はModel 422表示システムであり、図12はModel 422表示システムの概要外観を説明する図である。
図12aはModel 422の自動車用の表示システムの概要外観であり、図12bはModel 422のモーターサイクル用の表示システムの概要外観である。
表示パネル2は凸形状の一体の表示パネルであり、表示パネルの上半分2bについてWpx≦We の範囲でWpx をなるべく大きく設定する。
表示パネルの下半分2aと表示パネルの上半分2bで右目映像と左目映像のX軸方向の相対的シフト量Siを等しくすると、輻輳角が同じであり、視認に支障が生じない。
実施例3はModel423であり、右表示パネル2dと左表示パネル2eの二つの表示パネルを有する表示システムである。Model423表示システムの原理と第4の要件のSpx≧Weについて図6で説明する。
操縦者の目のZ軸方向の位置をZe、右目と左目のX軸方向の距離をWe、表示パネルのX軸方向の長さをWpx、表示パネルのZ軸方向の位置をZp、表示パネルのX軸方向の間隔をSpxとする。
右表示パネルWpx視認阻害領域33aは右表示パネル右目視認阻害領域35a1と右表示パネル左目視認阻害領域35a2の共通領域であり、右表示パネルWpx視認阻害境界点34aより前方には存在しない。
左表示パネルWpx視認阻害領域33bは左表示パネル右目視認阻害領域35b1と左表示パネル左目視認阻害領域35b2の共通領域であり、左表示パネルWpx視認阻害領域点34bより前方には存在しない。
Spx視認阻害領域33cは右表示パネル右目視認阻害領域35a1と左表示パネル左目視認阻害領域35b2の共通領域であり、Spx≧WeであればSpx視認阻害領域33cは存在せず前方風景は阻害されることなく視認される。
図6はSpx視認阻害領域33cを図示するために特別にSpx<WeにしてSpx視認阻害領域33cを発生させている。
本来のModel423においてはSpx視認阻害領域33cとSpx視認阻害境界点34cは存在しない。
すなわち、Spx≧Weであれば複数の表示パネル2の干渉はなく前方風景は阻害されることなく視認される。
図13はModel423表示システムの概要外観を説明する図である。
図13aはModel423の自動車用の表示システムの概要外観、図13bはモーターサイクル用の表示システムの概要外観である。複数の表示パネル2は表示パネルのX軸方向の間隔をSpxを右目と左目のX軸方向の距離Weより大きく設定する。
実施例4はModel 424表示システムである。Model 424では凹形状の表示パネル2を有する。Model 424表示システムの原理は表示パネルの上半分2bについてModel423と同様である。
図14はModel 424表示システム(自動車用の表示システム)の概要外観である。図14aは表示パネルの下半分2aがステアリングホイール7と重なって視認される方式であり、図14bは表示パネルの下半分2aがステアリングホイール7の上方に視認される方式である。
表示パネル2は凹形状の一体の表示パネルであり、表示パネルの上半分2bについて、表示パネルのX軸方向の間隔をSpx として、Wpx≦We の範囲でWpx をなるべく大きく設定し、Spx をWe より大きく設定する。
表示パネルの下半分2aと表示パネルの上半分2bで右目映像と左目映像のX軸方向の相対的シフト量Siを等しくすると、輻輳角が同じであり、視認に支障が生じない。
実施例5はModel 42_1であり、レンチキュラー光学系方式のための正確な映像を生成する方式である。Model 42_1はModel 421からModel424の表示システムに適用可能である。
段落0019と図8で説明したレンチキュラー光学系方式においては、正確な右目映像23と左目映像24を生成するためには正確な右目位置(XeR, YeR, ZeR)と左目位置(XeL, YeL, ZeL)の情報が必要である。
段落0021と図10で説明したように、表示制御装置6には光学式目位置測定装置10が接続され、表示装置1には、光学式目位置測定装置10に接続された目位置センサー(右)10aと目位置センサー(左)10bが設けられている。
Model 42_1は、右目映像位置(XiR, YiR,ZiR)と左目映像位置(XiL, YiL, ZiL)の情報、光学式目位置測定装置10で測定した右目位置(XeR, YeR, ZeR)と左目位置(XeL, YeL, ZeL)の情報に基づいて、右目21から右目映像23が左目22から左目映像24がレンチキュラー光学系を介して正確に視認されるように、右目ストライプ映像23aと左目ストライプ映像24aの位置を算出し、右目ストライプ映像23aと左目ストライプ映像24aを生成して表示する。
図15はModel 42_1の制御を説明する図である。
第1ステップ(制御の開始) : 表示システムが作動すると第2ステップに移行する。
第2ステップ(目位置の測定) : 表示制御装置6は、光学式目位置測定装置10を制御して、目位置センサー(右)10a、目位置センサー(左)10bが撮影した映像を画像処理して操縦者の右目21と左目22を認識し、右目位置(XeR, YeR, ZeR)と左目位置(XeL, YeL, ZeL)を測定してそれを記憶装置3に記憶し、第3ステップに移行する。
第3ステップ(ストライプ映像の表示) : 表示制御装置6は記憶装置3の情報を読み込み、演算装置4を制御して、右目位置(XeR,YeR, ZeR)と左目位置(XeL, YeL, ZeL)の情報、予め記憶された右目映像位置(XiR, YiR, ZiR)と左目映像位置(XiL, YiL, ZiL)の情報、予め記憶されたレンチキュラープレート16の情報(レンチキュラー光学系のシリンドリカルレンズの形状や屈折率等の光学的情報と位置情報)、表示パネル2の表示画素の形状情報と位置情報に基づき、右目21から右目映像23が左目22から左目映像24が正確に視認されるように、右目ストライプ映像23aと左目ストライプ映像24aの位置を算出し、映像生成装置5を制御して右目映像23と左目映像24をストライプ状に分割して一つの映像として再構成し、表示装置1を制御して表示パネル2に表示し、第4ステップに移行する。
第4ステップ(制御の繰り返し) : 表示システムが作動していると第2ステップに移行し、第2ステップから第4ステップを繰り返す。表示システムが停止すると第5ステップに移行する。
第5ステップ(制御の終了) : 表示制御装置6は制御を終了する。
Model 42_1の右目位置(XeR, YeR, ZeR)と左目位置(XeL, YeL, ZeL)について説明する。
Model 42_1が必要なのは右目の位置(XeR, ZeR)と左目の位置(XeL, ZeL)であるが、X軸方向の位置(XeR, XeL)、Y軸方向の位置(YeR, YeL)、Z軸方向の位置(ZeR, ZeL)の全ての測定を行うことによって測定精度の高い右目位置(XeR, ZeR)と左目位置(XeL, ZeL)が得られる。
Model 42_1の右目映像位置(XiR, YiR,ZiR)と左目映像位置(XiL, YiL, ZiL)について説明する。
Y軸方向の位置(YiR, YiL)は、右目映像23と左目映像24が表示パネル2に表示されればよいだけなので省略することができ、Z軸方向の位置(ZiR, ZiL)は、Z軸が表示パネル2の法線になるように表示パネル2が配置されれば変化しないので省略することができ、右目映像のX軸方向の位置XiR と左目映像のX軸方向の位置XiL とすることができる。
実施例6はModel 42_2とModel 42_3である。Model42_2とModel 42_3は後写鏡に代わる電子ミラーであり、後写カメラ17(図10)の撮影した映像を後写映像32a,32b, 32c(図12、図13、図14)として表示パネル2、右表示パネル2d、左表示パネル2eに表示するものである。
後写映像32a, 32b, 32cの輻輳角は前方風景の輻輳角に近づけることが可能なので、前方風景と後写映像32a, 32b, 32cを同時に視認することが容易であり、Model42_2, Model 42_3として電子ミラーへの応用に適している。
後写映像(右)32a、後写映像(左)32b、後写映像(中央)32cは表示パネル2の図12、図13、図14で示す位置に表示される。後写カメラ17の台数は自由であり、撮影した映像は分解または合成されて、後写映像(右)32a、後写映像(左)32b、後写映像(中央)32cとして表示される。
積極的ウィンドウ違反の効果は、段落0017と図5、図2で説明したように、Ewv=1+Si/Wpx である。
例えば、Si=40mm、Wpx=50mm の場合、Wpx=50mm の表示パネル2でEwv=1.8、すなわち従来のWpx=90mm の表示パネルに相当する表示が可能である。しかし、後写映像32a, 32b, 32cを表示するのにはこれでも十分ではない。Model42_2とModel 42_3はそれを解決するものである。
操縦者の右目21と左目22の右目のX軸方向の基準位置XeRc と左目のX軸方向の基準位置XeLc からのX軸方向の移動量を測定して、それに対応して映像23, 24をX軸方向に強制移動させることにより実質的に幅の広い後写映像32a,32b, 32cの視認を可能にするものである。
映像23, 23c, 24, 24cをX軸方向に強制移動する方式にはModel 42_2とModel 42_3がある。
Model 42_3は、映像23, 24を右目21と左目22の移動方向と反対方向に移動させる。従来の後写鏡の映像の移動と同じなので習熟しやすい。
Model 42_4は、映像23, 24を右目21と左目22の移動方向と同じ方向に移動させる。自動車でもモーターサイクルでもコーナリング時には操縦者の頭すなわち右目21と左目22はコーナーの内側方向に移動する。また、コーナリング時にはコーナーの内側方向の後写映像を必要とするニーズに合っている。
Model 42_2とModel 42_3は、いくつかの変形例がある。X軸方向の移動量を測定する右目21と左目22は一方の目で代用できるし、顔の一部、ヘルメットの一部でも代用できる。
映像23, 24をX軸方向に移動可能にする方式は二つある。第1の方式は、後写カメラ17の撮像画面と後写映像32a, 32b, 32cの画面の仕様を一致させておいて後写カメラ17をY軸回転させる方式であり、第2の方式は、後写カメラ17の撮像画面のX軸方向の長さを後写映像32a,32b, 32cの画面のX軸方向の長さより長くしておいて後写カメラ17の撮像画面をX軸方向に移動させる方式である。
図16はModel 42_2とModel 42_3の制御を説明する図である。
第1ステップ(制御の開始) : 表示システムが作動すると第2ステップに移行する。
第2ステップ(目位置移動距離の測定) : 表示制御装置6は、光学式目位置測定装置10を制御して、目位置センサー(右)10a、目位置センサー(左)10bが撮影した映像を画像処理して操縦者の右目21と左目22を認識し、右目位置(XeR, YeR, ZeR)と左目位置(XeL, YeL, ZeL)を測定し、演算装置4を制御して、記憶装置3に予め記憶された右目のX軸方向の基準位置XeRc、左目のX軸方向の基準位置XeLc と比較して目のX軸方向の移動距離Xem を算出し、記憶装置3に記憶し、第3ステップに移行する。
第3ステップ(映像位置の決定) : 表示制御装置6は、記憶装置3から、目のX軸方向の移動距離Xem 情報を読み込み、演算装置4を制御して、Model42_2の場合は、右目21と左目22の移動と逆方向の映像のX軸方向の強制移動距離Xim を算出し、Model 42_3の場合は、右目21と左目22の移動と同方向の映像のX軸方向の強制移動距離Xim を算出して右目映像位置(XiR, YiR, ZiR)と左目映像位置(XiL, YiL, ZiL)を決定し、記憶装置3に記憶し、第4ステップに移行する。
第4ステップ(映像の表示) : 表示制御装置6は、記憶装置3から、右目映像位置(XiR, YiR, ZiR)と左目映像位置(XiL, YiL, ZiL) の情報を読み込み、映像生成装置5を制御して右目映像23と左目映像24を生成し、表示装置1を制御して右目映像23と左目映像24を表示し、第5ステップに移行する。
第5ステップ(制御の繰り返し) : 表示システムが作動していると第2ステップに移行し、第2ステップから第5ステップを繰り返す。表示システムが停止すると第6ステップに移行する。
第6ステップ(制御の終了) : 表示制御装置6は制御を終了する。
Model 42_2とModel 42_3の右目位置(XeR, YeR, ZeR)と左目位置(XeL, YeL, ZeL)について説明する。
Model 42_2とModel 42_3が必要とするのは右目のX軸方向の位置XeR と左目のX軸方向の位置XeL であるが、X軸方向の位置(XeR, XeL)、Y軸方向の位置(YeR, YeL)、Z軸方向の位置(ZeR, ZeL)の全ての測定を行うことによって測定精度の高い右目のX軸方向の位置XeR と左目のX軸方向の位置XeL が得られる。
Model 42_2とModel 42_3の右目映像位置(XiR, YiR, ZiR)と左目映像位置(XiL, YiL, ZiL)について説明する。
Y軸方向の位置(YiR, YiL)とZ軸方向の位置(ZiR, ZiL)は、右目映像23と左目映像24が表示パネル2に表示されればよいだけなので省略することができ、右目映像のX軸方向の位置XiR と左目映像のX軸方向の位置XiL とすることができる。
1 表示装置
2 表示パネル
2a 表示パネルの下半分
2b 表示パネルの上半分
2d 右表示パネル
2e 左表示パネル
3 記憶装置
4 演算装置
5 映像生成装置
6 表示制御装置
7 ステアリングホイール
10 光学式目位置測定装置
10a 目位置センサー(右)
10b 目位置センサー(左)
14 右目偏光フィルター
15 左目偏光フィルター
16 レンチキュラープレート
17 後写カメラ
18 映像処理装置
21 右目
22 左目
23 右目映像
23a 右目ストライプ映像
23c 右目映像のウィンドウ違反領域
23c1 第1の右目映像のウィンドウ違反領域
23c2 第2の右目映像のウィンドウ違反領域
23d 右目映像のウィンドウ違反のない領域
23f 右目映像の消失した領域
24 左目映像
24a 左目ストライプ映像
24c 左目映像のウィンドウ違反領域
24c1 第1の左目映像のウィンドウ違反領域
24c2 第2の左目映像のウィンドウ違反領域
24d 左目映像のウィンドウ違反のない領域
24f 左目映像の消失した領域
26 右目輻輳虚像
26c 右目輻輳虚像のウィンドウ違反領域
26d 右目輻輳虚像のウィンドウ違反のない領域
27 左目輻輳虚像
27c 左目輻輳虚像のウィンドウ違反領域
27d 左目輻輳虚像のウィンドウ違反のない領域
29a Wpx視認阻害領域
29a1 Wpx右目視認阻害領域
29a2 Wpx左目視認阻害領域
29c Wpx視認阻害境界点
32a 後写映像(右)
32b 後写映像(左)
32c 後写映像(中央)
33a 右表示パネルWpx視認阻害領域
33b 左表示パネルWpx視認阻害領域
33c Spx視認阻害領域
34a 右表示パネルWpx視認阻害境界点
34b 左表示パネルWpx視認阻害境界点
34c Spx視認阻害境界点
35a1 右表示パネル右目視認阻害領域
35a2 右表示パネル左目視認阻害領域
35b1 左表示パネル右目視認阻害領域
35b2 左表示パネル左目視認阻害領域

Wpx 表示パネルのX軸方向の長さ
Spx 表示パネルのX軸方向の間隔
Zp 表示パネルのZ軸方向の位置
Ze 目のZ軸方向の位置
XeR 右目のX軸方向の位置
YeR 右目のY軸方向の位置
ZeR 右目のZ軸方向の位置
XeL 左目のX軸方向の位置
YeL 左目のY軸方向の位置
ZeL 左目のZ軸方向の位置
XeRc 右目のX軸方向の基準位置
XeLc 左目のX軸方向の基準位置
YeLc 左目のY軸方向の基準位置
Xem 目のX軸方向の移動距離
We 右目と左目のX軸方向の距離
XiR 右目映像のX軸方向の位置
YiR 右目映像のY軸方向の位置
ZiR 右目映像のZ軸方向の位置
XiL 左目映像のX軸方向の位置
YiL 左目映像のY軸方向の位置
ZiL 左目映像のZ軸方向の位置
ScR 右目映像のウィンドウ違反領域のX軸方向の長さ
ScL 左目映像のウィンドウ違反領域のX軸方向の長さ
SdR 右目映像のウィンドウ違反のない領域のX軸方向の長さ
SdL 左目映像のウィンドウ違反のない領域のX軸方向の長さ
SfR 右目映像の消失領域のX軸方向の長さ
SfL 右目映像の消失領域のX軸方向の長さ
Si 右目映像と左目映像のX軸方向の相対的シフト量
SiR 右目映像のX軸方向のシフト量
SiL 左目映像のX軸方向のシフト量
Xim 映像のX軸方向の強制移動距離
Zv 輻輳虚像のZ軸方向の位置
Wv 輻輳虚像のX軸方向の長さ
WvR 右目輻輳虚像のX軸方向の長さ
WvL 左目輻輳虚像のX軸方向の長さ
WnR 右目輻輳虚像のウィンドウ違反領域のX軸方向の長さ
WnL 左目輻輳虚像のウィンドウ違反領域のX軸方向の長さ

Claims (4)

  1. 自動車、モーターサイクル等の操縦者によって操縦される移動手段に用いる、映像(23, 24)が操縦者の前方風景と重畳して視認可能なHUD(ヘッドアップディスプレイ)の表示システムであって、
    前記表示システムは、右目(21)で視認される右目映像(23)と左目(22)で視認される左目映像(24)を表示可能な立体視光学系を用いた表示パネル(2)を有すること、
    表示パネルの左右方向の長さWpx と操縦者の右目と左目の距離We はWpx≦Weの関係があること、
    前記表示システムは、右方向にSiR シフトした前記右目映像(23)と左方向にSiL シフトした前記左目映像(24)を生成して表示すること、
    右目映像と左目映像の左右方向の相対的シフト量Si=SiR+SiLと表示パネルの左右方向の長さWpx はSi≦Wpx の関係があること、
    前記右目映像(23)はそれに対応する左目映像(24)のない右目映像のウィンドウ違反領域(23c)を有すること、
    前記左目映像(24)はそれに対応する右目映像(23)のない左目映像のウィンドウ違反領域(24c)を有すること、
    前記右目映像のウィンドウ違反領域(23c)は、前記左目映像(24)がシフトして対応する左目映像が消失した第1の右目映像のウィンドウ違反領域(23c1)と前記右目映像(23)がシフトして新たに生成されたために対応する左目映像がない第2の右目映像のウィンドウ違反領域(23c2)を有すること、
    前記左目映像のウィンドウ違反領域(24c)は、前記右目映像(23)がシフトして対応する右目映像が消失した第1の左目映像のウィンドウ違反領域(24c1)と前記左目映像(24)がシフトして新たに生成されたために対応する右目映像がない第2の左目映像のウィンドウ違反領域(24c2)を有すること、
    を特徴とする表示システム。
  2. 請求項1の表示システムにおいて、
    前記表示パネル(2)は、操縦者の前方の視界を遮る位置に左右方向に配列された複数の表示パネル、または、視界を遮る部分が複数ある形状の表示パネルであること、
    表示パネルの視界を遮る部分の左右方向の長さWpx と操縦者の右目と左目の距離We はWpx≦We の関係があること、
    表示パネルの視界を遮る部分の左右方向の間隔Spx と操縦者の右目と左目の距離We はSpx≧We の関係があること、
    を特徴とする表示システム。

  3. 請求項1または2の表示システムにおいて、

    前記表示システムは、右目位置と左目位置を測定する目位置測定装置(10)を有すること、

    前記表示パネル(2)は、レンチキュラー光学系、パララックスバリア(イメージスプリッター)光学系等のストライプ映像を表示する立体視光学系を用いた表示パネルであること、

    前記表示システムは、前記目位置測定装置(10)を制御して、前記右目位置と前記左目位置を測定すること、

    前記右目位置と前記左目位置の情報、前記立体視光学系の情報、前記表示パネル(2)の表示画素の配置の情報、右目映像位置と左目映像位置の情報に基づき、前記立体視光学系を介して、前記右目(21)で前記右目映像(23)が、前記左目(22)で前記左目映像(24)が正しく視認されるように、前記右目映像(23)と前記左目映像(24)をストライプ状に分解して右目ストライプ映像(23a)と左目ストライプ映像(24a)に再構成して表示すること、

    を特徴とする表示システム。


  4. 請求項1ないし3の表示システムにおいて、
    前記表示システムは、車体の後方を撮影する後写カメラ(17)を有すること、
    前記表示システムは、前記後写カメラ(17)を制御して後写映像(32a, 32b, 32c)を撮影し、それらを前記表示パネル(2)に表示すること、
    前記目位置測定装置(10)を制御して、前記右目(21)の右目の左右方向の基準位置XeRc からの移動量と前記左目(22)の左目の左右方向の基準位置XeLc からの移動量を測定して、それに対応した前記右目映像と前記左目映像の左右方向の強制移動距離Xim を算出し、
    前記右目(21)と前記左目(22)の移動と同方向または反対方向にXim だけ移動した前記右目映像(23)と前記左目映像(24)を生成して表示すること、
    を特徴とする表示システム。
JP2021106436A 2021-06-28 2021-06-28 立体視光学系を用いたhud装置を有する操縦システム Active JP7072317B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021106436A JP7072317B1 (ja) 2021-06-28 2021-06-28 立体視光学系を用いたhud装置を有する操縦システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021106436A JP7072317B1 (ja) 2021-06-28 2021-06-28 立体視光学系を用いたhud装置を有する操縦システム

Publications (2)

Publication Number Publication Date
JP7072317B1 true JP7072317B1 (ja) 2022-05-20
JP2023004615A JP2023004615A (ja) 2023-01-17

Family

ID=81654310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021106436A Active JP7072317B1 (ja) 2021-06-28 2021-06-28 立体視光学系を用いたhud装置を有する操縦システム

Country Status (1)

Country Link
JP (1) JP7072317B1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104537A (ja) 2005-10-07 2007-04-19 Nissan Motor Co Ltd 車両用死角映像表示装置
JP2014529094A (ja) 2011-08-02 2014-10-30 マイクロソフト コーポレーション 表示装置閲覧モード間の変更
JP2018205446A (ja) 2017-05-31 2018-12-27 パナソニックIpマネジメント株式会社 表示システム、電子ミラーシステム及びそれを備える移動体
WO2019035177A1 (ja) 2017-08-15 2019-02-21 三菱電機株式会社 車載表示装置、画像処理装置および表示制御方法
WO2019073548A1 (ja) 2017-10-11 2019-04-18 三菱電機株式会社 表示制御装置及び表示制御方法
JP2019174794A (ja) 2018-03-27 2019-10-10 パナソニックIpマネジメント株式会社 表示システム、電子ミラーシステム、移動体、及び表示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261691A (ja) * 1996-03-19 1997-10-03 Fujitsu General Ltd 映像表示方式

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104537A (ja) 2005-10-07 2007-04-19 Nissan Motor Co Ltd 車両用死角映像表示装置
JP2014529094A (ja) 2011-08-02 2014-10-30 マイクロソフト コーポレーション 表示装置閲覧モード間の変更
JP2018205446A (ja) 2017-05-31 2018-12-27 パナソニックIpマネジメント株式会社 表示システム、電子ミラーシステム及びそれを備える移動体
WO2019035177A1 (ja) 2017-08-15 2019-02-21 三菱電機株式会社 車載表示装置、画像処理装置および表示制御方法
WO2019073548A1 (ja) 2017-10-11 2019-04-18 三菱電機株式会社 表示制御装置及び表示制御方法
JP2019174794A (ja) 2018-03-27 2019-10-10 パナソニックIpマネジメント株式会社 表示システム、電子ミラーシステム、移動体、及び表示方法

Also Published As

Publication number Publication date
JP2023004615A (ja) 2023-01-17

Similar Documents

Publication Publication Date Title
JP4323377B2 (ja) 画像表示装置
JP5099451B2 (ja) 車両周辺確認装置
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
JP5874920B2 (ja) 車両周囲確認用モニター装置
CN110308557B (zh) 显示系统、电子镜系统、移动体以及显示方法
CN106918909B (zh) 平视显示器控制装置及方法
CN101585347B (zh) 汽车后视系统及具有该后视系统的汽车
CN105116546A (zh) 一种车载平视显示装置及显示方法
JP2015054598A (ja) 車両用表示装置
CN106494309B (zh) 车辆的视觉盲区的画面显示方法、装置以及车载虚拟系统
JP2009105660A (ja) 車載用撮像装置
US20190166357A1 (en) Display device, electronic mirror and method for controlling display device
US10399496B2 (en) Viewing device for vehicle and method of displaying viewed image for vehicle
JP6337720B2 (ja) 虚像表示装置
TW201605247A (zh) 影像處理系統及方法
KR101209796B1 (ko) 전경 투과 기능을 갖는 차량용 표시장치 및 이의 표시방법
KR20130024459A (ko) 차량의 주변 영상 디스플레이 장치 및 방법
US20190166358A1 (en) Display device, electronic mirror and method for controlling display device
JP2018077435A (ja) 虚像表示装置
JP7072317B1 (ja) 立体視光学系を用いたhud装置を有する操縦システム
WO2016088150A1 (ja) 車載用表示装置、車両及び表示方法
JP6995294B1 (ja) 自動車のための、表示装置の映像の視認がステアリングホイール等の障害物によって阻害されない操縦システム
CN110024381A (zh) 显示装置、以及电子后视镜
JP6488628B2 (ja) 映像処理装置、及び車載映像処理システム

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210915

AA91 Notification that invitation to amend document was cancelled

Free format text: JAPANESE INTERMEDIATE CODE: A971091

Effective date: 20211214

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220311

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

R150 Certificate of patent or registration of utility model

Ref document number: 7072317

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150