JP7178638B2 - 電子ミラーシステム、及び移動体 - Google Patents

電子ミラーシステム、及び移動体 Download PDF

Info

Publication number
JP7178638B2
JP7178638B2 JP2019061928A JP2019061928A JP7178638B2 JP 7178638 B2 JP7178638 B2 JP 7178638B2 JP 2019061928 A JP2019061928 A JP 2019061928A JP 2019061928 A JP2019061928 A JP 2019061928A JP 7178638 B2 JP7178638 B2 JP 7178638B2
Authority
JP
Japan
Prior art keywords
image
optical element
row
mirror system
electronic mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019061928A
Other languages
English (en)
Other versions
JP2020160363A (ja
Inventor
研一 笠澄
俊也 森
正人 尾形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019061928A priority Critical patent/JP7178638B2/ja
Publication of JP2020160363A publication Critical patent/JP2020160363A/ja
Application granted granted Critical
Publication of JP7178638B2 publication Critical patent/JP7178638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は、一般に、電子ミラーシステム、及び移動体に関する。より詳細には、本開示は、撮像部からの画像データに基づく画像を表示する電子ミラーシステム、及び当該電子ミラーシステムを備えた移動体に関する。
従来例として、特許文献1に記載の立体映像表示装置を例示する。この立体映像表示装置は、要素画像群を表示する表示手段と、3次元映像を再生する要素光学素子群と、を備える。各要素画像は、要素光学素子の幅を超える長方形で、当該長方形の長辺方向を基準線の方向として、一列に整列し要素画像列を形成する。要素光学素子群において、各要素光学素子のうち互いに接して一列に配置される要素光学素子列の中心直線が基準線に対して角度を持つように、要素光学素子列が設置面上で傾斜させた状態で配置されている。
この特許文献1によれば、駆動手段を必要とせず、要素画像の幅と高さの比率を変えることで特定方向の視域角を拡大することができるものである。
特開2012-230142号公報
ところで、電子ミラーシステムにおいては、観測者(例えば運転手)が、電子ミラーシステムから提示されている立体画像を観測中に、観測者の頭部が、一方向(例えば横方向)に沿って比較的広範囲に移動する可能性が高い。特許文献1に記載の立体映像表示装置による視域角の拡大では、依然として十分とは言えない可能性がある。
本開示は上記事由に鑑みてなされ、立体画像に関する視認性の向上を図ることができる、電子ミラーシステム、及び移動体を提供することを目的とする。
本開示の一態様の電子ミラーシステムは、表示部と、光学素子群と、を備える。前記表示部は、撮像部から取得する画像データに基づく画像を表示面に表示する。前記光学素子群は、前記表示部から焦点距離に応じて前記表示面と対向するように配置され、前記表示面に表示される前記画像からの光線を集光して、立体的な虚像を再生する。前記光学素子群は、各列が複数の光学素子を含む第1列と第2列とを交互に並べて方眼状に構成される。各光学素子は、前記画像を構成する複数の画像片のうち、対応する画像片からの前記光線を集光する。各画像片は、前記第1列と前記第2列とが並ぶ並び方向に沿って長尺であり、かつ、長尺方向における寸法が、前記並び方向における各光学素子の寸法よりも大きい。前記第1列を構成する各光学素子は、前記光線が通る第1端面を有する。前記第2列を構成する各光学素子は、前記光線が通る第2端面を有する。前記第1端面及び前記第2端面は、前記表示面に対して傾斜する。前記第1端面の前記第1列に沿った方向の中点における接線に沿った傾斜方向及び前記第2端面の前記第2列に沿った方向の中点における接線に沿った傾斜方向は、前記並び方向に沿って見て、互いに異なり、かつ、前記表示面と直交する方向に沿って見て、前記長尺方向に直交する方向に沿っている。
本開示の別の一態様の電子ミラーシステムは、表示部と、光学素子群と、を備える。前記表示部は、撮像部から取得する画像データに基づく画像を表示面に表示する。前記光学素子群は、前記表示部から焦点距離に応じて前記表示面と対向するように配置され、前記表示面に表示される前記画像からの光線を集光して、立体的な虚像を再生する。前記光学素子群は、各列が複数の光学素子を含む第1列と第2列とを交互に並べて方眼状に構成される。各光学素子は、前記画像を構成する複数の画像片のうち、対応する画像片からの前記光線を集光する。各画像片は、前記第1列と前記第2列とが並ぶ並び方向に沿って長尺であり、かつ、長尺方向における寸法が、前記並び方向における各光学素子の寸法よりも大きい。前記第1列を構成する各光学素子は、前記光線が出射する第1曲面を有する。前記第2列を構成する各光学素子は、前記光線が出射する第2曲面を有する。前記第1曲面及び前記第2曲面は、前記並び方向に沿って見て、前記表示面から離れる方向に円弧状に凸となって湾曲し、かつ当該円弧の中心位置が互いにずれるように構成される。
本開示の一態様の移動体は、移動する移動体本体と、前記移動体本体に搭載される上記のいずれかの電子ミラーシステムと、を備える。
本開示によれば、立体画像に関する視認性の向上を図ることができる、という利点がある。
図1は、本開示の一実施形態に係る電子ミラーシステムの概略的な説明図である。 図2は、同上の電子ミラーシステムを備える移動体の概略説明図である。 図3は、同上の電子ミラーシステムの概略的なブロック図である。 図4は、同上の電子ミラーシステムの使用状態を説明する説明図である。 図5は、同上の電子ミラーシステムによって立体画像を表示する方法を説明する説明図である。 図6Aは、同上の電子ミラーシステムにおける光学素子群を説明するための概略説明図である。図6Bは、図6Aの光学素子群をX軸方向に沿って見た概略の要部側面図である。 図7は、同上の電子ミラーシステムにおける光学素子群の比較例を説明するための概略説明図である。 図8Aは、同上の電子ミラーシステムにおける変形例1の光学素子群を説明するための概略説明図である。図8Bは、図8Aの光学素子群をX軸方向に沿って見た概略の要部側面図である。 図9Aは、同上の電子ミラーシステムにおける変形例2の光学素子群を説明するための概略説明図である。図9Bは、同上の光学素子群の正面から見た概略の要部平面図である。
(1)概要
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。
本実施形態に係る電子ミラーシステム10は、図1及び図2に示すように、例えば、移動体としての自動車100に用いられる。
電子ミラーシステム10は、図1、図3、図5及び図6Aに示すように、表示部21と、光学素子群22と、を備えている。
表示部21は、撮像部40から取得する画像データに基づく画像を表示面211に表示する。光学素子群22は、表示部21から焦点距離W1(図5参照)に応じて(例えば、概ね焦点距離W1を空けて)表示面211と対向するように配置され、表示面211に表示される画像からの光線を集光して、立体的な虚像310(図4参照)を再生する。以下では、立体画像データに基づく画像を「三次元用画像G1」(図6A参照)と呼ぶこともある。電子ミラーシステム10は、必ずしも立体的な虚像310(立体描写の対象物の虚像)のみを再生するだけではない。したがって、表示面211に表示される画像には、自動車100の周囲に存在する様々な対象物が映っている。この種の対象物には、自動車100が走行する走行面400(図2参照)となる道路、道路に沿って設置された道路標識、ガードレール又は防護フェンス、道路に面して建っている建物が含まれ得る。またこの種の対象物には、自動車100の近くを走行する別の自動車又はバイク、歩道等にいる人、及び、空等が含まれ得る。電子ミラーシステム10は、画像に映る様々な対象物のうち、立体描画する対象物以外の対象物(以下、平面描画部分という)の虚像300(図4参照)も再生する。以下、三次元用画像G1と区別する場合には、平面画像データに基づく画像を「二次元用画像」と呼ぶこともある。
「虚像300及び310」は、図1に示すように、アイボックス210に視点201があるユーザ200(例えば自動車100の運転者等)に視認させるための、表示面211に表示される画像に基づく像であり、虚像空間内の像である。電子ミラーシステム10は、光学系30を更に備えている。光学系30は、表示部21及び光学素子群22を有する画像表示部30から出力される画像(表示面211に表示される画像)を構成する光の反射と屈折との少なくとも一方を行う。その結果、光学系30は、画像表示部30から出力される画像を、アイボックス210に集光する。以下では、光学系30は、例えば、両凸レンズのようなレンズ31と、平面鏡或いは凹面鏡のようなミラー32とを組み合わせることで実現されているが、レンズ31とミラー32の組み合わせは、表示面211の大きさ、拡大率、及び視距離等に応じて適宜変更が可能である。
ところで、光学素子群22は、図6Aに示すように、各列が複数(図示例では便宜上4つのみ図示)の光学素子B0を含む第1列K1と第2列K2とを交互に並べて方眼状に構成される。ここで言う「方眼状」は、光学素子群22を正面から見て、複数の光学素子B0が縦横に直角に整列されて配置されることを意味する。ここでは、光学素子群22は、レンズアレイにより構成される。レンズアレイは、一例として、おおむね平凸レンズからなる光学素子B0が平面上に複数配置されて構成される。
各光学素子B0は、画像を構成する複数の画像片GP0のうち、対応する画像片GP0からの光線を集光する。各画像片GP0は、第1列K1と第2列K2とが並ぶ並び方向D1に沿って長尺であり、かつ、長尺方向における寸法Q1が、並び方向D1における各光学素子B0の寸法Q2よりも大きい。
第1列K1を構成する各光学素子B0は、光線が通る第1端面S1を有している。第2列K2を構成する各光学素子B0は、光線が通る第2端面S2を有している。以下では一例として、第1端面S1及び第2端面S2が、いずれも光線が出射する出射面C2であるものとする。
そして、本実施形態では、第1端面S1及び第2端面S2(出射面C2)は、表示面211に対して傾斜するように構成される。特に図6Bに示すように、第1端面S1(出射面C2)の傾斜方向F1及び第2端面S2(出射面C2)の傾斜方向F2は、並び方向D1に沿って見て、互いに異なり、かつ、表示面211と直交する方向に沿って見て、長尺方向に直交する方向に沿っている。
この構成によれば、傾斜方向F1及び傾斜方向F2が、並び方向D1に沿って見て、互いに異なり、かつ、表示面211と直交する方向に沿って見て、長尺方向に直交する方向に沿っている。そのため、光学素子B0の寸法Q2よりも大きい長尺の画像片GP0に関する視域は、光学素子群22を介することで、並び方向D1に拡げることができる。言い換えると、方眼状の光学素子群22において、視域の幅を拡げるために画像片GP0を横長にしても、第1列の光学素子B0に対応する画像片GP0と、第2列の光学素子B0に対応する画像片GP0とが互いに干渉し合う可能性を抑えることができる。したがって、立体画像に関する視認性の向上を図ることができる。
(2)詳細
以下、本実施形態に係る電子ミラーシステム10について図面を参照して詳しく説明する。
(2.1)全体構成
電子ミラーシステム10は、図1及び図3に示すように、画像表示部20と、光学系30と、を備えている。また電子ミラーシステム10は、図3に示すように、撮像部40と、制御部50と、を更に備えている。また電子ミラーシステム10は、画像表示部20、光学系30、及び制御部50を収容するハウジング60(図1参照)を更に備えている。
電子ミラーシステム10は、移動体である自動車100の移動体本体110に搭載される。すなわち、移動体(自動車100)は、移動する移動体本体110と、移動体本体110に搭載される電子ミラーシステム10と、を備えている。
以下、電子ミラーシステム10が備えるハウジング60、撮像部40、画像表示部20、光学系30、及び制御部50の各々について図面を参照して説明する。
(2.1.1)ハウジング
ハウジング60は、例えば合成樹脂の成型品等で構成されている。ハウジング60は、図1に示すように、内部に収容室64を有する直方体状に形成されている。収容室64には、画像表示部20、光学系30、及び制御部50等が収容されている。
ハウジング60は、移動体本体110の天井部分111においてウィンドシールド112(フロントガラス)に近い前側部分に、前部座席に着座するユーザ200から見える位置に取り付けられている(図1及び図2参照)。ハウジング60は、支持部材61を介して移動体本体110の天井部分111から吊り下げられた状態で天井部分111に取り付けられており、ユーザ200の前方視界を邪魔しない位置に配置されている。ハウジング60は、移動体本体110に取り付けられた状態において、移動体本体110の左右方向(車幅方向)における寸法が、上下方向における寸法及び前後方向における寸法よりもそれぞれ小さくなるような形状に形成されている。
ハウジング60の後部の表面(つまりハウジング60の後壁)には、ハウジング60の後壁を貫通する貫通孔62が設けられている。貫通孔62は、上下方向の寸法に比べて左右方向(上下方向及び前後方向と直交する方向)の寸法が大きく、上下方向の寸法(長辺寸法)と左右方向の寸法(短辺寸法)との比率は約3~6:1である。貫通孔62には例えばガラス等の透明な窓材63が取り付けられている。光学系30のミラー32によって反射された光は窓材63を通してアイボックス210に集光され、アイボックス210内に視点201があるユーザ200によって、光学系30によって投影された画像が視認される。
(2.1.2)撮像部
撮像部40は、撮影方向が互いに異なる複数(例えば2台)のカメラ41,42を含む。カメラ41,42は、動画像を撮影可能なデジタルカメラである。2台のカメラ41,42は、カメラ41の撮影範囲とカメラ42の撮影範囲とが少なくとも一部重なるように配置されている。カメラ41,42は、それぞれ、所定のフレームレートで自動車100の後方を撮影して、画像データを制御部50に出力する。本実施形態では、2台のカメラ41,42が、互いに異なる方向から自動車100の後方を撮影している。よって、制御部50は、カメラ41,42の画像データと、カメラ41,42の設置位置に関する情報とに基づいて、カメラ41,42の画像に映っている対象物までの距離を三角法により求めることができる。
撮像部40は、撮影方向が互いに異なる2台のカメラ41,42を含んでいるが、撮影方向が互いに異なる3台以上のカメラを含んでいてもよい。あるいは、撮像部40は、1台のカメラと、距離データを取得する距離センサとを備えてもよい。距離センサは、例えば、ミリ波レーダー、又は、LIDAR(Light detection and ranging)等のセンサを含む。距離センサは、当該距離センサから、1台のカメラの撮像範囲に存在する対象物までの距離を測定し、距離の測定結果を示す距離データを制御部50に出力してもよい。
(2.1.3)画像表示部
画像表示部20は、上述した表示部(表示デバイス)21及び光学素子群22を有している。光学素子群22は、上述の通り、レンズアレイとして構成され、表示部21の表示面211と対向するように配置される。
画像表示部20は、画像中の対象物から複数の方向に放出される光(光線)を再現することで対象物を立体的に見せるライトフィールド(Light Field)方式により、立体画像を表示する機能を有している。
表示部21は、制御部50による制御下で、撮像部40から取得する画像データに基づく画像を表示面211に表示するように構成される。表示部21は、収容室64の後部の上側に、表示面211を前側に向けた状態でハウジング60に収容されている。表示部21の表示面211は、ユーザ200に集光する画像の形状に応じた矩形状であり、表示部21の表示面211には複数の画素X0(図6A参照)がアレイ状に配置されている。複数の画素X0は、図6Aに示すように、X軸及びY軸に沿って方眼状に配置される。X軸は、例えば、ユーザ200が居る車内空間では左右方向に沿った軸に相当し、Y軸は、例えば、上下方向に沿った軸に相当する。
図5は、ライトフィールド方式を説明するための、上方から見た概略図であり、説明の便宜上、複数の画素が出力する画像のうち、三次元用画像G1を出力している4個の画素(X1~X4)×7(合計28個の画素)のみに着目して図示している。
また図5では、ユーザ200から見て、28個の画素が、左右方向に並んでいるが、実際には、複数の画素が、上下及び左右方向に並んでいる。図5は、ライトフィールド方式を説明するための簡易的な図であるため、図5の各画素サイズは、必ずしも図6Aで示す本実施形態の光学素子群22に対応する各画素X0の画素サイズに対応しているとは限らない。また図5に示す各画素と、光学素子群22の(後述する)光学素子B0との対応関係も、必ずしも図6Aで示す対応関係に厳密に一致しているとは限らない。
表示部21の複数の画素X0は、制御部50の制御に応じて発光し、表示部21の表示面211から出力される光(光線)によって、表示面211に表示される画像が形成される。表示部21は、例えば、液晶ディスプレイ、又は有機EL(Electro Luminescence)ディスプレイ等によって実現される。
光学素子群22は、アレイ状に配列された複数の光学素子B0(図6A参照)を有している。各光学素子B0は、おおむね平凸レンズである。各光学素子B0は、完全なシリンドリカル状(いわゆる、カマボコ状)ではなく、表示部21からの光線が出射する出射面C2が、X軸方向においてもY軸方向においても湾曲している。なお、光学素子群22の具体的な構造については、後の「(2.3)光学素子群」の欄で詳しく説明する。
光学素子群22は、表示部21から焦点距離W1(図5参照)に応じて(例えば、概ね焦点距離W1を空けて)表示面211と対向するように配置される。光学素子群22は、表示面211に表示される画像(三次元用画像G1)からの光線を集光して、立体的な虚像310を再生する。
図5の例では、図中のグループGR1でそれぞれ括られた4個の画素X1~X4が、複数の光学素子B0のうち同じ光学素子B0に対応している。また図5の例では、アイボックス210において水平方向に4つの視点P1~P4が設定されている。視点P1には、複数(図5では3つ)の光学素子B0によって、表示部21における複数(図5では3個)の画素X1からの光が集光される。同様に視点P2には、複数の光学素子B0によって、表示部21における複数の画素X2からの光が集光される。また視点P3には、複数の光学素子B0によって、表示部21における複数の画素X3からの光が集光される。更に視点P4には、複数の光学素子B0によって、表示部21における複数の画素X4からの光が集光される。
表示部21は、制御部50から入力される画像データに基づく画像を表示面211に表示する。制御部50は、立体描画の対象物の虚像310を表示する場合、虚像310を表示させるための立体画像データを表示部21に出力する。制御部50は、立体描画の対象物を投影する位置に対応した複数の画素のうち、視点P1に対応する複数の画素X1に、立体画像データに基づく三次元用画像G1を表示させる。また制御部50は、視点P2に対応する複数の画素X2と、視点P3に対応する複数の画素X3と、視点P4に対応する複数の画素X4と、にも、それぞれ立体画像データに基づく三次元用画像G1を表示させる。
これにより、視点P1に対応する複数の画素X1から出力される光によって、複数の画素X1に表示される三次元用画像G1に基づく虚像310が視点P1に集光される。同様に、視点P2に対応する複数の画素X2から出力される光によって、複数の画素X2に表示される三次元用画像G1に基づく虚像310が視点P2に集光される。視点P3に対応する複数の画素X3から出力される光によって、複数の画素X3に表示される三次元用画像G1に基づく虚像310が視点P3に集光される。視点P4に対応する複数の画素X4から出力される光によって、複数の画素X4に表示される三次元用画像G1に基づく虚像310が視点P4に集光される。表示部21の表示面211に表示された画像は光学素子群22を通してアイボックス210に集光される。
表示部21に表示される三次元用画像G1の立体描画の対象物は、共通の対象物である。ただし、画素X1~X4に表示される三次元用画像G1を、光学素子群22を通して見ることで、画素X1~X4で互いに見える角度が少しずつ異なる画像が視認されることで視差画像が再現され、立体画像として視認可能となる。
また、制御部50(画像データ作成部52)は、画像表示部20に表示させる画像のうち、立体描画の対象物以外の平面描画部分を表示面211に表示させるための平面描画データを作成する。つまり、制御部50は、カメラ41,42からの画像データに基づいて、立体描画部分以外の背景となる平面描画部分の平面描画データを作成する。そして、制御部50は、表示部21における複数の画素X0のうち、立体描画の対象物を描画するために用いる画素X0以外の画素X0に、平面描画データに基づく二次元用画像を表示させる。なお、平面描画データを表示させる画素X0から出力される光も光学素子群22を通過するため、例えば、視点P1には、視点P1に対応した画素X0の光が到達し、視点P2~P4に対応した画素の光は到達しない。
以上のように、画像表示部20は、平面描画データに基づく平面描画部分の二次元用画像に、立体画像データに基づく立体描画の対象物の三次元用画像G1を重ねた画像を表示部21の表示面211に表示させる。そして、表示部21の表示面211に表示された画像は、光学素子群22と光学系30とを通してアイボックス210内に視点があるユーザ200に視認される。
図5で言えば、例えば、ユーザ200の右目が視点P2の位置にあり、ユーザ200の左目が視点P3の位置にあるとする。ユーザ200の右目には、視点P2に対応した画素(三次元用画像G1に対応する画素X2だけでなく、背景用の二次元用画像に対応する画素X2も含む)から出力される光が集光される。ユーザ200の左目には、視点P3に対応した画素(三次元用画像G1に対応する画素X3だけでなく、背景用の二次元用画像に対応する画素X3も含む)から出力される光が集光される。よって、ユーザ200の右目には、視点P2に集光される画像、つまり視点P2から見た背景の画像に視点P2から立体描画の対象物を見た場合の三次元用画像G1を重ね合わせた画像が集光される。また、ユーザ200の左目には、視点P3に集光される画像、つまり視点P3から見た背景の画像に視点P3から立体描画の対象物を見た場合の三次元用画像G1を重ね合わせた画像が集光される。
これにより、ユーザ200の右目及び左目には、背景の画像に重ねて、立体描画の対象物を互いに異なる角度から見た画像が表示されるので、両眼視差を再現した画像を右目及び左目に集光することができる。よって、画像表示部20に表示された映像に基づいて、ユーザ200に対して立体描画の対象物の虚像310を立体的に見せることができる。
また、例えばユーザ200の頭部が右に移動して、ユーザ200の右目及び左目が、視点P1及びP2へそれぞれに移ると、上述の視点P2及びP3により見えていた虚像310を、やや右側から見ているように角度を変えて見せることができる。
なお、画像表示部20が、立体描画の対象物の虚像310を立体的に表示する方式はライトフィールド方式に限定されない。画像表示部20は、ユーザ200の左右の目に、互いに視差がある画像をそれぞれ集光することで、ユーザ200に立体描画の対象物の虚像310を視認させる視差方式を採用してもよい。
(2.1.4)光学系
光学系30は、画像表示部20から出力される光を、アイボックス210に集光する。本実施形態では、光学系30は、図1及び図3に示すように、例えば、凸レンズであるレンズ31と、凹面鏡であるミラー32とを有している。
レンズ31は、画像表示部20から出力される光を屈折して、ミラー32に入射させる。凸レンズであるレンズ31は、画像表示部20から出力される光を屈折することによって、画像表示部20に表示される画像を拡大する。
ミラー32は、画像表示部20からレンズ31を通って入射した光を反射し、反射光を、窓材63を通してアイボックス210に集光する(図1の光路L1参照)。図1に点線で図示した光路L2は、画像表示部20の一端部(視認される画像の上端部に対応した端部:図1では例えば上端部)から光学系30を介してアイボックス210に集光される光の光路を示している。また図1に点線で図示した光路L3は、画像表示部20の他端部(視認される画像の下端部に対応した端部:図1では例えば下端部)から光学系30を介してアイボックス210に集光される光の光路を示している。
(2.1.5)制御部
制御部50は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしての1以上のプロセッサ及び1以上のメモリを主構成とする。コンピュータシステムの1以上のメモリに記録されたプログラムを1以上のプロセッサが実行することによって、制御部50の機能が実現される。プログラムは、コンピュータシステムの1以上のメモリに予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
制御部50は、図3に示すように、例えば、画像解析部51、画像データ作成部52(以下、単に「作成部52」と呼ぶこともある)、及び出力部53等を有している。言い換えると、制御部50は、画像解析部51、作成部52、及び出力部53等としての機能を有している。
画像解析部51は、撮像部40と通信可能に接続されている。画像解析部51は、撮像部40における2台のカメラ41,42から、例えば通信線を介して、カメラ画像データD11,D12(図3参照)を受け取る。画像解析部51は、カメラ41,42から受け取ったカメラ画像データD11,D12に基づいて、2台のカメラ41,42が共に撮影する範囲の画像データD13(図3参照)を求める。また画像解析部51は、カメラ41,42からのカメラ画像データD11,D12に基づき、三角法により、カメラ41,42の中間位置から、カメラ41,42の画像に映っている対象物までの距離(奥行き)に関する距離データD14(図3参照)を求める。画像解析部51は、求めた画像データD13及び距離データD14を作成部52に出力する。
作成部52は、画像解析部51から入力される画像データD13及び距離データD14に基づいて、カメラ41,42の画像に映っている複数の対象物の中から、立体描画の対象物を抽出する。例えば、作成部52は、カメラ41,42の画像に映る対象物の距離データD14(奥行き情報)から、当該対象物を、平面描画部分の虚像として描画するか、平面描画部分の画像から立体的に飛び出して見える立体描画の対象物の虚像として描画するかを決定する。
作成部52は、カメラ41,42の画像に映る対象物のうち、立体描画の対象物以外の平面描画部分は、表示部21の表示面211にそのまま表示されるように、平面描画部分の画像データを作成する。
また、作成部52は、カメラ41,42の画像に映る対象物のうち、立体描画の対象物を立体的な虚像310としてユーザ200に視認させるための立体画像データを作成する。作成部52は、立体描画の対象物を投影する位置に対応した複数の画素X0のうち、複数の画素X1と複数の画素X2と複数の画素X3と複数の画素X4と、にそれぞれ立体描画の対象物の画像を表示させる立体画像データを作成する。すなわち、作成部52は、画像データD13と距離データD14とに基づいて、ユーザ200に立体描画の対象物の立体的な虚像を視認させるための立体画像データを作成する。
そして、出力部53が、作成部52によって作成された平面描画データ及び立体画像データ(画像データD15:図3参照)を表示部21に出力し、平面描画部分の画像に立体描画の対象物の画像を組み合わせた画像を表示部21に表示させる。つまり、画像表示部20は、作成部52が作成した立体画像データに基づく画像を表示部21に表示する。
(2.2)動作
本実施形態の電子ミラーシステム10の動作について簡単に説明する。
例えば、自動車100のバッテリから電子ミラーシステム10に電力が供給され、自動車100が備えるECU(Electronic Control Unit)から電子ミラーシステム10に動作を開始させる制御信号が入力されると、電子ミラーシステム10が動作を開始する。
例えば、自動車100のECUから制御部50に制御信号が入力されると、制御部50は、撮像部40(カメラ41,42)に所定のフレームレートで自動車100の後方を撮像させ、カメラ41,42から画像データD11,D12を取得する。
制御部50の画像解析部51は、画像データD11,D12を取得すると、画像データD11,D12に基づいてカメラ41,42の両方が撮影する範囲の画像GX1(図4参照)の画像データD13を取得し、作成部52に出力する。また、画像解析部51は、画像データD11,D12に基づいて、画像GX1内に存在する対象物とカメラ41,42との間の距離に関する距離データD14を求め、距離データD14を作成部52に出力する。
次に、作成部52は、画像解析部51から入力される画像データD13と距離データD14(奥行き情報)とに基づいて、画像GX1内に存在する複数の対象物について、平面描画部分の虚像として描画するか、立体描画の対象物の虚像として描画するかを決定する。
作成部52は、平面描画部分の画像GX2(図4参照)の平面描画データと、立体描画の対象物の立体画像データとを作成すると、平面描画データ及び立体画像データを含む画像データD15を出力部53から表示部21に出力させる。ここでは、画像GX2は、道路、空、ガードレール及びフェンス等を含む。
表示部21の表示面に表示された画像は、光学素子群22と光学系30とを通して、アイボックス210内に視点があるユーザ200に視認される。平面描画部分の画像GX2は、表示部21の複数の画素X0にそのまま表示されるので、ユーザ200は、2次元の画像(すなわち、虚像300)として認識される。また、ユーザ200が立体描画の対象物の画像を、光学素子群22を通して視認することで、両眼視差を再現した画像をユーザ200に視認させることができ、立体描画の対象物を立体的に視認することができる。したがって、ユーザ200は、平面描画部分(つまり背景)の画像GX2に重ねて立体描画の対象物の画像G11(図示例では後続の車両)が表示される画像を、立体的な虚像310として視認することができる。
(2.3)光学素子群
以下、本実施形態の光学素子群22について、図6A、図6B及び図7を参照しながら詳しく説明する。なお、図7は、本実施形態の光学素子群22と比較するための比較例の光学素子群22Xを示す。図6Aは、光学素子群22の一部のみと、当該一部に対応する表示部21の表示面211の一部のみを図示する。同様に、比較例の図7は、光学素子群22Xの一部のみと、当該一部に対応する表示部21Xの表示面211Xの一部のみを図示する。
本実施形態の光学素子群22は、図6Aに示すように、各列が複数の光学素子B0を含む第1列K1と第2列K2とを交互に並べて方眼状に構成される。すなわち、複数の光学素子B0が、表示部21の表示面211と平行な一平面上において、X軸及びY軸に沿って、それぞれアレイ状に配置される。なお、図7に示すように、比較例の光学素子群22Xも、X軸及びY軸に沿って、それぞれアレイ状に配置される点で、光学素子群22と共通する。
光学素子群22の各光学素子B0は、画像(例えば三次元用画像G1)を構成する複数の画像片GP0のうち、対応する画像片GP0からの光線を集光する。
ここで制御部50は、各画像片GP0を、第1列K1と第2列K2とが並ぶ並び方向D1(図6A参照:X軸に沿った方向)に沿って長尺となるように、表示部21に表示させる。図6Aでは、各画像片GP0は、例えば、X軸に沿って並ぶ4個分の画素X0を占める。画像片GP0の4個分の画素X0は、図5で言えば、1つのグループGR1の画素X1~X4に相当し得る。4つの画像片GP0は、1つの光学素子B0を通じて、視域(領域R1)内に4つの視点を形成する。つまり、各画像片GP0の4つの画素X0は、視域(領域R1)内における4つの視点に、一対一で対応し得る。ここでは代表的に4個の画像片GP0だけをドットハッチングで示すが、同様の画像片GP0が周囲にも存在し得る。第1列K1及び第2列K2の各々は、Y軸に沿う列である。図6Bは、図6AをX軸(並び方向D1)に沿って見た要部側面図である。
また制御部50は、各画像片GP0の長尺方向における寸法Q1(図6A参照)が、並び方向D1における各光学素子B0の寸法Q2(図6A参照)よりも大きくなるように、表示部21に表示させる。寸法Q1は、例えば、寸法Q2の約2倍である。
第1列K1を構成する各光学素子B0は、光線が通る第1端面S1を有している。第2列K2を構成する各光学素子B0は、光線が通る第2端面S2を有している。ただし、ここでは、上述の通り、第1端面S1及び第2端面S2が、いずれも光線が出射する出射面C2であるものとする。出射面C2は、表示面211から離れる方向に凸となるように湾曲した曲面である。以下、第1列K1を構成する各光学素子B0の出射面C2を、第1曲面M1と呼び、第2列K2を構成する各光学素子B0の出射面C2を、第2曲面M2と呼ぶこともある(図6B参照)。
各光学素子B0の出射面C2(第1端面S1及び第2端面S2)は、第1列K1及び第2列K2を問わずに、全て表示面211に対して傾斜している。ただし、傾斜方向(ここでは出射面C2の中点における接線に沿った方向)が、第1列K1の各光学素子B0と、第2列K2の各光学素子B0とで異なる。
すなわち、第1列K1の各光学素子B0の出射面C2(第1曲面M1)は、図6Bに示すように、傾斜方向F1に傾斜する。また第2列K2の各光学素子B0の出射面C2(第2曲面M2)は、図6Bに示すように、傾斜方向F2に傾斜する。ここでは、傾斜方向F1は、例えば、第1曲面M1上におけるY軸方向の中点に対する接線に沿った方向に相当するとする。また傾斜方向F2は、例えば、第2曲面M2上におけるY軸方向の中点に対する接線に沿った方向に相当するとする。そして、傾斜方向F1及び傾斜方向F2は、並び方向D1に沿って見て、互いに異なる(図6B参照)。
より具体的に説明すると、第1列K1の各光学素子B0は、図6Bに示すように、出射面C2の側(入射面C1とは反対側)にて、Y軸方向における両端のうちの第1端T1(図6Bでは左端)に、起立面C3を有している。起立面C3は、光線が入射する入射面C1に対して略垂直に起立するように第1端T1から延びている。第1曲面M1は、起立面C3の端縁から、Y軸方向における両端のうちの第2端T2(図6Bでは右端)に向かって僅かに隆起して頂点C4から緩やかに下るように湾曲する。ここでは一例として、第1曲面M1は非球面レンズ形状である。第1列K1において、入射面C1から第1端T1までの距離は、入射面C1から第2端T2までの距離とおおむね等しい。第1列K1において、互いに隣接する2つの光学素子B0は、一方の光学素子B0の第1端T1が、他方の光学素子B0の第2端T2と一致するように並ぶ。
一方、第2列K2の各光学素子B0は、Y軸方向における両端のうちの第2端U2(図6Bでは右端)に、起立面C3を有している。起立面C3は、入射面C1に対して略垂直に起立するように第2端U2から延びている。第2曲面M2は、起立面C3の端縁から、Y軸方向における両端のうちの第1端U1(図6Bでは左端)に向かって僅かに隆起して頂点C4から緩やかに下るように湾曲する。ここでは一例として、第2曲面M2は非球面レンズ形状である。第2列K2において、入射面C1から第1端U1までの距離は、入射面C1から第2端U2までの距離とおおむね等しい。第2列K2において、互いに隣接する2つの光学素子B0は、一方の光学素子B0の第1端U1が、他方の光学素子B0の第2端U2と一致するように並ぶ。
要するに、各光学素子B0は、第1列K1と第2列K2とで異なる側(第1端の側又は第2端の側)に、起立面C3を有していることで、傾斜方向F1及び傾斜方向F2は、並び方向D1に沿って見て、互いに異なる(交差する)。
またここでは、傾斜方向F1及び傾斜方向F2は、表示面211と直交する方向に沿って見て、各画像片GP0の長尺方向に直交する方向に沿っている。要するに、傾斜方向F1及び傾斜方向F2はいずれも、光学素子群22の正面から見て、Y軸に沿っている。
なお、本実施形態の各光学素子B0の出射面C2は、Y軸に沿って見て、僅かに凸となるように湾曲している(図6A参照)。
ここで、例えば、ある第1列K1を構成する複数の光学素子B0における1つの第1光学素子B1に着目する(例えば図6Aの一番手前の光学素子B0)。第1光学素子B1は、複数の画像片GP0のうち、第1の画像片GP1からの光線を集光する。この第1光学素子B1と隣り合う(第2列K2の)第2光学素子B2は、複数の画像片GP0のうち、第2の画像片GP2からの光線を集光する。第1の画像片GP1と第2の画像片GP2とは、制御部50の制御下で、表示面211上において、並び方向D1と直交する方向に並ぶように、表示される。ただし、ここでは、第2の画像片GP2は、制御部50の制御下で、第1の画像片GP1に対して、X軸方向において、複数個(ここでは2個)の画素X0分だけ、X軸の正方向にずれた上で、表示される。その結果、第1の画像片GP1及び第2の画像片GP2に関する視域は、光学素子群22を介することで、並び方向D1に拡がっている(図6Aの領域R1参照)。領域R1で示す視域内に、ユーザ200の目が存在する限り、視差が再現し得る。
このように本実施形態の光学素子群22においては、傾斜方向F1及び傾斜方向F2が、並び方向D1に沿って見て、互いに異なり、かつ、表示面211と直交する方向に沿って見て、長尺方向に直交する方向に沿っている。そのため、光学素子B0の寸法Q2よりも大きい長尺の画像片GP0に関する視域は、光学素子群22を介することで、並び方向D1に拡げることができる(領域R1)。特に、方眼状の光学素子群22において、視域の幅を拡げるために画像片GP0を横長にしても、第1列の光学素子B0に対応する画像片GP0と、第2列の光学素子B0に対応する画像片GP0とが互いに干渉し合う可能性を抑えることができる。したがって、立体画像に関する視域の方向(並び方向D1)への拡大を図ることができる。
また第1端面S1及び第2端面S2がいずれも、出射面C2であることで、出射面C2の傾斜による容易な構成で、立体画像に関する視認性の向上を図ることができる。
ここで図7の比較例を考察する。図7の複数の光学素子B0Xは、各列を問わずに、全て、互いに同形で同寸法(つまり同じ構造)の凸平レンズである。また図7では、2×2のスクエア状に配置された4個の画素X0で構成される画像片GP0は、複数の光学素子B0Xのうちの1つと対向するように表示される。比較例の各画像片GP0は、縦方向2つの視点、及び横方向に2つの視点、すなわち、2×2の4つの視点に対応し得る。各画像片GP0は、X軸方向及びY軸方向における寸法が光学素子B0Xとほぼ等しい。この図7の比較例の構成の場合、画像片GP0に関する視域は、光学素子群22Xを介することで、縦横で同等の大きさとなる(図7の領域R1X参照)。領域R1Xで示す視域内に、ユーザ200の目が存在する限り、視差が再現し得る。これに対して、本実施形態の光学素子群22では、図6Aの領域R1に示すように、図7の比較例の領域R1Xに比べて横方向に視域が拡大されていることが容易に理解できる。
電子ミラーシステム10が自動車100に適用された状態において、図6AのX軸方向が左右方向に一致することで、ユーザ200は、アイボックス210内で左右に頭部を移動させても、違和感なく虚像310を視認できる可能性が高くなる。
また本実施形態では、第1の画像片GP1と第2の画像片GP2とは、表示面211上において、並び方向D1と直交する方向に並ぶ。さらに第1の画像片GP1と第2の画像片GP2とは、並び方向D1において互いにずれた位置にある。そのため、図7の比較例の画像片GP1X及びGP2X(これらは、対応する2つの光学素子B0Xと同じようにX軸方向に隣接する)に比べて、並び方向D1における各画像片GP0の寸法を増加できる。図示例では、各画像片GP0の寸法は、比較例の画像片GP1X及びGP2Xに比べて、約2倍である。したがって、並び方向D1に沿った方向の視域を拡げることができ、立体画像に関する視認性を更に向上することができる。
ところで、Y軸方向における寸法に関して、各画像片GP0の寸法は、比較例の画像片GP0Xに比べて、約半分に減っている。しかし、自動車100内で着座しているユーザ200にとっては、アイボックス210内で、左右に頭部を移動させる可能性(頻度)に比べると、上下方向に頭部を移動させる可能性は低く、その移動範囲も、左右の移動範囲に比べると、狭いと考えられる。したがって、Y軸方向における寸法が減ることは、電子ミラーシステム10においては、立体画像に関する視認性に与える影響は少ないと言える。
(3)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る電子ミラーシステム10(特に制御部50)と同様の機能は、電子ミラーシステム10の制御方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。
本開示における電子ミラーシステム10の制御部50は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における電子ミラーシステム10の制御部50としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、電子ミラーシステム10における複数の機能が、1つのハウジング60内に集約されていることは電子ミラーシステム10に必須の構成ではなく、電子ミラーシステム10の構成要素は、複数のハウジングに分散して設けられていてもよい。さらに、電子ミラーシステム10の少なくとも一部の機能、例えば、電子ミラーシステム10における制御部50の一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
(3.1)変形例1
以下、変形例1の電子ミラーシステム10における光学素子群22Aについて、図8A及び図8Bを参照しながら説明する。図8Bは、図8AをX軸方向(並び方向D1)に沿って見た要部側面図である。なお、基本例の電子ミラーシステム10と実質的に共通する構成要素については、同じ参照符号を付与して適宜に説明を省略する場合もある。
基本例の光学素子群22では、第1列K1の各光学素子B0の第1端面S1及び第2列K2の各光学素子B0の第2端面S2は、いずれも光線が出射する出射面C2である。これに対して、変形例1の光学素子群22Aでは、第1端面S1及び第2端面S2が、いずれも光線が入射する入射面C1である点で、基本例と異なる。
変形例1では、各光学素子B0の出射面C2は、第1列K1及び第2列K2を問わずに全て、同じ構造を有しており、ここでは一例として、上述した比較例(図7参照)の出射面と同様に、球面形状に近い凸曲面となっている。言い換えると、変形例1の各光学素子B0は、基本例における起立面C3を有していない。
変形例1の各光学素子B0における入射面C1は、第1列K1及び第2列K2を問わずに全て、平坦な面であり、かつ、表示部21の表示面211に対して傾斜している。ただし、第1列K1の各光学素子B0の入射面C1(第1端面S1)の傾斜方向F1、及び第2列K2の各光学素子B0の入射面C1(第2端面S2)の傾斜方向F2は、並び方向D1に沿って見て、互いに異なる(図8B参照)。
また変形例1の傾斜方向F1及び傾斜方向F2は、表示面211と直交する方向に沿って見て、各画像片GP0の長尺方向に直交する方向に沿っている。要するに、変形例1の傾斜方向F1及び傾斜方向F2はいずれも、光学素子群22Aの正面から見て、Y軸方向に沿っており、この点については基本例と共通である。
より具体的に説明すると、第1列K1の各光学素子B0は、図8Bに示すように、入射面C1の側(出射面C2とは反対側)にて、Y軸方向における両端のうちの第1端T1A(図8Bでは左端)に、起立面C5を有している。起立面C5は、表示面211に対して略垂直な方向に沿って、第1端T1Aから表示面211に近づくように延びている。入射面C1は、起立面C5の端縁から、Y軸方向における両端のうちの第2端T2A(図8Bでは右端)に向うほど表示面211から離れるように傾斜して真っ直ぐ延びている。第1列K1において、出射面C2の一端縁(図8Bでは左端縁)から第1端T1Aまでの距離は、出射面C2の他端縁(図8Bでは右端縁)から第2端T2Aまでの距離とおおむね等しい。第1列K1において、互いに隣接する2つの光学素子B0は、一方の光学素子B0の第1端T1Aが、他方の光学素子B0の第2端T2Aと一致するように並ぶ。
一方、第2列K2の各光学素子B0は、Y軸方向における両端のうちの第2端U2A(図8Bでは右端)に、起立面C5を有している。起立面C5は、表示面211に対して略垂直な方向に沿って、第2端U2Aから表示面211に近づくように延びている。入射面C1は、起立面C5の端縁から、Y軸方向における両端のうちの第1端T1A(図8Bでは左端)に向うほど表示面211から離れるように傾斜して真っ直ぐ延びている。第2列K2において、出射面C2の一端縁(図8Bでは左端縁)から第1端U1Aまでの距離は、出射面C2の他端縁(図8Bでは右端縁)から第2端U2Aまでの距離とおおむね等しい。第2列K2において、互いに隣接する2つの光学素子B0は、一方の光学素子B0の第1端U1Aが、他方の光学素子B0の第2端U2Aと一致するように並ぶ。
要するに、変形例1の各光学素子B0は、第1列K1と第2列K2とで異なる側(第1端の側又は第2端の側)に、起立面C5を有していることで、傾斜方向F1及び傾斜方向F2は、並び方向D1に沿って見て、互いに異なる(交差する)。
この変形例1の光学素子群22Aにおいても、傾斜方向F1及び傾斜方向F2が、並び方向D1に沿って見て、互いに異なり、かつ、表示面211と直交する方向に沿って見て、長尺方向に直交する方向に沿っている。そのため、光学素子B0の寸法Q2よりも大きい長尺の画像片GP0に関する視域は、光学素子群22Aを介することで、並び方向D1に拡げることができる。特に、方眼状の光学素子群22Aにおいて、視域の幅を拡げるために画像片GP0を横長にしても、第1列の光学素子B0に対応する画像片GP0と、第2列の光学素子B0に対応する画像片GP0とが互いに干渉し合う可能性を抑えることができる。したがって、立体画像に関する視認性の向上を図ることができる。
また第1端面S1及び第2端面S2がいずれも、出射面C2ではなく入射面C1であることで、例えば平凸レンズの平坦な面(入射面C1)の傾斜による容易な構成で、立体画像に関する視認性の向上を図ることができる。
(3.2)変形例2
以下、変形例2の電子ミラーシステム10における光学素子群22Bについて、図9A及び図9Bを参照しながら説明する。図9Aは、光学素子群22BをX軸方向(並び方向D1)に沿って見た要部側面図である。図9Bは、光学素子群22Bを正面から見た要部平面図である。なお、基本例の電子ミラーシステム10と実質的に共通する構成要素については、同じ参照符号を付与して適宜に説明を省略する場合もある。
基本例の光学素子群22では、第1列K1及び第2列K2の各光学素子B0の出射面C2は、非球面形状である。これに対して、変形例2の光学素子群22Bでは、第1列K1及び第2列K2の各光学素子B0の出射面C2は、球面形状である点で、基本例と異なる。
すなわち、変形例2では、第1列K1の各光学素子B0の出射面C2(第1曲面M1)、及び第2列K2の各光学素子B0の出射面C2(第2曲面M2)は、並び方向D1に沿って見て、表示面211から離れる方向に円弧状に凸となって湾曲している。さらに第1曲面M1及び第2曲面M2は、並び方向D1に沿って見て、円弧の中心位置H1及びH2(図9A参照)が互いにずれるように構成される。ここでは、中心位置H1及びH2が、Y軸方向においてずれている。中心位置H1及びH2のずれ量は、ゼロでなければ、特に限定されない。なお、中心位置H1及びH2のずれ量がゼロである場合、例えば、上述した比較例(図7参照)の出射面に相当し得る。
この変形例2の光学素子群22Bにおいては、円弧状の第1曲面M1及び第2曲面M2は、円弧の中心位置H1及びH2(図9A参照)が互いにずれるように構成される。そのため、光学素子B0の寸法Q2よりも大きい長尺の画像片GP0に関する視域は、光学素子群22Bを介することで、並び方向D1に拡げることができる。特に、方眼状の光学素子群22Bにおいて、視域の幅を拡げるために画像片GP0を横長にしても、第1列の光学素子B0に対応する画像片GP0と、第2列の光学素子B0に対応する画像片GP0とが互いに干渉し合う可能性を抑えることができる。したがって、立体画像に関する視認性の向上を図ることができる。
ところで、この変形例2の光学素子群22Bにおいては、光学素子群22Bの各光学素子B0は、並び方向D1(X軸方向)に沿った第1辺E1と、第2辺E2と、を有している(図9B参照)。第2辺E2は、表示面211に平行で、かつ並び方向D1と直交する方向に沿っている。ここで、第1辺E1と第2辺E2とは、互いに異なる寸法である。図示例では、第1辺E1と第2辺E2とは、3:4の比率であるが、当該比率は、使用用途等に応じて適宜に変更されてよい。第1辺E1と第2辺E2とが、3:4の比率である場合、視域R1の大きさは3×2:4÷2、すなわち3:1となる。或いは第1辺E1と第2辺E2とが、4:3の比率である場合、視域R1の大きさは4×2:3÷2、すなわち16:3となる。このように、光学素子群22Bの各光学素子B0のアスペクトを適宜変えることで視域R1のアスペクトを適宜変えることができる。なお、基本例では、1:1の比率の光学素子B0が適用されている。
このように、第1辺E1と第2辺E2とを互いに異なる寸法に設定することで、1:1以外のアスペクト比による虚像310を視認させることができる。
変形例2における光学素子群22Bの各光学素子B0のアスペクトの変更については、基本例の光学素子群22及び変形例1の光学素子群22Aに適用されてよい。
(3.3)その他の変形例
基本例では、光学素子群22が、レンズアレイにより構成されている。しかし、光学素子群22は、レンズアレイではなく、複数のピンホールが形成された部材であってもよい。この場合、複数のピンホールの配置が、光学素子群22の正面から見て、千鳥状に配置されることで、立体画像に関する視認性の向上が達成されてもよい。
第1列K1の各光学素子B0の第1端面S1及び第2列K2の各光学素子B0の第2端面S2は、基本例では、いずれも出射面C2であり、変形例1では、いずれも入射面C1である。しかし、例えば、第1列K1の各光学素子B0の第1端面S1は、出射面C2であり、第2列K2の各光学素子B0の第2端面S2は、入射面C1でもよい。あるいは逆に、第1列K1の各光学素子B0の第1端面S1は、入射面C1であり、第2列K2の各光学素子B0の第2端面S2は、出射面C2でもよい。要するに、傾斜する面が、第1列K1と第2K2とで、入射面か出射面かで異なってもよい。また、入射面と出射面ともに傾斜していても良い。この場合は起立面C3の高さを2分の1にして、光学素子22が容易に作製できるようになる。
上記基本例及び変形例の電子ミラーシステム10において、ハウジング60に設けられた窓材63は例えばハーフミラーで構成されていてもよい。画像表示部20に画像が表示されていない状態では、ハーフミラーで構成された窓材63が鏡となるので、鏡となる窓材63を用いて後方を確認することができる。
上記基本例及び変形例の電子ミラーシステム10において、光学系30は、画像表示部20から出力される光の反射と屈折との少なくとも一方を行うことで、アイボックス210に光を集光すればよく、光学系30の構成は適宜変更が可能である。例えば、レンズ31は両凸レンズであるが、平凸レンズ又は凹レンズでもよく、レンズ31の表面は、画像の歪みの低減や解像度の向上が可能なように自由曲面に形成されていてもよい。また、ミラー32は平面鏡であるが、ミラー32は自由曲面を有する凹面鏡でも良く、ミラー32の表面は、画像の歪みの低減や解像度の向上が可能なように自由曲面に形成されていてもよい。また、光学系30は、1以上のレンズ、1以上のミラー、又は、1以上のレンズと1以上のミラーとの組み合わせで実現されてもよい。
上記基本例及び変形例の電子ミラーシステム10では、表示部21が、液晶ディスプレイ、又は有機ELディスプレイ等のディスプレイ装置で実現されているが、表示部21はこの種のディスプレイ装置に限定されない。表示部21は、拡散透過型のスクリーンに対し、スクリーンの背後からレーザ光を走査することで、スクリーン上に画像を描画する構成でもよい。また、表示部21は、拡散透過型のスクリーンに対し、スクリーンの背後からプロジェクタで画像を投影する構成であってもよい。
上記基本例及び変形例の電子ミラーシステム10は、ルームミラーの位置に固定されているが、電子ドアミラーの位置、すなわちAピラーの下やドアの内側等に固定されていてもよい。また、電子ミラーシステム10は、移動体本体110に固定されているが、上記基本例及び変形例の電子ミラーシステム10は、ユーザ200が頭部に装着して使用するヘッドマウントディスプレイ、又は、メガネ型の表示装置に適用されてもよい。
上記基本例及び変形例の電子ミラーシステム10は、自動車100の後方の撮像画像を表示する構成に限らず、例えば、自動車100の後側方、側方、又は前方の撮像画像に基づく画像を表示してもよい。
上記基本例及び変形例の電子ミラーシステム10は、自動車100に適用されるものに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車100以外の移動体にも適用可能である。
また、電子ミラーシステム10は、1つの装置に限らず複数の装置によって構成されてもよい。つまり、電子ミラーシステム10の機能が2以上の装置に分散して設けられていてもよい。電子ミラーシステム10の制御部50は、自動車100のECU、自動車100の外部のサーバ装置に設けられもよく、この場合はECU又はサーバ装置で画像表示部20が表示する画像が作成される。
(4)まとめ
以上説明したように、第1の態様に係る電子ミラーシステム(10)は、表示部(21)と、光学素子群(22、22A)と、を備える。表示部(21)は、撮像部(40)から取得する画像データに基づく画像を表示面(211)に表示する。光学素子群(22、22A)は、表示部(21)から焦点距離(W1)に応じて表示面(211)と対向するように配置され、表示面(211)に表示される画像からの光線を集光して、立体的な虚像(310)を再生する。光学素子群(22、22A)は、各列が複数の光学素子(B0)を含む第1列(K1)と第2列(K2)とを交互に並べて方眼状に構成される。各光学素子(B0)は、画像を構成する複数の画像片(GP0)のうち、対応する画像片(GP0)からの光線を集光する。各画像片(GP0)は、第1列(K1)と第2列(K2)とが並ぶ並び方向(D1)に沿って長尺であり、かつ、長尺方向における寸法(Q1)が、並び方向(D1)における各光学素子(B0)の寸法(Q2)よりも大きい。第1列(K1)を構成する各光学素子(B0)は、光線が通る第1端面(S1)を有する。第2列(K2)を構成する各光学素子(B0)は、光線が通る第2端面(S2)を有する。第1端面(S1)及び第2端面(S2)は、表示面(211)に対して傾斜する。第1端面(S1)の傾斜方向(F1)及び第2端面(S2)の傾斜方向(F2)は、並び方向(D1)に沿って見て、互いに異なり、かつ、表示面(211)と直交する方向に沿って見て、長尺方向に直交する方向に沿っている。第1の態様によれば、立体画像に関する視認性の向上を図ることができる。
第2の態様に係る電子ミラーシステム(10)に関して、第1の態様において、第1端面(S1)及び第2端面(S2)は、いずれも光線が出射する出射面(C2)である。第2の態様によれば、出射面(C2)の傾斜による容易な構成で、立体画像に関する視認性の向上を図ることができる。
第3の態様に係る電子ミラーシステム(10)に関して、第2の態様において、出射面(C2)は、表示面(211)から離れる方向に凸となるように湾曲した曲面である。第3の態様によれば、例えば凸レンズの曲面(出射面C2)の傾斜による容易な構成で、立体画像に関する視認性の向上を図ることができる。
第4の態様に係る電子ミラーシステム(10)に関して、第1の態様において、第1端面(S1)及び第2端面(S2)は、いずれも光線が入射する入射面(C1)である。第4の態様によれば、入射面(C1)の傾斜による容易な構成で、立体画像に関する視認性の向上を図ることができる。
第5の態様に係る電子ミラーシステム(10)に関して、第4の態様において、入射面(C1)は、平坦な面である。第5の態様によれば、例えば平凸レンズの平坦な面(入射面C1)の傾斜による容易な構成で、立体画像に関する視認性の向上を図ることができる。
第6の態様に係る電子ミラーシステム(10)は、表示部(21)と、光学素子群(22、22A)と、を備える。表示部(21)は、撮像部(40)から取得する画像データに基づく画像を表示面(211)に表示する。光学素子群(22、22B)は、表示部(21)から焦点距離(W1)に応じて表示面(211)と対向するように配置され、表示面(211)に表示される画像からの光線を集光して、立体的な虚像(310)を再生する。光学素子群(22、22B)は、各列が複数の光学素子(B0)を含む第1列(K1)と第2列(K2)とを交互に並べて方眼状に構成される。各光学素子(B0)は、画像を構成する複数の画像片(GP0)のうち、対応する画像片(GP0)からの光線を集光する。各画像片(GP0)は、第1列(K1)と第2列(K2)とが並ぶ並び方向(D1)に沿って長尺であり、かつ、長尺方向における寸法が、並び方向(D1)における各光学素子(B0)の寸法よりも大きい。第1列(K1)を構成する各光学素子(B0)は、光線が出射する第1曲面(M1)を有する。第2列(K2)を構成する各光学素子(B0)は、光線が出射する第2曲面(M2)を有する。第1曲面(M1)及び第2曲面(M2)は、並び方向(D1)に沿って見て、表示面(211)から離れる方向に円弧状に凸となって湾曲し、かつ当該円弧の中心位置(H1,H2)が互いにずれるように構成される。第6の態様によれば、立体画像に関する視認性の向上を図ることができる。
第7の態様に係る電子ミラーシステム(10)は、第1~第6の態様のいずれか1つにおいて、第1列(K1)を構成する複数の光学素子(B0)における第1光学素子(B1)は、複数の画像片(GP0)のうち、第1の画像片(GP1)からの光線を集光する。第2列(K2)を構成する複数の光学素子(B0)において、第1光学素子(B1)と隣り合う第2光学素子(B2)は、複数の画像片(GP0)のうち、第2の画像片(GP2)からの光線を集光する。第1の画像片(GP1)と第2の画像片(GP2)とは、表示面(211)上において、並び方向(D1)と直交する方向に並び、かつ、並び方向(D1)において互いにずれた位置にある。第7の態様によれば、並び方向(D1)と直交する方向に並ぶ第1の画像片(GP1)と第2の画像片(GP2)とについて、並び方向(D1)に沿った方向の視域を拡げることができ、立体画像に関する視認性を更に向上することができる。
第8の態様に係る電子ミラーシステム(10)は、第1~第7の態様のいずれか1つにおいて、光学素子群(22、22A、22B)の各光学素子(B0)は、並び方向(D1)に沿った第1辺(E1)と、第2辺(E2)と、を有する。第2辺(E2)は、表示面(211)に平行で、かつ並び方向(D1)と直交する方向に沿っている。第1辺(E1)と第2辺(E2)とは、互いに異なる寸法である。第8の態様によれば、1:1以外のアスペクト比による虚像(310)を視認させることができる。
第9の態様に係る電子ミラーシステム(10)は、第1~第8の態様のいずれか1つにおいて、光学系(30)を、更に備える。光学系(30)は、表示面(211)に表示される画像をアイボックス(210)に集光する。それにより、光学系(30)は、アイボックス(210)に視点があるユーザ(200)に、表示面(211)に表示される画像に基づく立体的な虚像(310)を視認させる。第9の態様によれば、光学系(30)を更に備えた電子ミラーシステム(10)に関して、立体画像に関する視認性の向上を図ることができる。
第10の態様に係る移動体(自動車100)は、移動する移動体本体(110)と、移動体本体(110)に搭載される第1~第9の態様のいずれか1つの電子ミラーシステム(10)と、を備える。第10の態様によれば、立体画像に関する視認性の向上を図ることが可能な電子ミラーシステム(10)を備えた移動体(自動車100)を提供できる。
第2~第5に係る構成については、第1の態様に係る電子ミラーシステム(10)に必須の構成ではなく、適宜省略可能である。また第7~第9の態様に係る構成については、第1の態様に係る電子ミラーシステム(10)及び第6の態様に係る電子ミラーシステム(10)に必須の構成ではなく、適宜省略可能である。
10 電子ミラーシステム
21 表示部
211 表示面
22、22A、22B 光学素子群
40 撮像部
30 光学系
100 自動車(移動体)
110 移動体本体
200 ユーザ
210 アイボックス
310 虚像
B0 光学素子
B1 第1光学素子
B2 第2光学素子
C1 入射面
C2 出射面
D1 並び方向
E1 第1辺
E2 第2辺
F1、F2 傾斜方向
GP0 画像片
GP1 第1の画像片
GP2 第2の画像片
H1、H2 中心位置
K1 第1列
K2 第2列
M1 第1曲面
M2 第2曲面
Q1 (長尺方向における各画素片の)寸法
Q2 (並び方向における各光学素子の)寸法
S1 第1端面
S2 第2端面
W1 焦点距離

Claims (10)

  1. 撮像部から取得する画像データに基づく画像を表示面に表示する表示部と、
    前記表示部から焦点距離に応じて前記表示面と対向するように配置され、前記表示面に表示される前記画像からの光線を集光して、立体的な虚像を再生する光学素子群と、を備え、
    前記光学素子群は、各列が複数の光学素子を含む第1列と第2列とを交互に並べて方眼状に構成され、
    各光学素子は、前記画像を構成する複数の画像片のうち、対応する画像片からの前記光線を集光し、
    各画像片は、前記第1列と前記第2列とが並ぶ並び方向に沿って長尺であり、かつ、長尺方向における寸法が、前記並び方向における各光学素子の寸法よりも大きく、
    前記第1列を構成する各光学素子は、前記光線が通る第1端面を有し、
    前記第2列を構成する各光学素子は、前記光線が通る第2端面を有し、
    前記第1端面及び前記第2端面は、前記表示面に対して傾斜し、
    前記第1端面の前記第1列に沿った方向の中点における接線に沿った傾斜方向及び前記第2端面の前記第2列に沿った方向の中点における接線に沿った傾斜方向は、
    前記並び方向に沿って見て、互いに異なり、かつ、
    前記表示面と直交する方向に沿って見て、前記長尺方向に直交する方向に沿っている、
    電子ミラーシステム。
  2. 前記第1端面及び前記第2端面は、いずれも前記光線が出射する出射面である、
    請求項1に記載の電子ミラーシステム。
  3. 前記出射面は、前記表示面から離れる方向に凸となるように湾曲した曲面である、
    請求項2に記載の電子ミラーシステム。
  4. 前記第1端面及び前記第2端面は、いずれも前記光線が入射する入射面である、
    請求項1に記載の電子ミラーシステム。
  5. 前記入射面は、平坦な面である、
    請求項4に記載の電子ミラーシステム。
  6. 撮像部から取得する画像データに基づく画像を表示面に表示する表示部と、
    前記表示部から焦点距離に応じて前記表示面と対向するように配置され、前記表示面に表示される前記画像からの光線を集光して、立体的な虚像を再生する光学素子群と、を備え、
    前記光学素子群は、各列が複数の光学素子を含む第1列と第2列とを交互に並べて方眼状に構成され、
    各光学素子は、前記画像を構成する複数の画像片のうち、対応する画像片からの前記光線を集光し、
    各画像片は、前記第1列と前記第2列とが並ぶ並び方向に沿って長尺であり、かつ、長尺方向における寸法が、前記並び方向における各光学素子の寸法よりも大きく、
    前記第1列を構成する各光学素子は、前記光線が出射する第1曲面を有し、
    前記第2列を構成する各光学素子は、前記光線が出射する第2曲面を有し、
    前記第1曲面及び前記第2曲面は、前記並び方向に沿って見て、前記表示面から離れる方向に円弧状に凸となって湾曲し、かつ当該円弧の中心位置が互いにずれるように構成される、
    電子ミラーシステム。
  7. 前記第1列を構成する前記複数の光学素子における第1光学素子は、前記複数の画像片のうち、第1の画像片からの前記光線を集光し、
    前記第2列を構成する前記複数の光学素子において、前記第1光学素子と隣り合う第2光学素子は、前記複数の画像片のうち、第2の画像片からの前記光線を集光し、
    前記第1の画像片と前記第2の画像片とは、前記表示面上において、前記並び方向と直交する方向に並び、かつ、前記並び方向において互いにずれた位置にある、
    請求項1~6のいずれか1項に記載の電子ミラーシステム。
  8. 前記光学素子群の各光学素子は、
    前記並び方向に沿った第1辺と、
    前記表示面に平行で、かつ前記並び方向と直交する方向に沿った第2辺と、を有し、
    前記第1辺と前記第2辺とは、互いに異なる寸法である、
    請求項1~7のいずれか1項に記載の電子ミラーシステム。
  9. 前記表示面に表示される前記画像をアイボックスに集光することによって、前記アイボックスに視点があるユーザに、前記表示面に表示される前記画像に基づく前記立体的な虚像を視認させる光学系を、更に備える、
    請求項1~8のいずれか1項に記載の電子ミラーシステム。
  10. 移動する移動体本体と、
    前記移動体本体に搭載される請求項1~9のいずれか1項に記載の電子ミラーシステムと、を備える、
    移動体。
JP2019061928A 2019-03-27 2019-03-27 電子ミラーシステム、及び移動体 Active JP7178638B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019061928A JP7178638B2 (ja) 2019-03-27 2019-03-27 電子ミラーシステム、及び移動体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019061928A JP7178638B2 (ja) 2019-03-27 2019-03-27 電子ミラーシステム、及び移動体

Publications (2)

Publication Number Publication Date
JP2020160363A JP2020160363A (ja) 2020-10-01
JP7178638B2 true JP7178638B2 (ja) 2022-11-28

Family

ID=72643215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019061928A Active JP7178638B2 (ja) 2019-03-27 2019-03-27 電子ミラーシステム、及び移動体

Country Status (1)

Country Link
JP (1) JP7178638B2 (ja)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030016444A1 (en) 2001-07-13 2003-01-23 Brown Daniel M. Autostereoscopic display with rotated microlens and method of displaying multidimensional images, especially color images
JP2004048702A (ja) 2002-05-17 2004-02-12 Canon Inc 立体画像表示装置および立体画像表示システム
US20100188315A1 (en) 2009-01-23 2010-07-29 Samsung Electronic Co . , Ltd ., Electronic mirror and method for displaying image using the same
JP2010262264A (ja) 2009-04-10 2010-11-18 Seiko Epson Corp 反射型スクリーン、投影システム、フロントプロジェクションテレビ及び反射型スクリーンの製造方法
JP2011128612A (ja) 2010-12-01 2011-06-30 Hitachi Displays Ltd 表示装置
JP2011209727A (ja) 2010-03-26 2011-10-20 Ubright Optronics Corp 光コリメーション/拡散構造を有する光学基板
JP2012230142A (ja) 2011-04-22 2012-11-22 Nippon Hoso Kyokai <Nhk> 立体映像表示装置
JP2013250336A (ja) 2012-05-30 2013-12-12 Denso Corp スクリーン部材及びヘッドアップディスプレイ装置
JP2014102276A (ja) 2012-11-16 2014-06-05 Nikon Corp 表示装置
JP2016009978A (ja) 2014-06-24 2016-01-18 日本放送協会 表示装置
JP2017030425A (ja) 2015-07-30 2017-02-09 パナソニックIpマネジメント株式会社 電子ミラー装置
JP2018121114A (ja) 2017-01-23 2018-08-02 株式会社ジャパンディスプレイ 表示装置
WO2018142610A1 (ja) 2017-02-06 2018-08-09 三菱電機株式会社 立体表示装置およびヘッドアップディスプレイ
CN108761812A (zh) 2018-05-31 2018-11-06 北京眸合科技有限公司 一种阶梯型透镜光栅及三维显示系统
DE102019106738A1 (de) 2018-03-27 2019-10-02 Panasonic Intellectual Property Management Co., Ltd. Anzeigesystem, elektronisches Spiegelsystem, fahrendes Fahrzeug, und Anzeigeverfahren
JP2019174794A (ja) 2018-03-27 2019-10-10 パナソニックIpマネジメント株式会社 表示システム、電子ミラーシステム、移動体、及び表示方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030016444A1 (en) 2001-07-13 2003-01-23 Brown Daniel M. Autostereoscopic display with rotated microlens and method of displaying multidimensional images, especially color images
JP2004048702A (ja) 2002-05-17 2004-02-12 Canon Inc 立体画像表示装置および立体画像表示システム
US20100188315A1 (en) 2009-01-23 2010-07-29 Samsung Electronic Co . , Ltd ., Electronic mirror and method for displaying image using the same
JP2010262264A (ja) 2009-04-10 2010-11-18 Seiko Epson Corp 反射型スクリーン、投影システム、フロントプロジェクションテレビ及び反射型スクリーンの製造方法
JP2011209727A (ja) 2010-03-26 2011-10-20 Ubright Optronics Corp 光コリメーション/拡散構造を有する光学基板
JP2011128612A (ja) 2010-12-01 2011-06-30 Hitachi Displays Ltd 表示装置
JP2012230142A (ja) 2011-04-22 2012-11-22 Nippon Hoso Kyokai <Nhk> 立体映像表示装置
JP2013250336A (ja) 2012-05-30 2013-12-12 Denso Corp スクリーン部材及びヘッドアップディスプレイ装置
JP2014102276A (ja) 2012-11-16 2014-06-05 Nikon Corp 表示装置
JP2016009978A (ja) 2014-06-24 2016-01-18 日本放送協会 表示装置
JP2017030425A (ja) 2015-07-30 2017-02-09 パナソニックIpマネジメント株式会社 電子ミラー装置
JP2018121114A (ja) 2017-01-23 2018-08-02 株式会社ジャパンディスプレイ 表示装置
WO2018142610A1 (ja) 2017-02-06 2018-08-09 三菱電機株式会社 立体表示装置およびヘッドアップディスプレイ
DE102019106738A1 (de) 2018-03-27 2019-10-02 Panasonic Intellectual Property Management Co., Ltd. Anzeigesystem, elektronisches Spiegelsystem, fahrendes Fahrzeug, und Anzeigeverfahren
CN110308557A (zh) 2018-03-27 2019-10-08 松下知识产权经营株式会社 显示系统、电子镜系统、移动体以及显示方法
JP2019174794A (ja) 2018-03-27 2019-10-10 パナソニックIpマネジメント株式会社 表示システム、電子ミラーシステム、移動体、及び表示方法
CN108761812A (zh) 2018-05-31 2018-11-06 北京眸合科技有限公司 一种阶梯型透镜光栅及三维显示系统

Also Published As

Publication number Publication date
JP2020160363A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US9030749B2 (en) Bifocal head-up display system
KR102397089B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
US10481304B2 (en) Lens sheet, method of forming lens sheet, augmented reality device and system
CN110308557B (zh) 显示系统、电子镜系统、移动体以及显示方法
JP6217882B1 (ja) 立体表示装置
CN109343229B (zh) 一种远视距的立体显示装置
CN111856775B (zh) 显示设备
JP3955589B2 (ja) 立体表示装置
JPWO2006027855A1 (ja) 表示装置及び撮像装置
JP7003925B2 (ja) 反射板、情報表示装置および移動体
JP6706802B2 (ja) 表示システム、電子ミラーシステム及びそれを備える移動体
JP6685022B2 (ja) 表示システム、電子ミラーシステム、移動体、及び表示方法
JPWO2020080111A1 (ja) 画像表示装置
JP2016500829A (ja) 収束角度スライス型の真の3dディスプレイ
CN109799514A (zh) 光学系统、图像捕获装置、距离测量装置和车载系统
US20220013046A1 (en) Virtual image display system, image display method, head-up display, and moving vehicle
WO2021139204A1 (zh) 三维显示装置以及系统
JP6624513B2 (ja) 3次元像表示装置及び3次元像表示方法
JP7178638B2 (ja) 電子ミラーシステム、及び移動体
JP5888742B2 (ja) 立体表示装置
US20140177051A1 (en) Holographic Display System
JP7178637B2 (ja) 虚像表示システム、ヘッドアップディスプレイ、及び移動体
JP7475107B2 (ja) 電子ミラーシステム、画像表示方法、及び移動体
JP3528392B2 (ja) 擬似立体画像表示装置
CN112526748A (zh) 一种抬头显示设备、成像系统和车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221104

R151 Written notification of patent or utility model registration

Ref document number: 7178638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03