JP7475107B2 - 電子ミラーシステム、画像表示方法、及び移動体 - Google Patents

Description

本開示は、電子ミラーシステム、画像表示方法、及び移動体に関する。より詳細には、本開示は、撮像部からの画像データに基づく画像を表示する電子ミラーシステム、画像表示方法、及び当該電子ミラーシステムを備えた移動体に関する。

特許文献１は、車両の後方や側方の様子を撮像する撮像装置（撮像部）と、撮像装置から出力された映像信号を映像として表示する表示装置（画像表示部）と、を備える電子ミラーシステムを開示する。表示装置は、液晶ディスプレイ等で構成されている。表示装置は、車両の内部において、運転者が表示装置の映像を確認しやすい位置に設置されている。

特許文献１に開示された電子ミラーシステムでは、運転者が、数十ｍ前方の道路状況を見ている状態から、数十ｃｍ先にある表示装置の映像に目を移す場合に、運転者が目の焦点を合わすのに時間がかかり、表示装置の映像が見えにくいという問題があった。

特開２００９－８３６１８号公報

本開示の目的は、見えやすさを向上させることが可能な電子ミラーシステム、画像表示方法、及び移動体を提供することにある。

本開示の一態様の電子ミラーシステムは、移動体の周囲の状況を示す画像を連続的に表示することによって前記移動体の周囲の状況を動画で表示する電子ミラーシステムであって、画像表示部と、光学系と、を備える。前記画像表示部は、前記移動体の周囲を連続的に撮影する撮像部から画像データを取得するごとに、前記撮像部から取得した前記画像データに基づく画像を表示面に表示する。前記光学系は、前記表示面に表示される前記画像をアイボックスに集光することによって、前記アイボックスに視点があるユーザに前記表示面に表示される前記画像に基づく虚像を視認させる。前記表示面は、前記虚像において、前記画像の上端部に対応する部分が前記画像の下端部に対応する部分よりも前記アイボックスから遠くに視認されるように、前記表示面と前記光学系とを結ぶ光路に対して傾斜した状態で配置される。

本開示の一態様の画像表示方法は、前記電子ミラーシステムが備える前記画像表示部に前記画像を表示する画像表示方法である。前記画像表示方法は、第１処理と、第２処理と、第３処理と、第４処理とを含む。前記第１処理では、前記撮像部の画像データを取得する。前記第２処理では、前記画像表示部に表示される前記画像に映る対象物と前記アイボックスとの間の実空間での距離に関する距離データを取得する。前記第３処理では、前記画像データと前記距離データとに基づいて、前記アイボックス内に視点があるユーザに前記対象物の立体的な虚像を視認させるための立体画像データを作成する。前記第４処理では、前記立体画像データに基づく立体描画部分の立体描画用画像を前記画像表示部の前記表示面に表示する。

本開示の一態様の移動体は、移動する移動体本体と、前記移動体本体に搭載される前記電子ミラーシステムと、を備える。

図１は、本開示の一実施形態に係る電子ミラーシステムの概略的な説明図である。 図２は、同上の電子ミラーシステムを備える移動体の概略説明図である。 図３は、同上の電子ミラーシステムの概略的なブロック図である。 図４は、同上の電子ミラーシステムの使用状態を説明する説明図である。 図５は、同上の電子ミラーシステムによって立体画像を表示する方法を説明する説明図である。 図６は、同上の電子ミラーシステムの動作を説明するフローチャートである。 図７は、同上の電子ミラーシステムが備える撮像部が撮像した画像の説明図である。 図８は、同上の電子ミラーシステムが備える画像データ作成部の処理途中の画像を示す説明図である。 図９は、同上の電子ミラーシステムが備える画像データ作成部の処理途中の画像を示す説明図である。 図１０は、同上の電子ミラーシステムが備える画像データ作成部の処理途中の画像を示す説明図である。 図１１は、本開示の一実施形態の変形例１に係る電子ミラーシステムの概略的なブロック図である。 図１２は、本開示の一実施形態の変形例２に係る電子ミラーシステムの概略的な説明図である。

（１）概要
本実施形態に係る電子ミラーシステム１０は、図１及び図２に示すように、例えば、移動体としての自動車１００に用いられる。なお、以下で参照する図面は、いずれも模式的な図であり、図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。

電子ミラーシステム１０は、自動車１００（移動体）の周囲の状況を示す画像を連続的に表示することによって自動車１００の周囲の状況を動画で表示する。電子ミラーシステム１０は、図１及び図３に示すように、画像表示部２０と、光学系３０と、を備える。画像表示部２０は、撮像部４０から取得する画像データに基づく画像を表示面２２１に表示する。換言すれば、画像表示部２０は、移動体１００の周囲を連続的に撮影する撮像部４０から画像データを取得するごとに、撮像部４０から取得した画像データに基づく画像を表示面２２１に表示する。光学系３０は、表示面２２１に表示される画像をアイボックス２１０に集光することによって、アイボックス２１０に視点２０１があるユーザ２００（例えば自動車１００の運転者等）に表示面２２１に表示される画像に基づく虚像３００を視認させる。表示面２２１は、表示面２２１と光学系３０とを結ぶ光路Ｌ１に対して傾斜した状態で配置される。ここにおいて、撮像部４０が、移動体１００の周囲を連続的に撮影するとは、移動体１０の周囲を間断なく撮影することと、人の目で見て違和感がない動画として表示可能なフレームレート（例えば数十～数百ＦＰＳ[Frame Per Second]）で間欠的に撮影していることとを含み得る。画像表示部２０は、撮像部４０から間欠的に取得した画像データに基づく画像を表示面２２１に表示することで、ユーザ２００に対して、あたかも動画が表示されているように視認させることができる。

ここで、光学系３０は、表示面２２１に表示される画像を構成する光の反射と屈折との少なくとも一方を行うことによって、表示面２２１に表示される画像をアイボックス２１０に集光する。以下の実施形態では、光学系３０は、例えば、両凸レンズのようなレンズ３１と、平面鏡のようなミラー３２とを組み合わせることで実現されているが、レンズ３１とミラー３２の組み合わせは、表示面２２１の大きさ、拡大率、及び視距離等に応じて適宜変更が可能である。レンズ３１は、両凸レンズ以外の凸レンズ又は凹レンズのようなレンズでもよいし、ミラー３２は、平面鏡以外の凹面鏡のようなミラーでもよい。また、光学系３０は、複数のレンズの組み合わせで実現されてもよいし、複数のミラーの組み合わせで実現されてもよい。また、光学系３０は、１個の光学部品（レンズ又はミラー等）のみで実現されてもよい。

画像表示部２０の表示面２２１に表示された画像は、光学系３０によってアイボックス２１０に集光される。アイボックス２１０に視点２０１があるユーザ２００は、光学系３０によって集光された画像を見る。すなわち、ユーザ２００は、光学系３０のレンズ３１によって拡大され、ミラー３２によって反射された画像を見ることで、表示面２２１に表示される画像に基づく虚像３００（図１参照）を視認することができる。換言すると、虚像３００は、画像表示部２０から出力される光が、光学系３０のミラー３２によって反射されるとき、その反射光線によって、ユーザ２００の視線方向に実際に物体が存在するかのように結ばれる像を意味する。図４は、画像表示部２０の表示面２２１に表示された画像が光学系３０のミラー３２によって反射されてユーザ２００に集光される画像Ｇ１の一例である。電子ミラーシステム１０がユーザ２００に画像Ｇ１を集光することで、ユーザ２００は、視線方向に実際に物体が存在するかのような虚像３００を視認することができる。

ところで、本実施形態の電子ミラーシステム１０では、画像表示部２０は、表示面２２１と光学系３０とを結ぶ光路Ｌ１に対して表示面２２１が傾斜した状態で配置されている。ここにおいて、光路Ｌ１に対して表示面２２１が傾斜するとは、表示面２２１の法線が、光路Ｌ１と平行な直線と斜めに交差している状態をいう。図１の例では、画像表示部２０は、レンズ３１と画像表示部２０の上端部までの距離と、レンズ３１と画像表示部２０の下端部までの距離とが互いに異なるように、すなわちレンズ３１（光学系３０）に対して傾斜するように配置されている。ここで、画像表示部２０が、レンズ３１とミラー３２とで構成される光学系３０の焦点位置２３に近くなると虚像までの視距離は遠くなり、焦点位置２３から遠くなるつまり光学系３０に近くなると虚像までの視距離は近くなる。これにより、ユーザ２００によって視認される虚像３００は、自動車１００が走行する走行面４００（図２参照）と平行な平面ＰＬ１１、及び、走行面４００と直交する平面ＰＬ１２に対してそれぞれ傾斜する平面ＰＬ１上に投影される。なお、本実施形態では、画像表示部２０は、光学系３０から光学系３０の焦点位置２３の間に配置されている。

ところで、画像Ｇ１には、自動車１００の周囲に存在する様々な対象物が映っている。この種の対象物には、自動車１００が走行する道路の走行面４００、道路に沿って設置された道路標識、ガードレール及び防護フェンス、道路に面して建つ建物、自動車１００の近くを走行する別の自動車又はバイク、歩道等にいる人、及び、空等が含まれる。一般的に、画像Ｇ１において、上側に映る対象物（例えば空等）は、下側に映る対象物（例えば自動車１００の近くの道路等）に比べて遠くにある。電子ミラーシステム１０によってユーザ２００に投影される虚像３００は、画像Ｇ１の上端部に対応する部分が、画像Ｇ１の下端部に対応する部分よりもアイボックス２１０から遠くに存在するようにユーザ２００によって視認されるので、虚像３００に自然な距離感を与えることができる。よって、ユーザ２００が電子ミラーシステム１０によって投影される画像Ｇ１を見た場合に違和感が少なくなる。また、ユーザ２００が、前方の道路状況を見ている状態から、電子ミラーシステム１０によって投影される画像Ｇ１を見た場合に、焦点の調整量が少なくて済むので、焦点調整にかかる時間を短くでき、画像の見えやすさを向上させることが可能になる。

なお、本実施形態の電子ミラーシステム１０では、画像Ｇ１に映る様々な対象物のうち、立体描画する対象物以外の対象物（以下、平面描画部分という）の虚像３００を平面ＰＬ１上に投影している。また、電子ミラーシステム１０は、画像Ｇ１に映る様々な対象物のうち、立体描画の対象物の虚像３１０を、走行面４００と直交する平面（平面ＰＬ１２と平行な平面）上に投影させており、立体描画の対象物については立体感のある表示を行うことができる。また、画像表示部２０及び光学系３０の配置を変更することによって平面ＰＬ１を平面ＰＬ１１とほぼ平行にしてもよい。電子ミラーシステム１０が、平面描画部分の虚像３００及び立体描画の対象物の虚像３１０を投影させる手法については「（２．１．３）画像表示部」で説明する。

（２）詳細
以下、本実施形態に係る電子ミラーシステム１０について図面を参照して詳しく説明する。

（２．１）構成
本実施形態の電子ミラーシステム１０は、図１及び図３に示すように、画像表示部２０と、光学系３０と、を備えている。また、電子ミラーシステム１０は、撮像部４０と、制御部５０と、を更に備えている。また、電子ミラーシステム１０は、画像表示部２０、光学系３０、及び制御部５０を収容するハウジング６０を更に備えている。

本実施形態の電子ミラーシステム１０は、移動体である自動車１００の移動体本体１１０に搭載される。すなわち、移動体（自動車１００）は、移動する移動体本体１１０と、移動体本体１１０に搭載される電子ミラーシステム１０と、を備えている。

以下、電子ミラーシステム１０が備えるハウジング６０、撮像部４０、画像表示部２０、光学系３０、及び制御部５０の各々について図面を参照して説明する。

（２．１．１）ハウジング
ハウジング６０は、例えば合成樹脂の成型品等で構成されている。ハウジング６０は、図１に示すように、内部に収容室６４を有する直方体状に形成されている。収容室６４には、画像表示部２０、光学系３０、及び制御部５０等が収容されている。

ハウジング６０は、移動体本体１１０の天井部分１１１においてウィンドシールド１１２（フロントガラス）に近い前側部分に、前部座席に着座するユーザ２００から見える位置に取り付けられている（図１及び図２参照）。ハウジング６０は、支持部材６１を介して移動体本体１１０の天井部分１１１から吊り下げられた状態で天井部分１１１に取り付けられており、ユーザ２００の前方視界を邪魔しない位置に配置されている。ハウジング６０は、移動体本体１１０に取り付けられた状態において、移動体本体１１０の左右方向（車幅方向）における寸法が、上下方向における寸法及び前後方向における寸法よりもそれぞれ小さくなるような形状に形成されている。

ハウジング６０の後部の表面（つまりハウジング６０の後壁）には、ハウジング６０の後壁を貫通する貫通孔６２が設けられている。貫通孔６２は、上下方向の寸法に比べて左右方向（上下方向及び前後方向と直交する方向）の寸法が大きく、左右方向の寸法（長辺寸法）と上下方向の寸法（短辺寸法）との比率は約３～６：１である。貫通孔６２には例えばガラス等の透明な窓材６３が取り付けられている。光学系３０のミラー３２によって反射された光は窓材６３を通してアイボックス２１０に集光され、アイボックス２１０内に視点２０１があるユーザ２００によって、光学系３０によって投影された画像Ｇ１が視認される。

（２．１．２）撮像部
撮像部４０は、撮影方向が互いに異なる複数（例えば２台）のカメラ４１，４２を含む。カメラ４１，４２は、動画像を撮影可能なデジタルカメラである。２台のカメラ４１，４２は、カメラ４１の撮影範囲とカメラ４２の撮影範囲とが少なくとも一部重なるように配置されている。カメラ４１，４２は、それぞれ、所定のフレームレートで自動車１００の後方を撮影して、画像データを制御部５０に出力する。本実施形態では、２台のカメラ４１，４２が、互いに異なる方向から自動車１００の後方を撮影している。よって、制御部５０は、カメラ４１，４２の画像データと、カメラ４１，４２の設置位置に関する情報とに基づいて、カメラ４１，４２の画像に映っている対象物までの距離を三角法により求めることができる。

なお、撮像部４０は、撮影方向が互いに異なる２台のカメラ４１，４２を含んでいるが、撮影方向が互いに異なる３台以上のカメラを含んでいてもよい。

（２．１．３）画像表示部
画像表示部２０は、表示デバイス２１と、レンズアレイ２２とを備える。画像表示部２０は、画像中の対象物から複数の方向に放出される光を再現することで対象物を立体的に見せるライトフィールド（Light Field）方式により、立体画像を表示する機能を有している。

表示デバイス２１は、収容室６４の後部の上側に、表示面２１１を前側に向けた状態でハウジング６０に収容されている。表示デバイス２１の表示面２１１は、ユーザ２００に投影する画像Ｇ１の形状に応じた矩形状であり、表示デバイス２１の表示面２１１には複数の画素Ｘ０（図５参照）がアレイ状に配置されている。表示デバイス２１の複数の画素Ｘ０は制御部５０の制御に応じて発光し、表示デバイス２１の表示面２１１から出力される光によって、表示面２１１に表示される画像が形成される。表示デバイス２１は、例えば液晶ディスプレイ、又は有機ＥＬ（Electro Luminescence）ディスプレイ等によって実現される。

表示デバイス２１の表示面２１１にはレンズアレイ２２が配置されている。ここで、レンズアレイ２２の表面が画像表示部２０の表示面２２１となる。レンズアレイ２２は、アレイ状に配列された複数のレンズ２２２（図５参照）を有する。複数のレンズ２２２の各々は、表示デバイス２１が備える複数の画素Ｘ０のうちの４つの画素Ｘ１～Ｘ４に対応している。図５は、表示デバイス２１が有する複数の画素Ｘ０の一部に着目した図であり、図５において括弧ＧＲ１でそれぞれ括った４個の画素Ｘ１～Ｘ４が、複数あるレンズ２２２のうち同じレンズ２２２に対応している。

図５の例では、アイボックス２１０において水平方向に４つの視点Ｐ１～Ｐ４が設定されている。視点Ｐ１には、複数のレンズ２２２によって、表示デバイス２１が備える複数の画素Ｘ１からの光が集光される。視点Ｐ２には、複数のレンズ２２２によって、表示デバイス２１が備える複数の画素Ｘ２からの光が集光される。視点Ｐ３には、複数のレンズ２２２によって、表示デバイス２１が備える複数の画素Ｘ３からの光が集光される。視点Ｐ４には、複数のレンズ２２２によって、表示デバイス２１が備える複数の画素Ｘ４からの光が集光される。なお、本実施形態では表示デバイス２１の前面側にレンズアレイ２２が配置されているが、レンズアレイ２２に代えて、複数のピンホールがアレイ状に形成された部材を表示デバイス２１の前面側に配置してもよい。

画像表示部２０の表示デバイス２１は、制御部５０から入力される画像データに基づく画像を表示面２１１に表示する。制御部５０は、立体描画の対象物の虚像３１０を表示する場合、虚像３１０を表示させるための立体画像データを表示デバイス２１に出力する。制御部５０は、立体描画の対象物を投影する位置に対応した複数の画素のうち、視点Ｐ１に対応する複数の画素Ｘ１と、視点Ｐ２に対応する複数の画素Ｘ２と、視点Ｐ３に対応する複数の画素Ｘ３と、視点Ｐ４に対応する複数の画素Ｘ４と、にそれぞれ同じ立体画像データに基づく同じ画像（換言すると立体描画部分の立体描画用画像）を表示させる。これにより、視点Ｐ１に対応する複数の画素Ｘ１から出力される光によって、複数の画素Ｘ１に表示される画像に基づく虚像３１０が視点Ｐ１に投影される。同様に、視点Ｐ２に対応する複数の画素Ｘ２から出力される光によって、複数の画素Ｘ２に表示される画像に基づく虚像３１０が視点Ｐ２に投影される。視点Ｐ３に対応する複数の画素Ｘ３から出力される光によって、複数の画素Ｘ３に表示される画像に基づく虚像３１０が視点Ｐ３に投影される。視点Ｐ４に対応する複数の画素Ｘ４から出力される光によって、複数の画素Ｘ４に表示される画像に基づく虚像３１０が視点Ｐ４に投影される。ただし、画素Ｘ１～Ｘ４に表示される画像の立体描画の対象物は、共通の対象物であるが、画素Ｘ１～Ｘ４に表示される画像をレンズアレイ２２を通して見ると、視点Ｐ１～Ｐ４で互いに見える角度が少しずつ異なるように見える。表示デバイス２１の表示面２１１に表示された画像はレンズアレイ２２を通してアイボックス２１０に集光される。

また、制御部５０（画像データ作成部５２）は、画像表示部２０に表示させる画像のうち、立体描画の対象物以外の平面描画部分を表示面２１１に表示させるための平面描画データを作成する。つまり、制御部５０は、カメラ４１，４２からの画像データに基づいて、立体描画部分以外の背景となる平面描画部分の平面描画データを作成する。そして、制御部５０は、表示デバイス２１が備える複数の画素のうち、立体描画の対象物を描画するために用いる画素以外の画素に、平面描画データに基づく画像（換言すると平面描画部分の平面描画用画像）を表示させる。なお、平面描画データを表示させる画素から出力される光もレンズアレイ２２を通過するため、例えば、視点Ｐ１には、視点Ｐ１に対応した画素の光が到達し、視点Ｐ２～Ｐ４に対応した画素の光は到達しない。

以上のように、表示面２２１に表示される画像は、平面描画データに基づく平面描画部分の画像と、立体画像データに基づく立体描画の対象物の画像とを含む。そして、表示デバイス２１の表示面２１１に表示された画像は、レンズアレイ２２と光学系３０とを通してアイボックス２１０内に視点があるユーザ２００に視認される。例えば、ユーザ２００の右目が視点Ｐ２の位置にあり、ユーザ２００の左目が視点Ｐ３の位置にある場合、ユーザ２００の右目には、視点Ｐ２に対応した画素から出力される光が投影され、ユーザ２００の左目には、視点Ｐ３に対応した画素から出力される光が投影される。よって、ユーザ２００の右目には、視点Ｐ２に投影される画像、つまり視点Ｐ２から見た背景の画像に視点Ｐ２から立体描画の対象物を見た場合の画像を重ね合わせた画像が投影される。また、ユーザ２００の左目には、視点Ｐ３に投影される画像、つまり視点Ｐ３から見た背景の画像に視点Ｐ３から立体描画の対象物を見た場合の画像を重ね合わせた画像が投影される。これにより、ユーザ２００の右目及び左目には、背景の画像に重ねて、立体描画の対象物を互いに異なる角度から見た画像が表示されるので、両眼視差を再現した画像を右目及び左目に投影することができる。よって、画像表示部２０に表示された映像に基づいて、ユーザ２００に対して立体描画の対象物の虚像３１０を立体的に見せることができる。

また、例えばユーザ２００の頭部が右に移動して、ユーザ２００の右目及び左目が、視点Ｐ１及びＰ２へそれぞれに移ると、上述の視点Ｐ２及びＰ３により見えていた虚像３１０を、やや右側から見ているように角度を変えて見せることができる。

なお、画像表示部２０が、立体描画の対象物の虚像３１０を立体的に表示する方式はライトフィールド方式に限定されない。画像表示部２０は、ユーザ２００の左右の目に、互いに視差がある画像をそれぞれ投影することで、ユーザ２００に立体描画の対象物の虚像３１０を視認させる視差方式を採用してもよい。

（２．１．４）光学系
光学系３０は、画像表示部２０の表示面２２１から出力される光を、アイボックス２１０に集光する。本実施形態では、光学系３０は、図１及び図３に示すように、例えば、両凸レンズであるレンズ３１と、平面鏡であるミラー３２とを備える。

レンズ３１は、画像表示部２０から出力される光を屈折して、ミラー３２に入射させる。両凸レンズであるレンズ３１は、画像表示部２０から出力される光を屈折することによって、画像表示部２０の表示面２２１に表示される画像を拡大する。本実施形態では、画像表示部２０の表示面（具体的にはレンズアレイ２２の表示面２２１）から、表示面２２１と直交する方向ＤＲ１に対して斜め方向ＤＲ２に出射した光が光学系３０に入射する。換言すると、画像表示部２０の表示面２２１は、光学系３０のレンズ３１に対して斜めに配置されている。

ミラー３２は、画像表示部２０からレンズ３１を通って入射した光を反射し、反射光を窓材６３を通してアイボックス２１０に集光する。

ここにおいて、本実施形態では、画像表示部２０の表示面２２１は、表示面２２１と光学系３０とを結ぶ光路Ｌ１（図１参照）に対して傾斜した状態で配置されている。光路Ｌ１は、表示面２２１の中心部（例えば、ユーザ２００によって視認される画像Ｇ１の上下方向及び左右方向における中心部に対応する部位）から光学系３０に出力される光の光路を示している。また、図１に点線で図示した光路Ｌ２は、表示面２２１の一端部（ユーザ２００によって視認される画像Ｇ１の上端部に対応した端部であって、図１では例えば上端部）から光学系３０を介してアイボックス２１０に集光される光の光路を示している。また、図１に点線で図示した光路Ｌ３は、表示面２２１の他端部（ユーザ２００によって視認される画像Ｇ１の下端部に対応した端部であって、図１では例えば下端部）から光学系３０を介してアイボックス２１０に集光される光の光路を示している。本実施形態では、画像表示部２０の表示面２２１が光路Ｌ１に対して傾斜しているので、光路Ｌ２の長さ（アイボックス２１０から表示面２２１の上端部までの長さ）が、光路Ｌ３の長さ（アイボックス２１０から表示面２２１の下端部までの長さ）に比べて長くなっている。したがって、表示面２２１に表示される画像に基づく平面描画部分の虚像３００は、虚像３００（表示面２２１に表示される画像）における上側ほど、アイボックス２１０からより遠い位置に表示されているような虚像３００としてユーザ２００に視認される。そのため、平面描画部分の虚像３００は、電子ミラーシステム１０を搭載した自動車１００が走行する走行面４００に対して平行な第１平面ＰＬ１１、及び、走行面４００に対して垂直な第２平面ＰＬ１２にそれぞれ傾斜した平面ＰＬ１に投影されることになる。一般的に、自動車１００の後方を撮影する撮像部４０の画像では、画像の上側に映る対象物（例えば、遠方の道路、及び空等）は、画像の下側に映る対象物（例えば、自動車１００の近くの道路等）に比べて自動車１００から離れた位置にある。上述のように、画像表示部２０の表示面２２１を光路Ｌ１に対して傾斜させることで、平面描画部分の虚像３００は平面ＰＬ１に投影されることになり、自然な距離感を持たせた虚像３００をユーザ２００に視認させることができる。

（２．１．５）制御部
制御部５０は、画像解析部５１、画像データ作成部５２（以下、単に「作成部５２」と呼ぶこともある）、及び出力部５３を備える。言い換えると、制御部５０は、画像解析部５１、作成部５２、及び出力部５３、としての機能を有している。制御部５０は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしての１以上のプロセッサ及び１以上のメモリを主構成とする。コンピュータシステムの１以上のメモリに記録されたプログラムを１以上のプロセッサが実行することによって、制御部５０の機能（例えば、画像解析部５１、作成部５２、及び出力部５３等の機能）が実現される。プログラムは、コンピュータシステムの１以上のメモリに予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。

画像解析部５１は、撮像部４０が備える２台のカメラ４１，４２から、例えば通信線を介してカメラ画像データＤ１１，Ｄ１２を受け取る。画像解析部５１は、カメラ４１，４２から受け取るカメラ画像データＤ１１，Ｄ１２に基づいて、２台のカメラ４１，４２が共に撮影する範囲の画像データＤ１３を求める。また、画像解析部５１は、カメラ４１，４２から受け取るカメラ画像データＤ１１，Ｄ１２に基づき、三角法によりカメラ４１，４２の画像に映っている対象物と、２台のカメラ４１，４２の中間位置との間の距離に関する距離データＤ１４を求める。そして、画像解析部５１は、２台のカメラ４１，４２のカメラ画像データＤ１１，Ｄ１２から求めた画像データＤ１３及び距離データＤ１４を作成部５２に出力する。ここにおいて、画像解析部５１は、複数（実施形態では２台）のカメラ４１，４２から出力される画像データＤ１１，Ｄ１２に基づいて、複数のカメラ４１，４２の撮像範囲に存在する対象物までの距離に関する距離データＤ１４を取得する取得部の機能を有している。

作成部５２は、画像解析部５１から入力される画像データＤ１３及び距離データＤ１４に基づいて、カメラ４１，４２の画像に映っている複数の対象物の中から、立体描画の対象物を抽出する。つまり、作成部５２は、カメラ４１，４２の画像に映っている複数の対象物の各々を、平面ＰＬ１から飛び出して見えるような立体的な虚像として描画するか、平面ＰＬ１に沿って描画される平面描画部分の対象物として描画するかを判定する。作成部５２（画像データ作成部）は、カメラ４１，４２の画像に映る対象物が立体的な虚像として投影されない場合の対象物の表示位置とアイボックス２１０との間の第１距離ＬＸ１（図１参照）を求める。第１距離ＬＸ１は、虚像空間での見かけの距離であり、対象物が平面描画部分の虚像として投影される場合の対象物の表示位置とアイボックス２１０との間の距離である。換言すれば、第１距離ＬＸ１は、アイボックス２１０から、走行面４００に沿った平面ＰＬ１上に投影される虚像までの視距離となる。また、作成部５２は、カメラ４１，４２の画像に映る対象物とアイボックス２１０との間の実空間での第２距離を求める。作成部５２は、対象物と２台のカメラ４１，４２の中間位置との間の距離に関する距離データＤ１４と、２台のカメラ４１，４２の中間位置とのアイボックス２１０の間の距離（既知の値）とから第２距離を求める。そして、作成部５２は、第１距離ＬＸ１と第２距離との差の絶対値が所定の閾値以上である場合、この対象物を立体描画の対象物とする。例えば、平面描画部分の虚像として描画される対象物は、走行面４００や走行面４００に沿って設けられたガードレール等のように、アイボックス２１０との間の実空間での距離（第２距離）と、第１距離ＬＸ１との差が閾値未満となるような対象物である。一方、立体的な虚像として描画される対象物は、例えば、走行面４００を走行する他の自動車等、走行面４００から飛び出して見える対象物である。立体的な虚像として描画される対象物の場合、アイボックス２１０との間の実空間での距離（第２距離）と、第１距離ＬＸ１との差の絶対値が閾値以上になる。したがって、作成部５２は、カメラ４１，４２の画像に映っている複数の対象物の各々について第１距離ＬＸ１と第２距離とを比較することで、立体描画の対象物を抽出することができる。ここで、閾値は、対象物を平面ＰＬ１から飛び出して見える立体的な虚像として描画するか、平面ＰＬ１に沿って描画される平面描画部分の対象物として描画するかを判定するための閾値であり、電子ミラーシステム１０の使用環境等に応じて適宜変更が可能である。

作成部５２は、カメラ４１，４２の画像に映る対象物のうち立体描画の対象物以外の平面描画部分は、表示デバイス２１の表示面２１１にそのまま表示されるように、平面描画部分の画像データを作成する。

また、作成部５２は、カメラ４１，４２の画像に映る対象物のうち立体描画の対象物を立体的な虚像３１０としてユーザ２００に視認させるための立体画像データを作成する。作成部５２は、立体描画の対象物を投影する位置に対応した複数の画素のうち、複数の画素Ｘ１と、複数の画素Ｘ２と、複数の画素Ｘ３と、複数の画素Ｘ４と、にそれぞれ立体描画の対象物の同じ画像を表示させるための立体画像データを作成する。すなわち、作成部５２は、画像データＤ１３と距離データＤ１４とに基づいて、ユーザ２００に立体描画の対象物の立体的な虚像を視認させるための立体画像データを作成する。画像データＤ１３は、画像に映る立体描画の対象物の画像データであり、距離データＤ１４は、立体描画の対象物とアイボックス２１０との間の距離に関するデータである。

そして、出力部５３が、作成部５２によって作成された平面描画データ及び立体画像データを表示デバイス２１に出力し、平面描画部分の画像に立体描画の対象物の画像を重ね合わせた画像を表示デバイス２１の表示面２１１に表示させる。つまり、画像表示部２０は、作成部５２が作成した立体画像データに基づく画像を表示面２２１に表示する。

（２．２）動作
本実施形態の電子ミラーシステム１０の動作について図６のフローチャートを参照して説明する。

例えば、自動車１００のバッテリから電子ミラーシステム１０に電力が供給され、自動車１００が備えるＥＣＵ（Electronic Control Unit）から電子ミラーシステム１０に動作を開始させる制御信号が入力されると、電子ミラーシステム１０が動作を開始する。

例えば、自動車１００のＥＣＵから制御部５０に制御信号が入力されると、制御部５０は、撮像部４０（カメラ４１，４２）に所定のフレームレートで自動車１００の後方を撮像させ、カメラ４１，４２から画像データＤ１１，Ｄ１２を取得する（Ｓ１）。

制御部５０の画像解析部５１は、画像データＤ１１，Ｄ１２を取得すると、画像データＤ１１，Ｄ１２に基づいてカメラ４１，４２の両方が撮影する範囲の画像Ｇ１（図７参照）の画像データＤ１３を取得し、作成部５２に出力する（Ｓ２）。また、画像解析部５１は、画像データＤ１１，Ｄ１２に基づいて、画像Ｇ１内に存在する対象物とカメラ４１，４２との間の距離に関する距離データＤ１４を求め、距離データＤ１４を作成部５２に出力する。

次に、作成部５２は、画像解析部５１から入力される画像データＤ１３と距離データＤ１４とに基づいて、画像Ｇ１内に存在する複数の対象物のうち立体描画の対象物を抽出するために、以下のステップＳ４～Ｓ５の処理を行う。まず、作成部５２は、距離データＤ１４に基づいて、画像Ｇ１を、実空間におけるアイボックス２１０までの距離値に基づいて、複数（例えば３つ）の領域Ａ１，Ａ１１，Ａ１２（図８参照）に分割する（Ｓ４）。

作成部５２は、複数の領域Ａ１，Ａ１１，Ａ１２の各々について、平面描画部分の画像とするか立体描画の画像とするか、すなわち立体画像データを作成するか否かを決定する。

領域Ａ１は、上述した第１距離ＬＸ１と第２距離との差が閾値未満となる領域である。つまり、領域Ａ１は、平面描画部分の虚像が投影される平面ＰＬ１をデフォルトの虚像面とした場合に、実空間において領域Ａ１内の対象物と平面ＰＬ１との距離の大きさが閾値未満となる領域である。この場合、作成部５２は、画像データＤ１３をもとに、領域Ａ１に映る対象物を平面描画部分の虚像として投影するための画像Ｇ２（図９参照）の平面描画データを作成する（Ｓ４）。

また、領域Ａ１１，Ａ１２は、第１距離ＬＸ１と第２距離との差が閾値以上となる領域である。つまり、領域Ａ１１，Ａ１２は、平面描画部分の虚像が投影される平面ＰＬ１をデフォルトの虚像面とした場合に、実空間において領域Ａ１１，Ａ１２内の対象物の位置と平面ＰＬ１との距離の大きさが閾値以上となる領域である。この場合、作成部５２は、画像データＤ１３をもとに、領域Ａ１１に映る対象物（例えば車）と、領域Ａ１２に映る対象物（例えば防護フェンス）とを、それぞれ、立体的な虚像として投影するための画像Ｇ１１，Ｇ１２（図１０参照）の立体画像データを作成する（Ｓ５）。

作成部５２は、平面描画部分の画像Ｇ２の平面描画データと、立体描画の対象物の立体画像データとを作成すると、平面描画データ及び立体画像データを含む画像データＤ１５を出力部５３から表示デバイス２１に出力させる。

表示デバイス２１は、出力部５３から画像データＤ１５が入力されると、平面描画データに基づく平面描画部分の画像Ｇ２に、立体画像データに基づく画像Ｇ１１，Ｇ１２を嵌め込んだ１フレームの画像を表示面２１１に表示する（Ｓ６）。

表示デバイス２１の表示面２１１に表示された画像は、レンズアレイ２２と光学系３０とを通して、アイボックス２１０内に視点があるユーザ２００に視認される。平面描画部分の画像Ｇ２は、表示デバイス２１の複数の画素にそのまま表示されるので、ユーザ２００によって２次元の画像として認識される。なお、平面描画部分の画像Ｇ２は平面ＰＬ１に沿って描画されるため、自然な距離感がある画像Ｇ２として表示することができる。また、ユーザ２００が立体描画の対象物の画像をレンズアレイ２２を通して視認することで、両眼視差を再現した画像をユーザ２００に視認させることができ、立体描画の対象物を立体的に視認することができる。したがって、ユーザ２００は、平面描画部分（つまり背景）の画像Ｇ２に重ねて立体描画の対象物の画像Ｇ１１，Ｇ１２が表示される画像を視認することができ、電子ミラーシステム１０は、自然な距離感の画像であって、焦点調整がしやすい画像をユーザ２００に視認させることができる。また、電子ミラーシステム１０は、平面描画部分の平面描画データは撮像部４０から取得した画像データとし、立体描画の対象物の立体画像データのみ作成すればよいので、立体画像データを作成する演算処理の処理量を低減できる。

なお、作成部５２は、ステップＳ４において、平面描画部分のみの平面画像データではなく、元画像Ｇ１の画像データＤ１３をそのまま平面描画データとしてもよい。そして、作成部５２は、元画像Ｇ１の全体を平面ＰＬ１に描画する場合の平面描画データに、ステップＳ５で作成した立体画像データを組み合わせることで、表示デバイス２１に表示させる１フレーム分の画像を作成する。すなわち、作成部５２は、平面描画部分の画像（元画像Ｇ１）に立体描画の対象物の画像Ｇ１１，Ｇ１２を重ね合わせた１フレーム分の画像を作成し、この画像を表示デバイス２１に表示させてもよい。

（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、電子ミラーシステム１０と同様の機能は、電子ミラーシステム１０の制御方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る画像表示方法は、電子ミラーシステム１０を用いて画像を表示する画像表示方法である。この画像表示方法は、第１処理と、第２処理と、第３処理と、第４処理とを含む。第１処理は、画像のうち立体描画の対象物を少なくとも含む立体描画部分の画像データに関する画像情報を取得する処理（ステップＳ１）である。第２処理は、実空間における対象物とアイボックス２１０との間の距離に関する距離データを取得する処理（ステップＳ２）である。第３処理は、画像情報と距離データとに基づいて、アイボックス２１０内に視点があるユーザ２００に対象物の立体的な虚像を視認させるための立体画像データを作成する処理（ステップＳ５）である。第４処理は、立体画像データに基づく画像を画像表示部２０の表示面２２１に表示する処理（ステップＳ６）である。一態様に係る（コンピュータ）プログラムは、１以上のプロセッサに、画像表示方法を実行させるためのプログラムである。

以下、上記の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。なお、以下では、上記実施形態を「基本例」と呼ぶこともある。

本開示における電子ミラーシステム１０は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における電子ミラーシステム１０としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

また、電子ミラーシステム１０における複数の機能が、１つのハウジング６０内に集約されていることは電子ミラーシステム１０に必須の構成ではなく、電子ミラーシステム１０の構成要素は、複数のハウジングに分散して設けられていてもよい。さらに、電子ミラーシステム１０の少なくとも一部の機能、例えば、制御部５０の一部の機能（画像解析部５１及び作成部５２等）がクラウド（クラウドコンピューティング）等によって実現されてもよい。

上記の実施形態において、距離などの２値の比較において、「以上」としているところは「より大きい」であってもよい。つまり、２値の比較において、２値が等しい場合を含むか否かは、基準値等の設定次第で任意に変更できるので、「以上」か「より大きい」かに技術上の差異はない。同様に、「未満」としているところは「以下」であってもよい。

（３．１）変形例１
基本例の電子ミラーシステム１０では、画像解析部５１が、２台のカメラ４１，４２からの画像データに基づいて距離データを取得しているが、電子ミラーシステム１０は、図１１に示すように、距離データを取得するための距離センサ７０を備えていてもよい。

変形例１の電子ミラーシステム１０では、撮像部４０が、自動車１００の後方を撮影する１台のカメラ４１を含む。

距離センサ７０は、例えば、ミリ波レーダー、又は、ＬＩＤＡＲ（Light detection and ranging）等のセンサを含む。距離センサ７０は、当該距離センサ７０から、カメラ４１の撮像範囲に存在する対象物までの距離を測定し、距離の測定結果を示す距離データを画像解析部５１に出力する。

画像解析部５１は、距離センサ７０から距離データを取得する。すなわち、画像解析部５１が、撮像部４０の撮像範囲に存在する対象物までの距離を測定する距離センサ７０から距離データを取得する取得部の機能を有している。画像解析部５１は、撮像部４０から取得した画像データと、距離センサ７０から取得した距離データとに基づいて、平面描画部分の画像を表示するための平面描画データと、立体描画を行うための立体画像データとを作成する。なお、画像解析部５１が平面描画データ及び立体画像データを作成する処理は、基本例と同様であるので、その説明は省略する。

（３．２）変形例２
基本例では、画像表示部２０が１つの表示デバイス２１で実現されているが、図１２に示すように、画像表示部２０Ａが、画像表示部２０Ａが表示する全体の画像のうち、それぞれ対応する部分を表示する複数（例えば２つ）の表示デバイス２１Ａ，２１Ｂを含んでいてもよい。複数の表示デバイス２１Ａ，２１Ｂは、画像表示部２０Ａが表示する全体の画像の一部分である部分画像をそれぞれ表示する。表示デバイス２１Ａ，２１Ｂの表示面２１１Ａ，２１１Ｂは、互いに傾斜している。また、画像表示部２０Ａは、表示デバイス２１Ａの表示面２１１Ａに配置されるレンズアレイ２２Ａと、表示デバイス２１Ｂの表示面２１１Ｂに配置されるレンズアレイ２２Ｂとを更に備えている。

表示デバイス２１Ａは、光路Ｌ１に対して、基本例で説明した表示デバイス２１と同じ方向に傾斜している。すなわち、レンズ３１とミラー３２で構成される光学系３０の焦点位置２３に対して、表示デバイス２１Ａの表示面２１１Ａの一端部（図１２における上端部）と焦点位置２３との間の第１間隔が、表示面２１１Ａの他端部（図１２における下端部）と焦点位置２３との間の第２間隔に比べて短くなるように、表示デバイス２１Ａは配置されている。これにより、表示デバイス２１Ａの表示面２１１Ａに表示される画像をレンズアレイ２２Ａ及び光学系３０を介して表示デバイス２１Ａの表示面２１１Ａの上側に映る対象物は、表示面２１１Ａの下側に映る対象物に比べて遠い位置に存在するようにユーザ２００に視認される。

一方、表示デバイス２１Ｂは、表示デバイス２１Ｂの表示面２１１Ｂの一端部（図１２における下端部）と焦点位置２３との間の第１間隔が、表示面２１１Ｂの他端部（図１２における上端部）と焦点位置２３との間の第２間隔に比べて短くなるように、表示デバイス２１Ｂが配置されている。これにより、表示デバイス２１Ｂの表示面２１１Ｂの上側に映る対象物は、表示面２１１Ｂの下側に映る対象物に比べて近い位置に存在するようにユーザ２００に視認される。なお、変形例２においても、画像表示部２０Ａは、光学系３０から光学系３０の焦点位置２３の間に配置される。

例えば、画像表示部２０Ａが表示する画像の上側に、道路の車線部分の上方に設置された案内標識等が映っている場合、画像の下側及び上側に映っている対象物は、画像の上下方向における中間部に映っている対象物に比べて、アイボックス２１０からの距離が短くなる。このような場合には、図１２に示すように、２つの表示デバイス２１Ａ，２１Ｂが配置されるのが好ましく、画像表示部２０Ａに表示される画像に自然な距離感を与えることができる。

なお、変形例２では、画像表示部２０Ａが２つの部分画像表示部（表示デバイス２１Ａ，２１Ｂ）を備えているが、画像表示部２０Ａは３つ以上の部分画像表示部を備えていてもよい。また、画像表示部２０Ａが備える複数の部分画像表示部（表示デバイス２１Ａ，２１Ｂ）の配置形態は図１２に示す配置形態に限定されない。複数の部分画像表示部（表示デバイス２１Ａ，２１Ｂ）の配置形態は、ユーザ２００によって視認される画像に自然な距離感が与えられるように、適宜変更が可能である。

（３．３）その他の変形例
上記実施形態及び変形例の電子ミラーシステム１０では、画像表示部２０が表示する画像を、画像内の対象物とアイボックス２１０との間の距離に応じて複数の領域に分割し、複数の領域の各々について立体描画の対象物とするか否かを判定しているが、画素単位で立体描画の対象とするか否かを判定してもよい。

また、作成部５２は、画像表示部２０が表示する画像のうち立体描画の対象とした対象物のみの立体画像データを作成しているが、画像表示部２０が表示する画像の全体を立体描画の対象としてもよい。

上記実施形態及び変形例の電子ミラーシステム１０において、ハウジング６０に設けられた窓材６３は例えばハーフミラーで構成されていてもよい。画像表示部２０の表示面２２１に画像が表示されていない状態では、ハーフミラーで構成された窓材６３が鏡となるので、鏡となる窓材６３を用いて後方を確認することができる。

上記実施形態及び変形例の電子ミラーシステム１０において、光学系３０は、画像表示部２０から出力される光の反射と屈折との少なくとも一方を行うことで、アイボックス２１０に光を投影すればよく、光学系３０の構成は適宜変更が可能である。例えば、レンズ３１は両凸レンズであるが、平凸レンズでもよく、レンズ３１の表面は、画像の歪みの低減や解像度の向上が可能なように自由曲面に形成されていてもよい。また、ミラー３２は平面鏡であるが、ミラー３２は自由曲面を有する凹面鏡でも良く、ミラー３２の表面は、画像の歪みの低減や解像度の向上が可能なように自由曲面に形成されていてもよい。また、光学系３０は、１以上のレンズ、１以上のミラー、又は、１以上のレンズと１以上のミラーとの組み合わせで実現されてもよい。

上記実施形態及び変形例の電子ミラーシステム１０では、表示デバイス２１が、液晶ディスプレイ、又は有機ＥＬディスプレイ等のディスプレイ装置で実現されているが、表示デバイス２１はこの種のディスプレイ装置に限定されない。表示デバイス２１は、拡散透過型のスクリーンに対し、スクリーンの背後からレーザ光を走査することで、スクリーン上に画像を描画する構成でもよい。また、表示デバイス２１は、拡散透過型のスクリーンに対し、スクリーンの背後からプロジェクタで画像を投影する構成であってもよい。

上記実施形態及び変形例の電子ミラーシステム１０は、ルームミラーの位置に固定されているが、電子ドアミラーの位置、すなわちＡピラーの下やドアの内側等に固定されていてもよい。また、電子ミラーシステム１０は、移動体本体１１０に固定されているが、上記実施形態及び変形例の電子ミラーシステム１０は、ユーザ２００が頭部に装着して使用するヘッドマウントディスプレイ、又は、メガネ型の表示装置に適用されてもよい。

上記実施形態及び変形例の電子ミラーシステム１０は、自動車１００の後方の撮像画像を表示する構成に限らず、例えば、自動車１００の後側方、側方、又は前方の撮像画像に基づく画像を表示してもよい。

上記実施形態及び変形例の電子ミラーシステム１０は、自動車１００に適用されるものに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車１００以外の移動体にも適用可能である。

また、電子ミラーシステム１０は、１つの装置に限らず複数の装置によって構成されてもよい。つまり、電子ミラーシステム１０の機能が２以上の装置に分散して設けられていてもよい。電子ミラーシステム１０の制御部５０は、自動車１００のＥＣＵ、自動車１００の外部のサーバ装置に設けられもよく、この場合はＥＣＵ又はサーバ装置で画像表示部２０が表示する画像が作成される。

（まとめ）
以上説明したように、第１の態様の電子ミラーシステム（１０）は、移動体（１００）の周囲の状況を示す画像を連続的に表示することによって移動体（１００）の周囲の状況を動画で表示する電子ミラーシステムである。電子ミラーシステム（１０）は、画像表示部（２０）と、光学系（３０）と、を備える。画像表示部（２０）は、移動体（１００）の周囲を連続的に撮影する撮像部（４０）から画像データを取得するごとに、撮像部（４０）から取得した画像データに基づく画像を表示面（２２１）に表示する。光学系（３０）は、表示面（２２１）に表示される画像をアイボックス（２１０）に集光することによって、アイボックス（２１０）に視点があるユーザ（２００）に表示面（２２１）に表示される画像に基づく虚像（３００）を視認させる。表示面（２２１）は、表示面（２２１）と光学系（３０）とを結ぶ光路（Ｌ１）に対して傾斜した状態で配置される。

この態様によれば、表示面（２２１）と光学系（３０）とを結ぶ光路（Ｌ１）に対して表示面（２２１）が傾斜しているので、表示面（２２１）の面内で、アイボックス（２１０）と表示面（２２１）との間の視距離が変化する。したがって、表示面（２２１）に表示される画像に基づいてユーザ（２００）に視認される虚像（３００）に自然な距離感を与えることができ、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。

第２の態様の電子ミラーシステム（１０）は、第１の態様において、画像データ作成部（５２）を更に備える。画像データ作成部（５２）は、表示面（２２１）に表示される画像内に映る立体描画の対象物の画像データと、距離データとに基づいて、ユーザ（２００）に立体描画の対象物の立体的な虚像（３１０）を視認させるための立体画像データを作成する。距離データは、実空間における対象物とアイボックス（２１０）との間の距離に関するデータである。画像表示部（２０）は、立体画像データに基づく立体描画部分の立体描画用画像を表示面（２２１）に表示する。

この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。

第３の態様の電子ミラーシステム（１０）では、第２の態様において、画像データ作成部（５２）は、表示面（２２１）に表示される画像のうち立体描画の対象物以外の平面描画部分を表示面（２２１）に表示させるための平面描画データを更に作成する。表示面（２２１）に表示される画像は、平面描画データに基づく平面描画部分の画像と、立体描画用画像とを含む。

この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。

第４の態様の電子ミラーシステム（１０）では、第２の態様において、画像データ作成部（５２）は、第１距離と第２距離との差の絶対値が、所定の閾値以上である対象物を立体描画の対象物とする。第１距離は、表示面（２２１）に表示される画像に映る対象物の虚像が立体描画の対象物として投影されない場合の対象物の表示位置とアイボックス（２１０）との間の距離である。第２距離は、対象物とアイボックス（２１０）との間の実空間での距離である。

この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。

第５の態様の電子ミラーシステム（１０）では、第２～第４のいずれかの態様において、画像データ作成部（５２）は、実空間におけるアイボックス（２１０）までの距離値に基づいて、画像表示部（２０）に表示される画像を複数の部分画像に分ける。画像データ作成部（５２）は、複数の部分画像の各々について立体画像データを作成するか否かを決定する。

この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。

第６の態様の電子ミラーシステム（１０）では、第２～第５のいずれかの態様において、撮像部（４０）は、撮影方向が互いに異なる複数のカメラ（４１，４２）を含む。電子ミラーシステム（１０）は取得部（５１）を更に備える。取得部（５１）は、複数のカメラ（４１，４２）の各々から出力される画像データに基づいて、複数のカメラ（４１，４２）の各々の撮像範囲に存在する対象物までの距離に関する距離データを取得する。

この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。

第７の態様の電子ミラーシステム（１０）は、第２～第６のいずれかの態様において、距離センサ（７０）から距離データを取得する取得部（５１）を、更に備える。距離センサ（７０）は、撮像部（４０）の撮像範囲に存在する対象物までの距離を測定する。

この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。

第８の態様の電子ミラーシステム（１０）では、第１～第７のいずれかの態様において、画像表示部（２０）が、画像表示部（２０）が表示する全体の画像のうちそれぞれ対応する部分を表示する複数の表示デバイス（２１Ａ，２１Ｂ）を含む。複数の表示デバイス（２１Ａ，２１Ｂ）の表示面（２１１Ａ，２１１Ｂ）が互いに傾斜している。

この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。

第９の態様の電子ミラーシステム（１０）では、第１～第８のいずれかの態様において、画像表示部（２０）の表示面（２２１）から、表示面（２２１）と直交する方向（ＤＲ１）に対して斜め方向（ＤＲ２）に出射した光が光学系（３０）に入射する。

この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を提供することができる。

第１０の態様の画像表示方法は、第１～第９のいずれかの態様の電子ミラーシステム（１０）において画像を表示する画像表示方法である。画像表示方法は、第１処理と、第２処理と、第３処理と、第４処理と、を含む。第１処理では、撮像部の画像データを取得する。第２処理では、画像表示部（２０）に表示される画像に映る対象物とアイボックス（２１０）との間の実空間における距離に関する距離データを取得する。第３処理では、画像データと距離データとに基づいて、アイボックス（２１０）内に視点があるユーザ（２００）に対象物の立体的な虚像を視認させるための立体画像データを作成する。第４処理では、立体画像データに基づく立体描画部分の立体描画用画像を画像表示部（２０）の表示面（２２１）に表示する。

この態様によれば、見えやすさを向上させることが可能な画像表示方法を提供することができる。

第１１の態様の移動体（１００）は、移動する移動体本体（１１０）と、移動体本体（１１０）に搭載される第１～第９のいずれかの態様の電子ミラーシステム（１０）と、を備える。

この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を備える移動体（１００）を提供することができる。

第１２の態様の電子ミラーシステム（１０）では、第１～第９のいずれかの態様において、撮像部（４０）が移動体本体（１１０）の外部を撮像する。

この態様によれば、見えやすさを向上させることが可能な電子ミラーシステム（１０）を備える移動体（１００）を提供することができる。

第１３の態様の電子ミラーシステム（１０）では、第１～第９及び第１２のいずれかの態様において、画像表示部（２０）は、画像を表示する表示デバイス（２１）と、アレイ状に配置された複数のレンズ（２２２）を有し表示デバイス（２１）の前面に配置されるレンズアレイ（２２）とを備える。

上記態様に限らず、上記実施形態に係る電子ミラーシステム（１０）の種々の構成（変形例を含む）は、電子ミラーシステム（１０）の画像表示方法、（コンピュータ）プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。

第２～第９及び第１２～第１３の態様に係る構成については、電子ミラーシステム（１０）に必須の構成ではなく、適宜省略可能である。

１０ 電子ミラーシステム
２０ 画像表示部
２１Ａ，２１Ｂ 表示デバイス
３０ 光学系
４０ 撮像部
４１，４２ カメラ
５１ 画像解析部（取得部）
５２ 画像データ作成部
７０ 距離センサ
１００ 移動体
１１０ 移動体本体
２００ ユーザ
２１０ アイボックス
２１１Ａ，２１１Ｂ 表示面
２２１ 表示面
３００，３１０ 虚像
Ｌ１ 光路

Claims (11)

1. 移動体の周囲の状況を示す画像を連続的に表示することによって前記移動体の周囲の状況を動画で表示する電子ミラーシステムであって、
   前記移動体の周囲を連続的に撮影する撮像部から画像データを取得するごとに、前記撮像部から取得した前記画像データに基づく前記画像を表示面に表示する画像表示部と、
   前記表示面に表示される前記画像をアイボックスに集光することによって、前記アイボックスに視点があるユーザに前記表示面に表示される前記画像に基づく虚像を視認させる光学系と、を備え、
   前記表示面は、前記虚像において、前記画像の上端部に対応する部分が前記画像の下端部に対応する部分よりも前記アイボックスから遠くに視認されるように、前記表示面と前記光学系とを結ぶ光路に対して傾斜した状態で配置される、
   電子ミラーシステム。
2. 前記表示面に表示される前記画像に映る立体描画の対象物の画像データと、前記立体描画の対象物と前記アイボックスとの間の実空間での距離に関する距離データとに基づいて、前記ユーザに前記立体描画の対象物の立体的な虚像を視認させるための立体画像データを作成する画像データ作成部を更に備え、
   前記画像表示部は、前記立体画像データに基づく立体描画部分の立体描画用画像を前記表示面に表示する、
   請求項１に記載の電子ミラーシステム。
3. 前記画像データ作成部は、前記表示面に表示される前記画像のうち前記立体描画の対象物以外の平面描画部分を前記表示面に表示させるための平面描画データを更に作成し、
   前記画像は、前記平面描画データに基づく前記平面描画部分の平面描画用画像と、前記立体描画用画像とを含む、
   請求項２に記載の電子ミラーシステム。
4. 前記画像データ作成部は、前記表示面に表示される前記画像に映る前記対象物の虚像が前記立体描画の対象物として投影されない場合の前記対象物の表示位置と前記アイボックスとの間の第１距離と、前記対象物と前記アイボックスとの間の実空間での第２距離との差の絶対値が所定の閾値以上である場合、前記対象物を前記立体描画の対象物とする、
   請求項２に記載の電子ミラーシステム。
5. 前記画像データ作成部は、前記実空間における前記アイボックスまでの距離値に基づいて前記画像表示部に表示される前記画像を複数の部分画像に分け、
   前記画像データ作成部は、前記複数の部分画像の各々について前記立体画像データを作成するか否かを決定する、
   請求項２～４のいずれか１項に記載の電子ミラーシステム。
6. 前記撮像部は、撮影方向が互いに異なる複数のカメラを含み、
   前記複数のカメラの各々から出力される画像データに基づいて、前記複数のカメラの各々の撮像範囲に存在する前記対象物までの距離に関する前記距離データを取得する取得部を、更に備える、
   請求項２～５のいずれか１項に記載の電子ミラーシステム。
7. 前記撮像部の撮像範囲に存在する対象物までの距離を測定する距離センサから前記距離データを取得する取得部を、更に備える、
   請求項２～６のいずれか１項に記載の電子ミラーシステム。
8. 前記画像表示部が、前記画像表示部が表示する全体の画像のうちそれぞれ対応する部分を表示する複数の表示デバイスを含み、
   前記複数の表示デバイスの表示面が互いに傾斜する、
   請求項１～７のいずれか１項に記載の電子ミラーシステム。
9. 前記画像表示部の前記表示面から、前記表示面と直交する方向に対して斜め方向に出射した光が前記光学系に入射する、
   請求項１～８のいずれか１項に記載の電子ミラーシステム。
10. 請求項１～９のいずれか１項に記載の電子ミラーシステムが備える前記画像表示部に前記画像を表示する画像表示方法であって、
    前記撮像部の画像データを取得することと、
    前記画像表示部に表示される前記画像に映る対象物と前記アイボックスとの間の実空間における距離に関する距離データを取得することと、
    前記画像データと前記距離データとに基づいて、前記アイボックス内に視点があるユーザに前記対象物の立体的な虚像を視認させるための立体画像データを作成することと、
    前記立体画像データに基づく立体描画部分の立体描画用画像を前記画像表示部の前記表示面に表示することと、を含む、
    画像表示方法。
11. 移動する移動体本体と
    前記移動体本体に搭載される請求項１～９のいずれか１項に記載の電子ミラーシステムと、を備える、
    移動体。

Images