WO2019035177A1 - 車載表示装置、画像処理装置および表示制御方法 - Google Patents

Abstract

画像生成部（４ａ）は、運転者（１０１）の右目（１０１Ｒ）および左目（１０１Ｌ）の位置を示す目位置情報を用いて、前方ピラー（１０２）により運転者（１０１）の視界が遮られることによって生じる死角領域（１０３Ｒ，１０３Ｌ）を含む車外を撮影した画像から、右目の位置から見える死角領域の右目用画像（Ｒ）および左目の位置から見える死角領域の左目用画像（Ｌ）を生成する。裸眼立体ディスプレイ（５）は、前方ピラー（１０２）の車室側に設置され、画像生成部（４ａ）により生成された右目用画像（Ｒ）と左目用画像（Ｌ）を表示する。

Description

車載表示装置、画像処理装置および表示制御方法

　この発明は、車両の前方ピラーにより運転者の視界が遮られることによって生じる死角領域の映像を表示する車載表示装置、この車載表示装置に表示させる画像を生成する画像処理装置、および車載表示装置の表示制御方法に関するものである。

　従来、前方ピラーにより運転者の視界が遮られることによって生じる死角領域の映像をカメラで撮影し、このカメラで撮影した死角領域の映像を前方ピラーに設置された液晶ディスプレイに表示することで、運転者による車両の運転操作を支援する車載表示装置が提案されている（例えば、特許文献１参照）。

特開２００４－３４９５７号公報

　上述のような従来の車載表示装置は、カメラで撮影して液晶ディスプレイに表示する死角領域の映像の内容を運転者に直感的に把握させるために、この死角領域の映像を、運転者が直接確認できる液晶ディスプレイ外の実際の風景とある程度連続した映像として液晶ディスプレイに表示する必要がある。

　しかしながら、運転者の右目で見える範囲と左目で見える範囲は異なるため、どちらかの目で見る死角領域の映像と実際の風景とに非連続な部分が発生し、運転者に違和感を与えてしまう。

　このように、従来の車載表示装置は、死角領域の映像と実際の車外風景とが連続しないことによって、運転者に違和感を与えるという課題があった。

　この発明は、上記のような課題を解決するためになされたもので、死角領域の映像と実際の車外風景とを連続させることによって、運転者に違和感を与えないようにすることを目的とする。

　この発明に係る車載表示装置は、運転者の右目および左目の位置を示す目位置情報を用いて、前方ピラーにより運転者の視界が遮られることによって生じる死角領域を含む車外を撮影した画像から、右目の位置から見える死角領域の右目用画像および左目の位置から見える死角領域の左目用画像を生成する画像生成部と、前方ピラーの車室側に設置され、画像生成部により生成された右目用画像と左目用画像を表示するディスプレイとを備えるものである。

　この発明によれば、運転者の右目の位置から見える死角領域の右目用画像および左目の位置から見える死角領域の左目用画像を生成して、前方ピラーのディスプレイに表示するようにしたので、ディスプレイが表示する死角領域の画像と実際の車外風景とを連続させることができ、運転者に違和感を与えない。

実施の形態１に係る車載表示装置の構成例を示すブロック図である。 図２Ａおよび図２Ｂは、実施の形態１における裸眼立体ディスプレイの構成例を示す図である。 実施の形態１における裸眼立体ディスプレイの設置例を示す図である。 実施の形態１において車両の前方ピラーにより運転者の視界が遮られることによって生じる死角領域を説明する図である。 実施の形態１において裸眼立体ディスプレイに表示される右目用画像と左目用画像の例を示す図である。 実施の形態１に係る画像処理装置の動作例を示すフローチャートである。 実施の形態２に係る車載表示装置の構成例を示すブロック図である。 図８Ａは車外撮影部が撮影した車外の画像例であり、図８Ｂは図８Ａの画像に対応した深度情報の例である。 実施の形態２に係る画像処理装置の動作例を示すフローチャートである。 実施の形態３に係る車載表示装置の構成例を示すブロック図である。 実施の形態３における車外撮影部の撮影範囲を説明する図である。 実施の形態３に係る画像処理装置の動作例を示すフローチャートである。 図１３Ａおよび図１３Ｂは、各実施の形態に係る画像処理装置のハードウェア構成例を示すブロック図である。

　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る車載表示装置１の構成例を示すブロック図である。車載表示装置１は、車外撮影部２、運転者監視部３、画像処理装置４、および裸眼立体ディスプレイ５を備える。車外撮影部２、運転者監視部３、画像処理装置４、および裸眼立体ディスプレイ５は車両に搭載される。なお、車載表示装置１は、専用の車外撮影部２を備える構成であってもよいし、車両に搭載された他の装置が備える車外撮影部２に相当する機能を利用する構成であってもよい。同様に、車載表示装置１は、専用の運転者監視部３を備える構成であってもよいし、車両に搭載された他の装置が備える運転者監視部３に相当する機能を利用する構成であってもよい。

　車外撮影部２は、カメラを有し、車両の前方ピラーにより運転者の視界が遮られることによって生じる死角領域を含む車外の風景を撮影する。車外撮影部２は、車外を撮影した画像を、画像処理装置４の画像生成部４ａへ出力する。

　運転者監視部３は、カメラを有し、運転者を撮影する。運転者監視部３は、運転者を撮影した画像から、運転者の右目と左目の３次元位置を検出し、目位置情報として画像処理装置４の画像生成部４ａへ出力する。または、運転者監視部３は、運転者を撮影した画像から、運転者の頭部の位置を検出し、検出した頭部の位置から右目と左目の３次元位置を推測し、目位置情報として出力してもよい。
　運転者監視部３のカメラとしては、例えば、ドライバモニタリングシステムのカメラを利用してもよい。また、運転者監視部３のカメラは、可視光カメラであってもよいし、赤外線カメラであってもよい。運転者監視部３のカメラが赤外線カメラである場合、運転者監視部３は赤外線ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の赤外線光源を有して運転者へ向けて赤外光を照射してもよい。さらに、運転者監視部３のカメラは、ステレオカメラであってもよい。

　画像処理装置４は、画像生成部４ａを有し、裸眼立体ディスプレイ５に表示させるための画像を生成する。画像生成部４ａは、運転者監視部３からの目位置情報を用いて、車外撮影部２が車外を撮影した画像から、右目の位置から見える死角領域の右目用画像および左目の位置から見える死角領域の左目用画像を生成し、裸眼立体ディスプレイ５へ出力する。

　裸眼立体ディスプレイ５は、車両の前方ピラーの車室側に設置され、画像生成部４ａから受け取る死角領域の右目用画像と左目用画像を表示する。裸眼立体ディスプレイ５は、水平方向において、右目用画像と左目用画像を交互に並べた状態で表示する。裸眼立体ディスプレイ５が表示する死角領域の右目用画像は運転者の右目へ入射し、死角領域の左目用画像は運転者の左目へ入射する。

　図２Ａおよび図２Ｂは、実施の形態１における裸眼立体ディスプレイ５の構成例を示す図である。裸眼立体ディスプレイ５は、図２Ａに示されるレンチキュラレンズ方式でもよいし、図２Ｂに示されるパララックスバリア方式でもよい。また、裸眼立体ディスプレイ５は、レンチキュラレンズ方式およびパララックスバリア方式以外の方式のものであってもよい。

　図２Ａは、レンチキュラレンズ方式の裸眼立体ディスプレイ５の構成例を示す図である。レンチキュラレンズ方式の裸眼立体ディスプレイ５は、液晶ディスプレイ等のディスプレイ５ａと、垂直方向に長いシリンドリカルレンズが複数並んだレンチキュラレンズ５ｂとを有する。レンチキュラレンズ５ｂは、ディスプレイ５ａの表示面側に配置される。ディスプレイ５ａが表示する右目用画像Ｒは、レンチキュラレンズ５ｂのシリンドリカルレンズを透過して運転者の右目１０１Ｒへ入射し、左目用画像Ｌは、レンチキュラレンズ５ｂのシリンドリカルレンズを透過して運転者の左目１０１Ｌへ入射する。

　図２Ｂは、パララックスバリア方式の裸眼立体ディスプレイ５の構成例を示す図である。パララックスバリア方式の裸眼立体ディスプレイ５は、液晶ディスプレイ等のディスプレイ５ａと、垂直方向に長いスリットが複数形成されたパララックスバリア５ｃとを有する。パララックスバリア５ｃは、ディスプレイ５ａの表示面側に配置される。ディスプレイ５ａが表示する右目用画像Ｒは、パララックスバリア５ｃのスリットを通過して運転者の右目１０１Ｒへ入射し、左目用画像Ｌは、パララックスバリア５ｃのスリットを通過して運転者の左目１０１Ｌへ入射する。

　図３は、実施の形態１における裸眼立体ディスプレイ５の設置例を示す図である。車両において運転席１００より前方に前方ピラー１０２がある。裸眼立体ディスプレイ５は、前方ピラー１０２の車室側に設置され、前方ピラー１０２により遮られる死角領域の画像を表示する。

　裸眼立体ディスプレイ５は、図３に示されるように複数のディスプレイ５ａと、複数のレンチキュラレンズ５ｂまたは複数のパララックスバリア５ｃを有してもよい。図３の例では、前方ピラー１０２の形状に合わせて複数のディスプレイ５ａが並んでいる。また、複数のディスプレイ５ａのそれぞれは、レンチキュラレンズ５ｂまたはパララックスバリア５ｃを有する。図３に示されるように、小型のディスプレイ５ａを前方ピラー１０２の形状に合わせて並べる構成は、前方ピラー１０２がどのような形状であっても対応でき汎用性が高いため、低コストかつ高量産性を実現できる。
　なお、裸眼立体ディスプレイ５は、前方ピラー１０２と同じ形状の１つのディスプレイ５ａと、このディスプレイ５ａと同じ形状のレンチキュラレンズ５ｂまたはパララックスバリア５ｃを有してもよい。

　図４は、実施の形態１において車両の前方ピラー１０２により運転者１０１の視界が遮られることによって生じる死角領域を説明する図である。図５は、実施の形態１において裸眼立体ディスプレイ５に表示される右目用画像Ｒと左目用画像Ｌの例を示す図である。

　前方ピラー１０２により運転者１０１の視界が遮られることによって死角領域が生じ、運転者１０１は車外の物体１０４等を直感的に把握しにくくなる。そこで、従来は、前方ピラー１０２により運転者１０１の視界が遮られることによって生じる死角領域の映像をカメラで撮影し、このカメラで撮影した死角領域の映像を前方ピラー１０２の車室側に設置された液晶ディスプレイに表示していた。しかしながら、運転者１０１の右目で見える範囲と左目で見える範囲は異なるため、前方ピラー１０２により遮られる右目の死角領域１０３Ｒと左目の死角領域１０３Ｌも異なる。そのため、どちらかの目で見る死角領域の液晶ディスプレイ上の映像と実際の車外風景とに非連続な部分が発生し、運転者１０１に違和感を与えてしまう。また、液晶ディスプレイ上の映像と実際の車外風景とには距離があるため、映像と実際の車外風景との距離感が連続せず、運転者１０１に違和感を与えてしまう。

　これに対し、実施の形態１の裸眼立体ディスプレイ５は、右目の死角領域１０３Ｒに対応する右目用画像Ｒと左目の死角領域１０３Ｌに対応する左目用画像Ｌを表示する。これにより、図５に示されるように、運転者１０１が右目で見る右目用画像Ｒの物体画像１０４Ｒと車外の物体１０４とが連続する。同様に、運転者１０１が左目で見る左目用画像Ｌの物体画像１０４Ｌと車外の物体１０４とが連続する。よって、車載表示装置１は、運転者１０１に違和感を与えず、かつ、裸眼立体ディスプレイ５の表示内容を運転者１０１に直感的に把握させることができる。
　なお、距離感の非連続性については実施の形態２で説明する。

　次に、実施の形態１に係る画像処理装置４の動作例を説明する。図６は、実施の形態１に係る画像処理装置４の動作例を示すフローチャートである。
　ステップＳＴ１１において、画像生成部４ａは、車外を撮影した画像を、車外撮影部２から取得する。
　ステップＳＴ１２において、画像生成部４ａは、運転者の目位置情報を、運転者監視部３から取得する。

　ステップＳＴ１３において、画像生成部４ａは、運転者の目位置情報を用いて、車外を撮影した画像から前方ピラー１０２により運転者の視界が遮られることによって生じる死角領域の右目用画像Ｒと左目用画像Ｌを生成する。その際、画像生成部４ａは、目位置情報を用いて、運転者の右目から見える死角領域を算出し、車外を撮影した画像から右目の死角領域に相当する画像を抽出して右目用画像にする。同様に、画像生成部４ａは、目位置情報を用いて、運転者の左目から見える死角領域を算出し、車外を撮影した画像から左目の死角領域に相当する画像を抽出して左目用画像にする。

　ステップＳＴ１４において、画像生成部４ａは、死角領域の右目用画像Ｒと左目用画像Ｌを裸眼立体ディスプレイ５へ出力して表示させる。裸眼立体ディスプレイ５は、右目用画像Ｒと左目用画像Ｌを表示し、運転者の右目に右目用画像Ｒを、左目に左目用画像Ｌを視認させる。

　以上のように、実施の形態１に係る車載表示装置１は、画像生成部４ａと、裸眼立体ディスプレイ５とを備える。画像生成部４ａは、運転者の右目１０１Ｒと左目１０１Ｌの位置を示す目位置情報を用いて、前方ピラー１０２により運転者の視界が遮られることによって生じる死角領域を含む車外を撮影した画像から、右目１０１Ｒの位置から見える死角領域の右目用画像Ｒおよび左目１０１Ｌの位置から見える死角領域の左目用画像Ｌを生成する。裸眼立体ディスプレイ５は、前方ピラー１０２の車室側に設置され、画像生成部４ａにより生成された右目用画像Ｒと左目用画像Ｌを表示する。運転者の左右それぞれの目の位置に合わせた画像を、裸眼立体ディスプレイ５がそれぞれの目に向けて表示することで右目と左目共に死角領域の画像と車外の実際の風景とが連続する。これにより、運転者に違和感を与えないようにすることができる。

　また、実施の形態１の裸眼立体ディスプレイ５は、垂直方向に長いシリンドリカルレンズが複数並んだレンチキュラレンズ５ｂを用いるレンチキュラレンズ方式であり、ピラー１０２の形状に合わせて並んだ複数のディスプレイ５ａと、複数のディスプレイ５ａのそれぞれに設置されたレンチキュラレンズ５ｂとを有する。または、裸眼立体ディスプレイ５は、垂直方向に長いスリットが複数形成されたパララックスバリア５ｃを用いるパララックスバリア方式であり、前方ピラー１０２の形状に合わせて並んだ複数のディスプレイ５ａと、複数のディスプレイ５ａのそれぞれに設置されたパララックスバリア５ｃとを有する。これらの構成により、裸眼立体ディスプレイ５は低コストかつ高量産性を実現できる。

実施の形態２．
　実施の形態１では、運転者の右目で見える範囲と左目で見える範囲が異なることにより生じる、死角領域の画像と実際の風景との非連続性を解消した。実施の形態２では、死角領域の画像と実際の風景との距離感の非連続性を解消する。

　図７は、実施の形態２に係る車載表示装置１の構成例を示すブロック図である。実施の形態２に係る車載表示装置１は、図１に示された実施の形態１の車外撮影部２に対して深度取得部２ａが追加された構成である。図７において図１～図６と同一または相当する部分は、同一の符号を付し説明を省略する。

　深度取得部２ａは、車両から車外の物体までの距離を示す深度情報を取得する。車外撮影部２は、車外を撮影した画像と、深度取得部２ａが取得した深度情報とを、画像生成部４ａへ出力する。

　例えば、車外撮影部２がステレオカメラを有する場合、深度取得部２ａは、ステレオカメラが撮影した画像の視差を用いて車両から物体までの距離を算出し、深度情報を生成する。

　または、深度取得部２ａは、測距センサにより検出される深度情報を取得してもよい。深度取得部２ａは、専用の測距センサを備える構成であってもよいし、車両に搭載されている測距センサを利用する構成であってもよい。
　測距センサは、例えば、赤外線プロジェクタ等の赤外線光源と赤外線カメラとを有し、赤外線光源に照射された物体を赤外線カメラの撮影画像から検出し、アクティブステレオ法により物体までの距離を算出し、深度情報を生成する。または、測距センサは、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　Ａｎｄ　Ｒａｎｇｉｎｇ）システムであり、レーザ光を送信し、物体で反射したレーザ光を受信して物体までの距離を算出し、深度情報を生成する。

　図８Ａは、車外撮影部２が撮影した車外の画像例である。図８Ｂは、図８Ａの画像に対応した深度情報の例である。図８Ｂの深度情報は、車両と物体との距離を濃淡で表現した画像であり、車両に近い物体ほど白く、車両から遠い物体ほど黒い。

　次に、実施の形態２に係る画像処理装置４の動作例を説明する。図９は、実施の形態２に係る画像処理装置４の動作例を示すフローチャートである。
　ステップＳＴ２１において、画像生成部４ａは、車外を撮影した画像および深度情報を、車外撮影部２から取得する。
　ステップＳＴ２２において、画像生成部４ａは、深度情報を用いて３次元空間上に車外を撮影した画像を割り当て、車外風景の３次元空間モデルを生成する。その際、画像生成部４ａは、車外の物体のそれぞれについて、車両との距離に応じた３次元位置に物体画像を割り当てる。

　ステップＳＴ２３において、画像生成部４ａは、運転者の目位置情報を、運転者監視部３から取得する。
　ステップＳＴ２４において、画像生成部４ａは、目位置情報を用いて、３次元空間モデルにおける右目と左目の位置を特定する。

　ステップＳＴ２５において、画像生成部４ａは、３次元空間モデルを用いて、特定した右目の位置から見える死角領域の画像を生成し、右目用画像にする。同様に、画像生成部４ａは、３次元空間モデルを用いて、特定した左目の位置から見える死角領域の画像を生成し、左目用画像にする。その際、画像生成部４ａは、右目用画像と左目用画像における物体の視差量を、車両に近い物体ほど大きくし、車両から遠い物体ほど小さくする。

　ステップＳＴ２６において、画像生成部４ａは、死角領域の右目用画像と左目用画像を裸眼立体ディスプレイ５へ出力して表示させ、運転者に裸眼で死角領域の立体画像を認識させる。車両に近い物体は、右目用画像と左目用画像における視差量が大きいので、運転者はこの物体を近景側に認識する。車両から遠い物体は、右目用画像と左目用画像における視差量が小さいので、運転者はこの物体を遠景側に認識する。

　以上のように、実施の形態２の画像生成部４ａは、車外の物体と車両との距離を示す深度情報を用いて右目用画像と左目用画像を生成する。深度情報をもとに死角領域に存在する車外の物体の右目用画像と左目用画像における視差量を調整することで、死角領域の画像と車外の実際の風景との間の距離感が連続する。これにより、運転者に違和感を与えないようにすることができる。

実施の形態３．
　実施の形態３では、車外撮影から画像表示までの遅延時間により生じる、死角領域の画像と実際の風景との非連続性を解消する。

　図１０は、実施の形態３に係る車載表示装置１の構成例を示すブロック図である。実施の形態３に係る車載表示装置１は、図７に示された実施の形態２の車載表示装置１に対して移動量予測部４ｂおよび車両情報取得部６が追加された構成である。図１０において図１～図９と同一または相当する部分は、同一の符号を付し説明を省略する。

　車両情報取得部６は、車両の速度情報または加速度情報の少なくとも一方を取得し、移動量予測部４ｂへ出力する。
　車両情報取得部６は、例えば、車両に搭載された車速センサが検出する車速パルスを取得し、速度を算出する。または、車両情報取得部６は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）等により車両の位置を算出し、単位時間あたりの車両の移動量を算出し速度を算出する。また、車両情報取得部６は、例えば、ジャイロセンサまたは加速度センサが検出する加速度情報を取得する。または、車両情報取得部６は、加速度情報を用いて速度情報を生成してもよい。なお、車両情報取得部６は、専用のＧＰＳおよびジャイロセンサ等を備える構成であってもよいし、車両に搭載されているＧＰＳおよびジャイロセンサ等を利用する構成であってもよい。

　移動量予測部４ｂは、車両情報取得部６からの速度情報を用いて、車外撮影部２が車外を撮影する時点から当該時点で撮影された画像を裸眼立体ディスプレイ５に表示する時点までの遅延時間における車両の移動量を予測し、画像生成部４ａへ出力する。この遅延時間は、主に画像生成部４ａの処理に起因するものであり、移動量予測部４ｂには遅延時間の情報が予め与えられているものとする。

　また、移動量予測部４ｂは、車両情報取得部６からの速度情報に加えて加速度情報を用いて、上記遅延時間における車両の移動量を予測してもよい。速度情報に加えて加速度情報を用いることにより、車両の急加速または急減速等を考慮でき、移動量の予測精度が向上する。

　図１１は、実施の形態３における車外撮影部２の撮影範囲を説明する図である。図１１において、移動前の車両は二点鎖線で示され、遅延時間分移動した後の車両は実線で示される。車外撮影部２は、車両が遅延時間分移動したときに右目の死角領域１０３Ｒと左目の死角領域１０３Ｌになる風景を含む撮影範囲１０５を、移動前の時点で撮影する。

　次に、実施の形態３に係る画像処理装置４の動作例を説明する。図１２は、実施の形態３に係る画像処理装置４の動作例を示すフローチャートである。図１２のステップＳＴ２１～ＳＴ２４およびＳＴ２６における動作は、図９のステップＳＴ２１～ＳＴ２４およびＳＴ２６における動作と同じであるため、説明を省略する。

　ステップＳＴ３１において、移動量予測部４ｂは、車両情報取得部６からの速度情報または加速度情報の少なくとも一方を用いて、撮影から表示までの遅延時間における車両の移動量を予測し、画像生成部４ａへ出力する。

　ステップＳＴ３２において、画像生成部４ａは、ステップＳＴ２４にて特定した３次元空間モデルにおける運転者の右目および左目の位置を、移動量予測部４ｂが予測した車両移動量だけ移動させる。そして、画像生成部４ａは、３次元空間モデルを用いて、移動後の右目の位置から見える死角領域の画像を生成し、右目用画像にする。同様に、画像生成部４ａは、３次元空間モデルを用いて、移動後の左目の位置から見える死角領域の画像を生成し、左目用画像にする。

　以上のように、実施の形態３に係る画像処理装置４は、車両の速度情報または加速度情報の少なくとも一方を用いて、車外の撮影から裸眼立体ディスプレイ５の表示までの遅延時間における車両の移動量を予測する移動量予測部４ｂを備える。画像生成部４ａは、目位置情報が示す運転者の右目および左目の位置を、移動量予測部４ｂが予測した移動量分移動させ、移動後の右目の位置から見える死角領域の右目用画像および移動後の右目の位置から見える死角領域の左目用画像を生成する。車両移動量を予測して左右の目の位置を調整することで、車両走行中の死角領域の画像と車外の実際の風景とが連続する。これにより、運転者に違和感を与えないようにすることができる。

　なお、実施の形態３では、移動量予測部４ｂおよび車両情報取得部６を実施の形態２に係る車載表示装置１に適用した例を説明したが、実施の形態１に係る車載表示装置１に適用してもよい。

　最後に、各実施の形態に係る画像処理装置４のハードウェア構成を説明する。図１３Ａおよび図１３Ｂは、各実施の形態に係る画像処理装置４のハードウェア構成例を示すブロック図である。画像処理装置４における画像生成部４ａおよび移動量予測部４ｂの各機能は、処理回路により実現される。即ち、画像処理装置４は、上記各機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路２００であってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。

　図１３Ａに示されるように、処理回路が専用のハードウェアである場合、処理回路２００は、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）またはＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ　Ｃｏｍｐｕｔｉｎｇ　ｏｎ　Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔｓ）を内蔵するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）等である。画像生成部４ａおよび移動量予測部４ｂの機能を複数の処理回路２００で実現してもよいし、各部の機能をまとめて１つの処理回路２００で実現してもよい。

　図１３Ｂに示されるように、処理回路がプロセッサ２０１である場合、画像生成部４ａおよび移動量予測部４ｂの各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２０２に格納される。プロセッサ２０１は、メモリ２０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、画像処理装置４は、プロセッサ２０１により実行されるときに、図６等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ２０２を備える。また、このプログラムは、画像生成部４ａおよび移動量予測部４ｂの手順または方法をコンピュータに実行させるものであるとも言える。

　ここで、プロセッサ２０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、マイクロプロセッサ、またはマイクロコンピュータ等のことである。
　メモリ２０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）またはＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。

　なお、画像生成部４ａおよび移動量予測部４ｂの各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、画像処理装置４における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

　本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

　また、各実施の形態に係る車載表示装置は、運転席側の前方ピラーで生じる死角領域の画像を表示する構成であったが、この構成に限定されるものではなく、車両の構造物で生じる死角領域の画像を表示する構成であってもよい。

　この発明に係る車載表示装置は、車両の構造物で生じる死角領域の画像を表示するようにしたので、運転者の車両の運転を支援する車載表示装置などに用いるのに適している。

　１　車載表示装置、２　車外撮影部、２ａ　深度取得部、３　運転者監視部、４　画像処理装置、４ａ　画像生成部、４ｂ　移動量予測部、５　裸眼立体ディスプレイ、５ａ　ディスプレイ、５ｂ　レンチキュラレンズ、５ｃ　パララックスバリア、６　車両情報取得部、１００　運転席、１０１　運転者、１０１Ｌ　左目、１０１Ｒ　右目、１０２　前方ピラー、１０３Ｌ　左目の死角領域、１０３Ｒ　右目の死角領域、１０４　物体、１０４Ｌ，１０４Ｒ　物体画像、１０５　撮影範囲、２００　処理回路、２０１　プロセッサ、２０２　メモリ、Ｌ　左目用画像、Ｒ　右目用画像。

Claims (12)

1. 　運転者の右目および左目の位置を示す目位置情報を用いて、前方ピラーにより前記運転者の視界が遮られることによって生じる死角領域を含む車外を撮影した画像から、前記右目の位置から見える前記死角領域の右目用画像および前記左目の位置から見える前記死角領域の左目用画像を生成する画像生成部と、
   　前記前方ピラーの車室側に設置され、前記画像生成部により生成された前記右目用画像と前記左目用画像を表示するディスプレイとを備える車載表示装置。
2. 　前記ディスプレイは、垂直方向に長いシリンドリカルレンズが複数並んだレンチキュラレンズを用いるレンチキュラレンズ方式の裸眼立体ディスプレイであり、前記前方ピラーの形状に合わせて並んだ複数のディスプレイと、前記複数のディスプレイのそれぞれに設置された前記レンチキュラレンズとを有することを特徴とする請求項１記載の車載表示装置。
3. 　前記ディスプレイは、垂直方向に長いスリットが複数形成されたパララックスバリアを用いるパララックスバリア方式の裸眼立体ディスプレイであり、前記前方ピラーの形状に合わせて並んだ複数のディスプレイと、前記複数のディスプレイのそれぞれに設置された前記パララックスバリアとを有することを特徴とする請求項１記載の車載表示装置。
4. 　前記画像生成部は、車外の物体と車両との距離を示す深度情報を用いて前記右目用画像と前記左目用画像を生成することを特徴とする請求項１記載の車載表示装置。
5. 　車外を撮影する車外撮影部を備えることを特徴とする請求項４記載の車載表示装置。
6. 　前記車外撮影部は、ステレオカメラを有し、前記ステレオカメラが撮影した画像の視差を用いて前記深度情報を生成することを特徴とする請求項５記載の車載表示装置。
7. 　前記画像生成部は、測距センサにより検出される前記深度情報を用いることを特徴とする請求項４記載の車載表示装置。
8. 　前記運転者の右目および左目の位置を検出する運転者監視部を備えることを特徴とする請求項１記載の車載表示装置。
9. 　前記運転者監視部は、赤外線光源と赤外線カメラを有し、前記赤外線カメラが撮影した画像から前記運転者の右目および左目の位置を検出することを特徴とする請求項８記載の車載表示装置。
10. 　車両の速度情報または加速度情報の少なくとも一方を用いて、車外の撮影から前記ディスプレイの表示までの遅延時間における車両の移動量を予測する移動量予測部を備え、
    　前記画像生成部は、前記目位置情報が示す前記運転者の右目および左目の位置を、前記移動量予測部が予測した移動量分移動させ、移動後の右目の位置から見える前記死角領域の右目用画像および移動後の右目の位置から見える前記死角領域の左目用画像を生成することを特徴とする請求項１記載の車載表示装置。
11. 　前方ピラーの車室側に設置されるディスプレイに表示させる画像を生成する画像処理装置であって、
    　運転者の右目および左目の位置を示す目位置情報を用いて、前記前方ピラーにより前記運転者の視界が遮られることによって生じる死角領域を含む車外を撮影した画像から、前記右目の位置から見える前記死角領域の右目用画像および前記左目の位置から見える前記死角領域の左目用画像を生成する画像生成部を備える画像処理装置。
12. 　前方ピラーの車室側に設置されるディスプレイの表示制御方法であって、
    　画像生成部が、運転者の右目および左目の位置を示す目位置情報を用いて、前記前方ピラーにより前記運転者の視界が遮られることによって生じる死角領域を含む車外を撮影した画像から、前記右目の位置から見える前記死角領域の右目用画像および前記左目の位置から見える前記死角領域の左目用画像を生成するステップと、
    　前記画像生成部が、前記右目用画像と前記左目用画像を前記ディスプレイへ出力し表示させるステップとを備えることを特徴とする表示制御方法。

Images