JP4696825B2 - 車両用死角映像表示装置 - Google Patents

Description

本発明は、車両構造物により運転者の視界が遮られることによって生じる死角領域の映像を表示する車両用死角映像表示装置に関する。

従来、車両構造物により運転者の視界が遮られることによって生じる死角領域の映像をカメラで撮影し、このカメラで撮影した死角領域の映像を車室内に設置された液晶ディスプレイなどのモニタに表示することで、運転者による車両の運転操作を支援する車両用死角映像表示装置が提案されている（例えば、特許文献１参照。）。特許文献１に記載の死角映像表示装置では、車両の前方ピラーにより発生する運転死角の視界を確保するために、前方ピラーの外側に設置されたカメラで死角領域の映像を撮影し、このカメラで撮影した死角領域の映像を、前方ピラーの車室内側に設置されたモニタに表示させるようにしている。
特開２００４−３４９５７号公報

ところで、上述したような車両用死角映像表示装置において、カメラで撮影してモニタに表示させた死角領域の映像の内容を運転者に直感的に把握させるためには、この死角領域の映像を、運転者が直接確認できるモニタ外の実際の風景とある程度連続した映像として表示させる必要がある。しかしながら、上述した特許文献１に記載されている死角映像表示装置をはじめとする従来の死角映像表示装置では、このような映像の連続性については考慮されておらず、モニタに表示させる映像に実際の風景との間で連続性を持たせるためには、カメラやモニタの物理的な位置や設定等を運転者に応じて細かく調整する必要があり、煩雑な作業が求められるという問題があった。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、煩雑な調整作業を行うことなく、死角領域の映像を実際の風景とある程度連続した映像として表示して、運転者が映像の内容を直感的に把握できるようにした車両用死角映像表示装置を提供することを目的としている。

本発明に係る車両用死角映像表示装置は、車両構造物により運転者の視界が遮られることによって生じる死角領域の映像を表示する車両用死角映像表示装置において、車両構造物に設置された映像表示手段と、少なくとも死角領域を含む車両周囲の領域の映像を撮影する撮影手段と、運転者の視点位置に基づいて設定された運転者の右目位置と左目位置とを含む基準位置の空間領域と、映像表示手段の表示画面を構成する各画素の空間座標とに基づいて、撮影手段により撮影された映像を変換して、映像表示手段に表示させる出力映像を作成する映像変換手段とを備え、映像変換手段は、死角領域を含む車両周囲の領域であって車両の前後、左右、上下の位置に基準面を設定し、空間領域内における運転者の右目位置を始点として映像表示手段の表示画面を構成する各画素を通る各半直線と基準面との交点の集合体を基準面上における右目位置の投影領域として求め、空間領域内における運転者の左目位置を始点として映像表示手段の表示画面を構成する各画素を通る各半直線と基準面との交点の集合体を基準面上における左目位置の投影領域として求め、映像表示手段と同画素数を有し仮想表示画面が映像表示手段の表示画面よりも物理的に大きなものとして定義される仮想映像表示手段の空間座標を求め、運転者の視点位置を始点として仮想映像表示手段の仮想表示画面を構成する各画素を通る各半直線と基準面との交点の集合体を基準面上における仮想投影領域として求め、仮想投影領域は右目位置ならびに左目位置の投影領域を含み、仮想投影領域内の各交点に対応する撮影手段の撮影映像における各画素を撮影手段のパラメータに基づいて特定し、撮影手段の撮影映像における各画素と仮想映像表示手段の各画素との対応関係を求め、対応関係を撮影手段の撮影映像における各画素と映像表示手段の各画素との対応関係として撮影手段により撮影された映像を変換することを特徴とする。
また、本発明に係る車両用死角映像表示装置は、車両構造物により運転者の視界が遮られることによって生じる死角領域の映像を表示する車両用死角映像表示装置において、車両構造物に設置された映像表示手段と、少なくとも死角領域を含む車両周囲の領域の映像を撮影する撮影手段と、運転中における運転者の頭部の動きに応じて運転者の視点位置が移動する範囲と推定される基準位置の空間領域と、映像表示手段の表示画面を構成する各画素の空間座標とに基づいて、撮影手段により撮影された映像を変換して、映像表示手段に表示させる出力映像を作成する映像変換手段とを備え、映像変換手段は、死角領域を含む車両周囲の領域であって車両の前後、左右、上下の位置に基準面を設定し、空間領域内の空間座標を始点として映像表示手段の表示画面を構成する各画素を通る各半直線と基準面との交点の集合体を基準面上における投影領域とし、投影領域を空間領域内の異なる空間座標に対応して複数の投影領域として求め、複数の投影領域を合わせて１つの投影領域とし、映像表示手段と同画素数を有し仮想表示画面が映像表示手段の表示画面よりも物理的に大きなものとして定義される仮想映像表示手段の空間座標を求め、運転者の視点位置を始点として仮想映像表示手段の仮想表示画面を構成する各画素を通る各半直線と前記基準面との交点の集合体を前記基準面上における仮想投影領域として求め、仮想投影領域は複数の投影領域を合わせた１つの投影領域を含み、仮想投影領域内の各交点に対応する撮影手段の撮影映像における各画素を撮影手段のパラメータに基づいて特定し、撮影手段の撮影映像における各画素と仮想映像表示手段の各画素との対応関係を求め、対応関係を撮影手段の撮影映像における各画素と映像表示手段の各画素との対応関係として撮影手段により撮影された映像を変換することを特徴とする。

本発明に係る車両用死角映像表示装置によれば、撮影手段により撮影された死角領域の映像が、運転者の視点が存在すると推定される基準位置の空間座標と、車両構造物に設置された映像表示手段の表示画面を構成する各画素の空間座標とに基づいて変換されて映像表示手段に表示されるので、撮影手段や映像表示手段に対して煩雑な調整作業を行うことなく、死角領域の映像を、運転者の視点から見た実際の風景とある程度連続したかたちで映像表示手段に表示させることができ、死角領域の映像の内容を運転者に直感的に把握させることができる。

以下、本発明に係る車両用死角映像表示装置の具体的な実施形態について、図面を参照しながら詳細に説明する。

［装置構成］
図１は、本実施形態の車両用死角映像表示装置の構成を示す図である。本実施形態の車両用死角映像表示装置は、Ａピラーと呼ばれる車両の前方ピラーにより運転者の視界が遮られることによって生じる死角領域の映像を表示するものであり、モニタ（映像表示手段）１と、カメラ（撮影手段）２と、画像処理装置（映像変換手段）３とを備えて構成される。

モニタ１は、死角領域の映像を表示するものであり、図２及び図３に示すように、車両１００における前方ピラー１０１の車室内側に取り付けられている。なお、図２及び図３に示す例では、モニタ１は車両１００の左側の前方ピラー１０１に取り付けられているが、右側の前方ピラーに取り付けるようにしてもよいし、左右両方の前方ピラーに取り付けるようにしてもよい。このモニタ１が取り付けられた前方ピラー１０１が車両１００の運転者の視界に入ると、運転者の視界がこの前方ピラー１０１によって遮られて、死角領域が発生する。モニタ１は、この死角領域の映像を表示することで、前方ピラー１０１によって発生する死角領域の様子を車両１００の運転者が認識できるようにしている。

カメラ２は、少なくとも死角領域を含む車両周囲の映像を撮影するものであり、図２に示すように、モニタ１が取り付けられた前方ピラー１０１の近傍、具体的には、例えば車両１００のドアミラー１０２などに取り付けられている。このカメラ２は、前方ピラー１０１によって発生する死角領域を十分に撮影可能な画角を有し、前方ピラー１０１の横幅よりもモニタ１の横幅の方が大きい場合には、モニタ１によって発生する死角領域を十分に撮影可能な画角を有する。なお、カメラ２は、必要な範囲が撮影可能であれば、前方ピラー１０１の付け根やルーフ、車室内ウィンドウ近辺など、車両１００のどこに取り付けられていてもよい。また、複数のカメラで、必要範囲を撮影するようにしてもよい。このカメラ２によって撮影された映像は画像処理装置３に送られ、画像処理装置３において変換処理が行われた後、モニタ１に表示される。

画像処理装置３は、カメラ２によって撮影された死角領域の映像を変換して出力映像を作成し、モニタ１に出力映像（変換後の死角領域の映像）を表示させるものであり、例えばコンピュータを用いて所定のプログラムを実行することによって実現される。本実施形態の車両用死角映像表示装置では、特に、この画像処理装置３による映像の変換処理に大きな特徴を有している。すなわち、本実施形態の車両用死角映像表示装置では、モニタ１に表示させる死角領域の映像を、運転者の視点から見た実際の風景とある程度連続した映像とするために、画像処理装置３が、運転者の視点が存在すると推定される基準位置の空間座標と、モニタ１の表示画面を構成する各画素の空間座標とに基づいて、カメラ２により撮影された映像を変換して、モニタ１に表示させる出力映像を作成するようにしている。なお、この画像処理装置３による映像の変換処理については、詳細を後述する。

［動作］
以上のように構成される本実施形態の車両用死角映像表示装置では、まず、カメラ２が、死角領域を含む車両周囲の映像を撮影して、その撮影映像のデータをＮＴＳＣなどのビデオ映像信号伝送線を用いて画像処理装置３に出力する。画像処理装置３は、カメラ２から撮影映像のデータが送られてくると、これを画素ごとのデータに分割して内部の入力用フレームバッファにストアする。

次に、画像処理装置３は、入力用フレームバッファ上の画素のデータを、変換処理の内容にしたがって、出力用フレームバッファ上にコピーしていく。変換処理の内容には、入力用フレームバッファ上の各画素のデータを出力用フレームバッファ上のどこにコピーするかが分かるように、それぞれのアドレスが記述されている。すなわち、変換処理の内容には、出力用フレームバッファ上の各画素と入力用フレームバッファ上の各画素との対応関係が記述されている。画像処理装置３は、この変換処理の内容として記述されている各画素ごとの対応関係をもとに、入力用フレームバッファ上の画素のデータを出力用フレームバッファ上にコピーして、モニタ１に表示させる出力映像を完成させる。

次に、画像処理装置３は、出力用フレームバッファの内容、すなわち出力映像のデータを、ＮＴＳＣなどのビデオ映像信号伝送線を用いてモニタ１に出力する。そして、モニタ１が、この画像処理装置３から送られた出力映像のデータに基づいて表示処理を行うことで、前方ピラーによって発生する死角領域の映像がモニタ１に表示されることになる。本実施形態の車両用死角映像表示装置では、以上の一連の処理をカメラ２による撮影映像のフレームごとに繰り返し行うことで、死角領域の映像を動画としてモニタ１に表示させることができる。なお、以上の一連の処理のなかで、本実施形態の車両用死角映像表示装置に特徴的な部分である画像処理装置３による変換処理以外の部分は、コンピュータを用いた画像処理の分野で公知の技術である。

［変換処理の内容］
ここで、本実施形態の車両用死角映像表示装置に特徴的な部分である画像処理装置３による変換処理の内容について、具体的な例を挙げながら詳細に説明する。本実施形態の車両用死角映像表示装置において、画像処理装置３は、上述したように、運転者の視点が存在すると推定される基準位置の空間座標と、モニタ１の表示画面を構成する各画素の空間座標とに基づいて、カメラ２により撮影された映像を変換して、モニタ１に表示させる出力映像を作成するようにしている。このとき、運転者の視点が存在すると推定される基準位置を点として特定するか、或いはある程度の幅をもった空間領域として特定するか、さらには、空間領域として特定する場合に、何を基準として空間領域の範囲を特定するかによって、変換処理の内容が異なったものとなる。以下では、基準位置を点（運転者の視点）として捉えた場合をケース１、運転者の右目位置と左目位置とを含む空間領域を基準位置とした場合をケース２、運転中における運転者の頭部の動きに応じて運転者の視点が移動する範囲と推定される空間領域を基準位置とした場合をケース３とし、画像処理装置３による変換処理の内容を、これら３つのケースに分けて具体的に説明する。なお、以下の説明では、図４に示すように、車両の左右方向をＸ軸、車両の前後方向をＹ軸、車両の高さ方向をＺ軸とした座標系を用いる。この座標系ではＸＹ平面が地面となる。

（ケース１）
まず、基準位置を運転者の視点位置である点として捉えた場合について、図５を用いて説明する。

このケース１では、まず、基準位置となる運転者の視点位置ＥＰの空間座標ＥＰ（ｘ，ｙ，ｚ）を求める。運転者の視点位置ＥＰは、既存の視点位置計測手段を用いて実測により求めることができる。この視点位置計測手段としては、例えば、車室内に設置されたカメラで運転者の顔画像を撮影し、この運転者の顔画像を解析して視点位置ＥＰを求めるものや、車両のルームミラーやドアミラーの角度から運転者の視点位置ＥＰを求めるものなどが考えられる。また、運転者が着座する車両のシート位置をシート位置センサで検出して、検出したシート位置から運転者の視点位置ＥＰを推定するようにしてもよい。また、運転者による入力操作などにより運転者の身長や座高などの身体情報を取得して、この運転者の身体情報に基づいて視点位置ＥＰを推定するようにしてもよい。

次に、モニタ１を空間上に存在する表示画素の集合体として考えて、モニタ１の表示画面を構成する各画素Ｌ＿ｐの空間座標Ｌ＿ｐ（ｘ，ｙ，ｚ）を求める。モニタ１を空間上に存在する表示画素の集合体として考えることで、液晶ディスプレイなどのように表示画面が平面状のモニタを用いる場合でも、旧式のＣＲＴのように表示画面が湾曲したモニタを用いる場合でも、同様の処理が可能となる。また、モニタ１としてプロジェクタを用いる場合には、投影面上の画素の空間座標を用いることで、同様の処理が可能となる。

さらに、死角領域を含む車両周囲の領域の所定位置に基準面を設定する。ここでは、車両の前後、左右、上下を囲うように、６つの基準面（Ｚ＝０，Ｙ＝ｋ１，Ｘ＝ｋ２，Ｙ＝−ｋ１，Ｘ＝−ｋ２，Ｚ＝ｋ３（ｋ１，ｋ２，ｋ３は適当な大きさの正の定数））を設定する。

そして、図５に示すように、基準位置となる運転者の視点位置ＥＰを始点としてモニタ１の表示画面を構成する各画素Ｌ＿ｐを通る半直線と基準面との交点Ｌ＿ｃをそれぞれ求める。運転者の視点位置ＥＰを始点としてモニタ１の表示画面を構成する各画素Ｌ＿ｐを通る半直線は、運転者の視点位置ＥＰの空間座標ＥＰ（ｘ，ｙ，ｚ）と、モニタ１の表示画面を構成する各画素Ｌ＿ｐの空間座標Ｌ＿ｐ（ｘ，ｙ，ｚ）とから、一意に定められる。なお、ここでは、６つの基準面を設定しているので、モニタ１の１つの画素に対応した交点Ｌ＿ｃが複数求まる場合があるが、その場合には運転者の視点位置ＥＰからの距離が最も近い交点Ｌ＿ｃを選択する。図５中で示している基準面は、Ｙ＝−ｋ１の基準面である。

以上のようにして、運転者の視点位置ＥＰを始点としてモニタ１の表示画面を構成する各画素Ｌ＿ｐを通る半直線と基準面との交点Ｌ＿ｃをそれぞれ求めると、運転者の視点から見たモニタ１の表示画面の基準面上における投影領域Ａが求まる。この投影領域Ａは、運転者の視点位置ＥＰを基準とした死角領域を基準面上の２次元領域として特定したものであり、カメラ２は、この投影領域Ａの映像を撮影できるように設定されている。

次に、カメラ２の取付け位置や向き、レンズ収差などといった各種のカメラパラメータを用いて、基準面上における投影領域Ａ内の各交点Ｌ＿ｃに対応した、カメラ２の撮影映像における各画素（Ｘ＿ｃ，Ｙ＿ｃ）を特定する。これにより、カメラ２の撮影映像における各画素（Ｘ＿ｃ，Ｙ＿ｃ）とモニタ１の表示画面を構成する各画素Ｌ＿ｐとの対応関係、すなわち、入力用フレームバッファ上にストアしたカメラ２の撮影映像における各画素のデータを出力用フレームバッファ上のどこにコピーすればよいかを求めることができ、その対応関係が画像処理装置３による変換処理の内容となる。

ケース１では、以上のようにして求めた変換処理の内容にしたがって、入力用フレームバッファ上の各画素のデータを出力用フレームバッファ上にコピーしていくことで出力映像が作成される。そして、この出力映像がモニタ１に表示されることになる。このモニタ１に表示される出力映像の映像範囲は、車両の運転者の視点から見たときにモニタ１によって遮蔽される範囲と一致するので、モニタ１に表示される出力映像は、フロントウィンドウやサイドウィンドウを通してみる実際の風景と連続した映像となり、車両の運転者はこの映像の内容を直感的に把握することが可能となる。また、モニタ１は車両の前方ピラーの車室内側に取り付けられているので、車両の運転者は、モニタ１に表示されている出力映像を参照することで、前方ピラーによって発生する死角領域の様子を認識することができる。

なお、以上のような変換処理の内容は、出力映像を作成するたびにリアルタイムで計算するようにしてもよいが、車両の運転者の視点位置ＥＰとモニタ１の表示画面を構成する各画素Ｌ＿ｐとの位置関係が変わらなければ、変換処理の内容も変化しないので、一度計算した結果を変換テーブルとして画像処理装置３内部のメモリなどに記憶させておき、以降の変換処理では、この変換テーブルに基づいてカメラ２による撮影画像を変換して出力画像を作成するようにしてもよい。また、上述した視点位置計測手段により運転者の視点位置ＥＰが変化したことを検出したときに、以上のような変換処理の内容を新たに計算して、変換テーブルを更新するようにしてもよい。また、複数の視点位置ＥＰに対応した変換テーブルを予め作成しておいて、視点位置計測手段による計測結果に応じてこれらの変換テーブルを使い分けるようにしてもよい。

（ケース２）
次に、運転者の右目位置と左目位置とを含む空間領域を基準位置とした場合について、図６及び図７を用いて説明する。

このケース２では、まず、ケース１と同様の手法で運転者の視点位置ＥＰを求めた後、この視点位置ＥＰを中心として左右に所定距離だけ離れた位置を、運転者の右目位置ＥＰ＿Ｒ及び左目位置ＥＰ＿Ｌとして設定する。なお、ここでの左右方向は、運転者がモニタ１に対して正対したときの左右方向であり、視点位置ＥＰとモニタ１の表示画面の中心とを結ぶ線に垂直で、地面に対して平行な方向として定義される。また、所定距離は、平均的な人間の両目間の距離の１／２の距離とすればよく、予め定められる。ケース２では、この運転者の右目位置ＥＰ＿Ｒと左目位置ＥＰ＿Ｌとを含む空間領域を基準位置として考え、この空間領域内に存在する運転者の右目位置ＥＰ＿Ｒの空間座標ＥＰ＿Ｒ（ｘ，ｙ，ｚ）と、左目位置ＥＰ＿Ｌの空間座標ＥＰ＿Ｌ（ｘ，ｙ，ｚ）とをそれぞれ求める。

次に、ケース１と同様に、モニタ１の表示画面を構成する各画素Ｌ＿ｐの空間座標Ｌ＿ｐ（ｘ，ｙ，ｚ）を求めるとともに、車両周囲の領域の所定の位置に基準面を設定し、基準面上におけるモニタ１の表示画面の投影領域を求める。このとき、ケース２では、図６に示すように、運転者の右目位置ＥＰ＿Ｒを始点としてモニタ１の表示画面を構成する各画素Ｌ＿ｐを通る半直線と基準面との交点Ｌ＿ｃ＿Ｒをそれぞれ求めて、これら交点Ｌ＿ｃ＿Ｒの集合体を運転者の右目から見た場合の基準面上における投影領域Ａ＿Ｒとするとともに、運転者の左目位置ＥＰ＿Ｌを始点としてモニタ１の表示画面を構成する各画素Ｌ＿ｐを通る半直線と基準面との交点Ｌ＿ｃ＿Ｌをそれぞれ求めて、これら交点Ｌ＿ｃ＿Ｌの集合体を運転者の左目から見た場合の基準面上における投影領域Ａ＿Ｌとする。なお、以下では説明の簡略化のために、これら投影領域Ａ＿ＲとＡ＿Ｌとを合わせた領域を、投影領域Ａ＿ＲＬとする。

次に、モニタ１を基準とする仮想モニタ１０を定義して、この仮想モニタ１０の各画素Ｖ＿Ｌ＿ｐの空間座標Ｖ＿Ｌ＿ｐ（ｘ，ｙ，ｚ）を求める。この仮想モニタ１０は、実際のモニタ１と同じ画素数を有し、物理的な大きさが実際のモニタ１よりも大きいものを想定したものである。この仮想モニタ１０の各画素Ｖ＿Ｌ＿ｐの空間座標Ｖ＿Ｌ＿ｐ（ｘ，ｙ，ｚ）は、以下のようにして求められる。すなわち、まず、図７に示すように、実際のモニタ１の表示画面を構成する各画素Ｌ＿ｐのうち、重心となる画素Ｌ＿ｐ＿ｇｃを求める。そして、この重心となる画素Ｌ＿ｐ＿ｇｃから任意の画素Ｌ＿ｐ＿ｎへのベクトルをｖ＿ｎとする。また、実際のモニタ１の重心となる画素Ｌ＿ｐ＿ｇｃと仮想モニタ１０の重心となる画素Ｖ＿Ｌ＿ｐ＿ｇｃとの間に所定のオフセットｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）を設定するとともに、１．０以上の値をとる係数ｖｋを設定する。なお、ｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）は（０，０，０）であってもよい。仮想モニタ１０上の任意の画素Ｖ＿Ｌ＿ｐ＿ｎの空間座標Ｖ＿Ｌ＿ｐ（ｘ＿ｎ，ｙ＿ｎ，ｚ＿ｎ）は、以上のｖ＿ｎ、ｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）、ｖｋを用いて、下記式（１）により求められる。

Ｖ＿Ｌ＿ｐ＿ｎ（ｘ＿ｎ，ｙ＿ｎ，ｚ＿ｎ）＝Ｌ＿ｐ＿ｎ（ｘ＿ｎ，ｙ＿ｎ，ｚ＿ｎ）＋ｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）＋ｖ＿ｎ×ｖｋ ・・・（１）
次に、運転者の視点位置ＥＰを始点として仮想モニタ１０の各画素Ｖ＿Ｌ＿ｐを通る半直線と基準面との交点Ｖ＿Ｌ＿ｃをそれぞれ求めて、これら交点Ｖ＿Ｌ＿ｃの集合体を仮想投影領域Ａ＿Ｖとする。この仮想投影領域Ａ＿Ｖの大きさは、前記式（１）における係数ｖｋの値によって変化し、仮想投影領域Ａ＿Ｖの位置は、前記式（１）におけるオフセットｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）の値によって変化する。ケース２では、仮想投影領域Ａ＿Ｖが投影領域Ａ＿ＲＬを含むように、係数ｖｋおよびオフセットｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）の値を最適な値に設定する。なお、このとき、必ずしも仮想投影領域Ａ＿Ｖが投影領域Ａ＿ＲＬの全てを含まなくともよく、例えば、仮想投影領域Ａ＿Ｖが投影領域Ａ＿ＲＬの９０％を含むといったように、ある基準を決めてそれを満たすように係数ｖｋおよびオフセットｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）の値を設定するようにしてもよい。また、ここではベクトルｖ＿ｎに係数ｖｋを乗算するようにして、仮想モニタ１０の縦横比を実際のモニタ１の縦横比と一致させているが、ベクトルｖ＿ｎのｘ成分、ｙ成分、ｚ成分のそれぞれに係数を設定し、実際のモニタ１とは縦横比が異なる仮想モニタ１０を設定するようにしてもよい。

次に、ケース１と同様に、カメラ２の取付け位置や向き、レンズ収差などといった各種のカメラパラメータを用いて、基準面上における仮想投影領域Ａ＿Ｖ内の各交点Ｖ＿Ｌ＿ｃに対応した、カメラ２の撮影映像における各画素（Ｘ＿ｃ，Ｙ＿ｃ）を特定する。これにより、カメラ２の撮影映像における各画素（Ｘ＿ｃ，Ｙ＿ｃ）と仮想モニタ１０の各画素Ｖ＿Ｌ＿ｐとの対応関係を求めることができる。ケース２では、このカメラ２の撮影映像における各画素（Ｘ＿ｃ，Ｙ＿ｃ）と仮想モニタ１０の各画素Ｖ＿Ｌ＿ｐとの対応関係を、そのままカメラ２の撮影映像における各画素（Ｘ＿ｃ，Ｙ＿ｃ）と実際のモニタ１０の各画素Ｌ＿ｐとの対応関係として適用し、これを画像処理装置３による変換処理の内容とする。

ケース２では、以上のようにして求めた変換処理の内容にしたがって、入力用フレームバッファ上の各画素のデータを出力用フレームバッファ上にコピーしていくことで出力映像が作成される。そして、この出力映像がモニタ１に表示されることになる。このモニタ１に表示される出力映像の映像範囲は、車両の運転者が右目で見たときにモニタ１によって遮蔽される範囲と左目で見たときにモニタ１によって遮蔽される範囲とを含むので、運転者の視覚が右目と左目のどちらが支配的となっているかに拘らず、モニタ１に表示される出力映像は、フロントウィンドウやサイドウィンドウを通してみる実際の風景とある程度連続した映像となり、車両の運転者はこの映像の内容を直感的に把握することが可能となる。また、モニタ１は車両の前方ピラーの車室内側に取り付けられているので、車両の運転者は、モニタ１に表示されている出力映像を参照することで、前方ピラーによって発生する死角領域の様子を認識することができる。

なお、このケース２においても、ケース１と同様に、以上のような変換処理の内容を、出力映像を作成するたびにリアルタイムで計算するようにしてもよいが、車両の運転者の視点位置ＥＰとモニタ１の表示画面を構成する各画素Ｌ＿ｐとの位置関係が変わらなければ、変換処理の内容も変化しないので、一度計算した結果を変換テーブルとして画像処理装置３内部のメモリなどに記憶させておき、以降の変換処理では、この変換テーブルに基づいてカメラ２による撮影画像を変換して出力画像を作成するようにしてもよい。また、上述した視点位置計測手段により運転者の視点位置ＥＰが変化したことを検出したときに、以上のような変換処理の内容を新たに計算して、変換テーブルを更新するようにしてもよい。また、複数の視点位置ＥＰに対応した変換テーブルを予め作成しておいて、視点位置計測手段による計測結果に応じてこれらの変換テーブルを使い分けるようにしてもよい。

また、以上の説明では、係数ｖｋを１．０以上の値として実際のモニタ１よりもサイズの大きな仮想モニタ１０を想定し、運転者の右目と左目との何れか一方の目で見えない範囲が含まれるように、モニタ１に表示される出力映像の映像範囲を設定したが、係数ｖｋを１．０以下の値として実際のモニタ１よりもサイズの小さな仮想モニタ１０を想定し、仮想投影領域Ａ＿Ｖが、投影領域Ａ＿ＲとＡ＿Ｌとの重複範囲を含むように、係数ｖｋおよびオフセットｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）の値を最適な値に設定することで、右目でも左目でも見えない範囲をモニタ１に表示される出力映像の映像範囲とすることも可能である。

（ケース３）
次に、運転中における運転者の頭部の動きに応じて運転者の視点が移動する範囲と推定される空間領域を基準位置とした場合について、図８を用いて説明する。

このケース３では、まず、ケース１やケース２と同様の手法で運転者の視点位置ＥＰを求めた後、図８に示すように、この視点位置ＥＰを中心とした所定範囲の空間領域Ａ＿ＥＰを基準位置と考えて、この空間領域Ａ＿ＥＰ内に存在する複数の点Ｐ１，Ｐ２・・・Ｐｎの空間座標Ｐ１（ｘ，ｙ，ｚ），Ｐ２（ｘ，ｙ，ｚ）・・・Ｐｎ（ｘ，ｙ，ｚ）をそれぞれ求める。ここで、空間領域Ａ＿ＥＰを特定する所定範囲としては、運転中において運転者の頭部が動くことによって視点が移動する範囲、具体的には平均的な人間の首が動く範囲に設定すればよく、予め定められる。

なお、運転中における運転者の頭部の動きは、車両がどのような道路を走行しているかによって大きく変化する。すなわち、高速道路などを走行している場合には運転者の頭部の動きは比較的小さいが、市街地などを走行している場合には、高速道路などを走行している場合に比べて、運転者の頭部の動きは大きくなる傾向にある。このような点を考慮して、所定範囲の大きさ、すなわち空間領域Ａ＿ＥＰの大きさを可変とするとともに、車載ナビゲーション装置などとの連携により車両が現在走行している道路の属性情報を取得できるようにして、車両が現在走行している道路の属性情報に応じて空間領域Ａ＿ＥＰの大きさを設定するようにしてもよい。また、車載ナビゲーション装置などとの連携により道路の属性情報を取得する以外にも、例えば、車両の走行速度から車両が現在走行している道路の属性を推定し、その推定結果に応じて空間領域Ａ＿ＥＰの大きさを設定するようにしてもよい。

次に、ケース１やケース２と同様に、モニタ１の表示画面を構成する各画素Ｌ＿ｐの空間座標Ｌ＿ｐ（ｘ，ｙ，ｚ）を求めるとともに、車両周囲の領域の所定の位置に基準面を設定し、基準面上におけるモニタ１の表示画面の投影領域を求める。このとき、ケース３では、空間領域Ａ＿ＥＰ内に存在する複数の点Ｐ１，Ｐ２・・・Ｐｎをそれぞれ始点とした場合の基準面上における投影領域をそれぞれ求めて、これら複数の点Ｐ１，Ｐ２・・・Ｐｎに対応した基準面上における複数の投影領域を合わせた領域を投影領域Ａ＿ｓとする。このとき、投影領域Ａ＿ｓを正確に求めるためには、空間領域Ａ＿ＥＰ内における多くの点をプロットしてこれに対応した多数の投影領域を求めることが望ましいが、その分、計算量が増えることになるので、いくつかの代表点について計算を行うようにして、計算量を削減するようにしてもよい。

次に、ケース２と同様に、モニタ１を基準とする仮想モニタ１０を定義して、この仮想モニタ１０の各画素Ｖ＿Ｌ＿ｐの空間座標Ｖ＿Ｌ＿ｐ（ｘ，ｙ，ｚ）を求める。そして、運転者の視点位置ＥＰを始点として仮想モニタ１０の各画素Ｖ＿Ｌ＿ｐを通る半直線と基準面との交点Ｖ＿Ｌ＿ｃをそれぞれ求めて、これら交点Ｖ＿Ｌ＿ｃの集合体を仮想投影領域Ａ＿Ｖとする。このとき、ケース３では、仮想投影領域Ａ＿Ｖが投影領域Ａ＿ｓを含むように、係数ｖｋおよびオフセットｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）の値を最適な値に設定する。なお、このとき、必ずしも仮想投影領域Ａ＿Ｖが投影領域Ａ＿ｓの全てを含まなくともよく、例えば、仮想投影領域Ａ＿Ｖが投影領域Ａ＿ｓの９０％を含むといったように、ある基準を決めてそれを満たすように係数ｖｋおよびオフセットｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）の値を設定するようにしてもよい。また、ここではベクトルｖ＿ｎに係数ｖｋを乗算するようにして、仮想モニタ１０の縦横比を実際のモニタ１の縦横比と一致させているが、ベクトルｖ＿ｎのｘ成分、ｙ成分、ｚ成分のそれぞれに係数を設定し、実際のモニタ１とは縦横比が異なる仮想モニタ１０を設定するようにしてもよい。

次に、ケース１やケース２と同様に、カメラ２の取付け位置や向き、レンズ収差などといった各種のカメラパラメータを用いて、基準面上における仮想投影領域Ａ＿Ｖ内の各交点Ｖ＿Ｌ＿ｃに対応した、カメラ２の撮影映像における各画素（Ｘ＿ｃ，Ｙ＿ｃ）を特定する。これにより、カメラ２の撮影映像における各画素（Ｘ＿ｃ，Ｙ＿ｃ）と仮想モニタ１０の各画素Ｖ＿Ｌ＿ｐとの対応関係を求めることができる。ケース３では、このカメラ２の撮影映像における各画素（Ｘ＿ｃ，Ｙ＿ｃ）と仮想モニタ１０の各画素Ｖ＿Ｌ＿ｐとの対応関係を、そのままカメラ２の撮影映像における各画素（Ｘ＿ｃ，Ｙ＿ｃ）と実際のモニタ１０の各画素Ｌ＿ｐとの対応関係として適用し、これを画像処理装置３による変換処理の内容とする。

ケース３では、以上のようにして求めた変換処理の内容にしたがって、入力用フレームバッファ上の各画素のデータを出力用フレームバッファ上にコピーしていくことで出力映像が作成される。そして、この出力映像がモニタ１に表示されることになる。このモニタ１に表示される出力映像の映像範囲は、運転者が運転中に頭部を動かす範囲内の視点で見たときにモニタ１によって遮蔽される範囲を含むので、頭部の移動により運転者の視点位置がずれたときでも、モニタ１に表示される出力映像は、フロントウィンドウやサイドウィンドウを通してみる実際の風景とある程度連続した映像となり、車両の運転者はこの映像の内容を直感的に把握することが可能となる。また、モニタ１は車両の前方ピラーの車室内側に取り付けられているので、車両の運転者は、モニタ１に表示されている出力映像を参照することで、前方ピラーによって発生する死角領域の様子を認識することができる。

なお、このケース３では、一度運転者の視点位置ＥＰを求めて空間領域Ａ＿ＥＰを設定し、変換処理の内容を計算しておけば、運転者の視点位置がずれたときでもその変換処理の内容で最適な出力映像を作成できるので、一度計算した結果を変換テーブルとして画像処理装置３内部のメモリなどに記憶させておき、以降の変換処理では、この変換テーブルに基づいてカメラ２による撮影画像を変換して出力画像を作成すればよい。

また、以上の説明では、係数ｖｋを１．０以上の値として実際のモニタ１よりもサイズの大きな仮想モニタ１０を想定し、運転者の視点位置がずれたとき見えなくなる範囲が含まれるように、モニタ１に表示される出力映像の映像範囲を設定したが、係数ｖｋを１．０以下の値として実際のモニタ１よりもサイズの小さな仮想モニタ１０を想定し、仮想投影領域Ａ＿Ｖが、投影領域Ａ＿ｓの重複範囲を含むように、係数ｖｋおよびオフセットｏｆｆｓｅｔ（Ｘ，Ｙ，Ｚ）の値を最適な値に設定することで、運転者の視点が移動する範囲内のどこからも見えない範囲をモニタ１に表示される出力映像の映像範囲とすることも可能である。

［実施形態の効果］
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用死角映像表示装置によれば、画像処理装置３が、運転者の視点が存在すると推定される基準位置の空間座標と、モニタ１の表示画面を構成する各画素の空間座標とに基づいて、カメラ２により撮影された映像を変換して、モニタ１に表示させる出力映像を作成するようにしているので、カメラ２やモニタ１の煩雑な調整作業を行うことなく、車両の前方ピラーにより運転者の視界が遮られることによって生じる死角領域の映像を、運転者の視点からフロントウィンドウやサイドウィンドウを通して見た実際の風景とある程度連続したかたちでモニタ１に表示させることができ、死角領域の映像の内容を運転者に直感的に把握させることができる。

また、本実施形態の車両用死角映像表示装置では、運転者の右目位置と左目位置とを含む空間領域を基準位置として考え、画像処理装置３が、この空間領域内に存在する運転者の右目位置の空間座標および左目位置の空間座標と、モニタ１の表示画面を構成する各画素の空間座標とに基づいて、カメラ２により撮影された映像を変換して、モニタ１に表示させる出力映像を作成することで、運転者の視覚が右目と左目のどちらが支配的となっているかに拘らず、車両の前方ピラーにより運転者の視界が遮られることによって生じる死角領域の映像を、運転者の視点からフロントウィンドウやサイドウィンドウを通して見た実際の風景とある程度連続したかたちでモニタ１に表示させることができ、死角領域の映像の内容を運転者に直感的に把握させることができる。

また、本実施形態の車両用死角映像表示装置では、運転中における運転者の頭部の動きに応じて運転者の視点が移動する範囲と推定される空間領域を基準位置として考え、この空間領域内に存在する複数の点の空間位置座標と、モニタ１の表示画面を構成する各画素の空間座標とに基づいて、カメラ２により撮影された映像を変換して、モニタ１に表示させる出力映像を作成することで、頭部の移動により運転者の視点位置がずれたときでも、車両の前方ピラーにより運転者の視界が遮られることによって生じる死角領域の映像を、運転者の視点からフロントウィンドウやサイドウィンドウを通して見た実際の風景とある程度連続したかたちでモニタ１に表示させることができ、死角領域の映像の内容を運転者に直感的に把握させることができる。

なお、以上説明した車両用死角映像表示装置は本発明の一適用例であり、本発明が以上の例に限定されるものではなく、本発明に係る技術的思想を逸脱しない範囲であれば、具体的な装置構成や変換処理の細部などにおいて、種々の変更が可能であることは勿論である。例えば、上述した車両用死角映像表示装置では、モニタ１を車両の前方ピラーの車室内側に設置して、前方ピラーにより運転者の視界が遮られることによって生じる死角領域の映像をモニタ１に表示させるようにしているが、モニタ１を他の車両構造物に設置して、その車両構造物により運転者の視界が遮られることによって生じる視界領域の映像をモニタ１に表示させるようにしてもよい。

また、上述した車両用死角映像表示装置では、モニタ１に死角領域の映像を常に表示させることを前提としているが、死角領域の映像の表示／非表示を車両周囲の状況に応じて切り替えられるようにしてもよい。すなわち、死角領域の映像を表示することが特に求められるのは、この死角領域に人や他車両などが存在する場合であるので、例えば、近接センサで車両周囲の状況を検出したり、周囲のインフラとの通信により車両周囲の状況を示す情報を取得したりして、その結果に応じて、モニタ１への死角領域の映像の表示／非表示を切り替えるようにしてもよい。勿論、運転者のスイッチ操作などによって、モニタ１への死角領域の映像の表示／非表示を切り替えるようにしてもよい。このように、死角領域の映像の表示／非表示を車両周囲の状況に応じて切り替えるようにした場合には、消費電力の低減といった効果が期待できる。

本発明を適用した車両用死角映像表示装置の構成を示す図である。 本発明を適用した車両用死角映像表示装置におけるモニタやカメラの具体的な取付け位置を説明する図である。 前方ピラーの車室内側にモニタが取り付けられた状態を運転者の視点から見た様子を示す図である。 本発明を適用した車両用死角映像表示装置における画像処理装置での変換処理に用いるＸＹＺ座標系を説明する図である。 基準位置を運転者の視点位置である点として捉えた場合の変換処理の内容を説明する図である。 運転者の右目位置と左目位置とを含む空間領域を基準位置とした場合の変換処理の内容を説明する図である。 仮想モニタと実際のモニタとの関係を説明する図である。 運転中における運転者の頭部の動きに応じて運転者の視点が移動する範囲と推定される空間領域を基準位置とした場合の変換処理の内容を説明する図である。

符号の説明

１ モニタ
２ カメラ
３ 画像処理装置
１０ 仮想モニタ
１００ 車両
１０１ 前方ピラー

Claims (7)

1. 車両構造物により運転者の視界が遮られることによって生じる死角領域の映像を表示する車両用死角映像表示装置において、
   前記車両構造物に設置された映像表示手段と、
   少なくとも前記死角領域を含む車両周囲の領域の映像を撮影する撮影手段と、
   運転者の視点位置に基づいて設定された運転者の右目位置と左目位置とを含む基準位置の空間領域と、前記映像表示手段の表示画面を構成する各画素の空間座標とに基づいて、前記撮影手段により撮影された映像を変換して、前記映像表示手段に表示させる出力映像を作成する映像変換手段とを備え、
   前記映像変換手段は、前記死角領域を含む車両周囲の領域であって車両の前後、左右、上下の位置に基準面を設定し、前記空間領域内における前記運転者の右目位置を始点として前記映像表示手段の表示画面を構成する各画素を通る各半直線と前記基準面との交点の集合体を前記基準面上における右目位置の投影領域として求め、前記空間領域内における前記運転者の左目位置を始点として前記映像表示手段の表示画面を構成する各画素を通る各半直線と前記基準面との交点の集合体を前記基準面上における左目位置の投影領域として求め、前記映像表示手段と同画素数を有し仮想表示画面が前記映像表示手段の表示画面よりも物理的に大きなものとして定義される仮想映像表示手段の空間座標を求め、前記運転者の視点位置を始点として前記仮想映像表示手段の仮想表示画面を構成する各画素を通る各半直線と前記基準面との交点の集合体を前記基準面上における仮想投影領域として求め、前記仮想投影領域は前記右目位置ならびに左目位置の投影領域を含み、前記仮想投影領域内の前記各交点に対応する前記撮影手段の撮影映像における各画素を前記撮影手段のパラメータに基づいて特定し、前記撮影手段の撮影映像における各画素と前記仮想映像表示手段の各画素との対応関係を求め、前記対応関係を前記撮影手段の撮影映像における各画素と前記映像表示手段の各画素との対応関係として前記撮影手段により撮影された映像を変換する
   ことを特徴とする車両用死角映像表示装置。
2. 車両構造物により運転者の視界が遮られることによって生じる死角領域の映像を表示する車両用死角映像表示装置において、
   前記車両構造物に設置された映像表示手段と、
   少なくとも前記死角領域を含む車両周囲の領域の映像を撮影する撮影手段と、
   運転中における運転者の頭部の動きに応じて運転者の視点位置が移動する範囲と推定される基準位置の空間領域と、前記映像表示手段の表示画面を構成する各画素の空間座標とに基づいて、前記撮影手段により撮影された映像を変換して、前記映像表示手段に表示させる出力映像を作成する映像変換手段とを備え、
   前記映像変換手段は、前記死角領域を含む車両周囲の領域であって車両の前後、左右、上下の位置に基準面を設定し、前記空間領域内の空間座標を始点として前記映像表示手段の表示画面を構成する各画素を通る各半直線と前記基準面との交点の集合体を前記基準面上における投影領域とし、前記投影領域を前記空間領域内の異なる空間座標に対応して複数の投影領域として求め、前記複数の投影領域を合わせて１つの投影領域とし、前記映像表示手段と同画素数を有し仮想表示画面が前記映像表示手段の表示画面よりも物理的に大きなものとして定義される仮想映像表示手段の空間座標を求め、前記運転者の視点位置を始点として前記仮想映像表示手段の仮想表示画面を構成する各画素を通る各半直線と前記基準面との交点の集合体を前記基準面上における仮想投影領域として求め、前記仮想投影領域は前記複数の投影領域を合わせた１つの投影領域を含み、前記仮想投影領域内の前記各交点に対応する前記撮影手段の撮影映像における各画素を前記撮影手段のパラメータに基づいて特定し、前記撮影手段の撮影映像における各画素と前記仮想映像表示手段の各画素との対応関係を求め、前記対応関係を前記撮影手段の撮影映像における各画素と前記映像表示手段の各画素との対応関係として前記撮影手段により撮影された映像を変換する
   ことを特徴とする車両用死角映像表示装置。
3. 運転者の視点位置を計測する視点位置計測手段をさらに備え、
   前記映像変換手段は、前記視点位置計測手段の計測結果に基づいて、前記基準位置を特定することを特徴とする請求項１または２に記載の車両用死角映像表示装置。
4. 運転者が着座する車両のシート位置を検出するシート位置検出手段をさらに備え、
   前記映像変換手段は、前記シート位置検出手段の検出結果に基づいて、前記基準位置を特定することを特徴とする請求項１または２に記載の車両用死角映像表示装置。
5. 運転者の身体情報を取得する身体情報取得手段をさらに備え、
   前記映像変換手段は、前記身体情報取得手段によって取得された運転者の身体情報に基づいて、前記基準位置を特定することを特徴とする請求項１または２に記載の車両用死角映像表示装置。
6. 車両が現在走行している道路の属性情報を取得する道路情報取得手段をさらに備え、
   前記映像変換手段は、前記道路情報取得手段によって取得された道路の属性情報に基づいて、前記空間領域の大きさを設定することを特徴とする請求項２に記載の車両用死角映像表示装置。
7. 車両周囲の状況を検出する周囲状況検出手段をさらに備え、
   前記映像表示手段は、前記周囲状況検出手段の検出結果に応じて、前記死角領域の映像の表示／非表示を切り替えることを特徴とする請求項１乃至６の何れか１項に記載の車両用死角映像表示装置。

Images