JP5013184B2 - 運転支援装置及びコンピュータプログラム - Google Patents

Description

本発明は、車両における運転者の運転を支援するための運転支援装置及びコンピュータプログラムに関し、特に、車両に設けられた車両構造物により形成される運転者の死角を少なくするための技術に関する。

従来から、車両の外方を撮像して得た画像を、運転者の死角を発生させる車両構造物の室内側に表示させることで、車両における運転者の運転を支援する車両用表示装置が知られている（例えば、特許文献１を参照。）。
かかる車両用表示装置は、車外カメラで撮像した画像の歪みをとるために画像データの座標変換を行い、運転者の視点位置から、サイドピラー等の車両構造物によって運転者の死角となる領域を求める。そして、座標変換を行って歪みをなくした画像において、先に求めた死角となる領域のみを残す形で画像データの切り取り操作を行い、切り取った画像を表示制御装置に送ってディスプレイに表示するものである。

特開２００６−４４５９６号公報

しかしながら、従来の車両用表示装置は、車両構造物の姿勢が変化しない場合を想定したものであって、車両のフロント窓の上方に取り付けられているサンバイザや、車両の側面に取り付けられているドアのように、車両構造物の姿勢が変化する場合を想定したものではなかった。
即ち、従来の車両用表示装置において、画像処理を実行して生成された表示画像を、車両構造物の室内側に設けられ当該車両構造物と共に姿勢が変化する表示画面に表示させると、その表示画像が、運転者の視点位置から見て歪みが発生するものであったり、車両構造物がなければ見えるであろう領域と異なる領域の画像を表示するものであったりして、忠実且つ自然な状態で車両の外方の景色を表すものではなくなることが懸念される。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、車両の外方を撮像装置により撮像して得た画像を、運転者の死角を発生させる車両構造物の室内側に設けられた表示画面に表示させることで、車両における運転者の運転を支援するにあたり、車両構造物の姿勢が変化する場合でも、その表示画面の表示画像を、忠実且つ自然な状態で運転者の死角となる車両の外方の景色を表すものとすることができる運転支援技術を実現する点にある。

上記目的を達成するための本発明に係る運転支援装置は、車両の外方を撮像して画像を出力する撮像装置と、入力された画像を車両構造物の室内側に設けられた表示画面に表示する表示装置と、を備え、前記撮像装置が出力した画像に対して、所定の画像処理を実行して表示画像を生成し、当該生成した表示画像を前記表示装置に入力して前記表示画面に表示させる画像処理手段を備えた運転支援装置であって、運転者の視点位置及び当該視点位置から前記表示画面へ向かう視線方向を特定する視点位置特定手段を備え、前記車両構造物が姿勢を変更するものであると共に、前記車両構造物の姿勢である基準面に対する角度を検出する姿勢検出手段を備え、前記画像処理手段が、前記視点位置、前記視線方向、前記撮像装置の位置、前記撮像装置の撮像方向、及び前記角度に基づいて前記画像処理を実行して、前記車両構造物の背後の景色を運転者に視認させる画像を前記表示画像として生成する点にある。

本発明に係る運転支援装置の特徴構成によれば、車両構造物の姿勢が変化する場合でも、その姿勢を逐次検出し、その検出した車両構造物の姿勢に基づいて上記画像処理を実行して、車両構造物の背後の景色を運転者に視認させる画像を表示画像として生成し、その表示画像を車両構造物の室内側に設けられた表示画面に表示させることができる。
従って、本発明により、運転者の視点位置から見て歪みがなく、且つ、車両構造物がなければ見えるであろう領域と一致するような、忠実且つ自然な状態で、運転者の死角となる車両の外方の景色を表す表示画像を、車両構造物の室内側に設けられ当該車両構造物と共に姿勢が変化する表示画面に表示させることができる。
また、上記の特徴構成によれば、運転者の交替や移動に伴って変化する運転者の視点位置を逐次特定することができる。そして、上記画像処理において、撮像装置が出力した画像に対して、上記のように逐次特定された運転者の視点位置を用いて、運転者の視点位置の変化にリアルタイム且つ正確に追従して、運転者の視点位置から見える画像を生成することができる。

本発明に係る運転支援装置の更なる特徴構成は、前記画像処理が、前記視点位置から前記視線方向に延ばした直線上において、前記視点位置から所定距離離れた点を含み、前記視線方向と直交する平面を仮想平面として設定し、前記撮像装置の撮像素子の撮像面に平行な平面であって、前記撮像方向に直交する平面であり、前記撮像装置が出力した画像が属する平面を撮像平面として設定し、前記撮像平面の直交軸と前記仮想平面の直交軸との角度差に基づいて、当該角度差だけ傾いた前記仮想平面上に前記撮像装置が出力した画像を投影して運転者視点画像に変換し、前記車両構造物の姿勢である前記角度から、前記仮想平面の直交軸と、前記表示画面を含む表示平面の直交軸との角度差を求め、当該角度差だけ傾いた前記表示平面上に前記運転者視点画像を投影して表示面画像に変換する視点変換工程と、前記表示面画像から、前記表示画面の表示領域に対応する前記表示画像を抽出する画像抽出工程と、を含む点にある。

上記特徴構成によれば、上記画像処理における上記視点変換工程では、撮像装置が出力した画像から変換して得た運転者から見える画像を、表示画面を含む平面上の画像に変換するにあたり、上記のように逐次検出された車両構造物の姿勢から、その表示画面を含む平面をリアルタイム且つ正確に認識することができる。よって、この視点変換工程により変換された後の画像を、車両構造物と共に姿勢が変化する表示画面に表示しても運転者の視点位置から見て歪みがない自然なものとすることができる。
また、上記画像処理における上記画像抽出工程では、撮像装置が出力した画像に対して表示画面の表示領域に対応する画像を抽出するにあたり、上記のように逐次検出された車両構造物の姿勢から、その抽出すべき領域をリアルタイム且つ正確に認識することができる。よって、この画像抽出工程で抽出された後の画像を、車両構造物と共に姿勢が変化する表示画面に表示しても車両構造物がなければ見えるであろう領域と一致する忠実なものとすることができる。

本発明に係る運転支援装置の更なる特徴構成は、前記姿勢検出手段で検出された前記車両構造物の姿勢である前記角度が、許容以上の死角領域を発生させる死角発生姿勢である所定の死角発生角度範囲内の角度であるか否かを判定し、当該車両構造物の姿勢である前記角度が前記死角発生角度範囲内の角度でない場合には前記表示画面への前記表示画像の表示を停止する判定処理手段を備えた点にある。

上記特徴構成によれば、車両構造物の姿勢が許容以上の死角領域を発生させる死角発生姿勢でない場合には、表示画面への表示画像の表示を適宜停止することで、運転者に対して死角を無用に意識させることを回避し、更に表示画面の画像表示による電力消費を抑制することができる。また、車両構造物の姿勢の変化により許容以上の死角領域が発生した場合には、適宜、表示画面に死角領域にある車両外方の景色を表す表示画像が表示されるので、運転者に対して、死角領域が許容以上であるとの注意を促すと共に、死角領域にある外部の景色を表示画像により適切に視認させることができる。

本発明に係る運転支援装置の更なる特徴構成は、運転者により視認すべき視認対象物が接近しているか否かを判定し、前記視認対象物が接近していない場合には前記表示画面への前記表示画像の表示を停止する判定処理手段を備えた点にある。

上記特徴構成によれば、運転者により視認すべき視認対象物が接近していない場合には、表示画面への表示画像の表示を適宜停止することで、運転者に対して死角を無用に意識させることを回避し、更に表示画面の画像表示による電力消費を抑制することができる。また、運転者により視認すべき視認対象物が接近している場合には、適宜、表示画面に死角領域にある車両外方の景色を表す表示画像が表示されるので、運転者に対して、視認対象物が接近しているとの注意を促すと共に、視認対象物が死角領域にある場合にその視認対象物を表示画像により適切に視認させることができる。

本発明に係る運転支援装置の更なる特徴構成は、運転者の視点位置から見た視認対象物に対する視認方向が前記車両構造物の死角領域にあるか否かを判定し、前記視認対象物に対する視認方向が前記死角領域にない場合には前記表示画面への前記表示画像の表示を停止する判定処理手段とを備えた点にある。

上記特徴構成によれば、上記視認対象物に対する視認方向が上記死角領域にない場合、即ち運転者に対して視認対象物が死角になっていない場合には、表示画面への表示画像の表示を適宜停止することで、運転者に対して死角を無用に意識させることを回避し、更に表示画面の画像表示による電力消費を抑制することができる。また、上記視認対象物に対する視認方向が、上記のように特定した死角領域にある場合、即ち運転者に対して視認対象物が死角になっている場合には、適宜、表示画面に死角領域にある車両外方の景色を表す表示画像が表示されるので、運転者に対して視認対象物が死角になっているとの注意を促すと共に、その視認対象物を表示画像により適切に視認させることができる。

本発明に係る運転支援装置の更なる特徴構成は、前記判定処理手段が、車両に搭載されているナビゲーション装置から取得した地図上での車両の位置を示す車両現在位置及び前記視認対象物の配置状態を示す視認対象物配置状態と、前記運転者の視点位置とから、前記視認対象物に対する視認方向を特定する点にある。

上記特徴構成によれば、上記ナビゲーション装置から地図上において上記車両現在位置及び上記視認対象物配置状態とを逐次且つ容易に取得することができる。そして、それら上記車両現在位置及び上記視認対象物配置状態と運転者の視点位置とから、運転者の視点位置から見て視認対象物に対する視認方向をリアルタイム且つ正確に特定することができる。

本発明に係る運転支援装置の更なる特徴構成は、前記車両構造物が、車両のフロント窓の上方に取り付けられているサンバイザ、又は、車両の側面に取り付けられているドアである点にある。

上記特徴構成によれば、姿勢が変化して運転者の視点位置に対して死角を発生させる虞がある上記サンバイザ又は上記ドアである車両構造物に対しても、そのサンバイザ又はドアの室内側に設けられた表示画面に、忠実且つ自然な状態で死角領域にある車両の外方の景色を表す表示画面を表示させることができる。
また、車両構造物を上記サンバイザとすれば、上記サンバイザを降下させた場合のように、当該サンバイザの姿勢が変化する場合でも、そのサンバイザの室内側（サンバイザの降下時における運転者側）に設けられた表示画面に、運転者の死角領域にある車両の外方の景色をサンバイザの姿勢に応じて忠実且つ自然に表す表示画像が表示されることになる。よって、運転者は、その表示画像により、死角となっている信号や標識等の視認対象物を確実に視認することができる。
一方、車両構造物を上記ドアとすれば、ドアの開閉時のように、ドアの姿勢が変化する場合でも、そのドアの室内側に設けられた表示画面に、死角領域にある車両の外方の景色をドアの姿勢に応じて忠実且つ自然に表す表示画像が表示されることになる。よって、運転者は、その表示画像により、死角領域を通行する通行者等の視認対象物を確実に視認することができる。

また、上記目的を達成するための本発明に係るコンピュータプログラムは、車両の外方を撮像する撮像装置が出力した画像に対して、所定の画像処理を実行して表示画像を生成し、当該生成した表示画像を車両構造物の室内側に設けられた表示画面に表示させるようにコンピュータを動作させるためのコンピュータプログラムであって、その特徴構成は、前記車両構造物が姿勢を変更するものであると共に、前記コンピュータに、視点位置特定手段において特定された運転者の視点位置及び当該視点位置から前記表示画面へ向かう視線方向の情報を取得させ、姿勢検出手段において検出された前記車両構造物の姿勢である基準面に対する角度の情報を取得させ、前記運転者の視点位置、当該視点位置から前記表示画面へ向かう視線方向、前記撮像装置の位置、前記撮像装置の撮像方向、及び前記角度に基づいて前記画像処理を実行させて、前記車両構造物の背後の景色を運転者に視認させる画像を前記表示画像として生成させる点にある。

本発明に係るコンピュータプログラムの特徴構成によれば、コンピュータに、車両構造物の姿勢に基づいて画像処理を実行させて、車両構造物の背後の景色を運転者に視認させる画像を前記表示画像として生成させることで、当該コンピュータを、上述したような本発明に係る運転支援装置が備える上記画像処理手段として機能させて、本発明に係る運転支援装置と同様の作用効果を発揮させることができる。
また、上記画像処理を、本発明に係る運転支援装置と同様に、上記視点変換行程と上記画像抽出行程とを含むものとすることができる。

本発明の実施の形態について図面に基づいて説明する。
図１は、本実施形態に係る運転支援装置を設置した車両Ｃを運転者の視点位置から見た状態を示す図であり、図２は、この運転支援装置を取り付けた車両Ｃを外部から見た状態を示す図であり、図３は、この運転支援装置の機能ブロック図である。
これらの図に示すように、本実施形態においては、運転支援装置を、車両Ｃのフロント窓１１の上方に取り付けられたサンバイザ３（車両構造物の一例）の室内側に、そのサンバイザ３の死角領域にある車両Ｃの外方の景色を表す表示画像を、忠実且つ自然な状態で表示することで、運転者Ｄの車両Ｃの運転を支援するものとして構成した例を説明する。

この運転支援装置は、図１〜３に示すように、車両Ｃの外方を撮像して画像を出力する撮像装置２と、入力された画像を車両構造物としてのサンバイザ３の室内側に設けられたディスプレイ４ａ（表示画面の一例）に表示する表示装置４と、を備える。

上記撮像装置２は、例えば、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等のデジタルカメラにより構成される。この撮像装置２は、所定の時間間隔で連続的に画像を撮像し、当該撮像した画像情報を後述する演算処理装置２０へ出力する。
本実施形態において、この撮像装置２は、フロント窓１１の運転者側の上角部において降下状態のサンバイザ３に前方が遮られない位置に配置されており、その位置からフロント窓１１を通じて、少なくとも車両Ｃの前方を撮像するように撮像方向が向けられている。

上記表示装置４は、詳細については後述するが上記撮像装置２により撮像した画像を、適宜演算処理装置２０による所定の画像処理を施した後に、サンバイザ３の室内側全面に設けられたディスプレイ４ａに表示する装置である。具体的に、このディスプレイ４ａには、運転者Ｄの視点位置Ｄｅから見たサンバイザ３の死角領域にある車両Ｃの外方の景色の画像が表示される。
このディスプレイ４ａとしては、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（electroluminescence）ディスプレイ、電界放出ディスプレイ等の各種のディスプレイを用いることができる。また、本実施形態においては、ディスプレイ４ａとしては、比較的安価に入手できる汎用的な矩形状（ここでは長方形）のものが利用されている。

更に、上記サンバイザ３は、公知の如く、フロント窓１１の上縁部と平行に設けられた回転軸３ａを有し、その回転軸３ａが室内天井部１４に固定された軸受部３ｂにより軸受された状態で、設けられている。そして、このような構成により、このサンバイザ３は、運転者Ｄが手動で、上記回転軸３ａまわりに回転される状態で、サンバイザ３の姿勢であるサンバイザ角度θを変化させ、更に、任意の姿勢を保持可能に構成されている。
尚、上記サンバイザ角度θは、サンバイザ３の収納状態（例えば水平面）に対する回転角度を示すものであり、当該サンバイザ３が運転者Ｄにより任意に姿勢が変化されることから、逐次異なるものとなる。

また、このサンバイザ３の姿勢であるサンバイザ角度θを検出する姿勢検出手段５が、サンバイザ３の回転軸３ａを軸受する軸受部３ｂに設けられている。
この姿勢検出手段５は、公知のポテンショメータやエンコーダ等により、基準面（例えば収納状態のサンバイザ３が含まれる水平面）に対する上記回転軸３ａの回転角度をサンバイザ角度θとして検出するように構成されている。
そして、この姿勢検出手段５で検出されたサンバイザ角度θは、演算処理装置２０に入力される。

更に、各運転者によって異なる運転者Ｄの視点位置Ｄｅを特定する視点位置特定手段７が設けられている。
この視点位置特定手段７は、例えば、車室内に設置されたカメラ６等によって運転者Ｄの顔画像を撮影し、この顔画像を解析して運転者の視点位置Ｄｅの位置を検出するように構成することができる。
また、このような視点位置特定手段７は、上記のような構成に限らず、以下のように構成することもできる。
即ち、超音波センサやレーザースキャナ等により運転者Ｄの頭部の位置を検出し、当該検出した頭部の位置から運転者Ｄの視点位置Ｄｅを推測することができる。また、車両Ｃのバックミラーやサイドミラーの角度、シートの位置及びヘッドレストの高さ等を各部のセンサにより検出し、当該検出値から間接的に運転者Ｄの視点位置Ｄｅを検出することもできる。更には、運転者に身長や座高などの身体情報の入力を求め、当該入力情報に基づいて運転者Ｄの視点位置Ｄｅを推測することもできる。或いは、仮に標準的な体型の運転者が標準的なドライビングポジションをとったときの運転者Ｄの視点位置Ｄｅを用いてディスプレイ４ａに外の景色の画像を表示し、その後、運転者が当該画像を見ながら、実際の景色と合致するようにディスプレイ４ａ上の画像の位置及び方向を手動で調整する手段を用いることもできる。このようにして運転者Ｄの視点位置Ｄｅが特定されれば、運転者Ｄの視線方向Ｄｄは、運転者Ｄの視点位置Ｄｅからディスプレイ４ａの中心部に向かう方向として特定することができる。

更に、運転支援装置は、コンピュータからなる演算処理装置２０を備えている。そして、この演算処理装置２０は、所定のコンピュータプログラムを実行することにより、後述する画像処理手段２１及び判定処理手段２２として機能するように構成されている。

更に、この演算処理装置２０は、同じく車両Ｃに搭載されたナビゲーション装置３０から、当該ナビゲーション装置３０で利用される各種情報を取得可能に構成されている。
即ち、ナビゲーション装置３０では、公知の如く、ＧＰＳ等により地図上での車両Ｃの位置を示す車両現在位置を検出しながら、運転者が設定した目的地までのルートどおりに車両Ｃを走行させるように、車両現在位置を示した地図を画面表示すると共に、交差点に近づいた際に進行方向の案内などを行う、ルート案内機能を有している。また、ナビゲーション装置３０が有する地図データベースには、信号や標識などの運転者により視認すべき視認対象物５０の配置状態を示す視認対象物配置状態が登録されており、上記ルート案内機能において画面表示される地図上に、このような視認対象物５０の配置状態が表示される。
そして、演算処理装置２０は、このようにナビゲーション装置３０のルート案内機能で利用される上記のような車両現在位置及び視認対象物配置状態を取得することができる。
更に、ナビゲーション装置３０は、視認対象物５０が存在する交差点に車両Ｃが接近した際には、それを認識させるための所定の信号を演算処理装置２０に出力するように構成されている。

更に、車両Ｃに固定されている撮像装置２の撮像位置２ｅ及び撮像方向２ｄ（光軸方向）、サンバイザ３の室内側に設けられたディスプレイ４ａの形状等に関する各種データを記憶するための記憶装置４０が設けられており、演算処理装置２０は、この記憶装置４０から各種データを取得可能に構成されている。

演算処理装置２０が機能する画像処理手段２１と判定処理手段２２とは、後述する所定の画像処理を含むコンピュータプログラムを実行するための手段として構成されている。以下、このコンピュータプログラムの詳細について、図４及び図５に示す処理フロー図、及び、図６及び図７に示す画像処理の内容を示す説明図に基づいて説明する。尚、図６及び図７は、運転者Ｄの視点位置Ｄｅ及び視線方向Ｄｄ、サンバイザ３及びディスプレイ４ａの配置位置及び形状、撮像装置２の撮像位置２ｅ及び撮像方向２ｄ等を、車両Ｃの進行方向の側方から水平に見た側断面の状態を模式的に表すものである。

図４に示すように、演算処理装置２０は、判定処理手段２２により、後述する表示画像Ｇｓ’を適切な時期にディスプレイ４ａに表示するための各種判定処理（＃０１、＃０３、＃０８）を実行した上で、詳細については後述するが、演算処理装置２０により、上記撮像装置２が出力した画像であるカメラ視点画像Ｇｔに対して、所定の画像処理（＃０９）を実行して、運転者Ｄの死角となる車両Ｃの外方の景色を表す表示画像Ｇｓ’を生成し、当該生成した表示画像Ｇｓ’をサンバイザ３の室内側に設けられたディスプレイ４ａに表示させる。

即ち、演算処理装置２０は、例えばイグニッションキーがＯＮされたときに起動して、先ず、判定処理手段２２により、サンバイザ３により死角になり得る信号機や標識等の視認対象物５０が接近したか否か、即ち、そのような視認対象物５０が存在する交差点に接近しているか否かを判定する（＃０１）。かかる判定は、ナビゲーション装置３０から視認対象物５０が存在する交差点に接近した際に出力する信号を受信したか否かにより行われる。

そして、上記＃０１において、視認対象物５０が存在する交差点に接近していないと判定した場合には、少なくとも画像処理（＃０９）をスキップすることで、ディスプレイ４ａへの表示画像Ｇｓ’の表示が停止される。よって、運転者Ｄに対して死角を無用に意識させることが回避され、更にディスプレイ４ａの画像表示による電力消費が抑制される。

一方、上記＃０１において視認対象物５０が存在する交差点に接近していると判定した場合には、先ず、前述した姿勢検出手段５により車両構造物の姿勢としてのサンバイザ角度θを検出し（＃０２）、更に、判定処理手段２２により、上記＃０２で検出したサンバイザ角度θが所定の死角発生角度範囲内の角度（死角発生姿勢の一例）であるか否か、即ち許容以上の死角領域が発生しているか否かを判定する（＃０３）。

ここで上記死角発生角度範囲は、サンバイザ３により許容以上の死角領域を発生させるときのサンバイザ３の収納状態（例えば水平面）に対する回転角度範囲を示し、例えば３０°以上の角度範囲として設定することができる。
そして、上記＃０３において、サンバイザ角度θが上記死角発生角度範囲を下回っており許容以上の死角領域が発生していない判定した場合には、少なくとも画像処理＃０９をスキップすることで、ディスプレイ４ａへの表示画像Ｇｓ’の表示が停止される。よって、運転者Ｄに対して死角を無用に意識させることが回避され、更にディスプレイ４ａの画像表示による電力消費が抑制される。

一方、上記＃０３において、サンバイザ角度θが上記死角発生角度範囲内の角度となって許容以上の死角領域が発生していると判定した場合には、先ず、前述した視点位置特定手段７により運転者Ｄの視点位置Ｄｅを特定し（＃０４）、更に、前述したナビゲーション装置３０から車両現在位置及び視認対象物配置状態を取得する（＃０５）。

次に、上記＃０２で検出したサンバイザ角度θと、上記＃０４で特定した運転者Ｄの視点位置Ｄｅとに基づいて、上記サンバイザ３により死角となる領域である死角領域を特定する。
具体的には、図６及び図７に示すように、車両Ｃの進行方向の側方から水平に見た側断面図において、運転者Ｄの視点位置Ｄｅと所定形状のサンバイザ３を上記サンバイザ角度θで配置した状態とを描写して、その視点位置Ｄｅに対して、そのサンバイザ３の上端縁部に伸びる直線からサンバイザ３の下端縁部に伸びる直線までの領域として、上記サンバイザ３の死角領域を特定することができる。尚、上記サンバイザ３の形状は記憶装置２０から取得した形状データにより認識することができる。

また、上記＃０５で取得した車両現在位置及び視認対象物配置状態と、上記＃０４で特定した運転者Ｄの視点位置Ｄｅとに基づいて、上記視認対象物５０に対する視認方向を特定する（＃０７）。
具体的には、図６及び図７に示すように、車両Ｃの進行方向の側方から水平に見た側断面図において、運転者Ｄの視点位置Ｄｅと、車両現在位置に対して視認対象物配置状態どおりに視認対象物５０を配置した状態とを描写して、視点位置Ｄｅから視認対象物５０に向かって伸びる方向として、上記視認対象物５０の視認方向を特定することができる。

更に、上記＃０６で死角領域を特定し、上記＃０７で視認対象物５０に対する視認方向を特定した上で、判定処理手段２２により、運転者Ｄの視点位置Ｄｅから見た視認対象物５０に対する視認方向がサンバイザ３の死角領域にあるか否か、即ち、視認対象物５０が死角となっているか否かを判定する（＃０８）。
そして、上記＃０８において、視認対象物５０に対する視認方向がサンバイザ３による死角領域にある、即ち視認対象物５０が死角になっていないと判定した場合には、少なくとも画像処理＃０９をスキップすることで、ディスプレイ４ａへの表示画像Ｇｓ’の表示が停止される。よって、運転者Ｄに対して死角を無用に意識させることが回避され、更にディスプレイ４ａの画像表示による電力消費が抑制される。

一方、上記＃０８において、視認対象物５０に対する視認方向がサンバイザ３による死角領域にない、即ち視認対象物５０が死角になっていると判定した場合には、画像処理手段２１により画像処理（＃０９）が実行されて、サンバイザ３の室内側に設けられたディスプレイ４ａに、サンバイザ３による死角領域にある車両Ｃの外方の景色を表す表示画像Ｇｓ’が表示される。
従って、運転者Ｄは、ディスプレイ４ａに表示画像Ｇｓ’が表示されることで、視認対象物５０が接近し、更に、サンバイザ３による死角領域が許容以上であり、更に、信号機や標識などの視認対象物５０が死角になっているとの注意が促され、その死角となっている視認対象物５０等を含む車両Ｃの外方の景色を適切に視認することができる。

次に、上記＃０９で実行される画像処理の詳細について、図５に示す処理フローに基づいて説明する
尚、この画像処理に際して、運転者Ｄの視点位置Ｄｅやその視点位置Ｄｅからディスプレイ４ａの中心に向かう視線方向Ｄｄ、撮像装置２の撮像位置２ｅや撮像方向２ｄ、サンバイザ３の姿勢であるサンバイザ角度θやディスプレイ４ａの形状、及び、運転者視点画像Ｇｄを作成する仮想平面Ｅｖのそれぞれの位置や方向等についての関係情報が条件として用いられる。
ここで、車両Ｃに固定されている撮像装置２の撮像位置２ｅ及び撮像方向２ｄ（光軸方向）、サンバイザ３の室内側に設けられたディスプレイ４ａの形状については既に特定されたものであり、記憶装置４０に予め記憶されているものが用いられる。

運転者視点画像Ｇｄを作成する仮想平面Ｅｖの位置及び方向は、上記＃０４で特定された運転者Ｄの視点位置Ｄｅ、記憶装置４０から取得した撮像装置２の撮像位置２ｅ、上記＃０２で検出されたサンバイザ角度θ、記憶装置４０から取得したディスプレイ４ａの形状等の条件に基づいて適切に決定される。この仮想平面Ｅｖの決定方法としては、例えば、運転者Ｄの視点位置Ｄｅから視線方向Ｄｄに延ばした直線上において、当該視点位置Ｄｅから信号機や標識等の視認対象物５０（図３参照）が存在すると考えられる標準的な距離（例えば５〜５０ｍ）離れた点を含み、当該視線方向Ｄｄと直交する平面を仮想平面Ｅｖとすると好適である。また、運転者Ｄの視点位置Ｄｅ又は撮像装置２の撮像位置２ｅから所定距離だけ離れた位置に配置され、視線方向Ｄｄと平面視で直交する鉛直平面を仮想平面Ｅｖとしてもよい。この際、運転者Ｄの視点位置Ｄｅ又は撮像装置２の撮像位置２ｅからの距離は、例えば５〜５０ｍの範囲で設定すると好適である。また、仮想平面Ｅｖは、当該視線方向Ｄｄと直交する平面に限定されるものではなく、例えば運転者Ｄの視点位置Ｄｅを中心とする球面や、運転者の視点位置Ｄｅから所定の距離分離れた鉛直面等とすることもできる。

そして、画像処理手段２１は、図５に示すように、先ず、撮像装置２が出力した画像をカメラ視点画像Ｇｔとして取得し（＃１１）、そのカメラ視点画像Ｇｔに対して、以上のように特定された条件を用いて所定の視点変換工程（＃１２）及び画像抽出工程（＃１３）とを含む所定の画像処理を実行し、その画像処理により生成した表示画像Ｇｓ’をディスプレイ４ａに表示する（＃１４）。

尚、図６には、各画像Ｇｔ、Ｇｄ、Ｇｓ（Ｇｓ’）上の対応する画素の位置を丸印で示している。この各画像Ｇｔ、Ｇｄ、Ｇｓ（Ｇｓ’）上の丸印の配列は、カメラ視点画像Ｇｔが属する撮像平面Ｅｔ上の等間隔に並んだ複数の画素が、画像処理によってどのように変化するかを表している。ここで、撮像平面Ｅｔは、撮像装置２の撮像素子の撮像面に平行な平面であって、撮像方向２ｄ（光軸方向）に直交する平面である。尚、この図６では、本実施形態に係る運転支援装置の構成に合わせて、ディスプレイ４ａに対して上方に撮像装置２を配置しているが、図面の見易さのために、運転者の視線方向Ｄｄと撮像方向２ｄとの関係は、実際よりも角度を大きく表している。

上記視点変換工程（＃１２）では、撮像装置２が出力したカメラ視点画像Ｇｔに対して、運転者Ｄの視点位置Ｄｅから見える画像である運転者視点画像Ｇｄに変換した後に、ディスプレイ４ａを含む表示平面Ｅｓ上の画像である表示面画像Ｇｓに変換する。
具体的には、上記カメラ視点画像Ｇｔを上記運転者視点画像Ｇｄに変換するにあたり、カメラ視点画像Ｇｔが属する撮像平面Ｅｔと、上記のように求めた仮想平面Ｅｖとの関係に基づいて射影変換を行う。この射影変換は、撮像平面Ｅｔの直交軸と仮想平面Ｅｖの直交軸との角度差に基づいて、当該角度差だけ傾いた平面上にカメラ視点画像Ｇｔを投影することにより行う。このように仮想平面Ｅｖに投影された画像が運転者視点画像Ｇｄとなる。従って、運転者視点画像Ｇｄでは、カメラ視点画像Ｇｔにおいて等しかった各画素の間隔が変化する。図６に示す例では、この射影変換により、画素の間隔が、運転者視点画像Ｇｄの下方に向かうに従って広がるように変換されている。

次に、上記運転者視点画像Ｇｄを表示面画像Ｇｓに変換するにあたり、仮想平面Ｅｖと、ディスプレイ４ａが含まれる表示平面Ｅｓとの関係に基づいて射影変換を行う。この射影変換は、サンバイザ角度θから、仮想平面Ｅｖの直交軸と表示平面Ｅｓの直交軸との角度差を求め、当該角度差だけ傾いた平面上に運転者視点画像Ｇｄを投影することにより行う。このように表示平面Ｅｓに投影された画像が表示面画像Ｇｓとなる。従って、表示面画像Ｇｓでは、カメラ視点画像Ｇｔにおいて等しかった各画素の間隔が、運転者視点画像Ｇｄに対して更に変化する。図６に示す例では、この射影変換により、画素の間隔が、表示面画像Ｇｓの下方に向かうに従って、運転者視点画像Ｇｄに対して更に広がるように変換されている。

更に、上記画像抽出工程（＃１３）では、上記視点変換工程（＃１２）で得た表示面画像Ｇｓから、ディスプレイ４ａの表示領域に対応する表示画像Ｇｓ’を抽出し、更に、その抽出した表示画像Ｇｓ’を表示装置４に入力してディスプレイ４ａに表示させる。
具体的には、上記の視点変換工程（＃１２）により生成された表示面画像Ｇｓの中から、ディスプレイ４ａの表示領域に対応する部分を上記表示画像Ｇｓ’として切り出す。表示面画像Ｇｓが属する表示平面Ｅｓ中におけるディスプレイ４ａの表示領域に対応する部分は、上記のように特定された運転者Ｄの視点位置Ｄｅ及び視線方向Ｄｄとサンバイザ角度θやディスプレイ４ａの形状等に基づいて特定することができる。
そして、このように切り出された表示画像Ｇｓ’は表示装置４によりディスプレイ４ａに表示される。

以上のような画像処理を行うことにより、サンバイザ３の室内側に設けられたディスプレイ４ａに表示される画像は、サンバイザ３の姿勢が変化した場合でも、サンバイザ３の死角領域にある車両Ｃの外方の景色を、忠実且つ自然な状態で表すものとなり、運転者がフロント窓１１を通して見る外の景色と連続する画像となる。

例えば、サンバイザ３の回転軸３ａ側とは反対側の縁部である回転側縁部３ｃがフロント窓１１に近づけられている状態（図６参照）と、サンバイザ３の回転側縁部３ｃが運転者Ｄの視点位置Ｄｅに近づけられている状態（図７参照）との間で、サンバイザ角度θが変化した場合を想定して、ディスプレイ４ａに表示される表示画像Ｇｓ’の変化を説明する。
尚、図６に示す状態と図７に示す状態では、サンバイザ３の回転側縁部３ｃを通り運転者Ｄの視点位置Ｄｅからの方向と垂直な平面Ｅｏに対して、ディスプレイ４ａを含む表示平面Ｅｓの成す角度γが互いに異なっており、図６に示す状態に比して図７に示す状態では、当該角度γが非常に小さいものとなっている。

そして、視点変換工程（＃１２）で生成された表示面画像Ｇｓにおいては、カメラ視点画像Ｇｔでは等間隔であった各画素の間隔が、図７に示す状態よりも、図６に示す状態の方が、下方に向かうほど大きく広がっている。これは、図６に示す状態の方が、図７のものと比べて、運転者Ｄの視点位置Ｄｅから見てディスプレイ４ａが大きく傾いていることから、運転者Ｄが自然な状態でディスプレイ４ａに表示される表示面画像Ｇｓを視認するべく、実際に表示される表示面画像Ｇｓの歪みが大きく設定されたからである。

また、画像抽出工程（＃１３）で切り出された表示画像Ｇｓ’において、カメラ視点画像Ｇｔで等間隔に設けられた各画素の数は、図６に示す状態よりも、図７に示す状態の方が、多くなっている。これは、図７に示す状態の方が、図６のものよりも、運転者Ｄの視点位置Ｄｅから見てサンバイザ３による死角領域が広くなって、そのサンバイザ３による死角領域全体の画像を忠実にディスプレイ４ａに表示するべく、カメラ視点画像Ｇｔに対して広い領域の画像が切り出されたからである。

〔別実施形態〕
（１）上記実施の形態では、姿勢が変化する車両構造物をサンバイザ３として説明したが、別に、サンバイザ３に限らず、例えばドアのように、姿勢が変化する別の車両構造物に対しても本発明を適用することができる。
具体的に、図８に示すように、車両構造物をドア３’とした場合には、ドア３’の開閉時のように、ドア３’の姿勢が変化する場合でも、そのドア３’の室内側に設けられたディスプレイ４ａ’に、ドア３’の死角領域にある車両の外方の景色を、ドア３’の姿勢に応じて忠実且つ自然に表す表示画像が表示されることになる。よって、運転者Ｄは、そのディスプレイ４ａ’に表示された表示画像により、死角領域を通行する通行者等の視認対象物５０’を確実に視認することができる。
また、ドア３’の内側に設けたディスプレイ４ａ’に表示画像を表示する場合には、例えば、ドアロックが解除されたか否か、ドアトリムに手が触れたか否か、ドア３’が開いているか否か等の所定の判定処理を実行し、表示画像を適切な時期にディスプレイ４ａ’に表示することができる。
即ち、ドアロックが解除されていないとき、ドアトリムに手が触れていないとき、又は、ドアが開いていないときには、ディスプレイ４ａ’への表示画像の表示を停止することで、運転者に対して死角を無用に意識させることを回避し、更に表示画面の画像表示による電力消費を抑制することができる。
逆に、ドアロックが解除されているとき、ドアトリムに手が触れたとき、又は、ドア３’が開いているときには、ディスプレイ４ａ’への表示画像の表示を行うことで、運転者Ｄに対して、注意を促し、ドア３ａ’により死角となっている通行者等の視認対象物５０を含む車両Ｃの外方の景色を適切に視認させることができる。

（２）上記の実施形態においては、撮像装置２を車両Ｃのフロント窓１１の上角部に配置する場合の例について説明したが、撮像装置２の配置はこの位置に限定されるものではない。例えば、フロント窓の上中央部や下部等の別の箇所、バックミラーの背面やダッシュボード上、ルーフやドアミラー等の車両外部等のように、サンバイザ等の車両構造物により死角となる車両Ｃの外方の景色を撮像可能な範囲内で、別の箇所に撮像装置２を配置しても構わない。

（３）上記の実施形態においては、表示装置４のディスプレイ４ａの形状を矩形状とする場合の例について説明した。これは主に、ディスプレイ４ａの形状を長方形や正方形等の矩形状とする方が製造コストを安価に抑えることができるためである。従って、製造コストの問題が解決できれば、ディスプレイ４ａの形状は、例えば、サンバイザ等の車両構造物の形状に合わせた形状のように、各種の形状とすることができる。

（４）上記の実施形態においては、画像処理手段２１が、図５に示すように、視点変換工程（＃１２）により、カメラ視点画像Ｇｔから運転者視点画像Ｇｄ更には表示面画像Ｇｓへの２回の射影変換した後に、画像抽出工程（＃１３）により、その表示面画像Ｇｓからディスプレイ４ａの表示領域に対応する部分を切り出して、ディスプレイ４ａに表示される表示画像Ｇｓ’を得る構成を例として説明した。しかし、この画像抽出工程を行う対象の画像は、表示面画像Ｇｓに限定されるものではなく、運転者視点画像Ｇｄ又はカメラ視点画像Ｇｔに対して行ってもよい。このように、射影変換の前の画像に対して前記切り出し処理を行うことにより、射影変換の対象となる画像のデータ量を削減することができ、変換処理のための演算負荷を軽減することができる。従って、カメラ視点画像Ｇｔに対して前記切り出し処理を行った場合には、２回の射影変換の両方について対象となる画像のデータ量を削減することができるので、演算負荷を最も軽減することができる。この場合、画像処理手段２１は、上記の２回の射影変換を逆に行うことにより、ディスプレイ４ａの表示領域に対応する撮像平面Ｅｔ上の領域を求め、カメラ視点画像Ｇｔの中からディスプレイ４ａの表示領域に対応する部分を切り出す処理を行う。

本発明は、車両の外方を撮像装置により撮像して得た画像を、運転者の死角を発生させる車両構造物の室内側に設けられた表示画面に表示させることで、車両における運転者の運転を支援するにあたり、車両構造物の姿勢が変化する場合でも、その表示画面の表示画像を、忠実且つ自然な状態で運転者の死角となる車両の外方の景色を表すものとすることができる運転支援装置及び方法として好適に利用可能である。

本発明の実施形態に係る運転支援装置を取り付けた車両を運転者の視点から見た状態を示す図 図１に示す運転支援装置を取り付けた車両を外部から見た状態を示す図 図１に示す運転支援装置の機能ブロック図 本発明の実施形態に係るコンピュータプログラムの処理フロー図 図１に示すコンピュータプログラムにおける画像処理の処理フロー図 図５に示す画像処理の内容を示す説明図 図５に示す画像処理の内容を示す説明図 本発明の別の実施形態に係る運転支援装置を取り付けた車両の運転者の視点から見た状態を示す図

符号の説明

２：撮像装置
３：サンバイザ（車両構造物）
３’：ドア（車両構造物）
４：表示装置
４ａ，４ａ’：ディスプレイ（表示画面）
５：姿勢検出手段
７：視点位置特定手段
２１：画像処理手段
２２：判定処理手段
３０：ナビゲーション装置
５０：視認対象物
Ｃ：車両
Ｄｅ：視点位置
Ｄ：運転者
Ｇｓ’：表示画像
Ｇｔ：カメラ視点画像
θ：サンバイザ角度（車両構造物の姿勢）

Claims (9)

1. 車両の外方を撮像して画像を出力する撮像装置と、
   入力された画像を車両構造物の室内側に設けられた表示画面に表示する表示装置と、を備え、
   前記撮像装置が出力した画像に対して、所定の画像処理を実行して表示画像を生成し、当該生成した表示画像を前記表示装置に入力して前記表示画面に表示させる画像処理手段を備えた運転支援装置であって、
   運転者の視点位置及び当該視点位置から前記表示画面へ向かう視線方向を特定する視点位置特定手段を備え、
   前記車両構造物が姿勢を変更するものであると共に、
   前記車両構造物の姿勢である基準面に対する角度を検出する姿勢検出手段を備え、
   前記画像処理手段が、前記視点位置、前記視線方向、前記撮像装置の位置、前記撮像装置の撮像方向、及び前記角度に基づいて前記画像処理を実行して、前記車両構造物の背後の景色を運転者に視認させる画像を前記表示画像として生成する運転支援装置。
2. 前記画像処理が、
   前記視点位置から前記視線方向に延ばした直線上において、前記視点位置から所定距離離れた点を含み、前記視線方向と直交する平面を仮想平面として設定し、
   前記撮像装置の撮像素子の撮像面に平行な平面であって、前記撮像方向に直交する平面であり、前記撮像装置が出力した画像が属する平面を撮像平面として設定し、
   前記撮像平面の直交軸と前記仮想平面の直交軸との角度差に基づいて、当該角度差だけ傾いた前記仮想平面上に前記撮像装置が出力した画像を投影して運転者視点画像に変換し、
   前記車両構造物の姿勢である前記角度から、前記仮想平面の直交軸と、前記表示画面を含む表示平面の直交軸との角度差を求め、当該角度差だけ傾いた前記表示平面上に前記運転者視点画像を投影して表示面画像に変換する視点変換工程と、
   前記表示面画像から、前記表示画面の表示領域に対応する前記表示画像を抽出する画像抽出工程と、
   を含む請求項１に記載の運転支援装置。
3. 前記姿勢検出手段で検出された前記車両構造物の姿勢である前記角度が、許容以上の死角領域を発生させる死角発生姿勢である所定の死角発生角度範囲内の角度であるか否かを判定し、当該車両構造物の姿勢である前記角度が前記死角発生角度範囲内の角度でない場合には前記表示画面への前記表示画像の表示を停止する判定処理手段を備えた請求項１又は２に記載の運転支援装置。
4. 運転者により視認すべき視認対象物が接近しているか否かを判定し、前記視認対象物が接近していない場合には前記表示画面への前記表示画像の表示を停止する判定処理手段を備えた請求項１〜３の何れか一項に記載の運転支援装置。
5. 運転者の視点位置から見た視認対象物に対する視認方向が前記車両構造物の死角領域にあるか否かを判定し、前記視認対象物に対する視認方向が前記死角領域にない場合には前記表示画面への前記表示画像の表示を停止する判定処理手段とを備えた請求項１〜４の何れか一項に記載の運転支援装置。
6. 前記判定処理手段が、車両に搭載されているナビゲーション装置から取得した地図上での車両の位置を示す車両現在位置及び前記視認対象物の配置状態を示す視認対象物配置状態と、前記運転者の視点位置とから、前記視認対象物に対する視認方向を特定する請求項５に記載の運転支援装置。
7. 前記車両構造物が、車両のフロント窓の上方に取り付けられているサンバイザ、又は、車両の側面に取り付けられているドアである請求項１〜６の何れか一項に記載の運転支援装置。
8. 車両の外方を撮像する撮像装置が出力した画像に対して、所定の画像処理を実行して表示画像を生成し、当該生成した表示画像を車両構造物の室内側に設けられた表示画面に表示させるようにコンピュータを動作させるためのコンピュータプログラムであって、
   前記車両構造物が姿勢を変更するものであると共に、
   前記コンピュータに、
   視点位置特定手段において特定された運転者の視点位置及び当該視点位置から前記表示画面へ向かう視線方向の情報を取得させ、
   姿勢検出手段において検出された前記車両構造物の姿勢である基準面に対する角度の情報を取得させ、
   前記運転者の視点位置、当該視点位置から前記表示画面へ向かう視線方向、前記撮像装置の位置、前記撮像装置の撮像方向、及び前記角度に基づいて前記画像処理を実行させて、前記車両構造物の背後の景色を運転者に視認させる画像を前記表示画像として生成させるコンピュータプログラム。
9. 前記画像処理が、
   前記視点位置から前記視線方向に延ばした直線上において、前記視点位置から所定距離離れた点を含み、前記視線方向と直交する平面を仮想平面として設定し、
   前記撮像装置の撮像素子の撮像面に平行な平面であって、前記撮像方向に直交する平面であり、前記撮像装置が出力した画像が属する平面を撮像平面として設定し、
   前記撮像平面の直交軸と前記仮想平面の直交軸との角度差に基づいて、当該角度差だけ傾いた前記仮想平面上に前記撮像装置が出力した画像を投影して運転者視点画像に変換し、
   前記車両構造物の姿勢である前記角度から、前記仮想平面の直交軸と、前記表示画面を含む表示平面の直交軸との角度差を求め、当該角度差だけ傾いた前記表示平面上に前記運転者視点画像を投影して表示面画像に変換する視点変換工程と、
   前記表示面画像から、前記表示画面の表示領域に対応する前記表示画像を抽出する画像抽出工程と、
   を含む請求項８に記載のコンピュータプログラム。

Images