JP4579145B2 - 車両周辺画像表示装置 - Google Patents

Description

本発明は、車両周辺のようすを表す画像を運転者に対して提示する技術に関するものである。

運転者に対して自動車周辺を撮影した画像を提示する技術としては、自動車周辺を複数のカメラによって撮影した画像を、自動車上方の仮想的な視点から車両周囲を観察した画像に視点変換して合成すると共に、合成した画像上に自車を表す図形を配置することにより、自動車周辺を俯瞰的に表す画像を生成し、ユーザに提示する技術が知られている（たとえば、特許文献１）。

また、運転者に対して自動車周辺を撮影した画像を提示する技術としては、自動車後方をカメラによって撮影した画像に、車両の突出部を路面に投影した形状を表す図形を合成して表示する技術も知られている（たとえば、特許文献２）。
特開2002-354468号公報 特開2003-87779号公報

前記自動車周辺を俯瞰的に表す画像上に自車を表す図形を配置して表示する技術によれば、たとえば、車両上方より斜め下方向に車両後方を観察した画像を生成する場合には、当該画像上に、車両上方より斜め下方向に自車を観察した図形を自車を表す図形として配置することになる。そして、この場合における自車を表す図形は、自車の後部が自車のルーフなどによって隠されたものとなる。すなわち、この技術によれば、ユーザは、表示される画像より、自車の端部と周囲との関係を厳密に把握することができない場合が生じる。

次に、前述したカメラによって撮影した画像に、車両の突出部を路面に投影した形状を表す図形を合成して表示する技術によれば、ユーザは、表示された画像より、自車の端部と周囲との関係をより厳密に把握することができるようになるが、表示される画像はリアリティに欠けたものとなる。一方で、ユーザにとって、自車の端部と周囲との関係は、常に厳密に把握することが必要となるわけではない。

そこで、本発明は、必要な場合にユーザが自車の端部と周囲との関係を厳密に把握できるようにしつつ、できるだけリアリティある表現で自車と自車周辺のようすを表した画像表示を行うことを課題とする。

前記課題達成のために、本発明は、自動車に搭載される車両周辺画像表示装置に、前記自動車周囲を撮影するカメラと、自車を表す画像である自車表示画像を生成する自車表示画像生成手段と、前記カメラが撮影した画像中の、自車に対応する位置に、前記自車表示画像生成手段が生成した自車表示画像を配置した表示画像を生成する表示画像生成手段と、前記表示画像生成手段が生成した表示画像を表示する表示装置と、制御手段とを備え、前記自車表示画像生成手段において、自車の外観を表す第１の画像と、自車の水平方向の輪郭線を表す第２の画像とを、前記制御手段から設定された比率で合成して前記自車表示画像を生成し、前記制御手段において、前記自車表示画像生成部に設定する比率を、自車の状況または自車周辺の状況に応じて変化させるようにしたものである。

このような車両周辺画像表示装置によれば、自車の状況または自車周辺の状況に応じて、自車周辺を撮影した画像に組み合わせる自車表示画像を、第１の画像のパターンが明瞭に表されたリアリティあるものと、第２のパターン画像が明瞭に表された自車の端部と周囲との関係を厳密に把握できるものとの間で任意に変更することができる。したがって、本発明によれば、自車の状況または自車周辺の状況から、ユーザが自車の端部と周囲との関係を厳密に把握することの必要性が推定される場合に、自車表示画像を第２の画像のパターンが明瞭に表された画像として、表示画像からユーザが自車の端部と周囲との関係を厳密に把握できるようにしつつ、他の場合には、自車表示画像を第１の画像のパターンが明瞭に表された画像とすることにより、できるだけ表示画像を、リアリティある表現で自車と自車周辺を表したものとすることができる。

ここで、このような車両周辺画像表示装置は、より具体的には、たとえば、前記制御手段において、車両周囲に検出された物体の自車からの距離に応じて、当該距離が小さいほど前記第２の画像のパターンが前記自車表示画像中により明瞭に表れるように、前記第１の画像のパターンが前記自車表示画像中に明瞭に表れる比率から、前記第２の画像のパターンが前記自車表示画像中に明瞭に表れる比率まで前記自車表示画像生成部に設定する比率を変化させるようにしてもよい。または、たとえば、前記制御手段において、自車の車速または舵角に応じて、前記第１の画像のパターンが前記自車表示画像中に明瞭に表れる比率から、前記第２の画像のパターンが前記自車表示画像中に明瞭に表れる比率まで、前記自車表示画像生成部に設定する比率を変化させるようにしてもよい。または、たとえば、前記制御手段において、自車の駐停車中または後進中の有無に応じて、前記第１の画像のパターンが前記自車表示画像中に明瞭に表れる比率と、前記第２の画像のパターンが前記自車表示画像中に明瞭に表れる比率との間で、前記自車表示画像生成部に設定する比率を切り替えるようにしてもよい。

また、これらの車両周辺画像装置には、車両の方向指示器の操作状態に応じて、前記表示画像上に、前記方向指示器の操作状態より推定される車両の方向転換方向を前記表示画像上において表す図形を描画する方向転換方向提示手段を設けることも、ユーザが、表示画像によって示されている周囲の状況と、行おうとしている方向転換の方向との関係を表示画像より直接把握できるようにする上で好ましい。

以上のように、本発明によれば、必要な場合にユーザが自車の端部と周囲との関係を厳密に把握できるようにしつつ、できるだけリアリティある表現で自車と自車周辺を表した画像表示を行うことができる。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る車両周辺画像表示装置の構成を示す。
図示するように、車両周辺画像表示装置は、図１ｂに示すように車両後方向の斜下方を撮影する広角のリアカメラ１０１、図１ｂに示すように車両左方向の斜下方を撮影する広角のレフトサイドカメラ１０２、図１ｂに示すように車両右方向の斜下方を撮影する広角のライトサイドカメラ１０３、各カメラの撮影画像を保持する画像記憶部１０４、他車などの車両周囲の物体を検出する周囲センサ１０５、車速や舵角や後進有無状態やウインカ点滅状態などの自動車の各種状態を検出する車両状態センサ１０６、表示装置１０７、視点変換画像生成部１０８、自車画像保持部１０９、自車画像合成部１１０、表示処理部１１１、以上各部を制御する制御部１１２とを備えている。

このような構成において、視点変換画像生成部１０８は、画像記憶部１０４に格納されたリアカメラ１０１、レフトサイドカメラ１０２、ライトサイドカメラ１０３の各々が撮影した３つの画像に対して、視点変換処理を施して、車両前方上方の視点から、車両後方斜め下方を中心方向とする所定の視野角で各画像の被写領域を観察した場合に得られる３つの画像を、たとえば、図２ａ１、ａ２、ａ３に示すように生成する。そして、生成した図２ａ１、ａ２、ａ３の３つの画像を組み合わせ、車両前方上方の視点から車両後方斜め下方に自車の周囲を観察したようすを表す俯瞰画像を、図２ａ４に示すように生成し、自車画像合成部１１０に出力する。

次に、自車画像保持部１０９には、予め、図２ｂ１に示す模擬画像と、図２ｂ２に示す投影画像が格納されている。図示するようにｂ１の模擬画像は、視点変換画像生成部１０８で施す視点変換処理で画像を生成する視点、視野角と同じ視点、視野角で見た、自車と同車種の自動車の外観を表す画像となっている。また、ｂ２に示すように投影画像は、自車と同車種の自動車を路面に垂直に投影した領域の輪郭線と、自車の車輪とを、視点変換画像生成部１０８で施す視点変換処理で画像を生成する視点、視野角と同じ視点、視野角で見たようすを表す画像となっている。

次に、自車画像合成部１１０は、自車画像保持部１０９に保持されている模擬画像と、自車画像保持部１０９に保持されている投影画像と、視点変換画像生成部１０８が生成した俯瞰画像ａ４とより表示画像を生成し、表示処理部１１１に出力する。そして、表示処理部１１１が、自車画像合成部１１０が生成した表示画像を表示装置１０７に表示する。

ここで、図３ａ-ｅの各図は、自車画像合成部１１０が生成する表示画像の例を表したものである。
図示するように、自車画像合成部１１０は、たとえば図２ａ４に示すように視点変換画像生成部１０８が生成した俯瞰画像３０１上の、自車の位置に対応する場所に、図２ｂ１に示す模擬画像と図２ｂ２に示す投影画像とを図２ｂ３のように混合して生成した自車表示画像３０２を配置して、表示画像を生成する。また、自車画像合成部１１０は、この自車表示画像３０２を、模擬画像と投影画像とを、制御部１１２から指定された不透明度で合成することにより生成する。

すなわち、たとえば、図３ａは、模擬画像の不透明度を１００％、投影画像の不透明度を０％として両画像を合成して生成した自車表示画像３０２を、俯瞰画像３０１上の、自車の位置に対応する場所に配置して生成した表示画像を表している。また、図３ｃは、模擬画像の不透明度を５０％、投影画像の不透明度を５０％として両画像を合成して生成した自車表示画像３０２を、俯瞰画像３０１上の、自車の位置に対応する場所に配置して生成した表示画像を表している。また、図３ｅは、模擬画像の不透明度を０％、投影画像の不透明度を１００％として両画像を合成して生成した自車表示画像３０２を、俯瞰画像３０１上の、自車の位置に対応する場所に配置して生成した表示画像を表している。

さて、制御部１１２は、このような自車画像合成部１１０において自車表示画像３０２を生成する際の、模擬画像と投影画像の不透明度を制御するために、図４に示す合成特性制御処理を行う。
図示するように、この処理では、まず、車両状態センサ１０６が車両の駐停車中（ステップ４０２）と後進中（ステップ４０４）とのいずれかを検出しているかどうかを調べ、いずれかを検出していれば、模擬画像の不透明度０％、投影画像の不透明度１００％を自車画像合成部１１０に指示し（ステップ４１２）、ステップ４０２からの処理に戻る。

一方、車両の駐停車中（ステップ４０２）も後進中（ステップ４０４）も検出されていない場合には、周囲センサ１０５が、車両の左右後方の所定距離内に他車などの物体を検出しているかどうかを調べ（ステップ４０６）、検出している場合には、検出されている物体の自車までの距離に応じて、模擬画像の不透明度と投影画像の不透明度を算出して、算出した各画像の不透明度を自車画像合成部１１０に指示し（ステップ４１４）、ステップ４０２からの処理に戻る。

ここで、このステップ４１４では、検出されている物体の自車までの距離が大きいほど模擬画像の不透明度が大きくなり、投影画像の不透明度が小さくなるように、各画像の不透明度を算出する。この結果、たとえば、図３ａ-ｅに示すように、他車３１０が後方から接近した場合には、他車３１０の接近に従って、自車表示画像３０２が、模擬画像の透明度が増し投影画像の不透明度が増していくように変化する。このようにすることにより、障害物などが接近したときには、表示画像は投影画像が明瞭に表れたものとなり、ユーザが自車の端部とその障害物など周囲との位置関係を厳密に把握できるようになる。

一方、ステップ４０６において、車両の左右後方の所定距離内に他車などの物体が検出されていないと判定された場合には、車両状態センサ１０６から現在の自車の舵角を取得し、自車が直進中であるかどうかを調べる（ステップ４０８）。そして、直進中でなければ、舵角の大きさに応じて模擬画像の不透明度と投影画像の不透明度を算出して、算出した各画像の不透明度を自車画像合成部１１０に指示し（ステップ４１６）、ステップ４０２からの処理に戻る。

ここで、このステップ４１６では、舵角が大きいほど模擬画像の不透明度が小さくなり、投影画像の不透明度が大きくなるように、各画像の不透明度を算出する。
このようにすることにより、車庫入れなどのために大きく自動車の方向を転換しているときには、表示画像は投影画像が明瞭に表れたものとなり、ユーザが自車の端部と周囲との位置関係を厳密に把握できるようになる。
次に、ステップ４０８において、直進中であると判定された場合には、車両状態センサ１０６から現在の自車の車速を取得し、車速の大きさに応じて模擬画像の不透明度と投影画像の不透明度を算出して、算出した各画像の不透明度を自車画像合成部１１０に指示し（ステップ４１０）、ステップ４０２からの処理に戻る。

ここで、このステップ４１０では、車速が小さいほど模擬画像の不透明度が小さくなり、投影画像の不透明度が大きくなるように、各画像の不透明度を算出する。
このようにすることにより、狭い道の通り抜けや、狭いスペースへの駐停車のために、ゆっくりと自動車を動かしているときには、表示画像は投影画像が明瞭に表れたものとなり、ユーザが自車の端部と周囲との位置関係を厳密に把握できるようになる。
以上、制御部１１２が行う合成特性制御処理について説明した。
なお、この合成特性制御処理では、さらに、車両状態センサ１０６から現在の自車のウインカの点滅状態を取得し、車のウインカが点滅しているときには、模擬画像の不透明度を最小とし投影画像の不透明度を最大とする処理や、車両状態センサ１０６から現在の前照灯点灯状態を取得し、前照灯が点灯している場合、すなわち、夜間には、模擬画像の不透明度を最小とし投影画像の不透明度を最大とする処理なども行うようにしてもよい。また、各カメラが撮影した画像中への白線の写り込みを検出し、自車近傍の白線が検出された場合には、模擬画像の不透明度を最小とし投影画像の不透明度を最大とする処理なども行うようにしてもよい。

以上、本実施形態に係る車両周辺画像表示装置について説明した。
ところで、以上のような車両周辺画像表示装置は、自車画像合成部１１０において、表示画像中に車両の方向転換方向を表すようにしてもよい。
すなわち、自車画像合成部１１０は、車両状態センサ１０６から現在の自車ウインカの点滅状態を取得して、自車の左右の方向転換方向を判定し、図５ａに示すように矢印３０３を表示したり、図５ｂに示すように模擬画像のウインカを点滅させたり、図５ｃに示すように投影画像の車輪の向きを変化させることにより、表示画像上で判定した方向転換方向を表示するようにしてよい。

このようにすることにより、ユーザは、表示画像によって示されている周囲の状況と、行おうとしている方向転換の方向との関係を、表示画像より直接把握できるようになる。

本発明の実施形態に係る車両周辺画像表示装置の構成を示すブロック図である。 本発明の実施形態に係る車両周辺画像表示装置の俯瞰画像と自車表示画像の生成動作を示す図である。 本発明の実施形態に係る車両周辺画像表示装置の表示画像の例を示す図である。 本発明の実施形態に係る合成特性制御処理を示すフローチャートである。 本発明の実施形態に係る車両周辺画像表示装置の表示画像の例を示す図である。

符号の説明

１０１…リアカメラ、１０２…レフトサイドカメラ、１０３…ライトサイドカメラ、１０４…画像記憶部、１０５…周囲センサ、１０６…車両状態センサ、１０７…表示装置、１０８…視点変換画像生成部、１０９…自車画像保持部、１１０…自車画像合成部、１１１…表示処理部、１１２…制御部、３０１…俯瞰画像、３０２…自車表示画像。

Claims (6)

1. 自動車に搭載される車両周辺画像表示装置であって
   前記自動車周囲を撮影するカメラと、
   自車を表す画像である自車表示画像を生成する自車表示画像生成手段と、
   前記カメラが撮影した画像中の、自車に対応する位置に、前記自車表示画像生成手段が生成した自車表示画像を配置した表示画像を生成する表示画像生成手段と、
   前記表示画像生成手段が生成した表示画像を表示する表示装置と、
   制御手段とを備え、
   前記自車表示画像生成手段は、自車の外観を表す第１の画像と、自車の水平方向の輪郭線を表す第２の画像とを、前記制御手段から設定された比率で合成して前記自車表示画像を生成し、
   前記制御手段は、前記自車表示画像生成部に設定する比率を、自車の状況または自車周辺の状況に応じて変化させることを特徴とする車両周辺画像表示装置。
2. 請求項１記載の車両周辺画像表示装置であって、
   自車の周囲の物体を検出する周囲物体検出手段を備え、
   前記制御手段は、前記周囲物体検出手段が検出した物体の距離に応じて、当該距離が小さいほど前記第２の画像のパターンが前記自車表示画像中により明瞭に表れるように、前記第１の画像のパターンが前記自車表示画像中に明瞭に表れる比率から、前記第２の画像のパターンが前記自車表示画像中に明瞭に表れる比率まで、前記自車表示画像生成部に設定する比率を変化させることを特徴とする車両周辺画像表示装置。
3. 請求項１記載の車両周辺画像表示装置であって、
   前記制御手段は、自車の車速または舵角に応じて、前記第１の画像のパターンが前記自車表示画像中に明瞭に表れる比率から、前記第２の画像のパターンが前記自車表示画像中に明瞭に表れる比率まで、前記自車表示画像生成部に設定する比率を変化させることを特徴とする車両周辺画像表示装置。
4. 請求項１記載の車両周辺画像表示装置であって、
   前記制御手段は、自車の駐停車中または後進中の有無に応じて、前記第１の画像のパターンが前記自車表示画像中に明瞭に表れる比率と、前記第２の画像のパターンが前記自車表示画像中に明瞭に表れる比率との間で前記自車表示画像生成部に設定する比率を切り替えることを特徴とする車両周辺画像表示装置。
5. 請求項１記載の車両周辺画像表示装置であって、
   車両の方向指示器の操作状態に応じて、前記表示画像上に、前記方向指示器の操作状態より推定される車両の方向転換方向を前記表示画像上において表す図形を描画する方向転換方向提示手段を有することを特徴とする車両周辺画像表示装置。
6. 自動車に搭載される車載装置において、カメラで撮影した前記自動車周囲の画像をユーザに提示する車両周辺画像提示方法であって、
   自車の外観を表す第１の画像と、自車の水平方向の輪郭線を表す第２の画像とを、設定された比率で合成した画像を自車表示画像として生成するステップと、
   前記周カメラが撮影した画像中の、自車に対応する位置に、生成した前記自車表示画像を配置した表示画像を生成するステップと、
   前記生成した表示画像を表示するステップと、
   前記比率を、自車の状況または自車周辺の状況に応じて変化させるステップとを有することを特徴とする車両周辺画像提示方法。