JP5888339B2 - 表示制御装置 - Google Patents

Description

本発明は、車両に搭載され、車両周辺の状況を表示するための表示制御装置に関する。

車両周辺の状況を表示するシステムとして、例えば、光学ミラー（バックミラー）の代わりに使用される後方や後側方の視界支援システムがある。この視界支援システムは、カメラで撮像した後方や後側方の映像を電子ミラー映像に変換し、その電子ミラー映像を運転者から見える位置に配設されたディスプレイに表示する。特許文献１に記載の車両用監視装置では、車両後方を撮像し、撮像画像のフレーム間の変化に基づいて移動体を含む領域と背景を含む領域とに分割し、移動体を含む領域を強調して表示するとともに背景を含む領域をぼかしして表示する。

特開２００８−２７１３８号公報 特開２００８−１１４６２７号公報

上記のように、カメラで撮像した映像における背景まで表示した場合、走行中の車両では、背景全体が後方に流れるように表示される。この流れる背景映像が車両の乗員（特に、運転者）の周辺視野に入ると煩わしさを感じる。特許文献１に記載のように背景をぼかして表示したとしても、走行中の車両ではそのぼかした映像が流れるように表示されるので、乗員は煩わしさを感じる。

そこで、本発明は、車両周辺の状況の表示において乗員の煩わしさを抑制する表示制御装置を提供することを課題とする。

本発明に係る表示制御装置は、車両に搭載され、車両周辺の状況を表示するための表示制御装置であって、車両周辺を撮像する撮像手段と、撮像手段で撮像した映像を車内に表示する表示手段と、撮像手段で撮像した映像の中から特定物を抽出する抽出手段とを備え、撮像手段で撮像した映像のうち抽出手段で抽出した特定物の背景となる映像を表示手段に表示しないことを特徴とする。

この表示制御装置では、撮像手段によって車両周辺（例えば、車両の後方、後側方、側方、前方）を撮像し、抽出手段によってその撮像された映像の中から特定物を抽出する。特定物は、車両の乗員（特に、運転者）が車両周辺の情報として必要なもの（注意を払うべきもの）であり、例えば、車両、二輪車、歩行者、車線、死角を形成する遮蔽物がある。そして、表示制御装置では、表示手段に撮像された映像のうち特定物の映像を表示するとともに特定物の背景となる映像を表示しない。このように、表示制御装置では、車両の乗員（特に、運転者）が注意を払うべき特定物の映像を表示するが、その特定物の背景となる映像を表示しないので、車両走行中に表示映像の変化が抑制され、乗員の煩わしさを抑制できる。その結果、運転の安全性が向上する。

本発明の上記表示制御装置では、特定物は、周辺車両又は／及び歩行者を含む。この表示制御装置では、特定物として周辺車両や歩行者を表示するので、運転者に対して周辺車両や歩行者への注意を促すことができる。

本発明の上記表示制御装置では、特定物は、道路上の車線を含む。この表示制御装置では、特定物として車線を表示するので、自車両及び注意を払うべき物体と車線との位置関係が判るような表示となり、周辺状況の認識性が向上する。

本発明の上記表示制御装置では、特定物は、遮蔽物を含む。遮蔽物は、車両からの見通しを低下させる物体（特に、死角領域を形成する物体）であり、例えば、壁、塀、ガードレール、街路樹がある。この表示制御装置では、特定物として遮蔽物を表示するので、運転者に対して見通しの悪い領域への注意を促すことができる。

本発明によれば、車両の乗員（特に、運転者）が注意を払うべき特定物の映像を表示するが、その特定物の背景となる映像を表示しないので、車両走行中に表示映像の変化が抑制され、乗員の煩わしさを抑制できる。

本実施の形態に係る視界支援システムの構成図である。 自車両周辺の一例を示す平面図である。 ディスプレイに表示される電子ミラー映像の一例である。 本実施の形態に係る視界支援システムにおける動作の流れを示すフローチャートである。

以下、図面を参照して、本発明に係る表示制御装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。

本実施の形態では、本発明に係る表示制御装置を、車両に搭載される視界支援システムに適用する。本実施の形態に係る視界支援システムは、自車両の後方や後側方を確認するための光学ミラー（バックミラー）の代わりとなるシステムであり、自車両の後方や後側方を撮像した映像を電子ミラー映像としてディスプレイに表示する。

図１〜図３を参照して、本実施の形態に係る視界支援システムについて説明する。図１は、本実施の形態に係る視界支援システムの構成図である。図２は、自車両周辺の一例を示す平面図である。図３は、ディスプレイに表示される電子ミラー映像の一例である。

視界支援システム１は、車両の乗員（特に、運転者）の煩わしさを抑制するために、電子ミラー映像として撮像された映像の中から乗員が車両後方や後側方の情報として必要なもの（例えば、車両、人、二輪車、車線、地平線、遮蔽物）だけを表示し、それら以外のもの（例えば、背景）を表示しない。ただし、遮蔽物は、実際の映像ではなく、表示されても煩わしさを受けない単調なアニメーション画像を表示する。

視界支援システム１は、カメラ１０、レーザレーダ１１、ウィンカスイッチ１２、車速センサ１３、ナビゲーションシステム１４、周辺認識ＥＣＵ[Electronic Control Unit]２０、進路変更推定ＥＣＵ２１、画像処理ＥＣＵ２２、ディスプレイ３０を備えている。なお、本実施の形態では、カメラ１０が請求の範囲に記載する撮像手段に相当し、周辺認識ＥＣＵ２０が請求の範囲に記載する抽出手段に相当し、ディスプレイ３０が請求の範囲に記載する表示手段に相当する。

カメラ１０は、自車両の後方及び後側方を撮像するためのカメラである。カメラ１０は、後方及び後側方を撮像可能な広角であれば１台のカメラで構成されてもよいし、複数台のカメラで構成されてもよい。例えば、３台のカメラの場合、車両の後端の中央及び車両の右側と右側にそれぞれ取り付けられ、撮像方向が後方側となるように取り付けられる。カメラ１０では、車両の後方を撮像し、その撮像した映像（カラー映像でも、白黒映像でもよい）を取得する。そして、カメラ１０では、その映像情報を周辺認識ＥＣＵ２０と画像処理ＥＣＵ２２に出力する。

なお、図２には自車両ＭＶ周辺の一例を示しており、自車両ＭＶには後端の中央にカメラ１０Ａと左右両側の側端（例えば、ドアミラー）にカメラ１０Ｂ，１０Ｃが搭載されている。図２では、判り易くするために、カメラを拡大して描いている。各カメラ１０Ａ，１０Ｂ，１０Ｃには、撮像範囲ＡＡ，ＢＡ，ＣＡがある。この例の場合、中央のカメラ１０Ａで後方の車両ＯＶ１や白線ＷＬ１，ＷＬ２を撮像でき、右側のカメラ１０Ｂで後右側方の車両ＯＶ２や白線ＷＬ２，ＷＬ３を撮像でき、左側のカメラ１０Ｃで左側のガードレール等の遮蔽物Ｓや白線ＷＬ１を撮像できる。この遮蔽物Ｓの左側の歩道には人Ｐが存在するが、遮蔽物Ｓがあるために、カメラ１０Ｃで撮像されないかあるいは撮像され難くなっている。

レーザレーダ１１は、レーザ光を利用して車両の後方及び後側方の物体を検出するための走査型のレーダセンサである。レーザレーダ１１は、後方及び後側方を広範囲に走査可能であれば１台のレーザレーダで構成されてもよいし、複数台のレーザレーダで構成されてもよい。例えば、３台のレーザレーダの場合、上記したカメラ１０と同様の位置に取り付けられ、検出方向が後方側となるように取り付けられる。レーザレーダ１１では、一定時間毎に、発光部と受光部を水平方向に回転させ、レーザ光を水平方向の各走査角度で出射し、反射してきたレーザ光を受光する。そして、レーザレーダ１１では、受光できた各反射点（検出点）についての情報（水平方向の走査角度、出射時刻、受光時刻、受光強度（反射強度）等）からなるレーダ情報を周辺認識ＥＣＵ２０に送信する。

ウィンカスイッチ１２は、運転者による方向指示（右方向指示ＯＮ、左方向指示ＯＮ、ＯＦＦ）を入力するためのスイッチである。ウィンカスイッチ１２では、運転者のウィンカ操作情報を進路変更推定ＥＣＵ２１に送信する。

車速センサ１３は、各車輪に設けられ、車輪の回転速度を検出する車輪速センサである。車速センサ１３では、一定時間毎に、車輪の回転速度を検出し、その車輪速情報を進路変更推定ＥＣＵ２１に送信する。進路変更推定ＥＣＵ２１では、車輪毎の車輪速情報から自車両の車速（車体速）を算出する。なお、車速センサとしては、車輪速センサ以外の車速センサでもよい。

ナビゲーションシステム１４は、自車両の現在位置の検出、目的地までのルート探索及び目的地までのルート案内等を行うシステムである。特に、ナビゲーションシステム１４では、目的地までのルートが探索されている場合、そのルート情報を進路変更推定ＥＣＵ２１に出力する。

周辺認識ＥＣＵ２０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなる電子制御ユニットであり、自車両の後方及び後側方に存在する物体（特に、乗員が後方及び後側方の情報として必要なもの）認識する。周辺認識ＥＣＵ２０には、カメラ１０からの映像情報とレーザレーダ１１からのレーダ情報が入力される。認識対象の物体としては、例えば、運転者が注意を払う必要がある車両、人、二輪車等の物体、これらの物体や自車両の位置関係を運転者が容易に把握するための車線（白線）や地平線、物体（特に、人や二輪車等の移動物体）が存在する可能性がある死角を形成する壁、塀、ガードレール、街路樹等の遮蔽物がある。

周辺認識ＥＣＵ２０では、一定時間毎に、カメラ１０の映像情報を用いて、認識対象の物体を認識する。認識方法としては、従来の方法を適用し、例えば、車両、人、二輪車を認識する場合には認識対象の各物体のテンプレートによるパターンマッチングによって認識し、車線（白線）、地平線、遮蔽物を認識する場合にはエッジ処理によって認識する。また、周辺認識ＥＣＵ２０では、一定時間毎に、レーダ情報を用いて、認識対象の物体を認識する。認識方法としては、従来の方法を適用し、例えば、検出点を所定の条件によってグルーピングし、各物体の検出点からなるグループを特定して認識する。なお、遮蔽物の認識については進路変更推定ＥＣＵ２１で進路変更有りと判定している場合にのみ行うようにしてもよく、この場合には進路変更の方向における遮蔽物の認識を行う。

周辺認識ＥＣＵ２０では、認識対象の物体を認識した場合、各物体の位置や大きさを算出し、カメラ１０の映像からの各物体の切り出しエリアを特定する。そして、周辺認識ＥＣＵ２０では、認識対象の物体の種類及び切り出しエリアの情報を含む切り出し指示を画像処理ＥＣＵ２２に出力する。

進路変更推定ＥＣＵ２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなる電子制御ユニットであり、自車両の進路変更を推定する。進路変更推定ＥＣＵ２１には、ウィンカスイッチ１２からのウィンカ操作情報、各車輪の車速センサ１３からの車輪速情報とナビゲーションシステム１４からのルート情報が入力される。推定対象の進路変更としては、遮蔽物による死角に存在する可能性のある移動物体に対して注意を払うべき必要がある場合の進路変更であり、例えば、左折、合流がある。例えば、図２に示す例の場合、自車両ＭＶが道路Ｒへ左折する場合、遮蔽物Ｓによる死角に存在する人Ｐが横断歩道を渡るために道路Ｒに出てくる可能性があるので、このような進路変更が対象となる。

進路変更推定ＥＣＵ２１では、一定時間毎に、ウィンカ操作情報と車速情報を用いて進路変更の有無を判定し、進路変更が有りと判定した場合にはその進路変更の方向を特定する。例えば、ウィンカの左方向指示がＯＮであり、自車両が減速している場合、進路変更が有りと判定し、その進路変更として左方向を特定する。この際、ナビのルート情報がある場合には、ルート情報を考慮する。そして、進路変更推定ＥＣＵ２１では、進路変更情報（有無情報、有りの場合には進路変更方向）を画像処理ＥＣＵ２２に出力する。なお、このウィンカ操作情報、車速情報及びルート情報を用いた進路変更の推定は一例であり、進路変更の推定方法は他の方法でもよい。

画像処理ＥＣＵ２２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなる電子制御ユニットであり、ディスプレイ３０に表示するための電子ミラー映像を作成する。画像処理ＥＣＵ２２では、カメラ１０からの映像情報及び周辺認識ＥＣＵ２０からの切り出し指示と進路変更推定ＥＣＵ２１からの進路変更情報が入力される。なお、カメラ１０が複数台のカメラで構成されている場合、画像処理ＥＣＵ２２では、その複数台のカメラによる各映像を１つの映像に統合する。

一定時間毎に、画像処理ＥＣＵ２２では、切り出し指示に基づいて、認識されているものの中に運転者が注意を払う必要がある物体（車両、人、二輪車等）が存在しないと判定した場合、カメラ１０による映像から白線の切り出しエリアと地平線の切り出しエリアの映像だけを切り出し、画像における左右方向の中心線を基準として左右反転させた位置に切り出した各映像を配置させた電子ミラー映像を作成する。また、画像処理ＥＣＵ２２では、切り出し指示に基づいて、認識されているものの中に運転者が注意を払う必要がある物体が存在すると判定した場合、カメラ１０による映像から白線や地平線の各切り出しエリアの映像に加えてその注意を払うべき各物体の切り出しエリアの各映像を切り出し、上記と同様にその切り出した各映像を用いて電子ミラー映像を作成する。このように、左右位置を反転させたミラー映像とするのは、運転者が光学ミラーで見る状態と同様の配置とするためである。さらに、画像処理ＥＣＵ２２では、自車両と各物体との位置関係を判り易くするために、自車両の存在する位置に車両のアニメーション画像を電子ミラー映像に重畳する。この車両のアニメーション画像は、電子ミラー映像上で固定の位置（左右方向の中央で上下方向の下端）であり、車両走行中でも変化しない画像である。

画像処理ＥＣＵ２２では、進路変更情報に基づいて自車両の進路変更が有ると判定した場合、進路変更方向に遮蔽物が認識されているときにはその遮蔽物の存在する位置に従って遮蔽物のアニメーション画像を電子ミラー映像に重畳する。遮蔽物のアニメーション画像は、進路変更する側に遮蔽物による死角が存在することを運転者が把握できるような画像でありかつ運転者に煩わしさを与えない画像（車両が走行していても画像が変化しない）であり、例えば、無地の壁状の画像である。遮蔽物の種類や高さによって、壁状の高さを変えてもよいしあるいは変えなくてもよい。そして、画像処理ＥＣＵ２２では、一定時間毎に、その作成した電子ミラー映像をディスプレイ３０に出力する。

図３には、図２の自車両ＭＶ周辺の状況における電子ミラー映像ＭＩの一例を示している。この例の場合、電子ミラー映像ＭＩの左右方向の中央かつ下端に自車両を示すアニメーション画像ＭＶＩが配置され、後方の車両ＯＶ１の切り出し映像ＯＶＩ１と後右側方の車両ＯＶ２の切り出し映像ＯＶＩ２が配置され、車線を形成する各白線ＷＬ１，ＷＬ２，ＷＬ３の切り出し映像ＷＬＩ１，ＷＬＩ２，ＷＬＩ３がそれぞれ配置され、地平線の切り出し映像ＨＩが配置され、遮蔽物Ｓのアニメーション画像ＳＩが配置されている。ちなみに、カメラ１０で撮像された映像内では、左右反転した位置に各物体が存在する。

このような電子ミラー映像には、上記の各物体以外の背景等の映像がない。したがって、自車両の走行に応じて背景等による変化する映像がディスプレイ３０に表示されないので、背景等の後方に流れてゆく映像が運転者の周辺視野に入らない。また、遮蔽物も無地の壁状の変化しないアニメーション画像としているので、遮蔽物による後方に流れるよう映像も運転者の周辺視野に入らない。

ディスプレイ３０は、車載のディスプレイであり、他のシステムと共用のディスプレイでもよい。ディスプレイ３０では、一定時間毎に、画像処理ＥＣＵ２２から電子ミラー映像が入力され、その電子ミラー映像を表示する。

図１〜図３を参照して、視界支援システム１における動作を図４のフローチャートに沿って説明する。図４は、本実施の形態に係る視界支援システムにおける動作の流れを示すフローチャートである。視界支援システム１では、一定時間毎に以下の動作を繰り返し行う。

カメラ１０では、自車両の後方や後側方を撮像した映像を取得し、その映像情報を周辺認識ＥＣＵ２０と画像処理ＥＣＵ２２に出力する（Ｓ１）。レーザレーダ１１では、左右方向の各走査角度でレーザ光を出射するとともに反射してきた反射光を受光し、受光できた各検出点についてのレーダ情報を周辺認識ＥＣＵ２０に出力する。

ウィンカスイッチ１２では、ウィンカ操作情報を進路変更推定ＥＣＵ２１に出力する。各車輪の車速センサ１３では、車輪の回転速度を検出し、その車輪速情報を進路変更推定ＥＣＵ２１に出力する。ナビゲーションシステム１４では、目的地までのルートを探索している場合、そのルート情報を進路変更推定ＥＣＵ２１に出力する。

周辺認識ＥＣＵ２０では、カメラ１０による映像やレーダ情報に基づいて自車両の後方及び後側方の車両、歩行者、二輪車、白線、地平線を認識し、認識できたものの切り出しエリアを特定し、認識できたものの種類や切り出しエリアの情報を含む切り出し指示を画像処理ＥＣＵ２２に出力する（Ｓ２）。

画像処理ＥＣＵ２２では、切り出し指示に基づいて、運転者が注意を払う必要がある車両、歩行者、二輪車を認識できたか否かを判定する（Ｓ３）。Ｓ３にて車両、歩行者、二輪車のいずれも認識できていないと判定した場合、画像処理ＥＣＵ２２では、カメラ１０による映像から認識できている白線、地平線の映像だけを切り出し、その切り出した映像及び自車両のアニメーション画像を用いて電子ミラー映像を作成する（Ｓ４）。Ｓ３にて車両、歩行者、二輪車のいずれか１つでも認識できていると判定した場合、画像処理ＥＣＵ２２では、カメラ１０による映像から認識できている白線、地平線の映像に加えて認識できている車両、歩行者、二輪車の映像を切り出し、その切り出した映像及び自車両のアニメーション画像を用いて電子ミラー映像を作成する（Ｓ５）

進路変更推定ＥＣＵ２１では、ウィンカ操作情報、車速情報、ルート情報に基づいて、自車両の進路変更が有るか否かを判定し、進路変更が有る場合には進路変更の方向を特定する（Ｓ６）。

Ｓ６にて進路変更が有ると判定した場合、周辺認識ＥＣＵ２０では、カメラ１０による映像やレーダ情報に基づいて進路変更の方向に存在する遮蔽物を認識し、認識できた遮蔽物の位置や大きさを特定し、遮蔽物の有無や遮蔽物の位置や大きさの情報を含む遮蔽物情報を画像処理ＥＣＵ２２に出力する（Ｓ７）。

画像処理ＥＣＵ２２では、遮蔽物情報に基づいて、進路変更の方向に遮蔽物が存在するか否かを判定する（Ｓ８）。Ｓ８にて遮蔽物が存在すると判定した場合、画像処理ＥＣＵ２２では、電子ミラー映像においてその遮蔽物が存在する位置に遮蔽物を示すアニメーション画像を重畳する（Ｓ９）。

そして、画像処理ＥＣＵ２２では、電子ミラー映像をディスプレイ３０に出力する（Ｓ１０）。ディスプレイ３０では、入力した電子ミラー映像を表示する（Ｓ１０）。

この視界支援システム１によれば、電子ミラー映像としてカメラ映像のうち車両の乗員（特に、運転者）が必要とするものの切り出し映像だけを表示し、背景等の映像を表示しないので、自車両の走行に応じた背景等の後方に流れる映像が表示されず、表示映像の変化が抑制され、乗員の煩わしさを抑制できる。さらに、表示した切り出し映像によって、運転者に対して周辺の車両、人、二輪車への注意を促すことができる。その結果、運転の安全性が向上する。

また、視界支援システム１によれば、電子ミラー映像としてカメラ映像のうち車線を構成する白線の切り出し映像も表示するので、自車両及び周辺の車両、人、二輪車と白線との位置関係を把握でき、周辺状況（周辺環境）の認識性が向上する。

また、視界支援システム１によれば、自車両が進路変更する場合には電子ミラー映像としてその進路変更の方向に存在する遮蔽物をアニメーション画像として表示するので、進路変更する際に運転者に対して見通しの悪い死角領域への注意を促すことができ、運転者の誤認や過信を防止できる。その結果、運転の安全性が更に向上する。さらに、遮蔽物を無地のアニメーション画像で表示するので、その画像が後方に流れることなく、乗員の煩わしさを抑制できる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では光学ミラーに代わる後方及び後側方の視界支援システムに適用したが、前方や側方等の他の車両周辺の視界支援システムや車両周辺の監視システム等にも適用可能である。

また、本実施の形態では車線（白線）や地平線、遮蔽物も認識し、それらも表示する構成としたが、車線や地平線及び／又は遮蔽物を認識せず、車線や地平線及び／又は遮蔽物を表示しない構成としてもよい。また、本実施の形態では自車両のアニメーション画像を表示する構成としたが、自車両のアニメーション画像を表示しない構成としてもよい。

また、本実施の形態では自車両の進路変更の有無を判定し、自車両の進路変更の方向に応じて遮蔽物のアニメーション画像を表示する構成としたが、自車両の進路変更の有無を判断せず、自車両の進路変更に関係なく遮蔽物のアニメーション画像を表示する構成としてもよい。

また、本実施の形態では自車両周辺を認識するためにカメラによる映像とレーザレーダによるレーダ情報を用いる構成としたが、カメラによる映像だけを用いた認識でもよいし、レーザレーダによるレーダ情報だけを用いた認識でもよいし、あるいは、ミリ波レーダによるレーダ情報等の他の手段を用いた認識でもよい。

本発明は、車両周辺の状況を表示するための表示制御装置において、車両の乗員（特に、運転者）が注意を払うべき特定物の映像を表示するが、その特定物の背景となる映像を表示しないので、車両走行中に表示映像の変化が抑制され、乗員の煩わしさを抑制できる。

１…視界支援システム、１０…カメラ、１１…レーザレーダ、１２…ウィンカスイッチ、１３…車速センサ、１４…ナビゲーションシステム、２０…周辺認識ＥＣＵ、２１…進路変更推定ＥＣＵ、２２…画像処理ＥＣＵ、３０…ディスプレイ。

Claims (3)

1. 車両に搭載され、車両の後方及び後側方の状況を表示するための表示制御装置であって、
   車両の後方及び後側方を撮像する撮像手段と、
   前記撮像手段で撮像した映像を車内に表示する表示手段と、
   前記撮像手段で撮像した映像の中から特定物を抽出する抽出手段と、
   前記車両の進路変更を推定する進路変更推定手段と、
   を備え、
   前記撮像手段で撮像した映像のうち前記抽出手段で抽出した特定物の背景となる映像を前記表示手段に表示せず、
   前記車両が進路変更すると前記進路変更推定手段により判定され、且つ、進路変更の方向に前記特定物として遮蔽物が存在すると判定された場合に、前記遮蔽物を前記表示手段に表示することを特徴とする表示制御装置。
2. 前記特定物は、周辺車両又は／及び歩行者を含むことを特徴とする請求項１に記載の表示制御装置。
3. 前記特定物は、道路上の車線を含むことを特徴とする請求項２に記載の表示制御装置。

Images