JPWO2006075536A1 - 車両前方画像表示装置及び方法 - Google Patents

Abstract

カメラによって撮影された車両前方の白黒画像中のエッジを検出してそのエッジだけのエッジ画像を生成し、エッジ画像のエッジで区切られた区分領域を形成する対象物を判定し、エッジ画像の区分領域毎にその判定した対象物に対応した色を割り当てて推定カラー画像を作成する車両前方画像表示装置及び方法。

Description

本発明は、車両前方の画像を表示する車両前方画像表示装置及び方法に関する。

夜間に車両を運転する運転者のために、車両にカメラを搭載して周囲を撮影し、得られた画像を処理して道路上の白線などを認識する装置があることは既に知られている（特開平１１−２７２８４９号公報参照）。
しかしながら、夜間に車両を運転する運転者は、そのような従来装置を用いても道路以外の周囲の様子が確認できず、特に、初めて通る道路の場合には不安な心理状態になることが考えられる。

本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、夜間走行中における運転者の不安心理状態を緩和することができる車両前方画像表示装置及び方法を提供することが本発明の目的である。
本発明の車両前方画像表示装置は、車両に搭載されその車両前方を撮影して白黒画像を出力するカメラを備え、前記カメラによって撮影された前記車両前方の白黒画像を推定カラー画像に変換して表示する車両前方画像表示装置であって、前記白黒画像中のエッジを検出してそのエッジだけのエッジ画像を生成するエッジ画像生成手段と、前記エッジ画像のエッジで区切られた区分領域を形成する対象物を判定する対象物判定手段と、前記エッジ画像の区分領域毎に前記対象物判定手段によって判定された対象物に対応した色を割り当てて前記推定カラー画像を作成する推定カラー画像作成手段と、を備えたことを特徴としている。
本発明の車両前方画像表示方法は、車両に搭載されその車両前方をカメラによって撮影して得られた白黒画像を推定カラー画像に変換して表示する車両前方画像表示方法であって、前記白黒画像中のエッジを検出してそのエッジだけのエッジ画像を生成し、前記エッジ画像のエッジで区切られた区分領域を形成する対象物を判定し、前記エッジ画像の区分領域毎に判定した対象物に対応した色を割り当てて前記推定カラー画像を作成することを特徴としている。

図１は本発明の実施例を示すブロック図である。
図２は車両前方画像処理を示すフローチャートである。
図３Ａ及び図３Ｂはカメラから得られた白黒画像及びエッジ画像を示す図である。
図４はエッジ画像の４分割を示す図である。
図５は道路解析処理を示すフローチャートである。
図６は背景解析処理及び風景解析処理を示すフローチャートである。
図７は背景領域及び風景領域の小領域への分割を示す図である。
図８は対象物テーブルを示す図である。
図９は色テーブルを示す図である。
図１０は推定カラー画像を示す図である。
図１１は経路案内が推定カラー画像の道路部分に付加された画像を示す図である。
図１２は消失点によるエッジ画像の４分割を示す図である。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図１は本発明による車両前方画像表示装置を示している。この車両前方画像表示装置は、車両に搭載され、近赤外線カメラ１、近赤外線照射装置２、画像処理装置３、ナビゲーション装置４、表示装置５及び入力装置６を備えている。
近赤外線カメラ１は、夜間において近赤外線に感光して車両前方を撮影できるように車両に取り付けられている。近赤外線照射装置２は近赤外線カメラ１の撮影方向（車両前方）に近赤外線光を照射する。この実施例では近赤外線カメラ１と近赤外線照射装置２とは一体に形成されているが、個別に設けても良い。近赤外線カメラ１は画像処理装置３に接続され、近赤外線カメラ１によって撮影された画像データが画像処理装置３に供給される。また、近赤外線カメラ１は画像処理装置３によって近赤外線照射装置２と共に制御される。
画像処理装置３は、例えば、マイクロコンピュータからなり、近赤外線カメラ１から供給される画像データを入力して画像データが示す画像について車両前方画像処理する。その画像処理の詳細については後述する。
ナビゲーション装置４はＧＰＳ装置、車両運行検出部及びプロセッサ（共に図示せず）を備え、ＧＰＳ装置によって車両の現在位置及び進行方位を検出し、車両運行検出部によって車速、エンジン回転数等の車両の運行状態を検出し、それらの検出出力に応じてプロセッサがナビゲーション処理を行う構成を有する。
表示装置５はディスプレイからなり、画像処理装置３による車両前方画像処理又はナビゲーション装置４によるナビゲーション処理の結果を表示する。入力装置６は例えば、キーボードからなり、ユーザによる入力操作に応じた指令を画像処理装置３及びナビゲーション装置４に供給する。
車両前方画像処理においては画像処理装置３内のプロセッサ（図示せず）は、図２に示すように、先ず、近赤外線照射装置２に対して近赤外線照射指令を発する（ステップＳ１）。近赤外線照射指令に応答して近赤外線照射装置２は近赤外線カメラ１の撮影方向に近赤外線光を照射する。近赤外線照射指令の発生後、プロセッサは近赤外線カメラ１からの画像データを取り込み（ステップＳ２）、その画像データが示す白黒画像（静止画）についてエッジ抽出を行う（ステップＳ３）。ステップＳ３では白黒画像のエッジ、すなわち画像中の物体や色等の区切りとなる輪郭だけを抽出することが行われる。例えば、取り込まれた画像データが示す白黒画像が図３Ａに示す如き画像であるとすると、エッジ抽出した画像、すなわちエッジ画像は図３Ｂに示すようになる。
プロセッサは、そのエッジ画像を対角線で４つの領域に分割する（ステップＳ４）。図４に示すようにエッジ画像は４角形であり、対角線Ａ，Ｂによって上下及び左右の４つの領域に分割される。上方領域は背景領域、下方領域は道路領域、左右領域は風景領域とされる。そして、下方領域の画像に応じて道路領域解析処理を行い（ステップＳ５）、左右領域の画像に応じて風景領域解析処理を行い（ステップＳ６）、上方領域の画像に応じて背景領域解析処理を行う（ステップＳ７）。
ステップＳ５の道路領域解析処理では、図５に示すように、道路領域内で白線認識が行われ（ステップＳ５１）、白線認識結果の白線領域が白色に変換され（ステップＳ５２）、白線領域以外のエッジで囲まれた領域が灰色に変換される（ステップＳ５３）。すなわち、道路上の白線が認識され、その白線の領域が白色にされ、それ以外のエッジで囲まれた領域はアスファルト部分と見なすことができるので、そのアスファルト部分の領域が灰色にされる。
ステップＳ６の風景領域解析処理及びステップＳ７の背景領域解析では、図６に示すように、その風景領域及び背景領域各々の領域が小正方形の小領域（セル）に分割され（ステップＳ６１）、小領域毎にフラクタル次元の値が算出される（ステップＳ６２）。図３Ｂのエッジ抽出した画像に対して風景領域及び背景領域には例えば、図７に示すように小領域が形成される。その小領域毎のフラクタル次元解析が行われ、その結果としてフラクタル次元の値が得られる。フラクタル次元解析については例えば、特開２０００−５７３５３号公報に示されている。抽出されたエッジで区切られた区分領域毎にフラクタル次元の値の平均値を算出し（ステップＳ６３）、その平均値に対応する対象物を判定し（ステップＳ６４）、更に、対象物に対応する色に変換する（ステップＳ６５）ことが行われる。平均値の算出では例えば、図７に示すように１つの対象物を含む小領域全て（図７の塗りつぶし部分Ｃ）のフラクタル次元について平均値がとられる。フラクタル次元の値と対象物との間には、風景領域及背景領域の各々で図８に示すような対応関係がほぼある。この対応関係を示す対象物テーブルを用いてステップＳ６４では対象物が設定される。また、対象物と色との間には、図９に示すような対応関係を色テーブルとして予め用意しておき、色テーブルを用いてステップＳ６５では区分領域の色変換が実行される。例えば、風景領域の１つの区分領域のフラクタル次元の平均値が１．１であった場合には、その領域は建造物と判定され、ベージュや白などの建物の色がランダムに設定される。図１０は図３Ｂのエッジ抽出した画像に対するステップＳ５２、Ｓ５３及びＳ６５の処理の結果として道路及び区分領域毎に色を付加した画像を示している。各領域の解析処理を行った後の画像は色付加画像、すなわち車両前方の推定カラー画像となる。なお、対象物テーブル及び色テーブルは画像処理装置３内のメモリ（図示せず）に予め記憶されている。
画像処理装置３内のプロセッサは、ステップＳ５〜Ｓ７各々の解析処理後、ナビゲーション装置４から経路案内情報を取得して経路案内情報に基づいた画像を解析処理後の推定カラー画像に合成してその合成後の映像を表示装置７にて表示させる（ステップＳ８）。
ナビゲーション処理としては、入力装置６からの入力操作に応じて目的地が受け入れられ、ＧＰＳ装置から車両の現在地及び進行方位がデータとして得られ、現在地から目的地への経路が演算される。演算された経路が経路案内情報として画像処理装置３に供給される。ステップＳ８では経路案内情報に示される経路が推定カラー画像の道路部分に付加される。表示装置７には、例えば、図１１に示すように経路を示す矢印画像（黄緑）が推定カラー画像の道路部分に合成されて表示される。
ステップＳ８の実行後、車両前方画像処理を継続するか否かを判別し（ステップＳ９）、例えば、入力装置６の操作入力に応じて継続する場合にはステップＳ１に戻って上記のステップＳ１〜Ｓ９の動作を繰り返す。一方、継続しない場合には、車両前方画像処理を終了する。
上記した実施例においては、近赤外線カメラ１で撮影した白黒画像に対してエッジを抽出して対象物を認識し易くするだけでなく、道路を灰色に、建造物や樹木等はそれとして適切な色に変換するので、運転者等のユーザに理解しやすい経路案内画像を提供することができる。また、近赤外線カメラ１により撮影された白黒画像をカラー画像化するので、夜間でも利用可能となる。更に、夜間でリアルタイムに昼に近い画像を提供することができる。
また、上記した実施例においては、フラクタル次元から対象物を判定してその対象物に適したカラー画像化を行って推定カラー画像を得るので、ユーザは推定カラー画像から対象物を容易に識別することができる。
更に、上記した実施例においては、ステップＳ４ではエッジ抽出画像を対角線で道路領域、左右風景領域及び背景領域に分割するが、その４つの領域に分ける方法として、前方道路の消失点を中心とした領域分けを行っても良い。特開平０８−１５９７１６号公報に開示されたように、撮影された画像から白線認識をすることより消失点を求める方法を用いることができる。すなわち、図１２に示すように、消失点から画像の四隅への直線で領域を４つに分け、下方領域を道路領域、左右領域を風景領域、上方領域を背景領域として解析を行うことができる。近赤外線カメラの取り付け位置や走行時の移動体や近赤外線カメラの振動により、撮影された画像の消失点が２本の対角線が交差する中心からずれて、対角線で分けた４つの領域が正しく領域分けできない場合があるので、消失点を中心として４領域に分割することによりそれに対処することができる。
また、上記した実施例においては、近赤外線カメラを用いて夜間に車両前方を撮影して白黒映像を得るようにしたが、通常のカメラで昼間に車両前方を撮影して白黒映像を得てそれを推定カラー映像に変換しても良い。
更に、対象物部分に色を付加する方法として近赤外線カメラ画像の輝度情報に応じた色を用い相対的に色を付加しても良い。また、カメラから得られた白黒画像から前方車両を認識して自動車として色を付加しても良い。暗視カメラは発色が少ないため、そのようなカメラを用いた場合にも本発明を適用することができる。また、対象物の表面の質感を表現するためテクスチャーを画像に貼って更にリアルに表現しても良い。
以上のように、本発明によれば、カメラによって撮影された車両前方の白黒画像中のエッジを検出してそのエッジだけのエッジ画像を生成するエッジ画像生成手段と、エッジ画像のエッジで区切られた区分領域を形成する対象物を判定する対象物判定手段と、エッジ画像の区分領域毎に対象物判定手段によって判定された対象物に対応した色を割り当てて推定カラー画像を作成する推定カラー画像作成手段と、を備えたので、運転者は車両前方の推定カラー画像をみることができ、知らない道を夜間走行する場合でも運転者の不安心理を緩和させることができる。

【発明の名称】車両前方画像表示装置及び方法

【０００１】
【技術分野】
本発明は、車両前方の画像を表示する車両前方画像表示装置及び方法に関する。
【背景技術】
夜間に車両を運転する運転者のために、車両にカメラを搭載して周囲を撮影し、得られた画像を処理して道路上の白線などを認識する装置があることは既に知られている（特開平１１−２７２８４９号公報参照）。
しかしながら、夜間に車両を運転する運転者は、そのような従来装置を用いても道路以外の周囲の様子が確認できず、特に、初めて通る道路の場合には不安な心理状態になることが考えられる。
【発明の開示】
本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、夜間走行中における運転者の不安心理状態を緩和することができる車両前方画像表示装置及び方法を提供することが本発明の目的である。
本発明の車両前方画像表示装置は、車両に搭載されその車両前方を撮影して白黒画像を出力するカメラを備え、前記カメラによって撮影された前記車両前方の白黒画像を推定カラー画像に変換して表示する車両前方画像表示装置であって、前記白黒画像中のエッジを検出してそのエッジだけのエッジ画像を生成するエッジ画像生成手段と、前記エッジ画像を２つの交差線で上方領域、下方領域、左方領域及び右方領域の４領域に分ける４分割手段と、前記４領域各々の領域内のエ

【０００２】
ッジ画像を形成する対象物を判定する対象物判定手段と、前記４領域の領域毎に前記対象物判定手段によって判定された対象物に対応した色を割り当てて前記推定カラー画像を作成する推定カラー画像作成手段、を備えたことを特徴としている。
本発明の車両前方画像表示方法は、車両に搭載されたカメラによってその車両前方を撮影して得られた白黒画像を推定カラー画像に変換して表示する車両前方画像表示方法であって、前記白黒画像中のエッジを検出してそのエッジだけのエッジ画像を生成し、前記エッジ画像を２つの交差線で上方領域、下方領域、左方領域及び右方領域の４領域に分割し、前記４領域各々の領域内のエッジ画像を形成する対象物を判定し、前記４領域の領域毎に判定した対象物に対応した色を割り当てて前記推定カラー画像を作成することを特徴としている。
【図面の簡単な説明】
図１は本発明の実施例を示すブロック図である。
図２は車両前方画像処理を示すフローチャートである。
図３Ａ及び図３Ｂはカメラから得られた白黒画像及びエッジ画像を示す図である。
図４はエッジ画像の４分割を示す図である。
図５は道路解析処理を示すフローチャートである。
図６は背景解析処理及び風景解析処理を示すフローチャートである。
図７は背景領域及び風景領域の小領域への分割を示す図である。
図８は対象物テーブルを示す図である。
図９は色テーブルを示す図である。
図１０は推定カラー画像を示す図である。
図１１は経路案内が推定カラー画像の道路部分に付加された画像を示す図である。

【０００１】
［技術分野］
本発明は、車両前方の画像を表示する車両前方画像表示装置及び方法に関する。
［背景技術］
夜間に車両を運転する運転者のために、車両にカメラを搭載して周囲を撮影し、得られた画像を処理して道路上の白線などを認識する装置があることは既に知られている（特開平１１−２７２８４９号公報参照）。
しかしながら、夜間に車両を運転する運転者は、そのような従来装置を用いても道路以外の周囲の様子が確認できず、特に、初めて通る道路の場合には不安な心理状態になることが考えられる。
［発明の開示］
本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、夜間走行中における運転者の不安心理状態を緩和することができる車両前方画像表示装置及び方法を提供することが本発明の目的である。
本発明の車両前方画像表示装置は、車両に搭載されその車両前方を撮影して白黒画像を出力するカメラを備え、前記カメラによって撮影された前記車両前方の白黒画像を推定カラー画像に変換して表示する車両前方画像表示装置であって、前記白黒画像中のエッジを検出してそのエッジだけのエッジ画像を生成するエッジ画像生成手段と、前記エッジ画像を２つの交差線で上方領域、下方領域、左方領域及び右方領域の４領域に分ける４分割手段と、前記４領域各々の領域内のエ

【０００２】
ッジ画像を形成する対象物を判定する対象物判定手段と、前記４領域の領域毎に前記対象物判定手段によって判定された対象物に対応した色を割り当てて前記推定カラー画像を作成する推定カラー画像作成手段、を備えたことを特徴としている。
本発明の車両前方画像表示方法は、車両に搭載されたカメラによってその車両前方を撮影して得られた白黒画像を推定カラー画像に変換して表示する車両前方画像表示方法であって、前記白黒画像中のエッジを検出してそのエッジだけのエッジ画像を生成し、前記エッジ画像を２つの交差線で上方領域、下方領域、左方領域及び右方領域の４領域に分割し、前記４領域各々の領域内のエッジ画像を形成する対象物を判定し、前記４領域の領域毎に判定した対象物に対応した色を割り当てて前記推定カラー画像を作成することを特徴としている。
［図面の簡単な説明］
図１は本発明の実施例を示すブロック図である。
図２は車両前方画像処理を示すフローチャートである。
図３Ａ及び図３Ｂはカメラから得られた白黒画像及びエッジ画像を示す図である。
図４はエッジ画像の４分割を示す図である。
図５は道路解析処理を示すフローチャートである。
図６は背景解析処理及び風景解析処理を示すフローチャートである。
図７は背景領域及び風景領域の小領域への分割を示す図である。
図８は対象物テーブルを示す図である。
図９は色テーブルを示す図である。
図１０は推定カラー画像を示す図である。
図１１は経路案内が推定カラー画像の道路部分に付加された画像を示す図である。

Claims (9)

1. 車両に搭載されその車両前方を撮影して白黒画像を出力するカメラを備え、前記カメラによって撮影された前記車両前方の白黒画像を推定カラー画像に変換して表示する車両前方画像表示装置であって、
   前記白黒画像中のエッジを検出してそのエッジだけのエッジ画像を生成するエッジ画像生成手段と、
   前記エッジ画像のエッジで区切られた区分領域を形成する対象物を判定する対象物判定手段と、
   前記エッジ画像の区分領域毎に前記対象物判定手段によって判定された対象物に対応した色を割り当てて前記推定カラー画像を作成する推定カラー画像作成手段と、を備えたことを特徴とする車両前方画像表示装置。
2. 前記対象物判定手段は、前記エッジ画像を２つの交差線で上方領域、下方領域及び左右領域の４領域に分ける４分割手段と、
   前記４領域のうちの下方領域のエッジ画像に応じて道路の白線認識を行う白線認識手段と、
   前記４領域のうちの下方領域及び左右領域の前記エッジ画像のエッジで区切られた区分領域毎にフラクタル次元解析を行うフラクタル次元解析手段と、
   前記区分領域毎に前記フラクタル次元解析手段によって解析結果に対応する対象物を設定する対象物設定手段と、を備え、
   前記推定カラー画像作成手段は、前記白線認識手段によって認識された前記下方領域内の道路の白線領域を白に変換し、その他の領域を灰色に変換する手段と、
   対象物と色との対応関係を示す色テーブルを有し、前記対象物設定手段によって設定された対象物に対応した色を前記色テーブルを用いて設定して前記エッジ画像のその対象物部分を設定色に変換する色設定手段と、を備えたことを特徴とする請求項１記載の車両前方画像表示装置。
3. 前記４分割手段は、前記エッジ画像を２つの対角線で前記４領域に分けることを特徴とする請求項２記載の車両前方画像表示装置。
4. 前記４分割手段は、前記エッジ画像を道路の消失点を中心として前記エッジ画像の四隅を結ぶ線で前記４領域に分けることを特徴とする請求項２記載の車両前方画像表示装置。
5. 前記フラクタル次元算出手段は、前記４領域のうちの下方領域及び左右領域を正方形の小領域に分割する小分割手段と、
   前記小領域毎にフラクタル次元を算出するフラクタル次元算出手段と、
   前記区分領域毎に前記フラクタル次元算出手段によって算出されたフラクタル次元の平均値を算出してその平均値を前記解析結果とする平均値算出手段と、を備えたことを特徴とする請求項２記載の車両前方画像表示装置。
6. 前記対象物設定手段は、前記解析結果と色との対応関係を示す対象物テーブルを前記下方領域及び左右領域各々で有し、前記フラクタル次元解析手段によって解析されたフラクタル次元の値に対応した対象物を前記対象物テーブルを用いて設定することを特徴とする請求項２記載の車両前方画像表示装置。
7. 前記カメラは近赤外線カメラであり、前記近赤外線カメラの撮影方向に近赤外線光を照射する近赤外線照射装置を含むことを特徴とする請求項１記載の車両前方画像表示装置。
8. 前記推定カラー画像作成手段によって生成された前記推定カラー画像にナビゲーション装置による経路案内画像を合成する合成手段と、
   前記合成手段によって合成された画像を表示する表示手段と、を備えたことを特徴とする請求項１記載の車両前方画像表示装置。
9. 車両に搭載されその車両前方をカメラによって撮影して得られた白黒画像を推定カラー画像に変換して表示する車両前方画像表示方法であって、
   前記白黒画像中のエッジを検出してそのエッジだけのエッジ画像を生成し、
   前記エッジ画像のエッジで区切られた区分領域を形成する対象物を判定し、
   前記エッジ画像の区分領域毎に判定した対象物に対応した色を割り当てて前記推定カラー画像を作成することを特徴とする車両前方画像表示方法。

Images