JP6258842B2 - 画像処理装置、及び車線境界線認識システム - Google Patents

Description

本発明は、画像処理装置、及び車線境界線認識システムに関する。

従来、カメラを用いて自車両の前方を撮影し、得られた画像データにおいて車線境界線を認識する技術が知られている。車線境界線の認識は、まず、画像データにおいて輝度変化が大きいエッジ点を抽出し、次に、エッジ点を通る近似直線をフィッティングにより算出する方法で行われる。

画像データにスパイクノイズが生じることがある。この現象は、夜間、カメラのデジタルゲインを大きくし、熱が発生するとき顕著になる。そこで、補間処理によりノイズを低減しようとする技術が提案されている（特許文献１、２参照）。

特開２００９−５５２８１号公報 特開２００９−２０６５５３号公報

特許文献１記載の技術は、注目画素から離れた、注目画素と同じ色を保持する画素を用いて補間処理を行う。そのため、補間後の注目画素は、色がぼやけてコントラストがはっきりしなくなってしまう。また、特許文献２記載の技術では、注目画素の周辺における２５画素の輝度値をソーティングして補間処理を行うため、処理負荷が大きくなってしまう。

本発明は、こうした問題にかんがみてなされたものであり、上述した問題を解決できる画像処理装置及び車線境界線認識システムを提供することを目的としている。

本発明の第１の画像処理装置は、赤の輝度値を保持するＲ画素と、青の輝度値を保持するＢ画素と、緑の輝度値を保持するＧ画素と、赤、青、及び緑を含む波長領域の輝度値を保持するＣ画素と、を有する画像データを取得する画像データ取得ユニットと、Ｒ画素、Ｂ画素、及びＧ画素のうちのいずれかである注目画素の輝度値Ｖａｌｘと、注目画素に最も近いＣ画素の輝度値Ｖａｌｃと、定数αとについて、以下の式（１）が成立するか否かを判定する判定ユニットと、式（１）が成立することを条件として、注目画素の輝度値Ｖａｌｘを、輝度値Ｖａｌｃよりも小さくなるように補正する補正ユニットと、を備える。

式（１） Ｖａｌｃ−Ｖａｌｘ＜α
本発明の第１の画像処理装置は、注目画素に最も近いＣ画素の輝度値Ｖａｌｃを用いて判定を行い、判定結果に応じて、補正後における注目画素の輝度値を、輝度値Ｖａｌｃよりも小さくなるようにする。

そのため、画像データにおけるノイズを低減することができる。また、注目画素に最も近いＣ画素を用いて判定、及び補正を行うので、補正後における注目画素の色がぼやけてコントラストがはっきりしなくなってしまうようなことが起こり難い。また、注目画素の周辺における２５画素の輝度値をソーティングして補間処理する方法に比べ、画像処理装置の処理負担を軽減することができる。

本発明の第２の画像処理装置は、少なくとも、赤色の波長領域の輝度値を保持するＲ画素を含む第１画素群と、第１画素群の色を含む波長領域の輝度値を保持するＣ画素と、を有する画像データを取得する画像データ取得ユニットと、第１画素群のうちのいずれかである注目画素の輝度値Ｖａｌｘが、注目画素の周辺のＣ画素の輝度値Ｖａｌｃを超える場合、注目画素の輝度値Ｖａｌｘを、輝度値Ｖａｌｃよりも小さくなるように補正する補正ユニットと、を備えることを特徴とする。

本発明の第２の画像処理装置によれば、画像データにおけるノイズを低減することができる。また、注目画素の周辺における２５画素の輝度値をソーティングして補間処理する方法に比べ、画像処理装置の処理負担を軽減することができる。

本発明の車線境界線認識システムは、上述した画像処理装置と、その画像処理装置により処理された画像データを用いて車線境界線を認識する車線境界線認識装置とを備える。本発明の車線境界線認識システムは、上述した画像処理装置の効果を奏することができる。また、本発明の車線境界線認識システムは、車線境界線を精度よく認識することができる。

画像処理装置１及び車線境界線認識システム１６の構成を表すブロック図である。 自車両１７におけるカメラ１１の配置を表す側面図である。 画像データにおける画素の配列を表す説明図である。 画像処理装置１が実行する係数算出処理を表すフローチャートである。 画像処理装置１が実行する補正処理を表すフローチャートである。 ＲＣＣＣベイヤーの画像データを表す説明図である。

本発明の実施形態を図面に基づき説明する。
＜第１の実施形態＞
１．画像処理装置１の構成
画像処理装置１の構成を図１〜図３に基づき説明する。画像処理装置１は車両に搭載される車載装置である。以下では、画像処理装置１が搭載された車両を自車両とする。画像処理装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えた周知のコンピュータである。画像処理装置１は、ＲＯＭに記憶されたプログラムにより、後述する処理を実行する。

図１に示すように、画像処理装置１は、機能的に、画像データ取得ユニット３、判定ユニット５、補正ユニット７、及び係数算出ユニット９を備える。各ユニットの機能は後述する。

自車両は、画像処理装置１に加えて、カメラ１１、車線境界線認識装置１３、及び警報生成部１５を備える。カメラ１１は、図２に示すように、自車両１７の車室内のうち、前寄りの位置に取り付けられている。カメラ１１は、自車両１７の前方を撮像可能である。カメラ１１により撮像した画像には、自車両１７の前方の道路が含まれる。

カメラ１１は、画像データを画像データ取得ユニット３に出力する。この画像データは、図３に示すように、赤の輝度値を保持するＲ（レッド）画素と、青の輝度値を保持するＢ（ブルー）画素と、緑の輝度値を保持するＧ（グリーン）画素と、赤、青、及び緑を含む波長領域の輝度値を保持するＣ（クリア）画素とを有するものである。図３において「Ｒ」はＲ画素を表し、「Ｂ」はＢ画素を表し、「Ｇ」はＧ画素を表し、「Ｃ」はＣ画素を表す。

画像データにおける各画素の配列はベイヤー配列である。画像データは２５６階調を有し、Ｒ画素、Ｂ画素、Ｇ画素、及びＣ画素は、それぞれ、０〜２５５の範囲内の輝度値（階調値）を有する。

車線境界線認識装置１３は、画像処理装置１により処理された画像データを用いて、車線境界線（例えば白線、ポッツドッツ等）を認識する。車線境界線認識装置１３と画像処理装置１とは、車線境界線認識システム１６を構成する。

警報生成部１５は、車線境界線認識装置１３により認識した車線境界線を自車両が逸脱する危険があるか否かを判断する。逸脱する危険がある場合としては、例えば、自車両と車線境界線との車幅方向での距離が小さい場合、自車両の進行方向が車線から逸脱する方向である場合、又はその両方である場合等が挙げられる。警報生成部１５は、逸脱する危険があると判断した場合は自車両のドライバに対し警報を出力する。

２．画像処理装置１が実行する係数算出処理
画像処理装置１（特に画像データ取得ユニット３及び係数算出ユニット９）が実行する係数算出処理を、図３、図４に基づき説明する。この処理は、所定時間ごとに繰り返し実行される。

図４のステップ１では、カメラ１１を用いて画像データを取得する。
ステップ２では、後述するステップ３〜６を実行した回数を表すパラメータｉの値を１とする。

ステップ３では、画像データにおいて、Ｒ画素、Ｂ画素、及びＧ画素のうちのいずれかである１つの画素をランダムに選択する。以下では、選択した画素を選択画素とする。なお、画素の選択はランダムに行われるので、ステップ３の処理を繰り返し行った場合、選択される画素の位置は、画像データ中でランダムに分散する。

ステップ４では、直前の前記ステップ３で選択した選択画素の輝度値ｖｘを取得する。
ステップ５では、まず、直前の前記ステップ３で選択した選択画素に最も近いＣ画素を選択する。以下では、このように選択されたＣ画素を、隣接Ｃ画素とする。選択画素に最も近いＣ画素が複数存在する場合は、その複数のＣ画素全てを隣接Ｃ画素とする。

例えば、図３において、符号Ｐ１が付されたＲ画素に対応する隣接Ｃ画素は、符号Ｐ２が付されたＣ画素と、符号Ｐ３が付されたＣ画素との２つである。また、符号Ｐ４が付されたＧ画素に対応する隣接Ｃ画素は、符号Ｐ２が付されたＣ画素と、符号Ｐ５が付されたＣ画素と、符号Ｐ６が付されたＣ画素と、符号Ｐ７が付されたＣ画素との４つである。また、符号Ｐ８が付されたＢ画素に対応する隣接Ｃ画素は、符号Ｐ２が付されたＣ画素と、符号Ｐ７が付されたＣ画素との２つである。

次に、隣接Ｃ画素の輝度値であるｖｃを取得する。隣接Ｃ画素が複数ある場合は、その複数の隣接Ｃ画素における輝度値の平均値をｖｃとする。
ステップ６では、直前の前記ステップ４で取得したｖｘを、直前の前記ステップ５で取得したｖｃで割った値である（ｖｘ／ｖｃ）を算出する。

ステップ７では、パラメータｉの値を１だけ増加させる。
ステップ８では、パラメータｉの値が、予め設定された定数Ｉより大きいか否かを判断する。Ｉより大きい場合はステップ９に進み、Ｉ以下である場合はステップ３に進む。なお、パラメータｉの値がＩより大きいということは、前記ステップ３〜６の処理をＩ回繰り返し、（ｖｘ／ｖｃ）の値をＩ個得たことに等しい。なお、Ｉは自然数であり、例えば、１〜１００００の間で適宜設定できる。

ステップ９では、Ｉ個の（ｖｘ／ｖｃ）の平均値を算出し、その平均値を係数Ｋとする。
３．画像処理装置１が実行する補正処理
画像処理装置１が実行する補正処理を図５に基づき説明する。この補正処理は、カメラ１１を用いて自車両の前方を撮影した画像データを取得し、その画像データを用いて車線境界線を認識するときに実行される。

図５のステップ１１では、画像データ取得ユニット３が、カメラ１１を用いて画像データを取得する。
ステップ１２では、判定ユニット５が、前記ステップ１１で取得した画像データにおいて、Ｒ画素、Ｂ画素、及びＧ画素のうちのいずれかである１つの画素を選択する。以下では、この画素を注目画素とする。注目画素は、後述するステップ１３〜１６における判定、及び補正の対象となる画素である。

なお、注目画素の選択は、後述するステップ１７で肯定判断がなされるまで、繰り返し行われる。注目画素の選択は、既に選択された画素を除いた画素の中から、予め決められた順番に従って行われる。

ステップ１３では、判定ユニット５が、直前の前記ステップ１２で選択した注目画素の輝度値Ｖａｌｘを取得する。
ステップ１４では、判定ユニット５が、まず、直前の前記ステップ１２で選択した注目画素に最も近いＣ画素を選択する。以下では、このように選択されたＣ画素を、注目隣接Ｃ画素とする。注目画素に最も近いＣ画素が複数存在する場合は、その複数のＣ画素全てを注目隣接Ｃ画素とする。

例えば、図３において、符号Ｐ１が付されたＲ画素に対応する注目隣接Ｃ画素は、符号Ｐ２が付されたＣ画素と、符号Ｐ３が付されたＣ画素との２つである。また、符号Ｐ４が付されたＧ画素に対応する注目隣接Ｃ画素は、符号Ｐ２が付されたＣ画素と、符号Ｐ５が付されたＣ画素と、符号Ｐ６が付されたＣ画素と、符号Ｐ７が付されたＣ画素との４つである。また、符号Ｐ８が付されたＢ画素に対応する注目隣接Ｃ画素は、符号Ｐ２が付されたＣ画素と、符号Ｐ７が付されたＣ画素との２つである。

次に、注目隣接Ｃ画素の輝度値であるＶａｌｃを取得する。注目隣接Ｃ画素が複数ある場合は、その複数の注目隣接Ｃ画素における輝度値の平均値をＶａｌｃとする。
ステップ１５では、判定ユニット５が、以下の式（１）が成立するか否かを判定する。

式（１） Ｖａｌｃ−Ｖａｌｘ＜０
前記式（１）が成立する場合は、輝度値Ｖａｌｘが異常であると判定してステップ１６に進む。一方、式（１）が成立しない場合は、輝度値Ｖａｌｘが正常であると判定してステップ１７に進む。

ステップ１６では、補正ユニット７が、直前の前記ステップ１２で選択した注目画素の輝度値を、注目隣接Ｃ画素の輝度値より小さくなるように補正する。具体的には、注目画素における補正後の輝度値を、Ｋ・Ｖａｌｃとする。なお、このＫは、上述した係数算出処理により算出した係数である。

ステップ１７では、前記ステップ１１で取得した画像データのうち、判定及び補正すべき領域に属する、Ｒ画素、Ｂ画素、及びＧ画素の全てを、注目画素として選択し終えたか否かを判断する。注目画素として選択し終えた場合は本処理を終了し、未だ選択していない画素が残っている場合はステップ１２に進み、未だ選択していない画素の１つを注目画素として選択する。

なお、画像データのうち、判定及び補正すべき領域は、画像データの全体であってもよいし、一部であってもよい。画像データの一部としては、例えば、車線境界線の認識を行う領域等が挙げられる。

４．車線境界線認識装置１３が実行する処理
車線境界線認識装置１３は、画像処理装置１により処理された画像データを用い、周知の方法で車線境界線を認識する。すなわち、まず、画像データに対しデモザイキング処理を行い、次に、画像データにおいて輝度の変化が大きい画素を、エッジ点として抽出する。次に、エッジ点を通る近似直線をフィッティング（例えばハフ変換）により算出し、これを車線境界線候補とする。次に、車線境界線候補ごとに、車線境界線らしさ（尤度）を算出し、車線境界線候補のうち、車線境界線らしさが所定の閾値以上であるものを、車線境界線として認識する。

５．画像処理装置１、及び車線境界線認識システム１６が奏する効果
（１Ａ）注目画素の輝度値Ｖａｌｘは、注目隣接Ｃ画素の輝度値Ｖａｌｃより小さいはずである。輝度値Ｖａｌｘが輝度値Ｖａｌｃより大きい場合、その輝度値Ｖａｌｘはノイズの影響を受けている可能性が高い。画像処理装置１は、輝度値Ｖａｌｘが輝度値Ｖａｌｃより大きい場合、輝度値Ｖａｌｘを、輝度値Ｖａｌｃより小さくなるように補正する。そのため、ノイズの影響を低減することができる。

（１Ｂ）画像処理装置１は、注目画素の輝度値Ｖａｌｘが異常であるか否かを、注目隣接Ｃ画素の輝度値Ｖａｌｃと対比して判定する。そのため、注目隣接Ｃ画素よりも遠い画素と対比する場合よりも、注目画素の輝度値Ｖａｌｘが異常であるか否かを正確に判定できる。また、注目画素と対比する対象に、Ｃ画素だけでなく、Ｒ画素、Ｇ画素、Ｂ画素も含める方法に比べ、画像処理装置１の処理負荷を軽減できる。

（１Ｃ）画像処理装置１は、選択画素の輝度値ｖｘと、隣接Ｃ画素の輝度値ｖｃとの比である（ｖｘ／ｖｃ）を、画像データにおける複数の位置で取得し、取得した値の平均値Ｋを算出する。そして、注目画素における補正後の輝度値を、Ｋ・Ｖａｌｃとする。

そのことにより、画像データの特性に応じて、適切に注目画素の輝度値を補正することができる。また、上記のように補正を行うことにより、補正後の注目画素の色がぼやけてコントラストがはっきりしなくなってしまうようなことを抑制できる。また、画像処理装置１の処理負荷を軽減できる。

（１Ｄ）車線境界線認識システム１６は、画像処理装置１により処理された画像データを用い、車線境界線認識装置１３により、車線境界線を認識する。画像処理装置１により処理された画像データでは、前記（１Ａ）で述べたように、ノイズが低減されている。よって、車線境界線認識システム１６は、精度よく車線境界線を認識することができる。
＜その他の実施形態＞
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。

（１）前記ステップ１６において、注目画素における補正後の輝度値は、注目隣接画素の輝度値Ｖａｌｃに、１より小さい定数（例えば１／２）を乗算した値であってもよい。この場合、係数Ｋを算出する必要がないので、画像処理装置１の処理負担を軽減できる。

（２）前記ステップ１５の判断で用いる式（１）は、以下のものであってもよい。
Ｖａｌｃ−Ｖａｌｘ＜α
ここで、αは正の数であってもよいし、負の数であってもよい。

（３）前記ステップ１５において、（Ｖａｌｘ／Ｖａｌｃ）を算出し、その値が定数βより大きければ輝度値Ｖａｌｘが異常であると判定し、β以下であれば、輝度値Ｖａｌｘが正常であると判定してもよい。βは正の値であるという条件の下で適宜設定でき、例えば、１とすることができる。

（４）画像データにおけるＲ画素、Ｂ画素、Ｇ画素の配列は、ベイヤー配列以外の配列であってもよい。
（５）画像処理装置１が処理する画像データは、少なくとも、赤色の波長領域の輝度値を保持するＲ画素を含む第１画素群と、前記第１画素群の色を含む波長領域の輝度値を保持するＣ画素と、を有する画像データであってもよい。この画像データとしては、例えば、図６に示す、ＲＣＣＣベイヤーの画像データが挙げられる。図６において「Ｒ」はＲ画素を表し、「Ｃ」はＣ画素を表す。

第１画素群は、Ｒ画素から成るものであってもよいし、Ｒ画素に加えて他の画素（例えば、Ｂ画素、Ｇ画素の一方又は両方）を有するものであってもよい。第１画素群の色を含む波長領域とは、第１画素群がＲ画素から成る場合は、少なくとも赤色の波長領域を含む波長領域であり、第１画素群が、Ｒ画素及び他の色の画素を含む場合は、赤色の波長領域及び前記他の色の波長領域を含む波長領域である。

第１画素群のうちのいずれかである注目画素の輝度値Ｖａｌｘが、注目画素の周辺のＣ画素（例えば、注目画素に最も近いＣ画素）の輝度値Ｖａｌｃを超える場合、注目画素の輝度値Ｖａｌｘを、輝度値Ｖａｌｃよりも小さくなるように補正することができる。

注目画素の選択、ＶａｌｘがＶａｌｃを超えるか否かの判断、及び補正の方法は、前記第１の実施形態と同様とすることができる。また、補正の方法は、注目画素の周辺のＣ画素の輝度値Ｖａｌｃに、１より小さい定数（例えば１／２）を乗算した値を補正後の値とする方法であってもよい。

（６）画像処理装置１は、車載装置以外の装置であってもよい。また、画像処理装置１は、車線境界線の認識以外の用途（例えば、車両、歩行者、道路形状、路面状態、及び光源等を認識する用途）に用いられるものであってもよい。

（７）前記ステップ５の処理において、選択画素に最も近いＣ画素が複数ある場合、その一部を隣接Ｃ画素としてもよい。また、前記ステップ１４の処理において、注目画素に最も近いＣ画素が複数ある場合、その一部を注目隣接Ｃ画素としてもよい。

（８）前記ステップ３の処理において、選択する画素の位置は固定されていてもよい。
（９）画像データの階調数は適宜設定することができ、例えば、６４、１２８、５１２、１０２４等とすることができる。

（１０）前記ステップ９において、（ｖｘ／ｖｃ）の時間平均を係数Ｋとしてもよい。
（１１）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（１２）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、画像処理方法、車線境界線認識方法等、種々の形態で本発明を実現することもできる。

１…画像処理装置、３…画像データ取得ユニット、５…判定ユニット、７…補正ユニット、９…係数算出ユニット、１１…カメラ、１３…車線境界線認識装置、１５…警報生成部、１６…車線境界線認識システム、１７…自車両

Claims (5)

1. 赤の輝度値を保持するＲ画素と、青の輝度値を保持するＢ画素と、緑の輝度値を保持するＧ画素と、赤、青、及び緑を含む波長領域の輝度値を保持するＣ画素と、を有する画像データを取得する画像データ取得ユニット（３）と、
   前記Ｒ画素、前記Ｂ画素、及び前記Ｇ画素のうちのいずれかである注目画素の輝度値Ｖａｌｘと、前記注目画素に最も近い前記Ｃ画素の輝度値Ｖａｌｃと、０又は負の数である定数αとについて、以下の式（１）が成立するか否かを判定する判定ユニット（５）と、
   前記式（１）が成立することを条件として、前記注目画素の前記輝度値Ｖａｌｘを、前記輝度値Ｖａｌｃよりも小さくなるように補正する補正ユニット（７）と、
   を備えることを特徴とする画像処理装置（１）。
   式（１） Ｖａｌｃ−Ｖａｌｘ＜α
2. 請求項１に記載の画像処理装置であって、
   前記Ｒ画素、前記Ｂ画素、及び前記Ｇ画素のうちのいずれかである画素の輝度値ｖｘと、その画素に最も近い前記Ｃ画素の輝度値ｖｃとの比であるｖｘ／ｖｃを、前記画像データにおける複数の位置で取得し、取得した値の平均値Ｋを算出する係数算出ユニット（９）を備え、
   前記補正ユニットは、前記注目画素における補正後の輝度値を、Ｋ・Ｖａｌｃとすることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記補正ユニットは、前記注目画素における補正後の輝度値を、前記輝度値Ｖａｌｃに、１より小さい定数を乗算した値とすることを特徴とする画像処理装置。
4. 少なくとも、赤色の波長領域の輝度値を保持するＲ画素を含む第１画素群と、前記第１画素群の色を含む波長領域の輝度値を保持するＣ画素と、を有する画像データを取得する画像データ取得ユニット（３）と、
   前記第１画素群のうちのいずれかである注目画素の輝度値Ｖａｌｘが、前記注目画素の周辺の前記Ｃ画素の輝度値Ｖａｌｃを超える場合、前記注目画素の前記輝度値Ｖａｌｘを、前記輝度値Ｖａｌｃよりも小さくなるように補正する補正ユニット（７）と、
   を備えることを特徴とする画像処理装置（１）。
5. 請求項１〜４のいずれか１項に記載の画像処理装置と、
   前記画像処理装置により処理された前記画像データを用いて車線境界線を認識する車線境界線認識装置（１３）と、
   を備えることを特徴とする車線境界線認識システム（１６）。

Images