JP6111732B2 - 画像処理装置、画像処理方法、画像処理システム、画像処理プログラム及び移動装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、画像処理プログラム及び移動装置に関する。

従来、車両、船舶、航空機、または産業用ロボット等（以降、車両等という）の移動において、移動の障害となる立体物を検知する技術の開発が進められている。特に、車両等が走行する道路を認識し、道路上に立体物が存在するか否かを判断する技術が知られている。

特許文献１には三次元的な位置情報を利用し、実際の道路上の白線だけを分離して道路形状を認識する技術が記載されている。特許文献１に記載の技術においては、２台のＣＣＤカメラを有するステレオ画像処理装置が撮影した画像を処理することによって、画像を表す二次元の情報と、撮像物までの距離データと、を含む三次元の情報を取得する。そして、三次元の情報が表す空間では白線は道路の平面上にあり、一方、先行車などの立体物は道路の平面より高い位置にあるとしている。このようにして、ステレオ画像処理装置は取得された三次元の情報により道路面からの高さによって白線か立体物であるかを区別している。

しかしながら、特許文献１に記載の技術では、路面において自動車の進行方向に直行する方向に傾斜がある場合に、撮像された画像内の各小領域が路面を表しているか否かを正確に判定することができない。
たとえば、進行方向に対して路面の左側が低く、右側が高くなるように傾斜している場合がある。この場合、路面の左側の白線より右側にある小領域は左側の白線より高い位置にあることになる。このような路面を走行しているときに撮像された画像に基づいて、特許文献１に記載の技術を用いて画像内の小領域が路面であるか否かを判定しようとすると、ステレオ画像処理装置は白線を道路の平面として、その平面より高い位置にある撮像物は立体物であると判定する。すなわち、左側の白線より右側の小領域は左側の白線より高い位置にあるため立体物であると判定されてしまう。
このように、画像内の小領域が路面であるか否かを正確に判定することができないという課題が発生している。

上述した課題を解決するため本発明においては、複数の境界を有する路面が走行方向に撮像された複数の画像を処理する画像処理装置であって、前記複数の画像に基づいて画像内の小領域における視差を算出する視差算出手段と、前記画像で境界が撮像されている境界領域を検出する境界検出手段と、前記境界検出手段によって検出され、鉛直方向の位置が前記小領域と同じである二つの境界領域の視差を決定する境界視差決定手段と、前記視差算出手段によって算出された小領域の視差と、前記境界視差決定手段によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定手段と、を有し、前記路面判定手段は、前記小領域の視差が一の境界領域の視差以上で、かつ、他の境界領域の視差以下である場合に前記小領域は路面を表すものであると判定することを特徴とする。

本発明によれば、視差算出手段によって算出された小領域の視差と、境界視差決定手段によって決定された二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定するので、画像内の小領域が路面を表すものであるか否かを正確に判定することができるという効果を奏する。

画像処理装置１を搭載した車両等の一例を表す概略図である。 画像処理装置１のハードウェア構成図である。 画像処理装置１の機能構成図である。 撮像部が撮像した撮像画像の一例である。 距離Ｚを算出する原理を説明するための図である。 基準画像Ｉａの一部を拡大した図である。 白線エッジの位置を表すｙ座標とその位置における視差ｄ_ｅの対応関係を表す図である。 画像処理装置１の処理の概要を表すフロー図である。 信号変換部５２の処理を表すフロー図である。 白線検出部５５及び白線視差決定部５６の処理を表すフロー図である。 エッジ候補検出部５５１が白線エッジ候補領域Ｐ_ｅを検出する処理を表すフロー図である。 路面判定部５７が路面を判定する処理を表すフロー図である。 画像処理装置１の機能構成図の他の例である。 基準画像Ｉａの一部を拡大した図である。

本発明の実施形態について図１乃至図１４を用いて説明する。

＜＜画像処理システムのハードウェア構成＞＞
まず、本発明の実施形態における画像処理システム１のハードウェア構成について説明する。図１は本実施形態に係る画像処理システム１を搭載した自動車を表す概念図である。図１（１）は画像処理システム１が設けられている車両等の一例である自動車の側面の概観図である。図１（２）は図１（１）に表されている自動車の前面の概観図である。図２は、画像処理システム１のハードウェア構成図である。

図１（１）及び（２）に示されるように、画像処理システム１は撮像装置１０ａ及び撮像装置１０ｂを備えており、撮像装置１０ａ及び撮像装置１０ｂは自動車の進行方向前方の光景を撮像するように設置されている。図２に示されるように、画像処理システム１は撮像装置１０ａ、撮像装置１０ｂ、信号変換装置２０ａ、信号変換装置２０ｂ、及び情報処理装置３０を有している。撮像装置１０ａは前方の光景を撮像して撮像画像を表すアナログ信号を生成するものであり、撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａを有している。なお、情報処理装置３０は画像処理装置の一例である。

撮像レンズ１１ａは、撮像レンズ１１ａを通過する光を屈折させて被写体の像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、後述する画像センサ１３ａに入力される光の量を調整する。画像センサ１３ａは、撮像レンズ１１ａ及び絞り１２ａから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）によって実現される。

また、撮像装置１０ｂは撮像装置１０ａと同じ構成を有している。そのため撮像装置１０ｂについての説明は省略する。また、撮像レンズ１１ａと撮像レンズ１１ｂはそれぞれのレンズ面が互いに同一平面内にあるように設置されている。

信号変換装置２０ａは、撮像画像を表すアナログ信号をデジタル形式の撮像画像データに変換するものであり、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）２１ａ、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）２２ａ、ＡＤＣ（Ａｎａｌｏｇ Ｄｅｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２３ａ、及びフレームメモリ２４ａを有している。

ＣＤＳ２１ａは、画像センサ１３ａによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の撮像画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された撮像画像データを記憶する。

信号変換装置２０ｂは撮像装置１０ｂによって変換されたアナログの画像信号から撮像画像データを取得するものであり、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂを有している。ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂはそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａ、及びフレームメモリ２４ａと同じ構成であるため、それらについての説明は省略する。

情報処理装置３０は、信号変換装置２０ａ及び信号変換装置２０ｂによって変換された撮像画像データを処理するためのものであり、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４を有している。ＦＰＧＡ３１は、撮像画像データが表す撮像画像における視差ｄを算出する処理を行う。ＣＰＵ３２は、画像処理装置の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が画像処理装置の各機能を制御するために実行する画像処理プログラムを記憶している。ＲＡＭ３４はＣＰＵ３２のワークエリアとして使用される。

上記画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。

＜＜画像処理システム１の機能構成＞＞
次に、本実施形態の画像処理システム１の機能構成について説明する。図３は、画像処理システム１の機能構成図である。画像処理システム１は、撮像部５１、信号変換部５２、視差算出部５３、距離算出部５４、白線検出部５５、白線視差決定部５６、及び路面判定部５７を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＦＰＧＡ３１によって、又はＲＯＭ３３に記憶されているプログラムに従ったＣＰＵ３２によって実現される機能又は手段である。

図４は撮像部が撮像した撮像画像の一例である。撮像部５１は図４（１）に示されるような自動車の進行方向前方の光景を撮像して撮像画像を生成するものであり、撮像装置１０ａ及び撮像装置１０ｂによって実現される。信号変換部５２は撮像部５１によって生成された撮像画像を表すアナログ信号をデジタル形式の撮像画像データに変換するものであり、信号変換装置２０ａ及び信号変換装置２０ｂによって実現される。

なお、本実施形態の説明においては撮像画像に撮像されている被写体の、撮像画像内における位置を表すために、図４（２）に示されるような座標を用いる。図４に示される座標の１単位は一の画素から構成されてもよいし、隣接する一以上の画素群から構成されてもよい。図４（２）に座標（ｘ，ｙ）で示される黒色で塗布された部分は、一または隣接する二以上の画素群から構成される一の小領域という。以降における各機能部の構成及び動作の説明においては、各機能部は各小領域Ｐ_ｘｙに対して処理を行うものとする。

＜視差算出部＞
視差算出部５３は各小領域に撮像されている被写体の視差ｄ_ｘｙを算出する。ここで図５を用いて視差ｄ_ｘｙについて説明する。図５は、距離Ｚを算出する原理を説明するための図である。まず、図５で示される撮像装置１０ａ、撮像装置１０ｂによって撮像された撮像画像をそれぞれ基準画像Ｉａ、比較画像Ｉｂとする。また、撮像画像における各小領域の位置は図４（２）に示されるように座標（ｘ，ｙ）（ｘ＝１〜１２８０、ｙ＝１〜９６０）で表されるとする。なお、基準画像Ｉａにおいて図４（２）に示されるｘ軸方向を画像の水平方向、ｙ軸方向を画像の鉛直方向という。

図５で、被写体上にあるＳ点の結像位置Ｓａにおける撮像レンズ１１ａの結像中心からの距離をΔａとし、被写体上にあるＳ点の結像位置Ｓｂにおける撮像レンズ１１ｂの結像中心からの距離をΔｂとした場合、視差ｄ_ｘｙはｄ_ｘｙ＝Δａ＋Δｂである。すなわち、視差ｄ_ｘｙとは基準画像Ｉａにおいて図５に示されるように被写体Ｓが撮像されている位置の座標（ｘ，ｙ）と、比較画像Ｉｂにおいて被写体Ｓが撮像されている位置の座標（ｘ’，ｙ’）におけるｘ座標の差（ｘ’−ｘ）である。

視差算出部５３は、基準画像Ｉａにおける全ての座標（ｘ，ｙ）について視差ｄ_ｘｙを算出する。なお、座標（ｘ，ｙ）と視差ｄ_ｘｙを関連付けた情報を視差画像データという。

＜距離算出部＞
距離算出部５４は、視差算出部５３によって算出された視差ｄ_ｘｙを用いて距離Ｚを算出する。距離Ｚとは撮像レンズ１１ａのレンズ面と撮像レンズ１１ｂのレンズ面を含む面から被写体までの距離である。具体的には、図５に示されるように撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂの間の長さである基線長Ｂ、及び視差ｄ_ｘｙを用いて、距離算出部５４が距離Ｚ＝（Ｂ×ｆ）／ｄと算出する。なお、基線長Ｂ、焦点距離ｆは一例としてそれぞれ５〜３０（ｃｍ）、４〜１５（ｍｍ）とすればよい。

ここで、距離Ｚと視差ｄの関係について更に説明する。Ｚ＝（Ｂ×ｆ）／ｄの計算式より、視差ｄが大きいほど距離Ｚは小さく、視差ｄが小さいほど距離Ｚは大きい。たとえば、図４（２）での座標（ｋ、ｌ）における視差ｄ_ｋｌは座標（ｊ，ｌ）における視差ｄ_ｊｌより大きい値であるとすれば、座標（ｋ，ｌ）における距離Ｚ_ｋｌは座標（ｊ，ｌ）における距離Ｚ_ｊｌより小さい値となる。

すなわち、座標（ｋ，ｌ）にある被写体（図４（２）においては自動車）は、座標（ｊ，ｌ）にある被写体（図４（２）においては白線）より近くにあることが判定される。このようにして、各小領域における視差ｄ_ｘｙを、白線が撮像されている画像内の小領域（白線領域という。）における視差ｄ_ｗと比較することによって、各小領域が路面を表すものか否かを判定することが可能となる。

＜白線検出部＞
白線検出部５５は、基準画像Ｉａに撮像されている路面上の白線の視差ｄ_ｗを決定するもので、図３に示されるようにエッジ候補検出部５５１、回帰直線算出部５５２を有している。ここで、白線とは、一般の路面において描かれている白線を表す画像の部分である。すなわち、本実施形態における白線とは、一次元の線ではなくｘ軸方向に幅をもった帯状の部分をいう。

（エッジ候補検出部）
エッジ候補検出部５５１は、基準画像Ｉａに撮像されている白線のエッジ（以降、白線エッジという）を表す小領域の候補（以降、白線エッジ候補領域Ｐ_ｅという）を検出する。図６を用いてエッジ候補検出部５５１の機能について説明する。図６は基準画像Ｉａの一部を拡大した図である。図６（１）は図４（１）の一部である部分Ａを拡大して表しているものであり、白色で表される部分は基準画像Ｉａにおける白線の一部を表し、斜線で表される部分は基準画像Ｉａにおける白線以外の路面の一部を表している。

図６（２）は図６（１）に表される撮像画像の各小領域を構成する画素の輝度Ｌを表す図である。図６（２）に示されるように白線の一部を形成する小領域の画素の輝度Ｌは、白線以外の路面の一部を形成する小領域の画素の輝度Ｌより高くなっている。図６（３）は図６（２）で表されている各小領域を構成する画素の輝度差ΔＬを表す図である。なお、本実施形態において輝度Ｌは０から２５５の値をとるものとして説明する。

エッジ候補検出部５５１は図６（２）に示される基準画像Ｉａを構成する各小領域についてｘ軸方向に隣接する二つの小領域の輝度Ｌの差（以降、輝度差ΔＬという）を算出する。具体的には、エッジ候補検出部５５１は座標（ｘ，ｙ）にある小領域の輝度Ｌ（ｘ，ｙ）から座標（ｘ＋１，ｙ）にある小領域の輝度Ｌ（ｘ＋１，ｙ）を減じた輝度差ΔＬ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−Ｌ（ｘ＋１，ｙ）を算出する。

このようにして算出された輝度差ΔＬ（ｘ，ｙ）が図６（３）に示されており、白線のエッジ部分を表す小領域（図６（３）におけるＰ_ｅで示される小領域）における輝度差ΔＬ（ｘ，ｙ）はその他の部分に比べ大きくなる。

エッジ候補検出部５５１は算出された輝度差ΔＬ（ｘ，ｙ）が所定の閾値、たとえば１２０以上であるか否かを判定する。そして、エッジ候補検出部５５１は輝度差ΔＬ（ｘ，ｙ）が１２０以上と判定した場合には、その座標（ｘ，ｙ）における小領域を白線エッジ候補領域Ｐ_ｅとして検出する。

なお、小領域が２以上の画素からなる場合、エッジ候補検出部５５１は、小領域の輝度Ｌをその小領域を構成する画素群の輝度の平均値として上記の検出をしてもよい。また、エッジ候補検出部５５１は、各画素について隣接する画素との輝度差ΔＬを算出し輝度差ΔＬが１２０以上であると判定された画素を含む小領域を白線エッジ候補領域Ｐ_ｅとして検出してもよい。

なお、エッジ候補検出部５５１は、基準画像Ｉａのｙ座標一定の小領域群において、中央の小領域（ｘ座標６４０に位置する小領域）から左端の小領域むけて順に上記の算出及び判定を行い、左側の白線エッジ候補領域Ｐ_ｅｌが検出された時点で該ｙ座標に係る小領域群についての算出及び判定の処理を終了する。したがって、図６（３）に示される図において、輝度差ΔＬ（ｘ，ｙ）が１２０以上である小領域より左側に位置する小領域についての輝度差ΔＬ（ｘ，ｙ）は算出されない。

同様に、エッジ候補検出部５５１は、基準画像Ｉａのｙ座標一定の小領域群における中央の小領域（ｘ座標６４０に位置する小領域）から右端の小領域むけて順に上記の算出及び判定を行い、右側の白線エッジ候補領域Ｐ_ｅｒを検出する。

（回帰直線算出部）
回帰直線算出部５５２はエッジ候補検出部５５１によって検出された白線エッジ候補領域Ｐ_ｅのｙ座標と視差ｄ_ｅの回帰直線を算出する。ここで、回帰直線算出部５５２の機能について図７を用いて説明する。図７は白線エッジ候補領域Ｐ_ｅの位置を表すｙ座標とその位置における視差ｄ_ｅの対応関係を表す図である。図７においては縦軸にｙ座標、横軸に視差ｄ_ｅが示され、左側の白線エッジ候補領域Ｐ_ｅｌ群の各ｙ座標に対応する視差ｄ_ｅｌが点で表されている。これらの点に対して、回帰直線算出部５５２は公知の回帰直線算出方法であるＨｏｕｇｈ変換によって回帰直線ｌｉｎｅ１を決定する。

さらに図７には、右側の白線エッジ候補領域Ｐ_ｅｒ群の各ｙ座標に対し、対応する視差ｄ_ｅｒが×印で表されている。回帰直線算出部５５２は右側の白線エッジ候補領域Ｐ_ｅｒのｙ座標と視差ｄ_ｅｒの回帰直線を算出し、回帰直線ｌｉｎｅ２を決定する。

＜白線視差決定部＞
白線視差決定部５６は回帰直線ｌｉｎｅ１上にある視差ｄ_ｅｌを左側の白線領域における視差である左白線視差ｄ_ｗｌとして決定する。同様にして白線視差決定部５６は回帰直線ｌｉｎｅ２上にある視差ｄ_ｅｒを右側の白線領域における視差である右白線視差ｄ_ｗｒとして決定する。

＜路面判定部＞
路面判定部５７は、基準画像Ｉａを形成する各小領域Ｐ_ｘｙが路面を表すものであるか否かを判定する。具体的には、路面判定部５７は所定の各小領域Ｐ_ｘｙに対応する視差ｄ_ｘｙが、それぞれの小領域Ｐ_ｘｙのｙ座標と同じｙ座標にある白線エッジ候補領域Ｐ_ｅｌ、Ｐ_ｅｒの左白線視差ｄ_ｗｌ、右白線視差ｄ_ｗｒを用いて、ｄ_ｗｌ≦ｄ_ｘｙ≦ｄ_ｗｒまたはｄ_ｗｒ≦ｄ_ｘｙ≦ｄ_ｗｌであるか否かを判定する。たとえば、図４（２）に示される任意の座標（α，β）にある小領域Ｐ_αβが路面であるか否かを判定するためには、小領域Ｐ_αβに対応する視差ｄ_αβ、図７に表されるｄ_ｗｌ（ｍ）及びｄ_ｗｒ（β）を用いてｄ_ｗｌ（β）≦ｄ_αβ≦ｄ_ｗｒ（β）であるか否かを判定する。

なお、白線は境界の一例であり、白線領域は境界領域の一例であり、白線検出部５５は境界検出手段の一例である。視差算出部５３は、視差算出手段の一例である。白線視差決定部５６は境界視差決定手段の一例である。路面判定部５７は、路面判定手段の一例である。エッジ候補検出部５５１はエッジ候補検出手段の一例である。回帰直線算出部５５２は回帰直線算出手段の一例である。

＜＜画像処理システムの動作＞＞
続いて、図８乃至図１２を用いて、本実施形態に係る画像処理システムの動作について説明する。なお、図８は、画像処理システム１の処理の概要を表すフロー図である。図９は、信号変換部５２の処理を表すフロー図である。図１０は、白線検出部５５及び白線視差決定部５６の処理を表すフロー図である。図１１は、エッジ候補検出部５５１が白線エッジ候補領域Ｐ_ｅを検出する処理を表すフロー図である。図１２は、路面判定部５７が路面を判定する処理を表すフロー図である。

＜撮像画像の生成処理＞
図８に示されるように、まず、撮像部５１が自動車の進行方向前方の光景を撮像して撮像画像を生成する（ステップＳ１）。具体的には、撮像部５１を実現する撮像レンズ１１ａが通過する光を屈折させ、絞り１２ａが撮像レンズ１１ａを通過した光の一部を遮ることによって光の量を調整する。そして、撮像レンズ１１ａから入力された光が結像され、画像センサ１３ａは結像された像を電気的なアナログの画像信号に変換する。また、撮像レンズ１１ｂ、絞り１２ｂ、画像センサ１３ｂもそれぞれ撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａと同様に動作する。

＜信号変換処理＞
続いて、信号変換部５２がアナログの画像信号をデジタル形式の撮像画像データに変換する（ステップＳ２）。具体的には、図９に示されるように、まずＣＤＳ２１ａがアナログの画像信号を相関二重サンプリングしてノイズを除去する（ステップＳ２１）。そして、ＡＧＣ２２ａが、ノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う（ステップＳ２２）。ＡＧＣ２２ａによってアナログの画像信号が利得制御されると、ＡＤＣ２３ａがアナログの画像信号をデジタル形式の撮像画像データに変換する（ステップＳ２３）。ＡＤＣ２３ａがアナログの画像信号を撮像画像データに変換すると、フレームメモリ２４ａは撮像画像データを記憶する。また、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂもそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａと同様に動作する。

＜視差の算出処理＞
図８に戻って、次に、視差算出部５３は撮像画像データが表す撮像画像の各小領域について視差ｄ_ｘｙを算出する（ステップＳ３）。具体的には、視差算出部５３は、基準画像Ｉａにおいて被写体Ｓが撮像されている位置の座標（ｘ，ｙ）と、比較画像Ｉｂにおいて被写体Ｓが撮像されている位置の座標（ｘ’，ｙ’）との距離である視差ｄ_ｘｙを算出する（図５参照）。視差算出部５３は、ステップＳ３における視差ｄ_ｘｙの算出を基準画像Ｉａ内における全ての座標（ｘ，ｙ）において行う。

＜白線の検出処理＞
ステップＳ３で視差算出部５３が各小領域について視差ｄ_ｘｙを算出すると、基準画像Ｉａについての左白線視差ｄ_ｗｌ、及び右白線視差ｄ_ｗｒを白線視差決定部５６が決定する（ステップＳ４）。

（白線エッジ候補領域Ｐ_ｅの検出処理）
具体的には図１０に示されるように、まずエッジ候補検出部５５１が基準画像Ｉａの白線エッジ候補領域Ｐ_ｅを検出する（ステップＳ４１）。エッジ候補検出部５５１は基準画像Ｉａにおいて、各小領域についてｘ軸方向に隣接する小領域にある画素との輝度差ΔＬ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−Ｌ（ｘ＋１，ｙ）を算出する。ΔＬ（ｘ，ｙ）が所定の閾値以上である、すなわち隣接する小領域どうしの輝度の差が大きい場合、その小領域はエッジにあたると考えられるからである。

図１１に示されるように、まず、エッジ候補検出部５５１はｙ＝０（ステップＳ４１１）に１を加算したｙ＝１（ステップＳ４１２）、ｘ＝６４１（ステップＳ４１３）から１を減じたｘ＝６４０（ステップＳ４１４）に係る座標にある小領域にある画素の輝度Ｌ（６４０，１）について輝度差ΔＬ（６４０，１）＝Ｌ（６４０，１）−Ｌ（６４１，１）を算出する（ステップＳ４１５）。そして、ステップＳ４１５で算出された輝度差ΔＬ（６４０，１）が１２０以上であるか否かをエッジ候補検出部５５１が判定する（ステップＳ４１６）。ステップＳ４１６でΔＬ（６４０，１）が１２０以上でないと判定された場合には、その輝度差に係るｘ座標を１減じた（ステップＳ４１４）座標にある小領域に係る輝度差ΔＬ（６３９，１）＝Ｌ（６３９，１）−Ｌ（６４０，１）をエッジ候補検出部５５１は算出する（ステップＳ４１５）。そして、エッジ候補検出部５５１は輝度差ΔＬ（６３９，１）が１２０以上であるか否かを判定する（ステップＳ４１６）。

さらに、ステップＳ４１６でΔＬ（６３９，１）が１２０以上でないと判定された場合には、ΔＬ（６３９，１）に係るｘ座標を１減じた（ステップＳ４１４）座標にある小領域の輝度差ΔＬ（６３８，１）＝Ｌ（６３８，１）−Ｌ（６３９，１）をエッジ候補検出部５５１が算出する（ステップＳ４１５）。そして、エッジ候補検出部５５１は輝度差ΔＬ（６３８，１）が１２０以上であるか否かを判定する（ステップＳ４１６）。このようにして、ｘ座標を１ずつ減じた座標にある小領域に係る輝度差ΔＬの算出（ステップＳ４１５）及び判定（ステップＳ４１６）を繰り返し、輝度差ΔＬが１２０以上であると判定されたら、その輝度差ΔＬに係る小領域を白線エッジ候補領域Ｐ_ｅとして検出する（ステップＳ４１７）。

また、白線エッジ候補領域Ｐ_ｅの輝度差ΔＬが１２０以上であると判定されたら、そのｙ座標が基準画像Ｉａにおける所定のｙ座標であるｙ_ｖｐ以上であるか否かをエッジ候補検出部５５１が判定する（ステップＳ４１８）。

ステップＳ４１８で白線エッジ候補領域Ｐ_ｅのｙ座標がｙ_ｖｐ以上でないと判定された場合には、ｙ座標に１を加え（ステップＳ４１２）、ｘ＝６４１（ステップＳ４１３）から１を減じた（ステップＳ４１４）座標（６４０，２）に係る輝度差ΔＬ（６４０，２）＝Ｌ（６４０，２）−Ｌ（６４１，２）を算出する（ステップＳ４１５）。そして、上述と同様にステップＳ４１２乃至ステップＳ４１８の処理を繰り返す。これらの処理を繰り返して、処理に係るｙ座標がｙ_ｖｐ以上であると判定されたら白線エッジ候補領域Ｐ_ｅを検出する処理を終了する。

このようにして、基準画像Ｉａの各小領域について順に輝度差ΔＬを算出することによって、ｙ座標ごとの白線エッジ候補領域Ｐ_ｅを算出することができる。

なお、ステップＳ４１３乃至ステップＳ４１６の処理の説明で記載したように、基準画像Ｉａのｘ軸方向における中央部分（座標（６４０，ｙ））の小領域から端部の小領域（座標（１，ｙ））に向けて順にエッジ候補検出部５５１は輝度差ΔＬを算出及び判定し、白線エッジ候補領域Ｐ_ｅが検出されたらこの処理を終了する。すなわち、白線エッジ候補領域Ｐ_ｅより小さいｘ座標にある小領域についてのこれらの処理を行わない。このため、エッジ候補検出部５５１を実現するＣＰＵ３２の負荷を削減することが可能となる。

また、上記の処理において、所定のｙ座標ｙ_ｖｐは左右の白線の消失点（Ｖａｎｉｓｈｉｎｇ Ｐｏｉｎｔ）のｙ座標とする。なお、消失点とは、画像内において左右の白線が交わる点であり、撮像画像における無限遠点である。基準画像Ｉａにおいて消失点よりｙ座標が大きい小領域には白線が描かれていないため、それらの小領域についてエッジ候補検出部５５１は白線エッジ候補領域Ｐ_ｅを検出するための処理を行わない。これにより、エッジ候補検出部５５１を実現するＣＰＵ３２の負荷を削減することが可能となる。

ステップＳ４１８までの処理が終了すると、図６（３）に示されるような座標（ｘ，ｙ）ごとに輝度差ΔＬ（ｘ，ｙ）が算出される。

なお、図１１を用いて説明した処理は基準画像Ｉａにおける左側の小領域（座標ｘ＝１〜６４０、ｙ＝１〜９６０）に撮像されている白線エッジを検出することを目的とするものである。そのため、ここで検出された白線エッジ候補領域Ｐ_ｅは左側の白線エッジを表す左白線エッジ候補領域Ｐ_ｅｌである。また、車両が走行する一般的な路面には、左側だけではなく右側にも白線が描かれている。このため、エッジ候補検出部５５１は基準画像Ｉａにおける右側の小領域（座標ｘ＝６４１〜１２８０、ｙ＝１〜９６０）についても同様の処理を行う。そして、検出された白線エッジ候補領域Ｐ_ｅは右白線エッジ候補領域Ｐ_ｅｒとされる。

（回帰直線算出処理）
次に、図１０に戻って、回帰直線算出部５５２はエッジ候補検出部５５１によって検出された左白線エッジ候補領域Ｐ_ｅｌのｙ座標と視差ｄ_ｅの回帰直線を算出する（ステップＳ４２）。具体的には、白線エッジ候補領域Ｐ_ｅｌの各ｙ座標と視差ｄ_ｅについて、白線視差決定部５６が公知の回帰直線算出方法であるＨｏｕｇｈ変換によって回帰直線（図７のｌｉｎｅ１を参照）を決定する。

＜白線視差の決定処理＞
続いて、白線視差決定部５６は各ｙ座標における回帰直線ｌｉｎｅ１上の視差ｄを各ｙ座標の左白線視差ｄ_ｗｌと決定する（ステップＳ４３）。同様にして、白線視差決定部５６は、右白線エッジ候補領域Ｐ_ｅｒについても回帰直線の算出（図７のｌｉｎｅ２を参照）および右白線視差ｄ_ｗｒの決定をする。（ステップＳ４３）
基準画像Ｉａにおいて一般に真直ぐな路面に描画されている白線は直線であるため、このように回帰直線を算出することによって白線エッジ候補領域Ｐ_ｅに含まれるノイズを除去することができ、左白線視差ｄ_ｗｌ及び右白線視差ｄ_ｗｒを適切に決定することができる。これにより、距離Ｚを正確に算出することができる。

＜路面の判定処理＞
続いて、図８に戻って、路面判定部５７は、基準画像Ｉａにおける各小領域が路面であるか否かを判定する（ステップＳ５）。具体的には、路面判定部５７は、視差算出部５３によって算出された各小領域Ｐ_ｘｙの視差ｄ_ｘｙが、ｄ_ｗｌ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｒ（ｙ）またはｄ_ｗｒ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｌ（ｙ）であるかを判定する。ここで、ｄ_ｗｌ（ｙ）は小領域Ｐ_ｘｙのｙ座標に対応する回帰直線ｌｉｎｅ１上の視差ｄ_ｗｌであり、ｄ_ｗｒ（ｙ）は小領域Ｐ_ｘｙのｙ座標に対応する回帰直線ｌｉｎｅ２上の視差ｄ_ｗｒである。

図１２に示されるように、まず路面判定部５７は各ｙ座標についてｄ_ｗｌ（ｙ）≦ｄ_ｗｒ（ｙ）であるか否かを判定する（ステップＳ５１）。ステップＳ５１においてｄ_ｗｌ（ｙ）≦ｄ_ｗｒ（ｙ）であると判定された場合、基準画像Ｉａの各小領域の視差ｄ_ｘｙについて路面判定部５７がｄ_ｗｌ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｒ（ｙ）であるか否かを判定する（ステップＳ５２）。ステップＳ５２においてｄ_ｗｌ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｒ（ｙ）であると判定された場合、路面判定部５７は視差ｄ_ｘｙに係る小領域が路面を表すものであると判定する（ステップＳ５３）。ステップＳ５２においてｄ_ｗｌ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｒ（ｙ）でないと判定された場合、路面判定部５７は視差ｄ_ｘｙに係る小領域が路面以外を表すものであると判定する（ステップＳ５４）。

右白線に係る距離ＺをＺ_ｗｒ、左白線に係る距離ＺをＺ_ｗｌとしたとき、上述のように視差ｄおよび距離ＺにはＺ＝（Ｂ×ｆ）／ｄの関係がある。したがって、各小領域における視差ｄ_ｘｙについてｄ_ｗｌ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｒ（ｙ）である場合には、Ｚ_ｗｒ≦Ｚ_ｘｙ≦Ｚ_ｗｌとなり、座標（ｘ，ｙ）における被写体は撮像装置１０からみて右白線以遠、かつ、左白線上または左白線より近くにあることがわかるため、ステップＳ５３及びステップＳ５４によって記載されたように判定することができるのである。このようにして、画像内の小領域が路面を表すものであるか否かを正確に判定することができる
また、ステップＳ５１においてｄ_ｗｌ（ｙ）≦ｄ_ｗｒ（ｙ）でないと判定された場合、路面判定部５７はｄ_ｗｒ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｌ（ｙ）であるか否かを判定する（ステップＳ５５）。ステップＳ５５においてｄ_ｗｒ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｌ（ｙ）であると判定された場合、路面判定部５７は視差ｄ_ｘｙに係る小領域が路面を表すものであると判定する（ステップＳ５６）。ステップＳ５５においてｄ_ｗｌ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｒ（ｙ）でないと判定された場合、路面判定部５７は視差ｄ_ｘｙに係る小領域が路面以外を表すものであると判定する（ステップＳ５７）。

同様にして、視差ｄ_ｘｙおよび距離ＺにはＺ＝（Ｂ×ｆ）／ｄ_ｘｙの関係があることにより、このように各小領域における視差ｄ_ｘｙについてｄ_ｗｒ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｌ（ｙ）である場合には、Ｚ_ｗｌ≦Ｚ_ｘｙ≦Ｚ_ｗｒとなり、座標（ｘ，ｙ）における被写体は撮像装置１０からみて左白線以遠、かつ、右白線上または右白線より近くにあることがわかる。

＜＜実施形態の補足＞＞
図１３は画像処理システム１の機能構成図の他の例である。図１４は基準画像Ｉａの一部を拡大した図である。上記の実施形態において、白線検出部５５は図１３に示されるように白線確度判定部５５３を有することによって、白線エッジ候補領域Ｐ_ｅが白線エッジを表す小領域である確からしさ（以降、白線確度という。）を判定するとしてもよい。ここで、白線確度判定部５５３が白線確度を判定する処理について図１４を用いて説明する。図１４は図６に示される図と同様であり、エッジ候補検出部５５１によって検出された白線エッジ候補領域Ｐ_ｅ群のうち、一の白線エッジ候補領域Ｐ_ｅ、及びその白線エッジ候補領域Ｐ_ｅに隣接する３つの小領域Ｐ_ｅ１、Ｐ_ｅ２、Ｐ_ｅ３に符号を付したものである。

まず、白線確度判定部５５３はステップＳ４１で図１４（３）に示される白線エッジ候補領域Ｐ_ｅが検出されたら、図１４（２）に示される白線エッジ候補領域Ｐ_ｅとｘ軸方向に外側で隣接する３つの小領域Ｐ_ｅ１、Ｐ_ｅ２、Ｐ_ｅ３について輝度を比較する。具体的には、白線エッジ候補領域Ｐ_ｅの視差ｄ_ｅと、小領域Ｐ_ｅ１、Ｐ_ｅ２、Ｐ_ｅ３の視差ｄ_ｅ１、ｄ_ｅ２、ｄ_ｅ３それぞれとの差ｄ_ｅ−ｄ_ｅ１、ｄ_ｅ−ｄ_ｅ２、ｄ_ｅ−ｄ_ｅ３（それぞれ、以降においては視差差分Δｄ_１、Δｄ_２、Δｄ_３という）を算出する。そして、視差差分Δｄ_１、Δｄ_２、Δｄ_３それぞれが所定の値、たとえば１０以下であるか否かを判定する。図１４に示される例においてはｄ_ｅ＝１５０、ｄ_ｅ１＝１４５、ｄ_ｅ２＝１４８、ｄ_ｅ３＝１５０であるから、Δｄ_１＝１５０−１４５＝５、Δｄ_２＝１５０−１４８＝２、Δｄ_３＝１５０−１５０＝０となる。そして、これらの値が所定の値以下、すなわち１０以下であるか否かを判定する。

視差差分Δｄ_１、Δｄ_２、Δｄ_３がいずれも所定の値以下である場合、白線確度判定部５５３は、白線エッジ候補領域Ｐ_ｅが白線を表す小領域であると判定する。また、視差差分Δｄ_１、Δｄ_２、Δｄ_３のいずれかが所定の範囲でない場合、白線確度判定部５５３は、白線エッジ候補領域Ｐ_ｅが白線エッジを表す小領域ではないと判定する。図１４に示される例においては、上述のとおり視差差分Δｄ_１、Δｄ_２、Δｄ_３はいずれも１０以下であるため白線確度判定部５５３は、白線エッジ候補領域Ｐ_ｅが白線を表す小領域であると判定する。

さらに、これらの判定を全ての白線エッジ候補領域Ｐ_ｅについて行い、白線エッジを表す小領域であると判定された白線エッジ候補領域Ｐ_ｅのみを用いて回帰直線算出部５５２が回帰直線を算出する処理を行う。

路面における白線はｘ軸方向に幅がある帯状の部分であるため、白線エッジ候補領域Ｐ_ｅから所定の幅（上記の例ではｘ軸方向に３小領域）における視差ｄ_ｅ１、ｄ_ｅ２、ｄ_ｅ３が白線エッジ候補領域Ｐ_ｅにおける視差ｄ_ｅに近似している値である場合、これらの小領域が表す被写体は互いに近傍にあることを表している。すなわち白線エッジ候補領域Ｐ_ｅが路面上にある白線を表すものである確度が高いと考えられる。よって、このような確度が高い白線エッジ候補領域Ｐ_ｅのみを用いることによって路面判定部５７はより精度の高い路面判定を行うことが可能となる。

なお、上記の例では隣接する３つの小領域を用いて、白線エッジ候補領域Ｐ_ｅの確度を判定したが、撮像レンズ１１ａおよび撮像レンズ１１ｂの画角、解像度、白線の種類等により判定に用いられる小領域の数を決定するのが好ましい。

また、本実施形態においては、路面判定部５７はｄ_ｗｌ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｒ（ｙ）であるか否かを判定する（ステップＳ５２）としているが、たとえばｄ_ｗｌ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｒ（ｙ）＋γであるか否かを判定するとしてもよい。このように右白線視差ｄ_ｗｒよりも＋γだけ大きい視差となる小領域についても路面であると判定することにより、ノイズにより誤判定されてしまうのを防ぐことが可能となる。

同様にして、ステップＳ５５において路面判定部５７はｄ_ｗｒ（ｙ）≦ｄ_ｘｙ≦ｄ_ｗｌ（ｙ）＋γであるか否かを判定するとしてもよい。

また、本実施形態では白線エッジを検出する処理を行っているが、ここで検出する対象は白色の帯状の部分ではなく、路面において車道と歩道の境界、または車線間の境界を表すために用いられる他の色の帯状の部分であってもよい。

また、本実施形態では、エッジ候補検出部５５１は基準画像Ｉａの中央にある小領域（ｘ座標６４０に位置する小領域）からｘ軸方向に左端及び右端の小領域むけて順に輝度差ΔＬの算出及び輝度差ΔＬに基づく判定を行っているが、中央の小領域ではなく他の小領域から順に算出及び判定を行ってもよい。基準画像Ｉａの特徴に応じて白線エッジ候補領域Ｐ_ｅが早く検出できるような順に算出及び判定を行うように適宜設計することが好ましい。

また、本実施形態においては撮像装置１０、信号変換装置２０及び情報処理装置３０が一つの筐体として構成されている。しかし、別の筐体として独立したステレオカメラが撮像装置１０及び信号変換装置２０を有し、画像処理装置１が別の筐体として構成されてもよい。

また、本実施形態では画像処理装置を自動車に搭載するものとしているが、自動車の他に車両、船舶、航空機、または産業用ロボット等を例とする移動装置に搭載してもよい。

１ 画像処理システム
１０ 撮像装置
１１ 撮像レンズ
１２ 絞り
１３ 画像センサ
２０ 信号処理部
２１ ＣＤＳ
２２ ＡＧＣ
２３ ＡＤＣ
２４ フレームメモリ
３０ 画像処理装置
３１ ＤＳＰ
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
５０ 画像処理部
５１ 撮像部
５２ 信号変換部
５３ 視差算出部
５５ 白線検出部
５６ 白線視差決定部
５７ 路面判定部
５５１ エッジ候補検出部
５５２ 回帰直線算出部
５５３ 白線確度判定部

特開平５−２６５５４７号公報

Claims (10)

1. 複数の境界を有する路面が走行方向に撮像された複数の画像を処理する画像処理装置であって、
   前記複数の画像に基づいて画像内の小領域における視差を算出する視差算出手段と、
   前記画像で境界が撮像されている境界領域を検出する境界検出手段と、
   前記境界検出手段によって検出され、鉛直方向の位置が前記小領域と同じである二つの境界領域の視差を決定する境界視差決定手段と、
   前記視差算出手段によって算出された小領域の視差と、前記境界視差決定手段によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定手段と、を有し、
   前記路面判定手段は、前記小領域の視差が一の境界領域の視差以上で、かつ、他の境界領域の視差以下である場合に前記小領域は路面を表すものであると判定する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記路面判定手段は、前記小領域の視差が前記一の境界領域の位置における視差より小さい、または、前記他の境界領域の視差より大きい場合に前記小領域は路面を表すものではないと判定することを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記境界検出手段は、
   前記画像を形成する画素の輝度に基づいて、前記境界領域を検出することを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか一項に記載の画像処理装置であって、
   前記境界検出手段は、
   隣接する画素の輝度の差が所定の閾値以上である画素がある小領域を境界領域の候補として検出するエッジ候補検出手段を有することを特徴とする画像処理装置。
5. 請求項３又は４に記載の画像処理装置であって、
   前記境界検出手段は、
   前記画素のうち所定の位置にある画素から、前記画像の水平方向の端部にある画素にむけて順に境界領域の候補であるか否かを判定することを特徴とする画像処理装置。
6. 請求項１乃至５のいずれか一項に記載の画像処理装置であって、
   前記境界視差決定手段は、
   前記境界検出手段によって検出された前記境界領域における視差と、前記境界領域の位置を表す情報との関係を表す回帰直線を算出する回帰直線算出手段を有し、
   前記境界領域の視差は、前記回帰直線算出手段によって算出された回帰直線上にある視差であることを特徴とする画像処理装置。
7. 撮像された複数の画像を処理する画像処理方法であって、
   前記複数の画像に基づいて画像内の小領域における視差を算出する視差算出工程と、
   前記画像で境界が撮像されている境界領域を検出する境界検出工程と、
   前記境界検出工程によって検出され、鉛直方向の位置が前記小領域と同じである二つの境界領域の視差を決定する境界視差決定工程と、
   前記視差算出工程によって算出された小領域の視差と、前記境界視差決定工程によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定工程と、を含み、
   前記路面判定工程で、前記小領域の視差が一の境界領域の視差以上で、かつ、他の境界領域の視差以下である場合に前記小領域は路面を表すものであると判定する画像処理方法。
8. 撮像された複数の画像を処理する画像処理装置が実行する画像処理プログラムであって、
   前記複数の画像に基づいて画像内の小領域における視差を算出する視差算出工程と、
   前記画像で境界が撮像されている境界領域を検出する境界検出工程と、
   前記境界検出工程によって検出され、鉛直方向の位置が前記小領域と同じである二つの境界領域の視差を決定する境界視差決定工程と、
   前記視差算出工程によって算出された小領域の視差と、前記境界視差決定工程によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定工程と、
   を画像処理装置に実行させ、
   前記路面判定工程で、前記小領域の視差が一の境界領域の視差以上で、かつ、他の境界領域の視差以下である場合に前記小領域は路面を表すものであると判定する画像処理プログラム。
9. 画像を撮像する撮像装置と、
   複数の前記画像に基づいて画像内の小領域における視差を算出する視差算出手段と、
   前記画像で境界が撮像されている境界領域を検出する境界検出手段と、
   前記境界検出手段によって検出され、鉛直方向の位置が前記小領域と同じである二つの境界領域の視差を決定する境界視差決定手段と、
   前記視差算出手段によって算出された小領域の視差と、前記境界視差決定手段によって決定された前記二つの境界領域の視差と、に基づいて前記小領域が路面を表すか否かを判定する路面判定手段と、を有し、
   前記路面判定手段は、前記小領域の視差が一の境界領域の視差以上で、かつ、他の境界領域の視差以下である場合に前記小領域は路面を表すものであると判定する画像処理装置と、
   を含む画像処理システム。
10. 請求項１乃至６のいずれか一項に記載の画像処理装置または請求項９に記載の画像処理システムを有することを特徴とする移動装置。

Images