JP6729358B2 - 認識装置 - Google Patents

Description

本開示は、区画線を認識する認識装置に関する。

道路上に表示される区画線には、車両の進行方向に沿った直線部分を有する白線等の線状の区画線以外に、車両の進行方向に点状の列をなすボッツドッツやキャッツアイ等の点状の区画線が存在する。ボッツドッツは、主に北米で使用されており、道路に間隔をおいて埋め込まれた直径１０ｃｍ程度のセラミック製の円盤である。キャッツアイもボッツドッツと同様に道路に間隔をおいて埋め込まれており、反射体を有し、入射光を同じ方向に反射させる特性を有する。

特許文献１には、区画線の種類に応じて検出モードを選択し、当該検出モードで区画線を検出する技術が開示されている。具体的には、車両に搭載された撮像装置から取得される撮像画像において、道路と区画線との境界線はその画素値の差から特徴点として抽出される。そして、抽出された特徴点の数に基づいて、検出モードが選択される。すなわち、特徴点の数が閾値以上の場合、実線等モード、換言すれば線状の区画線のモードに設定される。特徴点の数が閾値よりも少ない場合、間欠線モード、換言すれば点状の区画線のモードに設定される。実線等モードが設定されると、実線を検出するのに適した方法で区画線が検出され、間欠線モードが設定されると、間欠線を検出するのに適した方法で区画線が検出される。

特開２００７−７２５１２号公報

実際の道路には、ペイントが剥がれてかすれてしまった白線等のように、特徴点の数が少ない白線が存在する場合がある。特許文献１では、このような特徴点の数が少ない白線は特徴点の数が閾値よりも少ないと判定され、点状の区画線のモードに設定されてしまう可能性がある。そのため、特徴点の数が少ない白線は、点状の区画線ではないにもかかわらず、点状の区画線として誤判定されてしまう。

本開示の一局面は、こうした問題に鑑みてなされたものであり、適切に点状の区画線を認識することができる認識装置を提供することを目的としている。

本開示の一態様は、車両（２０）に搭載された認識装置（１）であって、取得部（１，Ｓ１）と、第１の検出部（１，Ｓ１１，Ｓ１２）と、第２の検出部（１，Ｓ１５）と、認識部（１，Ｓ１４，Ｓ１７）と、を備える。取得部は、車両に搭載された撮像装置（２）から撮像画像を取得するように構成される。第１の検出部は、撮像画像に対して第１の検出処理を施すことにより、線状の区画線の特徴点である第１の特徴点（２２）を検出するように構成される。第２の検出部は、撮像画像に対して第１の検出処理とは異なる第２の検出処理を施すことにより、点状の区画線（４１）の特徴点である第２の特徴点（４２）を検出するように構成される。認識部は、撮像画像において線状の区画線又は点状の区画線を認識するように構成される。さらに、認識部は、第１の特徴点が第１の条件を満たす場合に、第１の特徴点に基づき線状の区画線を認識し、第１の特徴点が第１の条件を満たさない場合であって、第２の特徴点が第２の条件を満たす場合に、第２の特徴点に基づき点状の区画線を認識するように構成される。

本開示の認識装置によれば、例えば、かすれた白線等のような特徴点の少ない区画線等が道路に存在する場合、これらは第１の条件を満たさず、第２の条件にも満たさないと判定され、点状の区画線の認識対象から除外される。そのため、点状の区画線を認識する精度が上がり、点状の区画線を適切に認識することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

画像処理装置の構成を示すブロック図である。 画像処理を表すフローチャートである。 区画線検出処理を表すフローチャートである。 白線の特徴点を模式的に表した図（その１）である。 白線の特徴点を模式的に表した図（その２）である。 ボッツドッツの特徴点を模式的に表した図（その１）である。 ボッツドッツの特徴点を模式的に表した図（その２）である。 かすれた線の特徴点を使用する例を表した図である。 外接四角形が予め設定されている四角形の形状と類似することを表す図（その１）である。 外接四角形が予め設定されている四角形の形状と類似することを表す図（その２）である。 外接四角形が予め設定されている四角形の形状と類似しないことを表す図（その１）である。 外接四角形が予め設定されている四角形の形状と類似しないことを表す図（その２）である。 外接四角形が予め設定されている四角形の形状と類似しないことを表す図（その３）である。 エッジ探索領域において、エッジ探索が実行されることを示す図である。

以下、図面を参照しながら、本開示を実施するための形態を説明する。
［１．画像処理装置１の構成］
画像処理装置１の構成を図１に基づき説明する。画像処理装置１は、車両に搭載されて、白線やボッツドッツ等の区画線を認識する装置である。画像処理装置１を搭載する車両を以下では自車両２０と称する。画像処理装置１はＥＣＵであり、画像処理装置１には撮像装置２と制御装置３とが接続されている。なお、ＥＣＵは、「Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ」の略であり、すなわち電子制御装置の略である。

撮像装置２は、フロントカメラ、左サイドカメラ、右サイドカメラ、及びリアカメラを備えている。フロントカメラは自車両２０前方の路面が撮像範囲となるように自車両２０に設置される。左サイドカメラは自車両２０左側方の路面が撮像範囲となるように自車両２０に設置される。右サイドカメラは自車両２０右側方の路面が撮像範囲となるように自車両２０に設置される。リアサイドカメラは自車両２０後方の路面が撮像範囲となるように自車両２０に設置される。各カメラは、予め設定された時間間隔、例えば１／１５秒間隔で繰り返し撮像し、撮像画像を画像処理装置１へ出力する。

制御装置３は、画像処理装置１から出力される区画線の認識結果に基づいて、自車両２０が車線内を走行するように、自車両２０の操舵、ブレーキ、及びエンジン等を制御する装置である。

画像処理装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。画像処理装置１の各種機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置１を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像処理装置１は、ＣＰＵがプログラムを実行することで実現される機能の構成として、画像取得処理部４と、映像変換処理部５と、区画線検出処理部６と、検出結果出力処理部７と、を備える。画像処理装置１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

［２．画像処理］
画像処理装置１が実行する画像処理について、図２及び図３のフローチャートを用いて説明する。画像処理は、自車両２０のイグニッションスイッチがオン状態の期間中、例えば１／１５秒等の所定の時間間隔で実行される。

図２に示すように、まず、ステップ１では、画像処理装置１は、フロントカメラ、左サイドカメラ、右サイドカメラ、及びリアカメラから撮像画像を取得する処理を行う。
続くステップ２では、画像処理装置１は、ステップ１で取得された４つの撮像画像を、予め設定された仮想視点から見た鳥瞰画像に変換して合成し、自車両２０の周辺を映した鳥瞰画像を生成する処理を行う。具体的には、画像処理装置１は、４つの撮像画像に対して周知の鳥瞰変換を施すことで、当該撮影画像を、自車両２０の上方から見下ろす視点の画像である鳥瞰画像に変換して合成する処理を行う。

続くステップ３では、画像処理装置１は、ステップ２で生成した鳥瞰画像から白線やボッツドッツ等の区画線を検出する区画線検出処理を行う。ここで、白線とは、道路の車線を区画するように路面に描かれた線である。白線としては、図４に示す実線２１、破線、及び図５に示すかすれた線３１等が挙げられる。なお、以下では、白色以外の色の線も含めて、路面に描かれた線を白線と称する。また、区画線検出処理の詳細については後述する。

続く、ステップ４では、画像処理装置１は、検出された白線又はボッツドッツの検出結果を、制御装置３へ出力する処理を行う。以上で、画像処理装置１はイグニッションスイッチがオフになると画像処理を終了する。

なお、ステップ１が画像取得処理部４としての処理に相当し、ステップ２が映像変換処理部５としての処理に相当する。ステップ３が区画線検出処理部６としての処理に相当し、ステップ４が検出結果出力処理部７としての処理に相当する。

次に、区画線検出処理の具体的処理内容について、図３のフローチャートを用いて説明する。区画線検出処理は、鳥瞰画像を左右略等しく分けた左側の領域及び右側の領域のそれぞれに対して行われる。

まず、ステップ１１では、画像処理装置１は、白線の特徴点２２を検出する処理を行う。図４に、白線の特徴点２２を模式的に表した一例を示す。白線の特徴点２２としては、エッジ点等が挙げられる。このエッジ点は、鳥瞰画像において道路の進行方向に直交する方向に走査したとき、輝度変化が大きい点をエッジ点とすることができ、エッジ点の配列状態等に基づいて白線の特徴点２２が検出される。なお、２回目以降の処理については、前回検出された白線の特徴点２２を含む部分領域２３a、２３ｂに絞って処理してもよい。

また、図５に示すように、かすれた線３１である白線の特徴点２２も、同様に、検出される。
続く、ステップ１２では、画像処理装置１は、ステップ１１で検出された白線の特徴点２２の数をカウントする処理を行う。

続く、ステップ１３では、画像処理装置１は、ステップ１２でカウントされた白線の特徴点２２の数が第１の閾値以上であるか否かを判定する処理を行う。
ステップ１３で肯定判定されると、ステップ１４に進む。ステップ１４では、画像処理装置１は、白線の特徴点２２をステップ１８で使用するという設定を行う。例えば、図４に示す例のように、実線２１の白線が鳥瞰画像に存在する場合、白線の特徴点２２の数が第１の閾値以上であると判定され、実線２１の白線の特徴点２２を使用するという設定が行われる。

一方、ステップ１３で否定判定されると、ステップ１５に進む。例えば、図５に示す例のように、かすれた線３１の白線が鳥瞰画像に存在する場合、白線の特徴点２２の数が第１の閾値よりも少ないと判定される。

ステップ１５では、画像処理装置１は、ボッツドッツの特徴点４２を検出し、検出されたボッツドッツの特徴点４２の数をカウントする処理を行う。図６及び図７に、ボッツドッツの特徴点４２を模式的に表した例を示す。なお、図７は、図５の鳥瞰画像において、ボッツドッツの特徴点４２を検出した後を示した図である。

ここで、ステップ１５の具体的処理について、図９〜図１４を用いて説明する。
まず、画像処理装置１が鳥瞰画像にフィルタ処理を行うことにより、１０ｃｍ程の円形の形状をボッツドッツとして強調させる。

次に、画像処理装置１は、画像上で画素値が類似する画素の塊を一つの群として処理するラベリング処理を行う。そして、画像処理装置１は、ラベリング処理によって抽出された画像の外接四角形が、予め設定されている四角形の形状と類似する場合、当該外接四角形をエッジ探索領域として特定する処理を行う。予め設定されている四角形とは、ボッツドッツの形状である円形形状の外接四角形である。この処理について、図９〜図１３に示すように、１マスを２ｃｍ〜４ｃｍを１辺とする正方形としたときの例を挙げて説明する。例えば、図９に示す外接四角形５１が３マス×３マスであったり、図１０に示す外接四角形６１が２マス×３マスであったりすると、予め設定されている四角形の形状と類似すると判定され、当該外接四角形５１，６１がエッジ探索領域として特定される。また、例えば、図１１及び図１２に示す１マス×３マスの外接四角形７１，８１のように、幅が極端に細いものは、路面上のノイズとして、予め設定されている四角形の形状に類似しないと判定される。また、例えば、図１３に示す１２マス×３マスの外接四角形９１のように、予め設定されている四角形の形状の範囲を大きく超えるようなものは、予め設定されている四角形の形状に類似しないと判定される。

次に、画像処理装置１は、エッジ探索領域に対して、エッジ探索を実行し、ボッツドッツの特徴点４２を検出する処理を行う。そして、画像処理装置１は、検出されたボッツドッツの特徴点４２の数をカウントする処理を行う。図１４に示す例では、画像において水平方向に操作したときに、６つのボッツドッツの特徴点４２が検出される。

ステップ１５に続くステップ１６では、画像処理装置１は、ステップ１５でカウントされたボッツドッツの特徴点４２の数の合計が第２の閾値以上であるか否かを判定する処理を行う。

ステップ１６で肯定判定されると、ステップ１７に進む。ステップ１７では、画像処理装置１は、ボッツドッツの特徴点４２をステップ１８で使用するという設定を行う。
例えば、図６に示す例のように、ボッツドッツ４１が連続して車線に沿って存在する場合、ボッツドッツの特徴点４２の数が第２の閾値以上であると判定され、ボッツドッツの特徴点４２を使用するという設定が行われる。

また、図７に示す例のように、かすれた線３１及び連続するボッツドッツ４１が存在する場合、ボッツドッツの特徴点４２の数が第２の閾値以上であると判定され、ボッツドッツの特徴点４２を使用するという設定が行われる。つまり、使用されるボッツドッツの特徴点４２には、かすれた線３１の特徴点が除外されている。

一方、ステップ１６で否定判定されると、ステップ１４に進む。ステップ１４では、画像処理装置１は、ステップ１１で検出された白線の特徴点２２を、ステップ１８で使用するという設定を行う。

例えば、図８に示す例のように、ボッツドッツ４１が存在せず、かすれた線３１が存在する場合、ボッツドッツの特徴点４２の数が第２の閾値よりも少ないと判定され、かすれた線３１の特徴点２２を使用するという設定が行われる。

ステップ１４又はステップ１７に続くステップ１８では、画像処理装置１は、特徴点２２，４２からハフ変換により近似直線を算出する処理を行う。
続くステップ１９では、画像処理装置１は、ステップ１８で得られた近似直線から最終出力結果、例えば、自車両２０から白線までの距離及び自車両２０の中心と白線とのなす角度を決定し、区画線検出処理を終了する。

［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（１ａ）実施形態の画像処理装置１は、ステップ１３及びステップ１６の２段階の判定処理を行う。例えば、判定処理が１段階の場合、具体的には、白線の特徴点の数が閾値以上であると白線の特徴点を使用し、閾値よりも少ないとボッツドッツの特徴点を使用する場合、特徴点が少ないかすれた白線の特徴点はボッツドッツの特徴点として使用されてしまう可能性がある。しかし、２段階の判定処理を行うことによって、ステップ１８で使用されるボッツドッツの特徴点４２に、特徴点が少ないかすれた白線の特徴点２２を除外することができる。そのため、ボッツドッツの特徴点４２を認識する精度が上がり、ボッツドッツ４１を適切に認識することができる。

（１ｂ）実施形態の画像処理装置１は、ステップ１６で否定判定されると、ステップ１８で白線の特徴点２２を使用する。例えば、この処理が行われないと、白線の特徴点２２の数が第１の閾値よりも少なく、ボッツドッツの特徴点４２の数が第２の閾値よりも少ない場合、ステップ１８で使用され得る特徴点２２，４２がなくなり、最終出力結果が出力されなくなる可能性がある。しかし、この処理が行われることによって、かすれた線３１のような白線の特徴点２２が存在すれば、ステップ１８でこの白線の特徴点２２を使用することができ、最終出力結果を出力することができる。

（１ｃ）実施形態の画像処理装置１は、ラベリング処理によって抽出された画像の外接四角形が、予め設定されている四角形の形状と類似する場合、当該外接四角形を特定する処理を行う。そのため、路面上のノイズや予め設定されている四角形の形状の範囲を大きく超えるようなもの、例えば実線や破線等が除去される。したがって、ボッツドッツ４１を認識する精度が上がり、ボッツドッツ４１を適切に認識することができる。

なお、実施形態では、画像処理装置１が認識装置に相当し、Ｓ１が取得部としての処理に相当する。また、Ｓ１１及びＳ１２が第１の検出処理に相当し、白線が線状の区画線に相当し、白線の特徴点２２が第１の特徴点に相当し、Ｓ１１及びＳ１２が第１の検出部としての処理に相当する。また、Ｓ１５が第２の検出処理に相当し、ボッツドッツ４１が点状の区画線に相当し、ボッツドッツの特徴点４２が第２の特徴点に相当し、Ｓ１５が第２の検出部としての処理に相当する。また、Ｓ１４及びＳ１７が認識部としての処理に相当し、白線の特徴点２２の数が第１の閾値以上であることが第１の条件に相当し、ボッツドッツの特徴点４２の数が第２の閾値以上であることが第２の条件に相当する。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（３ａ）上記実施形態では、点状の区画線としてボッツドッツ４１の例を示したが、これに限定されるものではない。点状の区画線は、例えば、キャッツアイ等であってもよい。

（３ｂ）上記実施形態では、画像処理対象として、鳥瞰画像に対して画像処理が行われる例を示したが、画像処理対象はこれに限定されるものではなく、撮像画像に対して画像処理を行ってもよい。

（３ｃ）上記実施形態では、画像処理装置１はステップ１６で否定判定された後、ステップ１４に進む例を示したが、ステップ１６で否定判定された後、区画線検出処理を終了してもよい。

（３ｄ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（３ｅ）上述した画像処理装置１の他、当該画像処理装置１を構成要素とする認識システム、上述した画像処理をコンピュータに実行させるための認識プログラム、この認識プログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、認識方法など、種々の形態で本開示を実現することもできる。

１…画像処理装置、２…撮像装置、３…制御装置、４…画像取得処理部、５…映像変換処理部、６…区画線検出処理部、７…検出結果出力処理部、２０…自車両、２１…実線、２２…白線の特徴点、２３a，２３ｂ…前回検出された白線の特徴点を含む部分領域、３１…かすれた線、４１…ボッツドッツ、４２…ボッツドッツの特徴点、５１，６１，７１，８１，９１…外接四角形。

Claims (4)

1. 車両（２０）に搭載された認識装置（１）であって、
   前記車両に搭載された撮像装置（２）から撮像画像を取得するように構成された取得部（１，Ｓ１）と、
   前記撮像画像に対して第１の検出処理を施すことにより、線状の区画線の特徴点である第１の特徴点（２２）を検出するように構成された第１の検出部（１，Ｓ１１，Ｓ１２）と、
   前記撮像画像に対して前記第１の検出処理とは異なる第２の検出処理を施すことにより、点状の区画線（４１）の特徴点である第２の特徴点（４２）を検出するように構成された第２の検出部（１，Ｓ１５）と、
   前記撮像画像において前記線状の区画線又は前記点状の区画線を認識するように構成された認識部（１，Ｓ１４，Ｓ１７）と、
   を備え、
   前記認識部は、
   前記第１の特徴点が第１の条件を満たす場合に、前記第１の特徴点に基づき前記線状の区画線を認識し、
   前記第１の特徴点が前記第１の条件を満たさない場合であって、前記第２の特徴点が第２の条件を満たす場合に、前記第２の特徴点に基づき前記点状の区画線を認識し、
   前記第１の特徴点が前記第１の条件を満たさない場合であって、前記第２の特徴点が前記第２の条件を満たさない場合に、前記第１の特徴点に基づき前記線状の区画線を認識するように構成された、認識装置。
2. 請求項１に記載の認識装置であって、
   前記認識部は、
   前記第１の特徴点の数が前記第１の条件を満たす場合に、前記第１の特徴点の数に基づき前記線状の区画線を認識し、
   前記第１の特徴点の数が前記第１の条件を満たさない場合であって、前記第２の特徴点の数が前記第２の条件を満たす場合に、前記第２の特徴点の数に基づき前記点状の区画線を認識するように構成された、認識装置。
3. 請求項２に記載の認識装置であって、
   前記第１の条件は、前記第１の特徴点の数が第１の閾値以上であるという条件であり、
   前記第２の条件は、前記第２の特徴点の数が第２の閾値以上であるという条件である、認識装置。
4. 請求項１から請求項３までのいずれか１項に記載の認識装置であって、
   前記第２の検出部は、前記撮像画像において、前記点状の区画線を含む部分領域を特定し、前記部分領域において、前記第２の特徴点を検出するように構成された、認識装置。

Images