JP7067370B2 - 画像認識装置 - Google Patents

Description

本開示は、画像認識の技術に関する。

特許文献１に記載の移動体認識装置は、車両に搭載されたカメラにより撮影された画像からオプティカルフローを算出するとともに、車両の運動によって生じる見かけのオプティカルフローを算出している。そして、上記移動体認識装置は、算出したオプティカルフローから見かけのオプティカルフローを差し引き補正して、移動体を抽出している。

特許第３２３９５２１号公報

静止立体物の画像からは、高さ方向に連なる複数のオプティカルフローが検出される。これらの複数のオプティカルフローのうち路面に接するオプティカルフローは、車両の運動によって生じる見かけのオプティカルフローと相殺される。一方、これらの複数のオプティカルフローのうち路面よりも高い位置のオプティカルフローは、見かけのオプティカルフローと相殺されず、補正されたオプティカルフローは絶対速度を持つ。

ところで、車両の進行方向に対して交差する方向に移動する交差移動体は、車両の運転手の死角に入ることがある。そのため、画像の認識結果を衝突防止などを目的とする走行支援に用いる場合、画像から交差移動体を高精度に認識できることが望まれる。しかしながら、上記移動体認識装置は、静止立体物の画像から算出される路面よりも高い位置のオプティカルフローが見かけのオプティカルフローと相殺されないため、静止立体物を交差移動体と誤認識する可能性がある。

本開示は、静止立体物を誤検知することを抑制して、車両の進行方向と交差する方向に移動する交差移動体を認識することが可能な画像認識装置を提供することを目的とする。

本開示の一態様は、画像認識装置であって、画像取得部（２１）と、フロー算出部（２２）と、移動量検出部（２３）と、補正部（２３）と、ゼロベクトル判定部（２３，Ｓ１０，１００，Ｓ２００）、消失点判定部（２３，Ｓ３０，Ｓ１２０，Ｓ２７０，Ｓ３２０）と、認識部（２４）と、を備える。画像取得部は、車両に搭載された撮影装置により撮影された画像を取得する。フロー算出部は、画像取得部により取得された画像からオプティカルフローを算出する。移動量検出部は、車両の移動量を検出する。補正部は、フロー算出部により算出されたオプティカルフローから移動量検出部により検出された移動量に応じたオプティカルフローを差し引いて、補正フローを算出する。ゼロベクトル判定部は、補正部により算出された補正フローがゼロベクトルか否か判定する。消失点判定部は、ゼロベクトル判定部によりゼロベクトルではないと判定された場合に、当該補正フローを延長した延長線上に画像の消失点があるか否か判定する。認識部は、消失点判定部により延長線上に消失点がないと判定された場合に、当該補正フローから、撮影装置の移動方向と交差する方向に移動する交差移動体を認識する。

本開示によれば、補正フローがゼロベクトルではないと判定された場合に、補正フローを延長した延長線上に消失点があるか否か判定される。静止立体物又は車両の進行方向に移動する並進移動体から検出される補正フローを延長すると、画像の消失点へ到達する。一方、交差移動体から検出される補正フローを延長しても、画像の消失点に到達しない。したがって、補正フローと消失点との関係を判定することにより、静止立体物を誤検知することを抑制して、交差移動体を認識することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

画像認識装置の構成を示す図である。 第１実施形態に係るフロー分類処理を示すフローチャートである。 フローと消失点との関係を説明する図である。 静止立体物及び路面ペイントから検出されるフローを示す図である。 並進移動体、交差移動体、及び路面ペイントから検出されるフローを示す図である。 第２実施形態に係るフロー分類処理を示すフローチャートである。 第３実施形態に係るフロー分類処理の一部を示すフローチャートである。 第３実施形態に係るフロー分類処理の残りを示すフローチャートである。 移動体及び影から検出されるフローと局所領域とを示す図である。 路面の線状物体から検出されたフローと局所領域とを示す図である。 路面ペイントから検出されて局所領域内に存在する複数のフローを示す図である。

以下、図面を参照しながら、発明を実施するための形態を説明する。
（第１実施形態）
＜１－１．構成＞
まず、本実施形態に係る画像認識装置２０の構成について、図１を参照して説明する。画像認識装置２０は、車両に搭載されることを想定している。画像認識装置２０には、カメラ１１、車速センサ１２、及びステア角センサ１３が接続されている。

カメラ１１は、車両に搭載されたＣＣＤイメージセンサやＣＭＯＳイメージセンサ、赤外線センサなどである。カメラ１１は、車両の前方又は後方を撮像範囲とするように、例えば、前方バンパの中央に搭載されている。カメラ１１は、所定の周期で車両の前方を繰り返し撮影し、撮影した画像のデータを画像認識装置２０へ送信する。

車速センサ１２は、車両の速度を検出し、検出した速度のデータを画像認識装置２０へ送信する。ステア角センサ１３は、車両のステアリング角度を検出し、検出したステアリング角度のデータを画像認識装置２０へ送信する。

画像認識装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体メモリ、及びＩ／Ｏ等を有するマイクロコンピュータを中心に構成される。画像認識装置２０は、ＣＰＵが、非遷移的実体的記録媒体である半導体メモリに格納されたプログラムを実行することにより、各種機能を実現する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像認識装置２０は、１つのマイクロコンピュータを含んでいてもよいし、複数のマイクロコンピュータを含んでいてもよい。

画像認識装置２０は、ＣＰＵがプログラムを実行することによる実現する機能として、画像取得部２１、オプティカルフロー算出部２２、オプティカルフロー分類部２３、及び認識部２４を備える。これらの各種機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能をハードウェアを用いて実現してもよい。

画像取得部２１は、カメラ１１から送信された画像を取得する。
オプティカルフロー算出部２２は、画像取得部２１により取得された画像からオプティカルフローを算出する。オプティカルフローの算出手法は公知であるため簡単に述べる。オプティカルフロー算出部２２は、画像取得部２１により取得された画像から特徴点を抽出する。特徴点は例えばエッジ点である。オプティカルフロー算出部２２は、連続する２つのフレーム間の特徴点の移動からオプティカルフローを算出する。各オプティカルフローは、各特徴点の速度ベクトルに相当する。

オプティカルフロー分類部２３は、車速センサ１２から送信された車速、及びステア角センサ１３から送信されたステアリング角から、オプティカルフローの算出に用いられた２つのフレーム間における車両の移動量（すなわち、エゴモーション量）を検出し、車両の移動量に応じたオプティカルフローを算出する。つまり、オプティカルフロー分類部２３は、２つのフレーム間において車両の移動により生じる見かけのオプティカルフローを算出する。

さらに、オプティカルフロー分類部２３は、オプティカルフロー算出部２２により算出された各オプティカルフローから、車両の移動量に応じたオプティカルフローを差し引いて、補正フロー（以下、フロー）を算出する。そして、オプティカルフロー分類部２３は、算出したフローの種類を分類する。オプティカルフロー分類部２３が実行するフローの分類処理の詳細は後述する。

認識部２４は、オプティカルフロー分類部２３により分類されたフローから、そのフローの種類に応じた対象を認識する。
＜１－２．フロー分類処理＞
次に、オプティカルフロー分類部２３（以下、分類部２３）が実行するフロー分類処理の処理手順について、図２のフローチャートを参照して説明する。分類部２３は、フローを算出する度に、各フローに対してフロー分類処理を実行する。

まず、Ｓ１０では、分類部２３は、算出したフローの長さから求めた絶対速度がゼロか否かを判定する。すなわち、分類部２３は、算出したフローがゼロベクトルか否か判定する。分類部２３は、フローから求めた絶対速度がゼロであると判定した場合には、Ｓ２０の処理へ進み、絶対速度がゼロと異なると判定した場合には、Ｓ３０の処理へ進む。

Ｓ２０では、分類部２３は、フローの絶対速度がゼロになるため、フローを移動体フローではないと判定し、本処理を終了する。具体的には、図４及び図５に示すフローＦ３，Ｆ７，Ｆ４が、移動体フローではないフローと判定される。フローＦ３，Ｆ７は、路面ＲＳに描かれた路面ペイントＲＰの特徴点Ｐ３，Ｐ７のフローである。すなわち、フローＦ３，Ｆ７は、路面フローである。フローＦ４は、路面ＲＳに接する静止立体物ＳＯの特徴点Ｐ４のフローである。すなわち、フローＦ４は、静止立体物下端フローである。

一方、Ｓ３０では、分類部２３は、フローが画像の消失点を起点とするフローか否か判定する。すなわち、分類部２３は、フローを始点方向へ延長した延長線上に画像の消失点があるか否か判定する。

絶対速度がゼロと異なるフローには、静止立体物の路面と接していない特徴点のフロー及び移動体のフローが含まれる。路面ペイントや静止立体物などのそれ自体が移動しない対象から検出されるフローは、車両が進行すると、車両が進行する前と比べて、画像において消失点から遠ざかる位置に写る。

そのため、図３に示すように、路面ペイントＲＰの特徴点Ｐ１のフローＦ１や、静止立体物ＳＯの特徴点Ｐ２のフローＦ２を始点方向へ延長すると消失点に到達する。また、車両の進行方向、すなわちカメラ１１の進行方向と同じ方向に移動する並進移動体のフローも、始点方向へ延長すると消失点に到達する。これに対して、車両の進行方向と交差する方向に移動する交差移動体のフローは、始点方向へ延長しても消失点に到達しない。よって、フローと消失点との関係を用いて、フローが交差移動体のフローか否かを判定することができる。

分類部２３は、Ｓ３０において、消失点を起点とするフローではないと判定した場合にはＳ４０の処理へ進み、消失点を起点とするフローと判定した場合にはＳ５０の処理へ進む。

Ｓ４０では、分類部２３は、フローを交差移動体フローと判定し、本処理を終了する。具体的には、図５に示すフローＦ１１，Ｆ１２が交差移動体フローと判定される。フローＦ１１，Ｆ１２は、カメラ１１の移動方向と交差する方向に移動する交差移動体Ｍ２の特徴点Ｐ１１，Ｐ１２のフローである。本実施形態では、交差移動体Ｍ２は歩行者であるが、交差移動体には他車両や自転車なども含まれる。

また、Ｓ５０では、分類部２３は、フローを交差移動体フローではないと判定し、本処理を終了する。具体的には、図４及び図５に示すフローＦ５，Ｆ６，Ｆ８，Ｆ９，Ｆ１０が、交差移動体フローではないフローと判定される。フローＦ５，Ｆ６は、静止立体物ＳＯの路面ＲＳに接していない特徴点Ｐ５，Ｐ６のフローである。すなわち、フローＦ５，Ｆ６は、静止立体物フローである。また、フローＦ８，Ｆ９，Ｆ１０は、カメラ１１の移動方向と同じ方向に移動する並進移動体Ｍ１の特徴点Ｐ８，Ｐ９，Ｐ１０のフローである。すなわち、フローＦ８，Ｆ９，Ｆ１０は、並進移動体フローである。本実施形態では、並進移動体Ｍ１は歩行者であるが、並進移動体には他車両や自転車なども含まれる。

このように、分類部２３によりフロー分類処理が実行され、算出された各フローが種類別に分類される。認識部２４は、分類部２３により交差移動体フローと判定されたフローから交差移動体を認識する。

＜１－３．効果＞
以上説明した第１実施形態によれば、以下の効果が得られる。
（１）フローと消失点との関係を判定することにより、静止立体物を誤検知することを抑制して、交差移動体を認識することができる。

（第２実施形態）
＜２－１．第１実施形態との相違点＞
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

第２実施形態では、第１実施形態よりも分類部２３によるフロー分類処理の手順を増やすことにより、より細かくフローを区別して判定する点で、第１実施形態と相違する。
＜２－２．フロー分類処理＞
次に、第２実施形態の分類部２３が実行するフロー分類処理の処理手順について、図６のフローチャートを参照して説明する。分類部２３は、フローを算出する度に、各フローに対してフロー分類処理を実行する。

まず、Ｓ１００～Ｓ１３０において、分類部２３は、図２のＳ１０～Ｓ４０と同様の処理を実行する。
そして、分類部２３は、Ｓ１２０において、消失点を起点とするフローと判定した場合には、Ｓ１４０の処理へ進む。

Ｓ１４０において、分類部２３は、判定対象のフローの下方向に、判定対象のフローと同じ対象物から検出された他のフローの連なりがあり、フローの連なりの中に絶対速度がゼロのフローすなわちゼロベクトルのフローがあるか否か判定する。静止立体物フローの下方には、ゼロベクトルである静止立体物下端フローが存在する。一方、並進移動体フローの下方にはゼロベクトルのフローは存在しない。そこで、Ｓ１４０において、分類部２３は、静止立体物フローと並進移動体フローとを判別するために、下方にゼロベクトルのフローが存在するか否か判定する。

分類部２３は、Ｓ１４０において下方にゼロベクトルのフローが存在しないと判定した場合にはＳ１５０の処理へ進み、下方にゼロベクトルのフローが存在すると判定した場合にはＳ１６０の処理へ進む。

Ｓ１５０では、分類部２３は、フローを並進移動体フローと判定し、本処理を終了する。具体的には、図５に示すフローＦ８，Ｆ９，Ｆ１０が、並進移動体フローと判定される。
一方、Ｓ１６０では、分類部２３は、フローを静止立体物フローと判定し、本処理を終了する。具体的には、図４に示すフローＦ５，Ｆ６が、静止立体物フローと判定される。

認識部２４は、分類部２３により交差移動体フローと判定されたフローから交差移動体を認識するとともに、並進移動体フローと判定されたフローから並進移動体を認識する。さらに、分類部２３は、静止立体物と判定されたフローから静止立体物を認識する。

＜２－３．効果＞
以上説明した第２実施形態によれば、前述した第１実施形態の効果（１）に加え、以下の効果が得られる。

（２）フローが消失点を起点とするフローの場合には、下方にゼロベクトルであるフローが存在するか否か判定することによって、静止立体物と並進移動体とを判別して認識することできる。

（第３実施形態）
＜３－１．第２実施形態との相違点＞
第３実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第２実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

第３実施形態では、第２実施形態よりも分類部２３によるフロー分類処理の手順をさらに増やすことにより、さらに細かくフローを区別して判定する点で、第２実施形態と相違する。

＜３－２．フロー分類処理＞
次に、第３実施形態の分類部２３が実行するフロー分類処理の処理手順について、図７及び８のフローチャートを参照して説明する。分類部２３は、フローを算出する度に、各フローに対してフロー分類処理を実行する。

まず、Ｓ２００では、分類部２３は、図６のＳ１００と同様の処理を実行する。そして、分類部２３は、Ｓ２００において、フローから求めた絶対速度がゼロであると判定した場合には、Ｓ２１０の処理へ進み、絶対速度がゼロと異なると判定した場合には、Ｓ２６０の処理へ進む。

Ｓ２１０では、分類部２３は、高さ方向の局所領域内に、予め設定された設定数の他のフローが存在するか否か判定する。他のフローは、判定対象のフローと同じ対象物から検出されたフローである。局所領域は、判定対象のフローから高さ方向に所定の長さを有する領域である。図９～１１に示す局所領域Ａ１，Ａ２，Ａ３，Ａ４は、それぞれ、特徴点Ｐ１５，Ｐ１７，Ｐ２０，Ｐ２４から高さ方向に所定の長さを有する領域である。

Ｓ２００においてゼロベクトルと判定されたフローには、静止立体物の下端から検出されるフロー、路面ペイントから検出されるフロー、静止立体物の影や反射光から検出されるフロー、高さが低く連続する線状物体から検出されるフローなどが含まれる。線状物体は、路側帯と道路とを区切るブロックや白線、簡易駐車場で仕切として使用されるロープなどである。すなわち、ゼロベクトルと判定されたフローには、十分な高さを有する静止立体物の下端から検出されたフローと、高さを有さない路面特徴部分又は路面に近い高さを有する線状物体から検出されたフローが含まれる。路面特徴部分には、路面ペイント、影、反射光などが含まれる。

Ｓ２１０において、分類部２３は、局所領域内の他のフローの数から、判定対象のフローが十分な高さを有さない対象から検出されたフローか否かを判定する。分類部２３は、Ｓ２１０において、局所領域内に設定数のフローが存在しないと判定した場合にはＳ２２０の処理へ進み、局所領域内に設定数のフローが存在すると判定した場合にはＳ２３０の処理へ進む。

Ｓ２２０では、分類部２３は、フローを路面特徴部分や線状物体から検出された路面フローと判定し、本処理を終了する。フローが線状物体から検出されたフローの場合、高さ方向に絶対速度が０でないフローが存在することはあるが、高さ方向のフローの数は少ないため、局所領域内に設定数のフローが存在しない。具体的には、Ｓ２２０において、図４及び図５に示す路面ペイントＲＰのフローＦ３，Ｆ７、及び図１０に示す線状物体ＢＬの特徴点Ｐ２０～Ｐ２３のフローのうちゼロベクトルのフローが路面フローと判定される。

一方、Ｓ２３０では、分類部２３は、高さ方向に、判定対象のフローと同じ対象物から検出された絶対速度が０でないフローがあるか否か判定する。すなわち、分類部２３は、高さ方向にゼロベクトル以外のフローがあるか否か判定する。図１１に示す路面ペイントＲＰのように、路面特徴部分の形状によっては、路面特徴部分から検出されたフローが高さ方向に並ぶため、局所領域内に設定数のフローが存在する場合がある。しかしながら、路面特徴部分のフローは、高さ方向に並んだとしてもすべてゼロベクトルである。これに対して、図４に示す静止立体物ＳＯのフローは、高さ方向に並んだフローにゼロベクトル以外のフローが含まれる。

したがって、分類部２３は、Ｓ２３０において、さらに、高さ方向におけるゼロベクトルの存在を確認することによって、路面フローか否かを判定する。ここで、静止立体物の上端から検出されるフローは、後述するＳ２６０において路面に投影できないと判定される。よって、分類部２３は、Ｓ２６０において路面に投影できないと判定されたフローが上方に存在する場合には、判定対象のフローから路面に投影できないと判定されたフローまでの範囲を上方に探索して、ゼロベクトル以外のフローがあるか否か判定するとよい。そして、分類部２３は、Ｓ２３０において、高さ方向にゼロベクトル以外のフローが存在しないと判定した場合はＳ２４０の処理へ進み、高さ方向にゼロベクトル以外のフローが存在すると判定した場合はＳ２５０の処理へ進む。

Ｓ２４０では、分類部２３は、フローを路面フローと判定して、本処理を終了する。具体的には、Ｓ２４０において、図１１に示す路面ペイントＲＰの特徴点Ｐ２４～Ｐ２６のフローが路面フローと判定される。

また、Ｓ２５０では、分類部２３は、フロー―を静止立体物フローと判定して、本処理を終了する。具体的には、Ｓ２５０において、図４に示す静止立体物ＳＯの特徴点Ｐ４のフローＦ４が、静止立体物下端フローと判定される。

一方、Ｓ２６０では、分類部２３は、フローが路面に投影できるか否か判定する。図４及び図５に示すフローＦ５，Ｆ９のように背景が路面のフローは路面に投影できるフローである。一方、図４及び図５に示すフローＦ６，Ｆ１０のように空中に存在するフローは路面に投影できないフローである。路面に投影できるフローには、移動体と共に移動する移動体の影などの路面上を移動するフローが含まれるが、路面に投影できないフローには、路面上を移動するフローは含まれない。分類部２３は、Ｓ２６０において、フローが路面に投影できないと判定した場合にはＳ２７０の処理へ進み、フローが路面に投影できると判定した場合にはＳ３２０の処理へ進む。

分類部２３は、Ｓ２７０～Ｓ３１０において、図６のＳ１２０～Ｓ１６０と同様の処理を実行して、フローを、静止立体物フロー、並進移動体フロー、及び交差移動体フローの何れかと判定し、本処理を終了する。具体的には、Ｓ２８０において、図５に示すフローＦ１１，Ｆ１２のうち、路面投影できないフローＦ１２が交差移動体のフローと判定される。また、Ｓ３００において、図５に示すフローＦ８，Ｆ９，Ｆ１０のうち、路面投影できないフローＦ１０が並進移動体フローと判定される。また、Ｓ３１０において、図４に示すフローＦ５，Ｆ６のうち、路面投影できないフローＦ６が静止立体物フローと判定される。

さらに、Ｓ３２０では、分類部２３は、Ｓ２７０と同様の処理を実行する。分類部２３は、Ｓ３２０において、消失点を起点とするフローと判定した場合にはＳ３３０の処理へ進み、消失点を起点とするフローでないと判定した場合にはＳ４００の処理へ進む。

Ｓ３３０では、分類部２３は、Ｓ２９０と同様の処理を実行する。分類部２３は、Ｓ３３０において、下方にゼロベクトルのフローが存在すると判定した場合にはＳ３４０の処理へ進み、下方にゼロベクトルのフローが存在しないと判定した場合にはＳ３５０のフローへ進む。

Ｓ３４０では、分類部２３は、フローを静止立体物フローと判定し、本処理を終了する。具体的には、図４に示すフローＦ５，Ｆ６のうち、路面投影できるフローＦ５が静止立体物フローと判定される。

一方、Ｓ３５０では、分類部２３は、Ｓ２１０と同様の処理を実行する。Ｓ３３０において下方にゼロベクトルのフローが存在しないと判定されたフローには、並進移動体から検出されたフローや、並進移動体と共に移動する影及び反射光から検出されたフロー、線状物体から検出されたフローなどが含まれる。分類部２３は、Ｓ３５０において、局所領域内の他のフローの数から、十分な高さを有さない対象から検出されたフローか否かを判定する。分類部２３は、Ｓ３５０において、局所領域内に設定数のフローが存在しないと判定した場合にはＳ３６０の処理へ進み、局所領域内に設定数のフローが存在すると判定した場合にはＳ３７０の処理へ進む。

Ｓ３６０では、分類部２３は、フローを、路面上で並進移動体と共に移動する路面移動部分や線状物体から検出された路面移動フローと判定し、本処理を終了する。具体的には、Ｓ３６０では、図９に示す並進移動体Ｍ３と共に移動する影ＳＷの特徴点Ｐ１３～Ｐ１６のフローが、路面移動フローと判定される。

また、Ｓ３７０では、分類部２３は、高さ方向のフローの連なりの中に絶対速度が異なるフローがあるか否か判定する。高さ方向のフローの連なりが影などの路面移動フローの連なりである場合、高さ方向に連なるフローの絶対速度はすべて等しい。一方、高さ方向のフローの連なりが立体物のフローの連なりである場合、フローの位置が高いほど絶対速度が大きく算出される。したがって、分類部２３は、Ｓ３７０において、さらに、高さ方向のフローの連なりの中に絶対速度が異なるフローがあるか否か判定することによって、路面移動フローと並進移動体フローとを判別する。分類部２３は、Ｓ３７０において、高さ方向に絶対速度が異なるフローがないと判定した場合にはＳ３８０の処理へ進み、高さ方向に絶対速度が異なるフローがあると判定した場合にはＳ３９０の処理へ進む。

Ｓ３８０では、分類部２３は、フローを路面移動フローと判定し、本処理を終了する。具体的には、Ｓ３８０では、並進移動体の影の特徴点であって、高さ方向に並んだ特徴点のフローが路面移動フローと判定される。

また、Ｓ３９０では、分類部２３は、フローを並進移動体フローと判定し、本処理を終了する。具体的には、Ｓ３９０において、図５に示すフローＦ８，Ｆ９，Ｆ１０のうち、路面投影できるＦ８，Ｆ９が並進移動体フローと判定される。

さらに、Ｓ４００では、分類部２３は、Ｓ３５０と同様の処理を実行する。そして、分類部２３は、Ｓ４００において、局所領域内に設定数のフローが存在しないと判定した場合にはＳ４１０の処理へ進み、局所領域内に設定数のフローが存在すると判定した場合にはＳ４２０の処理へ進む。

Ｓ４１０では、分類部２３は、フローを、路面上で交差移動体と共に移動する路面移動部分や線状物体から検出された路面移動フローと判定し、本処理を終了する。具体的には、Ｓ４１０では、交差移動体と共に移動する影から検出されるフローが路面移動フローと判定される。

また、Ｓ４２０では、分類部２３は、Ｓ３７０と同様の処理を実行する。そして、分類部２３は、Ｓ４２０において、高さ方向に移動体フローがないと判定した場合にはＳ４３０の処理へ進み、高さ方向に移動体フローがあると判定した場合にはＳ４４０の処理へ進む。

Ｓ４３０では、分類部２３は、フローを路面移動フローと判定し、本処理を終了する。具体的には、Ｓ３８０では、交差移動体の影から検出されるフローであって高さ方向に並んだフローが路面移動フローと判定される。

また、Ｓ４４０では、分類部２３は、フローを交差移動体フローと判定し、本処理を終了する。具体的には、Ｓ４４０において、図５に示すフローＦ１１，Ｆ１２のうち、路面投影できるＦ１１が交差移動体フローと判定される。

認識部２４は、分類部２３により判定された各フローから、静止立体物の下端、路面特徴部分、静止立体物、並進移動体、交差移動体、路面移動部分を認識する。
＜３－３．効果＞
以上説明した第３実施形態によれば、前述した第２実施形態の効果（１），（２）に加え、以下の効果が得られる。

（３）フローがゼロベクトルと判定され、且つ、局所領域内に設定数のフローが存在しない場合には、そのフローから路面上の路面特徴部分を認識することができる。
（４）局所領域内に設定数のフローが存在する場合には、高さ方向のフローの連なりの中にゼロベクトル以外のフローが存在するか否か判定することによって、静止立体物の下端と路面上の路面特徴部分とを判別して認識することができる。

（５）路面に投影できないフローは、路面に投影できるフローよりも、精度よくフローの種類を判定して認識することができる。よって、フローが路面に投影可能か否かを判定することによって、フローの種類の判定精度を向上させることができる。

（６）フローが路面に投影可能と判定された場合には、フローと消失点との関係の判定に加えて、局所領域内に設定数のフローが存在するか否か判定することにより、交差移動体と共に移動する路面上の路面移動部分を認識することができる。

（７）フローが路面に投影可能と判定され、且つ、消失点を起点とするフローではないと判定され、且つ、局所領域内に設定数のフローが存在すると判定された場合には、さらに、高さ方向の補正フローの連なりの中に絶対速度が異なるフローが存在するか否か判定することによって、交差移動体と路面上の路面移動部分とを判別して認識することができる。

（８）フローが投影可能と判定された場合には、フローと消失点との関係の判定、下方のフローの連なりの中にゼロベクトルであるフローが存在するか否かの判定に加えて、局所領域内に設定数のフローが存在するか否か判定することにより、並進移動体と共に移動する路面上の路面移動部分を認識することができる。

（９）フローが路面に投影可能と判定され、且つ、消失点を起点とするフローと判定され、且つ、下方にゼロベクトルであるフローが存在すると判定され、且つ、局所領域内に設定数のフローが存在しないと判定された場合には、さらに、高さ方向のフローの連なりの中に絶対速度が異なるフローが存在するか否か判定することによって、並進移動体と路面上の路面移動部分とを判別して認識することができる。

（他の実施形態）
以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（ａ）上記実施形態では、車両の移動量を算出するために、車速センサ１２とステア角センサ１３の検出値を用いていたが、これに限定されるものではない。例えば、ステア角センサ１３の代わりにヨーレートセンサを用いてもよい。

（ｂ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（ｃ）上述した画像認識装置の他、当該画像認識装置を構成要素とするシステム、当該画像認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像認識方法など、種々の形態で本開示を実現することもできる。

１１…カメラ、２０…画像認識装置、２１…画像取得部、２２…オプティカルフロー算出部、２３…オプティカルフロー分類部、２４…認識部。

Claims (9)

1. 車両に搭載された撮影装置（１１）により撮影された画像を取得する画像取得部（２１）と、
   前記画像取得部により取得された画像からオプティカルフローを算出するフロー算出部（２２）と、
   前記車両の移動量を検出する移動量検出部（２３）と、
   前記フロー算出部により算出されたオプティカルフローから前記移動量検出部により検出された移動量に応じたオプティカルフローを差し引いて、補正フローを算出する補正部（２３）と、
   前記補正部により算出された補正フローがゼロベクトルか否か判定するゼロベクトル判定部（２３，Ｓ１０，１００，Ｓ２００）、
   前記ゼロベクトル判定部によりゼロベクトルではないと判定された場合に、当該補正フローを延長した延長線上に前記画像の消失点があるか否か判定する消失点判定部（２３，Ｓ３０，Ｓ１２０，Ｓ２７０，Ｓ３２０）と、
   前記消失点判定部により前記延長線上に前記消失点がないと判定された場合に、当該補正フローから、前記撮影装置の移動方向と交差する方向に移動する交差移動体を認識する認識部（２４）と、
   を備える、画像認識装置。
2. 前記消失点判定部により前記延長線上に前記消失点があると判定された場合に、当該補正フローの下方向に、ゼロベクトルである前記補正フローが存在するか否か判定する下方向判定部（２３，Ｓ１４０）と、を備え、
   前記認識部は、
   前記下方向判定部によりゼロベクトルである前記補正フローが存在すると判定された場合に、当該補正フローから静止立体物を認識し、
   前記下方向判定部によりゼロベクトルである前記補正フローが存在しないと判定された場合に、当該補正フローから前記撮影装置の移動方向に移動する並進移動体を認識する、
   請求項１に記載の画像認識装置。
3. 前記補正フローの高さ方向に所定の長さを有する局所領域内に、設定数の前記補正フローが存在するか否か判定する領域判定部（２３，Ｓ２１０，Ｓ３５０，Ｓ４００）を備え、
   前記認識部は、前記ゼロベクトル判定部によりゼロベクトルであると判定され、且つ、前記領域判定部により前記設定数の前記補正フローが存在しないと判定された場合に、当該補正フローから路面上の路面特徴部分を認識する、
   請求項２に記載の画像認識装置。
4. 前記領域判定部により前記設定数の前記補正フローが存在すると判定された場合に、当該補正フローの高さ方向に、ゼロベクトル以外の前記補正フローが存在するか否か判定する高さ方向判定部（２３，Ｓ２３０）を備え、
   前記認識部は、
   前記ゼロベクトル判定部によりゼロベクトルであると判定され、且つ、前記領域判定部により前記設定数の前記補正フローが存在すると判定され、且つ、前記高さ方向判定部によりゼロベクトル以外の前記補正フローが存在すると判定された場合に、当該補正フローから静止立体物の下端を認識し、
   前記ゼロベクトル判定部によりゼロベクトルであると判定され、且つ、前記領域判定部により前記設定数の前記補正フローが存在すると判定され、且つ、前記高さ方向判定部によりゼロベクトル以外の前記補正フローが存在しないと判定された場合に、当該補正フローから路面上の路面特徴部分を認識する、
   請求項３に記載の画像認識装置。
5. 前記ゼロベクトル判定部によりゼロベクトルではないと判定された場合に、当該補正フローが路面に投影可能か否かを判定する投影判定部（２３，Ｓ２６０）を備える、
   請求項４に記載の画像認識装置。
6. 前記認識部は、
   前記投影判定部により投影可能と判定され、且つ、前記消失点判定部により前記延長線上に前記消失点がないと判定され、且つ、前記領域判定部により前記設定数の前記補正フローが存在しないと判定された場合に、当該補正フローから路面上を移動する路面移動部分を認識する、
   請求項５に記載の画像認識装置。
7. 前記補正フローの高さ方向のフローの連なりの中に絶対速度の異なるフローが存在するか否か判定する移動体判定部（２３，Ｓ３７０，Ｓ４２０）を備え、
   前記認識部は、
   前記投影判定部により投影可能と判定され、且つ、前記消失点判定部により前記延長線上に前記消失点がないと判定され、且つ、前記領域判定部により前記設定数の前記補正フローが存在すると判定された場合において、
   前記移動体判定部により絶対速度の異なるフローが存在すると判定されたときに、当該補正フローから前記交差移動体を認識し、
   前記移動体判定部により絶対速度の異なるフローが存在しないと判定されたときに、当該補正フローから路面上を移動する路面移動部分を認識する、
   請求項６に記載の画像認識装置。
8. 前記認識部は、前記投影判定部により投影可能と判定され、且つ、前記消失点判定部により前記延長線上に前記消失点があると判定され、且つ、前記下方向判定部によりゼロベクトルである前記補正フローが存在しないと判定され、且つ、前記領域判定部により前記設定数の前記補正フローが存在しないと判定された場合に、当該補正フローから路面上を移動する路面移動部分を認識する、
   請求項５～７のいずれか１項に記載の画像認識装置。
9. 前記補正フローの高さ方向のフローの連なりの中に絶対速度の異なるフローが存在するか否か判定する移動体判定部（２３，Ｓ３７０，Ｓ４２０）を備え、
   前記認識部は、
   前記投影判定部により投影可能と判定され、且つ、前記消失点判定部により前記延長線上に前記消失点があると判定され、且つ、前記下方向判定部によりゼロベクトルである前記補正フローが存在しないと判定され、且つ、前記領域判定部により前記設定数の前記補正フローが存在すると判定された場合において、
   前記移動体判定部により絶対速度の異なるフローが存在すると判定されたときに、当該補正フローから前記並進移動体を認識し、
   前記移動体判定部により絶対速度の異なるフローが存在しないと判定されたときに、当該補正フローから路面上を移動する路面移動部分を認識する、
   請求項８に記載の画像認識装置。

Images