JP7047291B2 - 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム - Google Patents
情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP7047291B2 JP7047291B2 JP2017176660A JP2017176660A JP7047291B2 JP 7047291 B2 JP7047291 B2 JP 7047291B2 JP 2017176660 A JP2017176660 A JP 2017176660A JP 2017176660 A JP2017176660 A JP 2017176660A JP 7047291 B2 JP7047291 B2 JP 7047291B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- continuous
- information
- region
- depth direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Regulating Braking Force (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラムに関する。
従来、自動車の安全性において、歩行者と自動車とが衝突したときに、いかに歩行者を守れるか、および、乗員を保護できるかの観点から、自動車のボディー構造等の開発が行われてきた。しかしながら、近年、情報処理技術および画像処理技術の発達により、高速に人および自動車を検出する技術が開発されている。これらの技術を応用して、自動車が物体に衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車も既に開発されている。自動車の自動制御には、人または他車等の物体までの距離を正確に測定する必要があり、そのためには、ミリ波レーダおよびレーザレーダによる測距、ならびに、ステレオカメラによる測距等が実用化されている。
このように、ステレオカメラにより撮像された画像からガードレールおよびブロック塀等の側壁物（以下、単に「壁」という場合がある）を検出する技術として、道路がカーブしている場合にも、道路の境界を構成する一連の立体物を壁面として検出する技術が開示されている（特許文献１参照）。また、同様の技術として、道路を含む自車両の進行路を撮像した撮像画像中から道路脇のガードレール等の壁を精度よく検出する技術が開示されている（特許文献２参照）。
しかしながら、特許文献１および特許文献２に記載された技術では、ステレオカメラから得られた視差画像において、視差の分散が存在する場合、壁等の物体を安定して検出することができないという問題がある。
本発明は、上記に鑑みてなされたものであって、物体を安定して検出することができる情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、物体の横方向位置と縦方向位置と奥行き方向位置とが対応付けられた情報から物体の横方向位置と奥行き方向位置とが対応付けられた２次元分布情報を生成する生成部と、前記生成部により生成された前記２次元分布情報における奥行き方向に連続しない部分を補間する補間部と、前記補間部により補間された前記奥行き方向に連続することとなった連続領域に基づいて、前記物体を検出する物体検出部と、前のフレームの情報を用いて検出された前記物体の領域に基づいて、現在のフレームにおける前記物体が位置する領域を予測する予測部と、を備え、前記補間部は、前記予測部により予測された領域内で、前記２次元分布情報における前記奥行き方向に連続しない部分を補間することを特徴とする。
本発明によれば、物体を安定して検出することができる。
以下に、図１～図２４を参照しながら、本発明に係る情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
（機器制御システムを備えた車両の概略構成）
図１は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図１を参照しながら、本実施の形態の機器制御システム６０を搭載した車両７０について説明する。図１のうち、図１（ａ）は、車両７０の平面図であり、図１（ｂ）は、車両７０の側面図であり、図１（ｃ）は、車両７０の正面図である。
図１は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図１を参照しながら、本実施の形態の機器制御システム６０を搭載した車両７０について説明する。図１のうち、図１（ａ）は、車両７０の平面図であり、図１（ｂ）は、車両７０の側面図であり、図１（ｃ）は、車両７０の正面図である。
図１（ａ）に示すように、車両７０は、例えば、進行方向の前側の所定の撮像範囲を撮像する物体認識装置１が前部に設けられた自動車である。物体認識装置１は、後述するように、撮像部１０ａ、１０ｂを備え、左目視界および右目視界から２つの画像を撮像する装置である。
図１に示すように、自動車である車両７０は、機器制御システム６０を搭載している。機器制御システム６０は、車両７０の居室空間である車室に設置された物体認識装置１と、車両制御装置６（制御装置）と、ステアリングホイール７と、ブレーキペダル８と、を備えている。
物体認識装置１は、車両７０の進行方向を撮像する撮像機能を有し、例えば、車両７０のフロントウィンドウ内側のバックミラー近傍に設置される。物体認識装置１は、構成および動作の詳細は後述するが、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、車両７０の進行方向の被写体を撮像できるように本体部２に固定されている。
車両制御装置６は、物体認識装置１から受信した認識情報に基づいて、各種車両制御を実行するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。車両制御装置６は、車両制御の例として、物体認識装置１から受信した認識情報に基づいて、ステアリングホイール７を含むステアリング系統（制御対象の一例）を制御して障害物を回避するステアリング制御、または、ブレーキペダル８（制御対象の一例）を制御して車両７０を減速および停止させるブレーキ制御等を実行する。
このような物体認識装置１および車両制御装置６を含む機器制御システム６０のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、車両７０の運転の安全性を向上することができる。
なお、上述のように、物体認識装置１は、車両７０の前方を撮像するものとしたが、これに限定されるものではない。すなわち、物体認識装置１は、車両７０の後方または側方を撮像するように設置されるものとしてもよい。この場合、物体認識装置１は、車両７０の後方の後続車および人、または側方の他の車両および人等の位置を検出することができる。そして、車両制御装置６は、車両７０の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、車両制御装置６は、車両７０の駐車時等におけるバック動作において、物体認識装置１によって出力された車両７０の後方の障害物についての認識情報に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。
（物体認識装置およびその周辺の構成）
図２は、実施の形態に係る機器制御システムのうち物体認識装置およびその周辺の構成を示す図である。図２を参照しながら、機器制御システム６０のうち物体認識装置１およびその周辺の構成について説明する。
図２は、実施の形態に係る機器制御システムのうち物体認識装置およびその周辺の構成を示す図である。図２を参照しながら、機器制御システム６０のうち物体認識装置１およびその周辺の構成について説明する。
物体認識装置１は、撮像した２つの撮像画像（輝度画像）を、ＥＣＵである車両制御装置６に出力する。車両制御装置６は、車両７０に設置され、車両７０のエンジン、ならびに、車両７０のその他の電気的な制御および処理を総合的に行う。すなわち、図２に示すように、車両制御装置６は、様々な制御の処理対象となる制御対象９（上述のステアリング系統およびブレーキペダル８等）の動作を制御する。
（物体認識装置の構成）
図３は、実施の形態に係る物体認識装置の外観の一例を示す図である。図３に示すように、物体認識装置１は、上述のように、本体部２と、本体部２に固定された撮像部１０ａ、１０ｂとを備えている。撮像部１０ａ、１０ｂは、本体部２に対して平行等位に配置された一対の円筒形状のカメラで構成されている。また、説明の便宜上、図３に示す撮像部１０ａを「右」のカメラと称し、撮像部１０ｂを「左」のカメラと称する場合がある。
図３は、実施の形態に係る物体認識装置の外観の一例を示す図である。図３に示すように、物体認識装置１は、上述のように、本体部２と、本体部２に固定された撮像部１０ａ、１０ｂとを備えている。撮像部１０ａ、１０ｂは、本体部２に対して平行等位に配置された一対の円筒形状のカメラで構成されている。また、説明の便宜上、図３に示す撮像部１０ａを「右」のカメラと称し、撮像部１０ｂを「左」のカメラと称する場合がある。
＜物体認識装置のハードウェア構成＞
図４は、実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。図４を参照しながら、物体認識装置１のハードウェア構成について説明する。
図４は、実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。図４を参照しながら、物体認識装置１のハードウェア構成について説明する。
図４に示すように、物体認識装置１は、本体部２（図３参照）内に、撮像部１０ａ、１０ｂと、画像処理装置３０と、を備えている。
撮像部１０ａは、前方の被写体を撮像して撮像画像を生成する処理部である。撮像部１０ａは、撮像レンズ１１ａと、画像センサ１２ａと、センサコントローラ１３ａと、を備えている。
撮像レンズ１１ａは、入射する光を屈折させて物体の像を画像センサ１２ａに結像させるための光学素子である。画像センサ１２ａは、撮像レンズ１１ａに入射した光を電気的な画像信号に変換する半導体素子である。画像センサ１２ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子によって実現される。センサコントローラ１３ａは、例えば、画像センサ１２ａの露光制御、画像読み出し制御、外部回路との通信、および画像データの送信制御等を行う装置である。
撮像部１０ｂは、前方の被写体を撮像して撮像画像を生成する処理部である。撮像部１０ｂは、撮像レンズ１１ｂと、画像センサ１２ｂと、センサコントローラ１３ｂと、を備えている。なお、撮像レンズ１１ｂ、画像センサ１２ｂおよびセンサコントローラ１３ｂの機能は、それぞれ上述した撮像レンズ１１ａ、画像センサ１２ａおよびセンサコントローラ１３ａの機能と同様である。また、撮像レンズ１１ａおよび撮像レンズ１１ｂは、左右の撮像部１０ａ、１０ｂが同一の条件で撮像するように、それぞれの主面が互いに同一平面上にあるように設置されている。
画像処理装置３０は、撮像部１０ａ、１０ｂによって変換された画像データに対して画像処理をする装置である。具体的には、画像処理装置３０は、撮像部１０ａ、１０ｂによって撮像された２つの撮像画像から、物体に対する視差を示す視差値ｄｐ（距離情報の一例）を導出し、撮像画像におけるｘ方向（第１方向の一例）の位置およびｙ方向（第２方向の一例）の位置で定まる画素において、各視差値ｄｐを画素値とする視差画像（第１情報の一例）を生成する。そして、画像処理装置３０は、視差画像に基づいて撮像画像に写り込んでいる人および車等の物体に対する物体認識処理等を行い、物体認識処理の結果を示す情報である認識情報を、車両制御装置６に出力する。画像処理装置３０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４と、シリアルＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３５と、データＩ／Ｆ３６と、シリアルバスライン３８と、データバスライン３９と、を備えている。撮像部１０ａ、１０ｂは、シリアルバスライン３８およびデータバスライン３９を介して、画像処理装置３０に接続されている。撮像部１０ａ、１０ｂにより撮像された撮像画像（輝度画像）のデータは、データバスライン３９を介して、画像処理装置３０のＲＡＭ３４に書き込まれる。ＦＰＧＡ３１およびＣＰＵ３２からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、および各種設定データ等は、シリアルバスライン３８を介して、センサコントローラ１３ａ、１３ｂと送受信される。なお、ここでいう視差画像は、物体の縦方向位置と、横方向位置と、奥行き方向位置とを対応付けた情報であると言える。また、以降、「画像」という文言を用いる場合は、必ずしもディスプレイ等における表示を要するものではなく、単なる情報の集合体を含む意とする。
ＦＰＧＡ３１は、集積回路であり、ここでは、２つの撮像画像に対してガンマ補正およびゆがみ補正（左右の撮像画像の平行化）を行い、視差値ｄｐを導出して視差画像を生成し、視差画像に基づいて、物体に対する物体認識処理を行う。ＣＰＵ３２は、撮像部１０ａ、１０ｂのセンサコントローラ１３ａ、１３ｂの動作を制御し、かつ、画像処理装置３０の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が画像処理装置３０の各機能を制御するために実行する画像処理プログラム（立体物体認識プログラム等）を記憶している。ＲＡＭ３４は、ＣＰＵ３２のワークエリアとして使用される。シリアルＩ／Ｆ３５は、ＦＰＧＡ３１およびＣＰＵ３２による物体認識処理の処理結果である物体の認識情報を、車両制御装置６に出力するためのインターフェースである。データＩ／Ｆ３６は、車両７０についてのＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）情報（車速、加速度、舵角、および、ヨーレート等）を取得するためのインターフェースである。
立体物体認識プログラムは、画像処理プログラムの一例である。ＣＰＵ３２は、データＩ／Ｆ３６を介して、例えば、車両７０についてのＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）情報（車速、加速度、舵角、および、ヨーレート等）を取得する。そして、ＣＰＵ３２は、ＲＯＭ３３に記憶されている立体物体認識プログラムに従って、ＲＡＭ３４に記憶されている撮像画像および視差画像のデータを用いて、物体認識処理等の各種処理を実行し、先行車両等の検出対象の検出（認識）を行う。
検出対象（認識対象）の検出情報（認識情報）は、上述のように、シリアルＩ／Ｆ３５を介して、車両制御装置６に出力され、自動ブレーキシステム、または自動速度制御システム等の制御に利用される。自動ブレーキシステムは、認識対象の認識情報を用いて車両７０のブレーキ制御を行う。自動速度制御システムは、認識対象の認識情報を用いて車両７０の速度制御を行う。
なお、画像処理装置３０は、物体認識処理を実行する集積回路としてＦＰＧＡ３１を備えるものとしているが、これに限定されるものではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の集積回路であってもよい。
また、上述の立体物体認識プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード等である。
＜物体認識装置の機能ブロックの構成および動作＞
図５は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。図６は、視差画像から生成されるＶマップの一例を示す図である。図７は、視差画像から生成されるＵマップの一例を示す図である。図８は、Ｕマップから生成されるリアルＵマップの一例を示す図である。図５～図８を参照しながら、物体認識装置１の機能ブロックの構成および動作について説明する。
図５は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。図６は、視差画像から生成されるＶマップの一例を示す図である。図７は、視差画像から生成されるＵマップの一例を示す図である。図８は、Ｕマップから生成されるリアルＵマップの一例を示す図である。図５～図８を参照しながら、物体認識装置１の機能ブロックの構成および動作について説明する。
図５に示すように、物体認識装置１（撮像装置の一例）は、撮像部２００と、画像処理装置３０（情報処理装置の一例）と、を有する。
撮像部２００は、前方の被写体を撮像して撮像画像（輝度画像）を生成する機能部である。撮像部２００は、図４に示す撮像部１０ａ、１０ｂによって実現される。
画像処理装置３０は、平行化画像生成部３００と、視差画像生成部３０１（第２生成部）と、視差補間部３０２と、Ｖマップ生成部３０３と、路面形状検出部３０４と、路面高さテーブル算出部３０５と、Ｕマップ生成部３０６と、リアルＵマップ生成部３０７（第１生成部）と、移動予測領域算出部３０８（予測部）と、Ｕマップ補間部３０９（補間部）と、壁検出部３１０（物体検出部）と、検出結果記憶部３１１と、を有する。
平行化画像生成部３００は、撮像部２００が出力した２つの撮像画像（輝度画像）のデータ（以下、単に、撮像画像（輝度画像）と称する）に対して、平行化処理（ゆがみ補正）を実行する機能部である。ここで、平行化画像生成部３００が出力する２つの輝度画像のうち、右のカメラ（撮像部１０ａ）に対応する輝度画像を基準画像Ｉａの画像データ（以下、単に、基準画像Ｉａと称する）とし、左のカメラ（撮像部１０ｂ）に対応する輝度画像を比較画像Ｉｂの画像データ（以下、単に、比較画像Ｉｂと称する）とする。
視差画像生成部３０１は、基準画像Ｉａおよび比較画像Ｉｂから、ブロックマッチングにより導出された視差値ｄｐに基づいて、この視差値ｄｐを画素値とする視差画像の画像データ（以下、単に、視差画像と称する）を生成する機能部である。
視差補間部３０２は、視差画像生成部３０１により生成された視差画像に対して、補間処理（例えば、線形補間）を行う機能部である。
Ｖマップ生成部３０３は、基準画像Ｉａ（または比較画像Ｉｂ）、および、視差補間部３０２から出力された視差画像から、路面を検出するために、図６（ｂ）に示すＶ－ＤｉｓｐａｒｉｔｙマップであるＶマップＶＭを生成する機能部である。ここで、Ｖ－Ｄｉｓｐａｒｉｔｙマップ（以下、Ｖマップと称する）とは、縦軸を基準画像Ｉａのｙ軸とし、横軸を視差画像の視差値ｄｐ（または距離）とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。すなわち、Ｖマップは、物体の縦方向位置と奥行き方向位置とを対応付けた情報である。このＶマップにおける画素の画素値は、視差値ｄｐの頻度となる。すなわち、Ｖマップの画素値は、各ｙ座標に対応する視差値ｄｐの頻度となる。図６（ａ）に示す視差画像Ｉｐには、例えば、路面６００と、電柱６０１と、車６０２とが写り込んでいる。この視差画像Ｉｐの路面６００は、ＶマップＶＭにおいては路面部６００ａに対応し、電柱６０１は、電柱部６０１ａに対応し、車６０２は、車部６０２ａに対応する。
路面形状検出部３０４は、Ｖマップ生成部３０３により生成されたＶマップから、路面に対応する視差値およびｙ方向の位置の組が示す特徴、すなわち、視差画像の上方に向かうほど視差値が低くなるという特徴を示すＶマップ上の高頻度の点を直線近似する処理を行う機能部である。すなわち、上述のＶマップＶＭにおいて路面部６００ａを検出する処理に該当する。なお、路面が平坦な場合には一本の直線で十分な精度で近似可能であるが、車両進行方向において路面の傾斜状況が変化するような路面については、例えば、ＶマップＶＭを視差値ｄｐ方向に複数に区分して、区分ごとに直線近似して路面を求めるようにすればよい。
路面高さテーブル算出部３０５は、路面高さ（自車両の真下の路面部分に対する相対的な高さ）を算出してテーブル化する処理を行う機能部である。路面形状検出部３０４により生成されたＶマップ上の近似直線の情報から、撮像画像（基準画像Ｉａ）上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車両の真下に位置する路面部分をその面に平行となるように自車両進行方向前方へ延長した仮想平面の自車両進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面（基準路面）はＶマップ上で直線（基準直線）により表される。路面形状検出部３０４から出力される近似直線を基準直線と比較することにより、自車両前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部３０４から出力される近似直線上のｙ軸位置から、これに対応する視差値から求められる距離だけ自車両前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部３０５は、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。なお、路面の高さがわかると、公知の方法により、物体の高さが求まる。例えば、路面を表す直線の式が得られているため、視差値ｄｐがｄｐ＝０のときに対応するｙ座標ｙ０が定まり、このｙ座標ｙ０が路面の高さを示す。例えば、視差値がｄｐで、ｙ座標がｙ’である場合、ｙ’－ｙ０が視差値ｄｐのときの路面からの高さを示す。上述の座標（ｄｐ，ｙ’）の路面からの高さＨは、Ｈ＝｛ｚ×（ｙ’－ｙ０）｝／ｆという演算式で求めることができる。なお、この演算式における「ｚ」は、視差値ｄｐから計算される距離（ｚ＝ＢＦ／（ｄｐ－ｏｆｆｓｅｔ））であり、「ｆ」は、撮像部１０ａ、１０ｂの焦点距離を（ｙ’－ｙ０）の単位と同じ単位に変換した値である。また、「ｚ」を求める式中の「ＢＦ」は、撮像部１０ａ、１０ｂの基線長Ｂに焦点距離ｆを乗じた値であり、「ｏｆｆｓｅｔ」は、無限遠のオブジェクトを撮像したときの視差値である。
Ｕマップ生成部３０６は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図６（ａ）に示す視差画像Ｉｐでは電柱６０１および車６０２に対応する情報を利用して、物体を認識するために、図７（ｂ）に示すＵ－ＤｉｓｐａｒｉｔｙマップであるＵマップＵＭを生成する機能部である。Ｕマップ生成部３０６は、このＵマップＵＭを生成するために、路面高さテーブル算出部３０５により算出された路面の高さの情報を利用する。ここで、Ｕ－Ｄｉｓｐａｒｉｔｙマップ（以下、Ｕマップと称する）とは、横軸を基準画像Ｉａのｘ軸とし、縦軸を視差画像の視差値ｄｐ（または距離）とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。すなわち、Ｕマップは、物体の横方向位置と奥行き方向位置とを対応付けた情報である。このＵマップにおける画素の画素値は、視差値ｄｐの頻度となる。図７（ａ）に示す視差画像Ｉｐ１には、例えば、車両Ｃと、壁Ｗとが写り込んでいる。この視差画像Ｉｐ１の車両Ｃは、ＵマップＵＭにおいては領域Ｃ０に対応し、壁Ｗは、領域Ｗ０に対応する。
リアルＵマップ生成部３０７は、図７（ｂ）に示すＵマップ生成部３０６により生成されたＵマップＵＭから、横軸を実際の距離に変換した図８（ｂ）に示すＲｅａｌ Ｕ－ＤｉｓｐａｒｉｔｙマップであるリアルＵマップＲＭ（第２情報、２次元分布情報の一例）を生成する機能部である。ここで、Ｒｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップ（以下、リアルＵマップと称する）は、横軸を、撮像部１０ｂ（左のカメラ）から撮像部１０ａ（右のカメラ）へ向かう方向の実距離とし、縦軸を、視差画像の視差値ｄｐ（またはその視差値ｄｐから変換した奥行き方向の距離）（第３方向）とした二次元ヒストグラムである。リアルＵマップは、Ｕマップのスケールを変更したものに過ぎないため、本質的には、物体の横方向位置と奥行き方向位置とを対応付けた情報と同様である。また、リアルＵマップは、実空間を俯瞰的に捉えたマップ（鳥瞰画像、俯瞰画像）であるとも言える。このリアルＵマップにおける画素の画素値は、視差値ｄｐの頻度（要素値の一例）となる。図８（ａ）に示す視差画像Ｉｐ１の車両Ｃは、リアルＵマップＲＭにおいては領域Ｃ１に対応し、壁Ｗは、領域Ｗ１に対応する。図８（ａ）に示す視差画像Ｉｐ１の場合、得られるリアルＵマップＲＭでは、図８（ｂ）のように壁Ｗは垂直の線状の領域Ｗ１で表され、車両Ｃは背面の形状の領域Ｃ１が得られている。
具体的には、リアルＵマップ生成部３０７は、ＵマップＵＭでは、遠方（視差値ｄｐが小さい）では物体が小さいため、視差情報が少なく、距離の分解能も小さいので間引きせず、近距離の場合は物体が大きく写るため、視差情報が多く、距離の分解能も大きいので画素を大きく間引くことによって、俯瞰図に相当するリアルＵマップＲＭを生成する。なお、リアルＵマップ生成部３０７は、ＵマップＵＭからリアルＵマップＲＭを生成することに限定されるものではなく、視差画像から、直接、リアルＵマップＲＭを生成することも可能である。
移動予測領域算出部３０８は、前フレームの検出結果の情報（履歴）を利用して、前フレームにおいて検出された物体が今回のフレームでどの領域に存在しているかを算出し、算出した領域を移動予測領域として求める機能部である。ここで、前フレームとは、今回画像処理の対象となるフレームの前のフレーム、すなわち、前の２つの撮像画像（輝度画像）、ならびに、この２つの撮像画像に対応する視差画像、Ｖマップ、ＵマップおよびリアルＵマップそれぞれを含む概念とする。移動予測領域の具体的な例および算出方法の詳細は、図９～図１１において後述する。
Ｕマップ補間部３０９は、前フレームでの検出結果の情報（履歴）が存在する場合、移動予測領域算出部３０８により算出された移動予測領域には、前フレームで検出された物体が再び検出される可能性が高いので、物体としての壁の検出に有利になるように、リアルＵマップを補間する機能部である。このＵマップ補間部３０９によるリアルＵマップに対する補間処理の詳細は、図１２～図１４において後述する。
壁検出部３１０は、Ｕマップ補間部３０９により補間されたリアルＵマップにおいて、物体としての壁を検出する壁検出処理を実行する機能部である。壁検出部３１０は、図５に示すように、ラベリング部３１０ａ（連続領域検出部）と、判定部３１０ｂと、領域決定部３１０ｃと、を有する。
ラベリング部３１０ａは、Ｕマップ補間部３０９により補間されたリアルＵマップの視差値ｄｐ方向に連続する領域である画素連続領域を検出してラベルを付与するラベリング処理を行う機能部である。このラベリング部３１０ａによるラベリング処理の詳細は、図１５～図１７において後述する。
判定部３１０ｂは、ラベリング部３１０ａによりラベルが付与された視差値ｄｐ方向に延びる画素連続領域の長さに基づいて、画素連続領域が、連続する物体（例えば、壁）を示しているか否かを判定する機能部である。具体的には、判定部３１０ｂは、画素連続領域の長さが所定の長さ以上（所定の画素数以上）である場合に、画素連続領域に対応する物体が、連続する物体（例えば、壁）を示していると判定する。すなわち、判定部３１０ｂによって、ラベリング部３１０ａが検出した画素連続領域が、連続する物体を示していると判定された場合、連続する物体が検出されたことになる。判定部３１０ｂによる判定処理（壁判定処理）の詳細は、図１８および図１９において後述する。
領域決定部３１０ｃは、判定部３１０ｂによって、画素連続領域が連続する物体を示していると判定された場合、リアルＵマップ内において、連続しない物体等のその他の物体を検出すべき領域を決定する領域決定処理を実行する機能部である。領域決定部３１０ｃによる領域決定処理の詳細は、図２１および図２２において後述する。
検出結果記憶部３１１は、壁検出部３１０によって検出された壁等の連続する物体を検出した結果を認識情報として記憶する機能部である。なお、検出結果記憶部３１１は、壁等の連続する物体の検出結果のみではなく、連続しない物体（人または車等）の検出結果を認識情報として記憶するものとしてもよい。検出結果記憶部３１１は、図４に示すＲＡＭ３４によって実現される。
図５に示した平行化画像生成部３００、視差画像生成部３０１、視差補間部３０２、Ｖマップ生成部３０３、路面形状検出部３０４、路面高さテーブル算出部３０５、Ｕマップ生成部３０６、リアルＵマップ生成部３０７、移動予測領域算出部３０８、Ｕマップ補間部３０９、ならびに、壁検出部３１０のラベリング部３１０ａ、判定部３１０ｂおよび領域決定部３１０ｃは、それぞれ図４に示すＦＰＧＡ３１によって実現される。なお、平行化画像生成部３００、視差画像生成部３０１、視差補間部３０２、Ｖマップ生成部３０３、路面形状検出部３０４、路面高さテーブル算出部３０５、Ｕマップ生成部３０６、リアルＵマップ生成部３０７、移動予測領域算出部３０８、Ｕマップ補間部３０９、ならびに、壁検出部３１０のラベリング部３１０ａ、判定部３１０ｂおよび領域決定部３１０ｃの一部または全部は、ハードウェア回路であるＦＰＧＡ３１でなく、ＲＯＭ３３に記憶されているプログラムがＣＰＵ３２によって実行されることによって実現されるものとしてもよい。
なお、図５に示す平行化画像生成部３００、視差画像生成部３０１、視差補間部３０２、Ｖマップ生成部３０３、路面形状検出部３０４、路面高さテーブル算出部３０５、Ｕマップ生成部３０６、リアルＵマップ生成部３０７、移動予測領域算出部３０８、Ｕマップ補間部３０９、壁検出部３１０のラベリング部３１０ａ、判定部３１０ｂおよび領域決定部３１０ｃ、ならびに、検出結果記憶部３１１は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図５に示す画像処理装置３０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図５に示す画像処理装置３０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
（物体認識装置による移動予測に基づく壁検出処理）
図９は、実施の形態に係る物体認識装置による移動予測に基づく壁検出処理の動作の一例を示すフローチャートである。図１０は、検出の履歴に基づいた移動予測領域の一例を示す図である。図１１は、検出の履歴に基づいて移動予測位置を算出することを説明する図である。図９～図１１を参照しながら、本実施の形態に係る物体認識装置１による移動予測に基づく壁検出処理について説明する。
図９は、実施の形態に係る物体認識装置による移動予測に基づく壁検出処理の動作の一例を示すフローチャートである。図１０は、検出の履歴に基づいた移動予測領域の一例を示す図である。図１１は、検出の履歴に基づいて移動予測位置を算出することを説明する図である。図９～図１１を参照しながら、本実施の形態に係る物体認識装置１による移動予測に基づく壁検出処理について説明する。
＜ステップＳ１１＞
画像処理装置３０の移動予測領域算出部３０８は、検出結果記憶部３１１を参照し、前フレームに基づいて壁が検出されたか否か、すなわち、前フレームに対応する壁の検出結果を含む認識情報が存在するか否かを判定する。前フレームに対応する壁の検出結果を含む認識情報が存在する場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１２へ移行し、存在しない場合（ステップＳ１１：Ｎｏ）、ステップＳ１４へ移行する。
画像処理装置３０の移動予測領域算出部３０８は、検出結果記憶部３１１を参照し、前フレームに基づいて壁が検出されたか否か、すなわち、前フレームに対応する壁の検出結果を含む認識情報が存在するか否かを判定する。前フレームに対応する壁の検出結果を含む認識情報が存在する場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１２へ移行し、存在しない場合（ステップＳ１１：Ｎｏ）、ステップＳ１４へ移行する。
＜ステップＳ１２＞
移動予測領域算出部３０８は、前フレームに対応する壁の検出結果を含む認識情報が存在する場合、その前フレームの認識情報（履歴）を利用して、前フレームにおいて検出された物体が今回のフレームでどの領域に存在しているかを算出し、算出した領域を移動予測領域として求める。
移動予測領域算出部３０８は、前フレームに対応する壁の検出結果を含む認識情報が存在する場合、その前フレームの認識情報（履歴）を利用して、前フレームにおいて検出された物体が今回のフレームでどの領域に存在しているかを算出し、算出した領域を移動予測領域として求める。
例えば、１０［ｆｐｓ］の撮像部２００で、時速４０［ｋｍ／ｈ］の等速で直進しているとき、秒速１１．１［ｍ／ｓ］となるので、前フレームで検出された壁は今回のフレームでは１．１［ｍ］手前方向にずれた位置と予測される。例えば、図１０（ａ）に示すリアルＵマップのように、前フレームで検出された壁の領域が領域７００、７０１であるとすると、今回のフレームで壁が検出されると予測される領域は、自車の進行方向に対して手前側に移動した移動予測領域７１０、７１１となる。
また、自車が旋回している場合、自車の移動量と回転角度とから移動予測領域を計算できる。例えば、ある１点の移動の計算方法について、図１１を参照しながら説明する。前フレームにおいて点Ｐ（Ｘ，Ｙ）に位置していた物体が、前フレームと今回のフレームとの間で、回転角度θだけ回転し、横方向（Ｘ方向）に移動量ｍｏｖｅ＿ｘ、縦方向（Ｙ方向）に移動量ｍｏｖｅ＿ｙだけ移動した場合、今回のフレームでの物体の位置である点Ｐ’（Ｘ’，Ｙ’）は、下記の式（１）および（２）によって計算することができる。
例えば、図１０（ｂ）に示すリアルＵマップのように、前フレームで検出された壁の領域が領域７０２であるとすると、自車の旋回移動の結果、今回のフレームで壁が検出されると予測される領域は、上述の式（１）および（２）に基づいて算出される移動予測領域７１２となる。
そして、ステップＳ１３へ移行する。
＜ステップＳ１３＞
画像処理装置３０のＵマップ補間部３０９は、前フレームに対応する壁の検出結果を含む認識情報が存在する場合、移動予測領域算出部３０８により算出された移動予測領域には、前フレームで検出された壁が再び検出される可能性が高いので、壁の検出に有利になるように、リアルＵマップを補間する。このＵマップ補間部３０９によるリアルＵマップに対する補間処理の詳細は、図１２～図１４において後述する。そして、ステップＳ１４へ移行する。
画像処理装置３０のＵマップ補間部３０９は、前フレームに対応する壁の検出結果を含む認識情報が存在する場合、移動予測領域算出部３０８により算出された移動予測領域には、前フレームで検出された壁が再び検出される可能性が高いので、壁の検出に有利になるように、リアルＵマップを補間する。このＵマップ補間部３０９によるリアルＵマップに対する補間処理の詳細は、図１２～図１４において後述する。そして、ステップＳ１４へ移行する。
＜ステップＳ１４＞
画像処理装置３０の壁検出部３１０は、Ｕマップ補間部３０９により補間されたリアルＵマップにおいて、物体としての壁を検出する壁検出処理を実行する。この壁検出部３１０による壁検出処理は、ラベリング部３１０ａによるラベリング処理、判定部３１０ｂによる判定処理（壁判定処理）、および、領域決定部３１０ｃによる領域決定処理によって実現されるが、これらの処理の詳細は後述する。そして、ステップＳ１５へ移行する。
画像処理装置３０の壁検出部３１０は、Ｕマップ補間部３０９により補間されたリアルＵマップにおいて、物体としての壁を検出する壁検出処理を実行する。この壁検出部３１０による壁検出処理は、ラベリング部３１０ａによるラベリング処理、判定部３１０ｂによる判定処理（壁判定処理）、および、領域決定部３１０ｃによる領域決定処理によって実現されるが、これらの処理の詳細は後述する。そして、ステップＳ１５へ移行する。
＜ステップＳ１５＞
壁検出部３１０の壁検出処理によって壁が検出された場合（ステップＳ１５：Ｙｅｓ）、ステップＳ１６へ移行し、検出されなかった場合（ステップＳ１５：Ｎｏ）、処理を終了する。
壁検出部３１０の壁検出処理によって壁が検出された場合（ステップＳ１５：Ｙｅｓ）、ステップＳ１６へ移行し、検出されなかった場合（ステップＳ１５：Ｎｏ）、処理を終了する。
＜ステップＳ１６＞
壁検出部３１０は、壁検出処理による壁の検出結果を認識情報に含めて、検出結果記憶部３１１に記憶させる。
壁検出部３１０は、壁検出処理による壁の検出結果を認識情報に含めて、検出結果記憶部３１１に記憶させる。
以上のステップＳ１１～Ｓ１６によって、物体認識装置１による移動予測に基づく壁検出処理が実行される。
（リアルＵマップに対する補間処理）
図１２は、実施の形態に係る物体認識装置のリアルＵマップに対する補間処理の動作の一例を示すフローチャートである。図１３は、実施の形態に係る物体認識装置による直線状の壁の補間を説明する図である。図１４は、実施の形態に係る物体認識装置による曲線状の壁の補間を説明する図である。図１２～図１４を参照しながら、本実施の形態に係る物体認識装置１のＵマップ補間部３０９によるリアルＵマップに対する補間処理について説明する。
図１２は、実施の形態に係る物体認識装置のリアルＵマップに対する補間処理の動作の一例を示すフローチャートである。図１３は、実施の形態に係る物体認識装置による直線状の壁の補間を説明する図である。図１４は、実施の形態に係る物体認識装置による曲線状の壁の補間を説明する図である。図１２～図１４を参照しながら、本実施の形態に係る物体認識装置１のＵマップ補間部３０９によるリアルＵマップに対する補間処理について説明する。
＜ステップＳ３１＞
画像処理装置３０のＵマップ補間部３０９は、移動予測領域算出部３０８により算出された今回のフレームでの移動予測領域を構成する画素からある画素を特定する。そして、ステップＳ３２へ移行する。
画像処理装置３０のＵマップ補間部３０９は、移動予測領域算出部３０８により算出された今回のフレームでの移動予測領域を構成する画素からある画素を特定する。そして、ステップＳ３２へ移行する。
＜ステップＳ３２＞
Ｕマップ補間部３０９は、特定した画素（着目画素）が画素値（頻度値）を有するか否かを判定する。画素値を有する場合（ステップＳ３２：Ｙｅｓ）、ステップＳ３３へ移行し、画素値を有さない場合（ステップＳ３２：Ｎｏ）、ステップＳ３７へ移行する。
Ｕマップ補間部３０９は、特定した画素（着目画素）が画素値（頻度値）を有するか否かを判定する。画素値を有する場合（ステップＳ３２：Ｙｅｓ）、ステップＳ３３へ移行し、画素値を有さない場合（ステップＳ３２：Ｎｏ）、ステップＳ３７へ移行する。
＜ステップＳ３３＞
Ｕマップ補間部３０９は、特定した画素（着目画素）が画素値を有する場合、着目画素の１つ上側（奥行き方向の奥側）の画素の画素値が０であるか否かを判定する。画素値が０である場合（ステップＳ３３：Ｙｅｓ）、ステップＳ３４へ移行し、画素値が０でない場合（ステップＳ３３：Ｎｏ）、ステップＳ３５へ移行する。なお、本実施の形態において、画素値が０か否かを判定基準としているが、画素値が一定値以下であるか否かを判定基準としてもよく、これらの判定基準を満たす場合に、画素が奥行き方向に連続していないと判定されることとなる。
Ｕマップ補間部３０９は、特定した画素（着目画素）が画素値を有する場合、着目画素の１つ上側（奥行き方向の奥側）の画素の画素値が０であるか否かを判定する。画素値が０である場合（ステップＳ３３：Ｙｅｓ）、ステップＳ３４へ移行し、画素値が０でない場合（ステップＳ３３：Ｎｏ）、ステップＳ３５へ移行する。なお、本実施の形態において、画素値が０か否かを判定基準としているが、画素値が一定値以下であるか否かを判定基準としてもよく、これらの判定基準を満たす場合に、画素が奥行き方向に連続していないと判定されることとなる。
＜ステップＳ３４＞
Ｕマップ補間部３０９は、着目画素の１つ上側の画素の画素値を、着目画素の画素値で補間する。そして、ステップＳ３５へ移行する。
Ｕマップ補間部３０９は、着目画素の１つ上側の画素の画素値を、着目画素の画素値で補間する。そして、ステップＳ３５へ移行する。
＜ステップＳ３５＞
Ｕマップ補間部３０９は、着目画素の１つ下側（奥行き方向の手前側）の画素の画素値が０であるか否かを判定する。画素値が０である場合（ステップＳ３５：Ｙｅｓ）、ステップＳ３６へ移行し、画素値が０でない場合（ステップＳ３５：Ｎｏ）、ステップＳ３７へ移行する。
Ｕマップ補間部３０９は、着目画素の１つ下側（奥行き方向の手前側）の画素の画素値が０であるか否かを判定する。画素値が０である場合（ステップＳ３５：Ｙｅｓ）、ステップＳ３６へ移行し、画素値が０でない場合（ステップＳ３５：Ｎｏ）、ステップＳ３７へ移行する。
＜ステップＳ３６＞
Ｕマップ補間部３０９は、着目画素の１つ下側の画素の画素値を、着目画素の画素値で補間する。そして、ステップＳ３７へ移行する。
Ｕマップ補間部３０９は、着目画素の１つ下側の画素の画素値を、着目画素の画素値で補間する。そして、ステップＳ３７へ移行する。
＜ステップＳ３７＞
Ｕマップ補間部３０９は、移動予測領域内のすべての画素について処理が終了したか否かを判定する。終了していない場合（ステップＳ３７：Ｎｏ）、ステップＳ３１へ戻り、終了している場合（ステップＳ３７：Ｙｅｓ）、対象とする移動予測領域に対する補間処理を終了する。
Ｕマップ補間部３０９は、移動予測領域内のすべての画素について処理が終了したか否かを判定する。終了していない場合（ステップＳ３７：Ｎｏ）、ステップＳ３１へ戻り、終了している場合（ステップＳ３７：Ｙｅｓ）、対象とする移動予測領域に対する補間処理を終了する。
以上のステップＳ３１～Ｓ３７によって、物体認識装置１のＵマップ補間部３０９によるリアルＵマップに対する補間処理が実行される。この補間処理によって、今回のフレームでは画素値を持たない画素が画素値を持つようになり、奥行き方向への連続性が増すので、後段の壁検出処理において壁として検出されやすくすることができる。
上述の図１２に示す補間処理によって、例えば、図１３（ａ）に示す移動予測領域７２０内の連続していない飛び飛びの画素は、図１３（ｂ）に示すように補間される。図１３（ｂ）に示す例では、移動予測領域７２０内の画素が補間された結果、画素値を有する画素の塊が２つ（領域７３１、７３２）生じている。
また、図１４（ａ）に示す移動予測領域７２１は、前フレームにおいて曲線状の壁が検出されたことにより、その形状も曲線状となっている。この移動予測領域７２１には、図１４（ａ）に示すように、連続していない飛び飛びの画素が含まれる。このような移動予測領域７２１でも、上述の図１２に示す補間処理によって、図１４（ｂ）に示すように補間される。
（壁検出部のラベリング処理）
図１５は、実施の形態に係る物体認識装置の壁検出部のラベリング部のラベリング処理の動作の一例を示すフローチャートである。図１６は、実施の形態に係る物体認識装置の壁検出部のラベリング部のラベリング処理を説明する図である。図１７は、実施の形態に係る物体認識装置の壁検出部のラベリング部のラベリング処理を説明する図である。図１５～図１７を参照しながら、本実施の形態の壁検出部３１０のラベリング部３１０ａによるラベリング処理について説明する。
図１５は、実施の形態に係る物体認識装置の壁検出部のラベリング部のラベリング処理の動作の一例を示すフローチャートである。図１６は、実施の形態に係る物体認識装置の壁検出部のラベリング部のラベリング処理を説明する図である。図１７は、実施の形態に係る物体認識装置の壁検出部のラベリング部のラベリング処理を説明する図である。図１５～図１７を参照しながら、本実施の形態の壁検出部３１０のラベリング部３１０ａによるラベリング処理について説明する。
＜ステップＳ５１＞
画像処理装置３０の壁検出部３１０のラベリング部３１０ａは、まず、リアルＵマップにおいて処理対象となる特定の画素の画素値を取得する。ラベリング部３１０ａは、特定の画素について、既に、後段のステップＳ５２～Ｓ５７の処理が済んでいる場合、その特定の画素の次の画素の画素値を取得する。そして、ステップＳ５２へ移行する。
画像処理装置３０の壁検出部３１０のラベリング部３１０ａは、まず、リアルＵマップにおいて処理対象となる特定の画素の画素値を取得する。ラベリング部３１０ａは、特定の画素について、既に、後段のステップＳ５２～Ｓ５７の処理が済んでいる場合、その特定の画素の次の画素の画素値を取得する。そして、ステップＳ５２へ移行する。
＜ステップＳ５２＞
ラベリング部３１０ａは、取得した画素の画素値が存在するか否かを判定する。画素値が存在する場合（ステップＳ５２：Ｙｅｓ）、ステップＳ５３へ移行し、画素値が存在しない場合（ステップＳ５２：Ｎｏ）、ステップＳ５６へ移行する。
ラベリング部３１０ａは、取得した画素の画素値が存在するか否かを判定する。画素値が存在する場合（ステップＳ５２：Ｙｅｓ）、ステップＳ５３へ移行し、画素値が存在しない場合（ステップＳ５２：Ｎｏ）、ステップＳ５６へ移行する。
＜ステップＳ５３＞
ラベリング部３１０ａは、リアルＵマップ上で、取得した画素から上方向のｎピクセル（ｎ画素）以内にラベルを持ったピクセル（画素）が存在するか否かを判定する。ここで、ｎは、画素同士が離れていても連続しているとみなすための許容画素数である。ラベルを持ったピクセルが存在する場合（ステップＳ５３：Ｙｅｓ）、ステップＳ５４へ移行し、ラベルを持ったピクセルが存在しない場合（ステップＳ５３：Ｎｏ）、ステップＳ５５へ移行する。
ラベリング部３１０ａは、リアルＵマップ上で、取得した画素から上方向のｎピクセル（ｎ画素）以内にラベルを持ったピクセル（画素）が存在するか否かを判定する。ここで、ｎは、画素同士が離れていても連続しているとみなすための許容画素数である。ラベルを持ったピクセルが存在する場合（ステップＳ５３：Ｙｅｓ）、ステップＳ５４へ移行し、ラベルを持ったピクセルが存在しない場合（ステップＳ５３：Ｎｏ）、ステップＳ５５へ移行する。
＜ステップＳ５４＞
ラベリング部３１０ａは、リアルＵマップ上で、取得した画素から上方向のｎピクセル（ｎ画素）以内にラベルを持ったピクセル（画素）が存在すると判定した場合、取得した画素に、ラベルを持ったピクセル（画素）と同じラベルを付与する。そして、ステップＳ５６へ移行する。
ラベリング部３１０ａは、リアルＵマップ上で、取得した画素から上方向のｎピクセル（ｎ画素）以内にラベルを持ったピクセル（画素）が存在すると判定した場合、取得した画素に、ラベルを持ったピクセル（画素）と同じラベルを付与する。そして、ステップＳ５６へ移行する。
＜ステップＳ５５＞
ラベリング部３１０ａは、リアルＵマップ上で、取得した画素から上方向のｎピクセル（ｎ画素）以内にラベルを持ったピクセル（画素）が存在しないと判定した場合、取得した画素に、新しいラベルを付与する。そして、ステップＳ５６へ移行する。
ラベリング部３１０ａは、リアルＵマップ上で、取得した画素から上方向のｎピクセル（ｎ画素）以内にラベルを持ったピクセル（画素）が存在しないと判定した場合、取得した画素に、新しいラベルを付与する。そして、ステップＳ５６へ移行する。
＜ステップＳ５６＞
ラベリング部３１０ａは、取得した画素が、リアルＵマップにおける最終の画素であるか否かを判定する。最終の画素でない場合（ステップＳ５６：Ｎｏ）、ステップＳ５１へ戻り、最終の画素である場合（ステップＳ５６：Ｙｅｓ）、ラベリング処理を終了する。
ラベリング部３１０ａは、取得した画素が、リアルＵマップにおける最終の画素であるか否かを判定する。最終の画素でない場合（ステップＳ５６：Ｎｏ）、ステップＳ５１へ戻り、最終の画素である場合（ステップＳ５６：Ｙｅｓ）、ラベリング処理を終了する。
以上のステップＳ５１～Ｓ５６によって、壁検出部３１０のラベリング部３１０ａによるラベリング処理が実行される。
上述のラベリング部３１０ａによるラベリング処理の具体例を図１６および図１７に示す。通常のラベリング処理では、ピクセル（画素）同士が８近傍または４近傍で隣接しているかどうかを判定してラベリングを行うが、ラベリング部３１０ａは、リアルＵマップの上下方向（奥行き方向、視差値ｄｐ方向）のピクセルでの連続性のみを判定することにより、奥行き方向で連続する領域である画素連続領域を検出してラベリングを行う。また、奥行き方向に画素間で隙間が空いていても、上述した許容画素数ｎの適用等によって、連続を判定することにより、奥行き方向への連続性を向上させることができる。
図１６には、奥行き方向でラベリングを行うラベリング処理の例が示されている。図１６（ａ）はラベリング処理をする前のリアルＵマップの特定部分の画素値の例を示し、図１６（ｂ）は、ラベリング処理を行った結果を示す。図１６では、許容画素数ｎを１としているため、図１６（ａ）に示すリアルＵマップ中の左から５列目の画素には同一のラベルが付与され、左から３列目の画素は２画素離れているので、上下で異なるラベルが付与されている。したがって、図１６（ｂ）では、視差値ｄｐの頻度を示す画素の塊に対して６つのラベルが付与されている。
図１７（ａ）に示すリアルＵマップＲＭ１は、壁のような奥行き方向に長い領域Ｗ１と、車のような奥行き方向に短い領域Ｃ１とを含んでいる。このリアルＵマップＲＭ１に対してラベリング処理を実行すると、図１７（ｂ）に示すように、壁のような奥行き方向に長い領域は複数の縦長の領域それぞれにラベルが付与されたラベリング領域Ｗ１ａが構成され、車のような奥行き方向に短い領域は複数の短い領域それぞれにラベルが付与されたラベリング領域Ｃ１ａが構成される。
（壁検出部の壁判定処理）
図１８は、実施の形態に係る物体認識装置の壁検出部の判定部の壁判定処理の動作の一例を示すフローチャートである。図１９は、実施の形態に係る物体認識装置の壁検出部の判定部の壁判定処理を説明する図である。図１８および図１９を参照しながら、本実施の形態の壁検出部３１０の判定部３１０ｂによる壁判定処理について説明する。
図１８は、実施の形態に係る物体認識装置の壁検出部の判定部の壁判定処理の動作の一例を示すフローチャートである。図１９は、実施の形態に係る物体認識装置の壁検出部の判定部の壁判定処理を説明する図である。図１８および図１９を参照しながら、本実施の形態の壁検出部３１０の判定部３１０ｂによる壁判定処理について説明する。
＜ステップＳ７１＞
画像処理装置３０の壁検出部３１０の判定部３１０ｂは、まず、ラベリング部３１０ａによる奥行き方向の画素連続領域に対するラベリングの結果を取得する。そして、ステップＳ７２へ移行する。
画像処理装置３０の壁検出部３１０の判定部３１０ｂは、まず、ラベリング部３１０ａによる奥行き方向の画素連続領域に対するラベリングの結果を取得する。そして、ステップＳ７２へ移行する。
＜ステップＳ７２＞
判定部３１０ｂは、取得したラベリングの結果に基づいて、それぞれのラベルが付与された各画素連続領域から、特定のラベルが付与された画素連続領域を選択する。そして、ステップＳ７３へ移行する。
判定部３１０ｂは、取得したラベリングの結果に基づいて、それぞれのラベルが付与された各画素連続領域から、特定のラベルが付与された画素連続領域を選択する。そして、ステップＳ７３へ移行する。
＜ステップＳ７３＞
判定部３１０ｂは、選択した特定のラベルが付与された画素連続領域が奥行き方向に所定の長さ（閾値となる基準長さ）以上であるか否かを判定する。画素連続領域が基準長さ以上である場合（ステップＳ７３：Ｙｅｓ）、ステップＳ７４へ移行し、基準長さ未満である場合（ステップＳ７３：Ｎｏ）、ステップＳ７５へ移行する。
判定部３１０ｂは、選択した特定のラベルが付与された画素連続領域が奥行き方向に所定の長さ（閾値となる基準長さ）以上であるか否かを判定する。画素連続領域が基準長さ以上である場合（ステップＳ７３：Ｙｅｓ）、ステップＳ７４へ移行し、基準長さ未満である場合（ステップＳ７３：Ｎｏ）、ステップＳ７５へ移行する。
＜ステップＳ７４＞
判定部３１０ｂは、選択した特定のラベルが付与された画素連続領域が奥行き方向に基準長さ以上であると判定した場合、その画素連続領域は壁であるものとして検出する。判定部３１０ｂは、検出した壁である物体についての情報（壁の位置および大きさ等）を認識情報として、検出結果記憶部３１１に記憶させる。
判定部３１０ｂは、選択した特定のラベルが付与された画素連続領域が奥行き方向に基準長さ以上であると判定した場合、その画素連続領域は壁であるものとして検出する。判定部３１０ｂは、検出した壁である物体についての情報（壁の位置および大きさ等）を認識情報として、検出結果記憶部３１１に記憶させる。
例えば、図１９（ａ）に示すラベリング結果では、それぞれラベルが付与された画素連続領域で構成されたラベリング領域Ｗ１ａおよびラベリング領域Ｃ１ａが示されている。ラベリング領域Ｗ１ａ、Ｃ１ａを構成する、ラベルが付与された画素連続領域は、判定部３１０ｂによってそれぞれ基準長さ以上であるか否かが判定され、基準長さ以上であり壁として検出された画素連続領域のみを、図１９（ｂ）に示す。例えば、図１９（ｂ）では、ラベリング領域Ｃ１ａを構成するすべての画素連続領域は、基準長さ未満と判定されて壁として検出されなかったため、表示されていない。一方、ラベリング領域Ｗ１ａを構成する画素連続領域のうち、基準長さ以上と判定された画素連続領域は壁として検出され、図１９（ｂ）では、壁として検出された画素連続領域で構成されたラベリング領域Ｗ１ｂが示されている。
そして、ステップＳ７５へ移行する。
＜ステップＳ７５＞
判定部３１０ｂは、ラベルが付与された画素連続領域のすべてについてステップＳ７２～Ｓ７４の処理が終了しているか否かを判定する。処理が終了していない場合（ステップＳ７５：Ｎｏ）、ステップＳ７２へ戻り、処理が終了している場合（ステップＳ７５：Ｙｅｓ）、壁判定処理を終了する。
判定部３１０ｂは、ラベルが付与された画素連続領域のすべてについてステップＳ７２～Ｓ７４の処理が終了しているか否かを判定する。処理が終了していない場合（ステップＳ７５：Ｎｏ）、ステップＳ７２へ戻り、処理が終了している場合（ステップＳ７５：Ｙｅｓ）、壁判定処理を終了する。
以上のステップＳ７１～Ｓ７５によって、壁検出部３１０の判定部３１０ｂによる壁判定処理が実行される。
図２０は、壁検出部のラベリング部および判定部の処理が壁の検出に有効であることを説明する図である。図２０を参照しながら、壁検出部３１０のラベリング部３１０ａおよび判定部３１０ｂによる処理が壁の検出に有効であることについて説明する。
図２０（ａ）に示す視差画像Ｉｐ２では、車両Ｃが壁Ｗに接近して走行している状態を示している。このような場合、この視差画像Ｉｐ２に基づいて図２０（ｂ）に示すリアルＵマップＲＭ２が生成された場合、特に、横軸の実距離の解像度が低い場合では、壁の近くにある物体（ここでは車両）が壁に完全に隣接することがある。例えば、図２０（ｂ）に示すリアルＵマップＲＭ２では、車両Ｃに対応する領域Ｃ１が、壁Ｗに対応する領域Ｗ１に完全に隣接している状態を示している。しかし、このような場合においても、ラベリング部３１０ａは、奥行き方向の画素連続領域に対してラベリングを行うので、列ごと、すなわち、奥行き方向の画素連続領域ごとにラベルを付与し、判定部３１０ｂが、基準長さを用いて、列ごとに壁判定処理を行うので、壁を検出することが可能となる。
（壁検出部の領域決定処理）
図２１は、実施の形態に係る物体認識装置の壁検出部の領域決定部の領域決定処理の動作の一例を示すフローチャートである。図２２は、壁検出部の領域決定部が決定した領域を説明する図である。図２１および図２２を参照しながら、本実施の形態の壁検出部３１０の領域決定部３１０ｃによる領域決定処理について説明する。
図２１は、実施の形態に係る物体認識装置の壁検出部の領域決定部の領域決定処理の動作の一例を示すフローチャートである。図２２は、壁検出部の領域決定部が決定した領域を説明する図である。図２１および図２２を参照しながら、本実施の形態の壁検出部３１０の領域決定部３１０ｃによる領域決定処理について説明する。
＜ステップＳ９１＞
画像処理装置３０の壁検出部３１０の領域決定部３１０ｃは、まず、判定部３１０ｂにより判定（検出）された壁の認識情報を取得する。そして、ステップＳ９２へ移行する。
画像処理装置３０の壁検出部３１０の領域決定部３１０ｃは、まず、判定部３１０ｂにより判定（検出）された壁の認識情報を取得する。そして、ステップＳ９２へ移行する。
＜ステップＳ９２＞
領域決定部３１０ｃは、取得した認識情報が示す壁が、リアルＵマップの中心から見て左側領域に存在するか否かを判定する。壁が左側領域に存在する場合（ステップＳ９２：Ｙｅｓ）、ステップＳ９３へ移行し、壁が左側領域に存在しない場合（すなわち、右側領域に存在する場合）（ステップＳ９２：Ｎｏ）、ステップＳ９７へ移行する。
領域決定部３１０ｃは、取得した認識情報が示す壁が、リアルＵマップの中心から見て左側領域に存在するか否かを判定する。壁が左側領域に存在する場合（ステップＳ９２：Ｙｅｓ）、ステップＳ９３へ移行し、壁が左側領域に存在しない場合（すなわち、右側領域に存在する場合）（ステップＳ９２：Ｎｏ）、ステップＳ９７へ移行する。
＜ステップＳ９３＞
領域決定部３１０ｃは、壁が左側領域に存在すると判定した場合、壁の実距離方向の位置が左側領域内で最内側であるか否かを判定する。壁の実距離方向の位置が左側領域内で最内側である場合（ステップＳ９３：Ｙｅｓ）、ステップＳ９４へ移行し、最内側でない場合（ステップＳ９３：Ｎｏ）、ステップＳ９５へ移行する。
領域決定部３１０ｃは、壁が左側領域に存在すると判定した場合、壁の実距離方向の位置が左側領域内で最内側であるか否かを判定する。壁の実距離方向の位置が左側領域内で最内側である場合（ステップＳ９３：Ｙｅｓ）、ステップＳ９４へ移行し、最内側でない場合（ステップＳ９３：Ｎｏ）、ステップＳ９５へ移行する。
＜ステップＳ９４＞
領域決定部３１０ｃは、壁の実距離方向の位置が左側領域内で最内側である場合、左側領域の最内側位置を、その壁の実距離方向の位置で更新する。そして、ステップＳ９５へ移行する。
領域決定部３１０ｃは、壁の実距離方向の位置が左側領域内で最内側である場合、左側領域の最内側位置を、その壁の実距離方向の位置で更新する。そして、ステップＳ９５へ移行する。
＜ステップＳ９５＞
領域決定部３１０ｃは、壁の始点、すなわち、視差値ｄｐ方向の手前側の位置が、左側領域内で最手前側であるか否かを判定する。壁の視差値ｄｐ方向の手前側の位置が左側領域内で最手前側である場合（ステップＳ９５：Ｙｅｓ）、ステップＳ９６へ移行し、最手前側でない場合（ステップＳ９５：Ｎｏ）、ステップＳ１０１へ移行する。
領域決定部３１０ｃは、壁の始点、すなわち、視差値ｄｐ方向の手前側の位置が、左側領域内で最手前側であるか否かを判定する。壁の視差値ｄｐ方向の手前側の位置が左側領域内で最手前側である場合（ステップＳ９５：Ｙｅｓ）、ステップＳ９６へ移行し、最手前側でない場合（ステップＳ９５：Ｎｏ）、ステップＳ１０１へ移行する。
＜ステップＳ９６＞
領域決定部３１０ｃは、壁の視差値ｄｐ方向の手前側の位置が左側領域内で最手前側である場合、左側領域の最手前位置を、その壁の視差値ｄｐ方向の手前側の位置で更新する。そして、ステップＳ１０１へ移行する。
領域決定部３１０ｃは、壁の視差値ｄｐ方向の手前側の位置が左側領域内で最手前側である場合、左側領域の最手前位置を、その壁の視差値ｄｐ方向の手前側の位置で更新する。そして、ステップＳ１０１へ移行する。
＜ステップＳ９７＞
領域決定部３１０ｃは、壁が右側領域に存在すると判定した場合、壁の実距離方向の位置が右側領域内で最内側であるか否かを判定する。壁の実距離方向の位置が右側領域内で最内側である場合（ステップＳ９７：Ｙｅｓ）、ステップＳ９８へ移行し、最内側でない場合（ステップＳ９７：Ｎｏ）、ステップＳ９９へ移行する。
領域決定部３１０ｃは、壁が右側領域に存在すると判定した場合、壁の実距離方向の位置が右側領域内で最内側であるか否かを判定する。壁の実距離方向の位置が右側領域内で最内側である場合（ステップＳ９７：Ｙｅｓ）、ステップＳ９８へ移行し、最内側でない場合（ステップＳ９７：Ｎｏ）、ステップＳ９９へ移行する。
＜ステップＳ９８＞
領域決定部３１０ｃは、壁の実距離方向の位置が右側領域内で最内側である場合、右側領域の最内側位置を、その壁の実距離方向の位置で更新する。そして、ステップＳ９９へ移行する。
領域決定部３１０ｃは、壁の実距離方向の位置が右側領域内で最内側である場合、右側領域の最内側位置を、その壁の実距離方向の位置で更新する。そして、ステップＳ９９へ移行する。
＜ステップＳ９９＞
領域決定部３１０ｃは、壁の始点、すなわち、視差値ｄｐ方向の手前側の位置が、右側領域内で最手前側であるか否かを判定する。壁の視差値ｄｐ方向の手前側の位置が右側領域内で最手前側である場合（ステップＳ９９：Ｙｅｓ）、ステップＳ１００へ移行し、最手前側でない場合（ステップＳ９９：Ｎｏ）、ステップＳ１０１へ移行する。
領域決定部３１０ｃは、壁の始点、すなわち、視差値ｄｐ方向の手前側の位置が、右側領域内で最手前側であるか否かを判定する。壁の視差値ｄｐ方向の手前側の位置が右側領域内で最手前側である場合（ステップＳ９９：Ｙｅｓ）、ステップＳ１００へ移行し、最手前側でない場合（ステップＳ９９：Ｎｏ）、ステップＳ１０１へ移行する。
＜ステップＳ１００＞
領域決定部３１０ｃは、壁の視差値ｄｐ方向の手前側の位置が右側領域内で最手前側である場合、右側領域の最手前位置を、その壁の視差値ｄｐ方向の手前側の位置で更新する。そして、ステップＳ１０１へ移行する。
領域決定部３１０ｃは、壁の視差値ｄｐ方向の手前側の位置が右側領域内で最手前側である場合、右側領域の最手前位置を、その壁の視差値ｄｐ方向の手前側の位置で更新する。そして、ステップＳ１０１へ移行する。
＜ステップＳ１０１＞
領域決定部３１０ｃは、すべての壁についてステップＳ９２～Ｓ１００の処理が終了しているか否かを判定する。処理が終了していない場合（ステップＳ１０１：Ｎｏ）、ステップＳ９１へ戻る。一方、処理が終了している場合（ステップＳ１０１：Ｙｅｓ）、領域決定部３１０ｃは、リアルＵマップ内の物体（例えば、人および車等の連続しない立体物）を検出すべき物体検出対象領域を決定する。例えば、領域決定部３１０ｃは、図２２（ａ）に示すように、左側領域の最内側位置および最手前位置に対応する壁の領域がラベリング領域Ｗ１ｂである場合、そのラベリング領域Ｗ１ｂの外側の領域（壁に外接する矩形）である領域ＡＲを除いた領域（図２２（ｂ）参照）を、物体検出対象領域に決定する。これによって、領域決定処理を終了する。
領域決定部３１０ｃは、すべての壁についてステップＳ９２～Ｓ１００の処理が終了しているか否かを判定する。処理が終了していない場合（ステップＳ１０１：Ｎｏ）、ステップＳ９１へ戻る。一方、処理が終了している場合（ステップＳ１０１：Ｙｅｓ）、領域決定部３１０ｃは、リアルＵマップ内の物体（例えば、人および車等の連続しない立体物）を検出すべき物体検出対象領域を決定する。例えば、領域決定部３１０ｃは、図２２（ａ）に示すように、左側領域の最内側位置および最手前位置に対応する壁の領域がラベリング領域Ｗ１ｂである場合、そのラベリング領域Ｗ１ｂの外側の領域（壁に外接する矩形）である領域ＡＲを除いた領域（図２２（ｂ）参照）を、物体検出対象領域に決定する。これによって、領域決定処理を終了する。
以上のステップＳ９１～Ｓ１０１によって、壁検出部３１０の領域決定部３１０ｃによる領域決定処理が実行される。
以上のように、本実施の形態に係る物体認識装置１は、前フレームで壁として検出された領域から予測された今回のフレームでの移動予測領域において、画素値を有さない画素を、隣接する画素の画素値で補間するものとしている。これによって、奥行き方向において画素値を有する画素の連続性が向上するので、壁検出処理において壁として検出されやすくすることができる。
なお、上述した移動予測領域算出部３０８、Ｕマップ補間部３０９、および壁検出部３１０の各処理は、壁を検出するための処理に限定されるものではなく、人または車両等の連続しない物体の検出にも適用することができる。ただし、特に壁のような奥行き方向に長い物体を検出するために、移動予測領域算出部３０８、Ｕマップ補間部３０９、および壁検出部３１０の各処理が、安定した物体（壁）の検出に大きく寄与する。
（変形例）
変形例に係る画像処理装置３０のＵマップ補間部３０９によるリアルＵマップに対する補間処理について、上述の実施の形態における補間処理と相違する点を中心に説明する。上述の実施の形態では、着目画素の１つ上側および１つ下側の画素の画素値を着目画素の画素値で補間する動作について説明した。本変形例では、画素値を有する画素に挟まれた画素の画素値を補間する動作について説明する。なお、本変形例に係る機器制御システム６０および物体認識装置１の構成は、上述の実施の形態で説明した構成と同様である。
変形例に係る画像処理装置３０のＵマップ補間部３０９によるリアルＵマップに対する補間処理について、上述の実施の形態における補間処理と相違する点を中心に説明する。上述の実施の形態では、着目画素の１つ上側および１つ下側の画素の画素値を着目画素の画素値で補間する動作について説明した。本変形例では、画素値を有する画素に挟まれた画素の画素値を補間する動作について説明する。なお、本変形例に係る機器制御システム６０および物体認識装置１の構成は、上述の実施の形態で説明した構成と同様である。
図２３は、変形例に係る物体認識装置による直線状の壁の補間を説明する図である。図２４は、変形例に係る物体認識装置による曲線状の壁の補間を説明する図である。図２３および図２４を参照しながら、本変形例に係る物体認識装置１のＵマップ補間部３０９によるリアルＵマップに対する補間処理について説明する。
本変形例では、画像処理装置３０のＵマップ補間部３０９は、リアルＵマップの奥行き方向において、画素値を有する画素同士の間に、画素値を有さない画素が存在するか否かを判定する。Ｕマップ補間部３０９は、画素値を有する画素同士の間に、画素値を有さない１以上の画素が存在する場合、両端となる画素値を有する画素のその画素値に基づいて、画素値を有さない画素の画素値を補間する。例えば、Ｕマップ補間部３０９は、両端となる画素値を有する画素のうちいずれかの画素値によって、画素値を有さない画素の画素値を補間してもよく、または、両端となる画素値を有する画素のその画素値の平均値によって、画素値を有さない画素の画素値を補間してもよい。このような補間処理によって、上述の実施の形態の補間処理と比較して、さらに、奥行き方向への連続性が増すので、後段の壁検出処理において壁として検出されやすくすることができる。
このような補間処理によって、例えば、図２３（ａ）に示す移動予測領域７２０内の連続していない飛び飛びの画素は、図２３（ｂ）に示すように補間される。図２３（ｂ）に示す例では、移動予測領域７２０内の画素が補間された結果、画素値を有する画素の塊が１つ（領域７３３）生じている。すなわち、上述の実施の形態の補間処理では、図１３（ｂ）に示すように２つの塊（領域７３１、７３２）が生じていたところ、１つの塊として補間することが可能となっている。
また、図２４（ａ）に示す移動予測領域７２１は、前フレームにおいて曲線状の壁が検出されたことにより、その形状も曲線状となっている。この移動予測領域７２１には、図２４（ａ）に示すように、連続していない飛び飛びの画素が含まれる。このような移動予測領域７２１でも、本変形例に係る補間処理によって、図２４（ｂ）に示すように補間される。
なお、上述の実施の形態およびその変形例では、車両７０としての自動車に搭載される物体認識装置１について説明したが、これに限定されるものではない。例えば、他の車両の一例としてバイク、自転車、車椅子または農業用の耕運機等の車両に搭載されるものとしてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。また、距離の値（距離値）と視差値とは等価に扱うことができる。このため、上述の実施の形態では、距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダまたはレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、カメラによる撮像画像と、ミリ波レーダまたはレーザレーダ等の検出装置を用いて生成した距離情報とを統合して、距離画像を生成してもよい。
また、上述の実施の形態およびその変形例において、物体認識装置１の画像処理装置３０の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態およびその変形例に係る物体認識装置１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態およびその変形例に係る物体認識装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態およびその変形例に係る物体認識装置１で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態およびその変形例に係る物体認識装置１で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ３２が上述のＲＯＭ３３からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（ＲＡＭ３４等）上にロードされて生成されるようになっている。
（付記項）
なお、上述の実施の形態では、以下のような発明が開示されている。
なお、上述の実施の形態では、以下のような発明が開示されている。
［付記項１］
移動体の移動方向を撮像する撮像部により撮像された撮像画像から求められた、前記撮像画像での第１方向の位置と、該撮像画像での前記第１方向とは異なる第２方向の位置と、距離情報とを対応付ける第１情報に基づいて、前記移動体の移動方向と交わる方向の実距離と、前記距離情報と、該距離情報の頻度を示す要素値とを対応付ける第２情報を生成する第１生成部と、
前記第１生成部により生成された前記第２情報において、前記距離情報に対応する第３方向で、前記要素値を有さない要素の値を、前記要素値を有する要素の該要素値に基づいて補間する補間部と、
前記補間部により前記第２情報において補間された要素の連続領域に基づいて物体を検出する物体検出部と、
を備えた情報処理装置。
［付記項２］
前記補間部は、前記第２情報における前記第３方向で、前記要素値を有する要素に隣接する要素であって、かつ、前記要素値を有さない要素に対して、前記要素値を有する要素の該要素値によって補間する付記項１に記載の情報処理装置。
［付記項３］
前記補間部は、前記第２情報における前記第３方向で、前記要素値を有する要素同士の間に、前記要素値を有さない１以上の要素が存在する場合、その両端となる前記要素値を有する要素の該要素値に基づいて、前記要素値を有さない要素の値を補間する付記項１に記載の情報処理装置。
［付記項４］
前記撮像画像の前のフレームに対応する前記第２情報において、前記物体検出部により検出された前記物体の領域に基づいて、現在のフレームに対応する前記第２情報において、前記物体が位置する領域を予測する予測部を、さらに備え、
前記補間部は、前記予測部により予測された領域内で、前記第３方向で、前記要素値を有さない要素の値を、前記要素値を有する要素の該要素値に基づいて補間する付記項１～３のいずれか一項に記載の情報処理装置。
［付記項５］
前記物体検出部は、
前記第２情報において前記第３方向で連続性のある連続領域を検出する連続領域検出部と、
前記連続領域検出部により検出された連続領域が、前記物体を示しているか否かを判定する判定部と、
を有する付記項１～４のいずれか一項に記載の情報処理装置。
［付記項６］
前記連続領域検出部は、前記第２情報において前記第３方向で前記要素値を有する要素が連続する連続領域を検出する付記項５に記載の情報処理装置。
［付記項７］
前記判定部は、前記連続領域検出部により検出された連続領域が、前記第３方向で所定の長さ以上である場合、該連続領域が前記物体を示していると判定する付記項５または６に記載の情報処理装置。
［付記項８］
前記撮像部と、
前記撮像部により撮像された撮像画像から前記第１情報を生成する第２生成部と、
付記項１～７のいずれか一項に記載の情報処理装置と、
を備えた撮像装置。
［付記項９］
付記項８に記載の撮像装置と、
前記物体検出部による前記物体の検出結果に基づいて、制御対象を制御する制御装置と、
を備えた機器制御システム。
［付記項１０］
情報処理装置の情報処理方法であって、
撮像部により撮像された撮像画像から求められた、前記撮像画像での第１方向の位置と、該撮像画像での前記第１方向とは異なる第２方向の位置と、距離情報とを対応付ける第１情報に基づいて、前記情報処理装置の移動方向と交わる方向の実距離と、前記距離情報と、該距離情報の頻度を示す要素値とを対応付ける第２情報を生成する生成ステップと、
生成した前記第２情報において、前記距離情報に対応する第３方向で、前記要素値を有さない要素の値を、前記要素値を有する要素の該要素値に基づいて補間する補間ステップと、
前記第２情報において補間した要素の連続領域に基づいて物体を検出する物体検出ステップと、
を有する情報処理方法。
［付記項１１］
コンピュータを、
移動体の移動方向を撮像する撮像部により撮像された撮像画像から求められた、前記撮像画像での第１方向の位置と、該撮像画像での前記第１方向とは異なる第２方向の位置と、距離情報とを対応付ける第１情報に基づいて、前記移動体の移動方向と交わる方向の実距離と、前記距離情報と、該距離情報の頻度を示す要素値とを対応付ける第２情報を生成する第１生成部と、
前記第１生成部により生成された前記第２情報において、前記距離情報に対応する第３方向で、前記要素値を有さない要素の値を、前記要素値を有する要素の該要素値に基づいて補間する補間部と、
前記補間部により前記第２情報において補間された要素の連続領域に基づいて物体を検出する物体検出部と、
して機能させるためのプログラム。
移動体の移動方向を撮像する撮像部により撮像された撮像画像から求められた、前記撮像画像での第１方向の位置と、該撮像画像での前記第１方向とは異なる第２方向の位置と、距離情報とを対応付ける第１情報に基づいて、前記移動体の移動方向と交わる方向の実距離と、前記距離情報と、該距離情報の頻度を示す要素値とを対応付ける第２情報を生成する第１生成部と、
前記第１生成部により生成された前記第２情報において、前記距離情報に対応する第３方向で、前記要素値を有さない要素の値を、前記要素値を有する要素の該要素値に基づいて補間する補間部と、
前記補間部により前記第２情報において補間された要素の連続領域に基づいて物体を検出する物体検出部と、
を備えた情報処理装置。
［付記項２］
前記補間部は、前記第２情報における前記第３方向で、前記要素値を有する要素に隣接する要素であって、かつ、前記要素値を有さない要素に対して、前記要素値を有する要素の該要素値によって補間する付記項１に記載の情報処理装置。
［付記項３］
前記補間部は、前記第２情報における前記第３方向で、前記要素値を有する要素同士の間に、前記要素値を有さない１以上の要素が存在する場合、その両端となる前記要素値を有する要素の該要素値に基づいて、前記要素値を有さない要素の値を補間する付記項１に記載の情報処理装置。
［付記項４］
前記撮像画像の前のフレームに対応する前記第２情報において、前記物体検出部により検出された前記物体の領域に基づいて、現在のフレームに対応する前記第２情報において、前記物体が位置する領域を予測する予測部を、さらに備え、
前記補間部は、前記予測部により予測された領域内で、前記第３方向で、前記要素値を有さない要素の値を、前記要素値を有する要素の該要素値に基づいて補間する付記項１～３のいずれか一項に記載の情報処理装置。
［付記項５］
前記物体検出部は、
前記第２情報において前記第３方向で連続性のある連続領域を検出する連続領域検出部と、
前記連続領域検出部により検出された連続領域が、前記物体を示しているか否かを判定する判定部と、
を有する付記項１～４のいずれか一項に記載の情報処理装置。
［付記項６］
前記連続領域検出部は、前記第２情報において前記第３方向で前記要素値を有する要素が連続する連続領域を検出する付記項５に記載の情報処理装置。
［付記項７］
前記判定部は、前記連続領域検出部により検出された連続領域が、前記第３方向で所定の長さ以上である場合、該連続領域が前記物体を示していると判定する付記項５または６に記載の情報処理装置。
［付記項８］
前記撮像部と、
前記撮像部により撮像された撮像画像から前記第１情報を生成する第２生成部と、
付記項１～７のいずれか一項に記載の情報処理装置と、
を備えた撮像装置。
［付記項９］
付記項８に記載の撮像装置と、
前記物体検出部による前記物体の検出結果に基づいて、制御対象を制御する制御装置と、
を備えた機器制御システム。
［付記項１０］
情報処理装置の情報処理方法であって、
撮像部により撮像された撮像画像から求められた、前記撮像画像での第１方向の位置と、該撮像画像での前記第１方向とは異なる第２方向の位置と、距離情報とを対応付ける第１情報に基づいて、前記情報処理装置の移動方向と交わる方向の実距離と、前記距離情報と、該距離情報の頻度を示す要素値とを対応付ける第２情報を生成する生成ステップと、
生成した前記第２情報において、前記距離情報に対応する第３方向で、前記要素値を有さない要素の値を、前記要素値を有する要素の該要素値に基づいて補間する補間ステップと、
前記第２情報において補間した要素の連続領域に基づいて物体を検出する物体検出ステップと、
を有する情報処理方法。
［付記項１１］
コンピュータを、
移動体の移動方向を撮像する撮像部により撮像された撮像画像から求められた、前記撮像画像での第１方向の位置と、該撮像画像での前記第１方向とは異なる第２方向の位置と、距離情報とを対応付ける第１情報に基づいて、前記移動体の移動方向と交わる方向の実距離と、前記距離情報と、該距離情報の頻度を示す要素値とを対応付ける第２情報を生成する第１生成部と、
前記第１生成部により生成された前記第２情報において、前記距離情報に対応する第３方向で、前記要素値を有さない要素の値を、前記要素値を有する要素の該要素値に基づいて補間する補間部と、
前記補間部により前記第２情報において補間された要素の連続領域に基づいて物体を検出する物体検出部と、
して機能させるためのプログラム。
１ 物体認識装置
２ 本体部
６ 車両制御装置
７ ステアリングホイール
８ ブレーキペダル
９ 制御対象
１０ａ、１０ｂ 撮像部
１１ａ、１１ｂ 撮像レンズ
１２ａ、１２ｂ 画像センサ
１３ａ、１３ｂ センサコントローラ
３０ 画像処理装置
３１ ＦＰＧＡ
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ シリアルＩ／Ｆ
３６ データＩ／Ｆ
３８ シリアルバスライン
３９ データバスライン
６０ 機器制御システム
７０ 車両
２００ 撮像部
３００ 平行化画像生成部
３０１ 視差画像生成部
３０２ 視差補間部
３０３ Ｖマップ生成部
３０４ 路面形状検出部
３０５ 路面高さテーブル算出部
３０６ Ｕマップ生成部
３０７ リアルＵマップ生成部
３０８ 移動予測領域算出部
３０９ Ｕマップ補間部
３１０ 壁検出部
３１０ａ ラベリング部
３１０ｂ 判定部
３１０ｃ 領域決定部
３１１ 検出結果記憶部
６００ 路面
６００ａ 路面部
６０１ 電柱
６０１ａ 電柱部
６０２ 車
６０２ａ 車部
７００～７０２ 領域
７１０～７１２ 移動予測領域
７２０、７２１ 移動予測領域
７３１～７３３ 領域
ＡＲ 領域
Ｃ 車両
Ｃ０、Ｃ１ 領域
Ｃ１ａ ラベリング領域
Ｉａ 基準画像
Ｉｂ 比較画像
Ｉｐ、Ｉｐ１、Ｉｐ２ 視差画像
Ｐ、Ｐ’ 点
ＲＭ、ＲＭ１、ＲＭ２ リアルＵマップ
ＵＭ Ｕマップ
ＶＭ Ｖマップ
Ｗ 壁
Ｗ０、Ｗ１ 領域
Ｗ１ａ、Ｗ１ｂ ラベリング領域
２ 本体部
６ 車両制御装置
７ ステアリングホイール
８ ブレーキペダル
９ 制御対象
１０ａ、１０ｂ 撮像部
１１ａ、１１ｂ 撮像レンズ
１２ａ、１２ｂ 画像センサ
１３ａ、１３ｂ センサコントローラ
３０ 画像処理装置
３１ ＦＰＧＡ
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ シリアルＩ／Ｆ
３６ データＩ／Ｆ
３８ シリアルバスライン
３９ データバスライン
６０ 機器制御システム
７０ 車両
２００ 撮像部
３００ 平行化画像生成部
３０１ 視差画像生成部
３０２ 視差補間部
３０３ Ｖマップ生成部
３０４ 路面形状検出部
３０５ 路面高さテーブル算出部
３０６ Ｕマップ生成部
３０７ リアルＵマップ生成部
３０８ 移動予測領域算出部
３０９ Ｕマップ補間部
３１０ 壁検出部
３１０ａ ラベリング部
３１０ｂ 判定部
３１０ｃ 領域決定部
３１１ 検出結果記憶部
６００ 路面
６００ａ 路面部
６０１ 電柱
６０１ａ 電柱部
６０２ 車
６０２ａ 車部
７００～７０２ 領域
７１０～７１２ 移動予測領域
７２０、７２１ 移動予測領域
７３１～７３３ 領域
ＡＲ 領域
Ｃ 車両
Ｃ０、Ｃ１ 領域
Ｃ１ａ ラベリング領域
Ｉａ 基準画像
Ｉｂ 比較画像
Ｉｐ、Ｉｐ１、Ｉｐ２ 視差画像
Ｐ、Ｐ’ 点
ＲＭ、ＲＭ１、ＲＭ２ リアルＵマップ
ＵＭ Ｕマップ
ＶＭ Ｖマップ
Ｗ 壁
Ｗ０、Ｗ１ 領域
Ｗ１ａ、Ｗ１ｂ ラベリング領域
Claims (11)
- 物体の横方向位置と縦方向位置と奥行き方向位置とが対応付けられた情報から物体の横方向位置と奥行き方向位置とが対応付けられた２次元分布情報を生成する生成部と、
前記生成部により生成された前記２次元分布情報における奥行き方向に連続しない部分を補間する補間部と、
前記補間部により補間された前記奥行き方向に連続することとなった連続領域に基づいて、前記物体を検出する物体検出部と、
前のフレームの情報を用いて検出された前記物体の領域に基づいて、現在のフレームにおける前記物体が位置する領域を予測する予測部と、を備え、
前記補間部は、前記予測部により予測された領域内で、前記２次元分布情報における前記奥行き方向に連続しない部分を補間する情報処理装置。 - 前記補間部は、前記２次元分布情報における前記奥行き方向に連続しない部分を、前記奥行き方向に連続しない部分に隣接する情報を用いて補間する請求項１に記載の情報処理装置。
- 前記補間部は、前記２次元分布情報における前記奥行き方向に連続しない部分を、前記奥行き方向において前記奥行き方向に連続しない部分を挟む両端の情報を用いて補間する請求項１に記載の情報処理装置。
- 前記物体検出部は、
前記２次元分布情報における前記奥行き方向に連続する連続領域を検出する連続領域検出部と、
前記連続領域検出部により検出された連続領域が、前記物体を示しているか否かを判定する判定部と、
を有する請求項１～３のいずれか一項に記載の情報処理装置。 - 前記連続領域検出部は、前記２次元分布情報において情報が前記奥行き方向に連続する連続領域を検出する請求項４に記載の情報処理装置。
- 前記判定部は、前記連続領域検出部により検出された連続領域が、前記奥行き方向において所定の長さ以上である場合、該連続領域が前記物体を示していると判定する請求項４または５に記載の情報処理装置。
- 物体の横方向位置と縦方向位置と奥行き方向位置とが対応付けられた情報としての距離画像を生成するための撮像画像を撮像する撮像部と、
請求項１～６のいずれか一項に記載の情報処理装置と、
を備えた撮像装置。 - 請求項７に記載の撮像装置と、
前記物体検出部による前記物体の検出結果に基づいて、制御対象を制御する制御装置と、
を備えた機器制御システム。 - 請求項８に記載の機器制御システムを備え、
前記制御装置により制御される移動体。 - 物体の横方向位置と縦方向位置と奥行き方向位置とが対応付けられた情報から物体の横方向位置と奥行き方向位置とが対応付けられた２次元分布情報を生成する生成ステップと、
生成した前記２次元分布情報における奥行き方向に連続しない部分を補間する補間ステップと、
補間した前記奥行き方向に連続することとなった連続領域に基づいて、前記物体を検出する物体検出ステップと、
前のフレームの情報を用いて検出された前記物体の領域に基づいて、現在のフレームにおける前記物体が位置する領域を予測する予測ステップと、を有し、
前記補間ステップは、前記予測ステップにより予測された領域内で、前記２次元分布情報における前記奥行き方向に連続しない部分を補間する情報処理方法。 - コンピュータを、
物体の横方向位置と縦方向位置と奥行き方向位置とが対応付けられた情報から物体の横方向位置と奥行き方向位置とが対応付けられた２次元分布情報を生成する生成部と、
前記生成部により生成された前記２次元分布情報における奥行き方向に連続しない部分を補間する補間部と、
前記補間部により補間された前記奥行き方向に連続することとなった連続領域に基づいて、前記物体を検出する物体検出部と、
前のフレームの情報を用いて検出された前記物体の領域に基づいて、現在のフレームにおける前記物体が位置する領域を予測する予測部と、して機能させるためのプログラムであって、
前記補間部は、前記予測部により予測された領域内で、前記２次元分布情報における前記奥行き方向に連続しない部分を補間するプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17204110.5A EP3330892A1 (en) | 2016-11-30 | 2017-11-28 | Information processing apparatus, imaging device, device control system, mobile object, information processing method, and carrier means |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016232918 | 2016-11-30 | ||
| JP2016232918 | 2016-11-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018092601A JP2018092601A (ja) | 2018-06-14 |
| JP7047291B2 true JP7047291B2 (ja) | 2022-04-05 |
Family
ID=62565592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017176660A Active JP7047291B2 (ja) | 2016-11-30 | 2017-09-14 | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7047291B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7322576B2 (ja) * | 2019-07-31 | 2023-08-08 | 株式会社リコー | 情報処理装置、撮像装置および移動体 |
| WO2024042607A1 (ja) * | 2022-08-23 | 2024-02-29 | 日立Astemo株式会社 | 外界認識装置及び外界認識方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014197378A (ja) | 2013-03-06 | 2014-10-16 | 株式会社リコー | 物体検出装置、移動体機器制御システム及び物体検出用プログラム |
| JP2015179301A (ja) | 2014-03-18 | 2015-10-08 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104217208B (zh) * | 2013-06-03 | 2018-01-16 | 株式会社理光 | 目标检测方法和装置 |
-
2017
- 2017-09-14 JP JP2017176660A patent/JP7047291B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014197378A (ja) | 2013-03-06 | 2014-10-16 | 株式会社リコー | 物体検出装置、移動体機器制御システム及び物体検出用プログラム |
| JP2015179301A (ja) | 2014-03-18 | 2015-10-08 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム |
Non-Patent Citations (3)
| Title |
|---|
| Chung-Hee Lee et al，Stereo vision-based vehicle detection using a road feature and disparity histogram，Optical Engineering，SPIE，2011年02月01日，https://www.spiedigitallibrary.org |
| Dexmont Pena et al，Fast Obstacle Detection Using Sparse Edge-Based Disparity Maps，2016 Fourth International Conference on 3D Vision (3DV)，米国，IEEE，2016年10月28日，66-72，https://ieeexplore.ieee.org/document/7785078 |
| Y. Gao et al，U-V-Disparity based Obstacle Detection with 3D Camera and steerable filter，2011 IEEE Intelligent Vehicles Symposium (IV)，米国，IEEE，2011年06月09日，957-962，https://ieeexplore.ieee.org/document/5940425 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018092601A (ja) | 2018-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6795027B2 (ja) | 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
| JP6675448B2 (ja) | 車両位置検出方法及び装置 | |
| JP6614247B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
| JP6565188B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
| JP6950170B2 (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム | |
| JP6597795B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
| JP2020003236A (ja) | 測距装置、移動体、測距方法、測距システム | |
| JP7206583B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
| CN111971682B (zh) | 路面检测装置、图像显示装置、障碍物检测装置、路面检测方法、图像显示方法以及障碍物检测方法 | |
| JP5959264B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム | |
| JP2009524171A (ja) | 複数の画像を結合して鳥瞰図画像にする方法 | |
| JP6597792B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
| WO2021085128A1 (ja) | 測距装置、測定方法、および、測距システム | |
| JP6589313B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
| JP2017098932A (ja) | 車両用表示装置および車両用表示方法 | |
| JPWO2017154389A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| JP6907513B2 (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム | |
| JPWO2017099199A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
| JP7047291B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
| JP6992356B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
| WO2022160232A1 (zh) | 一种检测方法、装置和车辆 | |
| JP6711128B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| JP2017167970A (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
| JP2019160251A (ja) | 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
| WO2017086057A1 (ja) | 車両用表示装置および車両用表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200707 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210910 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220307 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7047291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |