JP6618767B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明の実施形態は、画像処理装置および画像処理方法に関する。

従来、カメラ等の撮像装置によって順次撮像されるフレーム画像に写る障害物を検出し、フレーム画像に検出した障害物を囲む枠画像を重畳表示させる画像表示装置がある。

かかる画像処理装置は、検出される全ての障害物について枠画像を重畳させた場合、フレーム画像がユーザにとって見づらい画像になったり、ユーザにとって注意すべき対象物が分かり難くなったりすることがある。

そこで、撮像装置から最も距離が近い障害物をのみを検出し、フレーム画像中の検出された障害物にマーキングを行う等して強調表示する装置がある。

特開２００７−１８１１２９号公報

しかしながら、撮像装置からの距離が最も近い障害物だけがユーザにとって危険度の高い障害物とは限らない。例えば、撮像装置に直近の障害物がユーザから遠ざかる方向へ移動しており、直近の障害物の次に撮像装置から近い障害物がユーザへ近づく方向へ移動中の場合、直近の障害物の次に近い障害物もユーザにとって危険度が高い障害物である。

このように、撮像装置から最も距離が近い障害物をのみ強調表示させたフレーム画像は、ユーザに対して危険度の高い障害物を通知する情報として、情報の質が高いとは言えない。

本実施形態は、情報が過多にならないことを維持しつつ、ユーザに対して危険度の高い障害物を通知する情報の質を向上させることができる画像処理装置および画像処理方法を提供することを目的とする。

実施形態に係る画像処理装置は、物体検知部と、選択部と、強調画像生成部とを備える。物体検知部は、撮像装置から順次入力されるフレーム画像から物体を検知する。選択部は、前記フレーム画像を左右方向に複数に分割した各分割領域に含まれる前記物体のうちの最下部に位置する前記物体を選択する。強調画像生成部は、前記選択部によって選択される前記物体を前記フレーム画像中で強調する強調画像を生成する。

本実施形態によれば、情報が過多にならないことを維持しつつ、ユーザに対して危険度の高い障害物を通知する情報の質を向上させることができる。

図１は、実施形態に係る画像処理方法の対比例を示す説明図である。 図２は、実施形態に係る画像処理方法を示す説明図である。 図３は、実施形態に係る画像処理装置の構成を示す機能ブロック図である。 図４は、実施形態に係る立体物検知部の構成を示す機能ブロック図である。 図５は、実施形態に係る特徴点方式静止物点取得部の構成を示す機能ブロック図である。 図６は、実施形態に係る特徴点方式の説明図である。 図７は、実施形態に係る特徴点方式の説明図である。 図８は、実施形態に係る背景差分方式静止物点取得部の構成を示す機能ブロック図である。 図９は、実施形態に係る特徴点画像生成部の動作を示す説明図である。 図１０は、実施形態に係るグループ化処理部およびマスク処理部の処理順序を示す説明図である。 図１１は、実施形態に係るグループ化処理部およびマスク処理部の処理順序を示す説明図である。 図１２は、実施形態に係る画像処理の一例を示す説明図である。 図１３は、実施形態に係る画像処理の一例を示す説明図である。 図１４は、実施形態に係るグループ化処理の閾値の説明図である。 図１５は、実施形態に係るグループ化処理の閾値の説明図である。 図１６は、実施形態に係るマスクの形状変化を示す説明図である。 図１７は、実施形態に係るグループ選択部の構成を示す機能ブロック図である。 図１８は、実施形態に係るグループ選択部および領域分割部の動作の一例を示す説明図である。 図１９は、実施形態に係る画像処理装置が実行する処理を示すフローチャートである。 図２０は、実施形態の変形例１に係る画像処理装置の画像処理方法を示す説明図である。 図２１は、実施形態の変形例２に係る画像処理装置の画像処理方法を示す説明図である。 図２２は、実施形態の変形例３に係る画像処理装置の画像処理方法を示す説明図である。 図２３は、実施形態の変形例１に係る画像処理装置の画像処理方法を示す説明図である。

以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

以下では、実施形態に係る画像処理装置が、車載カメラによって連続して撮像される車両後方の画像（以下、「フレーム画像」記載する）に対して画像処理を行い、画像処理後のフレーム画像を車室内に設けられる表示装置へ出力する場合を例に挙げて説明する。

なお、実施形態に係る画像処理装置が画像処理する画像は、車両の後方を撮像した画像に限定されるものではなく、車両の前方や側方を撮像した画像であってもよい。また、実施形態に係る画像処理装置が画像の入力を受け付ける撮像装置は、車載カメラに限定されるものではなく、例えば、スマートフォン等のモバイル機器に搭載されたカメラモジュール、デジタルカメラ、街頭や住居に設置される防犯カメラ等であってもよい。

以下では、まず、実施形態に係る画像処理方法の対比例について説明した後、実施形態に係る画像処理方法および画像処理装置について説明する。図１は、実施形態に係る画像処理方法の対比例を示す説明図であり、図２は、実施形態に係る画像処理方法を示す説明図である。

図１（ａ）に示すように、対比例では、車載カメラから車両後方が撮像されたフレーム画像Ｐを取得すると、まず、フレーム画像Ｐから複数の物体（以下、代表的に「立体物」と称する）Ａ，Ｂ，Ｃ，Ｄを検知する。ここで、対比例は、例えば、図１（ｂ）に示すように、検知した立体物を囲む枠画像（同図中の太線矩形枠）をフレーム画像Ｐに重畳させることにより、自車の後方に自車と衝突の可能性がある立体物が存在することをユーザへ通知することができる。

ただし、対比例は、図１（ｂ）に示すように、検知した全ての立体物Ａ，Ｂ，Ｃ，Ｄの画像に対して、枠画像を重畳した場合、ユーザに通知する情報量が過多になり好ましくない。具遺体的には、対比例では、検知した全ての立体物Ａ，Ｂ，Ｃ，Ｄの画像に枠画像を重畳することで、フレーム画像Ｐがユーザにとって見難くなる、または、ユーザにとって特に注意が必要な立体物が分かり難くなるという問題が生じる。

そこで、対比例２は、図１（ｃ）に示すように、検知した立体物Ａ，Ｂ，Ｃ，Ｄのうち、自車からの処理が最も近く、フレーム画像Ｐの最下部に位置する立体物Ｂだけに枠画像を重畳することにより上記問題を解決する。

しかしながら、フレーム画像Ｐの最下部に位置する立体物Ｂだけを枠画像によって強調表示した場合には、新たに以下のような問題が生じる。具体的には、図１（ｃ）に示す例の場合、車載カメラから直近の立体物Ｂが自車から遠ざかる方向へ移動しており、直近の立体物Ｂの次に自車から近い立体物Ａがユーザへ近づく方向へ移動中の場合、直近の立体物Ｂの次に近い立体物Ａも自車と衝突する危険度が高い。

また、全ての立体物が静止物であったとしても、例えば、自車の移動方向が立体物Ｄのある方向であった場合、ユーザは、立体物Ｄについても注意をはらう必要がある。つまり、自車に最も近い立体物Ｂだけがユーザにとって危険度の高い障害物であるとは限らない。

そこで、実施形態に係る画像処理方法は、図２（ａ）に示すように、対比例と同一のフレーム画像Ｐを取得すると、まず、対比例と同様に、フレーム画像Ｐから複数の立体物Ａ，Ｂ，Ｃ，Ｄを検知する。

続いて、実施形態に係る画像処理方法は、図２（ｂ）に示すように、フレーム画像を左右方向に並ぶ複数（ここでは、３つ）の分割領域ａ１，ａ２，ａ３に分割する。そして、実施形態に係る画像処理方法は、各分割領域ａ１，ａ２，ａ３における最下部に位置する立体物を選択する。

図２（ｂ）に示す例では、実施形態に係る画像処理方法は、分割領域ａ１から立体物Ａを選択し、分割領域ａ２から立体物Ｂを選択し、分割領域ａ３から立体物Ｄを選択する。そして、実施形態に係る画像処理方法は、分割領域ａ１，ａ２，ａ３毎に選択した３つの立体物Ａ，Ｂ，Ｄの画像に枠画像を重畳する。

このように、実施形態に係る画像処理方法は、フレーム画像Ｐ中で自車に最も近い位置に存在する立体物Ｂに加え、フレーム画像Ｐ中で立体物Ｂから左右方向へ離間し、自車からの比較的近い位置に存在する立体物Ａ，Ｄの存在までユーザへ通知することができる。

しかも、実施形態に係る画像処理方法は、自車から比較的遠い位置に存在する立体物Ｃ，Ｅ，Ｆについては、存在をユーザに通知することがないため、フレーム画像Ｐが見難くなることや、注意が必要な立体物が分かり難くなることを抑制することができる。

したがって、実施形態に係る画像処理方法によれば、情報が過多にならないことを維持しつつ、ユーザに対して危険度の高い障害物を通知する情報の質を向上させることができる。なお、図２に示す立体物の選択方法は、一例であり種々の変形が可能である。立体物の選択方法に関する変形例については、図２１〜図２３を参照して後述する。

次に、図３を参照して、実施形態に係る画像処理装置２について説明する。図３は、実施形態に係る画像処理装置２の構成を示す機能ブロック図である。図３に示すように、画像処理装置２は、自車の後方を撮像する車載カメラ１と車室内に設けられる表示装置３とに接続される。

かかる画像処理装置２は、例えば、ＦＰＧＡ（Field Programmable Gate Array）であり、設計されたプログラムを実行することによって機能する立体物検知部４と、描画処理部５とを備える。立体物検知部４および描画処理部５には、車載カメラ１から自車の後方が撮像された動画映像のフレーム画像Ｐが順次時系列で入力される。

立体物検知部４は、入力されるフレーム画像Ｐからフレーム画像Ｐに写る静止物と移動物とを検知して、静止物の検知結果と移動部の検知結果とを個別に描画処理部５へ出力する処理部である。また、立体物検知部４は、フレーム画像Ｐに基づいて、自車の移動量および旋回量を検出し、検出結果を描画処理部５へ出力する処理も行う。かかる立体物検知部４の詳細については、図４〜図１１を参照して後述する。

描画処理部５は、立体物検知部４から入力される検知結果に基づいて、フレーム画像Ｐ中の静止物および移動物をそれぞれ個別に囲む枠画像を生成し、車載カメラ１から入力されるフレーム画像Ｐに枠画像を重畳して表示装置３へ出力する処理部である。枠画像は、フレーム画像Ｐ中の静止物および移動物を強調する強調画像の一例である。

また、描画処理部５は、立体物検知部４から入力される自車の移動量および旋回量の検出結果に基づいて、自車の移動経路になると予測される予測ガイド線の画像（予測移動線画像）を生成してフレーム画像Ｐに重畳させる処理も行う。なお、描画処理部５は、自車の操舵量とは無関係に、自車後方の中央領域Ｒに対応する領域を示す固定ガイド線の画像を生成し、フレーム画像Ｐに重畳させる処理も行う。

ここで、図４〜図９を参照して、立体物検知部４の構成および動作について説明する。図４は、実施形態に係る立体物検知部４の構成を示す機能ブロック図であり、図５は、実施形態に係る特徴点方式静止物点取得部６の構成を示す機能ブロック図である。

また、図６および図７は、実施形態に係る特徴点方式の説明図であり、図８は、実施形態に係る背景差分方式静止物点取得部７の構成を示す機能ブロック図であり、図９は、実施形態に係る特徴点画像生成部４２の動作を示す説明図である。

図４に示すように、立体物検知部４は、特徴点取得部４１と、特徴点画像生成部４２とを備える。特徴点取得部４１は、車載カメラ１から順次入力されるフレーム画像Ｐから各フレーム画像Ｐに写る立体物の特徴点を複数取得する処理部である。

また、特徴点取得部４１は、特徴点方式静止物点取得部６、背景差分方式静止物点取得部７、および背景差分方式移動物点取得部８を備える。特徴点方式静止物点取得部６は、特徴点方式を使用してフレーム画像Ｐにおける静止物の特徴点を取得し、取得した特徴点をプロットした画像を特徴点画像生成部４２へ出力する処理部である。

具体的には、特徴点方式静止物点取得部６は、自車の移動に伴うフレーム画像Ｐの遷移状態を特徴点で追跡し、特徴点の移動ベクトルから自車の移動推定を行うことでフレーム画像Ｐにおける静止物の位置を推定する処理部である。かかる特徴点方式静止物点取得部６は、図５に示すように、フレームメモリ６１、オプティカルフロー算出部６２、第１視点変換部６３、静止物検出部６４、および第２視点変換部６５とを備える。フレームメモリ６１は、車載カメラ１から入力されるフレーム画像Ｐを時系列に順次記憶してオプティカルフロー算出部６２へ出力するメモリである。

オプティカルフロー算出部６２は、フレーム画像Ｐにサンプル点を設定し、そのサンプル点が自車の移動に伴って移動した移動ベクトルをオプティカルフローとして算出して第１視点変換部６３へ出力する処理部である。

例えば、オプティカルフロー算出部６２は、図６（ｂ）に示す撮像された最新のフレーム画像Ｐを車載カメラ１から取得し、最新のフレーム画像Ｐよりも以前に撮像された図６（ａ）に示す１フレーム前のフレーム画像Ｐをフレームメモリ６１から取得する。

そして、オプティカルフロー算出部６２は、図６（ａ）に示すように、１フレーム前のフレーム画像Ｐ中に、複数個（例えば、数百個）のサンプル点（同図中の黒点）を設定する。その後、オプティカルフロー算出部６２は、１フレーム前のフレーム画像Ｐが撮像された時刻と、図６（ｂ）に示す最新のフレーム画像Ｐが撮像された２時刻間でのサンプル点の移動ベクトルをオプティカルフローとして算出する。

図６（ｂ）に示す黒点から延びる線分は、各サンプル点の移動ベクトルを示している。図５へ戻り、オプティカルフロー算出部６２は、車載カメラ１から最新のフレーム画像Ｐが入力される度に、順次オプティカルフローを算出して、第１視点変換部６３へ出力する。

第１視点変換部６３は、オプティカルフロー算出部６２から入力されるオプティカルフローを路面展開して、静止物検出部６４へ出力する処理部である。ここでの路面展開とは、算出されたフレーム画像Ｐ上のオプティカルフローを路面上（ワールド座標上）の移動ベクトル（オプティカルフロー）へ変換する処理である。

かかる第１視点変換部６３は、図７に示すように、フレーム画像Ｐ上のオプティカルフローＢ１を路面上へ投影することによって、路面上のオプティカルフローＢ２を算出する。第１視点変換部６３は、車載カメラ１の取付位置および俯角を用いた変換アルゴリズムを使用して路面上のオプティカルフローＢ２を算出する。

車載カメラ１のフレーム画像Ｐ上のオプティカルフローＢ１は、路面Ｇに投影されることで路面Ｇ上のオプティカルフローＢ２に変換される。車載カメラ１の視点からフレーム画像Ｐ上のオプティカルフローＢ１の始点を結ぶ線を延長し、路面Ｇと交差する点が路面Ｇ上のオプティカルフローＢ２の始点となる。

同様に、車載カメラ１の視点からフレーム画像Ｐ上のオプティカルフローＢ１の終点を結ぶ線を延長し、路面Ｇと交差する点が路面Ｇ上のオプティカルフローＢ２の終点となる。図７におけるフレーム画像Ｐは、フレーム画像Ｐ上のオプティカルフローＢ１を路面Ｇ上のオプティカルフローＢ２に変換する場合の概念図であり、実空間上に存在するフレーム画像Ｐを示すものではない。

路面Ｇ上のオプティカルフローＢ２の始点および終点は、路面ＧをＸＹ平面とし、車載カメラ１の位置を基点とした場合における、ＸＹ座標から算出することができる。図５へ戻り、第１視点変換部６３は、算出した路面Ｇ上のオプティカルフローＢ２を静止物検出部６４へ出力する。

静止物検出部６４は、第１視点変換部６３から入力される路面Ｇ上のオプティカルフローＢ２に基づいて、路面Ｇ上における静止物の位置を検出する処理部である。具体的には、静止物検出部６４は、路面Ｇ上のオプティカルフローＢ２に基づいて、各フレーム画像Ｐが撮像される期間に移動した自車の路面Ｇに対する旋回量と、移動量とを算出する。

また、静止物検出部６４は、自車の旋回量および移動量とオプティカルフローＢ２の長さとに基づいて静止物の特徴点を検出する。そして、静止物検出部６４は、各フレーム画像Ｐの路面Ｇ上における静止物の特徴点を、４８０×７２０画素の立体物配置マップへマッピングする。

ここで、静止物検出部６４は、特徴点がマッピングされた画素（ここでは、「中心画素」という）を所定の輝度の色とし、中心画素の周囲の数画素を中心画素から遠ざかるにつれて所定の輝度から徐々に低い輝度の色とし、その他の画素を黒色とする。

そして、静止物検出部６４は、現時点のフレーム画像Ｐを基準フレーム画像として設定する。そして、静止物検出部６４は、基準フレーム画像よりも過去に撮像された各フレーム画像Ｐの立体物配置マップにマッピングされた特徴点を、自車の旋回量および移動量に基づいて、基準フレーム画像中の対応する位置へシフト（回転、並進）させる。

なお、静止物検出部６４は、自車のＹ方向（図７のＸＹＺ座標参照）への移動量が一定量（例えば、４５ｍｍ）を超えた場合に、基準フレーム画像を最新のフレーム画像Ｐに更新する。

静止物検出部６４は、フレーム画像Ｐ毎に作成した立体物配置マップにおける各画素の輝度値を積分することによって、各画素に静止物の特徴点が存在する確からしさ（以下、「確度」という）を各画素の輝度値で示す最終的な立体物配置マップを作成する。

このとき、静止物検出部６４は、各立体物配置マップにおける前画素の輝度値を一律（２％：２／１００倍）に低減してから各画素の輝度値を積分することにより、積分が完了する前に輝度値が上限値に達してオーバーフロー状態となる画素の発生を抑制する。

図５へ戻り、静止物検出部６４は、こうして作成した路面Ｇ上における静止物の特徴点の位置および確度をマップ内の黒以外の画素の位置および輝度値によって示す立体物配置マップを後段の第２視点変換部６５へ出力する。かかる立体物配置マップ中の黒以外の画素は、静止物の特徴点の一例である。

なお、静止物検出部６４は、立体物配置マップを作成する過程で算出した自車の旋回量および移動量を描画処理部５へ出力する処理も行う。描画処理部５は、入力される自車の旋回量および移動量を使用して、自車の移動経路になると予測される前述の予測ガイド線の画像を生成する。

第２視点変換部６５は、静止物検出部６４から入力される立体物配置マップを画像展開することによって、４８０×７２０画素の画像を生成し、生成した画像を特徴点画像生成部４２へ出力する処理部である。ここでの画像展開とは、路面Ｇ上（ワールド座標上）の静止物の特徴点の位置を車載カメラ１視点のフレーム画像Ｐの位置へ変換する処理である。

次に、図８を参照して、図４に示す背景差分方式静止物点取得部７について説明する。なお、背景差分方式静止物点取得部７と、背景差分方式移動物点取得部８とは、取得対象の特徴点のフレーム間における移動量（移動速度）が異なる点を除き、同様の構成である。このため、背景差分方式移動物点取得部８については、その詳細な説明を省略する。

図８に示すように、背景差分方式静止物点取得部７は、フレームメモリ７１、移動量算出部７２、エッジ検出部７３、および静止物検出部７４を備える。フレームメモリ７１は、車載カメラ１から入力されるフレーム画像Ｐを時系列に順次記憶して移動量算出部７２へ出力するメモリである。

移動量算出部７２は、車載カメラ１から順次入力される各フレーム画像Ｐと、フレームメモリ７１から取得する１フレーム前のフレーム画像Ｐとの差分を取ることによって立体物を抽出した差分画像を生成してエッジ検出部７３へ出力する処理部である。

具体的には、移動量算出部７２は、車載カメラ１から最新のフレーム画像Ｐ（ここでは、現フレーム）を順次取得し、フレームメモリ７１から１フレーム前のフレーム画像Ｐ（ここでは、前フレームという）を順次取得する。

そして、移動量算出部７２は、現フレームおよび前フレームについて、それぞれ２種類の視点変換画像を生成する。まず、移動量算出部７２は、現フレームおよび前フレームについて、それぞれ俯角を９０度とした仮想視点の水平画像を生成する。さらに、移動量算出部７２は、現フレームおよび前フレームについて、俯角０度とした仮想視点の路面画像を生成する。

そして、移動量算出部７２は、現フレームおよび前フレームの水平画像にそれぞれ特定矩形領域を指定し、前フレームの特定矩形領域を現フレームの特定矩形領域へ微小距離ずつずらしながら、現フレームの特定矩形領域とのＳＡＤ（Sum of Absolute Difference）値を算出する。移動量算出部７２は、ＳＡＤ値が最小のときのずれ量を摂動量として算出し、算出した摂動量と車載カメラ１の焦点距離とに基づいて自車の旋回量を算出する。

続いて、移動量算出部７２は、現フレームおよび前フレームの路面画像にそれぞれ特定矩形領域を指定し、前フレーム画像の特定矩形領域については、先に算出した旋回量を用いて現フレームの特定矩形領域と相対的な方向を合わせる。

そして、移動量算出部７２は、補正後の前フレームの特定矩形領域を、路面上に規定したＸＹ座標のＸ方向およびＹ方向にずらしながら、現フレームの特定矩形領域とのＳＡＤ値を算出する。移動量算出部７２は、ＳＡＤ値が最小のときのずれ量を摂動量として算出し、算出した摂動と路面画像の仮想視点の高さとに基づき、自車の移動量を算出する。移動量算出部７２は、算出した自車の旋回量および移動量をエッジ検出部７３および静止物検出部７４へ出力する。

エッジ検出部７３は、車載カメラ１から現フレームを順次取得し、フレームメモリ７１から前フレームを順次取得して、現フレームおよび前フレームから立体物のエッジを検出し、エッジ部分を選択的に強調したエッジ検出画像を生成する処理部である。

エッジ検出部７３は、エッジ検出画像を生成する場合、移動量算出部７２から入力される自車の旋回量および移動量に基づいて、予め前フレームを回転および並進させる補正を行うことにより、現フレームとの相対的な位置および方向を合わせる。そして、エッジ検出部７３は、生成した現フレームおよび前フレームのエッジ画像を静止物検出部７４へ出力する。

静止物検出部７４は、エッジ検出部７３から入力される現フレームのエッジ画像と、前フレームのエッジ画像の各画素の輝度値の差分をとる差分処理を行うことによって、背景差分画像を生成する。かかる背景差分画像には、立体物の像が現れ、非立体物の像は現れない。

続いて、静止物検出部７４は、背景差分画像に現れる立体物の像から複数（例えば、２００個）の特徴点を検出する。そして、静止物検出部７４は、移動量算出部７２から入力される自車の旋回量および移動量に基づいて、前フレームの背景差分画像の特徴点の位置を現フレームの背景差分画像の座標中の位置に変換し、各画素の輝度値を一律に低減させてから積分を行う。

このとき、静止物検出部７４は、各画素の輝度値を約１／２（輝度値の上限が２５５の場合、１２８）に低減して積分を行うことにより、静止物および移動物の特徴点を含む４８０×７２０画素の画像を生成する。

また、静止物検出部７４は、各画素の輝度値を約１／８（輝度値の上限が２５５の場合、３２）に低減して積分を行うことにより、移動物の特徴点を含む４８０×７２０画素の画像を生成する。そして、静止物検出部７４は、静止物および移動物の特徴点を含む画像から移動物の特徴点を削除した画像を静止物の特徴点を含む画像として特徴点画像生成部４２へ出力する。

図４へ戻り、背景差分方式移動物点取得部８は、背景差分方式静止物点取得部７と同様の手順によって、移動物の特徴点を含む４８０×７２０画素の画像を生成し、生成した移動物の特徴点を含む画像を特徴点画像生成部４２へ出力する。

特徴点画像生成部４２は、特徴点取得部４１から入力される４８０×７２０画素の各画像を、それぞれ３０×４５画素の画像へ圧縮して特徴点画像を生成する処理部である。ここで、図９を参照して、特徴点画像生成部４２による画像圧縮処理の手順について説明する。

図９（ａ）に示すように、特徴点画像生成部４２は、４８０×７２０画素の画像を１６×１６画素の領域に分割し、１６×１６画素の領域に含まれる各画素の輝度値と第１輝度閾値とを比較する。

そして、特徴点画像生成部４２は、図９（ｂ）に示すように、例えば、１６×１６画素の領域に、第１輝度閾値以上の画素が３個ある場合、図９（ｃ）に示すように、３０×４５画素の領域の対応する位置へ、第１輝度閾値以上の画素数である３をプロットする。

ここで、３０×４５画素の領域における画素数をプロットする位置は、４８０×７２０画素の画像から選択した１６×１６画素の領域の画像における位置と同じ相対位置である。

特徴点画像生成部４２は、４８０×７２０画素の画像を分割した全ての１６×１６画素の領域について、輝度閾値以上の画素の個数を判別して、３０×４５画素の領域へプロットすることにより、３０×４５画素の特徴点画像を生成する。

さらに、特徴点画像生成部４２は、生成した３０×４５画素の特徴点画像の各画素にプロットした画素数と第２輝度閾値とを比較し、画素数が第２輝度閾値以上の画素を白、第２輝度閾値未満の画素を黒とする２値化を行い３０×４５画素の特徴点画像を生成する。

そして、特徴点画像生成部４２は、特徴点方式静止物点取得部６および背景差分方式静止物点取得部７から入力された各画像からそれぞれ生成した静止物の特徴点画像を描画処理部５へ出力する。また、特徴点画像生成部４２は、背景差分方式移動物点取得部８から入力された画像から生成した移動物の特徴点画像を描画処理部５へ出力する。

図３へ戻り、描画処理部５は、グループ化処理部５１、マスク処理部５２、領域分割部５３、グループ選択部５４、枠画像生成部５５、および重畳画像生成部５６を備える。グループ化処理部５１は、立体物検知部４によってフレーム画像Ｐから取得される静止物および立体物の複数の特徴点を同一の立体物毎のグループに振分けるグループ化処理を行う処理部である。

また、マスク処理部５２は、立体物検知部４によってフレーム画像Ｐから取得される静止物および立体物の複数の特徴点から、フレーム画像Ｐにおける一部の領域に含まれる特徴点を排除するマスク処理を行う処理部である。

これらグループ化処理部５１およびマスク処理部５２は、立体物検知部４によって検知される立体物が移動物か静止物かによって処理を行う順序が変わる。ここで、図１０〜図１３を参照して、グループ化処理部５１およびマスク処理部５２の処理順序および処理の一例について説明する。図１０および図１１は、実施形態に係るグループ化処理部５１およびマスク処理部５２の処理順序を示す説明図である。

また図１２および図１３は、実施形態に係る画像処理の一例を示す説明図である。なお、ここでは、フレーム画像Ｐ中に、立ち止った人物（静止物）、他車（移動物）、建物（静止物）および樹木（静止物）が写っている場合の処理の一例について説明する。

立体物検知部４は、検知した立体物が移動物であった場合、検知した移動物の特徴点画像をグループ化処理部５１へ出力する。かかる場合、図１０に示すように、グループ化処理部５１は、移動物の特徴点画像中の移動物の特徴点を同一物のグループに振分けるグループ化処理を行い、グループ化処理後の移動物の特徴点画像をマスク処理部５２へ出力する。

例えば、グループ化処理部５１は、図１２（ａ）に示すように、フレーム画像Ｐから移動体である他車の複数の特徴点を取得してグループ化処理を行う。これにより、他車の特徴点のグループＧ３は、ほぼ他車全体を含む領域となる。

マスク処理部５２は、すでにグループ化処理が行われた移動物の特徴点画像に対してマスク処理を行い、マスク処理後の移動物の特徴点画像を出力する。例えば、マスク処理部５２は、図１２（ｂ）に示すように、マスクＭを適用したマスク処理を行う。

マスクＭは、自車後方の正面にあたるフレーム画像Ｐの中央領域Ｒで取得される静止物および移動物の特徴点を排除せず、中央領域Ｒの左右両端から中央領域Ｒの外側へ左右方向に所定距離だけ離れた位置までの側方領域Ｍ１で取得される静止物の特徴点を排除する。また、マスクＭは、フレーム画像Ｐ中で中央領域Ｒおよび側方領域Ｍ１よりも外側の遠方領域Ｍ２で取得された静止物および移動物の特徴点を排除する。

そして、マスク処理部５２から出力される移動物の特徴点画像は、領域分割部５３およびグループ選択部５４を介して枠画像生成部５５へ入力される。なお、領域分割部５３およびグループ選択部５４の動作については後述する。

枠画像生成部５５は、入力されるグループ化処理およびマスク処理の順に処理された移動物の特徴点画像中の特徴点のグループを囲む枠画像を生成する。これにより、枠画像生成部５５は、例えば、図１２（ｃ）に示すように、移動物である他車のほぼ全体を囲む枠画像を生成して重畳画像生成部５６へ出力することができる。重畳画像生成部５６は、枠画像生成部５５から入力される枠画像を車載カメラ１から入力されるフレーム画像Ｐに重畳して重畳画像を生成して、表示装置３へ出力する。

一方、立体物検知部４は、検知した立体物が静止物であった場合、検知した静止物の特徴点画像をマスク処理部５２へ出力する。かかる場合、図１１に示すように、マスク処理部５２は、静止物の特徴点画像に対してマスク処理を行い、マスク処理後の静止物の特徴点画像をグループ化処理部５１へ出力する。

例えば、マスク処理部５２は、図１３（ａ）に示すように、フレーム画像Ｐから取得した静止物である人物、建物、および樹木の特徴点に対して、マスクＭを適用したマスク処理を行う。

グループ化処理部５１は、すでにマスク処理が行われた静止物の特徴点画像に対してグループ化処理を行い、マスク処理後の静止物の特徴点画像を出力する。例えば、グループ化処理部５１は、図１３（ｂ）に示すように、マスク処理によって排除されなかった人物の特徴点をグループＧ２とするグループ化処理を行う。

グループ化処理部５１から出力される静止物の特徴点画像は、領域分割部５３およびグループ選択部５４を介して枠画像生成部５５へ入力される。枠画像生成部５５は、入力されるマスク処理およびグループ化処理の順に処理された静止物の特徴点画像中の特徴点のグループを囲む枠画像を生成する。

これにより、枠画像生成部５５は、例えば、図１３（ｃ）に示すように、静止物である立ち止った人物のほぼ全体を囲む枠画像を生成して重畳画像生成部５６へ出力することができる。重畳画像生成部５６は、枠画像生成部５５から入力される枠画像を車載カメラ１から入力されるフレーム画像Ｐに重畳して重畳画像を生成して、表示装置３へ出力する。

また、グループ化処理部５１は、移動物の特徴点をグループ化処理する場合と、静止物の特徴点をグループ化処理する場合とで、同一のグループにする特徴点間の距離の閾値を異ならせている。ここで、図１４および図１５を参照し、グループ化処理部５１によるグループ化処理の閾値について説明する。図１４および図１５は、実施形態に係るグループ化処理の閾値の説明図である。

図１４に示すように、グループ化処理部５１は、例えば、他車などの移動物の特徴点をグループ化処理する場合、フレーム画像Ｐ中で左右方向に並ぶ特徴点同士が同一のグループになり易く、上下方向に並ぶ特徴点同士が同一のグループになり難くする。

具体的には、グループ化処理部５１は、フレーム画像Ｐ中で上下方向に並ぶ移動物の特徴点間の距離が第１の閾値Ｔｈ１以下の場合に、特徴点同士を一つのグループとする。一方、グループ化処理部５１は、フレーム画像Ｐ中で左右方向に並ぶ移動物の特徴点間の距離が第１の閾値Ｔｈ１よりも大きな第２の閾値Ｔｈ２以下の場合に、特徴点同士を一つのグループとする。

例えば、グループ化処理部５１は、第１の閾値Ｔｈ１を縦２画素分の距離とし、第２の閾値Ｔｈ２を横３画素分の距離とする。これにより、グループ化処理部５１は、移動物が他車である場合に、車両の前後や左右のエッジのように左右方向に離間した位置で特徴点が取得されても、左右方向に離間した特徴点を含む他車全体を包含する領域を特徴点のグループＧ３が占める領域とすることができる。したがって、枠画像生成部５５は、他車のほぼ全体を囲む枠画像を生成することができる。

一方、グループ化処理部５１は、図１５に示すように、例えば、立ち止った人物の静止物の特徴点をグループ化処理する場合、フレーム画像Ｐ中で縦に並ぶ特徴点同士が同一のグループになり易く、左右方向に並ぶ特徴点同士が同一のグループになり難くする。

具体的には、グループ化処理部５１は、フレーム画像Ｐ中で上下方向に並ぶ静止物の特徴点間の距離が第３の閾値Ｔｈ３以下の場合に、特徴点同士を一つのグループとする。一方、グループ化処理部５１は、フレーム画像Ｐ中で左右方向に並ぶ静止物の特徴点間の距離が第３の閾値Ｔｈ３よりも小さな第４の閾値Ｔｈ４以下の場合に、特徴点同士を一つのグループとする。

例えば、グループ化処理部５１は、第３の閾値Ｔｈ３を縦４画素分の距離とし、第４の閾値Ｔｈ４を横１画素分の距離とする。これにより、グループ化処理部５１は、静止物が人物である場合に、足元および頭部のエッジのように上下方向に離間した位置で特徴点が取得されても、上下方向に離間した特徴点を含む人物全体を包含する領域を特徴点のグループＧ２が占める領域とすることができる。

したがって、枠画像生成部５５は、人物のほぼ全体を囲む枠画像を生成することができる。しかも、グループ化処理部５１は、グループＧ２の左右方向近傍に、別の人物画像から取得した特徴点のグループＧ４が存在しても、グループＧ２とグループＧ４とを一つのグループにすることがない。したがって、枠画像生成部５５は、二人並んだ人物をそれぞれ個別に囲む枠画像を生成することができる。

また、マスク処理部５２は、自車が後方へ直進する場合には、図１２（ｂ）などに記載したマスクＭを適用したマスク処理を行うが、自車が旋回しながら後退する場合には、フレーム画像Ｐに重畳される前述の予測ガイド線に応じてマスクＭの形状を変化させる。

ここで、図１６を参照して、マスクＭの形状変化について説明する。図１６は、実施形態に係るマスクＭの形状変化を示す説明図である。図１６（ａ）に示すように、重畳画像生成部５６は、自車が後方へ直進する場合、自車後方の中央領域Ｒに対応する領域を示す固定ガイド線ＲＬをフレーム画像Ｐに重畳させる。

また、重畳画像生成部５６は、自車が旋回しながら後退する場合、立体物検知部４から入力される自車の旋回量に基づいて、図１６（ｂ）に示すように、自車の移動経路になると予測される予測ガイド線ＧＬをフレーム画像Ｐへさらに重畳させる。そして、重畳画像生成部５６は、フレーム画像Ｐにおける予測ガイド線ＧＬの表示位置をマスク処理部５２へ出力する。

かかる場合、マスク処理部５２は、図１６（ｃ）に示すように、マスクＭにおける中央領域Ｒと側方領域Ｍ１との境界線を予測ガイド線ＧＬの表示位置に連動して変化させる。これにより、マスク処理部５２は、自車が旋回しながら後退する場合に、これから自車が進む予定の領域に、静止物および移動物の特徴点を排除しない中央領域Ｒを設定することができ、ユーザにとってより有益な特徴点を排除せずに残すことができる。

図３へ戻り、領域分割部５３は、グループ化処理部５１またはマスク処理部５２から入力される特徴点画像を左右方向に並ぶ複数の分割領域に分割してグループ選択部５４へ出力する処理部である。グループ選択部５４は、領域分割部５３から入力される複数の分割領域に分割された特徴点画像に含まれる特徴点のグループのうち、フレーム画像Ｐ中で枠画像を重畳させるグループを選択する処理部である。

ここで、図１７および図１８を参照して、グループ選択部５４の構成と、グループ選択部５４および領域分割部５３の動作の一例について説明する。図１７は、実施形態に係るグループ選択部５４の構成を示す機能ブロック図であり、図１８は、実施形態に係るグループ選択部５４および領域分割部５３の動作の一例を示す説明図である。

図１７に示すように、グループ選択部５４は、サイズ判定部８１、所属領域判定部８２、および最下部判定部８３を備える。ここで、例えば、図１８（ａ）に示すように、領域分割部５３へグループＡ，Ｂ，Ｃ，Ｄ，Ｅという５つの特徴点のグループを含む特徴点画像Ｐ１が入力される場合がある。なお、ここでは、便宜上、特徴点画像Ｐ１におけるグループＡ，Ｂ，Ｃ，Ｄ，Ｅの形状を矩形状としている。

かかる場合、領域分割部５３は、図１８（ｂ）に示すように、特徴点画像Ｐ１を分割領域ａ１，ａ２，ａ３という左右方向に並ぶ３つの分割領域に分割してグループ選択部５４のサイズ判定部８１へ出力する。

サイズ判定部８１は、領域分割部５３から入力される特徴点画像Ｐ１に含まれるグループの各サイズを判定し、所定サイズよりも小さなグループＥを削除して所属領域判定部８２へ出力する。これにより、サイズ判定部８１は、自車の後方に存在していても危険性の低い極小さな物体の存在がユーザへ無駄に通知されることを抑制することができる。

続いて、所属領域判定部８２は、サイズ判定部８１から入力される特徴点画像Ｐ１に含まれる各グループが何れの分割領域に属するかを判定する。具体的には、まず、所属領域判定部８２は、特徴点画像Ｐ１に各グループを囲むグループ枠を規定し、各グループ枠の底辺中心座標を含む分割領域を、グループ枠によって囲まれるグループが属する分割領域と判定する。

これにより、図１８（ｃ）に示す例では、所属領域判定部８２は、グループＡが分割領域ａ１に属し、グループＢ，Ｃが分割領域ａ２に属し、グループＤが分割領域ａ３に属すると判定する。そして、所属領域判定部８２は、各グループの属性を付加した特徴点画像Ｐ１を最下部判定部８３へ出力する。

最下部判定部８３は、各分割領域に属するグループのうち、各分割領域における最下部に位置するグループを分割領域毎に選択する。具体的には、最下部判定部８３は、各分割領域に属するグループのうち、グループ枠の底辺中心座標と特徴点画像Ｐ１の底辺との距離が最短のグループ枠によって囲まれるグループを各分割領域における最下部に位置するグループと判定する。

例えば、最下部判定部８３は、図１８（ｃ）に示す分割領域ａ１では、グループＡを囲むグループ枠の底辺の中心座標から特徴点画像Ｐ１の底辺Ｌまでの距離Ｄ１が最も近いので、グループＡを最下部のグループと判定する。

こうして、最下部判定部８３は、図１８（ｄ）に示すように、グループＡを分割領域ａ１の最下部に位置するグループ、グループＢを分割領域ａ２の最下部に位置するグループ、グループＤを分割領域ａ３の最下部に位置するグループと判定する。そして、最下部判定部８３は、各分割領域の最下部に位置するグループのグループ枠の特徴点画像Ｐ１における位置情報を枠画像生成部５５へ出力する。

図５へ戻り、枠画像生成部５５は、グループ選択部５４から入力される特徴点画像におけるグループ枠の位置情報に基づいて、フレーム画像Ｐに重畳させる枠画像を生成して、重畳画像生成部５６へ出力する。

重畳画像生成部５６は、枠画像生成部５５から入力される枠画像をフレーム画像Ｐへ重畳した重畳画像を生成して表示装置３へ出力する。なお、重畳画像生成部５６は、前述した固定ガイド線や予測ガイド線などの画像もフレーム画像Ｐに重畳させる。

これにより、画像処理装置２は、フレーム画像Ｐを左右方向に並ぶ３つの各分割領域内で自車に最も近い位置にある立体物を枠画像で囲んだ重畳画像をユーザへ提供することができる。したがって、画像処理装置２は、例えば、フレーム画像Ｐ全体で最も自車に近い立体物だけを枠画像で囲む他の画像処理装置よりも、ユーザに対して立体物の存在を通知する情報の質を向上させることができる。

次に、図１９を参照して、画像処理装置２が実行する処理について説明する。図１９は、実施形態に係る画像処理装置２が実行する処理を示すフローチャートである。画像処理装置２は、例えば、自車のシフトレバーがバックの位置へシフトされている期間、図１９に示す処理を所定周期で繰り返し実行する。

画像処理装置２は、自車のシフトレバーがバックの位置へシフトされると、図１９に示すように、フレーム画像Ｐから立体物を検知したか否かを判定する（ステップＳ１０１）。そして、画像処理装置２は、立体物を検知しないと判定した場合（ステップＳ１０１，Ｎｏ）、処理をステップＳ１１０へ移し、フレーム画像Ｐに固定ガイド線や予測ガイド線を重畳した重畳画像を生成して表示装置３へ出力し、処理を終了する。

また、画像処理装置２は、立体物を検知したと判定した場合（ステップＳ１０１，Ｙｅｓ）、検知した立体物は移動物か否かを判定する（ステップＳ１０２）。そして、画像処理装置２は、立体物は移動物であると判定した場合（ステップＳ１０２，Ｙｅｓ）、立体物の特徴点画像に対してグループ化処理を行い（ステップＳ１０３）、その後、特徴点画像に対してマスク処理を行って（ステップＳ１０４）、処理をステップＳ１０５へ移す。

また、画像処理装置２は、検知した立体物は移動物でないと判定した場合（ステップＳ１０２，Ｎｏ）、立体物を静止物と判定し、立体物の特徴点画像に対してマスク処理を行い（ステップＳ１１１）、その後、特徴点画像に対してグループ化処理を行って（ステップＳ１１２）、処理をステップＳ１０５へ移す。

ステップＳ１０５において、画像処理装置２は、特徴点画像を複数の分割領域に分割する領域分割を行い、その後、特徴点画像に含まれる特徴点のグループのサイズ判定を行う（ステップＳ１０６）。そして、画像処理装置２は、特徴点のグループに所定サイズよりも小さなグループがある場合には、特徴点画像から削除して処理をステップＳ１０７へ移す。

ステップＳ１０７において、画像処理装置２は、特徴点画像に含まれる特徴点のグループが属する分割領域を判定する所属領域判定を行い、その後、各分割領域で最下部に位置するグループを判定する最下部判定を行う（ステップＳ１０８）。

続いて、画像処理装置２は、各分割領域で最下部に位置するグループを囲む枠画像を生成する枠画像生成を行う（ステップＳ１０９）。その後、画像処理装置２は、枠画像をフレーム画像Ｐに重畳した重畳画像を生成する重畳画像生成を行い（ステップＳ１１０）、生成した重畳画像を表示装置３へ出力して処理を終了する。

なお、上述した実施形態は一例であり、実施形態に係る画像処理装置２の構成および動作は、上記した実施形態に限定されるものではない。以下、実施形態に係る画像処理装置２の変形例について説明する。

図２０〜図２３は、実施形態の変形例１〜４に係る画像処理装置の画像処理方法を示す説明図である。上述した実施形態では、画像処理装置が移動物の特徴点画像に対して、グループ化処理、マスク処理の順に画像処理を行い、静止物の特徴点画像に対して、マスク処理、グループ化処理の順に画像処理を行う場合を例に挙げたが、これは一例である。

例えば、変形例１の画像処理装置は、図２０（ａ）に示すように、移動物および静止物の特徴点についてグループ処理を行い、図２０（ｂ）に示すように、グループ化処理後の特徴点についてマスク処理を行うこともできる。かかる画像処理方法によっても、図２０（ｃ）に示すように、移動体である他車のほぼ全体を囲む枠画像をフレーム画像Ｐに重畳させることができる。

また、上述した実施形態では、画像処理装置が特徴点画像を分割した複数の各分割領域内で、最も下部に位置するグループを枠画像で囲むグループとして選択したが、枠画像で囲むグループは、各分割領域につき１つに限定するものではない。

例えば、変形例２の画像処理装置は、特徴点画像を分割した分割領域における最下部に位置するグループを囲むグループ枠の底辺から特徴点画像の上辺側へ所定距離離れた位置までの領域を下部領域として設定する下部領域設定部をさらに備える。

かかる画像処理装置は、図２１（ａ）に示す特徴点画像Ｐ１を生成した場合、まず、図２１（ｂ）に示すように、特徴点画像Ｐ１を３つの分割領域ａ１，ａ２，ａ３に分割する。その後、画像処理装置の下部領域設定部は、図２１（ｃ）内にハッチングで示すように、各分割領域ａ１，ａ２，ａ３におけるグループ枠の底辺から特徴点領域の上辺側へ所定距離離Ｄ２だけ離れた位置までの領域を下部領域として設定する。

そして、画像処理装置のグループ選択部は、最下部に位置するグループとともに、各下部領域内に底辺中心座標が位置するグループ枠によって囲まれるグループを画像で囲むグループとしてさらに選択する。これにより、画像処理装置は、図２１（ｄ）に示すように、例えば、分割領域ａ１については、２つのグループＡ，Ｅをそれぞれ枠画像で囲むグループとして選択することができる。

かかる画像処理装置は、例えば、グループＡに対応する立体物が静止物であり、グループＥに対応する立体物が自車へ近づく移動物の場合に、グループＡよりも注意が必要なグループＥに対応する移動物を枠画像で囲み、ユーザに存在を通知することができる。

また、変形例３の画像処理装置は、特徴点画像の分割数を可変とした領域分割部と、上記した下部領域の大きさを可変とした下部領域設定部とをさらに備える。かかる画像処理装置は、例えば、図２２に示すように、特徴点領域を左右方向に並ぶ４以上（ここでは、６つ）の分割領域ａ１１，ａ１２，ａ１３，ａ１４，ａ１５，ａ１６に分割することが可能である。これにより、画像処理装置は、自車に近い危険なより多くの立体物を枠画像で囲むことにより、立体物の存在をユーザへ通知することができる。

ただし、画像処理装置は、領域分割部によって特徴点画像の分割数を増加させる場合は、下部領域設定部による底辺から上辺までの所定距離Ｄ３を縮小する。これにより、画像処理装置は、ユーザへ提供する枠画像の情報が過多になることを抑制しつつ、自車に近い危険な立体物をより多く枠画像で囲み、危険な立体物の存在をユーザへ通知することができる。

また、画像処理装置は、領域分割部によって特徴点画像の分割数を減少させる場合には、下部領域における底辺から上辺までの所定距離Ｄ３を拡大する。これにより、画像処理装置は、特徴点画像の分割数を減少させたことにより、ユーザへ通知する危険な立体物数の過度な現象を抑制することができる。

また、画像処理装置は、領域分割部を省略することも可能である。かかる変形例４の画像処理装置は、上述した下部領域設定部を備える。そして、変形例４の画像処理装置は、図２３に示すように、特徴点画像中で最も下部に位置する特徴点のグループＡを囲むグループ枠の底辺から特徴点画像の上辺側へ所定距離Ｄ４離れた位置までの領域を下部領域として設定する。

このとき、下部領域設定部は、車載カメラ１の広角レンズに起因して、自車からの距離が同一であるにも関わらず、特徴点画像中の位置が異なる上下方向の最大距離を所定距離Ｄ４として設定する。なお、図２３には、自車からグループＡに対応する立体物までの距離と同一距離にある特徴点画像中の位置を円弧Ｌ１によって示している。

かかる画像処理装置によれば、特徴点画像中では、グループＡよりも上部に位置するが、自車からの距離がグループＡに対応する立体物と同じグループＢに対応する立体物も枠画像で囲むことができる。

また、画像処理装置は、撮像装置の広角レンズに起因した特徴点画像の歪み補正を行う補正部を備える構成であってもよい。かかる場合、画像処理装置のグループ選択部は、
補正部によって歪み補正された特徴点画像に基づいて、分割領域における最下部に位置するグループを選択する。これにより、画像処理装置は、各分割領域内で自車からの距離が最短の立体物をより高精度に検出することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 車載カメラ
２ 画像処理装置
３ 表示装置
４ 立体物検知部
５ 描画処理部
６ 特徴点方式静止物点取得部
７ 背景差分方式静止物点取得部
８ 背景差分方式移動物点取得部
１２ 立体物検知部
４１ 特徴点取得部
４２ 特徴点画像生成部
５１ グループ化処理部
５２ マスク処理部
５３ 領域分割部
５４ グループ選択部
５５ 枠画像生成部
５６ 重畳画像生成部
６１ フレームメモリ
６２ オプティカルフロー算出部
６３ 第１視点変換部
６４ 静止物検出部
６５ 第２視点変換部
７１ フレームメモリ
７２ 移動量算出部
７３ エッジ検出部
７４ 静止物検出部
８１ サイズ判定部
８２ 所属領域判定部
８３ 最下部判定部

Claims (6)

1. 撮像装置から順次入力されるフレーム画像から物体を検知する物体検知部と、
   前記フレーム画像を左右方向に複数に分割した各分割領域に含まれる前記物体のうちの最下部に位置する前記物体を選択する選択部と、
   前記選択部によって選択される前記物体を前記フレーム画像中で強調する強調画像を生成する強調画像生成部と
   を備え、
   前記選択部は、
   各分割領域に含まれる前記物体のうち、当該物体を含む領域における最下部中心点が前記分割領域内で最下部にある前記物体を選択する
   ことを特徴とする画像処理装置。
2. 前記分割領域における最下部に位置する前記物体を囲む領域の最下部から前記フレーム画像の上辺側へ所定距離離れた位置までの領域を下部領域として設定する下部領域設定部
   をさらに備え、
   前記選択部は、
   各分割領域に含まれる前記物体のうち、前記下部領域設定部によって設定される前記下部領域内に、前記最下部中心点が位置する前記物体をさらに選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記フレーム画像の分割数は可変であり、
   前記下部領域設定部は、
   前記フレーム画像の分割数が増加する場合に、前記下部領域における前記所定距離を縮小し、前記フレーム画像の分割数が減少される場合には、前記下部領域における前記所定距離を拡大する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記撮像装置の広角レンズに起因した前記フレーム画像の歪みを補正する補正部
   をさらに備え、
   前記選択部は、
   前記補正部によって歪みが補正された前記フレーム画像に基づいて、前記分割領域に含まれる前記物体のうちの最下部に位置する前記物体を選択する
   ことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 撮像装置から順次入力されるフレーム画像から物体を検知する物体検知部と、
   前記フレーム画像に含まれる前記物体のうち最下部に位置する第１物体の前記フレーム画像における最下点から前記フレーム画像の上辺側へ所定距離離れた位置までの領域を下部領域として設定する下部領域設定部と、
   前記フレーム画像に含まれる前記物体のうち、前記第１物体と、前記下部領域設定部によって設定される前記下部領域内に少なくとも一部が含まれる第２物体とを選択する選択部と、
   前記選択部によって選択された前記第１および第２物体を前記フレーム画像中で強調する強調画像を生成する強調画像生成部と
   を備えることを特徴とする画像処理装置。
6. 撮像装置から順次入力されるフレーム画像から物体を物体検知部によって検知する工程と、
   前記フレーム画像を左右方向に複数に分割した各分割領域に含まれる前記物体のうちの最下部に位置する前記物体を選択部によって選択する工程と、
   前記選択部によって選択される前記物体を前記フレーム画像中で強調する強調画像を強調画像生成部によって生成する工程と
   を含み、
   前記物体を選択部によって選択する工程は、
   各分割領域に含まれる前記物体のうち、当該物体を含む領域における最下部中心点が前記分割領域内で最下部にある前記物体を選択する工程
   を含むことを特徴とする画像処理方法。