JP5075672B2

JP5075672B2 - 対象物検出装置及び方法

Info

Publication number: JP5075672B2
Application number: JP2008043109A
Authority: JP
Inventors: 剛仲野; 進窪田; 恭一岡本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-02-25
Filing date: 2008-02-25
Publication date: 2012-11-21
Anticipated expiration: 2028-02-25
Also published as: US8094884B2; JP2009198445A; US20090214081A1

Description

本発明は、道路に存在する柱等に取り付けられたステレオカメラから得られる画像を用いて、歩行者や自転車等の対象物を検出し、対象物の位置や速度等の運動情報を推定する装置及びその方法に関する。

ステレオ視の手法を用いて人物等の障害物を検出する手法がある。この手法では、左右のカメラ画像から相関演算を用いて対応点を求めることにより視差を計算する。計算された視差から、障害物の３次元座標が計算され、高さの情報から対象物が検出される。

しかし、照明や天候の変化の影響で正確に視差を計算することは容易ではない。照明や天候変化に対してロバストな手法として、平面投影ステレオ法を応用した障害物検出装置及び方法がある（特許文献１）。

特許文献１の手法では、あらかじめ左右のカメラ画像に基づいて、一方の画像における道路面上の点を、他方の画像における道路面上の点の位置が一致するような投影パラメータを計算する。計算された投影パラメータに基づいて、一方の画像の道路面上に設定された点が、他方の画像上の対応する点を求める。対応点の関係を用いて一方の画像に近似する変換画像を作成する。対応点及び変換画像を用いて、道路平面に対して垂直上方向に一定以上の大きさを有する物体を検出する。

この方法では、左右のカメラが障害物と同じような高さに設置され、俯角が小さい場合が想定されている。この方法は、カメラ画像の垂直方向に対して、１つの障害物と道路面との境界線のみを検出できる。カメラが障害物に対して高い位置に設置され、カメラ画像の垂直方向に複数の障害物を検出する必要がある場合には、機能を実現できない問題がある。
特開２００６−５３８９０公報

前述のような問題点を解決するために、カメラの配置に基づいて、画像垂直方向における監視領域平面の視差のプロファイルをあらかじめ計算する。

画像の水平方向をｘ、垂直方向をｙとする。検出対象物の実空間上の高さＨを設定し、対象物を検出したい画像上のｙ座標位置ｙ_ｄに注目する。道路面上の視差プロファイルから、検出位置ｙ_ｄにおける視差が求まる。実空間の高さＨに対して、画像中の高さｈが求まる。

検出位置ｙ_ｄと高さｈと、上下にマージンを設定することにより、処理領域のｙ方向の位置及び長さが決定される。ｘ方向の長さは、あらかじめ設定されている監視領域のｘ方向の幅により決定される。この処理領域を、全てのｙ座標値に対して設定する。

計算量を節約するために、ｙ方向に対してある間隔で間引いて設定しても構わない。複数の処理領域に対して、平面投影ステレオ法を用いて監視領域平面と対象物の境界線を検出する。処理領域における上端と境界線の間におけるエッジ密度がある一定以上の大きさを有する領域を対象物存在領域とする。

次に各処理領域における対象物存在領域を統合し、ｙ座標値がほぼ同じである領域が、ｘ方向にある一定以上の幅を有する場合に対象物として検出する。検出された対象物を画像上の対象物領域のテクスチャ情報を用いて追跡することにより、対象物の位置及び速度を推定する。

本発明は、高い位置に設置されたカメラ画像を用いる場合に、広い監視領域に存在する複数の対象物の位置や速度を推定する装置及びその方法を提供することを目的とする。

本発明の一側面の対象物検出装置は、ステレオカメラで監視領域の時系列画像を取得する画像取得部と、前記ステレオカメラの配置に基づいて、前記時系列画像上での垂直位置と前記監視領域の平面上での視差との関係を表す視差プロファイルを計算する視差プロファイル計算部と、複数の処理領域の各々の下端の位置を前記時系列画像上に設定するとともに、前記視差プロファイルに従って対象物の高さの基準値を変換して前記各処理領域の高さを設定することにより、前記複数の処理領域を設定する処理領域設定部と、前記各処理領域から、前記監視領域の平面に対してある一定以上の高さを有する対象物を検出し、各処理領域における対象物検出結果を対象物の視差に応じて統合し、前記監視領域全体の対象物を検出する対象物検出部と、前記対象物検出部で検出された対象物に対して、位置及び速度を推定する対象物運動情報推定部とを備える。

本発明によれば、広い監視領域における複数の対象物の位置や速度を推定することができる。

以下、図面を参照して本発明の一実施形態の装置を説明する。本装置は歩道の側に存在する柱に設置されたステレオカメラによって撮影された画像を用いる。本装置は広い領域の歩道における歩行者や自転車等の位置や速度を推定する。

図１は本装置の基本的な構成例を示す。対象物検出装置は、画像取得部１、視差プロファイル計算部２、処理領域設定部３、対象物検出部４、および、対象物運動情報推定部５を有する。これら各部１〜５の機能は、例えば記録媒体に記録されたプログラムをコンピュータが実行することによって実現されることができる。

図２は本実施形態における対象物検出装置の概要及び座標系を示す。図２では、実空間の水平方向の座標はＸで表され、奥行き方向の座標はＺで表される。図２では、画像座標系の水平方向の座標はｘで表され、垂直方向の座標はｙで表される。

（画像取得部１）
図２に示すように、監視領域２０４の近くの柱２０５に設置されたステレオカメラ２０１が時系列画像を取得する。

（視差プロファイル計算部２）
ステレオカメラ２０１から得られる左右の時系列画像はｒｅｃｔｉｆｉｃａｔｉｏｎがなされているものとする。図３Ａはステレオカメラ２０１で取得された左画像Ｌである。図３Ｂはステレオカメラ２０１で取得された右画像Ｒである。図３Ｃは右画像をアフィン変換して得られる右アフィン画像Ａである。監視領域平面上の点Ｐに対応する点の左画像Ｌでの位置を（ｘ_ｌ，ｙ_ｌ）、右画像Ｒでの位置を（ｘ_ｒ，ｙ_ｒ）と表すと、両者はおおよそ（式１）のようなアフィン変換により対応付けられる。

つまり、左画像Ｌと右アフィン画像Ａとでは、監視領域平面上のパターンの位置が同じになる。このときのアフィン変換のパラメータはキャリブレーションによりあらかじめ求めておく。この対応関係から、（式２）のように、画像のｙ座標に対する監視領域平面上の視差ｄを計算でき、監視領域平面におけるｙ方向の視差プロファイルｄ_{ｐｌａｎａｒ}（ｙ）を求める。

（処理領域設定部３）
対象物の平均的な高さを基準値Ｈとして予め設定する。本実施形態では、対象物は歩行者や自転車なので、基準値Ｈを１．６ｍと設定する。基準値Ｈは対象物の種類に応じて適切な値を設定すれば良い。図４Ａに示すように、対象物を検出したい位置の画像上のｙ座標をｙ_ｄとする。このｙ座標値ｙ_ｄの位置に対象物が存在する場合、その対象物の視差ｄは、視差プロファイルを用いて、

により求まる。

またｙ_ｄにおける実空間の高さＨに対応する画像中の高さｈを計算する。図４Ｂに示すように、まず上端位置を（ｙ_ｄ−ｈ）、下端位置をｙ_ｄに設定する。さらに視差ｄに応じて決定される、上方向にｅ_１、下方向にｅ_２の長さ分上下に拡張し、上端位置を（ｙ_ｄ−ｈ−ｅ_１）と下端位置を（ｙ_ｄ＋ｅ_２）を決定する。

処理領域の左端位置は、下端位置における監視領域のｘ方向位置であるｘ_ｌ、右端位置は、ｘ_ｒとする。

以上の処理により、処理領域を決定する。同様に全てのｙ座標値に対して処理領域を設定することにより、監視領域全体の処理領域を設定する。

また、計算機の性能に応じて処理領域の個数を削減しても構わない。本実施形態では、ｙ方向に対して視差ｄに基づいて決定される間隔をあけて３個の処理領域を設定する。図５は３個の処理領域が設定された場合の例である。間隔は一定であっても構わない。

（対象物検出部４）
図６は対象物検出部４のブロック図である。対象物検出部４は、対象物存在領域検出部４１と対象物位置検出部４２を有する。

対象物存在領域検出部４１は、図７に示すように、処理領域設定部３により設定された各処理領域に対して、監視領域の平面と対象物の境界線を検出する。本実施形態では、境界線を検出する手法として、特開２００６−５３８９０号公報に開示された手法を用いる。平面とそれ以外の領域を区別する手法は、他にも様々に提案されている。どのような手法を用いても構わない。

次に、縦方向に関するＳｏｂｅｌフィルタを用いて、エッジ画像を検出する。処理領域の上端位置と境界線の間の領域に対して、ｘ方向に対して縦エッジ密度を計算する。縦エッジ密度が閾値よりも大きい領域を対象物存在領域と判定する。図８に示すように、対象物存在領域の境界線位置が求まる。

対象物位置検出部４２は、複数の処理領域により求まる対象物存在領域の境界位置を、監視領域に存在する対象物位置として統合する。図９に示すように、同じ対象物に対して複数の処理領域で対象物存在領域の境界線が求まる場合もある。この場合、視差の差が閾値以内である場合は１つの境界線に統合する。閾値は視差に基づいて決定する。そして、境界線をラベリングにより複数の境界線として検出する。図１０に示すように、ラベリングされた境界線毎に、境界線位置において高さの基準値Ｈに対する画像中の高さｈを計算し、対象物領域の大きさを決定する。

（対象物運動情報推定部５）
図１１に示すように、対象物運動情報推定部５は、新規対象物登録部５１と対象物追跡部５２と対象物情報更新部５３により構成される。

対象物運動情報推定部５は、対象物検出部４で検出された対象物を時系列で追跡する。まず、新規対象物登録部５１は、検出された対象物の世界座標系（３次元実空間の座標系）での位置および画像上での位置を登録する。また画像上の対象物領域のテクスチャ情報をテンプレートとして登録する。

次に、対象物追跡部５２において、登録された対象物領域の次時刻での位置を、テンプレートマッチングにより求める。テンプレートマッチングでは、（式４）のような輝度値の絶対値差（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）による評価値を用いる。対象画像をＩ（ｍ，ｎ）、テンプレートをＴ（ｍ，ｎ）、テンプレートのサイズがＭ×Ｎとする。

テンプレートマッチングで用いる評価値は様々ある。他の評価値を用いても構わない。

対象物情報更新部５３は、対象物追跡部５２において追跡された対象物と対象物検出部４により検出された対象物との距離差を計算する。対象物情報更新部５３は、距離差が閾値より小さい場合は、対応付けされた対象物と判定する。対応付けされた対象物の場合は、追跡結果による対象物位置と検出結果による対象物位置の平均値を計算し、平均された位置を対象物の位置として更新する。また平均された位置による対象物領域のテクスチャ情報を更新する。平均値を計算する場合、重みを付けて計算しても構わない。

新規対象物登録部５１は、検出結果による対象物のうち対応付けされなかったものを新規の対象物として登録する。また更新された対象物に関しては、等加速度運動モデルを適用したカルマンフィルタを用いて、対象物の位置及び速度を推定する。位置や速度を推定するフィルタは様々あり、他のフィルタを用いても構わない。

以上のような処理を時系列画像に対して処理を行い、歩行者や自転車等の対象物の位置や速度を検出する。

本発明の一実施形態の装置のブロック図。本発明の一実施形態の座標系及び装置の概要図。左画像の例。右画像の例。右画像をアフィン変換した変換画像の例。本発明の一実施形態の処理領域の設定処理の概念図。本発明の一実施形態の処理領域の設定処理の概念図。本発明の一実施形態の処理領域の設定処理の概念図。本発明の一実施形態の対象物検出部のブロック図。本発明の一実施形態の境界線を求める処理の概念図。本発明の一実施形態の境界線を求める処理の概念図。本発明の一実施形態の境界線の統合処理の概念図。本発明の一実施形態の対象物領域検出結果の概念図。本発明の一実施形態の対象物運動情報推定部のブロック図。

符号の説明

１ … 画像取得部
２ … 視差プロファイル計算部
３ … 処理領域設定部
４ … 対象物検出部
５ … 対象物運動情報推定部
４１ … 対象物存在領域検出部
４２ … 対象物位置検出部
５１ … 新規対象物登録部
５２ … 対象物追跡部
５３ … 対象物情報更新部

Claims

ステレオカメラで監視領域の時系列画像を取得する画像取得部と、
前記ステレオカメラの配置に基づいて、前記時系列画像上での垂直位置と前記監視領域の平面上での視差との関係を表す視差プロファイルを計算する視差プロファイル計算部と、
複数の処理領域の各々の下端の位置を前記時系列画像上に設定するとともに、前記視差プロファイルに従って対象物の高さの基準値を変換して前記各処理領域の高さを設定することにより、前記複数の処理領域を設定する処理領域設定部と、
前記各処理領域から、前記監視領域の平面に対してある一定以上の高さを有する対象物を検出し、各処理領域における対象物検出結果を対象物の視差に応じて統合し、前記監視領域全体の対象物を検出する対象物検出部と、
前記対象物検出部で検出された対象物に対して、位置及び速度を推定する対象物運動情報推定部と、
を備えることを特徴とする対象物検出装置。
前記対象物検出部は、
前記処理領域毎に前記時系列画像から前記監視領域の平面と対象物の境界線を検出し、前記処理領域毎の上端と前記境界線の間の領域におけるエッジ密度がある一定以上の大きさを有する領域を、前記処理領域毎の対象物存在領域とする対象物存在領域検出部と、
前記処理領域毎の対象物存在領域を視差に応じて統合し、前記監視領域の平面と統合された対象物存在領域の境界線において、画像の垂直方向の座標値がほぼ同じである領域が、画像の水平方向にある一定以上の幅を有する場合は、対象物として検出する対象物位置検出部と、
を備えることを特徴とする請求項１に記載の対象物検出装置。
前記対象物運動情報推定部は、
前記対象物検出手段から得られる対象物の領域に対して、位置及びテクスチャ情報を新規に登録する新規対象物登録部と、
登録された対象物をテクスチャ情報に基づいて追跡する対象物追跡部と、
追跡された対象物位置と前記対象物検出手段から得られる対象物位置からある一定の重みで平均した対象物位置とを計算し、対象物位置及びテクスチャ情報を更新する対象物情報更新部と、
を備えることを特徴とする請求項１に記載の対象物検出装置。
前記処理領域設定部は、前記複数の処理領域を前記時系列画像上の垂直方向に所定の間隔で設定するとともに、前記処理領域の高さを対象物の視差に応じて上下に拡張することを特徴とする、請求項１から請求項３までのいずれか一項に記載の対象物検出装置。
ステレオカメラで監視領域の時系列画像を取得する画像取得ステップと、
前記ステレオカメラの配置に基づいて、前記時系列画像上での垂直位置と前記監視領域の平面上での視差との関係を表す視差プロファイルを計算する視差プロファイル計算
ステップと、
複数の処理領域の各々の下端の位置を前記時系列画像上に設定するとともに、前記視差
プロファイルに従って対象物の高さの基準値を変換して前記各処理領域の高さを設定することにより、前記複数の処理領域を設定する処理領域設定ステップと、
前記各処理領域から、前記監視領域の平面に対してある一定以上の高さを有する対象物を検出し、各処理領域における対象物検出結果を対象物の視差に応じて統合し、前記監視領域全体の対象物を検出する対象物検出ステップと、
前記対象物検出ステップで検出された対象物に対して、位置及び速度を推定する対象物運動情報推定ステップと、
を備えることを特徴とする対象物検出方法。