JP6405778B2 - 対象追跡方法及び対象追跡装置 - Google Patents

Description

本発明は全体的に画像識別に関し、具体的には対象追跡方法及び装置に関する。

対象追跡技術は、運転支援、車両識別・追跡、運転警報などの非常に多い分野で幅広く応用されている。

テンプレートマッチング追跡は、通常の対象追跡方法である。米国特許第ＵＳ７６６０４３８Ｂ２号（特許文献１）は発生しようとする衝撃の検出前の対象追跡方法及び装置を開示した。該特許においては、対象追跡器の第１操作領域内に対象を検出し、対象追跡器が対象の種類を決定して対象を追跡し、次に衝撃検出器の第２操作領域内に対象を検出し、最後に衝撃検出器を用いて前記対象の種類に基づいて安全対策を開始する。該特許の主な主旨は対象が位置する各位置と奥行きのテンプレートを予め記憶し、検出された対象と各テンプレートをマッチングする。しかし、予め被追跡対象の寸法及び各の位置と奥行きでのテンプレートを知らない場合、該方法は適用できない。

現在、より多くの研究者は視差図を用いて道路上の対象（例えば、車両）を検出・追跡し始め、２次元画像を用いて追跡を行う場合より優れた結果を取得した。中心に基づく予測−検出−補正方法はそのうちの１種のよく使われている追跡方法である。ところが、現実中、取得した対象の視差図は多くの場合不完全であり、対象の一部（例えば水平辺）は視差図中に対応する視差値がない可能性があり、従って、この場合で、対象の一部しか検出できない。例えば、図１に示す視差図中で、２つの丸における車の一部は視差値がなく、従って、図２の対応のグレースケール画像に示すように、左側丸における車は左半分しかが検出できず、右側丸における車は間違って３つの物体として検出された。このような場合、前記中心に基づく予測−検出−補正方法は検出結果に従って追跡を行い、間違った追跡結果を得る可能性がある。

具体的には、図３（ａ）に示すように、第Ｎ−１フレーム画像中において被追跡対象（例えば、車両）の外枠は図における長方形枠に示す通りであると仮定し、且つそれに従って決定した対象中心の横座標はｘ_{Ｏｂｊｅｃｔ，Ｎ−１}であり、第Ｎフレーム中において、視差図が不完全であるため、対象の一部しか検出できず、即ち、検出された被追跡対象の外枠は図３（ｂ）中の実線長方形枠に示す通りであり、且つそれに従って決定した対象中心の横座標はｘ_{Ｏｂｊｅｃｔ，Ｎ}であり、実際上に該対象の第Ｎフレーム中での真の外枠は図３（ｂ）中における破線枠に示す通りであり、且つ該対象の真の横座標はＸ_{Ｏｂｊｅｃｔ，Ｎ}であるはずである。中心に基づく予測−検出−補正方法に従って、第Ｎ−１フレームの対象中心の横座標と第Ｎフレームから検出された対象中心の横座標に従って、第Ｎ＋１フレーム中における対象の外枠（図３（ｃ）における破線枠に示すように）と対象中心の横座標ｘ_{Ｏｂｊｅｃｔ，Ｎ＋１，Ｐ}＝ｘ_{Ｏｂｊｅｃｔ，Ｎ}＋（Ｘ_{ｏｂｊｅｃｔ，Ｎ}−Ｘ_{ｏｂｊｅｃｔ，Ｎ−ｌ}）を予測する。第Ｎ＋１フレーム中の対象の検出結果は図３（ｃ）中における実線枠に示す通りであり、従って、第Ｎ＋１フレーム中に対象の予測結果と検出結果はマッチングしない可能性がある。従って、間違って被追跡対象がなくなったと考え、従って正確ではない追跡結果を取得した。

従って、予め被追跡対象の寸法を知らず且つ被追跡対象の視差図が不完全の場合でも、優れた追跡結果を提供することができる対象追跡技術が必要になった。

本発明の実施例により、現フレームの視差図から、対象の寸法及び対象の中心を含む対象の位置を検出するステップと、直前の所定数のフレームの視差図から検出された対象の位置に基づいて、現フレームの視差図における対象の位置を予測するステップと、現フレームの視差図から検出された対象の位置が予測された対象の位置とマッチングしている場合、前フレームの視差図から検出された対象の寸法の信頼度を用いて、現フレームの視差図から検出された対象の位置を補正し、補正された位置を取得するステップと、を含む対象追跡方法を提供する。

本発明の別の実施例により、現フレーム視差図から、対象の寸法及び対象の中心を含む対象の位置を検出する検出部と、直前の所定数のフレームの視差図から検出された対象の位置に基づいて、現フレームの視差図における対象の位置を予測する予測部と、現フレームの視差図から検出された対象の位置が予測された対象の位置とマッチングしている場合、前フレームの視差図から検出された対象の寸法の信頼度を用いて、現フレームの視差図から検出された対象の位置を補正し、補正された位置を取得する補正部と、を含む対象追跡装置を提供する。

本発明実施例の対象追跡技術により、予め被追跡対象の寸法を知らず且つ被追跡対象の視差図が不完全の場合でも、優れた追跡結果を提供することができる。

視差図が不完全な例示形態を示す図である。 グレースケール画像中に示す例示性間違い検出結果を示す図である。 図３（ａ）〜３（ｃ）は従来の技術に基づく対象追跡検出結果を概略的に示す図である。 本発明実施例による対象追跡技術を応用する例示シーンを概略的に示す図である。 本発明第１実施例よる視差図を利用する対象追跡方法を示すフローチャートである。 図６（ａ）〜６（ｄ）はそれぞれ第Ｎ−２フレーム被追跡対象の検出結果、第Ｎ−１フレーム被追跡対象の検出結果、第Ｎフレーム被追跡対象の予測結果及び第Ｎフレーム被追跡対象の検出結果を概略的に示す図である。 本発明第１実施例による例示性信頼度計算方法を示すフローチャートである。 現フレームが検出した対象の中心を処理する概略情況を示す図である。 本発明実施例による対象追跡装置の機能構成ブロック図を示す図である。 本発明実施例による対象追跡システムの全体ハードウェアブロック図を示す図である。

当業者によりよく本発明を理解させるために、以下、図面と具体的な実施形態を参照しながら、本発明をさらに詳しく説明する。

図４は本発明実施例による対象追跡技術を応用する例示シーンを概略的に示す図である。図４に示すように、ユーザーは双眼カメラ４０２が配置された車４０１内に位置し、該双眼カメラは道路上に走行する車両を追跡撮影し、連続的なマルチフレームの左視図及び右視図を取得する。例えば計算チップの処理装置４０３は双眼カメラが撮影した連続的なマルチフレームの左視図及び右視図に従って、計算して対応する連続的なマルチフレームの視差図を取得し、該視差図を用いて撮影する車両を検出、追跡する。理解の便宜上、下文の前記の被追跡対象が道路上の車両であると認めることができる。

＜第１実施例＞
図５は本発明第１実施例よる視差図を利用する対象追跡方法を示すフローチャートである。

図５に示すように、ステップＳ５１０では、現フレーム視差図から対象の位置を検出し、そのうち、対象の位置が対象の寸法及び対象の中心を備える。

当業者が公知した通りに、視差図は１対の画像のいずれか画像を基準画像とし、寸法が該基準画像の寸法であり、且つ各点（画素点）のグレー値は基準画像における対応点の視差である画像である。本領域の公知の多くの形態で視差図を取得することができ、ここでは、さらに詳しく説明しない。

また、前述のように、視差図を用いて対象を検出することは本分野では、多くの研究があり、本発明のキーではなく、当業者は例えば連結成分分析（ｃｏｎｎｅｃｔｅｄ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）に基づく方法、Ｕ視差図又はＶ視差図に基づく方法等のいかなる従来の適当形態を用いて視差図中に対象を検出することができ、ここではさらに詳しく説明しない。

本発明では、対象の寸法及び対象の中心で対象の位置を表す。図６（ｄ）を参照し、現フレーム（第Ｎフレーム）視差図から検出された対象の位置が図６（ｄ）中における長方形枠に示す通りであると仮定し、その中、該長方形枠は対象の外枠を表し、該外枠の寸法は長と幅で表すことができ、長方形枠中における点は該外枠により決定された対象の中心を表し、該中心のｘ座標はＸ_{ｏｂｊｅｃｔ，Ｎ}で表す。また、好ましくは、対象の寸法が前の１つのフレームから現フレームまで、対象の奥行き移動方向上の移動距離を含むことができ、該移動距離は視差図自体の情報から取得することができる。

ステップＳ５２０において、前（直前）の所定数のフレーム視差図から検出された対象の位置から、現フレーム視差図中の対象の位置を予測する。

歴史的フレームに従って現フレーム中における対象の位置を予測することは、本分野では、多くの研究があり、基本的な実現形態として、前の２つのフレームに従って対象の移動速度を決定することができ、従って、現フレーム中における対象の位置を予測する。

例えば、図６（ａ）及び６（ｂ）に示すように、Ｎ−２フレームから検出された被追跡対象の中心座標はＯｂｊｅｃｔ（ｘ_{Ｏｂｊｅｃｔ，Ｎ−２}，ｙ_{ｏｂｊｅｃｔ，Ｎ−２}，ｚ_{ｏｂｊｅｃｔ，Ｎ−２}）であり、そのうちｚ座標は対象の奥行き方向上の位置を表し、該対象の幅はｗ_Ｎ−２、高はｈ_Ｎ−２であり、第Ｎ−３フレームから第Ｎ−２フレームまでの奥行き方向上の移動距離はｄ_Ｎ−２であり、第Ｎ−１フレームから検出された被追跡対象の中心座標はＯｂｊｅｃｔ（ｘ_{Ｏｂｊｅｃｔ，Ｎ−１}，ｙ_{ｏｂｊｅｃｔ，Ｎ−１}，ｚ_{ｏｂｊｅｃｔ，Ｎ−１}）であり、該対象の幅はｗ_Ｎ−１であり、高さはｈ_Ｎ−１であり、奥行き方向上の移動距離はｄ_Ｎ−１である。各フレーム視差図は等速で取得し、且つ隣接する両フレームの間の時間間隔が単位時間であるため、対象の移動速度がＯｂｊｅｃｔ（△ｘ_ｃ，Ｎ，△ｙ_ｃ，Ｎ，△ｚ_ｃ，Ｎ）であり、ただし、△ｘ_Ｃ，Ｎ＝ｘ_Ｃ，_Ｎ−ｘ_Ｃ，_Ｎ−１，ｙ_ｃ，Ｎ＝ｙ_Ｃ，_Ｎ−ｙ_Ｃ，_Ｎ−１，△ｚ_ｃ，Ｎ＝ｚ_Ｃ，_Ｎ−ｚ_Ｃ，_Ｎ−１である。

隣接する両フレームの間の時間間隔が非常に短いため、対象の隣接フレームの間の運動が等速運動であると考えることができる。従って、図６（ｃ）に示すように、現フレーム（第Ｎフレーム）中における対象の中心がＯｂｊｅｃｔ（ｘ_{Ｏｂｊｅｃｔ，Ｎ，ｐ}，ｙ_{Ｏｂｊｅｃｔ，Ｎ，ｐ}，ｚ_{Ｏｂｊｅｃｔ，Ｎ，ｐ}）であることが予測することができ、ただし、ｘ_{Ｏｂｊｅｃｔ，Ｎ，ｐ}＝ｘ_{Ｏｂｊｅｃｔ，Ｎ−ｌ}＋△ｘ_ｃ，Ｎ，ｙ_{ｏｂｊｅｃｔ，Ｎ，ｐ}＝ｙ_{ｏｂｊｅｃｔ，Ｎ−１}＋△ｙ_ｃ，Ｎ，，ｚ_{Ｏｂｊｅｃｔ，Ｎ，ｐ}＝ｚ_{Ｏｂｊｅｃｔ，Ｎ−ｌ}＋△ｚ_ｃ，Ｎである。また、対象の幅、高は現実の世界中に一定であるため、第Ｎフレーム視差図中の対象の幅と高が即ち第Ｎ−１フレーム視差図中の対象の幅と高であると考えることができる。

前記の説明中に、前の２つのフレーム視差図から検出された対象の位置から、現フレーム視差図中の対象の位置を予測し、これは１種の例示に過ぎない。実際上、必要に応じて、より多くの歴史フレーム（例えば前の３つのフレーム）から検出された対象の位置に基づいて現フレーム視差図における対象の位置を予測することができる。

ステップＳ５３０では、現フレーム視差図から検出された対象の位置と予測された対象の位置がマッチングする場合、前のフレーム視差図から検出された対象の寸法の信頼度を用いて、現フレーム視差図から検出された対象の位置を補正し、補正された位置を取得する。

現フレーム視差図から検出された対象の位置が予測された対象の位置とマッチングすれば、現フレーム中に被追跡対象が追跡されたと考えられ、従って、本ステップ中に検出された対象の位置を補正し、現フレーム視差図から検出された対象の位置と予測された対象の位置がマッチングしないと、被追跡対象が見失ったと考えられ、従って、さらにいかなる処理を行なわない。

どのように現フレーム視差図から検出された対象の位置と予測された対象の位置がマッチングするかどうかを判断することは、本発明のキーではなく、当業者は状況に応じて任意の規則を設定して判断を行うことができる。一種の基本の実現形態として、予測された対象の中心を中心とする所定大きさの領域中に捜索を行なうことができ、該領域中に検出された対象を検索しなかったと、マッチングしないと考えられ、逆に、現フレーム視差図から検出された対象の位置と予測された対象の位置がマッチングすると考えられる。

現フレーム視差図から検出された対象の位置と予測された対象の位置がマッチングすると、視差図信頼度を用いて検出された対象の位置を補正する。信頼度は各フレーム中における検出結果の信頼性を表し、当業者は状況に応じて任意の適当の規則を設定して信頼度を決定することができる。信頼度をより正確にさせるために、好ましくは、信頼度はフレームずつ累計して決定することができる。前述したように、視差図は不完全であるため、現フレーム視差図から検出された対象の位置は不正確である可能性があり、従って、前のフレーム視差図から検出された対象位置と信頼度を用いて現フレーム視差図から検出された対象の位置を補正してさらなる精確の検出結果を取得することができる。

図７は本実施例による例示性信頼度計算方法を示すフローチャートである。該信頼度計算方法中に、各フレームに対して該フレームから検出された対象の幅、高さ、移動距離の信頼度を計算する。

図７に示すように、まず、ステップＳ７０１中に計算しようとする信頼度が第１フレーム視差図であるかどうかを決定する。ＹＥＳであると、ステップＳ７０２中に該第１フレームから検出された対象の幅の信頼度、高さ信頼度及び移動距離の信頼度を任意の定数、例えば１と設定する。ステップＳ７０１中に計算しようとする信頼度が第１フレーム視差図ではないと決定されたと、ステップＳ７０３にＣｈａｎｇｅ＿ｗ＝｜ｗ_ｋ−１−ｗ_ｋ｜／ｗ_ｋ−１，Ｃｈａｎｇｅ＿ｈ＝｜ｈ_ｋ−１−ｈ_ｋ｜／ｈ_ｋ−１，Ｃｈａｎｇｅ＿ｄ＝｜ｄ_ｋ−１−ｄ_ｋ｜／ｄ_ｋ−１を計算し、そのうち、ｋはフレーム番号であり、且つｋ＞ｌ，ｗ_ｋ−１，ｈ_ｋ−１及びｄ_ｋ−１はそれぞれ対象の第ｋ−１フレーム視差図中の補正後の幅、高さ及び奥行き方向上の移動距離であり、ｗ_ｋ，ｈ_ｋ及びｄ_ｋはそれぞれ第ｋフレーム視差図から検出された該対象の幅、高さ及び奥行き方向上の移動距離である。

続いて、ステップＳ７０４中に計算されたＣｈａｎｇｅ＿ｗが所定の幅閾値ＭＡＸ＿Ｗ＿ＣＨＡＮＧＥより大きいかどうかを判断する。その後、ステップＳ７０４の判断結果に従って第ｋフレーム視差図から検出された対象の幅の信頼度を決定する。任意の適当の形態に従って幅の信頼度を決定することができ、下記の条件を満たせばよく、即ち、Ｃｈａｎｇｅ＿ｗが幅閾値ＭＡＸ＿Ｗ＿ＣＨＡＮＧＥ未満であると、検出された幅変化は大きくないと表し、第ｋ−１フレーム視差図から検出された対象の幅の信頼度Ｃ_{ｗ，ｋ−１}を増大させ、第ｋフレーム視差図から検出された対象の幅の信頼度Ｃ_ｗ，ｋを取得し（ステップＳ７０５）、そうではないと、第ｋ−１フレーム視差図から検出された対象の幅の信頼度を減少させ、第ｋフレーム視差図から検出された対象の幅の信頼度を取得する（ステップＳ７０６）。１種例示形態として、Ｃｈａｎｇｅ＿ｗ＜ＭＡＸ＿Ｗ＿ＣＨＡＮＧＥであると、Ｃ_ｗ，ｋ＝Ｃ_{ｗ，ｋ−１}＋（ＭＡＸ＿ＣＯＮＦＩＤＥＮＣＥ−Ｃｈａｎｇｅ）／ＭＡＸ＿Ｗ＿ＣＨＡＮＧＥを計算し、Ｃｈａｎｇｅ＿ｗ≧ＭＡＸ＿Ｗ＿ＣＨＡＮＧＥであると、Ｃ_ｗ，ｋ＝Ｃ_{ｗ，ｋ−１}＋（ＭＡＸ＿Ｗ＿ＣＨＡＮＧＥ−Ｃｈａｎｇｅ）／（１−ＭＡＸ＿Ｗ＿ＣＨＡＮＧＥ））を計算し、そのうち、ＭＡＸ＿ＣＯＮＦＩＤＥＮＣＥは予め設定された最大信頼度である。前記計算形態は本発明をより理解やすくさせるために与えられる１種の例示形態に過ぎず、本発明を制限するものではないと分かるべきである。

類似的に、高さ信頼度に対して、計算されたＣｈａｎｇｅ＿ｈが所定の高さ閾値ＭＡＸ＿Ｈ＿ＣＨＡＮＧＥより大きいかどうかを判断する（ステップＳ７０７）。Ｃｈａｎｇｅ＿ｈが高さ閾値ＭＡＸ＿Ｗ＿ＨＩＧＨＴ未満であると、検出された高さ変化は大きくないと表し、第ｋ−１フレーム視差図に検出された対象の高さの信頼度Ｃ_ｈ，_ｋ−１を増大させ、第ｋフレーム視差図から検出された対象の高さの信頼度Ｃ_ｈ，ｋを取得する（ステップＳ７０８）、そうではないと、第ｋ−１フレーム視差図から検出された対象の高さの信頼度を減少させ、第ｋフレーム視差図から検出された対象の高さの信頼度を取得する（ステップＳ７０９）。同様に、移動距離信頼度に対して、計算されたＣｈａｎｇｅ＿ｄが所定の移動距離閾値ＭＡＸ＿Ｄ＿ＣＨＡＮＧＥより大きいかどうかを判断する（ステップＳ７１０）。Ｃｈａｎｇｅ＿ｄが移動距離閾値ＭＡＸ＿Ｗ＿ＤＩＳＴＡＮＣＥ未満であると、第ｋ−１フレーム視差図から検出された対象の移動距離の信頼度Ｃ_{ｄ，ｋ−１}を増大させ、第ｋフレーム視差図から検出された対象の移動距離の信頼度Ｃ_ｄ，ｋを取得し（ステップＳ７１１）、そうではないと、第ｋ−１フレーム視差図から検出された対象の移動距離の信頼度を減少させ、第ｋフレーム視差図から検出された対象の移動距離の信頼度を取得する（ステップＳ７１２）。

前記例示形態により、各フレーム視差図に対して該フレームから検出された対象の幅、高さ、移動距離の信頼度を計算することができる。

図５に戻って、前述したように、ステップＳ５３０中に、前のフレーム視差図から検出された対象の寸法の信頼度を用いて、現フレーム視差図から検出された対象の寸法と中心を補正する。

まず前のフレーム視差図の信頼度を用いて現フレーム視差図から検出された対象の寸法を補正する。

本文で述べたように、現フレーム視差図から検出された対象の寸法は正確ではないかもしれないが、現実の世界中対象の寸法が一定であるため、歴史フレーム中に決定された対象の寸法を用いて現フレーム中における検出結果を補正することができる。具体的には、前のフレーム視差図中の対象の補正の寸法及び上述のような前記計算された対象の検出の寸法の信頼度を用いて、現フレーム視差図から検出された対象の寸法を補正し、より正確な結果を取得する。

例えば、表現式（１）に示すように、前のフレーム視差図中の対象の補正の寸法と現フレーム視差図から検出された対象の寸法に重み付けし、重み付けして得られた値を現フレーム視差図中の対象の補正された寸法とすることができる。

ここで、ｗ_{Ｎ，ｃｏｒｒｅｃｔ}，ｈ_{Ｎ，ｃｏｒｒｅｃｔ}，ｄ_{Ｎ，ｃｏｒｒｅｃｔ}はそれぞれ現フレーム（第Ｎフレーム）視差図中の対象の補正された幅、高及び移動距離を表し、ｗ_{Ｎ−１，ｃｏｒｒｅｃｔ}，ｈ_{Ｎ−１，ｃｏｒｒｅｃｔ}，ｄ_{Ｎ−１，ｃｏｒｒｅｃｔ}はそれぞれ前のフレーム（第Ｎ−１フレーム）視差図中の対象の補正された幅、高及び移動距離を表し、ｗ_{Ｎ，ｄｅｔｅｃｔｉｏｒ}，ｈ_{Ｎ，ｄｅｔｅｃｔｉｏｒ}，ｄ_{Ｎ，ｄｅｔｅｃｔｉｏｒ}はそれぞれ現フレーム視差図中の対象の検出された幅、高および移動距離を表し、Ｃ_{ｗ，Ｎ−１}，Ｃ_{ｈ，Ｎ−１}，Ｃ_{ｄ，Ｎ−１}はそれぞれ前のフレーム視差図から検出された対象の幅、高さ及び移動距離の信頼度を表す。

補正された寸法が正確であるかどうかが主として検出された寸法の正確程度に依存し、従って、前のフレーム中における対象の検出された寸法の信頼度は実際上に前のフレームにおける補正された尺寸の信頼度を反映する。従って、表現式（１）中に、前のフレーム視差図中の対象の補正された幅、高さ及び移動距離の重みはそれぞれ前のフレーム視差図から検出された対象の幅、高さ及び移動距離の信頼度に設置され、現フレーム視差図から検出された対象幅、高さ及び移動距離の重みは１に設置される。もちろん、前記設定された例示性重み及び重み付け形態により現フレーム視差図から検出された対象の寸法を補正する方法は１種の例示に過ぎず、本発明を制限するものではなく、当業者は具体的な状況に応じて異なる重みを設置し、又は他の形態を用いて現フレームから検出された対象の寸法を補正することができる。

以下、前のフレーム視差図の信頼度を用いて現フレーム視差図から検出された対象の中心を補正することを説明する。

現フレーム視差図から検出された対象の中心は不正確である可能性があるため、ステップＳ５２０に予測された現フレーム視差図中の対象の中心を補正することができる。具体的には、予測された現フレーム視差図中の対象の中心及び前のフレーム中における対象の検出された寸法の信頼度を用いて、現フレーム視差図から検出された対象の寸法を補正し、より正確な結果を取得する。

例えば、表現式（２）に示すように、予測された現フレーム視差図中の対象の中心座標及び現フレーム視差図から検出された対象の中心座標に重み付けすることができ、重み付けして得られた値を現フレーム視差図中の対象の補正された中心座標としてもよい。

ここで、Ｘ_{ｏｂｊｅｃｔ，Ｎ，ｃｏｒｒｅｃｔ}，Ｙ_{ｏｂｊｅｃｔ，Ｎ，ｃｏｒｒｅｃｔ}，Ｚ_{ｏｂｊｅｃｔ，Ｎ，ｃｏｒｒｅｃｔ}は現フレーム（第Ｎフレーム）視差図における対象の補正された中心座標を表し、Ｘ_{ｏｂｊｅｃｔ，Ｎ，ｐ}，Ｙ_{ｏｂｊｅｃｔ，Ｎ，ｐ}，Ｚ_{ｏｂｊｅｃｔ，Ｎ，ｐ}はそれぞれ予測された現フレーム視差図における対象の中心座標を表し、Ｘ_{ｏｂｊｅｃｔ，Ｎ，ｄｅｔｅｃｔｉｏｎ}，Ｙ_{ｏｂｊｅｃｔ，Ｎ，ｄｅｔｅｃｔｉｏｎ}，Ｚ_{ｏｂｊｅｃｔ，Ｎ，ｄｅｔｅｃｔｉｏｎ}は現フレーム視差図から検出された対象の中心座標を表し、Ｃ_{ｗ，Ｎ−１}，Ｃ_{ｈ，Ｎ−１}，Ｃ_{ｄ，Ｎ−１}は前のフレーム（第Ｎ−１フレーム）視差図から検出された対象の幅、高さ及び移動距離の信頼度を表す。

ステップＳ５２０中において現フレーム中対象の中心は前のフレーム中対象の中心を用いて予測され、前のフレーム中対象の中心のｘ，ｙ及びｚ軸座標は該前のフレームから検出された対象の幅、高及び移動距離を用いて決定されたため、前のフレーム中対象の検出された寸法の信頼度は実際上に予測された現フレーム中対象の中心の信頼度も反映している。従って、表現式（２）中において、予測された現フレーム中対象中心のｘ，ｙ及びｚ軸座標の重みはそれぞれ前のフレーム視差図から検出された対象の幅、高さ及び移動距離の信頼度に設置され、現フレーム視差図から検出された対象幅、高さ及び移動距離の重みは１に設置される。もちろん、前記設定された例示性重み及び重み付け形態により現フレーム視差図から検出された対象の中心を補正する方法は例示に過ぎず、本発明を制限するものではなく、当業者は具体的な状況に応じて異なる重みを設置、又はほかの形態により現フレームから検出された対象の中心を補正することができる。また、表現式（２）に示すように、前記例示中にｙ軸座標をも補正したが、これは必ずではない。隣接する両フレームの間路面起伏は大きくないため、路面は平らであると考えられ、検出された対象の中心のｙ軸座標は通常に比較的正確であり、従って、現フレームから検出された対象の中心のｙ軸座標は補正しなくてもよい。

以上は、第Ｎ−１フレームと第Ｎフレームを例として第Ｎフレーム中において第Ｎ−１中に現れた対象を検出、追跡する方法を説明した。任意長さの視差フレームシーケンスにおける各フレームに対して検出追跡を実行し、従って視差フレームシーケンス全体上に対象の追跡を実現することが理解できる。

＜第２実施例＞
前述のように、検出する対象中心は実際的に検出された対象の外枠に従って計算して決定されたのである。従って、前述の図３（ｂ）を参照しながら説明した通りに、第Ｎフレーム中において視差図の不完全で対象の一部しか検出しなかったと、検出された被追跡対象の外枠は図３（ｂ）における実線長方形枠に示す通りであり、それにより計算決定された対象中心の横座標はＸ_{Ｏｂｊｅｃｔ，Ｎ}である。実際には、第Ｎフレーム中において被追跡対象の真の外枠は図３（ｂ）における破線枠に示す通りであり、且つ、従ってその真の中心の横座標はＸ_{Ｏｂｊｅｃｔ，Ｎ}であるべき。従って、対象の一部しか検出しなかったため、検出された対象の中心は大きな誤差があり、従って該中心を補正する効果もおそらくよくないとことがわかる。この状況に対して、本実施例は改良された対象追跡方法を提供する。

本実施例の対象追跡方法は第１実施例中に説明した対象追跡方法と基本的に同じ、その区別はステップＳ５３０中に現フレーム視差図から検出された対象の中心を補正する前、まず該検出する対象の中心に対してさらなる処理を行うことにある。以下、図８を参照しながら詳しく説明する。

視差図の生成原理と実験検証により、視差図の不完全で対象の一部しか検出しなかったと、この一部は対象の右側側辺を含むもっとも右の一部又は対象の左側側辺を含むもっとも左の一部であるべきことが既知である。また、現実の世界中に、対象の幅と高は明らかに一定である。以上の結論に基づいて、対象の一部しか検出しなかった場合、検出された対象の中心より正確な中心（以下、導出中心と略称する）を導き出すことができる。具体的には、検出された対象の一部はもっとも右の一部であると、左導出中心（図８中におけるもっとも左側の点に示すように）を導き出し、検出された対象中心（図８中における実線枠中の点に示すように）とのｘ軸での距離はｗ_{Ｎ，ｃｏｒｒｅｃｔ}／２−ｗ_{Ｎ，ｄｅｔｅｃｔｉｏｎ}／２であり、そのうち、ｗ_{Ｎ，ｃｏｒｒｅｃｔ}は表現式（１）により計算された現フレーム（第Ｎフレーム）中における対象の補正された幅であり、ｗ_{Ｎ，ｄｅｔｅｃｔｉｏｎ}は現フレーム（第Ｎフレーム）中に検出された対象の幅であり、検出された対象の一部はもっとも左の一部であると、右導出中心（図８中におけるもっとも右側の点に示すように）を導き出すことができ、検出された対象中心のＸ軸での距離もｗ_{Ｎ，ｃｏｒｒｅｃｔ}／２−ｗ_{Ｎ，ｄｅｔｅｃｔｉｏｎ}／２である。

本実施例中において、直接現フレームから検出された対象の一部が対象のもっとも左の一部であるか画像のもっとも右の一部であるかを判断できないため、左導出中心と右導出中心を導き出して２つの候補中心とする。その後、この２つの候補中心と予測された現フレーム中における対象の中心との距離により選択し、即ち、この２つの候補中心のうち、予測された現フレーム中における対象の中心とのＸ軸方向の距離が近い中心を選択して現フレーム視差図から検出された対象の中心とする。例えば、図８に示すように、左導出中心は予測された対象の中心により近いため、左導出中心を選択して検出された対象の中心とする。従って、現フレームから検出された対象の中心をさらに処理してより正確な結果を取得する。相応的に、その後、ステップＳ５３０中に前のフレーム視差図の信頼度を用いて現フレーム視差図におけるこのさらなる処理された検出対象の中心を補正することにより、より優れた効果を取得することができる。

以上の説明中に、検出された対象の中心のＸ座標のみに対してさらなる処理を行い、必要があると、実際の検出結果に応じてＹ座標とＺ座標に対して類似処理を行うことができ、ここでは繰り返して説明しない。

以上、本発明実施例による対象追跡方法を詳しく説明したが、該方法は予め被追跡対象の寸法を知る必要がなく、且つ被追跡対象の視差図が不完全な場合、優れた追跡結果を提供することができる。

＜対象追跡装置の全体構成＞
図９は本発明実施例による対象追跡装置９００の機能構成ブロック図を示す図である。

図９に示すように、対象追跡装置９００は、現フレーム視差図から、対象の寸法及び対象の中心を含む対象の位置を検出する検出部９１０と、直前の所定数のフレーム視差図から検出された対象の位置から、現フレーム視差図中の対象の位置を予測する予測部９２０と、現フレーム視差図から検出された対象の位置と予測された対象の位置がマッチングしている場合、前のフレーム視差図から検出された対象の尺寸の信頼度を用いて、現フレーム視差図から検出された対象の位置を補正して、現フレーム視差図中の対象の補正された位置を取得する補正部９３０と、を備えてもよい。

検出部９１０、予測部９２０及び補正部９３０の具体的な機能と操作は前記図５〜図８の関連説明を参照してよく、ここでは、さらに繰り返して説明しない。

〈システムハードウェア構成＞
図１０は本発明実施例による対象追跡システム１０００の総体ハードウェアブロック図を示す図である。

図１０に示すように、対象追跡システム１０００は、外部から関連画像又は情報、例えば双眼カメラが撮影した左画像及び右図により生成した視差図シーケンスを入力することに用いられ、例えばキーボード、マウス、カメラ等であってもよい入力装置１０１０、前記の本発明実施例による対象追跡方法を実施し、又は前記の対象追跡装置として実施することに用いられ、例えばコンピュータの中央処理器又はほかの処理能力を有するチップ等であってもよい処理装置１０２０、外部に前記対象追跡過程を実施して得られた結果、例えば補正された中心座標、補正された対象寸法等を出力することに用いられ、例えばディスプレイ、プリンタ等であってもよい出力装置１０３０、及び、揮発性又は非揮発性の形態で前記対象追跡過程に関わる例えば歴史フレームに補正された対象寸法、中心、検出された対象寸法、中心、及び検出された対象寸法の信頼度等のデータを記憶することに用いられ、例えばランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク、又は半導体メモリ等の各種揮発性又は不揮発性メモリであってもよい記憶装置１０４０を備えてもよい。

以上、具体的な実施例を参照しながら本発明の基本原理を説明したが、ただし、本領域の一般の当業者にとって、本発明の方法及び装置の全部又はいかなるステップ又は各部は、いかなる計算装置（プロセッサー、記憶媒体等を含む）又は計算装置のネットワーク中に、ハードウェア、ファームウエア、ソフトウェア又はこれらの組み合わせで実現することができると理解可能であり、これは本分野の一般の当業者が本発明の説明を読んだ場合、これらの基本プログラミングスキルを運用して実現することができる。

従って、本発明の目的はいかなる計算装置上で１つのプログラム又は１組のプログラムを運行して実現することができる。前記計算装置は、公知の汎用装置であってもよい。従って、本発明の目的は前記方法又は装置を実現するプログラムコードを含むプログラム製品を提供することのみにより実現することができる。つまり、このようなプログラム製品も本発明を構成し、且つこのようなプログラム製品を記憶する記憶媒体も本発明を構成する。明らかに、前記記憶媒体はいかなる公知の記憶媒体又は将来に開発するいかなる記憶媒体であってもよい。
ただし、本発明の装置及び方法中に、明らかに、各部又は各ステップは分解及び／又は再組合することができる。これらの分解及び／又は再組合は本発明の等価方案と見なすべきである。且つ、前記一連の処理を実行するステップは自然的に説明した順序により時間順序により実行することができるが、かならず時間順序により実行する必要がない。いくつのステップは並行し又は互いに独立に実行することができる。

前記具体的な実施形態は、本発明保護範囲を制限するものではない。当業者は、設計要求とほかの要素に応じて、さまざまな修正、組合、サブ組合及び取代を生じることができると分かるべきである。本発明の主旨と原則の内に行ったいかなる修正、等同取替及び改良等はいずれも本発明保護範囲内に含まれるべきである。

米国特許第ＵＳ７６６０４３８Ｂ２号

Claims (8)

1. 現フレームの視差図から、対象の寸法及び対象の中心を含む対象の位置を検出するステップと、
   直前の所定数のフレームの視差図から検出された対象の位置に基づいて、現フレームの視差図における対象の位置を予測するステップと、
   現フレームの視差図から検出された対象の位置が予測された対象の位置とマッチングしている場合、前フレームの視差図から検出された対象の位置の信頼度を用いて、現フレームの視差図から検出された対象の位置を補正し、補正された位置を取得するステップと、を含み、
   現フレームの視差図から検出された対象の位置を補正し、補正された位置を取得するステップは、
   前フレームの視差図から検出された対象の位置の信頼度を用いて、予測された対象の現フレームの視差図における中心に基づいて、現フレームの視差図から検出された対象の中心を補正し、補正された中心を取得するステップ、を含み、
   前記対象の寸法は、対象の幅を含み、
   現フレームの視差図から検出された対象の中心を補正し、補正された中心を取得するステップは、
   現フレームの視差図における対象の補正された幅及び現フレームの視差図から検出された対象の位置に基づいて、現フレームの視差図における対象の２つの候補の中心を決定するステップと、
   ２つの候補の中心から、予測された現フレームの視差図における対象の中心とのＸ軸方向の距離が近い中心を選択するステップと、
   選択された中心を、現フレームの視差図から検出された対象の中心とするステップと、を含む対象追跡方法。
2. 現フレームの視差図から検出された対象の位置を補正し、補正された位置を取得するステップは、
   前フレームの視差図から検出された対象の位置の信頼度を用いて、前フレームの視差図における対象の補正された寸法に基づいて、現フレームの視差図から検出された対象の寸法を補正し、補正された寸法を取得するステップ、をさらに含む請求項１に記載の対象追跡方法。
3. 前記対象の寸法は、対象の高さをさらに含み、
   前記対象の位置は、隣接フレームの間の奥行き方向の移動距離を含む請求項２に記載の対象追跡方法。
4. 現フレームの視差図から検出された対象の寸法を補正し、補正された寸法を取得するステップは、
   前フレームの視差図における対象の補正された高さ及び現フレームの視差図から検出された対象の高さに重み付けし、重み付けされた値を現フレームの視差図における対象の補正された高さとするステップであって、前フレームの視差図における対象の補正された高さの重みが前フレームの視差図から検出された対象の高さの信頼度である、ステップと、
   前フレームの視差図における対象の補正された幅及び現フレームの視差図から検出された対象の幅に重み付けし、重み付けされた値を現フレームの視差図における対象の補正された幅とするステップであって、前フレームの視差図における対象の補正された幅の重みが前フレームの視差図から検出された対象の幅の信頼度である、ステップと、
   前フレームの視差図における対象の補正された移動距離及び現フレームの視差図から検出された対象の移動距離に重み付けし、重み付けてされた値を現フレームの視差図における対象の補正された移動距離とするステップと、前フレームの視差図における対象の補正された移動距離の重みが前フレームの視差図から検出された対象の移動距離の信頼度である、ステップと、を含む請求項３に記載の対象追跡方法。
5. 現フレームの視差図から検出された対象の中心を補正し、補正された中心を取得するステップは、
   予測された現フレームの視差図における対象の中心のｘ軸座標値及び現フレームの視差図から検出された対象の中心のＸ軸座標値に重み付けし、重み付けされたＸ軸座標値を現フレームの視差図における対象の補正された中心のＸ軸座標値とするステップであって、予測された現フレームの視差図における対象の中心のＸ軸座標値の重みが前フレームの視差図から検出された対象の幅の信頼度である、ステップと、
   予測された現フレームの視差図における対象の中心の奥行き方向の移動距離及び現フレームの視差図から検出された対象の中心の奥行き方向の移動距離に重み付けし、重み付けてされた移動距離を現フレームの視差図における対象の補正された移動距離とするステップであって、予測された現フレームの視差図における対象の中心の移動距離の重みが前フレームの視差図から検出された対象の移動距離の信頼度である、ステップと、を含む請求項３に記載の対象追跡方法。
6. 現フレームの視差図から検出された対象の中心を補正し、補正された中心を取得するステップは、
   予測された現フレームの視差図における対象の中心のｙ軸座標値及び現フレームの視差図から検出された対象の中心のｙ軸座標値に重み付けし、重み付けされたｙ軸座標値を現フレームの視差図における対象の補正された中心のｙ軸座標値とするステップであって、予測された現フレームの視差図における対象の中心のｙ軸座標値の重みが前フレームの視差図から検出された対象の高さの信頼度である、ステップをさらに含む請求項５に記載の対象追跡方法。
7. 各フレームから検出された対象の位置の信頼度を決定する際に、
   第１フレームの視差図から検出された対象の幅の信頼度、高さ信頼度及び奥行き方向の移動距離の信頼度を設定し、
   第ｋフレームの視差図に対して、Ｃｈａｎｇｅ＿ｗ＝｜ｗ_ｋ−１−ｗ_ｋ｜／ｗ_ｋ−１，Ｃｈａｎｇｅ＿ｈ＝｜ｈ_ｋ−１−ｈ_ｋ｜／ｈ_ｋ−１，Ｃｈａｎｇｅ＿ｄ＝｜ｄ_ｋ−１−ｄ_ｋ｜／ｄ_ｋ−１を計算し、ここで、ｋ＞ｌ，ｗ_ｋ−１，ｈ_ｋ−１及びｄ_ｋ−１はそれぞれ対象の第ｋ−１フレームの視差図における補正後の幅、高さ及び奥行き方向の移動距離であり、ｗ_ｋ，ｈ_ｋ及びｄ_ｋはそれぞれ第ｋフレームの視差図から検出された該対象の幅、高さ及び奥行き方向の移動距離であり、
   第ｋフレームの視差図から検出された対象の幅の信頼度を決定し、Ｃｈａｎｇｅ＿ｗが所定の幅閾値未満であると、所定の方式で第ｋ−１フレームの視差図から検出された対象の幅の信頼度を増大させ、所定の幅閾値未満でないと、所定の方式で第ｋ−１フレームの視差図から検出された対象的幅の信頼度を減少させ、
   第ｋフレームの視差図から検出された対象の高さの信頼度を決定し、Ｃｈａｎｇｅ＿ｈが所定の高さ閾値未満であると、所定の方式で第ｋ−１フレームの視差図から検出された対象の高さの信頼度を増大させ、所定の高さ閾値未満でないと、所定の方式で第ｋ−１フレームの視差図から検出された対象の高さの信頼度を減少させ、
   第ｋフレームの視差図から検出された対象の移動距離の信頼度を決定し、Ｃｈａｎｇｅ＿ｄが所定の距離閾値未満であると、所定の方式で第ｋ−１フレームの視差図から検出された対象の移動距離の信頼度を増大させ、所定の距離閾値未満でないと、所定の方式で第ｋ−１フレームの視差図から検出された対象の移動距離の信頼度を減少させる請求項３〜６のいずれかに記載の対象追跡方法。
8. 現フレームの視差図から、対象の寸法及び対象の中心を含む対象の位置を検出する検出部と、
   直前の所定数のフレームの視差図から検出された対象の位置に基づいて、現フレームの視差図における対象の位置を予測する予測部と、
   現フレームの視差図から検出された対象の位置が予測された対象の位置とマッチングしている場合、前フレームの視差図から検出された対象の位置の信頼度を用いて、現フレームの視差図から検出された対象の位置を補正し、補正された位置を取得する補正部と、を備え、
   前記補正部は、
   前フレームの視差図から検出された対象の位置の信頼度を用いて、予測された対象の現フレームの視差図における中心に基づいて、現フレームの視差図から検出された対象の中心を補正し、補正された中心を取得し、
   前記対象の寸法は、対象の幅を含み、
   前記補正部は、
   現フレームの視差図における対象の補正された幅及び現フレームの視差図から検出された対象の位置に基づいて、現フレームの視差図における対象の２つの候補の中心を決定し、
   ２つの候補の中心から、予測された現フレームの視差図における対象の中心とのＸ軸方向の距離が近い中心を選択し、
   選択された中心を、現フレームの視差図から検出された対象の中心とする対象追跡装置。