JP5603403B2

JP5603403B2 - 対象物計数方法、対象物計数装置および対象物計数プログラム

Info

Publication number: JP5603403B2
Application number: JP2012287226A
Authority: JP
Inventors: グオイリウ; ショウパンタン; ホンミンチャン; フェンワン; ウェイゼン
Original assignee: NEC China Co Ltd
Current assignee: NEC China Co Ltd
Priority date: 2012-03-21
Filing date: 2012-12-28
Publication date: 2014-10-08
Anticipated expiration: 2032-12-28
Also published as: US9098769B2; US20130251197A1; CN103324977B; JP2013196684A; CN103324977A

Description

本発明は画像処理の分野に関し、特に対象物を計数するための対象物計数方法、対象物計数装置および対象物計数プログラムに関する。

一定のエリアを通過する対象物を自動的に計数することは広く行われている。特に人数の計数については、通路および他の主要な監視区域の入口および出口での計数は、リアルタイムで視覚化された正確な人の流れのデータを管理用に提供することができる。地下鉄および駅など人の流れの制御が必要とされる区域では、人数の計数は有効なサポートとなる。さらに、ショッピングセンターやフランチャイズ店で正確な人数の計数に基づいた商業分析およびデータマイニングを行い、それを市場管理や経営判断に利用することもできる。

現在、対象物は通常普通のビデオのカラー画像に基づいて計数され、その主なプロセスは以下の通りである。

まず、普通のビデオのカラー画像に基づいて、各対象物の位置を抽出して対象物を検出し、次に異なるフレームにおける同一の対象物を関連付けて軌跡を形成し、最後に、軌跡の数に従って対象物の数を決定する。ここで、例えばカラー画像および背景において差分演算を行うことによって対象物を抽出する背景差分に基づく方法など、普通のビデオのカラー画像に基づいて対象物の位置を抽出する方法が数多くある。

本発明を実施する過程で、発明者は従来技術において少なくとも以下の問題を発見した。

従来技術では、対象物は通常普通のビデオのカラー画像に基づいて計数されるが、普通のビデオはカメラのインストール環境、照明の変化、そして対象物の衣服の違いなど外部条件によってかなり影響を受け、従って異なる環境における対象物の計数の結果の差が広がり、多様な環境において高精度で対象物を計数するという要求に応えることは難しい。

本発明によれば、既存の技術的問題を解決し、対象物を計数するための方法、装置およびプログラムが提供される。技術的な解決策は以下の通りである。

本発明の第１の目的は、対象物を計数するための対象物計数方法を提供することである。
本発明の好ましい態様によれば、対象物計数方法は、任意の１つのフレームの奥行き画像を取得するステップと、奥行き画像に従って対象物を検出するステップと、異なるフレームにおける同一の対象物を関連付けて軌跡を形成するステップと、軌跡の数に従って対象物の数を決定するステップとを含む。

他の態様によれば、奥行き画像に従って対象物を検出するステップは、奥行き画像に従ってカメラから地面までの距離を計算するステップと、距離に従って、奥行き画像を地面からの高さ画像に変換するステップと、高さ画像について、閾値分割を実行して少なくとも１つの前景区域集合を取得するステップと、あらかじめ設定された基準区域に従って少なくとも１つの前景区域集合から対象物を識別するステップとを含む。

他の態様によれば、高さ画像について、閾値分割を実行して少なくとも１つの前景区域集合を取得する前記ステップは、画像を分割するための閾値を設定し、高さが閾値以上である高さ画像における区域を前景区域として定義し、前景区域で前景区域集合を形成するステップを含み、あらかじめ設定された基準区域に従って少なくとも１つの前景区域集合から対象物を識別するステップは、基準区域のサイズおよび輪郭に従って前景区域集合から少なくとも１つの前景区域を選択し、選択された少なくとも１つの前景区域を対象物として定義するステップを含み、選択された少なくとも１つの前景区域のそれぞれと基準区域との間の差があらかじめ設定された範囲以下である。

他の態様によれば、高さ画像について、閾値分割を実行して少なくとも１つの前景区域集合を取得するステップは、画像を分割するための第１の閾値および第２の閾値を設定し、高さが第１の閾値以上である高さ画像における区域を第１の前景区域として定義し、第１の前景区域で第１の前景区域集合を形成し、高さが第２の閾値以上である高さ画像における区域を第２の前景区域として定義し、第２の前景区域で第２の前景区域集合を形成するステップを含み、あらかじめ設定された基準区域に従って少なくとも１つの前景区域集合から対象物を識別するステップは、基準区域のサイズおよび輪郭に従って第１の前景区域集合および第２の前景区域集合から少なくとも１つの前景区域を選択し、選択された少なくとも１つの前景区域を対象物として定義するステップと、ここで、選択された少なくとも１つの前景区域のそれぞれと基準区域との間の差があらかじめ設定された範囲以下であり、第１の前景集合からの前景区域、および第２の前景集合からの前景区域が同じ位置にあり、両方の前景区域のそれぞれと基準区域との間の差があらかじめ設定された範囲以下である場合、基準区域からの差が最小の前景区域を選択し、選択された前景区域を対象物として定義するステップとを含む。

他の態様によれば、選択された少なくとも１つの前景区域が複数の対象物を含む時、選択された少なくとも１つの前景区域を対象物として定義する前に、方法は、少なくとも１つの前景区域における画素毎に、その画素を中心としたあらかじめ設定されたウィンドウにおいて、ウィンドウにおける各画素の高さ平均値を計算し、ウィンドウの中心を高さ平均値の位置に移動させ、現在位置におけるウィンドウの高さ平均値が前の位置におけるウィンドウのものに等しくなるまで計算プロセスおよび移動プロセスを繰り返し、ウィンドウの現在位置を対象物の位置として定義するステップをさらに含み、計算ステップおよび移動ステップは、ウィンドウにおける各画素の高さ平均値を計算し、ウィンドウの中心を高さ平均値の位置に移動させるために使用される。

他の態様によれば、異なるフレームにおける同一の対象物を関連付けて軌跡を形成するステップは、各フレームにおける対象物の位置を予測し、各フレームにおける対象物の予測された位置情報を一要素として第１の集合に格納するステップと、各フレームにおける検出された対象物の位置情報を一要素として第２の集合に格納するステップと、第１の集合における要素と第２の集合における要素とを関連付けて軌跡を形成するステップとを含む。

他の態様によれば、各フレームにおける対象物の位置を予測するステップは、現在のフレームにおける検出された対象物の第１の位置に基づいて、次のフレームにおける第２の位置を中心としたあらかじめ設定された範囲において、対象物が位置する区域のものと同一サイズの区域を選択し、類似度を求めるために、選択された区域のカラー画像を対象物が位置する区域のカラー画像と比較するステップと、類似度が、ある閾値よりも高い、選択された区域を次のフレームにおける対象物の位置として定義するステップとを含み、次のフレームにおける第２の位置の位置は、現在のフレームの第１の位置のものと同一である。

他の態様によれば、第１の集合における要素と第２の集合における要素とを関連付けて軌跡を形成するステップは、第１の集合における第１の要素について、位置情報があらかじめ設定された範囲内の第１の要素のものと一致する第２の要素が第２の集合で見つかった時、第２の要素を軌跡に追加し、位置情報があらかじめ設定された範囲内の第１の要素のものと一致する第２の要素が第２の集合で見つからない時、第１の要素を軌跡に追加するステップと、第２の集合における第３の要素について、位置情報があらかじめ設定された範囲内の第３の要素のものと一致する第４の要素が第１の集合で見つからない場合、第３の要素を新しい軌跡に追加するステップとを含む。

他の態様によれば、第１の要素を軌跡に追加するステップの後、方法は、軌跡のマーク値を増加させ、軌跡のマーク値があらかじめ設定された閾値よりも大きい時、軌跡を終了するステップをさらに含む。

他の態様によれば、第３の要素を新しい軌跡に追加するステップの後、方法は、新しい軌跡の状態を非アクティブとして設定し、新しい軌跡における要素の数があらかじめ設定された閾値よりも大きい時、新しい軌跡の状態をアクティブとして設定するステップをさらに含む。

他の態様によれば、異なるフレームにおける同一の対象物を関連付けて軌跡を形成するステップの後、方法は、異なる色を使用して異なる対象物に対応する軌跡を表示するステップをさらに含む。

本発明の別の目的は対象物を計数するための対象物計数装置を提供することである。本発明の好ましい態様によれば、対象物計数装置は、任意の１つのフレームの奥行き画像を取得するための取得モジュールと、奥行き画像に従って対象物を検出するための検出モジュールと、異なるフレームにおける同一の対象物を関連付けて軌跡を形成するための関連付けモジュールと、軌跡の数に従って対象物の数を決定するための決定モジュールとを備える。

他の態様によれば、検出モジュールは、奥行き画像に従ってカメラから地面までの距離を計算するための計算ユニットと、距離に従って奥行き画像を地面からの高さ画像に変換するための変換ユニットと、高さ画像において、閾値分割を実行して、少なくとも１つの前景区域集合を取得するための分割ユニットと、あらかじめ設定された基準区域に従って、少なくとも１つの前景区域集合から対象物を識別するための識別ユニットとを含む。

他の態様によれば、分割ユニットは具体的には、画像を分割するための閾値を設定し、高さが閾値以上である高さ画像における区域を前景区域として定義し、前景区域で前景区域集合を形成するために使用され、識別ユニットは具体的には、基準区域のサイズおよび輪郭に従って前景区域集合から少なくとも１つの前景区域を選択し、選択された少なくとも１つの前景区域を対象物として定義するために使用され、選択された少なくとも１つの前景区域のそれぞれと基準区域との間の差はあらかじめ設定された範囲以下である。

他の態様によれば、分割ユニットは具体的には、画像を分割するための第１の閾値および第２の閾値を設定し、高さが第１の閾値以上である高さ画像における区域を第１の前景区域として定義し、第１の前景区域で第１の前景区域集合を形成し、高さが第２の閾値以上である高さ画像における区域を第２の前景区域として定義し、第２の前景区域で第２の前景区域集合を形成するために使用され、識別ユニットは、具体的には、基準区域のサイズおよび輪郭に従って、第１の前景区域集合および第２の前景区域集合から少なくとも１つの前景区域を選択し、選択された少なくとも１つの前景区域を対象物として定義するために使用され、ここで選択された少なくとも１つの前景区域のそれぞれと基準区域との間の差があらかじめ設定された範囲以下であり、上記によって第１の前景集合からの前景区域、および第２の前景集合からの前景区域が同じ位置にあり、両方の前景区域のそれぞれと基準区域との間の差があらかじめ設定された範囲以下である時、基準区域からの差が最小の前景区域を選択し、選択された前景区域を対象物として定義するために使用される。

他の態様によれば、選択された少なくとも１つの前景区域が複数の対象物を含む時、選択された少なくとも１つの前景区域を対象物として定義する前に識別ユニットは、少なくとも１つの前景区域における画素毎に、その画素を中心としたあらかじめ設定されたウィンドウにおいて、ウィンドウにおける各画素の高さ平均値を計算し、ウィンドウの中心を高さ平均値の位置に移動させ、現在位置におけるウィンドウの高さ平均値が前の位置におけるウィンドウのものに等しくなるまで、計算プロセスおよび移動プロセスを繰り返し、ウィンドウの現在位置を対象物の位置として定義するためにも使用され、計算プロセスおよび移動プロセスは、ウィンドウにおける各画素の高さ平均値を計算しウィンドウの中心を高さ平均値の位置に移動させるために使用される。

他の態様によれば、関連付けモジュールは、各フレームにおける対象物の位置を予測し、各フレームにおける対象物の予測された位置情報を一要素として第１の集合に格納するための予測ユニットと、各フレームにおける検出された対象物の位置情報を一要素として第２の集合に格納するための検出ユニットと、第１の集合における要素と第２の集合における要素とを関連付けて軌跡を形成するための関連付けユニットとを含む。

他の態様によれば、各フレームにおける対象物の位置を予測する時、予測ユニットは具体的には、現在のフレームにおける検出された対象物の第１の位置に基づいて、次のフレームにおける第２の位置を中心とした、あらかじめ設定された範囲において、対象物が位置する区域のものと同一サイズの区域を選択し、類似度を求めるために、選択された区域のカラー画像を対象物が位置する区域のカラー画像と比較し、類似度が、ある閾値よりも高い選択された区域を、次のフレームにおける対象物の位置として定義するために使用され、次のフレームにおける第２の位置の位置は、現在のフレームの第１の位置のものと同一である。

他の態様によれば、関連付けユニットは、具体的には、第１の集合における第１の要素について、位置情報があらかじめ設定された範囲内の第１の要素のものと一致する第２の要素が第２の集合で見つかった時、第２の要素を軌跡に追加し、位置情報があらかじめ設定された範囲内の第１の要素のものと一致する第２の要素が第２の集合で見つからない時、第１の要素を軌跡に追加し、第２の集合における第３の要素について、位置情報があらかじめ設定された範囲内の第３の要素のものと一致する第４の要素が第１の集合で見つからない時、第３の要素を新しい軌跡に追加するために使用される。

他の態様によれば、第１の要素を軌跡に追加するステップの後、関連付けユニットは、軌跡のマーク値を増加させ、軌跡のマーク値があらかじめ設定された閾値よりも大きい時、軌跡を終了するためにも使用される。

他の態様によれば、第３の要素を新しい軌跡に追加するステップの後、関連付けユニットは、新しい軌跡の状態を非アクティブとして設定し、新しい軌跡における要素の数があらかじめ設定された閾値よりも大きい時、新しい軌跡の状態をアクティブとして設定するためにも使用される。

他の態様によれば、装置は、異なる色を使用して異なる対象物に対応する軌跡を表示するための表示モジュールをさらに含む。

本発明によって提供される技術的な解決策は、以下の効果を提供する。

本発明によれば、対象物が奥行き画像に従って検出され、異なるフレームにおける同一の対象物が関連付けられて軌跡が形成され、軌跡の数に従って対象物の数が決定される。奥行きデータは整合性が高く、環境による影響を容易には受けないため奥行きデータに基づく対象物の計数は、より安定した正確な検出結果を保証する。さらに、対象物のテクスチャおよび色情報を使用して位置が予測され、従って予測結果は、位置情報のみを使用して位置を予測するよりも正確である。

本発明は、以下の添付図面からより完全に理解されよう。しかし、これらの図面は例示にすぎない。当業者であれば、負担の大きい不要な実験を行わなくてもさらに別の変形を容易に得ることができる。こうした変形は、本発明の精神および範囲からの逸脱とはみなされない。

本発明の一実施例において提供される対象物を計数するための方法のフローチャートを示す。本発明の他の実施例において提供される対象物を計数するための方法のフローチャートを示す。本発明の他の実施例における軌跡の検出の概略図を示す。本発明の他の実施例において提供される対象物を計数するための装置の構造図を示す。本発明の他の実施例において提供される対象物を計数するための装置の別の構造図を示す。

本発明の目的、技術的解決策、および利点をより明確にするために、本発明の実施例について添付の図面を参照してさらに詳しく説明する。

図１を参照すると、本発明の１実施例において対象物を計数するための方法が提供される。この方法は、
１０１：任意の１つのフレームの奥行き画像を取得するステップと、
１０２：奥行き画像に従って対象物を検出するステップと、
１０３：異なるフレームにおける同一の対象物を関連付けて軌跡を形成するステップと、
１０４：軌跡の数に従って対象物の数を決定するステップとを含む。

本実施例では、対象物が奥行き画像に従って検出され、異なるフレームにおける同一の対象物が関連付けられて軌跡が形成され、軌跡の数に従って対象物の数が決定される。奥行きデータは整合性が高く、環境による影響を容易には受けないため奥行きデータに基づく対象物の計数はより安定した正確な検出結果を保証する。

図２を参照すると、本実施例において対象物を計数するための方法が同様に提供される。この方法は以下を含む。

２０１：任意の１つのフレームの奥行き画像Ｉｔを取得するステップ。

ここで、奥行き画像Ｉｔにおける任意の画素Ｉｔ（ｘ，ｙ）は、地面に垂直の方向のカメラに対する画素Ｉｔ（ｘ，ｙ）に対応した対象物から地面に垂直の方向のカメラまでの距離を表す。

ここで奥行き画像は、多くの手法で取得することができる。例えば奥行き画像は、キネクト奥行きセンサ、赤外線レーザ投影技術、または両眼立体視技術などによって取得することができる。

２０２：奥行き画像Ｉｔに従ってカメラから地面までの距離ｈ０を計算するステップ。

具体的には、奥行き画像Ｉｔにおける奥行き最大値を有する画素をカメラから地面までの距離ｈ０として定義する。式は以下の通りである。

ｈ０＝Ｍａｘ（Ｉｔ（ｘ，ｙ））

式中、ｈ０は、カメラから地面までの距離を表し、Ｉｔ（ｘ，ｙ）は奥行き画像Ｉｔにおける任意の画素を表し、Ｍａｘは値を最大にすることを表す。

２０３：カメラから地面までの距離ｈ０に従って、奥行き画像を地面からの高さ画像Ｎｔに変換するステップ。

具体的には、カメラから地面までの距離から奥行き画像を減算して高さ画像を取得する。式は以下の通りである。

Ｎｔ（ｘ，ｙ）＝ｈ０−Ｉｔ（ｘ，ｙ）

式中、Ｎｔ（ｘ，ｙ）は高さ画像Ｎｔにおける任意の画素を表し、ｈ０はカメラから地面までの距離を表し、Ｉｔ（ｘ，ｙ）は奥行き画像Ｉｔにおける任意の画素を表す。

２０４：高さ画像Ｎｔにおいて、閾値分割を実行し、少なくとも１つの前景区域集合を取得するステップ。

本実施例では、閾値の数に従って、単一閾値分割法（single threshold division method）および二重閾値分割法（double-threshold
division method）が提供される。

単一閾値分割法は画像を分割するための閾値を設定し、高さが閾値以上である高さ画像における区域を前景区域として定義し、前景区域で前景区域集合を形成することを指す。式は以下の通りである。

式中、ｈは画像を分割するための閾値を表し、Ｎｔ（ｘ，ｙ）は高さ画像Ｎｔにおける任意の画素を表し、Ｔｔは、それが１である時の前景区域を表す。

検出すべき対象物が人である場合、人の身長からその頭部の長さを減算することによって、閾値が取得されることに留意されたい。例えば人の身長が高さ１．７５ｍであり、その頭部の長さが０．２ｍである場合、閾値はｈ＝１．７５−０．２＝１．５５ｍである。

二重閾値分割法は、画像を分割するための第１の閾値および第２の閾値を設定し、高さが第１の閾値以上である高さ画像における区域を第１の前景区域として定義し、第１の前景区域で第１の前景区域集合を形成し、高さが第２の閾値以上である高さ画像における区域を第２の前景区域として定義し、第２の前景区域で第２の前景区域集合を形成することを指す。

式は以下の通りである。

式中、ｈ１は画像を分割するための第１の閾値を表し、Ｎｔ（ｘ，ｙ）は高さ画像Ｎｔにおける任意の画素を表し、Ｔｔ１はそれが１である時の第１の前景区域を表し、ｈ２は画像を分割するための第２の閾値を表し、Ｔｔ２はそれが１である時の第２の前景区域を表す。

検出すべき対象物が人である場合、人の身長からその頭部の長さを減算することによって、第１および第２の閾値がそれぞれ取得されることに留意されたい。例えば人の身長が一般に１．７５〜１．９５ｍであり、頭部の長さが通常０．２ｍであるならば、第１の閾値はｈ１＝１．７５−０．２＝１．５５ｍであり、第２の閾値はｈ２＝１．９５−０．２＝１．７５ｍである。

２０５：あらかじめ設定された基準区域に従って、少なくとも１つの前景区域集合から対象物を識別するステップ。

単一閾値分割法では、基準区域のサイズおよび輪郭に従って前景区域集合から少なくとも１つの前景区域を選択し、選択された少なくとも１つの前景区域を対象物として定義する。ここで選択された少なくとも１つの前景区域のそれぞれと基準区域との間の差はあらかじめ設定された範囲以下である。

一方二重閾値分割法では、基準区域のサイズおよび輪郭に従って第１の前景区域集合および第２の前景区域集合から少なくとも１つの前景区域を選択し、選択された少なくとも１つの前景区域を対象物として定義する。ここで選択された少なくとも１つの前景区域のそれぞれと基準区域との間の差はあらかじめ設定された範囲以下であり、
それによって、第１の前景集合からの前景区域、および第２の前景集合からの前景区域が同じ位置にあり、両方の前景区域のそれぞれと基準区域との間の差があらかじめ設定された範囲以下である時、基準区域からの差が最小の前景区域を選択し、選択された前景区域を対象物として定義する。二重閾値分割法によると２つの集合から好ましい検出結果が選択されるので、検出結果はより正確である。

以下の説明では、例として人間を使用し、頭部の基準区域はあらかじめ設定することができ、人の頭部は少なくとも１つの前景区域集合から決定される。

単一閾値分割法では、基準区域のサイズおよび輪郭に従って単一閾値分割によって取得された前景区域集合から少なくとも１つの前景区域を選択し、選択された少なくとも１つの前景区域を対象物として定義する。ここで選択された前景区域のそれぞれと頭部の基準区域との間の差はあらかじめ設定された範囲以下であり、すなわち頭部の基準区域に近い前景区域を人の頭部の検出結果として選択する。

二重閾値分割法では、基準区域のサイズおよび輪郭に従って第１の前景区域集合および第２の前景区域集合から少なくとも１つの前景区域を選択し、選択された少なくとも１つの前景区域を人の頭部の検出結果として定義し、ここで選択された前景区域のそれぞれと頭部の基準区域との間の差はあらかじめ設定された範囲以下であり、それによって、第１の前景集合からの前景区域、および第２の前景集合からの前景区域が同じ位置にあり、両方の前景区域のそれぞれと頭部の基準区域との間の差があらかじめ設定された範囲以下である時、頭部の基準区域からの差が最小の区域を選択し、選択された区域を人の頭部の検出結果として定義し、すなわち頭部の基準区域に近い最適な前景区域を人のグループの頭部の検出結果として選択する。

さらに、選択された少なくとも１つの前景区域が複数の対象物を含む時、上述の説明において選択された少なくとも１つの前景区域を対象物として定義する前に、平均値シフトアルゴリズム（mean-shift algorithm、山登り法アルゴリズム（hill-climbing
algorithm）とも呼ばれる）を採用して対象物を決定することができ、具体的には、
少なくとも１つの前景区域における画素毎に、その画素を中心としたあらかじめ設定されたウィンドウにおいてウィンドウにおける各画素の高さ平均値を計算し、ウィンドウの中心を高さ平均値の位置に移動させ、現在位置におけるウィンドウの高さ平均値が前の位置におけるウィンドウのものに等しくなる、すなわちウィンドウが移動しなくなるまで計算プロセスおよび移動プロセスを繰り返し、ウィンドウの現在位置を対象物の位置として定義し、すなわち安定した状態のウィンドウの位置を対象物の位置として定義するステップを含み、計算プロセスおよび移動プロセスはウィンドウにおける各画素の高さ平均値を計算し、ウィンドウの中心を高さ平均値の位置に移動させるために用いられる。ここで高さ平均値は加重座標値であり、対応する高さ値によってウィンドウにおける各画素の座標値に重み付けすることによって計算される。高さ平均値の位置はウィンドウの重心でもある。

上述の平均値シフトアルゴリズムは、例えば人の頭部の検出など丘陵形状を有する対象物を検出することに適している。

２０６：各フレームにおける対象物の位置を予測し、各フレームにおける対象物の予測された位置情報を一要素として第１の集合に格納するステップ。

各フレームにおける対象物の位置を予測するために、以下の２つの方法を採用することができる。

第１の方法は、現在のフレームにおける検出された対象物の第１の位置に基づいて、次のフレームにおける第２の位置を中心とした、あらかじめ設定された範囲において、対象物が位置する区域のものと同一サイズの区域を選択し、類似度を求めるために、選択された区域のカラー画像を対象物が位置する区域のカラー画像と比較し、類似度が、ある閾値よりも高い、選択された区域の位置を次のフレームにおける対象物の位置として定義し、例えば最も高い類似度を有する選択された区域を次のフレームにおける対象物の位置として定義するステップを含み、ここで次のフレームにおける第２の位置の位置は現在のフレームにおける第１の位置のものと同一である。

ここで各フレームのカラー画像は各フレームの奥行き画像と共に取得することができる。対象物のテクスチャおよび色情報を使用して位置が予測され、従って予測結果は位置情報のみを使用するものよりも正確である。さらに予測結果の精度は、対象物区域のサイズに基づいて予測することによって固定区域のサイズに基づいた予測のものと比較してさらに向上する。

第２の方法は、現在のフレームにおける検出された対象物の位置、および前のフレームにおける対象物の位置に従って、現在のフレームにおける対象物の速度および方向を取得するために計算し、現在のフレームにおける対象物の位置、および現在のフレームにおける対象物の速度および方向に従って、次のフレームにおける対象物の位置を取得するために計算するステップを含む。対象物の位置情報はこの方法でのみ使用される。

２０７：ステップ２０１〜２０５において各フレームにおける検出された対象物の位置情報を一要素として第２の集合に格納するステップ。

ステップ２０６およびステップ２０７の順序は限定されないことに留意されたい。
２０８：第１の集合における要素と第２の集合における要素とを関連付けて軌跡を形成するステップ。

１）正常に軌跡を増加または更新する場合
第１の集合における第１の要素について、位置情報があらかじめ設定された範囲内の第１の要素のものと一致する第２の要素が第２の集合で見つかった時、第２の要素を軌跡に追加する。

２）検出し損ねた場合
第１の集合における第１の要素について、位置情報があらかじめ設定された範囲内の第１の要素のものと一致する第２の要素が第２の集合で見つからない時、第１の要素を軌跡に追加する。

第１の要素が軌跡に追加された後、さらに軌跡のマーク値を増加させ、例えば軌跡のマーク値に１を追加し、軌跡のマーク値があらかじめ設定された閾値よりも大きい時、軌跡を終了する。

３）軌跡の開始の場合
第２の集合における第３の要素について、位置情報があらかじめ設定された範囲内の第３の要素のものと一致する第４の要素が第１の集合で見つからない時、第３の要素を新しい軌跡に追加する。

誤った検出の場合：第３の要素が新しい軌跡に追加された後、さらに新しい軌跡の状態を非アクティブとして設定し、新しい軌跡における要素の数があらかじめ設定された閾値よりも大きい時、新しい軌跡の状態をアクティブとして設定する。

軌跡形成の上述の方法において、フレームの検出結果を簡単かつ効果的に関連付けることができ、検出し損ねた場合および誤った検出の場合をある程度まで低減することができ、複数の対象物の軌跡を効果的に生成することができる。軌跡は形成された後に表示することができる。図３は、検出軌跡の概略図を示し、ここで異なる対象物に対応する軌跡には表示の際に異なるマークを付すことができる。また異なる対象物に対応する軌跡は異なる色を使用して表示することができる。例えばマーク３０１を有する軌跡は赤色で表示することができ、一方マーク３０２を有する軌跡は緑色で表示することができる。

２０９：軌跡の数を対象物の数として定義するステップ。

本実施例では、対象物が奥行き画像に従って検出され、異なるフレームにおける同一の対象物が関連付けられて軌跡が形成され、軌跡の数に従って対象物の数が決定される。奥行きデータは整合性が高く、環境による影響を容易には受けず、従って奥行きデータに基づく対象物の計数は、より安定した正確な検出結果を保証する。さらに、対象物のテクスチャおよび色情報を使用して位置が予測され、従って予測結果は位置情報のみを使用して位置を予測するものと比較して、より正確である。

図４を参照すると、本実施例において対象物を計数するための装置も提供される。この装置は、
任意の１つのフレームの奥行き画像を取得するための取得モジュール４０１と、
奥行き画像に従って対象物を検出するための検出モジュール４０２と、
異なるフレームにおける同一の対象物を関連付けて軌跡を形成するための関連付けモジュール４０３と、
軌跡の数に従って、対象物の数を決定するための決定モジュール４０４とを含む。

図５に示されるように、別の実施例では検出モジュール４０２は、
奥行き画像に従ってカメラから地面までの距離を計算するための計算ユニット４０２１と、
距離に従って、奥行き画像を地面からの高さ画像に変換するための変換ユニット４０２２と、
高さ画像において、閾値分割を実行して、少なくとも１つの前景区域集合を取得するための分割ユニット４０２３と、
あらかじめ設定された基準区域に従って、少なくとも１つの前景区域集合から対象物を識別するための識別ユニット４０２４とを含む。

別の実施例では、分割ユニット４０２３は具体的には、
画像を分割するための閾値を設定し、高さが前記閾値以上である高さ画像における区域を前景区域として定義し、前記前景区域で前景区域集合の形成するために使用され、
識別ユニット４０２４は具体的には、
基準区域のサイズおよび輪郭に従って前景区域集合から少なくとも１つの前景区域を選択し、選択された少なくとも１つの前景区域を対象物として定義するために使用され、ここで選択された少なくとも１つの前景区域のそれぞれと基準区域との間の差はあらかじめ設定された範囲以下である。

別の実施例では、分割ユニット４０２３は具体的には、
画像を分割するための第１の閾値および第２の閾値を設定し、高さが第１の閾値以上である高さ画像における区域を第１の前景区域として定義し、第１の前景区域で第１の前景区域集合を形成し、高さが第２の閾値以上である高さ画像における区域を第２の前景区域として定義し、第２の前景区域で第２の前景区域集合を形成するために使用され、
識別ユニット４０２４は具体的には、
基準区域のサイズおよび輪郭に従って第１の前景区域集合および第２の前景区域集合から少なくとも１つの前景区域を選択し、選択された少なくとも１つの前景区域を対象物として定義し、ここで選択された少なくとも１つの前景区域のそれぞれと基準区域との間の差はあらかじめ設定された範囲以下であり、
それによって、第１の前景集合からの前景区域および第２の前景集合からの前景区域が同じ位置にあり、両方の前景区域のそれぞれと基準区域との間の差があらかじめ設定された範囲以下である時、基準区域からの差が最小の前景区域を選択し、選択された前景区域を対象物として定義するために使用される。

別の実施例では、選択された少なくとも１つの前景区域が複数の対象物を含む時、選択された少なくとも１つの前景区域を対象物として定義する前に識別ユニット４０２４は、
少なくとも１つの前景区域における画素毎に、その画素を中心としたあらかじめ設定されたウィンドウにおいてウィンドウにおける各画素の高さ平均値を計算し、ウィンドウの中心を高さ平均値の位置に移動させ、現在位置におけるウィンドウの高さ平均値が前の位置におけるウィンドウのものに等しくなるまで計算プロセスおよび移動プロセスを繰り返し、ウィンドウの現在位置を対象物の位置として定義するためにも使用され、

ここで計算プロセスおよび移動プロセスは、ウィンドウにおける各画素の高さ平均値を計算し、ウィンドウの中心を高さ平均値の位置に移動させるために使用される。

別の実施例では、関連付けモジュール４０３は、
各フレームにおける対象物の位置を予測し、各フレームにおける対象物の予測された位置情報を一要素として第１の集合に格納するための予測ユニット４０３１と、
各フレームにおける検出された対象物の位置情報を一要素として第２の集合に格納するための検出ユニット４０３２と、
第１の集合における要素と第２の集合における要素とを関連付けて軌跡を形成するための関連付けユニット４０３３とを含む。

別の実施例では各フレームにおける対象物の位置を予測する時、予測ユニット４０３１は具体的には、
現在のフレームにおける検出された対象物の第１の位置に基づいて、次のフレームにおける第２の位置を中心としたあらかじめ設定された範囲において、対象物が位置する区域のものと同一サイズの区域を選択し、類似度を求めるために、選択された区域のカラー画像を対象物が位置する区域のカラー画像と比較し、
類似度が、ある閾値よりも高い、選択された区域を次のフレームにおける対象物の位置として定義するために使用され、

ここで次のフレームにおける第２の位置の位置は、現在のフレームにおける第１の位置のものと同一である。

別の実施例では、関連付けユニット４０３３は具体的には、
第１の集合における第１の要素について、位置情報があらかじめ設定された範囲内の第１の要素のものと一致する第２の要素が第２の集合で見つかった時、第２の要素を軌跡に追加し、位置情報があらかじめ設定された範囲内の第１の要素のものと一致する第２の要素が第２の集合で見つからない時、前記第１の要素を軌跡に追加し、
第２の集合における第３の要素について、位置情報があらかじめ設定された範囲内の第３の要素のものと一致する第４の要素が第１の集合で見つからない時、第３の要素を新しい軌跡に追加するために使用される。

別の実施例では第１の要素を軌跡に追加するステップの後、関連付けユニット４０３３は、
軌跡のマーク値を増加させ、軌跡のマーク値があらかじめ設定された閾値よりも大きい時、軌跡を終了するためにも使用される。

別の実施例では、第３の要素を新しい軌跡に追加するステップの後、関連付けユニット４０３３は新しい軌跡の状態を非アクティブとして設定し、新しい軌跡における要素の数があらかじめ設定された閾値よりも大きい時、新しい軌跡の状態をアクティブとして設定するためにも使用される。

別の実施例では、装置は異なる色を使用して異なる対象物に対応する軌跡を表示するための表示モジュール４０５も含む。

本実施例では、対象物が奥行き画像に従って検出され、異なるフレームにおける同一の対象物が関連付けられて軌跡が形成され、対象物の数に従って軌跡の数が決定される。奥行きデータは、整合性が高く、環境による影響を容易には受けないため奥行きデータに基づく対象物の計数は、より安定した正確な検出結果を保証する。また対象物のテクスチャおよび色情報を使用して位置が予測され、従って予測結果は位置情報のみを使用して位置を予測するものよりも正確である。

上述の実施例は単に説明のためのものであり、当業者にとってユニット／モジュールの区分は、論理的な機能にすぎず、実際の応用例において他の手段で実現できることは明白である。例えば機能的なユニット／モジュールは個々に存在していてもよく、またはすべて１台の処理ユニット／モジュールに統合されてもよく、または２つずつ１台のユニット／モジュールに統合されてもよい。上述の統合されたユニット／モジュールはハードウェアおよびソフトウェアによって実現することができる。

上述の実施例を実現するためのステップのすべてまたは一部は、ハードウェアによって、またはプログラムの命令によって関連のハードウェアによって達成することができ、前記プログラムはＲＯＭ、ディスク、または光ディスクなどの可読メモリ媒体に格納できることは、通常当業者であれば理解することができる。

上述の説明は本発明の例示的な実施例であり、本発明を限定することはできない。本発明の精神および原理の範囲内での任意の変更、同等物との置換、または改良はすべて、本発明の補償範囲内に含まれるものとする。

さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。

（付記１）
対象物を計数するための対象物計数方法であって、
任意の１つのフレームの奥行き画像を取得するステップと、
前記奥行き画像に従って対象物を検出するステップと、
異なるフレームにおける同一の対象物を関連付けて軌跡を形成するステップと、
軌跡の数に従って対象物の数を決定するステップと
を含むことを特徴とする対象物計数方法。

（付記２）
前記奥行き画像に従って対象物を検出するステップが、
前記奥行き画像に従ってカメラから地面までの距離を計算するステップと、
前記距離に従って、前記奥行き画像を地面からの高さ画像に変換するステップと、
前記高さ画像について、閾値分割を実行して少なくとも１つの前景区域集合を取得するステップと、
あらかじめ設定された基準区域に従って前記少なくとも１つの前景区域集合から対象物を識別するステップとを含むことを特徴とする付記１に記載の対象物計数方法。

（付記３）
前記高さ画像について、閾値分割を実行して少なくとも１つの前景区域集合を取得するステップが、
画像を分割するための閾値を設定し、高さが前記閾値以上である高さ画像における区域を前景区域として定義し、前記前景区域で前景区域集合を形成するステップを含み、
あらかじめ設定された基準区域に従って前記少なくとも１つの前景区域集合から対象物を識別するステップは、
前記基準区域のサイズおよび輪郭に従って前記前景区域集合から少なくとも１つの前景区域を選択し、前記選択された少なくとも１つの前景区域を対象物として定義するステップを含み、
前記選択された少なくとも１つの前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下であることを特徴とする付記２に記載の対象物計数方法。

（付記４）
前記高さ画像について、閾値分割を実行して少なくとも１つの前景区域集合を取得する前記ステップは、
画像を分割するための第１の閾値および第２の閾値を設定し、高さが前記第１の閾値以上である高さ画像における区域を第１の前景区域として定義し、前記第１の前景区域で第１の前景区域集合を形成し、高さが前記第２の閾値以上である高さ画像における区域を第２の前景区域として定義し、前記第２の前景区域で第２の前景区域集合を形成するステップを含み、
あらかじめ設定された基準区域に従って前記少なくとも１つの前景区域集合から対象物を識別する前記ステップは、
前記基準区域のサイズおよび輪郭に従って前記第１の前景区域集合および前記第２の前景区域集合から少なくとも１つの前景区域を選択し、前記選択された少なくとも１つの前景区域を対象物として定義するステップであって、前記選択された少なくとも１つの前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下であるステップと、
前記第１の前景集合からの前景区域、および前記第２の前景集合からの前景区域が同じ位置にあり、両方の前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下である場合、前記基準区域からの差が最小の前景区域を選択し、前記選択された前景区域を対象物として定義するステップとを含むことを特徴とする付記２に記載の対象物計数方法。

（付記５）
前記選択された少なくとも１つの前景区域が複数の対象物を含む場合、前記選択された少なくとも１つの前景区域を対象物として定義する前に、
前記少なくとも１つの前景区域における画素毎に、その画素を中心としたあらかじめ設定されたウィンドウにおいて、前記ウィンドウにおける各画素の高さ平均値を計算し、前記ウィンドウの中心を高さ平均値の位置に移動させ、現在位置における前記ウィンドウの高さ平均値が前の位置における前記ウィンドウのものに等しくなるまで計算プロセスおよび移動プロセスを繰り返し、前記ウィンドウの現在位置を対象物の位置として定義するステップをさらに含み、
前記計算ステップおよび移動ステップは、前記ウィンドウにおける各画素の高さ平均値を計算し、前記ウィンドウの中心を高さ平均値の位置に移動させるために使用されることを特徴とする付記３又は付記４に記載の対象物計数方法。

（付記６）
異なるフレームにおける同一の対象物を関連付けて軌跡を形成する前記ステップは、
各フレームにおける対象物の位置を予測し、各フレームにおける対象物の予測された位置情報を一要素として第１の集合に格納するステップと、
各フレームにおける検出された対象物の位置情報を一要素として第２の集合に格納するステップと、
前記第１の集合における要素と前記第２の集合における要素とを関連付けて軌跡を形成するステップとを含むことを特徴とする付記１に記載の対象物計数方法。

（付記７）
各フレームにおける対象物の位置を予測する前記ステップは、
現在のフレームにおける検出された対象物の第１の位置に基づいて、次のフレームにおける第２の位置を中心としたあらかじめ設定された範囲において、前記対象物が位置する区域のものと同一サイズの区域を選択し、類似度を求めるために、選択された区域のカラー画像を前記対象物が位置する区域のカラー画像と比較するステップと、
類似度が、ある閾値よりも高い、選択された区域を次のフレームにおける前記対象物の位置として定義するステップとを含み、
前記次のフレームにおける前記第２の位置の位置は、前記現在のフレームの前記第１の位置のものと同一であることを特徴とする付記６に記載の対象物計数方法。

（付記８）
前記第１の集合における要素と前記第２の集合における要素とを関連付けて軌跡を形成するステップは、
前記第１の集合における第１の要素について、位置情報があらかじめ設定された範囲内の前記第１の要素のものと一致する第２の要素が前記第２の集合で見つかった時、前記第２の要素を軌跡に追加し、位置情報があらかじめ設定された範囲内の前記第１の要素のものと一致する前記第２の要素が前記第２の集合で見つからない時、前記第１の要素を前記軌跡に追加するステップと、
前記第２の集合における第３の要素について、位置情報があらかじめ設定された範囲内の前記第３の要素のものと一致する第４の要素が前記第１の集合で見つからない時、前記第３の要素を新しい軌跡に追加するステップとを含むむことを特徴とする付記６に記載の対象物計数方法。

（付記９）
前記第１の要素を前記軌跡に追加する前記ステップの後に、
前記軌跡のマーク値を増加させ、前記軌跡のマーク値があらかじめ設定された閾値よりも大きい時、前記軌跡を終了するステップをさらに含むことを特徴とする付記８に記載の対象物計数方法。

（付記１０）
前記第３の要素を新しい軌跡に追加する前記ステップの後、前記方法は、
前記新しい軌跡の状態を非アクティブとして設定し、前記新しい軌跡における要素の数があらかじめ設定された閾値よりも大きい時、前記新しい軌跡の状態をアクティブとして設定するステップをさらに含むことを特徴とする付記８に記載の対象物計数方法。

（付記１１）
異なるフレームにおける同一の対象物を関連付けて軌跡を形成する前記ステップの後に、
異なる色を使用して異なる対象物に対応する軌跡を表示するステップをさらに含むことを特徴とする付記１に記載の対象物計数方法。

（付記１２）
対象物を計数するための対象物計数装置であって、
任意の１つのフレームの奥行き画像を取得するための取得モジュールと、
前記奥行き画像に従って対象物を検出するための検出モジュールと、
異なるフレームにおける同一の対象物を関連付けて軌跡を形成するための関連付けモジュールと、
軌跡の数に従って対象物の数を決定するための決定モジュールと
を備えることを特徴とする対象物計数装置。

（付記１３）
前記検出モジュールは、
前記奥行き画像に従ってカメラから地面までの距離を計算するための計算ユニットと、
前記距離に従って前記奥行き画像を地面からの高さ画像に変換するための変換ユニットと、
前記高さ画像において、閾値分割を実行して、少なくとも１つの前景区域集合を取得するための分割ユニットと、
あらかじめ設定された基準区域に従って、前記少なくとも１つの前景区域集合から対象物を識別するための識別ユニットとを有することを特徴とする付記１２に記載の対象物計数装置。

（付記１４）
前記分割ユニットは、
画像を分割するための閾値を設定し、高さが前記閾値以上である高さ画像における区域を前景区域として定義し、前記前景区域で前景区域集合を形成するために使用され、
前記識別ユニットは、
前記基準区域のサイズおよび輪郭に従って前記前景区域集合から少なくとも１つの前景区域を選択し、前記選択された少なくとも１つの前景区域を対象物として定義するために使用され、
前記選択された少なくとも１つの前景区域のそれぞれと前記基準区域との間の差はあらかじめ設定された範囲以下であることを特徴とする付記１３に記載の対象物計数装置。

（付記１５）
前記分割ユニットは、
画像を分割するための第１の閾値および第２の閾値を設定し、高さが前記第１の閾値以上である高さ画像における区域を第１の前景区域として定義し、前記第１の前景区域で第１の前景区域集合を形成し、高さが前記第２の閾値以上である高さ画像における区域を第２の前景区域として定義し、前記第２の前景区域で第２の前景区域集合を形成するために使用され、
前記識別ユニットは、
前記基準区域のサイズおよび輪郭に従って、前記第１の前景区域集合および前記第２の前景区域集合から少なくとも１つの前景区域を選択し、前記選択された少なくとも１つの前景区域を対象物として定義するために使用され、ここで、前記選択された少なくとも１つの前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下であり、
前記第１の前景集合からの前景区域、および前記第２の前景集合からの前景区域が同じ位置にあり、両方の前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下である場合、前記基準区域からの差が最小の前景区域を選択し、前記選択された前景区域を対象物として定義するために使用されることを特徴とする付記１３に記載の対象物計数装置。

（付記１６）
前記選択された少なくとも１つの前景区域が複数の対象物を含む場合、前記選択された少なくとも１つの前景区域を対象物として定義する前に、前記識別ユニットは、
前記少なくとも１つの前景区域における画素毎に、その画素を中心としたあらかじめ設定されたウィンドウにおいて、前記ウィンドウにおける各画素の高さ平均値を計算し、前記ウィンドウの中心を高さ平均値の位置に移動させ、現在位置における前記ウィンドウの高さ平均値が前の位置における前記ウィンドウのものに等しくなるまで、計算プロセスおよび移動プロセスを繰り返し、前記ウィンドウの現在位置を対象物の位置として定義するためにも使用され、
前記計算ステップおよび移動ステップは、前記ウィンドウにおける各画素の高さ平均値を計算し前記ウィンドウの中心を高さ平均値の位置に移動させるために使用されることを特徴とする付記１４又は付記１５に記載の対象物計数装置。

（付記１７）
別の実施例では前記関連付けモジュールは、
各フレームにおける対象物の位置を予測し、各フレームにおける対象物の予測された位置情報を一要素として第１の集合に格納するための予測ユニットと、
各フレームにおける検出された対象物の位置情報を一要素として第２の集合に格納するための検出ユニットと、
前記第１の集合における要素と前記第２の集合における要素とを関連付けて軌跡を形成するための関連付けユニットとを含むことを特徴とする付記１２に記載の対象物計数装置。

（付記１８）
各フレームにおける対象物の位置を予測する時、前記予測ユニットは、
現在のフレームにおける検出された対象物の第１の位置に基づいて、次のフレームにおける第２の位置を中心とした、あらかじめ設定された範囲において、前記対象物が位置する区域のものと同一サイズの区域を選択し、類似度を求めるために、選択された区域のカラー画像を前記対象物が位置する区域のカラー画像と比較し、
類似度が、ある閾値よりも高い選択された区域を、次のフレームにおける前記対象物の位置として定義するために使用され、
前記次のフレームにおける前記第２の位置の位置は、前記現在のフレームの前記第１の位置のものと同一であることを特徴とする付記１７に記載の対象物計数装置。

（付記１９）
前記関連付けユニットは、
前記第１の集合における第１の要素について、位置情報があらかじめ設定された範囲内の前記第１の要素のものと一致する第２の要素が前記第２の集合で見つかった時、前記第２の要素を軌跡に追加し、位置情報があらかじめ設定された範囲内の前記第１の要素のものと一致する前記第２の要素が前記第２の集合で見つからない時、前記第１の要素を前記軌跡に追加し、
前記第２の集合における第３の要素について、位置情報があらかじめ設定された範囲内の前記第３の要素のものと一致する第４の要素が前記第１の集合で見つからない時、前記第３の要素を新しい軌跡に追加するために使用されることを特徴とする付記１７に記載の対象物計数装置。

（付記２０）
前記第１の要素を前記軌跡に追加する前記ステップの後、前記関連付けユニットは、
前記軌跡のマーク値を増加させ、前記軌跡のマーク値があらかじめ設定された閾値よりも大きい時、前記軌跡を終了するために使用されることを特徴とする付記１９に記載の対象物計数装置。

（付記２１）
前記第３の要素を新しい軌跡に追加する前記ステップの後、前記関連付けユニットは、
前記新しい軌跡の状態を非アクティブとして設定し、前記新しい軌跡における要素の数があらかじめ設定された閾値よりも大きい時、前記新しい軌跡の状態をアクティブとして設定するために使用されることを特徴とする付記１９に記載の対象物計数装置。

（付記２２）
異なる色を使用して異なる対象物に対応する軌跡を表示するための表示モジュールをさらに含むことを特徴とする付記１２に記載の対象物計数装置。

４０１：取得モジュール
４０２：検出モジュール
４０３：関連付けモジュール
４０４：決定モジュール
４０２１：計算ユニット
４０２２：変換ユニット
４０２３：分割ユニット
４０２４：識別ユニット
４０３１：予測ユニット
４０３２：検出ユニット
４０３３：関連付けユニット
４０５：表示モジュール

Claims

対象物を計数するための対象物計数方法であって、
任意の１つのフレームの奥行き画像を取得するステップと、
前記奥行き画像に従って対象物を検出するステップと、
異なるフレームにおける同一の対象物を関連付けて軌跡を形成するステップと、
軌跡の数に従って対象物の数を決定するステップと、
を含み、
前記奥行き画像に従って対象物を検出するステップが、
前記奥行き画像に従ってカメラから地面までの距離を計算するステップと、
前記距離に従って、前記奥行き画像を地面からの高さ画像に変換するステップと、
前記高さ画像について、閾値分割を実行して少なくとも１つの前景区域集合を取得するステップと、
あらかじめ設定された基準区域に従って前記少なくとも１つの前景区域集合から対象物を識別するステップと、
を含み、
前記高さ画像について、閾値分割を実行して少なくとも１つの前景区域集合を取得するステップは、
画像を分割するための第１の閾値および第２の閾値を設定し、高さが前記第１の閾値以上である高さ画像における区域を第１の前景区域として定義し、前記第１の前景区域で第１の前景区域集合を形成し、高さが前記第２の閾値以上である高さ画像における区域を第２の前景区域として定義し、前記第２の前景区域で第２の前景区域集合を形成するステップを含み、
前記あらかじめ設定された基準区域に従って前記少なくとも１つの前景区域集合から対象物を識別するステップは、
前記基準区域のサイズおよび輪郭に従って前記第１の前景区域集合および前記第２の前景区域集合から少なくとも１つの前景区域を選択し、前記選択された少なくとも１つの前景区域を対象物として定義するステップであって、前記選択された少なくとも１つの前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下であるステップと、
前記第１の前景区域集合からの前景区域、および前記第２の前景区域集合からの前景区域が同じ位置にあり、両方の前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下である場合、前記基準区域からの差が最小の前景区域を選択し、前記選択された前景区域を対象物として定義するステップと、
を含むことを特徴とする対象物計数方法。
前記選択された少なくとも１つの前景区域が複数の対象物を含む場合、前記選択された少なくとも１つの前景区域を対象物として定義する前に、
前記少なくとも１つの前景区域における画素毎に、その画素を中心としたあらかじめ設定されたウィンドウにおいて、前記ウィンドウにおける各画素の高さ平均値を計算し、前記ウィンドウの中心を高さ平均値の位置に移動させ、現在位置における前記ウィンドウの高さ平均値が前の位置における前記ウィンドウのものに等しくなるまで計算プロセスおよび移動プロセスを繰り返し、前記ウィンドウの現在位置を対象物の位置として定義するステップをさらに含み、
前記計算プロセスおよび移動プロセスは、前記ウィンドウにおける各画素の高さ平均値を計算し、前記ウィンドウの中心を高さ平均値の位置に移動させるために使用される、
ことを特徴とする請求項１に記載の対象物計数方法。
前記異なるフレームにおける同一の対象物を関連付けて軌跡を形成するステップは、
各フレームにおける対象物の位置を予測し、各フレームにおける対象物の予測された位置情報を一要素として第１の集合に格納するステップと、
各フレームにおける検出された対象物の位置情報を一要素として第２の集合に格納するステップと、
前記第１の集合における要素と前記第２の集合における要素とを関連付けて軌跡を形成するステップと、
を含むことを特徴とする請求項１に記載の対象物計数方法。
前記各フレームにおける対象物の位置を予測するステップは、
現在のフレームにおける検出された対象物の第１の位置に基づいて、次のフレームにおける第２の位置を中心としたあらかじめ設定された範囲において、前記対象物が位置する区域のものと同一サイズの区域を選択し、類似度を求めるために、選択された区域のカラー画像を前記対象物が位置する区域のカラー画像と比較するステップと、
類似度が、ある閾値よりも高い、選択された区域を次のフレームにおける前記対象物の位置として定義するステップと、
を含み、
前記次のフレームにおける前記第２の位置の位置は、前記現在のフレームの前記第１の位置のものと同一である、
ことを特徴とする請求項３に記載の対象物計数方法。
前記第１の集合における要素と前記第２の集合における要素とを関連付けて軌跡を形成するステップは、
前記第１の集合における第１の要素について、位置情報があらかじめ設定された範囲内の前記第１の要素のものと一致する第２の要素が前記第２の集合で見つかった時、前記第２の要素を軌跡に追加し、位置情報があらかじめ設定された範囲内の前記第１の要素のものと一致する前記第２の要素が前記第２の集合で見つからない時、前記第１の要素を前記軌跡に追加するステップと、
前記第２の集合における第３の要素について、位置情報があらかじめ設定された範囲内の前記第３の要素のものと一致する第４の要素が前記第１の集合で見つからない時、前記第３の要素を新しい軌跡に追加するステップと、
を含むことを特徴とする請求項３に記載の対象物計数方法。
前記異なるフレームにおける同一の対象物を関連付けて軌跡を形成するステップの後に、
異なる色を使用して異なる対象物に対応する軌跡を表示するステップをさらに含む、
ことを特徴とする請求項１に記載の対象物計数方法。
対象物を計数するための対象物計数装置であって、
任意の１つのフレームの奥行き画像を取得するための取得モジュールと、
前記奥行き画像に従って対象物を検出するための検出モジュールと、
異なるフレームにおける同一の対象物を関連付けて軌跡を形成するための関連付けモジュールと、
軌跡の数に従って対象物の数を決定するための決定モジュールと、
を備え、
前記検出モジュールは、
前記奥行き画像に従ってカメラから地面までの距離を計算するための計算ユニットと、
前記距離に従って前記奥行き画像を地面からの高さ画像に変換するための変換ユニットと、
前記高さ画像において、閾値分割を実行して、少なくとも１つの前景区域集合を取得するための分割ユニットと、
あらかじめ設定された基準区域に従って、前記少なくとも１つの前景区域集合から対象物を識別するための識別ユニットと、
を有し、
前記分割ユニットは、
画像を分割するための第１の閾値および第２の閾値を設定し、高さが前記第１の閾値以上である高さ画像における区域を第１の前景区域として定義し、前記第１の前景区域で第１の前景区域集合を形成し、高さが前記第２の閾値以上である高さ画像における区域を第２の前景区域として定義し、前記第２の前景区域で第２の前景区域集合を形成するために使用され、
前記識別ユニットは、
前記基準区域のサイズおよび輪郭に従って、前記第１の前景区域集合および前記第２の前景区域集合から少なくとも１つの前景区域を選択し、前記選択された少なくとも１つの前景区域を対象物として定義するために使用され、ここで、前記選択された少なくとも１つの前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下であり、
前記第１の前景区域集合からの前景区域、および前記第２の前景区域集合からの前景区域が同じ位置にあり、両方の前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下である場合、前記基準区域からの差が最小の前景区域を選択し、前記選択された前景区域を対象物として定義するために使用される、
ことを特徴とする対象物計数装置。
コンピュータに、
任意の１つのフレームの奥行き画像を取得するステップと、
前記奥行き画像に従って対象物を検出するステップと、
異なるフレームにおける同一の対象物を関連付けて軌跡を形成するステップと、
軌跡の数に従って対象物の数を決定するステップと、
を実行させるための対象物計数プログラムであって、
前記奥行き画像に従って対象物を検出するステップが、
前記奥行き画像に従ってカメラから地面までの距離を計算するステップと、
前記距離に従って、前記奥行き画像を地面からの高さ画像に変換するステップと、
前記高さ画像について、閾値分割を実行して少なくとも１つの前景区域集合を取得するステップと、
あらかじめ設定された基準区域に従って前記少なくとも１つの前景区域集合から対象物を識別するステップと、
を含み、
前記高さ画像について、閾値分割を実行して少なくとも１つの前景区域集合を取得するステップは、
画像を分割するための第１の閾値および第２の閾値を設定し、高さが前記第１の閾値以上である高さ画像における区域を第１の前景区域として定義し、前記第１の前景区域で第１の前景区域集合を形成し、高さが前記第２の閾値以上である高さ画像における区域を第２の前景区域として定義し、前記第２の前景区域で第２の前景区域集合を形成するステップを含み、
前記あらかじめ設定された基準区域に従って前記少なくとも１つの前景区域集合から対象物を識別するステップは、
前記基準区域のサイズおよび輪郭に従って前記第１の前景区域集合および前記第２の前景区域集合から少なくとも１つの前景区域を選択し、前記選択された少なくとも１つの前景区域を対象物として定義するステップであって、前記選択された少なくとも１つの前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下であるステップと、
前記第１の前景区域集合からの前景区域、および前記第２の前景区域集合からの前景区域が同じ位置にあり、両方の前景区域のそれぞれと前記基準区域との間の差があらかじめ設定された範囲以下である場合、前記基準区域からの差が最小の前景区域を選択し、前記選択された前景区域を対象物として定義するステップと、
を含む、
ことを特徴とする対象物計数プログラム。