JP5115556B2 - 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム - Google Patents
物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム Download PDFInfo
- Publication number
- JP5115556B2 JP5115556B2 JP2009521675A JP2009521675A JP5115556B2 JP 5115556 B2 JP5115556 B2 JP 5115556B2 JP 2009521675 A JP2009521675 A JP 2009521675A JP 2009521675 A JP2009521675 A JP 2009521675A JP 5115556 B2 JP5115556 B2 JP 5115556B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- stationary
- layer
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
Description
【技術分野】
【０００１】
本発明は、動画像に基づいて静止物体上に重なっている物体を区別して検出する物体領域検出装置等に関する。
【背景技術】
【０００２】
この種の物体領域検出装置等は、静止物体上に重なっている物体を区別して検出するために用いられる。以下その関連技術について説明する。
【０００３】
関連技術の第一例が、特許文献１に記載されている。特許文献１に記載の移動体認識方法は、予め登録されている対象物体のテンプレート画像、又は、物体の出現位置や出現タイミングが何らかの方法で分かることに基づいて取得した対象物体のテンプレート画像を用い、パターンマッチングにて物体を追跡する。これにより、物体に重なりが生じても、物体の位置を検出して、重なっている物体を区別している。
【０００４】
関連技術の第二例が、特許文献２に記載されている。特許文献２に記載の路上物体監視装置は、物体を含まない基準画像を背景画像とし、その背景画像と入力画像（時刻ｔ）との差分から背景差分画像を生成する（背景差分法）。また、時刻ｔにおける入力画像と時刻（ｔ−１）における入力画像との差分から、連続差分画像を生成する。これら両差分画像を二値化し、それらの論理積から移動物体を検出し、それらの排他的論理和から静止物体を検出し、これによって重なっている物体を区別している。
【０００５】
【特許文献１】
特開平６−０３０４１７号公報（図２０等）
【特許文献２】
特開平６−１８０７４９号公報（図１等）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１，２に記載の関連技術では、次のような問題があった。
【０００７】
特許文献１の関連技術では、対象物体を特定していないときに静止物体から新たな物体が出現しその静止物体上に滞在する場合に、重なっている物体を静止物体と区別して検出できない。その理由は、対象物体を特定していないので、予め対象物体のテンプレート画像を登録できないためである。また、物体から新たな物体が突然に出現することにより、新たな物体の出現位置や出現タイミングが定まらないので、対象物体のテンプレート画像を取得できないためである。この問題の状況例としては、一時的に停車したバスから乗客が降り、バスの手前で滞在している場合などがある。
［０００８］
特許文献２の関連技術では、静止物体（物体Ａ）上に別の静止物体（物体Ｂ）が重なっている場合、重なっている静止物体同士を区別して検出できないことである。その理由は、重なっている静止物体（物体Ｂ）は動きが生じないので、連続差分画像に現れないためである。
［０００９］
また、特許文献２の関連技術では、単色の物体がある一定の方向に移動する場合、重なっている物体が存在しないのに存在するかのように誤って検出されてしまうことである。その理由は、連続する入力画像において物体の重なり部分のみが連続差分画像に現れないためである。
［００１０］
そこで、本発明の目的は、物体から新たな物体が出現する場合にも重なっている物体を区別して検出できるとともに、静止物体上に別の静止物体が重なっていても重なっている物体を区別して検出できる物体領域検出装置等を提供することにある。
課題を解決するための手段
［００１１］
本発明に係る物体領域検出装置は、入力画像と物体を含まない背景情報を用いて物体領域を検出する第一の手段と、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として検出する第二の手段と、前記静止領域の情報を時系列的な背景情報として蓄積する第三の手段と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する第四の手段と、を備えたことを特徴とする。
［００１２］
本発明に係る物体領域検出システムは、本発明に係る物体領域検出装置と、動画像から入力画像を取得して前記物体領域検出装置へ出力する画像取得手段と、前記特徴値及び前記静止物体層情報を含む情報を記憶する記憶装置と、を備えたことを特徴とする。
［００１３］
本発明に係る物体領域検出方法は、入力画像と物体を含まない背景情報を用いて物体領域を検出するステップａと、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として検出するステップｂと、前記静止領域の情報を時系列的な背景情報として蓄積するステップｃと、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出するステップｄと、を含むことを特徴とする。
［００１４］
本発明に係る物体領域検出用プログラムは、コンピュータに、入力画像と物体を含まない背景情報を用いて物体領域を検出する機能と、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として検出する機能と、前記静止領域の情報を時系列的な背景情報として蓄積する機能と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する機能とを実行させることを特徴とする。
発明の効果
［００１５］
本発明によれば、物体から新たな物体が出現する場合にも重なっている物体を区別して検出できるとともに、静止物体上に別の静止物体が重なっていても重なっている物体を区別して検出できる。
発明を実施するための最良の形態
［００１６］
以下、本発明の実施形態を図に基づいて説明する。
図１は、本発明の実施形態に係る物体領域検出装置及び物体領域検出システムの一例を示すブロック図である。図２及び図３は、動作の概要を示す説明図である。以下、これらの図面に基づき説明する。
［００１７］
本発明の実施形態に係る物体領域検出システム１００は、本発明の実施形態に係る物体領域検出装置としてのデータ処理装置２と、動画像から入力画像を取得してデータ処理装置２へ出力する画像取得手段１と、後述する特徴値及び静止物体層情報を含む情報を記憶する記憶装置３とを備えている。データ処理装置２は、例えばプログラムをコンピュータに実行させることにより実現することが可能である。画像取得手段１は、例えばビデオキャプチャと呼ばれるハードウェア及びソフトウェアであり、カメラ、ビデオ等の動画像から入力画像を取得する。記憶装置３は、ハードディスクや半導体メモリなどの一般的なものである。
【００１８】
次に、本発明の実施形態に係るデータ処理装置２の概要について説明する。データ処理装置２は、時系列的に連続する複数の入力画像について物体領域を検出する第一の手段１０１と、前記物体領域に含まれる静止領域を前記連続する複数の入力画像から検出する第二の手段１０２と、前記静止領域の情報を時系列的な背景情報として蓄積する第三の手段１０３と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する第四の手段１０４と、を備えたことを特徴とする。
【００１９】
データ処理装置２は、次のように動作する。先ず、第一の手段１０１は、特徴抽出手段２１が取得した時系列的に連続する複数の入力画像（特徴画像）について、物体領域を検出する。第一の手段１０１は、図２［１］に示すように、時刻ｔ＝１から５までの時系列的に連続する複数の入力画像（特徴画像）について、例えば予め登録された背景画像と比較する等の方法を用いて、ハッチングで示す物体領域を検出する。第二の手段１０２は、前記検出した物体領域に含まれる静止領域を、連続する複数の入力画像（特徴画像）と前記検出した物体領域から検出する。第二の手段１０２は図２［２］に示すように、例えば前記検出した物体領域に含まれる全ての画素に対して連続する複数の入力画像（特徴画像）から輝度の変化が安定している画素を安定領域として求め、各物体単位の安定領域について動き量が小さい領域を静止領域として検出する。
【００２０】
続いて、第三の手段１０３は、前記検出した静止領域における特徴抽出手段２１から取得した情報（例えば輝度に関する情報など）を時系列的な背景情報として記憶装置３に蓄積する。
【００２１】
第三の手段１０３は図２［３］のような場合、ｔ＝１の入力画像（特徴画像）には静止領域が存在しないので、ｔ＝２〜５の入力画像（特徴画像）について静止領域の情報（例えば輝度など）を時系列的な背景情報として記憶装置３に蓄積する。このとき、第三の手段１０３は、時系列的な複数の背景情報から画素単位で情報を取り出し、例えば図３に示すように加工して、後で詳述する静止物体層を生成するようにしてもよい。すなわち、全ての画素に対する静止物体層の集まりは、複数の背景情報に相当する。最後に、第四の手段１０４は、時系列的な背景情報と物体領域の情報とを比較して、その物体領域に含まれる各物体を検出する。例えば、時系列的な複数の背景情報の一部である図３の静止物体層１，２と、図２のｔ＝５の物体領域における画素Ａ，Ｂとの輝度を比較すると、画素Ａは静止物体層１に属し，画素Ｂは静止物体層２に属することがわかる。つまり、第四の手段１０４は、画素Ａを含む静止物体上に画素Ｂを含む静止物体が重なっているとして検出できる。
【００２２】
このように、本発明の実施形態によれば、静止した物体領域の情報を新たな背景情報として取り扱うことにより、複数の背景情報の時間的な関係と入力画像とを用い、画素単位又は局所画像単位で物体領域を判定できるので、対象物体のテンプレート画像を用いることなく、重なっている物体を区別して検出することができる。しかも、静止した物体領域の情報を新たな背景情報として取り扱うことにより、複数の背景情報に対して時間的な関係を持たせ、この時間的な関係を利用することができるので、静止物体上に別の静止物体が重なっていても、その別の静止物体が存在する以前に蓄積された複数の背景情報と比較することにより、静止物体上に重なっている静止物体を検出することができる。
【００２３】
本発明の実施形態に係るデータ処理装置２の構成を具体的に説明する。図１に示すように、第一の手段１０１は、特徴抽出手段２１及び物体検出手段２２とを含んでいる。第二の手段１０２としての静止領域取得手段２３、第三の手段１０３としての静止物体層生成手段２４と、第四の手段１０４としての物体分離検出手段２５とを有している。
【００２４】
特徴抽出手段２１は、前記入力画像の各画素について特徴値を抽出するとともに、当該入力画像を特徴画像として出力する。物体検出手段２２は、特徴抽出手段２１が抽出した前記特徴画像から、物体の存在する物体領域を検出する。静止領域取得手段２３は、物体検出手段２２が検出した前記物体領域に含まれる動きが静止している領域を、静止領域として取得する。静止物体層生成手段２４は、静止領域取得手段２３が取得した前記静止領域の各画素の前記特徴値に基づき、静止物体層及びその静止物体層情報を生成する。物体分離検出手段２５は、前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して、当該静止物体上に重なっている当該物体を検出する。
【００２５】
静止領域取得手段２３は、前記物体領域の各画素の特徴値の時系列データからその分散値を求め、一定以下の前記分散値を持つ前記各画素を時間的変化が安定している安定領域として抽出し、物体単位の前記安定領域についてその動き量を求め、一定以下の前記動き量を持つ前記安定領域を前記静止領域として取得する。また、静止領域取得手段２３は、物体単位の前記安定領域の各画素に対してテンプレートマッチングによるオプティカルフローを求め、そのオプティカルフローの大きさをマッチング距離で重み付けをした加重平均又は前記オプティカルフローの大きさを前記物体領域の輪郭付近で大きく重み付けをした加重平均によって前記動き量を算出する。
【００２６】
静止物体層生成手段２４は、前記静止領域の各画素の前記特徴値を既存の前記静止物体層の基準特徴値と比較して特徴間距離が最も近くかつ一定以下の前記静止物体層があるならば、当該静止物体層に当該静止領域の前記特徴値が属すると決定して当該静止物体層情報を更新するとともに、前記静止領域の前記特徴値が属する前記静止物体層の層生成時刻よりも新しい層生成時刻を持つ前記静止物体層を削除し、前記静止領域の前記特徴値が属する前記静止物体層がないとき又は既存の前記静止物体層が一つも存在しないときには新しく前記静止物体層を生成するとともにその前記静止物体層情報を設定し、前記物体領域以外の画素に対しては前記静止物体層の全てを削除する。
【００２７】
物体分離検出手段２５は、前記物体領域の各画素の前記特徴値を既存の前記静止物体層情報と比較する際に、予め記憶している検出対象時間を現在時刻から差分することにより検出対象時刻を算出し、この検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層を一つ選択して比較の対象とする。また、物体分離検出手段２５は、前記検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層が存在しないとき又は前記静止物体層が一つも存在しないときに、前記物体領域の前記各画素を前記静止物体上に重なっている前記物体として検出する。更に、物体分離検出手段２５は、前記物体領域の各画素の前記特徴値と選択された前記静止物体層情報を参照して得られる平均値及び分散値とを用いて、前記特徴値と前記平均値との差分量の絶対値又はその絶対値を標準偏差で正規化した値を類似性を表す距離とし、一定値以上の類似性を表す距離を持つ前記各画素を前記静止物体上に重なっている前記物体として検出する。
【００２８】
以上のように本発明の実施形態に係るデータ処理装置２を具体的に説明すると、本発明の実施形態に係るデータ処理装置２は、入力画像から全ての画素に対する特徴値を抽出し特徴画像を取得し、その特徴画像を画像蓄積手段３１に蓄積する特徴抽出手段２１と、特徴画像から検出した物体領域を二値化画像として取得し、更に、この二値化画像に対して近傍の画素を一つの物体として抽出し、それらの物体に対して物体ＩＤ、その矩形位置及び矩形サイズを取得する物体検出手段２２と、物体領域に含まれる全ての画素に対する特徴値の分散値を時系列から求め、予め定められた閾値以下の分散値を持つ画素を時間的変化が安定している安定領域として抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、予め定められた閾値以下の動き量を持つ領域を静止領域として取得する静止領域取得手段２３と、静止領域に含まれる全ての画素に対して、特徴値と静止物体層情報記憶手段３２の静止物体層情報（静止物体層とは、画素に対応する静止物体毎の静止物体情報のまとまりを表す。）を取得し、クラスタリングにより特徴値が属する静止物体層を決定し、属する静止物体層情報を更新する静止物体層生成手段２４と、物体領域に含まれる全ての画素に対し、特徴値と検出対象時間記憶手段３３に記憶されている検出対象時間から選択された静止物体層情報とを用い、類似性を表す距離を計算し、予め定められた閾値以上の類似性を表す距離を持つ画素を静止物体上に重なっている物体として検出する物体分離検出手段２５とを有する。
【００２９】
このような構成を採用したことにより、データ処理装置２は次の効果を奏する。対象物体のテンプレート画像を用いなくても、静止物体上に重なっている物体を区別して検出できる。また、静止領域に対する特徴値を静止物体層という形で画素毎に記憶し、検出対象時間にて選択した静止物体層情報と特徴値とを比較し（例えば類似性を表す距離による判定によって）静止物体上に重なっている物体を検出することにより、静止物体上に別の静止物体が重なっていても、重なっている物体を区別して検出できる。また、物体領域から特徴値の時系列変化が安定している安定領域を抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、その動き量から物体単位で安定領域が静止領域であるかを判定することで、ある一定方向に移動する単色の物体に対し、物体の一部が静止領域になってしまうことを防ぐことができる。
【００３０】
次に、本発明の実施形態について図面を参照して更に詳細に説明する。
【００３１】
記憶装置３は、画像蓄積手段３１と、静止物体層情報記憶手段３２と、検出対象時間記憶手段３３とを備える。
【００３２】
画像蓄積手段３１は、ＦＩＦＯ（First In First Out）バッファであり、時系列のｎ枚の画像を蓄積している。「ｎ」は、特徴値の時間的変化が安定であると判断できる量であり、予め定められた量とする。図５の（ａ）が特徴画像としたときの蓄積状態を、図５の（ｂ）に示す。
【００３３】
静止物体層情報記憶手段３２は、各画素に対する各静止物体層の静止物体層情報が記憶されている。記憶される情報は、層生成時刻、基準特徴値、特徴値数、特徴値の総和、特徴値の二乗総和、平均値、分散値等である。図４に、記憶される静止物体層情報の一例を示す。なお、図４に例示した基準特徴値は、層生成時刻における画素の特徴値である。
【００３４】
検出対象時間記憶手段３３は、検出対象時間を記憶する。検出対象時間とは、静止物体上に重なっている静止物体について、検出対象を決定するために必要な時間である。この時間をｔｘと設定すると、現在時刻からｔｘ前以内に静止した重なっている静止物体と、重なっている移動物体とを、検出することができる。
【００３５】
データ処理装置２は、特徴抽出手段２１と、物体検出手段２２と、静止領域取得手段２３と、静止物体層生成手段２４と、物体分離検出手段２５とを備える。
【００３６】
特徴抽出手段２１は、画像取得手段１で取得された入力画像から全ての画素に対する特徴値を抽出し、特徴画像として出力する。特徴値とは、輝度値、色相、ＲＧＢの各値、エッジ、カメラから物体までの距離値などであり、物体の静止時に安定となり、物体の移動時に不安定となる特徴値であれば基本的によい。
【００３７】
物体検出手段２２は、特徴抽出手段２１から得られる特徴画像から物体領域を検出し、二値化画像として出力する。更に、物体検出手段２２は、この二値化画像に対して近傍の画素を一つの物体として抽出し、それらの物体に対して物体ＩＤ、その矩形位置及び矩形サイズを出力する。物体検出手段２２は、具体的には、物体検出方法の一つである背景差分法と閾値による二値化処理とを用い、物体領域である二値化画像を取得する。また、物体検出手段２２は、この二値化画像に対して画像処理の一つである論理フィルタを用いた膨張処理や収縮処理などを行い、近傍の画素を一つの物体とする。更に、物体検出手段２２は、画像処理の一つであるラベリング処理を行った後、ラベル化された各物体に対して物体ＩＤ、その矩形位置及び矩形サイズを求め出力する。もちろん、特徴画像から全ての物体が検出できれば、その他の方法でも良い。また、ここで検出される物体は、物体同士が重なっている場合、一つの物体として出力されることになる。図５の（ａ）が特徴画像であるとすると、図５の（ｃ）が得られる物体領域の二値化画像、物体ＩＤ、その矩形位置及び矩形サイズである。なお、図５の（ａ）において、４１は移動人物、４２は静止人物、４３は静止したバス、４４は移動する自動車、４５は背景の木である。図５の（ｃ）において、斜線部分が取得された物体領域である。
【００３８】
静止領域取得手段２３は、物体検出手段２２と画像蓄積手段３１とから情報を取得し、物体領域で動きが静止している静止領域を二値化画像として出力する。具体的に説明すると、静止領域取得手段２３はまず、静止領域取得手段２３は物体検出手段２２から得られた物体領域に含まれる全ての画素に対し、画像蓄積手段３１に時系列で蓄積されている特徴値から分散値を求め、予め定められた閾値以下の分散値を持つ画素を時間的変化が安定している画素とし、これを安定領域として抽出する。続いて、静止領域取得手段２３は、各物体の安定領域に対して一つの動き量を求め、予め定められた閾値以下の動き量を持つ領域を静止領域として取得する。動き量を用いることで、単色の移動物体で誤って静止領域となってしまう部分を取り除くことができる。各物体とその物体領域とのリンクは、物体ＩＤとその矩形位置及び矩形サイズで行う。
【００３９】
また、動き量とは、その領域（空間的な塊）が動いている時に大きくなり、静止している時に小さくなる量である。動き量の計算は、物体単位の安定領域に含まれる全ての画素に対して、オプティカルフローを求めその大きさの平均をとる、テンプレートマッチングによるオプティカルフローを求めその大きさをマッチング距離で重み付けをし加重平均をとる、オプティカルフローを求めその大きさを物体領域の輪郭付近に大きく重み付けをし加重平均をとるなどの方法があり、この他にも様々な方法が考えられる。なお、オプティカルフローとは、時間的に連続するデジタル画像の中で、物体の動きをベクトルで表したものである。図５の（ｃ）が物体領域の二値化画像であるとすると、図５の（ｄ）の斜線部分が取得される安定領域であり、図５の（ｅ）の斜線部分が取得される静止領域である。
【００４０】
静止物体層生成手段２４は、特徴抽出手段２１から得られる特徴画像と、静止領域取得手段２３から得られる二値化画像と、静止物体層情報記憶手段３２の静止物体層情報とを用い、静止物体層情報記憶手段３２の静止物体層情報を更新する。具体的に説明すると、静止物体層生成手段２４は、まず、静止領域取得手段２３から得られた静止領域に含まれる全ての画素に対して、特徴抽出手段２１から得られる特徴画像の特徴値Ｘｉと、静止物体層情報記憶手段３２から基準特徴値全てを取得する。静止物体層生成手段２４は、これらを用い、画素毎にNearest Neighbor法（以下「ＮＮ法」という。）によるクラスタリングを行い、特徴値Ｘｉが属する静止物体層を決定する。特徴値Ｘｉが既存の静止物体層に属する場合、属する静止物体層に対し、式（１）で特徴値数Ｎｉを更新し、式（２）で特徴値の総和Ｓｉを更新し、式（３）で特徴値の二乗総和Ｕｉを更新し、式（４）で平均値μｉを更新し、式（５）で分散値σ２ ｉを更新する。更に、静止物体層生成手段２４は、属する静止物体層の層生成時刻とそれ以外の静止物体層の層生成時刻とを比較し、属した静止物体層の層生成時刻より新しい層生成時刻を持つ静止物体層を削除する。これは、再び古い静止物体層が現れたことにより、静止している物体が除かれたと仮定したものである。図６に削除された静止物体層の一例（静止物体層２）を示す。
【００４１】
【数１】
【００４２】
【数２】
【００４３】
【数３】
【００４４】
【数４】
【００４５】
【数５】
【００４６】
ここで、Ｘは特徴値、Ｎは特徴値の数、Ｓは特徴値の総和、Ｕは特徴値の二乗総和、μは平均値、σ２は分散値、ｉ−１は更新前、ｉは更新後、（ｘ、ｙ）は画素の位置、ｌは属する静止物体層を表す。
【００４７】
特徴値Ｘｉが属する静止物体層がない場合、又は、既存の静止物体層が一つも存在しない場合は、新しく静止物体層を生成し、現在の時刻を層生成時刻に設定、特徴値数Ｎｉを１に設定、特徴値Ｘｉを基準特徴値・特徴値の総和に設定、特徴値Ｘｉの二乗を特徴値の二乗総和に設定、式（４）で平均値μｉを設定、式（５）で分散値σ２ ｉを設定する。また、物体検出手段２２から得られる物体領域以外の画素については、全ての静止している物体が除かれ背景が出現したと仮定し、その画素に対する静止物体層全てを削除する。これらにより、静止物体層情報記憶手段３２の静止物体層情報を更新することができる。
【００４８】
次に、ここで示すＮＮ法によるクラスタリングについて説明する。まず、画素に対して、特徴値Ｘと静止物体層の基準特徴値Ｂの全てとを取得し、式（６）を用い最小の特徴間距離ｄｍｉｎを求める。
【００４９】
【数６】
【００５０】
ここで、Ｘは特徴値、Ｂは静止物体層の基準特徴値、（ｘ、ｙ）は画素の位置、ｌは静止物体層、Ｌ（ｘ、ｙ）は画素に対する全ての静止物体層を表す。
【００５１】
最小の特徴間距離ｄｍｉｎが予め定められた閾値ｄｔｈより小さい場合は、その特徴値Ｘは最小の特徴間距離ｄｍｉｎを与える静止物体層ｌに属すると決定する。閾値ｄｔｈ以上である場合は、属する静止物体層はないとし、新しい静止物体層を生成することとする。以上が、ここで示すＮＮ法によるクラスタリングである。
【００５２】
物体分離検出手段２５は、物体検出手段２２から得られた物体領域に含まれる全ての画素に対し、特徴抽出手段２１から得られる特徴画像の特徴値と、検出対象時間記憶手段３３に記憶されている検出対象時間から選択された静止物体層情報記憶手段３２に記憶されている静止物体層情報とを用い、類似性を表す距離を判定することで静止物体上に重なっている物体を検出する。具体的に説明すると、物体分離検出手段２５は、まず、検出対象時間記憶手段３３に記憶されている検出対象時間を現在時刻から差分し、検出対象時刻を算出する。続いて、物体分離検出手段２５は、物体検出手段２２から得られた物体領域に含まれる全ての画素に対し、特徴抽出手段２１から得られる特徴画像の特徴値を取得し、算出された検出対象時刻より古くかつ最も新しい層生成時刻を持つ静止物体層を静止物体層情報記憶手段３２から選択する。物体分離検出手段２５は、取得された特徴値と選択された静止物体層の情報とを用い、式（７）又は式（８）にて、類似性を表す距離Ｄを求め、予め定められた閾値以上の類似性を表す距離を持つ画素を、静止物体上に重なっている物体として検出する。この他、上記の静止物体層の選択において条件を満たす静止物体層が存在しない場合、又は、静止物体層が一つも存在しない場合にも、静止物体上に重なっている物体として検出する。
【００５３】
【数７】
【００５４】
【数８】
【００５５】
ここで、Ｘは特徴値、μは平均値、σ２は分散値、（ｘ、ｙ）は画素の位置、ｌは選択された静止物体層を表す。
【００５６】
これにより、現在時刻から検出対象時刻以内に静止した重なっている静止物体と、重なっている移動物体とを、検出することができる。検出対象時間を０とすると重なっている移動物体のみを検出することができる。図７には、物体分離検出の一例を示す。
【００５７】
次に、図１及び図８乃至図１４を参照して、本発明の実施形態に係る物体領域検出システム１００の動作について詳細に説明する。
【００５８】
まず、図１及び図８に示すように、検出対象時間記憶手段３３に、静止物体上に重なっている静止物体の検出対象を決定するために必要な時間である検出対象時間を設定する（ステップＳ１）。画像取得手段１は、カメラ、ビデオ等の動画像から画像を取得する（ステップＳ２）。特徴抽出手段２１は、取得された画像から全ての画素に対する特徴値を抽出し、特徴画像を取得する（ステップＳ３）。更に、取得された特徴画像を画像蓄積手段３１に蓄積する（ステップＳ４）。物体検出手段２２は、取得された特徴画像から従来手法などを用い物体領域として二値化画像を取得し、更に、この二値化画像に対して従来手法などを用い、近傍の画素を一つの物体として抽出し、それらの物体に対して物体ＩＤとその矩形位置及び矩形サイズとを取得する。物体領域を示す二値化画像は、最終出力にもなる（ステップＳ５）。ここで求めた物体領域は、物体同士が重なっている場合に一つの物体として出力されるものである。静止領域取得手段２３は、物体領域で動きが静止している領域を静止領域とし、その二値化画像を取得する（ステップＳ６）。
【００５９】
ここで、図９及び図１０に基づいてステップＳ６を更に詳細に説明する。静止領域取得手段２３は、まず、物体検出手段２２で取得される二値化画像に物体領域が存在するか否かを判定する（ステップＳ６０１）。静止領域取得手段２３は、存在しない場合は、静止領域は取得しない。静止領域取得手段２３は、存在する場合は、物体領域に含まれる画素を一つ選択し（ステップＳ６０２）、その画素に対し画像蓄積手段３１に時系列で蓄積されている特徴値から分散値を計算する（ステップＳ６０３）。静止領域取得手段２３は、その分散値が予め定められた閾値以下であるか否かを判定し（ステップＳ６０４）、閾値以下である場合のみ、選択した画素を安定領域として抽出する（ステップＳ６０５）。そして静止領域取得手段２３は、、物体領域に含まれる全ての画素にステップＳ６０２〜Ｓ６０５の処理を行ったか否かを判定する（ステップＳ６０６）。ステップＳ６０２からステップＳ６０６までの処理は、物体領域に含まれる全ての画素に行われるまで繰り返される。
【００６０】
続いて、静止領域取得手段２３は、上記ステップＳ６にて、安定領域が存在するか否か（取得できたか否か）を判定する（ステップＳ６０７）。静止領域取得手段２３は、存在しない場合は、静止領域は取得しない。静止領域取得手段２３は、存在する場合は、物体検出手段２２で取得した物体ＩＤとその矩形位置及び矩形サイズとを用い、物体に対応した安定領域を一つ選択する（ステップＳ６０８）。静止領域取得手段２３は、その領域に対して動き量を計算し（ステップＳ６０９）、予め定められた閾値以下であるか否かを判定する（ステップＳ６１０）。静止領域取得手段２３は、閾値以下である場合のみ、選択した安定領域を静止領域として抽出する（ステップＳ６１１）。そして、静止領域取得手段２３は、物体に対応する安定領域全てにステップＳ６０８〜Ｓ６１１の処理を行ったか否かを判定する（ステップＳ６１２）。ステップＳ６０８からステップＳ６１２までの処理は、物体に対応する安定領域全てに行われるまで繰り返される。以上より、静止領域を取得する。
【００６１】
続いて、図１及び図８に示すように、静止物体層生成手段２４は、静止領域に含まれる全ての画素に対して特徴値を取得し、静止物体層情報記憶手段３２の静止物体層情報を更新する（ステップＳ７）。
【００６２】
ここで、図１１及び図１２に基づいてステップＳ７を更に詳細に説明する。静止物体層生成手段２４は、まず、静止領域取得手段２３で取得される二値化画像に静止領域が存在するか否かを判定する（ステップＳ７０１）。静止物体層生成手段２４は、存在する場合は、静止領域に含まれる画素を一つ選択し（ステップＳ７０２）、その画素に対する特徴値を特徴抽出手段２１から取得する（ステップＳ７０３）。また静止物体層生成手段２４は、その画素に対する静止物体層が存在するか否かを静止物体層情報記憶手段３２から判定し（ステップＳ７０４）、静止物体層が存在する場合は、静止物体層情報記憶手段３２から選択した画素に対応する静止物体層の基準特徴値を全て取得する（ステップＳ７０５）。静止物体層生成手段２４は、ステップＳ７０３で取得した特徴値とステップＳ７０５で取得した静止物体層の基準特徴値の全てとを用い、式（６）で最小の特徴間距離ｄｍｉｎを計算し（ステップＳ７０６）、その最小の特徴間距離ｄｍｉｎが予め定められた閾値ｄｔｈ以下であるか否かを判定する（ステップＳ７０７）。静止物体層生成手段２４は、ステップＳ７０４で静止物体層が存在しない場合、又は、ステップＳ７０７で最小の特徴間距離ｄｍｉｎが閾値ｄｔｈ以下でない場合は、選択した画素に対し新しい静止物体層を生成し、現在の時刻を層生成時刻に設定し、特徴値数Ｎｉを１に設定し、特徴値Ｘｉを基準特徴値・特徴値の総和に設定し、特徴値Ｘｉの二乗を特徴値の二乗総和に設定し、式（４）で平均値μｉを設定し、式（５）で分散値σ２ ｉを設定する（ステップＳ７０８）。静止物体層生成手段２４は、ステップＳ７０７で最小の特徴間距離ｄｍｉｎが閾値ｄｔｈ以下である場合は、特徴値が最小の特徴間距離ｄｍｉｎを与える静止物体層に属していることとし、属する静止物体層に対して、式（１）で特徴値数Ｎｉを更新し、式（２）で特徴値の総和Ｓｉを更新し、式（３）で特徴値の二乗総和Ｕｉを更新し、式（４）で平均値μｉを更新し、式（５）で分散値σ２ ｉを更新する（ステップＳ７０９）。
【００６３】
更に、静止物体層生成手段２４は、選択した画素に対して、属する静止物体層以外の静止物体層が存在するか否かを判定し（ステップＳ７１０）、存在する場合は、属する静止物体層以外の静止物体層を一つ選択する（ステップＳ７１１）。静止物体層生成手段２４は、属する静止物体層の層生成時刻より選択した静止物体層の層生成時刻が新しいか否かを判定し（ステップＳ７１２）、新しい場合のみ、静止物体層情報記憶手段３２から選択した静止物体層を削除する（ステップＳ７１３）。そして静止物体層生成手段２４は、、属する静止物体層以外の静止物体層全てにステップＳ７１１〜Ｓ７１３の処理を行ったか否かを判定する（ステップＳ７１４）。ステップＳ７１１からステップＳ７１４までの処理は、属する静止物体層以外の静止物体層全てに行われるまで繰り返される。静止物体層生成手段２４は、ステップＳ７０８の処理が完了した場合、又は、ステップＳ７１０にて属する静止物体層以外の静止物体層が存在しない場合、又は、ステップＳ７１１からステップＳ７１４までの処理が終了した場合は、静止領域に含まれる全ての画素にステップＳ７０２〜Ｓ７１４の処理を行ったか否かを判定する（ステップＳ７１５）。ステップＳ７０２からステップＳ７１５までの処理は、静止領域に含まれる全ての画素に行われるまで繰り返される。静止物体層生成手段２４は、ステップ７０１で静止領域が存在しない場合、又は、ステップＳ７０２からステップＳ７１５までの処理が終了した場合は、物体検出手段２２で得られる物体領域以外の画素に対して、静止物体層全てを削除する（ステップＳ７１６）。以上より、静止物体層情報記憶手段３２の静止物体層情報を更新することができる。
【００６４】
続いて、図１及び図８に示すように、物体分離検出手段２５は、物体領域に含まれる全ての画素に対して特徴値と静止物体層情報記憶手段３２に記憶される静止物体層情報とを取得し類似性を表す距離を判定することで、静止物体上に重なっている物体を出力する（ステップＳ８）。
【００６５】
ここで、図１３及び図１４に基づいてステップＳ８を更に詳細に説明する。物体分離検出手段２５は、まず、物体検出手段２２で取得される二値化画像に物体領域が存在するか否かを判定する（ステップＳ８０１）。物体分離検出手段２５は、存在しない場合は、物体が存在せず静止物体上に重なっている物体も存在しない。物体分離検出手段２５は、存在する場合は、検出対象時間記憶手段３３に記憶されている検出対象時間を現在時刻から差分し、検出対象時刻を算出する（ステップＳ８０２）。続いて、物体分離検出手段２５は、物体領域に含まれる画素を一つ選択し（ステップＳ８０３）、特徴抽出手段２１から選択した画素に対応する特徴値を取得する（ステップＳ８０４）。更に、物体分離検出手段２５は、選択した画素に対し、静止物体層が存在するか否かを静止物体層情報記憶手段３２を用い判定する（ステップＳ８０５）。物体分離検出手段２５は、存在する場合は、検出対象時刻より古くかつ最も新しい層生成時刻を持つ静止物体層が存在するか否かを、静止物体層情報記憶手段３２を用いて判定する（ステップＳ８０６）。
【００６６】
物体分離検出手段２５は、存在する場合は、ステップＳ８０６の条件を満足する静止物体層を選択し（ステップＳ８０７）、ステップＳ８０４で取得した特徴値と式（７）又は式（８）とを用い、類似性を表す距離Ｄを算出する（ステップＳ８０８）。物体分離検出手段２５は、算出した類似性を表す距離Ｄが予め定められた閾値以上であるか否かを判定し（ステップＳ８０９）、閾値以上でない場合は、選択した画素は静止物体上に重なっている物体としない。物体分離検出手段２５は、ステップＳ８０５で静止物体層が存在しない場合、又は、ステップＳ８０６の条件の静止物体層が存在しない場合、又は、ステップＳ８０９で類似性を表す距離Ｄが閾値以上である場合は、選択した画素は静止物体上に重なっている物体として抽出する（ステップＳ８１０）。そして、物体分離検出手段２５は、物体領域に含まれる全ての画素にステップＳ８０３〜Ｓ８１０の処理を行ったか否かを判定する（ステップＳ８１１）。ステップＳ８０３からステップＳ８１１までの処理は、物体領域に含まれる全ての画素に行われるまで繰り返される。以上より、最終出力として静止物体上に重なっている物体を出力することができる。
【００６７】
図８において、ステップＳ２からステップＳ８までの処理は、ステップＳ２で画像が取得される間、繰り返される。
【００６８】
次に、本発明の実施形態による効果について説明する。
【００６９】
本発明の実施形態では、特徴画像から物体が存在する物体領域を求め、この物体領域から特徴値の動きが静止している静止領域を求め、この静止領域に対して特徴値を抽出し静止物体層として記憶し、特徴値と記憶された静止物体層から静止物体上に重なっている物体を検出するという、対象物体のテンプレート画像を用いない構成で実現しているので、対象物体のテンプレート画像を用いなくても重なっている物体を区別して検出することができる。このため、物体から新たな物体が出現するなどで、新たな物体の出現位置又は出現タイミングが定まらず、対象物体のテンプレート画像が取得できなくても、重なっている物体を区別して検出することができる。
【００７０】
また、本発明の実施形態では、静止領域に対する特徴値を静止物体層という形で画素毎に記憶し、検出対象時間を用いて静止物体層を選択し、特徴値と選択された静止物体層とを比較し（例えばそれらの類似性を表す距離による判定によって）静止物体上に重なっている物体を検出するという構成を持ち（好ましくは静止物体が静止を開始した時刻を静止物体層の中に管理することにより）、静止物体上に別の静止物体が重なっていても重なっている物体を区別して検出することができる。また、検出対象時間を変更することで、検出したい静止物体上に重なっている静止物体を静止開始時刻に基づいて検出することができる。
【００７１】
更に、本発明の実施形態では、特徴値の時系列変化が安定している安定領域を物体領域から抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、その動き量から物体単位で安定領域が静止領域であるか否かを判定することで、画素単位の時系列変化では誤って静止領域となる画素を、物体単位の動き量という空間的な塊の情報で静止領域外とすることができる。そのため、ある一定方向に移動する単色の物体において、物体の一部が静止領域になってしまうことを防ぐことができるので、このような移動物体において重なっている物体が存在すると誤って検出してしまうことを防ぐことができる。
【００７２】
また、更に、本発明の実施形態では、静止物体上に重なっている物体の判定に特徴値と選択された静止物体層との類似性を表す距離を用いており、その距離の計算に、静止物体層を参照して得られる平均値と分散値という変動成分を吸収できる統計量を利用しているので、照明変動や環境変動などに対応できる。
【００７３】
図１５は、図１の本発明の実施形態を更に具体化した一例を示すブロック図である。以下、この図面に基づき説明する。なお、図１と同じ部分は同じ符号を付すことにより説明を省略する。
【００７４】
この例では、画像取得手段１と、画像蓄積手段３１、静止物体層情報記憶手段３２及び検出対象時間記憶手段３３を有する記憶装置３が、コンピュータ４に接続されており、また、物体領域検出用プログラム５を記憶するコンピュータ可読記憶媒体６がコンピュータ４に接続されている。コンピュータ可読媒体６は、磁気ディスクや半導体メモリ等で構成され、そこに記憶された物体領域検出用プログラム５は、コンピュータ４の立ち上げ時などにコンピュータ４に読み取られ、そのコンピュータ４の動作を制御することにより、そのコンピュータ４を前述した図１のデータ処理装置２内に各手段１０１〜１０４又は各手段２１〜２５として機能させ、また、図８〜図１４に示される処理を行わせる。
【００７５】
次に、本発明の実施形態に係る物体領域検出方法の一実施例について説明する。
【００７６】
本発明の実施形態に係る物体領域検出方法は、図１に示す実施形態の動作すなわち図８乃至図１４に示される処理と同様である。すなわち、本発明の実施形態に係る物体領域検出方法は、図８に示すように、時系列的に連続する複数の入力画像について物体領域を検出するステップａと、前記物体領域に含まれる静止領域を前記連続する複数の入力画像から検出するステップｂと、前記静止領域の情報を時系列的な背景情報として蓄積するステップｃと、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出するステップｄと、を含むことを特徴とする。具体的には、ステップａとしての第一のステップ（ステップＳ２〜Ｓ４）と及び第二のステップ（ステップＳ５）と、ステップｂとしての第三のステップ（ステップＳ６）と、ステップｃとしての第四のステップ（ステップＳ７）と、ステップｄとしての第五のステップ（ステップＳ８）とを含んでいる。第一のステップでは、前記入力画像の各画素について特徴値を抽出するとともに、当該入力画像を特徴画像として出力する。第二のステップでは、前記特徴画像から、物体の存在する物体領域を検出する。第三のステップでは、前記物体領域に含まれる動きが静止している領域を、静止領域として取得する。第四のステップでは、前記静止領域の各画素の前記特徴値に基づき、静止物体層及びその静止物体層情報を生成する。第五のステップでは、前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して、当該静止物体上に重なっている当該物体を検出する。
【００７７】
また、本発明の実施形態に係る物体領域検出方法は、入力画像と背景情報を比較して物体の領域を検出し、物体が静止した時に静止した物体の領域の情報を新たな別の背景情報として記憶し、記憶された複数の背景情報と入力画像を比較することにより個々の物体の領域を検出することを特徴とする、とすることも可能である。
【００７８】
このとき、前記静止した物体の領域は、入力画像と背景情報を比較して検出した物体の領域に含まれる画素にて、入力画像の特徴値の時間的変化が安定している安定領域で、前記検出した物体の領域に対し近傍の画素を一つの物体としてその物体を単位とした安定領域において空間的な動きが小さい領域である、としてもよい。また、前記新たな別の背景情報として記憶するとは、前記静止した物体の領域に含まれる画素において、記憶された複数の背景情報から入力画像の特徴値と類似する背景情報を選択し入力画像の特徴値をその背景情報に更新すること、また、類似する背景情報がない場合には入力画像の特徴値から新たな別の背景情報を生成することである、としてもよい。更に、前記比較することにより個々の物体の領域を検出するとは、入力画像と背景情報を比較して検出した物体の領域に含まれる画素において、入力画像の特徴値と記憶された背景情報を用い、類似であるか否かを判定し類似でない場合に静止物体上に重なっている物体として検出することである、としてもよい。
【００７９】
また、本発明の実施形態に係る物体領域検出方法は、動画像から画像を取得する画像取得処理と、画像から特徴値を抽出する特徴抽出処理と、特徴画像から物体領域及び物体に対する物体ＩＤ、その矩形位置及び矩形サイズを取得する物体検出処理と、物体領域で動きが静止している領域を取得する静止領域取得処理と、静止領域に含まれる全ての画素に対して特徴値を取得し静止物体毎に静止物体の情報を静止物体層情報として生成する静止物体層生成処理と、物体領域に含まれる全ての画素に対して特徴値と静止物体層情報記憶手段に記憶される静止物体層情報とを取得し類似性を表す距離による判定で静止物体上に重なっている物体を検出する物体分離検出処理とを備えた、とすることも可能である。
【００８０】
このとき、前記静止領域取得処理は、物体領域に含まれる全ての画素に対する特徴値の分散値を時系列から求め、予め定められた閾値以下の分散値を持つ画素を時間的変化が安定している安定領域として抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、予め定められた閾値以下の動き量を持つ領域を静止領域として取得する、としてもよい。
【００８１】
前記静止物体層生成処理は、静止領域に含まれる全ての画素の特徴値を、その画素に記憶されている全ての静止物体層情報の基準特徴値と比較して特徴間距離が最も近くかつ予め定められた閾値以下であれば、当該静止物体層に属すると決定して当該静止物体層情報を更新し、更に、属する静止物体層の層生成時刻より新しい層生成時刻を持つ静止物体層を削除し、特徴値が属する静止物体層がない場合や既存の静止物体層が一つも存在しない場合には、新しく静止物体層を生成し、その静止物体層の情報を設定し、物体領域以外の画素に対しては、静止物体層全てを削除する、としてもよい。
【００８２】
前記物体分離検出処理は、物体領域における特徴値と静止物体層情報を比較する際に、検出対象時間記憶手段に記憶されている検出対象時間を現在時刻から差分し検出対象時刻を算出し、この算出された検出対象時刻より古く、かつ、最も新しい層生成時刻を持つ静止物体層を一つ選択して比較する、としてもよい。
【００８３】
前記物体分離検出処理は、前述の条件を満たす静止物体層が存在しない場合や静止物体層が一つも存在しない場合に、静止物体上に重なっている物体として検出する、としてもよい。
【００８４】
前記物体分離検出処理における類似性を表す距離による判定は、物体領域における特徴値と選択された静止物体層情報とを参照して得られる平均値及び分散値を用いて、特徴値と平均値との差分量の絶対値、又は、特徴値と平均値との差分量の絶対値を標準偏差で正規化した値を類似性を表す距離とし、予め定められた閾値以上の類似性を表す距離を持つ画素を静止物体上に重なっている物体として検出する、としてもよい。
【００８５】
前記動き量は、物体単位の安定領域に含まれる全ての画素に対して、テンプレートマッチングによるオプティカルフローを求めその大きさをマッチング距離で重み付けをした加重平均にて算出する、又は、オプティカルフローを求めその大きさを物体領域の輪郭付近で大きく重み付けをした加重平均にて算出する、としてもよい。
【００８６】
本発明の実施形態に係る物体領域検出方法によれば、図１の実施形態と同様の作用及び効果を奏する。また、本発明の実施形態に係る物体領域検出装置等の前述した一実施形態の構成に準じて本発明の実施形態に係る物体領域検出方法を構成してもよし、本発明の実施形態に係る物体領域検出方法の前述した構成に準じて本発明の実施形態に係る物体領域検出装置等を構成してもよい。
【００８７】
なお、本発明は、言うまでもなく、上記実施形態に限定されるものではない。例えば、データ処理装置の各手段は、専用のＩＣを用いて実現することもできる。
【００８８】
また、上記実施形態では、全画素の一つ一つを検出対象としたが、隣接する複数画素の特徴値の平均値を用い、これらの複数画素を一つの画素として扱う場合も本発明に含まれる。この場合は、処理速度の向上及びメモリ容量の低減が図られる。
【００８９】
更に、特定座標の画素のみを検出対象とする場合も本発明に含まれる。例えば、図７におけるＡ点、Ｂ点及びＣ点を含む複数点のみを検出対象としてもよい。このようにしても、各点相互の重なり又は各点の属する物体相互の重なりを検出することができる。この場合も、処理速度の向上及びメモリ容量の低減が図られる。
【００９０】
なお、本発明の実施形態に係る物体領域検出装置をハードウェアとして構築したが、これに限られるものではない。本発明の実施形態は、物体領域検出用プログラムとして構築してもよく、そのプログラムをコンピュータに実行させることにより、物体領域検出装置の機能を実現するようにしてもよいものである。前記物体領域検出用プログラムは記録媒体に記録され、その状態で商取引の対象となる。
【００９１】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００９２】
この出願は２００７年７月５日に出願された日本出願特願２００７−１７７３８９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００９３】
本発明によれば、一つのカメラの撮影にて、静止物体上に別の静止物体及び移動物体が重なっていても重なっている物体を区別して検出できる物体領域検出装置や、物体領域検出装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、カメラや蓄積映像から静止物体上に重なっている物体の検出を必要とする監視分野において、侵入者検出、不審者検出、不審物の置き去り検出、荷物の持ち去り検出、ゲートの共連れ検出、混雑及び行列検出などを行う装置や機能といった用途に適用できる。更に、カメラや蓄積映像からの静止物体上に重なっている物体の検出位置を入力とする入力インタフェースといった用途に適用できる。この他、静止物体上に重なっている物体の検出をトリガ・キーとするビデオ／映像検索装置・機能といった用途に適用できる。
【図面の簡単な説明】
【００９４】
【図１】本発明に係る物体領域検出装置及び物体領域検出システムの一実施形態を示すブロック図である。
【図２】図１の実施形態における動作の概要（その１）を示す説明図である。
【図３】図１の実施形態における動作の概要（その２）を示す説明図である。
【図４】図１の実施形態における静止物体層情報の一例を示す図表である。
【図５】図１の実施形態における処理経過の一例を示す説明図である。
【図６】図１の実施形態における静止物体層生成手段にて削除される静止物体層の一例を示す説明図である。
【図７】図１の実施形態における物体分離検出の一例を示す説明図である。
【図８】図１の実施形態における全体の動作を示すフローチャートである。
【図９】図８のステップＳ６における詳細な動作（その１）を示すフローチャートである。
【図１０】図８のステップＳ６における詳細な動作（その２）を示すフローチャートである。
【図１１】図８のステップＳ７における詳細な動作（その１）を示すフローチャートである。
【図１２】図８のステップＳ７における詳細な動作（その２）を示すフローチャートである。
【図１３】図８のステップＳ８における詳細な動作（その１）を示すフローチャートである。
【図１４】図８のステップＳ８における詳細な動作（その２）を示すフローチャートである。
【図１５】図１の実施例を更に具体化した一例を示すブロック図である。
【符号の説明】
【００９５】
１ 画像取得手段
２ データ処理装置（物体領域検出装置）
３ 記憶装置
４ コンピュータ
５ 物体領域検出用プログラム
６ コンピュータ可読記憶媒体
２１ 特徴抽出手段
２２ 物体検出手段
２３ 静止領域取得手段
２４ 静止物体層生成手段
２５ 物体分離検出手段
３１ 画像蓄積手段
３２ 静止物体層情報記憶手段
３３ 検出対象時間記憶手段
１００ 物体領域検出システム
１０１ 第一の手段
１０２ 第二の手段
１０３ 第三の手段
１０４ 第四の手段
【０００１】
本発明は、動画像に基づいて静止物体上に重なっている物体を区別して検出する物体領域検出装置等に関する。
【背景技術】
【０００２】
この種の物体領域検出装置等は、静止物体上に重なっている物体を区別して検出するために用いられる。以下その関連技術について説明する。
【０００３】
関連技術の第一例が、特許文献１に記載されている。特許文献１に記載の移動体認識方法は、予め登録されている対象物体のテンプレート画像、又は、物体の出現位置や出現タイミングが何らかの方法で分かることに基づいて取得した対象物体のテンプレート画像を用い、パターンマッチングにて物体を追跡する。これにより、物体に重なりが生じても、物体の位置を検出して、重なっている物体を区別している。
【０００４】
関連技術の第二例が、特許文献２に記載されている。特許文献２に記載の路上物体監視装置は、物体を含まない基準画像を背景画像とし、その背景画像と入力画像（時刻ｔ）との差分から背景差分画像を生成する（背景差分法）。また、時刻ｔにおける入力画像と時刻（ｔ−１）における入力画像との差分から、連続差分画像を生成する。これら両差分画像を二値化し、それらの論理積から移動物体を検出し、それらの排他的論理和から静止物体を検出し、これによって重なっている物体を区別している。
【０００５】
【特許文献１】
特開平６−０３０４１７号公報（図２０等）
【特許文献２】
特開平６−１８０７４９号公報（図１等）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１，２に記載の関連技術では、次のような問題があった。
【０００７】
特許文献１の関連技術では、対象物体を特定していないときに静止物体から新たな物体が出現しその静止物体上に滞在する場合に、重なっている物体を静止物体と区別して検出できない。その理由は、対象物体を特定していないので、予め対象物体のテンプレート画像を登録できないためである。また、物体から新たな物体が突然に出現することにより、新たな物体の出現位置や出現タイミングが定まらないので、対象物体のテンプレート画像を取得できないためである。この問題の状況例としては、一時的に停車したバスから乗客が降り、バスの手前で滞在している場合などがある。
［０００８］
特許文献２の関連技術では、静止物体（物体Ａ）上に別の静止物体（物体Ｂ）が重なっている場合、重なっている静止物体同士を区別して検出できないことである。その理由は、重なっている静止物体（物体Ｂ）は動きが生じないので、連続差分画像に現れないためである。
［０００９］
また、特許文献２の関連技術では、単色の物体がある一定の方向に移動する場合、重なっている物体が存在しないのに存在するかのように誤って検出されてしまうことである。その理由は、連続する入力画像において物体の重なり部分のみが連続差分画像に現れないためである。
［００１０］
そこで、本発明の目的は、物体から新たな物体が出現する場合にも重なっている物体を区別して検出できるとともに、静止物体上に別の静止物体が重なっていても重なっている物体を区別して検出できる物体領域検出装置等を提供することにある。
課題を解決するための手段
［００１１］
本発明に係る物体領域検出装置は、入力画像と物体を含まない背景情報を用いて物体領域を検出する第一の手段と、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として検出する第二の手段と、前記静止領域の情報を時系列的な背景情報として蓄積する第三の手段と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する第四の手段と、を備えたことを特徴とする。
［００１２］
本発明に係る物体領域検出システムは、本発明に係る物体領域検出装置と、動画像から入力画像を取得して前記物体領域検出装置へ出力する画像取得手段と、前記特徴値及び前記静止物体層情報を含む情報を記憶する記憶装置と、を備えたことを特徴とする。
［００１３］
本発明に係る物体領域検出方法は、入力画像と物体を含まない背景情報を用いて物体領域を検出するステップａと、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として検出するステップｂと、前記静止領域の情報を時系列的な背景情報として蓄積するステップｃと、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出するステップｄと、を含むことを特徴とする。
［００１４］
本発明に係る物体領域検出用プログラムは、コンピュータに、入力画像と物体を含まない背景情報を用いて物体領域を検出する機能と、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として検出する機能と、前記静止領域の情報を時系列的な背景情報として蓄積する機能と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する機能とを実行させることを特徴とする。
発明の効果
［００１５］
本発明によれば、物体から新たな物体が出現する場合にも重なっている物体を区別して検出できるとともに、静止物体上に別の静止物体が重なっていても重なっている物体を区別して検出できる。
発明を実施するための最良の形態
［００１６］
以下、本発明の実施形態を図に基づいて説明する。
図１は、本発明の実施形態に係る物体領域検出装置及び物体領域検出システムの一例を示すブロック図である。図２及び図３は、動作の概要を示す説明図である。以下、これらの図面に基づき説明する。
［００１７］
本発明の実施形態に係る物体領域検出システム１００は、本発明の実施形態に係る物体領域検出装置としてのデータ処理装置２と、動画像から入力画像を取得してデータ処理装置２へ出力する画像取得手段１と、後述する特徴値及び静止物体層情報を含む情報を記憶する記憶装置３とを備えている。データ処理装置２は、例えばプログラムをコンピュータに実行させることにより実現することが可能である。画像取得手段１は、例えばビデオキャプチャと呼ばれるハードウェア及びソフトウェアであり、カメラ、ビデオ等の動画像から入力画像を取得する。記憶装置３は、ハードディスクや半導体メモリなどの一般的なものである。
【００１８】
次に、本発明の実施形態に係るデータ処理装置２の概要について説明する。データ処理装置２は、時系列的に連続する複数の入力画像について物体領域を検出する第一の手段１０１と、前記物体領域に含まれる静止領域を前記連続する複数の入力画像から検出する第二の手段１０２と、前記静止領域の情報を時系列的な背景情報として蓄積する第三の手段１０３と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する第四の手段１０４と、を備えたことを特徴とする。
【００１９】
データ処理装置２は、次のように動作する。先ず、第一の手段１０１は、特徴抽出手段２１が取得した時系列的に連続する複数の入力画像（特徴画像）について、物体領域を検出する。第一の手段１０１は、図２［１］に示すように、時刻ｔ＝１から５までの時系列的に連続する複数の入力画像（特徴画像）について、例えば予め登録された背景画像と比較する等の方法を用いて、ハッチングで示す物体領域を検出する。第二の手段１０２は、前記検出した物体領域に含まれる静止領域を、連続する複数の入力画像（特徴画像）と前記検出した物体領域から検出する。第二の手段１０２は図２［２］に示すように、例えば前記検出した物体領域に含まれる全ての画素に対して連続する複数の入力画像（特徴画像）から輝度の変化が安定している画素を安定領域として求め、各物体単位の安定領域について動き量が小さい領域を静止領域として検出する。
【００２０】
続いて、第三の手段１０３は、前記検出した静止領域における特徴抽出手段２１から取得した情報（例えば輝度に関する情報など）を時系列的な背景情報として記憶装置３に蓄積する。
【００２１】
第三の手段１０３は図２［３］のような場合、ｔ＝１の入力画像（特徴画像）には静止領域が存在しないので、ｔ＝２〜５の入力画像（特徴画像）について静止領域の情報（例えば輝度など）を時系列的な背景情報として記憶装置３に蓄積する。このとき、第三の手段１０３は、時系列的な複数の背景情報から画素単位で情報を取り出し、例えば図３に示すように加工して、後で詳述する静止物体層を生成するようにしてもよい。すなわち、全ての画素に対する静止物体層の集まりは、複数の背景情報に相当する。最後に、第四の手段１０４は、時系列的な背景情報と物体領域の情報とを比較して、その物体領域に含まれる各物体を検出する。例えば、時系列的な複数の背景情報の一部である図３の静止物体層１，２と、図２のｔ＝５の物体領域における画素Ａ，Ｂとの輝度を比較すると、画素Ａは静止物体層１に属し，画素Ｂは静止物体層２に属することがわかる。つまり、第四の手段１０４は、画素Ａを含む静止物体上に画素Ｂを含む静止物体が重なっているとして検出できる。
【００２２】
このように、本発明の実施形態によれば、静止した物体領域の情報を新たな背景情報として取り扱うことにより、複数の背景情報の時間的な関係と入力画像とを用い、画素単位又は局所画像単位で物体領域を判定できるので、対象物体のテンプレート画像を用いることなく、重なっている物体を区別して検出することができる。しかも、静止した物体領域の情報を新たな背景情報として取り扱うことにより、複数の背景情報に対して時間的な関係を持たせ、この時間的な関係を利用することができるので、静止物体上に別の静止物体が重なっていても、その別の静止物体が存在する以前に蓄積された複数の背景情報と比較することにより、静止物体上に重なっている静止物体を検出することができる。
【００２３】
本発明の実施形態に係るデータ処理装置２の構成を具体的に説明する。図１に示すように、第一の手段１０１は、特徴抽出手段２１及び物体検出手段２２とを含んでいる。第二の手段１０２としての静止領域取得手段２３、第三の手段１０３としての静止物体層生成手段２４と、第四の手段１０４としての物体分離検出手段２５とを有している。
【００２４】
特徴抽出手段２１は、前記入力画像の各画素について特徴値を抽出するとともに、当該入力画像を特徴画像として出力する。物体検出手段２２は、特徴抽出手段２１が抽出した前記特徴画像から、物体の存在する物体領域を検出する。静止領域取得手段２３は、物体検出手段２２が検出した前記物体領域に含まれる動きが静止している領域を、静止領域として取得する。静止物体層生成手段２４は、静止領域取得手段２３が取得した前記静止領域の各画素の前記特徴値に基づき、静止物体層及びその静止物体層情報を生成する。物体分離検出手段２５は、前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して、当該静止物体上に重なっている当該物体を検出する。
【００２５】
静止領域取得手段２３は、前記物体領域の各画素の特徴値の時系列データからその分散値を求め、一定以下の前記分散値を持つ前記各画素を時間的変化が安定している安定領域として抽出し、物体単位の前記安定領域についてその動き量を求め、一定以下の前記動き量を持つ前記安定領域を前記静止領域として取得する。また、静止領域取得手段２３は、物体単位の前記安定領域の各画素に対してテンプレートマッチングによるオプティカルフローを求め、そのオプティカルフローの大きさをマッチング距離で重み付けをした加重平均又は前記オプティカルフローの大きさを前記物体領域の輪郭付近で大きく重み付けをした加重平均によって前記動き量を算出する。
【００２６】
静止物体層生成手段２４は、前記静止領域の各画素の前記特徴値を既存の前記静止物体層の基準特徴値と比較して特徴間距離が最も近くかつ一定以下の前記静止物体層があるならば、当該静止物体層に当該静止領域の前記特徴値が属すると決定して当該静止物体層情報を更新するとともに、前記静止領域の前記特徴値が属する前記静止物体層の層生成時刻よりも新しい層生成時刻を持つ前記静止物体層を削除し、前記静止領域の前記特徴値が属する前記静止物体層がないとき又は既存の前記静止物体層が一つも存在しないときには新しく前記静止物体層を生成するとともにその前記静止物体層情報を設定し、前記物体領域以外の画素に対しては前記静止物体層の全てを削除する。
【００２７】
物体分離検出手段２５は、前記物体領域の各画素の前記特徴値を既存の前記静止物体層情報と比較する際に、予め記憶している検出対象時間を現在時刻から差分することにより検出対象時刻を算出し、この検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層を一つ選択して比較の対象とする。また、物体分離検出手段２５は、前記検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層が存在しないとき又は前記静止物体層が一つも存在しないときに、前記物体領域の前記各画素を前記静止物体上に重なっている前記物体として検出する。更に、物体分離検出手段２５は、前記物体領域の各画素の前記特徴値と選択された前記静止物体層情報を参照して得られる平均値及び分散値とを用いて、前記特徴値と前記平均値との差分量の絶対値又はその絶対値を標準偏差で正規化した値を類似性を表す距離とし、一定値以上の類似性を表す距離を持つ前記各画素を前記静止物体上に重なっている前記物体として検出する。
【００２８】
以上のように本発明の実施形態に係るデータ処理装置２を具体的に説明すると、本発明の実施形態に係るデータ処理装置２は、入力画像から全ての画素に対する特徴値を抽出し特徴画像を取得し、その特徴画像を画像蓄積手段３１に蓄積する特徴抽出手段２１と、特徴画像から検出した物体領域を二値化画像として取得し、更に、この二値化画像に対して近傍の画素を一つの物体として抽出し、それらの物体に対して物体ＩＤ、その矩形位置及び矩形サイズを取得する物体検出手段２２と、物体領域に含まれる全ての画素に対する特徴値の分散値を時系列から求め、予め定められた閾値以下の分散値を持つ画素を時間的変化が安定している安定領域として抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、予め定められた閾値以下の動き量を持つ領域を静止領域として取得する静止領域取得手段２３と、静止領域に含まれる全ての画素に対して、特徴値と静止物体層情報記憶手段３２の静止物体層情報（静止物体層とは、画素に対応する静止物体毎の静止物体情報のまとまりを表す。）を取得し、クラスタリングにより特徴値が属する静止物体層を決定し、属する静止物体層情報を更新する静止物体層生成手段２４と、物体領域に含まれる全ての画素に対し、特徴値と検出対象時間記憶手段３３に記憶されている検出対象時間から選択された静止物体層情報とを用い、類似性を表す距離を計算し、予め定められた閾値以上の類似性を表す距離を持つ画素を静止物体上に重なっている物体として検出する物体分離検出手段２５とを有する。
【００２９】
このような構成を採用したことにより、データ処理装置２は次の効果を奏する。対象物体のテンプレート画像を用いなくても、静止物体上に重なっている物体を区別して検出できる。また、静止領域に対する特徴値を静止物体層という形で画素毎に記憶し、検出対象時間にて選択した静止物体層情報と特徴値とを比較し（例えば類似性を表す距離による判定によって）静止物体上に重なっている物体を検出することにより、静止物体上に別の静止物体が重なっていても、重なっている物体を区別して検出できる。また、物体領域から特徴値の時系列変化が安定している安定領域を抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、その動き量から物体単位で安定領域が静止領域であるかを判定することで、ある一定方向に移動する単色の物体に対し、物体の一部が静止領域になってしまうことを防ぐことができる。
【００３０】
次に、本発明の実施形態について図面を参照して更に詳細に説明する。
【００３１】
記憶装置３は、画像蓄積手段３１と、静止物体層情報記憶手段３２と、検出対象時間記憶手段３３とを備える。
【００３２】
画像蓄積手段３１は、ＦＩＦＯ（First In First Out）バッファであり、時系列のｎ枚の画像を蓄積している。「ｎ」は、特徴値の時間的変化が安定であると判断できる量であり、予め定められた量とする。図５の（ａ）が特徴画像としたときの蓄積状態を、図５の（ｂ）に示す。
【００３３】
静止物体層情報記憶手段３２は、各画素に対する各静止物体層の静止物体層情報が記憶されている。記憶される情報は、層生成時刻、基準特徴値、特徴値数、特徴値の総和、特徴値の二乗総和、平均値、分散値等である。図４に、記憶される静止物体層情報の一例を示す。なお、図４に例示した基準特徴値は、層生成時刻における画素の特徴値である。
【００３４】
検出対象時間記憶手段３３は、検出対象時間を記憶する。検出対象時間とは、静止物体上に重なっている静止物体について、検出対象を決定するために必要な時間である。この時間をｔｘと設定すると、現在時刻からｔｘ前以内に静止した重なっている静止物体と、重なっている移動物体とを、検出することができる。
【００３５】
データ処理装置２は、特徴抽出手段２１と、物体検出手段２２と、静止領域取得手段２３と、静止物体層生成手段２４と、物体分離検出手段２５とを備える。
【００３６】
特徴抽出手段２１は、画像取得手段１で取得された入力画像から全ての画素に対する特徴値を抽出し、特徴画像として出力する。特徴値とは、輝度値、色相、ＲＧＢの各値、エッジ、カメラから物体までの距離値などであり、物体の静止時に安定となり、物体の移動時に不安定となる特徴値であれば基本的によい。
【００３７】
物体検出手段２２は、特徴抽出手段２１から得られる特徴画像から物体領域を検出し、二値化画像として出力する。更に、物体検出手段２２は、この二値化画像に対して近傍の画素を一つの物体として抽出し、それらの物体に対して物体ＩＤ、その矩形位置及び矩形サイズを出力する。物体検出手段２２は、具体的には、物体検出方法の一つである背景差分法と閾値による二値化処理とを用い、物体領域である二値化画像を取得する。また、物体検出手段２２は、この二値化画像に対して画像処理の一つである論理フィルタを用いた膨張処理や収縮処理などを行い、近傍の画素を一つの物体とする。更に、物体検出手段２２は、画像処理の一つであるラベリング処理を行った後、ラベル化された各物体に対して物体ＩＤ、その矩形位置及び矩形サイズを求め出力する。もちろん、特徴画像から全ての物体が検出できれば、その他の方法でも良い。また、ここで検出される物体は、物体同士が重なっている場合、一つの物体として出力されることになる。図５の（ａ）が特徴画像であるとすると、図５の（ｃ）が得られる物体領域の二値化画像、物体ＩＤ、その矩形位置及び矩形サイズである。なお、図５の（ａ）において、４１は移動人物、４２は静止人物、４３は静止したバス、４４は移動する自動車、４５は背景の木である。図５の（ｃ）において、斜線部分が取得された物体領域である。
【００３８】
静止領域取得手段２３は、物体検出手段２２と画像蓄積手段３１とから情報を取得し、物体領域で動きが静止している静止領域を二値化画像として出力する。具体的に説明すると、静止領域取得手段２３はまず、静止領域取得手段２３は物体検出手段２２から得られた物体領域に含まれる全ての画素に対し、画像蓄積手段３１に時系列で蓄積されている特徴値から分散値を求め、予め定められた閾値以下の分散値を持つ画素を時間的変化が安定している画素とし、これを安定領域として抽出する。続いて、静止領域取得手段２３は、各物体の安定領域に対して一つの動き量を求め、予め定められた閾値以下の動き量を持つ領域を静止領域として取得する。動き量を用いることで、単色の移動物体で誤って静止領域となってしまう部分を取り除くことができる。各物体とその物体領域とのリンクは、物体ＩＤとその矩形位置及び矩形サイズで行う。
【００３９】
また、動き量とは、その領域（空間的な塊）が動いている時に大きくなり、静止している時に小さくなる量である。動き量の計算は、物体単位の安定領域に含まれる全ての画素に対して、オプティカルフローを求めその大きさの平均をとる、テンプレートマッチングによるオプティカルフローを求めその大きさをマッチング距離で重み付けをし加重平均をとる、オプティカルフローを求めその大きさを物体領域の輪郭付近に大きく重み付けをし加重平均をとるなどの方法があり、この他にも様々な方法が考えられる。なお、オプティカルフローとは、時間的に連続するデジタル画像の中で、物体の動きをベクトルで表したものである。図５の（ｃ）が物体領域の二値化画像であるとすると、図５の（ｄ）の斜線部分が取得される安定領域であり、図５の（ｅ）の斜線部分が取得される静止領域である。
【００４０】
静止物体層生成手段２４は、特徴抽出手段２１から得られる特徴画像と、静止領域取得手段２３から得られる二値化画像と、静止物体層情報記憶手段３２の静止物体層情報とを用い、静止物体層情報記憶手段３２の静止物体層情報を更新する。具体的に説明すると、静止物体層生成手段２４は、まず、静止領域取得手段２３から得られた静止領域に含まれる全ての画素に対して、特徴抽出手段２１から得られる特徴画像の特徴値Ｘｉと、静止物体層情報記憶手段３２から基準特徴値全てを取得する。静止物体層生成手段２４は、これらを用い、画素毎にNearest Neighbor法（以下「ＮＮ法」という。）によるクラスタリングを行い、特徴値Ｘｉが属する静止物体層を決定する。特徴値Ｘｉが既存の静止物体層に属する場合、属する静止物体層に対し、式（１）で特徴値数Ｎｉを更新し、式（２）で特徴値の総和Ｓｉを更新し、式（３）で特徴値の二乗総和Ｕｉを更新し、式（４）で平均値μｉを更新し、式（５）で分散値σ２ ｉを更新する。更に、静止物体層生成手段２４は、属する静止物体層の層生成時刻とそれ以外の静止物体層の層生成時刻とを比較し、属した静止物体層の層生成時刻より新しい層生成時刻を持つ静止物体層を削除する。これは、再び古い静止物体層が現れたことにより、静止している物体が除かれたと仮定したものである。図６に削除された静止物体層の一例（静止物体層２）を示す。
【００４１】
【数１】
【数２】
【数３】
【数４】
【数５】
ここで、Ｘは特徴値、Ｎは特徴値の数、Ｓは特徴値の総和、Ｕは特徴値の二乗総和、μは平均値、σ２は分散値、ｉ−１は更新前、ｉは更新後、（ｘ、ｙ）は画素の位置、ｌは属する静止物体層を表す。
【００４７】
特徴値Ｘｉが属する静止物体層がない場合、又は、既存の静止物体層が一つも存在しない場合は、新しく静止物体層を生成し、現在の時刻を層生成時刻に設定、特徴値数Ｎｉを１に設定、特徴値Ｘｉを基準特徴値・特徴値の総和に設定、特徴値Ｘｉの二乗を特徴値の二乗総和に設定、式（４）で平均値μｉを設定、式（５）で分散値σ２ ｉを設定する。また、物体検出手段２２から得られる物体領域以外の画素については、全ての静止している物体が除かれ背景が出現したと仮定し、その画素に対する静止物体層全てを削除する。これらにより、静止物体層情報記憶手段３２の静止物体層情報を更新することができる。
【００４８】
次に、ここで示すＮＮ法によるクラスタリングについて説明する。まず、画素に対して、特徴値Ｘと静止物体層の基準特徴値Ｂの全てとを取得し、式（６）を用い最小の特徴間距離ｄｍｉｎを求める。
【００４９】
【数６】
ここで、Ｘは特徴値、Ｂは静止物体層の基準特徴値、（ｘ、ｙ）は画素の位置、ｌは静止物体層、Ｌ（ｘ、ｙ）は画素に対する全ての静止物体層を表す。
【００５１】
最小の特徴間距離ｄｍｉｎが予め定められた閾値ｄｔｈより小さい場合は、その特徴値Ｘは最小の特徴間距離ｄｍｉｎを与える静止物体層ｌに属すると決定する。閾値ｄｔｈ以上である場合は、属する静止物体層はないとし、新しい静止物体層を生成することとする。以上が、ここで示すＮＮ法によるクラスタリングである。
【００５２】
物体分離検出手段２５は、物体検出手段２２から得られた物体領域に含まれる全ての画素に対し、特徴抽出手段２１から得られる特徴画像の特徴値と、検出対象時間記憶手段３３に記憶されている検出対象時間から選択された静止物体層情報記憶手段３２に記憶されている静止物体層情報とを用い、類似性を表す距離を判定することで静止物体上に重なっている物体を検出する。具体的に説明すると、物体分離検出手段２５は、まず、検出対象時間記憶手段３３に記憶されている検出対象時間を現在時刻から差分し、検出対象時刻を算出する。続いて、物体分離検出手段２５は、物体検出手段２２から得られた物体領域に含まれる全ての画素に対し、特徴抽出手段２１から得られる特徴画像の特徴値を取得し、算出された検出対象時刻より古くかつ最も新しい層生成時刻を持つ静止物体層を静止物体層情報記憶手段３２から選択する。物体分離検出手段２５は、取得された特徴値と選択された静止物体層の情報とを用い、式（７）又は式（８）にて、類似性を表す距離Ｄを求め、予め定められた閾値以上の類似性を表す距離を持つ画素を、静止物体上に重なっている物体として検出する。この他、上記の静止物体層の選択において条件を満たす静止物体層が存在しない場合、又は、静止物体層が一つも存在しない場合にも、静止物体上に重なっている物体として検出する。
【００５３】
【数７】
【数８】
ここで、Ｘは特徴値、μは平均値、σ２は分散値、（ｘ、ｙ）は画素の位置、ｌは選択された静止物体層を表す。
【００５６】
これにより、現在時刻から検出対象時刻以内に静止した重なっている静止物体と、重なっている移動物体とを、検出することができる。検出対象時間を０とすると重なっている移動物体のみを検出することができる。図７には、物体分離検出の一例を示す。
【００５７】
次に、図１及び図８乃至図１４を参照して、本発明の実施形態に係る物体領域検出システム１００の動作について詳細に説明する。
【００５８】
まず、図１及び図８に示すように、検出対象時間記憶手段３３に、静止物体上に重なっている静止物体の検出対象を決定するために必要な時間である検出対象時間を設定する（ステップＳ１）。画像取得手段１は、カメラ、ビデオ等の動画像から画像を取得する（ステップＳ２）。特徴抽出手段２１は、取得された画像から全ての画素に対する特徴値を抽出し、特徴画像を取得する（ステップＳ３）。更に、取得された特徴画像を画像蓄積手段３１に蓄積する（ステップＳ４）。物体検出手段２２は、取得された特徴画像から従来手法などを用い物体領域として二値化画像を取得し、更に、この二値化画像に対して従来手法などを用い、近傍の画素を一つの物体として抽出し、それらの物体に対して物体ＩＤとその矩形位置及び矩形サイズとを取得する。物体領域を示す二値化画像は、最終出力にもなる（ステップＳ５）。ここで求めた物体領域は、物体同士が重なっている場合に一つの物体として出力されるものである。静止領域取得手段２３は、物体領域で動きが静止している領域を静止領域とし、その二値化画像を取得する（ステップＳ６）。
【００５９】
ここで、図９及び図１０に基づいてステップＳ６を更に詳細に説明する。静止領域取得手段２３は、まず、物体検出手段２２で取得される二値化画像に物体領域が存在するか否かを判定する（ステップＳ６０１）。静止領域取得手段２３は、存在しない場合は、静止領域は取得しない。静止領域取得手段２３は、存在する場合は、物体領域に含まれる画素を一つ選択し（ステップＳ６０２）、その画素に対し画像蓄積手段３１に時系列で蓄積されている特徴値から分散値を計算する（ステップＳ６０３）。静止領域取得手段２３は、その分散値が予め定められた閾値以下であるか否かを判定し（ステップＳ６０４）、閾値以下である場合のみ、選択した画素を安定領域として抽出する（ステップＳ６０５）。そして静止領域取得手段２３は、、物体領域に含まれる全ての画素にステップＳ６０２〜Ｓ６０５の処理を行ったか否かを判定する（ステップＳ６０６）。ステップＳ６０２からステップＳ６０６までの処理は、物体領域に含まれる全ての画素に行われるまで繰り返される。
【００６０】
続いて、静止領域取得手段２３は、上記ステップＳ６にて、安定領域が存在するか否か（取得できたか否か）を判定する（ステップＳ６０７）。静止領域取得手段２３は、存在しない場合は、静止領域は取得しない。静止領域取得手段２３は、存在する場合は、物体検出手段２２で取得した物体ＩＤとその矩形位置及び矩形サイズとを用い、物体に対応した安定領域を一つ選択する（ステップＳ６０８）。静止領域取得手段２３は、その領域に対して動き量を計算し（ステップＳ６０９）、予め定められた閾値以下であるか否かを判定する（ステップＳ６１０）。静止領域取得手段２３は、閾値以下である場合のみ、選択した安定領域を静止領域として抽出する（ステップＳ６１１）。そして、静止領域取得手段２３は、物体に対応する安定領域全てにステップＳ６０８〜Ｓ６１１の処理を行ったか否かを判定する（ステップＳ６１２）。ステップＳ６０８からステップＳ６１２までの処理は、物体に対応する安定領域全てに行われるまで繰り返される。以上より、静止領域を取得する。
【００６１】
続いて、図１及び図８に示すように、静止物体層生成手段２４は、静止領域に含まれる全ての画素に対して特徴値を取得し、静止物体層情報記憶手段３２の静止物体層情報を更新する（ステップＳ７）。
【００６２】
ここで、図１１及び図１２に基づいてステップＳ７を更に詳細に説明する。静止物体層生成手段２４は、まず、静止領域取得手段２３で取得される二値化画像に静止領域が存在するか否かを判定する（ステップＳ７０１）。静止物体層生成手段２４は、存在する場合は、静止領域に含まれる画素を一つ選択し（ステップＳ７０２）、その画素に対する特徴値を特徴抽出手段２１から取得する（ステップＳ７０３）。また静止物体層生成手段２４は、その画素に対する静止物体層が存在するか否かを静止物体層情報記憶手段３２から判定し（ステップＳ７０４）、静止物体層が存在する場合は、静止物体層情報記憶手段３２から選択した画素に対応する静止物体層の基準特徴値を全て取得する（ステップＳ７０５）。静止物体層生成手段２４は、ステップＳ７０３で取得した特徴値とステップＳ７０５で取得した静止物体層の基準特徴値の全てとを用い、式（６）で最小の特徴間距離ｄｍｉｎを計算し（ステップＳ７０６）、その最小の特徴間距離ｄｍｉｎが予め定められた閾値ｄｔｈ以下であるか否かを判定する（ステップＳ７０７）。静止物体層生成手段２４は、ステップＳ７０４で静止物体層が存在しない場合、又は、ステップＳ７０７で最小の特徴間距離ｄｍｉｎが閾値ｄｔｈ以下でない場合は、選択した画素に対し新しい静止物体層を生成し、現在の時刻を層生成時刻に設定し、特徴値数Ｎｉを１に設定し、特徴値Ｘｉを基準特徴値・特徴値の総和に設定し、特徴値Ｘｉの二乗を特徴値の二乗総和に設定し、式（４）で平均値μｉを設定し、式（５）で分散値σ２ ｉを設定する（ステップＳ７０８）。静止物体層生成手段２４は、ステップＳ７０７で最小の特徴間距離ｄｍｉｎが閾値ｄｔｈ以下である場合は、特徴値が最小の特徴間距離ｄｍｉｎを与える静止物体層に属していることとし、属する静止物体層に対して、式（１）で特徴値数Ｎｉを更新し、式（２）で特徴値の総和Ｓｉを更新し、式（３）で特徴値の二乗総和Ｕｉを更新し、式（４）で平均値μｉを更新し、式（５）で分散値σ２ ｉを更新する（ステップＳ７０９）。
【００６３】
更に、静止物体層生成手段２４は、選択した画素に対して、属する静止物体層以外の静止物体層が存在するか否かを判定し（ステップＳ７１０）、存在する場合は、属する静止物体層以外の静止物体層を一つ選択する（ステップＳ７１１）。静止物体層生成手段２４は、属する静止物体層の層生成時刻より選択した静止物体層の層生成時刻が新しいか否かを判定し（ステップＳ７１２）、新しい場合のみ、静止物体層情報記憶手段３２から選択した静止物体層を削除する（ステップＳ７１３）。そして静止物体層生成手段２４は、、属する静止物体層以外の静止物体層全てにステップＳ７１１〜Ｓ７１３の処理を行ったか否かを判定する（ステップＳ７１４）。ステップＳ７１１からステップＳ７１４までの処理は、属する静止物体層以外の静止物体層全てに行われるまで繰り返される。静止物体層生成手段２４は、ステップＳ７０８の処理が完了した場合、又は、ステップＳ７１０にて属する静止物体層以外の静止物体層が存在しない場合、又は、ステップＳ７１１からステップＳ７１４までの処理が終了した場合は、静止領域に含まれる全ての画素にステップＳ７０２〜Ｓ７１４の処理を行ったか否かを判定する（ステップＳ７１５）。ステップＳ７０２からステップＳ７１５までの処理は、静止領域に含まれる全ての画素に行われるまで繰り返される。静止物体層生成手段２４は、ステップ７０１で静止領域が存在しない場合、又は、ステップＳ７０２からステップＳ７１５までの処理が終了した場合は、物体検出手段２２で得られる物体領域以外の画素に対して、静止物体層全てを削除する（ステップＳ７１６）。以上より、静止物体層情報記憶手段３２の静止物体層情報を更新することができる。
【００６４】
続いて、図１及び図８に示すように、物体分離検出手段２５は、物体領域に含まれる全ての画素に対して特徴値と静止物体層情報記憶手段３２に記憶される静止物体層情報とを取得し類似性を表す距離を判定することで、静止物体上に重なっている物体を出力する（ステップＳ８）。
【００６５】
ここで、図１３及び図１４に基づいてステップＳ８を更に詳細に説明する。物体分離検出手段２５は、まず、物体検出手段２２で取得される二値化画像に物体領域が存在するか否かを判定する（ステップＳ８０１）。物体分離検出手段２５は、存在しない場合は、物体が存在せず静止物体上に重なっている物体も存在しない。物体分離検出手段２５は、存在する場合は、検出対象時間記憶手段３３に記憶されている検出対象時間を現在時刻から差分し、検出対象時刻を算出する（ステップＳ８０２）。続いて、物体分離検出手段２５は、物体領域に含まれる画素を一つ選択し（ステップＳ８０３）、特徴抽出手段２１から選択した画素に対応する特徴値を取得する（ステップＳ８０４）。更に、物体分離検出手段２５は、選択した画素に対し、静止物体層が存在するか否かを静止物体層情報記憶手段３２を用い判定する（ステップＳ８０５）。物体分離検出手段２５は、存在する場合は、検出対象時刻より古くかつ最も新しい層生成時刻を持つ静止物体層が存在するか否かを、静止物体層情報記憶手段３２を用いて判定する（ステップＳ８０６）。
【００６６】
物体分離検出手段２５は、存在する場合は、ステップＳ８０６の条件を満足する静止物体層を選択し（ステップＳ８０７）、ステップＳ８０４で取得した特徴値と式（７）又は式（８）とを用い、類似性を表す距離Ｄを算出する（ステップＳ８０８）。物体分離検出手段２５は、算出した類似性を表す距離Ｄが予め定められた閾値以上であるか否かを判定し（ステップＳ８０９）、閾値以上でない場合は、選択した画素は静止物体上に重なっている物体としない。物体分離検出手段２５は、ステップＳ８０５で静止物体層が存在しない場合、又は、ステップＳ８０６の条件の静止物体層が存在しない場合、又は、ステップＳ８０９で類似性を表す距離Ｄが閾値以上である場合は、選択した画素は静止物体上に重なっている物体として抽出する（ステップＳ８１０）。そして、物体分離検出手段２５は、物体領域に含まれる全ての画素にステップＳ８０３〜Ｓ８１０の処理を行ったか否かを判定する（ステップＳ８１１）。ステップＳ８０３からステップＳ８１１までの処理は、物体領域に含まれる全ての画素に行われるまで繰り返される。以上より、最終出力として静止物体上に重なっている物体を出力することができる。
【００６７】
図８において、ステップＳ２からステップＳ８までの処理は、ステップＳ２で画像が取得される間、繰り返される。
【００６８】
次に、本発明の実施形態による効果について説明する。
【００６９】
本発明の実施形態では、特徴画像から物体が存在する物体領域を求め、この物体領域から特徴値の動きが静止している静止領域を求め、この静止領域に対して特徴値を抽出し静止物体層として記憶し、特徴値と記憶された静止物体層から静止物体上に重なっている物体を検出するという、対象物体のテンプレート画像を用いない構成で実現しているので、対象物体のテンプレート画像を用いなくても重なっている物体を区別して検出することができる。このため、物体から新たな物体が出現するなどで、新たな物体の出現位置又は出現タイミングが定まらず、対象物体のテンプレート画像が取得できなくても、重なっている物体を区別して検出することができる。
【００７０】
また、本発明の実施形態では、静止領域に対する特徴値を静止物体層という形で画素毎に記憶し、検出対象時間を用いて静止物体層を選択し、特徴値と選択された静止物体層とを比較し（例えばそれらの類似性を表す距離による判定によって）静止物体上に重なっている物体を検出するという構成を持ち（好ましくは静止物体が静止を開始した時刻を静止物体層の中に管理することにより）、静止物体上に別の静止物体が重なっていても重なっている物体を区別して検出することができる。また、検出対象時間を変更することで、検出したい静止物体上に重なっている静止物体を静止開始時刻に基づいて検出することができる。
【００７１】
更に、本発明の実施形態では、特徴値の時系列変化が安定している安定領域を物体領域から抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、その動き量から物体単位で安定領域が静止領域であるか否かを判定することで、画素単位の時系列変化では誤って静止領域となる画素を、物体単位の動き量という空間的な塊の情報で静止領域外とすることができる。そのため、ある一定方向に移動する単色の物体において、物体の一部が静止領域になってしまうことを防ぐことができるので、このような移動物体において重なっている物体が存在すると誤って検出してしまうことを防ぐことができる。
【００７２】
また、更に、本発明の実施形態では、静止物体上に重なっている物体の判定に特徴値と選択された静止物体層との類似性を表す距離を用いており、その距離の計算に、静止物体層を参照して得られる平均値と分散値という変動成分を吸収できる統計量を利用しているので、照明変動や環境変動などに対応できる。
【００７３】
図１５は、図１の本発明の実施形態を更に具体化した一例を示すブロック図である。以下、この図面に基づき説明する。なお、図１と同じ部分は同じ符号を付すことにより説明を省略する。
【００７４】
この例では、画像取得手段１と、画像蓄積手段３１、静止物体層情報記憶手段３２及び検出対象時間記憶手段３３を有する記憶装置３が、コンピュータ４に接続されており、また、物体領域検出用プログラム５を記憶するコンピュータ可読記憶媒体６がコンピュータ４に接続されている。コンピュータ可読媒体６は、磁気ディスクや半導体メモリ等で構成され、そこに記憶された物体領域検出用プログラム５は、コンピュータ４の立ち上げ時などにコンピュータ４に読み取られ、そのコンピュータ４の動作を制御することにより、そのコンピュータ４を前述した図１のデータ処理装置２内に各手段１０１〜１０４又は各手段２１〜２５として機能させ、また、図８〜図１４に示される処理を行わせる。
【００７５】
次に、本発明の実施形態に係る物体領域検出方法の一実施例について説明する。
【００７６】
本発明の実施形態に係る物体領域検出方法は、図１に示す実施形態の動作すなわち図８乃至図１４に示される処理と同様である。すなわち、本発明の実施形態に係る物体領域検出方法は、図８に示すように、時系列的に連続する複数の入力画像について物体領域を検出するステップａと、前記物体領域に含まれる静止領域を前記連続する複数の入力画像から検出するステップｂと、前記静止領域の情報を時系列的な背景情報として蓄積するステップｃと、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出するステップｄと、を含むことを特徴とする。具体的には、ステップａとしての第一のステップ（ステップＳ２〜Ｓ４）と及び第二のステップ（ステップＳ５）と、ステップｂとしての第三のステップ（ステップＳ６）と、ステップｃとしての第四のステップ（ステップＳ７）と、ステップｄとしての第五のステップ（ステップＳ８）とを含んでいる。第一のステップでは、前記入力画像の各画素について特徴値を抽出するとともに、当該入力画像を特徴画像として出力する。第二のステップでは、前記特徴画像から、物体の存在する物体領域を検出する。第三のステップでは、前記物体領域に含まれる動きが静止している領域を、静止領域として取得する。第四のステップでは、前記静止領域の各画素の前記特徴値に基づき、静止物体層及びその静止物体層情報を生成する。第五のステップでは、前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して、当該静止物体上に重なっている当該物体を検出する。
【００７７】
また、本発明の実施形態に係る物体領域検出方法は、入力画像と背景情報を比較して物体の領域を検出し、物体が静止した時に静止した物体の領域の情報を新たな別の背景情報として記憶し、記憶された複数の背景情報と入力画像を比較することにより個々の物体の領域を検出することを特徴とする、とすることも可能である。
【００７８】
このとき、前記静止した物体の領域は、入力画像と背景情報を比較して検出した物体の領域に含まれる画素にて、入力画像の特徴値の時間的変化が安定している安定領域で、前記検出した物体の領域に対し近傍の画素を一つの物体としてその物体を単位とした安定領域において空間的な動きが小さい領域である、としてもよい。また、前記新たな別の背景情報として記憶するとは、前記静止した物体の領域に含まれる画素において、記憶された複数の背景情報から入力画像の特徴値と類似する背景情報を選択し入力画像の特徴値をその背景情報に更新すること、また、類似する背景情報がない場合には入力画像の特徴値から新たな別の背景情報を生成することである、としてもよい。更に、前記比較することにより個々の物体の領域を検出するとは、入力画像と背景情報を比較して検出した物体の領域に含まれる画素において、入力画像の特徴値と記憶された背景情報を用い、類似であるか否かを判定し類似でない場合に静止物体上に重なっている物体として検出することである、としてもよい。
【００７９】
また、本発明の実施形態に係る物体領域検出方法は、動画像から画像を取得する画像取得処理と、画像から特徴値を抽出する特徴抽出処理と、特徴画像から物体領域及び物体に対する物体ＩＤ、その矩形位置及び矩形サイズを取得する物体検出処理と、物体領域で動きが静止している領域を取得する静止領域取得処理と、静止領域に含まれる全ての画素に対して特徴値を取得し静止物体毎に静止物体の情報を静止物体層情報として生成する静止物体層生成処理と、物体領域に含まれる全ての画素に対して特徴値と静止物体層情報記憶手段に記憶される静止物体層情報とを取得し類似性を表す距離による判定で静止物体上に重なっている物体を検出する物体分離検出処理とを備えた、とすることも可能である。
【００８０】
このとき、前記静止領域取得処理は、物体領域に含まれる全ての画素に対する特徴値の分散値を時系列から求め、予め定められた閾値以下の分散値を持つ画素を時間的変化が安定している安定領域として抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、予め定められた閾値以下の動き量を持つ領域を静止領域として取得する、としてもよい。
【００８１】
前記静止物体層生成処理は、静止領域に含まれる全ての画素の特徴値を、その画素に記憶されている全ての静止物体層情報の基準特徴値と比較して特徴間距離が最も近くかつ予め定められた閾値以下であれば、当該静止物体層に属すると決定して当該静止物体層情報を更新し、更に、属する静止物体層の層生成時刻より新しい層生成時刻を持つ静止物体層を削除し、特徴値が属する静止物体層がない場合や既存の静止物体層が一つも存在しない場合には、新しく静止物体層を生成し、その静止物体層の情報を設定し、物体領域以外の画素に対しては、静止物体層全てを削除する、としてもよい。
【００８２】
前記物体分離検出処理は、物体領域における特徴値と静止物体層情報を比較する際に、検出対象時間記憶手段に記憶されている検出対象時間を現在時刻から差分し検出対象時刻を算出し、この算出された検出対象時刻より古く、かつ、最も新しい層生成時刻を持つ静止物体層を一つ選択して比較する、としてもよい。
【００８３】
前記物体分離検出処理は、前述の条件を満たす静止物体層が存在しない場合や静止物体層が一つも存在しない場合に、静止物体上に重なっている物体として検出する、としてもよい。
【００８４】
前記物体分離検出処理における類似性を表す距離による判定は、物体領域における特徴値と選択された静止物体層情報とを参照して得られる平均値及び分散値を用いて、特徴値と平均値との差分量の絶対値、又は、特徴値と平均値との差分量の絶対値を標準偏差で正規化した値を類似性を表す距離とし、予め定められた閾値以上の類似性を表す距離を持つ画素を静止物体上に重なっている物体として検出する、としてもよい。
【００８５】
前記動き量は、物体単位の安定領域に含まれる全ての画素に対して、テンプレートマッチングによるオプティカルフローを求めその大きさをマッチング距離で重み付けをした加重平均にて算出する、又は、オプティカルフローを求めその大きさを物体領域の輪郭付近で大きく重み付けをした加重平均にて算出する、としてもよい。
【００８６】
本発明の実施形態に係る物体領域検出方法によれば、図１の実施形態と同様の作用及び効果を奏する。また、本発明の実施形態に係る物体領域検出装置等の前述した一実施形態の構成に準じて本発明の実施形態に係る物体領域検出方法を構成してもよし、本発明の実施形態に係る物体領域検出方法の前述した構成に準じて本発明の実施形態に係る物体領域検出装置等を構成してもよい。
【００８７】
なお、本発明は、言うまでもなく、上記実施形態に限定されるものではない。例えば、データ処理装置の各手段は、専用のＩＣを用いて実現することもできる。
【００８８】
また、上記実施形態では、全画素の一つ一つを検出対象としたが、隣接する複数画素の特徴値の平均値を用い、これらの複数画素を一つの画素として扱う場合も本発明に含まれる。この場合は、処理速度の向上及びメモリ容量の低減が図られる。
【００８９】
更に、特定座標の画素のみを検出対象とする場合も本発明に含まれる。例えば、図７におけるＡ点、Ｂ点及びＣ点を含む複数点のみを検出対象としてもよい。このようにしても、各点相互の重なり又は各点の属する物体相互の重なりを検出することができる。この場合も、処理速度の向上及びメモリ容量の低減が図られる。
【００９０】
なお、本発明の実施形態に係る物体領域検出装置をハードウェアとして構築したが、これに限られるものではない。本発明の実施形態は、物体領域検出用プログラムとして構築してもよく、そのプログラムをコンピュータに実行させることにより、物体領域検出装置の機能を実現するようにしてもよいものである。前記物体領域検出用プログラムは記録媒体に記録され、その状態で商取引の対象となる。
【００９１】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００９２】
この出願は２００７年７月５日に出願された日本出願特願２００７−１７７３８９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００９３】
本発明によれば、一つのカメラの撮影にて、静止物体上に別の静止物体及び移動物体が重なっていても重なっている物体を区別して検出できる物体領域検出装置や、物体領域検出装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、カメラや蓄積映像から静止物体上に重なっている物体の検出を必要とする監視分野において、侵入者検出、不審者検出、不審物の置き去り検出、荷物の持ち去り検出、ゲートの共連れ検出、混雑及び行列検出などを行う装置や機能といった用途に適用できる。更に、カメラや蓄積映像からの静止物体上に重なっている物体の検出位置を入力とする入力インタフェースといった用途に適用できる。この他、静止物体上に重なっている物体の検出をトリガ・キーとするビデオ／映像検索装置・機能といった用途に適用できる。
【図面の簡単な説明】
【００９４】
【図１】本発明に係る物体領域検出装置及び物体領域検出システムの一実施形態を示すブロック図である。
【図２】図１の実施形態における動作の概要（その１）を示す説明図である。
【図３】図１の実施形態における動作の概要（その２）を示す説明図である。
【図４】図１の実施形態における静止物体層情報の一例を示す図表である。
【図５】図１の実施形態における処理経過の一例を示す説明図である。
【図６】図１の実施形態における静止物体層生成手段にて削除される静止物体層の一例を示す説明図である。
【図７】図１の実施形態における物体分離検出の一例を示す説明図である。
【図８】図１の実施形態における全体の動作を示すフローチャートである。
【図９】図８のステップＳ６における詳細な動作（その１）を示すフローチャートである。
【図１０】図８のステップＳ６における詳細な動作（その２）を示すフローチャートである。
【図１１】図８のステップＳ７における詳細な動作（その１）を示すフローチャートである。
【図１２】図８のステップＳ７における詳細な動作（その２）を示すフローチャートである。
【図１３】図８のステップＳ８における詳細な動作（その１）を示すフローチャートである。
【図１４】図８のステップＳ８における詳細な動作（その２）を示すフローチャートである。
【図１５】図１の実施例を更に具体化した一例を示すブロック図である。
【符号の説明】
【００９５】
１ 画像取得手段
２ データ処理装置（物体領域検出装置）
３ 記憶装置
４ コンピュータ
５ 物体領域検出用プログラム
６ コンピュータ可読記憶媒体
２１ 特徴抽出手段
２２ 物体検出手段
２３ 静止領域取得手段
２４ 静止物体層生成手段
２５ 物体分離検出手段
３１ 画像蓄積手段
３２ 静止物体層情報記憶手段
３３ 検出対象時間記憶手段
１００ 物体領域検出システム
１０１ 第一の手段
１０２ 第二の手段
１０３ 第三の手段
１０４ 第四の手段
Claims (25)
- 入力画像と物体を含まない背景情報を用いて物体領域を検出する第一の手段と、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として検出する第二の手段と、前記静止領域の情報を時系列的な背景情報として蓄積する第三の手段と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する第四の手段と、
を備えたことを特徴とする物体領域検出装置。 - 前記第一の手段としての特徴抽出手段及び物体検出手段と、前記第二の手段としての静止領域取得手段と、前記第三の手段としての静止物体層生成手段と、前記第四の手段としての物体分離検出手段とを備え、
前記特徴抽出手段は、前記入力画像の各画素について特徴値を抽出するとともに当該入力画像を特徴画像として出力する機能を有し、
前記物体検出手段は、物体を含まない背景情報を用いて、前記特徴画像から物体の存在する物体領域を検出する機能を有し、
前記静止領域取得手段は、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として取得する機能を有し、
前記静止物体層生成手段は、前記静止領域の各画素の前記特徴値に基づき静止物体層及びその静止物体層情報を生成する機能を有し、
前記物体分離検出手段は、前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して当該静止物体上に重なっている当該物体を検出する機能を有する、
ことを特徴とする請求項１記載の物体領域検出装置。 - 前記静止領域取得手段は、前記物体領域の各画素における特徴値の時系列からその分散値を求め、一定以下の前記分散値を持つ前記各画素を時間的変化が少ない安定した安定領域として抽出し、前記安定領域に対して、その領域の物体単位の塊毎に空間的な動きを示す動き量を求め、一定以下の前記動き量を持つ前記安定領域を前記静止領域として取得する、
ことを特徴とする請求項２記載の物体領域検出装置。 - 前記静止領域取得手段は、物体単位の前記安定領域の各画素に対してテンプレートマッチングによるオプティカルフローを求め、そのオプティカルフローの大きさをマッチング距離で重み付けをした加重平均又は前記オプティカルフローの大きさを前記物体領域の輪郭付近で大きく重み付けをした加重平均によって前記動き量を算出する、
ことを特徴とする請求項３記載の物体領域検出装置。 - 前記静止物体層生成手段は、前記静止領域の各画素の前記特徴値を既存の前記静止物体層の基準特徴値と比較して特徴間距離が最も近くかつ一定以下の前記静止物体層があるならば、当該静止物体層に当該静止領域の前記特徴値が属すると決定して当該静止物体層情報を更新するとともに、前記静止領域の前記特徴値が属する前記静止物体層の層生成時刻よりも新しい層生成時刻を持つ前記静止物体層を削除し、前記静止領域の前記特徴値が属する前記静止物体層がないとき又は既存の前記静止物体層が一つも存在しないときには新しく前記静止物体層を生成するとともにその前記静止物体層情報を設定し、前記物体領域以外の画素に対しては前記静止物体層の全てを削除する、
ことを特徴とする請求項２乃至４のいずれか一項に記載の物体領域検出装置。 - 前記物体分離検出手段は、前記物体領域の各画素の前記特徴値を既存の前記静止物体層情報と比較する際に、予め記憶している検出対象時間を現在時刻から差分することにより検出対象時刻を算出し、この検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層を一つ選択して比較の対象とする、
ことを特徴とする請求項２乃至５のいずれか一項に記載の物体領域検出装置。 - 前記物体分離検出手段は、前記検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層が存在しないとき又は前記静止物体層が一つも存在しないときに、前記物体領域の前記各画素を前記静止物体上に重なっている前記物体として検出する、
ことを特徴とする請求項６記載の物体領域検出装置 - 前記物体分離検出手段は、前記物体領域の各画素の前記特徴値と選択された前記静止物体層情報を参照して得られる平均値及び分散値とを用いて、前記特徴値と前記平均値との差分量の絶対値又はその絶対値を標準偏差で正規化した値を類似性を表す距離とし、一定値以上の類似性を表す距離を持つ前記各画素を前記静止物体上に重なっている前記物体として検出する、
ことを特徴とする請求項２乃至７のいずれか一項に記載の物体領域検出装置。 - 請求項２乃至８のいずれか一項に記載の物体領域検出装置と、動画像から入力画像を取得して前記物体領域検出装置へ出力する画像取得手段と、前記特徴値及び前記静止物体層情報を含む情報を記憶する記憶装置と、
を備えたことを特徴とする物体領域検出システム。 - 入力画像と物体を含まない背景情報を用いて物体領域を検出するステップａと、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として検出するステップｂと、前記静止領域の情報を時系列的な背景情報として蓄積するステップｃと、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出するステップｄと、
を含むことを特徴とする物体領域検出方法。 - 前記ステップａとしての第一及び第二のステップと、前記ステップｂとしての第三のステップと、前記ステップｃとしての第四のステップと、前記ステップｄとしての第五のステップとを含み、
前記第一のステップでは、前記入力画像の各画素について特徴値を抽出するとともに当該入力画像を特徴画像として出力し、
前記第二のステップでは、物体を含まない背景情報を用いて、前記特徴画像から物体の存在する物体領域を検出し、
前記第三のステップでは、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として取得し、
前記第四のステップでは、前記静止領域の各画素の前記特徴値に基づき静止物体層及びその静止物体層情報を生成し、
前記第五のステップでは、前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して当該静止物体上に重なっている当該物体を検出する、
ことを特徴とする請求項１０記載の物体領域検出方法。 - 前記第三のステップでは、前記物体領域の各画素における特徴値の時系列からその分散値を求め、一定以下の前記分散値を持つ前記各画素を時間的変化が少ない安定した安定領域として抽出し、前記安定領域に対して、その領域の物体単位の塊毎に空間的な動きを示す動き量を求め、一定以下の前記動き量を持つ前記安定領域を前記静止領域として取得する、
ことを特徴とする請求項１１記載の物体領域検出方法。 - 前記第三のステップでは、物体単位の前記安定領域の各画素に対してテンプレートマッチングによるオプティカルフローを求め、そのオプティカルフローの大きさをマッチング距離で重み付けをした加重平均又は前記オプティカルフローの大きさを前記物体領域の輪郭付近で大きく重み付けをした加重平均によって前記動き量を算出する、
ことを特徴とする請求項１２記載の物体領域検出方法。 - 前記第四のステップでは、前記静止領域の各画素の前記特徴値を既存の前記静止物体層の基準特徴値と比較して特徴間距離が最も近くかつ一定以下の前記静止物体層があるならば、当該静止物体層に当該静止領域の前記特徴値が属すると決定して当該静止物体層情報を更新するとともに、前記静止領域の前記特徴値が属する前記静止物体層の層生成時刻よりも新しい層生成時刻を持つ前記静止物体層を削除し、前記静止領域の前記特徴値が属する前記静止物体層がないとき又は既存の前記静止物体層が一つも存在しないときには新しく前記静止物体層を生成するとともにその前記静止物体層情報を設定し、前記物体領域以外の画素に対しては前記静止物体層の全てを削除する、
ことを特徴とする請求項１１乃至１３のいずれか一項に記載の物体領域検出方法。 - 前記第五のステップでは、前記物体領域の各画素の前記特徴値を既存の前記静止物体層情報と比較する際に、予め記憶している検出対象時間を現在時刻から差分することにより検出対象時刻を算出し、この検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層を一つ選択して比較の対象とする、
ことを特徴とする請求項１１乃至１４のいずれか一項に記載の物体領域検出方法。 - 前記第五のステップでは、前記検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層が存在しないとき又は前記静止物体層が一つも存在しないときに、前記物体領域の前記各画素を前記静止物体上に重なっている前記物体として検出する、
ことを特徴とする請求項１５記載の物体領域検出方法 - 前記第五のステップでは、前記物体領域の各画素の前記特徴値と選択された前記静止物体層情報を参照して得られる平均値及び分散値とを用いて、前記特徴値と前記平均値との差分量の絶対値又はその絶対値を標準偏差で正規化した値を類似性を表す距離とし、一定値以上の類似性を表す距離を持つ前記各画素を前記静止物体上に重なっている前記物体として検出する、
ことを特徴とする請求項１１乃至１６のいずれか一項に記載の物体領域検出方法。 - コンピュータに、
入力画像と物体を含まない背景情報を用いて物体領域を検出する機能と、
前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として検出する機能と、
前記静止領域の情報を時系列的な背景情報として蓄積する機能と、
前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する機能とを実行させることを特徴とする物体領域検出プログラム。 - 前記コンピュータに、
前記入力画像の各画素について特徴値を抽出するとともに当該入力画像を特徴画像として出力する機能と、
物体を含まない背景情報を用いて、前記特徴画像から物体の存在する物体領域を検出する機能と、
前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域（塊）を静止領域として取得する機能と、
前記静止領域の各画素の前記特徴値に基づき静止物体層及びその静止物体層情報を生成する機能と、
前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して当該静止物体上に重なっている当該物体を検出する機能とじっこうさせることを特徴とする請求項１８記載の物体領域検出用プログラム。 - 前記コンピュータに、
前記物体領域の各画素における特徴値の時系列からその分散値を求め、一定以下の前記分散値を持つ前記各画素を時間的変化が少ない安定した安定領域として抽出し、前記安定領域に対して、その領域の物体単位の塊毎に空間的な動きを示す動き量を求め、一定以下の前記動き量を持つ前記安定領域を前記静止領域として取得する機能を実行させることを特徴とする請求項１９記載の物体領域検出用プログラム。 - 前記コンピュータに、
物体単位の前記安定領域の各画素に対してテンプレートマッチングによるオプティカルフローを求め、そのオプティカルフローの大きさをマッチング距離で重み付けをした加重平均又は前記オプティカルフローの大きさを前記物体領域の輪郭付近で大きく重み付けをした加重平均によって前記動き量を算出する機能を実行させることを特徴とする請求項２０記載の物体領域検出用プログラム。 - 前記コンピュータに、
前記静止領域の各画素の前記特徴値を既存の前記静止物体層の基準特徴値と比較して特徴間距離が最も近くかつ一定以下の前記静止物体層があるならば、当該静止物体層に当該静止領域の前記特徴値が属すると決定して当該静止物体層情報を更新するとともに、前記静止領域の前記特徴値が属する前記静止物体層の層生成時刻よりも新しい層生成時刻を持つ前記静止物体層を削除し、前記静止領域の前記特徴値が属する前記静止物体層がないとき又は既存の前記静止物体層が一つも存在しないときには新しく前記静止物体層を生成するとともにその前記静止物体層情報を設定し、前記物体領域以外の画素に対しては前記静止物体層の全てを削除する機能を実行させることを特徴とする請求項１９乃至２１のいずれか一項に記載の物体領域検出用プログラム。 - 前記コンピュータに、
前記物体領域の各画素の前記特徴値を既存の前記静止物体層情報と比較する際に、予め記憶している検出対象時間を現在時刻から差分することにより検出対象時刻を算出し、この検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層を一つ選択して比較の対象とする機能を実行させることを特徴とする請求項１９乃至２２のいずれか一項に記載の物体領域検出用プログラム。 - 前記コンピュータに、
前記検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層が存在しないとき又は前記静止物体層が一つも存在しないときに、前記物体領域の前記各画素を前記静止物体上に重なっている前記物体として検出する機能を実行させることを特徴とする請求項２３記載の物体領域検出用プログラム - 前記コンピュータに、
前記物体領域の各画素の前記特徴値と選択された前記静止物体層情報を参照して得られる平均値及び分散値とを用いて、前記特徴値と前記平均値との差分量の絶対値又はその絶対値を標準偏差で正規化した値を類似性を表す距離とし、一定値以上の類似性を表す距離を持つ前記各画素を前記静止物体上に重なっている前記物体として検出する機能を実行させることを特徴とする請求項１９乃至２４のいずれか一項に記載の物体領域検出用プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009521675A JP5115556B2 (ja) | 2007-07-05 | 2008-07-04 | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007177389 | 2007-07-05 | ||
| JP2007177389 | 2007-07-05 | ||
| JP2009521675A JP5115556B2 (ja) | 2007-07-05 | 2008-07-04 | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム |
| PCT/JP2008/062157 WO2009005141A1 (ja) | 2007-07-05 | 2008-07-04 | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2009005141A1 JPWO2009005141A1 (ja) | 2010-08-26 |
| JP5115556B2 true JP5115556B2 (ja) | 2013-01-09 |
Family
ID=40226179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009521675A Active JP5115556B2 (ja) | 2007-07-05 | 2008-07-04 | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8588466B2 (ja) |
| JP (1) | JP5115556B2 (ja) |
| WO (1) | WO2009005141A1 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5257514B2 (ja) * | 2009-05-12 | 2013-08-07 | トヨタ自動車株式会社 | 視認領域推定装置および運転支援装置 |
| JP5570176B2 (ja) * | 2009-10-19 | 2014-08-13 | キヤノン株式会社 | 画像処理システム及び情報処理方法 |
| TW201140502A (en) * | 2010-05-13 | 2011-11-16 | Hon Hai Prec Ind Co Ltd | System and method for monitoring objects |
| TW201140470A (en) * | 2010-05-13 | 2011-11-16 | Hon Hai Prec Ind Co Ltd | System and method for monitoring objects and key persons of the objects |
| CN102244770B (zh) * | 2010-05-14 | 2014-12-17 | 深圳市齐创美科技有限公司 | 物件监控系统及方法 |
| CN102244769B (zh) * | 2010-05-14 | 2014-08-20 | 鸿富锦精密工业（深圳）有限公司 | 物件及其关键人监控系统与方法 |
| US9785653B2 (en) * | 2010-07-16 | 2017-10-10 | Shutterfly, Inc. | System and method for intelligently determining image capture times for image applications |
| US8655093B2 (en) * | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
| JP5719141B2 (ja) * | 2010-10-28 | 2015-05-13 | キヤノン株式会社 | 情報処理装置、その処理方法及びプログラム |
| JP5746926B2 (ja) * | 2011-07-27 | 2015-07-08 | 日立アロカメディカル株式会社 | 超音波画像処理装置 |
| JP5784404B2 (ja) * | 2011-07-29 | 2015-09-24 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP2013033317A (ja) | 2011-08-01 | 2013-02-14 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
| US8744123B2 (en) | 2011-08-29 | 2014-06-03 | International Business Machines Corporation | Modeling of temporarily static objects in surveillance video data |
| JP2013065151A (ja) | 2011-09-16 | 2013-04-11 | Sony Corp | 画像処理装置、画像処理方法、および、プログラム |
| US8675917B2 (en) * | 2011-10-31 | 2014-03-18 | International Business Machines Corporation | Abandoned object recognition using pedestrian detection |
| US9672609B1 (en) * | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
| KR101505557B1 (ko) | 2013-08-30 | 2015-03-25 | 고려대학교 산학협력단 | 축사 내 각각의 객체 간의 겹침 처리장치 및 방법 |
| JP6308612B2 (ja) * | 2013-10-31 | 2018-04-11 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
| JP6576059B2 (ja) * | 2015-03-10 | 2019-09-18 | キヤノン株式会社 | 情報処理、情報処理方法、プログラム |
| JP2018535572A (ja) * | 2015-09-21 | 2018-11-29 | クアルコム，インコーポレイテッド | カメラプレビュー |
| US10580135B2 (en) | 2016-07-14 | 2020-03-03 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for splicing images |
| US11726979B2 (en) | 2016-09-13 | 2023-08-15 | Oracle International Corporation | Determining a chronological order of transactions executed in relation to an object stored in a storage system |
| US10733159B2 (en) | 2016-09-14 | 2020-08-04 | Oracle International Corporation | Maintaining immutable data and mutable metadata in a storage system |
| WO2018056355A1 (ja) * | 2016-09-23 | 2018-03-29 | 株式会社日立国際電気 | 監視装置 |
| US10860534B2 (en) | 2016-10-27 | 2020-12-08 | Oracle International Corporation | Executing a conditional command on an object stored in a storage system |
| US10169081B2 (en) * | 2016-10-31 | 2019-01-01 | Oracle International Corporation | Use of concurrent time bucket generations for scalable scheduling of operations in a computer system |
| US10275177B2 (en) | 2016-10-31 | 2019-04-30 | Oracle International Corporation | Data layout schemas for seamless data migration |
| US10956051B2 (en) | 2016-10-31 | 2021-03-23 | Oracle International Corporation | Data-packed storage containers for streamlined access and migration |
| US10180863B2 (en) | 2016-10-31 | 2019-01-15 | Oracle International Corporation | Determining system information based on object mutation events |
| US10191936B2 (en) | 2016-10-31 | 2019-01-29 | Oracle International Corporation | Two-tier storage protocol for committing changes in a storage system |
| JP7053207B2 (ja) * | 2017-09-29 | 2022-04-12 | 日本信号株式会社 | 物体通過検知装置 |
| JP7183085B2 (ja) * | 2019-03-14 | 2022-12-05 | 株式会社東芝 | 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置 |
| JP7195204B2 (ja) * | 2019-03-29 | 2022-12-23 | セコム株式会社 | 画像処理装置及び画像処理プログラム |
| CN111079621B (zh) * | 2019-12-10 | 2023-10-03 | 北京百度网讯科技有限公司 | 检测对象的方法、装置、电子设备和存储介质 |
| WO2023190686A1 (ja) * | 2022-03-31 | 2023-10-05 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
| CN116453246B (zh) * | 2023-06-12 | 2024-02-02 | 深圳市众联视讯科技有限公司 | 识别门外物件且可报警的智能门锁及识别报警方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262355A (ja) * | 1994-03-18 | 1995-10-13 | Fuji Electric Co Ltd | 画像監視装置 |
| JP2002157598A (ja) * | 2000-11-16 | 2002-05-31 | Japan Radio Co Ltd | 侵入者検知システム |
| JP2007164690A (ja) * | 2005-12-16 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3254464B2 (ja) | 1992-07-13 | 2002-02-04 | 株式会社日立製作所 | 車輌認識装置と移動体認識方法 |
| JPH06180749A (ja) | 1992-12-14 | 1994-06-28 | Toyota Motor Corp | 路上物体監視装置 |
| JPH0855220A (ja) | 1994-08-12 | 1996-02-27 | N T T Data Tsushin Kk | 移動物体抽出処理方式及び方法 |
| US6301371B1 (en) * | 1995-08-21 | 2001-10-09 | Mark F. Jones | Object identification system applications |
| JP3230509B2 (ja) | 1998-06-26 | 2001-11-19 | 日本電気株式会社 | 動画像処理装置 |
| US6658136B1 (en) * | 1999-12-06 | 2003-12-02 | Microsoft Corporation | System and process for locating and tracking a person or object in a scene using a series of range images |
| KR100450793B1 (ko) | 2001-01-20 | 2004-10-01 | 삼성전자주식회사 | 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법 |
| JP4061377B2 (ja) | 2003-09-12 | 2008-03-19 | 独立行政法人産業技術総合研究所 | ３次元データからの特徴抽出装置 |
-
2008
- 2008-07-04 US US12/665,802 patent/US8588466B2/en active Active
- 2008-07-04 JP JP2009521675A patent/JP5115556B2/ja active Active
- 2008-07-04 WO PCT/JP2008/062157 patent/WO2009005141A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262355A (ja) * | 1994-03-18 | 1995-10-13 | Fuji Electric Co Ltd | 画像監視装置 |
| JP2002157598A (ja) * | 2000-11-16 | 2002-05-31 | Japan Radio Co Ltd | 侵入者検知システム |
| JP2007164690A (ja) * | 2005-12-16 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8588466B2 (en) | 2013-11-19 |
| US20100322475A1 (en) | 2010-12-23 |
| WO2009005141A1 (ja) | 2009-01-08 |
| JPWO2009005141A1 (ja) | 2010-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5115556B2 (ja) | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム | |
| JP6525545B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
| US9311524B2 (en) | Image processing apparatus and image processing method | |
| JP6904346B2 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
| WO2013012091A1 (ja) | 情報処理装置、物体追跡方法およびプログラム記憶媒体 | |
| JP6565600B2 (ja) | アテンション検出装置及びアテンション検出方法 | |
| KR101360349B1 (ko) | 객체의 특징 정보에 기반한 객체 추적 방법 및 장치 | |
| JPWO2012127815A1 (ja) | 移動体検出装置および移動体検出方法 | |
| JP5832910B2 (ja) | 画像監視装置 | |
| CN113396423A (zh) | 处理来自基于事件的传感器的信息的方法 | |
| JP2015138319A (ja) | 物体検出装置、物体検出方法、および物体検出プログラム | |
| Murugan et al. | Automatic moving vehicle detection and classification based on artificial neural fuzzy inference system | |
| Funde et al. | Object detection and tracking approaches for video surveillance over camera network | |
| JP2017130042A (ja) | 映像処理装置、映像処理方法、及びプログラム | |
| US20220180536A1 (en) | Object detection/tracking device, method, and program recording medium | |
| JP6811244B2 (ja) | 画像処理装置、ステレオカメラ装置及び画像処理方法 | |
| JP6028972B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2014110020A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP6607630B2 (ja) | 移動物体抽出装置、方法およびプログラム | |
| JP5412984B2 (ja) | フォロー対象検出装置、フォロー対象検出方法およびフォロー対象検出プログラム | |
| JP6698058B2 (ja) | 画像処理装置 | |
| JP6555940B2 (ja) | 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 | |
| Shafiee et al. | Model-based tracking: Temporal conditional random fields | |
| JP6539720B1 (ja) | 画像処理装置 | |
| JP2011043863A (ja) | 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121001 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5115556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |