JP5983033B2 - 位置関係判定プログラム、位置関係判定方法および位置関係判定装置 - Google Patents

位置関係判定プログラム、位置関係判定方法および位置関係判定装置 Download PDF

Info

Publication number
JP5983033B2
JP5983033B2 JP2012121302A JP2012121302A JP5983033B2 JP 5983033 B2 JP5983033 B2 JP 5983033B2 JP 2012121302 A JP2012121302 A JP 2012121302A JP 2012121302 A JP2012121302 A JP 2012121302A JP 5983033 B2 JP5983033 B2 JP 5983033B2
Authority
JP
Japan
Prior art keywords
moving body
camera
positional relationship
image data
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012121302A
Other languages
English (en)
Other versions
JP2013247586A (ja
Inventor
健太郎 辻
健太郎 辻
瀬川　英吾
英吾 瀬川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012121302A priority Critical patent/JP5983033B2/ja
Publication of JP2013247586A publication Critical patent/JP2013247586A/ja
Application granted granted Critical
Publication of JP5983033B2 publication Critical patent/JP5983033B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、位置関係判定プログラム等に関する。
近年、オフィスやショッピングセンター、駅、商店街など様々な場所に多数の監視カメラが設置されている。このような多数の監視カメラを連携させることで、移動体の追跡や、広い範囲での所定の移動体の捜索などに活用することができる。
また、各監視カメラの位置関係を利用することで、各監視カメラが撮影した映像を効率よく連携させて、移動体の追跡精度を向上させることができる。例えば、３台の監視カメラＡ、Ｂ、Ｃで撮影された映像を使って移動体の追跡を行う場合について説明する。
監視カメラが監視カメラＡ、Ｂ、Ｃの順に並んで設置されていれば、監視カメラＡの映像に現れた移動体は、監視カメラＣの映像に現れる前に監視カメラＢの映像に現れるといった制約を加えることができる。例えば、監視カメラＡの映像に映った移動体と類似した移動体が同時刻に監視カメラＢの映像および監視カメラＣの映像に現れたとする。この場合には、監視カメラＡの映像の次に移動体が写るのは監視カメラＢの映像であるため、監視カメラＢの映像の移動体が監視カメラＡの映像の移動体と同一であると判定できる。
このように、監視カメラの位置関係を利用することで、探索範囲を狭めたり、他の移動体と間違えて追跡するミスを低減したりすることが可能となり、位置関係がわかっていない場合と比較して、追跡精度を向上させることができる。
ところで、各監視カメラの位置関係を事前に把握していれば、上記のように追跡精度等を向上させることが可能である。しかし、例えば、複数の設置者が設置をした監視カメラを用いる場合、各監視カメラの位置関係を把握することは難しい。
ここで、カメラに撮影されたマーカとカメラとの位置関係を算出する従来技術が存在する。この従来技術を応用することで、複数の監視カメラの位置関係を把握することができる。
特開２００３−３２４７２０号公報 特開２００６−２２９４５０号公報 特開２０１１−１４５７３０号公報 特開２００６−８１０５３号公報 特開２００３−７８８１１号公報 特開２００４−２１３３３２号公報
しかしながら、上述した従来技術で、複数のカメラの位置関係を算出するためには、従来技術に記載されたキャリブレーション用のマーカを全てのカメラから見える場所に置く必要がある。また、別の方法として、キャリブレーション用のマーカをカメラと同数用意して、各カメラに対して１つずつキャリブレーション用マーカが撮影されるように設置し、さらに全てのマーカ同士の位置関係を予め計測する必要がある。
このように、従来技術では、カメラの位置関係を把握するために、カメラの撮影範囲へのマーカの設置や、マーカの位置関係の調査など多大な労力が必要となり、現実的に実施が難しいという問題があった。
開示の技術は、上記に鑑みてなされたものであって、カメラの位置関係を判定することができる位置関係判定プログラム、位置関係判定方法および位置関係判定装置を提供することを目的とする。
開示の位置関係判定プログラムは、下記の処理をコンピュータに実行させる。コンピュータは、異なる位置に配置された複数のカメラがそれぞれ撮影した複数の画像データから移動体を検出する。コンピュータは、複数の画像データから検出した各移動体の特徴量を抽出する。コンピュータは、抽出した各移動体の特徴量を基にして、特徴量の類似する移動体を対応付ける。コンピュータは、対応付けた移動体について、移動体の移動元の画像データを撮影したカメラと、移動体の移動先の画像データを撮影したカメラとの関係を特定し、カメラの位置関係を判定する。
開示の位置関係判定プログラムによれば、カメラの位置関係を判定することができるという効果を奏する。
図１は、本実施例１に係る位置関係判定装置の構成を示す図である。 図２は、本実施例１に係る移動体情報テーブルのデータ構造の一例を示す図である。 図３は、本実施例１に係る対応情報テーブルのデータ構造の一例を示す図である。 図４は、映像取得部が出力する画像データの一例を示す図である。 図５は、移動体の検出結果の一例を示す図である。 図６は、本実施例１に係る位置関係判定部の処理を説明するための図（１）である。 図７は、本実施例１に係る位置関係判定部の処理を説明するための図（２）である。 図８は、本実施例１に係る位置関係判定部の判定結果の一例を示す図である。 図９は、移動体情報テーブルに情報を登録する処理手順を示すフローチャートである。 図１０は、カメラの位置関係の情報を出力する処理の処理手順を示すフローチャートである。 図１１は、本実施例２に係る位置関係判定装置の構成を示す機能ブロック図である。 図１２は、本実施例２に係る移動体情報テーブルのデータ構造の一例を示す図である。 図１３は、本実施例２に係る対応情報テーブルのデータ構造の一例を示す図である。 図１４は、本実施例２に係る位置関係判定部の判定結果の一例を示す図である。 図１５は、出現頻度テーブルのデータ構造の一例を示す図（１）である。 図１６は、出現頻度テーブルのデータ構造の一例を示す図（２）である。 図１７は、位置関係判定プログラムを実行するコンピュータの一例を示す図である。
以下に、本願の開示する位置関係判定プログラム、位置関係判定方法および位置関係判定装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
本実施例１に係る位置関係判定装置の一例について説明する。図１は、本実施例１に係る位置関係判定装置の構成を示す図である。図１に示すように、この位置関係判定装置１００は、記憶部１１０、映像取得部１２０、移動体検出部１３０、特徴量抽出部１４０、位置関係判定部１５０、出力部１６０を有する。また、位置関係判定装置１００は、複数のカメラ１０ａ、１０ｂ、１０ｃに接続される。ここでは一例として、カメラ１０ａ、１０ｂ、１０ｃを示すが、位置関係判定装置１００は、その他のカメラに接続されていても良い。
カメラ１０ａ〜１０ｃは、撮像範囲の映像を撮影するカメラであり、それぞれ異なる位置に設置されているものとする。カメラ１０ａ〜１０ｃは、撮影した映像のデータを位置関係判定装置１００に出力する。以下の説明において、カメラ１０ａ〜１０ｃをまとめて、適宜、カメラ１０と表記する。
記憶部１１０は、移動体情報テーブル１１０ａ、対応情報テーブル１１０ｂを記憶する記憶装置である。記憶部１１０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
移動体情報テーブル１１０ａは、移動体の特徴量等を有するテーブルである。図２は、本実施例１に係る移動体情報テーブルのデータ構造の一例を示す図である。図２に示すように、この移動体情報テーブル１１０ａは、移動体ＩＤ（Identification）、カメラＩＤ、出現位置、消滅位置、出現時刻、消滅時刻、特徴量を有する。
図２において、移動体ＩＤは、移動体を一意に識別する情報である。カメラＩＤは、カメラ１０を一意に識別する情報である。例えば、カメラＩＤ「１０ａ」はカメラ１０ａに対応し、カメラＩＤ「１０ｂ」はカメラ１０ｂに対応し、カメラＩＤ「１０ｃ」はカメラ１０ｃに対応するものとする。
出現位置は、画像データ上の移動体の出現位置を特定する情報である。実施例１の出現位置は、上、下、右、左のいずれかに分類される。消滅位置は、画像データ上の移動体の消滅位置を特定する情報である。実施例１の消滅位置は、上、下、右、左のいずれかに分類される。出現時刻は、画面データ上に移動体が出現した時刻に対応する。消滅時刻は、画像データ上に移動体が消滅した時刻に対応する。また、特徴量は色および体型を含む。色は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）を含む。体型は、身長および幅を含む。
例えば、図２において、移動体ＩＤ「０００１」の移動体は、カメラＩＤ「１０ａ」が撮影する画像の左から出現し、右へ消滅する。移動体ＩＤ「０００１」の移動体の出現時刻は「９：００」であり、消滅時刻は「９：０１」である。移動体ＩＤ「０００１」の特徴量となるＲＧＢはそれぞれ「１０」、「５」、「２１０」であり、身長「１７０」、幅「４２」である。
対応情報テーブル１１０ｂは、移動体が消滅した画像の位置および消滅した移動体を撮影したカメラ１０と、移動体が出現した画像の位置および出現した移動体を撮影したカメラ１０との関係に対応するパラメータを管理するテーブルである。図３は、本実施例１に係る対応情報テーブルのデータ構造の一例を示す図である。
図３に示すように、この対応情報テーブル１１０ｂは、横軸に出現位置の情報を有し、縦軸に消滅位置の情報を有する。例えば、カメラ１０ａの画像の右側で消滅した移動体が、カメラ１０ｂの画像の下側から出現した場合には、消滅位置の「カメラ１０ａ」の「右」を含む行と、出現位置の「カメラ１０ｂ」の「下」を含む列とが交差するパラメータに１が加算される。
映像取得部１２０は、各カメラ１０から映像のデータを取得する処理部である。映像取得部１２０は、映像のデータをフレーム毎の画像データに変換し、画像データを移動体検出部１３０に出力する。
映像取得部１２０は、画像データとカメラ１０の識別情報と時刻情報とを対応付けて、移動体検出部１３０に出力することで、画像データがどのカメラ１０によって何時に撮影されたものなのかを通知する。
図４は、映像取得部が出力する画像データの一例を示す図である。図４において、画像データ１１ａ、１２ａ、１３ａ、１４ａは、カメラ１０ａの映像から変換された画像データである。画像データ１１ｂ、１２ｂ、１３ｂは、カメラ１０ｂの映像から変換された画像データである。画像データ１１ｃ、１２ｃ、１３ｃは、カメラ１０ｃの映像から変換された画像データである。なお、各画像データを結ぶ線は、時刻を示す軸である。
移動体検出部１３０は、画像データから移動体を検出して追跡する処理部である。例えば、移動体検出部１３０は、移動体に対応する複数種類のテンプレートを用いて、テンプレートマッチングを行い、画像データから移動体を検出し、検出した移動体の追跡を行う。
移動体検出部１３０は、上記処理の他にも如何なる周知技術を用いて移動体の検出・追跡を行っても良い。例えば、移動体検出部１３０は、特開２００２−１５７５９９号公報と同様の手法により、移動体の検出・追跡を行っても良い。移動体検出部１３０は「山下隆義、藤吉弘亘”追跡対象と周辺領域の関係性を利用した協調的な物体追跡”、画像の認識・理解シンポジウム（MIRU2011）、pp.56-63,2011」の技術を利用しても良い。
図５は、移動体の検出結果の一例を示す図である。図５に示すように、画像データ１２ａから移動体２０ａが検出され、画像データ１３ａから移動体２１ａが検出され、画像データ１４ａから移動体２２ａが検出される。画像データ１２ｂから移動体２０ｂが検出され、画像データ１３ｂから移動体２１ｂが検出される。画像データ１２ｃから移動体２０ｃが検出され、画像データ１３ｃから移動体２１ｃが検出される。
移動体検出部１３０は、検出・追跡結果を特徴量抽出部１４０に出力する。移動体検出部１３０は、検出および追跡を行った結果、同一の移動体については同一の移動体ＩＤを付与する。例えば、移動体検出部１３０は、図５において、移動体２０ｃと移動体２１ｃとが同一の移動体である場合には、同一の移動体ＩＤを付与する。移動体検出部１３０は、同一のカメラが撮影した画像データに対して追跡処理を実行するため、同一のカメラ１０が撮影した画像データから検出する各移動体に対して、同一の移動体ＩＤを付与するものとする。このため、異なるカメラ１０が撮影した画像データの移動体に同一の移動体ＩＤを付与することはない。
特徴量抽出部１４０は、移動体検出部１３０の検出・追跡結果を基にして、移動体の色を抽出する処理、移動体の体型を抽出する処理、移動体の出現時刻および出現位置、移動体の消滅時刻および消滅位置を特定する処理を実行する処理部である。特徴量抽出部１４０は、処理結果を、移動体情報テーブル１１０ａに登録する。
特徴量抽出部１４０が、色を抽出する処理の一例について説明する。特徴量抽出部１４０は、同一の移動体ＩＤが付与された移動体について、ＲＧＢの値を抽出する。例えば、特徴量抽出部１４０は、同一の移動体ＩＤが付与された移動体のＲＧＢの値をそれぞれ平均化することで、ＲＧＢの値を求めても良い。また、特徴量抽出部１４０は、同一の移動体ＩＤの移動体の大きさを比較し、最も大きい移動体からＲＧＢの値を求めても良い。
特徴量抽出部１４０が、移動体の体型を抽出する処理の一例について説明する。例えば、特徴量抽出部１４０は、画像の底辺から移動体までの距離と補正値とを対応付けたテーブルを用い、画像の移動体の高さおよび横幅に補正値を乗算することで、移動体の身長、幅を算出する。特徴量抽出部１４０は、他の如何なる周知技術を用いて、移動体の身長および幅を算出しても良い。
特徴量抽出部１４０が、移動体の出現時刻および出現位置を算出する処理の一例について説明する。特徴量抽出部１４０は、同一の移動体ＩＤが付与された移動体について、各画像データを走査し、移動体が出現した画像データの時刻を出現時刻とする。また、特徴量抽出部１４０は、出現時刻における移動体の位置が、画像の上領域に含まれる場合には、移動体の出現位置を上と判定する。特徴量抽出部１４０は、出現時刻における移動体の位置が、画像の下領域に含まれる場合には、移動体の出現位置を下と判定する。特徴量抽出部１４０は、出現時刻における移動体の位置が、画像の左領域に含まれる場合には、移動体の出現位置を左と判定する。特徴量抽出部１４０は、出現時刻における移動体の位置が、画像の右領域に含まれる場合には、移動体の出現位置を右と判定する。上記の上領域、下領域、左領域、右領域は、予め管理者が設定しておくものとする。
特徴量抽出部１４０が、移動体の消滅時刻および消滅位置を算出する処理の一例について説明する。特徴量抽出部１４０は、同一の移動体ＩＤが付与された移動体について、各画像データを走査し、移動体が消滅した画像データの時刻を消滅時刻とする。また、特徴量抽出部１４０は、消滅時刻の直前のフレームにおける移動体の位置が、画像の上領域に含まれる場合には、移動体の消滅位置を上と判定する。特徴量抽出部１４０は、消滅時刻の直前のフレームにおける移動体の位置が、画像の下領域に含まれる場合には、移動体の消滅位置を下と判定する。特徴量抽出部１４０は、消滅時刻の直前のフレームにおける移動体の位置が、画像の左領域に含まれる場合には、移動体の消滅位置を左と判定する。特徴量抽出部１４０は、消滅時刻の直前のフレームにおける移動体の位置が、画像の右領域に含まれる場合には、移動体の消滅位置を右と判定する。
特徴量抽出部１４０は、同一の移動体ＩＤが付与された移動体毎に上記処理を繰り返し実行し、移動体情報テーブル１１０ａに各情報を登録する。
位置関係判定部１５０は、移動体情報テーブル１１０ａを基にして、類似度の高い移動体を対応付ける処理を行う。また、位置関係判定部１５０は、対応付けた移動体の消滅時刻および出現時刻を基にして、移動体の移動元の画像データを撮影したカメラ１０と、移動体の移動先の画像データを撮影したカメラ１０との関係を特定し、カメラ１０の位置関係を判定する。以下において、位置関係判定部１５０の処理を具体的に説明する。
位置関係判定部１５０が、移動体を対応付ける処理の一例について説明する。位置判定部１５０は、第１条件および第２条件を満たす移動体同士を対応付ける。ここでは、比較する移動体を移動体Ａと移動体Ｂとする。移動体ＡのＲＧＢ値を（Ｒ１、Ｇ１、Ｂ１）とする。移動体Ａの身長および幅を（Ｌ１、Ｗ１）とする。移動体ＢのＲＧＢ値を（Ｒ２、Ｇ２、Ｂ２）とする。移動体Ｂの身長および幅を（Ｌ２、Ｗ２）とする。
第１条件は、式（１）によって算出される類似度ｃｏｒが、第１閾値以上であるという条件である。管理者は、位置関係判定部１５０に第１閾値を予め設定しておく。
Figure 0005983033
第２条件は、式（２）によって算出される差分値ｄが、第２閾値未満であるという条件である。管理者は、位置関係判定部１５０に第２閾値を予め設定しておく。
Figure 0005983033
位置関係判定部１５０は、上記処理を繰り返し実行することで、移動体同士を対応付ける。なお、位置関係判定部１５０は、単一の移動体に対して、複数の移動体が対応付けられた場合には、移動体の消滅時刻と他の移動体の出現時刻との差が最小となるものを採用し、他の対応付けは採用しない。例えば、移動体Ａと移動体Ｂとが対応付けられ、移動体Ａと移動体Ｃとが対応付けられているとする。移動体Ａの消滅時刻と移動体Ｂの出現時刻との差が、移動体Ａの消滅時刻と移動体Ｃの出現時刻との差よりも小さい場合に、位置関係判定部１５０は、移動体Ａと移動体Ｂとの対応付けを採用する。
位置関係判定部１５０が、カメラ１０の位置関係を判定する処理について説明する。位置関係判定部１５０は、移動体情報テーブル１１０ａを参照し、対応付けた移動体の出現時刻、消滅時刻をそれぞれ比較する。位置関係判定部１５０は、対応付けた移動体のうち、消滅時刻が早い方の移動体の消滅位置およびカメラＩＤを特定する。位置関係判定部１５０は、対応付けた移動体のうち、出現時刻が遅い方の移動体の出現位置およびカメラＩＤを特定する。
位置関係判定部１５０は、対応情報テーブル１１０ｂを参照し、消滅時刻が早い方の移動体の消滅位置およびカメラＩＤと、出現時刻が遅い方の移動体の出現位置およびカメラＩＤとに対応するパラメータの値に１を加算する。
図６は、本実施例１に係る位置関係判定部の処理を説明するための図（１）である。例えば、消滅時刻が早い方の移動体の消滅位置およびカメラＩＤを「右」、「カメラ１０ａ」とする。出現時刻が遅い方の移動体の出現位置およびカメラＩＤを「下」、「カメラ１０ｂ」とする。この場合には、位置関係判定部１５０は、図６に示す３行目、６列目のパラメータの値に１を加算する。
位置関係判定部１５０は、対応付けた移動体に対して、上記処理を繰り返し実行し、対応情報テーブル１１０ｂの各パラメータの値を順次更新していく。
位置関係判定部１５０は、対応情報テーブル１１０ｂに対する更新が終了した後に、対応情報テーブル１１０ｂのパラメータの値を参照し、パラメータの値が所定の閾値以上となるパラメータを検出する。位置関係判定部１５０は、検出したパラメータに対応する、消滅位置のカメラＩＤおよび出現位置のカメラＩＤの関係を基にして、カメラ１０の位置関係を判定する。
図７は、本実施例１に係る位置関係判定部の処理を説明するための図（２）である。また、所定の閾値を９０とする。そうすると、図７に示すように、閾値以上となるパラメータは、パラメータ（３，６）、（５，１２）、（６，３）、（９，５）となる。
位置関係判定部１５０は、パラメータ（３，６）の関係から、カメラ１０ａの右とカメラ１０ｂの下とが繋がっていると判定する。位置関係判定部１５０は、パラメータ（５，１２）の関係から、カメラ１０ｂの上とカメラ１０ｃの左とが繋がっていると判定する。位置関係判定部１５０は、パラメータ（６，３）の関係から、カメラ１０ｂの下とカメラ１０ａの右とが繋がっていると判定する。パラメータ（９，５）の関係から、カメラ１０ｃの上とカメラ１０ｂの上とが繋がっていると判定する。
位置関係判定部１５０は、判定結果を出力部１６０に出力する。図８は、本実施例１に係る位置関係判定部の判定結果の一例を示す図である。図８に示すように、カメラ１０ａが撮影する画像データ２０ａの右と、カメラ１０ｂが撮影する画像データ２０ｂの下とが繋がっている。また、画像データ２０ｂの上と、カメラ１０ｃが撮影する画像データ２０ｃの左とが繋がっている。このため、各カメラ１０の位置関係は、カメラ１０ａ、１０ｂ、１０ｃの順に並ぶ位置関係であることがわかる。
なお、位置関係判定部１５０は、各移動体の対応付けを完了してから、対応情報テーブル１１０ｂを更新しても良いし、各移動体の対応付けを行う度に、対応情報テーブル１１０ｂを更新しても良い。
出力部１６０は、位置関係判定部１５０の判定結果を外部装置に出力する処理部である。例えば、出力部１６０は、判定結果を表示装置に出力し、表示装置に判定結果を表示させても良い。
ところで、上記の映像取得部１２０、移動体検出部１３０、特徴量抽出部１４０、位置関係判定部１５０、出力部１６０の各処理部は下記装置に対応する。例えば、各処理部１２０〜１６０は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、各処理部１２０〜１６０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
次に、本実施例１に係る位置関係判定装置１００の処理手順について説明する。移動体情報テーブルに情報を登録する処理手順を説明した後に、カメラ１０の位置関係の情報を出力する処理の処理手順について説明する。
位置関係判定装置１００が移動体情報テーブル１１０ａに情報を登録する処理手順の一例について説明する。図９は、移動体情報テーブルに情報を登録する処理手順を示すフローチャートである。例えば、図９に示す処理は、位置関係判定装置１００が、カメラ１０から映像のデータを取得したことを契機に実行される。
図９に示すように、位置関係判定装置１００は、カメラ１０から映像を取得し、フレーム毎の画像データに変換する（ステップＳ１０１）。位置関係判定装置１００は、画像データから移動体を検出し、検出した移動体を追跡する（ステップＳ１０２）。位置関係判定装置１００は、検出および追跡した移動体の特徴量を抽出し、移動体情報テーブル１１０ａに登録する（ステップＳ１０３）。
位置関係判定装置１００が、カメラ１０の位置関係の情報を出力する処理の処理手順の一例について説明する。図１０は、カメラ１０の位置関係の情報を出力する処理の処理手順を示すフローチャートである。例えば、図１０に示す処理は、所定の時間間隔で繰り返し実行される。
図１０に示すように、位置関係判定装置１００は、移動体情報テーブル１１０ａを参照し、各移動体の特徴量を取得する（ステップＳ２０１）。位置関係判定装置１００は、移動体の特徴量を基にして、各移動体を対応付ける（ステップＳ２０２）。
位置関係判定装置１００は、対応付けた結果を基にして、対応情報テーブル１１０ｂを更新する（ステップＳ２０３）。位置関係判定装置１００は、対応付けが終了したか否かを判定する（ステップＳ２０４）。位置関係判定装置１００は、対応付けが終了していない場合には（ステップＳ２０４，Ｎｏ）、ステップＳ２０１に移行する。
一方、位置関係判定装置１００は、対応付けが終了した場合には（ステップＳ２０４，Ｙｅｓ）、対応情報テーブル１１０ｂを基にして、カメラ１０の位置関係の情報を出力する（ステップＳ２０５）。
次に、本実施例１に係る位置関係判定装置１００の効果について説明する。位置関係判定装置１００は、カメラ１０が撮影した画像データから移動体を検出して特徴量を抽出し、移動体の特徴量の情報を移動体情報テーブル１１０ａに登録する。そして、位置関係判定装置１００は、移動体情報テーブル１１０ａを参照して、移動体の移動元の画像データを撮影したカメラ１０と、移動体の移動先の画像データを撮影したカメラ１０との関係を特定し、カメラ１０の位置関係を判定する。このため、位置関係判定装置１００によれば、カメラの位置関係を判定することができる。
また、位置関係判定装置１００は、移動体の消滅位置および出現位置を更に利用して、各カメラ１０の位置関係および移動元のカメラ１０の画像データの位置と移動先のカメラ１０の画像データの位置とを判定する。このため、各画像データ間の位置のつながりを求めることができる。
また、位置関係判定装置１００は、対応情報テーブル１１０ｂを用いて、パラメータの値を加算していき、所定の閾値以上となったパラメータに対する消滅位置および出現位置の関係から、カメラ１０の位置関係を判定する。このため、複数の移動体の関係を用いて、総合的に、カメラ１０の位置関係を判定することとなり、カメラ１０の位置関係の判定精度を向上させることができる。
次に、本実施例２に係る位置関係判定装置について説明する。図１１は、本実施例２に係る位置関係判定装置の構成を示す機能ブロック図である。図１１に示すように、この位置関係判定装置２００は、記憶部２１０、映像取得部２２０、移動体検出部２３０、特徴量抽出部２４０、位置関係判定部２５０、出力部２６０を有する。また、位置関係判定装置２００は、複数のカメラ１０ａ、１０ｂ、１０ｃに接続される。ここでは一例として、カメラ１０ａ、１０ｂ、１０ｃを示すが、位置関係判定装置２００は、その他のカメラに接続されていても良い。カメラ１０ａ〜１０ｃに関する説明は、実施例１の説明と同様である。
記憶部２１０は、移動体情報テーブル２１０ａ、対応情報テーブル２１０ｂを記憶する。記憶部２１０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
移動体情報テーブル２１０ａは、移動体の特徴量等を有するテーブルである。図１２は、本実施例２に係る移動体情報テーブルのデータ構造の一例を示す図である。図１２に示すように、この移動体情報テーブル２１０ａは、移動体ＩＤ、カメラＩＤ、出現位置、消滅位置、出現時刻、消滅時刻、特徴量を有する。このうち、移動体ＩＤ、カメラＩＤ出現時刻、消滅時刻、特徴量に関する説明は、実施例１のものと同様である。
出現位置は、画像データ上の移動体の出現位置を特定する情報である。本実施例２では、出現位置を出現した移動体の中心座標とする。消滅位置は、画像データ上の移動体の消滅位置を特定する情報である。本実施例２では、消滅位置を消滅する直前の移動体の中心座標とする。
対応情報テーブル２１０ｂは、移動体が消滅した画像の位置および消滅した移動体を撮影したカメラと、移動体が出現した画像の位置および出現した移動体を撮影したカメラ１０との関係に対応するパラメータを管理するテーブルである。図１３は、本実施例２に係る対応情報テーブルのデータ構造の一例を示す図である。
図１３に示すように、この対応情報テーブル２１０ｂは、横軸に出現位置の情報を有し、縦軸に消滅位置の情報を有する。まず、消滅位置のカメラ１０ａと、出現位置のカメラ１０ｂとが交差する領域１Ａについて説明する。領域１Ａは、番号、消滅座標、出現座標、所要時間の属性を有する。番号は、各レコードを識別する情報である。領域１Ａの消滅座標は、カメラ１０ａが撮影する画像データから移動体が消滅した座標を示す。領域１Ａの出現座標は、カメラ１０ｂが撮影する画像データから移動体が出現した座標を示す。所要時間は、移動体が消滅座標で消滅した時刻から、移動体が出現座標で出現した時刻までの時間に対応する。平均は、消滅座標の平均、出現座標の平均、所要時間の平均をそれぞれ示す。
消滅位置のカメラ１０ａと、出現位置のカメラ１０ｃとが交差する領域１Ｂについて説明する。領域１Ｂの消滅座標は、カメラ１０ａが撮影する画像データから移動体が消滅した座標を示す。領域１Ｂの出現座標は、カメラ１０ｃが撮影する画像データから移動体が出現した座標を示す。番号、所要時間、平均の説明は、領域１Ａのものと同様である。
消滅位置のカメラ１０ｂと、出現位置のカメラ１０ａとが交差する領域１Ｃについて説明する。領域１Ｃの消滅位置は、カメラ１０ｂが撮影する画像データから移動体が消滅した座標を示す。領域１Ｃの出現座標は、カメラ１０ａが撮影する画像データから移動体が出現した座標を示す。番号、所要時間、平均の説明は、領域１Ａのものと同様である。
消滅位置のカメラ１０ｂと、出現位置のカメラ１０ｃとが交差する領域１Ｄについて説明する。領域１Ｄの消滅座標は、カメラ１０ｂが撮影する画像データから移動体が消滅した座標を示す。領域１Ｄの出現座標は、カメラ１０ｃが撮影する画像データから移動体が出現した座標を示す。番号、所要時間、平均の説明は、領域１Ａのものと同様である。
消滅位置のカメラ１０ｃと、出現位置のカメラ１０ａとが交差する領域１Ｅについて説明する。領域１Ｅの消滅座標は、カメラ１０ｃが撮影する画像データから移動体が消滅した座標を示す。領域１Ｅの出現座標は、カメラ１０ａが撮影する画像データから移動体が出現した座標を示す。番号、所要時間、平均の説明は、領域１Ａのものと同様である。
消滅位置のカメラ１０ｃと、出現位置のカメラ１０ｂとが交差する領域１Ｆについて説明する。領域１Ｆの消滅座標は、カメラ１０ｃが撮影する画像データから移動体が消滅した座標を示す。領域１Ｆの出現座標は、カメラ１０ｂが撮影する画像データから移動体が出現した座標を示す。番号、所要時間、平均の説明は、領域１Ａのものと同様である。
図１１の説明に戻る。映像取得部２２０は、各カメラ１０から映像のデータを取得する処理部である。映像取得部２２０は、映像のデータをフレーム毎の画像データに変換し、画像データを移動体検出部２３０に出力する。
映像取得部２２０は、画像データとカメラ１０の識別情報と時刻情報とを対応付けて、移動体検出部２３０に出力することで、画像データがどのカメラ１０によって何時に撮影されたものなのかを通知する。
移動体検出部２３０は、画像データから移動体を検出して追跡する処理部である。移動体検出部２３０に関する説明は、実施例１に示した移動体検出部１３０と同様であるため、説明を省略する。
特徴量抽出部２４０は、移動体検出部２３０の検出・追跡結果を基にして、移動体の色を抽出する処理、移動体の体型を抽出する処理、移動体の出現時刻および出現位置、移動体の消滅時刻および消滅位置を特定する処理を実行する処理部である。特徴量抽出部２４０は、処理結果を、移動体情報テーブル２１０ａに登録する。
このうち、特徴量抽出部２４０が、移動体の色を抽出する処理および移動体の移動体の体型を抽出する処理は、実施例１に示した特徴量抽出部１４０と同様であるため、説明を省略する。
特徴量抽出部２４０が、移動体の出現時刻および出現位置を算出する処理の一例について説明する。特徴量抽出部２４０は、同一の移動体ＩＤが付与された移動体について、各画像データを走査し、移動体が出現した画像データの時刻を出現時刻とする。また、特徴量抽出部２４０は、出現時刻における移動体の中心座標を、出現位置として算出する。
特徴量抽出部２４０が、移動体の消滅時刻および消滅位置を算出する処理の一例について説明する。特徴量抽出部２４０は、同一の移動体ＩＤが付与された移動体について、各画像データを走査し、移動体が消滅した画像データの時刻を消滅時刻とする。また、特徴量抽出部２４０は、消滅時刻の直前のフレームにおける移動体の中心座標を、消滅位置として算出する。
特徴量抽出部２４０は、同一の移動体ＩＤが付与された移動体毎に上記処理を繰り返し実行し、移動体情報テーブル２１０ａに各情報を登録する。
位置関係判定部２５０は、移動体情報テーブル２１０ａを基にして、類似度の高い移動体を対応付ける処理を行う。位置関係判定部２５０は、移動体を対応付けた結果を基にして、対応情報テーブル２１０ｂに情報を登録する。そして、位置関係判定部２５０は、対応情報テーブル２１０ｂを基にして、移動体の移動先の画像データを撮影したカメラ１０との関係を特定し、カメラ１０の位置関係を判定する。以下において、位置関係判定部２５０の処理を具体的に説明する。
位置関係判定部２５０が、移動体を対応付ける処理は、実施例１に示した位置関係判定部１５０が、移動体を対応付ける処理と同様であるため、説明を省略する。
位置関係判定部２５０が、移動体情報テーブル２１０ａを基にして、対応情報テーブル２１０ｂに各種の情報を登録する処理について説明する。位置関係判定部２５０は、移動体情報テーブル２１０ａを参照し、対応付けた移動体の出現時刻、消滅時刻をそれぞれ比較する。位置関係判定部２５０は、対応付けた移動体のうち、消滅時刻が早い方の移動体の消滅座標およびカメラＩＤを特定する。位置関係判定部２５０は、対応付けた移動体のうち、出現時刻が遅い方の移動体の出現座標およびカメラＩＤを特定する。
位置関係判定部２５０は、消滅座標のカメラＩＤと、出現座標のカメラＩＤとの関係から、消滅座標、出現座標を登録する対応情報テーブル２１０ｂ上の領域を特定し、消滅座標、出現座標を登録する。例えば、消滅座標のカメラＩＤが「１０ａ」、出現位置のカメラＩＤが「１０ｂ」の場合には、領域１Ａの消滅座標、出現座標に情報を登録する。また、位置関係判定部２５０は、消滅座標を検出した画像データの時刻と出現座標を検出した時刻との差分時間を、所要時間に登録する。位置関係判定部２５０は、各移動体の組みに対して、異なる番号を割り振るものとする。
位置関係判定部２５０は、異なる移動体の組み毎に、対応情報テーブル２１０ｂの消滅座標、出現座標、所要時間を登録する処理を繰り返し実行した後に、各領域１Ａ〜１Ｆの平均を算出する。
例えば、領域１Ａの平均を算出する処理について説明する。位置関係判定部２５０は、領域１Ａについて、各番号の消滅座標を平均することで、消滅座標の平均を算出する。位置関係判定部２５０は、各番号の出現座標を平均することで、出現座標の平均を算出する。位置関係判定部２５０は、各番号の所要時間を平均することで、所要時間の平均を算出する。位置関係判定部２５０は、他の領域１Ｂ〜１Ｆについても同様に、平均を算出する。なお、位置関係判定部２５０は、領域に登録されたレコード数が所定数未満の場合には、平均を算出する処理をスキップしても良い。
位置関係判定部２５０が、カメラ１０の位置関係を判定する処理について説明する。位置関係判定部２５０は、対応情報テーブル２１０ｂの各領域の平均に登録されたレコードを参照し、各カメラ１０の位置関係を判定する。一例として、図１３を利用して、位置関係判定部２５０の処理を説明する。なお、図１３に示すように、領域１Ｂ、１Ｅについては、レコード数が足らず、平均を算出していないものとする。位置関係判定部２５０は、平均が算出された領域の情報を基にして、位置関係を判定する。
位置関係判定部２５０が対応情報テーブル２１０ｂの領域１Ａを参照すると、カメラ１０ａの画像データ上の座標（６２０、２５０）で消滅した移動体は、カメラ１０ｂの画像データ上の座標（３００、４５０）で出現する。このため、位置関係判定部２５０は、カメラ１０ａの隣に、カメラ１０ｂが存在すると判定する。
位置関係判定部２５０が対応情報テーブル２１０ｂの領域１Ｃを参照すると、カメラ１０ｂの画像データ上の座標（３２０、４６５）で消滅した移動体は、カメラ１０ａの画像データ上の座標（６２０、２６０）で出現する。このため、位置関係判定部２５０は、カメラ１０ｂの隣に、カメラ１０ａが存在すると判定する。
位置関係判定部２５０が対応情報テーブル２１０ｂの領域１Ｄを参照すると、カメラ１０ｂの画像データ上の座標（３００、５０）で消滅した移動体は、カメラ１０ｃの座標（３０、４００）で出現する。このため、位置関係判定部２５０は、カメラ１０ｂの隣に、カメラ１０ｃが存在すると判定する。
位置関係判定部２５０が対応情報テーブル２１０ｂの領域１Ｆを参照すると、カメラ１０ｃの画像データ上の座標（３５、４２０）で消滅した移動体は、カメラ１０ｂの座標（３００、３５）で出現する。このため、位置関係判定部２５０は、カメラ１０ｃの隣に、カメラ１０ｂが存在すると判定する。
図１４は、本実施例２に係る位置関係判定部の判定結果の一例を示す図である。図１４において、画像データ３０ａは、カメラ１０ａが撮影する画像データである。画像データ３０ｂは、カメラ１０ｂが撮影する画像データである。画像データ３０ｃは、カメラ１０ｃが撮影する画像データである。図１４に示す画像データ３０ａ、３０ｂ、３０ｃの座標と矢印は、上記の位置関係判定部２５０の判定結果をまとめものである。
図１４に示すように、画像データ３０ａ上の座標（６２０、２５０）で消滅した移動体は、画像データ３０ｂ上の座標（３００、４５０）に出現する。画像データ３０ｂ上の座標（３００、４６５）で消滅した移動体は、画像データ３０ａ上の座標（６２０、２６０）に出現する。移動体が、画像データ３０ａから消滅してから、画像データ３０ｂに出現するまでの所要時間は、５分である。
図１４に示すように、画像データ３０ｂ上の座標（３００、５０）で消滅した移動体は、画像データ３０ｃ上の座標（３０、４００）に出現する。画像データ３０ｃ上の座標（３５、４２０）で消滅した移動体は、画像データ３０ｂ上の座標（３００、３５）に出現する。移動体が、画像データ３０ｂから消滅してから、画像データ３０ｃに出現するまでの所要時間は、６分である。
このため、位置関係判定部２５０は、カメラ１０ａ、１０ｂ、１０ｃの順に、並んでいると判定する。位置関係判定部２５０は、位置関係の判定結果を出力部２６０に出力しても良いし、図１４に示した判定結果を出力部２６０に出力しても良い。
出力部２６０は、位置関係判定部２５０の判定結果を外部装置に出力する処理部である。例えば、出力部２６０は、判定結果を表示装置に出力し、表示装置に判定結果を表示させても良い。
次に、本実施例２に係る位置関係判定装置２００の効果について説明する。位置関係判定装置２００は、移動体の消滅座標および出現座標の平均を基にして、各カメラ１０の位置関係および移動元のカメラ１０の画像データの座標と移動先のカメラ１０の画像データの座標とを判定する。このため、各カメラ１０の位置関係と、各画像データ間の位置のつながりをより詳細に求めることができる。
ところで、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
図１に示した特徴量抽出部１４０が、特徴量を抽出する処理は一例であり、その他の処理を行って、移動体の特徴量を抽出し、移動体情報テーブル１１０ａに登録しても良い。例えば、特徴量抽出部１４０は、カメラ毎に、移動体の移動方向を管理しておく。特徴量抽出部１４０は、カメラ１０に対応する移動方向と同一の方向に移動する移動体の特徴量を、移動体情報テーブル１１０ａに登録する。これに対して、特徴量抽出部１４０は、カメラ１０に対応する移動方向と異なる方向に移動する移動体の特徴量は、移動体情報テーブル１１０ａに登録しない。特徴量抽出部１４０は、各カメラ１０の画像データについて、移動体の移動方向を分析し、統計的手法などを用いて、カメラ毎の移動方向を予め判定しておくものとする。
カメラ１０に対応する移動方向と異なる方向に移動する移動体は、他の移動体と異なる動きをしており、カメラ１０の位置関係を判定する場合に利用するサンプルとしては相応しくない可能性が高い。上記のように、特徴量抽出部１４０が、移動体の移動方向に基づいて、登録する移動体の特徴量を取捨選択することで、移動体情報テーブル１１０ａのデータ量を削減しつつ、カメラ１０の位置関係を正確に判定することができる。
実施例１に示した位置関係判定部１５０が、移動体を対応付ける処理は一例であり、その他の処理を行って、各移動体を対応付けても良い。例えば、位置関係判定部１５０は、移動体の移動方向を基にして、特徴量の幅を補正した後に、移動体を対応付ける。位置関係判定部１５０は、移動体が縦方向に移動している場合には、移動体の幅に補正値を乗算することで、移動体の幅を補正する。補正値は、０〜１に含まれる任意の値とする。移動体を人間であると仮定した場合、横方向に移動する場合の幅は、縦方向に移動する場合の幅よりも小さくなると考えられる。このため、位置関係判定部１５０は、移動体が縦方向に移動している場合に、移動体の幅を補正しておくことで、移動体の移動方向による幅の変動の影響を低減して、各移動体を対応付けることができる。
実施例１に示した位置関係判定部１５０がカメラの位置関係を判定する処理は一例であり、その他の処理を行って、カメラ１０の位置関係を判定しても良い。例えば、位置関係判定部１５０は、対応付けた移動体の組みに基づいて、対応情報テーブル１１０ｂのパラメータに１を加算していたが、他の移動体と異なる特徴を持った移動体を対応付けた場合には、１ではなく、１より大きい値をパラメータに加算しても良い。
複数のカメラ１０の画像データから同一の移動体を探し出す際、他の移動体と異なる特徴を持っていると見つけやすくなりため、対応付けの推定精度が向上する。例えば、青色の移動体が１０個存在する中から、特定の移動体を対応付けることは難しい。しかし、青色の移動体９個の中に、赤色の移動体が１個紛れている場合に、赤色の移動体を対応付けることは容易であり、対応付けの推定精度が向上する。このため、位置関係判定部１５０は、他の移動体と異なる特徴を持った移動体を対応付けた場合の結果に重きを置いてパラメータを更新することで、より正確に、カメラ１０の位置関係を判定することが可能となる。例えば、赤色の移動体を対応付けた場合には、５をパラメータに加算しても良い。
上記の例では、他の移動体と異なる特徴を持った移動体を、複数の青色の中に存在する赤色の移動体として説明を行ったが、これに限定されるものではなく、このような組み合わせは無数に存在する。以下において、位置関係判定部１５０が、他の移動体と異なる特徴を持った移動体を判定する処理の一例について説明する。
位置関係判定部１５０は、他の移動体と異なる特徴を持った移動体を判定する場合には、移動体情報テーブル１１０ａを基にして、各移動体ＩＤのＲＧＢの出現頻度を計算する。出現頻度の小さいＲＧＢ値を持つ移動体は、他の移動体と異なる特徴を持った移動体といえる。図１５は、出現頻度テーブルのデータ構造の一例を示す図（１）である。図１５に示す出現頻度テーブルは、例えば、記憶部１１０に記憶される。
位置関係判定部１５０は、出現頻度テーブルを参照し、ＲＧＢの値に対応するパラメータに１を加算する。出現頻度テーブルの各パラメータの初期値を０とする。位置関係判定部１５０は、ある移動体ＩＤのＲＧＢの値がそれぞれ、１３０、１２０、１０の場合には、パラメータ（４、５）の値に１を加算する。
位置関係判定部１５０は、各移動体のＲＧＢの値を基にして、上記処理を繰り返し実行することで、出現頻度テーブルを更新する。更新後の出現頻度テーブルを図１６に示す。図１６は、出現頻度テーブルのデータ構造の一例を示す図（２）である。位置関係判定部１５０は、出現頻度テーブルの各値のうち、所定値以下となるＲＧＢの値の組みを特定する。位置関係判定部１５０は、特定したＲＧＢの値に対応する移動体を、他の移動体と異なる特徴を持った移動体として判定する。
図１６において、例えば、所定値を５０とすると、パラメータ（１、２）、（１、８）、（２、８）、（６、４）、（７、７）、（８、８）が、所定値以下となる。パラメータ（１、２）を例にして説明すると、Ｒの値が３２〜６３、Ｇの値が０〜３１、Ｂの値が０〜３１に含まれる移動体は、他の移動体と異なる特徴を持った移動体となる。このため、位置関係判定部１５０は、係る移動体を対応付けた場合には、対応情報テーブル１１０ｂの該当パラメータに５を加算する。
上記のように、位置関係判定部１５０は、他の移動体と異なる特徴を持った移動体を判定し、対応情報テーブル１１０ｂのパラメータに重みを付けて値を加算していくことで、より正確に、各カメラ１０の位置関係を判定することができる。
次に、各実施例に示した位置関係判定装置と同様の機能を実現する計算プログラムを実行するコンピュータの一例を説明する。図１７は、位置関係判定プログラムを実行するコンピュータの一例を示す図である。
図１７に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３を有する。また、コンピュータ３００は、記憶媒体からプログラム等を読取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７を有する。そして、各装置３０１〜３０７は、バス３０８に接続される。
ハードディスク装置３０７は、例えば、移動体検出プログラム３０７ａ、特徴量抽出プログラム３０７ｂ、位置関係判定プログラム３０７ｃを有する。ＣＰＵ３０１は、各プログラム３０７ａ、３０７ｂ、３０７ｃを読み出して、ＲＡＭ３０６に展開する。
移動体検出プログラム３０７ａは、移動体検出プロセス３０６ａとして機能する。特徴量抽出プログラム３０７ｂは、特徴量抽出プロセス３０６ｂとして機能する。位置関係判定プログラム３０７ｃは、位置関係判定プロセス３０６ｃとして機能する。
例えば、移動体検出プロセス３０６ａは、移動体検出部１３０、２３０に対応する。特徴量抽出プロセス３０６ｂは、特徴量抽出部１４０、２４０に対応する。位置関係判定プロセス３０６ｃは、位置関係判定部１５０、２５０に対応する。
なお、各プログラム３０７ａ〜３０７ｃについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００がこれらから各プログラム３０７ａ〜３０７ｃを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）コンピュータに、
異なる位置に配置された複数のカメラがそれぞれ撮影した複数の画像データから移動体を検出し、
複数の画像データから検出した各移動体の特徴量を抽出し、
抽出した各移動体の特徴量を基にして、特徴量の類似する移動体を対応付け、
対応付けた移動体について、該移動体が画像データから消滅した時刻および前記移動体が画像データに出現した時刻を基にして、前記移動体の移動元の画像データを撮影したカメラと、前記移動体の移動先の画像データを撮影したカメラとの関係を特定し、カメラの位置関係を判定する
各処理を実行させることを特徴とする位置関係判定プログラム。
（付記２）前記位置関係を判定する処理は、前記移動体が消滅した位置および前記移動体が出現した位置を更に利用して、各カメラの位置関係および移動元のカメラの画像データの位置と移動先のカメラの画像データの位置とを判定することを特徴とする付記１に記載の位置関係判定プログラム。
（付記３）前記位置関係を判定する処理は、前記移動体が消滅した位置および前記移動体が出現した位置を平均し、平均した結果を基にして、各カメラの位置関係および移動元のカメラの画像データの位置と移動先のカメラの画像データの位置とを判定することを特徴とする付記１に記載の位置関係判定プログラム。
（付記４）前記位置関係を判定する処理は、特徴量の類似する移動体を対応付け、対応付けた移動体について、前記移動体が消滅した画像データの位置および消滅した移動体を撮影したカメラと、前記移動体が出現した画像データの位置および出現した移動体を撮影したカメラとの関係を判定し、判定結果を基にして、前記移動体が消滅した画像データの位置および消滅した移動体を撮影したカメラと、前記移動体が出現した画像データの位置および出現した移動体を撮影したカメラとの関係に対応するパラメータに値を加算し、該パラメータの値を基にして、各カメラの位置関係を判定することを特徴とする付記１に記載の位置関係判定プログラム。
（付記５）前記位置関係を判定する処理は、移動体の特徴量と他の移動体の特徴量とを基にして、パラメータに加算する値を補正することを特徴とする付記４に記載の位置関係判定プログラム。
（付記６）コンピュータが実行する位置関係判定方法であって、
異なる位置に配置された複数のカメラがそれぞれ撮影した複数の画像データから移動体を検出し、
複数の画像データから検出した各移動体の特徴量を抽出し、
抽出した各移動体の特徴量を基にして、特徴量の類似する移動体を対応付け、
対応付けた移動体について、該移動体が画像データから消滅した時刻および前記移動体が画像データに出現した時刻を基にして、前記移動体の移動元の画像データを撮影したカメラと、前記移動体の移動先の画像データを撮影したカメラとの関係を特定し、カメラの位置関係を判定する
各処理を実行させることを特徴とする位置関係判定方法。
（付記７）前記位置関係を判定する処理は、前記移動体が消滅した位置および前記移動体が出現した位置を更に利用して、各カメラの位置関係および移動元のカメラの画像データの位置と移動先のカメラの画像データの位置とを判定することを特徴とする付記６に記載の位置関係判定方法。
（付記８）前記位置関係を判定する処理は、前記移動体が消滅した位置および前記移動体が出現した位置を平均し、平均した結果を基にして、各カメラの位置関係および移動元のカメラの画像データの位置と移動先のカメラの画像データの位置とを判定することを特徴とする付記６に記載の位置関係判定方法。
（付記９）前記位置関係を判定する処理は、特徴量の類似する移動体を対応付け、対応付けた移動体について、前記移動体が消滅した画像データの位置および消滅した移動体を撮影したカメラと、前記移動体が出現した画像データの位置および出現した移動体を撮影したカメラとの関係を判定し、判定結果を基にして、前記移動体が消滅した画像データの位置および消滅した移動体を撮影したカメラと、前記移動体が出現した画像データの位置および出現した移動体を撮影したカメラとの関係に対応するパラメータに値を加算し、該パラメータの値を基にして、各カメラの位置関係を判定することを特徴とする付記６に記載の位置関係判定方法。
（付記１０）前記位置関係を判定する処理は、移動体の特徴量と他の移動体の特徴量とを基にして、パラメータに加算する値を補正することを特徴とする付記６に記載の位置関係判定方法。
（付記１１）異なる位置に配置された複数のカメラがそれぞれ撮影した複数の画像データから移動体を検出する移動体検出部と、
複数の画像データから検出した各移動体の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した各移動体の特徴量を基にして、特徴量の類似する移動体を対応付け、対応付けた移動体について、該移動体が画像データから消滅した時刻および前記移動体が画像データに出現した時刻を基にして、前記移動体の移動元の画像データを撮影したカメラと、前記移動体の移動先の画像データを撮影したカメラとの関係を特定し、各カメラの位置関係を判定する位置関係判定部と
を有することを特徴とする位置関係判定装置。
（付記１２）前記位置関係判定部は、前記移動体が消滅した位置および前記移動体が出現した位置を更に利用して、各カメラの位置関係および移動元のカメラの画像データの位置と移動先のカメラの画像データの位置とを判定することを特徴とする付記１１に記載の位置関係判定装置。
（付記１３）前記位置関係判定部は、前記移動体が消滅した位置および前記移動体が出現した位置を平均し、平均した結果を基にして、各カメラの位置関係および移動元のカメラの画像データの位置と移動先のカメラの画像データの位置とを判定することを特徴とする付記１１に記載の位置関係判定装置。
（付記１４）前記位置関係判定部は、特徴量の類似する移動体を対応付け、対応付けた移動体について、前記移動体が消滅した画像データの位置および消滅した移動体を撮影したカメラと、前記移動体が出現した画像データの位置および出現した移動体を撮影したカメラとの関係を判定し、判定結果を基にして、前記移動体が消滅した画像データの位置および消滅した移動体を撮影したカメラと、前記移動体が出現した画像データの位置および出現した移動体を撮影したカメラとの関係に対応するパラメータに値を加算し、該パラメータの値を基にして、各カメラの位置関係を判定することを特徴とする付記１１に記載の位置関係判定装置。
（付記１５）前記位置関係判定部は、移動体の特徴量と他の移動体の特徴量とを基にして、パラメータに加算する値を補正することを特徴とする付記１１に記載の位置関係判定装置。
（付記１６）メモリと、
前記メモリに接続されたプロセッサと、を具備し、
前記プロセッサは、
異なる位置に配置された複数のカメラがそれぞれ撮影した複数の画像データから移動体を検出し、
複数の画像データから検出した各移動体の特徴量を抽出し、
抽出した各移動体の特徴量を基にして、特徴量の類似する移動体を対応付け、
対応付けた移動体について、該移動体が画像データから消滅した時刻および前記移動体が画像データに出現した時刻を基にして、前記移動体の移動元の画像データを撮影したカメラと、前記移動体の移動先の画像データを撮影したカメラとの関係を特定し、カメラの位置関係を判定する
各処理を実行することを特徴とする位置関係判定装置。
（付記１７）異なる位置に配置された複数のカメラがそれぞれ撮影した複数の画像データから移動体を検出し、
複数の画像データから検出した各移動体の特徴量を抽出し、
抽出した各移動体の特徴量を基にして、特徴量の類似する移動体を対応付け、
対応付けた移動体について、該移動体が画像データから消滅した時刻および前記移動体が画像データに出現した時刻を基にして、前記移動体の移動元の画像データを撮影したカメラと、前記移動体の移動先の画像データを撮影したカメラとの関係を特定し、カメラの位置関係を判定する、
各処理をコンピュータに実行させるテストデータ生成プログラムを記憶する、コンピュータ読み取り可能な記録媒体。
１０ａ、１０ｂ、１０ｃ カメラ
１００、２００ 位置関係判定装置
１１０、２１０ 記憶部
１２０、２２０ 映像取得部
１３０、２３０ 移動体検出部
１４０、２４０ 特徴量抽出部
１５０、２５０ 位置関係判定部
１６０、２６０ 出力部

Claims (7)

  1. コンピュータに、
    第１のカメラを用いて撮影した第１の画像データから第１の移動体および第２の移動体を検出するとともに、前記第１のカメラと異なる位置に配置された第２のカメラを用いて撮影した第２の画像データから第３の移動体を検出し、
    検出した前記第１の移動体の特徴量、前記第２の移動体の特徴量、および前記第３の移動体の特徴量に基づいて、前記第１の移動体と前記第３の移動体、または前記第２の移動体と前記第３の移動体を対応付け、
    対応付けられた前記第１の移動体または前記第２の移動体が前記第１の画像データから消滅した時刻および前記第３の移動体が第２の画像データに出現した時刻、または対応付けられた前記第３の移動体が前記第２の画像データから消滅した時刻および対応付けられた前記第１の移動体または前記第２の移動体が第１の画像データに出現した時刻、および対応づけられていない前記第１の移動体の特徴量、または前記第２の移動体の特徴量と、対応づけられたいずれかの移動体の特徴量との違いに応じて、前記第１のカメラと前記第２のカメラの位置関係の推定度を変更し、
    変更した前記推定度に応じて、前記第１のカメラと前記第２のカメラの位置関係を判定する、
    各処理を実行させることを特徴とする位置関係判定プログラム。
  2. 前記位置関係を判定する処理は、前記移動体が消滅した位置および前記移動体が出現した位置を更に利用して、各カメラの位置関係および移動元のカメラの画像データの位置と移動先のカメラの画像データの位置とを判定することを特徴とする請求項１に記載の位置関係判定プログラム。
  3. 前記位置関係を判定する処理は、前記移動体が消滅した位置および前記移動体が出現した位置を平均し、平均した結果を基にして、各カメラの位置関係および移動元のカメラの画像データの位置と移動先のカメラの画像データの位置とを判定することを特徴とする請求項１に記載の位置関係判定プログラム。
  4. 前記位置関係を判定する処理は、特徴量の類似する移動体を対応付け、対応付けた移動体について、前記移動体が消滅した画像データの位置および消滅した移動体を撮影したカメラと、前記移動体が出現した画像データの位置および出現した移動体を撮影したカメラとの関係を判定し、判定結果を基にして、前記移動体が消滅した画像データの位置および消滅した移動体を撮影したカメラと、前記移動体が出現した画像データの位置および出現した移動体を撮影したカメラとの関係に対応するパラメータに値を加算し、該パラメータの値を基にして、各カメラの位置関係を判定することを特徴とする請求項１または２に記載の位置関係判定プログラム。
  5. 前記位置関係を判定する処理は、移動体の特徴量と他の移動体の特徴量とを基にして、パラメータに加算する値を補正することを特徴とする請求項４に記載の位置関係判定プログラム。
  6. コンピュータが実行する位置関係判定方法であって、
    第１のカメラを用いて撮影した第１の画像データから第１の移動体および第２の移動体を検出するとともに、前記第１のカメラと異なる位置に配置された第２のカメラを用いて撮影した第２の画像データから第３の移動体を検出し、
    検出した前記第１の移動体の特徴量、前記第２の移動体の特徴量、および前記第３の移動体の特徴量に基づいて、前記第１の移動体と前記第３の移動体、または前記第２の移動体と前記第３の移動体を対応付け、
    対応付けられた前記第１の移動体または前記第２の移動体が前記第１の画像データから消滅した時刻および前記第３の移動体が第２の画像データに出現した時刻、または対応付けられた前記第３の移動体が前記第２の画像データから消滅した時刻および対応付けられた前記第１の移動体または前記第２の移動体が第１の画像データに出現した時刻、および対応づけられていない前記第１の移動体の特徴量、または前記第２の移動体の特徴量と、対応づけられたいずれかの移動体の特徴量との違いに応じて、前記第１のカメラと前記第２のカメラの位置関係の推定度を変更し、
    変更した前記推定度に応じて、前記第１のカメラと前記第２のカメラの位置関係を判定する、
    各処理を実行させることを特徴とする位置関係判定方法。
  7. 第１のカメラを用いて撮影した第１の画像データから第１の移動体および第２の移動体を検出するとともに、前記第１のカメラと異なる位置に配置された第２のカメラを用いて撮影した第２の画像データから第３の移動体を検出する移動体検出部と、
    検出した前記第１の移動体の特徴量、前記第２の移動体の特徴量、および前記第３の移動体の特徴量に基づいて、前記第１の移動体と前記第３の移動体、または前記第２の移動体と前記第３の移動体を対応付ける特徴量抽出部と、
    特徴量抽出部に対応付けられた前記第１の移動体または前記第２の移動体が前記第１の画像データから消滅した時刻および前記第３の移動体が第２の画像データに出現した時刻、または対応付けられた前記第３の移動体が前記第２の画像データから消滅した時刻および対応付けられた前記第１の移動体または前記第２の移動体が第１の画像データに出現した時刻、および対応づけられていない前記第１の移動体の特徴量、または前記第２の移動体の特徴量と、対応づけられたいずれかの移動体の特徴量との違いに応じて、前記第１のカメラと前記第２のカメラの位置関係の推定度を変更し、変更した前記推定度に応じて、前記第１のカメラと前記第２のカメラの位置関係を判定する位置関係判定部と
    を有することを特徴とする位置関係判定装置。
JP2012121302A 2012-05-28 2012-05-28 位置関係判定プログラム、位置関係判定方法および位置関係判定装置 Expired - Fee Related JP5983033B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012121302A JP5983033B2 (ja) 2012-05-28 2012-05-28 位置関係判定プログラム、位置関係判定方法および位置関係判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012121302A JP5983033B2 (ja) 2012-05-28 2012-05-28 位置関係判定プログラム、位置関係判定方法および位置関係判定装置

Publications (2)

Publication Number Publication Date
JP2013247586A JP2013247586A (ja) 2013-12-09
JP5983033B2 true JP5983033B2 (ja) 2016-08-31

Family

ID=49847032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012121302A Expired - Fee Related JP5983033B2 (ja) 2012-05-28 2012-05-28 位置関係判定プログラム、位置関係判定方法および位置関係判定装置

Country Status (1)

Country Link
JP (1) JP5983033B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6381918B2 (ja) * 2013-01-23 2018-08-29 キヤノンメディカルシステムズ株式会社 動作情報処理装置
JP6128468B2 (ja) * 2015-01-08 2017-05-17 パナソニックＩｐマネジメント株式会社 人物追尾システム及び人物追尾方法
JP7242309B2 (ja) * 2019-01-16 2023-03-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4881766B2 (ja) * 2007-03-06 2012-02-22 パナソニック株式会社 カメラ間連結関係情報生成装置

Also Published As

Publication number Publication date
JP2013247586A (ja) 2013-12-09

Similar Documents

Publication Publication Date Title
JP7081140B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
US9953225B2 (en) Image processing apparatus and image processing method
TWI748242B (zh) 掃描晶圓的系統及方法
US20160063731A1 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
CN106780565B (zh) 一种基于光流与k-means聚类的多学生起坐检测方法
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
US10762372B2 (en) Image processing apparatus and control method therefor
JP2018036226A (ja) 画像処理プログラム、画像処理方法および画像処理装置
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
US11132802B2 (en) Method of detecting moving objects from a temporal sequence of images
KR20190002772A (ko) 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템
US10659680B2 (en) Method of processing object in image and apparatus for same
JP2018028784A (ja) 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法
JP2018096709A (ja) 距離測定装置および距離測定方法
JP5983033B2 (ja) 位置関係判定プログラム、位置関係判定方法および位置関係判定装置
JP6452361B2 (ja) 情報処理装置、情報処理方法、プログラム
TWI517100B (zh) 移動物體追蹤方法及電子裝置
JP6028972B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2015045919A (ja) 画像認識方法及びロボット
US10062155B2 (en) Apparatus and method for detecting defect of image having periodic pattern
JP2018036901A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2008276613A (ja) 移動体判定装置、コンピュータプログラム及び移動体判定方法
JP2010113562A (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
CN114387648A (zh) 异常图像检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160718

R150 Certificate of patent or registration of utility model

Ref document number: 5983033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees