JP7242309B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

従来、空港やショッピングモールなどに複数台の撮像装置を設置し、それぞれの撮像装置によって撮像された画像（映像）を解析することにより、複数の撮像装置間で人物を同定して追尾する被写体同定技術が知られている。このような技術は、Ｒｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ（Ｒｅ－ＩＤ）技術と呼ばれる。
特許文献１には、撮像装置間で被写体を同定して追尾する場合において、追尾対象とした被写体の追尾結果に誤りがある場合に、当該追尾結果を修正する作業を簡単に行うことができるようにする技術が開示されている。この技術は、追尾対象とした被写体と関連度の高い被写体が写った撮像画像を候補画像として表示画面に表示し、監視者に追尾対象とした被写体が写った候補画像を選択させることにより、追尾結果を修正する技術である。

特開２０１５－０１９２５０号公報

しかしながら、上記特許文献１に記載の技術では、同定後の追尾結果の修正のみを目的としているため、仮に当該追尾結果を修正できたとしても、別の被写体を追尾対象とした際には再び同定に失敗し、誤った追尾結果を出力してしまう可能性がある。
被写体同定処理では、被写体の画像特徴とともに、撮像装置間に設定された制約条件が用いられる場合がある。撮像装置間の制約条件は、ある撮像装置から別の撮像装置への被写体の遷移確率や遷移時間といった時空間制約を含む。同定処理に失敗する原因の一つとして、上記の撮像装置間に設定された制約条件が不適切であることが挙げられる。

したがって、より高い精度で被写体の追尾を行うためには、不適切な制約条件が設定されている撮像装置間を特定し、不適切な制約条件を適切に修正することが望ましい。しかしながら、ユーザは、制約条件の修正が必要な撮像装置間を容易に特定することができず、制約条件の修正には手間がかかる。
そこで、本発明は、撮像装置間に設定された、当該撮像装置間における被写体の同定処理に関する制約条件の修正を容易とすることを課題としている。

上記課題を解決するために、本発明に係る画像処理装置の一態様は、第１の撮像装置により撮像された第１の撮像画像に含まれる被写体を、前記第１の撮像装置とは異なる第２の撮像装置によって撮像された第２の撮像画像に含まれる被写体と対応付ける同定処理を行う同定手段と、前記同定手段による前記同定処理の結果を記録する記録手段と、前記記録手段により記録された前記同定処理の結果と、前記第１の撮像装置と前記第２の撮像装置との撮像装置間に設定された前記同定処理に関する制約条件とに基づいて、当該制約条件の状態を決定する決定手段と、を備える。

本発明によれば、撮像装置間に設定された、当該撮像装置間における被写体の同定処理に関する制約条件の修正を容易とすることができる。

本実施形態における画像処理システムのシステム構成例を示す図である。 画像処理装置のハードウェア構成例である。 画像処理装置の動作を説明するためのフローチャートである。 （ａ）は追尾情報の一例、（ｂ）はカメラ間の情報の一例である。 表示画面の一例である。 カメラ間の接続関係の一例である。 画像処理装置の別の動作を説明するためのフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

本実施形態では、複数の撮像装置により撮像された撮像画像を解析し、撮像装置間を移動する被写体を同定して追尾する画像処理システムについて説明する。異なる撮像装置間を移動する被写体は、通常、別の被写体として扱われるが、被写体の画像の特徴量などを利用することで、同一の被写体であると判断して追尾することが可能である。
本実施形態における画像処理システムは、被写体の画像の特徴量と、撮像装置間に設定された制約条件とを用いて、被写体の同定処理を行う。本実施形態では、撮像装置間に設定された制約条件は、ある撮像装置から別の撮像装置までの被写体が移動に要する時間である遷移時間である場合について説明する。

図１は、本実施形態における画像処理システム１０００のシステム構成例を示す図である。本実施形態における画像処理システム１０００は、複数台（図１では、４台）の撮像装置１００Ａ～１００Ｄと、画像処理装置２００と、画像データベース３００と、を備える。撮像装置１００Ａ～１００Ｄと画像処理装置２００と画像データベース３００とは、それぞれネットワーク４００によって相互に通信可能に接続されている。
ネットワーク４００は、撮像装置１００Ａ～１００Ｄ、画像処理装置２００および画像データベース３００の間で通信可能な構成であれば、その通信規格、規模および構成は問わない。ネットワーク４００は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ（Wireless LAN）、ＷＡＮ（Wide Area Network）、若しくはこれらの複合により実現してもよい。

撮像装置１００Ａ～１００Ｄは、ネットワークカメラ（以下、単に「カメラ」という。）であり、それぞれ一意に特定が可能なカメラＩＤが与えられている。カメラ１００Ａ～１００Ｄは、それぞれ異なる場所に設置されており、設定もしくは制御された姿勢で静止画像もしくは動画像を撮像する。また、カメラ１００Ａ～１００Ｄは、それぞれ異なる撮像範囲を撮像し、撮像範囲を共有しなくてもよい。なお、カメラ１００Ａ～１００Ｄの設置レイアウトは特に限定されない。例えば、カメラ１００Ａ～１００Ｄのうち、いくつかのカメラを部屋Ａに設置し、他のいくつかのカメラを別の部屋Ｂに設置する、というように、いくつかのカメラを纏めて同じエリアに設置してもよい。
また、カメラ１００Ａ～１００Ｄは、ＰｏＥ（Ｐｏｗｅｒ Ｏｖｅｒ Ｅｔｈｅｒｎｅｔ（登録商標））に対応していてもよいし、ＬＡＮケーブル等を介して電力が供給される構成でもよい。さらに、図１では、４台のカメラ１００Ａ～１００Ｄがネットワーク４００に接続されているが、ネットワーク４００には２台以上のカメラが接続されていればよく、接続台数は図１に示す数に限定されない。

カメラ１００Ａ～１００Ｄのそれぞれによって撮像された撮像画像は、ネットワーク４００を介して画像データベース３００に保存される。このとき、撮像画像は、撮像時刻とカメラＩＤとともに保存される。画像データベース３００に保存される撮像画像は、カメラ１００Ａ～１００Ｄのそれぞれが静止画像を出力するものであれば、静止画像そのものである。一方、カメラ１００Ａ～１００Ｄのそれぞれが動画像を出力するものであれば、上記撮像画像は動画像を構成する各フレームとなる。
画像処理装置２００は、汎用コンピュータと、画像を表示可能なモニタと、を備える表示装置とすることができる。画像処理装置２００は、例えば、パーソナルコンピュータ（ＰＣ）やモバイル端末などにより構成することができる。

画像処理装置２００は、画像データベース３００に保存された撮像画像から被写体の特徴量を抽出し、抽出された特徴量と、カメラ間に設定された制約条件とに基づいて、カメラ間で被写体の同定を行うことができる。また、画像処理装置２００は、被写体の同定処理の結果（同定結果）を記録し、記録された同定結果と、カメラ間に設定された制約条件とに基づいて、カメラ間の制約条件の状態（以下、「カメラ間の状態」ともいう。）を決定する。さらに、画像処理装置２００は、決定されたカメラ間の状態に基づいて、ユーザに情報を提示することもできる。
なお、本実施形態では、同定対象とする被写体が人物である場合について説明するが、同定対象とする被写体は人物に限定されるものではなく、撮像画像から特徴量を抽出可能な、カメラ間を移動する移動体であればよい。

画像処理装置２００は、特徴抽出部２０１と、被写体追尾部２０２と、同定部２０３と、記録部２０４と、決定部２０５と、出力部２０６と、設定部２０７と、記憶域２０８と、を備える。
特徴抽出部２０１は、ネットワーク４００を介してカメラ１００Ａ～１００Ｄから撮像画像を取得し、撮像画像から被写体を検出し、検出した被写体の特徴量を抽出する。
被写体追尾部２０２は、同一カメラ内で被写体を追尾する追尾処理を行う。
同定部２０３は、複数のカメラ間で同一の被写体を対応付ける同定処理を行う。
記録部２０４は、同定部２０３によるカメラ間の同定結果を記憶域２０８に記録する。

決定部２０５は、記憶域２０８に記録されたカメラ間の同定結果と、カメラ間に設定されている制約条件とに基づいて、カメラ間の状態を決定する。
出力部２０６は、決定部２０５によって決定されたカメラ間の状態に基づいて、ユーザに提示する情報を出力する。本実施形態では、出力部２０６は、画像処理装置２００が備える表示部２１６（図２参照）に情報を出力し、当該情報を画面上に表示させる表示制御を行う。しかしながら、出力部２０６は、他の装置に情報を出力し、当該情報をユーザに提示させるようにしてもよい。
設定部２０７は、ユーザにより設定された情報を取得する。設定部２０７が取得する情報は、ユーザにより設定された同定対象の被写体に関する情報を含む。
記憶域２０８は、被写体追尾部２０２による追尾結果である追尾情報を記憶することができる。また、記憶域２０８は、同定部２０３による同定結果や、カメラ間の制約条件、カメラ間の状態を記憶することもできる。

図２は、画像処理装置２００のハードウェア構成例である。
画像処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、外部メモリ２１４、入力部２１５、表示部２１６および通信Ｉ／Ｆ２１７を備える。ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、外部メモリ２１４、入力部２１５、表示部２１６および通信Ｉ／Ｆ２１７は、内部バス２１８に接続されている。
ＣＰＵ２１１は、画像処理装置２００における動作を統括的に制御する。ＲＯＭ２１２は、ＣＰＵ２１１が処理を実行するために必要なプログラムやデータを記憶する不揮発性
メモリである。ＲＡＭ２１３は、ＣＰＵ２１１の主メモリ、ワークエリア等として機能する。ＣＰＵ２１１は、処理の実行に際してＲＯＭ２１２から必要なプログラム等をＲＡＭ２１３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

外部メモリ２１４は、例えば、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリ、ＳＤカード等に代表される不揮発性の記憶装置であり、着脱可能な構成であってもよい。この外部メモリ２１４は、ＯＳや各種のプログラムおよび各種のデータ等の永続的な記憶領域として使用される他に、短期的な各種のデータ等の記憶領域としても使用することができる。
入力部２１５は、キーボードやマウス等のポインティングデバイスを含む、ユーザが操作可能なＩ／Ｏ機器である。表示部２１６は、液晶ディスプレイ（ＬＣＤ）等のモニタを備え、ユーザに対して情報を提示することができる。通信Ｉ／Ｆ２１７は、ネットワーク４００を介してカメラ１００Ａ～１００Ｄや画像データベース３００との間でデータの送受信を行う。

図１に示す画像処理装置２００の各要素のうち少なくとも一部の機能は、ＣＰＵ２１１がプログラムを実行することで実現することができる。ただし、図１に示す画像処理装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２１１の制御に基づいて動作する。

以下、画像処理装置２００の動作について説明する。
図３（ａ）は、画像処理装置２００が実行するカメラ間状態決定処理のフローチャートである。この図３（ａ）の処理は、カメラ１００Ａ～１００Ｄが撮像を開始したタイミングで開始することができる。ただし、図３（ａ）の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置２００は、ＣＰＵ２１１が必要なプログラムを読み出して実行することにより、図３（ａ）に示す処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
まずＳ１において、画像処理装置２００は、画像データベース３００に保存された撮像画像を、撮像時刻および撮像したカメラＩＤとともに一定フレーム間隔で取得する。
Ｓ２では、画像処理装置２００は、Ｓ１において取得された撮像画像から被写体を検出する検出処理を行い、被写体の検出処理を行った後、被写体の画像から被写体の特徴量を抽出する。

被写体の検出処理では、画像処理装置２００は、まず撮像画像から動体領域を検出する。動体領域を検出する方法としては、予め背景が撮像された画像から背景モデルを生成しておき、背景モデルと入力画像との差分により動体領域を検出する背景差分法を用いることができる。次に、画像処理装置２００は、検出された動体領域に対して、所定の大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人物であるか否かの２クラス判別を行う。このようにして、被写体である人物を検出することができる。なお、被写体の検出方法は上記に限定されるものではなく、任意の方法を用いることができる。
また、本実施形態では、画像処理装置２００は、被写体の特徴として被写体の顔特徴を抽出する。特徴量としては、顔器官（目・鼻・口等）の位置とその周囲の色の勾配情報を表すＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を利用することができる。また、画像上でのサイズに依存しないように、特徴量の値が０から１の間に収まるように正規化処理を行ってもよい。なお、被写体の特徴は、顔特徴に限定されるものではなく、被写体の同定が可能となる特徴であればよい。

Ｓ３では、画像処理装置２００は、同一カメラによって撮像された複数の撮像画像をもとに、同一カメラ内において被写体を追尾する追尾処理を行う。このとき、画像処理装置
２００は、追尾状態にある被写体の領域については、追尾ＩＤを割り当てる。そして、画像処理装置２００は、追尾ＩＤとともに、カメラＩＤ、被写体領域の中心位置（ｘ、ｙ）、被写体領域を包含する矩形領域の大きさ（幅ｗ、高さｈ）、被写体の特徴量（ｆ）および撮像時刻を、追尾情報として記憶域２０８に記憶する。記憶域２０８に記憶される追尾情報の一例を図４に示す。
ここで、被写体領域の中心位置は、被写体領域を囲む矩形領域の中心位置として定義する。本実施形態における被写体の追尾処理では、画像処理装置２００は、前フレームに含まれる被写体領域の中心位置と、現フレームに含まれる被写体領域の中心位置とに基づいて、被写体の対応付けを行う。そして、画像処理装置２００は、被写体の追尾処理の結果として、同じ被写体であることを示す追尾ＩＤを付与する。

Ｓ４では、画像処理装置２００は、複数のカメラによってそれぞれ撮像された撮像画像をもとに、複数のカメラ間において被写体を同定する同定処理を行う。つまり、画像処理装置２００は、所定のカメラにより撮像された撮像画像に含まれる被写体を、当該所定のカメラとは異なるカメラによって撮像された撮像画像に含まれる被写体と対応付ける処理を行う。
画像処理装置２００は、Ｓ２において抽出された被写体の特徴量と撮像時刻、Ｓ３において記憶域２０８に記憶された被写体の特徴量と撮像時刻、およびカメラ間に設定された制約条件に基づいて、カメラ間での被写体の同定処理を行う。なお、本実施形態では、カメラ間の制約条件は、カメラ間の遷移時間である場合について説明する。

具体的には、画像処理装置２００は、まず、設定部２０７を介してユーザが指定した同定対象とする被写体の追尾ＩＤを取得する。例えば画像処理装置２００は、表示部２１６にカメラ１００Ａ～１００Ｄの少なくとも１つにより撮像された撮像画像を表示させ、撮像画像上においてユーザが指定した被写体を同定対象とする被写体として設定し、当該被写体の追尾ＩＤを取得する。なお、同定対象とする被写体は、ユーザによる指定に限定されるものではなく、事前に登録された顔特徴が一致する人物を同定対象としてもよいし、他の属性をもとに同定対象を設定してもよい。
次に、画像処理装置２００は、取得した追尾ＩＤに紐付いた特徴量を記憶域２０８から読み込み、他のカメラにより撮像された撮像画像から抽出された被写体の特徴量との差異を表す被写体間距離を算出する。被写体間距離としては、例えば特徴空間上でのユークリッド距離を用いることができる。
次に、画像処理装置２００は、カメラ間に設定された制約条件を用いて、被写体の特徴量をもとに算出された被写体間距離を修正する。カメラ間の制約条件は、図４（ｂ）に示すように、横軸を時間ｔとした正規分布で設定されているものとする。この場合、画像処理装置２００は、この正規分布の平均の時間ｔ１と、同定対象の被写体の２つのカメラ間での撮像時間差ｔ２（実際の被写体のカメラ間の遷移時間）とを用いて、被写体間距離を修正する。

被写体の特徴量をもとに算出された被写体間距離をｌ、修正された被写体間距離をｌ´とすると、修正後の被写体間距離ｌ´は、次式により表すことができる。
ｌ´＝ｌ×｜ｔ２－ｔ１｜ ………（１）
上記（１）式は、正規分布の平均の時間ｔ１と、同定対象の被写体の撮像時間差ｔ２との差が小さいほど、被写体間距離ｌ´が短くなることを表す。
最後に、画像処理装置２００は、被写体間距離ｌ´を所定の閾値と比較し、被写体間距離ｌ´が閾値以下であれば同一被写体であると判定する。また、画像処理装置２００は、同一被写体と判定された被写体領域について、カメラＩＤ、被写体領域の特徴量、被写体領域の中心位置、被写体領域を包含する矩形領域の大きさおよび撮像時刻を、同一の追尾ＩＤを付して追尾情報として記憶域２０８に記憶する。
このように、画像処理装置２００は、カメラ間の同定処理に際し、一方のカメラにより
撮像された撮像画像から同定対象とする被写体を設定する。また、画像処理装置２００は、各カメラによりそれぞれ撮像された撮像画像から被写体の特徴量を抽出する。そして、画像処理装置２００は、抽出された特徴量と、カメラ間に設定された制約条件とに基づいて、他方のカメラにより撮像された撮像画像から、同定対象とする被写体と同一の被写体を判定する。

Ｓ５では、画像処理装置２００は、カメラ間の同定結果を記憶域２０８に記録する。ここで、カメラ間の同定結果は、同定された被写体のカメラ間の遷移時間とする。つまり、このＳ５において記憶域２０８に記録されるカメラ間の同定結果は、Ｓ４において算出された同定対象の被写体の撮像時間差ｔ２である。
図４（ｂ）は、記憶域２０８に記録される同定結果の一例である。この図４（ｂ）では、被写体の遷移時間は、各カメラ間でヒストグラムとして記録されている。例えばヒストグラムのビンの幅を１（分）として、同定が行われるたびに、該当する遷移時間のビンに投票されるようにする。このように、画像処理装置２００は、カメラ間毎に同定処理の結果を履歴として記憶域２０８に記録していく。

Ｓ６では、画像処理装置２００は、記憶域２０８に記録されたカメラ間の同定結果と、カメラ間に設定されている制約条件とを比較し、カメラ間の状態を変化させるか否かを判定する。まず、画像処理装置２００は、制約条件の分布と正規化した同定結果（遷移時間）との差の絶対値を、同定結果のヒストグラムのビン毎に計算し、その積算値ｖ１を算出する。
ｖ１＝Σ_t（｜ｇ（ｔ）－ｂ（ｔ）｜） ………（２）
ここで、ｇ（ｔ）は制約条件の分布、ｂ（ｔ）は同定結果のヒストグラムの時間ｔにおけるビンの値である。上記（２）式により算出される積算値ｖ１は、同定結果と制約条件との乖離の程度を示す乖離度である。
そして、画像処理装置２００は、算出された積算値ｖ１とカメラ間の現在の状態に基づいて、カメラ間の状態を変化させる必要があるか否かを示す要状態変更フラグを設定する。

本実施形態では、カメラ間の状態として、「通常状態」と「修正推奨状態」の２つを定義する。「通常状態」は、カメラ間の制約条件が適切に設定されており、修正の必要がない状態を示す。一方、「修正推奨状態」は、カメラ間の制約条件の修正が必要な状態を示す。
画像処理装置２００は、カメラ間の現在の状態が「通常状態」で且つ算出された積算値ｖ１が所定の閾値以上であるか、カメラ間の現在の状態が「修正推奨状態」で且つ算出された積算値ｖ１が所定の閾値未満である場合、要状態変更フラグを立てる。つまり、カメラ間の現在の状態が「通常状態」であり、同定結果と制約条件とに乖離がある場合は、カメラ間の状態を「通常状態」から「修正推奨状態」へ変更する必要があると判定して要状態変更フラグを立てる。また、カメラ間の現在の状態が「修正推奨状態」であり、同定結果と制約条件とに乖離がない場合は、カメラ間の状態を「修正推奨状態」から「通常状態」へ変更する必要があると判定して要状態変更フラグを立てる。
一方、画像処理装置２００は、カメラ間の現在の状態が「通常状態」で且つ算出された積算値ｖ１が所定の閾値未満であるか、カメラ間の現在の状態が「修正推奨状態」で且つ算出された積算値ｖ１が所定の閾値以上である場合、要状態変更フラグを立てない。つまり、カメラ間の状態を変更する必要はないと判定する。

Ｓ７では、画像処理装置２００は、Ｓ６において要状態変更フラグが立ったか否かを判定し、要状態変更フラグが立っている場合はＳ８に移行し、要状態変更フラグが立っていない場合はＳ９に移行する。
Ｓ８では、画像処理装置２００は、要状態変更フラグが立っているカメラ間の状態を変
更する。つまり、要状態変更フラグが立っているカメラ間の現在の状態が「通常状態」であれば「修正推奨状態」へ、当該カメラ間の現在の状態が「修正推奨状態」であれば「通常状態」へ変更する。

Ｓ９では、画像処理装置２００は、カメラ間の状態が「修正推奨状態」にあるカメラ間が存在するか否かを判定する。そして、画像処理装置２００は、「修正推奨状態」にあるカメラ間が存在する場合はＳ１０に移行し、「修正推奨状態」にあるカメラ間が存在しない場合は図３（ａ）の処理を終了する。
Ｓ１０では、画像処理装置２００は、「修正推奨状態」にあるカメラ間の制約条件の修正を促すメッセージを表示部２１６に表示させる表示制御を行う。例えば、画面上に「制約条件の修正をお勧めします」というポップアップを表示するようにする。このとき、制約条件の修正画面に遷移するボタンを表示するようにしてもよい。また、ポップアップ表示部にテキストボックスを設け、「修正推奨状態」のカメラ間の制約条件を直接修正できるようにしてもよい。

図３（ｂ）は、画像処理装置２００が実行する制約条件修正処理を示すフローチャートである。
この図３（ｂ）の処理は、ユーザが制約条件の修正画面を起動する指示を入力したタイミングで開始することができる。例えば、図３（ｂ）の処理は、図３（ａ）のＳ１０において画像処理装置２００が表示させた制約条件の修正画面に遷移するためのボタンを、ユーザが押下したことを検知したタイミングで開始することができる。画像処理装置２００は、ＣＰＵ２１１が必要なプログラムを読み出して実行することにより、図３（ｂ）に示す処理を実現することができる。

まずＳ１１において、画像処理装置２００は、記憶域２０８に記録されたカメラ間の状態とカメラ間の同定結果とを取得する。
次にＳ１２において、画像処理装置２００は、記憶域２０８からカメラ間の制約条件を取得するとともに、カメラの実空間上の配置情報および実空間を表したマップを取得し、これらの情報を画面上に表示させる表示制御を行う。制約条件表示画面の一例を図５に示す。
図５に示すように、画面上のウィンドウ５００にはマップが表示され、マップ上におけるカメラ１００Ａ～１００Ｄの配置位置に対応する位置には、カメラのマーク５０１～５０４が重畳表示される。なお、カメラのマーク５０１～５０４の近傍には、それぞれカメラＩＤ（１１０１～１１０４）を表示させてもよい。

また、画像処理装置２００は、カメラ間の状態を示す情報を、カメラ間の状態に応じて、視覚的に異なる態様で表示させる。本実施形態では、マップ上においてカメラ間を線分で結び、カメラ間の状態に応じて、カメラ間を結ぶ線分のスタイルを設定する。例えば、カメラ間の状態が「通常状態」であれば水色の細線５１１、「修正推奨状態」であれば赤色の太線５１２とする。
さらに、図５に示すように、カメラ間の状態が「修正推奨状態」であることを示す線分５１２には、吹き出し状の図形５２０を重畳表示し、この吹き出し状の図形５２０の中に、制約条件と同定結果との比較結果５２１を表示させてもよい。ここで、比較結果５２０は、制約条件を表す分布に同定結果を重畳表示して表示させることができる。また、吹き出し状の図形５２０の中には、ユーザの入力を受け付けるテキストボックス５２２を設けてもよい。当該テキストボックス５２２に数値を入力することで、ユーザは制約条件の分布の平均値の変更を指示することができる。ここで、テキストボックス５２２には、デフォルトの値として現在の制約条件の分布の平均値を入力しておいてもよい。

なお、ウィンドウ５００に表示させる情報は、カメラ間の状態を示す情報であればよく
、例えば「修正推奨状態」に対応する線分のみを表示するようにしてもよい。この場合、ウィンドウ５００において情報過多となることを抑制することができ、ユーザは、制約条件の修正が必要なカメラ間を容易に確認することが可能となる。また、ウィンドウ５００には、すべてのカメラ間に吹き出し状の図形を表示させてもよい。この場合、カメラ間の状態に応じて、吹き出し状の図形の大きさを変更するようにしてもよい。
また、ユーザが修正する値は制約条件に関するパラメータ値であればよく、例えば平均値だけでなく分散も含めてもよい。さらに、テキストボックスへの数値入力に限定されるものではなく、例えばスライダーバーを利用することも可能である。
また、図５に示す例では、カメラ間の状態をマップ上に重畳表示させる場合について説明したが、マップを用いた表示に限定されるものではない。

図３（ｂ）に戻って、Ｓ１３では、画像処理装置２００は、ユーザが制約条件表示画面から制約条件のパラメータ値を入力したか否かを判定し、入力があった場合は、ユーザからの制約条件修正指示があったと判断してＳ１４に移行する。一方、入力が無かった場合は図３（ｂ）の処理を終了する。
Ｓ１４では、画像処理装置２００、ユーザが入力した値を、記憶域２０８に記録されている制約条件に適用することで制約条件を修正し、図３（ｂ）の処理を終了する。例えば、図４（ｂ）に示すカメラ１０１２－１０１３間の制約条件のパラメータ値として「１５」が入力された場合、画像処理装置２００は、カメラ１０１２－１０１３間の制約条件の分布の平均値を２０分から１５分へ修正する。

（変形例）
上記実施形態においては、制約条件は正規分布に従うと仮定したが、他の分布を表すような関数でも代用可能である。この場合、制約条件の分布を表す関数の係数にあたる部分を、図３（ｂ）のＳ１２においてユーザに入力させるようにしてもよい。また、同定結果にフィットする関数そのものをユーザに選ばせるようにしてもよい。さらに、制約条件は、例えばヒストグラムのように、ある区切られた時間それぞれに対して値が入力されているようなものであってもよい。

また、上記実施形態においては、制約条件としてカメラ間における被写体の遷移時間を用いる場合について説明したが、例えば、カメラ間における被写体の遷移確率を制約条件として用いることもできる。この場合、カメラ間に設定される制約条件は、０～１の間の数値とすることができる。つまり、制約条件が０であれば、当該カメラ間を遷移する被写体は存在しないという制約となり、制約条件が１であれば、被写体は必ず当該カメラ間を遷移するという制約となる。
さらに、制約条件は、図６に示すようにカメラ間の接続関係を示す情報を含んでもよい。ここで、図６中の数値はカメラＩＤを表す。図６では、カメラＩＤ＝１０１１のカメラは、カメラＩＤ＝１０１２とカメラ＝ＩＤ１０１４のカメラと接続しているが、カメラＩＤ＝１０１３のカメラとは接続していない。つまり、この図６では、カメラ１０１１－１０１３間の遷移は無いということを表している。ここで、カメラ間の接続関係の情報は、ユーザが任意に決めてもよいし、実際に同定されたカメラ間を自動的に接続するようにしてもよい。

制約条件を遷移確率とした場合、図３（ａ）のＳ４における被写体間距離の修正は、遷移確率に基づいて行うことになる。例えば、被写体間距離をｌ、遷移確率をｆで表した場合、修正後の被写体間距離ｌ’は次式により表すことができる。
ｌ´＝ｌ÷ｆ ………（３）
この場合、遷移確率ｆが低いほど被写体間距離ｌ´が長くなり、結果として同一被写体と推定されにくくなる。
また、Ｓ５においては、画像処理装置２００は、同定結果として、カメラ間の実際の遷
移確率を記憶域２０８に記録する。例えば、カメラＩＤ＝１０１１のカメラからカメラＩＤ＝１０１２のカメラへの実際の遷移確率は、カメラＩＤ＝１０１１のカメラに接続するすべてのカメラとの間で同定した回数に対する、カメラ１０１１－１０１２間の同定回数として算出することができる。つまり、カメラ１０１１－１０１２間の実際の遷移確率は、カメラ１０１１－１０１２間とカメラ１０１１－０１４間とで同定した回数に対する、カメラ１０１１－１０１２間の同定回数とすることができる。
そして、Ｓ６においては、画像処理装置２００は、カメラ間の制約条件（遷移確率）とカメラ間の実際の遷移確率とを比較する。そして、両者の差が所定の閾値未満であれば「通常状態」、閾値以上であれば「修正推奨状態」として定義することができる。このように、制約条件としてカメラ間の遷移確率を利用することも可能である。

さらに、上記実施形態においては、カメラ間の状態として「通常状態」と「修正推奨状態」の２つを定義したが、カメラ間の状態は３つ以上であってもよい。例えば、一定期間、カメラ間の状態が「修正推奨状態」であった場合に、自動的に制約条件を同定結果にフィットするように再生成（更新）する機能を有する場合、カメラ間の状態は、制約条件の更新が行われたことを示す「修正完了状態」を含んでもよい。つまり、カメラ間の状態は、カメラ間に設定されている制約条件の修正の要否、およびカメラ間に設定されている制約条件の更新の有無を含むことができる。
この場合、画像処理装置２００は、記憶域２０８に記録された同定結果に基づいて、カメラ間に設定される制約条件を生成する。例えば、制約条件の生成方法としては、同定結果のヒストグラムに対してガウシアンフィッティングを行い、そのとき得られた正規分布を制約条件とし、当該正規分布の平均や分散値を採用する方法を用いることができる。また、制約条件表示画面では、「修正完了状態」のカメラ間を他のカメラ間とは視覚的に異なる表示態様で表示してもよい。これにより、ユーザは、自動的に制約条件の更新が行われたことを容易に把握することができる。

また、上記実施形態においては、カメラ間の制約条件がすでに設定されている場合の画像処理装置２００の動作について説明した。しかしながら、画像処理装置２００は、カメラ間の制約条件が設定されていない状態、もしくはカメラ間の制約条件が予め設定された初期値に設定されている状態から、カメラ間の制約条件を自動的に設定することも可能である。なお、以下の説明では、カメラ間の制約条件が未設定である状態および初期値に設定されている状態を、カメラ間の制約条件が初期設定である状態と定義する。
この場合、カメラ間の状態として、制約条件が初期設定であり制約条件の設定が必要な「準備状態」、制約条件は初期設定だが制約条件を自動的に設定可能な「完了状態」、制約条件が設定されている「通常状態」の３つを定義することができる。つまり、カメラ間の状態は、カメラ間に設定される制約条件の設定の要否、およびカメラ間に設定される制約条件の設定の可否を含むことができる。

図６（ａ）は、画像処理装置２００が実行するカメラ間状態決定処理のフローチャートである。この図６（ａ）の処理は、上述した図３（ａ）の処理と同様に、カメラ１００Ａ～１００Ｄが撮像を開始したタイミングで開始することができる。ただし、図６（ａ）の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置２００は、ＣＰＵ２１１が必要なプログラムを読み出して実行することにより、図６（ａ）に示す処理を実現することができる。

Ｓ２１～Ｓ２３の処理は、上述した図３（ａ）のＳ１～Ｓ３と同様である。つまり、画像処理装置２００は、カメラから取得した撮像画像から被写体の特徴量を抽出し、カメラ内で同一の被写体を追尾する。
Ｓ２４では、画像処理装置２００は、カメラ間において同一の被写体を対応付ける同定処理を行う。このＳ２４では、カメラ間の状態に応じて異なる方法を用いて同定処理を行
う。具体的には、カメラ間の状態が「準備状態」あるいは「完了状態」の場合、画像処理装置２００は、被写体の特徴量に基づいて同定処理を行う。つまり、画像処理装置２００は、ユーザにより指定された追尾ＩＤと対応付いた特徴量および撮像時刻、ならびに記憶域２０８に記録された被写体の特徴量および撮像時刻を用いて、カメラ間での被写体の同定処理を行う。この場合、被写体間距離の算出方法は、上述した図３（ａ）のＳ４と同様であるが、制約条件による被写体間距離の修正を行わない点でＳ４とは異なる。

一方、カメラ間の状態が「通常状態」の場合、画像処理装置２００は、被写体の特徴量とカメラ間に設定された制約条件とに基づいて同定処理を行う。つまり、画像処理装置２００は、ユーザにより指定された追尾ＩＤと対応付いた特徴量および撮像時刻、記憶域２０８に記録された被写体の特徴量および撮像時刻、ならびにカメラ間の制約条件を用いて、カメラ間での被写体の同定処理を行う。この場合、図３（ａ）のＳ４と同様に制約条件による被写体間距離の修正も行われる。
そして、画像処理装置２００は、被写体間距離を所定の閾値と比較し、被写体間距離が閾値以下であれば、同一被写体と判定する。また、画像処理装置２００は、同一被写体と判定された被写体領域について、カメラＩＤ、被写体領域の特徴量、被写体領域の中心位置、被写体領域を包含する矩形領域の大きさおよび撮像時刻を、同一の追尾ＩＤを付して追尾情報として記憶域２０８に記憶する。

Ｓ２５の処理は、図３（ａ）のＳ５と同様である。つまり、各カメラ間の同定結果を記憶域２０８に記録する。なお、カメラ間の同定結果は、同定された被写体のカメラ間の遷移時間とすることができる。
Ｓ２６では、画像処理装置２００は、記憶域２０８に記録されたカメラ間の同定結果から、カメラ間の状態を決定し、カメラ間の状態に変更があったか否かを判定する。まず、画像処理装置２００は、カメラ間の同定結果中の全てのビンの投票数ｖ２を数え、全投票数ｖ２を予め設定された閾値と比較してカメラ間の状態を決定する。
ｖ２＝Σ_tｂ（ｔ） ………（４）
ここで、ｂ（ｔ）は、同定結果のヒストグラムの時間ｔにおけるビンの値である。上記（４）式により算出される全投票数ｖ２は、記憶域２０８に記録された同定結果の数である。

画像処理装置２００は、現在のカメラ間の状態が「準備状態」であり、全投票数ｖ２が閾値未満である場合、カメラ間の状態を「準備状態」と決定する。一方、現在のカメラ間の状態が「準備状態」であり、全投票数ｖ２が閾値以上である場合、カメラ間の状態を「完了状態」と決定する。また、現在のカメラ間の状態が「通常状態」である場合には、同定結果に関わらず、カメラ間の状態を「通常状態」と決定する。
そして、画像処理装置２００は、カメラ間の状態に変更があった場合にはＳ２７に移行し、カメラ間の状態に変更がない場合には図６（ａ）の処理を終了する。つまり、カメラ間の状態が「準備状態」から「完了状態」に変更されたカメラ間が存在する場合、Ｓ２７に移行する。

Ｓ２７では、画像処理装置２００は、「完了状態」にあるカメラ間の制約条件の設定を促すメッセージを表示し、制約条件の設定画面に遷移する。例えば、画面右上に「制約条件を設定する準備が整いました」というポップアップを表示する。なお、このＳ２７では、制約条件の設定画面に遷移する確認ボタンを表示し、ユーザが確認ボタンを押下したことを検出した場合、制約条件の設定画面に遷移するようにしてもよい。

図６（ｂ）は、画像処理装置２００が実行する制約条件設定処理を示すフローチャートである。
この図６（ｂ）の処理は、ユーザが制約条件の設定画面を起動する指示を入力したタイ
ミングで開始することができる。ただし、図６（ｂ）の処理の開始タイミングは、上記のタイミングに限らない。例えば、図６（ｂ）の処理は、図６（ａ）のＳ２７の処理の後に開始することができる。画像処理装置２００は、ＣＰＵ２１１が必要なプログラムを読み出して実行することにより、図６（ｂ）に示す処理を実現することができる。

Ｓ３１では、画像処理装置２００は、記憶域２０８からカメラ間の状態とＳ２５において記録された同定結果とを取得し、同定結果に基づいて制約条件を生成する。制約条件の生成方法としては、例えば、同定結果のヒストグラムに対してガウシアンフィッティングを行い、そのとき得られた正規分布を制約条件とし、当該正規分布の平均や分散値を採用する方法を用いることができる。そして、画像処理装置２００は、生成された制約条件を記憶域２０８に記録する。

Ｓ３２では、画像処理装置２００は、記憶域２０８からカメラ間の制約条件を取得するとともに、カメラの実空間上の配置情報および実空間を表したマップを取得し、これらの情報を画面上に表示させる。制約条件表示画面の一例は図５と同様である。
このとき、カメラ間の状態に応じて、カメラ間を結ぶ線分のスタイルを設定する。例えば、カメラ間の状態が「準備状態」であれば水色の点線、「完了状態」であれば赤色の太線、「通常状態」であれば緑色の細線とする。
さらに、図５の例と同様に、カメラ間の状態が「完了状態」であることを示す線分に吹き出し状の図形を重畳表示し、この吹き出し状の図形の中に、制約条件を表す分布に同定結果を重畳表示させてもよい。また、吹き出し状の図形の中には、ユーザの入力を受け付けるテキストボックスを設けてもよい。当該テキストボックスに数値を入力することで、ユーザは制約条件の分布の平均値の変更を指示することができる。ここで、テキストボックスには、デフォルトの値として現在の制約条件の分布の平均値を入力しておいてもよい。

Ｓ３３およびＳ３４の処理は、それぞれ図３（ｂ）のＳ１３およびＳ１４と同様である。つまり、画像処理装置２００は、ユーザからの制約条件修正指示があったと判断した場合、その制約条件修正指示に従って記憶域２０８に記録されている制約条件を修正する。
Ｓ３５では、画像処理装置２００は、「完了状態」となっているカメラ間の状態を、「通常状態」に変更し、図６（ｂ）の処理を終了する。

以上説明したように、本実施形態における画像処理装置２００は、複数のカメラ間において同一の被写体を対応付ける同定処理を行い、同定処理の結果を記憶域２０８に記録する。そして、画像処理装置２００は、記憶域２０８に記録された同定処理の結果と、カメラ間に設定された同定処理に関する制約条件とに基づいて、制約条件の状態（カメラ間の状態）を決定する。このように、画像処理装置２００は、カメラ間における被写体同定処理結果の履歴に基づいて、カメラ間の状態を容易に決定することができる。したがって、画像処理装置２００は、修正が必要な制約条件が存在する場合には、制約条件の修正が必要なカメラ間を容易に特定することができ、当該制約条件を自動的に修正したり、当該制約条件の修正をユーザに促したりすることができる。つまり、カメラ間の状態を決定することで、カメラ間に設定された制約条件の修正を容易とすることができる。
ここで、カメラ間の状態は、制約条件の修正の要否、制約条件の更新の有無、制約条件の設定の要否、および制約条件の設定の可否の少なくとも１つを含むことができる。

具体的には、画像処理装置２００は、記憶域２０８に記録された同定処理の結果と、カメラ間に設定されている制約条件との乖離の程度を示す乖離度が所定の閾値以上である場合、カメラ間の状態が、制約条件の修正が必要な状態であると決定することができる。つまり、カメラ間の状態が上述した「修正推奨状態」であると決定することができる。
また、画像処理装置２００は、記憶域２０８に記録された同定処理の結果に基づいて、
カメラ間に設定される制約条件が生成された場合、カメラ間の状態が、制約条件が更新された状態であると決定することができる。つまり、カメラ間の状態が上述した「修正完了状態」であると決定することができる。ここで、画像処理装置２００は、カメラ間の状態が、一定期間、制約条件の修正が必要な「修正推奨状態」である場合、記憶域２０８に記録された同定処理の結果に基づいて、カメラ間に設定される制約条件を生成するようにしてもよい。

さらに、画像処理装置２００は、カメラ間に設定された制約条件が初期設定である場合、制約条件の設定が必要な状態であると決定することができる。具体的には、カメラ間に制約条件が初期設定であり、記憶域２０８に記録された同定処理の結果の数が所定の閾値未満である場合、カメラ間の状態が上述した「準備状態」であると決定することができる。
また、画像処理装置２００は、カメラ間に設定された制約条件が初期設定であり、記憶域２０８に記録された同定処理の結果の数が所定の閾値以上である場合、カメラ間の状態が、制約条件の設定が可能な状態であると決定することができる。つまり、カメラ間の状態が上述した「完了状態」であると決定することができる。

被写体の同定処理に際し、画像処理装置２００は、複数のカメラにより撮像された撮像画像からそれぞれ被写体の特徴量を抽出し、所定のカメラの撮像画像から同定対象とする被写体を設定する。そして、画像処理装置２００は、各撮像画像から抽出された特徴量と、カメラ間に設定された制約条件とに基づいて、上記所定のカメラとは異なるカメラの撮像画像から同定対象とする被写体と同一の被写体を判定することで、被写体を同定する。このように、被写体の特徴量に加えて、カメラ間の制約条件を考慮して被写体の同定処理を行うことで、カメラ間において適切に被写体を同定することができる。
ここで、カメラ間に設定された制約条件は、カメラ間における被写体の遷移時間、およびカメラ間における被写体の遷移確率の少なくとも一方を含むことができる。このように、被写体の遷移時間や遷移確率といった時空間制約を用いることで、高精度な同定処理が可能となる。

また、記憶域２０８に記録する同定処理の結果は、カメラ間の制約条件に対応するパラメータ値とすることができる。つまり、記憶域２０８に記録する同定処理の結果は、カメラ間における被写体の遷移時間、およびカメラ間における被写体の遷移確率の少なくとも一方を含むことができる。このように、記憶域２０８に記録する同定処理の結果を、カメラ間の制約条件に対応するパラメータ値とすることで、両者の比較が容易となり、制約条件が適切に設定されているか否かを容易に判定することができる。

さらに、画像処理装置２００は、カメラ間の状態が決定された場合、決定されたカメラ間の状態を示す情報を表示部２１６に表示させる表示制御を行うことができる。これにより、ユーザは、各カメラ間において制約条件が適切に設定されているか否かを容易に確認することができる。また、ユーザは、不適切な制約条件が存在する場合、どのカメラ間の制約条件を修正すべきかを容易に把握することができる。
このように、画像処理装置２００は、カメラ間に設定された制約条件の状態を示す情報をユーザに提示することで、制約条件を設定・修正するかどうかの判断をユーザに促すことができる。また、画像処理装置２００は、制約条件の修正が必要なカメラ間をユーザが容易に選択できるようにすることができるため、制約条件の修正にかかる手間を軽減させることができる。

また、画像処理装置２００は、複数のカメラが配置されたマップ上に、カメラ間を結ぶ線分を表示させ、カメラ間の状態に応じて、カメラ間を結ぶ線分のスタイルを設定するようにしてもよい。このように、カメラ間の状態に応じて、視覚的に異なる態様でカメラ間
の状態を示す情報を表示させることで、ユーザは容易にカメラ間の状態を把握することができる。
さらに、画像処理装置２００は、カメラ間の状態を示す情報とともに、カメラ間に設定された制約条件や、記憶域２０８に記録された同定処理の結果の履歴を表示させることもできる。これにより、ユーザは、制約条件の現在の設定状況や同定処理の結果も併せて確認することができ、制約条件をどのように設定・修正すべきかを適切に判断することができる。このとき、画像処理装置２００は、カメラ間の状態を示す情報とともに、カメラ間に設定された制約条件と、記憶域２０８に記録された同定処理の結果の履歴とを表示させれば、ユーザは、制約条件と同定処理結果との乖離度を容易に把握することができる。したがって、ユーザは、制約条件の修正を容易かつ適切に行うことができる。

以上のように、本実施形態における画像処理装置２００は、撮像装置間における被写体の同定処理の結果の履歴と、撮像装置間に設定された制約条件とに基づいて、撮像装置間に設定された制約条件の状態を特定することができる。そのため、撮像装置間に設定された制約条件の修正を容易とすることができ、撮像装置間における被写体の同定処理を高精度に行うことが可能となる。したがって、撮像範囲を共有しない複数の撮像装置間における同一被写体の追尾を高精度に行うことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００Ａ～１００Ｄ…撮像装置、２００…画像処理装置、２０１…特徴抽出部、２０２…被写体追尾部、２０３…同定部、２０４…記録部、２０５…決定部、２０６…出力部、２０７…設定部、２０８…記憶域、３００…画像データベース、４００…ネットワーク、１０００…撮像システム

Claims (20)

1. 第１の撮像装置により撮像された第１の撮像画像に含まれる被写体を、前記第１の撮像装置とは異なる第２の撮像装置によって撮像された第２の撮像画像に含まれる被写体と対応付ける同定処理を行う同定手段と、
   前記同定手段による前記同定処理の結果を記録する記録手段と、
   前記記録手段により記録された前記同定処理の結果と、前記第１の撮像装置と前記第２の撮像装置との撮像装置間に設定された前記同定処理に関する制約条件とに基づいて、当該制約条件の状態を決定する決定手段と、を備えることを特徴とする画像処理装置。
2. 前記決定手段は、
   前記制約条件の状態として、前記撮像装置間に設定されている制約条件の修正の要否、前記撮像装置間に設定されている制約条件の更新の有無、前記撮像装置間に設定される制約条件の設定の要否、および前記撮像装置間に設定される前記制約条件の設定の可否の少なくとも１つを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、
   前記記録手段により記録された前記同定処理の結果と、前記撮像装置間に設定されている前記制約条件との乖離の程度を示す乖離度が所定の閾値以上である場合、前記制約条件の修正が必要な状態であると決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記記録手段により記録された前記同定処理の結果に基づいて、前記撮像装置間に設定される制約条件を生成する生成手段をさらに備え、
   前記決定手段は、前記生成手段により前記制約条件が生成された場合、前記制約条件が更新された状態であると決定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記生成手段は、
   前記制約条件の状態が、一定期間、前記制約条件の修正が必要な状態である場合、前記制約条件を生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記決定手段は、
   前記撮像装置間に設定された前記制約条件が初期設定である場合、前記制約条件の設定が必要な状態であると決定することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記決定手段は、
   前記撮像装置間に設定された前記制約条件が初期設定であり、前記記録手段に記録された前記同定処理の結果の数が所定の閾値以上である場合、前記制約条件の設定が可能な状態であると決定することを特徴とする請求項２から６のいずれか１項に記載の画像処理装置。
8. 前記制約条件は、前記撮像装置間における被写体の遷移時間、および前記撮像装置間における被写体の遷移確率の少なくとも一方を含むことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記同定処理の結果は、前記撮像装置間における被写体の遷移時間、および前記撮像装置間における被写体の遷移確率の少なくとも一方を含むことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記同定手段は、
    前記第１の撮像画像から同定対象とする被写体を設定する設定手段と、
    前記第１の撮像画像および前記第２の撮像画像からそれぞれ被写体の特徴量を抽出する抽出手段と、
    前記抽出手段により抽出された特徴量と、前記撮像装置間に設定された前記制約条件とに基づいて、前記第２の撮像画像から、前記設定手段により設定された前記同定対象とする被写体と同一の被写体を判定する判定手段と、を備えることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記決定手段により決定された前記制約条件の状態を示す情報を表示させる表示制御手段をさらに備えることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記表示制御手段は、前記決定手段により決定された前記制約条件の状態に応じて、視覚的に異なる態様で前記情報を表示させることを特徴とする請求項１１に記載の画像処理装置。
13. 前記表示制御手段は、前記情報とともに、前記撮像装置間に設定された制約条件を表示させることを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記表示制御手段は、前記情報とともに、前記記録手段により記録された前記同定処理の結果を表示させることを特徴とする請求項１１から１３のいずれか１項に記載の画像処理装置。
15. 前記表示制御手段は、前記決定手段により決定された前記制約条件の状態に応じて、前記撮像装置間を結ぶ線分の色および太さの少なくとも一方を異ならせることを特徴とする請求項１２から１４のいずれか１項に記載の画像処理装置。
16. 前記表示制御手段は、更に前記第１の撮像装置と前記第２の撮像装置の実空間上の配置情報を表示させることを特徴とする請求項１１から１５のいずれか１項に記載の画像処理装置。
17. 前記表示制御手段は、前記制約条件の状態が、前記制約条件の修正が必要な状態である場合、前記制約条件の修正を促すメッセージを表示させることを特徴とする請求項１１から１６のいずれか１項に記載の画像処理装置。
18. 前記判定手段は、前記撮像装置間に設定された前記制約条件と、前記第１の撮像画像と前記第２の撮像画像の撮像時間の差と、に基づいて、前記第１の撮像画像から抽出された特徴量と前記第２の撮像画像から抽出された特徴量との距離を修正する請求項１０に記載の画像処理装置。
19. 第１の撮像装置により撮像された第１の撮像画像に含まれる被写体を、前記第１の撮像装置とは異なる第２の撮像装置によって撮像された第２の撮像画像に含まれる被写体と対応付ける同定処理を行うステップと、
    前記同定処理の結果を記録するステップと、
    記録された前記同定処理の結果と、前記第１の撮像装置と前記第２の撮像装置との撮像装置間に設定された前記同定処理に関する制約条件とに基づいて、当該制約条件の状態を決定するステップと、を含むことを特徴とする画像処理方法。
20. コンピュータを、請求項１から１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images