JP6792882B2 - 画像処理システムと画像処理装置と画像処理方法と画像処理プログラム - Google Patents

Description

本発明は、画像処理システムと、画像処理装置と、画像処理方法と、画像処理プログラムと、に関する。

オフィスや工場、倉庫、学校、図書館など複数の人により共用される空間では、例えば、書類、書籍、工具、備品など複数の人に共用される物品（以下「共用物品」という。）は、通常、所定の収納場所に収納される。そのため、共用物品を使用したい人は、所定の収納場所に行くことで、所望の共用物品を容易に取得することができる。

しかし、例えば、共用物品が複数の人に連続して使用されて共用物品の取得者と返還者とが異なると、共用物品は、所定の収納場所に収納されない場合がある。また、共用物品が他の人に使用されている場合や、共用物品が所定の収納場所ではない別の場所に放置されている場合、共用物品の存在する場所が不明となる。その結果、所定の収納場所に収納されていない共用物品を使用したい人は、複数の場所などにおいて所望の共用物品を探さなければならない。

このような問題を解決する技術として、共用物品に貼り付けられたバーコードをカメラで認識することにより共用物品の位置情報と時刻情報とを特定する技術（「何が」「何時」「どこに」存在するのかを特定する技術）が開示されている（例えば、特許文献１参照）。

特開２０１４−１０８８９２号公報

特許文献１に開示された技術では、対象とする共用物品の全てに、カメラで識別しやすい態様でバーコードが貼り付けられる。そのため、バーコードの作成や貼り付け作業などにかかる作業負担は大きい。また、バーコードを貼り付けられた共用物品の外観は、損なわれる。さらに、共用物品の表面の状態や形状（例えば、厚みの薄い書籍など）によっては、バーコードを貼り付けることが困難な場合がある。

本発明は、以上のような従来技術の問題点を解消するためになされたもので、物品に貼り付けられるバーコードのような識別用の特別な手段を使用することなく、物品の存在場所を特定することが可能な画像処理システムと画像処理装置と画像処理方法と画像処理プログラムとを提供することを目的とする。

本発明は、閉空間内に配置される複数の撮像装置が撮像した撮像画像を処理する画像処理装置であって、撮像画像が記憶される記憶部と、記憶部に記憶された撮像画像に基づいて、複数の撮像装置のうちの一部の撮像装置を位置特定撮像装置として特定する撮像装置特定部と、位置特定撮像装置に特定された一部の撮像装置が撮像した撮像画像に基づいて、閉空間内を移動する物品の位置情報を特定する位置情報特定部と、を有してなることを特徴とする。

本発明によれば、物品の識別用の特別な手段を使用することなく、物品の存在場所を特定することができる。

本発明にかかる画像処理システムの実施の形態を示す機能ブロック図である。 図１の画像処理システムが適用される閉空間の例を示す模式図である。 本発明にかかる画像処理装置に記憶される物品情報の例を示す模式図である。 本発明にかかる画像処理装置に記憶される時刻位置情報の例を示す模式図である。 本発明にかかる画像処理装置に記憶される標識情報の例を示す模式図である。 図２の閉空間に１人の人が進入して棚に物品を収納するまでの閉空間内での人の動きを示す模式図である。 図２の閉空間に配置される棚に物品が収納される様子を、棚の正面方向から撮像した撮像画像の例を示す模式図である。 図２の閉空間に配置される棚に物品が収納される様子を、棚の右側から撮像した撮像画像の例を示す模式図である。 図２の閉空間に配置される棚に物品が収納される様子を、棚の左側から撮像した撮像画像の例を示す模式図である。 図６の棚に書籍を収納した人が閉空間の外に出るまでの閉空間内での人の動きを示す模式図である。 本発明にかかる画像処理方法の実施の形態を示すフローチャートである。 図１１の画像処理方法の領域設定処理のフローチャートである。 図１１の画像処理方法の撮像装置特定処理のフローチャートである。 図１１の画像処理方法の物品特定処理のフローチャートである。 図１４の物品特定処理において特定された第１画像の例を示す模式図である。 図１４の物品特定処理において特定された第２画像の例を示す模式図である。 物品を持つ人が閉空間内を移動する様子を側方から撮像した撮像画像の例を示す模式図である。 図１１の画像処理方法の位置情報特定処理のフローチャートである。 図４の時刻位置情報が更新された例を示す模式図である。 物品の検索画面の例を示す模式図である。 物品の検索結果表示画面の例を示す模式図である。 物品の画像確認画面の例を示す模式図である。 物品の画像確認画面の別の例を示す模式図である。

以下、図面を参照しながら、本発明にかかる画像処理システムと画像処理装置と画像処理方法と画像処理プログラムとの実施の形態について説明する。

●画像処理システム●
先ず、本発明にかかる画像処理システムの実施の形態について説明する。

図１は、本発明にかかる画像処理システム（以下「本システム」という。）の実施の形態を示す機能ブロック図である。
本システム１は、閉空間Ｒ内において棚などの収納場所に収納される物品を撮像した撮像画像と、後述する検索情報（物品情報データベースＤＢ１）と、を照合することにより、物品の存在場所を特定する。本システム１は、複数の撮像装置１０（１−ｎ）と、画像処理装置２０と、を有してなる。

「閉空間Ｒ」とは、物品が移動可能な空間であって、複数の撮像装置１０（１−ｎ）が撮像する領域（空間）の集合である。

「物品」とは、画像処理装置２０により存在場所が特定される対象であって、例えば、書籍、書類、工具、備品など閉空間Ｒ内に収納可能な収納場所に収納可能な有体物である。

図２は、本システム１が適用される閉空間Ｒの例を示す模式図である。
同図は、閉空間Ｒが、領域Ａと領域Ｂと領域Ｃと領域Ｄとの４つの領域を備える１つの部屋であることを示す。領域Ａ−Ｄは、本発明における個別閉空間の例である。同図は、領域Ａに棚ａと部屋の出入口とが、領域Ｂに棚ｂが、領域Ｃに棚ｃが、領域Ｄに棚ｄが、それぞれ配置されることを示す。棚ａ−ｄは、物品が収納される収納場所である。

人Ｈｍ（図６参照）は、領域Ａを介してのみ、閉空間Ｒに出入可能である。領域Ａに進入した人Ｈｍは、領域Ａに隣接した領域Ｂ，Ｄにのみ移動可能である。領域Ａは、領域Ｂと領域Ｄとに隣接する。領域Ｂは、領域Ａと領域Ｃとに隣接する。領域Ｃは、領域Ｂと領域Ｄとに隣接する。領域Ｄは、領域Ａと領域Ｃとに隣接する。すなわち、例えば、人Ｈｍが領域Ａから領域Ｃに移動するとき、人Ｈｍは、領域Ｂと領域Ｄのいずれかを通って領域Ｃに移動する。

なお、閉空間の構成は、本実施の形態に限定されない。すなわち、例えば、閉空間は、１つの領域を備えてもよく、４つを超える領域を備えてもよい。閉空間は、１つの部屋に代えて、複数の部屋と通路とから構成される空間や、屋外などの開けた空間などでもよい。

図１に戻る。
撮像装置１０は、閉空間Ｒ内の所定の領域を撮像する。撮像装置１０は、例えば、連続した静止画を撮像可能なカメラユニットである。複数の撮像装置１０（１−ｎ）は、閉空間Ｒ内に配置される。撮像装置１０は、有線または無線の通信回線を介して、画像処理装置２０に接続される。

撮像装置１０の撮像のタイミングや撮像の時間間隔は、画像処理装置２０の画像処理結果に基づいて、制御される。撮像装置１０により撮像された撮像画像は、通信回線を介して、画像処理装置２０の後述する記憶部２１に記憶される。

複数の撮像装置１０（１−ｎ）のそれぞれは、閉空間Ｒを構成する複数の領域Ａ−Ｄのいずれかに対応して配置される。各領域Ａ−Ｄに対応して配置された複数の撮像装置１０は、撮像装置群を構成する。すなわち、撮像装置群を構成する各撮像装置１０は、閉空間Ｒを構成する各領域Ａ−Ｄに対応する。

なお、撮像装置は、動画を撮像するカメラユニットでもよく、静止画と動画とを撮像するカメラユニットでもよい。

また、撮像装置は、通信トラフィックの軽減のため、画像処理装置に伝送する撮像画像を選択してもよい。すなわち、例えば、撮像装置は、連続して撮像された撮像画像同士を比較して両撮像画像に差分が無いときは、後に撮像された撮像画像を画像処理装置に伝送しなくてもよい。

●画像処理装置
画像処理装置２０は、本発明にかかる画像処理装置である。画像処理装置（以下「本装置」という。）２０は、撮像装置１０が撮像した撮像画像を処理する。本装置２０は、例えば、閉空間Ｒとは別の空間に配置される。本装置２０は、記憶部２１と、撮像装置特定部２２と、位置情報特定部２３と、物品特定部２４と、領域設定部２５と、撮像装置制御部２６と、を備える。

なお、本装置は、撮像装置が配置される閉空間内に配置されてもよい。

本装置２０は、パーソナルコンピュータなどで実現される。本装置２０では、本発明にかかる画像処理プログラム（以下「本プログラム」という。）が動作して、本プログラムが本装置２０のハードウェア資源と協働して、後述する本発明にかかる画像処理方法（以下「本方法」という。）を実現する。

なお、コンピュータ（不図示）に本プログラムを実行させることで、同コンピュータを本装置と同様に機能させて、同コンピュータに本方法を実行させることができる。すなわち、例えば、本方法は、撮像装置と通信するためのゲートウェイを備える通信機器や、クラウドサーバにおいても実行可能である。

記憶部２１は、本装置２０が後述する本方法を実行するために必要な情報を記憶する手段である。記憶部２１は、物品情報データベースＤＢ１、時刻位置情報データベースＤＢ２、標識情報データベースＤＢ３や、撮像装置１０が撮像した撮像画像などを記憶する。

撮像装置特定部２２は、記憶部２１に記憶された撮像画像に基づいて、複数の撮像装置１０（１−ｎ）のうちの一部の撮像装置１０（１、２、・・・）を位置特定撮像装置として特定する手段である。位置特定撮像装置とその特定方法とは、後述する。

位置情報特定部２３は、閉空間Ｒ内を移動する物品の位置情報を特定して、同位置情報を記憶部２１に記憶する手段である。物品の位置情報の内容とその特定方法とは、後述する。

物品特定部２４は、複数の物品情報の中から撮像画像に撮像された物品の物品情報を特定して、記憶部２１に記憶する手段である。物品情報の内容とその特定方法とは、後述する。

領域設定部２５は、閉空間Ｒを構成する各領域Ａ−Ｄの設定を実行する手段である。各領域Ａ−Ｄの設定の内容とその設定方法とは、後述する。

撮像装置制御部２６は、複数の撮像装置１０のうち一部の撮像装置１０が撮像した撮像画像に基づいて、複数の撮像装置１０のうち他の一部の撮像装置１０の動作を制御する手段である。撮像装置１０の動作の制御方法については、後述する。

●物品情報データベース
図３は、物品情報データベースＤＢ１に記憶される物品情報の例を示す模式図である。

「物品情報」は、物品ごとの情報であって、属性情報と検索情報とを含む。属性情報と検索情報とは、互いに関連付けられて、物品情報データベースＤＢ１に記憶される。すなわち、例えば、本装置２０は、検索情報を用いて物品情報データベースＤＢ１を参照することで、同検索情報と関連付けて記憶されている属性情報を、物品情報データベースＤＢ１から読み出すことができる。

物品情報は、予め本システム１の管理者などにより入力端末（不図示）などを介して入力されて、物品ＩＤと関連付けて記憶部２１に記憶される。すなわち、例えば、本装置２０は、検索情報を用いて物品情報データベースＤＢ１を参照することで、同検索情報と関連付けて記憶されている物品ＩＤを、物品情報データベースＤＢ１から読み出すことができる。

「物品ＩＤ」は、本装置２０が物品情報を特定するために用いる識別情報である。物品ＩＤは、物品（物品候補）ごとに割り当てられる。

「属性情報」は、物品の属性に関する情報である。物品の属性は、例えば、書籍であれば、書籍のタイトル、出版社、著者、版数、発行年などである。属性情報は、物品の代表的な外観を示す画像（以下「代表画像」という。）を含む。

「検索情報」は、本装置２０が物品を特定するために参照する情報である。検索情報は、例えば、物品の候補画像と、特徴量情報と、文字情報と、を含む。

「候補画像」は、本装置２０が撮像画像から物品を特定するために参照する画像に関する情報である。候補画像は、物品を複数の方向からカメラやスキャナなどにより撮像した物品の全体的な外観（例えば、書籍の表表紙、背表紙、裏表紙など）を示す画像、物品の特徴的な部分（例えば、表紙の模様など）を撮像した画像などを含む。

「特徴量情報」は、物品が備える特徴を、値を持つ要素として表した情報である。特徴量情報は、物品の色彩（所定の方向から見た物品の候補画像から抽出した色のヒストグラムや色の配置、色の数など）、物品の大きさ、物品の形状（物品全体の輪郭や、物品の特徴のある部分の輪郭など）などの情報を含む。

「文字情報」は、物品の表面に付されている文字に関する情報である。文字情報は、例えば、書籍であれば、書籍のタイトル、著者、出版社などである。候補画像からＯＣＲなどにより抽出された情報や、本システム１の管理者などが入力端末（不図示）などを介して入力した情報などが、文字情報として記憶部２１に記憶される。

なお、本装置は、インターネットなどの通信回線と接続する通信部を備え、通信回線を介して書籍データベースなどにアクセスして、書籍のタイトルなどをキーワードに検索した結果を文字情報として抽出してもよい。すなわち、例えば、本装置は、前述のＯＣＲなどによる文字情報の抽出や管理者などによる文字情報の入力に加えて、あるいは、前述のＯＣＲなどによる文字情報の抽出や管理者などによる文字情報の入力に代えて、インターネットなどの通信回線を介して接続するデータベースから文字情報を取得して、記憶部に記憶してもよい。

同図は、例えば、物品ＩＤ「ＩＤ１」の物品に対して、属性情報「Ｐ１０（代表画像）」「書籍」「ＰＡＴＥＮＴ」と、候補画像「Ｐ１１」と、特徴量情報「Ｈ１１」「１４８×２１０」と、文字情報「ＰＡＴＥＮＴ」と、が関連付けられて物品情報データベースＤＢ１に記憶されていることを示す。

●時刻位置情報データベース
図４は、時刻位置情報データベースＤＢ２に記憶される時刻位置情報の例を示す模式図である。

「時刻位置情報」は、ある時刻における物品の位置を示す情報である。時刻位置情報は、時刻ＩＤと、物品ＩＤと、位置情報と、を含む。時刻ＩＤと物品ＩＤと位置情報とは、互いに関連付けられて時刻位置情報データベースＤＢ２に記憶される。すなわち、例えば、本装置２０は、物品ＩＤを用いて時刻位置情報データベースＤＢ２を参照することで、同物品ＩＤと関連付けて記憶されている位置情報を、時刻位置情報データベースＤＢ２から読み出すことができる。

「時刻ＩＤ」は、撮像装置１０が撮像画像を撮像した時刻を、本装置２０が特定するために用いる識別情報である。時刻ＩＤは、本発明における撮像時刻情報の例である。

「位置情報」は、物品の存在が特定された位置に関する情報である。

同図は、例えば、時刻ＩＤ「Ｔ１」と、物品ＩＤ「ＩＤ２」と、位置情報「棚ｃ」「上段」「左側」と、が関連付けられて時刻位置情報データベースＤＢ２に記憶されていることを示す。

なお、時刻位置情報データベースは、物品ごとに個別に作成されてもよい。

●標識情報データベース
図５は、標識情報データベースＤＢ３に記憶される標識情報の例を示す模式図である。

「標識情報」は、閉空間Ｒ内に配置される標識に関する情報である。「標識」は、閉空間Ｒ内に配置されて、閉空間Ｒ内における位置を示す記号や図形、文字、二次元バーコード、色（文字、図形、記号、棚や床の一部の色など）などの目印である。

標識情報は、標識ＩＤと標識画像情報と標識位置情報とを含む。標識ＩＤと標識画像情報と標識位置情報とは、互いに関連付けられて標識情報データベースＤＢ３に記憶される。すなわち、例えば、本装置２０は、標識画像情報を用いて標識情報データベースＤＢ３を参照することで、同標識画像情報と関連付けて記憶されている標識位置情報を、標識情報データベースＤＢ３から読み出すことができる。

「標識ＩＤ」は、本装置２０が標識を特定するために用いる標識ごとの識別情報である。

「標識画像情報」は、本装置２０が標識を特定するために参照する標識の画像に関する情報である。

「標識位置情報」は、標識ごとの閉空間Ｒでの場所（配置される位置）を特定する情報である。

同図は、例えば、標識ＩＤ「Ｍ３」と、標識画像「ｃ」と、標識位置「棚ｃ」と、が関連付けられて標識情報データベースＤＢ３に記憶されていることを示す。

●本システムの動作
次に、本システム１の動作について、１人の人Ｈｍが図２に示される閉空間Ｒに進入して、棚ｃに物品（書籍Ｇ）を収納して退出する場合を例に説明する。

図６は、人Ｈｍが閉空間Ｒに進入して棚ｃに書籍Ｇを収納するまでの閉空間Ｒでの人Ｈｍの動きを示す模式図である。同図は、書籍Ｇを手に持つ人Ｈｍが領域Ａ、領域Ｂを通り、領域Ｃにある棚ｃに移動したことを示す。

撮像装置制御部２６は、人Ｈｍが閉空間Ｒに進入する前の領域Ａ−Ｄごとの各撮像装置群の撮像間隔を一定の時間間隔に制御する。すなわち、各撮像装置１０は一定の時間間隔で各領域Ａ−Ｄを撮像し、撮像された撮像画像は記憶部２１に記憶される。各領域Ａ−Ｄは、各領域Ａ−Ｄに対応する各撮像装置群により、多方向から同時に撮像される。領域設定部２５は、人Ｈｍが閉空間Ｒに進入する前の各領域Ａ−Ｄを待機領域に設定する。「待機領域」は、領域内に人Ｈｍが存在せず、物品の収納や持ち出しが行われる可能性のない領域である。

なお、撮像装置制御部は、人が閉空間に進入する前、出入口を備える領域に対応する撮像装置群のみが一定の時間間隔で領域を撮像し、他の領域に対応する撮像装置群は撮像動作を停止するように各撮像装置を制御してもよい。すなわち、領域に対応する撮像装置群は、閉空間への人の進入を検知するセンサとしても機能する。

また、各領域に対応する撮像装置群を構成する撮像装置のそれぞれは、各領域を同時に撮像しなくともよい。すなわち、例えば、各領域に対応する撮像装置群を構成する撮像装置のそれぞれは、撮像するタイミングをずらして各領域を撮像してもよい。

次いで、人Ｈｍが領域Ａに進入すると、領域Ａに対応して配置された撮像装置１０により撮像された撮像画像の時系列の変化が生じる。そのため、領域設定部２５は、領域Ａに対応する撮像装置群の撮像画像に基づいて、領域Ａを特定領域に設定する。「特定領域」は、撮像装置１０により撮像された撮像画像の時系列の変化がある領域、すなわち、人Ｈｍが存在する領域であって、物品の収納や持ち出しが行われる可能性のある領域である。

「撮像装置１０により撮像された撮像画像の時系列の変化」は、撮像装置１０が異なる時刻に撮像した複数の撮像画像間の変化（差分）をいう。すなわち、例えば、撮像装置１０がある時点で撮像した撮像画像と、撮像装置１０がその時点から所定の撮像間隔が経過した次の時点で撮像した撮像画像と、が同じであれば、撮像画像の時系列の変化はなく、異なれば撮像画像の時系列の変化はある、と領域設定部２５は判定する。

撮像装置制御部２６は、特定領域に対応する撮像装置群の撮像間隔を、待機領域に対応する撮像装置群の撮像間隔よりも短い時間間隔となるように制御する。

撮像装置特定部２２は、撮像装置１０により撮像された撮像画像の時系列の変化がある撮像装置１０（撮像装置群）を位置特定撮像装置として特定する。換言すれば、撮像装置特定部２２は、複数の領域Ａ−Ｄのいずれかの領域Ａ−Ｄ（本実施の形態では領域Ａ）に対応して配置された撮像装置１０が撮像した撮像画像の時系列の変化に基づいて、同領域Ａ−Ｄ（本実施の形態では領域Ａ）に対応して配置された撮像装置１０を位置特定撮像装置として特定する。「位置特定撮像装置」は、閉空間Ｒ内における物品の位置情報を特定するために用いる撮像画像を撮像した撮像装置である。すなわち、「位置特定撮像装置の特定」は、複数の撮像装置１０（１−ｎ）のうち、本装置２０が物品特定処理（Ｓ３）と位置情報特定処理（Ｓ４）とに使用する撮像画像を撮像した撮像装置１０を決定することを指す。

位置特定撮像装置は、Ｘ軸位置特定撮像装置と、Ｙ軸位置特定撮像装置と、Ｚ軸位置特定撮像装置と、を含む。すなわち、撮像装置特定部２２は、位置特定撮像装置の特定において、Ｘ軸位置特定撮像装置と、Ｙ軸位置特定撮像装置と、Ｚ軸位置特定撮像装置と、を特定する。「Ｘ軸位置特定撮像装置」は、閉空間Ｒの高さ方向であるＺ軸方向（図６の紙面手前奥方向）に直交するＸ軸方向（例えば、図６の紙面左右方向）の物品の位置情報の特定に用いられる撮像画像を撮像する撮像装置１０である。「Ｙ軸位置特定撮像装置」は、Ｚ軸方向とＸ軸方向のそれぞれと直交するＹ軸方向（例えば、図６の紙面上下方向）の物品の位置情報の特定に用いられる撮像画像を撮像する撮像装置１０である。「Ｚ軸位置特定撮像装置」は、Ｚ軸方向の物品の位置情報の特定に用いられる撮像画像を撮像する撮像装置１０である。

なお、位置特定撮像装置は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向以外の方向の物品情報の特定に用いられる撮像画像を撮像する撮像装置を含んでもよい。

人Ｈｍが領域Ａに進入したとき、領域設定部２５は、領域Ａに隣接する領域Ｂ、Ｄを準備領域に設定する。「準備領域」は、次に人Ｈｍが進入する可能性のある領域である。撮像装置制御部２６は、準備領域に対応する撮像装置群の撮像間隔を、待機領域に対応する撮像装置群よりも短い時間間隔、かつ、特定領域に対応する撮像装置群よりも長い時間間隔となるように制御する。その結果、領域設定部２５は、準備領域への人Ｈｍの進入を早期に検知することができる。

次いで、人Ｈｍが領域Ｂに進入すると、領域Ｂに対応して配置された撮像装置１０により撮像された撮像画像の時系列の変化が生じる。そのため、領域設定部２５は、領域Ｂに対応する撮像装置群の撮像画像に基づいて、領域Ｂを特定領域に設定する。さらに、領域設定部２５は、領域Ｂに隣接する領域Ａ、Ｃを準備領域に設定し、領域Ｂに隣接しない領域Ｄを待機領域に設定する。

次いで、人Ｈｍが領域Ｃに進入すると、領域Ｃに対応して配置された撮像装置１０により撮像された撮像画像の時系列の変化が生じる。そのため、領域設定部２５は、領域Ｃに対応する撮像装置群の撮像画像に基づいて、領域Ｃを特定領域に設定する。さらに、領域設定部２５は、領域Ｃに隣接する領域Ｂ、Ｄを準備領域に設定し、領域Ｃに隣接しない領域Ａを待機領域に設定する。

図７は、閉空間Ｒ内に配置される棚ｃに書籍Ｇが収納される様子を、棚ｃの正面方向から撮像した撮像画像の例を示す模式図である。同図は、棚ｃの一部と、棚ｃに収納される書籍Ｇ（物品）と、が人Ｈｍにより隠れていることを示す。

図８は、閉空間Ｒ内に配置される棚ｃに書籍Ｇが収納される様子を、棚ｃの右側（図７の紙面左側）から撮像した撮像画像の例を示す模式図である。同図は、棚ｃに収納される書籍Ｇ（物品）の表表紙（検索情報）が撮像されていることを示す。

図９は、閉空間Ｒ内に配置される棚ｃに書籍Ｇが収納される様子を、棚ｃの左側（図７の紙面右側）方から撮像した撮像画像の例を示す模式図である。同図は、棚ｃに収納される書籍Ｇ（物品）の裏表紙（検索情報）が撮像されていることを示す。
図７−図９の撮像画像は、領域Ｃに対応する撮像装置群に含まれる３台の撮像装置１０（例えば、２台のＹ軸位置特定撮像装置と１台のＸ軸位置特定撮像装置）により撮像される。

撮像装置群を構成する撮像装置１０は、図７−図９に示されるように、領域に進入した人Ｈｍの動作を多方向から撮像する。そのため、閉空間Ｒ内を移動する物品は、多方向から撮像される。すなわち、撮像装置群が撮像した撮像画像には、複数の検索情報が含まれる。その結果、本装置２０は、複数の検索情報から物品を特定することができる。

なお、撮像装置群が物品を撮像する方向は、図７−図９に示される方向に限定されない。すなわち、例えば、撮像装置群は、上方などから物品を撮像してもよい。

図１０は、棚ｃに書籍Ｇを収納した人Ｈｍが閉空間Ｒの外に出るまでの閉空間Ｒでの人Ｈｍの動きを示す模式図である。同図は、棚ｃに書籍Ｇを収納した人Ｈｍが、領域Ｄ、領域Ａを通り、出入口から閉空間Ｒの外に移動したことを示す。

人Ｈｍが領域Ｄに進入すると、領域Ｄに対応して配置された撮像装置１０により撮像された撮像画像の時系列の変化が生じる。そのため、領域設定部２５は、領域Ｄに対応する撮像装置群の撮像画像に基づいて、領域Ｄを特定領域に設定する。さらに、領域設定部２５は、領域Ｄに隣接する領域Ａ、Ｃを準備領域に設定し、領域Ｄに隣接しない領域Ｂを待機領域に設定する。

次いで、人Ｈｍが領域Ａに進入すると、領域Ａに対応して配置された撮像装置１０により撮像された撮像画像の時系列の変化が生じる。そのため、領域設定部２５は、領域Ａに対応する撮像装置群の撮像画像に基づいて、領域Ａを特定領域に設定する。さらに、領域設定部２５は、領域Ａに隣接する領域Ｂ、Ｄを準備領域に設定し、領域Ａに隣接しない領域Ｃを待機領域に設定する。

次いで、人Ｈｍが閉空間Ｒから退出すると、領域設定部２５は、領域Ａ−Ｄを待機領域に設定する。

このように、本装置２０は、複数の撮像装置１０（１−ｎ）により撮像された撮像画像に基づいて、複数の撮像装置１０（１−ｎ）のうちの一部の撮像装置１０を位置特定撮像装置として特定すると共に、特定領域に対応する撮像装置１０が撮像した撮像画像に基づいて、他の領域に対応する撮像装置１０の動作（例えば、撮像間隔）を制御する。

●画像処理方法●
次に、本方法について説明する。

図１１は、本方法の実施の形態を示すフローチャートである。
本装置２０は、本方法において、領域設定処理（Ｓ１）と、撮像装置特定処理（Ｓ２）と、物品特定処理（Ｓ３）と、位置情報特定処理（Ｓ４）と、を実行する。

●領域設定処理
先ず、本装置２０は、領域設定部２５を用いて領域設定処理（Ｓ１）を実行する。「領域設定処理（Ｓ１）」は、本装置２０が閉空間Ｒの各領域Ａ−Ｄを、前述した待機領域、準備領域、特定領域のいずれかの領域に設定する処理である。領域設定処理（Ｓ１）は、領域Ａ−Ｄごとに実行される。

図１２は、領域設定処理（Ｓ１）のフローチャートである。

先ず、領域設定部２５は、領域設定処理（Ｓ１）の対象となる領域（以下「対象領域」という。）が特定領域か否かを判定する（Ｓ１１）。

対象領域が特定領域のとき（Ｓ１１のＹｅｓ）、領域設定部２５は、対象領域への特定領域の設定を維持する（Ｓ１２）。

一方、対象領域が特定領域ではないとき（Ｓ１１のＮｏ）、領域設定部２５は、対象領域に隣接する領域（以下「隣接領域」という。）が特定領域か否かを判定する（Ｓ１３）。

隣接領域が特定領域のとき（Ｓ１３のＹｅｓ）、領域設定部２５は、対象領域を準備領域に設定する（Ｓ１４）。

一方、隣接領域が特定領域ではないとき（Ｓ１３のＮｏ）、領域設定部２５は、対象領域を待機領域に設定する（Ｓ１５）。

次いで、領域設定部２５は、対象領域に対応する撮像装置群により撮像された撮像画像を記憶部２１から読み出し、撮像画像の比較処理を実行する（Ｓ１６）。「比較処理」は、対象領域に対応する撮像装置群により撮像された撮像画像のうち、最後に撮像された撮像画像と、その１つ前に撮像された撮像画像と、を、同撮像装置群を構成する撮像装置１０ごとに比較する処理である。

次いで、領域設定部２５は、比較処理（Ｓ１６）の結果、２つの撮像画像の間に時系列の変化、すなわち、差分が有るか否かを判定する（Ｓ１７）。

２つの撮像画像の間に時系列の変化が有るとき（Ｓ１７のＹｅｓ）、領域設定部２５は、対象領域が特定領域か否かを判定する（Ｓ１８）。

対象領域が特定領域のとき（Ｓ１８のＹｅｓ）、領域設定部２５は、対象領域の現在の領域設定（特定領域）を維持する（Ｓ１９）。

一方、対象領域が特定領域ではないとき（Ｓ１８のＮｏ）、領域設定部２５は、対象領域を特定領域に設定する（Ｓ２０）。

２つの撮像画像の間に時系列の変化が無いとき（Ｓ１７のＮｏ）、領域設定部２５は、隣接領域が特定領域か否かを判定する（Ｓ１３）。

このように、本装置２０（領域設定部２５）は、撮像装置１０により撮像された撮像画像に基づいて、各領域Ａ−Ｄの領域設定を変更する。

なお、領域設定部は、撮像画像の時系列の変化に代えて、あるいは、撮像画像の時系列の変化に加えて、人や物品の動きを検知するセンサ（例えば、光電センサや焦電センサなど）の検知情報に基づいて、各領域の領域設定を変更してもよい。

●撮像装置特定処理
次いで、本装置２０は、撮像装置特定部２２を用いて撮像装置特定処理（Ｓ２）を実行する。撮像装置特定処理（Ｓ２）は、複数の撮像装置１０（１−ｎ）の中から、前述した位置特定撮像装置を特定する処理である。撮像装置特定処理（Ｓ２）は、撮像装置１０ごとに実行される。

図１３は、撮像装置特定処理（Ｓ２）のフローチャートである。

先ず、撮像装置特定部２２は、撮像装置１０により撮像された撮像画像を記憶部２１から読み出し、撮像画像の比較処理を実行する（Ｓ２１）。比較処理は、前述した領域設定処理（Ｓ１）の比較処理（Ｓ１６）と共通する処理である。

次いで、撮像装置特定部２２は、比較処理（Ｓ２１）の結果、２つの撮像画像の間に時系列の変化（差分）が有るか否かを判定する（Ｓ２２）。

２つの撮像画像の間に時系列の変化が有るとき（Ｓ２２のＹｅｓ）、撮像装置特定部２２は、同撮像画像を撮像した撮像装置１０が位置特定撮像装置か否かを判定する（Ｓ２３）。

撮像装置１０が位置特定撮像装置であるとき（Ｓ２３のＹｅｓ）、撮像装置特定部２２は、同撮像装置１０への位置特定撮像装置としての特定を維持する（Ｓ２４）。

一方、撮像装置１０が位置特定撮像装置でないとき（Ｓ２３のＮｏ）、撮像装置特定部２２は、同撮像装置１０を位置特定撮像装置として特定する（Ｓ２５）。特定後、撮像装置特定部２２は、比較処理（Ｓ２１）を実行する。

２つの撮像画像の間に時系列の変化が無いとき（Ｓ２２のＮｏ）、撮像装置特定部２２は、同撮像画像を撮像した撮像装置１０が位置特定撮像装置か否かを判定する（Ｓ２６）。

撮像装置１０が位置特定撮像装置であるとき（Ｓ２６のＹｅｓ）、撮像装置特定部２２は、同撮像装置１０への位置特定撮像装置としての特定を解除する（Ｓ２７）。特定を解除後、本装置２０は、比較処理（Ｓ２１）を実行する。

一方、撮像装置１０が位置特定撮像装置でないとき（Ｓ２６のＮｏ）、撮像装置特定部２２は、比較処理（Ｓ２１）を実行する。

このように、本装置２０（撮像装置特定部２２）は、複数の撮像装置１０（１−ｎ）により撮像されて記憶部２１に記憶された撮像画像の時系列の変化に基づいて、複数の撮像装置１０（１−ｎ）のうちの一部の撮像装置１０を位置特定撮像装置として特定する。

●物品特定処理
次いで、本装置２０は、物品特定部２４を用いて物品特定処理（Ｓ３）を実行する。物品特定処理（Ｓ３）は、複数の撮像装置１０（１−ｎ）のうち、位置特定撮像装置に特定された一部の撮像装置１０が撮像した撮像画像に基づいて、物品を特定する処理である。

以下、物品特定処理（Ｓ３）について、領域Ｃに配置された棚ｃ（図２参照）に物品ＩＤ「ＩＤ１」の書籍が収納される場合を例に説明する。つまり、物品ＩＤ「ＩＤ１」の書籍は、本装置２０が物品特定処理（Ｓ３）により特定する物品の例である。

図１４は、物品特定処理（Ｓ３）のフローチャートである。

先ず、物品特定部２４は、前述した領域設定処理（Ｓ１）において、対象領域（領域Ｃ）が特定領域に設定されたか否か（領域Ｃに人Ｈｍが進入したか否か）を判定する（Ｓ３１）。

対象領域（領域Ｃ）が特定領域に設定されたとき（Ｓ３１のＹｅｓ）、物品特定部２４は、特定領域に設定される直前に対象領域（領域Ｃ）に対応する撮像装置群により撮像された撮像画像のうち、棚ｃを正面から撮像した撮像画像を記憶部２１から抽出して（Ｓ３２）、同撮像画像を第１画像に設定する。すなわち、例えば、物品特定部２４は、対象領域（領域Ｃ）に人Ｈｍが進入する直前の棚ｃを正面から撮像した撮像画像を第１画像として特定する。

図１５は、第１画像の例を示す模式図である。
同図は、対象領域（領域Ｃ）に人が進入する直前の棚ｃと、棚ｃに収納されている物品（物品ＩＤ「ＩＤ２」「ＩＤ３」「ＩＤ４」「ＩＤ５」）と、を示す。

図１４に戻る。
対象領域（領域Ｃ）が特定領域に設定されていないとき（Ｓ３１のＮｏ）、物品特定部２４は、対象領域（領域Ｃ）が特定領域に設定されるのを待つ。

次いで、物品特定部２４は、前述した領域設定処理（Ｓ１）において、対象領域（領域Ｃ）への特定領域の設定が解除されたか否か（対象領域（領域Ｃ）から人Ｈｍが出たか否か）を判定する（Ｓ３３）。

対象領域（領域Ｃ）への特定領域の設定が解除されたとき（Ｓ３３のＹｅｓ）、物品特定部２４は、特定領域の設定が解除された後に対象領域（領域Ｃ）に対応する撮像装置群により撮像された撮像画像を記憶部２１から抽出して（Ｓ３４）、同撮像画像を第２画像に設定する。すなわち、例えば、物品特定部２４は、対象領域（領域Ｃ）から人Ｈｍが出た直後に撮像された撮像画像のうち、棚ｃを正面から撮像した撮像画像を第２画像として特定する。

なお、物品特定部は、対象領域への特定領域の設定が解除される前、例えば、対象領域から人が出る直前に、対象領域に対応する撮像装置群により撮像された撮像画像を第２画像として特定してもよい。すなわち、本発明における第２画像は、対象領域から人が出る前後の時間帯に撮像された撮像画像である。

図１６は、第２画像の例を示す模式図である。
同図は、対象領域（領域Ｃ）から人が出た直後の棚ｃと、棚ｃに収納されている物品（物品ＩＤ「ＩＤ１」「ＩＤ２」「ＩＤ３」「ＩＤ４」「ＩＤ５」）と、を示す。同図の二点鎖線は、後述する物品マッチング処理が実行される範囲の例を示す。

図１４に戻る。
次いで、物品特定部２４は、第１画像と第２画像とを比較して（Ｓ３５）、２つの画像が相違する（２つの画像の間に差分が有る）か否かを判定する（Ｓ３６）。

２つの画像の間に差分が有るとき（Ｓ３６のＹｅｓ）、物品特定部２４は、判定領域の抽出を行う（Ｓ３７）。「判定領域」は、第２画像のうち、第１画像と差分が有ると判定された部分と、その周囲と、により構成される第２画像内の閉じた領域である。物品特定部２４は、第１画像と第２画像との差分に基づいて、第２画像内から判定領域を特定（抽出）する。本実施の形態においては、例えば、判定領域は、図１６に二点鎖線で示されるように、太い枠線に囲われた部分と、その周囲と、により構成される領域である。

次いで、物品特定部２４は、第２画像の物品マッチング処理を実行する（Ｓ３８）。

「物品マッチング処理」は、物品特定部２４が物品情報データベースＤＢ１に記憶されている検索情報を参照して、第２画像に撮像された物品を特定する処理である。物品マッチング処理は、例えば、周知のパターンマッチング法を用いて実行される。すなわち、例えば、物品特定部２４は、物品情報データベースＤＢ１に記憶されている検索情報（候補画像、特徴量情報、文字情報）を参照して、第２画像に撮像された物品の候補となるパターン（以下「物品候補パターン」という。）それぞれと比較する（Ｓ３８）。比較の結果、物品候補パターンと検索情報の全部または一部（例えば、候補画像のみ）とが一致する割合が所定の閾値（以下「第１閾値」という。）を超えたとき、物品特定部２４は、同検索情報に関連付けて記憶されている物品ＩＤを、同物品候補パターンに対応する物品ＩＤとして特定する（Ｓ３９）。すなわち、物品特定部２４は、撮像画像と検索情報（候補画像、特徴量情報、文字情報）とに基づいて、複数の物品候補の中から物品候補パターンに対応する物品を特定する。

物品マッチング処理は、判定領域内の画像において実行される。その結果、第２画像の全ての範囲に物品マッチング処理を実行する場合と比較して、本装置２０の処理負担は、軽減される。

図１６に示される例では、ある物品候補パターン（図１６で太い枠線に囲われた部分）は、物品情報データベースＤＢ１（図３参照）に記憶されている候補画像「Ｐ１２」と、文字情報「ＰＡＴＥＮＴ」と、第１閾値以上の高い割合で一致する。そのため、物品特定部２４は、同物品候補パターンに対応する物品の物品ＩＤを「ＩＤ１」として特定する。物品特定部２４は、特定した物品ＩＤを記憶部２１に記憶する。

このように、物品特定部２４は、位置特定撮像装置が撮像した撮像画像の時系列の変化に基づいて第１画像と第２画像とを抽出し、両画像の差分に基づいて抽出した判定領域内の画像と検索情報とに基づいて物品を特定する。

なお、物品候補パターンと検索情報とが一致する割合が第１閾値を超えていないとき、物品特定部は、物品候補パターンと検索情報のうちの複数の情報（例えば、候補画像と文字情報）とが一致する割合が第２閾値を超えたか否かにより物品ＩＤを特定してもよい。「第２閾値」は、第１閾値の値よりも小さい値に設定された閾値である。すなわち、例えば、物品候補パターンと候補画像とが一致する割合と物品候補パターンと文字情報とが一致する割合とが第２閾値を超え、かつ、同候補画像に関連付けて記憶されている物品ＩＤと同文字情報に関連付けて記憶されている物品ＩＤとが一致するとき、物品特定部は、同物品ＩＤを物品候補パターンに対応する物品ＩＤとして特定してもよい。

また、物品候補パターンと検索情報とが一致する割合が第１閾値を超えていないとき、物品特定部は、第１閾値の値を小さくして、再度の物品マッチング処理を実行してもよい。

さらに、物品特定処理は、判定領域の抽出を行わなくともよい。すなわち、例えば、物品マッチング処理は、第２画像の全ての範囲で実行されてもよい。

さらにまた、物品マッチング処理により差分がある部分の物品（以下「対象物品」という。）が特定できないとき、本装置は、対象領域（領域Ｃ）に対応する撮像装置群により、棚ｃに物品が収納される直前の時刻に多方向（例えば、棚ｃの両側方）から撮像された複数の撮像画像を用いて、対象物品を推定する処理（以下「第１推定処理」という。）を実行してもよい。すなわち、例えば、本装置は、図８に示されるように、棚ｃの前方（図８の右方）に棚ｃと連続する物体（書籍Ｇと人Ｈｍ）が最初に認識された時刻を、棚ｃに物品が収納される直前の時刻と判定する。本装置は、棚ｃに物品が収納される直前の時刻に撮像された撮像画像に物品マッチング処理を実行して同撮像画像に撮像された物品を対象物品として推定する。

さらにまた、物品マッチング処理により対象物品が特定できないとき、本装置は、第１画像が撮像された時刻と、第２画像が撮像された時刻（または、棚ｃに物品が収納される直前の時刻）と、の間の時刻に対象領域（領域Ｃ）に対応する撮像装置群により撮像された撮像画像に基づいて、対象物品を推定する処理（以下「第２推定処理」という。）を実行してもよい。すなわち、例えば、本装置は、各撮像画像に時系列順に物品マッチング処理を実行して各撮像画像に撮像された物品を特定する。次いで、本装置２０は、特定された物品のうち、位置情報が変化した物品を対象物品として推定する。

図１７は、物品を持つ人Ｈｍが領域Ｃ内を移動する様子を側方から撮像した撮像画像の例を示す模式図である。同図は、第２推定処理により特定された物品（書籍Ｇ）を太線で示す。同図は、第２推定処理により特定された物品（書籍Ｇ）の位置情報が変化した様子を示す。

さらにまた、第１推定処理と第２推定処理とにより対象物品が特定できないとき、本装置は、閉空間に人が進入した時刻と、第１画像が撮像された時刻と、の間の時刻に特定撮像装置に設定された撮像装置により撮像された撮像画像に基づいて、対象物品を推定する処理を実行してもよい。

さらにまた、物品マッチング処理と第１推定処理と第２推定処理とにより対象物品が特定できないとき、本装置は、対象物品が特定されるまで、第１閾値の値を順次小さくして、物品マッチング処理と第１推定処理と第２推定処理とを繰り返してもよい。

さらにまた、物品マッチング処理と第１推定処理と第２推定処理とにより対象物品が特定できないとき、本装置は、物品マッチング処理と第１推定処理と第２推定処理のうち複数の処理において、一致の割合が第３閾値を超えたか否かにより、物品ＩＤを推定してもよい。「第３閾値」は、第１閾値よりも小さい値に設定された閾値である。すなわち、例えば、物品マッチング処理と第１推定処理とにおいて一致の割合が第３閾値を超え、かつ、両処理により特定された物品ＩＤが一致するとき、物品特定部は、同物品ＩＤを物品候補パターンに対応する物品ＩＤとして推定してもよい。

●位置情報特定処理
次いで、本装置２０は、位置情報特定部２３を用いて、位置情報特定処理（Ｓ４）を実行する。位置情報特定処理（Ｓ４）は、複数の撮像装置１０（１−ｎ）のうち、位置特定撮像装置に特定された一部の撮像装置１０が撮像した撮像画像に基づいて、物品特定処理（Ｓ３）により特定された物品の位置情報を特定する処理である。以下、位置情報特定処理（Ｓ４）について、物品特定処理（Ｓ３）と同様に、領域Ｃに配置された棚ｃ（図２参照）に物品ＩＤ「ＩＤ１」の書籍が収納される場合を例に説明する。

図１８は、位置情報特定処理（Ｓ４）のフローチャートである。

先ず、位置情報特定部２３は、標識マッチング処理を実行する（Ｓ４１）。

「標識マッチング処理」は、標識情報データベースＤＢ３に記憶されている標識情報（標識画像）を参照して、第２画像に撮像された（含まれる）標識を特定する処理である。標識マッチング処理は、物品マッチング処理と同様に処理される。

標識マッチング処理は、第２画像のうち、標識が配置されている部分と、その周囲と、において実行される。

図１６に示される例では、位置情報特定部２３は、第２画像に撮像された標識画像「ｃ」「ｃ１１」「ｃ１２」「ｃ２１」「ｃ２２」に基づいて、標識ＩＤ「Ｍ３」「Ｍ１１」「Ｍ１２」「Ｍ１３」「Ｍ１４」を特定する（Ｓ４２）。

なお、物品マッチング処理と標識マッチング処理とは、同時に実行されてもよい。すなわち、例えば、標識マッチング処理は、物品特定部が実行してもよい。

次いで、位置情報特定部２３は、物品マッチング処理により特定した物品の位置情報を特定する（Ｓ４３）。物品の位置情報は、例えば、第２画像に撮像された標識の標識ＩＤにより特定される。すなわち、例えば、本装置２０は、標識マッチング処理において特定された標識ＩＤ「Ｍ３」に対応する標識位置情報に基づいて、物品ＩＤ「ＩＤ１」の物品の位置情報（物品の収納場所）を棚ｃに特定する。

位置情報特定部２３は、標識マッチング処理において特定された標識ＩＤ「Ｍ１１」「Ｍ１２」「Ｍ２１」「Ｍ２２」と、物品ＩＤ「ＩＤ１」の物品と、の相対的な位置関係から、物品ＩＤ「ＩＤ１」の物品の棚ｃ内における位置情報を特定する。例えば、物品ＩＤ「ＩＤ１」の物品は、標識ＩＤ「Ｍ１１」と「Ｍ２１」とを結ぶ線よりも上方に位置し、標識ＩＤ「Ｍ１２」と「Ｍ２２」とを結ぶ線よりも下方に位置し、標識ＩＤ「Ｍ２１」「Ｍ２２」よりも標識ＩＤ「Ｍ１１」「Ｍ２１」寄りに位置する。その結果、位置情報特定部２３は、各標識に対応する標識位置情報に基づいて、物品ＩＤ「ＩＤ１」の物品の位置情報を「中段」「左側」に特定する。

次いで、位置情報特定部２３は、位置特定撮像装置が第２画像を撮像した時刻（時刻ＩＤ「Ｔ２」）における物品の位置情報を更新する（Ｓ４４）。すなわち、位置情報特定部２３は、物品ＩＤ「ＩＤ１」と、時刻ＩＤ「Ｔ２」と、物品の位置情報「棚ｃ」「中段」「左側」と、を関連付けて時刻位置情報データベースＤＢ２に記憶する。

図１９は、位置情報が更新された時刻位置情報データベースＤＢ２の例を示す模式図である。同図は、時刻ＩＤ「Ｔ２」と、位置情報「棚ｃ」「中段」「左側」と、物品ＩＤ「ＩＤ１」と、が関連付けられて時刻位置情報データベースＤＢ２に記憶されていることを示す。

このように、本装置２０（位置情報特定部２３）は、位置特定撮像装置が撮像した撮像画像と、特定された標識に対応する標識位置情報と、に基づいて、物品の位置情報を特定し、物品の位置情報を時刻ＩＤと物品ＩＤと関連付けて記憶部２１に記憶する。すなわち、時刻位置情報データベースＤＢ２に記憶されている物品の位置情報と時刻情報とは、物品ＩＤを介して、物品情報データベースＤＢ１に記憶されている物品の属性情報と関連付けられる。その結果、本システム１の利用者は、所望の物品が、いつ、どこに収納されているかを検索することが可能となる。

なお、本方法の各処理の流れは、本実施の形態に限定されない。すなわち、例えば、本方法は、領域設定処理と撮像装置特定処理とを平行して実行するなど、各処理を一連のシリーズ処理ではなく、パラレル処理として実行してもよい。すなわち、例えば、本方法は、ある領域に対して領域設定処理と撮像装置特定処理と物品特定処理とを同時に実行してもよい。あるいは、本方法は、ある領域に対して撮像装置特定処理を実行しつつ、別の領域に対して物品特定処理を実行してもよい。

また、本装置（位置情報特定部）は、閉空間内における撮像装置の配置位置、撮像角度などに基づいて決定される撮像装置の撮像範囲（撮像領域）に関する情報（以下「撮像領域情報」という。）に基づいて、物品の位置情報を特定してもよい。すなわち、例えば、本装置（位置情報特定部）は、位置特定撮像装置が撮像した撮像画像と、位置特定撮像装置の撮像領域情報と、に基づいて、物品の位置情報を特定する。この場合、本装置（位置情報特定部）は、例えば、位置特定撮像装置の撮像範囲（撮像領域）を物品の位置情報として特定する。各撮像装置の撮像領域情報は、予め、記憶部に記憶される。

さらに、本装置（位置情報特定部）は、撮像画像における物品に対応する画像が占める部分の座標（撮像画像内に物品が位置する座標（以下「物品座標」という。））に基づいて、物品の位置情報を特定してもよい。すなわち、例えば、本装置（位置情報特定部）は、位置特定撮像装置が撮像した撮像画像と、同撮像画像における物品座標と、に基づいて、物品の位置情報を特定する。

●本システムの使用例
図２０は、物品の検索画面の例を示す模式図である。
同図は、検索のキーワードとして、属性情報である「書籍」「ＰＡＴＥＮＴ」が入力された状態を示す。「検索画面」は、複数の物品の中から１の物品を検索するためのキーワードを受け付けるための画面であり、キーワードが入力される領域を含む。例えば、本システム１（本装置２０）の利用者が物品の属性情報をキーワードとして検索したとき、本装置１は、同属性情報に関連付けられて記憶部２１に記憶されている物品ＩＤを特定して、同物品ＩＤに関連付けられた属性情報と位置情報とを後述する検索結果表示画面に表示する。

図２１は、物品の検索結果表示画面の例を示す模式図である。
同図は、物品の属性情報をキーワードとして検索した結果、同属性情報に関連付けられた物品ＩＤ「ＩＤ１」の物品（書籍）の属性情報「Ｐ１０」「書籍」「ＰＡＴＥＮＴ」・・・と、時刻ＩＤ「Ｔ２」と、位置情報「棚ｃ」「中段」「左側」と、が関連付けられて表示されていることを示す。すなわち、同図は、物品ＩＤ「ＩＤ１」の物品が、時刻ＩＤ「Ｔ２」の時刻に、位置情報「棚ｃ」「中段」「左側」に収納されていることを示す。「検索結果表示画面」は、キーワードによる検索の結果が表示される画面である。同図の「画像確認」ボタンは、検索により特定された物品が撮像された複数の撮像画像を、時系列に沿って（時系列順に）表示し、物品の状況を確認する画面（以下「画像確認画面」という。）を表示するボタンである。

検索結果表示画面において画像確認ボタンが利用者により選択されると、本装置１は、物品ＩＤに基づいて、物品ＩＤと関連付けて記憶部２１に記憶されている複数の撮像画像を記憶部２１から抽出する。次いで、本装置１は、抽出された複数の撮像画像の表示順序を、物品ＩＤと関連付けて記憶部２１に記憶されている時刻ＩＤに基づいて決定する。次いで、本装置１は、決定された表示順序に基づいて、抽出された複数の撮像画像をディスプレイなどの表示装置（不図示）に表示させる。すなわち、本装置１は、本発明における抽出部（不図示）と、本発明における表示順序決定部（不図示）と、本発明における表示部（不図示）と、を備える。

図２２は、物品の画像確認画面の例を示す模式図である。
同図は、３つの撮像画像Ｚ−１，Ｚ，Ｚ＋１が画像確認画面に時系列順に表示された状態を示す。撮像画像Ｚは、時刻ＩＤ「Ｔ２」の時刻において物品ＩＤ「ＩＤ１」の物品が撮像された撮像画像である。撮像画像Ｚ＋１は、時刻ＩＤ「Ｔ２」よりも後（直後）の時刻（例えば、時刻ＩＤ「Ｔ３」）において同物品が撮像された撮像画像である。撮像画像Ｚ−１は、時刻ＩＤ「Ｔ２」よりも前（直前）の時刻（例えば、時刻ＩＤ「Ｔ１」）において同物品が撮像された撮像画像である。ここで、３つの撮像画像Ｚ−１，Ｚ，Ｚ＋１は、物品ＩＤ「ＩＤ１」に基づいて、抽出部により記憶部２１から抽出される。３つの撮像画像Ｚ−１，Ｚ，Ｚ＋１の表示順序は、各撮像画像Ｚ−１，Ｚ，Ｚ＋１の時刻ＩＤ「Ｔ１」「Ｔ２」「Ｔ３」に基づいて、表示順序決定部により時系列順、つまり、例えば、撮像時刻の古い撮像画像から撮像時刻の新しい撮像画像の順、に決定される。

この状態において、本システム１（本装置２０）の利用者により撮像画像Ｚ＋１が選択されると、撮像画像Ｚ＋１とその前後の時刻に同物品が撮像された撮像画像とが画像確認画面に表示され、同利用者により撮像画像Ｚ−１が選択されると、撮像画像Ｚ−１とその前後の時刻に同物品が撮像された撮像画像とが画像確認画面に表示される。すなわち、例えば、撮像画像Ｚ−１を選択すると、撮像画像Ｚ−１が撮像された時刻よりも前（直前）の時刻において同物品が撮像された撮像画像Ｚ−２（図２３参照）と、撮像画像Ｚ−１と、撮像画像Ｚと、が画像確認画面に表示される。ここで、３つの撮像画像Ｚ−２，Ｚ−１，Ｚは、物品ＩＤに基づいて、抽出部により記憶部２１から抽出される。３つの撮像画像Ｚ−２，Ｚ−１，Ｚの表示順序は、時刻ＩＤに基づいて、表示順序決定部により時系列順に決定される。

図２３は、物品の画像確認画面の別の例を示す模式図である。
同図は、図２２の画像確認画面で撮像画像Ｚ−１が選択された結果、３つの撮像画像Ｚ−２，Ｚ−１，Ｚが画像確認画面に時系列順に表示された状態を示す。

このように、複数の撮像画像を画像確認画面に時系列順に表示することにより、本システム１（本装置２０）の利用者は、物品が収納場所に収納される前後の状況（誰が物品を収納し、誰が物品を持ち出したか、物品の移動経路など）を容易に確認することができる。

また、本装置２０は、図２２と図２３とに示されるように、異なる撮像装置１０が異なる時刻に同一の物品を撮像した撮像画像（撮像画像Ｚ，Ｚ＋１と撮像画像Ｚ−１，Ｚ−２）を物品ＩＤと時刻ＩＤとに関連付けて、画像確認画面に時系列順に表示する。すなわち、本装置２０は、同物品を異なる撮像装置１０が異なる時刻に撮像した複数の撮像画像を、物品の物品ＩＤと時刻ＩＤとに関連付けて時系列順に記憶部２１に記憶する。換言すれば、記憶部２１に時系列順に関連付けて記憶された複数の撮像画像は、複数の（異なる）撮像装置１０が撮像した撮像画像を含む。その結果、本システム１（本装置２０）の利用者は、物品が収納場所に収納される前後の状況をより詳細に確認することができる。

なお、本装置は、検索により特定された物品が撮像された複数の撮像画像を、検索結果表示画面に時系列に沿って（時系列順に）表示してもよい。すなわち、例えば、本装置は、画像確認画面に時系列順に表示される撮像画像の前部または一部を、検索結果表示画面に表示してもよい。

また、本装置は、検索により特定された物品が撮像された複数の撮像画像のうち、特定の撮像画像を検索結果表示画面に表示してもよい。この場合、本装置は、例えば、同複数の撮像画像のうち、最新の時刻に撮像された撮像画像や、同物品が収納場所に収納された時刻に撮像された撮像画像、物品候補パターンと検索情報との一致する割合が最も高い物品候補パターンを撮像した撮像画像（同物品に対して検索情報との一致率が最も高い撮像画像）、などを特定の撮像画像として検索結果表示画面に表示する。

さらに、本装置は、前述した特定の撮像画像に撮像された被写体の一部、例えば、撮像画像に撮像されている人の顔など、を検索結果表示画面に表示してもよい。この場合、本装置は、例えば、公知の人の顔認識アルゴリズムを用いて各撮像画像に撮像された人の顔認識処理を実行して、人の顔の画像を各撮像画像に関連付けて記憶部に記憶する。

さらにまた、本装置は、公知の人の顔認識アルゴリズムを用いて各撮像画像に撮像された人の顔認識処理を実行して、物品が収納場所に収納された時刻、あるいは、その前後の時刻に同物品と同時に撮像された人の顔の画像を検索結果表示画面に表示してもよい。すなわち、例えば、登録者と未登録者とに共通して利用される図書館などの閉空間において、本装置は、撮像画像に撮像された人が登録者（図書館の利用者登録を受けた人や司書など）のとき顔認識処理の結果で特定される登録者の情報（氏名、連絡先など）と人の顔の画像とを検索結果表示画面に表示し、撮像画像に撮像された人が未登録者（図書館の利用者登録を受けていない人など）のとき人の顔の画像を検索結果表示画面に表示してもよい。この場合、本装置は、登録者の画像（顔の画像）と氏名などの情報とを関連付けたデータベースを記憶部に記憶する。また、例えば、研究所のように閉空間の利用者を特定できる場合、本装置は、閉空間の利用者の顔の画像と氏名などの情報とが関連付けられたデータベースを記憶部に記憶して、顔認識処理の結果で特定される人の氏名を検索結果表示画面に表示してもよい。

このように、本装置が人の顔の画像や氏名などの情報を検索結果表示画面に表示することで、本システム（本装置）の利用者は、誰が物品を収納し、誰が物品を持ち出したか、を容易に確認することができる。

以上説明した検索結果表示画面や画像確認画面は、本装置が備えるディスプレイなどの表示装置（不図示）に表示されてもよく、あるいは、本装置がＷＥＢサーバとして動作して、本装置と通信ネットワークを介して接続されるディスプレイなどに表示されてもよい。

●まとめ●
以上説明した実施の形態によれば、本装置２０は、複数の撮像装置１０（１−ｎ）のうち、位置特定撮像装置が撮像した撮像画像に基づいて、閉空間Ｒ内を移動する物品とその位置情報を特定し、同撮像画像を撮像した時刻を特定する時刻ＩＤと関連付けて、記憶部２１に記憶する。すなわち、本装置２０は、本システム１を構成する撮像装置１０のうち、位置特定撮像装置が撮像した撮像画像のみに基づいて、物品の位置情報を特定する。換言すれば、本装置２０は、本システム１を構成する全ての撮像装置１０が撮像した全ての撮像画像の画像処理をすることなく、物品とその位置情報とを特定することができる。つまり、物品の位置情報を特定するための本装置２０による画像処理の処理負担は、軽減される。

また、以上説明した実施の形態によれば、本装置２０は、撮像装置１０が撮像した撮像画像の時系列の変化に基づいて、撮像装置１０を位置特定撮像装置として特定するか否かを決定する。すなわち、本装置２０は、撮像画像に時系列の変化が無い限り、物品の位置情報を特定するための画像処理を実行しない。そのため、本装置２０は、全ての撮像画像についてマッチング処理を実行する必要がなく、本装置２０による画像処理の処理負担は軽減される。

さらにまた、以上説明した実施の形態によれば、物品特定部２４は、抽出した複数の撮像画像の差分に基づいて判定領域を抽出し、抽出された判定領域内の画像と候補画像とに基づいて物品（物品候補）を特定する。そのため、本装置２０は、判定領域を含む撮像画像全体に物品マッチング処理を実行する必要が無く、本装置２０による画像処理の処理負担は軽減される。また、物品マッチング処理を実行する領域が限定されるため、物品マッチング処理の精度が向上する。

さらにまた、以上説明した実施の形態によれば、撮像装置特定部２２は、複数の領域Ａ−Ｄのいずれかの領域Ａ−Ｄに対応して配置された撮像画像の時系列の変化に基づいて、位置特定撮像装置を特定する。また、物品特定部２４は、位置特定撮像装置が撮像した撮像画像の時系列の変化に基づいて、複数の撮像画像を抽出する。そのため、本装置２０は、抽出された画像にのみ物品マッチング処理を実行すればよく、本装置２０による画像処理の処理負担は軽減される。

さらにまた、以上説明した実施の形態によれば、本装置２０は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向それぞれの物品の位置情報の特定に用いられる撮像画像を撮像した位置特定撮像装置を特定する。すなわち、例えば、本装置２０は、ある軸方向からは撮像できない物品であっても、他の軸方向から撮像された撮像画像に基づいて、物品の位置情報（存在場所）を特定することができる。また、本装置２０は、撮像画像に基づいて、物品のＸ軸、Ｙ軸、Ｚ軸における３次元的な位置情報を特定することができる。

さらにまた、以上説明した実施の形態によれば、本装置２０は、撮像画像に含まれる標識を特定し、同標識に対応する標識位置情報に基づいて物品の位置情報を特定する。そのため、本装置２０は、撮像画像から空間的な座標を特定することなく、容易に物品の位置情報を特定することができる。

さらにまた、以上説明した実施の形態によれば、本装置２０は、閉空間Ｒを構成する複数の領域Ａ−Ｄに対応して配置された撮像装置１０の動作を制御する撮像装置制御部２６を備える。撮像装置制御部２６は、一部の撮像装置１０が撮像した撮像画像に基づいて、他の一部の撮像装置１０の撮像間隔を制御する。すなわち、例えば、位置特定撮像装置の撮像間隔を他の撮像装置１０の撮像間隔よりも短い撮像間隔になるように制御することで、本装置２０は、閉空間Ｒ内を移動する物品を確実に撮像して、物品の存在場所を特定することができる。

このように、撮像装置１０が撮像した撮像画像に対する本装置２０の処理の負担は軽減されると共に、本装置２０は物品の識別用の特別な手段を使用することなく物品の存在場所を特定する。

なお、以上説明した実施の形態によれば、本装置２０は、標識を用いて物品の位置情報を特定する構成であった。これに代えて、本装置は、標識を用いず、撮像画像に基づいて物品の位置情報を特定してもよい。すなわち、例えば、本装置は、撮像画像のピクセル情報や、Ｘ軸位置特定撮像装置とＹ軸位置特定撮像装置とＺ軸位置特定撮像装置のそれぞれが撮像した撮像画像に基づいて、各軸方向の対象物品の位置情報（座標）を特定してもよい。この場合、例えば、本装置は、Ｚ軸位置特定撮像装置が撮像した撮像画像に基づいて、対象物品が収納された位置の高さ（位置情報の高さ成分）を特定し、その高さが属する領域を判定領域として抽出してもよい。

また、以上説明した実施の形態によれば、本装置２０は、標識を用いて物品の位置情報を特定する構成であった。これに代えて、本装置は、第２画像のうち、第１画像と差分が有ると判定された部分を撮像した撮像装置を特定することにより、物品の位置情報を特定してもよい。すなわち、例えば、棚の上段、中段、下段それぞれに対応する撮像装置が配置されて、第１画像と差分が有ると判定された部分を撮像した撮像装置が棚の上段に対応する撮像装置であるとき、本装置は、対象物品の位置情報を「棚の上段」と特定してもよい。

さらに、以上説明した実施の形態によれば、本装置２０は、物品の収納場所を特定する構成であった。これに代えて、本装置は、物品が机など、閉空間内のどの位置に持ち出されているかを特定する構成でもよい。

さらにまた、本システムは、本方法の処理の一部を撮像装置に処理させてもよい。すなわち、例えば、本システムは、領域設定処理の一部（比較処理や差分の有無の判断など）、あるいは、全部を撮像装置に処理させてもよい。

以下、これまで説明した本装置の特徴を、まとめて記載しておく。

（特徴１）
閉空間内に配置される複数の撮像装置が撮像した撮像画像を処理する画像処理装置であって、
前記撮像画像が記憶される記憶部と、
前記記憶部に記憶された撮像画像に基づいて、前記複数の撮像装置のうちの一部の撮像装置を位置特定撮像装置として特定する撮像装置特定部と、
前記位置特定撮像装置に特定された前記一部の撮像装置が撮像した撮像画像に基づいて、前記閉空間内を移動する物品の位置情報を特定する位置情報特定部と、
を有してなる、
ことを特徴とする画像処理装置。

（特徴２）
前記位置情報特定部により特定された前記物品の位置情報は、前記位置情報特定部が前記物品の位置情報を特定するために用いた前記位置特定撮像装置が前記撮像画像を撮像した時刻を特定する撮像時刻情報と関連付けて、前記記憶部に記憶される、
特徴１記載の画像処理装置。

（特徴３）
前記撮像装置特定部は、前記撮像装置が撮像した撮像画像の時系列の変化に基づいて、前記撮像装置を前記位置特定撮像装置として特定するか否かを決定する、
特徴１記載の画像処理装置。

（特徴４）
前記記憶部は、複数の物品候補ごとに、物品ＩＤと検索情報とを関連付けて記憶し、
前記画像処理装置は、
前記記憶部に記憶された前記撮像画像と前記検索情報とに基づいて、前記複数の物品候補の中から前記物品を特定する物品特定部、
を備え、
前記物品特定部により特定された前記物品の検索情報と関連付けて前記記憶部に記憶されている物品ＩＤと、前記位置情報特定部により特定された前記物品の位置情報と、は、関連付けて前記記憶部に記憶される、
特徴１記載の画像処理装置。

（特徴５）
前記物品特定部は、
前記記憶部に記憶された前記撮像画像のうち、複数の撮像画像を抽出し、
前記抽出された複数の撮像画像の差分に基づいて、前記検索情報と比較される前記撮像画像の判定領域を抽出し、
前記抽出された判定領域内の画像と、前記検索情報と、に基づいて、前記物品を特定する、
特徴４記載の画像処理装置。

（特徴６）
前記閉空間は、複数の個別閉空間を備え、
前記複数の撮像装置のそれぞれは、前記複数の個別閉空間のいずれかに対応して配置され、
前記撮像装置特定部は、前記複数の個別閉空間のいずれかの個別閉空間に対応して配置された前記撮像装置が撮像した撮像画像の時系列の変化に基づいて、前記位置特定撮像装置を特定し、
前記物品特定部は、前記位置特定撮像装置が撮像した撮像画像の時系列の変化に基づいて、前記複数の撮像画像を抽出する、
特徴５記載の画像処理装置。

（特徴７）
前記位置情報特定部は、
前記閉空間の高さ方向であるＺ軸方向の前記物品の位置情報と、
前記Ｚ軸方向と直交するＸ軸方向の前記物品の位置情報と、
前記Ｚ軸方向と前記Ｘ軸方向のそれぞれと直交するＹ軸方向の前記物品の位置情報と、
を特定し、
前記撮像装置特定部は、前記複数の撮像装置の中から、
前記Ｘ軸方向の前記物品の位置情報の特定に用いられる前記撮像画像を撮像したＸ軸位置特定撮像装置と、
前記Ｙ軸方向の前記物品の位置情報の特定に用いられる前記撮像画像を撮像したＹ軸位置特定撮像装置と、
前記Ｚ軸方向の前記物品の位置情報の特定に用いられる前記撮像画像を撮像したＺ軸位置特定撮像装置と、
を特定する、
特徴１記載の画像処理装置。

（特徴８）
前記閉空間内には、複数の標識が配置され、
前記記憶部には、前記標識ごとの前記閉空間内での場所を特定する標識位置情報が記憶され、
前記位置情報特定部は、
前記撮像画像に含まれる前記標識を特定し、
前記記憶部に記憶された前記特定された前記標識に対応する前記標識位置情報に基づいて、前記の位置情報を特定する、
特徴１記載の画像処理装置。

（特徴９）
前記複数の撮像装置のうち一部の撮像装置が撮像した撮像画像に基づいて、前記複数の撮像装置のうち他の一部の撮像装置の動作を制御する撮像装置制御部、
を備える、
特徴１記載の画像処理装置。

（特徴１０）
前記閉空間は、複数の個別閉空間を備え、
前記複数の撮像装置のそれぞれは、前記複数の個別閉空間のいずれかに対応して配置され、
前記撮像装置制御部は、前記複数の個別閉空間のうち一部の個別閉空間に対応して配置された撮像装置の撮像動作を制御する、
特徴９記載の画像処理装置。

（特徴１１）
前記他の一部の撮像装置の動作は、前記他の一部の撮像装置の撮像間隔である、
特徴９記載の画像処理装置。

（特徴１２）
前記記憶部は、前記複数の撮像装置それぞれの撮像領域情報を記憶し、
前記位置情報特定部は、前記位置特定撮像装置の前記撮像領域情報に基づいて、前記位置情報を特定する、
特徴１記載の画像処理装置。

（特徴１３）
前記記憶部は、前記物品ＩＤに対応する物品を異なる時刻に撮像した複数の撮像画像を、前記物品ＩＤと、前記撮像画像が撮像された時刻を特定する撮像時刻情報と、に関連付けて前記記憶部に記憶する、
特徴４記載の画像処理装置。

（特徴１４）
前記物品ＩＤに基づいて、前記物品ＩＤと関連付けて前記記憶部に記憶されている前記複数の撮像画像を前記記憶部から抽出する抽出部と、
前記物品ＩＤと関連付けて前記記憶部に記憶されている前記撮像時刻情報に基づいて、前記抽出された前記複数の撮像画像の表示順序を決定する表示順序決定部と、
前記決定された表示順序に基づいて、前記抽出された前記複数の撮像画像を表示装置に表示させる表示部と、
を備える、
特徴１３記載の画像処理装置。

（特徴１５）
前記複数の撮像画像は、異なる前記撮像装置により撮像された撮像画像を含む、
特徴１３記載の画像処理装置。

１ 画像処理システム
１０ 撮像装置
２０ 画像処理装置
２１ 記憶部
２２ 撮像装置特定部
２３ 位置情報特定部
２４ 物品特定部
２５ 領域設定部
２６ 撮像装置制御部
Ｒ 閉空間
Ａ−Ｄ 領域（個別閉空間）

Claims (19)

1. 閉空間内に配置される複数の撮像装置が撮像した撮像画像に基づいて、前記閉空間への収納または前記閉空間からの持ち出しが行われる物品を特定する画像処理装置であって、
   前記閉空間は、
   複数の個別閉空間、
   を備え、
   複数の前記撮像装置それぞれは、複数の前記個別閉空間のいずれかに対応して配置され、
   前記撮像画像が記憶される記憶部と、
   前記撮像画像に基づいて、複数の前記個別閉空間のいずれかを特定領域に設定する領域設定部と、
   前記撮像画像に基づいて、前記特定領域に設定された前記個別閉空間に対応する前記撮像装置を位置特定撮像装置として特定する撮像装置特定部と、
   前記位置特定撮像装置に特定された前記撮像装置が撮像した前記撮像画像に基づいて、前記物品を特定する物品特定部と、
   前記位置特定撮像装置に特定された前記撮像装置が撮像した前記撮像画像に基づいて、前記物品の位置情報を特定する位置情報特定部と、
   複数の前記撮像装置のうち、前記特定領域に設定された前記個別閉空間に対応する前記撮像装置が撮像した前記撮像画像に基づいて、前記特定領域に設定されていない他の前記個別閉空間それぞれに対応する前記撮像装置の動作を、前記特定領域に設定された前記個別閉空間に対応する前記撮像装置の動作とは異なる動作に制御する撮像装置制御部と、
   を有してなり、
   前記領域設定部は、前記特定領域に設定された前記個別閉空間とは異なる他の前記個別閉空間に対応する前記撮像装置が撮像した前記撮像画像に基づいて、前記特定領域に設定された前記個別閉空間に対する前記特定領域の設定を解除し、
   前記物品特定部は、前記個別閉空間への前記特定領域の設定が解除されたとき、前記特定領域の設定が解除された前記個別閉空間に対応する前記撮像装置が撮像した前記撮像画像に基づいて、前記物品を特定する、
   ことを特徴とする画像処理装置。
2. 前記位置情報特定部により特定された前記位置情報は、前記位置情報特定部が前記位置情報を特定するために用いた前記位置特定撮像装置が前記撮像画像を撮像した時刻を特定する撮像時刻情報と関連付けて、前記記憶部に記憶される、
   請求項１記載の画像処理装置。
3. 前記撮像装置特定部は、複数の前記個別閉空間のいずれかに対応する前記撮像装置が撮像した前記撮像画像の時系列の変化に基づいて、前記位置特定撮像装置を特定する、
   請求項１記載の画像処理装置。
4. 前記記憶部は、複数の物品候補ごとに、物品ＩＤと検索情報とを関連付けて記憶し、
   前記物品特定部は、前記記憶部に記憶された前記撮像画像と前記検索情報とに基づいて、複数の前記物品候補の中から前記物品を特定し、
   前記物品特定部により特定された前記物品の前記検索情報と関連付けて前記記憶部に記憶されている前記物品ＩＤと、前記位置情報特定部により特定された前記位置情報と、は、関連付けて前記記憶部に記憶される、
   請求項１記載の画像処理装置。
5. 前記物品特定部は、
   前記特定領域の設定が解除された前記個別閉空間に対応する前記撮像装置が撮像した前記撮像画像の時系列の変化に基づいて、２つの前記撮像画像を抽出し、
   抽出された２つの前記撮像画像に基づいて、前記物品を特定する
   請求項４記載の画像処理装置。
6. 前記物品特定部は、
   抽出された２つの前記撮像画像の差分に基づいて、前記検索情報と比較される前記撮像画像の判定領域を抽出し、
   抽出された前記判定領域内の画像に基づいて、前記物品を特定する、
   請求項５記載の画像処理装置。
7. 抽出された２つの前記撮像画像は、
   前記特定領域の設定が解除された前記個別閉空間に対応する前記撮像装置が、前記個別閉空間が前記特定領域に設定される前に撮像した第１画像と、
   前記特定領域の設定が解除された前記個別閉空間に対応する前記撮像装置が、前記個別閉空間への前記特定領域の設定が解除された後に撮像した第２画像と、
   である、
   請求項５記載の画像処理装置。
8. 前記位置情報特定部は、
   前記閉空間の高さ方向であるＺ軸方向の前記位置情報と、
   前記Ｚ軸方向と直交するＸ軸方向の前記位置情報と、
   前記Ｚ軸方向と前記Ｘ軸方向のそれぞれと直交するＹ軸方向の前記位置情報と、
   を特定し、
   前記撮像装置特定部は、複数の前記撮像装置の中から、
   前記Ｘ軸方向の前記位置情報の特定に用いられる前記撮像画像を撮像したＸ軸位置特定撮像装置と、
   前記Ｙ軸方向の前記位置情報の特定に用いられる前記撮像画像を撮像したＹ軸位置特定撮像装置と、
   前記Ｚ軸方向の前記位置情報の特定に用いられる前記撮像画像を撮像したＺ軸位置特定撮像装置と、
   を特定する、
   請求項１記載の画像処理装置。
9. 前記閉空間内には、複数の標識が配置され、
   前記記憶部には、前記標識ごとの前記閉空間内での場所を特定する標識位置情報が記憶され、
   前記位置情報特定部は、
   前記撮像画像に含まれる前記標識を特定し、
   前記記憶部に記憶された前記特定された前記標識に対応する前記標識位置情報に基づいて、前記位置情報を特定する、
   請求項１記載の画像処理装置。
10. 前記個別閉空間それぞれに対応する前記撮像装置は、対応する前記個別閉空間を異なる方向から撮像する撮像装置群、を構成し、
    前記物品特定部は、前記撮像装置群が対応する前記個別閉空間を異なる方向から撮像した複数の前記撮像画像に基づいて、前記物品を特定する、
    請求項１または５記載の画像処理装置。
11. 前記物品特定部が前記物品を特定できないとき、前記物品特定部は、前記特定領域に設定された前記個別閉空間に対する前記特定領域の設定が解除される前に、前記個別閉空間に対応する前記撮像装置群が撮像した複数の前記撮像画像に基づいて、前記物品を推定する、
    請求項１０記載の画像処理装置。
12. 前記撮像装置の動作は、前記撮像装置の撮像間隔である、
    請求項１記載の画像処理装置。
13. 前記記憶部は、複数の前記撮像装置それぞれの撮像領域情報を記憶し、
    前記位置情報特定部は、前記位置特定撮像装置の前記撮像領域情報に基づいて、前記位置情報を特定する、
    請求項１記載の画像処理装置。
14. 前記記憶部は、前記物品ＩＤに対応する前記物品を異なる時刻に撮像した複数の前記撮像画像を、前記物品ＩＤと、前記撮像画像が撮像された時刻を特定する撮像時刻情報と、に関連付けて前記記憶部に記憶する、
    請求項４記載の画像処理装置。
15. 前記物品ＩＤに基づいて、前記物品ＩＤと関連付けて前記記憶部に記憶されている複数の前記撮像画像を前記記憶部から抽出する抽出部と、
    前記物品ＩＤと関連付けて前記記憶部に記憶されている前記撮像時刻情報に基づいて、抽出された複数の前記撮像画像の表示順序を決定する表示順序決定部と、
    決定された前記表示順序に基づいて、抽出された複数の前記撮像画像を表示装置に表示する表示部と、
    を備える、
    請求項１４記載の画像処理装置。
16. 複数の前記撮像画像は、異なる前記撮像装置により撮像された前記撮像画像を含む、
    請求項１４記載の画像処理装置。
17. 閉空間内に配置される複数の撮像装置が撮像した撮像画像に基づいて、前記閉空間への収納または前記閉空間からの持ち出しが行われる物品を特定する画像処理装置により実行される画像処理方法であって、
    前記閉空間は、
    複数の個別閉空間、
    を備え、
    複数の前記撮像装置それぞれは、複数の前記個別閉空間のいずれかに対応して配置され、
    前記画像処理装置は、前記撮像画像が記憶される記憶部を備え、
    前記画像処理装置が、
    前記撮像画像に基づいて、複数の前記個別閉空間のいずれかを特定領域に設定する領域設定ステップと、
    前記撮像画像に基づいて、前記特定領域に設定された前記個別閉空間に対応する前記撮像装置を位置特定撮像装置として特定する撮像装置特定ステップと、
    前記位置特定撮像装置に特定された前記撮像装置が撮像した前記撮像画像に基づいて、前記物品を特定する物品特定ステップと、
    前記位置特定撮像装置に特定された前記撮像装置が撮像した前記撮像画像に基づいて、前記物品の位置情報を特定する位置情報特定ステップと、
    複数の前記撮像装置のうち、前記特定領域に設定された前記個別閉空間に対応する前記撮像装置が撮像した前記撮像画像に基づいて、前記特定領域に設定されていない他の前記個別閉空間それぞれに対応する前記撮像装置の動作を、前記特定領域に設定された前記個別閉空間に対応する前記撮像装置の動作とは異なる動作に制御する撮像装置制御ステップと、
    を実行し、
    前記領域設定ステップは、前記特定領域に設定された前記個別閉空間とは異なる他の前記個別閉空間に対応する前記撮像装置が撮像した前記撮像画像に基づいて、前記特定領域に設定された前記個別閉空間に対する前記特定領域の設定を解除するステップ、を含み、
    前記物品特定ステップは、前記個別閉空間への前記特定領域の設定が解除されたとき、前記特定領域の設定が解除された前記個別閉空間に対応する前記撮像装置が撮像した前記撮像画像に基づいて、前記物品を特定する、
    ことを特徴とする画像処理方法。
18. コンピュータを、請求項１記載の画像処理装置として機能させる、
    ことを特徴とする画像処理プログラム。
19. 閉空間内に配置される複数の撮像装置と、
    前記撮像装置が撮像した撮像画像に基づいて、前記閉空間への収納または前記閉空間からの持ち出しが行われる物品を特定する画像処理装置と、
    を有してなる画像処理システムであって、
    前記画像処理装置は、請求項１記載の画像処理装置である、
    ことを特徴とする画像処理システム。

Images