JPWO2019171572A1 - セルフレジシステム、購入商品管理方法および購入商品管理プログラム - Google Patents

Abstract

変化検出手段８１０は、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する。再配置検出手段８２０は、変化検出手段８１０が検出した商品の陳列状態の変化と、撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。買い物リスト生成手段８３０は、人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を人物に対応する買い物リストに登録するための登録処理を行い、再配置検出手段８２０による検出結果と棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除するための削除処理を行う。

Description

本発明は、顧客が購入する商品を自動で管理するセルフレジスター（セルフレジ）システム、購入商品管理方法および購入商品管理プログラムに関する。

コンビニエンスストアやスーパーマーケットなどの商品の販売店舗では、顧客自身がレジスター（以下、レジと記す。）端末を操作するセルフレジが導入されている。一般的なセルフレジでは、顧客は商品の識別コード（例えば、バーコード）をレジ端末に読み取らせて決済を行う。しかし、顧客が識別コードの位置を判断するには手間や時間がかかるため、自動的に顧客が購入する商品を識別する方法が各種提案されている。

例えば、特許文献１には、材料取扱施設を有する在庫場所における物品の除去または配置を追跡するシステムが記載されている。特許文献１に記載されたシステムは、ユーザの手元の画像を取得し、物品を在庫場所から取ったことを検出し、その検出に応じてユーザ物品リストへの物品の追加を行う。

また、特許文献２には、商品の決済を行うＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）システムが記載されている。特許文献２に記載されたＰＯＳシステムは、撮像画像を用いて顧客の動線を検出し、商品を決済しようとする顧客を識別して、その顧客の動線に対応する位置に陳列される商品を候補として、決済対象の商品を認識する。

なお、非特許文献１には、適応ガウス混合モデルを用いて背景画像を減算する方法が記載されている。

特表２０１６−５３２９３２号公報 国際公開第２０１５／１４０８５３号

Ｚｏｒａｎ Ｚｉｖｋｏｖｉｃ、「Ｉｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ’０４）、米国、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ、２００４年８月、Ｖｏｌｕｍｅ２−Ｖｏｌｕｍｅ０２、ｐ．２８−３１

一方、特許文献１に記載されたシステムを実現する場合には、各顧客の手元を識別可能な撮像装置（カメラ）が必要になるため、導入コストが増加してしまうという問題がある。また、特許文献１に記載されたシステムでは、商品が取られた場所とは異なる場所に戻された場合、その商品が何であるか識別することが困難なため、ユーザ物品リストを適切に管理することが難しいという問題がある。

また、特許文献２に記載されたシステムでは、動線データと関連付けた商品を決済処理の候補とするが、顧客が決済前に商品を戻したか否かを判断できない。そのため、商品が取られた場所とは異なる場所に顧客がその商品を戻すような場合、そのような動作を検出するのは困難である。このように、商品が取られた場所とは異なる場所に戻された場合であっても、顧客が購入する商品を適切に管理できることが好ましい。

そこで、本発明は、商品が取られた場所とは異なる場所に戻された場合であっても、顧客が購入する商品を適切に管理できるセルフレジシステム、購入商品管理方法および購入商品管理プログラムを提供することを目的とする。

本発明のセルフレジシステムは、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する変化検出手段と、変化検出手段が検出した商品の陳列状態の変化と、撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する再配置検出手段と、人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を人物に対応する買い物リストに登録するための登録処理を行い、再配置検出手段による検出結果と棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除するための削除処理を行う買い物リスト生成手段とを備えたことを特徴とする。

本発明の購入商品管理方法は、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出し、検出された商品の陳列状態の変化と、撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出し、人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を人物に対応する買い物リストに登録するための登録処理を行い、商品が取られた場所とは異なる場所に戻されたことを示す検出結果と棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除するための削除処理を行うことを特徴とする。

本発明の購入商品管理プログラムは、コンピュータに、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する変化検出処理、変化検出処理で検出された商品の陳列状態の変化と、撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する再配置検出処理、および、人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を人物に対応する買い物リストに登録するための登録処理を行い、再配置検出処理での検出結果と棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除するための削除処理を行う買い物リスト生成処理を実行させることを特徴とする。

本発明によれば、商品が取られた場所とは異なる場所に戻された場合であっても、顧客が購入する商品を適切に管理できる。

本発明によるセルフレジシステムの第１の実施形態の構成例を示すブロック図である。 セルフレジシステム１の利用シーンの例を示す説明図である。 画像処理装置１００の構成例を示すブロック図である。 第１変化検出部および第１記憶部の構成例を示すブロック図である。 前景領域検出部の動作例を示す説明図である。 領域変化分類部が出力する分類結果の例を示す説明図である。 商品と人物との関連性情報の例を示す説明図である。 商品と人物との関連性情報を統合した例を示す説明図である。 買い物リスト管理装置の構成例を示すブロック図である。 棚割り情報の例を示す説明図である。 第１の実施形態の画像処理装置１００の動作例を示すフローチャートである。 第１の実施形態のセルフレジシステムの動作例を示すフローチャートである。 画像処理装置２００の構成例を示す説明図である。 商品と人物の関連性情報の例を示す説明図である。 商品と人物の関連性情報を統合した例を示す説明図である。 第２の実施形態の画像処理装置２００の動作例を示すフローチャートである。 本発明によるセルフレジシステムの第３の実施形態の構成例を示す説明図である。 画像処理装置３００の構成例を示す説明図である。 動線データの例を示す説明図である。 商品と人物の関連性情報の例を示す説明図である。 商品と人物の関連性を統合した例を示す説明図である。 第３の実施形態の画像処理装置３００の動作例を示すフローチャートである。 第３の実施形態のセルフレジシステムの変形例を示すブロック図である。 画像処理装置３００ａの構成例を示すブロック図である。 動線データの他の例を示す説明図である。 画像処理装置４００の構成例を示す説明図である。 第４の実施形態の画像処理装置４００の動作例を示すフローチャートである。 画像処理装置５００の構成例を示す説明図である。 第５の実施形態の画像処理装置５００の動作例を示すフローチャートである。 前景領域を検出する動作例を示す説明図である。 前景領域を検出する動作例を示す説明図である。 前景領域を検出する動作例を示す説明図である。 第一の具体例におけるセルフレジシステムの動作例を示す説明図である。 第二の具体例におけるセルフレジシステムの動作例を示す説明図である。 各装置の構成要素を実現する情報処理装置のハードウェア構成例を示すブロック図である。 本発明によるセルフレジシステムの概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

［第１の実施形態］
第１の実施形態では、撮像画像に基づいて、顧客が購入予定の商品のリスト（以下、買い物リストと記す。）を管理するセルフレジシステム１について説明する。本実施形態のセルフレジシステム１は、特に、商品が取られた場所とは異なる場所に戻されたことを検出して、買い物リストを適切に管理する。

後述するように、本実施形態のセルフレジシステム１は、撮像装置２が撮像した撮像画像に基づいて、商品棚３の変化を検出するとともに、撮像画像に含まれる人物や物体の領域を検出する。そして、セルフレジシステム１は、商品棚３の変化と抽出した人物とを関連付けるとともに、人物を基準として関連づけた情報を統合する。このように、セルフレジシステム１は、抽出した人物に基づいて、商品棚３の変化を関連付けるよう構成されている。これにより、セルフレジシステム１は、顧客が一度手に取った商品を別の商品棚３に置いた場合など、商品が取られた場所とは異なる場所に戻されたことを検出する。

図１は、本発明によるセルフレジシステムの第１の実施形態の構成例を示すブロック図である。本実施形態のセルフレジシステム１は、顧客が携帯する端末１０と、画像処理装置１００と、撮像装置２と、買い物リスト管理装置２０と、出力装置３０と、決済装置４０と、人物識別装置５０とを備えている。端末１０と、画像処理装置１００と、撮像装置２と、買い物リスト管理装置２０と、出力装置３０と、決済装置４０と、人物識別装置５０とは、例えば、ネットワークＮを介して相互に接続される。

なお、本実施形態では、画像処理装置１００と、撮像装置２と、買い物リスト管理装置２０とが、それぞれ別個の構成であるとして説明を行う。しかし、各装置が、他の装置に内蔵される構成であってもよい。例えば、撮像装置２が後述する画像処理装置１００としての機能を有していてもよく、画像処理装置１００が撮像装置２としての機能を有していてもよい。また、例えば、画像処理装置１００と買い物リスト管理装置２０とが、同一のハードウェアで実現され、撮像装置２が撮像する画像を受信して、後述する各処理を行ってもよい。

また、図１では、撮像装置２が１つの場合について例示している。しかし、セルフレジシステム１が備える撮像装置２の数は１つに限定されず、２つ以上であってもよい。

図２は、セルフレジシステム１の利用シーンの例を示す説明図である。図２を参照すると、セルフレジシステム１では、撮像装置２が、店舗の商品棚３を撮像する。そして、撮像装置２は、撮像した撮像画像を示す映像信号を、画像処理装置１００に送信する。

撮像装置２は、例えば、店舗などに設置されている監視カメラである。撮像装置２は、例えば、店舗内などにおいて商品棚３を撮像可能な所定位置に設置されている。また、撮像装置２には、その撮像装置２を識別するためのカメラＩＤなどが予め割り当てられている。撮像装置２は、撮像画像を取得する。この際、撮像装置２は、例えば、自身が有する時計などを参照して、撮像画像を取得した時刻である撮像時刻を取得した撮像画像に関連付ける。このように、撮像装置２は、商品棚３などの様子を示す撮像画像を取得する。

なお、撮像装置２が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。また、本実施形態において、撮像装置２が取得する撮像画像は、カラー画像（以下、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像と呼ぶ）である。撮像装置２が取得する撮像画像は、例えば、ＲＧＢ画像以外の色空間の画像であってもよい。

上述したように、撮像装置２は、取得した撮像画像を示す映像信号を、画像処理装置１００に送信する。撮像装置２は、撮像画像を撮像装置２の内部または画像処理装置１００とは異なる記憶装置に格納してもよい。

画像処理装置１００は、商品が撮像されている撮像画像を分析することで、商品の陳列状態の変化を検出する情報処理装置である。また、本実施形態では、画像処理装置１００は、商品が取られた場所とは異なる場所に戻されたことを検出する。

図３は、画像処理装置１００の構成例を示す説明図である。本実施形態の画像処理装置１００は、第１取得部１１０と、第１変化検出部１２０と、第１記憶部１３０と、第１関連性生成部１４０と、関連性統合部１５０と、陳列検出部１６０とを含む。具体的には、画像処理装置１００は、例えば、演算装置および記憶装置（図示せず）を含む。そして、画像処理装置１００は、例えば、記憶装置に格納されたプログラムを演算装置で実行することで、上記各処理部を実現する。

なお、図３に例示する画像処理装置１００は、本開示に特有な構成について示したものである。画像処理装置１００は、図３に示されていない部材を有してもよい。この点は、第２の実施形態以降についても同様である。

第１取得部１１０は、撮像装置２が商品棚３を撮像することによって得た撮像画像を示す映像信号を取得する。第１取得部１１０は、撮像装置２から送信された映像信号を受信してもよい。第１取得部１１０は、撮像装置２の内部または撮像装置２および画像処理装置１００とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。

なお、上述したように、画像処理装置１００は撮像装置２に内蔵される構成であってもよい。このような構成の場合、第１取得部１１０は、撮像画像そのものを取得する構成であってもよい。

第１取得部１１０は、取得した映像信号を、その映像信号を構成するＲＧＢ画像に変換する。そして、第１取得部１１０は、変換したＲＧＢ画像を第１変化検出部１２０に供給する。なお、第１取得部１１０が映像信号を変換することによって得たＲＧＢ画像は、撮像装置２が商品棚３を撮像した撮像画像を表すため、単に撮像画像とも呼ぶ。

図４は、第１変化検出部１２０および第１記憶部１３０の構成例を示すブロック図である。以下、図４を参照して、第１変化検出部１２０および第１記憶部１３０について説明する。

第１記憶部１３０は、ハードディスクやメモリなどの記憶装置である。第１記憶部１３０は、背景情報１３１と、棚変化モデル１３２と、前景情報１３３と、人物情報１３４とを記憶する。なお、第１記憶部１３０は、画像処理装置１００とは異なる記憶装置で実現されてもよいし、第１変化検出部１２０に内蔵されてもよい。また、背景情報１３１と、棚変化モデル１３２と、前景情報１３３と、人物情報１３４とは、同一の記憶装置に格納されてもよいし、別々の記憶装置に格納されてもよい。

背景情報１３１は、第１変化検出部１２０が撮像画像と比較するための基準となる画像である。背景情報１３１は、背景画像とも呼ぶ。背景情報１３１は、例えば、撮像画像と同じ種類の画像であることが好ましい。本実施形態では、上述した通り、撮像画像はＲＧＢ画像である。そのため、背景情報１３１もＲＧＢ画像であることが好ましい。なお、背景情報１３１は、第１取得部１１０から第１変化検出部１２０に対して最初に供給された撮像画像であってもよいし、事前に与えられた画像であってもよい。

また、後述するように、背景情報１３１は、更新可能な情報である。背景情報１３１を更新する際の処理の詳細は、後述される。

棚変化モデル１３２は、事前に学習された、商品棚３の変化をモデル化したものである。棚変化モデル１３２は、例えば、予め第１記憶部１３０に格納されている。棚変化モデル１３２は、例えば、一般的に広く知られているＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなどの機械学習を用いて学習されることによって得られてもよい。

棚変化モデル１３２は、例えば、商品棚３に商品が含まれる画像と商品棚３に商品が含まれない画像とを用いて学習された「商品棚３に商品が含まれなくなったことによる変化」または「商品棚３に商品が新たに含まれたことによる変化」を表す。また、棚変化モデル１３２は、複数の商品の画像および各商品の形状が変化した複数の画像を用いて学習された「商品棚３に陳列された商品の見た目が変わったことによる変化」を表す。また、棚変化モデル１３２は、商品棚３の前に何も対象物が存在しない状態で撮像された撮像画像と、商品棚３の前に人物などの対象物が存在する状態で撮像された撮像画像とを用いて学習された、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」等を表す。また、棚変化モデル１３２は、様々な環境下で画像を用いて学習された、例えば、「照明が変わったことによる変化」を表してもよい。

棚変化モデル１３２の学習データは、例えば、変化前後の２つのＲＧＢ画像を結合した６チャネル画像でもよいし、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか１つを結合した２チャネル画像でもよい。また、学習データは、例えば、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか２つを結合した４チャネル画像でもよいし、変化前後の２つのＲＧＢ画像をグレースケール画像に変換してから結合した２チャネル画像でもよい。また、学習データは、変化前後のＲＧＢ画像をＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間など他の色空間に変換し、他の色空間への変換後の色空間における１つまたは複数のチャネルを結合した画像でもよい。

また、棚変化モデル１３２の学習データは、ＲＧＢ画像のようなカラー画像から生成されたものであってもよいし、カラー画像と距離画像との両方を用いて生成されたものであってもよい。

前景情報１３３は、前景領域検出部１２１により格納される情報である。前景情報１３３は、前景領域検出部１２１が背景画像である背景情報１３１と撮像画像であるＲＧＢ画像とを比較した結果検出する、ＲＧＢ画像のうちの背景画像と異なる領域である前景領域（変化領域）を示す情報を含む。具体的には、前景情報１３３は、例えば、撮像画像の撮像時刻が関連付けられた２値画像である。なお、前景情報１３３を格納する処理の詳細は後述される。

人物情報１３４は、前景領域追跡部１２３により格納される情報である。人物情報１３４は、例えば、前景領域追跡部１２３が抽出した人物領域に撮像装置のＩＤ（カメラＩＤ）や人物ＩＤや撮像画像上の位置や撮像画像の撮像時刻などを関連付けることで生成される。後述するように、人物領域は、例えばＲＧＢ画像である。換言すると、人物情報１３４は、例えば、格納された人物領域の色、面積、形状および外接矩形のアスペクト比などを示す情報を含むことができる。なお、人物情報１３４を格納する処理の詳細も後述される。

第１変化検出部１２０は、商品棚３に関する変化領域を検出する。

第１変化検出部１２０は、例えば、撮像画像に含まれる商品棚３に陳列された商品が、撮像画像よりも前に取得された画像（例えば背景画像）に含まれない場合、その商品の領域を検出する。また、第１変化検出部１２０は、例えば、背景画像に含まれる商品棚３に陳列された商品が撮像画像に含まれない場合、その商品の領域を検出する。また、第１変化検出部１２０は、例えば、撮像画像に含まれる商品棚３に陳列された商品と背景画像に含まれる商品との見え方が異なる場合、その商品の領域を検出する。このように、第１変化検出部１２０は、撮像画像に基づいて、商品が減った（無くなった）、商品が増えた（新たに出現した）、商品の見た目が変わった、などの商品の陳列状態の変化を検出する。

また、第１変化検出部１２０は、例えば、撮像画像が商品棚３と撮像装置２との間に人物や物体が存在した時に撮像された場合、商品棚３を撮像した撮像画像に含まれる人物や物体の領域を検出する。

以上のように、第１変化検出部１２０は、商品の陳列状態が変化した領域である商品棚３の内部の変化領域や、商品棚３と撮像装置２との間に存在した人物や物体による撮像画像の変化領域など、商品棚３に関する変化領域を検出する。

図４に例示する通り、第１変化検出部１２０は、前景領域検出部１２１と、背景情報更新部１２２と、前景領域追跡部１２３と、第１抽出部１２４と、第２抽出部１２５と、領域変化分類部１２６とを有する。

前景領域検出部１２１は、第１取得部１１０から供給された撮像画像を受け取る。また、前景領域検出部１２１は、撮像画像に対応する背景情報１３１を第１記憶部１３０から取得する。上述した通り、背景情報１３１はＲＧＢ画像である。前景領域検出部１２１は、２つのＲＧＢ画像である撮像画像と背景情報１３１とを比較する。そして、前景領域検出部１２１は、比較した２つのＲＧＢ画像の間で変化した領域を変化領域として検出する。前景領域検出部１２１は、背景画像である背景情報１３１と撮像画像であるＲＧＢ画像とを比較するため、背景画像と異なる領域である前景領域を検出する処理を行っているとも言える。

なお、本実施形態において、前景領域検出部１２１が変化領域を検出する方法は特に限定されない。前景領域検出部１２１は、既存の技術を用いて変化領域を検出してもよい。前景領域検出部１２１は、例えば、背景差分法を用いて変化領域を検出してもよい。前景領域検出部１２１は、検出された変化領域の画素値を２５５、それ以外の画素値を０で表した２値画像を生成してもよい。

ここで、前景領域検出部１２１の動作の一例について、図５を参照してより具体的に説明する。図５は、前景領域検出部１２１の動作例を示す説明図である。図５（ａ）は撮像画像の一例を示し、図５（ｂ）は第１記憶部１３０に格納された撮像画像に対応する背景情報１３１の一例を示す。また、図５（ｃ）は、変化領域の検出結果である２値画像の一例を示す。

図５（ａ）および図５（ｂ）を参照すると、撮像画像と背景情報１３１とでは、商品Ｇ１、商品Ｇ２、商品Ｇ３の３つの領域に差異がある。例えば、図５（ａ）および図５（ｂ）に示す例の場合、商品Ｇ１は、背景情報１３１には含まれないが、撮像画像には含まれる。また、商品Ｇ３は、背景情報１３１には含まれるが、撮像画像には含まれない。また、撮像画像に含まれる商品Ｇ２の位置には、背景情報１３１上では他の商品が陳列されている。したがって、前景領域検出部１２１は、商品Ｇ２の領域も変化があった領域として検出する。このような場合、前景領域検出部１２１は、例えば、図５（ｃ）に例示するような、商品Ｇ１、商品Ｇ２および商品Ｇ３の領域に相当する部分を白で表現し、その他の部分を黒で表現した２値画像を生成する。

なお、以降の説明において、変化領域とは、図５（ｃ）に例示する白色の各部分を示す。つまり、変化領域とは、例えば、画素値が２５５の画素であり、且つ、その画素に隣接する画素の何れかの画素値が２５５の画素の集合である。図５（ｃ）に示す例では、前景領域検出部１２１は、３つの変化領域を検出する。

上述したように、前景領域検出部１２１は、例えば、撮像画像と同じサイズの２値画像を生成する。また、前景領域検出部１２１は、検出結果である２値画像に、その２値画像の生成に用いた撮像画像の撮像時刻を関連付ける。前景領域検出部１２１は、２値画像に、２値画像の生成に用いた撮像画像を示す情報や背景情報１３１を示す情報などを関連付けてもよい。そして、前景領域検出部１２１は、撮像画像の撮像時刻などが関連付けられた検出結果を、背景情報更新部１２２と、前景領域追跡部１２３とに供給する。また、前景領域検出部１２１は、撮像画像の撮像時刻が関連付けられた検出結果を、前景情報１３３として第１記憶部１３０に格納する。

なお、前景領域検出部１２１による検出結果は、検出した変化領域を示す情報を含んでいればよい。前景領域検出部１２１は、例えば、検出した変化領域（画素値が２５５の領域）の位置を表す情報とその大きさとを変化領域の検出に用いた撮像画像を示す情報および背景画像を示す情報に関連付け、検出結果として出力してもよい。このように、前景領域検出部１２１が出力する検出結果は、どのような形式であってもよい。

また、前景領域検出部１２１は、検出結果である２値画像に、撮像画像の撮像時刻を関連付けるとともに、撮像画像から抽出した変化領域に含まれる色情報を関連付けてもよい。前景領域検出部１２１は、変化領域の色情報の代わりに、変化領域の画像を検出結果に関連付けてもよい。このように、前景領域検出部１２１は、撮像時刻以外の情報も検出結果に関連付けてよい。

また、図５（ｃ）に例示するように、前景領域検出部１２１が生成する２値画像には、複数の変化領域が含まれる場合がある。このような場合、前景領域検出部１２１は、変化領域ごとの２値画像を生成してもよい。前景領域検出部１２１が変化領域ごとに２値画像を生成する方法については、前景領域検出部１２１の変形例として、後述される。

前景領域追跡部１２３は、前景領域検出部１２１が検出した変化領域を複数の撮像画像の間で追跡する。前景領域追跡部１２３は、追跡した結果に応じて、２値画像を第１抽出部１２４および第２抽出部１２５に供給したり、人物領域を抽出したりする。また、前景領域追跡部１２３は、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給する。

前景領域追跡部１２３は、例えば、前景領域検出部１２１から供給された検出結果（２値画像）を受け取る。また、前景領域追跡部１２３は、検出結果である２値画像に関連付けられた、その２値画像に関連する撮像画像の撮像時刻よりも前に撮像された撮像画像から生成された２値画像である前景情報１３３を第１記憶部１３０から取得する。そして、前景領域追跡部１２３は、各２値画像によって表される各変化領域を対応付ける処理を行うことにより、その変化領域を追跡する。

前景領域追跡部１２３は、様々な方法を用いて変化領域を追跡できる。前景領域追跡部１２３は、例えば、前景領域検出部１２１から供給された２値画像と、第１記憶部１３０から取得した前景情報１３３とによって表される変化領域の、面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出する。そして、前景領域追跡部１２３は、算出した類似度が最も高くなる変化領域同士を対応付けることで、変化領域を追跡する。また、色情報を検出結果に関連付ける構成の場合、前景領域追跡部１２３は、その色情報を用いて追跡を行ってもよい。前景領域追跡部１２３は、検出結果に関連付けられた変化領域の画像に基づいて追跡を行ってもよい。

前景領域追跡部１２３は、追跡した結果が所定の時間以上であるか、または、変化領域の移動量が所定の閾値以上であるかを確認する。なお、前景領域追跡部１２３が確認に用いる所定の時間および所定の閾値の値は任意である。

変化領域の移動量が所定の閾値未満であり、追跡した結果が所定の時間以上である場合、前景領域追跡部１２３は、前景領域検出部１２１から供給された検出結果である２値画像を第１抽出部１２４および第２抽出部１２５に供給する。このとき、前景領域追跡部１２３は、例えば、２値画像に、２値画像の生成に用いた撮像画像を示す情報および背景情報１３１を示す情報を付与して、その２値画像を第１抽出部１２４および第２抽出部１２５に供給する。前景領域追跡部１２３は、例えば、２値画像と共に、対応する撮像画像および背景情報１３１を第１抽出部１２４および第２抽出部１２５に供給してもよい。また、２値画像に複数の変化領域が含まれ、変化領域の何れかが所定の時間以上追跡されていない場合、前景領域追跡部１２３は、所定の時間以上追跡された変化領域を示す情報と共に、２値画像を第１抽出部１２４および第２抽出部１２５に供給してもよい。

なお、２値画像に複数の変化領域が含まれる場合、前景領域追跡部１２３は、１つの２値画像に１つの変化領域が含まれるように複数の２値画像を生成してもよい。例えば、所定の時間以上追跡された変化領域のみが含まれる２値画像を第１抽出部１２４および第２抽出部１２５に供給し、所定の時間以上追跡されていない変化領域が含まれる２値画像を破棄してもよい。なお、前景領域追跡部１２３は、前景領域検出部１２１から変化領域ごとの２値画像を検出結果として受け取ってもよい。

また、変化領域の移動量が所定の閾値以上である場合、前景領域追跡部１２３は、変化領域に含まれる物体が動体であると判定する。このように変化領域に含まれる物体が動体であると判定した場合、前景領域追跡部１２３は、その変化領域を第１抽出部１２４および第２抽出部１２５に供給することを抑制する。これにより、画像処理装置１００は「商品棚３の前に人物が存在することによる変化」など、商品の増減に無関係な商品棚３に関する変化を削除できる。これにより、商品の陳列状態をより正確に監視することが可能になる。

なお、前景領域追跡部１２３は、変化領域に含まれる物体が動体であると判定した判定結果を、その変化領域に関連付けて第１抽出部１２４および第２抽出部１２５に供給してもよい。そして、領域変化分類部１２６は、変化領域に判定結果が関連付けられている場合、この変化領域における商品棚３に関する変化を、商品棚３に陳列された商品以外の変化に関連する種類に分類してもよい。例えば、領域変化分類部１２６は、変化領域における商品棚３に関する変化を、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」等、商品以外の変化に関する種類に分類してもよい。

前景領域追跡部１２３は、撮像画像から動体と判定した変化領域を人物領域として抽出する。具体的には、前景領域追跡部１２３は、撮像画像と、その撮像画像と同じサイズである２値画像とを用いて、２値画像における画素値が２５５の領域に対応する撮像画像上の領域の画像を第１注目画像として抽出する。上述した通り、撮像画像はＲＧＢ画像である。そのため、抽出された人物領域も、ＲＧＢ画像である。

なお、前景領域追跡部１２３は、動体と判定された変化領域ごとに、その変化領域と同じ形状の領域の人物領域を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域を人物領域として抽出してもよい。変化領域に外接する枠の形状は、例えば、矩形、楕円形などどのような形状であってもよい。また、前景領域追跡部１２３は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域を人物領域として抽出してもよい。

次に、前景領域追跡部１２３は、抽出した人物領域に撮像装置２のＩＤ（カメラＩＤ）や、例えば抽出した人物領域ごとに付与する人物ＩＤ、撮像画像上の位置、撮像画像の撮像時刻などを関連付ける。そして、前景領域追跡部１２３は、関連付けた情報を人物情報１３４として第１記憶部に格納する。なお、撮像画像上の位置は、例えば、動体と判定された変化領域の外接矩形の四隅の座標値で表現されてもよいし、四隅の少なくとも１か所の座標値と外接矩形の幅および高さで表現されてもよい。

また、前景領域追跡部１２３は、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給する。

前景領域追跡部１２３は、例えば、変化領域の追跡後、第１抽出部１２４および第２抽出部１２５に変化領域を示す検出結果を供給する場合に、値が１の更新信号を、変化領域を示す情報と共に背景情報更新部１２２供給する。値が１の更新信号は、背景情報１３１における変化領域に対応する部分の画像を更新することを示している。また、前景領域追跡部１２３は、第１抽出部１２４および第２抽出部１２５に検出結果を供給しない場合に、値が０の更新信号を、その変化領域を示す情報と共に背景情報更新部１２２に供給してもよい。値が０の更新信号は、背景情報１３１における変化領域に対応する部分の画像を更新しないことを示している。なお、第１抽出部１２４および第２抽出部１２５に検出結果を出力しない場合とは、例えば、追跡結果が所定の時間未満である場合、または、変化領域の移動量が所定の閾値以上である場合である。

なお、前景領域追跡部１２３は、上記例示した以外のタイミングで、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給してもよい。前景領域追跡部１２３は、例えば、画像処理装置１００の外部装置（図示せず）から送信される商品の購入情報や仕入情報、店員の作業情報等に基づいて、変化領域に含まれる商品が購入されたまたは補充された可能性が高いと判断される場合に、商品棚３の背景を更新するように値が１の更新信号を出力してもよい。前景領域追跡部１２３は、追跡の結果に含まれる追跡の時間等に基づいて、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給してもよい。

背景情報更新部１２２は、第１取得部１１０から供給された撮像画像と、前景領域検出部１２１から供給された検出結果と、第１記憶部１３０に格納されている背景情報１３１であるＲＧＢ画像と、前景領域追跡部１２３から供給された更新信号とに基づいて背景情報１３１を更新する。背景情報更新部１２２が背景情報１３１を更新する方法は特に限定されない。背景情報更新部１２２は、例えば、非特許文献１と同様の方法を用いて背景情報１３１を更新してもよい。

なお、背景情報更新部１２２は、背景情報１３１によって示されるＲＧＢ画像のうち、例えば、前景領域検出部１２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新しなくてもよい。背景情報更新部１２２は、例えば、上述した値が０の更新信号を前景領域追跡部１２３から受け取った場合、変化領域に対応する領域の背景情報を更新しない。

上述したように、前景領域追跡部１２３は、第１抽出部１２４および第２抽出部１２５に検出結果を出力しない場合、値が０の更新信号を背景情報更新部１２２に供給する。背景情報更新部１２２は、このように、追跡結果が第１の所定の条件を満たす場合に、値が０の更新信号を受け取り、変化領域に対応する領域の背景情報を更新しない。言い換えると、追跡結果が第１の所定の条件を満たす場合、背景情報更新部１２２は、背景情報１３１のうち、変化領域に対応する領域以外を更新する。これにより、第１取得部１１０が次に取得した撮像画像の、更新を行なわなかった領域に対応する領域が前景領域検出部１２１によって変化領域として検出されやすくなる。

また、背景情報更新部１２２は、例えば、前景領域追跡部１２３から供給された更新信号の値が１の場合に、背景情報１３１によって示されるＲＧＢ画像のうち、前景領域検出部１２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新する。上述したように、前景領域追跡部１２３は、追跡結果が所定の時間以上である場合、追跡した変化領域を表す検出結果を第１抽出部１２４および第２抽出部１２５に供給するとともに、値が１の更新信号を背景情報更新部１２２に供給する。つまり、追跡結果が所定の時間以上追跡された結果であるという第２の所定の条件を満たす場合、背景情報更新部１２２は、前景領域追跡部１２３から値が１の更新信号を受け取り、背景情報１３１におけるその変化領域に該当する部分の画像を更新する。これにより、背景情報更新部１２２は、第１記憶部１３０に格納された背景情報１３１をその時点において第１取得部１１０が取得した撮像画像に近づけることができる。したがって、画像処理装置１００は、上記変化領域に対応して次に第１取得部１１０が取得する撮像画像上の領域を、前景領域検出部１２１が変化領域として検出することを防ぐことができる。

第１抽出部１２４は、前景領域追跡部１２３から、検出結果である２値画像を受け取る。また、第１抽出部１２４は、２値画像の生成に用いた撮像画像を第１取得部１１０から取得する。なお、第１抽出部１２４は、撮像画像を２値画像と共に前景領域追跡部１２３から受け取ってもよい。

第１抽出部１２４は、撮像画像から変化領域の画像を抽出する。具体的には、第１抽出部１２４は、撮像画像と、その撮像画像と同じサイズである２値画像とを用いて、２値画像における画素値が２５５の領域に対応する撮像画像上の領域の画像を第１注目画像として抽出する。例えば、２値画像が図５（ｃ）の場合、第１抽出部１２４は、撮像画像から３つの第１注目画像を抽出する。上述した通り、撮像画像はＲＧＢ画像であるため、抽出された第１注目画像も、ＲＧＢ画像である。

なお、第１抽出部１２４は、変化領域ごとに、その変化領域と同じ形状の領域の第１注目画像を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域の画像を第１注目画像として抽出してもよい。変化領域に外接する枠の形状は、例えば、矩形、楕円形など、どのような形状であってもよい。また、第１抽出部１２４は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域の画像を第１注目画像として抽出してもよい。

第１抽出部１２４は、抽出した第１注目画像を領域変化分類部１２６に供給する。なお、第１抽出部１２４が抽出した第１注目画像の撮像画像上における領域を第１注目領域とも呼ぶ。また、第１抽出部１２４は第１注目領域の位置情報を取得し、その位置情報と撮像時刻とを関連付けて、それらを第１関連性生成部１４０に供給する。なお、第１注目領域の位置情報は、例えば、第１注目領域の外接矩形の四隅の座標値でもよいし、四隅の少なくとも１か所の座標値と外接矩形の幅および高さで表現されてもよい。また、外接矩形が円形ならば、第１注目領域の位置情報は、例えば、円の中心座標と円の半径でもよい。また、外接矩形が楕円形ならば、第１注目領域の位置情報は、例えば、楕円の中心座標と楕円の長径と短径でもよい。

第２抽出部１２５は、前景領域追跡部１２３から、検出結果である２値画像を受け取る。また、第２抽出部１２５は、２値画像の生成に用いた背景情報１３１を第１記憶部１３０から取得する。なお、第２抽出部１２５は、背景情報１３１を２値画像と共に前景領域追跡部１２３から受け取ってもよい。

第２抽出部１２５は、背景情報１３１から変化領域の画像を抽出する。具体的には、第２抽出部１２５は、背景画像である背景情報１３１と２値画像とを用いて、２値画像における画素値が２５５の領域に対応する背景情報１３１上の領域の画像を第２注目画像として抽出する。第２注目画像の抽出方法は、第１注目画像の抽出方法と同様である。第２抽出部１２５は、抽出した第２注目画像を領域変化分類部１２６に供給する。なお、第２抽出部１２５が抽出した第２注目画像の背景情報１３１上における領域を第２注目領域とも呼ぶ。

領域変化分類部１２６は、変化領域における商品棚３に関する変化を分類し、分類結果を第１関連性生成部１４０に供給する。領域変化分類部１２６は、第１抽出部１２４および第２抽出部１２５から供給された、第１注目領域および第２注目領域と、第１記憶部１３０に格納された棚変化モデル１３２とに基づいて、背景画像上の検出された変化領域に対応する領域の画像の状態から、撮像画像上の変化領域に対応する領域の画像の状態への変化を分類する。

画像の状態とは、例えば、画像に商品が含まれるまたは含まれない状態、画像に顧客が含まれるまたは含まれない状態、画像に買い物かごが含まれるまたは含まれない状態、画像に買い物カートが含まれるまたは含まれない状態等、である。領域変化分類部１２６は、棚変化モデル１３２に基づいて、変化領域における商品棚３に関する変化を、例えば、「商品棚３に商品が含まれなくなったことによる変化」、「商品棚３に商品が新たに含まれたことによる変化」、「商品棚３に陳列された商品の見た目が変わったことによる変化」、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」、「照明が変わったことによる変化」などの、変化の種類に分類する。なお、領域変化分類部１２６が変化領域における状態の変化を分類する種類は、一例であり、これらに限定されない。また、例えば、「商品棚３に陳列された商品の見た目が変わったことによる変化」は、「異なる商品になったことによる見た目の変化」なのか、「商品の姿勢が変わったことによる見た目の変化」なのか等、更に詳細に分類されてもよい。

より詳細に説明すると、領域変化分類部１２６は、第１抽出部１２４から第１注目画像を受け取る。また、領域変化分類部１２６は、第２抽出部１２５から第２注目画像を受け取る。そして、領域変化分類部１２６は、第１記憶部１３０に格納された棚変化モデル１３２に基づいて、第２注目画像の状態から、その第２注目画像に対応する第１注目画像の状態への変化を、例えば上述した種類に分類する。言い換えると、領域変化分類部１２６は、第２注目画像の状態から第１注目画像の状態への変化を、棚変化モデル１３２と比較した結果に基づいて分類する。

図６は、領域変化分類部１２６が出力する分類結果の例を示す説明図である。領域変化分類部１２６は、例えば、図６に例示する分類結果９０を出力する。

図６に例示する通り、分類結果９０は、例えば、第２注目画像９１と、第１注目画像９２と、変化の種類９３とを含む。なお、図６に示す分類結果９０は一例であり、分類結果９０が図６に例示する情報以外の情報を含んでもよい。分類結果９０は、例えば、撮像画像に関する情報（識別子、撮像時刻など）や第１注目画像９２の撮像画像における位置を示す情報などを含んでもよい。

なお、領域変化分類部１２６は、例えば、棚変化モデル１３２を作成した機械学習法（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなど）を用いて、商品棚３に関する変化を上述した種類の何れかに分類してもよい。

以上が、第１変化検出部１２０の構成の一例である。

第１関連性生成部１４０は、第１変化検出部１２０から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第１関連性生成部１４０は、第１記憶部１３０から人物情報１３４を取得する。そして、第１関連性生成部１４０は、変化領域の位置情報に対応するその変化領域の撮像時刻と、人物情報１３４に紐づいたその人物の撮像時刻とに基づいて、その変化領域に対応する商品（商品の陳列状態の変化）と人物との関係を示す、商品と人物の関連性情報を生成する。その後、第１関連性生成部１４０は、生成した商品と人物の関連性情報を関連性統合部１５０に供給する。

具体的には、第１関連性生成部１４０は、例えば、変化領域を検出した撮像時刻より前の時刻に撮像された人物の中から、その変化領域と交差した人物を抽出する。そして、第１関連性生成部１４０は、抽出された人物の中で最もその変化領域の撮像時刻に近い時刻で撮像された人物とその変化領域とを関連付ける。

図７は、第１関連性生成部１４０が生成する商品と人物との関連性情報の例を示す説明図である。図７には、撮像装置のＩＤを示すカメラＩＤと、その撮像装置に映った人物を示す人物ＩＤと、商品棚の変化領域の位置情報と、その変化の分類結果が例示されている。図７では、変化領域の位置情報は、変化領域の外接矩形の１つの隅の座標値と外接矩形の幅と高さで表現されている。また、変化の種類は、「商品棚３に商品が含まれなくなったことによる変化」を「商品減少」、「商品棚３に商品が新たに含まれたことによる変化」を「商品増加」として示されている。

なお、第１関連性生成部１４０は、例えば、生成した人物と商品の関連性情報と、第１記憶部１３０に格納されている人物情報１３４とを関連付けて、関連性統合部１５０に供給してもよい。また、第１関連性生成部１４０は、撮像画像に関する情報（識別子、撮像時刻など）を関連性情報に付与してもよい。

関連性統合部１５０は、第１関連性生成部１４０から商品と人物の関連性情報を受け取る。そして、関連性統合部１５０は、受け取った関連性情報に同一人物の関連性情報が存在する場合、それらを１つに統合する。その後、関連性統合部１５０は、統合した関連性情報を陳列検出部１６０に供給する。

関連性統合部１５０は、例えば、第１記憶部１３０の人物情報１３４に格納された人物領域の色、面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出する。そして、関連性統合部１５０は、算出した類似度が最も高くなる人物領域同士を同一人物と判定する。上述したように、関連性統合部１５０は、同一人物と判定した関連性情報を統合する。

図８は、図７に例示した商品と人物との関連性情報を統合した例を示す説明図である。図８に示す例では、図７に例示する人物ＩＤ＝１と人物ＩＤ＝４の関連性情報が１つに統合されている。また、図７に例示する人物ＩＤ＝２と人物ＩＤ＝３の関連性情報も１つに統合されている。つまり、図８では、図７に例示する人物ＩＤ＝１と人物ＩＤ＝４の人物が同一人物であり、図７に例示する人物ＩＤ＝２と人物ＩＤ＝３の人物が同一人物である場合の一例を示している。

なお、図８に示す例では、統合の一例として、関連性情報を統合する際に、２つの人物ＩＤを比較し、小さな値の人物ＩＤを統合後の関連性情報の人物ＩＤとして採用しているが、大きな値の人物ＩＤを採用してもよい。また、例えば、関連性情報を統合した後に、人物ＩＤを付与しなおしてもよい。また、後述する人物識別装置５０が人物を識別する際に使用した人物ＩＤが採用されてもよく、人物が携帯する端末１０を識別する識別情報が採用されてもよい。

陳列検出部１６０は、関連性統合部１５０から統合した関連性情報を受け取り、関連性統合部１５０が統合した関連性情報に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。陳列検出部１６０は、例えば、商品を取得した場所と商品を戻した場所を比較することなどにより、商品が取られた場所とは異なる場所に戻されたことを検出する。

以下、図８を参照して、陳列検出部１６０の動作を具体的に説明する。陳列検出部１６０は、人物ＩＤごとに位置情報と変化の種類とを比較する。図７に示す例では、人物ＩＤ＝１の人物が、カメラＩＤ＝１の撮像装置に映る商品棚の（１０，０）の場所から商品を取得し、（２５０，３００）の場所に商品を戻している。また、取得した商品と戻した商品は、外接矩形の幅と高さがともに（３０，５０）であり、同一の商品と判断される。これより、陳列検出部１６０は、人物ＩＤ＝１の人物が、商品を取得した棚と同じ棚ではあるが異なる場所に戻したことを検知する。なお、人物ＩＤ＝２の人物は、同一の商品を取得した場所と同一の場所に戻している。そのため、陳列検出部１６０は、この行動を、商品が取られた場所とは異なる場所に戻されたとは検出しない。

このように、陳列検出部１６０は、例えば、同一人物が商品を異なる場所に戻したことを検知することで、商品が取られた場所とは異なる場所に戻されたことを検出する。なお、陳列検出部１６０は、例えば、同じ場所に戻したものの商品の見た目が変わっている場合などにも、商品が取られた場所とは異なる場所に戻されたことを検出する。なお、このように、陳列検出部１６０は、商品が取られた場所とは異なる場所に戻され、商品が再度配置されたことを検出することから、再配置検出手段ということができる。

以上が、画像処理装置１００が有する各構成の一例である。

端末１０は、顧客が携帯する装置であり、例えば、携帯端末やタブレット端末等により実現される。端末１０は、顧客を識別する情報を記憶しており、後述する人物識別装置５０が、端末１０と顧客（人物）とを関連付ける際に利用される。端末１０は、例えば、顧客を識別する情報を、ラベル（バーコードなど）として表示してもよく、近距離無線通信で送信してもよい。

また、端末１０は、後述する通知部２３からの通知に応じ、人が知覚できる態様（表示、振動、光、音声など）で、各種情報を顧客に通知する。なお、通知部２３が通知する具体的な内容は後述される。

人物識別装置５０は、人物を識別する装置である。なお、本実施形態では、人物識別装置５０は、人物そのものの特性（例えば、性別、年齢、身長等）まで識別する必要はなく、他の人物と区別可能に識別できればよい。例えば、図８に示す例では、人物ＩＤ＝１の人物と、ＩＤ＝２の人物と、ＩＤ＝５の人物がそれぞれ別人であると識別できればよい。人物識別装置５０は、例えば、店舗に入口に設けられて、人物を識別する。

本実施形態では、人物識別装置５０は、撮像画像に基づいて人物を識別する。人物識別装置５０が人物を識別する方法は任意である。人物識別装置５０は、例えば、入店した人物を撮像した画像から、上述する関連性統合部１５０が人物の類似度を算出する際に用いる情報（人物領域の色、面積、形状および外接矩形のアスペクト比、など）を取得してもよい。そして、人物識別装置５０は、取得した情報を用いて人物を識別してもよい。

さらに、人物識別装置５０は、識別した人物と、その人物が携帯する装置（端末１０）とを関連付けてもよい。具体的には、人物識別装置５０は、店舗の入口に設けられたセンサ（図示せず）で端末１０を検知したときに人物を撮像し、撮像された画像で識別される人物と端末１０の識別情報とを関連付けてもよい。この場合、人物識別装置５０は、撮像装置およびセンサを含む装置により実現される。なお、この撮像装置とセンサとは別のハードウェアで実現されていてもよい。また、人物が携帯する装置は、携帯電話などのハードウェアに限定されず、例えば、ＩＣカードのような媒体であってもよい。

具体的には、顧客が端末１０にインストールされたアプリケーションプログラムを起動することで、顧客の識別情報を表示させ、顧客がその識別情報を人物識別装置５０に識別させたときに、人物識別装置５０が、人物と端末１０とを関連付けてもよい。

図９は、買い物リスト管理装置２０の構成例を示すブロック図である。買い物リスト管理装置２０は、買い物リストを人物ごとに管理する。買い物リスト管理装置２０は、買い物リスト生成部２１と、買い物リスト更新部２２と、通知部２３と、買い物リスト記憶部２４とを含む。

買い物リスト記憶部２４は、人物ごとに買い物リストを記憶する。買い物リスト記憶部２４は、例えば、上述する人物ＩＤと対応付けて買い物リストを記憶してもよい。また、買い物リスト記憶部２４は、上述する人物識別装置５０が、人物を識別した際に付与する識別子と対応付けて買い物リストを記憶してもよい。また、人物と端末１０とが対応付けられている場合、買い物リスト記憶部２４は、人物および端末１０を買い物リストと対応付けて記憶してもよい。

買い物リスト生成部２１は、買い物リストを生成し、買い物リスト記憶部２４に登録する。買い物リスト生成部２１は、例えば、人物識別装置５０が人物を識別したときに、その人物に対応する買い物リストを生成してもよい。また、買い物リスト生成部２１は、例えば、人物識別装置５０が人物と端末１０とを関連付けたときに、その人物に対応する買い物リストを生成してもよい。この場合、買い物リストが人物の携帯する端末１０と対応付けられるため、後述する通知部２３が、買い物リストに生じた変化を、端末１０に通知することが可能になる。

また、セルフレジシステム１が人物識別装置５０を含まない場合（すなわち、端末１０と買い物リストとが関連付けられていない場合）、買い物リスト生成部２１は、第１関連性生成部１４０が人物と商品との関連性情報を生成したときに買い物リストを生成してもよい。この場合、買い物リスト生成部２１は、関連性統合部１５０が関連性情報を統合したときに、買い物リストも統合すればよい。このように、買い物リストは、各人物に対応づけて管理される。

買い物リスト更新部２２は、商品の陳列状態の変化に基づいて、買い物リスト記憶部２４に記憶された買い物リストの内容を更新する。買い物リスト更新部２２は、買い物リストの内容を更新するごとに端末１０に買い物リストを送信してもよい。本実施形態では、商品の陳列状態が変化すると、商品棚の変化領域の位置情報と、その変化の分類が特定される。そこで、買い物リスト更新部２２は、陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定する。

棚割り情報は、各店舗の商品棚に対して予め準備された商品の配置位置を表す情報である。棚割り情報は、例えば、商品棚番号（段）および列の番号と、その番号の位置に配置される商品名とを対応付けた情報である。また、撮像装置２が撮像する位置と商品棚の位置とは予め対応付けて管理される。そのため、撮像装置２が撮像する画像の商品棚の領域と棚割り情報とを対応付けることで、商品を特定することが可能になる。

図１０は、棚割り情報の例を示す説明図である。図１０に示す例では、画像Ｉ１は、撮像装置であるカメラＩＤ＝１のカメラで撮像された画像であるとする。また、図１０に例示する棚割り情報Ｉ２は、商品棚の段および列で特定される範囲に配置される商品を表す。例えば、画像Ｉ１に含まれる商品Ｉ３の位置情報が、図８に例示する関連性情報の１行目の位置情報（すなわち、位置情報（１０，０，３０，５０））に一致するとする。この場合、買い物リスト更新部２２は、商品Ｉ３を、棚割り情報Ｉ２の１段目の１列に対応付けられた商品ａであると特定する。

関連性情報には、変化領域の分類結果が含まれる。すなわち、関連性情報から陳列状態の変化を特定することが可能である。そこで、買い物リスト更新部２２は、人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定する。そして、買い物リスト更新部２２は、特定された商品を人物に対応する買い物リストに登録するための登録処理を行う。人物が商品を手に取ったことに起因する陳列状態の変化は、上述する例では、「商品棚３に商品が含まれなくなったことによる変化」に対応し、変化の種類では、「商品減少」に対応する。

買い物リスト更新部２２は、商品を買い物リストに登録するための登録処理として、人物に対応する買い物リストにその商品を登録する処理を行う。また、買い物リスト更新部２２は、登録処理として、後述する通知部２３に商品を登録した旨の情報を端末１０に対して通知させてもよい。その際、通知部２３は、正しい商品が買い物リストに追加されたか否かを端末１０を介して顧客に問い合わせてもよい。

さらに、買い物リスト更新部２２は、陳列検出部１６０による検出結果と棚割り情報に基づいて、戻された商品を人物に対応する買い物リストから削除するための削除処理を行う。なお、本実施形態では、商品が取られた場所とは異なる場所に戻されたことを陳列検出部１６０が検出した場合、買い物リスト更新部２２は、この検出結果および棚割り情報に基づいて、その商品（取られた場所とは異なる場所に戻された商品）を人物に対応する買い物リストから削除するための削除処理を行う。

買い物リスト更新部２２は、商品を買い物リストから削除するための削除処理として、人物に対応する買い物リストからその商品を削除する処理を行う。また、買い物リスト更新部２２は、削除処理として、後述する通知部２３に商品を削除した旨の情報を端末１０に対して通知させてもよい。その際、通知部２３は、正しい商品が買い物リストから削除されたか否かを端末１０を介して顧客に問い合わせてもよい。

また、買い物リスト更新部２２は、買い物リストからその商品をすぐには削除せず、削除処理として、取られた場所とは異なる場所に戻された商品を識別する削除フラグを、買い物リストに含まれる対象の商品に設定してもよい。そして、買い物リスト更新部２２は、後述する通知部２３に削除フラグが設定された旨の情報を端末１０に対して通知させてもよい。その際、同様に、通知部２３は、削除フラグが設定された商品が削除すべき商品か否かを端末１０を介して顧客に問い合わせてもよい。そして、買い物リスト更新部２２は、通知した人物が携帯する端末１０を介して、削除フラグが設定された商品を削除するか否かを表す指示を受信し、その商品を削除する指示を受信した場合に、買い物リストからその商品を削除してもよい。

通知部２３は、買い物リストの情報を端末１０に通知する。上述するように、通知部２３は、買い物リスト更新部２２の処理に応じ、商品の登録および削除、並びに、削除フラグが設定された旨を端末１０に通知してもよい。

また、通知部２３は、買い物リストに削除フラグが設定されている商品が存在する場合、後述する決済装置４０に、決済処理を停止する旨を通知してもよい。このような通知を行うことで、未承認の商品が決済されてしまうことを防止できる。

出力装置３０は、買い物リストの内容を出力する。出力装置３０は、例えば、後述する決済装置４０の近傍に設置され、決済処理の際に買い物リストの内容を出力してもよい。なお、端末１０に買い物リストの内容が出力可能な場合、セルフレジシステム１は、出力装置３０を備えていなくてもよい。出力装置３０は、例えば、ディスプレイなどの表示装置であってもよいし、ＰＯＳ（ｐｏｉｎｔ ｏｆ ｓａｌｅｓ）端末であってもよい。また、出力装置３０はこれらに限定されず、例えば、スピーカや携帯端末であってもよい。

決済装置４０は、買い物リストの内容に基づいて決済処理を行う。例えば、買い物リストが端末１０に関連付けられている場合、決済装置４０は、買い物リストに関連付けられた端末１０に合計金額を通知し、決済処理を行ってもよい。なお、決済装置４０が個人の端末１０を介して決済を行う方法は広く知られており、ここでは詳細な説明は省略する。

一方、買い物リストが端末１０に関連付けられていない場合、決済装置４０は、出力装置３０に買い物リストの内容および合計金額を表示させ、顧客からの入金や、カード支払等の決済処理を受け付けてもよい。なお、入金やカード支払いに基づく決済方法も広く知られているため、ここでは詳細な説明は省略する。

また、決済装置４０は、上述する通知部２３より、決済処理を停止する旨の通知（具体的には、削除フラグが設定されている商品が残っている旨の通知）を受信した場合、その買い物リストに基づく決済処理を停止し、各種アラートを表示してもよい。決済装置４０は、例えば、端末１０に削除フラグが残っている旨の通知を行ってもよい。また、決済装置４０は、例えば、出力装置３０に削除フラグが設定されている商品を表示したり音声案内したりすることで、顧客に確認を促してもよい。

画像処理装置１００（より具体的には、第１取得部１１０と、第１変化検出部１２０と、第１記憶部１３０と、第１関連性生成部１４０と、関連性統合部１５０と、陳列検出部１６０）は、プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、画像処理装置１００が備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、第１取得部１１０、第１変化検出部１２０、第１記憶部１３０、第１関連性生成部１４０、関連性統合部１５０および陳列検出部１６０として動作してもよい。

また、画像処理装置１００に含まれる第１取得部１１０、第１変化検出部１２０、第１記憶部１３０、第１関連性生成部１４０、関連性統合部１５０および陳列検出部１６０は、それぞれが専用のハードウェアで実現されていてもよい。

また、買い物リスト管理装置２０（より具体的には、買い物リスト生成部２１と、買い物リスト更新部２２と、通知部２３）も、プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、買い物リスト管理装置２０が備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、買い物リスト生成部２１、買い物リスト更新部２２および通知部２３として動作してもよい。また、買い物リスト管理装置２０に含まれる買い物リスト生成部２１、買い物リスト更新部２２および通知部２３は、それぞれが専用のハードウェアで実現されていてもよい。

次に、図１１を参照して、本実施形態の画像処理装置１００の動作を説明する。図１１は、本実施形態の画像処理装置１００の動作例を示すフローチャートである。

第１取得部１１０は、商品棚３を撮像した映像信号からＲＧＢ画像である撮像画像を取得する（ステップＳ１００１）。第１取得部１１０は、取得した撮像画像を第１変化検出部１２０に供給する。

第１変化検出部１２０の前景領域検出部１２１は、第１取得部１１０から供給されたＲＧＢ画像である撮像画像と、第１記憶部１３０に格納されているＲＧＢ画像である背景情報１３１とを用いて、２つのＲＧＢ画像の間で変化した領域を変化領域（前景領域）として検出する（ステップＳ１００２）。そして、前景領域検出部１２１は、変化領域の検出結果を背景情報更新部１２２と前景領域追跡部１２３に供給する。前景領域検出部１２１は、例えば、検出した変化領域の画素を２５５とし、その他の領域の画素を０とした２値画像を生成し、その２値画像を、変化領域の検出結果として背景情報更新部１２２と前景領域追跡部１２３に供給する。

また、前景領域検出部１２１は、第１記憶部１３０に前景情報１３３を格納する（ステップＳ１００３）。上述した通り、前景情報１３３は、撮像時刻が関連付けられた検出結果である。

前景領域追跡部１２３は、前景領域検出部１２１から供給された検出結果と、前景情報１３３とに基づいて、変化領域を追跡する（ステップＳ１００４）。前景領域追跡部１２３は、所定の時間以上追跡した変化領域を示す２値画像を、第１抽出部１２４と第２抽出部１２５に供給する。前景領域追跡部１２３は、背景情報１３１の更新を示す更新信号を背景情報更新部１２２に供給する。

なお、前景領域追跡部１２３は、追跡の結果、変化領域の移動量が所定の閾値以上である場合、変化領域に含まれる物体が動体であると判定して、判定した変化領域を人物領域として抽出する。その後、前景領域追跡部１２３は、人物領域に所定の情報を関連付けて人物情報１３４として第１記憶部に格納する。

背景情報更新部１２２は、第１取得部１１０から供給された撮像画像と、前景領域検出部１２１から供給された変化領域の検出結果と、背景情報１３１と、前景領域追跡部１２３から供給された更新信号とに基づいて、背景情報１３１を更新する（ステップＳ１００５）。なお、ステップＳ１００５は、ステップＳ１００４以降の任意のタイミングで行われてもよい。

第１抽出部１２４は、第１取得部１１０から供給された撮像画像と、前景領域追跡部１２３から供給されたその撮像画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１００６）。第１抽出部１２４は、抽出した第１注目画像を領域変化分類部１２６に供給する。

第２抽出部１２５は、前景領域追跡部１２３から供給された検出結果と、第１記憶部１３０から取得した、その検出結果を得るために用いた背景情報１３１とに基づいて、第１抽出部１２４と同様の動作により、背景情報１３１から第２注目画像を抽出する（ステップＳ１００７）。第２抽出部１２５は、抽出した第２注目画像を領域変化分類部１２６に供給する。なお、ステップＳ１００６とステップＳ１００７とは同時に行われてもよいし、逆順で行われてもよい。

領域変化分類部１２６は、第１抽出部１２４から供給された第１注目画像と、第２抽出部１２５から供給された第２注目画像と、第１記憶部１３０に格納された棚変化モデル１３２とに基づいて、商品棚３に関する変化を分類する（ステップＳ１００８）。具体的には、商品棚３に関する変化は、第２注目画像における状態から第１注目画像における状態への変化である。

第１関連性生成部１４０は、第１変化検出部１２０の領域変化分類部１２６から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第１関連性生成部１４０は、第１記憶部１３０から人物情報１３４を取得する。そして、第１関連性生成部１４０は、変化領域を検出した撮像時刻より前の時刻に撮像された人物の中から、その変化領域と交差した人物を抽出する。その後、第１関連性生成部１４０は、抽出された人物の中で最もその変化領域の撮像時刻に近い時刻で撮像された人物とその変化領域を関連付ける（ステップＳ１００９）。これにより、第１関連性生成部１４０は、関連性情報を生成する。

関連性統合部１５０は、第１関連性生成部１４０から商品と人物の関連性情報を受け取り、同一人物の関連性情報が存在する場合、それらを１つに統合する。関連性統合部１５０は、例えば、第１記憶部１３０の人物情報１３４に格納された人物領域の色、面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出する。そして、関連性統合部１５０は、算出した類似度が最も高くなる人物領域同士を同一人物と判定する。その後、関連性統合部１５０は、同一人物と判定した人物を含む関連性情報を１つに統合する（ステップＳ１０１０）。

陳列検出部１６０は、関連性統合部１５０から統合した関連性情報を受け取る。そして、陳列検出部１６０は、商品を取得した場所と商品を戻した場所とを比較することなどにより、商品が取られた場所とは異なる場所に戻されたことを検出する（ステップＳ１０１１）。また、陳列検出部１６０は、商品の見た目が変化した場合などに、商品が取られた場所とは異なる場所に戻されたことを検出する。

画像処理装置１００は、第１取得部１１０が次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ１０１２）。次の撮像画像がある場合（ステップＳ１０１２にてＹＥＳ）、処理はステップＳ１００１に移行する。一方、次の撮像画像がない場合（ステップＳ１０１２にてＮＯ）、画像処理装置１００は、動作を終了する。

次に、図１２を参照して、本実施形態のセルフレジシステム１の動作を説明する。図１２は、本実施形態のセルフレジシステム１の動作例を示すフローチャートである。まず、顧客（人物）が店舗に来店すると、人物識別装置５０は、人物を識別し、その人物と端末１０とを関連付ける（ステップＳ１１０１）。また、買い物リスト生成部２１は、その人物に対応する買い物リストを生成する（ステップＳ１１０２）。顧客が入店後、撮像装置２は、撮像画像を取得する（ステップＳ１１０３）、画像処理装置１００は、撮像画像に基づいて、商品の陳列状態の変化を検出する（ステップＳ１１０４）。

人物が商品を手に取ったことに起因する陳列状態の変化を画像処理装置１００が検出すると（ステップＳ１１０５にてＹＥＳ）、買い物リスト更新部２２は、商品棚の棚割り情報に基づいて商品を特定し、特定された商品を人物に対応する買い物リストに登録するための登録処理を行う（ステップＳ１１０６）。一方、人物が商品を手に取ったことに起因する陳列状態の変化を画像処理装置１００が検出していない場合（ステップＳ１１０５にてＮＯ、ステップＳ１１０７の処理に進む。

一方、商品が取られた場所とは異なる場所に戻されたことを画像処理装置１００が検出すると（ステップＳ１１０７にてＹＥＳ）、買い物リスト更新部２２は、その検出結果と棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除するための削除処理を行う（ステップＳ１１０８）。なお、人物が商品を戻したことに起因する陳列状態の変化を画像処理装置１００が検出した場合も、買い物リスト更新部２２は、商品棚の棚割り情報に基づいて商品を特定し、特定された商品を人物に対応する買い物リストから削除する。一方、商品が取られた場所とは異なる場所に戻されたことが検出されなかった場合（ステップＳ１１０７にてＮＯ）、ステップＳ１１０９の処理に進む。

決済装置４０は、買い物リストの内容に基づいて決済処理を行う（ステップＳ１１０９）。

以上のように、本実施形態では、画像処理装置１００（より詳しくは、第１変化検出部１２０）が、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する。また、画像処理装置１００（より詳しくは、陳列検出部１６０）が、検出された商品の陳列状態の変化と、撮像画像に含まれる人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。そして、買い物リスト管理装置２０（より詳しくは、買い物リスト更新部２２）が、人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を人物に対応する買い物リストに登録するための登録処理を行う。また、買い物リスト管理装置２０（より詳しくは、買い物リスト更新部２２）が、陳列検出部１６０による検出結果と棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除するための削除処理を行う。そのため、商品が取られた場所とは異なる場所に戻された場合であっても、顧客が購入する商品を適切に管理できる。

なお、本実施形態では、商品が取られた場所とは異なる場所に戻されたことを画像処理装置１００が検出すると、買い物リスト更新部２２が、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除する方法について説明した。一方、商品レイアウトによっては、同じ商品が複数個所に配置されている場合も存在する。このような状況は、棚割り情報から把握することが可能である。そこで、陳列検出部１６０は、複数の場所に陳列されている同種の商品を棚割り情報に基づいて検出し、商品が取られた場所とは異なる場所に戻された場合でも、その場所が同種の商品が陳列されている場所である場合、同一の場所に戻されたと検出してもよい。

また、上述した通り、棚変化モデル１３２は、商品棚３に関する変化を表すモデルである。そのため、第１変化検出部１２０は、変化領域として検出された領域における商品棚３に関する変化を、商品が商品棚３から取られたことや商品が補充されたことなどの種類に分類してもよい。

したがって、本実施形態の画像処理装置１００は、商品棚３の商品に変化があったことだけではなく、その変化がどのような種類の変化なのかを特定することができる。その結果、画像処理装置１００は、商品が取られた状態であるのか、商品棚３が補充された状態であるのかなどの商品棚３の状態をより正確に判別することができる。

本実施形態で説明した画像処理装置１００は、このような分類結果と人物検出結果から、人物ごとに、商品棚３に陳列された商品を取ったのか、商品棚３に商品を戻したのか、などを判別することが可能である。その結果、画像処理装置１００は、上述するように、商品が取られた場所とは異なる場所に戻されたことを検出できる。例えば、冷蔵商品を常温棚に戻すなど、商品が取られた場所とは異なる場所に戻されると、販売機会損失や商品廃棄ロスなどが発生し店舗の売上に大きな影響を及ぼす。そのため、このような事態が発生した場合には、それを解消するための商品管理作業を速やかに実施することが好ましい。本実施形態の画像処理装置１００を用いることで、商品が取られた場所とは異なる場所に戻されることによる販売機会損失や商品廃棄ロスなどの発生を低減させることができる。

なお、本実施形態において、撮像装置２が商品棚３を撮像する場合について説明した。ただし、撮像装置２が撮像する対象は、商品棚３に限定されない。撮像装置２は、例えば、ワゴンに積層された商品を撮像してもよい。すなわち、撮像装置２が撮像する撮像画像は、ワゴンに積層された商品を撮像した撮像画像であってもよい。画像処理装置１００は、ワゴンに積層された商品を撮像した撮像画像と、背景画像とを比較して、変化領域を検出してもよい。以上のように、画像処理装置１００は、商品のフェイスが全て見えるように陳列された商品棚に限定されず、様々な陳列方法で陳列された商品を撮像した撮像画像を用いることができる。

［第２の実施形態］
次に、本発明の第２の実施形態を説明する。第２の実施形態では、複数台の撮像装置２で異なる商品棚３を監視するセルフレジシステム１を説明する。後述するように、本実施形態における画像処理装置２００は、異なる商品棚３の監視結果に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。すなわち、本実施形態で説明する画像処理装置２００によると、商品を取得した商品棚３と商品を戻した商品棚３とが異なる場合でも、商品が取られた場所とは異なる場所に戻されたことを検出することができる。

本実施形態における画像処理装置２００は、第１の実施形態で説明した図１に示す画像処理装置１００と同様に、端末１０、撮像装置２、買い物リスト管理装置２０、出力装置３０、決済装置４０および人物識別装置５０と通信可能に接続している。なお、本実施形態の端末１０、撮像装置２、買い物リスト管理装置２０、出力装置３０、決済装置４０および人物識別装置５０は、第１の実施形態と同様である。

図１３は、画像処理装置２００の構成例を示す説明図である。本実施形態の画像処理装置２００は、第１取得部１１０と、第２取得部２１０と、第１変化検出部１２０と、第２変化検出部２２０と、第１記憶部１３０と、第２記憶部２３０と、第１関連性生成部１４０と、第２関連性生成部２４０と、関連性統合部２５０と、陳列検出部１６０とを含む。このように、本実施形態の画像処理装置２００は、画像処理装置１００が有する関連性統合部１５０に代えて、関連性統合部２５０を含む。さらに、画像処理装置２００は、画像処理装置１００が有する構成に加えて、第２取得部２１０と、第２変化検出部２２０と、第２記憶部２３０と、第２関連性生成部２４０とを含む。

なお、上記では、前述した第１の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成を説明する。

第２取得部２１０は、第１取得部１１０と同様の動作によりＲＧＢ画像を取得する。そして、第２取得部２１０は、第２変化検出部２２０にＲＧＢ画像を供給する。例えば、第２取得部２１０は、第１取得部１１０が取得する映像信号の送信元である撮像装置２とは異なる商品棚３を監視する撮像装置２から映像信号を取得する。

第２記憶部２３０は、第１記憶部１３０と同様の構成である。そのため、詳細な説明は省略する。なお、第２記憶部２３０は、第１記憶部１３０と同一の記憶装置であっても構わないし、異なる記憶装置であっても構わない。

第２変化検出部２２０は、第１変化検出部１２０と同様の構成である。第２変化検出部２２０は、第１変化検出部１２０と同様の動作により、商品棚３に関する変化領域を検出する。そして、第２変化検出部２２０は、検出した変化領域と、事前に学習した商品棚３に関する変化のモデルである棚変化モデル１３２とに基づいて、変化領域における商品棚３に関する変化を分類する。その後、第２変化検出部２２０は、第１注目領域の位置情報と撮像時刻を関連付けて、第２関連性生成部２４０に供給する。また、第２変化検出部２２０は、変化領域における商品棚３に関する変化を分類した結果を第２関連性生成部２４０に供給する。

第２関連性生成部２４０は、第１関連性生成部１４０と同様の構成である。第２関連性生成部２４０は、第１関連性生成部と同様の動作により、商品と人物の関連性情報を生成する。そして、第２関連性生成部２４０は、生成した関連性情報を関連性統合部２５０に供給する。

図１４は、第１関連性生成部１４０と第２関連性生成部２４０が生成する商品と人物の関連性情報の例を示す説明図である。図１４には、図７と同様に、撮像装置のＩＤを示すカメラＩＤと、その撮像装置に映った人物を示す人物ＩＤと、商品棚の変化領域の位置情報と、その変化の分類結果が例示されている。図１４に示す例では、人物ＩＤ＝１および人物ＩＤ＝２の人物が、カメラＩＤ＝１の撮像装置で撮像されたこと、人物ＩＤ＝３および人物ＩＤ＝４の人物が、カメラＩＤ＝２の撮像装置で撮像されたことを示している。なお、図１４で示す例では、例えば、カメラＩＤ＝１の情報が第１関連性生成部１４０で生成された情報であり、カメラＩＤ＝２の情報が第２関連性生成部２４０で生成された情報である。

関連性統合部２５０は、第１関連性生成部１４０および第２関連性生成部２４０から、それぞれ商品と人物の関連性情報を受け取り、同一人物の関連性情報が存在する場合、それらを１つに統合する。そして、関連性統合部２５０は、統合した関連性情報を陳列検出部１６０に供給する。関連性統合部２５０は、例えば、関連性統合部１５０と同様の動作により複数の関連性情報を統合する。

図１５は、関連性統合部２５０が図１４に例示した商品と人物の関連性情報を統合した例を示す説明図である。図１５に示す例では、図１４の人物ＩＤ＝１と人物ＩＤ＝３の関連性情報が１つに統合されている。

陳列検出部１６０は、関連性統合部２５０から統合した関連性情報を受け取り、商品を取得した場所と商品を戻した場所を比較することなどにより、商品が取られた場所とは異なる場所に戻されたことを検出する。

陳列検出部１６０の動作は、第１の実施形態と同様である。例えば、陳列検出部１６０は、人物ＩＤごとに位置情報と変化の種類を比較する。具体的には、図１５に示す例では、人物ＩＤ＝１の人物が、カメラＩＤ＝１の撮像装置に映る商品棚の（１０，０，３０，５０）の場所から商品を取得し、カメラＩＤ＝２の撮像装置に映る商品棚の（１００，２５０，５０，７０）の場所に商品を戻している。これより、陳列検出部１６０は、人物ＩＤ＝１の人物が、商品を取得した棚とは別の棚に商品を戻したことを検知する。

以上が、画像処理装置２００に特徴的な構成の一例である。

次に、図１６を参照して、本実施形態の画像処理装置２００の動作を説明する。図１６は、本実施形態の画像処理装置２００の動作例を示すフローチャートである。

図１６を参照すると、画像処理装置２００が図１１に例示するステップＳ１００１からステップＳ１００９までの処理と同様の処理を行うことにより、第１関連性生成部１４０が関連性を生成する（ステップＳ２００１）。同様に、ステップＳ１００１からステップＳ１００９までの処理と同様の処理を行うことにより、第２関連性生成部２４０が関連性を生成する（ステップＳ２００２）。なお、ステップＳ２００１の処理とステップＳ２００２の処理とは、並列で行われてもよいし、どちらかが先に行われてもよい。

関連性統合部２５０は、第１関連性生成部１４０と第２関連性生成部２４０から、それぞれ商品と人物の関連性情報を受け取る。そして、関連性統合部２５０は、同一の撮像装置２、または、複数の撮像装置２の間で、同一人物の商品と人物の関連性情報が存在する場合、それらを１つに統合する（ステップＳ２００３）。なお、関連性統合部２５０は、例えば、関連性統合部１５０と同様の動作により、同一人物を判定する。

陳列検出部１６０は、関連性統合部１５０から受け取った関連性情報に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する（ステップＳ２００４）。画像処理装置２００は、第１取得部１１０、又は、第２取得部２１０が次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ２００５）。次の撮像画像がある場合（ステップＳ２００５にてＹＥＳ）、処理はステップＳ２００１、ステップＳ２００２に移行する。一方、次の撮像画像がない場合（ステップＳ２００５にてＮＯ）、画像処理装置２００は、動作を終了する。

なお、ステップＳ２００４、ステップＳ２００５の処理は、第１の実施形態で説明した図１１のステップＳ１０１１、ステップＳ１０１２の処理と同様の処理である。

以上のように、本実施形態の画像処理装置２００は、第１関連性生成部１４０と、第２関連性生成部２４０とを含む。また、関連性統合部２５０は、第１関連性生成部１４０が生成した関連性情報と第２関連性生成部が生成した関連性情報とを統合する。つまり、関連性統合部２５０は、複数台の撮像装置２で撮像された異なる商品棚３に関する、商品と人物の関連性情報を統合する。その結果、第１の実施形態と同様の効果が得られるだけでなく、画像処理装置２００は、客が商品を取得した棚と商品を戻した棚が異なる場合でも、商品が取られた場所とは異なる場所に戻されたことを検出できる。これにより、第１の実施形態よりも店舗内の広範囲に渡って商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。

なお、第２の実施形態では、画像処理装置２００が、第１取得部１１０と第１変化検出部１２０と第１記憶部１３０と第１関連性生成部１４０とを含む第１の処理部と、第２取得部２１０と第２変化検出部２２０と第２記憶部２３０と第２関連性生成部２４０とを含む第２の処理部とを有する場合について説明した。つまり、第２の実施形態では、画像処理装置２００が各種処理部を２つ有する場合について説明した。ただし、画像処理装置２００が有する各種処理部の数は、２つに限定されない。画像処理装置２００は、例えば、３つ以上の任意の数の各種処理部を有してもよい。言い換えると、画像処理装置２００は、３つ以上の複数の異なる商品棚３を監視する撮像装置２から送信された撮像画像を処理するよう構成されていてもよい。

［第３の実施形態］
次に、本発明の第３の実施形態を説明する。第３の実施形態では、第１の実施形態で説明した画像処理装置１００が有する構成に加えて、顧客の動線データを生成するための構成を有する画像処理装置３００について説明する。後述するように、画像処理装置３００は、生成した動線データを用いて関連性情報を生成する。これにより、より高精度に、商品が取られた場所とは異なる場所に戻されたことを検出することが可能となる。

図１７は、本発明によるセルフレジシステムの第３の実施形態の構成例を示す説明図である。本実施形態のセルフレジシステム４は、商品棚３を撮像する撮像装置２に加えて、一般的な監視カメラと同様に店舗内の通路を撮像する撮像装置５を備えている。また、撮像装置５は、撮像装置２と同様に、ネットワークＮを介して端末１０、買い物リスト管理装置２０、出力装置３０、決済装置４０、人物識別装置５０および画像処理装置３００と通信可能に接続されている。なお、本実施形態の端末１０、撮像装置２、買い物リスト管理装置２０、出力装置３０、決済装置４０および人物識別装置５０も、第１の実施形態と同様である。

撮像装置５は、例えば、店舗などに設置されている監視カメラである。撮像装置５は、例えば、店舗内の各通路を撮像可能な位置に設置されている。撮像装置５の構成は、撮像装置２と同様でもよい。

なお、セルフレジシステム４は、撮像装置５を１つ有してもよいし、複数有してもよい。つまり、セルフレジシステム４は、１台の撮像装置５により店舗内の各通路を撮像してもよいし、複数台の撮像装置５により店舗内の各通路を撮像してもよい。また、本実施形態では、セルフレジシステム４が撮像装置２と別の撮像装置５を有する場合について説明する。ただし、セルフレジシステム４は、例えば、複数の撮像装置２が撮像した撮像画像に基づいて顧客の動線データを取得してもよい。つまり、セルフレジシステム４は、商品棚３を撮像する複数の撮像装置２が撮像した撮像画像に基づいて顧客の動線データを取得してもよい。

画像処理装置３００は、撮像装置５が撮影したＲＧＢ画像から顧客の店舗内での移動経路を示す動線データを生成する。そして、画像処理装置３００は、生成した動線データと商品棚３の変化領域とに基づいて、商品と人物の関連性情報を生成する。

図１８は、画像処理装置３００の構成例を示すブロック図である。図１８に示す通り、本実施形態の画像処理装置３００は、第１取得部１１０と、第１変化検出部１２０と、第１記憶部１３０と、第１関連性生成部３４０と、第３取得部３１０と、動線データ生成部３２０と、関連性統合部１５０と、陳列検出部１６０とを含む。このように、本実施形態の画像処理装置３００は、画像処理装置１００の第１関連性生成部１４０に代えて、第１関連性生成部３４０を含む。さらに、画像処理装置３００は、画像処理装置１００が有する構成に加えて、第３取得部３１０と、動線データ生成部３２０とを含む。

なお、上記では、前述した第１の実施形態、第２の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成を説明する。

第３取得部３１０は、第１取得部１１０と同様の動作により、撮像装置５からＲＧＢ画像を取得し、動線データ生成部３２０にＲＧＢ画像を供給する。なお、第３取得部３１０が取得するＲＧＢ画像は、一般的な監視カメラと同様に店舗の通路を撮像した画像である。

動線データ生成部３２０は、少なくとも１つの撮像装置５で撮像されたＲＧＢ画像を用いて、店舗内における人物の動線データを生成する。動線データ生成部３２０が生成する動線データは、例えば、顧客を識別する人物ＩＤと、顧客が訪問した商品棚３の識別子である商品棚ＩＤと、を含む情報である。動線データ生成部３２０が動線データを生成する方法は特に限定されない。動線データ生成部３２０は、例えば、特許文献２に記載の方法を用いて動線データを生成してもよい。つまり、動線データ生成部３２０は、例えば、人物の顔認識を行って同一のデータが得られる人物を同一人物として検出したり、服装などの顧客の特徴を示す情報を抽出して同一人物を検出したりすることで、撮像画像中の顧客を識別する。また、動線データ生成部３２０は、顧客が商品棚３の前に一定時間留まった、顧客と商品棚３との間の距離が所定距離以下になった、などの方法により、顧客が商品棚３を訪問したと判断する。そして、動線データ生成部３２０は、顧客を識別するための人物ＩＤと顧客が訪れた商品棚ＩＤとを対応付けることで動線データを生成する。なお、動線データ生成部３２０は、上記例示した以外の方法を用いて動線データを生成してもよい。

図１９は、動線データ生成部３２０が生成する動線データの例を示す説明図である。図１９に示す動線データは、人物を示す人物ＩＤと、その人物が訪れた商品棚を示す商品棚ＩＤと、その商品棚を撮像している撮像装置を示すカメラＩＤとを含む。図１９に示す例では、３人の人物が商品棚Ａを訪れたことを示し、人物ＩＤ＝１の人物と人物ＩＤ＝２の人物が２回商品棚Ａを訪れたことを示す。なお、図１９に示す例では、人物が商品棚を訪問した時刻は明示されていないが、動線データは、その各商品棚に訪問した時刻を含んでいてもよい。図１９に示す例では、上の行から順番に古い順に商品棚Ａを訪問していることを示す。

動線データ生成部３２０は、例えば、図１９で示すような動線データを生成する。そして、動線データ生成部３２０は、生成した動線データとその動線データの撮像画像の時刻とを関連付けて、第１関連性生成部３４０に供給する。言い換えると、動線データ生成部３２０は、動線データ中の各人物が各商品棚を訪問した時間を動線データに含めて第１関連性生成部３４０に供給する。

第１関連性生成部３４０は、第１変化検出部１２０から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第１関連性生成部３４０は、動線データ生成部３２０から動線データを取得する。そして、第１関連性生成部３４０は、変化領域の位置情報に紐づいた変化領域の撮像時刻と、動線データに紐づいた撮像時刻とに基づいてその変化領域に対応する商品と人物の関連性情報を生成する。その後、第１関連性生成部３４０は、生成した商品と人物の関連性情報を関連性統合部１５０に供給する。

具体的には、第１関連性生成部３４０は、変化領域を検出した撮像時刻より前の時刻に生成された動線データの中から、最もその変化領域の撮像時刻に近い時刻に商品棚に訪れた人物とその変化領域を関連付ける。

図２０は、第１関連性生成部３４０が生成する商品と人物の関連性情報の例を示す説明図である。図２０には、撮像装置のＩＤを示すカメラＩＤと、その撮像装置に映った人物を示す人物ＩＤと、商品棚を示す商品棚ＩＤと、その商品棚の変化領域の位置情報と、その変化の分類結果が例示されている。

このように、第１関連性生成部３４０は、人物情報１３４の代わりに動線データを用いることで関連性情報を生成する。なお、第１関連性生成部３４０は、関連性情報を生成する際に人物情報１３４も用いてもよい。

関連性統合部１５０は、第１関連性生成部３４０から商品と人物の関連性を受け取り、同一人物の関連性が存在する場合、それらを１つに統合する。そして、関連性統合部１５０は、統合した関連性を陳列検出部１６０に供給する。

具体的には、関連性統合部１５０は、人物ＩＤに基づいて同一人物の関連性を統合する。図２１は、図２０に例示した商品と人物の関連性を統合した例を示す説明図である。図２１に示す例では、図２０の人物ＩＤ＝１の人物の関連性情報が１つに統合され、人物ＩＤ＝２の人物の関連性情報も１つに統合されている。

陳列検出部１６０の動作は、第１の実施形態や第２の実施形態で説明したものと同様である。そのため、説明は省略する。

以上が、画像処理装置３００に特徴的な構成の一例である。

次に、図２２を参照して、本実施形態の画像処理装置３００の動作を説明する。図２２は、本実施形態の画像処理装置３００の動作例を示すフローチャートである。

図２２を参照すると、画像処理装置３００が図１１で示すステップＳ１００１からステップＳ１００８までの処理と同様の処理を行うことにより、領域変化分類部１２６は、変化を分類する（ステップＳ３００１）。

第３取得部３１０は、店舗の通路を撮像した撮像装置５から送信された映像信号からＲＧＢ画像である撮像画像（第３撮像画像）を取得する（ステップＳ３００２）。第３取得部３１０は取得した撮像画像を動線データ生成部３２０に供給する。

動線データ生成部３２０は、少なくとも１つの撮像装置で撮像されたＲＧＢ画像を用いて、店舗内における人物の動線データを生成する（ステップＳ３００３）。そして、動線データ生成部３２０は、生成した動線データとその動線データの撮像画像の時刻を関連付けて第１関連性生成部３４０に供給する。

なお、ステップＳ３００２、ステップＳ３００３の処理は、ステップＳ３００１の処理と実行順序が入れ替えられてもよいし、同時に実行されてもよい。

第１関連性生成部３４０は、第１変化検出部１２０から変化領域の分類結果とその変化領域の位置情報とを受け取る。また、第１関連性生成部３４０は、動線データ生成部３２０から動線データを取得する。そして、第１関連性生成部３４０は、変化領域の位置情報に紐づいたその変化領域の撮像時刻と、動線データに紐づいた撮像時刻とに基づいてその変化領域に対応する商品と人物の関連性情報を生成する（ステップＳ３００４）。具体的には、第１関連性生成部３４０は、変化領域を検出した撮像時刻より前の時刻に生成された動線データの中から、最もその変化領域の撮像時刻に近い時刻に商品棚に訪れた人物とその変化領域を関連付ける。そして、第１関連性生成部３４０は、生成した商品と人物の関連性情報を関連性統合部１５０に供給する。

その後、画像処理装置３００は、図１１で示すステップＳ１０１０からステップＳ１０１２までと同様の処理であるステップＳ３００５からステップＳ３００７までの処理を行う。

以上のように、本実施形態の画像処理装置３００は、第３取得部３１０と動線データ生成部３２０とを含む。このような構成により、動線データ生成部３２０は、第３取得部３１０から供給されたＲＧＢ画像に基づいて、動線データを生成する。そして、画像処理装置３００は、商品棚３を撮像したＲＧＢ画像から検出した変化領域およびその変化領域を分類した分類結果と、店舗の通路を撮像したＲＧＢ画像から生成した動線データとに基づいて、商品と人物の関連性情報を生成する。撮像装置５により撮像される、動線データの生成に用いられる店舗の通路を撮像した撮像画像では、人物の全身が撮像されている。そのため、商品棚３を撮像したＲＧＢ画像よりも撮像画像中の人物の特定が容易となる。つまり、画像処理装置３００のように、動線データを用いて関連性情報を生成すると、人物情報１３４を用いて関連性情報を生成する場合よりも高精度に関連性情報を生成することが期待できる。したがって、本実施形態の画像処理装置３００は、第１の実施形態の画像処理装置１００よりも高精度に関連性情報を統合できる。これにより、商品が取られた場所とは異なる場所に戻されたことを検出する精度が向上するため、画像処理装置３００を用いることで、画像処理装置１００よりも商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。

次に、第３の実施形態の変形例を説明する。第３の実施形態では、撮像装置５が店舗内の通路を撮像して顧客の動線データを生成した。ただし、動線データを生成する方法は、画像を用いる方法に限定されない。図２３は、第３の実施形態のセルフレジシステムの変形例を示すブロック図である。図２３に例示するセルフレジシステム４ａは、第３の実施形態のセルフレジシステム４が備える撮像装置５の代わりに、顧客の動線を検出する動線検出装置６を備えている。また、図２３に例示するセルフレジシステム４ａは、第３の実施形態のセルフレジシステム４が備える画像処理装置３００の代わりに、画像処理装置３００ａを備えている。

動線検出装置６は、顧客が携帯する端末１０の位置を検出する装置である。動線検出装置６は、例えば、端末１０からの近距離無線を検出して、顧客の位置を検出する。例えば、人物識別装置５０が店舗内の所定の場所（例えば、入口など）で端末１０の認証を行うと、動線検出装置６は、その認証された人物を追尾して人物の動線を検出する。買い物リスト生成部２１は、この認証が行われたタイミングで、認証された端末１０を携帯する人物に対応する買い物リストを生成してもよい。

図２４は、画像処理装置３００ａの構成例を示すブロック図である。図２４に示す通り、本実施形態の画像処理装置３００ａは、第１取得部１１０と、第１変化検出部１２０と、第１記憶部１３０と、第３取得部３１０ａと、動線データ生成部３２０ａと、第１関連性生成部３４０と、関連性統合部１５０と、陳列検出部１６０とを含む。このように、本変形例の画像処理装置３００ａは、画像処理装置３００の第３取得部３１０および動線データ生成部３２０に代えて、第３取得部３１０ａおよび動線データ生成部３２０ａを含む。

第３取得部３１０ａは、動線検出装置６から顧客の位置情報を取得する。顧客の位置情報には、例えば、端末１０の識別情報が含まれる。動線データ生成部３２０ａは、店舗内における人物の動線データを生成する。動線データ生成部３２０ａが生成する動線データは、例えば、顧客が携帯する端末１０の識別情報と、顧客が訪問した商品棚３の識別子である商品棚ＩＤと、を含む情報である。なお、動線データ生成部３２０ａが動線データを生成する方法は特に限定されない。第３の実施形態と同様、動線データ生成部３２０ａは例えば、顧客が商品棚３の前に一定時間留まった、顧客と商品棚３との間の距離が所定距離以下になった、などの方法により、顧客が商品棚３を訪問したと判断する。そして、動線データ生成部３２０ａは、顧客が携帯する端末１０の識別情報と顧客が訪れた商品棚ＩＤとを対応付けることで動線データを生成する。

図２５は、動線データの他の例を示す説明図である。動線データ生成部３２０ａは、例えば、図２５で示すように、端末１０の識別情報と商品棚ＩＤとを対応付けた動線データを生成する。さらに、動線データ生成部３２０ａは、生成した動線データとその動線データの取得時刻とを関連付けて、第１関連性生成部３４０に供給する。言い換えると、動線データ生成部３２０ａは、動線データ中の各人物が各商品棚を訪問した時間を動線データに含めて第１関連性生成部３４０に供給する。以降の処理は、第３の実施形態と同様である。すなわち、本変形例では、陳列検出部１６０は、検出された商品の陳列状態の変化と、店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出することになる。

以上のように、本変形例では、動線検出装置６が検出した人物の位置情報に基づいて動線データを生成し、画像処理装置３００ａ（より詳しくは、陳列検出部１６０）が、検出された商品の陳列状態の変化と、店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する。よって、商品が取られた場所とは異なる場所に戻されたことを検出する精度を向上させることができるため、画像処理装置３００ａは、画像処理装置１００よりも商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。

［第４の実施形態］
次に、本発明の第４の実施形態を説明する。第４の実施形態では、第２の実施形態で説明した画像処理装置２００が有する構成に加えて、第３の実施形態で説明した、顧客の動線データを生成する構成を有する画像処理装置４００を説明する。つまり、本実施形態では、第２の実施形態で説明した各構成と第３の実施形態で説明した各構成とを組み合わせた画像処理装置を説明する。

本実施形態の画像処理装置４００は、第１の実施形態で説明した図１に示す画像処理装置１００と同様に、端末１０、撮像装置２、買い物リスト管理装置２０、出力装置３０、決済装置４０および人物識別装置５０と通信可能に接続している。

図２６は、画像処理装置４００の構成例を示す説明図である。本実施形態の画像処理装置４００は、第１取得部１１０と、第２取得部２１０と、第１変化検出部１２０と、第２変化検出部２２０と、第１記憶部１３０と、第２記憶部２３０と、第１関連性生成部３４０と、第２関連性生成部４４０と、第３取得部３１０と、動線データ生成部３２０と、関連性統合部２５０と、陳列検出部１６０と含む。このように、本実施形態の画像処理装置４００は、第２の実施形態で説明した画像処理装置２００が含む構成を有するとともに、第３取得部３１０と動線データ生成部３２０とを備えている。言い換えると、本実施形態の画像処理装置４００は、画像処理装置２００の第１関連性生成部１４０に代えて第１関連性生成部３４０を含むとともに、第２関連性生成部２４０に代えて第２関連性生成部４４０を含む。さらに、画像処理装置４００は、第３取得部３１０と動線データ生成部３２０とを含む。

なお、上記では、前述した第１の実施形態、第２の実施形態、第３の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成を説明する。

第２関連性生成部４４０は、第２変化検出部２２０から変化領域の分類結果とその変化領域の位置情報を受け取る。また、第２関連性生成部４４０は、動線データ生成部３２０から動線データを取得する。そして、第２関連性生成部４４０は、第１関連性生成部３４０と同様の動作により、商品と人物の関連性情報を生成し、生成した関連性情報を関連性統合部２５０に供給する。

このように、第２関連性生成部４４０は、第１関連性生成部３４０と同様に、動線データを用いて関連性情報を生成する。第１関連性生成部３４０と第２関連性生成部４４０が関連性情報を生成した後の処理は、第２の実施形態で説明した場合と同様である。そのため、詳細な説明は省略する。

以上が、画像処理装置４００に特徴的な構成の一例である。

次に、図２７を参照して、本実施形態の画像処理装置４００の動作を説明する。図２７は、本実施形態の画像処理装置４００の動作例を示すフローチャートである。

図２７を参照すると、画像処理装置４００が図１１で示すステップＳ１００１からステップＳ１００８までの処理と同様の処理を行うことにより、第１変化検出部１２０は、変化を分類する（ステップＳ４００１）。また、同様に、第２変化検出部２２０は、変化を分類する（ステップＳ４００２）。

第３取得部３１０は、店舗の通路を撮像した撮像装置５から送信された映像信号からＲＧＢ画像である撮像画像（第３撮像画像）を取得する（ステップＳ４００３）。第３取得部３１０は取得した撮像画像を動線データ生成部３２０に供給する。

動線データ生成部３２０は、少なくとも１つの撮像装置で撮像されたＲＧＢ画像を用いて、店舗内における人物の動線データを生成する（ステップＳ４００４）。そして、動線データ生成部３２０は、生成した動線データとその動線データの撮像画像の時刻を関連付けて、それらを第１関連性生成部３４０に供給する。

なお、ステップＳ４００３、ステップＳ４００４の処理は、第３の実施形態で説明したステップＳ３００２、ステップＳ３００３の処理と同様の処理である。また、ステップＳ４００３、ステップＳ４００４の処理は、ステップＳ４００１の処理やステップＳ４００２の処理と実行順序が入れ替えられてもよいし、同時に実行されてもよい。

第１関連性生成部３４０は、動線データを用いて関連性情報を生成する（ステップＳ４００５）。また、第２関連性生成部４４０は、動線データを用いて関連性情報を生成する（ステップＳ４００６）。

なお、ステップＳ４００５の処理とステップＳ４００６の処理は、第３の実施形態で説明したステップＳ３００４の処理と同様の処理である。また、ステップＳ４００５の処理とステップＳ４００６の処理は、どちらが先に実行されてもよいし、同時に実行されてもよい。

その後、画像処理装置４００は、図１１で示すステップＳ１０１０からステップＳ１０１２までと同様の処理であるステップＳ４００７からステップＳ４００９までの処理を行う。

以上のように、本実施形態の画像処理装置４００は、第２の実施の形態の画像処理装置２００の第２関連性生成部２４０に代えて、第２関連性生成部４４０を含む。さらに、画像処理装置４００は、第３取得部３１０と動線データ生成部３２０とを含む。したがって、本実施形態の画像処理装置４００は、上述した第２の実施形態の画像処理装置２００と同様に、店舗内の広範囲に渡って商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。さらに、画像処理装置４００は、上述した第３の実施形態の画像処理装置３００と同様に、商品と人物の関連性情報を高精度に統合できる。関連性情報を高精度に統合できることにより、商品が取られた場所とは異なる場所に戻されたことを検出する精度が向上する。したがって、本実施形態における画像処理装置４００を用いることで、画像処理装置２００よりも商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。

［第５の実施形態］
次に、本発明の第５の実施形態を説明する。第５の実施形態では、第１の実施形態で説明した画像処理装置１００が有する構成に加えて、報知部５１０を有する画像処理装置５００を説明する。画像処理装置５００が報知部５１０を有することで、例えば、陳列検出部１６０が、商品が取られた場所とは異なる場所に戻されたことを検出した際に、店舗の店員等に対する報知を行うことができる。

本実施形態の画像処理装置５００は、第１の実施形態で説明した図１に示す画像処理装置１００と同様に、端末１０、撮像装置２、買い物リスト管理装置２０、出力装置３０、決済装置４０および人物識別装置５０と通信可能に接続している。

図２８は、画像処理装置５００の構成例を示す説明図である。本実施形態の画像処理装置５００は、第１取得部１１０と、第１変化検出部１２０と、第１記憶部１３０と、第１関連性生成部１４０と、関連性統合部１５０と、陳列検出部１６０と、報知部５１０とを含む。このように、本実施形態の画像処理装置５００は、第１の実施形態で説明した画像処理装置１００が含む構成を有するとともに、報知部５１０を含む。

なお、上記では、前述した第１の実施形態、第２の実施形態、第３の実施形態、第４の実施形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付している。以下、本実施形態に特徴的な構成を説明する。

陳列検出部１６０は、関連性統合部１５０から統合した関連性情報を受け取り、商品を取得した場所と商品を戻した場所を比較することにより、商品が取られた場所とは異なる場所に戻されたことを検出する。陳列検出部１６０は、例えば、検出結果を示す信号を報知部５１０に供給する。検出結果を示す信号は、例えば、商品が取られた場所とは異なる場所に戻されたことを検出した場合に１、商品が取られた場所とは異なる場所に戻されたことを検出しなかった場合に０であってもよい。

報知部５１０は、陳列検出部１６０から検出結果を受け取る。そして、報知部５１０は、受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合に、例えば、店舗の作業員が保有している端末（図示せず）に、商品が取られた場所とは異なる場所に戻されたことを検出した旨を報知する。また、報知部５１０は、受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合に、例えば、店舗のＰＯＳ（Ｐｏｉｎｔ ｏｆ ｓａｌｅｓ）端末に、商品が取られた場所とは異なる場所に戻されたことを検出した旨を報知してもよい。また、この場合、報知部５１０は、本部のコンピュータに、商品が取られた場所とは異なる場所に戻されたことを検出した旨を報知してもよい。さらに、報知部５１０は、受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合に、店舗または本部に設置された記憶媒体に、商品が取られた場所とは異なる場所に戻されたことを検出した旨を格納してもよい。また、報知部５１０は、所定のランプ（図示せず）などに、商品が取られた場所とは異なる場所に戻されたことを検出したことを報知してもよい。

報知部５１０は、上記例示したいずれか、又は、複数を組み合わせた報知を行う。報知部５１０は、例えば、プログラムに従って動作するコンピュータのＣＰＵによって実現される

以上が、画像処理装置５００に特徴的な構成の一例である。

次に、図２９を参照して、本実施形態の画像処理装置５００の動作例を説明する。図２９は、本実施形態の画像処理装置５００の動作例を示すフローチャートである。

図２９を参照すると、画像処理装置３００が図１１で示すステップＳ１００１からステップＳ１０１１までの処理と同様の処理を行うことにより、陳列検出部１６０は、商品が取られた場所とは異なる場所に戻されたことを検出する（ステップＳ５００１）。陳列検出部１６０は、例えば、検出結果を示す信号を報知部５１０に供給する。

ステップＳ５０１１終了後、報知部５１０は、陳列検出部１６０から検出結果を受け取る。受け取った検出結果が、商品が取られた場所とは異なる場所に戻されたことを示す信号であった場合、報知部５１０は、店舗の作業員が保有する端末にその旨を報知する（ステップＳ５００２）。

そして、画像処理装置５００は、図１１に示すステップＳ１０１２と同様の処理であるステップＳ５００３を実行する。

以上のように、本実施形態の画像処理装置５００は、画像処理装置１００に報知部５１０を加えた構成を有している。このような構成により、商品が取られた場所とは異なる場所に戻された際に、その旨を店舗の作業員に速やかに報知することができる。これにより、商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。

なお、報知部５１０は、店舗内の状況などが予め定められた所定の条件を満たす場合、報知を行うタイミングを保留するよう構成しても構わない。

報知部５１０は、例えば、店舗内における顧客の滞在状況に応じて、報知を保留するか否か判断するよう構成してもよい。報知部５１０は、例えば、撮像装置２などが取得した撮像画像に基づいて、レジに顧客が並んでいる（所定の数以上並んでいる）と判断できる間、報知を保留してもよい。また、報知部５１０は、例えば、撮像装置２などが取得した撮像画像に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出した作業対象の商品棚３の前に顧客がいると判断される間、報知を保留してもよい。また、画像処理装置５００が動線データを取得できる場合、報知部５１０は、例えば、動線データに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出した作業対象の商品棚３の前に顧客が来ると判断される場合に、報知を保留してもよい。このように、報知部５１０は、店舗内に存在する顧客の数や顧客の場所などの顧客の滞在状況が所定の条件を満たす場合、報知を保留してもよい。なお、報知部５１０は、保留する理由が無い場合や無くなった場合に、報知を行えばよい。

また、報知部５１０は、商品が戻された商品棚３や、異なる場所に戻された商品の種類や性質、異なる場所に戻された商品と戻された商品棚３の関係などに基づいて報知の緊急性を判断し、報知の緊急性に基づいて報知するタイミングを制御してもよい。例えば、生鮮食品や冷凍食品、アイスなどを、非冷凍コーナーや非冷蔵コーナーに戻した場合、すぐに報知しないと影響が大きくなることが想定される。また、商品と商品が戻された商品棚３との関係が、例えば、洗剤などの非食品が生成食品のコーナーに戻された場合など好ましくない所定の場合、速やかに是正することが望ましい。このように、異なる場所に戻された商品の種類等に応じて報知に緊急性があると判断される場合、報知部５１０は、すぐに報知してもよい。つまり、上記のような報知に緊急性がある場合、例えば、上述した保留する条件を満たす場合でも、報知部５１０は、保留せずに報知する。一方、上記のような緊急性が無い場合、報知部５１０は、保留する条件を満たさなくなるまで報知を保留してもよい。このように、報知部５１０は、報知の緊急性を示す情報を取得して、取得した情報に基づいて報知のタイミングを制御してもよい。なお、生鮮食品や冷凍食品など、取られた場所とは異なる場所に戻された商品の種類や性質は、例えば、領域変化分類部１２６や第１抽出部１２４などが第１注目画像等に基づいて判断してもよい。商品の種類、性質について、例えば、陳列検出部１６０が、取られた場所とは異なる場所に商品が戻されたことを検出した後、関連性情報に付与された撮像画像に関する情報（識別子、撮像時刻など）から撮像画像を取得し、取得した撮像画像に基づいて判断してもよい。

以上のように、報知部５１０は、店舗内における顧客の滞在状況や商品の種類、性質等に応じて緊急性を判断し、報知の緊急性に応じて報知するタイミングを制御する。その際、報知部５１０は、上記例示した以外の情報に基づいて報知するタイミングを制御してもよい。

なお、本実施形態では、第１の実施形態で説明した画像処理装置１００が報知部５１０を有する場合について説明した。ただし、画像処理装置１００以外の上述した各画像処理部が報知部５１０を含んでいてもよい。例えば、第２の実施形態で説明した画像処理装置２００、第３の実施形態で説明した画像処理装置３００、第４の実施形態で説明した画像処理装置４００が、報知部５１０を含んでいてもよい。画像処理装置２００、画像処理装置３００、画像処理装置４００が報知部５１０を含む場合に報知部５１０が実行する処理は、画像処理装置１００が含む場合と同様である。上記いずれの場合も、本実施形態で説明した各種変形例を採用することができる。

＜前景領域検出部の変形例＞
次に、上述した各実施形態の画像処理装置が有する第１変化検出部１２０または第２変化検出部２２０に含まれる前景領域検出部の処理の変形例を説明する。

本変形例において、第１変化検出部１２０または第２変化検出部２２０に含まれる前景領域検出部は、予め登録された棚領域情報を更に用いて、変化領域に含まれる対象物が商品棚３内の商品以外であることを特定する。

なお、本変形例では、第１の実施形態における画像処理装置１００の前景領域検出部１２１の変形例について説明する。ただし、本変形例を、画像処理装置２００、画像処理装置３００、画像処理装置４００、画像処理装置５００、報知部５１０を有する画像処理装置１００以外の装置のいずれに対しても適用可能である。

図３０、図３１および図３２は、本変形例における前景領域検出部１２１が前景領域を検出する動作例を示す説明図である。

前景領域検出部１２１が、例えば、第１取得部１１０から供給された撮像画像と、背景情報１３１とを比較することにより変化領域を検出し、図３０に例示する、変化領域を表す２値画像である検出結果７１を生成したとする。この検出結果には、変化領域７２、変化領域７３、変化領域７４の３つの変化領域が含まれるとする。このような場合、前景領域検出部１２１は、検出結果７１に対して、一般的なラベリング方法で変化領域ごとに別々の２値画像である検出結果７１Ａ、検出結果７１Ｂおよび検出結果７１Ｃを生成する。

つまり、前景領域検出部１２１は、検出結果に複数の変化領域が含まれる場合、各変化領域が別々の２値画像に含まれるような複数の２値画像を生成する。

そして、前景領域検出部１２１は、予め登録された棚領域情報と、複数の２値画像のそれぞれとに基づいて、変化領域が商品の変化に関する変化を検出した領域か否かを判定する。ここで、棚領域情報は、商品棚３における商品が陳列される領域を示す。

セルフレジシステム１は、商品棚３の商品を監視している。そのため、棚領域情報によって示される、商品が陳列される領域を監視対象領域と言うことができる。また、棚領域情報を、監視領域情報と言うこともできる。棚領域情報は、例えば、第１取得部１１０が取得する撮像画像と同じ大きさの画像であって、監視対象の商品棚３の監視対象領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、棚領域情報に含まれる監視対象領域は、例えば、１つでもよいし複数でもよい。棚領域情報は、例えば、事前に第１記憶部１３０に格納されていてもよい。なお、棚領域情報は、第１取得部１１０が取得する撮像画像に含まれる商品棚３を特定する情報を含む。

前景領域検出部１２１は、第１取得部１１０が取得した撮像画像に含まれる商品棚３に関連する棚領域情報を用いて、対応する画素ごとに論理積の演算を行う。例えば、図３１に例示する棚領域情報７５を用いる場合、前景領域検出部１２１は、検出結果７１Ａ、検出結果７１Ｂまたは検出結果７１Ｃと、対応する画素ごとに論理積の演算を行う。図３１に示す例では、棚領域情報７５における監視対象領域は、白で表現されているため、棚領域情報７５は、６つの監視対象領域を含む。

図３２に例示する演算結果７６Ａは、棚領域情報７５と検出結果７１Ａとの論理積演算の結果である。また、演算結果７６Ｂは、棚領域情報７５と検出結果７１Ｂとの論理積の演算の結果である。また、演算結果７６Ｃは、棚領域情報７５と検出結果７１Ｃとの論理積の演算の結果である。

人物やカートのような商品以外の物体は、複数の棚の領域にまたがっている。そのため、検出結果７１Ａと棚領域情報７５との論理積の演算を行った結果、図３２の左側に例示する演算結果７６Ａのように、変化領域を表す、画素値が２５５の部分（白色の部分）は、複数の領域に分割される。一方、演算結果７６Ｂおよび演算結果７６Ｃの変化領域を表す部分（白色の部分）は、それぞれ、検出結果７１Ｂおよび検出結果７１Ｃと変化がなく、一続きの領域（画素値が２５５の画素であり、且つ、その画素に隣接する画素の何れかの画素値が２５５の画素の集合）である。

商品棚３の陳列領域（監視対象領域）に陳列される商品は、複数の監視対象領域にまたがらない。したがって、演算結果７６Ａのように、変化領域が複数の領域に分割される場合、前景領域検出部１２１は、この変化領域に対する変化を、商品以外による変化であると判断する。このような場合、前景領域検出部１２１は、この変化を前景領域追跡部１２３に供給する検出結果に含めない。言い換えると、前景領域検出部１２１は、検出結果７１Ｂと検出結果７１Ｃとを、前景領域追跡部１２３に供給する。

このような構成により、前景領域追跡部１２３は、商品棚３に陳列された商品に対する変化を第１抽出部１２４および第２抽出部１２５に供給できる。言い換えると、領域変化分類部１２６は、商品棚３に陳列された商品に対する変化の分類処理を行うことができるため、商品以外の物体の影響によって、商品に対する変化の分類精度の低下を防ぐことができる。また、前景領域検出部１２１が、領域変化分類部１２６の分類処理を行うよりも前に、変化領域における変化が商品以外の物体による変化であると分類できるため、領域変化分類部１２６の処理量を低減させることができる。

次に、本発明の具体例を説明する。第一の具体例では、顧客が端末１０を携帯する場合のセルフレジシステムの動作例を説明し、第二の具体例では、顧客が端末１０を携帯しない場合のセルフレジシステムの動作例を説明する。

図３３は、第一の具体例におけるセルフレジシステムの動作例を示す説明図である。まず、顧客Ｃが来店すると、人物識別装置５０は、顧客が携帯する端末１０を介して、人物を識別する（ステップＳ１１）。以降、その端末１０を識別する識別ＩＤを用いて、人物が一意に管理される。また、買い物リスト生成手段（実施形態における買い物リスト生成部２１）は、その識別ＩＤに対応する買い物リストＬを生成する（ステップＳ１２）。通知部２３は、生成した買い物リストＬを端末１０に送信する（ステップＳ１３）。また、通知部２３は、生成した買い物リストＬを買い物リスト記憶部２４に記憶する（ステップＳ１４）。

その後、変化検出手段（実施形態における第１変化検出部１２０）が、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する（ステップＳ１５）。買い物リスト生成手段（実施形態における買い物リスト更新部２２）は、商品棚の棚割り情報に基づいてその商品を特定して、特定された商品を人物に対応する買い物リストＬに登録するための登録処理を行う（ステップＳ１６）。通知部２３は、商品が登録された買い物リストＬの内容を端末１０に通知する（ステップＳ１７）。

また、再配置検出手段（実施形態における陳列検出部１６０）は、変化検出手段が検出した商品の陳列状態の変化と、撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する（ステップＳ１８）。なお、動線の検出方法は任意であり、上述する撮像装置２が人物を検出する方法であってもよく、撮像装置５が動線を検出する方法であってもよく、動線検出装置６が動線を検出する方法であってもよい。そして、この場合、検出結果および棚割り情報に基づいて、買い物リスト生成手段（実施形態における買い物リスト更新部２２）は、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストＬから削除するための削除処理を行う（ステップＳ１９）。通知部２３は、商品が削除された買い物リストＬの内容を端末１０に通知する（ステップＳ２０）。なお、通知部２３は、その商品に削除フラグを設定した買い物リストＬを端末１０に通知してもよい。

顧客が退店しようとする際、決済装置４０は、人物に対応した買い物リストＬの内容に基づいて決済処理を行う（ステップＳ２１）。このとき、出力装置３０が、買い物リストＬの内容を表示してもよい。

図３４は、第二の具体例におけるセルフレジシステムの動作例を示す説明図である。まず、顧客が来店すると、人物識別装置５０は、撮像装置２によって撮像された画像から人物Ｃを識別する（ステップＳ３１）。以降、人物を識別する識別ＩＤを用いて、人物が位置に識別される。また、買い物リスト生成手段（実施形態における買い物リスト生成部２１）は、その識別ＩＤに対応する買い物リストＬを生成する（ステップＳ３２）。また、通知部２３は、生成した買い物リストＬを買い物リスト記憶部２４に記憶する（ステップＳ３３）。

その後、第一の具体例と同様に、変化検出手段（実施形態における第１変化検出部１２０）が、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する（ステップＳ３４）。買い物リスト生成手段（実施形態における買い物リスト更新部２２）は、商品棚の棚割り情報に基づいてその商品を特定して、特定された商品を人物に対応する買い物リストに登録するための登録処理を行う（ステップＳ３５）。具体的には、買い物リスト生成手段は、買い物リスト記憶部２４に記憶された買い物リストＬに商品を追加する。

また、第一の具体例と同様に、買い物リスト生成手段（実施形態における買い物リスト更新部２２）は、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストＬから削除するための削除処理を行う（ステップＳ３６）。具体的には、買い物リスト生成手段は、買い物リスト記憶部２４に記憶された買い物リストＬから商品を削除する。

顧客が退店しようとする際、決済装置４０は、人物Ｃに対応した買い物リストＬの内容に基づいて決済処理を行う（ステップＳ３７）。具体的には、出力装置３０が買い物リストの内容および合計金額を表示し、決済装置４０は、その人物からの入金やカード支払いに基づく決済処理を行う。

＜ハードウェア構成について＞
上述する各実施形態では、各装置（より詳しくは、画像処理装置１００〜５００、買い物リスト管理装置２０）が有する構成要素は、例えば、機能単位のブロックを示す。各装置が有する構成要素の一部又は全部は、図３５に例示する情報処理装置６００とプログラムとの任意の組み合わせにより実現される。図３５は、各装置の構成要素を実現する情報処理装置６００のハードウェア構成例を示すブロック図である。情報処理装置６００は、一例として、以下のような構成を含む。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３
・ＲＡＭ６０３にロードされるプログラム群６０４
・プログラム群６０４を格納する記憶装置６０５
・情報処理装置６００外部の記録媒体６１０の読み書きを行うドライブ装置６０６
・情報処理装置６００外部の通信ネットワーク６１１と接続する通信インタフェース６０７
・データの入出力を行う入出力インタフェース６０８
・各構成要素を接続するバス６０９

上述した各実施形態における各装置が有する構成要素は、これらの機能を実現するプログラム群６０４をＣＰＵ６０１が取得して実行することで実現する。各装置が有する構成要素の機能を実現するプログラム群６０４は、例えば、予め記憶装置６０５やＲＯＭ６０２に格納されており、必要に応じてＣＰＵ６０１がＲＡＭ６０３にロードして実行する。なお、プログラム群６０４は、通信ネットワーク６１１を介してＣＰＵ６０１に供給されてもよいし、予め記録媒体６１０に格納されており、ドライブ装置６０６が該プログラムを読み出してＣＰＵ６０１に供給してもよい。

なお、各装置の実現方法には、様々な変形例が存在する。各装置は、例えば、構成要素ごとにそれぞれ別個の情報処理装置６００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置６００とプログラムとの任意の組み合わせにより実現されてもよい。

また、各画像処理装置が有する各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現することができる。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

各装置が有する構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各装置が有する構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本発明の概要を説明する。図３６は、本発明によるセルフレジシステムの概要を示すブロック図である。本発明によるセルフレジシステム８００（例えば、セルフレジシステム１）は、商品が撮像されている撮像画像に基づいて、商品の陳列状態の変化を検出する変化検出手段８１０（例えば、第１変化検出部１２０）と、変化検出手段８１０が検出した商品の陳列状態の変化と、撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する再配置検出手段８２０（例えば、陳列検出部１６０）と、人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を人物に対応する買い物リストに登録するための登録処理（例えば、商品の登録）を行い、再配置検出手段８２０による検出結果（すなわち、商品が取られた場所とは異なる場所に戻されたこと）と棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を人物に対応する買い物リストから削除するための削除処理（例えば、商品の削除、削除フラグの設定等）を行う買い物リスト生成手段８３０（例えば、買い物リスト更新部２２）とを備えている。

そのような構成により、商品が取られた場所とは異なる場所に戻された場合であっても、顧客が購入する商品を適切に管理できる。

また、セルフレジシステム８００は、変化検出手段８１０が検出した商品の陳列状態の変化と撮像画像に含まれる人物とを関連付ける関連付け手段（例えば、第１関連性生成部１４０および関連性統合部１５０）を備えていてもよい。そして、再配置検出手段８２０は、関連付け手段が関連付けた結果に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出してもよい。

また、セルフレジシステム８００は、買い物リストに対応する人物に、その買い物リストの状態を通知する通知手段（例えば、通知部２３）を備えていてもよい。そして、買い物リスト生成手段８３０は、削除処理として、取られた場所とは異なる場所に戻された商品を識別する削除フラグを、買い物リストに含まれる対象の商品に設定し、通知手段は、削除フラグが設定された商品を人物（例えば、人物が携帯する端末１０）に対して通知してもよい。

具体的には、買い物リストは人物の携帯する装置（例えば、端末１０）と対応付けられていてもよい。そして、通知手段は、削除フラグが設定された商品をその装置に通知してもよい。

そのような構成によれば、未承認の商品が決済されてしまうことを防止できる。

さらに、買い物リスト生成手段８３０は、通知した人物の携帯する装置（例えば、端末１０）を介して、削除フラグが設定された商品を削除するか否かを表す指示を受信し、その商品を削除する指示を受信した場合に、買い物リストから商品を削除してもよい。

また、買い物リスト生成手段８３０は、買い物リストに削除フラグが設定されている商品が存在する場合、その買い物リストに基づく決済処理を停止してもよい。

また、再配置検出手段８２０は、同一の人物について、一方の陳列状態の変化が商品の減少を表し、他方の陳列状態の変化が商品の増加を表す場合に、その変化の領域の形状が一方の陳列状態の変化と他方の陳列状態の変化とで一致し、かつ、その変化の領域が異なる位置を示す場合、商品が取られた場所とは異なる場所に戻されたことを検出してもよい。

また、再配置検出手段８２０は、複数の場所に陳列されている同種の商品を棚割り情報に基づいて検出し、商品が取られた場所とは異なる場所に戻された場合でも、その場所が同種の商品が陳列されている場所である場合、同一の場所に戻されたと検出してもよい。

一方、セルフレジシステム８００は、店舗内の人物の動線を検出する動線検出手段（例えば、動線検出装置６）を備えていてもよい。このとき、再配置検出手段８２０は、変化検出手段８１０が検出した商品の陳列状態の変化と、動線検出手段により検出される人物の動線とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出してもよい。そのような構成によれば、商品が取られた場所とは異なる場所に戻されたことを検出する精度を向上させることができるため、商品陳列の不備による販売機会損失や商品廃棄ロスなどを低減できる。

具体的には、動線検出手段は、店舗内の所定の場所（例えば、店舗の入り口）で人物の認証を行い、その認証された人物を追尾して（例えば、近距離無線通信等で）人物の動線を検出し、買い物リスト生成手段８３０は、認証が行われたときに、認証された人物に対応する買い物リストを生成してもよい。そのような構成によれば、人物と買い物リストとを適切に関連付けることが可能になる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）商品が撮像されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、前記変化検出手段が検出した前記商品の陳列状態の変化と、前記撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する再配置検出手段と、前記人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、前記商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を前記人物に対応する買い物リストに登録するための登録処理を行い、前記再配置検出手段による検出結果と前記棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を前記人物に対応する前記買い物リストから削除するための削除処理を行う買い物リスト生成手段とを備えたことを特徴とするセルフレジシステム。

（付記２）変化検出手段が検出した商品の陳列状態の変化と撮像画像に含まれる人物とを関連付ける関連付け手段を備え、再配置検出手段は、関連付け手段が関連付けた結果に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する付記１記載のセルフレジシステム。

（付記３）買い物リストに対応する人物に、当該買い物リストの状態を通知する通知手段を備え、買い物リスト生成手段は、削除処理として、取られた場所とは異なる場所に戻された商品を識別する削除フラグを、買い物リストに含まれる対象の商品に設定し、前記通知手段は、前記削除フラグが設定された商品を前記人物に対して通知する付記１または付記２記載のセルフレジシステム。

（付記４）買い物リストは人物の携帯する装置と対応付けられており、通知手段は、削除フラグが設定された商品を前記装置に通知する付記３記載のセルフレジシステム。

（付記５）買い物リスト生成手段は、通知した人物の携帯する装置を介して、削除フラグが設定された商品を削除するか否かを表す指示を受信し、当該商品を削除する指示を受信した場合に、買い物リストから前記商品を削除する付記４記載のセルフレジシステム。

（付記６）買い物リスト生成手段は、買い物リストに削除フラグが設定されている商品が存在する場合、当該買い物リストに基づく決済処理を停止する付記３から付記５のうちのいずれか１つに記載のセルフレジシステム。

（付記７）再配置検出手段は、同一の人物について、一方の陳列状態の変化が商品の減少を表し、他方の陳列状態の変化が商品の増加を表す場合に、当該変化の領域の形状が一方の陳列状態の変化と他方の陳列状態の変化とで一致し、かつ、当該変化の領域が異なる位置を示す場合、商品が取られた場所とは異なる場所に戻されたことを検出する付記１から付記６のうちのいずれか１つに記載のセルフレジシステム。

（付記８）再配置検出手段は、複数の場所に陳列されている同種の商品を棚割り情報に基づいて検出し、前記商品が取られた場所とは異なる場所に戻された場合でも、当該場所が同種の商品が陳列されている場所である場合、同一の場所に戻されたと検出する付記１から付記７のうちのいずれか１つに記載のセルフレジシステム。

（付記９）店舗内の人物の動線を検出する動線検出手段を備え、再配置検出手段は、変化検出手段が検出した商品の陳列状態の変化と、前記動線検出手段により検出される人物の動線とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する付記１記載のセルフレジシステム。

（付記１０）動線検出手段は、店舗内の所定の場所で人物の認証を行い、当該認証された人物を追尾して人物の動線を検出し、買い物リスト生成手段は、前記認証が行われたときに、認証された人物に対応する買い物リストを生成する付記９記載のセルフレジシステム。

（付記１１）商品が撮像されている撮像画像に基づいて、前記商品の陳列状態の変化を検出し、検出された前記商品の陳列状態の変化と、前記撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出し、前記人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、前記商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を前記人物に対応する買い物リストに登録するための登録処理を行い、商品が取られた場所とは異なる場所に戻されたことを示す検出結果と前記棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を前記人物に対応する前記買い物リストから削除するための削除処理を行うことを特徴とする購入商品管理方法。

（付記１２）コンピュータに、商品が撮像されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出処理、前記変化検出処理で検出された前記商品の陳列状態の変化と、前記撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する再配置検出処理、および、前記人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、前記商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を前記人物に対応する買い物リストに登録するための登録処理を行い、前記再配置検出処理での検出結果と前記棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を前記人物に対応する前記買い物リストから削除するための削除処理を行う買い物リスト生成処理を実行させるための購入商品管理プログラム。

なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。記録媒体は、例えば、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

１，４，４ａ セルフレジシステム
２，５ 撮像装置
３ 商品棚
６ 動線検出装置
１０ 端末
２０ 買い物リスト管理装置
３０ 出力装置
４０ 決済装置
５０ 人物識別装置
７１ 検出結果
７２ 変化領域
７３ 変化領域
７４ 変化領域
７５ 棚領域情報
７６ 演算結果
９０ 分類結果
９１ 第２注目画像
９２ 第１注目画像
９３ 変化の種類
１００ 画像処理装置
１１０ 第１取得部
１２０ 第１変化検出部
１２１ 前景領域検出部
１２２ 背景情報更新部
１２３ 前景領域追跡部
１２４ 第１抽出部
１２５ 第２抽出部
１２６ 領域変化分類部
１３０ 第１記憶部
１３１ 背景情報
１３２ 棚変化モデル
１３３ 前景情報
１３４ 人物情報
１４０ 第１関連性生成部
１５０ 関連性統合部
１６０ 陳列検出部
２００ 画像処理装置
２１０ 第２取得部
２２０ 第２変化検出部
２３０ 第２記憶部
２４０ 第２関連性生成部
２５０ 関連性統合部
３００，３００ａ 画像処理装置
３１０，３１０ａ 第３取得部
３２０，３２０ａ 動線データ生成部
３４０ 第１関連性生成部
４００ 画像処理装置
４４０ 第２関連性生成部
５００ 画像処理装置
５１０ 報知部
６００ 情報処理装置
６０１ ＣＰＵ
６０２ ＲＯＭ
６０３ ＲＡＭ
６０４ プログラム群
６０５ 記憶装置
６０６ ドライブ装置
６０７ 通信インタフェース
６０８ 入出力インタフェース
６０９ バス
６１０ 記録媒体
６１１ 通信ネットワーク

Claims (12)

1. 商品が撮像されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出手段と、
   前記変化検出手段が検出した前記商品の陳列状態の変化と、前記撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する再配置検出手段と、
   前記人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、前記商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を前記人物に対応する買い物リストに登録するための登録処理を行い、前記再配置検出手段による検出結果と前記棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を前記人物に対応する前記買い物リストから削除するための削除処理を行う買い物リスト生成手段とを備えた
   ことを特徴とするセルフレジシステム。
2. 変化検出手段が検出した商品の陳列状態の変化と撮像画像に含まれる人物とを関連付ける関連付け手段を備え、
   再配置検出手段は、関連付け手段が関連付けた結果に基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する
   請求項１記載のセルフレジシステム。
3. 買い物リストに対応する人物に、当該買い物リストの状態を通知する通知手段を備え、
   買い物リスト生成手段は、削除処理として、取られた場所とは異なる場所に戻された商品を識別する削除フラグを、買い物リストに含まれる対象の商品に設定し、
   前記通知手段は、前記削除フラグが設定された商品を前記人物に対して通知する
   請求項１または請求項２記載のセルフレジシステム。
4. 買い物リストは人物の携帯する装置と対応付けられており、
   通知手段は、削除フラグが設定された商品を前記装置に通知する
   請求項３記載のセルフレジシステム。
5. 買い物リスト生成手段は、通知した人物の携帯する装置を介して、削除フラグが設定された商品を削除するか否かを表す指示を受信し、当該商品を削除する指示を受信した場合に、買い物リストから前記商品を削除する
   請求項４記載のセルフレジシステム。
6. 買い物リスト生成手段は、買い物リストに削除フラグが設定されている商品が存在する場合、当該買い物リストに基づく決済処理を停止する
   請求項３から請求項５のうちのいずれか１項に記載のセルフレジシステム。
7. 再配置検出手段は、同一の人物について、一方の陳列状態の変化が商品の減少を表し、他方の陳列状態の変化が商品の増加を表す場合に、当該変化の領域の形状が一方の陳列状態の変化と他方の陳列状態の変化とで一致し、かつ、当該変化の領域が異なる位置を示す場合、商品が取られた場所とは異なる場所に戻されたことを検出する
   請求項１から請求項６のうちのいずれか１項に記載のセルフレジシステム。
8. 再配置検出手段は、複数の場所に陳列されている同種の商品を棚割り情報に基づいて検出し、前記商品が取られた場所とは異なる場所に戻された場合でも、当該場所が同種の商品が陳列されている場所である場合、同一の場所に戻されたと検出する
   請求項１から請求項７のうちのいずれか１項に記載のセルフレジシステム。
9. 店舗内の人物の動線を検出する動線検出手段を備え、
   再配置検出手段は、変化検出手段が検出した商品の陳列状態の変化と、前記動線検出手段により検出される人物の動線とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する
   請求項１記載のセルフレジシステム。
10. 動線検出手段は、店舗内の所定の場所で人物の認証を行い、当該認証された人物を追尾して人物の動線を検出し、
    買い物リスト生成手段は、前記認証が行われたときに、認証された人物に対応する買い物リストを生成する
    請求項９記載のセルフレジシステム。
11. 商品が撮像されている撮像画像に基づいて、前記商品の陳列状態の変化を検出し、
    検出された前記商品の陳列状態の変化と、前記撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出し、
    前記人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、前記商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を前記人物に対応する買い物リストに登録するための登録処理を行い、
    商品が取られた場所とは異なる場所に戻されたことを示す検出結果と前記棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を前記人物に対応する前記買い物リストから削除するための削除処理を行う
    ことを特徴とする購入商品管理方法。
12. コンピュータに、
    商品が撮像されている撮像画像に基づいて、前記商品の陳列状態の変化を検出する変化検出処理、
    前記変化検出処理で検出された前記商品の陳列状態の変化と、前記撮像画像に含まれる人物または店舗内の動線が検出された人物とに基づいて、商品が取られた場所とは異なる場所に戻されたことを検出する再配置検出処理、および、
    前記人物が商品を手に取ったことに起因する陳列状態の変化が検出された商品を、前記商品が配置された商品棚の棚割り情報に基づいて特定し、特定された商品を前記人物に対応する買い物リストに登録するための登録処理を行い、前記再配置検出処理での検出結果と前記棚割り情報とに基づいて、取られた場所とは異なる場所に戻された商品を前記人物に対応する前記買い物リストから削除するための削除処理を行う買い物リスト生成処理
    を実行させるための購入商品管理プログラム

Images