JPWO2018179360A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

商品棚の状態をより正確に判別する。画像処理装置は、商品棚を撮像した撮像画像から、該商品棚に関する変化領域を検出する検出部と、事前に学習した商品棚に関する変化のモデル、または、撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、変化領域における商品棚に関する変化を分類する分類部とを備える。

Description

本開示は、画像処理装置、画像処理方法、および記録媒体に関する。

コンビニエンスストアやスーパーマーケットなどの店舗では、商品棚に陳列された商品の陳列状態に不備があると、例えば、商品棚に陳列されている商品が不足すると、販売機会損失が発生し店舗の売上に大きな影響を及ぼす。そのため、商品の陳列状態に不備がある場合は、それを解消するための商品補充作業などを速やかに行うことが好ましい。よって、商品棚に陳列された商品の陳列状態を監視することが求められている。

例えば、状態監視エリアにおける商品の陳列乱れに関する複数の評価指標を用いて陳列状態を評価し、評価結果に関する情報を店員などに提示することにより、状態監視エリアに対する作業項目を該店員に把握させる装置が記載されている（特許文献１）。

また、撮影画像の背景情報に基づいて、前景領域を検出する背景差分法が特許文献２および非特許文献１に記載されている。

特開２０１６−２０７１６４号公報 特開２００８−１７６５０４号公報

Ｚｏｒａｎ Ｚｉｖｋｏｖｉｃ、「Ｉｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ’０４）、米国、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ、２００４年８月、Ｖｏｌｕｍｅ２−Ｖｏｌｕｍｅ０２、ｐ．２８−３１

ところで、商品棚を監視する場合において、商品が顧客によってとられたことによる変化、商品が店員によって補充されたことによる変化、顧客が商品を手に取ってその商品を元の位置に戻したことによる形状や見た目の変化、などの、商品棚における変化の種類を特定することは、販売機会の獲得に大いに役に立つと考えられる。しかしながら、特許文献１に記載の技術では、商品の陳列乱れを店員に把握させるに留まっている。

本開示の目的の一つは、商品棚の状態をより正確に判別する技術を提供することにある。

本開示の一態様に係る画像処理装置は、商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出手段と、事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する分類手段と、を備える。

また、本開示の一態様に係る画像処理方法は、商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出し、事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する。

なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。

本開示によれば、商品棚の状態をより正確に判別することができる。

第１の実施の形態に係る画像処理装置を含む商品モニタリングシステムの構成の一例を示す図である。 商品モニタリングシステムの利用シーンを説明するための図である。 第１の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 検出部の動作を説明するための図である。 第１の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 領域変化分類部が出力する分類結果の一例を示す図である。 第２の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 第３の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第３の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 第４の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第４の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 第５の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第５の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 第６の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第６の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 変形例における前景領域検出部の動作を説明するための図である。 変形例における前景領域検出部の動作を説明するための図である。 変形例における前景領域検出部の動作を説明するための図である。 第７の実施の形態に係る画像処理装置を含む商品モニタリングシステムの構成の一例を示す図である。 第７の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第７の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 記憶部に格納された陳列状態情報の一例と、更新された陳列状態情報の一例を示す図である。 算出部の動作を説明するための図である。 出力装置が表示する出力画面の一例を示す図である。 出力装置が表示する出力画面の他の一例を示す図である。 第８の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第８の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 本開示の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る画像処理装置１００を含む商品モニタリングシステム１の構成の一例を示す図である。図２は、商品モニタリングシステム１の利用シーンを説明するための図である。

図１に示す通り、商品モニタリングシステム１は、画像処理装置１００と撮像装置２とを含む。画像処理装置１００は、撮像装置２と通信可能に接続している。なお、本実施の形態において、画像処理装置１００は、撮像装置２と別個の構成であるとして説明を行うが、画像処理装置１００は撮像装置２に内蔵される構成であってもよい。また、撮像装置２は、複数であってもよい。また、撮像装置２が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。

商品モニタリングシステム１では、図２に示す通り、撮像装置２が、店舗の商品棚３を撮像する。そして、撮像装置２は、撮像した撮像画像を示す映像信号を、画像処理装置１００に送信する。撮像装置２は、例えば、店舗に設置されている監視カメラである。撮像装置２は、撮像画像を撮像装置２の内部または画像処理装置１００とは異なる記憶装置に格納してもよい。

本実施の形態では、撮像装置２によって取得された撮像画像は、カラー画像（以下、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像と呼ぶ）であるとして説明を行う。なお、撮像画像は、例えば、ＲＧＢ画像以外の色空間の画像であってもよい。

図３は、本実施の形態に係る画像処理装置１００の機能構成の一例を示す機能ブロック図である。画像処理装置１００は、図３に示す通り、第１取得部１１０と、検出部１２０と、分類部１３０と、記憶部１４０とを備える。なお、図３に示す画像処理装置１００は、本開示に特有な構成について示したものであり、図３に示す画像処理装置１００が図３に示されていない部材を有してもよいことは言うまでもない。この点は、第２の実施の形態以降についても同様である。

第１取得部１１０は、撮像装置２が商品棚３を撮像することによって得た撮像画像を示す映像信号を取得する。第１取得部１１０は、撮像装置２から送信された映像信号を受信してもよい。第１取得部１１０は、撮像装置２の内部または撮像装置２および画像処理装置１００とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。

なお、画像処理装置１００が撮像装置２に内蔵されている場合、第１取得部１１０は、撮像画像そのものを取得する構成であってもよい。

第１取得部１１０は、取得した映像信号を、該映像信号を構成するＲＧＢ画像に変換し、該ＲＧＢ画像を検出部１２０および分類部１３０に供給する。第１取得部１１０が映像信号を変換することによって得たＲＧＢ画像は、撮像装置２が商品棚３を撮像した撮像画像を表すため、単に撮像画像とも呼ぶ。

記憶部１４０は、背景情報１４１と棚変化モデル１４２とを格納する。記憶部１４０は、画像処理装置１００とは異なる記憶装置で実現されてもよいし、検出部１２０または分類部１３０に内蔵されてもよい。また、背景情報１４１と棚変化モデル１４２とは別々の記憶部に格納されてもよい。

背景情報１４１は、検出部１２０において撮像画像と比較するための基準となる画像であり、背景画像とも呼ぶ。背景情報１４１は、例えば、撮像画像と同じ種類の画像であることが好ましい。本実施の形態では、上述した通り、撮像画像はＲＧＢ画像であるため、背景情報１４１もＲＧＢ画像であることが好ましい。なお、背景情報１４１は、第１取得部１１０から検出部１２０に対し、最初に供給された撮像画像であってもよいし、事前に与えられた画像であってもよい。

棚変化モデル１４２は、事前に学習した、商品棚３の変化をモデル化したものである。棚変化モデル１４２は、例えば、一般的に広く知られているＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなどの機械学習を用いて学習されることによって得られてもよい。

例えば、棚変化モデル１４２は、商品棚３に商品が含まれる画像と商品棚３に商品が含まれない画像とを用いて学習された「商品棚３に商品が含まれなくなったことによる変化」または「商品棚３に商品が新たに含まれたことによる変化」を表す。また、棚変化モデル１４２は、複数の商品の画像および各商品の形状が変化した複数の画像を用いて学習された「商品棚３に陳列された商品の見た目が変わったことによる変化」を表す。また、棚変化モデル１４２は、商品棚３の前に何も対象物が存在しない状態で撮像された撮像画像と、商品棚３の前に人物などの対象物が存在する状態で撮像された撮像画像とを用いて学習された、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」等を表す。また、棚変化モデル１４２は、様々な環境下で画像を用いて学習された、例えば、「照明が変わったことによる変化」を表してもよい。

また、棚変化モデル１４２の学習データは、例えば、変化前後の２つのＲＧＢ画像を結合した６チャネル画像でもよいし、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか１つを結合した２チャネル画像でもよい。また、学習データは、例えば、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか２つを結合した４チャネル画像でもよいし、変化前後の２つのＲＧＢ画像をグレースケール画像に変換してから結合した２チャネル画像でもよい。また、学習データは、変化前後のＲＧＢ画像をＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間など他の色空間に変換し、他の色空間への変換後の色空間における１つまたは複数のチャネルを結合した画像でもよい。

また、棚変化モデル１４２の学習データは、ＲＧＢ画像のようなカラー画像から生成されたものであってもよいし、カラー画像と距離画像との両方を用いて生成されたものであってもよい。

検出部１２０は、商品棚３に関する変化領域を検出する。例えば、撮影画像に含まれる、商品棚３に陳列された商品が、撮像画像よりも前に取得された画像（例えば背景画像）に含まれない場合、検出部１２０は、この商品の領域を検出する。また、例えば、背景画像に含まれる、商品棚３に陳列された商品が、撮像画像に含まれない場合、検出部１２０は、この商品の領域を検出する。また、撮影画像に含まれる、商品棚３に陳列された商品と背景画像に含まれる商品との見え方が異なる場合、検出部１２０は、この商品の領域を検出する。また、撮像画像が商品棚３と撮像装置２との間に人物や物体が存在した時に撮像された場合、検出部１２０は、商品棚３を撮像した撮像画像に含まれる人物や物体の領域を、検出する。このように、検出部１２０は、商品棚３の内部の変化領域、商品棚３と撮像装置２との間の物体による、撮像画像における変化領域等の、商品棚３に関する変化領域を検出する。

図３に示す通り、検出部１２０は、前景領域検出部１２１と、背景情報更新部１２３とを備える。

前景領域検出部１２１は、第１取得部１１０から供給された撮像画像を受け取る。また、前景領域検出部１２１は、撮像画像に対応する背景情報１４１を記憶部１４０から取得する。上述した通り、背景情報１４１はＲＧＢ画像である。前景領域検出部１２１は、２つのＲＧＢ画像（撮像画像および背景情報１４１）を比較し、該２つのＲＧＢ画像の間で変化した領域を変化領域として検出する。前景領域検出部１２１は、背景画像である背景情報１４１と撮像画像であるＲＧＢ画像とを比較するため、前景領域を検出するとも言える。

なお、前景領域検出部１２１が変化領域を検出する方法は特に限定されず、既存の技術を採用してもよい。例えば、前景領域検出部１２１は、非特許文献１に開示されている背景差分法を用いて、変化領域を検出してもよい。前景領域検出部１２１は、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を生成してもよい。これにより、前景領域検出部１２１は、撮像画像と同じサイズの２値画像を生成する。

前景領域検出部１２１は、変化領域の検出結果として、生成した２値画像を分類部１３０に供給する。このとき、前景領域検出部１２１は２値画像に、２値画像の生成に用いた撮像画像を示す情報および背景情報１４１を示す情報を付与して、該２値画像を分類部１３０に供給してもよいし、２値画像と共に該撮像画像および背景情報１４１を分類部１３０に供給してもよい。

なお、検出結果は、検出した変化領域を示す情報を含んでいればよい。例えば、前景領域検出部１２１は、検出した変化領域（画素値が２５５の領域）の位置を表す情報とその大きさとを変化領域の検出に用いた撮像画像を示す情報および背景画像を示す情報に関連付け、検出結果として出力してもよい。このように、前景領域検出部１２１が出力する検出結果は、どのような形式であってもよい。

背景情報更新部１２３は、第１取得部１１０から供給された撮像画像と、記憶部１４０に格納されている背景情報１４１であるＲＧＢ画像とに基づいて、背景情報１４１を更新する。背景情報更新部１２３が、背景情報１４１を更新する方法は特に限定されず、例えば、非特許文献１と同様の方法を採用してもよい。

検出部１２０の動作について、図４を参照してさらに説明する。図４は、検出部１２０の動作を説明するための図である。図４の（ａ）は撮像画像の一例であり、図４の（ｂ）は記憶部１４０に格納された、撮像画像に対応する背景情報１４１の一例であり、図４の（ｃ）は、変化領域の検出結果である２値画像の一例を示す図である。

撮像画像と背景情報１４１とが異なる点は、商品Ｇ１、商品Ｇ２および商品Ｇ３の領域である。商品Ｇ１は、背景情報１４１には含まれないが、撮像画像には含まれる。また、商品Ｇ３は、背景情報１４１には含まれるが、撮像画像には含まれない。また、撮像画像に含まれる商品Ｇ２の位置には、背景情報１４１上では他の商品が陳列されている。したがって、前景領域検出部１２１は、商品Ｇ２の領域も変化があった領域として検出する。よって、前景領域検出部１２１は、図４の（ｃ）に示すような、商品Ｇ１、商品Ｇ２および商品Ｇ３の領域に相当する部分を白で表現し、その他の部分を黒で表現した２値画像を生成する。

以降の説明において、変化領域は、図４の（ｃ）の白色の部分の夫々を示す。つまり、変化領域とは、例えば、画素値が２５５の画素であり、且つ、該画素に隣接する画素の何れかの画素値が２５５の画素の集合である。前景領域検出部１２１は、図４の（ｃ）の例では、３つの変化領域を検出する。

分類部１３０は、図３に示す通り、第１抽出部１３１と、第２抽出部１３２と、領域変化分類部１３４とを備える。

分類部１３０は、変化領域における商品棚３に関する変化を分類する。分類部１３０は、検出部１２０から供給された検出結果（２値画像）と、記憶部１４０に格納された棚変化モデル１４２とに基づいて、背景画像上の検出された変化領域に対応する領域の画像の状態から撮像画像上の変化領域に対応する領域の画像の状態への変化を分類する。画像の状態とは、例えば、画像に商品が含まれるまたは含まれない状態、画像に顧客が含まれるまたは含まれない状態、画像に買い物かごが含まれるまたは含まれない状態、画像に買い物カートが含まれるまたは含まれない状態等、である。分類部１３０は、棚変化モデル１４２に基づいて、変化領域における商品棚３に関する変化を、例えば、「商品棚３に商品が含まれなくなったことによる変化」、「商品棚３に商品が新たに含まれたことによる変化」、「商品棚３に陳列された商品の見た目が変わったことによる変化」、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」、「照明が変わったことによる変化」などの、変化の種類に分類する。なお、分類部１３０が変化領域における状態の変化を分類する種類は、一例であり、これらに限定されない。また、例えば、「商品棚３に陳列された商品の見た目が変わったことによる変化」は、「異なる商品になったためによる見た目の変化」なのか、「商品の姿勢が変わったことによる見た目の変化」なのか等更に詳細に分類されてもよい。

具体的に、分類部１３０の各部について説明を行う。第１抽出部１３１は、前景領域検出部１２１から、検出結果である２値画像を受け取る。また、第１抽出部１３１は、２値画像の生成に用いた撮像画像を記憶部１４０から取得する。なお、第１抽出部１３１は、撮像画像を２値画像と共に前景領域検出部１２１から受け取ってもよい。

第１抽出部１３１は、撮像画像から変化領域の画像を抽出する。具体的には、第１抽出部１３１は、撮像画像と、該撮像画像と同じサイズである２値画像とを用いて、２値画像における画素値が２５５の領域に対応する撮像画像上の領域の画像を第１注目画像として抽出する。２値画像が図４の（ｃ）の場合、第１抽出部１３１は、撮像画像から３つの第１注目画像を抽出する。上述した通り、撮像画像はＲＧＢ画像であるため、抽出された第１注目画像も、ＲＧＢ画像である。

なお、第１抽出部１３１は、変化領域毎に、該変化領域と同じ形状の領域の第１注目画像を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域の画像を第１注目画像として抽出してもよい。なお、変化領域に外接する枠の形状は、例えば、矩形、楕円形などどのような形状であってもよい。また、第１抽出部１３１は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域の画像を第１注目画像として抽出してもよい。

第１抽出部１３１は、抽出した第１注目画像を領域変化分類部１３４に供給する。なお、第１抽出部１３１が抽出した第１注目画像の撮像画像上における領域を第１注目領域とも呼ぶ。

第２抽出部１３２は、前景領域検出部１２１から、検出結果である２値画像を受け取る。また、第２抽出部１３２は、２値画像の生成に用いた背景情報１４１を記憶部１４０から取得する。なお、第２抽出部１３２は、背景情報１４１を２値画像と共に前景領域検出部１２１から受け取ってもよい。

第２抽出部１３２は、背景情報１４１から変化領域の画像を抽出する。具体的には、第２抽出部１３２は、背景画像である背景情報１４１と２値画像とを用いて、２値画像における画素値が２５５の領域に対応する背景情報１４１上の領域の画像を第２注目画像として抽出する。第２注目画像の抽出方法は、第１注目画像の抽出方法と同様である。第２抽出部１３２は、抽出した第２注目画像を領域変化分類部１３４に供給する。なお、第２抽出部１３２が抽出した第２注目画像の背景情報１４１上における領域を第２注目領域とも呼ぶ。

領域変化分類部１３４は、第１抽出部１３１から第１注目画像を受け取る。また、領域変化分類部１３４は、第２抽出部１３２から第２注目画像を受け取る。領域変化分類部１３４は、記憶部１４０に格納された棚変化モデル１４２に基づいて、第２注目画像の状態から、該第２注目画像に対応する第１注目画像の状態への変化を、例えば上述した種類に分類する。たとえば、領域変化分類部１３４は、第２注目画像の状態から第１注目画像の状態への変化を、棚変化モデル１４２と比較した結果に基づいて、該変化を分類する。

なお、領域変化分類部１３４は、例えば、棚変化モデル１４２を作成した機械学習法（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなど）を用いて、商品棚３に関する変化を上述した種類の何れかに分類してもよい。

領域変化分類部１３４は、分類結果を、例えば、記憶部１４０に格納してもよいし、画像処理装置１００の外部に出力してもよい。

次に、図５を参照して本実施の形態に係る画像処理装置１００の動作の流れについて説明する。図５は、本実施の形態に係る画像処理装置１００の動作の流れの一例を示すフローチャートである。

まず、第１取得部１１０が、商品棚３を撮像した映像信号からＲＧＢ画像である撮像画像を取得する（ステップＳ５１）。第１取得部１１０は取得した撮像画像を検出部１２０および分類部１３０に供給する。

次に、検出部１２０の前景領域検出部１２１が、第１取得部１１０から供給された、ＲＧＢ画像である撮像画像と、記憶部１４０に格納されている、ＲＧＢ画像である背景情報１４１とを用いて、２つのＲＧＢ画像の間で変化した領域を変化領域として検出する（ステップＳ５２）。そして、前景領域検出部１２１は、変化領域の検出結果を分類部１３０に供給する。例えば、分類部１３０は、検出した変化領域の画素を２５５とし、その他の領域の画素を０とした２値画像を生成し、該２値画像を、変化領域の検出結果として分類部１３０に供給する。

また、背景情報更新部１２３は、撮像画像と背景情報１４１とを用いて背景情報１４１を更新する（ステップＳ５３）。なお、ステップＳ５３は、ステップＳ５１の後であれば、どのタイミングで行われてもよい。

分類部１３０の第１抽出部１３１が、第１取得部１１０から供給された撮像画像と、前景領域検出部１２１から供給された該撮影画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ５４）。第１抽出部１３１は、抽出した第１注目画像を領域変化分類部１３４に供給する。

また、分類部１３０の第２抽出部１３２が、前景領域検出部１２１から供給された検出結果と、記憶部１４０から取得した、該検出結果を得るために用いた背景情報１４１とに基づいて、第１抽出部１３１と同様の動作により、背景情報１４１から第２注目画像を抽出する（ステップＳ５５）。第２抽出部１３２は、抽出した第２注目画像を領域変化分類部１３４に供給する。なお、ステップＳ５４とステップＳ５５とは同時に行われてもよいし、逆順で行われてもよい。

そして、領域変化分類部１３４は、第１抽出部１３１から供給された第１注目画像と、第２抽出部１３２から供給された第２注目画像と、記憶部１４０に格納された棚変化モデル１４２とに基づいて、商品棚３に関する変化（第２注目画像における状態から第１注目画像における状態への変化）を分類する（ステップＳ５６）。

そして、画像処理装置１００は、第１取得部１１０が次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ５７）。次の撮像画像がある場合（ステップＳ５７にてＹＥＳ）、処理はステップＳ５１に移行し、次の撮像画像がない場合（ステップＳ５７にてＮＯ）、画像処理装置１００は、動作を終了する。

図６は、分類部１３０の領域変化分類部１３４が出力する分類結果の一例を示す図である。領域変化分類部１３４は、例えば、図６に示すような分類結果６０を出力する。

図６に示す通り、分類結果６０は、第２注目画像６１と、第１注目画像６２と、変化の種類６３とを含む。なお、図６に示す分類結果６０は一例であり、分類結果６０が図６に示す情報以外の情報を含んでもよい。例えば、分類結果６０は、撮像画像に関する情報（識別子、撮像時刻など）や第１注目画像６２の撮像画像における位置を示す情報などを含んでもよい。

以上のように、本実施の形態に係る画像処理装置１００は、検出部１２０が商品棚を撮像した撮像画像と、該撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、商品棚３に関する変化領域を検出し、分類部１３０が、事前に学習した商品棚３に関する変化のモデルである棚変化モデル１４２に基づいて、変化領域における商品棚３に関する変化を分類する。

上述した通り、棚変化モデル１４２は、商品棚３に関する変化を表すモデルであるため、分類部１３０は、変化領域として検出された領域における商品棚３に関する変化を、商品が商品棚３から取られたことや商品が補充されたことなどの種類に分類する。

したがって、本実施の形態に係る画像処理装置１００によれば、商品棚３の商品に変化があったことだけではなく、その変化がどのような種類の変化なのかを特定することができる。したがって、画像処理装置１００は、商品が取られた状態であるのか、商品棚３が補充された状態であるのかなどの商品棚３の状態をより正確に判別することができる。

このような分類結果から、商品棚３に陳列された商品が、購入される商品なのか、手に取られる商品なのか等がわかるため、画像処理装置１００は、マーケティングに有効なデータを出力することができる。また、分類結果から商品棚３の前を、カートを押したまたは買い物かごを持った顧客が通過した等がわかるため画像処理装置１００は、例えば、店舗内の顧客の動線の取得に使用可能なデータを出力することができる。

＜第２の実施の形態＞
次に、図７を参照して、本開示の第２の実施の形態に係る画像処理装置２００について説明する。図７は、本実施の形態に係る画像処理装置２００の機能構成の一例を示す機能ブロック図である。本実施の形態に係る画像処理装置２００は、前景領域検出部２２１が検出した変化領域を複数のＲＧＢ画像間で追跡する。なお、前述した第１の実施の形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。

図７に示す通り、本実施の形態に係る画像処理装置２００は、第１取得部１１０と、検出部２２０と、分類部１３０と、記憶部２４０とを備える。画像処理装置２００は、画像処理装置１００の検出部１２０に代えて、検出部２２０を備え、記憶部１４０に代えて記憶部２４０を備える。

なお、画像処理装置２００は、図１に示す画像処理装置１００と同様に、撮像装置２と通信可能に接続している。

記憶部２４０は、記憶部１４０と同様に、背景情報１４１および棚変化モデル１４２を格納する。また、記憶部２４０は、前景領域検出部２２１による検出結果を前景領域情報２４３として格納する。前景領域情報２４３については、後述する。

検出部２２０は、前景領域検出部２２１と、背景情報更新部２２３と、前景領域追跡部２２４とを備える。

前景領域検出部２２１は、前景領域検出部１２１と同様の動作により変化領域を検出する。そして、前景領域検出部２２１は、前景領域検出部１２１と同様に、例えば、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を検出結果として生成する。そして、前景領域検出部２２１は、検出結果である２値画像に、該２値画像の生成に用いた撮像画像の撮像時刻を関連付ける。前景領域検出部２２１は、撮像画像の撮像時刻が関連付けられた検出結果を背景情報更新部２２３と、前景領域追跡部２２４とに供給する。また、前景領域検出部２２１は、この検出結果を前景領域情報２４３として記憶部２４０に格納する。つまり、前景領域情報２４３は、撮像画像の撮像時刻が関連付けられた２値画像である。

前景領域追跡部２２４は、前景領域検出部２２１が検出した変化領域を複数の撮像画像の間で追跡する。前景領域追跡部２２４は、前景領域検出部２２１から供給された検出結果（２値画像）を受け取る。また、前景領域追跡部２２４は、検出結果である２値画像に関連付けられた、該２値画像に関連する撮像画像の撮像時刻よりも前に撮像された撮像画像から生成された２値画像である前景領域情報２４３を記憶部１４０から取得する。そして、前景領域追跡部２２４は、各２値画像によって表される各変化領域を対応付ける処理を行うことにより、該変化領域を追跡する。ここで、前景領域追跡部２２４は、例えば、前景領域検出部２２１から供給された２値画像と、記憶部２４０から取得した前景領域情報２４３とによって表される変化領域の面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出し、算出した類似度が最も高くなる変化領域同士を対応付けてもよい。また、前景領域検出部２２１が、検出した変化領域に含まれる色情報を撮像画像から抽出し、取得した色情報を検出結果に関連付ける構成の場合、前景領域追跡部２２４は該色情報を用いて、追跡を行ってもよい。なお、前景領域検出部２２１は、変化領域の色情報の代わりに変化領域の画像を検出結果に関連付けてもよい。

そして、前景領域追跡部２２４は、追跡した結果が、所定の時間以上の場合、前景領域検出部２２１から供給された検出結果である２値画像を分類部１３０に供給する。なお、このとき前景領域追跡部２２４は２値画像に、２値画像の生成に用いた撮像画像を示す情報および背景情報１４１を示す情報を付与して、該２値画像を分類部１３０に供給してもよいし、２値画像と共に該撮像画像および背景情報１４１を分類部１３０に供給してもよい。また、２値画像に複数の変化領域が含まれ、変化領域の何れかが所定の時間以上追跡されていない場合、前景領域追跡部２２４は、所定の時間以上追跡された変化領域を示す情報と共に、２値画像を分類部１３０に供給してもよい。

また、２値画像に複数の変化領域が含まれる場合、前景領域追跡部２２４は、１つの２値画像に１つの変化領域が含まれるように複数の２値画像を生成してもよい。例えば、所定の時間以上追跡された変化領域のみが含まれる２値画像を分類部１３０に供給し、所定の時間以上追跡されていない変化領域が含まれる２値画像を破棄してもよい。なお、前景領域追跡部２２４は、前景領域検出部２２１から変化領域毎の２値画像を検出結果として受け取ってもよい。前景領域検出部２２１が変化領域毎に２値画像を生成する方法については、後述する。

また、前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号を背景情報更新部２２３に供給する。

また、前景領域追跡部２２４は、例えば、変化領域の移動量が所定の閾値以上である場合、変化領域に含まれる物体が動体であると判定し、該変化領域を分類部１３０に供給せずに破棄してもよい。これにより、画像処理装置２００は「商品棚３の前に人物が存在することによる変化」など、商品の増減に無関係な商品棚３に関する変化を削除できるため、商品の陳列状態をより正確に監視できる。なお、前景領域追跡部２２４は、変化領域に含まれる物体が動体であると判定した判定結果を、該変化領域に関連付けて分類部１３０に供給してもよい。そして、分類部１３０は、変化領域に判定結果が関連付けられている場合、この変化領域における商品棚３に関する変化を、商品棚３に陳列された商品以外の変化に関連する種類に分類してもよい。例えば、分類部１３０は、変化領域における商品棚３に関する変化を、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」等、商品以外の変化に関する種類に分類してもよい。

また、前景領域追跡部２２４は、変化領域の追跡後、例えば、分類部１３０に変化領域を示す検出結果を供給する場合に値が１の更新信号を、該変化領域を示す情報と共に背景情報更新部２２３に供給してもよい。また、前景領域追跡部２２４は、分類部１３０に検出結果を供給しない場合に値が０の更新信号を、該変化領域を示す情報と共に背景情報更新部２２３に供給してもよい。値が１の更新信号とは、背景情報１４１における変化領域に対応する部分の画像を更新することを示す指示であり、値が０の更新信号とは、背景情報１４１における変化領域に対応する部分の画像を更新しないことを示す指示である。例えば、前景領域追跡部２２４は、追跡の結果に含まれる追跡の時間や、例えば、画像処理装置２００の外部装置から送信される商品の購入情報や仕入情報、店員の作業情報等に基づいて、変化領域に含まれる商品が購入されたまたは補充された可能性が高い場合、商品棚３の背景を更新するように、値が１の更新信号を出力してもよい。

背景情報更新部２２３は、第１取得部１１０から供給された撮像画像と、前景領域検出部２２１から供給された検出結果と、背景情報１４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報更新部１２３と同様の動作により背景情報１４１を更新する。

なお、背景情報更新部２２３は、背景情報１４１によって示されるＲＧＢ画像のうち、例えば、前景領域検出部２２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新しなくてもよい。例えば、背景情報更新部２２３は、上述した値が０の更新信号を前景領域追跡部２２４から受け取った場合、変化領域に対応する領域の背景情報を更新しない。

前景領域追跡部２２４は、分類部１３０に検出結果を出力しない場合、値が０の更新信号を背景情報更新部２２３に供給する。分類部１３０に検出結果を出力しない場合とは、例えば、追跡結果が所定の時間未満である場合、または、変化領域の移動量が所定の閾値以上である場合である。背景情報更新部２２３は、このように、追跡結果が第１の所定の条件を満たす場合に、値が０の更新信号を受け取り、変化領域に対応する領域の背景情報を更新しない。言い換えると、背景情報更新部２２３は、背景情報１４１のうち、変化領域に対応する領域以外を更新する。これにより、第１取得部１１０が次に取得した撮像画像の、更新を行なわなかった領域に対応する領域が前景領域検出部２２１によって変化領域として検出されやすくなる。

また、背景情報更新部２２３は、例えば、前景領域追跡部２２４から供給された更新信号の値が１の場合に、背景情報１４１によって示されるＲＧＢ画像のうち、前景領域検出部２２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新してもよい。前景領域追跡部２２４は、追跡結果が所定の時間以上である場合、追跡した変化領域を表す検出結果を分類部１３０に供給すると、値が１の更新信号を背景情報更新部２２３に供給する。つまり、追跡結果が所定の時間以上追跡された結果であるという第２の所定の条件を満たす場合、背景情報更新部２２３は、前景領域追跡部２２４から値が１の更新信号を受け取り、背景情報１４１における該変化領域に該当する部分の画像を更新してもよい。これにより、背景情報更新部２２３は、記憶部１４０に格納された背景情報１４１をその時点において第１取得部１１０が取得した撮像画像に近づけることができる。したがって、画像処理装置２００は、上記変化領域に対応する次に第１取得部１１０が取得する撮像画像上の領域を、前景領域検出部２２１が変化領域として検出することを防ぐことができる。

分類部１３０は、第１の実施の形態において説明した動作によって、商品棚３に関する変化を分類する。このとき、第１抽出部１３１および第２抽出部１３２は、前景領域検出部２２１から供給された検出結果である２値画像と、所定の時間以上追跡された変化領域を示す情報とを共に受け取った場合、所定の時間以上追跡された変化領域に対して、夫々第１注目画像および第２注目画像の抽出処理を行ってもよい。

次に、図８を参照して本実施の形態に係る画像処理装置２００の動作の流れについて説明する。図８は、本実施の形態に係る画像処理装置２００の動作の流れの一例を示すフローチャートである。図８に示すステップＳ８１〜Ｓ８２は、夫々、図５に示すＳ５１〜Ｓ５２と同様である。

ステップＳ８２終了後、前景領域検出部２２１は、記憶部２４０に前景領域情報２４３を格納する（ステップＳ８３）。上述した通り、前景領域情報２４３は、撮像時刻が関連付けられた検出結果である。

次に、前景領域追跡部２２４が、前景領域検出部２２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ８４）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部１３０に供給する。前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号を背景情報更新部２２３に供給する。

背景情報更新部２２３は、第１取得部１１０から供給された撮像画像と、前景領域検出部２２１から供給された変化領域の検出結果と、背景情報１４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報１４１を更新する（ステップＳ８５）。

なお、ステップＳ８５は、ステップＳ８４以降の任意のタイミングで行われてもよい。

そして、画像処理装置２００は、図５に示すステップＳ５４〜Ｓ５７と同様の処理であるステップＳ８６〜Ｓ８９を実行する。

以上のように、本実施の形態に係る画像処理装置２００の検出部２２０が検出した変化領域を複数の撮像画像の間で追跡し、分類部１３０が該追跡結果に基づいて、商品棚３に関する変化を分類する。例えば、検出部２２０は、追跡した結果が所定の時間以上の場合、検出結果を分類部１３０に供給し、所定の時間未満の場合、検出結果を分類部１３０に供給しない。したがって、分類部１３０は、所定の時間以上追跡が行われた変化領域に対して、商品棚３に関する変化を分類する。したがって、変化領域が連続して検出されていない領域を分類しないため、実際に変化が生じている領域を精度よく分類することができる。

また、例えば、検出部２２０は、更に、変化領域の移動量が所定の閾値未満の場合、検出結果を分類部１３０に供給し、所定の閾値以上の場合、検出結果を分類部１３０に供給しない。変化領域の移動量が所定の閾値以上の物体は、商品以外の物体である。よって、分類部１３０が行う分類処理の対象を、商品棚３の商品に絞ることができるため、商品棚３の商品に対する分類精度をより高めることができる。また、画像処理装置２００は、分類部１３０が人物などの動体を商品棚３の変化として分類することを防ぐことができる。

＜第３の実施の形態＞
図９を参照して、本開示の第３の実施の形態に係る画像処理装置３００について説明する。本実施の形態に係る商品モニタリングシステム１は、画像処理装置１００に変えて、画像処理装置３００を含む。つまり、商品モニタリングシステム１は、撮像装置２と、画像処理装置３００とを含む。なお、本実施の形態では商品モニタリングシステム１が備える撮像装置２は夫々異なる種類の画像を取得する複数の撮像装置であってもよい。例えば、撮像装置２は、ＲＧＢ画像を取得するＲＧＢカメラと、距離画像を取得するデプスカメラであってもよい。この場合、ＲＧＢカメラとデプスカメラとは近接する位置に設けられ同じ対象（商品棚３）を撮像する。また、ＲＧＢカメラとデプスカメラとは時刻同期がとられており、ほぼ同時刻に商品棚３を撮像することが好ましい。つまり、デプスカメラは、ＲＧＢカメラによって撮像されたＲＧＢ画像の撮影時刻から所定の時間内に、且つ、ＲＧＢ画像の撮像範囲を撮像した距離画像を出力するカメラであることが好ましい。また、撮像装置２は、複数の種類の画像（例えば、ＲＧＢ画像および距離画像）を取得可能なセンサであってもよい。例えば、撮像装置２は、ＲＧＢＤカメラであってもよい。

図９は、本実施の形態に係る画像処理装置３００の機能構成の一例を示す機能ブロック図である。本実施の形態に係る画像処理装置３００は、第２取得部３５０が取得した距離画像である第２撮像画像に基づいて、変化領域における商品棚３に関する変化を分類する。なお、前述した各実施の形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。

図９に示す通り、画像処理装置３００は、第１取得部１１０と、検出部１２０と、分類部３３０と、記憶部３４０と、第２取得部３５０とを備える。

第１取得部１１０は、上述した第１の実施の形態における第１取得部１１０と同様に、ＲＧＢ画像である撮像画像を取得する。以降、第１取得部１１０が取得するＲＧＢ画像である撮像画像を第１撮像画像と呼ぶ。

第２取得部３５０は、第１取得部１１０と同様に撮像装置２が商品棚３を撮像することによって得た撮像画像を示す映像信号を受け取り、該映像信号から距離画像を取得する。第２取得部３５０は、第１取得部１１０が取得する映像信号とは異なる種類の映像信号を受け取る。例えば、第１取得部１１０が取得する映像信号がＲＧＢ画像を構成する映像信号の場合、第２取得部３５０は、距離画像を構成する映像信号を取得する。ここで、距離画像は、例えば、撮像装置２から対象物までの距離の値を持った画像を意味してもよい。また、距離画像の各画素は、例えば、０から２５５の値で構成されていてもよい。このとき、各画素の値すなわち距離値は、例えば、情報取得装置に対象物が近ければ０に近づき、対象物が遠ければ２５５に近づくようにしてもよい。なお、距離画像の各画素の値はこれに限定されない。本実施の形態では第２取得部３５０が取得する第２撮像画像が、グレースケールの距離画像であるとして説明を行う。

なお、第２取得部３５０は、第１取得部１１０と同様に、撮像装置２の内部または撮像装置２および画像処理装置３００とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。また、画像処理装置３００が撮像装置２に内蔵されている場合、第２取得部３５０は、撮像画像そのものを取得する構成であってもよい。

第２取得部３５０は、取得した映像信号を、該映像信号を構成する距離画像に変換し、該距離画像を分類部３３０に供給する。第２取得部３５０が映像信号を変換することによって得た距離画像、または、撮像装置２から取得した撮像画像を以下では第２撮像画像と呼ぶ。

なお、第１取得部１１０と、第２取得部３５０とは一体となって形成されてもよい。また、第１撮像画像と第２撮像画像とは、撮像された位置を示す情報および撮像時刻に基づいて、互いに関連付けられている。

記憶部３４０は、記憶部１４０および記憶部２４０と同様に背景情報１４１を格納する。また、記憶部３４０は、距離情報３４４を格納する。距離情報３４４については後述する。

分類部３３０は、第１抽出部３３１と、第２抽出部３３２と、領域変化分類部３３４と、距離情報更新部３３５とを備える。

第１抽出部３３１は、第２撮像画像から変化領域の画像を抽出する。具体的には、第１抽出部３３１は、第２取得部３５０から供給された距離画像である第２撮像画像と、前景領域検出部１２１から供給された検出結果である２値画像とを用いて、２値画像における画素値が２５５の領域に対応する第２撮像画像上の領域の画像を第１注目画像として抽出する。第１抽出部３３１は、上述した第１抽出部１３１と同様の方法で第１注目画像を抽出すればよい。そして、第１抽出部３３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。

第２抽出部３３２は、前景領域検出部１２１が２値画像を生成する際に用いた第１撮像画像に関連付けられた第２撮像画像である距離画像が、撮像された時刻より前の距離画像から、変化領域の画像を抽出する。具体的には、第２抽出部３３２は、前景領域検出部１２１から、検出結果である２値画像を受け取る。また、第２抽出部３３２は、２値画像の生成に用いた第１撮像画像の撮像時刻よりも前に撮像された第２撮像画像である、距離情報３４４を記憶部３４０から取得する。距離情報３４４は、後述する第２取得部３５０によって更新される第２撮像画像であり、第２取得部３５０が取得した距離画像である。距離情報３４４には、撮像時刻が関連付けられている。上述した通り、第１撮像画像と第２撮像画像とは時刻同期がとられているため、第１撮像画像の撮像時刻と、該第１撮像画像に関連付けられた第２撮像画像の撮像時刻とは略同じとなる。したがって、第２抽出部３３２は、第１抽出部３３１が抽出処理を行う対象の第２撮像画像よりも前に撮像された（過去の）第２撮像画像から、変化領域の画像を第２注目画像として抽出すると言える。

なお、第２抽出部３３２は、第１抽出部３３１が第１注目画像を抽出する方法と同様の方法で第２注目画像を抽出する。第２抽出部３３２は、抽出した第２注目画像を領域変化分類部３３４に供給する。

距離情報更新部３３５は、第２取得部３５０から供給された距離画像と、記憶部３４０に格納されている距離情報３４４とに基づいて、距離情報３４４を更新する。距離情報更新部３３５は、例えば、背景情報更新部１２３と同様の動作により、距離情報３４４を更新してもよい。

領域変化分類部３３４は、変化領域における距離情報に基づいて、変化領域における商品棚３に関する変化を分類する。まず、第１抽出部３３１から第１注目画像を受け取る。また、領域変化分類部３３４は、第２抽出部３３２から第２注目画像を受け取る。領域変化分類部３３４は、第１注目画像と第２注目画像とに基づいて、変化領域における商品棚３に関する変化を分類する。

領域変化分類部３３４は、例えば、第１注目画像における各画素の値（距離値）から第２注目画像における各画素の値（距離値）を減算することにより得られた演算結果に基づいて、変化を分類してもよい。例えば、演算結果が第１の所定の閾値以上の値の場合、すなわち、第１注目画像に含まれる対象物の方が第２注目画像に含まれる対象物より奥にある場合、領域変化分類部３３４は、変化領域における商品棚３に関する変化を「商品棚３に商品が含まれなくなったことによる変化」と分類してもよい。また、例えば、演算結果が第２の所定の閾値以下の値の場合、すなわち、第１注目画像に含まれる対象物の方が第２の注目画像に含まれる対象物よりも撮像装置２側にある場合、領域変化分類部３３４は、変化領域における商品棚３に関する変化を「商品棚３に商品が新たに含まれたことによる変化」と分類してもよい。また、それ以外の場合、領域変化分類部３３４は、変化領域における商品棚３に関する変化を「商品棚３に陳列された商品の見た目が変わったことによる変化」または「照明が変わったことによる変化」等に分類してもよい。

また、領域変化分類部３３４は、例えば、第１注目画像における各画素の距離値と第２注目画像における各画素の距離値とをクラスタリングし、最も要素数の多いクラスの距離値を、各注目画像を代表する距離値とし、さらに各注目画像の該クラスのクラスタの座標を求めてもよい。そして、領域変化分類部３３４は、例えば、各注目画像を代表する距離値の差分の絶対値が第３の所定の閾値以内であり、かつ、各注目画像のクラスのクラスタの座標が第４の所定の閾値以上離れている場合に、変化領域における商品棚３に関する変化を「商品棚３に陳列された商品の見た目が変わったことによる変化」に分類してもよい。

また、領域変化分類部３３４は、例えば、事前に設定した、撮像装置２から商品棚３までの距離値から第１注目画像を代表する距離値を減算した結果を用いて、変化領域における商品棚３に関する変化を、商品棚３に陳列された商品の変化に関連する種類または商品棚３に陳列された商品以外の物体による変化に関する種類に分類してもよい。例えば、上記結果が正の値ならば、すなわち、撮像画像のうちの変化領域の部分の画像に含まれる対象物が撮像装置２と商品棚３との間に存在するならば、領域変化分類部３３４は、該変化領域における商品棚３に関する変化を商品棚３に陳列された商品以外の物体による変化に関する種類に分類してもよい。商品棚３に陳列された商品以外の物体による変化に関する種類とは、例えば、「商品棚３の前に人物が存在することによる変化」、「商品棚３の前に買い物カートがあることによる変化」および「商品棚３の前に人物と買い物かごとがあることによる変化」の少なくとも１つである。また、上記結果が正の値以外ならば、領域変化分類部３３４は、該変化領域における商品棚３に関する変化を商品棚３に陳列された商品の変化に関連する種類に分類してもよい。このように、領域変化分類部３３４は、第１注目画像と事前に設定された距離値とを用いて分類処理を行うことにより、分類処理にかかる処理コストを低減させることができる。

次に、図１０を参照して本実施の形態に係る画像処理装置３００の動作の流れについて説明する。図１０は、本実施の形態に係る画像処理装置３００の動作の流れの一例を示すフローチャートである。

図１０に示すステップＳ１０１は、図５に示すＳ５１と同様に、商品棚３を撮像した映像信号からＲＧＢ画像である第１撮像画像を取得する（ステップＳ１０１）。また、第２取得部３５０は、商品棚３を撮像した映像信号から距離画像である第２撮像画像を取得する（ステップＳ１０２）。なお、第２撮像画像の撮像時刻が第１撮像画像の撮影時刻から所定の時間内であり、第２撮像画像の撮像範囲が第１撮像画像の撮像範囲であればよく、第２取得部３５０が第２撮像画像を取得するタイミングは、ステップＳ１０５の前までであればよい。

そして、図５に示すステップＳ５２およびステップＳ５３と同様に、前景領域検出部１２１が変化領域を検出し（ステップＳ１０３）、背景情報更新部１２３が背景情報１４１を更新する（ステップＳ１０４）。

そして、分類部３３０の第１抽出部３３１が、第２取得部３５０から供給された第２撮像画像と、前景領域検出部１２１から供給された検出結果とに基づいて、第２撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１０５）。第１抽出部３３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。

また、分類部３３０の第２抽出部３３２が、前景領域検出部１２１から供給された検出結果と、記憶部３４０から取得した、第１抽出部３３１に供給された第２撮像画像の撮像時刻よりも前に撮像された第２撮像画像を示す距離情報３４４とに基づいて、第１抽出部３３１と同様の動作により、距離情報３４４から第２注目画像を抽出する（ステップＳ１０６）。第２抽出部３３２は、抽出した第２注目画像を領域変化分類部３３４に供給する。なお、ステップＳ１０５とステップＳ１０６とは同時に行われてもよいし、逆順で行われてもよい。

そして、領域変化分類部３３４が第１注目画像の各画素の値と、第２注目画像の各画素の値との比較結果に基づいて、変化領域における商品棚３に関する変化を分類する（ステップＳ１０７）。

次に、距離情報更新部３３５は、第２取得部３５０から供給された第２撮像画像と、距離情報３４４とに基づいて、距離情報３４４を更新する（ステップＳ１０８）。

そして、画像処理装置３００は、第１取得部１１０が次の映像信号を受信し、且つ、第２取得部３５０が次の映像信号を受信したか否か（次の第１撮像画像および第２撮像画像があるか否か）を判定する（ステップＳ１０９）。次の第１撮像画像および第２撮像画像がある場合（ステップＳ１０９にてＹＥＳ）、処理はステップＳ１０１に移行し、次の第１撮像画像および第２撮像画像の少なくとも何れかがない場合（ステップＳ１０９にてＮＯ）、画像処理装置３００は、動作を終了する。

以上のように、本実施の形態に係る画像処理装置３００の検出部１２０は、第１の実施の形態と同様に、ＲＧＢ画像である第１撮像画像と、第１撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報１４１とを比較することによって、変化領域を検出する。また、画像処理装置３００の分類部３３０は、距離画像である第２撮像画像に含まれる各画素の値と、該第２撮像画像の撮像時刻よりも前に撮像された距離情報３４４の各画素の値との比較結果に基づいて、商品棚３に関する変化を分類する。

このような構成であっても、本実施の形態に係る画像処理装置３００は、画像処理装置１００と同様に、商品棚３の状態をより正確に判別することができる。

＜第４の実施の形態＞
図１１を参照して、本開示の第４の実施の形態に係る画像処理装置４００について説明する。図１１は、本実施の形態に係る画像処理装置４００の機能構成の一例を示す機能ブロック図である。本実施の形態に係る画像処理装置４００は、画像処理装置３００の検出部１２０に更に前景領域追跡部２２４を備え、前景領域検出部２２１が検出した変化領域を複数のＲＧＢ画像間で追跡する。

なお、画像処理装置４００は、図１に示す画像処理装置１００と同様に、撮像装置２と通信可能に接続している。なお、前述した各実施の形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。

図１１に示す通り、本実施の形態に係る画像処理装置４００は、第１取得部１１０と、検出部２２０と、分類部４３０と、記憶部４４０と、第２取得部３５０とを備える。本実施の形態に係る画像処理装置４００は、画像処理装置３００の検出部１２０に代えて、画像処理装置２００の検出部２２０を備え、画像処理装置３００の分類部３３０および記憶部３４０に代えて、分類部４３０および記憶部４４０を備える。なお、本実施の形態において、前景領域追跡部２２４は、更新信号を距離情報更新部４３５に出力してもよい。

記憶部４４０は、第３の実施の形態における記憶部３４０と同様に、背景情報１４１および距離情報３４４を格納し、更に、第２の実施の形態で説明した前景領域情報２４３を格納する。

分類部４３０は、第１抽出部３３１と、第２抽出部３３２と、領域変化分類部３３４と、距離情報更新部４３５とを備える。距離情報更新部４３５は、距離情報更新部３３５と同様の動作により、距離情報を更新する。

また、距離情報更新部４３５は、距離情報３４４によって示される距離画像のうち、例えば、前景領域検出部２２１から供給された２値画像によって示される変化領域に該当する部分を更新しなくてもよい。つまり、距離情報更新部４３５は、距離情報３４４によって示される距離画像のうち、変化領域に該当する部分以外の部分を更新してもよい。距離情報更新部４３５は、変化領域に該当する部分の距離情報を更新しないことにより、第２取得部３５０が取得する第２撮像画像と、該第２撮像画像の撮像時刻より前（過去の時刻）に撮像された距離画像とにおいて、該変化領域に該当する部分の差分が明確になる。

また、距離情報更新部４３５は、例えば、前景領域追跡部２２４から供給された更新信号の値が１の場合に、距離情報３４４によって示される距離画像のうち、前景領域検出部２２１から供給された検出結果によって示される変化領域に該当する部分を更新してもよい。すなわち、距離情報更新部４３５は、前景領域追跡部２２４が追跡した変化領域を表す検出結果（２値画像）が分類部４３０に供給された後に、距離情報３４４における該変化領域に該当する部分の距離情報を更新してもよい。これにより、距離情報更新部４３５は、記憶部４４０に格納された距離情報３４４をその時点において第２取得部３５０が取得した第２撮像画像に近づけることができる。したがって、画像処理装置４００は、変化領域に対応する次に第２取得部３５０が取得する第２撮像画像上の領域を用いた、領域変化分類部３３４による距離値の比較の結果の精度をより高めることができる。

次に、図１２を参照して本実施の形態に係る画像処理装置４００の動作の流れについて説明する。図１２は、本実施の形態に係る画像処理装置４００の動作の流れの一例を示すフローチャートである。

図１２に示すステップＳ１２１〜ステップＳ１２３は、夫々図１０に示すＳ１０１〜Ｓ１０３と同様の処理である。

ステップＳ１２３終了後、前景領域検出部２２１は、上述したステップＳ８３と同様に、記憶部４４０に前景領域情報２４３を格納する（ステップＳ１２４）。そして、上述したステップＳ８４と同様に、前景領域追跡部２２４が、前景領域検出部１２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ１２５）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部４３０に供給する。前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号および距離情報３４４の更新を示す更新信号を夫々背景情報更新部２２３および距離情報更新部４３５に供給する。

背景情報更新部２２３は、上述したステップＳ８５と同様に、第１取得部１１０から供給された第１撮像画像と、前景領域検出部２２１から供給された変化領域の検出結果と、背景情報１４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報１４１を更新する（ステップ１２６）。

その後、画像処理装置４００は、図１０に示すステップＳ１０５〜ステップＳ１０７と同様の処理を行う（ステップＳ１２７〜ステップＳ１２９）。そして、距離情報更新部４３５は、第２取得部３５０から供給された第２撮像画像と、距離情報３４４と、前景領域追跡部２２４から供給された更新信号とに基づいて、距離情報３４４を更新する（ステップＳ１３０）。

その後、画像処理装置４００は、図１０に示すステップＳ１０９と同様に、次の第１撮像画像および第２撮像画像があるか否かを判定する（ステップＳ１３１）。次の第１撮像画像および第２撮像画像がある場合（ステップＳ１３１にてＹＥＳ）、処理はステップＳ１２１に移行し、次の第１撮像画像および第２撮像画像の少なくとも何れかがない場合（ステップＳ１３１にてＮＯ）、画像処理装置４００は、動作を終了する。

以上のように、本実施の形態に係る画像処理装置４００は、第３の実施の形態に係る画像処理装置３００に、更に、第２の実施の形態における前景領域追跡部２２４を含む。このような構成であっても、本実施の形態に係る画像処理装置４００は、上述した第２の実施の形態に係る画像処理装置２００と同様に、実際に変化が生じている領域を精度よく分類することができる。

＜第５の実施の形態＞
図１３を参照して、本開示の第５の実施の形態に係る画像処理装置５００について説明する。図１３は、本実施の形態に係る画像処理装置５００の機能構成の一例を示す機能ブロック図である。上述した第１から第４の実施の形態では、検出部１２０または検出部２２０に入力される撮像画像がＲＧＢ画像であることを例に説明を行ったが、検出部に入力される画像は距離画像であってもよい。本実施の形態に係る画像処理装置５００は、検出部に距離画像が入力されることについて説明を行う。なお、画像処理装置５００は、図１に示す画像処理装置１００と同様に、撮像装置２と通信可能に接続している。また、前述した各実施の形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。

図１３に示す通り、本実施の形態に係る画像処理装置５００は、第１取得部５１０と、検出部５２０と、分類部５３０と、記憶部５４０とを備える。

第１取得部５１０は、上述した第２取得部３５０と同様に、距離画像である撮像画像を取得する。第１取得部５１０は、取得した撮像画像を検出部５２０と分類部５３０とに供給する。

記憶部５４０は、背景情報５４１を格納する。背景情報５４１は、検出部５２０において撮像画像と比較するための基準となる画像であり、背景画像とも呼ぶ。上述した通り、本実施の形態において撮像画像は距離画像である。したがって、背景情報５４１は、撮像画像と同じ種類の画像である距離画像であることが好ましい。なお、背景情報５４１は、第１取得部５１０から検出部５２０に対し、最初に供給された撮像画像であってもよいし、事前に与えられた画像であってもよい。背景情報５４１は、上述した距離情報３４４と同様である。

検出部５２０は、前景領域検出部５２１と、背景情報更新部５２３とを備える。前景領域検出部５２１は、第１取得部５１０から供給された撮像画像を受け取る。また、前景領域検出部５２１は、撮像画像に対応する背景情報５４１を記憶部５４０から取得する。前景領域検出部５２１は、２つの距離画像の間で変化した領域を変化領域（前景領域）として検出する。前景領域検出部５２１は、例えば、前景領域検出部１２１と同様の動作により、変化領域を検出してもよい。前景領域検出部５２１は、変化領域の検出結果として、前景領域検出部１２１と同様に、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を生成し、生成した２値画像を分類部５３０に供給する。

背景情報更新部５２３は、第１取得部５１０から供給された撮像画像と、記憶部５４０に格納されている背景情報５４１である距離画像とに基づいて、背景情報５４１を更新する。ここで、背景情報更新部５２３は、例えば、背景情報更新部１２３と同様の動作により背景情報５４１を更新してもよい。

分類部５３０は、第１抽出部５３１と、第２抽出部５３２と、領域変化分類部３３４とを備える。

第１抽出部５３１は、第１抽出部３３１と同様に、第１注目画像を、撮像画像から抽出する。そして、第１抽出部５３１は、抽出した第１注目領域を領域変化分類部３３４に供給する。

第２抽出部５３２は、背景情報５４１から変化領域の画像を第２注目画像として抽出する。第２抽出部５３２による第２注目画像の抽出方法は、第２抽出部３３２と同様である。

領域変化分類部３３４は、第３の実施の形態において説明した領域変化分類部３３４と同様に、変化領域における距離情報に基づいて、変化領域における商品棚３に関する変化を分類する。

次に、図１４を参照して本実施の形態に係る画像処理装置５００の動作の流れについて説明する。図１４は、本実施の形態に係る画像処理装置５００の動作の流れの一例を示すフローチャートである。

まず、第１取得部５１０が、商品棚３を撮像した映像信号から距離画像である撮像画像を取得する（ステップＳ１４１）。第１取得部５１０は取得した撮像画像を検出部５２０および分類部５３０に供給する。

次に、検出部５２０の前景領域検出部５２１が、第１取得部５１０から供給された、距離画像である撮像画像と、記憶部５４０に格納されている、距離画像である背景情報５４１とを用いて、２つの距離画像の間で変化した領域を変化領域として検出する（ステップＳ１４２）。そして、前景領域検出部５２１は、変化領域の検出結果を分類部５３０に供給する。

また、背景情報更新部５２３は、撮像画像と背景情報５４１とを用いて背景情報５４１を更新する（ステップＳ１４３）。なお、ステップＳ１４３は、ステップＳ１４１の後であれば、どのタイミングで行われてもよい。

分類部５３０の第１抽出部５３１が、第１取得部５１０から供給された撮像画像と、前景領域検出部５２１から供給された該撮影画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１４４）。第１抽出部５３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。

また、分類部５３０の第２抽出部５３２が、前景領域検出部５２１から供給された検出結果と、記憶部５４０から取得した、該検出結果を得るために用いた背景情報５４１とに基づいて、第１抽出部５３１と同様の動作により、背景情報５４１から第２注目画像を抽出する（ステップＳ１４５）。第２抽出部５３２は、抽出した第２注目画像を領域変化分類部３３４に供給する。なお、ステップＳ１４４とステップＳ１４５とは同時に行われてもよいし、逆順で行われてもよい。

そして、領域変化分類部３３４は、第１抽出部５３１から供給された第１注目画像と、第２抽出部５３２から供給された第２注目画像とに基づいて、商品棚３に関する変化（第２注目画像における状態から第１注目画像における状態への変化）を分類する（ステップＳ１４６）。

そして、画像処理装置５００は、第１取得部５１０が次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ１４７）。次の撮像画像がある場合（ステップＳ１４７にてＹＥＳ）、処理はステップＳ１４１に移行し、次の撮像画像がない場合（ステップＳ１４７にてＮＯ）、画像処理装置５００は、動作を終了する。

以上のように、本実施の形態に係る画像処理装置５００の検出部５２０は、距離画像である撮像画像と、撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報５４１とを比較することによって、変化領域を検出する。そして、分類部５３０は、撮像画像に含まれる各画素の値と、背景情報５４１の各画素の値との比較結果に基づいて、商品棚３に関する変化を分類する。

このような構成であっても、本実施の形態に係る画像処理装置５００は、画像処理装置１００と同様に、商品棚３の状態をより正確に判別することができる。

＜第６の実施の形態＞
図１５を参照して、本開示の第６の実施の形態に係る画像処理装置６００について説明する。図１５は、本実施の形態に係る画像処理装置６００の機能構成の一例を示す機能ブロック図である。本実施の形態に係る画像処理装置６００は、前景領域検出部６２１が検出した変化領域を複数の距離画像間で追跡する。

なお、画像処理装置６００は、図１に示す画像処理装置１００と同様に、撮像装置２と通信可能に接続している。また、前述した各実施の形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。

図１５に示す通り、本実施の形態に係る画像処理装置６００は、第１取得部５１０と、検出部６２０と、分類部５３０と、記憶部６４０とを備える。画像処理装置６００は、画像処理装置５００の検出部５２０に代えて、検出部６２０を備え、記憶部５４０に代えて記憶部６４０を備える。

記憶部６４０は、記憶部５４０と同様に背景情報５４１を格納する。更に記憶部６４０は、前景領域情報２４３を格納する。

検出部６２０は、前景領域検出部６２１と、背景情報更新部６２３と、前景領域追跡部２２４とを備える。

前景領域検出部６２１は、前景領域検出部５２１と同様の動作により変化領域を検出する。そして、前景領域検出部６２１は、前景領域検出部５２１と同様に、例えば、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を検出結果として生成する。そして、前景領域検出部６２１は、検出結果である２値画像に、該２値画像の生成に用いた撮像画像の撮像時刻を関連付ける。前景領域検出部６２１は、撮像画像の撮像時刻が関連付けられた検出結果を背景情報更新部６２３と、前景領域追跡部２２４とに供給する。また、前景領域検出部６２１は、この検出結果を前景領域情報２４３として記憶部６４０に格納する。

背景情報更新部６２３は、第１取得部５１０から供給された撮像画像と、前景領域検出部６２１から供給された検出結果と、背景情報５４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報更新部５２３と同様の動作により背景情報５４１を更新する。なお、背景情報更新部６２３は、背景情報更新部２２３と同様に、変化領域に該当する部分の画像を更新しなくてもよいし、更新してもよい。

また、前景領域追跡部２２４は、距離画像から生成した２値画像を用いて、上述した第２の実施の形態における画像処理装置２００の前景領域追跡部２２４と同様に、変化領域の追跡を行う。

次に、図１６を参照して本実施の形態に係る画像処理装置６００の動作の流れについて説明する。図１６は、本実施の形態に係る画像処理装置６００の動作の流れの一例を示すフローチャートである。図１６に示すステップＳ１６１〜Ｓ１６２は、夫々、図１４に示すＳ１４１〜Ｓ１４２と同様である。

ステップＳ１６２終了後、前景領域検出部６２１は、記憶部６４０に前景領域情報２４３を格納する（ステップＳ１６３）。上述した通り、前景領域情報２４３は、撮像時刻が関連付けられた検出結果である。

次に、前景領域追跡部２２４が、前景領域検出部６２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ１６４）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部５３０に供給する。前景領域追跡部２２４は、背景情報５４１の更新を示す更新信号を背景情報更新部６２３に供給する。

背景情報更新部６２３は、第１取得部５１０から供給された撮像画像と、前景領域検出部６２１から供給された変化領域の検出結果と、背景情報５４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報５４１を更新する（ステップＳ１６５）。

なお、ステップＳ１６５は、ステップＳ１６４以降の任意のタイミングで行われてもよい。

そして、画像処理装置６００は、図１４に示すステップＳ１４４〜Ｓ１４７と同様の処理であるステップＳ１６６〜Ｓ１６９を実行する。

以上のように、本実施の形態に係る画像処理装置６００は、第５の実施の形態に係る画像処理装置５００に、更に、第２の実施の形態における前景領域追跡部２２４を含む。このような構成であっても、本実施の形態に係る画像処理装置６００は、上述した第２の実施の形態に係る画像処理装置２００と同様に、実際に変化が生じている領域を精度よく分類することができる。

（前景領域検出部の変形例）
上述した各実施の形態の画像処理装置（１００、２００、３００、４００、５００、６００）に含まれる前景領域検出部（１２１、２２１、５２１、６２１）は、更に、予め登録された棚領域情報を用いて、変化領域に含まれる対象物が商品棚３内の商品以外であることを特定してもよい。

本変形例では、画像処理装置１００の前景領域検出部１２１の変形例について説明を行うが、本変形例は、画像処理装置２００、画像処理装置３００、画像処理装置４００、画像処理装置５００および画像処理装置６００の前景領域検出部にも適用可能である。

図１７〜図１９は、本変形例における前景領域検出部１２１の動作を説明するための図である。

前景領域検出部１２１が、第１取得部１１０から供給された撮像画像と、背景情報１４１とを比較することにより変化領域を検出し、例えば、図１７に示すような、変化領域を表す２値画像である検出結果７１を生成したとする。この検出結果には、変化領域７２、変化領域７３、変化領域７４の３つの変化領域が含まれるとする。前景領域検出部１２１は、検出結果７１に対して、一般的なラベリング方法で変化領域毎に別々の２値画像である検出結果７１Ａ、検出結果７１Ｂおよび検出結果７１Ｃを生成する。

つまり、前景領域検出部１２１は、検出結果に複数の変化領域が含まれる場合、各変化領域が別々の２値画像に含まれるような複数の２値画像を生成する。

そして、前景領域検出部１２１は、予め登録された棚領域情報と、複数の２値画像の夫々とに基づいて、変化領域が商品の変化に関する変化を検出した領域か否かを判定する。

棚領域情報は、商品棚３における商品が陳列される領域を示す。商品モニタリングシステム１は、商品棚３の商品を監視しているため、棚領域情報によって示される、商品が陳列される領域を監視対象領域とも呼び、棚領域情報を、監視領域情報とも呼ぶ。棚領域情報は、例えば、第１取得部１１０が取得する撮像画像と同じ大きさの画像であって、監視対象の商品棚３の監視対象領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、棚領域情報に含まれる監視対象領域は、例えば、１つでもよいし複数でもよい。棚領域情報は、例えば、事前に記憶部１４０に格納されてもよい。なお、棚領域情報は、第１取得部１１０が取得する撮像画像に含まれる商品棚３を特定する情報を含む。

前景領域検出部１２１は、第１取得部１１０が取得した撮像画像に含まれる商品棚３に関連する、例えば、図１８に示すような棚領域情報７５を用いて、検出結果７１Ａ、検出結果７１Ｂまたは検出結果７１Ｃと、対応する画素ごとに論理積の演算を行う。図１８に示す通り、棚領域情報７５において、監視対象領域は、白で表現されているため、棚領域情報７５は、６つの監視対象領域を含む。

図１９に示す演算結果７６Ａは、棚領域情報７５と検出結果７１Ａとの論理積演算の結果であり、演算結果７６Ｂは、棚領域情報７５と検出結果７１Ｂとの論理積の演算の結果であり、演算結果７６Ｃは、棚領域情報７５と検出結果７１Ｃとの論理積の演算の結果である。

人物やカートのような商品以外の物体は、複数の棚の領域にまたがっているため、検出結果７１Ａと棚領域情報７５との論理積の演算を行った結果、図１９の左側に示す演算結果７６Ａのように、変化領域を表す、画素値が２５５の部分（白色の部分）は、複数の領域に分割される。一方、演算結果７６Ｂおよび演算結果７６Ｃの変化領域を表す部分（白色の部分）は、夫々、検出結果７１Ｂおよび検出結果７１Ｃと変化が無く、一続きの領域（画素値が２５５の画素であり、且つ、該画素に隣接する画素の何れかの画素値が２５５の画素の集合）である。商品棚３の陳列領域（監視対象領域）に陳列される商品は、複数の監視対象領域にまたがらない。したがって、演算結果７６Ａのように、変化領域が複数の領域に分割される場合、前景領域検出部１２１は、この変化領域に対する変化を、商品以外による変化であるとし、分類部１３０に供給する検出結果に含めない。言い換えると、前景領域検出部１２１は、検出結果７１Ｂと検出結果７１Ｃとを、分類部１３０に供給する。

これにより、分類部１３０は、商品棚３に陳列された商品に対する変化の分類処理を行うことができるため、商品以外の物体の影響によって、商品に対する変化の分類精度の低下を防ぐことができる。また、前景領域検出部１２１が、変化領域における変化が、商品以外の物体による変化であると、分類部１３０の分類処理を行うよりも前に分類することができるため、分類部１３０の処理量を低減させることができる。

＜第７の実施の形態＞
本開示の第７の実施の形態について以下に説明する。上述した第１から第６の実施の形態における画像処理装置は、更に、分類結果を評価する評価部を備えてもよい。なお、前述した各実施の形態で説明した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。

図２０は、本実施の形態に係る画像処理装置７００を含む商品モニタリングシステム４の構成の一例を示す図である。図２０に示す通り、商品モニタリングシステム４は、画像処理装置７００と撮像装置２と、出力装置５とを含む。画像処理装置７００は、撮像装置２および出力装置５と通信可能に接続している。なお、本実施の形態において、画像処理装置７００は、撮像装置２および出力装置５と別個の構成であるとして説明を行うが、画像処理装置７００は撮像装置２に内蔵される構成であってもよいし、出力装置５に内蔵される構成であってもよい。

出力装置５は、例えば、ディスプレイなどの表示装置であってもよいし、ＰＯＳ（ｐｏｉｎｔ ｏｆ ｓａｌｅｓ ｓｙｓｔｅｍ）端末であってもよい。また、出力装置５はこれに限定されず、スピーカや携帯端末であってもよい。

図２１は、本実施の形態に係る画像処理装置７００の機能構成の一例を示す機能ブロック図である。本実施の形態では、第１の実施の形態に係る画像処理装置１００に更に評価部１５０および出力制御部１６０を備える構成について説明を行うが、第２〜第６の各実施の形態に係る画像処理装置（２００、３００、４００、５００、６００）が評価部を備える構成であってもよい。

画像処理装置７００は、第１取得部１１０、検出部１２０、分類部１３０、記憶部７４０、評価部１５０および出力制御部１６０を備える。記憶部７４０は、記憶部１４０と同様に、背景情報１４１と棚変化モデル１４２とを格納する。また、記憶部７４０は、陳列状態情報７４５と、監視領域情報７４６とを格納する。なお、陳列状態情報７４５および監視領域情報７４６を格納する記憶部は、背景情報１４１および棚変化モデル１４２を格納する記憶部とは異なる記憶部であってもよい。また、陳列状態情報７４５および監視領域情報７４６は別々の記憶部に格納されてもよい。

本実施の形態において、分類部１３０は、上述した第１の実施の形態と同様に、分類結果を出力する。このとき、分類部１３０は、例えば、図６に示す分類結果６０に、変化領域の変化の種類を示す情報と、第１取得部１１０が取得した撮像画像上における、変化領域に外接する矩形を表す情報（変化領域情報と呼ぶ）と、検出部１２０が出力した、変化領域の検出結果である２値画像と、撮像画像に含まれる商品棚３に関する情報とを含めた分類結果を出力することが好ましい。

ここで、変化領域情報は、例えば、注目領域に外接する矩形の４隅のｘ座標値とｙ座標値で構成されていてもよいし、該外接矩形の４隅のうち、少なくとも１つの隅を表すｘ座標およびｙ座標、並びに該外接矩形の幅および高さで構成されてもよい。なお、変化領域情報は、矩形を表す情報に限定されず、その他の形状を表す情報であってもよいし、変化領域を囲む枠を表す情報であってもよい。

撮像画像に含まれる商品棚３に関する情報は、撮像画像を撮像した位置を示す情報であってもよいし、商品棚３の位置を示す情報であってもよいし、商品棚３を特定可能な識別子であってもよい。

陳列状態情報７４５は、商品棚３における商品の陳列状態を示す。陳列状態情報７４５は、例えば、第１取得部１１０が取得する撮像画像と同じ大きさの画像であって、商品が存在する領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、陳列状態情報７４５の初期値は、例えば、事前に与えられてもよい。陳列状態情報７４５は、商品棚３を特定する情報を含む。商品棚３を特定する情報とは、商品棚３を撮影する撮像装置２の位置を示す情報であってもよいし、商品棚３の位置を示す情報であってもよいし、商品棚３を特定可能な識別子であってもよい。

監視領域情報７４６は、監視対象の商品棚３の領域を示す。監視領域情報７４６は、例えば、第１取得部１１０が取得する撮像画像と同じ大きさの画像であって、監視対象の商品棚３の監視対象領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。監視領域情報７４６は、例えば、上述した棚領域情報７５と同様の情報である。また、監視領域情報７４６に含まれる監視対象領域は、例えば、１つでもよいし複数でもよい。また、監視領域情報７４６は、例えば、事前に与えられてもよい。なお、監視領域情報７４６は、陳列状態情報７４５と同様に、商品棚３を特定する情報を含む。

評価部１５０は、分類結果と、該分類結果に含まれる撮像画像に含まれる商品棚３に関する情報に対応する、商品棚３を特定する情報を含む陳列状態情報７４５とから、商品棚３における商品の陳列状態を評価する。具体的には、評価部１５０は、図２１に示す通り、陳列状態更新部１５１と、算出部１５３とを備える。

陳列状態更新部１５１は、分類部１３０から分類結果を受け取る。分類結果は、上述した通り、変化領域の変化の種類を示す情報と、変化領域情報と、検出結果と、撮像画像に含まれる商品棚３に関する情報とを含む。陳列状態更新部１５１は、記憶部７４０に格納された陳列状態情報７４５のうち、撮像画像に含まれる商品棚３に関する情報に対応する商品棚３を特定する情報を含む陳列状態情報７４５を特定する。例えば、撮像画像に含まれる商品棚３に関する情報が撮像画像を撮像した位置を示す情報の場合、陳列状態更新部１５１は、同じ位置を示す情報を含む陳列状態情報７４５を特定する。また、例えば、撮像画像に含まれる商品棚３に関する情報が商品棚３の位置を示す情報の場合、陳列状態更新部１５１は、同じ位置を示す情報を含む陳列状態情報７４５を特定する。また、例えば、撮像画像に含まれる商品棚３に関する情報が商品棚３を特定可能な識別子の場合、陳列状態更新部１５１は、同じ識別子を含む陳列状態情報７４５を特定する。

陳列状態更新部１５１は、陳列状態情報７４５から、分類結果に含まれる、変化領域情報によって示される矩形領域に該当する部分の画像を抽出する。そして、陳列状態更新部１５１は、抽出した画像から、分類結果に含まれる検出結果によって表される変化領域に該当する画素を特定する。陳列状態更新部１５１は、分類結果に含まれる変化領域の変化の種類を示す情報に基づいて、陳列状態情報７４５のうち、特定した画素の値を更新する。陳列状態更新部１５１は、変化の種類が、例えば、「商品棚３に商品が含まれなくなったことによる変化」である場合、該画素の値を０にし、「商品棚３に商品が新たに含まれたことによる変化」である場合、該画素の値を２５５にし、それ以外の場合、画素の値を変更しない。

陳列状態更新部１５１は、更新した陳列状態情報７４５を、算出部１５３に供給する。また、陳列状態更新部１５１は、更新した陳列状態情報７４５を記憶部７４０に格納する。

算出部１５３は、陳列状態更新部１５１から更新された陳列状態情報７４５を受け取る。また、算出部１５３は、更新された陳列状態情報７４５に関する商品棚３に関連する、監視領域情報７４６を記憶部７４０から取得する。そして、算出部１５３は、商品棚３の陳列状態を示す評価指標である商品の陳列量を算出することにより、商品棚３の陳列状態を評価する。

算出部１５３は、監視領域情報７４６に含まれる監視対象領域ごとに、該監視対象領域に該当する、更新された陳列状態情報７４５の領域の画像を抽出する。そして、算出部１５３は、抽出した画像のうち画素値が２５５の画素を数える。算出部１５３は、各監視対象領域の面積を算出し、監視対象領域ごとに、画素値が２５５の画素の数を分子、該監視対象領域の面積を分母として、陳列量を算出する。そして、算出部１５３は、算出した陳列量を、監視対象領域を示す情報と共に、出力制御部１６０に供給する。監視対象領域を示す情報とは、監視対象の商品棚３を示す情報、監視領域情報７４６における監視対象領域の位置を示す情報等を含む情報である。

出力制御部１６０は、評価部１５０による評価結果に基づいて、商品の陳列状態に関する情報を出力装置に出力する。具体的には、出力制御部１６０は、算出部１５３から陳列量および監視対象領域を示す情報を受け取る。出力制御部１６０は、監視対象領域が所定の閾値以下の陳列量である場合、すなわち、商品の陳列状態に不備がある場合、不備があることを示す情報を出力装置５が出力するように制御する制御信号を送信する。出力装置５が例えば、店員が保有する携帯端末の場合、出力制御部１６０は、陳列状態に不備があることを店員が把握可能な様態で出力させる制御信号を携帯端末に送信する。この制御信号を受けた携帯端末は、不備があることを示す情報を店員が把握可能な様態で出力することができる。また、出力装置５が例えば、店舗のバックヤードにある表示装置である場合、出力制御部１６０は、陳列状態に不備があることを店員が把握可能な様態で出力させる制御信号を該表示装置に送信する。

これにより、例えば、店舗の店員は、陳列状態を容易に把握することができる。

図２２は、本実施の形態に係る画像処理装置７００の動作の流れの一例を示すフローチャートである。画像処理装置７００は、図５に示すステップＳ５１〜Ｓ５６と夫々同様の処理であるステップＳ２２１〜Ｓ２２６を実行する。

ステップＳ２２６終了後、陳列状態更新部１５１は、分類結果に基づいて、商品の陳列状態を示す陳列状態情報７４５を更新する（ステップＳ２２７）。ここで、図２３を参照して、陳列状態更新部１５１による陳列状態情報７４５の更新の処理についてさらに説明する。図２３は、記憶部７４０に格納された陳列状態情報７４５の一例と、更新された陳列状態情報７４５の一例を示す図である。

図２３の（ｂ）に示す検出結果は、図４に示す検出結果と同じ画像である。本例では、図４に示す商品Ｇ３に関する画像について説明する。陳列状態更新部１５１は、図２３の（ａ）に示すような、陳列状態情報７４５から、分類結果に含まれる、変化領域情報によって示される矩形領域に該当する部分の画像を抽出する。ここでは、変化領域情報は、図２３の（ａ）に示す商品Ｇ３に外接する破線の矩形２３１を示すとする。

陳列状態更新部１５１は、抽出した画像から、分類結果に含まれる検出結果によって表される変化領域に該当する画素を特定する。変化領域は、画素値が２５５であるため、陳列状態更新部１５１は、矩形２３１に対応する矩形２３２の検出結果の部分の画像から白色の部分の画素を特定する。

そして、陳列状態更新部１５１は、分類結果に含まれる変化領域の変化の種類を示す情報に基づいて、陳列状態情報７４５のうち、特定した画素の値を更新する。陳列状態更新部１５１は、変化の種類が、例えば、「商品棚３に商品が含まれなくなったことによる変化」である場合、該画素の値を０にし、「商品棚３に商品が新たに含まれたことによる変化」である場合、該画素の値を２５５にし、それ以外の場合、画素の値を変更しない。変化領域における商品Ｇ３の変化は、「商品棚３に商品が含まれなくなったことによる変化」であるため、陳列状態更新部１５１は、陳列状態情報７４５の矩形２３１内の各画素のうち、特定された変化領域の部分の画素の値を０にする。そして、陳列状態更新部１５１は、図２３の（ｃ）に示すような更新された陳列状態情報７４５を出力する。

陳列状態更新部１５１は、更新した陳列状態情報７４５を記憶部７４０に格納する。また、陳列状態更新部１５１は、更新した陳列状態情報７４５を算出部１５３に供給する。

算出部１５３は、陳列状態更新部１５１から供給された、更新された陳列状態情報７４５と、記憶部７４０に格納された監視領域情報７４６とに基づいて、商品の陳列量を算出する（ステップＳ２２８）。図２４を参照して、算出部１５３の動作についてさらに説明する。図２４は、算出部１５３の動作を説明するための図である。図２４の（ａ）は、記憶部７４０に格納された監視領域情報７４６の一例を示す図である。図２４の（ａ）に示す通り、監視領域情報７４６は、２つの監視対象領域（２４１、２４２）を含む。また、図２４の（ｂ）は、図２３に示した、更新された陳列状態情報７４５に、監視対象領域を示す破線の枠を重ね合わせたものである。算出部１５３は、監視対象領域２４１に含まれる、更新された陳列状態情報７４５のうち、画素値が２５５の画素を数える。そして、算出部１５３は、商品Ｇ３が含まれる監視対象領域２４１の面積を分母とし、数えた画素の数を分子とした陳列量を算出する。

そして、出力制御部１６０は、算出結果に基づいた制御信号を出力装置５に送信する（ステップＳ２２９）。そして、画像処理装置１００は、図５に示すステップＳ５７と同様の処理を行う(ステップＳ２３０)。

図２５および図２６は、出力装置５が表示する出力画面の一例を示す図である。出力装置５が表示装置の場合、出力装置５は、出力制御部１６０から出力された制御信号に基づいて、図２５に示すような、算出した陳列量を含んだ出力画面２５１を出力してもよい。

また、出力装置５は、出力制御部１６０から出力された制御信号に基づいて、図２６に示すような出力画面２６１を出力してもよい。図２６に示す出力画面は、図４に示す撮像画像に、算出部１５３が算出した陳列量が重畳された画面である。

また、算出部１５３は、算出した陳列量を、所定期間、例えば、記憶部７４０に格納してもよい。このとき、算出部１５３は、監視対象領域毎の陳列量に、分類結果を関連付けて格納してもよい。例えば、顧客が商品を一旦手に取り、別の場所に移動した後、手に取った商品を購入せずに、同じ棚に戻したとする。このように商品の購入が行われていない場合、この商品に対して顧客が興味を示したことをＰＯＳでは管理できない。しかしながら、顧客が商品を一旦手に取って、別の場所に移動した場合、検出部１２０が、商品が商品棚３から無くなったことを検知できるため、算出部１５３は、顧客が商品を商品棚３から取り出す前までの陳列量よりも低い陳列量を算出する。その後、商品が商品棚３に戻されると、算出部１５３は、商品棚３に商品が戻される前の陳列量に比べ高い値の陳列量を算出する。算出部１５３は、このような陳列量の変化を所定期間格納し、ＰＯＳから送信された販売データと比較することにより、顧客が興味を示した商品の場所を、出力制御部１６０に供給してもよい。

また、例えば、顧客が商品を一旦手に取り、手に取った商品をすぐに同じ棚に戻したとする。この場合、商品の見た目が変わる可能性が高い。しかしながら、商品棚３の陳列量は変化しない。しかしながら、算出部１５３が監視対象領域毎の陳列量に分類結果を関連付けて格納し、所定期間の陳列量を出力制御部１６０に供給してもよい。

これにより、出力制御部１６０は、例えば、ＰＯＳでは把握できない、商品に対する顧客の興味の度合いなどを、出力装置５に出力することができる。したがって、本実施の形態に係る画像処理装置７００はマーケティングに有効なデータを提供することができる。

また、例えば、顧客がある商品棚３で手に取った商品を、異なる商品棚３に置いたとする。この場合、算出部１５３は、商品が置かれる前の陳列量よりも大きい値の陳列量を算出する。このような場合、出力制御部１６０は、蓄積した陳列量と、算出した陳列量とから、異なる商品が置かれた可能性を示す情報を出力装置５が出力する制御信号を生成してもよい。

また、評価部１５０は、所定のタイミングで、陳列状態情報７４５を、初期状態に更新してもよい。陳列状態情報７４５の初期状態とは、例えば、予め作成された棚割りから生成された状態や背景情報１４１と同じ状態である。所定のタイミングとは、例えば、店員による商品の補充作業が行われた時である。陳列状態情報７４５を更新し続けることにより、実際の陳列状態からの誤差が大きくなってしまう可能性がある。しかしながら、評価部１５０が所定のタイミングで陳列状態情報７４５を初期状態に更新することにより、誤差が大きくなることを防ぐことができる。これにより、評価部１５０は、算出される陳列量の誤差の発生を防ぐことができる。

以上のように、本実施の形態に係る画像処理装置７００は、画像処理装置１００の機能に加え、更に、陳列状態を評価する陳列量を算出することにより、陳列状態を評価する。これにより、画像処理装置７００は、上述した画像処理装置１００の効果に加え、更に、陳列状態に基づいて、例えば、店舗の店員は、陳列状態を容易に把握することができるという効果を有する。

＜第８の実施の形態＞
本開示の第８の実施の形態について、図面を参照して説明する。本実施の形態は、本開示の課題を解決する最小の構成について説明する。

図２７は、本実施の形態に係る画像処理装置８００の機能構成の一例を示す機能ブロック図である。図２７に示す通り、画像処理装置８００は、検出部８２０と、分類部８３０とを備える。

検出部８２０は、上述した各実施の形態における検出部の機能を有する。検出部８２０は、商品棚を撮像した撮像画像から、商品棚に関する変化領域を検出する。検出部８２０は、例えば、撮像画像と、撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、変化領域を検出する。検出部８２０は検出した変化領域を示す情報を、分類部８３０に供給する。

分類部８３０は、上述した各実施の形態における分類部の機能を有する。分類部８３０は、事前に学習した商品棚に関する変化のモデル、または、撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、変化領域における商品棚に関する変化を分類する。分類部８３０は、例えば、事前に学習した商品棚に関する変化のモデルと、検出された変化領域における変化とを比較することによって、該変化領域における変化を、複数の変化の種類の何れかに分類する。変化の種類とは、例えば、「商品棚に商品が含まれなくなったことによる変化」、「商品棚に商品が新たに含まれたことによる変化」、「商品棚に陳列された商品の見た目が変わったことによる変化」、「商品棚の前に人物が存在することによる変化」、「商品棚の前に買い物カートがあることによる変化」、「照明が変わったことによる変化」などである。

図２８は、本実施の形態に係る画像処理装置８００の動作の一例を示すフローチャートである。検出部８２０は、商品棚を撮像した撮像画像から、商品棚に関する変化領域を検出する（ステップＳ２８１）。

そして、分類部８３０は、事前に学習した前記商品棚に関する変化のモデル、または、撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、変化領域における商品棚に関する変化を分類する（ステップＳ２８２）。

以上のように、本実施の形態に係る画像処理装置８００によれば、商品棚の商品に変化があったことだけではなく、その変化がどのような種類の変化なのかを特定することができる。したがって、画像処理装置８００は、商品が取られた状態であるのか、商品棚が補充された状態であるのかなどの商品棚の状態をより正確に判別することができる。

また、上述した各実施の形態において、撮像装置２が撮像する撮像画像は、例えば、ワゴンに積層された商品を撮像した撮像画像であってもよい。画像処理装置は、ワゴンに積層された商品を撮像した撮像画像と、背景画像とを比較して、変化領域を検出することができる。したがって、本開示の各実施の形態に係る画像処理装置は、商品のフェイスが全て見えるように陳列された商品棚に限定されず、様々な陳列方法で陳列された商品を撮像した撮像画像を用いることができる。

（ハードウェア構成について）
本開示の各実施の形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図２９に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２９は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施の形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が該プログラムを読み出してＣＰＵ９０１に供給してもよい。

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。

また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出手段と、
事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する分類手段と、
を備える画像処理装置。

（付記２）
前記撮像画像はカラー画像であり、
前記検出手段は、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類手段は、前記モデルに基づいて、前記変化領域における商品棚に関する変化を分類する、
付記１に記載の画像処理装置。

（付記３）
前記撮像画像は、カラー画像である第１撮像画像と、前記第１撮像画像の撮影時刻から所定の時間内に前記第１撮像画像の撮像範囲を撮像した距離画像である第２撮像画像とを含み、
前記検出手段は、前記第１撮像画像と、前記第１撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類手段は、前記第２撮像画像に含まれる各画素の値と、前記第２撮像画像の撮像時刻よりも前に撮像された前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
付記１に記載の画像処理装置。

（付記４）
前記撮像画像は距離画像であり、
検出手段は、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類手段は、前記撮像画像に含まれる各画素の値と、前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
付記１に記載の画像処理装置。

（付記５）
前記分類手段は、前記距離画像である前記撮像画像に含まれる各画素の値と、前記撮像装置と前記商品棚との間の距離と、の比較結果に基づいて、前記変化領域における前記商品棚に関する変化を、前記商品棚に陳列された商品の変化に関連する種類または前記商品棚に陳列された商品以外の物体による変化に関する種類に分類する、
付記３または４に記載の画像処理装置。

（付記６）
前記検出手段は、検出した変化領域を複数の前記撮像画像の間で追跡し、
前記分類手段は、追跡結果に基づいて、前記商品棚に関する変化を分類する、
付記２から５の何れか１つに記載の画像処理装置。

（付記７）
前記検出手段は、前記背景情報を、前記変化領域を検出する際に用いた撮像画像と前記背景情報とに基づいて更新する背景情報更新手段を備え、
前記背景情報更新手段は、前記変化領域の追跡結果が第１の所定の条件を満たす場合に、前記背景情報のうち、前記変化領域に該当する領域以外を更新する、
付記６に記載の画像処理装置。

（付記８）
前記背景情報更新手段は、前記変化領域の追跡結果が第２の所定の条件を満たす場合に、前記背景情報のうち、前記変化領域に該当する領域を更新する、
付記７に記載の画像処理装置。

（付記９）
前記検出手段は、検出した変化領域と、前記商品棚における商品が陳列される棚領域を示す棚領域情報とに基づいて、前記変化領域が複数の前記棚領域に含まれるか否かを判定し、
前記分類手段は、前記変化領域が１つの前記棚領域に含まれる場合、該変化領域における前記商品棚に関する変化を、前記商品棚に陳列された商品の変化に関連する種類に分類する、
付記１から８の何れか１つに記載の画像処理装置。

（付記１０）
前記分類手段による分類の結果に基づいて、商品の陳列状態を評価する評価手段と、
を更に備える付記１から９の何れか１つに記載の画像処理装置。

（付記１１）
前記評価手段は、前記分類結果と、前記変化領域に関する情報と、前記撮像画像において、商品の陳列状態を監視する対象領域を示す監視領域情報とに基づいて、商品の陳列量を算出する、
付記１０に記載の画像処理装置。

（付記１２）
前記評価手段は、算出した陳列量の推移に基づいて、前記商品の陳列状態を評価する、
付記１１に記載の画像処理装置。

（付記１３）
前記評価手段による評価結果に基づいて、商品の陳列状態に関する情報を出力装置に出力する出力制御手段、
を更に備える付記１０から１２の何れか１つに記載の画像処理装置。

（付記１４）
商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出し、
事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する、
画像処理方法。

（付記１５）
前記撮像画像はカラー画像であり、
前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記モデルに基づいて、前記変化領域における商品棚に関する変化を分類する、
付記１４に記載の画像処理方法。

（付記１６）
商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出処理と、
事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する分類処理と、
をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。

（付記１７）
前記撮像画像はカラー画像であり、
前記検出処理において、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類処理において、前記モデルに基づいて、前記変化領域における商品棚に関する変化を分類する、
付記１６に記載の記録媒体。

１ 商品モニタリングシステム
２ 撮像装置
３ 商品棚
４ 商品モニタリングシステム
５ 出力装置
１００ 画像処理装置
１１０ 第１取得部
１２０ 検出部
１２１ 前景領域検出部
１２３ 背景情報更新部
１３０ 分類部
１３１ 第１抽出部
１３２ 第２抽出部
１３４ 領域変化分類部
１４０ 記憶部
１４１ 背景情報
１４２ 棚変化モデル
１５０ 評価部
１５１ 陳列状態更新部
１５３ 算出部
１６０ 出力制御部
２００ 画像処理装置
２２０ 検出部
２２１ 前景領域検出部
２２３ 背景情報更新部
２２４ 前景領域追跡部
２４０ 記憶部
２４３ 前景領域情報
３００ 画像処理装置
３３０ 分類部
３３１ 第１抽出部
３３２ 第２抽出部
３３４ 領域変化分類部
３３５ 距離情報更新部
３４０ 記憶部
３４４ 距離情報
３５０ 第２取得部
４００ 画像処理装置
４３０ 分類部
４４０ 記憶部
４３５ 距離情報更新部
５００ 画像処理装置
５１０ 第１取得部
５２０ 検出部
５２１ 前景領域検出部
５２３ 背景情報更新部
５３０ 分類部
５３１ 第１抽出部
５３２ 第２抽出部
５４０ 記憶部
５４１ 背景情報
６００ 画像処理装置
６２０ 検出部
６４０ 記憶部
７００ 画像処理装置
７４０ 記憶部
７４５ 陳列状態情報
７４６ 監視領域情報
８００ 画像処理装置
８２０ 検出部
８３０ 分類部

Ｚｏｒａｎ Ｚｉｖｋｏｖｉｃ、「Ｉｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ’０４）、米国、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ、２００４年８月、Ｖｏｌｕｍｅ２、ｐ．２８−３１

検出部１２０は、商品棚３に関する変化領域を検出する。例えば、撮像画像に含まれる、商品棚３に陳列された商品が、撮像画像よりも前に取得された画像（例えば背景画像）に含まれない場合、検出部１２０は、この商品の領域を検出する。また、例えば、背景画像に含まれる、商品棚３に陳列された商品が、撮像画像に含まれない場合、検出部１２０は、この商品の領域を検出する。また、撮像画像に含まれる、商品棚３に陳列された商品と背景画像に含まれる商品との見え方が異なる場合、検出部１２０は、この商品の領域を検出する。また、撮像画像が商品棚３と撮像装置２との間に人物や物体が存在した時に撮像された場合、検出部１２０は、商品棚３を撮像した撮像画像に含まれる人物や物体の領域を、検出する。このように、検出部１２０は、商品棚３の内部の変化領域、商品棚３と撮像装置２との間の物体による、撮像画像における変化領域等の、商品棚３に関する変化領域を検出する。

分類部１３０の第１抽出部１３１が、第１取得部１１０から供給された撮像画像と、前景領域検出部１２１から供給された該撮像画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ５４）。第１抽出部１３１は、抽出した第１注目画像を領域変化分類部１３４に供給する。

＜第３の実施の形態＞
図９を参照して、本開示の第３の実施の形態に係る画像処理装置３００について説明する。本実施の形態に係る商品モニタリングシステム１は、画像処理装置１００に変えて、画像処理装置３００を含む。つまり、商品モニタリングシステム１は、撮像装置２と、画像処理装置３００とを含む。なお、本実施の形態では商品モニタリングシステム１が備える撮像装置２は夫々異なる種類の画像を取得する複数の撮像装置であってもよい。例えば、撮像装置２は、ＲＧＢ画像を取得するＲＧＢカメラと、距離画像を取得するデプスカメラであってもよい。この場合、ＲＧＢカメラとデプスカメラとは近接する位置に設けられ同じ対象（商品棚３）を撮像する。また、ＲＧＢカメラとデプスカメラとは時刻同期がとられており、ほぼ同時刻に商品棚３を撮像することが好ましい。つまり、デプスカメラは、ＲＧＢカメラによって撮像されたＲＧＢ画像の撮像時刻から所定の時間内に、且つ、ＲＧＢ画像の撮像範囲を撮像した距離画像を出力するカメラであることが好ましい。また、撮像装置２は、複数の種類の画像（例えば、ＲＧＢ画像および距離画像）を取得可能なセンサであってもよい。例えば、撮像装置２は、ＲＧＢＤカメラであってもよい。

第２取得部３５０は、第１取得部１１０と同様に撮像装置２が商品棚３を撮像することによって得た撮像画像を示す映像信号を受け取り、該映像信号から距離画像を取得する。第２取得部３５０は、第１取得部１１０が取得する映像信号とは異なる種類の映像信号を受け取る。例えば、第１取得部１１０が取得する映像信号がＲＧＢ画像を構成する映像信号の場合、第２取得部３５０は、距離画像を構成する映像信号を取得する。ここで、距離画像は、例えば、撮像装置２から対象物までの距離の値を持った画像を意味してもよい。また、距離画像の各画素は、例えば、０から２５５の値で構成されていてもよい。このとき、各画素の値すなわち距離値は、例えば、撮像装置２に対象物が近ければ０に近づき、対象物が遠ければ２５５に近づくようにしてもよい。なお、距離画像の各画素の値はこれに限定されない。本実施の形態では第２取得部３５０が取得する第２撮像画像が、グレースケールの距離画像であるとして説明を行う。

図１０に示すステップＳ１０１は、図５に示すＳ５１と同様に、商品棚３を撮像した映像信号からＲＧＢ画像である第１撮像画像を取得する（ステップＳ１０１）。また、第２取得部３５０は、商品棚３を撮像した映像信号から距離画像である第２撮像画像を取得する（ステップＳ１０２）。なお、第２撮像画像の撮像時刻が第１撮像画像の撮像時刻から所定の時間内であり、第２撮像画像の撮像範囲が第１撮像画像の撮像範囲であればよく、第２取得部３５０が第２撮像画像を取得するタイミングは、ステップＳ１０５の前までであればよい。

ステップＳ１２３終了後、前景領域検出部２２１は、上述したステップＳ８３と同様に、記憶部４４０に前景領域情報２４３を格納する（ステップＳ１２４）。そして、上述したステップＳ８４と同様に、前景領域追跡部２２４が、前景領域検出部２２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ１２５）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部４３０に供給する。前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号および距離情報３４４の更新を示す更新信号を夫々背景情報更新部２２３および距離情報更新部４３５に供給する。

分類部５３０の第１抽出部５３１が、第１取得部５１０から供給された撮像画像と、前景領域検出部５２１から供給された該撮像画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１４４）。第１抽出部５３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。

陳列状態情報７４５は、商品棚３における商品の陳列状態を示す。陳列状態情報７４５は、例えば、第１取得部１１０が取得する撮像画像と同じ大きさの画像であって、商品が存在する領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、陳列状態情報７４５の初期値は、例えば、事前に与えられてもよい。陳列状態情報７４５は、商品棚３を特定する情報を含む。商品棚３を特定する情報とは、商品棚３を撮像する撮像装置２の位置を示す情報であってもよいし、商品棚３の位置を示す情報であってもよいし、商品棚３を特定可能な識別子であってもよい。

（付記３）
前記撮像画像は、カラー画像である第１撮像画像と、前記第１撮像画像の撮像時刻から所定の時間内に前記第１撮像画像の撮像範囲を撮像した距離画像である第２撮像画像とを含み、
前記検出手段は、前記第１撮像画像と、前記第１撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類手段は、前記第２撮像画像に含まれる各画素の値と、前記第２撮像画像の撮像時刻よりも前に撮像された前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
付記１に記載の画像処理装置。

（付記４）
前記撮像画像は距離画像であり、
前記検出手段は、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類手段は、前記撮像画像に含まれる各画素の値と、前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
付記１に記載の画像処理装置。

（付記１６）
商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出処理と、
事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する分類処理と、
をコンピュータに実行させるプログラム。

（付記１７）
前記撮像画像はカラー画像であり、
前記検出処理において、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類処理において、前記モデルに基づいて、前記変化領域における商品棚に関する変化を分類する、
付記１６に記載のプログラム。

Claims (17)

1. 商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出手段と、
   事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する分類手段と、
   を備える画像処理装置。
2. 前記撮像画像はカラー画像であり、
   前記検出手段は、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
   前記分類手段は、前記モデルに基づいて、前記変化領域における商品棚に関する変化を分類する、
   請求項１に記載の画像処理装置。
3. 前記撮像画像は、カラー画像である第１撮像画像と、前記第１撮像画像の撮影時刻から所定の時間内に前記第１撮像画像の撮像範囲を撮像した距離画像である第２撮像画像とを含み、
   前記検出手段は、前記第１撮像画像と、前記第１撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
   前記分類手段は、前記第２撮像画像に含まれる各画素の値と、前記第２撮像画像の撮像時刻よりも前に撮像された前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
   請求項１に記載の画像処理装置。
4. 前記撮像画像は距離画像であり、
   検出手段は、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
   前記分類手段は、前記撮像画像に含まれる各画素の値と、前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
   請求項１に記載の画像処理装置。
5. 前記分類手段は、前記距離画像である前記撮像画像に含まれる各画素の値と、前記撮像装置と前記商品棚との間の距離と、の比較結果に基づいて、前記変化領域における前記商品棚に関する変化を、前記商品棚に陳列された商品の変化に関連する種類または前記商品棚に陳列された商品以外の物体による変化に関する種類に分類する、
   請求項３または４に記載の画像処理装置。
6. 前記検出手段は、検出した変化領域を複数の前記撮像画像の間で追跡し、
   前記分類手段は、追跡結果に基づいて、前記商品棚に関する変化を分類する、
   請求項２から５の何れか１項に記載の画像処理装置。
7. 前記検出手段は、前記背景情報を、前記変化領域を検出する際に用いた撮像画像と前記背景情報とに基づいて更新する背景情報更新手段を備え、
   前記背景情報更新手段は、前記変化領域の追跡結果が第１の所定の条件を満たす場合に、前記背景情報のうち、前記変化領域に該当する領域以外を更新する、
   請求項６に記載の画像処理装置。
8. 前記背景情報更新手段は、前記変化領域の追跡結果が第２の所定の条件を満たす場合に、前記背景情報のうち、前記変化領域に該当する領域を更新する、
   請求項７に記載の画像処理装置。
9. 前記検出手段は、検出した変化領域と、前記商品棚における商品が陳列される棚領域を示す棚領域情報とに基づいて、前記変化領域が複数の前記棚領域に含まれるか否かを判定し、
   前記分類手段は、前記変化領域が１つの前記棚領域に含まれる場合、該変化領域における前記商品棚に関する変化を、前記商品棚に陳列された商品の変化に関連する種類に分類する、
   請求項１から８の何れか１項に記載の画像処理装置。
10. 前記分類手段による分類の結果に基づいて、商品の陳列状態を評価する評価手段と、
    を更に備える請求項１から９の何れか１項に記載の画像処理装置。
11. 前記評価手段は、前記分類結果と、前記変化領域に関する情報と、前記撮像画像において、商品の陳列状態を監視する対象領域を示す監視領域情報とに基づいて、商品の陳列量を算出する、
    請求項１０に記載の画像処理装置。
12. 前記評価手段は、算出した陳列量の推移に基づいて、前記商品の陳列状態を評価する、
    請求項１１に記載の画像処理装置。
13. 前記評価手段による評価結果に基づいて、商品の陳列状態に関する情報を出力装置に出力する出力制御手段、
    を更に備える請求項１０から１２の何れか１項に記載の画像処理装置。
14. 商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出し、
    事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する、
    画像処理方法。
15. 前記撮像画像はカラー画像であり、
    前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
    前記モデルに基づいて、前記変化領域における商品棚に関する変化を分類する、
    請求項１４に記載の画像処理方法。
16. 商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出処理と、
    事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する分類処理と、
    をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
17. 前記撮像画像はカラー画像であり、
    前記検出処理において、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
    前記分類処理において、前記モデルに基づいて、前記変化領域における商品棚に関する変化を分類する、
    請求項１６に記載の記録媒体。

Images