JPWO2018179361A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2018179361A1
JPWO2018179361A1 JP2019508130A JP2019508130A JPWO2018179361A1 JP WO2018179361 A1 JPWO2018179361 A1 JP WO2018179361A1 JP 2019508130 A JP2019508130 A JP 2019508130A JP 2019508130 A JP2019508130 A JP 2019508130A JP WO2018179361 A1 JPWO2018179361 A1 JP WO2018179361A1
Authority
JP
Japan
Prior art keywords
image
change
unit
area
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019508130A
Other languages
English (en)
Other versions
JP6911915B2 (ja
Inventor
恭太 比嘉
恭太 比嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018179361A1 publication Critical patent/JPWO2018179361A1/ja
Application granted granted Critical
Publication of JP6911915B2 publication Critical patent/JP6911915B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

商品棚の状態を精度よく評価する。画像処理装置は、商品棚を撮像した撮像画像から、商品棚に関する変化領域を検出する検出部と、変化領域における商品棚に関する変化を分類する分類部と、分類結果に基づいて、商品の陳列状態を評価する評価部と、を備える。

Description

本開示は、画像処理装置、画像処理方法、および記録媒体に関する。
コンビニエンスストアやスーパーマーケットなどの店舗では、商品棚に陳列された商品の陳列状態に不備があると、例えば、商品棚に陳列されている商品が不足すると、販売機会損失が発生し店舗の売上に大きな影響を及ぼす。そのため、商品の陳列状態に不備がある場合は、それを解消するための商品補充作業などを速やかに行うことが好ましい。よって、商品棚に陳列された商品の陳列状態を監視することが求められている。
例えば、状態監視エリアにおける商品の陳列乱れに関する複数の評価指標を用いて陳列状態を評価し、評価結果に関する情報を店員などに提示することにより、状態監視エリアに対する作業項目を該店員に把握させる装置が記載されている（特許文献１）。
また、撮影画像の背景情報に基づいて、前景領域を検出する背景差分法が特許文献２および非特許文献１に記載されている。
特開２０１６−２０７１６４号公報 特開２００８−１７６５０４号公報
Ｚｏｒａｎ Ｚｉｖｋｏｖｉｃ、「Ｉｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ’０４）、米国、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ、２００４年８月、Ｖｏｌｕｍｅ２−Ｖｏｌｕｍｅ０２、ｐ．２８−３１
ところで、商品棚の変化の種類は、商品が顧客によってとられたことによる変化、商品が店員によって補充されたことによる変化、顧客が商品を手に取ってその商品を元の位置に戻したことによる形状や見た目の変化等の商品棚の変化等が挙げられる。しかしながら、特許文献１に記載の技術では、商品の陳列乱れに関する指標を用いて商品棚を評価するにとどまっているため、このような商品棚の変化の種類に応じた評価がなされていない。
本開示の目的の一つは、商品棚の状態を精度よく評価する技術を提供することにある。
本開示の一態様に係る画像処理装置は、商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出手段と、前記変化領域における前記商品棚に関する変化を分類する分類手段と、分類結果に基づいて、商品の陳列状態を評価する評価手段と、を備える。
また、本開示の一態様に係る画像処理方法は、商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出し、前記変化領域における前記商品棚に関する変化を分類し、分類結果に基づいて、商品の陳列状態を評価する。
なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
本開示によれば、商品棚の状態を精度よく評価することができる。
第１の実施の形態に係る画像処理装置を含む商品モニタリングシステムの構成の一例を示す図である。 商品モニタリングシステムの利用シーンを説明するための図である。 第１の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第１の実施の形態に係る画像処理装置に含まれる分類装置の一例を示すブロック図である。 検出部の動作を説明するための図である。 第１の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 領域変化分類部が出力する分類結果の一例を示す図である。 第２記憶部に格納された陳列状態情報の一例と、更新された陳列状態情報の一例を示す図である。 算出部の動作を説明するための図である。 出力装置が表示する出力画面の一例を示す図である。 出力装置が表示する出力画面の他の一例を示す図である。 第１の実施の形態に係る画像処理装置に含まれる分類装置の他の一例を示すブロック図である。 第１の実施の形態に係る画像処理装置の動作の流れの他の一例を示すフローチャートである。 第１の実施の形態に係る画像処理装置に含まれる分類装置の他の一例を示すブロック図である。 第１の実施の形態に係る画像処理装置の動作の流れの他の一例を示すフローチャートである。 第１の実施の形態に係る画像処理装置に含まれる分類装置の他の一例を示すブロック図である。 第１の実施の形態に係る画像処理装置の動作の流れの他の一例を示すフローチャートである。 第１の実施の形態に係る画像処理装置に含まれる分類装置の他の一例を示すブロック図である。 第１の実施の形態に係る画像処理装置の動作の流れの他の一例を示すフローチャートである。 第１の実施の形態に係る画像処理装置に含まれる分類装置の他の一例を示すブロック図である。 第１の実施の形態に係る画像処理装置の動作の流れの他の一例を示すフローチャートである。 変形例における前景領域検出部の動作を説明するための図である。 変形例における前景領域検出部の動作を説明するための図である。 変形例における前景領域検出部の動作を説明するための図である。 第２の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第２の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 本開示の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る画像処理装置１００を含む商品モニタリングシステム１の構成の一例を示す図である。図２は、商品モニタリングシステム１の利用シーンを説明するための図である。
図１に示す通り、商品モニタリングシステム１は、画像処理装置１００と撮像装置２と、出力装置３とを含む。画像処理装置１００は、撮像装置２および出力装置３と通信可能に接続している。なお、本実施の形態において、画像処理装置１００は、撮像装置２および出力装置３と別個の構成であるとして説明を行うが、画像処理装置１００は撮像装置２に内蔵される構成であってもよいし、出力装置３に内蔵される構成であってもよい。また、撮像装置２は、複数であってもよい。また、撮像装置２が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。
出力装置３は、例えば、ディスプレイなどの表示装置であってもよいし、ＰＯＳ（ｐｏｉｎｔ ｏｆ ｓａｌｅｓ ｓｙｓｔｅｍ）端末であってもよい。また、出力装置３はこれに限定されず、スピーカや携帯端末であってもよい。
商品モニタリングシステム１では、図２に示す通り、撮像装置２が、店舗の商品棚４を撮像する。そして、撮像装置２は、撮像した撮像画像を示す映像信号を、画像処理装置１００に送信する。撮像装置２は、例えば、店舗に設置されている監視カメラである。撮像装置２は、撮像画像を撮像装置２の内部または画像処理装置１００とは異なる記憶装置に格納してもよい。
本実施の形態では、撮像装置２によって取得された撮像画像は、カラー画像（以下、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像と呼ぶ）および距離画像の少なくとも何れかであるとして説明を行う。なお、カラー画像は、例えば、ＲＧＢ画像以外の色空間の画像であってもよい。
図３は、本実施の形態に係る画像処理装置１００の機能構成の一例を示す機能ブロック図である。画像処理装置１００は、図３に示す通り、取得部１１０と、検出部１２０と、分類部１３０と、第１記憶部１４０と、評価部１５０と、出力制御部１６０と、第２記憶部１７０とを備える。なお、図３に示す画像処理装置１００は、本開示に特有な構成について示したものであり、図３に示す画像処理装置１００が図３に示されていない部材を有してもよいことは言うまでもない。
取得部１１０は、撮像装置２が商品棚４を撮像することによって得た撮像画像を示す映像信号を取得する。取得部１１０は、撮像装置２から送信された映像信号を受信してもよい。取得部１１０は、撮像装置２の内部または撮像装置２および画像処理装置１００とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。なお、画像処理装置１００が撮像装置２に内蔵されている場合、取得部１１０は、撮像画像そのものを取得する構成であってもよい。
取得部１１０は、取得した映像信号を、該映像信号を構成するＲＧＢ画像および／または距離画像に変換し、変換したＲＧＢ画像および／または距離画像を検出部１２０および分類部１３０に供給する。取得部１１０が映像信号を変換することによって得たＲＧＢ画像および／距離画像は、撮像装置２が商品棚４を撮像した撮像画像を表すため、単に撮像画像とも呼ぶ。
第１記憶部１４０には、検出部１２０および分類部１３０による処理が行われる際に用いるデータが格納される。第１記憶部１４０が格納するデータについては図面を変えて説明する。
検出部１２０は、商品棚４に関する変化領域を検出する。例えば、撮影画像に含まれる、商品棚４に陳列された商品が、撮像画像よりも前に取得された画像（例えば背景画像）に含まれない場合、検出部１２０は、この商品の領域を検出する。また、例えば、背景画像に含まれる、商品棚４に陳列された商品が、撮像画像に含まれない場合、検出部１２０は、この商品の領域を検出する。また、撮影画像に含まれる、商品棚４に陳列された商品と背景画像に含まれる商品との見え方が異なる場合、検出部１２０は、この商品の領域を検出する。また、撮像画像が商品棚４と撮像装置２との間に人物や物体が存在した時に撮像された場合、検出部１２０は、商品棚４を撮像した撮像画像に含まれる人物や物体の領域を、検出する。このように、検出部１２０は、商品棚４の内部の変化領域、商品棚４と撮像装置２との間の物体による、撮像画像における変化領域等の、商品棚４に関する変化領域を検出する。検出部１２０は、例えば、検出した変化領域の画素値を２５５、それ以外を０で表した、撮像画像と同じサイズの２値画像を生成してもよい。検出部１２０は、変化領域の検出結果として、生成した２値画像を分類部１３０に供給する。このとき、検出部１２０は２値画像に、２値画像の生成に用いた撮像画像を示す情報を付与して、該２値画像を分類部１３０に供給してもよいし、２値画像と共に該撮像画像を分類部１３０に供給してもよい。
なお、検出結果は、検出した変化領域を示す情報を含んでいればよい。例えば検出部１２０は、検出した変化領域（画素値が２５５の領域）の位置を表す情報とその大きさとを変化領域の検出に用いた撮像画像を示す情報および背景画像を示す情報に関連付け、検出結果として出力してもよい。このように、検出部１２０が出力する検出結果は、どのような形式であってもよい。検出部１２０の内部構成については、図面を変えて説明する。
分類部１３０は、変化領域における商品棚４に関する変化を分類する。分類部１３０は、検出部１２０から供給された検出結果（２値画像）と、事前に学習した商品棚４に関する変化のモデル、または、撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報とに基づいて、検出された変化領域に対応する領域の画像の状態の変化を分類する。画像の状態とは、例えば、画像に商品が含まれるまたは含まれない状態、画像に顧客が含まれるまたは含まれない状態、画像に買い物かごが含まれるまたは含まれない状態、画像に買い物カートが含まれるまたは含まれない状態等である。分類部１３０は、変化領域における商品棚４に関する変化を、例えば、「商品棚４に商品が含まれなくなったことによる変化」、「商品棚４に商品が新たに含まれたことによる変化」、「商品棚４に陳列された商品の見た目が変わったことによる変化」、「商品棚４の前に人物が存在することによる変化」、「商品棚４の前に買い物カートがあることによる変化」、「照明が変わったことによる変化」などの変化の種類に分類する。なお、分類部１３０が変化領域における状態の変化を分類する種類は、一例であり、これらに限定されない。また、例えば、「商品棚４に陳列された商品の見た目が変わったことによる変化」は、「異なる商品になったためによる見た目の変化」なのか、「商品の姿勢が変わったことによる見た目の変化」なのか等更に詳細に分類されてもよい。分類部１３０の内部構成については、図面を変えて説明する。
分類部１３０は、分類結果を、評価部１５０に供給する。分類結果は、具体的には後述するが、変化領域の変化の種類を示す情報と、取得部１１０が取得した撮像画像上における、変化領域に外接する矩形を表す情報（変化領域情報と呼ぶ）と、検出部１２０が出力した、変化領域の検出結果である２値画像と、撮像画像に含まれる商品棚４に関する情報とを含む。
ここで、変化領域情報は、例えば、注目領域に外接する矩形の４隅のｘ座標値とｙ座標値で構成されていてもよいし、該外接矩形の４隅のうち、少なくとも１つの隅を表すｘ座標およびｙ座標、並びに該外接矩形の幅および高さで構成されてもよい。なお、変化領域情報は、矩形を表す情報に限定されず、その他の形状を表す情報であってもよいし、変化領域を囲む枠を表す情報であってもよい。
撮像画像に含まれる商品棚４に関する情報は、撮像画像を撮像した位置を示す情報であってもよいし、商品棚４の位置を示す情報であってもよいし、商品棚４を特定可能な識別子であってもよい。
第２記憶部１７０は、陳列状態情報１７１と、監視領域情報１７２とを格納する。なお、第２記憶部１７０は、画像処理装置１００とは異なる記憶装置で実現されてもよいし、評価部１５０に内蔵されてもよい。また、第２記憶部１７０は、第１記憶部１４０と一体となって実現されてもよい。また、陳列状態情報１７１と、監視領域情報１７２とは別々の記憶部に格納されてもよい。
陳列状態情報１７１は、商品棚４における商品の陳列状態を示す。陳列状態情報１７１は、例えば、取得部１１０が取得する撮像画像と同じ大きさの画像であって、商品が存在する領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、陳列状態情報１７１の初期値は、例えば、事前に与えられてもよい。陳列状態情報１７１は、商品棚４を特定する情報を含む。商品棚４を特定する情報とは、商品棚４を撮影する撮像装置２の位置を示す情報であってもよいし、商品棚４の位置を示す情報であってもよいし、商品棚４を特定可能な識別子であってもよい。
監視領域情報１７２は、監視対象の商品棚４の領域を示す。監視領域情報１７２は、例えば、取得部１１０が取得する撮像画像と同じ大きさの画像であって、監視対象の商品棚４の領域（監視対象領域と呼ぶ）の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、監視領域情報１７２に含まれる監視対象領域は、例えば、１つでもよいし複数でもよい。また、監視領域情報１７２は、例えば、事前に与えられてもよい。なお、監視領域情報１７２は、陳列状態情報１７１と同様に、商品棚４を特定する情報を含む。
評価部１５０は、分類結果と、該分類結果に含まれる撮像画像に含まれる商品棚４に関する情報に対応する、商品棚４を特定する情報を含む陳列状態情報１７１とから、商品棚４における商品の陳列状態を示す評価指標である陳列量を算出する。具体的には、評価部１５０は、図３に示す通り、陳列状態更新部１５１と、算出部１５３とを備える。
陳列状態更新部１５１は、分類部１３０から分類結果を受け取る。分類結果は、上述した通り、変化領域の変化の種類を示す情報と、変化領域情報と、検出結果と、撮像画像に含まれる商品棚４に関する情報とを含む。陳列状態更新部１５１は、第２記憶部１７０に格納された陳列状態情報１７１のうち、撮像画像に含まれる商品棚４に関する情報に対応する商品棚４を特定する情報を含む陳列状態情報１７１を特定する。例えば、撮像画像に含まれる商品棚４に関する情報が撮像画像を撮像した位置を示す情報の場合、陳列状態更新部１５１は、同じ位置を示す情報を含む陳列状態情報１７１を特定する。また、例えば、撮像画像に含まれる商品棚４に関する情報が商品棚４の位置を示す情報の場合、陳列状態更新部１５１は、同じ位置を示す情報を含む陳列状態情報１７１を特定する。また、例えば、撮像画像に含まれる商品棚４に関する情報が商品棚４を特定可能な識別子の場合、陳列状態更新部１５１は、同じ識別子を含む陳列状態情報１７１を特定する。
陳列状態更新部１５１は、陳列状態情報１７１から、分類結果に含まれる、変化領域情報によって示される矩形領域に該当する部分の画像を抽出する。そして、陳列状態更新部１５１は、抽出した画像から、分類結果に含まれる検出結果によって表される変化領域に該当する画素を特定する。陳列状態更新部１５１は、分類結果に含まれる変化領域の変化の種類を示す情報に基づいて、陳列状態情報１７１のうち、特定した画素の値を更新する。陳列状態更新部１５１は、変化の種類が、例えば、「商品棚４に商品が含まれなくなったことによる変化」である場合、該画素の値を０にし、「商品棚４に商品が新たに含まれたことによる変化」である場合、該画素の値を２５５にし、それ以外の場合、画素の値を変更しない。
陳列状態更新部１５１は、更新した陳列状態情報１７１を、算出部１５３に供給する。また、陳列状態更新部１５１は、更新した陳列状態情報１７１を第２記憶部１７０に格納する。
算出部１５３は、陳列状態更新部１５１から更新された陳列状態情報１７１を受け取る。また、算出部１５３は、更新された陳列状態情報１７１に関する商品棚４に関連する、監視領域情報１７２を第２記憶部１７０から取得する。そして、算出部１５３は、商品棚４の陳列状態を示す評価指標である商品の陳列量を算出する。
算出部１５３は、監視領域情報１７２に含まれる監視対象領域ごとに、該監視対象領域に該当する、更新された陳列状態情報１７１の領域の画像を抽出する。そして、算出部１５３は、抽出した画像のうち画素値が２５５の画素を数える。算出部１５３は、各監視対象領域の面積を算出し、監視対象領域ごとに、画素値が２５５の画素の数を分子、該監視対象領域の面積を分母として、陳列量を算出する。そして、算出部１５３は、算出した陳列量を、監視対象領域を示す情報と共に、出力制御部１６０に供給する。監視対象領域を示す情報とは、監視対象の商品棚４を示す情報、監視領域情報１７２における監視対象領域の位置を示す情報等を含む情報である。
出力制御部１６０は、算出部１５３から陳列量および監視対象領域を示す情報を受け取る。出力制御部１６０は、監視対象領域が所定の閾値以下の陳列量である場合、すなわち、商品の陳列状態に不備がある場合、不備があることを示す情報を出力装置３が出力するように制御する制御信号を送信する。出力装置３が例えば、店員が保有する携帯端末の場合、出力制御部１６０は、陳列状態に不備があることを店員が把握可能な様態で出力させる制御信号を携帯端末に送信する。この制御信号を受けた携帯端末は、不備があることを示す情報を店員が把握可能な様態で出力することができる。また、出力装置３が例えば、店舗のバックヤードにある表示装置である場合、出力制御部１６０は、陳列状態に不備があることを店員が把握可能な様態で出力させる制御信号を該表示装置に送信する。
これにより、例えば、店舗の店員は、陳列状態を容易に把握することができる。
次に、取得部１１０、検出部１２０、分類部１３０および第１記憶部１４０の構成例について説明する。以下では、取得部１１０、検出部１２０、分類部１３０および第１記憶部１４０を含む装置を、分類装置１０と呼ぶ。
（分類装置１０の例１）
図４は、本実施の形態に係る画像処理装置１００に含まれる分類装置１０の一例を示すブロック図である。分類装置１０は、図４に示す通り、取得部１１０Ａ、検出部１２０Ａ、分類部１３０Ａ、および、第１記憶部１４０Ａを備える。
取得部１１０Ａは取得部１１０の一例である。取得部１１０ＡはＲＧＢ画像によって構成される映像信号を取得する。取得部１１０Ａは、取得した映像信号を、該映像信号を構成するＲＧＢ画像に変換し、該ＲＧＢ画像を検出部１２０Ａおよび分類部１３０Ａに供給する。
第１記憶部１４０Ａは第１記憶部１４０の一例である。第１記憶部１４０Ａは、背景情報１４１と棚変化モデル１４２とを格納する。背景情報１４１は、検出部１２０Ａにおいて撮像画像と比較するための基準となる画像であり、背景画像とも呼ぶ。背景情報１４１は、例えば、撮像画像と同じ種類の画像であることが好ましい。本実施の形態では、上述した通り、撮像画像はＲＧＢ画像であるため、背景情報１４１もＲＧＢ画像であることが好ましい。なお、背景情報１４１は、取得部１１０Ａから検出部１２０Ａに対し、最初に供給された撮像画像であってもよいし、事前に与えられた画像であってもよい。
棚変化モデル１４２は、事前に学習した、商品棚４の変化をモデル化したものである。棚変化モデル１４２は、例えば、一般的に広く知られているＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなどの機械学習を用いて学習されることによって得られてもよい。
例えば、棚変化モデル１４２は、商品棚４に商品が含まれる画像と商品棚４に商品が含まれない画像とを用いて学習された「商品棚４に商品が含まれなくなったことによる変化」または「商品棚４に商品が新たに含まれたことによる変化」を表す。また、棚変化モデル１４２は、複数の商品の画像および各商品の形状が変化した複数の画像を用いて学習された「商品棚４に陳列された商品の見た目が変わったことによる変化」を表す。また、棚変化モデル１４２は、商品棚４の前に何も対象物が存在しない状態で撮像された撮像画像と、商品棚４の前に人物などの対象物が存在する状態で撮像された撮像画像とを用いて学習された、「商品棚４の前に人物が存在することによる変化」、「商品棚４の前に買い物カートがあることによる変化」等を表す。また、棚変化モデル１４２は、様々な環境下で画像を用いて学習された、例えば、「照明が変わったことによる変化」を表してもよい。
また、棚変化モデル１４２の学習データは、例えば、変化前後の２つのＲＧＢ画像を結合した６チャネル画像でもよいし、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか１つを結合した２チャネル画像でもよい。また、学習データは、例えば、変化前後の２つのＲＧＢ画像のＲ成分、Ｇ成分、またはＢ成分のいずれか２つを結合した４チャネル画像でもよいし、変化前後の２つのＲＧＢ画像をグレースケール画像に変換してから結合した２チャネル画像でもよい。また、学習データは、変化前後のＲＧＢ画像をＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間など他の色空間に変換し、他の色空間への変換後の色空間における１つまたは複数のチャネルを結合した画像でもよい。
また、棚変化モデル１４２の学習データは、ＲＧＢ画像のようなカラー画像から生成されたものであってもよいし、カラー画像と距離画像との両方を用いて生成されたものであってもよい。
図４に示す通り、検出部１２０Ａは、前景領域検出部１２１と、背景情報更新部１２３とを備える。
前景領域検出部１２１は、取得部１１０Ａから供給された撮像画像を受け取る。また、前景領域検出部１２１は、撮像画像に対応する背景情報１４１を第１記憶部１４０Ａから取得する。上述した通り、背景情報１４１はＲＧＢ画像である。前景領域検出部１２１は、２つのＲＧＢ画像（撮像画像および背景情報１４１）を比較し、該２つのＲＧＢ画像の間で変化した領域を変化領域として検出する。前景領域検出部１２１は、背景画像である背景情報１４１と撮像画像であるＲＧＢ画像とを比較するため、前景領域を検出するとも言える。
なお、前景領域検出部１２１が変化領域を検出する方法は特に限定されず、既存の技術を採用してもよい。例えば、前景領域検出部１２１は、非特許文献１に開示されている背景差分法を用いて、変化領域を検出してもよい。
前景領域検出部１２１は、変化領域の検出結果として、生成した２値画像を分類部１３０Ａに供給する。このとき、前景領域検出部１２１は２値画像に、２値画像の生成に用いた撮像画像を示す情報および背景情報１４１を示す情報を付与して、該２値画像を分類部１３０Ａに供給してもよいし、２値画像と共に該撮像画像および背景情報１４１を分類部１３０Ａに供給してもよい。
背景情報更新部１２３は、取得部１１０Ａから供給された撮像画像と、第１記憶部１４０Ａに格納されている背景情報１４１であるＲＧＢ画像とに基づいて、背景情報１４１を更新する。背景情報更新部１２３が、背景情報１４１を更新する方法は特に限定されず、例えば、非特許文献１と同様の方法を採用してもよい。
検出部１２０Ａの動作について、図５を参照してさらに説明する。図５は、検出部１２０Ａの動作を説明するための図である。図５の（ａ）は撮像画像の一例であり、図５の（ｂ）は第１記憶部１４０Ａに格納された、撮像画像に対応する背景情報１４１の一例であり、図５の（ｃ）は、変化領域の検出結果である２値画像の一例を示す図である。
撮像画像と背景情報１４１とが異なる点は、商品Ｇ１、商品Ｇ２および商品Ｇ３の領域である。商品Ｇ１は、背景情報１４１には含まれないが、撮像画像には含まれる。また、商品Ｇ３は、背景情報１４１には含まれるが、撮像画像には含まれない。また、撮像画像に含まれる商品Ｇ２の位置には、背景情報１４１上では他の商品が陳列されている。したがって、前景領域検出部１２１は、商品Ｇ２の領域も変化があった領域として検出する。よって、前景領域検出部１２１は、図５の（ｃ）に示すような、商品Ｇ１、商品Ｇ２および商品Ｇ３の領域に相当する部分を白で表現し、その他の部分を黒で表現した２値画像を生成する。
以降の説明において、変化領域は、図５の（ｃ）の白色の部分の夫々を示す。つまり、変化領域とは、例えば、画素値が２５５の画素であり、且つ、該画素に隣接する画素の何れかの画素値が２５５の画素の集合である。前景領域検出部１２１は、図５の（ｃ）の例では、３つの変化領域を検出する。
分類部１３０Ａは、分類部１３０の一例である。分類部１３０Ａは、図４に示す通り、第１抽出部１３１と、第２抽出部１３２と、領域変化分類部１３４とを備える。
第１抽出部１３１は、前景領域検出部１２１から、検出結果である２値画像を受け取る。また、第１抽出部１３１は、２値画像の生成に用いた撮像画像を第１記憶部１４０Ａから取得する。なお、第１抽出部１３１は、撮像画像を２値画像と共に前景領域検出部１２１から受け取ってもよい。
第１抽出部１３１は、撮像画像から変化領域の画像を抽出する。具体的には、第１抽出部１３１は、撮像画像と、該撮像画像と同じサイズである２値画像とを用いて、２値画像における画素値が２５５の領域に対応する撮像画像上の領域の画像を第１注目画像として抽出する。２値画像が図５の（ｃ）の場合、第１抽出部１３１は、撮像画像から３つの第１注目画像を抽出する。上述した通り、撮像画像はＲＧＢ画像であるため、抽出された第１注目画像も、ＲＧＢ画像である。
なお、第１抽出部１３１は、変化領域毎に、該変化領域と同じ形状の領域の第１注目画像を抽出してもよいし、変化領域に外接する所定の形状の枠と同じ形状の枠で囲まれる領域の画像を第１注目画像として抽出してもよい。なお、変化領域に外接する枠の形状は、例えば、矩形、楕円形などどのような形状であってもよい。また、第１抽出部１３１は、変化領域に外接する枠よりも所定のサイズ分大きい枠で囲まれる領域の画像を第１注目画像として抽出してもよい。
第１抽出部１３１は、抽出した第１注目画像を領域変化分類部１３４に供給する。なお、第１抽出部１３１が抽出した第１注目画像の撮像画像上における領域を第１注目領域とも呼ぶ。
第２抽出部１３２は、前景領域検出部１２１から、検出結果である２値画像を受け取る。また、第２抽出部１３２は、２値画像の生成に用いた背景情報１４１を第１記憶部１４０Ａから取得する。なお、第２抽出部１３２は、背景情報１４１を２値画像と共に前景領域検出部１２１から受け取ってもよい。
第２抽出部１３２は、背景情報１４１から変化領域の画像を抽出する。具体的には、第２抽出部１３２は、背景画像である背景情報１４１と２値画像とを用いて、２値画像における画素値が２５５の領域に対応する背景情報１４１上の領域の画像を第２注目画像として抽出する。第２注目画像の抽出方法は、第１注目画像の抽出方法と同様である。第２抽出部１３２は、抽出した第２注目画像を領域変化分類部１３４に供給する。なお、第２抽出部１３２が抽出した第２注目画像の背景情報１４１上における領域を第２注目領域とも呼ぶ。
領域変化分類部１３４は、第１抽出部１３１から第１注目画像を受け取る。また、領域変化分類部１３４は、第２抽出部１３２から第２注目画像を受け取る。領域変化分類部１３４は、第１記憶部１４０Ａに格納された棚変化モデル１４２に基づいて、第２注目画像の状態から、該第２注目画像に対応する第１注目画像の状態への変化を、例えば上述した種類に分類する。たとえば、領域変化分類部１３４は、第２注目画像の状態から第１注目画像の状態への変化を、棚変化モデル１４２と比較した結果に基づいて、該変化を分類する。
なお、領域変化分類部１３４は、例えば、棚変化モデルを作成した機械学習法（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなど）を用いて、商品棚４に関する変化を上述した種類の何れかに分類してもよい。
領域変化分類部１３４は、分類結果を、評価部１５０に供給する。また、領域変化分類部１３４は、分類結果を、例えば、第１記憶部１４０Ａに格納してもよい。
次に、図６を参照して本実施の形態の本例に係る画像処理装置１００の動作の流れについて説明する。図６は、本実施の形態に係る画像処理装置１００の動作の流れの一例を示すフローチャートである。
まず、取得部１１０Ａが、商品棚４を撮像した映像信号からＲＧＢ画像である撮像画像を取得する（ステップＳ６１）。取得部１１０Ａは取得した撮像画像を検出部１２０Ａおよび分類部１３０Ａに供給する。
次に、検出部１２０Ａの前景領域検出部１２１が、取得部１１０Ａから供給された、ＲＧＢ画像である撮像画像と、第１記憶部１４０Ａに格納されている、ＲＧＢ画像である背景情報１４１とを用いて、２つのＲＧＢ画像の間で変化した領域を変化領域として検出する（ステップＳ６２）。そして、前景領域検出部１２１は、変化領域の検出結果を分類部１３０Ａに供給する。例えば、分類部１３０Ａは、検出した変化領域の画素を２５５とし、その他の領域の画素を０とした２値画像を生成し、該２値画像を、変化領域の検出結果として分類部１３０Ａに供給する。
また、背景情報更新部１２３は、撮像画像と背景情報１４１とを用いて背景情報１４１を更新する（ステップＳ６３）。なお、ステップＳ６３は、ステップＳ６１の後であれば、どのタイミングで行われてもよい。
分類部１３０Ａの第１抽出部１３１が、取得部１１０Ａから供給された撮像画像と、前景領域検出部１２１から供給された該撮影画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ６４）。第１抽出部１３１は、抽出した第１注目画像を領域変化分類部１３４に供給する。
また、分類部１３０Ａの第２抽出部１３２が、前景領域検出部１２１から供給された検出結果と、第１記憶部１４０Ａから取得した、該検出結果を得るために用いた背景情報１４１とに基づいて、第１抽出部１３１と同様の動作により、背景情報１４１から第２注目画像を抽出する（ステップＳ６５）。第２抽出部１３２は、抽出した第２注目画像を領域変化分類部１３４に供給する。なお、ステップＳ６４とステップＳ６５とは同時に行われてもよいし、逆順で行われてもよい。
そして、領域変化分類部１３４は、第１抽出部１３１から供給された第１注目画像と、第２抽出部１３２から供給された第２注目画像と、第１記憶部１４０Ａに格納された棚変化モデル１４２とに基づいて、商品棚４に関する変化（第２注目画像における状態から第１注目画像における状態への変化）を分類する（ステップＳ６６）。
ここで、領域変化分類部１３４による分類結果の一例を図７に示す。図７は、分類部１３０Ａの領域変化分類部１３４が出力する分類結果の一例を示す図である。領域変化分類部１３４は、例えば、図７に示すような分類結果７０を出力する。
図７に示す通り、分類結果７０は、第２注目画像７１と、第１注目画像７２と、変化の種類７３と、変化領域情報７４と、変化領域の検出結果である２値画像を示す２値画像識別子７５と、撮像画像に含まれる商品棚４に関する商品棚情報７６とを含む。２値画像識別子７５は、例えば、第１記憶部１４０Ａ等に格納された、検出部１２０Ａが出力した２値画像を示す識別子である。商品棚情報７６は、例えば、商品棚４を特定可能な識別子である。なお、図７に示す分類結果７０は一例であり、分類結果７０が図７に示す情報以外の情報を含んでもよい。例えば、分類結果７０は、撮像画像に関する情報（識別子、撮像時刻など）や第１注目画像７２の撮像画像における位置を示す情報などを含んでもよい。
ステップＳ６６終了後、陳列状態更新部１５１は、分類結果に基づいて、商品の陳列状態を示す陳列状態情報１７１を更新する（ステップＳ６７）。ここで、図８を参照して、陳列状態更新部１５１による陳列状態情報１７１の更新の処理についてさらに説明する。図８は、第２記憶部１７０に格納された陳列状態情報１７１の一例と、更新された陳列状態情報１７１の一例を示す図である。
図８の（ｂ）に示す検出結果は、図５に示す検出結果と同じ画像である。本例では、図５に示す商品Ｇ３に関する画像について説明する。陳列状態更新部１５１は、図８の（ａ）に示すような、陳列状態情報１７１から、分類結果に含まれる、変化領域情報によって示される矩形領域に該当する部分の画像を抽出する。ここでは、変化領域情報は、図８の（ａ）に示す商品Ｇ３に外接する破線の矩形８１を示すとする。
陳列状態更新部１５１は、抽出した画像から、分類結果に含まれる検出結果によって表される変化領域に該当する画素を特定する。変化領域は、画素値が２５５であるため、陳列状態更新部１５１は、矩形８１に対応する矩形８２の検出結果の部分の画像から白色の部分の画素を特定する。
そして、陳列状態更新部１５１は、分類結果に含まれる変化領域の変化の種類を示す情報に基づいて、陳列状態情報１７１のうち、特定した画素の値を更新する。陳列状態更新部１５１は、変化の種類が、例えば、「商品棚４に商品が含まれなくなったことによる変化」である場合、該画素の値を０にし、「商品棚４に商品が新たに含まれたことによる変化」である場合、該画素の値を２５５にし、それ以外の場合、画素の値を変更しない。変化領域における商品Ｇ３の変化は、「商品棚４に商品が含まれなくなったことによる変化」であるため、陳列状態更新部１５１は、陳列状態情報１７１の矩形８１内の各画素のうち、特定された変化領域の部分の画素の値を０にする。そして、陳列状態更新部１５１は、図８の（ｃ）に示すような更新された陳列状態情報１７１を出力する。
陳列状態更新部１５１は、更新した陳列状態情報１７１を第２記憶部１７０に格納する。また、陳列状態更新部１５１は、更新した陳列状態情報１７１を算出部１５３に供給する。
算出部１５３は、陳列状態更新部１５１から供給された、更新された陳列状態情報１７１と、第２記憶部１７０に格納された監視領域情報１７２とに基づいて、商品の陳列量を算出する（ステップＳ６８）。図９を参照して、算出部１５３の動作についてさらに説明する。図９は、算出部１５３の動作を説明するための図である。図９の（ａ）は、第２記憶部１７０に格納された監視領域情報１７２の一例を示す図である。図９の（ａ）に示す通り、監視領域情報１７２は、２つの監視対象領域（９１、９２）を含む。また、図９の（ｂ）は、図８に示した、更新された陳列状態情報１７１に、監視対象領域を示す破線の枠を重ね合わせたものである。算出部１５３は、監視対象領域９１に含まれる、更新された陳列状態情報１７１のうち、画素値が２５５の画素を数える。そして、算出部１５３は、商品Ｇ３が含まれる監視対象領域９１の面積を分母とし、数えた画素の数を分子とした陳列量を算出する。
そして、出力制御部１６０は、算出結果に基づいた制御信号を出力装置３に送信する（ステップＳ６９）。そして、画像処理装置１００は、取得部１１０Ａが次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ７０）。次の撮像画像がある場合（ステップＳ７０にてＹＥＳ）、処理はステップＳ６１に移行し、次の撮像画像がない場合（ステップＳ７０にてＮＯ）、画像処理装置１００は、動作を終了する。
図１０および図１１は、出力装置３が表示する出力画面の一例を示す図である。出力装置３が表示装置の場合、出力装置３は、出力制御部１６０から出力された制御信号に基づいて、図１０に示すような、算出した陳列量を含んだ出力画面１０１を出力してもよい。
また、出力装置３は、出力制御部１６０から出力された制御信号に基づいて、図１１に示すような出力画面１１１を出力してもよい。図１１に示す出力画面は、図５に示す撮像画像に、算出部１５３が算出した陳列量が重畳された画面である。
また、算出部１５３は、算出した陳列量を、所定期間、例えば、第２記憶部１７０に格納してもよい。このとき、算出部１５３は、監視対象領域毎の陳列量に、分類結果を関連付けて格納してもよい。例えば、顧客が商品を一旦手に取り、別の場所に移動した後、手に取った商品を購入せずに、同じ棚に戻したとする。このように商品の購入が行われていない場合、この商品に対して顧客が興味を示したことをＰＯＳでは管理できない。しかしながら、顧客が商品を一旦手に取って、別の場所に移動した場合、検出部１２０Ａが、商品が商品棚４から無くなったことを検知できるため、算出部１５３は、顧客が商品を商品棚４から取り出す前までの陳列量よりも低い陳列量を算出する。その後、商品が商品棚４に戻されると、算出部１５３は、商品棚４に商品が戻される前の陳列量に比べ高い値の陳列量を算出する。算出部１５３は、このような陳列量の変化を所定期間格納し、ＰＯＳから送信された販売データと比較することにより、顧客が興味を示した商品の場所を、出力制御部１６０に供給してもよい。
また、例えば、顧客が商品を一旦手に取り、手に取った商品をすぐに同じ棚に戻したとする。この場合、商品の見た目が変わる可能性が高い。しかしながら、商品棚４の陳列量は変化しない。しかしながら、算出部１５３が監視対象領域毎の陳列量に分類結果を関連付けて格納し、所定期間の陳列量を出力制御部１６０に供給してもよい。
これにより、出力制御部１６０は、例えば、ＰＯＳでは把握できない、商品に対する顧客の興味の度合いなどを、出力装置３に出力することができる。したがって、本実施の形態に係る画像処理装置１００はマーケティングに有効なデータを提供することができる。
また、例えば、顧客がある商品棚４で手に取った商品を、異なる商品棚４に置いたとする。この場合、算出部１５３は、商品が置かれる前の陳列量よりも大きい値の陳列量を算出する。このような場合、出力制御部１６０は、蓄積した陳列量と、算出した陳列量とから、異なる商品が置かれた可能性を示す情報を出力装置３が出力する制御信号を生成してもよい。
また、評価部１５０は、所定のタイミングで、陳列状態情報１７１を、初期状態に更新してもよい。陳列状態情報１７１の初期状態とは、例えば、予め作成された棚割りから生成された状態や背景情報１４１と同じ状態である。所定のタイミングとは、例えば、店員による商品の補充作業が行われた時である。陳列状態情報１７１を更新し続けることにより、実際の陳列状態からの誤差が大きくなってしまう可能性がある。しかしながら、評価部１５０が所定のタイミングで陳列状態情報１７１を初期状態に更新することにより、誤差が大きくなることを防ぐことができる。これにより、評価部１５０は、算出される陳列量の誤差の発生を防ぐことができる。
以上のように、本実施の形態の例１に係る画像処理装置１００は、分類部１３０Ａが、商品棚４を撮像した撮像画像から検出された商品棚４に関する変化領域における商品棚４に関する変化を分類し、評価部１５０が分類結果に基づいて、商品の陳列状態を評価する。分類部１３０Ａによって商品棚４における変化が、複数の種類の何れかに分類されるため、評価部１５０は、このように分類された結果を用いた評価を行うことができる。したがって、評価部１５０は、商品棚４の状態を精度よく評価することができる。
更に、本例における分類装置１０は、検出部１２０Ａが商品棚を撮像した撮像画像と、該撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、商品棚４に関する変化領域を検出し、分類部１３０Ａが、事前に学習した商品棚４に関する変化のモデルである棚変化モデル１４２に基づいて、変化領域における商品棚４に関する変化を分類する。
上述した通り、棚変化モデル１４２は、商品棚４に関する変化を表すモデルであるため、分類部１３０Ａは、変化領域として検出された領域における商品棚４に関する変化を、商品が商品棚４から取られたことや商品が補充されたことなどの種類に分類する。
したがって、本例に係る分類装置１０を備える画像処理装置１００によれば、商品棚４の商品に変化があったことだけではなく、その変化がどのような種類の変化なのかを特定することができる。したがって、画像処理装置１００は、商品が取られた状態であるのか、商品棚４が補充された状態であるのかなどの商品棚４の状態をより正確に判別することができる。
このような分類結果から、商品棚４に陳列された商品が、購入される商品なのか、手に取られる商品なのか等がわかるため、本例に係る分類装置１０を含む画像処理装置１００は、マーケティングに有効なデータを出力することができる。また、分類結果から商品棚４の前を、カートを押したまたは買い物かごを持った顧客が通過した等がわかるため画像処理装置１００は、例えば、店舗内の顧客の動線の取得に使用可能なデータを出力することができる。
（分類装置１０の例２）
図１２は、本実施の形態に係る画像処理装置１００に含まれる分類装置１０の他の一例を示すブロック図である。分類装置１０は、図１２に示す通り、取得部１１０Ａ、検出部１２０Ｂ、分類部１３０Ａ、および、第１記憶部１４０Ｂを備える。本例における分類装置１０は、前景領域検出部２２１が検出した変化領域を複数のＲＧＢ画像間で追跡する。なお、前述した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。
検出部１２０Ｂは、検出部１２０の一例である。また、第１記憶部１４０Ｂは第１記憶部１４０の一例である。
第１記憶部１４０Ｂは、第１記憶部１４０Ａと同様に、背景情報１４１および棚変化モデル１４２を格納する。また、第１記憶部１４０Ｂは、前景領域検出部２２１による検出結果を前景領域情報２４３として格納する。前景領域情報２４３については、後述する。
検出部１２０Ｂは、前景領域検出部２２１と、背景情報更新部２２３と、前景領域追跡部２２４とを備える。
前景領域検出部２２１は、前景領域検出部１２１と同様の動作により変化領域を検出する。そして、前景領域検出部２２１は、前景領域検出部１２１と同様に、例えば、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を検出結果として生成する。そして、前景領域検出部２２１は、検出結果である２値画像に、該２値画像の生成に用いた撮像画像の撮像時刻を関連付ける。前景領域検出部２２１は、撮像画像の撮像時刻が関連付けられた検出結果を背景情報更新部２２３と、前景領域追跡部２２４とに供給する。また、前景領域検出部２２１は、この検出結果を前景領域情報２４３として第１記憶部１４０Ｂに格納する。つまり、前景領域情報２４３は、撮像画像の撮像時刻が関連付けられた２値画像である。
前景領域追跡部２２４は、前景領域検出部２２１が検出した変化領域を複数の撮像画像の間で追跡する。前景領域追跡部２２４は、前景領域検出部２２１から供給された検出結果（２値画像）を受け取る。また、前景領域追跡部２２４は、検出結果である２値画像に関連付けられた、該２値画像に関連する撮像画像の撮像時刻よりも前に撮像された撮像画像から生成された２値画像である前景領域情報２４３を第１記憶部１４０Ｂから取得する。そして、前景領域追跡部２２４は、各２値画像によって表される各変化領域を対応付ける処理を行うことにより、該変化領域を追跡する。ここで、前景領域追跡部２２４は、例えば、前景領域検出部２２１から供給された２値画像と、第１記憶部１４０Ｂから取得した前景領域情報２４３とによって表される変化領域の面積、形状および外接矩形のアスペクト比の少なくとも１つに基づいて、類似度を算出し、算出した類似度が最も高くなる変化領域同士を対応付けてもよい。また、前景領域検出部２２１が、検出した変化領域に含まれる色情報を撮像画像から抽出し、取得した色情報を検出結果に関連付ける構成の場合、前景領域追跡部２２４は該色情報を用いて、追跡を行ってもよい。なお、前景領域検出部２２１は、変化領域の色情報の代わりに変化領域の画像を検出結果に関連付けてもよい。
そして、前景領域追跡部２２４は、追跡した結果が、所定の時間以上の場合、前景領域検出部２２１から供給された検出結果である２値画像を分類部１３０Ａに供給する。なお、このとき前景領域追跡部２２４は２値画像に、２値画像の生成に用いた撮像画像を示す情報および背景情報１４１を示す情報を付与して、該２値画像を分類部１３０Ａに供給してもよいし、２値画像と共に該撮像画像および背景情報１４１を分類部１３０Ａに供給してもよい。また、２値画像に複数の変化領域が含まれ、変化領域の何れかが所定の時間以上追跡されていない場合、前景領域追跡部２２４は、所定の時間以上追跡された変化領域を示す情報と共に、２値画像を分類部１３０Ａに供給してもよい。
また、２値画像に複数の変化領域が含まれる場合、前景領域追跡部２２４は、１つの２値画像に１つの変化領域が含まれるように複数の２値画像を生成してもよい。例えば、所定の時間以上追跡された変化領域のみが含まれる２値画像を分類部１３０Ａに供給し、所定の時間以上追跡されていない変化領域が含まれる２値画像を破棄してもよい。なお、前景領域追跡部２２４は、前景領域検出部２２１から変化領域毎の２値画像を検出結果として受け取ってもよい。前景領域検出部２２１が変化領域毎に２値画像を生成する方法については、後述する。
また、前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号を背景情報更新部２２３に供給する。
また、前景領域追跡部２２４は、例えば、変化領域の移動量が所定の閾値以上である場合、変化領域に含まれる物体が動体であると判定し、該変化領域を分類部１３０Ａに供給せずに破棄してもよい。これにより、本例における分類装置１０を備える画像処理装置１００は「商品棚４の前に人物が存在することによる変化」など、商品の増減に無関係な商品棚４に関する変化を削除できるため、商品の陳列状態をより正確に監視できる。なお、前景領域追跡部２２４は、変化領域に含まれる物体が動体であると判定した判定結果を、該変化領域に関連付けて分類部１３０Ａに供給してもよい。そして、分類部１３０Ａは、変化領域に判定結果が関連付けられている場合、この変化領域における商品棚４に関する変化を、商品棚４に陳列された商品以外の変化に関連する種類に分類してもよい。例えば、分類部１３０Ａは、変化領域における商品棚４に関する変化を、「商品棚４の前に人物が存在することによる変化」、「商品棚４の前に買い物カートがあることによる変化」等、商品以外の変化に関する種類に分類してもよい。
また、前景領域追跡部２２４は、変化領域の追跡後、例えば、分類部１３０Ａに変化領域を示す検出結果を供給する場合に値が１の更新信号を、該変化領域を示す情報と共に背景情報更新部２２３に供給してもよい。また、前景領域追跡部２２４は、分類部１３０Ａに検出結果を供給しない場合に値が０の更新信号を、該変化領域を示す情報と共に背景情報更新部２２３に供給してもよい。値が１の更新信号とは、背景情報１４１における変化領域に対応する部分の画像を更新することを示す指示であり、値が０の更新信号とは、背景情報１４１における変化領域に対応する部分の画像を更新しないことを示す指示である。例えば、前景領域追跡部２２４は、追跡の結果に含まれる追跡の時間や、例えば、画像処理装置１００の外部装置から送信される商品の購入情報や仕入情報、店員の作業情報等に基づいて、変化領域に含まれる商品が購入されたまたは補充された可能性が高い場合、商品棚４の背景を更新するように、値が１の更新信号を出力してもよい。
背景情報更新部２２３は、取得部１１０Ａから供給された撮像画像と、前景領域検出部２２１から供給された検出結果と、背景情報１４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報更新部１２３と同様の動作により背景情報１４１を更新する。
なお、背景情報更新部２２３は、背景情報１４１によって示されるＲＧＢ画像のうち、例えば、前景領域検出部２２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新しなくてもよい。例えば、背景情報更新部２２３は、上述した値が０の更新信号を前景領域追跡部２２４から受け取った場合、変化領域に対応する領域の背景情報を更新しない。
前景領域追跡部２２４は、分類部１３０Ａに検出結果を出力しない場合、値が０の更新信号を背景情報更新部２２３に供給する。分類部１３０に検出結果を出力しない場合とは、例えば、追跡結果が所定の時間未満である場合、または、変化領域の移動量が所定の閾値以上である場合である。背景情報更新部２２３は、このように、追跡結果が第１の所定の条件を満たす場合に、値が０の更新信号を受け取り、変化領域に対応する領域の背景情報を更新しない。言い換えると、背景情報更新部２２３は、背景情報１４１のうち、変化領域に対応する領域以外を更新する。これにより、取得部１１０Ａが次に取得した撮像画像の、更新を行なわなかった領域に対応する領域が前景領域検出部２２１によって変化領域として検出されやすくなる。
また、背景情報更新部２２３は、例えば、前景領域追跡部２２４から供給された更新信号の値が１の場合に、背景情報１４１によって示されるＲＧＢ画像のうち、前景領域検出部２２１から供給された検出結果によって示される変化領域に該当する部分の画像を更新してもよい。前景領域追跡部２２４は、追跡結果が所定の時間以上である場合、追跡した変化領域を表す検出結果を分類部１３０に供給すると、値が１の更新信号を背景情報更新部２２３に供給する。つまり、追跡結果が所定の時間以上追跡された結果であるという第２の所定の条件を満たす場合、背景情報更新部２２３は、前景領域追跡部２２４から値が１の更新信号を受け取り、背景情報１４１における該変化領域に該当する部分の画像を更新してもよい。これにより、背景情報更新部２２３は、第１記憶部１４０Ａに格納された背景情報１４１をその時点において取得部１１０Ａが取得した撮像画像に近づけることができる。したがって、本例における分類装置１０を備える画像処理装置１００は、上記変化領域に対応する次に取得部１１０Ａが取得する撮像画像上の領域を、前景領域検出部２２１が変化領域として検出することを防ぐことができる。
分類部１３０Ａは、例１において説明した動作によって、商品棚４に関する変化を分類する。このとき、第１抽出部１３１および第２抽出部１３２は、前景領域検出部２２１から供給された検出結果である２値画像と、所定の時間以上追跡された変化領域を示す情報とを共に受け取った場合、所定の時間以上追跡された変化領域に対して、夫々第１注目画像および第２注目画像の抽出処理を行ってもよい。
次に、図１３を参照して本例における分類装置１０を備える画像処理装置１００の動作の流れについて説明する。図１３は、本例における分類装置１０を備える画像処理装置１００の動作の流れの一例を示すフローチャートである。図１３に示すステップＳ１３１〜Ｓ１３２は、夫々、図６に示すＳ６１〜Ｓ６２と同様である。
ステップＳ１３２終了後、前景領域検出部２２１は、第１記憶部１４０Ｂに前景領域情報２４３を格納する（ステップＳ１３３）。上述した通り、前景領域情報２４３は、撮像時刻が関連付けられた検出結果である。
次に、前景領域追跡部２２４が、前景領域検出部２２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ１３４）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部１３０Ａに供給する。前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号を背景情報更新部２２３に供給する。
背景情報更新部２２３は、取得部１１０Ａから供給された撮像画像と、前景領域検出部２２１から供給された変化領域の検出結果と、背景情報１４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報１４１を更新する（ステップＳ１３５）。
なお、ステップＳ１３５は、ステップＳ１３４以降の任意のタイミングで行われてもよい。
そして、本例における分類装置１０を備える画像処理装置１００は、図６に示すステップＳ６４〜Ｓ７０と同様の処理であるステップＳ１３６〜Ｓ１４２を実行する。
以上のように、本例における分類装置１０を備える画像処理装置１００の検出部１２０Ｂが検出した変化領域を複数の撮像画像の間で追跡し、分類部１３０Ａが該追跡結果に基づいて、商品棚４に関する変化を分類する。例えば、検出部１２０Ｂは、追跡した結果が所定の時間以上の場合、検出結果を分類部１３０Ａに供給し、所定の時間未満の場合、検出結果を分類部１３０Ａに供給しない。したがって、分類部１３０Ａは、所定の時間以上追跡が行われた変化領域に対して、商品棚４に関する変化を分類する。したがって、変化領域が連続して検出されていない領域を分類しないため、実際に変化が生じている領域を精度よく分類することができる。
また、例えば、検出部１２０Ｂは、更に、変化領域の移動量が所定の閾値未満の場合、検出結果を分類部１３０Ａに供給し、所定の閾値以上の場合、検出結果を分類部１３０Ａに供給しない。変化領域の移動量が所定の閾値以上の物体は、商品以外の物体である。よって、分類部１３０Ａが行う分類処理の対象を、商品棚４の商品に絞ることができるため、商品棚４の商品に対する分類精度をより高めることができる。また、本例における分類装置１０を備える画像処理装置１００は、分類部１３０Ａが人物などの動体を商品棚４の変化として分類することを防ぐことができる。
（分類装置１０の例３）
図１４は、本実施の形態に係る画像処理装置１００に含まれる分類装置１０の他の一例を示すブロック図である。分類装置１０は、図１４に示す通り、取得部１１０Ｃ、検出部１２０Ａ、分類部１３０Ｃ、および、第１記憶部１４０Ｃを備える。なお、本実施の形態では商品モニタリングシステム１が備える撮像装置２は夫々異なる種類の画像を取得する複数の撮像装置であってもよい。例えば、撮像装置２は、ＲＧＢ画像を取得するＲＧＢカメラと、距離画像を取得するデプスカメラであってもよい。この場合、ＲＧＢカメラとデプスカメラとは近接する位置に設けられ同じ対象（商品棚４）を撮像する。また、ＲＧＢカメラとデプスカメラとは時刻同期がとられており、ほぼ同時刻に商品棚４を撮像することが好ましい。つまり、デプスカメラは、ＲＧＢカメラによって撮像されたＲＧＢ画像の撮影時刻から所定の時間内に、且つ、ＲＧＢ画像の撮像範囲を撮像した距離画像を出力するカメラであることが好ましい。また、撮像装置２は、複数の種類の画像（例えば、ＲＧＢ画像および距離画像）を取得可能なセンサであってもよい。例えば、撮像装置２は、ＲＧＢＤカメラであってもよい。
本例における分類装置１０は、第２取得部３１２が取得した距離画像である第２撮像画像に基づいて、変化領域における商品棚４に関する変化を分類する。なお、前述した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。
取得部１１０Ｃは、第１取得部３１１と第２取得部３１２とを備える。
第１取得部３１１は、上述した取得部１１０Ａと同様に、ＲＧＢ画像である撮像画像を取得する。以降、第１取得部３１１が取得するＲＧＢ画像である撮像画像を第１撮像画像と呼ぶ。
第２取得部３１２は、第１取得部３１１と同様に撮像装置２が商品棚４を撮像することによって得た撮像画像を示す映像信号を受け取り、該映像信号から距離画像を取得する。第２取得部３１２は、第１取得部３１１が取得する映像信号とは異なる種類の映像信号を受け取る。例えば、第１取得部３１１が取得する映像信号がＲＧＢ画像を構成する映像信号の場合、第２取得部３１２は、距離画像を構成する映像信号を取得する。ここで、距離画像は、例えば、撮像装置２から対象物までの距離の値を持った画像を意味してもよい。また、距離画像の各画素は、例えば、０から２５５の値で構成されていてもよい。このとき、各画素の値すなわち距離値は、例えば、情報取得装置に対象物が近ければ０に近づき、対象物が遠ければ２５５に近づくようにしてもよい。なお、距離画像の各画素の値はこれに限定されない。本例では、第２取得部３１２が取得する第２撮像画像が、グレースケールの距離画像であるとして説明を行う。
なお、第２取得部３１２は、第１取得部３１１と同様に、撮像装置２の内部または撮像装置２および画像処理装置１００とは異なる記憶装置に格納された撮像画像に基づいて変換された映像信号を取得してもよい。また、画像処理装置１００が撮像装置２に内蔵されている場合、第２取得部３１２は、撮像画像そのものを取得する構成であってもよい。
第２取得部３１２は、取得した映像信号を、該映像信号を構成する距離画像に変換し、該距離画像を分類部１３０Ｃに供給する。第２取得部３１２が映像信号を変換することによって得た距離画像、または、撮像装置２から取得した撮像画像を以下では第２撮像画像と呼ぶ。
なお、第１取得部３１１と、第２取得部３１２とは一体となって形成されてもよい。また、第１撮像画像と第２撮像画像とは、撮像された位置を示す情報および撮像時刻に基づいて、互いに関連付けられている。
第１記憶部１４０Ｃは、第１記憶部１４０Ａおよび第１記憶部１４０Ｂと同様に背景情報１４１を格納する。また、第１記憶部１４０Ｃは、距離情報３４４を格納する。距離情報３４４については後述する。
分類部１３０Ｃは、第１抽出部３３１と、第２抽出部３３２と、領域変化分類部３３４と、距離情報更新部３３５とを備える。
第１抽出部３３１は、第２撮像画像から変化領域の画像を抽出する。具体的には、第１抽出部３３１は、第２取得部３１２から供給された距離画像である第２撮像画像と、前景領域検出部１２１から供給された検出結果である２値画像とを用いて、２値画像における画素値が２５５の領域に対応する第２撮像画像上の領域の画像を第１注目画像として抽出する。第１抽出部３３１は、上述した第１抽出部１３１と同様の方法で第１注目画像を抽出すればよい。そして、第１抽出部３３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。
第２抽出部３３２は、前景領域検出部１２１が２値画像を生成する際に用いた第１撮像画像に関連付けられた第２撮像画像である距離画像が、撮像された時刻より前の距離画像から、変化領域の画像を抽出する。具体的には、第２抽出部３３２は、前景領域検出部１２１から、検出結果である２値画像を受け取る。また、第２抽出部３３２は、２値画像の生成に用いた第１撮像画像の撮像時刻よりも前に撮像された第２撮像画像である、距離情報３４４を第１記憶部１４０Ｃから取得する。距離情報３４４は、後述する第２取得部３１２によって更新される第２撮像画像であり、第２取得部３１２が取得した距離画像である。距離情報３４４には、撮像時刻が関連付けられている。上述した通り、第１撮像画像と第２撮像画像とは時刻同期がとられているため、第１撮像画像の撮像時刻と、該第１撮像画像に関連付けられた第２撮像画像の撮像時刻とは略同じとなる。したがって、第２抽出部３３２は、第１抽出部３３１が抽出処理を行う対象の第２撮像画像よりも前に撮像された（過去の）第２撮像画像から、変化領域の画像を第２注目画像として抽出すると言える。
なお、第２抽出部３３２は、第１抽出部３３１が第１注目画像を抽出する方法と同様の方法で第２注目画像を抽出する。第２抽出部３３２は、抽出した第２注目画像を領域変化分類部３３４に供給する。
距離情報更新部３３５は、第２取得部３１２から供給された距離画像と、第１記憶部１４０Ｃに格納されている距離情報３４４とに基づいて、距離情報３４４を更新する。距離情報更新部３３５は、例えば、背景情報更新部１２３と同様の動作により、距離情報３４４を更新してもよい。
領域変化分類部３３４は、変化領域における距離情報に基づいて、変化領域における商品棚４に関する変化を分類する。まず、第１抽出部３３１から第１注目画像を受け取る。また、領域変化分類部３３４は、第２抽出部３３２から第２注目画像を受け取る。領域変化分類部３３４は、第１注目画像と第２注目画像とに基づいて、変化領域における商品棚４に関する変化を分類する。
領域変化分類部３３４は、例えば、第１注目画像における各画素の値（距離値）から第２注目画像における各画素の値（距離値）を減算することにより得られた演算結果に基づいて、変化を分類してもよい。例えば、演算結果が第１の所定の閾値以上の値の場合、すなわち、第１注目画像に含まれる対象物の方が第２注目画像に含まれる対象物より奥にある場合、領域変化分類部３３４は、変化領域における商品棚４に関する変化を「商品棚４に商品が含まれなくなったことによる変化」と分類してもよい。また、例えば、演算結果が第２の所定の閾値以下の値の場合、すなわち、第１注目画像に含まれる対象物の方が第２の注目画像に含まれる対象物よりも撮像装置２側にある場合、領域変化分類部３３４は、変化領域における商品棚４に関する変化を「商品棚４に商品が新たに含まれたことによる変化」と分類してもよい。また、それ以外の場合、領域変化分類部３３４は、変化領域における商品棚４に関する変化を「商品棚４に陳列された商品の見た目が変わったことによる変化」または「照明が変わったことによる変化」等に分類してもよい。
また、領域変化分類部３３４は、例えば、第１注目画像における各画素の距離値と第２注目画像における各画素の距離値とをクラスタリングし、最も要素数の多いクラスの距離値を、各注目画像を代表する距離値とし、さらに各注目画像の該クラスのクラスタの座標を求めてもよい。そして、領域変化分類部３３４は、例えば、各注目画像を代表する距離値の差分の絶対値が第３の所定の閾値以内であり、かつ、各注目画像のクラスのクラスタの座標が第４の所定の閾値以上離れている場合に、変化領域における商品棚４に関する変化を「商品棚４に陳列された商品の見た目が変わったことによる変化」に分類してもよい。
また、領域変化分類部３３４は、例えば、事前に設定した、撮像装置２から商品棚４までの距離値から第１注目画像を代表する距離値を減算した結果を用いて、変化領域における商品棚４に関する変化を、商品棚４に陳列された商品の変化に関連する種類または商品棚４に陳列された商品以外の物体による変化に関する種類に分類してもよい。例えば、上記結果が正の値ならば、すなわち、撮像画像のうちの変化領域の部分の画像に含まれる対象物が撮像装置２と商品棚４との間に存在するならば、領域変化分類部３３４は、該変化領域における商品棚４に関する変化を商品棚４に陳列された商品以外の物体による変化に関する種類に分類してもよい。商品棚４に陳列された商品以外の物体による変化に関する種類とは、例えば、「商品棚４の前に人物が存在することによる変化」、「商品棚４の前に買い物カートがあることによる変化」および「商品棚４の前に人物と買い物かごとがあることによる変化」の少なくとも１つである。また、上記結果が正の値以外ならば、領域変化分類部３３４は、該変化領域における商品棚４に関する変化を商品棚４に陳列された商品の変化に関連する種類に分類してもよい。このように、領域変化分類部３３４は、第１注目画像と事前に設定された距離値とを用いて分類処理を行うことにより、分類処理にかかる処理コストを低減させることができる。
次に、図１５を参照して本例における分類装置１０を備える画像処理装置１００の動作の流れについて説明する。図１５は、本例における分類装置１０を備える画像処理装置１００の動作の流れの一例を示すフローチャートである。
図１５に示すステップＳ１５１は、図６に示すＳ６１と同様に、商品棚４を撮像した映像信号からＲＧＢ画像である第１撮像画像を取得する（ステップＳ１５１）。また、第２取得部３１２は、商品棚４を撮像した映像信号から距離画像である第２撮像画像を取得する（ステップＳ１５２）。なお、第２撮像画像の撮像時刻が第１撮像画像の撮影時刻から所定の時間内であり、第２撮像画像の撮像範囲が第１撮像画像の撮像範囲であればよく、第２取得部３１２が第２撮像画像を取得するタイミングは、ステップＳ１５５の前までであればよい。
そして、図６に示すステップＳ６２およびステップＳ６３と同様に、前景領域検出部１２１が変化領域を検出し（ステップＳ１５３）、背景情報更新部１２３が背景情報１４１を更新する（ステップＳ１５４）。
そして、分類部１３０Ｃの第１抽出部３３１が、第２取得部３１２から供給された第２撮像画像と、前景領域検出部１２１から供給された検出結果とに基づいて、第２撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１５５）。第１抽出部３３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。
また、分類部１３０Ｃの第２抽出部３３２が、前景領域検出部１２１から供給された検出結果と、第１記憶部１４０Ｃから取得した、第１抽出部３３１に供給された第２撮像画像の撮像時刻よりも前に撮像された第２撮像画像を示す距離情報３４４とに基づいて、第１抽出部３３１と同様の動作により、距離情報３４４から第２注目画像を抽出する（ステップＳ１５６）。第２抽出部３３２は、抽出した第２注目画像を領域変化分類部３３４に供給する。なお、ステップＳ１５５とステップＳ１５６とは同時に行われてもよいし、逆順で行われてもよい。
そして、領域変化分類部３３４が第１注目画像の各画素の値と、第２注目画像の各画素の値との比較結果に基づいて、変化領域における商品棚４に関する変化を分類する（ステップＳ１５７）。
次に、距離情報更新部３３５は、第２取得部３１２から供給された第２撮像画像と、距離情報３４４とに基づいて、距離情報３４４を更新する（ステップＳ１５８）。そして、分類装置１０は、図６に示すステップＳ６７〜ステップＳ６９と同様の処理を行う（ステップＳ１５９〜ステップＳ１６１）。
そして、本例における分類装置１０を備える画像処理装置１００は、第１取得部３１１が次の映像信号を受信し、且つ、第２取得部３１２が次の映像信号を受信したか否か（次の第１撮像画像および第２撮像画像があるか否か）を判定する（ステップＳ１６２）。次の第１撮像画像および第２撮像画像がある場合（ステップＳ１６２にてＹＥＳ）、処理はステップＳ１５１に移行し、次の第１撮像画像および第２撮像画像の少なくとも何れかがない場合（ステップＳ１６１にてＮＯ）、本例における分類装置１０を備える画像処理装置１００は、動作を終了する。
以上のように、本例における分類装置１０を備える画像処理装置１００の検出部１２０Ａは、ＲＧＢ画像である第１撮像画像と、第１撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報１４１とを比較することによって、変化領域を検出する。また、本例における分類装置１０を備える画像処理装置１００の分類部１３０Ｃは、距離画像である第２撮像画像に含まれる各画素の値と、該第２撮像画像の撮像時刻よりも前に撮像された距離情報３４４の各画素の値との比較結果に基づいて、商品棚４に関する変化を分類する。
このような構成であっても、画像処理装置１００は、商品棚４の状態をより正確に判別することができる。
（分類装置１０の例４）
図１６は、本実施の形態に係る画像処理装置１００に含まれる分類装置１０の他の一例を示すブロック図である。分類装置１０は、図１６に示す通り、取得部１１０Ｃ、検出部１２０Ｂ、分類部１３０Ｄ、および、第１記憶部１４０Ｄを備える。
本例における分類装置１０は、検出部１２０Ｂが、更に前景領域追跡部２２４を備え、前景領域検出部２２１が検出した変化領域を複数のＲＧＢ画像間で追跡する。なお、前述した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。
なお、本例において、前景領域追跡部２２４は、更新信号を距離情報更新部４３５に出力してもよい。
第１記憶部１４０Ｄは、第１記憶部１４０Ｃと同様に、背景情報１４１および距離情報３４４を格納し、更に、前景領域情報２４３を格納する。
分類部１３０Ｄは、第１抽出部３３１と、第２抽出部３３２と、領域変化分類部３３４と、距離情報更新部４３５とを備える。距離情報更新部４３５は、距離情報更新部３３５と同様の動作により、距離情報を更新する。
また、距離情報更新部４３５は、距離情報３４４によって示される距離画像のうち、例えば、前景領域検出部２２１から供給された２値画像によって示される変化領域に該当する部分を更新しなくてもよい。つまり、距離情報更新部４３５は、距離情報３４４によって示される距離画像のうち、変化領域に該当する部分以外の部分を更新してもよい。距離情報更新部４３５は、変化領域に該当する部分の距離情報を更新しないことにより、第２取得部３１２が取得する第２撮像画像と、該第２撮像画像の撮像時刻より前（過去の時刻）に撮像された距離画像とにおいて、該変化領域に該当する部分の差分が明確になる。
また、距離情報更新部４３５は、例えば、前景領域追跡部２２４から供給された更新信号の値が１の場合に、距離情報３４４によって示される距離画像のうち、前景領域検出部２２１から供給された検出結果によって示される変化領域に該当する部分を更新してもよい。すなわち、距離情報更新部４３５は、前景領域追跡部２２４が追跡した変化領域を表す検出結果（２値画像）が分類部１３０Ｄに供給された後に、距離情報３４４における該変化領域に該当する部分の距離情報を更新してもよい。これにより、距離情報更新部４３５は、第１記憶部１４０Ｄに格納された距離情報３４４をその時点において第２取得部３１２が取得した第２撮像画像に近づけることができる。したがって、本例における分類装置１０を備える画像処理装置１００は、変化領域に対応する次に第２取得部３１２が取得する第２撮像画像上の領域を用いた、領域変化分類部３３４による距離値の比較の結果の精度をより高めることができる。
次に、図１７を参照して本例における分類装置１０を備える画像処理装置１００の動作の流れについて説明する。図１７は、本例における分類装置１０を備える画像処理装置１００の動作の流れの一例を示すフローチャートである。
図１７に示すステップＳ１７１〜ステップＳ１７３は、夫々図１５に示すＳ１５１〜Ｓ１５３と同様の処理である。
ステップＳ１７３終了後、前景領域検出部２２１は、上述したステップＳ１３３と同様に、第１記憶部１４０Ｄに前景領域情報２４３を格納する（ステップＳ１７４）。そして、上述したステップＳ１３４と同様に、前景領域追跡部２２４が、前景領域検出部１２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ１７５）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部１３０Ｄに供給する。前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号および距離情報３４４の更新を示す更新信号を夫々背景情報更新部２２３および距離情報更新部４３５に供給する。
背景情報更新部２２３は、上述したステップＳ１３５と同様に、第１取得部３１１から供給された第１撮像画像と、前景領域検出部２２１から供給された変化領域の検出結果と、背景情報１４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報１４１を更新する（ステップＳ１７６）。
その後、分類装置１０は、図１５に示すステップＳ１５５〜ステップＳ１５７と同様の処理を行う（ステップＳ１７７〜ステップＳ１７９）。そして、距離情報更新部４３５は、第２取得部３１２から供給された第２撮像画像と、距離情報３４４と、前景領域追跡部２２４から供給された更新信号とに基づいて、距離情報３４４を更新する（ステップＳ１８０）。
その後、分類装置１０は、図１５に示すステップＳ１５９〜ステップＳ１６２と同様の処理を行う（ステップＳ１８１〜ステップＳ１８４）。
以上のように、本例における分類装置１０は、例３の分類装置１０に、更に、例２で説明した前景領域追跡部２２４を含む。このような構成であっても、本例における分類装置１０を備える画像処理装置１００は、実際に変化が生じている領域を精度よく分類することができる。
（分類装置１０の例５）
図１８は、本実施の形態に係る画像処理装置１００に含まれる分類装置１０の他の一例を示すブロック図である。上述した例１〜例４では、検出部１２０Ａまたは検出部１２０Ｂに入力される撮像画像がＲＧＢ画像であることを例に説明を行ったが、検出部に入力される画像は距離画像であってもよい。本例における分類装置１０は、検出部に距離画像が入力されることについて説明を行う。なお、前述した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。
図１８に示す通り、本例における分類装置１０は、取得部１１０Ｅと、検出部１２０Ｅと、分類部１３０Ｅと、第１記憶部１４０Ｅとを備える。
取得部１１０Ｅは、上述した第２取得部３１２と同様に、距離画像である撮像画像を取得する。取得部１１０Ｅは、取得した撮像画像を検出部１２０Ｅと分類部１３０Ｅとに供給する。
第１記憶部１４０Ｅは、背景情報５４１を格納する。背景情報５４１は、検出部１２０Ｅにおいて撮像画像と比較するための基準となる画像であり、背景画像とも呼ぶ。上述した通り、本例において撮像画像は距離画像である。したがって、背景情報５４１は、撮像画像と同じ種類の画像である距離画像であることが好ましい。なお、背景情報５４１は、取得部１１０Ｅから検出部１２０Ｅに対し、最初に供給された撮像画像であってもよいし、事前に与えられた画像であってもよい。背景情報５４１は、上述した距離情報３４４と同様である。
検出部１２０Ｅは、前景領域検出部５２１と、背景情報更新部５２３とを備える。前景領域検出部５２１は、取得部１１０Ｅから供給された撮像画像を受け取る。また、前景領域検出部５２１は、撮像画像に対応する背景情報５４１を第１記憶部１４０Ｅから取得する。前景領域検出部５２１は、２つの距離画像の間で変化した領域を変化領域（前景領域）として検出する。前景領域検出部５２１は、例えば、前景領域検出部１２１と同様の動作により、変化領域を検出してもよい。前景領域検出部５２１は、変化領域の検出結果として、前景領域検出部１２１と同様に、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を生成し、生成した２値画像を分類部１３０Ｅに供給する。
背景情報更新部５２３は、取得部１１０Ｅから供給された撮像画像と、第１記憶部１４０Ｅに格納されている背景情報５４１である距離画像とに基づいて、背景情報５４１を更新する。ここで、背景情報更新部５２３は、例えば、背景情報更新部１２３と同様の動作により背景情報５４１を更新してもよい。
分類部１３０Ｅは、第１抽出部５３１と、第２抽出部５３２と、領域変化分類部３３４とを備える。
第１抽出部５３１は、第１抽出部３３１と同様に、第１注目画像を、撮像画像から抽出する。そして、第１抽出部５３１は、抽出した第１注目領域を領域変化分類部３３４に供給する。
第２抽出部５３２は、背景情報５４１から変化領域の画像を第２注目画像として抽出する。第２抽出部５３２による第２注目画像の抽出方法は、第２抽出部３３２と同様である。
領域変化分類部３３４は、例３において説明した領域変化分類部３３４と同様に、変化領域における距離情報に基づいて、変化領域における商品棚４に関する変化を分類する。
次に、図１９を参照して本例における分類装置１０を備える画像処理装置１００の動作の流れについて説明する。図１９は、本例における分類装置１０を備える画像処理装置１００の動作の流れの一例を示すフローチャートである。
まず、取得部１１０Ｅが、商品棚４を撮像した映像信号から距離画像である撮像画像を取得する（ステップＳ１９１）。取得部１１０Ｅは取得した撮像画像を検出部１２０Ｅおよび分類部１３０Ｅに供給する。
次に、検出部１２０Ｅの前景領域検出部５２１が、取得部１１０Ｅから供給された、距離画像である撮像画像と、第１記憶部１４０Ｅに格納されている、距離画像である背景情報５４１とを用いて、２つの距離画像の間で変化した領域を変化領域として検出する（ステップＳ１９２）。そして、前景領域検出部５２１は、変化領域の検出結果を分類部１３０Ｅに供給する。
また、背景情報更新部５２３は、撮像画像と背景情報５４１とを用いて背景情報５４１を更新する（ステップＳ１９３）。なお、ステップＳ１９３は、ステップＳ１９１の後であれば、どのタイミングで行われてもよい。
分類部１３０Ｅの第１抽出部５３１が、取得部１１０Ｅから供給された撮像画像と、前景領域検出部５２１から供給された該撮影画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１９４）。第１抽出部５３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。
また、分類部１３０Ｅの第２抽出部５３２が、前景領域検出部５２１から供給された検出結果と、第１記憶部１４０Ｅから取得した、該検出結果を得るために用いた背景情報５４１とに基づいて、第１抽出部５３１と同様の動作により、背景情報５４１から第２注目画像を抽出する（ステップＳ１９５）。第２抽出部５３２は、抽出した第２注目画像を領域変化分類部３３４に供給する。なお、ステップＳ１９４とステップＳ１９５とは同時に行われてもよいし、逆順で行われてもよい。
そして、領域変化分類部３３４は、第１抽出部５３１から供給された第１注目画像と、第２抽出部５３２から供給された第２注目画像とに基づいて、商品棚４に関する変化（第２注目画像における状態から第１注目画像における状態への変化）を分類する（ステップＳ１９６）。
そして、分類装置１０は、図６に示すステップＳ６７〜ステップＳ６９と同様の処理を行う（ステップＳ１９７〜ステップＳ１９９）。そして、分類装置１０を備える画像処理装置１００は、取得部１１０Ｅが次の映像信号を受信したか否か（次の撮像画像があるか否か）を判定する（ステップＳ２００）。次の撮像画像がある場合（ステップＳ２００にてＹＥＳ）、処理はステップＳ１９１に移行し、次の撮像画像がない場合（ステップＳ２００にてＮＯ）、画像処理装置１００は、動作を終了する。
以上のように、本例における分類装置１０の検出部１２０Ｅは、距離画像である撮像画像と、撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報５４１とを比較することによって、変化領域を検出する。そして、分類部１３０Ｅは、撮像画像に含まれる各画素の値と、背景情報５４１の各画素の値との比較結果に基づいて、商品棚４に関する変化を分類する。
このような構成であっても、本例における分類装置１０を備える画像処理装置１００は、商品棚４の状態をより正確に判別することができる。
（分類装置１０の例６）
図２０は、本実施の形態に係る画像処理装置１００に含まれる分類装置１０の他の一例を示すブロック図である。本例における分類装置１０を備える画像処理装置１００は、前景領域検出部６２１が検出した変化領域を複数の距離画像間で追跡する。なお、前述した図面に含まれる要素と同じ機能を有する要素については、同じ符号を付し、その説明を省略する。
図２０に示す通り、分類装置１０は、取得部１１０Ｅ、検出部１２０Ｆ、分類部１３０Ｅ、および、第１記憶部１４０Ｆを備える。
第１記憶部１４０Ｆは、第１記憶部１４０Ｅと同様に背景情報５４１を格納する。更に第１記憶部１４０Ｆは、前景領域情報２４３を格納する。
検出部１２０Ｆは、前景領域検出部６２１と、背景情報更新部６２３と、前景領域追跡部２２４とを備える。
前景領域検出部６２１は、前景領域検出部５２１と同様の動作により変化領域を検出する。そして、前景領域検出部６２１は、前景領域検出部５２１と同様に、例えば、検出した変化領域の画素値を２５５、それ以外を０で表した２値画像を検出結果として生成する。そして、前景領域検出部６２１は、検出結果である２値画像に、該２値画像の生成に用いた撮像画像の撮像時刻を関連付ける。前景領域検出部６２１は、撮像画像の撮像時刻が関連付けられた検出結果を背景情報更新部６２３と、前景領域追跡部２２４とに供給する。また、前景領域検出部６２１は、この検出結果を前景領域情報２４３として第１記憶部１４０Ｆに格納する。
背景情報更新部６２３は、取得部１１０Ｅから供給された撮像画像と、前景領域検出部６２１から供給された検出結果と、背景情報５４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報更新部５２３と同様の動作により背景情報５４１を更新する。なお、背景情報更新部６２３は、背景情報更新部２２３と同様に、変化領域に該当する部分の画像を更新しなくてもよいし、更新してもよい。
また、前景領域追跡部２２４は、距離画像から生成した２値画像を用いて、例２における前景領域追跡部２２４と同様に、変化領域の追跡を行う。
次に、図２１を参照して本例における分類装置１０を備える画像処理装置１００の動作の流れについて説明する。図２１は、本例における分類装置１０を備える画像処理装置１００の動作の流れの一例を示すフローチャートである。図２１に示すステップＳ２１１〜Ｓ２１２は、夫々、図１９に示すＳ１９１〜Ｓ１９２と同様である。
ステップＳ２１２終了後、前景領域検出部６２１は、第１記憶部１４０Ｆに前景領域情報２４３を格納する（ステップＳ２１３）。上述した通り、前景領域情報２４３は、撮像時刻が関連付けられた検出結果である。
次に、前景領域追跡部２２４が、前景領域検出部６２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ２１４）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部１３０Ｅに供給する。前景領域追跡部２２４は、背景情報５４１の更新を示す更新信号を背景情報更新部６２３に供給する。
背景情報更新部６２３は、取得部１１０Ｅから供給された撮像画像と、前景領域検出部６２１から供給された変化領域の検出結果と、背景情報５４１と、前景領域追跡部２２４から供給された更新信号とに基づいて、背景情報５４１を更新する（ステップＳ２１５）。
なお、ステップＳ２１５は、ステップＳ２１４以降の任意のタイミングで行われてもよい。
そして、本例における分類装置１０を備える画像処理装置１００は、図１９に示すステップＳ１９４〜Ｓ２００と同様の処理であるステップＳ２１６〜Ｓ２２２を実行する。
以上のように、本例における分類装置１０は、例５の分類装置１０に、更に、例２における前景領域追跡部２２４を含む。このような構成であっても、本例における分類装置１０を備える画像処理装置１００は、実際に変化が生じている領域を精度よく分類することができる。
（前景領域検出部の変形例）
上述した各例の分類装置１０に含まれる前景領域検出部（１２１、２２１、５２１、６２１）は、更に、予め登録された棚領域情報を用いて、変化領域に含まれる対象物が商品棚４内の商品以外であることを特定してもよい。
本変形例では、例１の分類装置１０の前景領域検出部１２１の変形例について説明を行うが、本変形例は、例２から例６の前景領域検出部にも適用可能である。
図２２〜図２４は、本変形例における前景領域検出部１２１の動作を説明するための図である。
前景領域検出部１２１が、取得部１１０Ａから供給された撮像画像と、背景情報１４１とを比較することにより変化領域を検出し、例えば、図２２に示すような、変化領域を表す２値画像である検出結果２１を生成したとする。この検出結果には、変化領域２２、変化領域２３、変化領域２４の３つの変化領域が含まれるとする。前景領域検出部１２１は、検出結果２１に対して、一般的なラベリング方法で変化領域毎に別々の２値画像である検出結果２１Ａ、検出結果２１Ｂおよび検出結果２１Ｃを生成する。
つまり、前景領域検出部１２１は、検出結果に複数の変化領域が含まれる場合、各変化領域が別々の２値画像に含まれるような複数の２値画像を生成する。
そして、前景領域検出部１２１は、予め登録された棚領域情報と、複数の２値画像の夫々とに基づいて、変化領域が商品の変化に関する変化を検出した領域か否かを判定する。
棚領域情報は、商品棚４における商品が陳列される領域を示す。商品モニタリングシステム１は、商品棚４の商品を監視しているため、棚領域情報によって示される、商品が陳列される領域を監視対象領域とも呼び、棚領域情報を、監視領域情報とも呼ぶ。棚領域情報は、例えば、取得部１１０Ａが取得する撮像画像と同じ大きさの画像であって、監視対象の商品棚４の監視対象領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、棚領域情報に含まれる監視対象領域は、例えば、１つでもよいし複数でもよい。棚領域情報は、例えば、事前に第１記憶部１４０Ａに格納されてもよい。なお、棚領域情報は、取得部１１０Ａが取得する撮像画像に含まれる商品棚４を特定する情報を含む。
前景領域検出部１２１は、取得部１１０Ａが取得した撮像画像に含まれる商品棚４に関連する、例えば、図２３に示すような棚領域情報２５を用いて、検出結果２１Ａ、検出結果２１Ｂまたは検出結果２１Ｃと、対応する画素ごとに論理積の演算を行う。図２３に示す通り、棚領域情報２５において、監視対象領域は、白で表現されているため、棚領域情報２５は、６つの監視対象領域を含む。
図２４に示す演算結果２６Ａは、棚領域情報２５と検出結果２１Ａとの論理積演算の結果であり、演算結果２６Ｂは、棚領域情報２５と検出結果２１Ｂとの論理積の演算の結果であり、演算結果２６Ｃは、棚領域情報２５と検出結果２１Ｃとの論理積の演算の結果である。
人物やカートのような商品以外の物体は、複数の棚の領域にまたがっているため、検出結果２１Ａと棚領域情報２５との論理積の演算を行った結果、図２４の左側に示す演算結果２６Ａのように、変化領域を表す、画素値が２５５の部分（白色の部分）は、複数の領域に分割される。一方、演算結果２６Ｂおよび演算結果２６Ｃの変化領域を表す部分（白色の部分）は、夫々、検出結果２１Ｂおよび検出結果２１Ｃと変化が無く、一続きの領域（画素値が２５５の画素であり、且つ、該画素に隣接する画素の何れかの画素値が２５５の画素の集合）である。商品棚４の陳列領域（監視対象領域）に陳列される商品は、複数の監視対象領域にまたがらない。したがって、演算結果２６Ａのように、変化領域が複数の領域に分割される場合、前景領域検出部１２１は、この変化領域に対する変化を、商品以外による変化であるとし、分類部１３０Ａに供給する検出結果に含めない。言い換えると、前景領域検出部１２１は、検出結果２１Ｂと検出結果２１Ｃとを、分類部１３０Ａに供給する。
これにより、分類部１３０Ａは、商品棚４に陳列された商品に対する変化の分類処理を行うことができるため、商品以外の物体の影響によって、商品に対する変化の分類精度の低下を防ぐことができる。また、前景領域検出部１２１が、変化領域における変化が、商品以外の物体による変化であると、分類部１３０Ａの分類処理を行うよりも前に分類することができるため、分類部１３０Ａの処理量を低減させることができる。
＜第２の実施の形態＞
本開示の第２の実施の形態について、図面を参照して説明する。本実施の形態は、本開示の課題を解決する最小の構成について説明する。
図２５は、本実施の形態に係る画像処理装置２５０の機能構成の一例を示す機能ブロック図である。図２５に示す通り、画像処理装置２５０は、検出部２５１と、分類部２５２と、評価部２５３とを備える。
検出部２５１は、上述した第１の実施の形態における検出部１２０の機能を有する。商品棚を撮像した撮像画像から、商品棚に関する変化領域を検出する。検出部２５１は、例えば、撮像画像と、撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、変化領域を検出する。検出部２５１は検出した変化領域を示す情報を、分類部２５２に供給する。
分類部２５２は、上述した第１の実施の形態における分類部１３０の機能を有する。分類部２５２は、変化領域における商品棚に関する変化を分類する。分類部２５２は、例えば、事前に学習した商品棚に関する変化のモデル、または、撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、変化領域における商品棚に関する変化を分類する。分類部２５２は、例えば、事前に学習した商品棚に関する変化のモデルと、検出された変化領域における変化とを比較することによって、該変化領域における変化を、複数の変化の種類の何れかに分類する。変化の種類とは、例えば、「商品棚に商品が含まれなくなったことによる変化」、「商品棚に商品が新たに含まれたことによる変化」、「商品棚に陳列された商品の見た目が変わったことによる変化」、「商品棚の前に人物が存在することによる変化」、「商品棚の前に買い物カートがあることによる変化」、「照明が変わったことによる変化」などである。分類部２５２は分類結果を評価部２５３に供給する。
評価部２５３は、上述した第１の実施の形態における評価部１５０の機能を有する。評価部２５３は、分類結果に基づいて、商品の陳列状態を評価する。
図２６は、本実施の形態に係る画像処理装置２５０の動作の一例を示すフローチャートである。検出部２５１は、商品棚を撮像した撮像画像から、商品棚に関する変化領域を検出する（ステップＳ２６１）。
そして、分類部２５２は、変化領域における商品棚に関する変化を分類する（ステップＳ２６２）。
その後、評価部２５３は、分類結果に基づいて、商品の陳列状態を評価する（ステップＳ２６３）。
以上のように、本実施の形態に係る画像処理装置２５０によれば、分類部２５２によって商品棚における変化が、複数の種類の何れかに分類されるため、評価部２５３は、このように分類された結果を用いた評価を行うことができる。したがって、評価部２５３は、商品棚の状態を精度よく評価することができる。
また、上述した各実施の形態において、撮像装置２が撮像する撮像画像は、例えば、ワゴンに積層された商品を撮像した撮像画像であってもよい。画像処理装置は、ワゴンに積層された商品を撮像した撮像画像と、背景画像とを比較して、変化領域を検出することができる。したがって、本開示の各実施の形態に係る画像処理装置は、商品のフェイスが全て見えるように陳列された商品棚に限定されず、様々な陳列方法で陳列された商品を撮像した撮像画像を用いることができる。
（ハードウェア構成について）
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図２７に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２７は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が該プログラムを読み出してＣＰＵ９０１に供給してもよい。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出手段と、
前記変化領域における前記商品棚に関する変化を分類する分類手段と、
分類結果に基づいて、商品の陳列状態を評価する評価手段と、
を備える画像処理装置。
（付記２）
前記評価手段は、前記分類結果と、前記変化領域に関する情報と、前記撮像画像において、商品の陳列状態を監視する対象領域を示す監視領域情報とに基づいて、商品の陳列量を算出する、
付記１に記載の画像処理装置。
（付記３）
前記評価手段は、算出した陳列量の推移に基づいて、前記商品の陳列状態を評価する、
付記２に記載の画像処理装置。
（付記４）
前記評価手段による評価結果に基づいて、商品の陳列状態に関する情報を出力装置に出力する出力制御手段、
を更に備える付記１から３の何れか１つに記載の画像処理装置。
（付記５）
前記分類手段は、事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する、
付記１から４の何れか１つに記載の画像処理装置。
（付記６）
前記撮像画像はカラー画像であり、
前記検出手段は、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類手段は、前記モデルに基づいて、前記変化領域における商品棚に関する変化を分類する、
付記５に記載の画像処理装置。
（付記７）
前記撮像画像は、カラー画像である第１撮像画像と、前記第１撮像画像の撮影時刻から所定の時間内に前記第１撮像画像の撮像範囲を撮像した距離画像である第２撮像画像とを含み、
前記検出手段は、前記第１撮像画像と、前記第１撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類手段は、前記第２撮像画像に含まれる各画素の値と、前記第２撮像画像の撮像時刻よりも前に撮像された前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
付記５に記載の画像処理装置。
（付記８）
前記撮像画像は距離画像であり、
検出手段は、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類手段は、前記撮像画像に含まれる各画素の値と、前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
付記５に記載の画像処理装置。
（付記９）
前記分類手段は、前記距離画像である前記撮像画像に含まれる各画素の値と、前記撮像装置と前記商品棚との間の距離と、の比較結果に基づいて、前記変化領域における前記商品棚に関する変化を、前記商品棚に陳列された商品の変化に関連する種類または前記商品棚に陳列された商品以外の物体による変化に関する種類に分類する、
付記７または８に記載の画像処理装置。
（付記１０）
前記検出手段は、前記検出した変化領域を複数の前記撮像画像の間で追跡し、
前記分類手段は、前記追跡結果に基づいて、前記商品棚に関する変化を分類する、
付記６から９の何れか１つに記載の画像処理装置。
（付記１１）
前記検出手段は、前記背景情報を、前記変化領域を検出する際に用いた撮像画像と前記背景情報とに基づいて更新する背景情報更新手段を備え、
前記背景情報更新手段は、前記変化領域の追跡結果が第１の所定の条件を満たす場合に、前記背景情報のうち、前記変化領域に該当する領域以外を更新する、
付記１０に記載の画像処理装置。
（付記１２）
前記背景情報更新手段は、前記変化領域の追跡結果が第２の所定の条件を満たす場合に、前記背景情報のうち、前記変化領域に該当する領域を更新する、
付記１１に記載の画像処理装置。
（付記１３）
前記検出手段は、前記検出した変化領域と、前記商品棚における前記商品が陳列される棚領域を示す棚領域情報とに基づいて、前記変化領域が前記複数の棚領域に含まれるか否かを判定し、
前記分類手段は、前記変化領域が１つの前記棚領域に含まれる場合、該変化領域における前記商品棚に関する変化を、前記商品棚に陳列された商品の変化に関連する種類に分類する、
付記５から１２の何れか１つに記載の画像処理装置。
（付記１４）
商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出し、
前記変化領域における前記商品棚に関する変化を分類し、
分類結果に基づいて、商品の陳列状態を評価する、
画像処理方法。
（付記１５）
前記分類結果と、前記変化領域に関する情報と、前記撮像画像において、商品の陳列状態を監視する対象領域を示す監視領域情報とに基づいて、商品の陳列量を算出する、
付記１４に記載の画像処理方法。
（付記１６）
商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出処理と、
前記変化領域における前記商品棚に関する変化を分類する分類処理と、
分類結果に基づいて、商品の陳列状態を評価する評価処理と、
をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
（付記１７）
前記評価処理は、前記分類結果と、前記変化領域に関する情報と、前記撮像画像において、商品の陳列状態を監視する対象領域を示す監視領域情報とに基づいて、商品の陳列量を算出する、
付記１６に記載の記録媒体。
１ 商品モニタリングシステム
２ 撮像装置
３ 出力装置
４ 商品棚
１０ 分類装置
１００ 画像処理装置
１１０ 取得部
１２０ 検出部
１２１ 前景領域検出部
１２３ 背景情報更新部
１３０ 分類部
１３１ 第１抽出部
１３２ 第２抽出部
１３４ 領域変化分類部
１４０ 第１記憶部
１４１ 背景情報
１４２ 棚変化モデル
１５０ 評価部
１５１ 陳列状態更新部
１５３ 算出部
１６０ 出力制御部
１７０ 第２記憶部
１７１ 陳列状態情報
１７２ 監視領域情報
２２１ 前景領域検出部
２２３ 背景情報更新部
２２４ 前景領域追跡部
２４３ 前景領域情報
３１１ 第１取得部
３１２ 第２取得部
３３１ 第１抽出部
３３２ 第２抽出部
３３４ 領域変化分類部
３３５ 距離情報更新部
３４４ 距離情報
４３５ 距離情報更新部
５２１ 前景領域検出部
５２３ 背景情報更新部
５３１ 第１抽出部
５３２ 第２抽出部
５４１ 背景情報
Ｚｏｒａｎ Ｚｉｖｋｏｖｉｃ、「Ｉｍｐｒｏｖｅｄ Ａｄａｐｔｉｖｅ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ’０４）、米国、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ、２００４年８月、Ｖｏｌｕｍｅ２、ｐ．２８−３１
取得部１１０は、取得した映像信号を、該映像信号を構成するＲＧＢ画像および／または距離画像に変換し、変換したＲＧＢ画像および／または距離画像を検出部１２０および分類部１３０に供給する。取得部１１０が映像信号を変換することによって得たＲＧＢ画像および／または距離画像は、撮像装置２が商品棚４を撮像した撮像画像を表すため、単に撮像画像とも呼ぶ。
検出部１２０は、商品棚４に関する変化領域を検出する。例えば、撮像画像に含まれる、商品棚４に陳列された商品が、撮像画像よりも前に取得された画像（例えば背景画像）に含まれない場合、検出部１２０は、この商品の領域を検出する。また、例えば、背景画像に含まれる、商品棚４に陳列された商品が、撮像画像に含まれない場合、検出部１２０は、この商品の領域を検出する。また、撮像画像に含まれる、商品棚４に陳列された商品と背景画像に含まれる商品との見え方が異なる場合、検出部１２０は、この商品の領域を検出する。また、撮像画像が商品棚４と撮像装置２との間に人物や物体が存在した時に撮像された場合、検出部１２０は、商品棚４を撮像した撮像画像に含まれる人物や物体の領域を、検出する。このように、検出部１２０は、商品棚４の内部の変化領域、商品棚４と撮像装置２との間の物体による、撮像画像における変化領域等の、商品棚４に関する変化領域を検出する。検出部１２０は、例えば、検出した変化領域の画素値を２５５、それ以外を０で表した、撮像画像と同じサイズの２値画像を生成してもよい。検出部１２０は、変化領域の検出結果として、生成した２値画像を分類部１３０に供給する。このとき、検出部１２０は２値画像に、２値画像の生成に用いた撮像画像を示す情報を付与して、該２値画像を分類部１３０に供給してもよいし、２値画像と共に該撮像画像を分類部１３０に供給してもよい。
陳列状態情報１７１は、商品棚４における商品の陳列状態を示す。陳列状態情報１７１は、例えば、取得部１１０が取得する撮像画像と同じ大きさの画像であって、商品が存在する領域の画素値を２５５、それ以外を０で表した２値画像であってもよい。また、陳列状態情報１７１の初期値は、例えば、事前に与えられてもよい。陳列状態情報１７１は、商品棚４を特定する情報を含む。商品棚４を特定する情報とは、商品棚４を撮像する撮像装置２の位置を示す情報であってもよいし、商品棚４の位置を示す情報であってもよいし、商品棚４を特定可能な識別子であってもよい。
分類部１３０Ａの第１抽出部１３１が、取得部１１０Ａから供給された撮像画像と、前景領域検出部１２１から供給された該撮像画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ６４）。第１抽出部１３１は、抽出した第１注目画像を領域変化分類部１３４に供給する。
（分類装置１０の例３）
図１４は、本実施の形態に係る画像処理装置１００に含まれる分類装置１０の他の一例を示すブロック図である。分類装置１０は、図１４に示す通り、取得部１１０Ｃ、検出部１２０Ａ、分類部１３０Ｃ、および、第１記憶部１４０Ｃを備える。なお、本実施の形態では商品モニタリングシステム１が備える撮像装置２は夫々異なる種類の画像を取得する複数の撮像装置であってもよい。例えば、撮像装置２は、ＲＧＢ画像を取得するＲＧＢカメラと、距離画像を取得するデプスカメラであってもよい。この場合、ＲＧＢカメラとデプスカメラとは近接する位置に設けられ同じ対象（商品棚４）を撮像する。また、ＲＧＢカメラとデプスカメラとは時刻同期がとられており、ほぼ同時刻に商品棚４を撮像することが好ましい。つまり、デプスカメラは、ＲＧＢカメラによって撮像されたＲＧＢ画像の撮像時刻から所定の時間内に、且つ、ＲＧＢ画像の撮像範囲を撮像した距離画像を出力するカメラであることが好ましい。また、撮像装置２は、複数の種類の画像（例えば、ＲＧＢ画像および距離画像）を取得可能なセンサであってもよい。例えば、撮像装置２は、ＲＧＢＤカメラであってもよい。
第２取得部３１２は、第１取得部３１１と同様に撮像装置２が商品棚４を撮像することによって得た撮像画像を示す映像信号を受け取り、該映像信号から距離画像を取得する。第２取得部３１２は、第１取得部３１１が取得する映像信号とは異なる種類の映像信号を受け取る。例えば、第１取得部３１１が取得する映像信号がＲＧＢ画像を構成する映像信号の場合、第２取得部３１２は、距離画像を構成する映像信号を取得する。ここで、距離画像は、例えば、撮像装置２から対象物までの距離の値を持った画像を意味してもよい。また、距離画像の各画素は、例えば、０から２５５の値で構成されていてもよい。このとき、各画素の値すなわち距離値は、例えば、撮像装置２に対象物が近ければ０に近づき、対象物が遠ければ２５５に近づくようにしてもよい。なお、距離画像の各画素の値はこれに限定されない。本例では、第２取得部３１２が取得する第２撮像画像が、グレースケールの距離画像であるとして説明を行う。
図１５に示すステップＳ１５１は、図６に示すＳ６１と同様に、商品棚４を撮像した映像信号からＲＧＢ画像である第１撮像画像を取得する（ステップＳ１５１）。また、第２取得部３１２は、商品棚４を撮像した映像信号から距離画像である第２撮像画像を取得する（ステップＳ１５２）。なお、第２撮像画像の撮像時刻が第１撮像画像の撮像時刻から所定の時間内であり、第２撮像画像の撮像範囲が第１撮像画像の撮像範囲であればよく、第２取得部３１２が第２撮像画像を取得するタイミングは、ステップＳ１５５の前までであればよい。
そして、本例における分類装置１０を備える画像処理装置１００は、第１取得部３１１が次の映像信号を受信し、且つ、第２取得部３１２が次の映像信号を受信したか否か（次の第１撮像画像および第２撮像画像があるか否か）を判定する（ステップＳ１６２）。次の第１撮像画像および第２撮像画像がある場合（ステップＳ１６２にてＹＥＳ）、処理はステップＳ１５１に移行し、次の第１撮像画像および第２撮像画像の少なくとも何れかがない場合（ステップＳ１６２にてＮＯ）、本例における分類装置１０を備える画像処理装置１００は、動作を終了する。
ステップＳ１７３終了後、前景領域検出部２２１は、上述したステップＳ１３３と同様に、第１記憶部１４０Ｄに前景領域情報２４３を格納する（ステップＳ１７４）。そして、上述したステップＳ１３４と同様に、前景領域追跡部２２４が、前景領域検出部２２１から供給された検出結果と、前景領域情報２４３とに基づいて、変化領域を追跡する（ステップＳ１７５）。前景領域追跡部２２４は、所定の時間以上追跡した変化領域を示す２値画像を、分類部１３０Ｄに供給する。前景領域追跡部２２４は、背景情報１４１の更新を示す更新信号および距離情報３４４の更新を示す更新信号を夫々背景情報更新部２２３および距離情報更新部４３５に供給する。
分類部１３０Ｅの第１抽出部５３１が、取得部１１０Ｅから供給された撮像画像と、前景領域検出部５２１から供給された該撮像画像に関連する検出結果とに基づいて、撮像画像上における、検出結果によって示される変化領域に対応する領域（第１注目領域）の画像を、第１注目画像として抽出する（ステップＳ１９４）。第１抽出部５３１は、抽出した第１注目画像を領域変化分類部３３４に供給する。
（付記７）
前記撮像画像は、カラー画像である第１撮像画像と、前記第１撮像画像の撮像時刻から所定の時間内に前記第１撮像画像の撮像範囲を撮像した距離画像である第２撮像画像とを含み、
前記検出手段は、前記第１撮像画像と、前記第１撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類手段は、前記第２撮像画像に含まれる各画素の値と、前記第２撮像画像の撮像時刻よりも前に撮像された前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
付記５に記載の画像処理装置。
（付記８）
前記撮像画像は距離画像であり、
前記検出手段は、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
前記分類手段は、前記撮像画像に含まれる各画素の値と、前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
付記５に記載の画像処理装置。
（付記１３）
前記検出手段は、前記検出した変化領域と、前記商品棚における前記商品が陳列される棚領域を示す棚領域情報とに基づいて、前記変化領域が複数の前記棚領域に含まれるか否かを判定し、
前記分類手段は、前記変化領域が１つの前記棚領域に含まれる場合、該変化領域における前記商品棚に関する変化を、前記商品棚に陳列された商品の変化に関連する種類に分類する、
付記５から１２の何れか１つに記載の画像処理装置。
（付記１６）
商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出処理と、
前記変化領域における前記商品棚に関する変化を分類する分類処理と、
分類結果に基づいて、商品の陳列状態を評価する評価処理と、
をコンピュータに実行させるプログラム。
（付記１７）
前記評価処理は、前記分類結果と、前記変化領域に関する情報と、前記撮像画像において、商品の陳列状態を監視する対象領域を示す監視領域情報とに基づいて、商品の陳列量を算出する、
付記１６に記載のプログラム。

Claims (17)

  1. 商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出手段と、
    前記変化領域における前記商品棚に関する変化を分類する分類手段と、
    分類結果に基づいて、商品の陳列状態を評価する評価手段と、
    を備える画像処理装置。
  2. 前記評価手段は、前記分類結果と、前記変化領域に関する情報と、前記撮像画像において、商品の陳列状態を監視する対象領域を示す監視領域情報とに基づいて、商品の陳列量を算出する、
    請求項１に記載の画像処理装置。
  3. 前記評価手段は、算出した陳列量の推移に基づいて、前記商品の陳列状態を評価する、
    請求項２に記載の画像処理装置。
  4. 前記評価手段による評価結果に基づいて、商品の陳列状態に関する情報を出力装置に出力する出力制御手段、
    を更に備える請求項１から３の何れか１項に記載の画像処理装置。
  5. 前記分類手段は、事前に学習した前記商品棚に関する変化のモデル、または、前記撮像画像の撮像時刻よりも前に撮像された画像を示す距離情報に基づいて、前記変化領域における前記商品棚に関する変化を分類する、
    請求項１から４の何れか１項に記載の画像処理装置。
  6. 前記撮像画像はカラー画像であり、
    前記検出手段は、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
    前記分類手段は、前記モデルに基づいて、前記変化領域における商品棚に関する変化を分類する、
    請求項５に記載の画像処理装置。
  7. 前記撮像画像は、カラー画像である第１撮像画像と、前記第１撮像画像の撮影時刻から所定の時間内に前記第１撮像画像の撮像範囲を撮像した距離画像である第２撮像画像とを含み、
    前記検出手段は、前記第１撮像画像と、前記第１撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
    前記分類手段は、前記第２撮像画像に含まれる各画素の値と、前記第２撮像画像の撮像時刻よりも前に撮像された前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
    請求項５に記載の画像処理装置。
  8. 前記撮像画像は距離画像であり、
    検出手段は、前記撮像画像と、前記撮像画像の撮像時刻よりも前に撮像された画像を示す背景情報とを比較することによって、前記変化領域を検出し、
    前記分類手段は、前記撮像画像に含まれる各画素の値と、前記距離情報の各画素の値との比較結果に基づいて、前記商品棚に関する変化を分類する、
    請求項５に記載の画像処理装置。
  9. 前記分類手段は、前記距離画像である前記撮像画像に含まれる各画素の値と、前記撮像装置と前記商品棚との間の距離と、の比較結果に基づいて、前記変化領域における前記商品棚に関する変化を、前記商品棚に陳列された商品の変化に関連する種類または前記商品棚に陳列された商品以外の物体による変化に関する種類に分類する、
    請求項７または８に記載の画像処理装置。
  10. 前記検出手段は、前記検出した変化領域を複数の前記撮像画像の間で追跡し、
    前記分類手段は、前記追跡結果に基づいて、前記商品棚に関する変化を分類する、
    請求項６から９の何れか１項に記載の画像処理装置。
  11. 前記検出手段は、前記背景情報を、前記変化領域を検出する際に用いた撮像画像と前記背景情報とに基づいて更新する背景情報更新手段を備え、
    前記背景情報更新手段は、前記変化領域の追跡結果が第１の所定の条件を満たす場合に、前記背景情報のうち、前記変化領域に該当する領域以外を更新する、
    請求項１０に記載の画像処理装置。
  12. 前記背景情報更新手段は、前記変化領域の追跡結果が第２の所定の条件を満たす場合に、前記背景情報のうち、前記変化領域に該当する領域を更新する、
    請求項１１に記載の画像処理装置。
  13. 前記検出手段は、前記検出した変化領域と、前記商品棚における前記商品が陳列される棚領域を示す棚領域情報とに基づいて、前記変化領域が前記複数の棚領域に含まれるか否かを判定し、
    前記分類手段は、前記変化領域が１つの前記棚領域に含まれる場合、該変化領域における前記商品棚に関する変化を、前記商品棚に陳列された商品の変化に関連する種類に分類する、
    請求項５から１２の何れか１項に記載の画像処理装置。
  14. 商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出し、
    前記変化領域における前記商品棚に関する変化を分類し、
    分類結果に基づいて、商品の陳列状態を評価する、
    画像処理方法。
  15. 前記分類結果と、前記変化領域に関する情報と、前記撮像画像において、商品の陳列状態を監視する対象領域を示す監視領域情報とに基づいて、商品の陳列量を算出する、
    請求項１４に記載の画像処理方法。
  16. 商品棚を撮像した撮像画像から、前記商品棚に関する変化領域を検出する検出処理と、
    前記変化領域における前記商品棚に関する変化を分類する分類処理と、
    分類結果に基づいて、商品の陳列状態を評価する評価処理と、
    をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
  17. 前記評価処理は、前記分類結果と、前記変化領域に関する情報と、前記撮像画像において、商品の陳列状態を監視する対象領域を示す監視領域情報とに基づいて、商品の陳列量を算出する、
    請求項１６に記載の記録媒体。
JP2019508130A 2017-03-31 2017-03-31 画像処理装置、画像処理方法、およびプログラム Active JP6911915B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013678 WO2018179361A1 (ja) 2017-03-31 2017-03-31 画像処理装置、画像処理方法、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018179361A1 true JPWO2018179361A1 (ja) 2020-01-09
JP6911915B2 JP6911915B2 (ja) 2021-07-28

Family

ID=63674525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508130A Active JP6911915B2 (ja) 2017-03-31 2017-03-31 画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11250570B2 (ja)
JP (1) JP6911915B2 (ja)
WO (1) WO2018179361A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6791362B2 (ja) * 2017-03-31 2020-11-25 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム
US11436495B2 (en) * 2018-10-02 2022-09-06 Insitu, Inc. a subsidiary of The Boeing Company Change detection in digital images
JP7347775B2 (ja) * 2018-11-27 2023-09-20 日本電気通信システム株式会社 監視装置、監視システム、監視方法、及びプログラム
JP7207090B2 (ja) * 2019-03-29 2023-01-18 株式会社デンソーウェーブ 作業分析装置及び作業分析プログラム
JP7374453B2 (ja) * 2019-03-28 2023-11-07 株式会社イシダ 学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置、商品判別システム及び計量装置
JP7416237B2 (ja) * 2020-05-29 2024-01-17 日本電気株式会社 処理装置、処理方法及びプログラム
WO2022029927A1 (ja) * 2020-08-05 2022-02-10 日本電信電話株式会社 推論処理装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520461A (ja) * 1991-07-11 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 物体認識処理方法
JPH1084525A (ja) * 1996-02-05 1998-03-31 Texas Instr Inc <Ti> ビデオに索引をつける方法
JP2005242488A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 物体検出装置、物体検出方法、プログラム
JP2012133433A (ja) * 2010-12-20 2012-07-12 Panasonic Corp 置去り／持去り物体検知装置及び置去り／持去り物体検知方法
JP2013257785A (ja) * 2012-06-13 2013-12-26 Jvc Kenwood Corp 物体検出装置、物体検出方法、及びプログラム
JP2016058105A (ja) * 2016-01-20 2016-04-21 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2016091287A (ja) * 2014-11-05 2016-05-23 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2017033256A (ja) * 2015-07-31 2017-02-09 キヤノン株式会社 画像処理装置、コミュニケーションシステム、画像処理方法、及びプログラム
WO2018179360A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 画像処理装置、画像処理方法、および記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805301B1 (en) * 2005-03-04 2017-10-31 Hrl Laboratories, Llc Dynamic background estimation for video analysis using evolutionary optimization
JP2008176504A (ja) 2007-01-17 2008-07-31 Toshiba Corp 物体検出装置及びその方法
US9380222B2 (en) * 2012-12-04 2016-06-28 Symbol Technologies, Llc Transmission of images for inventory monitoring
US9158988B2 (en) * 2013-06-12 2015-10-13 Symbol Technclogies, LLC Method for detecting a plurality of instances of an object
US9015072B2 (en) * 2013-08-19 2015-04-21 Xerox Corporation Method and apparatus for automated inventory management using depth sensing
JP6529078B2 (ja) * 2013-09-06 2019-06-12 日本電気株式会社 顧客行動分析システム、顧客行動分析方法、顧客行動分析プログラム及び棚システム
JP6008339B1 (ja) 2015-04-28 2016-10-19 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US20170083884A1 (en) * 2015-09-21 2017-03-23 Rami VILMOSH System and method for automatic identification of products
WO2017150590A1 (ja) * 2016-02-29 2017-09-08 サインポスト株式会社 情報処理システム
US20180232686A1 (en) * 2017-02-16 2018-08-16 Toshiba Tec Kabushiki Kaisha Article management apparatus and article management method
US11301944B2 (en) * 2017-04-13 2022-04-12 International Business Machines Corporation Configuring classroom physical resources

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520461A (ja) * 1991-07-11 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 物体認識処理方法
JPH1084525A (ja) * 1996-02-05 1998-03-31 Texas Instr Inc <Ti> ビデオに索引をつける方法
JP2005242488A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 物体検出装置、物体検出方法、プログラム
JP2012133433A (ja) * 2010-12-20 2012-07-12 Panasonic Corp 置去り／持去り物体検知装置及び置去り／持去り物体検知方法
JP2013257785A (ja) * 2012-06-13 2013-12-26 Jvc Kenwood Corp 物体検出装置、物体検出方法、及びプログラム
JP2016091287A (ja) * 2014-11-05 2016-05-23 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP2017033256A (ja) * 2015-07-31 2017-02-09 キヤノン株式会社 画像処理装置、コミュニケーションシステム、画像処理方法、及びプログラム
JP2016058105A (ja) * 2016-01-20 2016-04-21 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2018179360A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 画像処理装置、画像処理方法、および記録媒体

Also Published As

Publication number Publication date
JP6911915B2 (ja) 2021-07-28
WO2018179361A1 (ja) 2018-10-04
US20200013169A1 (en) 2020-01-09
US11250570B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
JP6911915B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10366300B1 (en) Systems and methods regarding 2D image and 3D image ensemble prediction models
AU2022202588B2 (en) Item identification and tracking system
JP6791362B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US11670097B2 (en) Systems and methods for 3D image distification
JP6992874B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
AU2017372905A1 (en) System and method for appearance search
JP7088281B2 (ja) 商品分析システム、商品分析方法および商品分析プログラム
CN104573706A (zh) 一种物体图像识别方法及其系统
JPWO2018186398A1 (ja) 学習データ生成装置、学習データ生成方法、およびプログラム
JP6500500B2 (ja) 画像判定装置、画像判定方法、及びプログラム
US20200279388A1 (en) Information processing apparatus, information processing method and storage medium
JPWO2019111501A1 (ja) 画像処理装置
WO2022009301A1 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20220083347A (ko) 영상을 이용한 물건 부피의 측정 장치, 방법, 및 컴퓨터 프로그램
AU2019303730B2 (en) Hash-based appearance search
Dai et al. Robust and accurate moving shadow detection based on multiple features fusion
JP2019067377A (ja) 画像処理装置及び方法及び監視システム
CN115131582A (zh) 基于形态学识别模板匹配的目标识别方法、装置及介质
JP2022036983A (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
Yathisha Face detection and tracking using kalman filter
CN110019872A (zh) 索引装置和方法、对象图像检索装置和方法以及监视系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190902

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210402

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210412

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210621

R150 Certificate of patent or registration of utility model

Ref document number: 6911915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150