JP7476905B2 - 処理装置、処理方法及びプログラム - Google Patents
処理装置、処理方法及びプログラム Download PDFInfo
- Publication number
- JP7476905B2 JP7476905B2 JP2021554913A JP2021554913A JP7476905B2 JP 7476905 B2 JP7476905 B2 JP 7476905B2 JP 2021554913 A JP2021554913 A JP 2021554913A JP 2021554913 A JP2021554913 A JP 2021554913A JP 7476905 B2 JP7476905 B2 JP 7476905B2
- Authority
- JP
- Japan
- Prior art keywords
- foreign object
- region
- reference value
- area
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 3
- 238000001514 detection method Methods 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 47
- 239000000126 substance Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000003749 cleanliness Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、処理装置、処理方法及びプログラムに関する。
特許文献1は、店員が商品整理した後の棚の状態(基準状態)を記憶しておき、客が棚に対して行動した後の棚の状態と基準状態とを比較して変化を検出し、検出結果に応じて棚の商品整理が必要となった旨を通知する装置を開示している。
売上向上、安全確保等の観点から、店内に存在する異物を早期に検出し、それを取り除くことが望まれる。特に、近年検討されている無人店舗や省人店舗においては、店員が存在しなかったり店員の数が少なかったりするので、異物検出が遅れたり、異物の存在に気付かない等という不都合が発生し得る。なお、異物は、商品棚に置かれた商品以外の物や、商品棚の商品Aを陳列する領域に置かれた他の商品や、店内の床、テーブル、コピー機、カウンター、店舗の駐車場等に置かれた店舗運営に関係ないもの等が挙げられる。
本発明は、店舗に関連する管理対象に存在する異物を検出する技術を提供することを課題とする。
本発明によれば、
店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
前記異物領域の大きさに応じて、警告処理を実行する警告手段と、
を有する処理装置が提供される。
店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
前記異物領域の大きさに応じて、警告処理を実行する警告手段と、
を有する処理装置が提供される。
また、本発明によれば、
コンピュータが、
店舗に関連する管理対象を含む撮影画像を取得し、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
前記異物領域の大きさに応じて、警告処理を実行する処理方法が提供される。
コンピュータが、
店舗に関連する管理対象を含む撮影画像を取得し、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
前記異物領域の大きさに応じて、警告処理を実行する処理方法が提供される。
また、本発明によれば、
コンピュータを、
店舗に関連する管理対象を含む撮影画像を取得する取得手段、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
前記異物領域の大きさに応じて、警告処理を実行する警告手段、
として機能させるプログラムが提供される。
コンピュータを、
店舗に関連する管理対象を含む撮影画像を取得する取得手段、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
前記異物領域の大きさに応じて、警告処理を実行する警告手段、
として機能させるプログラムが提供される。
本発明によれば、店舗に関連する管理対象に存在する異物を検出することが可能となる。
<第1の実施形態>
まず、本実施形態の処理装置の概要を説明する。処理装置は、店舗に関連する管理対象を含む撮影画像を取得する。管理対象は、異物の検出/除去が望まれる対象であり、例えば商品の陳列棚、床、テーブル、コピー機、カウンター、駐車場等であるが、これらに限定されない。そして、処理装置は、撮影画像に含まれる管理対象において異物が存在する領域である異物領域を検出し、検出した異物領域の大きさに応じて、警告処理を実行する。
まず、本実施形態の処理装置の概要を説明する。処理装置は、店舗に関連する管理対象を含む撮影画像を取得する。管理対象は、異物の検出/除去が望まれる対象であり、例えば商品の陳列棚、床、テーブル、コピー機、カウンター、駐車場等であるが、これらに限定されない。そして、処理装置は、撮影画像に含まれる管理対象において異物が存在する領域である異物領域を検出し、検出した異物領域の大きさに応じて、警告処理を実行する。
このように、撮影画像に含まれる管理対象において異物領域を検出することができる処理装置によれば、管理対象に存在する異物を画像解析で自動的に検出することが可能となる。そして、処理装置は、検出した異物領域の大きさに応じて警告処理を行うことができるので、店舗運営に影響しない無視してよい大きさの異物に対する警告や、そもそも異物でない画像データのノイズに基づく誤った警告を回避することができる。
次に、処理装置のハードウエア構成の一例を説明する。本実施形態の処理装置が備える機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図1は、本実施形態の処理装置のハードウエア構成を例示するブロック図である。図1に示すように、処理装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、周辺回路4Aは有さなくてもよい。なお、処理装置は物理的及び/又は論理的に一体となった1つの装置で構成されてもよいし、物理的及び/又は論理的に分かれた複数の装置で構成されてもよい。物理的及び/又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU、GPU(Graphics Processing Unit)等の演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)等のメモリである。入出力インターフェイス3Aは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイス等を含む。入力装置は、例えばキーボード、マウス、マイク、タッチパネル、物理ボタン、カメラ等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
次に、処理装置の機能構成を説明する。図2に、処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、取得部11と、異物領域検出部12と、警告部13とを有する。
取得部11は、店舗に関連する管理対象を含む撮影画像を取得する。管理対象は、異物の検出/除去が望まれる対象であり、商品の陳列棚、床、テーブル、コピー機、カウンター及び駐車場の中の少なくとも1つを含む。なお、管理対象はその他の対象を含んでもよい。
取得部11は、管理対象を撮影するカメラが生成した撮影画像を取得する。なお、取得部11は、当該カメラが生成した撮影画像に対して編集処理を行った後の撮影画像を取得してもよい。編集処理は、利用するカメラの種類や設置したカメラの向き等に応じ必要に応じて行うことが可能であり、例えば、射影変換や、魚眼カメラで撮影した画像を平面展開する処理等が例示されるがこれらに限定されない。取得部11が当該編集を行ってもよい。その他、処理装置10と異なる外部装置が当該編集を行い、取得部11は編集後の撮影画像を取得してもよい。
カメラは、管理対象を撮影するように所定位置に固定されている。なお、カメラの向きも固定されていてもよい。カメラは動画像を連続的に撮影してもよいし、所定のタイミングで静止画像を撮影してもよい。また、複数のカメラが設置され、取得部11は複数のカメラ各々が生成した撮影画像を取得してもよいし、1つのカメラが設置され、取得部11はそのカメラが生成した撮影画像を取得してもよい。本実施形態は、複数のカメラが設置され、取得部11は複数のカメラ各々が生成した撮影画像を取得するものとする。
図3に、撮影画像Pの一例を模式的に示す。当該例の場合、管理対象は商品の陳列棚である。棚板100の上に商品101が陳列されている状況が示されている。
図2に戻り、異物領域検出部12は、撮影画像に含まれる管理対象において異物領域を検出する。異物領域は、異物が存在すると推定される領域である。
異物領域検出部12は、撮影画像に含まれる管理対象において指定色と異なる色である領域を異物領域として検出する。なお、異物領域検出部12は、指定色と異なる色である領域を検出した場合、その領域に許可物が存在するか判断し、許可物が存在しないと判断した指定色と異なる領域を異物領域として検出してもよい。そして、異物領域検出部12は、指定色と異なる色の領域であるが、許可物が存在すると判断された領域を、異物領域として検出しなくてもよい。
指定色は、管理対象毎に定められる。例えば、管理対象が商品の陳列棚である場合、指定色は、商品や物が置かれる棚板の色となる。また、管理対象が床である場合、指定色は、床の色となる。また、管理対象がテーブルである場合、指定色は、テーブルの物が置かれる台の色となる。また、管理対象がコピー機である場合、指定色は、物が置かれる可能性があるコピー機の上面の色となる。また、管理対象が駐車場である場合、指定色は、駐車場の地面の色となる。
例えば、処理装置10は、図4に示すように、カメラ毎に撮影画像内の管理対象が存在する領域を示す情報、及び、指定色を示す情報を記憶していてもよい。そして、異物領域検出部12は、当該情報に基づき、各カメラが生成した撮影画像内で管理対象を特定し、特定した管理対象内で指定色と異なる色となっている領域を特定してもよい。図4に示す例では、各カメラを識別するカメラ識別情報と、撮影画像内の管理対象が存在する領域を示す管理対象情報と、各管理対象の指定色とが互いに紐付けられている。図示する管理対象情報の例では、撮影画像に対して定められた2次元座標系の座標を利用して四角形の領域を特定することで、管理対象が存在する領域を示しているが、あくまで一例であり当該手法に限定されない。図示するように、1つの撮影画像内に1つの管理対象が存在する場合もあれば、1つの撮影画像内に複数の管理対象が存在する場合もある。いずれになるかは、カメラの設置の仕方次第である。
管理対象の指定色は、ピンポイントで1つの色を指定してもよいし、一定の幅を持たせて指定してもよい。
許可物は、管理対象に存在することが許可される物体である。例えば、管理対象が商品の陳列棚である場合、許可物は商品である。なお、管理対象が商品の陳列棚である場合、許可物は陳列エリア毎に定められてもよい。この場合、許可物は各陳列エリアに陳列される商品である。すなわち、陳列エリアAに陳列される商品Aは、陳列エリアAにおいては許可物であるが、陳列エリアBにおいては許可物でない。
また、管理対象が床である場合、許可物は、床に一時的に配置される配送物等である。また、管理対象がテーブルである場合、許可物は、商品や客の荷物等である。また、管理対象がコピー機である場合、許可物は、客の荷物やコピー用紙等である。また、管理対象が駐車場である場合、許可物は、自動車や二輪車等である。
例えば、処理装置10は、図5に示すように、カメラ毎に許可物を示す情報を記憶していてもよい。そして、異物領域検出部12は、当該情報に基づき、各カメラが生成した撮影画像に含まれる管理対象における許可物を把握してもよい。なお、商品の陳列棚のように、1つの管理対象を複数の領域(複数の陳列エリア)に分類し、領域毎に許可物を指定する場合、図示するカメラ識別情報「C001」の例のように、撮影画像内で領域を指定し、指定した領域毎に許可物を紐付けて記録することができる。
指定色と異なる色である領域に許可物が存在するか否かの判断手法は特段制限されず、あらゆる画像解析処理を利用することができる。例えば、機械学習により、画像から、物品種別(例:おにぎり、弁当、自動車、二輪車、客の荷物等)を推定する推定モデルが予め生成されていてもよい。そして、異物領域検出部12は、指定色と異なる色である領域の画像を当該推定モデルに入力することで当該領域に存在する物品種別を推定し、推定結果に基づき、指定色と異なる色である領域に許可物が存在するか否かを判断してもよい。
その他、管理対象が商品の陳列棚である場合、陳列エリア毎に予め処理装置10に登録されている許可物の画像(テンプレート画像)と、指定色と異なる色である領域の画像との照合処理(テンプレートマッチング等)により、指定色と異なる色である領域に許可物が存在するか否かを判断してもよい。
図2に戻り、警告部13は、異物領域検出部12により検出された異物領域の大きさに応じて、警告処理を実行する。具体的には、警告部13は、異物領域検出部12により検出された異物領域の大きさが基準値以上である場合、警告処理を実行する。なお、警告部13は、一塊となっている異物領域毎に、大きさが基準値以上であるか判断する。すなわち、互いに離れた複数の異物領域が検出された場合、警告部13は、異物領域毎に大きさが基準値以上であるか判断する。
基準値は、例えば画素数で示すことができるが、これに限定されない。
なお、基準値は全ての撮影画像に対して一律同じ値であってもよい。しかし、以下の理由から、撮影画像を生成したカメラ毎に、さらには撮影画像内の領域毎に、基準値が定められてもよい。
管理対象毎に除去する必要がある異物の大きさは異なり得る。例えば、商品の陳列棚の場合、清潔さを高いレベルで維持するため、比較的小さい異物も除去することが望まれる。一方、駐車場や床等の場合、商品の陳列棚に比べて清潔さの要求レベルが低くなる。このため、労働者負担とのバランスをとり、比較的小さい異物はそのまま放置することが許容される場合がある。また、商品の陳列棚の中でも、陳列する商品の種類(例:食品、雑貨、本等)に応じて清潔さの要求レベルが異なり得る。このように、同一の管理対象の中でも、除去する必要がある異物の大きさは異なり得る。
また、同一の異物であっても、カメラの向きやカメラと被写体との距離等に応じて、撮影画像内での大きさは異なり得る。
撮影画像を生成したカメラ毎に、さらには撮影画像内の領域毎に基準値を定めることで、不要な警告処理を回避し、適切な警告処理のみを行うことが可能となる。
例えば、処理装置10は、図6に示すように、カメラ毎に基準値を定めた情報を記憶しておいてもよい。そして、警告部13は、検出された異物領域を含む撮影画像を生成したカメラに基づき基準値を決定し、検出された異物領域の大きさが決定した基準値以上であるか判断してもよい。
また、処理装置10は、図7に示すように、撮影画像内の位置毎に基準値を定めた情報を記憶しておいてもよい。そして、警告部13は、検出された異物領域の撮影画像内の位置に基づき基準値を決定し、検出された異物領域の大きさが決定した基準値以上であるか判断してもよい。
警告処理は、異物領域検出部12による検出に応じて、リアルタイム処理で、異物を検出した旨を所定のユーザに通知する処理であってもよい。その他、警告処理は、大きさが基準値以上である異物領域を示す情報を蓄積し、所定のタイミング(例:1時間毎、ユーザからの閲覧入力があったタイミング等)でそれまでに蓄積された情報を所定のユーザに通知(例:所定の端末装置に所定の情報を送信)する処理であってもよい。ユーザへの通知は、ディスプレイ、投影装置、スピーカ等の出力装置を介した情報の出力であってもよいし、メーラ等を介した情報の送信であってもよいし、アプリやウェブページ上での情報の表示であってもよいし、警告ランプの点灯等であってもよいし、その他であってもよい。
ユーザに通知する処理で出力される情報は、大きさが基準値以上である異物領域を検出した撮影画像を含んでもよい。また、大きさが基準値以上である異物領域を枠等で強調表示する情報をさらに含んでもよい。図8に一例を示す。図示する例では、商品の陳列棚(管理対象)を示す撮影画像において、検出した大きさが基準値以上である異物領域103を枠102で囲んで強調表示している。
また、異物領域を検出した撮影画像に加えて、その撮影画像を生成したカメラが、その撮影画像を生成する前に生成した撮影画像(例:直前のフレーム画像、数フレーム前のフレーム画像等)を合わせて出力してもよい。これにより、異物が存在する状態と、異物が存在しない状態との比較が容易になる。
また、ユーザに通知する処理で出力される情報は、作業者への指示(例:異物除去、所定のユーザへの通知等)を示す情報が含まれてもよい。
次に、図9及び図10のフローチャートを用いて、処理装置10の処理の流れの一例を説明する。
取得部11が撮影画像を取得すると、図9に示す処理が実行される。まず、異物領域検出部12は、撮影画像に含まれる管理対象において異物が存在する領域である異物領域を検出する処理を行う(S11)。
図10は、S11の異物領域を検出する処理の流れの一例を示す。まず、異物領域検出部12は、撮影画像に含まれる管理対象において指定色と異なる色である領域を検出する(S21)。例えば、異物領域検出部12は、図4に示す情報、及び、取得された撮影画像を生成したカメラを識別する情報に基づき、撮影画像の中の管理対象を特定するとともに、その管理対象の指定色を特定する。そして、異物領域検出部12は、特定した管理対象において特定した指定色と異なる色である領域を検出する。
指定色と異なる色である領域が検出されなかった場合(S22のNo)、異物領域検出部12は、異物領域はないと判定する(S28)。
一方、指定色と異なる色である領域が検出された場合(S22のYes)、異物領域検出部12は、検出された領域を一塊の領域毎に分類し、その中から1つを指定する(S23)。そして、異物領域検出部12は、指定した領域に許可物が存在するか判断する(S24)。例えば、異物領域検出部12は、図5に示す情報、取得された撮影画像を生成したカメラを識別する情報、指定された領域の撮影画像内の位置等に基づき、指定された領域に対応する許可物を特定する。そして、異物領域検出部12は、上述した推定モデルを利用する手法や、テンプレートマッチング等を利用して、指定した領域に許可物が存在するか判断する。
許可物が存在すると判定した場合(S24のYes)、異物領域検出部12は、指定した領域は異物領域でないと判定する(S26)。一方、許可物が存在しないと判定した場合(S24のNo)、異物領域検出部12は、指定した領域は異物領域であると判定する(S25)。
そして、S23で指定していない領域が残っている場合(S27のYes)、S23に戻って同様の処理を繰り返す。
図9に戻り、S11の処理で異物領域が検出されなかった場合(S12のNo)、処理装置10は処理を終了する。一方、S11の処理で異物領域が検出された場合(S12のYes)、警告部13は、検出された異物領域の大きさが基準値以上であるか判定する(S13)。例えば、警告部13は、図6又は図7に示す情報、取得された撮影画像を生成したカメラを識別する情報、検出された異物領域の撮影画像内の位置等に基づき、基準値を決定する。そして、警告部13は、検出された異物領域の大きさが決定した基準値以上であるか判定する。
検出された異物領域の中に大きさが基準値以上であるものが含まれる場合(S13のYes)、警告部13は、警告処理を実行する。警告処理の詳細は上述の通りであるので、ここでの説明は省略する。一方、検出された異物領域の中に大きさが基準値以上のものが含まれない場合(S13のNo)、処理装置10は処理を終了する。
次に、本実施形態の処理装置10の作用効果を説明する。撮影画像に含まれる管理対象において異物領域を検出することができる処理装置10によれば、管理対象に存在する異物を画像解析で自動的に検出することが可能となる。そして、処理装置10は、検出した異物領域の大きさが基準値以上である場合に警告処理を行い、検出した異物領域の大きさが基準値未満である場合に警告処理を行わないので、店舗運営に影響しない無視してよい異物に対する警告や、そもそも異物でない画像データのノイズに基づく誤った警告を回避することができる。
また、処理装置10によれば、上記基準値をカメラ毎や撮影画像内の位置毎に設定できるので、管理対象毎や、管理対象内の所定のエリア毎(例:商品の陳列棚の陳列エリア毎)に、例えば要求される清潔さ等に応じて適切な基準値を設定することができる。結果、適切に異物を検出して取り除きつつ、不要に多くの警告を発して労働者の負担(例:異物確認/除去作業)が増大する不都合を回避することができる。
また、カメラの向きやカメラと被写体との距離等に応じてカメラ毎や撮影画像内の位置毎に基準値を設定できるので、カメラの向きやカメラと被写体との距離に関わらず、所望の大きさ以上の異物を精度よく検出することが可能となる。
また、指定色を指定しておき、指定色と異なる色である領域を異物領域として検出することができるので、異物領域を検出する処理のコンピュータ負担を比較的軽くすることができる。
また、予め許可物を定めておき、許可物が存在しない領域を異物領域として検出できるので、管理対象に存在することが問題でない物体を異物として検出する不都合を回避できる。
<第2の実施形態>
本実施形態の処理装置10は、異物領域検出部12による異物領域を検出する処理の内容が、第1の実施形態と異なる。
本実施形態の処理装置10は、異物領域検出部12による異物領域を検出する処理の内容が、第1の実施形態と異なる。
具体的には、異物領域検出部12は、周知の物体検出技術に基づき撮影画像に含まれる管理対象において物体が存在する領域を検出する。その後、異物領域検出部12は、物体が存在する領域に許可物が存在するか判断する。具体的には、異物領域検出部12は、検出した物体及び許可物の外観の特徴に基づき、検出した物体が許可物か否かを判断する。当該判断は、第1の実施形態で説明した「指定色と異なる色である領域に許可物が存在するか否かの判断」と同様の手法で実現される。そして、異物領域検出部12は、許可物が存在しないと判断した領域(物体が存在する領域)を異物領域として検出する。一方、異物領域検出部12は、許可物が存在すると判断した領域(物体が存在する領域)を異物領域として検出しない。
次に、図9及び図11のフローチャートを用いて、処理装置10の処理の流れの一例を説明する。
取得部11が撮影画像を取得すると、図9に示す処理が実行される。図9に示す処理は第1の実施形態で説明した通りであるので、ここでの説明は省略する。
図11は、S11の異物領域を検出する処理の流れの一例を示す。まず、異物領域検出部12は、任意の物体検出技術に基づき、撮影画像に含まれる管理対象において物体を検出する処理を行う(S31)。例えば、異物領域検出部12は、図12に示す情報、及び、取得された撮影画像を生成したカメラを識別する情報に基づき、撮影画像の中の管理対象を特定する。そして、異物領域検出部12は、任意の物体検出技術に基づき、特定した管理対象において物体を検出する。
物体が検出されなかった場合(S32のNo)、異物領域検出部12は、異物領域はないと判定する(S38)。
一方、物体が検出された場合(S32のYes)、異物領域検出部12は、検出された物体の中から1つを指定する(S33)。そして、異物領域検出部12は、指定した物体が存在する領域に許可物が存在するか判断する(S34)。例えば、異物領域検出部12は、図5に示す情報、取得された撮影画像を生成したカメラを識別する情報、指定された物体が存在する領域の撮影画像内の位置等に基づき、指定された物体に対応する許可物を特定する。そして、異物領域検出部12は、上述した推定モデルを利用する手法や、テンプレートマッチング等を利用して、指定された物体が存在する領域に許可物が存在するか判断する。
許可物が存在すると判定した場合(S34のYes)、異物領域検出部12は、指定した物体が存在する領域は異物領域でないと判定する(S36)。一方、許可物が存在しないと判定した場合(S34のNo)、異物領域検出部12は、指定した物体が存在する領域は異物領域であると判定する(S35)。
そして、S33で指定していない領域が残っている場合(S37のYes)、S33に戻って同様の処理を繰り返す。
処理装置10のその他の構成は、第1の実施形態と同様である。
次に、本実施形態の処理装置10の作用効果を説明する。本実施形態の処理装置10によれば、第1の実施形態の処理装置10と同様の作用効果が実現される。また、指定色の事前登録などが不要となるので、その分の処理負担が軽減される。
なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと(能動的な取得)」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること(受動的な取得)」、たとえば、配信(または、送信、プッシュ通知等)されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集(テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等)などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2019年11月5日に出願された日本出願特願2019-200590号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1A プロセッサ
2A メモリ
3A 入出力I/F
4A 周辺回路
5A バス
10 処理装置
11 取得部
12 異物領域検出部
13 警告部
100 棚板
101 商品
102 枠
103 異物領域
2A メモリ
3A 入出力I/F
4A 周辺回路
5A バス
10 処理装置
11 取得部
12 異物領域検出部
13 警告部
100 棚板
101 商品
102 枠
103 異物領域
Claims (14)
- 店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
前記異物領域の大きさに応じて、警告処理を実行する警告手段と、
を有し、
前記異物領域検出手段は、前記撮影画像に含まれる前記管理対象において指定色と異なる色である領域を前記異物領域として検出する処理装置。 - 前記異物領域検出手段は、前記指定色と異なる色である領域に許可物が存在するか判断し、前記許可物が存在しないと判断した前記指定色と異なる領域を前記異物領域として検出する請求項1に記載の処理装置。
- 店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
前記異物領域の大きさが基準値以上である場合、警告処理を実行する警告手段と、
を有し、
前記取得手段は、所定位置に固定されたカメラが生成した前記撮影画像を取得し、
前記基準値は、前記撮影画像内の位置毎に定められており、
前記警告手段は、検出された前記異物領域の前記撮影画像内の位置に基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断する処理装置。 - 店舗に関連する管理対象を含む撮影画像を取得する取得手段と、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段と、
前記異物領域の大きさが基準値以上である場合、警告処理を実行する警告手段と、
を有し、
前記取得手段は、所定位置に固定された複数のカメラが生成した前記撮影画像を取得し、
前記基準値は、前記カメラ毎に定められており、
前記警告手段は、検出された前記異物領域を含む前記撮影画像を生成した前記カメラに基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断する処理装置。 - 前記異物領域検出手段は、前記撮影画像に含まれる前記管理対象において物体が存在する領域を検出した後、前記物体が存在する領域に許可物が存在するか判断し、前記許可物が存在しないと判断した前記物体が存在する領域を前記異物領域として検出する請求項3又は4に記載の処理装置。
- 前記管理対象は商品の陳列棚であり、
前記許可物は、前記陳列棚に陳列される商品である請求項2又は5に記載の処理装置。 - 前記許可物は、前記陳列棚の陳列エリア毎に定められている請求項6に記載の処理装置。
- 前記警告手段は、前記異物領域の大きさが基準値以上である場合、前記警告処理を実行する請求項1又は2に記載の処理装置。
- コンピュータが、
店舗に関連する管理対象を含む撮影画像を取得し、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
前記異物領域の大きさに応じて、警告処理を実行し、
前記異物領域を検出する処理では、前記撮影画像に含まれる前記管理対象において指定色と異なる色である領域を前記異物領域として検出する処理方法。 - コンピュータが、
店舗に関連する管理対象を含む撮影画像を取得し、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
前記異物領域の大きさが基準値以上である場合、警告処理を実行し、
前記撮影画像を取得する処理では、所定位置に固定されたカメラが生成した前記撮影画像を取得し、
前記基準値は、前記撮影画像内の位置毎に定められており、
前記異物領域の大きさが基準値以上である場合に前記警告処理を行う処理では、検出された前記異物領域の前記撮影画像内の位置に基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断する処理方法。 - コンピュータが、
店舗に関連する管理対象を含む撮影画像を取得し、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出し、
前記異物領域の大きさが基準値以上である場合、警告処理を実行し、
前記撮影画像を取得する処理では、所定位置に固定された複数のカメラが生成した前記撮影画像を取得し、
前記基準値は、前記カメラ毎に定められており、
前記異物領域の大きさが基準値以上である場合に前記警告処理を行う処理では、検出された前記異物領域を含む前記撮影画像を生成した前記カメラに基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断する処理方法。 - コンピュータを、
店舗に関連する管理対象を含む撮影画像を取得する取得手段、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
前記異物領域の大きさに応じて、警告処理を実行する警告手段、
として機能させ、
前記異物領域検出手段は、前記撮影画像に含まれる前記管理対象において指定色と異なる色である領域を前記異物領域として検出するプログラム。 - コンピュータを、
店舗に関連する管理対象を含む撮影画像を取得する取得手段、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
前記異物領域の大きさが基準値以上である場合、警告処理を実行する警告手段、
として機能させ、
前記取得手段は、所定位置に固定されたカメラが生成した前記撮影画像を取得し、
前記基準値は、前記撮影画像内の位置毎に定められており、
前記警告手段は、検出された前記異物領域の前記撮影画像内の位置に基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断するプログラム。 - コンピュータを、
店舗に関連する管理対象を含む撮影画像を取得する取得手段、
前記撮影画像に含まれる前記管理対象において異物が存在する領域である異物領域を検出する異物領域検出手段、
前記異物領域の大きさが基準値以上である場合、警告処理を実行する警告手段、
として機能させ、
前記取得手段は、所定位置に固定された複数のカメラが生成した前記撮影画像を取得し、
前記基準値は、前記カメラ毎に定められており、
前記警告手段は、検出された前記異物領域を含む前記撮影画像を生成した前記カメラに基づき前記基準値を決定し、検出された前記異物領域の大きさが決定した前記基準値以上であるか判断するプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019200590 | 2019-11-05 | ||
JP2019200590 | 2019-11-05 | ||
PCT/JP2020/040581 WO2021090753A1 (ja) | 2019-11-05 | 2020-10-29 | 処理装置、処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021090753A1 JPWO2021090753A1 (ja) | 2021-05-14 |
JPWO2021090753A5 JPWO2021090753A5 (ja) | 2022-08-09 |
JP7476905B2 true JP7476905B2 (ja) | 2024-05-01 |
Family
ID=75848247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021554913A Active JP7476905B2 (ja) | 2019-11-05 | 2020-10-29 | 処理装置、処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (3) | US20220366695A1 (ja) |
JP (1) | JP7476905B2 (ja) |
WO (1) | WO2021090753A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008005399A (ja) | 2006-06-26 | 2008-01-10 | Matsushita Electric Ind Co Ltd | 放置物検出装置及び放置物検出方法 |
JP2017182653A (ja) | 2016-03-31 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
JP2018133042A (ja) | 2017-02-17 | 2018-08-23 | セコム株式会社 | 放置物検出装置 |
JP2018151819A (ja) | 2017-03-13 | 2018-09-27 | 日本電気株式会社 | 管理装置、管理方法及びプログラム |
-
2020
- 2020-10-29 WO PCT/JP2020/040581 patent/WO2021090753A1/ja active Application Filing
- 2020-10-29 JP JP2021554913A patent/JP7476905B2/ja active Active
- 2020-10-29 US US17/771,230 patent/US20220366695A1/en active Pending
-
2023
- 2023-08-10 US US18/232,763 patent/US20230386210A1/en active Pending
- 2023-08-10 US US18/232,760 patent/US20230386209A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008005399A (ja) | 2006-06-26 | 2008-01-10 | Matsushita Electric Ind Co Ltd | 放置物検出装置及び放置物検出方法 |
JP2017182653A (ja) | 2016-03-31 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
JP2018133042A (ja) | 2017-02-17 | 2018-08-23 | セコム株式会社 | 放置物検出装置 |
JP2018151819A (ja) | 2017-03-13 | 2018-09-27 | 日本電気株式会社 | 管理装置、管理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230386210A1 (en) | 2023-11-30 |
US20230386209A1 (en) | 2023-11-30 |
US20220366695A1 (en) | 2022-11-17 |
WO2021090753A1 (ja) | 2021-05-14 |
JPWO2021090753A1 (ja) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109522780B (zh) | 货架信息推定装置、信息处理方法及终端设备 | |
US9015072B2 (en) | Method and apparatus for automated inventory management using depth sensing | |
US20140003655A1 (en) | Method, apparatus and system for providing image data to represent inventory | |
JP5826801B2 (ja) | 商品認識装置及び商品認識プログラム | |
JP2018041261A (ja) | 情報処理装置及びプログラム | |
JP5673888B1 (ja) | 情報通知プログラム及び情報処理装置 | |
JP2013089085A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20190093733A (ko) | 무인 점포에서의 아이템 인식 시스템 및 그 방법 | |
JP7485447B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20180068534A1 (en) | Information processing apparatus that identifies an item based on a captured image thereof | |
WO2016158438A1 (ja) | 検品処理装置及び方法、及びプログラム | |
JP2022017307A (ja) | 管理装置及び管理方法 | |
JP7476905B2 (ja) | 処理装置、処理方法及びプログラム | |
WO2020179480A1 (ja) | 物品推定装置、物品推定方法、及びプログラム | |
JP7070654B2 (ja) | 登録装置、登録方法及びプログラム | |
JP5529982B2 (ja) | 情報処理装置 | |
US20230070529A1 (en) | Processing apparatus, processing method, and non-transitory storage medium | |
WO2021033310A1 (ja) | 処理装置、処理方法及びプログラム | |
WO2019181035A1 (ja) | 登録システム、登録方法及びプログラム | |
JP5820011B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
JP7020538B2 (ja) | 会計装置、会計システム、商品識別方法、およびプログラム | |
JP7205603B2 (ja) | 登録装置、登録方法及びプログラム | |
JP7322945B2 (ja) | 処理装置、処理方法及びプログラム | |
WO2023062724A1 (ja) | 画像解析システム、画像解析方法およびプログラム | |
WO2022244176A1 (ja) | 欠品検出装置、欠品検出方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240401 |