JP7027505B2

JP7027505B2 - 画像処理装置

Info

Publication number: JP7027505B2
Application number: JP2020183570A
Authority: JP
Inventors: 真明安永
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2015-06-26
Filing date: 2020-11-02
Publication date: 2022-03-01
Anticipated expiration: 2036-05-20
Also published as: US9864969B2; US20160379367A1; JP2017014014A; JP6789002B2; JP2021043991A

Description

本発明の実施形態は、画像処理装置に関する。

画像処理装置には、商品を取り扱う店舗などにおいて、商品配置計画情報通りに商品棚などに商品が配置されているかチェックするものがある。画像処理装置は、１ショットで撮影された画像を用いて商品の配置をチェックする。従来、画像処理装置は、商品の配置を広範囲に渡ってチェックするためには、より遠方から撮影された画像を用いる必要がある。

ＵＳ２０１０／０１３５５２２Ａ１

上記の課題を解決するために、物品の配置状況を効果的にチェックできる画像処理装置を提供する。

実施形態によれば、画像処理装置は、画像取得部と、ラベル特定部と、ラベルマップ生成部と、ラベル判定部と、を備える。画像取得部は、撮影領域をずらしながら撮影した複数の撮影画像を取得する。ラベル特定部は、前記撮影画像からラベル及び前記ラベルの位置を特定する。ラベルマップ生成部は、前記ラベル特定部が特定した前記ラベル及び前記ラベルの位置に基づいて複数の前記撮影画像からラベルマップを生成する。ラベル判定部は、前記ラベルマップが示す前記ラベル及び前記ラベルの位置と、ラベルの配置計画を示すラベル配置計画情報が示すラベル及び前記ラベルの位置と、の差異を示すラベル検査マップを生成する。

図１は、第１実施形態に係る画像処理装置の構成例を概略的に示す図である。図２は、第１実施形態に係る画像処理装置の構成例を示すブロック図である。図３は、第１実施形態に係る撮影部が撮影可能な領域の例を示す。図４は、第１実施形態に係る撮影部が撮影可能な領域の他の例を示す。図５は、第１実施形態に係る撮影部が撮影可能な領域の他の例を示す。図６は、第１実施形態に係る画像処理装置の動作例を示すフローチャートである。図７は、第１実施形態に係る画像処理装置が生成する商品マップの例を示す。図８は、第１実施形態に係る画像処理装置が生成する商品検査マップの例を示す。図９は、第１実施形態に係る画像処理装置が生成する棚商品検査マップの例を示す。図１０は、第２実施形態に係る画像処理装置の構成例を概略的に示す図である。図１１は、第２実施形態に係る画像処理装置の構成例を示すブロック図である。図１２は、第２実施形態に係る画像処理装置の動作例を示すフローチャートである。

以下、実施形態について、図面を参照して説明する。
（第１実施形態）
まず、第１実施形態に係る画像処理装置について説明する。
図１は、第１実施形態に係る画像処理装置１及び商品棚４の構成例を概略的に示す。画像処理装置１は、商品棚４に商品を配置する店舗などに設置される。画像処理装置１は、商品棚４に配置されている商品（物品）が適切に配置されているかをチェックする。画像処理装置１は、商品棚４が設置される店舗の開店前に商品棚４の商品が適切に配置されているかチェックしてもよい。また、画像処理装置１は、営業中に定期的に商品の配置をチェックしてもよい。

なお、画像処理装置１が配置をチェックする対象物は、店舗に陳列されている商品に限定されるものではない。画像処理装置１が配置をチェックする対象物は、特定の物品に限定されるものではない。

画像処理装置１は、制御装置１１、撮影部１２及び台車１３などを備える。
制御装置１１は、撮影部１２が撮影した画像に基づいて商品が適切に配置されているかチェックする。制御装置１１については後に詳述する。

撮影部１２は、商品棚４を撮影する。撮影部１２は、台車１３に所定の高さに固定される。撮影部１２は、商品棚４を部分的に撮影する。たとえば、撮影部１２は、収納スペース４１ｃを撮影する高さに固定され、収納スペース４１ｃを部分的に撮影することができる。

撮影部１２は、制御装置１１からの信号に従って、商品棚４を撮影する。撮影部１２は、撮影した画像を制御装置１１へ送信する。
撮影部１２は、たとえば、ＣＣＤカメラなどである。

台車１３は、制御装置１１及び撮影部１２を積載する。台車１３は、制御装置１１及び撮影部１２を移動可能にする。たとえば、台車１３は、撮影部１２を所定の高さに固定した状態で移動可能にする。たとえば、台車１３は、商品棚４の所定の領域を撮影可能な高さに撮影部１２を固定する。たとえば、台車１３は、係員が押すことで移動する。

なお、制御装置１１と撮影部１２とは、無線で接続されてもよい。たとえば、撮影部１２は、持ち運び可能なカメラ、スマートフォン又はタブレットＰＣなどであってもよい。
また、画像処理装置１は、台車１３を備えなくともよい。たとえば、画像処理装置１は、所定の場所に固定されてもよい。たとえば、撮影部１２は、商品棚４の各部を固定で撮影する複数個の撮影部を備えてもよい。

商品棚４は、店舗などにおいて、商品をディスプレイ可能に配置される。たとえば、商品棚４は、商品が外部に提示されるように商品を収納する。

商品棚４は、収納スペース４１ａ乃至４１ｃなどを備える。
収納スペース４１ａ乃至４１ｃは、商品を収納する。たとえば、収納スペース４１ａ乃至４１ｃは、商品棚４の所定の面（表面）から商品を配置し又は取り出せるように形成される。ここでは、商品棚４は、３つの収納スペース４１を備える。なお、商品棚４が備える収納スペース４１の数及び形状は、特定の構成に限定されるものではない。

なお、商品棚４は、所定の領域に、商品棚４を特定する棚特定コードを表示するコード表示領域を備えてもよい。たとえば、棚特定コードは、一次元コード又は二次元コードなどである。たとえば、棚特定コードは、デコードされることで商品棚４を固有に特定する商品棚ＩＤなどを示す。なお、棚特定コードは、文字列、数字、記号、又は、それらの組み合わせであってもよい。棚特定コードの構成は、特定の構成に限定されるものではない。

次に、画像処理装置１の構成例について説明する。
図２は、画像処理装置１の構成例を示すブロック図である。
図２が示すように、画像処理装置１は、制御装置１１及び撮影部１２などを備える。

制御装置１１は、処理部２１、インターフェース２２、記憶部２３、入力部２４及び表示部２５などを備える。

処理部２１は、画像処理装置１全体の動作を制御する機能を有する。処理部２１は、たとえば、プロセッサ（ＣＰＵ）、内部メモリ、ＲＯＭ、ＲＡＭ及び各種のインターフェースなどを備えても良い。処理部２１のプロセッサは、内部メモリ、ＲＯＭ、ＲＡＭ又は記憶部２３などに予め記憶したプログラムを実行することにより処理部２１の機能を実現する。

なお、処理部２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであっても良い。この場合、処理部２１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭは、予め制御用のプログラム及び制御データなどが記憶された不揮発性のメモリである。ＲＯＭに記憶される制御プログラム及び制御データは、予め画像処理装置１の仕様に応じて組み込まれる。ＲＯＭは、たとえば、画像処理装置１の回路基板を制御するプログラム（例えば、ＢＩＯＳ）などを格納している。

ＲＡＭは、揮発性のメモリである。ＲＡＭは、処理部２１の処理中のデータなどを一時的に格納する。ＲＡＭは、処理部２１からの命令に基づき種々のアプリケーションプログラムを格納している。また、ＲＡＭは、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

インターフェース２２は、撮影部１２と通信するインターフェースである。たとえば、インターフェース２２は、処理部２１からの信号に応じて撮影部１２に画像を撮影させる信号を撮影部１２へ送信する。また、インターフェース２２は、撮影部１２が撮影した画像を処理部２１へ送信する。たとえば、インターフェース２２は、ＵＳＢ接続をサポートするインターフェースであってもよい。

記憶部２３は、不揮発性のメモリである。たとえば、記憶部２３は、データの書き込み及び書き換えが可能なメモリである。記憶部２３は、例えば、ハードディスク、ＳＳＤ、又はフラッシュメモリなどにより構成される。記憶部２３は、画像処理装置１の運用用途に応じて制御プログラム、アプリケーション、及び種々のデータを格納してもよい。

記憶部２３は、商品配置計画情報を格納する記憶領域２３ａ及び商品特定情報を格納する記憶領域２３ｂなどを備える。
商品配置計画情報（たとえば、Planogram Master）は、商品の配置計画を示す。たとえば、商品配置計画情報は、商品棚４に配置される商品と、各商品が配置される位置とを示す。たとえば、商品配置計画情報は、配置される商品と、当該商品が配置される座標とを対応付けて格納する。商品配置計画情報は、予め記憶領域２３ａ内に格納されている。なお、商品配置計画情報は、適宜更新されてもよい。

商品特定情報は、商品棚４に配置される商品を特定するための情報である。たとえば、商品特定情報は、当該商品の画像である。また、商品特定情報は、当該商品の画像から所定の処理によって抽出された特徴量（たとえば、商品画像の勾配情報（ＨＯＧ情報））であってもよい。また、商品特定情報は、当該特徴量の分布を示す情報であってもよい。また、商品特定情報は、商品の３Ｄデータ、商品名などの文字列、又は、商品を示すコードなどであってもよい。商品特定情報の構成は、特定の構成に限定されるものではない。また、記憶領域２３ｂは、店舗が取り扱う複数個の商品にそれぞれ対応する複数個の商品特定情報を格納してもよい。

入力部２４は、画像処理装置１の操作者によって、種々の操作指示が入力される。入力部２４は、操作者に入力された操作指示のデータを処理部２１へ送信する。入力部２４は、たとえば、キーボード、テンキー、及び、タッチパネルなどである。

表示部２５は、処理部２１の制御により種々の情報を表示する表示装置である。表示部２５は、たとえば、液晶モニタなどである。なお、入力部２４がタッチパネルなどで構成される場合、表示部２５は、入力部２４と一体的に形成されてもよい。

次に、処理部２１が実現する機能について説明する。
処理部２１は、画像取得部３１、商品位置特定部３２、商品マップ生成部３３、商品位置検査部３４及び計算部３５などを実現する。

画像取得部３１は、撮影領域をずらしながら撮影した複数の撮影画像を取得する。画像取得部３１は、商品を写した撮影画像を取得する。たとえば、画像取得部３１は、インターフェース２２を通じて、撮影部１２に画像を撮影させる信号を送信する。画像取得部３１は、インターフェース２２を通じて、撮影部１２が撮影した画像を取得する。たとえば、画像取得部３１は、所定の領域を徐々にずらした複数の撮影画像を取得する。たとえば、画像取得部３１は、１次元方向、２次元方向、又は、３次元方向にずらした複数の撮影画像を取得する。たとえば、画像取得部３１は、所定の間隔で撮影画像を連続的に取得する。たとえば、画像取得部３１は、入力部２４を通じて撮影を開始する指示を受け付けてから撮影画像の取得を開始する。なお、画像取得部３１は、外部装置から通信インターフェースなどを通じて撮影画像を取得してもよい。

図３乃至５は、画像取得部３１が取得する撮影画像の例を示す図である。
ここでは、撮影部１２は、収納スペース４１ｃを撮影する高さに固定されているものとする。また、画像処理装置１のオペレータは、台車１３を押して、収納スペース４１ｃの各部を撮影部１２に撮影させるものとする。ここでは、オペレータは、商品棚４に向かって左から右に台車１３を移動させるものとする。

撮影枠１２ａ乃至１２ｃは、撮影部１２が撮影する領域を示す。
図３においては、撮影部１２は、撮影枠１２ａ内を撮影する。即ち、撮影部１２は、収納スペース４１ｃ内の商品Ｅの周囲を撮影する。また、図４においては、撮影部１２は、撮影枠１２ｂ内を撮影する。即ち、撮影部１２は、収納スペース４１ｃ内の商品Ｆの周囲を撮影する。図５においては、撮影部１２は、撮影枠１２ｃ内を撮影する。即ち、撮影部１２は、収納スペース４１ｃ内の商品Ｇの周囲を撮影する。

なお、画像取得部３１は、撮影画像の取得を自動的に開始してもよい。たとえば、画像処理装置１が撮影部１２と撮影対象物との距離を測定する距離センサを備えてもよい。たとえば、画像取得部３１は、距離センサが測定した距離が所定の閾値よりも小さくなった場合に、撮影画像の取得を開始する。また、画像取得部３１は、距離センサが測定した距離が当該閾値よりも大きくなった場合に、撮影画像の取得を終了する。即ち、画像取得部３１は、商品棚４などが撮影可能な領域にある場合に、撮影画像を取得する。

また、商品棚４は、撮影画像の取得を開始する点を示す開始コードを表示する表示領域と撮影画像の取得を終了する点を示す終了コードを表示する表示領域とを備えてもよい。画像取得部３１は、撮影部１２が撮影する画像から開始コードを検出した場合に、撮影画像の取得を開始し、撮影部１２が撮影する画像から終了コードを検出した場合に、撮影画像の取得を終了する。

商品位置特定部３２（商品特定部）は、画像取得部３１が取得した撮影画像において、撮影画像内の商品、及び、当該商品が配置されている位置を特定する。たとえば、商品位置特定部３２は、記憶領域２３ｂから商品特定情報を取得する。商品位置特定部３２は、撮影画像において、商品特定情報を用いたラスタスキャンを行うことで、撮影画像内にある商品、及び、当該商品が配置される位置を特定する。たとえば、商品位置特定部３２は、特徴点マッチング処理、テンプレートマッチング、３Ｄマッチング、特徴量マッチング、文字列マッチング、又は、数列マッチングなどによって商品と商品の位置とを特定する。商品位置特定部３２が商品と商品の位置とを特定する方法は、特定の方法に限定されるものではない。

商品マップ生成部３３は、撮影画像において特定された商品及び商品の位置に基づいて、商品の配置をチェックする領域（たとえば、商品棚４）に配置される商品及び商品の位置を示す商品マップを生成する。即ち、商品マップ生成部３３は、特定された商品及び当該商品の位置に基づいて複数の撮影画像から商品マップを生成する。

たとえば、画像取得部３１が図３乃至５に示す撮影枠１２ａ乃至１２ｃ内の撮影画像を取得した場合、商品マップ生成部３３は、収納スペース４１ｃ内の商品及び商品の位置を示す商品マップを生成する。

たとえば、商品マップ生成部３３は、複数の撮影画像内にある同一の商品と当該商品の位置とを特定する。商品マップ生成部３３は、複数の撮影画像内において同一の商品が写る位置に基づいて複数の撮影画像をつなぎ合わせて商品マップを生成する。

また、商品マップ生成部３３は、複数の撮影画像の撮影位置（撮影部１２の位置）の変化量に基づいて商品マップを生成してもよい。たとえば、商品マップ生成部３３は、各撮影画像において局所特徴量を持つ特徴点を抽出し、各撮影画像において一致する特徴点を抽出する。商品マップ生成部３３は、一致した特徴点の位置から複数の撮影画像間における撮影位置の変化量を算出する。また、商品マップ生成部３３は、他の方法で撮影位置の変化量を取得してもよい。また、商品マップ生成部３３は、他のセンサ又は他の装置などから撮影部１２の移動量を取得してもよい。

また、商品マップ生成部３３は、撮影画像において特定された商品及び商品の位置に加えて撮影位置の変化量にさらに基づいて商品マップを生成してもよい。

商品位置検査部３４（商品判定部）は、商品配置計画情報に基づいて商品マップが示す商品及び商品の位置が適切であるかチェックする。即ち、商品位置検査部３４は、商品マップが示す商品及び商品の位置と、商品配置計画情報が示す商品及び商品の位置とを比較して、両者が一致するかを判定する。

たとえば、商品位置検査部３４は、入力部２４を通じたオペレータの操作に基づいて、記憶領域２３ａからチェックに用いる商品配置計画情報を取得する。即ち、商品位置検査部３４は、いずれの商品棚４の商品配置をチェックするかを決定する。なお、商品位置検査部３４は、商品棚４が備える棚特定コードを抽出し、棚特定コードが示す商品棚４に対応する商品配置計画情報を用いてもよい。たとえば、商品位置検査部３４は、撮影画像に対してラスタスキャンなどを行うことで棚特定コードを抽出してもよい。

商品位置検査部３４は、商品マップが示す商品及び商品の位置と商品配置計画情報が示す商品及び商品の位置との相違をチェックする。たとえば、商品位置検査部３４は、商品配置計画情報にあるが商品マップにない商品及び当該商品の位置、商品配置計画情報にないが商品マップにある商品及び当該商品の位置、商品配置計画情報が示す位置とは異なる位置にある商品及び当該商品の位置、及び、商品配置計画情報が示す位置とは異なる位置にあるか又は置かれていない可能性が高い商品及び当該商品の位置などを特定する。また、商品位置検査部３４は、商品マップにおいて傾いて配置される商品及び当該商品の位置を特定してもよい。

なお、商品位置検査部３４は、商品マップが示す商品の位置と商品配置計画情報が示す商品の位置との差が所定の閾値よりも小さければ、両者が一致するものと判定してもよい。

また、商品位置検査部３４は、商品マップが示す商品及び商品の位置と商品配置計画情報が示す商品及び商品の位置との差異を示す商品検査マップを生成する。商品検査マップは、たとえば、商品マップ上に差異を示す情報を追加したものであってもよい。

計算部３５は、種々の計算を実行する。たとえば、計算部３５は、撮影画像から商品を特定するため、撮影画像の各部の所定の特徴量などを計算してもよい。また、計算部３５は、商品マップを作成するため、撮影画像の各部の所定の特徴量などを計算してもよい。

なお、処理部２１は、表示部２５などを通じて、商品マップ生成部３３が生成した商品マップを表示してもよい。また、処理部２１は、表示部２５などを通じて、商品位置検査部３４が生成した商品検査マップを表示してもよい。

次に、画像処理装置１の動作例について説明する。
図６は、画像処理装置１の動作例を説明するためのフローチャートである。
まず、画像処理装置１の処理部２１は、商品配置計画情報を取得する（ＡＣＴ１１）。商品配置計画情報を取得すると、処理部２１は、商品特定情報を取得する（ＡＣＴ１２）。

商品特定情報を取得すると、処理部２１は、撮影画像を取得する（ＡＣＴ１３）。撮影画像を取得すると、処理部２１は、取得された撮影画像において商品及び商品の位置を特定する（ＡＣＴ１４）。商品及び商品の位置を特定すると、処理部２１は、撮影画像の取得が終了したか判定する（ＡＣＴ１５）。たとえば、処理部２１は、入力部２４を通じて、撮影画像の取得を終了する操作の入力を受け付けたか判定する。

撮影画像の取得が終了していないと判定すると（ＡＣＴ１５、ＮＯ）、処理部２１は、ＡＣＴ１３へ戻る。

撮影画像の取得が終了したと判定すると（ＡＣＴ１５、ＹＥＳ）、処理部２１は、取得された複数の撮影画像から商品マップを生成する（ＡＣＴ１６）。商品マップを生成すると、処理部２１は、商品マップと商品配置計画情報とに基づいて商品の配置をチェックする（ＡＣＴ１７）。

商品の配置をチェックすると、処理部２１は、チェック結果に基づいて商品検査マップを生成する（ＡＣＴ１８）。商品検査マップを生成すると、処理部２１は、動作を終了する。

なお、処理部２１は、表示部２５に商品マップを表示してもよい。また、処理部２１は、表示部２５に商品検査マップを表示してもよい。

また、棚特定コードを用いて商品配置計画情報を取得する場合、処理部２１は、撮影画像を取得した（ＡＣＴ１３）後、撮影画像の取得が終了した（ＡＣＴ１５、ＹＥＳ）後、又は、商品マップを生成した（ＡＣＴ１６）後に、撮影画像に写された棚特定コードに対応する商品配置計画情報を取得してもよい。

また、処理部２１は、商品マップを生成した（ＡＣＴ１６）後に、商品配置計画情報を取得してもよい。

図７は、処理部２１がＡＣＴ１６で生成した商品マップの例を示す。
図７が示す例において、商品マップ５は、図３乃至５が示す撮影枠１２ａ乃至１２ｃ内を撮影した撮影画像から生成された商品マップである。商品マップ５は、商品棚４の収納スペース４１ｃに配置された商品及び商品の位置を示す。

図８は、処理部２１がＡＣＴ１８で生成した商品検査マップの例を示す。
図８が示す例において、商品検査マップ６は、商品マップ５と異なる商品マップを基に生成された商品検査マップである。商品検査マップ６は、商品Ａ乃至Ｊの位置を示す商品マップを基に生成されている。

商品検査マップ６は、商品マップ上に商品配置計画情報との差異を示す矢印６１乃至６６を備える。
矢印６１は、矢印６１が示す領域に商品配置計画情報では商品Ａがあるはずであるが商品マップでは当該領域に商品Ａがないことを示す。
矢印６２は、矢印６２が示す領域に商品配置計画情報が示す商品でない商品がある可能性があることを示す。
矢印６３は、矢印６３が示す商品Ｃが傾いていることを示す。

矢印６４は、矢印６４が示す領域に商品配置計画情報では商品Ｆがあるはずであるが商品マップでは当該領域に商品Ｆがないことを示す。
矢印６５は、矢印６５が示す領域に商品配置計画情報では商品がないはずであることを示す。
矢印６６は、矢印６６が示す領域に商品配置計画情報では商品Ｋがあるはずであるが商品マップでは異なる商品（ここでは、商品Ｊ）があることを示す。

なお、商品検査マップの構成は、特定の構成に限定されるものではない。

また、処理部２１は、複数の商品棚４について商品の配置が適切であるかを示す棚商品検査マップを生成してもよい。たとえば、棚商品検査マップは、店舗内の商品棚４の配置図上で各商品棚４の状態を各商品棚４の色又はパターンなどで示す。

図９は、棚商品検査マップの例を示す。

図９が示す例において、棚商品検査マップ７は、商品棚４上のパターンで各商品棚４の状態を示す。たとえば、棚商品検査マップ７において、白抜きは、商品の配置をチェックしない商品棚であることを示す。また、斜線は、商品の配置をチェックし適切に商品が適切に配置されている商品棚であることを示す。また、ドットパターンは、商品の配置をチェックしたが適切に商品が配置されていない商品棚であることを示す。
なお、棚商品検査マップの構成は、特定の構成に限定されるものではない。

なお、処理部２１は、商品マップが示す商品及び商品の位置と、商品配置計画情報が示す商品及び商品の位置との差異をリスト化し表示してもよい。処理部２１が差異を提示する方法は、特定の方法に限定されるものではない。

以上のように構成された画像処理装置は、複数の撮影画像に対して商品及び商品の位置を特定し、商品配置計画情報に照らして商品が適切に配置されているかをチェックすることができる。そのため、画像処理装置は、１ショットでは撮影することが困難な領域についても解像度の高い画像を用いて商品の配置をチェックすることができる。

また、撮影画像を合成した合成画像は、撮影画像にはあった情報が欠落する恐れがある。画像処理装置は、各撮影画像から商品及び商品の位置を特定することで、情報の欠落を防止することができる。従って、画像処理装置は、複数の撮影画像から生成される合成画像を用いて商品の配置をチェックするよりも、高い精度で商品の配置をチェックすることができる。
また、画像処理装置は、商品の傾きをチェックすることで、商品の視認性をチェックすることができる。
その結果、画像処理装置は、商品の配置状況を効果的にチェックすることができる。（第２実施形態）
次に、第２実施形態について説明する。
第２実施形態に係る画像処理装置１は、商品棚４に配置されるラベルが適切に配置さているかをチェックする点で第１実施形態に係る画像処理装置１と異なる。従って、その他の点については同一の符号を付して詳細な説明を省略する。

図１０は、第２実施形態に係る画像処理装置１及び商品棚４の構成例を示す図である。
図１０が示すように、商品棚４は、収納スペース４１ｄ、収納スペース４１ｅ、ラベル４２ａ、ラベル４２ｂ、ラベル４２ｃ及びラベル４２ｄなどを備える。

収納スペース４１ｄ及び４１ｅは、収納スペース４１ａ乃至４１ｃと同様である。収納スペース４１ｄは、商品Ａ及び商品Ｂを収納する。また、収納スペース４１ｅは、商品Ｃ及び商品Ｄを収納する。

ラベル４２は、商品の詳細を示す。たとえば、ラベル４２は、対応する商品の名称又は価格などを示す。なお、ラベル４２は、産地、割引、又は、クーポンなどを示すものであってもよい。ラベル４２が示す情報は、特定の構成に限定されるものではない。なお、ラベル４２は、複数個の同種の商品の詳細を示してもよい。

また、ラベル４２は、ラベル４２を特定するラベル特定コードを表示する表示領域を備えてもよい。たとえば、ラベル特定コードは、一次元コード又は二次元コードなどである。たとえば、ラベル特定コードは、デコードされることでラベル４２を固有に特定するラベルＩＤなどを示す。なお、ラベル特定コードは、文字列、数字、記号、又は、それらの組み合わせであってもよい。ラベル特定コードの構成は、特定の構成に限定されるものではない。

たとえば、ラベル４２ａは、商品Ａの下部に配置され、商品Ａの詳細を示す。また、ラベル４２ｂ乃至４２ｄは、それぞれ商品Ｂ乃至商品Ｄの下部に配置され、それぞれ商品Ｂ乃至Ｄの詳細を示す。なお、ラベル４２は、対応する商品の上部に配置されてもよい。ラベル４２が配置される位置は、特定の構成に限定されるものではない。

次に、画像処理装置１の構成例について説明する。
図１１は、画像処理装置１の構成例を示すブロック図である。
記憶部２３は、ラベル配置計画情報を格納する記憶領域２３ｃ及びラベル特定情報を格納する記憶領域２３ｄなどを備える。

ラベル配置計画情報（たとえば、Planogram Label Master）は、ラベルの配置計画を示す。たとえば、ラベル配置計画情報は、商品棚４に配置されるラベル４２と、各ラベル４２が配置される位置とを示す。たとえば、ラベル配置計画情報は、配置されるラベル４２と、当該ラベル４２が配置される座標とを対応付けて格納する。ラベル配置計画情報は、予め記憶領域２３ｃ内に格納されている。なお、ラベル配置計画情報は、適宜更新されてもよい。

ラベル特定情報は、商品棚４に配置されるラベル４２を特定するための情報である。たとえば、ラベル特定情報は、ラベル４２の構成を示す。たとえば、ラベル特定情報は、ラベル４２の構成として、商品名が書かれている位置並びにサイズ、金額が書かれている位置並びにサイズ、及び／又は、ラベル特定コードが書かれている位置並びにサイズなどのフォーマット情報を示す。なお、ラベル特定情報の構成は、特定の構成に限定されるものではない。

次に、処理部２１が実現する機能について説明する。
処理部２１は、画像取得部３１、計算部３５、ラベル位置特定部３６、ラベルマップ生成部３７、及び、ラベル位置検査部３８などを実現する。
計算部３５は、第１実施形態に係るそれと同様である。
画像取得部３１は、ラベル４２を写した撮影画像を取得する。画像取得部３１は、撮影領域をずらしながら撮影した複数の撮影画像を取得する。

ラベル位置特定部３６（ラベル特定部）は、撮影画像からラベル４２及び当該ラベル４２が配置されている位置を特定する。たとえば、ラベル位置特定部３６は、記憶領域２３ｄからラベル特定情報を取得する。ラベル位置特定部３６は、ラベル特定情報に基づいて、撮影画像内にあるラベル４２、及び、当該ラベル４２が配置されている位置を特定する。ラベル位置特定部３６は、たとえば、ラスタスキャンなどを行うことで、ラベル特定コードを特定してもよい。ラベル位置特定部３６は、特定されたラベル特定コードをデコードすることで、ラベル４２を特定してもよい。また、ラベル位置特定部３６は、文字認識処理（ＯＣＲ）などによってラベル４２上の文字列を特定し、ラベル４２を特定してもよい。ラベル位置特定部３６がラベル４２及び当該ラベル４２が配置されている位置を特定する方法は、特定の方法に限定されるものではない。

ラベルマップ生成部３７は、撮影画像において特定されたラベル４２及びラベル４２の位置に基づいて、ラベル４２の配置状況をチェックする領域（たとえば、商品棚４）に配置されるラベル４２及びラベル４２の位置を示すラベルマップを生成する。即ち、ラベルマップ生成部３７は、特定されたラベル４２及び当該ラベル４２の位置に基づいて複数の撮影画像からラベルマップを生成する
たとえば、ラベルマップ生成部３７は、複数の撮影画像内にある同一のラベル４２と当該ラベル４２の位置とを特定する。ラベルマップ生成部３７は、複数の撮影画像内において同一のラベル４２が写る位置に基づいて複数の撮影画像をつなぎ合わせてラベルマップを生成する。

また、ラベルマップ生成部３７は、複数の撮影画像の撮影位置（撮影部１２の位置）の変化量に基づいて商品マップを生成してもよい。たとえば、ラベルマップ生成部３７は、各撮影画像において局所特徴量を持つ特徴点を抽出し、各撮影画像において一致する特徴点を抽出する。ラベルマップ生成部３７は、一致した特徴点の位置から複数の撮影画像間における撮影位置の変化量を算出する。また、ラベルマップ生成部３７は、他の方法で撮影位置の変化量を取得してもよい。また、ラベルマップ生成部３７は、他のセンサ又は他の装置などから撮影部１２の移動量を取得してもよい。

また、ラベルマップ生成部３７は、撮影画像において特定されたラベル４２及びラベル４２の位置に加えて撮影位置の変化量にさらに基づいてラベルマップを生成してもよい。

ラベル位置検査部３８は、ラベル配置計画情報に基づいてラベルマップが示すラベル４２及びラベル４２の位置が適切であるかチェックする。即ち、ラベル位置検査部３８は、ラベルマップが示すラベル４２及びラベル４２の位置と、ラベル配置計画情報が示すラベル４２及びラベル４２の位置とを比較して、両者が一致するか判定する。

たとえば、ラベル位置検査部３８（ラベル判定部）は、入力部２４を通じたオペレータの操作に基づいて、記憶領域２３ｃからチェックに用いるラベル配置計画情報を取得する。即ち、ラベル位置検査部３８は、いずれの商品棚４のラベル配置状況をチェックするかを決定する。なお、ラベル位置検査部３８は、商品棚４が備える棚特定コードを抽出し、棚特定コードが示す商品棚４に対応するラベル配置計画情報を用いてもよい。たとえば、ラベル位置検査部３８は、撮影画像に対してラスタスキャンなどを行うことで棚特定コードを抽出してもよい。

ラベル位置検査部３８は、ラベルマップが示すラベル４２及びラベル４２の位置とラベル配置計画情報が示すラベル４２及びラベル４２の位置との相違をチェックする。たとえば、ラベル位置検査部３８は、ラベル配置計画情報にあるがラベルマップにないラベル４２及び当該ラベル４２の位置、ラベル配置計画情報にないがラベルマップにあるラベル４２及び当該ラベル４２の位置、ラベル配置計画情報が示す位置とは異なる位置に配置されているラベル４２及び当該ラベル４２の位置、及び、ラベル配置計画情報が示す位置とは異なる位置に配置されている又は配置されていない可能性が高いラベル４２及び当該ラベル４２の位置などを特定する。また、ラベル位置検査部３８は、ラベルマップにおいて傾いて配置されるラベル４２及び当該ラベル４２の位置を特定してもよい。

なお、ラベル位置検査部３８は、ラベルマップが示すラベル４２の位置とラベル配置計画情報が示すラベル４２の位置との差が所定の閾値よりも小さければ、両者が一致するものと判定してもよい。

また、ラベル位置検査部３８は、ラベルマップが示すラベル４２及びラベル４２の位置とラベル配置計画情報が示すラベル４２及びラベル４２の位置との差異を示すラベル検査マップを生成する。ラベル検査マップは、たとえば、ラベルマップ上に差異を示す情報を追加したものであってもよい。また、ラベル検査マップは、ラベル４２が傾いていることを示してもよい。

なお、処理部２１は、表示部２５などを通じて、ラベルマップ生成部３７が生成したラベルマップを表示してもよい。また、処理部２１は、表示部２５などを通じて、ラベル位置検査部３８が生成したラベル検査マップを表示してもよい。

次に、画像処理装置１の動作例について説明する。
図１２は、画像処理装置１の動作例を説明するためのフローチャートである。
まず、画像処理装置１の処理部２１は、ラベル配置計画情報を取得する（ＡＣＴ２１）。ラベル配置計画情報を取得すると、処理部２１は、ラベル特定情報を取得する（ＡＣＴ２２）。

ラベル特定情報を取得すると、処理部２１は、撮影画像を取得する（ＡＣＴ２３）。撮影画像を取得すると、処理部２１は、取得された撮影画像においてラベル４２及びラベル４２の位置を特定する（ＡＣＴ２４）。ラベル４２及びラベル４２の位置を特定すると、処理部２１は、撮影画像の取得が終了したか判定する（ＡＣＴ２５）。たとえば、処理部２１は、入力部２４を通じて、撮影画像の取得を終了する操作の入力を受け付けたか判定する。

撮影画像の取得が終了していないと判定すると（ＡＣＴ２５、ＮＯ）、処理部２１は、ＡＣＴ２３へ戻る。

撮影画像の取得が終了したと判定すると（ＡＣＴ２５、ＹＥＳ）、処理部２１は、取得された複数の撮影画像からラベルマップを生成する（ＡＣＴ２６）。ラベルマップを生成すると、処理部２１は、ラベルマップとラベル配置計画情報とに基づいてラベル４２の配置状況をチェックする（ＡＣＴ２７）。

ラベル４２の配置状況をチェックすると、処理部２１は、チェック結果に基づいてラベル検査マップを生成する（ＡＣＴ２８）。ラベル検査マップを生成すると、処理部２１は、動作を終了する。

なお、処理部２１は、表示部２５にラベルマップを表示してもよい。また、処理部２１は、表示部２５にラベル検査マップを表示してもよい。

また、棚特定コードを用いてラベル配置計画情報を取得する場合、処理部２１は、撮影画像を取得した（ＡＣＴ２３）後、撮影画像の取得が終了した（ＡＣＴ２５、ＹＥＳ）後、又は、ラベルマップを生成した（ＡＣＴ２６）後に、撮影画像に写された棚特定コードに対応するラベル配置計画情報を取得してもよい。

また、処理部２１は、ラベルマップを生成した（ＡＣＴ２６）後に、ラベル配置計画情報を取得してもよい。

また、処理部２１は、複数の商品棚４についてラベル４２の配置が適切であるかを示す棚ラベル検査マップを生成してもよい。たとえば、棚ラベル検査マップは、店舗内の商品棚４の配置図上で各商品棚４の状態を各商品棚４の色又はパターンなどで示す。

なお、処理部２１は、ラベルマップが示すラベル４２及びラベル４２の位置と、ラベル配置計画情報が示すラベル４２及びラベル４２の位置との差異をリスト化し表示してもよい。処理部２１が差異を提示する方法は、特定の方法に限定されるものではない。

以上のように構成された画像処理装置は、複数の撮影画像に対してラベル及びラベルの位置を特定し、ラベル配置計画情報に照らしてラベルが適切に配置されているかをチェックすることができる。そのため、画像処理装置は、１ショットでは撮影することが困難な領域についても解像度の高い画像を用いてラベルの配置をチェックすることができる。

また、撮影画像を合成した合成画像は撮影画像にはあった情報が欠落する恐れがある。画像処理装置は、撮影画像からラベル及びラベルの位置を特定することで、情報の欠落を防止することができる。従って、画像処理装置は、複数の撮影画像から生成される合成画像を用いてラベルの配置をチェックするよりも、高い精度でラベルの配置をチェックすることができる。
また、画像処理装置は、ラベルの傾きをチェックすることで、ラベルの視認性をチェックすることができる。
その結果、画像処理装置は、ラベルの配置状況を効果的にチェックすることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］撮影領域をずらしながら撮影した複数の撮影画像を取得する画像取得部と、前記撮影画像から商品及び前記商品の位置を特定する商品特定部と、前記商品特定部が特定した前記商品及び前記商品の位置に基づいて複数の前記撮影画像から商品マップを生成する商品マップ生成部と、前記商品マップが示す前記商品及び前記商品の位置と、商品の配置計画を示す商品配置計画情報が示す商品及び前記商品の位置と、の差異を示す商品検査マップを生成する商品判定部と、を備える画像処理装置。
［２］前記商品判定部は、前記商品マップにおいて傾いて配置される商品を特定し、前記商品検査マップは、前記商品が傾いていることを示す、前記［１］に記載の画像処理装置。
［３］前記商品配置計画情報を格納する記憶部を備え、前記商品判定部は、前記記憶部から前記商品配置計画情報を取得する、前記［１］に記載の画像処理装置。
［４］撮影領域をずらしながら撮影した複数の撮影画像を取得する画像取得部と、前記撮影画像からラベル及び前記ラベルの位置を特定するラベル特定部と、前記ラベル特定部が特定した前記ラベル及び前記ラベルの位置に基づいて複数の前記撮影画像からラベルマップを生成するラベルマップ生成部と、前記ラベルマップが示す前記ラベル及び前記ラベルの位置と、ラベルの配置計画を示すラベル配置計画情報が示すラベル及び前記ラベルの位置と、の差異を示すラベル検査マップを生成するラベル判定部と、を備える画像処理装置。
［５］前記ラベル判定部は、前記ラベルマップにおいて傾いて配置されるラベルを特定し、前記ラベル検査マップは、前記ラベルが傾いていることを示す、前記［４］に記載の画像処理装置。

１…画像処理装置、４…商品棚、５…商品マップ、６…商品検査マップ、７…棚商品検査マップ、１１…制御装置、１２…撮影部、１２ａ…撮影枠、２１…処理部、２３…記憶部、２３ａ乃至２３ｄ…記憶領域、２５…表示部、３１…画像取得部、３２…商品位置特定部、３３…商品マップ生成部…、３４…商品位置検査部、３５…計算部、３６…ラベル位置特定部、３７…ラベルマップ生成部、３８…ラベル位置検査部、４１ａ乃至４１ｅ…収納スペース、４２ａ乃至４２ｄ…ラベル、６１乃至６６…矢印。

Claims

撮影領域をずらしながら撮影した複数の撮影画像を取得する画像取得部と、
前記撮影画像からラベル及び前記ラベルの位置を特定するラベル特定部と、
前記ラベル特定部が特定した前記ラベル及び前記ラベルの位置に基づいて複数の前記撮影画像からラベルマップを生成するラベルマップ生成部と、
前記ラベルマップが示す前記ラベル及び前記ラベルの位置と、ラベルの配置計画を示すラベル配置計画情報が示すラベル及び前記ラベルの位置と、の差異を示すラベル検査マップを生成するラベル判定部と、
を備え、
前記ラベル判定部は、前記ラベルマップにおいて傾いて配置されるラベルを特定し、
前記ラベル検査マップは、前記ラベルが傾いていることを示す、
画像処理装置。
撮影領域をずらしながら撮影した複数の撮影画像を取得する画像取得部と、
前記撮影画像からラベル及び前記ラベルの位置を特定するラベル特定部と、
前記ラベル特定部が特定した前記ラベル及び前記ラベルの位置に基づいて複数の前記撮影画像からラベルマップを生成するラベルマップ生成部と、
前記ラベルマップが示す前記ラベル及び前記ラベルの位置と、ラベルの配置計画を示すラベル配置計画情報が示すラベル及び前記ラベルの位置と、の差異を示すラベル検査マップを生成するラベル判定部と、
を備え、
前記ラベル検査マップは、前記ラベルマップ上に前記差異を示す、
画像処理装置。
前記ラベル配置計画情報を格納する記憶部を備え、
前記ラベル判定部は、前記記憶部から前記ラベル配置計画情報を取得する、
請求項１又は２に記載の画像処理装置。
前記ラベル判定部は、複数の商品棚について前記ラベルの配置が適切であるかを示す棚ラベル検査マップを生成する、請求項１から３の何れか一項に記載の画像処理装置。