JP7551397B2 - 画像処理装置 - Google Patents

Description

本発明の実施形態は、画像処理装置に関する。

小売店舗においては、棚に陳列すべき商品の欠品による販売する機会の損失や客離れなどを防ぐために、店内に設置した棚において欠品や品薄となっている商品を確認することが日常業務として重要になっている。現状においては、小売店舗などでは、店員が定期的に店内を見回ることにより、店内の棚に陳列した各商品の品薄や欠品を確認していることが多い。日常業務として店員が店内を見回って各商品の品薄や欠品を確認する作業は、店員に対する負担が大きい。

従来、棚にある物品を認識すること前提とし、物品の陳列の乱れ具合や品薄となっている商品を検知するシステムが提案されている。しかしながら、従来のシステムでは、物品を認識することが前提となっているため、物品の外観から物品を認識するための物品認識用の辞書情報が必要となる。物品認識用の辞書情報としては、例えば、対象となる全ての物品について多方面から撮影した場合の画像情報などが必要となる。

上述したようなシステムでは、各物品を認識するために棚にある各物品の多方面を撮影するための構成を構築することが簡単ではないという問題がある。また、小売店舗の棚に並べる商品は、パッケージのデザイン変更や新商品の入荷が頻繁にあるため、物品認識用の辞書情報を最新の状態に保つことが容易ではないという問題もある。

特開２０１８－４８０２４号公報

本発明は、上記した課題を解決するために、棚等に配置される物品の配置状況を報知できる画像処理装置を提供することを目的とする。

実施形態によれば、画像処理装置は、第１のインターフェースとプロセッサと第２のインターフェースとを備える。第１のインターフェースは、物品が配置される棚を含む領域を撮影した撮影画像を取得する。プロセッサは、撮影画像から検出する棚札の位置に基づく基準位置と撮影画像から検出する物品領域の位置との距離から前記棚における物品の配置状況を判定し、撮影画像から検出した棚札が表示する物品を特定する情報を認識する。第２のインターフェースは、棚札が表示する物品を示す情報とともに当該棚札に対応する位置にある棚における物品の配置状況を示す情報を出力する。

図１は、実施形態に係る画像処理装置を含む監視システムの構成例を模式的に示す図である。 図２は、実施形態に係る画像処理装置を含む監視システムの他の構成例を示すブロック図である。 図３は、実施形態に係る画像処理装置における動作例を説明するためのフローチャートである。 図４は、第実施形態に係る画像処理装置がカメラの撮影画像から検出する物品領域および基準位置などの例を示す図である。 図５は、第実施形態に係る画像処理装置における棚札認識処理の動作例を説明するためのフローチャートである。 図６は、実施形態に係る画像処理装置がカメラの撮影画像から検出する棚札の領域の例を示す図である。 図７は、実施形態に係る画像処理装置が認識対象とする棚札が表示する画像の例を示す図である。 図８は、第実施形態に係る画像処理装置における品薄欠品の判定処理の動作例を説明するためのフローチャートである。 図９は、実施形態に係る画像処理装置がカメラの撮影画像から検出する物品領域と基準位置との間の距離を例示する図である。

以下、本実施形態について、図面を参照しながら説明する。
本実施形態に係る画像処理装置は、カメラが撮影する撮影画像に基づいて棚に配置されている物品（商品）の品薄および欠品を検出する監視システムに用いられる。例えば、画像処理装置は、カメラが撮影する撮影画像から棚に配置されている物品の品薄および欠品を検出する。さらに、画像処理装置は、カメラが撮影する撮影画像から棚に設けられた棚札に表示される物品（物品名）を認識する機能を有する。これにより、画像処理装置は、棚に設けられた棚札に表示される情報から物品を特定し、棚札の後ろに配置される物品の品薄および検品を検出し、品薄または欠品となっている物品を報知する。

以下に説明する実施形態において、棚は、小売店などの店舗内に設定され、商品が陳列されるものとする。例えば、棚に配置された商品については、品薄または欠品となると、係員としての店員が商品の補充を実施するという運用であることを想定して説明するものとする。ただし、実施形態に係る画像処理装置および監視システムは、店舗内の棚に配置した商品の品薄または欠品を検出するものに限定されるものではない。例えば、棚は、倉庫などに配置され、物品が配置されるものであっても良く、倉庫内の作業員または管理者などに、品薄または欠品となった物品を報知するような運用であっても良い。

以下、実施形態に係る画像処理装置を含む監視システムについて説明する。
図１は、実施形態に係る画像処理装置１を含む監視システムの構成例を概略的に説明するための図である。
図１に示すように、監視システムは、画像処理装置１と画像処理装置１に接続するカメラ２とを有する。画像処理装置１は、カメラ２が撮影する撮影画像を取得する。画像処理装置１は、カメラ２に対して画像の撮影などを指示する機能を有する。カメラ２は、物品Ａが配置される棚Ｓが撮影領域となるように設置される。

例えば、カメラ２は、棚Ｓ全体が俯瞰撮影できるように、物品Ａが配置される棚Ｓと同程度の高さに正対して設置される。棚Ｓは、棚段の前面に棚札が設けられる。棚Ｓにおける各棚段には、棚札の後方に物品が並べて配置される。棚札には、後方に配置される物品を特定する情報が表示される。カメラ２は、棚札と棚札の後方に配置される物品群とが撮影できるように設置される。

ただし、カメラ２は、棚札と棚札の後方に配置される物品群とが撮影できるものであれば良く、所定の場所に固定されたものに限定されない。例えば、カメラ２は、複数であっても良いし、移動して撮影するものであっても良い。複数のカメラとしては、棚Ｓにおける各棚を撮影するカメラをそれぞれ設けても良い。また、カメラ２は、各棚札と棚札の後方に配置される物品群とを撮影するために移動する移動機構を備えるものであっても良い。

次に、実施形態に係る画像処理装置１の制御系の構成について説明する。
図２は、実施形態に係る画像処理装置１における制御系の構成例を示すブロック図である。
図３に示すように、画像処理装置１は、プロセッサ１１、メモリ１２、入力インターフェース（Ｉ／Ｆ）１３、表示インターフェース（Ｉ／Ｆ）１４および操作インターフェース（Ｉ／Ｆ）１５などを有する。

プロセッサ１１は、プログラムを実行することにより各種の処理を実行する。メモリ１２は、ＲＡＭなどの揮発性メモリ（ワーキングメモリ）、ＲＯＭなどの不揮発性メモリ（プログラムメモリ）、および、書換え可能な不揮発性メモリ（データメモリ）等を含む。
例えば、プロセッサ１１は、メモリ１２に記憶したプログラムを実行することで、物品検出処理（カテゴリ認識処理）、棚札認識処理、文字認識処理、品薄欠品の判定処理、品薄欠品の報知処理などの後述する各処理を実現する。

また、メモリ１２は、物品の検出するための情報、物品のカテゴリを認識処理のための情報、文字認識のための辞書情報、棚札Ｐに表示される管理コードから物品を特定するための情報、あるいは、品薄検知のための基準値（閾値）などの情報も記憶する。また、メモリ１２は、カメラ２が撮影する撮影画像などを保持するものとしても良い。ここで、撮影画像は、カメラ２が撮影した画像である。

入力インターフェース１３は、カメラ２に通信接続するためのインターフェースである。入力インターフェース１３は、第１のインターフェースの一例である。また、カメラ２が複数である場合、画像処理装置１は、入力インターフェース１３として、カメラごとにインターフェースを設けても良い。

また、入力インターフェース１３には、外部装置の記憶部に設けられるデータベース（ＤＢ）２３が接続されるようにしても良い。ＤＢ２３は、メモリ１２が記憶する情報として例示した情報の一部または全部を記憶するようにしても良い。例えば、ＤＢ２３は、物品に対するカテゴリ認識処理のための情報、文字認識のための辞書情報、棚札Ｐに表示される管理コードから物品を特定するための情報、あるいは、品薄検知のための基準値（閾値）などの情報を記憶するようにしても良い。

表示インターフェース１４は、情報を表示するディスプレイ２１に通信接続するためのインターフェースである。表示インターフェース１４は、第２のインターフェースの一例である。操作インターフェース１５は、オペレータが操作指示を入力する操作装置２２に接続するためのインターフェースである。ここで、ディスプレイ２１と操作装置２２とは、タッチパネル付きのディスプレイによって構成しても良い。

なお、図２に示す構成例において、ディスプレイ２１は、画像処理装置１とは別に設けられ、表示インターフェース１４を介して画像処理装置１と接続されるものとした。ただし、ディスプレイ２１は、画像処理装置１が具備する構成であっても良い。また、操作装置２２も、画像処理装置１とは別に設けられ、操作インターフェース１５を介して画像処理装置１と接続されるものとした。操作装置２２についても、画像処理装置１が具備する構成としても良い。
なお、各インターフェース１３～１５は、有線で通信接続するものであっても良いし、無線通信を行うものであっても良い。

次に、実施形態に係る画像処理装置１を含む監視システムの動作について説明する。
図３は、実施形態に係る画像処理装置１の動作例を説明するためのフローチャートである。
プロセッサ１１は、入力インターフェース１３によりカメラ２が撮影した撮影画像を取得する（ＡＣＴ１１）。カメラ２は、物品Ｍが配置される棚Ｓを含む撮影領域の画像を撮影する。カメラ２は、棚Ｓを含む撮影領域を撮影した撮影画像を入力インターフェース１３を介して画像処理装置１へ供給する。

例えば、プロセッサ１１は、カメラ２に対して撮影を指示し、カメラ２が撮影指示に応じて撮影した撮影画像を取得するようにしても良い。また、カメラ２は、所定の周期で撮影する撮影画像を画像処理装置１へ供給するようにしても良い。この場合、画像処理装置１のプロセッサ１１は、カメラ２から撮影画像を取得するごとに図３に示すような処理を実行するようにしても良い。

プロセッサ１１は、カメラ２から撮影画像を取得すると、カメラ２から取得した撮影画像において棚Ｓに配置されている物品の領域（物品領域）を検出する物品検出処理を行う（ＡＣＴ１２）。ここで、プロセッサ１１は、物品検出処理として、撮影画像において各物品を具体的に特定する処理（例えば物品名を特定する処理）は行わず、物品の領域を検出する。

例えば、プロセッサ１１は、物品検出処理として、SSD（Single Shot Multibox Detector）のような既知の物体認識技術を用いて物品のカテゴリを認識しても良い。この場合、プロセッサ１１は、物品の領域を検出しつつ、同時に箱やボトルなどの物品のカテゴリを認識する。

図４は、カメラ２から取得した撮影画像において検出する物品領域Ｍｒの例を示す図である。
プロセッサ１１は、カメラ２の撮影画像における物品らしい画像（画素群）を検出し、検出した物品らしい画素を囲む矩形の領域を物品の領域（物品領域）Ｍｒとして検出する。本実施形態に係る画像処理装置１では、後述する品薄欠品の判定処理において棚Ｓ上にある物品Ｍの最前面の位置と基準位置（例えば、棚の前面）との間隔を特定する。

このため、ＡＣＴ１２の物品検出処理では、物品名の特定などの物品を具体的に特定する処理を実行する必要がない。つまり、本実施形態に係わる画像処理装置１のプロセッサ１１は、物品検出処理として、棚Ｓ上に配置された物品（物品群）が存在する位置を特定できるように物品領域Ｍｒを検出すれば良い。

また、プロセッサ１１は、カメラ２から取得した撮影画像において棚Ｓの前面に配置される棚札Ｐを認識する棚札認識処理を行う（ＡＣＴ１３）。プロセッサ１１は、棚札認識処理として、撮影画像における棚札の領域を抽出し、抽出した棚札に表示されている情報を認識し、棚札が表示する物品を特定する。棚札認識処理については、後で詳細に説明するものとする。

棚札認識処理によって棚札Ｐが表示する物品を特定すると、プロセッサ１１は、棚Ｓにおいて当該物品が配置される基準位置Ｂを推定する（ＡＣＴ１４）。ここで、プロセッサ１１は、図４に示すように、棚札Ｐに対応して物品Ｍが配置される棚Ｓの前面を基準位置Ｂとして検出するものとする。例えば、プロセッサ１１は、棚札領域抽出で検出する棚札の領域に基づいてハフ変換などの直線検出によって棚Ｓの前面となる直線を基準位置として検出する。

基準位置Ｂを検出すると、プロセッサ１１は、品薄および欠品を検出するための処理（品薄欠品の判定処理）を実行する（ＡＣＴ１５）。プロセッサ１１は、撮影画像における基準位置Ｂと物品領域Ｍｒとの位置関係によって各棚札Ｐに対応した配置される物品の品薄および欠品を検出する。プロセッサ１１は、棚Ｓに配置される物品のうち品薄または欠品と推定される物品を検出する。なお、品薄欠品の判定処理については、後で詳細に説明するものとする。

プロセッサ１１は、品薄欠品の判定処理の結果に基づいて棚札Ｐに対応する位置に置かれるべき物品Ｍの配置状況を示す情報を報知する（ＡＣＴ１６）。例えば、プロセッサ１１は、表示インターフェース（第２のインターフェース）１４により棚札Ｐに対応する位置に置かれるべき物品Ｍの配置状況を示す情報をディスプレイ２１に表示させる。また、プロセッサ１１は、品薄または欠品と判定される物品を検出した場合に、表示インターフェース１４により品薄または欠品と判定された物品を示す情報をディスプレイ２１に表示させるようにしても良い。また、プロセッサ１１は、スピーカなどによってアラームなどを出力するようにしても良い。

次に、実施形態に係わる画像処理装置１における棚札認識処理について説明する。
図５は、実施形態に係わる画像処理装置１における棚札認識処理の例を説明するためのフローチャートである。
図５は、図３におけるＡＣＴ１３の棚札認識処理の例である。プロセッサ１１は、棚札認識処理として、まず、カメラ２から取得した撮影画像において棚札Ｐの領域を抽出する（ＡＣＴ２１）。プロセッサ１１は、撮影画像において棚札らしい画像を検出し、検出した棚札らしい画像を囲む棚札の領域を抽出する。

図６は、カメラ２が撮影した撮影画像において検出した棚札の領域Ｐｒの例を示す図である。
プロセッサ１１は、図６に示すような撮影画像において棚札らしい画像（画素群）を検出し、棚札らしい画像を囲む矩形の領域を棚札の領域Ｐｒとして抽出する。例えば、図６に示す例において、棚札Ｐは、物品Ｍを配置する棚Ｓの前面に配置される。このため、プロセッサ１１は、撮影画像における棚Ｓの前面位置を推定し、棚Ｓの前面位置から棚札らしい画像を検出するようにしても良い。また、プロセッサ１１は、カメラ２の設置位置および撮影方向などの情報から棚札の位置を推定することにより撮影画像における棚札の領域Ｐｒを抽出するようにしても良い。

棚札の領域Ｐｒを抽出すると、プロセッサ１１は、棚札の領域Ｐｒの画像において管理コードあるいは物品名などの物品を特定するための情報（物品特定情報）の領域を抽出する（ＡＣＴ２２）。例えば、プロセッサ１１は、図６に示すような棚札の領域Ｐｒの画像において管理コードが表示される領域を物品を特定するための情報（物品特定情報）の領域として抽出する。物品特定情報の領域を抽出すると、プロセッサ１１は、抽出した領域に対して文字認識などの認識処理を施すことにより棚札Ｐが表示している物品を特定する情報を認識する（ＡＣＴ２３）。

また、プロセッサ１１は、物品特定情報として文字で表示される物品名を文字認識するものであっても良い。この場合、プロセッサ１１は、物品名を示す文字が表示される領域を検出し、その領域に対して文字認識処理を実行する。これにより、プロセッサ１１は、物品特定情報としての物品名を認識できる。

また、プロセッサ１１は、物品特定情報として物品を特定するための情報をコード化したコード画像を認識するようにしても良い。例えば、コード画像は、棚札の管理コードや物品コードなどの物品特定情報をコード化したバーコードや２次元バーコードなどのコード化された画像である。この場合、プロセッサ１１は、棚札の領域Ｐｒの画像から物品特定情報をコード化したコード画像を抽出し、抽出したコード画像をデコードすることにより棚札の管理コードや物品コードなどの物品特定情報を認識する。

図７は、棚札Ｐが表示する情報の例を示す図である。
図７に示す例では、棚札Ｐは、文字で表示される物品名、数字で表示される管理コード、および、値段などを表示する。プロセッサ１１は、撮影画像から棚札の領域を抽出することにより図７に示すような表示内容の棚札の画像を取得する。棚札の画像を取得すると、プロセッサ１１は、文字あるいはコードなどの情報が表示される領域を検出する。図７に示すような棚札の画像を取得した場合、プロセッサ１１は、物品名の領域、管理コードの領域、および、値段の領域を検出する。

例えば、プロセッサ１１は、物品特定情報の領域として管理コードの領域を選出するものとする。図７に示す例において、管理コードは、数字で表示される。このため、プロセッサ１１は、管理の領域に対して文字認識を行うことにより物品特定情報としての管理コードを認識する。プロセッサ１１は、メモリ１２あるいはＤＢ２３に記憶した情報に基づいて管理コードに対応する物品を棚札Ｐが表示する物品として特定する。

また、プロセッサ１１は、物品特定情報の領域として物品名の領域を選出し、物品名としての文字を認識するようにしても良い。この場合、プロセッサ１１は、棚札の画像から物品名の領域を抽出し、物品名の領域に対して文字認識を施すことにより棚札Ｐが表示する物品を特定する。

なお、棚札Ｐは、ＪＡＮコードなどの物品管理コードを表示するものであっても良い。この場合、プロセッサ１１は、棚札の画像から物品管理コードの領域を抽出し、当該領域から物品管理コードを示す文字（数字）列を認識することにより棚札が表示する物品を特定するようにしても良い。

また、棚札Ｐは、物品を特定する情報をコード化した２次元コード（例えば、ＱＲコード（登録商標））やバーコードなどのコード画像（マーカー）を表示するものであっても良い。この場合、プロセッサ１１は、棚札の画像に含まれるコード画像の領域を抽出し、コード画像を認識することにより棚札が表示する物品を特定するようにしても良い。

次に、実施形態に係わる画像処理装置１における品薄欠品の判定処理について説明する。
図８は、実施形態に係わる画像処理装置１における品薄欠品の判定処理の例を説明するためのフローチャートである。
図８は、図３に示すＡＣＴ１６における品薄欠品の判定処理の例である。すなわち、プロセッサ１１は、品薄欠品の判定処理として、カメラ２から取得した撮影画像における基準位置Ｂと物品領域Ｍｒとの間の距離Ｌを特定する（ＡＣＴ３１）。プロセッサ１１は、撮影画像から検出する各棚札Ｐについて、棚札Ｐの後方に配置されている物品の物品領域Ｍｒと基準位置Ｂとの間の距離を算出する。

プロセッサ１１は、棚札Ｐの後方に物品領域Ｍｒが存在しない場合（ＡＣＴ３２、ＹＥＳ）、当該棚札Ｐが表示する物品が欠品となっているものと判定する。欠品と判定した場合、プロセッサ１１は、当該棚札Ｐが表示する物品特定情報によって特定される物品が欠品であることを品薄欠品の判定処理の結果とする（ＡＣＴ３３）。

また、プロセッサ１１は、棚札Ｐの後方にある物品領域Ｍｒと基準位置Ｂとの間の距離Ｌを特定した場合、特定した距離Ｌが閾値（基準値）以上であるか否かを判断する（ＡＣＴ３４）。棚札Ｐの後方にある物品領域Ｍｒと基準位置Ｂとの間の距離Ｌが閾値以上である場合（ＡＣＴ３４、ＹＥＳ）、プロセッサ１１は、当該棚札Ｐが表示する物品が品薄となっているものと判定する。品薄と判定した場合、プロセッサ１１は、当該棚札Ｐが表示する物品特定情報によって特定される物品が品薄であることを品薄欠品の判定処理の結果とする（ＡＣＴ３５）。

また、棚札Ｐの後方にある物品領域Ｍｒと基準位置Ｂとの間の距離Ｌが閾値未満である場合（ＡＣＴ３４、ＮＯ）、プロセッサ１１は、当該棚札Ｐが表示する物品が品薄や欠品の状態ではないと判定する。この場合、プロセッサ１１は、当該棚札Ｐが表示する物品特定情報によって特定される物品の棚Ｓ上の在庫が十分である旨を品薄欠品の判定処理の結果としても良い。

なお、上述した図３の処理によれば、プロセッサ１１は、品薄欠品の判定処理の結果に基づいて棚札が表示する物品の配置状況を報知する。例えば、プロセッサ１１は、品薄欠品の判定処理の結果が品薄や欠品でない場合にはアラートを報知せず、品薄欠品の判定処理の結果が品薄または欠品である場合には表示インターフェース１４によりディスプレイ２１に品薄または欠品と判定された物品を表示するようにしても良い。

図９は、カメラ２が撮影した撮影画像における物品領域Ｍｒと基準位置Ｂとの間の距離Ｌの例を示す図である。
プロセッサ１１は、上述したような処理によって、図９に示すようなカメラ２の撮影画像において、物品領域Ｍｒを検出し、棚札Ｐに基づく基準位置Ｂを特定している。プロセッサ１１は、撮影画像において、物品領域Ｍｒと基準位置Ｂとの間の距離Ｌを算出する。例えば、プロセッサ１１は、棚札Ｐごとに、物品領域Ｍｒと基準位置Ｂとの間の距離Ｌとして、基準位置Ｂから後方に向かって物品領域Ｍｒまでの画素数をカウントするようにしても良い。

図９に示す例において、向かって左側の棚札Ｐａには、棚Ｓにおける後方に物品Ｍａの物品領域Ｍｒが検出されている。このため、プロセッサ１１は、棚札Ｐａに対して、基準位置Ｂと物品領域Ｍｒとの間の距離Ｌａを算出する。距離Ｌａは、棚札Ｐａが表示する物品Ｍａの配置状況を示す指標となる。ここでは、各物品は、棚Ｓ上における棚札Ｐの後方の領域に、基準位置を基準として後方に並べて配置されるものとする。

この場合、棚札Ｐａが物品特定情報を表示する複数の物品Ｍａは、棚Ｓ上において基準位置Ｂを基準（起点）として棚札Ｐａの後方に配置される。このような前提によれば、物品Ｍａの物品領域Ｍｒと基準位置Ｂとの間にある空間は、棚Ｓ上から取り去られた物品Ｍａが置かれていた領域を示す。言い換えると、物品Ｍａの物品領域Ｍｒと基準位置Ｂとの間の距離Ｌａは、棚Ｓ上から取り去られた物品Ｍａの量（数）を示す指標となる。

基準位置Ｂから物品領域Ｍｒまでの距離が大きければ、多数の物品Ｍが棚Ｓから取り去られたことを意味する。例えば、店舗等では、多数の物品（商品）Ｍが取り去られた場合、当該商品が品薄であるため、当該商品を補充することが必要となる。このため、本実施形態に係る画像処理装置１は、棚札Ｐに対応する領域（棚札Ｐの後方の領域）において、基準位置Ｂから物品領域Ｍｒまでの距離が基準値以上である場合、棚札Ｐが表示する物品が品薄であると判定する。物品の品薄を判定した場合、画像処理装置１は、品薄と判定された物品を店員等に報知するためのアラートを出力する。

本実施形態に係る画像処理装置１は、棚Ｓにおける物品の品薄を判定するための基準値（閾値）をメモリ１２に記憶しておく。プロセッサ１１は、撮影画像において棚札ごとに特定する基準位置Ｂから物品領域Ｍｒまでの距離が基準値以上であれば、当該棚札が表示する物品が品薄の状態であると判定する。例えば、図９に示す例では、棚札Ｐａに対応する基準位置Ｂと物品領域Ｍｒとの距離Ｌａが基準値（閾値）以上である場合、棚札Ｐｂが表示する物品Ｍａが品薄の状態であると判定する。

また、メモリ１２には、基準値として複数の値を設定しておいても良い。これにより、画像処理装置１のプロセッサ１１は、棚Ｓにおける物品の品薄の状況を複数の段階に分けて判定できる。例えば、メモリ１２には、第１基準値と第１基準値よりも大きい第２基準値と設定しておく。

この場合、プロセッサ１１は、棚札Ｐに対応する基準位置Ｂと物品領域Ｍｒとの距離が第１基準値（閾値）以上かつ第２基準値未満であれば、棚札Ｐが表示する物品が第１のレベルで品薄であると判定できる。また、プロセッサ１１は、棚札Ｐに対応する基準位置Ｂと物品領域Ｍｒとの距離が第２基準値以上であれば、棚札Ｐが表示する物品が第１のレベルよりも物品数が少ないことを示す第２のレベルで品薄であると判定できる。

また、棚札Ｐに対応する領域（棚札の後方の領域）に物品領域Ｍｒが検出されていない場合、当該棚札Ｐに対応する物品が棚Ｓ上に存在していないと判定される。従って、プロセッサ１１は、棚札Ｐに対応する位置に商品がない場合には、当該棚札が表示する物品特定情報で特定される物品が欠品していると判定する。

図９に示す例において、向かって右側の棚札Ｐｂの後方には、物品領域Ｍｒが存在していない。図９において、棚札Ｐｂに対応した物品が配置されるべき領域（棚札Ｐｂの後方の領域）に物品領域Ｍｒがないため、距離Ｌｂは、基準位置Ｂからの棚Ｓの最後方までの距離を示している。棚札Ｐｂの後方の領域に物品領域Ｍｒがなければ、プロセッサ１１は、棚札Ｐｂが表示する物品が棚Ｓ上にないこと、つまり、棚札Ｐｂが表示する物品が欠品しているものと判定する。物品の欠品を判定した場合、画像処理装置１は、欠品と判定された物品を店員等に報知するためのアラートを出力する。

以上のように、実施形態に係る画像処理装置は、カメラが撮影した撮影画像から物品の情報を表示する棚札を検出する。画像処理装置は、撮影画像において、棚札に対応する領域に置かれている物品の物品領域と当該物品を棚に並べて配置する場合の基準位置との間の距離を算出する。画像処理装置は、物品領域と基準位置との間の距離に基づいて物品の品薄または欠品を判定する。画像処理装置は、品薄または欠品を判定した場合には対応する棚札が示す物品の品薄または欠品をアラートする。

これにより、実施形態に係る画像処理装置は、棚に配置されている物品を撮影した撮影画像から当該物品を特定するための認識処理を行わなくても、品薄または欠品となった物品を報知することができる。

また、実施形態に係る画像処理装置は、棚に配置される物品の品薄を判定するための基準値をメモリに記憶しておく。画像処理装置は、基準位置と物品領域との間の距離が基準値以上である場合、対応する棚札が表示する物品が品薄であることを示すアラートを出力する。
これにより、実施形態に係る画像処理装置は、所定の基準に基づいて棚上において物品が品薄となったことを判定できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載した内容を付記する。
［１］
物品が配置される棚を含む領域を撮影した撮影画像を取得する第１のインターフェースと、
前記撮影画像から検出する棚札の位置に基づく基準位置と前記撮影画像から検出する物品領域の位置との距離から前記棚における物品の配置状況を判定するプロセッサと、
前記棚における物品の配置状況を示す情報を出力する第２のインターフェースと、
を備える画像処理装置。
［２］
前記プロセッサは、前記撮影画像から検出した棚札が表示する物品を特定する情報を認識し、
前記第２のインターフェースは、前記棚札が表示する物品を示す情報とともに当該棚札に対応する位置にある物品の配置状況を示す情報を出力する、
［１］に記載の画像処理装置。
［３］
さらに、前記棚における物品の配置状況を判定するための基準値を記憶するメモリを備え、
前記プロセッサは、前記基準値に基づいて前記基準位置と前記物品領域の位置との距離から前記棚における物品の配置状況を判定する、
［１］または［２］の何れか１つに記載の画像処理装置。
［４］
前記プロセッサは、前記撮影画像から検出した棚札に対応する前記棚における基準位置を特定し、前記基準位置と前記棚札に対応する位置にある物品領域との距離が基準値以上である場合、当該棚札が示す物品が品薄であると判定し、
前記第２のインターフェースは、前記プロセッサが品薄と判定した物品を示す情報を出力する、
［３］に記載の画像処理装置。
［５］
前記プロセッサは、前記撮影画像から検出した棚札に対応する位置に物品領域が検出されない場合、当該棚札が表示する物品が欠品であると判定し、
前記第２のインターフェースは、前記プロセッサが欠品と判定した物品を示す情報を出力する、
［２］乃至［４］の何れか１つに記載の画像処理装置。

１…画像処理装置、
２…カメラ、
１１…プロセッサ、
１２…メモリ、
１３…入力インターフェース（第１のインターフェース）、
１４…表示インターフェース（第２のインターフェース）。

Claims (4)

1. 物品が配置される棚を含む領域を撮影した撮影画像を取得する第１のインターフェースと、
   前記撮影画像から検出する棚札の位置に基づく基準位置と前記撮影画像から検出する物品領域の位置との距離から前記棚における物品の配置状況を判定し、前記撮影画像から検出した棚札が表示する物品を特定する情報を認識するプロセッサと、
   前記棚札が表示する物品を示す情報とともに当該棚札に対応する位置にある前記棚における物品の配置状況を示す情報を出力する第２のインターフェースと、
   を備える画像処理装置。
2. さらに、前記棚における物品の配置状況を判定するための基準値を記憶するメモリを備え、
   前記プロセッサは、前記基準値に基づいて前記基準位置と前記物品領域の位置との距離から前記棚における物品の配置状況を判定する、
   請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記撮影画像から検出した棚札に対応する前記棚における基準位置を特定し、前記基準位置と前記棚札に対応する位置にある物品領域との距離が基準値以上である場合、当該棚札が示す物品が品薄であると判定し、
   前記第２のインターフェースは、前記プロセッサが品薄と判定した物品を示す情報を出力する、
   請求項２に記載の画像処理装置。
4. 前記プロセッサは、前記撮影画像から検出した棚札に対応する位置に物品領域が検出されない場合、当該棚札が表示する物品が欠品であると判定し、
   前記第２のインターフェースは、前記プロセッサが欠品と判定した物品を示す情報を出力する、
   請求項１乃至３の何れか１項に記載の画像処理装置。