JP7567166B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、店舗での棚割管理を支援する技術に関する。

陳列棚等に配置された商品の画像をコンピュータを用いて解析することによって、棚割業務を効率的に行う技術が研究されている。

上述した技術の一例が、例えば、下記特許文献１に開示されている。具体的には、下記特許文献１に、画像内の物品それぞれの文字情報および当該文字情報の位置情報に基づいて照合対象のデータを絞り込み、棚割管理業務での画像処理速度を向上させる技術が開示されている。

特開２０１４－０４４４８１号公報

コンピュータを用いて商品を認識する際、商品の画像特徴量を使って商品を認識する。店舗で扱う商品の中には、例えば容量（サイズ）が異なる等、様々なバリエーションを有する商品も存在し得る。コンピュータは、そのような商品のバリエーションを区別して、個々の商品を認識する必要がある。しかしながら、パッケージデザインはバリエーションによって変化が乏しいことが多く、画像上の特徴が類似し易い。その結果、コンピュータが商品のバリエーションを混同してしまい、商品の認識（区別）精度が低下し得る。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、様々なバリエーションを有する商品について、そのバリエーションを精度よく識別する技術を提供することである。

本発明の画像処理装置は、
画像において物体が存在する領域を検出する物体検出手段と、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段と、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段と、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示処理手段と、
を備える。

本発明の画像処理方法は、
コンピュータが、
画像において物体が存在する領域を検出し、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定し、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別し、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する、
ことを含む。

本発明のプログラムは、
コンピュータを、
画像において物体が存在する領域を検出する物体検出手段、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示出力手段、
として機能させる。

本発明によれば、様々なバリエーションを有する商品について、そのバリエーションを精度よく識別する技術が提供される。

第１実施形態における画像処理装置の機能構成を例示する図である。 画像処理装置のハードウエア構成を例示するブロック図である。 第１実施形態の画像処理装置によって実行される処理の流れを例示するフローチャートである。 物体検出部が取得する画像の一例を示す図である。 物体検出部の処理によって記憶領域に記憶される処理結果情報の一例を示す図である。 カテゴリ特定部の処理によって更新された処理結果情報の一例を示す図である。 商品識別用の基準データを含む商品情報の一例を示す図である。 商品識別部の処理によって更新された処理結果情報の一例を示す図である。 第１実施形態の表示処理部が表示装置に出力する出力画像の一例を示す図である。 第１実施形態の表示処理部が表示装置に出力する出力画像の一例を示す図である。 第１実施形態の表示処理部が表示装置に出力する出力画像の一例を示す図である。 第２実施形態のカテゴリ特定部の機能を例示する図である。 ２つの他の物体について特定されたカテゴリを用いるモードを使用することを示す入力を受け付ける画面の一例を示す図である。 第３実施形態における画像処理装置の機能構成を例示する図である。 第３実施形態の画像処理装置により実行される処理の流れを例示するフローチャートである。 第２実施形態の表示処理部が表示装置に出力する出力画像の一例を示す図である。 画像処理装置の各処理部の処理結果を示す情報の一例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。また、図中の矢印の向きは、情報の流れを分かり易くするためのものであり、特に説明のない限り通信の方向（一方向通信／双方向通信）を限定しない。

［第１実施形態］
＜機能構成＞
図１は、第１実施形態における画像処理装置１０の機能構成を例示する図である。図１に示されるように、本実施形態の画像処理装置１０は、物体検出部１１０、カテゴリ特定部１２０、商品識別部１３０、および表示処理部１４０を有する。

物体検出部１１０は、処理対象の画像（例えば、商品が陳列されている棚の画像）を取得し、その画像において物体（商品）が存在する領域を検出する。物体検出部１１０は、例えば、複数の教師データを用いて機械学習を繰り返すことによって構築された検出器（学習モデル）を用いて、画像の中から物体が存在する領域を検出することができる。ここで、教師データは、複数の物体が写る学習用の画像と当該画像における物体の位置を示すラベル情報とを組み合わせて構成される。検出器は、このような教師データを用いた機械学習の繰り返しの中で、個々の物体の境界を判別するためのパラメータ（特徴量）を学習する。

カテゴリ特定部１２０は、物体検出部１１０により検出された領域の形状を用いて当該領域に位置する物体が属するカテゴリを特定する。ここで「カテゴリ」とは、１つの商品として販売されるときの容量や数量（１パッケージ当たりの個数）のバリエーションを意味する。例えば、ビールのような飲料製品については、容量のバリエーション（３５０ｍｌ／５００ｍｌなど）や数量のバリエーション（単品／マルチパック）が存在する。ここで挙げたビールの例に限定されないが、本発明では、このような容量や数量に類するもののバリエーションが「カテゴリ」として設定され得る。

商品識別部１３０は、商品識別用の基準データと、物体検出部１１０により検出された領域から得られる画像特徴量とに基づいて、当該領域に位置する物体（商品）を識別する。一例として、商品識別部１３０は、物体検出部１１０により検出された領域から得られる画像特徴量と、商品を識別するために用意された各商品の基準データ（基準画像特徴量）とのマッチング処理を行って、当該領域に位置する物体（商品）を識別する。この場合、商品識別用の基準データは、例えば、画像処理装置１０の記憶装置や外部のデータベースなどに記憶されている。ここで、商品識別部１３０は、物体検出部１１０により検出された領域から得られる画像特徴量とのマッチング処理で用いる商品の基準データを、当該領域に位置する物体のカテゴリに基づいて絞り込む。例えば、ある領域に位置する物体のカテゴリとして「Ｘ」というカテゴリが特定された場合、商品識別部１３０は、特定されたカテゴリ「Ｘ」に対応する商品の基準データをマッチング処理の対象データとして選択する。この例において、特定されたカテゴリ「Ｘ」とは異なるカテゴリに対応するその他の基準データはマッチング処理で使用されない。

表示処理部１４０は、図示されるように、出力画像を表示装置２０に出力する。表示処理部１４０により出力される出力画像は、物体検出部１１０により検出された領域の位置と、商品識別部１３０による商品の識別結果と、を示す情報を少なくとも含む。

＜作用・効果＞
本実施形態では、商品の識別処理（マッチング処理）を行う前に、検出された物体の形状を用いて予めカテゴリが特定される。ここで、容量や数量のバリエーションが存在する商品について、統一された（類似する）デザインが採用されることが一般的である。つまり、パッケージデザインから得られる特徴量を用いて商品を識別する場合には、その商品の容量や数量などのバリエーションを誤って判別してしまう可能性を含んでいる。一方で、容量や数量が違う場合、外観の形状（サイズ）には明らかな差が生まれる。そのため、本実施形態の構成によれば、商品のカテゴリ（バリエーション）を精度よく判別することが可能となる。また、本実施形態の構成によれば、商品を識別するためのマッチング処理で使用する商品の基準データの数をカテゴリ特定結果に基づいて絞り込むことができるため、処理に要する時間を短縮する効果も見込める。

＜ハードウエア構成例＞
画像処理装置１０は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像処理装置１０がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図２は、画像処理装置１０のハードウエア構成を例示するブロック図である。

画像処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１０の各機能（物体検出部１１０、カテゴリ特定部１２０、商品識別部１３０、表示処理部１４０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。

入出力インタフェース１０５０は、画像処理装置１０と周辺機器とを接続するためのインタフェースである。周辺機器は、例えば、キーボードやマウスなどの入力機器、ディスプレイ（タッチパネルディスプレイ）やスピーカーなどの出力機器を含む。

ネットワークインタフェース１０６０は、画像処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。画像処理装置１０は、ネットワークインタフェース１０６０を介して、例えば、ユーザ端末２と通信可能に接続される。ここで、ユーザ端末２は、処理対象の画像を撮像する機能を有するカメラモジュールと、表示処理部１４０の出力画像を表示させる表示装置２０とを有している。ユーザ端末２は、例えば、スマートフォン、タブレット端末、モバイルＰＣなどである。物体検出部１１０は、ネットワークインタフェース１０６０を介して、ユーザ端末２の撮像装置３０で生成された処理対象の画像を取得することができる。また、表示処理部１４０は、ネットワークインタフェース１０６０を介して、ユーザ端末２の表示装置２０に出力画像の描画データを送信することができる。

なお、図２に例示される構成はあくまで一例であり、画像処理装置１０のハードウエアの構成は図２の例に制限されない。例えば、画像処理装置１０の各機能が、スマートフォンやタブレット端末といったユーザ端末２に備えられていてもよい。この場合、画像処理装置１０の各機能を実行するアプリケーション（プログラム）が、ユーザ端末２にインストールされる。これにより、ユーザ端末２が実質的に画像処理装置１０と同等の装置となる。

＜処理の流れ＞
図３は、第１実施形態の画像処理装置１０によって実行される処理の流れを例示するフローチャートである。

物体検出部１１０は、商品陳列棚などの陳列スペースに配置された全てまたは一部の商品が写る画像を取得する（Ｓ１０２）。物体検出部１１０は、例えば、図４に例示されるような画像を取得する。図４は、物体検出部１１０が取得する画像の一例を示す図である。図４には、商品陳列棚の一部領域を撮影した場合の画像の一例が示されている。ここで、画像処理装置１０がカメラ機能を有する装置（例えば、スマートフォンやタブレット端末など）である場合、物体検出部１１０は、カメラ機能を起動させて生成した画像を処理対象の画像として取得することができる。また、画像処理装置１０とは別に設けられたカメラ機能を有する外部装置（例えば、図２の構成におけるユーザ端末２）が画像を生成する場合、物体検出部１１０は、ネットワークを介して当該外部装置によって生成された画像を取得することができる。

次に、物体検出部１１０は、取得された画像において物体が存在する領域を検出する（Ｓ１０４）。物体検出部１１０は、例えば、機械学習によって物体の領域を判別可能に構築された学習モデルを使って、個々の物体が位置する領域を検出する。図４に例示されるように、商品の陳列スペースを撮像した画像には、基本的に複数の物体（個々の商品）が存在し得る。そのため、Ｓ１０４の処理では、基本的に１つの画像から複数の領域が検出され得る。物体検出部１１０は、図４に例示されるような画像を解析した結果として得られる情報（処理結果情報、例：図５）を、メモリ１０３０やストレージデバイス１０４０などの記憶領域に記憶する。図５は、物体検出部１１０の処理によって記憶領域に記憶される処理結果情報の一例を示す図である。図５に例示される情報は、画像内で検出された個々の領域を識別するための情報（領域ＩＤ）と、画像座標系での当該領域の位置を示す情報（領域情報）とを含んでいる。なお、図５における「カテゴリ特定結果」および「商品識別結果」の列には、後述のカテゴリ特定部１２０の処理結果を示す情報および商品識別部１３０の処理結果を示す情報がそれぞれ格納される。

次に、カテゴリ特定部１２０は、Ｓ１０４の処理で検出された領域の１つを、処理対象領域として選択する（Ｓ１０６）。そしてカテゴリ特定部１２０は、選択した処理対象領域の形状に基づいて、当該処理対象領域に位置する物体が属するカテゴリを特定する（Ｓ１０８）。カテゴリ特定部１２０は、処理対象領域に位置する物体のカテゴリの特定結果を用いて、記憶領域に記憶されている処理結果情報を更新する（例：図６）。図６は、カテゴリ特定部１２０の処理によって更新された処理結果情報の一例を示す図である。カテゴリ特定部１２０は、図６に例示されるように、処理対象領域に位置する物体のカテゴリとして特定したカテゴリを示す情報を、「カテゴリ特定結果」の欄に格納する。

一例として、カテゴリ特定部１２０は、処理対象領域の高さ方向の大きさを用いて、当該処理対象領域に位置する物体のカテゴリを特定することができる。例えば、カテゴリ特定部１２０は、次のような処理を行う。まず、カテゴリ特定部１２０は、画像内での処理対象領域の位置を示す領域情報に基づいて、当該処理対象領域の高さ方向の大きさ（画素数）を算出する。次に、カテゴリ特定部１２０は、処理対象領域の高さ方向の大きさに対応するカテゴリを、領域の高さ方向の大きさとカテゴリとの対応関係を示す情報に基づいて特定する。ここで、画像内での領域の高さ方向の大きさとカテゴリとの対応関係は、例えば、想定される範囲で撮影位置を変えながら、商品（物体）の配置された陳列スペースを実際に撮影した結果に基づいて定めることができる。領域の高さ方向の大きさとカテゴリとの対応関係を示す情報は、カテゴリ特定部１２０がアクセス可能な記憶領域（例えば、メモリ１０３０やストレージデバイス１０４０など）に予め記憶されている。

他の一例として、カテゴリ特定部１２０は、処理対象領域の高さ方向の大きさと処理対象領域の幅方向の大きさの比率（アスペクト比）を用いて、当該処理対象領域に位置する物体のカテゴリを特定することもできる。例えば、カテゴリ特定部１２０は、画像内での処理対象領域の位置を示す領域情報に基づいて、当該処理対象領域の高さ方向の大きさおよび幅方向の大きさをそれぞれ算出する。さらに、カテゴリ特定部１２０は、高さ方向の大きさと幅方向の大きさを用いて、アスペクト比を算出する。そして、カテゴリ特定部１２０は、算出したアスペクト比に対応するカテゴリを、アスペクト比とカテゴリとの対応関係を示す情報に基づいて特定する。ここで、アスペクト比とカテゴリとの対応関係は、商品のサイズ（例えば、３５０ｍｌ缶のサイズやマルチパックの梱包サイズ）の情報を用いて定義することができる。アスペクト比とカテゴリとの対応関係を示す情報は、カテゴリ特定部１２０がアクセス可能な記憶領域（例えば、メモリ１０３０やストレージデバイス１０４０など）に予め記憶されている。

処理対象領域に位置する物体のカテゴリが特定された後、商品識別部１３０は、予め用意されている商品識別用の基準データと比較する画像特徴量を、処理対象領域から抽出する（Ｓ１１０）。ここで、商品識別用の基準データは、例えば図７に示されるような形式で、メモリ１０３０やストレージデバイス１０４０などの記憶領域に予め用意されている。図７は、商品識別用の基準データを含む商品情報の一例を示す図である。基準データは、商品画像または当該商品画像から抽出される画像特徴量である。

また、商品識別部１３０は、Ｓ１０８の処理で特定された処理対象領域に位置する物体のカテゴリに基づいて、商品識別用の基準データ全ての中から当該カテゴリに対応する基準データを選択する（Ｓ１１２）。例えば、Ｓ１０８の処理において処理対象領域に位置する物体のカテゴリが「５００ｍｌ」と特定されたとする。この場合に、商品識別部１３０は、図７に例示される基準データの中から、「５００ｍｌ」のカテゴリに対応する基準データ（２、６、１０および１４行目のレコードに格納されている基準データ）を、マッチング処理で用いる基準データとして選択する。

そして、商品識別部１３０は、カテゴリに基づいて選択した商品の基準データと、処理対象領域から得られた画像特徴量とを比較し、その類似度（マッチング処理で算出されるスコア）に基づいて当該領域に位置する物体（商品）を識別する（Ｓ１１４）。例えば、商品識別部１３０は、最も類似度の大きい基準データに紐付く商品ＩＤを商品の識別結果として取得する。また、商品識別部１３０は、所定の閾値以上の類似度を示す基準データ（複数存在する場合は、その中で最も類似度の大きい基準データ）を特定し、その基準データに紐付く商品ＩＤを商品の識別結果として取得するように構成されていてもよい。なお、所定の閾値以上の類似度を示す基準データが存在しない場合、商品識別部１３０は、単純に最も類似度の大きい基準データに紐付く商品ＩＤを取得するようにしてもよいし、商品が識別できなかったことを示す情報を生成してもよい。そして、商品識別部１３０は、商品の識別結果を用いて、記憶領域に記憶されている処理結果情報を更新する（例：図８）。図８は、商品識別部１３０の処理によって更新された処理結果情報の一例を示す図である。商品識別部１３０は、図８に例示されるように、マッチング処理による識別結果（商品の識別）として特定したカテゴリを示す情報を、「カテゴリ特定結果」の欄に格納する。なお、本図における「－」は、商品が識別できなかったことを示す情報を意味している。

Ｓ１０６からＳ１１４までの処理は、Ｓ１０４の処理で検出された全ての領域が処理対象領域として選択されるまで繰り返される。具体的には、処理対象領域として選択されていない領域が残っている場合（Ｓ１１６：ＹＥＳ）、未選択の領域の中から新たな処理対象領域が選択され、上述の処理が繰り返される。全ての領域が選択された場合（Ｓ１１６：ＮＯ）、表示処理部１４０は、各領域のマッチング処理の結果を用いて出力画像を生成し、当該出力画像を表示装置２０に出力する（Ｓ１１８）。

＜出力画像の一例＞
以下、表示処理部１４０によって出力される出力画像について、いくつか具体例をあげて説明する。図９から図１１は、第１実施形態の表示処理部１４０が表示装置２０に出力する出力画像の一例を示す図である。

図９の例において、表示処理部１４０は、例えば、物体が存在する領域を示す枠状の表示要素Ａ１を処理対象の画像に重畳させて、物体が存在する位置を可視化した出力画像を生成している。このとき、表示処理部１４０は、記憶領域に記憶された領域情報に基づいて、個々の領域に対応する表示要素Ａ１の表示位置（画像上での位置座標）を設定することができる。また、表示処理部１４０は、個々の領域の位置を示す表示要素Ａ１の表示態様を、各領域に関するマッチング処理の結果に応じて設定することができる。図９の例では、表示処理部１４０は、表示要素Ａ１の枠線の種類（実線／点線）によって、商品が識別できた領域（枠線が実線の領域）と商品が識別できなかった領域（枠線が点線の領域）とを区別可能にしている。このようにすることで、出力画像を確認する人物が、マッチング処理の成否を把握し易くなる。なお、表示処理部１４０は、枠線の種類に限らず、枠線の色、塗りつぶしパターンの種類などによって、商品が識別できた領域と商品が識別できなかった領域とを区別可能にしてもよい。

また、図９に例示されるように、表示処理部１４０は、処理対象の画像において識別された商品を示す商品リストＡ２を出力画像に含めるようにしてもよい。表示処理部１４０は、商品識別部１３０による各領域のマッチング処理の結果に基づいて、商品リストＡ２を生成することができる。この場合において、表示処理部１４０は、商品リストＡ２上での選択操作に応じて、出力画像を更新するように構成されていてもよい。例えば、図１０に例示されるように、商品リストＡ２上で選択された商品に対応する領域の表示要素Ａ１を強調表示するように構成されていてもよい。図１０の例では、商品リストＡ２上で「Ｃビール 缶３５０ｍｌ」を選択する入力が行われた状態が示されている。この場合、表示処理部１４０は、例えば、リスト上で選択された商品の識別情報に基づいて、記憶領域に記憶された情報（例：図８）から選択された商品に紐付く領域を特定する。そして、表示処理部１４０は、例えば、表示要素Ａ１の枠線の色、枠線の太さ、枠線の種類、枠内の塗りつぶしの種類などを変更することで、特定した領域に対応する表示要素Ａ１を強調表示する。このようにすることで、出力画像を確認する人物が、識別された各商品が画像上のどの位置に存在しているかを容易に把握できる。また、図１０に例示されるように、表示処理部１４０は、商品リストＡ２の選択状態に応じて、選択された商品の情報を示す表示要素Ａ３を画像上に更に表示するようにしてもよい。

また、表示処理部１４０は、同じ名称の商品かつ同じカテゴリに属する商品が連続して配置されている領域を１つの連続領域として認識し、その連続領域を示す表示要素Ｂ１と商品名およびカテゴリを示す表示要素Ｂ２を含む出力画像を生成してもよい（例：図１１）。図１１に例示されるような出力画像によっても、陳列スペースでの商品配置の詳細を容易に把握することができる。

［第２実施形態］
本実施形態は、以下で説明する点を除き、第１実施形態と同様の構成を有する。

図１２に示されるように、本実施形態のカテゴリ特定部１２０は、処理対象領域に位置する物体（対象物体）の両隣に位置する２つの他の物体について特定されたカテゴリの情報を用いて、当該対象物体のカテゴリを設定する。図１２は、第２実施形態のカテゴリ特定部１２０の機能を例示する図である。なお、図１２において、点線の枠は処理対象領域を意味している。本実施形態のカテゴリ特定部１２０は、処理対象領域に位置する対象物体１２０１のカテゴリを特定する際、当該物体１２０１の両隣に位置する２つの他の物体（物体１２０２および物体１２０３）のカテゴリが特定済みであり、かつ、当該２つの他の物体のカテゴリが同一であるか否かを判定する。図１２の例では、２つの他の物体（物体１２０２および物体１２０３）のカテゴリが特定済みであり、かつ、それらのカテゴリは同一である。この場合、カテゴリ特定部１２０は、物体１２０２および物体１２０３で共通しているカテゴリ（ここでは、「５００ｍｌ、単品」）を、処理対象領域に位置する対象物体１２０１のカテゴリとして設定する。なお、物体１２０２および物体１２０３のカテゴリが同一でない場合には、カテゴリ特定部１２０は、第１実施形態で説明したように、処理対象領域の形状に基づいてその処理対象領域に位置する対象物体１２０１のカテゴリを特定することができる。

＜作用・効果＞
本実施形態では、処理対象領域に位置する物体のカテゴリを特定する際、その物体の両隣に位置する２つの他の物体のカテゴリが特定済み、かつ、２つの他の物体のカテゴリが同一である場合、他の物体について特定されたカテゴリを処理対象領域に位置する物体のカテゴリとして設定する。例えば、本実施形態において、カテゴリ特定部１２０は、物体検出部１１０により検出された領域について、１つ飛ばしに領域の形状を用いたカテゴリ特定処理を行った後、残った領域について上述の処理を実行するように構成される。これにより、少なくとも一部の領域について、領域の形状を用いた処理よりも簡易な処理でカテゴリを特定でき、全体の処理時間の短縮が見込める。

なお、本実施形態において、カテゴリ特定部１２０は、対象物体の両隣に位置する２つの他の物体のカテゴリを用いて当該対象物体のカテゴリを設定するモードを使用することを示す入力に応じて、上述の処理を実行するように構成されていてもよい。例えば、処理対象の画像が取得された場合に、カテゴリ特定部１２０は、図１３に例示されるような画面を表示装置２０に表示させ、当該画面を介して、２つの他の物体について特定されたカテゴリを用いるモードを使用する領域を指定する入力を受け付けるように構成される。図１３は、２つの他の物体について特定されたカテゴリを用いるモードを使用する領域の設定入力を受け付ける画面の一例を示す図である。図１３の例において、カテゴリ特定部１２０は、マウスやタッチパネルなどの入力装置を用いたユーザの入力操作に応じて、領域を指定する入力を受け付ける。ユーザの入力操作は、例えば、任意の領域を指定する操作や、棚板の位置などによって特定された部分領域（陳列棚の各段）の少なくともいずれか１つを選択する操作などである。図１３に例示されるケースでは、カテゴリ特定部１２０は、商品陳列棚の真ん中の段に対応する領域を指定する入力操作を受け付け、当該領域を上記モードの対象領域として認識する。

このような構成によれば、ユーザが、処理対象の画像において本実施形態の処理を適用したい領域を任意に設定することができる。例えば、ユーザは、商品の配置パターンによって本実施形態の処理に適さない領域（同じカテゴリの商品が３つ以上連続して配置されていない領域など）を事前に除外することができる。

［第３実施形態］
機械（画像処理装置１０）による画像認識技術において、誤りを完全に排除することは現状難しい。最終的なアウトプットの精度を向上させるために、機械による判断が難しい部分については人の目で確認して修正する方法を採用することもあるが、本発明が対象とする陳列スペースの画像のように確認対象が多数存在する場合、人の目で１つ１つ確認していくことは非常に手間がかかる。本実施形態の画像処理装置１０は、この課題を解決する構成を更に備える。

＜機能構成＞
本実施形態の画像処理装置１０は、以下で説明する点を除き、第１実施形態と同様の構成を有する。また、本実施形態の画像処理装置１０は、第２実施形態で説明した機能を更に備えていてもよい。図１４は、第３実施形態における画像処理装置１０の機能構成を例示する図である。図１４に示されるように、本実施形態の画像処理装置１０は、識別誤り候補抽出部１５０を更に備えている点で、第１実施形態の構成と相違する。

識別誤り候補抽出部１５０は、商品を誤って識別している可能性のある領域（以下、「候補領域」とも表記）を特定する。識別誤り候補抽出部１５０の具体的な動作例については、後述する。また、本実施形態の表示処理部１４０は、識別誤り候補抽出部１５０による候補領域の特定結果に基づいて、当該候補領域を識別可能にする表示要素を更に含む出力画像を表示する。

＜処理の流れ＞
図１５は、第３実施形態の画像処理装置１０により実行される処理の流れを例示するフローチャートである。図１５の例で示される処理は、図３のＳ１１６の判定処理が「ＮＯ」となった後、図３のＳ１１８の処理に代えて実行される。

物体検出部１１０によって検出された領域の全てが処理対象領域として選択された場合（Ｓ１１６：ＮＯ）、識別誤り候補抽出部１５０は、処理対象領域の中から候補領域を特定する（Ｓ２０２）。

一例として、識別誤り候補抽出部１５０は、商品識別部１３０によるマッチング処理の確信度（商品識別結果の確からしさ）に基づいて候補領域を特定するように構成されていてもよい。マッチング処理の確信度は、例えば、マッチング処理の結果として得られるスコア（類似度）の大きさに基づいて判断することができる。具体的には、識別誤り候補抽出部１５０は、マッチング処理の結果得られた類似度が高いほど当該マッチング処理の確信度が高いと判断できる。識別誤り候補抽出部１５０は、例えば各領域のマッチング処理の結果（類似度）が所定の閾値未満か否かを判定し、マッチング処理の結果として所定の閾値未満の類似度が得られた領域を候補領域として特定する。

他の一例として、識別誤り候補抽出部１５０は、商品識別部１３０によるマッチング処理の結果から得られる商品の配列に基づいて候補領域を特定するように構成されていてもよい。例えば、識別誤り候補抽出部１５０は、商品のイレギュラーな配置を検出し、その商品に対応する領域を候補領域として特定することができる。具体的な例として、識別誤り候補抽出部１５０は、ある特定の商品だけフェイス数（商品の列の数）が異なっている状態を商品の識別結果から検出できた場合に、当該商品に対応する領域を候補領域として特定することができる。また、他の具体的な例として、識別誤り候補抽出部１５０は、ある第１のカテゴリ（例：５００ｍｌ、単品）に属する商品が連続して配置されている領域において当該第１のカテゴリとは異なる第２のカテゴリ（例：マルチパック）に属する商品が突然現れるような状態を「商品のイレギュラーな配置」として検出し、その第２のカテゴリに属する商品に対応する領域を候補領域として特定することができる。

そして、表示処理部１４０は、商品識別部１３０による各領域のマッチング処理の結果およびＳ２０２の処理における候補領域の特定結果を用いて出力画像を生成し、当該出力画像を表示装置２０に出力する（Ｓ２０４）。

＜出力画像の一例＞
図１６は、第２実施形態の表示処理部１４０が表示装置２０に出力する出力画像の一例を示す図である。図１６の例において、表示処理部１４０は、表示要素Ｂ（斜線の塗りつぶしパターン）によって、商品を誤って識別している可能性のある領域をその他の領域と区別可能にしている。表示処理部１４０は、例えば、図１７に例示されるような情報を用いて、出力画像を生成することができる。

図１７は、画像処理装置１０の各処理部の処理結果を示す情報の一例を示す図である。図１７に例示される情報は、図５、６、および８と異なり、「候補領域フラグ」の列を更に有している。ここで、識別誤り候補抽出部１５０は、ある領域が候補領域として特定された場合に、当該領域の「候補領域フラグ」の列にその領域が候補領域であることを示す情報（本図の例では、「１（候補領域）」）を設定する。そして、表示処理部１４０は、候補領域フラグに「１（候補領域）」が設定されていか否かによって、各領域に対応する表示要素（例：枠状の表示要素）の表示態様を変更する。具体的には、表示処理部１４０は、候補領域として特定した領域に対して特定のマークを付与する、或いは、枠線の種類、枠線の色、枠線の太さ、枠内の塗りつぶしパターンの種類などを候補領域特有の態様に設定する。これにより、候補領域を区別可能な出力画像が生成される。そして、表示処理部１４０は、生成した出力画像を表示装置２０に出力する。

＜作用・効果＞
本実施形態では、商品を誤って識別している可能性のある領域（候補領域）を判別するための情報を含む出力画像が表示装置２０に表示される。これにより、出力画像を確認する人物が、画像処理装置１０による判断誤りの可能性がある領域を容易に見つけることができる。その結果、例えば誤りを修正するといった、最終的なアウトプットの精度を高める措置を効率的に行うことができる。

以上、図面を参照して本発明の実施の形態について述べたが、本発明はこれらに限定されて解釈されるべきものではなく、本発明の要旨を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、改良等を行うことができる。実施形態に開示されている複数の構成要素は、適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよいし、異なる実施形態の構成要素を適宜組み合わせてもよい。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
画像において物体が存在する領域を検出する物体検出手段と、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段と、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段と、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示処理手段と、
を備える画像処理装置。
２．
前記物体検出手段は、機械学習により構築された学習モデルを用いて、前記物体が存在する領域を検出する、
１．に記載の画像処理装置。
３．
前記カテゴリ特定手段は、前記物体に両隣に位置する２つの他の物体それぞれについて特定されたカテゴリが同一であった場合、前記物体のカテゴリを前記２つの他の物体と同一のカテゴリに設定する、
１．または２．に記載の画像処理装置。
４．
前記カテゴリ特定手段は、前記２つの他の物体のカテゴリを用いて前記物体のカテゴリを設定するモードを使用する入力に応じて、前記２つの他の物体のカテゴリを用いて前記物体のカテゴリを設定する処理を実行する、
３．に記載の画像処理装置。
５．
前記カテゴリ特定手段は、前記領域の高さ方向の大きさ、および、前記領域の高さ方向の大きさと前記領域の横方向の大きさとの比率の少なくとも一方を用いて、前記物体のカテゴリを特定する、
１．から４．のいずれか１つに記載の画像処理装置。
６．
商品を誤って識別している可能性のある候補領域を特定する識別誤り候補抽出手段を更に備え、
前記表示処理手段は、前記候補領域を識別可能とする表示要素を更に含む前記出力画像に重畳させる、
１．から５．のいずれか１つに記載の画像処理装置。
７．
前記識別誤り候補抽出手段は、前記識別結果の確信度に基づいて前記候補領域を特定する、
６．に記載の画像処理装置。
８．
前記識別誤り候補抽出手段は、前記識別結果から得られる商品の配列に基づいて前記候補領域を特定する、
６．に記載の画像処理装置。
９．
コンピュータが、
画像において物体が存在する領域を検出し、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定し、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別し、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する、
ことを含む画像処理方法。
１０．
前記コンピュータが、機械学習により構築された学習モデルを用いて、前記物体が存在する領域を検出する、
ことを含む９．に記載の画像処理方法。
１１．
前記コンピュータが、前記物体に両隣に位置する２つの他の物体それぞれについて特定されたカテゴリが同一であった場合、前記物体のカテゴリを前記２つの他の物体と同一のカテゴリに設定する、
ことを含む９．または１０．に記載の画像処理方法。
１２．
前記コンピュータが、前記２つの他の物体のカテゴリを用いて前記物体のカテゴリを設定するモードを使用する入力に応じて、前記２つの他の物体のカテゴリを用いて前記物体のカテゴリを設定する処理を実行する、
ことを含む１１．に記載の画像処理方法。
１３．
前記コンピュータが、前記領域の高さ方向の大きさ、および、前記領域の高さ方向の大きさと前記領域の横方向の大きさとの比率の少なくとも一方を用いて、前記物体のカテゴリを特定する、
ことを含む９．から１２．のいずれか１つに記載の画像処理方法。
１４．
前記コンピュータが、
商品を誤って識別している可能性のある候補領域を特定し、
前記表示処理手段は、前記候補領域を識別可能とする表示要素を更に含む前記出力画像に重畳させる、
ことを含む９．から１３．のいずれか１つに記載の画像処理方法。
１５．
前記コンピュータが、前記識別結果の確信度に基づいて前記候補領域を特定する、
ことを含む１４．に記載の画像処理方法。
１６．
前記コンピュータが、前記識別結果から得られる商品の配列に基づいて前記候補領域を特定する、
ことを含む１４．に記載の画像処理方法。
１７．
コンピュータを、
画像において物体が存在する領域を検出する物体検出手段、
検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段、
特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段、
検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示出力手段、
として機能させるためのプログラム。
１８．
前記物体検出手段は、機械学習により構築された学習モデルを用いて、前記物体が存在する領域を検出する、
１７．に記載のプログラム。
１９．
前記カテゴリ特定手段は、前記物体に両隣に位置する２つの他の物体それぞれについて特定されたカテゴリが同一であった場合、前記物体のカテゴリを前記２つの他の物体と同一のカテゴリに設定する、
１７．または１８．に記載のプログラム。
２０．
前記カテゴリ特定手段は、前記２つの他の物体のカテゴリを用いて前記物体のカテゴリを設定するモードを使用する入力に応じて、前記２つの他の物体のカテゴリを用いて前記物体のカテゴリを設定する処理を実行する、
１９．に記載のプログラム。
２１．
前記カテゴリ特定手段は、前記領域の高さ方向の大きさ、および、前記領域の高さ方向の大きさと前記領域の横方向の大きさとの比率の少なくとも一方を用いて、前記物体のカテゴリを特定する、
１７．から２０．のいずれか１つに記載のプログラム。
２２．
前記コンピュータを、
商品を誤って識別している可能性のある候補領域を特定する識別誤り候補抽出手段として更に機能させ、
前記表示処理手段は、前記候補領域を識別可能とする表示要素を更に含む前記出力画像に重畳させる、
１７．から２１．のいずれか１つに記載のプログラム。
２３．
前記識別誤り候補抽出手段は、前記識別結果の確信度に基づいて前記候補領域を特定する、
２２．に記載のプログラム。
２４．
前記識別誤り候補抽出手段は、前記識別結果から得られる商品の配列に基づいて前記候補領域を特定する、
２２．に記載のプログラム。

１０ 画像処理装置
１０１０ バス
１０２０ プロセッサ
１０３０ メモリ
１０４０ ストレージデバイス
１０５０ 入出力インタフェース
１０６０ ネットワークインタフェース
１１０ 物体検出部
１２０ カテゴリ特定部
１３０ 商品識別部
１４０ 表示処理部
１５０ 識別誤り候補抽出部
２ ユーザ端末
２０ 表示装置

Claims (9)

1. 画像において物体が存在する領域を検出する物体検出手段と、
   検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段と、
   特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段と、
   検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示処理手段と、
   を備え、
   前記カテゴリ特定手段は、前記物体の両隣に位置する２つの他の物体それぞれについて特定されたカテゴリが同一であった場合、前記物体のカテゴリを前記２つの他の物体と同一のカテゴリに設定する画像処理装置。
2. 前記物体検出手段は、機械学習により構築された学習モデルを用いて、前記物体が存在する領域を検出する、
   請求項１に記載の画像処理装置。
3. 前記カテゴリ特定手段は、前記２つの他の物体のカテゴリを用いて前記物体のカテゴリを設定するモードを使用する入力に応じて、前記２つの他の物体のカテゴリを用いて前記物体のカテゴリを設定する処理を実行する、
   請求項１又は２に記載の画像処理装置。
4. 前記カテゴリ特定手段は、前記領域の高さ方向の大きさ、および、前記領域の高さ方向の大きさと前記領域の横方向の大きさとの比率の少なくとも一方を用いて、前記物体のカテゴリを特定する、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 商品を誤って識別している可能性のある候補領域を特定する識別誤り候補抽出手段を更に備え、
   前記表示処理手段は、前記候補領域を識別可能とする表示要素を更に含む前記出力画像を表示装置に出力する、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記識別誤り候補抽出手段は、前記識別結果の確信度に基づいて前記候補領域を特定する、
   請求項５に記載の画像処理装置。
7. 前記識別誤り候補抽出手段は、前記識別結果から得られる商品の配列に基づいて前記候補領域を特定する、
   請求項５に記載の画像処理装置。
8. コンピュータが、
   画像において物体が存在する領域を検出し、
   検出された前記領域の形状を用いて前記物体の属するカテゴリを特定し、
   特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別し、
   検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する、
   ことを含み、
   前記物体の両隣に位置する２つの他の物体それぞれについて特定されたカテゴリが同一であった場合、前記物体のカテゴリを前記２つの他の物体と同一のカテゴリに設定する画像処理方法。
9. コンピュータを、
   画像において物体が存在する領域を検出する物体検出手段、
   検出された前記領域の形状を用いて前記物体の属するカテゴリを特定するカテゴリ特定手段、
   特定された前記カテゴリに対応する商品の基準データと前記領域から得られる特徴量とに基づいて商品を識別する商品識別手段、
   検出された前記領域の位置と商品の識別結果とを示す情報を含む出力画像を表示装置に出力する表示出力手段、
   として機能させ、
   前記カテゴリ特定手段は、前記物体の両隣に位置する２つの他の物体それぞれについて特定されたカテゴリが同一であった場合、前記物体のカテゴリを前記２つの他の物体と同一のカテゴリに設定するプログラム。

Images