JP7339630B1 - 情報処理システム - Google Patents

Abstract

【課題】画像情報から商品を同定する場合の認識精度を向上させる情報処理システムを提供することを目的とする。【解決手段】画像情報に写っている商品を同定する情報処理システムであって、商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部と、陳列棚を撮影した画像情報に写っている商品の商品識別情報を同定する認識処理部と、を有しており、認識処理部は、画像情報と第１の学習モデルとを用いて、画像情報に写っている商品の外形をフェイス領域として特定し、特定したフェイス領域に写っている商品の商品識別情報を同定する、情報処理システムである。【選択図】 図１

Description

本発明は、画像情報から商品を同定する場合の認識精度を低下させない情報処理システムに関する。

コンビニエンスストア、スーパーなどの各種の店舗では、販売している商品を陳列棚に置いて販売をしていることが一般的である。この陳列方法としては、購買者に対して目につきやすくするために商品を横方向に複数陳列しておく、あるいは、商品の一つが購入されても、同一の商品をほかの人が購入できるように、商品を縦方向に陳列しておく場合がある。そして、商品が陳列棚のどこにいくつ陳列されているかを管理することは、商品の販売戦略上、重要である。

そのため、店舗における商品の実際の陳列状況を把握するため、陳列棚を撮影装置で撮影し、その撮影した画像情報から陳列されている商品を自動的に特定する方法がある。たとえば商品ごとの標本画像をもとに、店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として、たとえば、下記特許文献１、特許文献２がある。

特開平５－３４２２３０号公報 特開平５－３３４４０９号公報

特許文献１の発明は、商品をどの陳列棚に陳列すべきかが知識のない者にもできるように支援するシステムである。そのため、商品をどこに陳列するかを把握することはできるが、陳列されている商品を特定するものではない。また特許文献２は、商品の陳列を支援する棚割支援システムにおいて、商品画像の入力を支援するシステムである。しかし特許文献２のシステムでは、棚割支援システムを利用する際の商品画像の入力を支援するのみであって、このシステムを用いたとしても、具体的な商品の陳列状況を把握することはできない。

さらに、特許文献１、特許文献２以外にも、陳列棚を撮影した画像情報から陳列されている商品を画像認識処理技術を用いて同定する技術もある。これによって、店舗における実際の陳列状況を把握することはできる点で有益である。

従来技術において画像認識処理技術を用いて商品を同定する場合、陳列棚を撮影した画像情報から、商品があると思われる矩形領域を検出し、その矩形領域について商品の標本画像とマッチング処理を実行する、あるいは矩形領域を入力値として深層学習（ディープラーニング）の処理を実行することで、商品を同定する。

しかし、商品の形状（輪郭）は矩形とは限らない。商品があると思われる領域を矩形で検出すると、当該矩形領域にほかの商品の一部が写り込む場合がある。また、当該矩形領域に背景が写り込む場合もある。そのため、このような矩形領域を、深層学習（ディープラーニング）の教師データや処理対象の画像、あるいは画像マッチング処理とすると、商品を同定する精度を低下させる原因となる課題がある。

本発明者は上記課題に鑑み、画像情報から陳列している商品を同定する際に、商品を同定する精度を向上させる情報処理システムを発明した。

第１の発明は、画像情報に写っている商品を同定する情報処理システムであって、商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部と、陳列棚を撮影した画像情報に写っている商品の商品識別情報を同定する認識処理部と、を有しており、前記認識処理部は、前記画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている商品の外形をフェイス領域として特定し、前記特定したフェイス領域に写っている商品の商品識別情報を同定する、情報処理システムである。

本発明のように、商品の輪郭を外形としたマスク処理したデータによる第１のアノテーションデータを用いて機械学習した学習モデルを利用して商品識別情報を同定することで、陳列棚を撮影した画像情報から切り出すフェイス領域を従来のような矩形領域から、商品の外形に沿った領域にできる。これによって、ほかの商品や背景の写り込みを減らすことができ、商品を同定する際の精度を向上させることができる。

上述の発明において、前記第１の学習処理部は、前記第１のアノテーションデータを用いて画像セグメンテーションによる機械学習をして前記第１の学習モデルを作成する、情報処理システムのように構成することができる。

機械学習をする際には、画像セグメンテーションの方法による機械学習が好ましい。

上述の発明において、前記情報処理システムは、商品の画像データと商品識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をして第２の学習モデルを作成する第２の学習処理部、を有しており、前記認識処理部は、前記特定したフェイス領域の画像情報と前記第２の学習モデルとを用いて、前記フェイス領域に写っている商品の商品識別情報を同定する、情報処理システムのように構成することができる。

上述の発明において、前記認識処理部は、前記特定したフェイス領域の画像情報と、標本情報記憶部に記憶する商品の標本情報とを画像マッチング処理することで、前記フェイス領域に写っている商品の商品識別情報を同定する、情報処理システムのように構成することができる。

フェイス領域が商品の輪郭を外形とした領域で構成されているため、これらの発明のような処理を行うことで商品識別情報を同定することが好ましい。

第５の発明は、画像情報に写っている商品を同定する情報処理システムであって、商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部、を有しており、前記第１の学習モデルと陳列棚を撮影した画像情報とを用いて、前記画像情報に写っている商品の外形をフェイス領域として特定させ、前記特定したフェイス領域に写っている商品の商品識別情報を同定させる、情報処理システムである。

第６の発明は、画像情報に写っている商品を同定する情報処理システムであって、陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部と、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報から、写っている商品の商品識別情報を同定する陳列商品認識処理部と、を有しており、前記陳列商品認識処理部は、商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をすることによって作成された第１の学習モデルと、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報とを用いて、前記写っている商品の外形をフェイス領域として特定し、前記特定したフェイス領域に写っている商品の商品識別情報を同定する、情報処理システムである。

これらの発明のように構成しても、第１の発明と同様の技術的効果を得ることができる。

第１の発明は、本発明のプログラムをコンピュータに読み込ませて実行することで、実現することができる。すなわち、コンピュータを、商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部、陳列棚を撮影した画像情報に写っている商品の商品識別情報を同定する認識処理部、として機能させる情報処理プログラムであって、前記認識処理部は、前記画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている商品の外形をフェイス領域として特定し、前記特定したフェイス領域に写っている商品の商品識別情報を同定する、情報処理プログラムである。

第５の発明は、本発明のプログラムをコンピュータに読み込ませて実行することで、実現することができる。すなわち、コンピュータを、商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部、として機能させる情報処理プログラムであって、前記第１の学習モデルと陳列棚を撮影した画像情報とを用いて、前記画像情報に写っている商品の外形をフェイス領域として特定させ、前記特定したフェイス領域に写っている商品の商品識別情報を同定させる、情報処理プログラムである。

第６の発明は、本発明のプログラムをコンピュータに読み込ませて実行することで、実現することができる。すなわち、コンピュータを、陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報から、写っている商品の商品識別情報を同定する陳列商品認識処理部、として機能させる情報処理プログラムであって、前記陳列商品認識処理部は、商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をすることによって作成された第１の学習モデルと、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報とを用いて、前記写っている商品の外形をフェイス領域として特定し、前記特定したフェイス領域に写っている商品の商品識別情報を同定する、情報処理プログラムである。

本発明の情報処理システムを用いることで、画像情報から陳列している商品を同定する際の同定の精度を向上させることが可能となる。

本発明の情報処理システムの構成の一例を模式的に示すブロック図である。 本発明の情報処理システムにおける陳列商品認識処理部の構成の一例を模式的に示すブロック図である。 本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。 本発明の情報処理システムにおける学習処理の処理プロセスの一例を示すフローチャートである。 本発明の情報処理システムにおける認識処理の処理プロセスの一例を示すフローチャートである。 第１のアノテーションデータの一例を模式的に示す図である。 第１のアノテーションデータの他の一例を模式的に示す図である。 第２のアノテーションデータの一例を模式的に示す図である。 第２のアノテーションデータの他の一例を模式的に示す図である。 撮影画像情報の一例を示す図である。 撮影画像情報の他の一例を示す図である。 図１０の撮影画像情報を正置化した画像情報の一例を示す図である。 図１１の撮影画像情報を正置化した画像情報の一例を示す図である。 商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域の指定の入力を受け付けた状態を模式的に示す図である。 商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域の指定の入力を受け付けた状態を模式的に示す図である。 棚段領域の画像情報からフェイス領域を特定した場合の一例を示す図である。 撮影画像情報の一例を示す図である。 図１７の撮影画像情報に対して正置化処理を実行した正置画像情報の一例を示す図である。 実施例２における情報処理システムの構成の一例を模式的に示すブロック図である。 標本情報記憶部に記憶される標本情報の一例を示す図である。 実施例３における陳列商品認識処理部の一例を模式的に示すブロック図である。

本発明の情報処理システム１の処理機能の一例をブロック図で図１および図２に示す。情報処理システム１は、管理端末２と画像情報入力端末３とを用いる。図１は情報処理システム１の全体の機能を示すブロック図であり、図２は後述する陳列商品認識処理部２１４の機能を示すブロック図である。

管理端末２は、情報処理システム１を運営する企業等の組織が利用するコンピュータである。また、画像情報入力端末３は、店舗の陳列棚を撮影した画像情報の入力を行う端末である。

情報処理システム１における管理端末２、画像情報入力端末３は、コンピュータを用いて実現される。図３にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは、プログラムの演算処理を実行するＣＰＵなどの演算装置７０と、情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と、情報を表示するディスプレイなどの表示装置７２と、情報の入力が可能なキーボードやマウスなどの入力装置７３と、演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

コンピュータがタッチパネルディスプレイを備えている場合には、表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは、たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが、それに限定するものではない。

タッチパネルディスプレイは、そのディスプレイ上で、直接、所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で、表示装置７２と入力装置７３の機能が一体化した装置である。

画像情報入力端末３は、上記の各装置のほか、カメラなどの撮影装置を備えていてもよい。画像情報入力端末３として、携帯電話、スマートフォン、タブレット型コンピュータなどの可搬型通信端末を用いることもできる。

本発明における各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は、その処理順序を適宜変更することもできる。また、処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合、正置化処理をしていない画像情報に対する処理を実行することができる。

情報処理システム１は、学習処理部２０と認識処理部２１とを有する。学習処理部２０は、第１の学習処理部２０１と第２の学習処理部２０２とを有する。

第１の学習処理部２０１は、第１のアノテーションデータを用いて、陳列棚を撮影した画像情報に対する機械学習による学習処理、好ましくは、画像セグメンテーションの方法による学習処理を行う。この学習処理とは、機械学習における学習処理であって、たとえば深層学習（ディープラーニング）を用いた学習モデルを作成するため、画像セグメンテーションによる学習処理を実行する。

第１のアノテーションデータとは、陳列棚に陳列される可能性のある商品の輪郭を外形とし、その輪郭による閉領域の内側をマスク処理したデータと、その商品の輪郭の属性を分類したタグ（ラベル）とを対応づけたデータである。第１のアノテーションデータは、一つの商品に一つでなくてもよく、一つの商品に複数あってもよい。すなわち、複数の方向から商品の輪郭を外形としてその内側をマスク処理したデータと属性とを対応づけて、それぞれを当該商品の第１のアノテーションデータとしてもよい。属性とは、たとえば、商品の容器の分類や商品の商品識別情報（ＪＡＮコードなど）などである。容器の分類としては、缶、ビン、箱、パウチ容器など容器の種類であってもよいし、洗剤容器のように用途に応じたさらに細分化されたものであってもよい。すなわち、属性とは、当該商品の輪郭による閉領域がどのように分類されるかを示すものであればよい。第１のアノテーションデータの一例を図６および図７に示す。商品識別情報としては、ＪＡＮコードに限られるものではなく、商品を一意に識別できる情報であれば如何なる情報であってもよい。

図６は、缶の輪郭とその輪郭による閉領域の内側をマスク処理したデータと、属性として「缶」を対応づけて第１のアノテーションデータとした場合を示しており、図７は、詰め替え用シャンプーの輪郭とその輪郭による閉領域の内側をマスク処理したデータと、属性として「パウチ容器」を対応づけて第１のアノテーションデータとした場合を示している。第１のアノテーションデータにおける属性としては、商品の輪郭自体から商品を同定できるような場合には、容器の分類ではなく、ＪＡＮコードなどの商品の識別情報を用いてもよい。

第１の学習処理部２０１での第１のアノテーションデータを用いて機械学習用の学習処理を実行することで、陳列棚を撮影した画像情報から、商品の輪郭の領域を特定するための学習モデル（第１の学習モデル）を作成する。

第２の学習処理部２０２は、第２のアノテーションデータを用いて、機械学習の学習処理を実行することで、所定の画像情報、好ましくは後述するフェイス領域の画像情報から、その領域にある商品の商品識別情報を同定するための学習モデル（第２の学習モデル）を作成する。この際の学習処理としては、好ましくは画像分類（Image Classification）の方法による学習処理を実行するとよいが、物体検出（Object Detection）、画像分類・物体位置特定（Image Classification・Localization）などの方法であってもよい。

第２のアノテーションデータとは、陳列棚に陳列される可能性のある商品の画像情報と、その商品の商品識別情報をタグ（ラベル）として対応づけたデータである。第２のアノテーションデータの一例を図８および図９に示す。第２のアノテーションデータも第１のアノテーションデータと同様に、一商品に一つでなくてもよく、複数あってもよい。すなわち、複数の方向から商品を撮影し、各方向からの商品の画像情報と商品識別情報を対応づけて第２のアノテーションデータとしてもよい。

図８は、缶の画像情報と、商品識別情報とを対応づけて第２のアノテーションデータとした場合を示しており、図９は、詰め替え用シャンプーの画像情報と、商品識別情報とを対応づけて第２のアノテーションデータとした場合を示している。図８の第２のアノテーションデータは、図６の第１のアノテーションデータに対応し、図８の第２のアノテーションデータは、図７の第２のアノテーションデータに対応する。

認識処理部２１は、画像情報入力受付処理部２１０と画像情報記憶部２１１と画像情報正置化処理部２１２と棚段特定処理部２１３と陳列商品認識処理部２１４とを有する。

画像情報入力受付処理部２１０は、画像情報入力端末３で撮影した店舗の陳列棚の画像情報（撮影画像情報）の入力を受け付け、後述する画像情報記憶部２１１に記憶させる。画像情報入力端末３からは、撮影画像情報のほか、撮影日時、店舗名などの店舗識別情報、画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図１０、図１１に撮影画像情報の一例を示す。図１０、図１１では、陳列棚に３段の棚段があり、そこに商品が陳列されている撮影画像情報である。なお、本発明においては特にその処理を明記はしないが、陳列棚や棚段は横方向に長いことが多い。そのため、その処理においては、一定の幅で区切り、各処理の処理対象としてもよい。

画像情報記憶部２１１は、画像情報入力端末３から受け付けた撮影画像情報、撮影日時、店舗識別情報、画像情報識別情報などを対応づけて記憶する。撮影画像情報とは、本発明の処理対象となる画像情報であればよい。一般的には、単に撮影した場合、撮影対象物を正対した状態で撮影することが困難であることから、それを正対した状態に補正する補正処理、たとえば台形補正処理などを実行することがよい。一つの陳列棚を複数枚で撮影した場合に、それが一つの画像情報として合成された画像情報も含まれる。また、歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。

画像情報正置化処理部２１２は、画像情報記憶部２１１に記憶した撮影画像情報に対して、撮影対象物が正対した状態になるように補正する処理（正置化処理）、たとえば台形補正処理を実行した正置画像情報を生成する。台形補正処理は、撮影画像情報に写っている陳列棚の棚段が水平になるように行う補正処理である。正置化とは、撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って、十分に遠方から撮影した場合と同じになるように画像情報を変形させることであり、たとえば台形補正処理があるが、それに限定するものではない。

画像情報正置化処理部２１２が実行する台形補正処理は、撮影画像情報において４頂点の指定の入力を受け付け、その各頂点を用いて台形補正処理を実行する。指定を受け付ける４頂点としては、陳列棚の棚段の４頂点であってもよいし、陳列棚の棚位置の４頂点であってもよい。また、２段、３段の棚段のまとまりの４頂点であってもよい。４頂点としては任意の４点を指定できる。図１２に図１０の撮影画像情報を、図１３に図１１の撮影画像情報をそれぞれ正置化した撮影画像情報（正置画像情報）の一例を示す。

棚段特定処理部２１３は、画像情報正置化処理部２１２において撮影画像情報に対して台形補正処理を実行した正置画像情報のうち、商品が配置される可能性のある棚段の領域（棚段領域）を特定する。撮影画像情報および正置画像情報には陳列棚が写っているが、陳列棚には、商品が陳列される棚段領域がある。そのため、正置画像情報から棚段領域を特定する。棚段領域の特定としては、管理端末２の操作者が手動で棚段領域を指定し、それを棚段特定処理部２１３が受け付けてもよいし、初回に手動で入力を受け付けた棚段領域の情報に基づいて、二回目以降は自動で棚段領域を特定してもよい。

図１４に、飲料缶などの商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して、棚段領域の指定の入力を受け付けた状態を模式的に示す。また、図１５に、歯ブラシなどの商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して、棚段領域の指定の入力を受け付けた状態を模式的に示す。

なお、棚段特定処理部２１３は、棚段領域を特定する際に、深層学習（ディープラーニング）を用いて棚段領域を特定してもよい。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、上記正置画像情報を入力し、その出力値に基づいて、棚段領域を特定してもよい。また学習モデルとしては、さまざまな正置画像情報に棚段領域を正解データとして与えたものを用いることができる。

棚段特定処理部２１３で特定した棚段領域は、その画像情報を棚段領域画像情報として特定する。棚段特定処理部２１３は、実際に、画像情報として切り出してもよいし、実際には画像情報としては切り出さずに、領域の画像情報を座標などで特定するなどによって、仮想的に切り出すのでもよい。なお、陳列棚に棚段が複数ある場合には、それぞれが棚段領域画像情報として切り出される。また棚段の領域を示す座標としては、その領域を特定するための頂点の座標であり、正置画像情報におけるたとえば４点、右上と左下、左上と右下の２点の座標などでよい。また、正置画像情報における陳列棚など、画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。なお、本明細書において画像情報を切り出すとは、棚段特定処理部２１３における切り出しと同様に、実際に、画像情報として切り出してもよいし、実際には画像情報としては切り出さずに、領域の画像情報を座標などで特定するなどによって、仮想的に切り出すのでもよい。

陳列商品認識処理部２１４は、画像情報、好ましくは撮影画像情報若しくは正置画像情報に写っている陳列棚から、陳列されている商品を認識する処理を実行する。

陳列商品認識処理部２１４は、フェイス特定処理部２１４１と商品同定処理部２１４２とを有する。

フェイス特定処理部２１４１は、正置画像情報における棚段領域における棚段ごとに、フェイスの領域（フェイス領域）を特定する。フェイスとは商品が置かれる領域であって、その商品が置かれているか否かは問わない。フェイス領域の大きさは、そこに置かれるべき商品と同一または略同一の大きさである。

フェイス特定処理部２１４１は、第１の学習処理部２０１において学習させた学習モデル（第１の学習モデル）に、撮影画像情報、正置画像情報若しくは棚段領域の画像情報を入力値として入力し、入力した画像情報からフェイス領域を特定する。すなわち、フェイス特定処理部２１４１は、第１の学習処理部２０１において学習させた学習モデル（中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデル）に対して、処理対象とする領域、たとえば棚段領域の画像情報を入力し、その出力値に基づいて、フェイスの領域を特定する。特定したフェイスの領域については、フェイス領域を識別するフェイス識別情報を割り当てて、撮影画像情報、正置画像情報若しくは棚段領域の画像情報における位置情報（たとえば画像情報における座標）とともに商品識別情報記憶部２２に記憶させる。

図１６に、棚段領域の画像情報からフェイス領域を特定した場合の一例を示す。図１６（ａ）は第１の学習処理部２０１により学習させた学習モデルに対して入力する棚段領域の画像情報の一例であり、図１６（ｂ）は図１６（ａ）で入力値とした棚段領域の画像情報において、上記学習モデルを用いてフェイス領域を特定した状態の一例を示す図である。図１６（ｂ）では棚段領域においてフェイス領域を特定した状態を重畳して示しているが、特定したフェイス領域の画像情報をそのまま切り出して出力をしてもよい。

商品同定処理部２１４２は、フェイス領域に表示されている商品の商品識別情報を、第２の学習処理部２０２において学習させた学習モデル（第２の学習モデル）に、フェイス領域の画像情報を入力値として入力し、入力された画像情報からその領域にある商品の識別情報を同定する。すなわち、商品同定処理部２１４２は、第２の学習処理部２０２において学習させた学習モデル（中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデル）に対して、処理対象とするフェイス領域の画像情報を入力し、その出力値に基づいて、フェイス領域にある商品の商品識別情報を同定する。

陳列商品認識処理部２１４は、フェイス特定処理部２１４１、商品同定処理部２１４２の処理をまとめて深層学習などによって実行してもよい。

商品識別情報記憶部２２は、陳列棚の棚段の各フェイスに表示されている商品の商品識別情報を示す情報を記憶する。たとえば、商品識別情報に対応付けて、撮影日時情報、店舗情報、撮影画像情報の画像情報識別情報、正置画像情報の画像識別情報、フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部２２に記憶する。

つぎに本発明の情報処理システム１の処理プロセスの一例を図４および図５のフローチャートを用いて説明する。なお、以下の説明では、撮影画像情報から陳列している商品の商品識別情報を同定する場合を説明する。

まず、本発明の情報処理システム１の認識処理部２１で用いる学習モデルを学習するための、学習処理を、図４のフローチャートを用いて説明する。

第１の学習処理部２０１における学習モデルの教師データとして、第１のアノテーションデータを作成する（Ｓ１００）。第１のアノテーションデータは、陳列棚に陳列される可能性のある商品の輪郭により外形を形成し、その外形の内側の閉領域をマスク処理した画像データとする。この画像データに、属性をタグとして対応づけて作成する（図６、図７参照）。

同様に、第２の学習処理部２０２における学習モデルの教師データとして、第２のアノテーションデータを作成する（Ｓ１１０）。第２のアノテーションデータは、陳列棚に陳列される可能性のある商品の画像に、その商品の商品識別情報をタグとして対応づけて作成する。この際の商品の画像情報は、第１のアノテーションデータに対応しているとよく、商品の輪郭を外形とした画像情報であるとよい。

そして、作成した第１のアノテーションデータを教師データとして入力し、第１の学習処理部２０１において機械学習用の学習処理を実行し、陳列棚を撮影した画像情報から、商品の輪郭の領域を特定するための学習モデル（第１の学習モデル）を作成する（Ｓ１２０）。

また、作成した第２のアノテーションデータを教師データとして入力し、第２の学習処理部２０２において機械学習用の学習処理を実行し、画像情報、好ましくはフェイス領域からその領域にある商品の商品識別情報を同定するための学習モデル（第２の学習モデル）を作成する（Ｓ１３０）。

以上のような処理を実行することで、各学習モデルを作成することができる。

つぎに、陳列棚を撮影した画像情報から、陳列棚に陳列されている商品の商品識別情報を同定するための認識処理を、図５のフローチャートを用いて説明する。

店舗の陳列棚が撮影された撮影画像情報は、画像情報入力端末３から入力され、管理端末２の画像情報入力受付処理部２１０でその入力を受け付ける（Ｓ２００）。図１７に、撮影画像情報の一例を示す。また、撮影日時、店舗識別情報、撮影画像情報の画像情報識別情報の入力を受け付ける。そして、画像情報入力受付処理部２１０は、入力を受け付けた撮影画像情報、撮影日時、店舗識別情報、撮影画像情報の画像情報識別情報を対応づけて画像情報記憶部２１１に記憶させる。

管理端末２において所定の操作入力を受け付けると、正置画像情報正置化処理部２１２は、画像情報記憶部２１１に記憶する撮影画像情報を抽出し、台形補正処理などの正置化処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け、正置化処理を実行する（Ｓ２１０）。このようにして正置化処理が実行された撮影画像情報（正置画像情報）の一例が、図１８である。

そして、正置画像情報に対して、管理端末２において所定の操作入力を受け付けることで、棚段特定処理部２１３は、棚段位置領域を特定する（Ｓ２２０）。すなわち、正置画像情報における棚段領域の入力を受け付ける。図１４、図１５が、正置画像情報から棚段領域が特定された状態を示す図である。

以上のようにして、棚段領域を特定すると、正置画像情報から棚段領域の画像情報を切り出す。そして、棚段領域画像情報における棚段ごとに、フェイスを特定する処理を実行する（Ｓ２３０）。すなわち、フェイス特定処理部２１４１は、第１の学習処理部２０１において学習させた学習モデル（第１の学習モデル）に、棚段領域の画像情報を入力値として入力し、入力した画像情報からフェイス領域を特定する。

以上のように正置画像情報の棚段位置領域画像情報における各棚段の各フェイス領域を特定すると、商品同定処理部２１４２は、第２の学習処理部２０２において学習させた学習モデル（第２の学習モデル）に、フェイス領域の画像情報を入力値として入力し、フェイス領域に写っている商品の商品識別情報を同定する（Ｓ２４０）。同定した商品識別情報は、撮影日時、店舗識別情報、撮影画像情報の画像情報識別情報、正置画像情報の画像情報識別情報、フェイス識別情報に対応づけて商品識別情報記憶部２２に記憶させる。

なお、すべてのフェイス領域の商品識別情報を同定できるとは限らない。そこで、同定できないフェイス領域については、商品識別情報の入力を受け付け、入力を受け付けた商品識別情報を、撮影日時、店舗識別情報、撮影画像情報の画像情報識別情報、正置画像情報の画像情報識別情報、フェイス識別情報に対応づけて商品識別情報記憶部２２に記憶する。また、同定した商品識別情報の修正処理についても同様に、入力を受け付けてもよい。

以上のような処理を行うことで、撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を同定することができる。また従来のシステムのように、フェイス領域を矩形領域とせず、商品の輪郭の外形に沿って商品の同定を行うので、フェイス領域に含まれる不要な情報、たとえば他の商品などのノイズが除外されるので、認識精度が向上することとなる。

なお、第１のアノテーションデータにおける属性として商品識別情報を用いている場合（商品の外形から商品が同定できる場合）には、画像情報を第１の学習モデルに入力してフェイス領域を特定することで、当該商品の商品識別情報を同定できる。その場合には、第２の学習処理部２０２、商品同定処理部２１４２による処理を実行せずともよく、フェイス特定処理部２１４１でフェイス領域を特定すると、そのフェイス領域に写っている商品の商品識別情報を、第１の学習モデルによる出力結果としての属性の商品識別情報で同定してもよい。

実施例１では、フェイス領域の特定と、フェイス領域から商品識別情報の同定の２つの処理で機械学習を用いる構成を説明したが、フェイス領域から商品識別情報を同定する処理については、画像マッチング処理を用いてもよい。この場合の情報処理システム１の構成の一例を図１９に示す。

本実施例における情報処理システム１では、学習処理部２０では第２の学習処理部２０２は設ける必要はない。また、認識処理部２１では、画像マッチング処理に用いる標本情報を記憶する標本情報記憶部を備える。

標本情報記憶部は、画像情報に写っている陳列棚の棚段に陳列されている商品がどの商品であるかを識別するための標本情報を記憶する。標本情報は，陳列棚に陳列される可能性のある商品を，上下，左右，斜めなど複数の角度から撮影をした画像情報である。図２０に標本情報記憶部に記憶される標本情報の一例を示す。図２０では，標本情報として，缶ビールをさまざまな角度から撮影をした場合を示しているが，缶ビールに限られない。標本情報記憶部は，標本情報と，商品識別情報とを対応付けて記憶する。

なお，標本情報記憶部には，標本情報とともに，または標本情報に代えて，標本情報から抽出された，類似性の算出に必要となる情報，たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本情報には，類似性の算出に必要となる情報も含むとする。この場合，陳列商品認識処理部２１４は，後述するフェイス領域の画像情報と，標本情報とのマッチング処理を行う際に，標本情報について毎回，画像特徴量を算出せずともよくなり，計算時間を短縮することができる。

また標本情報記憶部に記憶する標本情報は，第１の学習処理部２０１の学習処理の際に用いた第１のアノテーションデータにおける商品の輪郭の外形をマスク処理した商品の画像情報を用いてもよい。すなわち、第１のアノテーションデータを作成する際に、商品を一または複数の方向から撮影した商品の画像情報若しくはその画像特徴量を標本情報とする。そして、当該撮影した商品の画像情報のうち、輪郭を外形として、その閉領域の内側をマスク処理するとともに、属性をタグ付けして第１のアノテーションデータを作成する。このような処理によって、標本情報と第１のアノテーションデータをまとめて作成することができる。

本実施例における商品同定処理部２１４２は、フェイス特定処理部２１４１で特定したフェイス領域の画像情報と、標本情報記憶部に記憶する標本情報とのマッチング処理を実行し、そのフェイス領域に表示されている商品の商品識別情報を同定する。すなわち、ある棚段のフェイス領域（このフェイスの領域のフェイス識別情報をＸとする）における画像情報と、標本情報記憶部に記憶する各標本情報とから、それぞれの画像特徴量を算出し、特徴点のペアを求めることで、類似性を判定する。そして、もっとも類似性の高い標本情報を特定し、そのときの類似性があらかじめ定められた閾値以上であれば、その標本情報に対応する商品識別情報を標本情報記憶部に基づいて同定する。そして、同定した商品識別情報を、そのフェイス識別情報Ｘのフェイスに表示されている商品の商品識別情報とする。なお、いずれの標本情報とも類似ではないと判定したフェイスについては、そのフェイス識別情報について「空」であることを示す情報（商品がないことを示す情報）を付する。商品同定処理部２１４２は、同定した商品識別情報または「空」であることを示す情報を、撮影日時、店舗識別情報、撮影画像情報の画像情報識別情報、正置画像情報の画像情報識別情報、フェイス識別情報に対応づけて商品識別情報記憶部２２に記憶する。

商品同定処理部２１４２は、一例として、具体的には以下のような処理を実行する。まず、処理対象となるフェイス領域の座標で構成される画像情報と、標本情報記憶部に記憶する標本情報との類似性を判定し、その類似性がもっとも高い標本情報に対応する商品識別情報を特定し、特定した類似性があらかじめ定めた閾値以上であれば、上記座標で構成されるフェイス領域に表示されている商品の商品識別情報として同定をする。

ここでフェイスの画像情報と標本情報との類似性を判定するには、以下のような処理を行う。まず、商品同定処理部２１４２における商品識別情報の同定処理の前までの処理において、正置画像情報の棚段におけるフェイスの領域の画像情報と、標本情報との方向が同じ（横転や倒立していない）となっており、また、それぞれの画像情報の大きさが概略同じとなっている（所定範囲以上で画像情報の大きさが異なる場合には、類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく）。

商品同定処理部２１４２は、フェイス領域の画像情報と、標本情報との類似性を判定するため、フェイスの画像情報の画像特徴量（たとえば局所特徴量）に基づく特徴点と、標本情報との画像特徴量（たとえば局所特徴量）に基づく特徴点を、それぞれ抽出する。そして、フェイスの画像情報の特徴点と、標本情報の特徴点とでもっとも類似性が高いペアを検出し、それぞれで対応する点の座標の差を求める。そして、差の平均値を求める。差の平均値は、フェイス領域の画像情報と、標本情報との全体の平均移動量を示している。そして、すべての特徴点のペアの座標差を平均の座標差と比較し、外れ度合いの大きなペアを除外する。そして、残った対応点の数で類似性を順位付ける。

以上のような方法でフェイス領域の画像情報と、標本情報との類似性を算出できる。また、その精度を向上させるため、さらに、色ヒストグラム同士のＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒｓ Ｄｉｓｔａｎｃｅ）を求め、類似性の尺度としてもよい。これによって、撮影された画像情報の明度情報等の環境変化に比較的強い類似性の比較を行うことができ、高精度で特定をすることができる。

類似性の判定としては、ほかにも、各フェイス領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め、類似性の尺度としてもよい。シグネチャの画像特徴量としては、たとえばフェイス領域の画像情報のＨＳＶ色空間内の頻度分布を求め、色相と彩度に関してグルーピングを行って、特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは、撮影条件に大きく左右されないように、明度への依存度を下げるためである。

また、処理の高速化のため、シグネチャとＥＭＤの代わりに、適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のＬ２距離等の類似性を用いることもできる。

類似性の判定は、上述に限定をするものではない。同定した商品識別情報は、撮影日時情報、店舗情報、撮影画像情報の画像情報識別情報、正置画像情報の画像識別情報、フェイス識別情報に対応づけて商品識別情報記憶部２２に記憶する。

なお、商品識別情報が同定できなかったフェイスは、商品識別情報記憶部２２においてそのフェイス領域が「空」であることを示す情報（商品が欠品などないことを示す情報）が記憶される。

以上のように、フェイス領域の画像情報から商品を同定する場合において画像マッチング処理を用いた場合であっても、フェイス領域が矩形領域ではないので、精度よく画像マッチング処理を実行することができる。

上述の実施例１，実施例２の変形例として、棚段単位での変化を検出する棚段比較処理部２１４３を設け、棚段単位で変化がない場合には、前回の認識結果をそのまま用いることもできる。この場合の陳列商品認識処理部２１４の一例を図２１に示す。

棚段比較処理部２１４３は、前回（Ｎ－１回目）の正置画像情報における棚段の領域の画像情報と、今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づいて、その類似性が高ければその棚段における各フェイスの商品識別情報または「空」は同一と判定する。この類似性の判定処理は、上述のように、前回（Ｎ－１回目）の正置画像情報における棚段の領域の画像情報の画像特徴量と、今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づく類似性の判定でもよいし、色ヒストグラム同士のＥＭＤを用いたものであってもよい。また、それらに限定するものではない。そして、商品同定処理部２１４２におけるフェイス単位ごとの特定処理ではなく、商品同定処理部２１４２に、Ｎ回目の正置画像情報におけるその棚段における各フェイスの商品識別情報を、Ｎ－１回目の同一の棚段における各フェイスの商品識別情報と同一として、商品識別情報記憶部２２に記憶させる。これによって、あまり商品の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など、変化がほとんど生じない棚段についての処理を省略することができる。

上述の実施例１乃至実施例３の処理を、適宜、組み合わせることもできる。またその各処理については、本発明の明細書に記載した順序に限定するものではなく、その目的を達成する限度において適宜、変更することが可能である。また、陳列商品認識処理部２１４における処理は、撮影画像情報に対して正置化処理を実行した正置画像情報に対して実行したが、撮影画像情報に対して実行をしてもよい。その場合、正置画像情報を、撮影画像情報と読み替えればよい。

また、認識処理部２１において棚段領域を特定してそこから後述のフェイス領域を特定する処理とせずに、棚段領域を特定せずに撮影画像情報、正置画像情報若しくは棚段領域の画像情報の全体から後述のフェイス領域を特定するように構成することもできる。その場合には、棚段特定処理部２１３は設けずともよく、その処理を実行しないように構成してもよい。

上述の実施例１乃至実施例４では、コンビニエンスストアやスーパーなどの陳列棚について例示して説明をしたが、それに限定するものではなく、陳列棚に何らかの商品が陳列されている場合であれば、如何なるジャンルであっても適用することができる。たとえば調剤薬局の医薬品を陳列する陳列棚（医薬品棚）に陳列される医薬品（商品）に適用することもできる。同様に、倉庫の陳列棚に陳列される商品に適用することもできる。

本発明の情報処理システム１を用いることで、画像情報から陳列している商品を同定する際に、商品を同定する精度を向上させることが可能となる。

１：情報処理システム
２：管理端末
３：画像情報入力端末
２０：学習処理部
２１：認識処理部
２２：商品識別情報記憶部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２０１：第１の学習処理部
２０２：第２の学習処理部
２１０：画像情報入力受付処理部
２１１：画像情報記憶部
２１２：画像情報正置化処理部
２１３：棚段特定処理部
２１４：陳列商品認識処理部
２１４１：フェイス特定処理部
２１４２：商品同定処理部
２１４３：棚段比較処理部

Claims (9)

1. 画像情報に写っている商品を同定する情報処理システムであって、
   商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部と、
   陳列棚を撮影した画像情報に写っている商品の商品識別情報を同定する認識処理部と、
   を有しており、
   前記認識処理部は、
   前記画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている商品の外形をフェイス領域として特定し、前記特定したフェイス領域に写っている商品の商品識別情報を同定する、
   ことを特徴とする情報処理システム。
2. 前記第１の学習処理部は、
   前記第１のアノテーションデータを用いて画像セグメンテーションによる機械学習をして前記第１の学習モデルを作成する、
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記情報処理システムは、
   商品の画像データと商品識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をして第２の学習モデルを作成する第２の学習処理部、を有しており、
   前記認識処理部は、
   前記特定したフェイス領域の画像情報と前記第２の学習モデルとを用いて、前記フェイス領域に写っている商品の商品識別情報を同定する、
   ことを特徴とする請求項１または請求項２に記載の情報処理システム。
4. 前記認識処理部は、
   前記特定したフェイス領域の画像情報と、標本情報記憶部に記憶する商品の標本情報とを画像マッチング処理することで、前記フェイス領域に写っている商品の商品識別情報を同定する、
   ことを特徴とする請求項１または請求項２に記載の情報処理システム。
5. 画像情報に写っている商品を同定する情報処理システムであって、
   商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部、
   を有しており、
   前記第１の学習モデルと陳列棚を撮影した画像情報とを用いて、前記画像情報に写っている商品の外形をフェイス領域として特定させ、前記特定したフェイス領域に写っている商品の商品識別情報を同定させる、
   ことを特徴とする情報処理システム。
6. 画像情報に写っている商品を同定する情報処理システムであって、
   陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部と、
   前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報から、写っている商品の商品識別情報を同定する陳列商品認識処理部と、
   を有しており、
   前記陳列商品認識処理部は、
   商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をすることによって作成された第１の学習モデルと、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報とを用いて、前記写っている商品の外形をフェイス領域として特定し、前記特定したフェイス領域に写っている商品の商品識別情報を同定する、
   ことを特徴とする情報処理システム。
7. コンピュータを、
   商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部、
   陳列棚を撮影した画像情報に写っている商品の商品識別情報を同定する認識処理部、
   として機能させる情報処理プログラムであって、
   前記認識処理部は、
   前記画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている商品の外形をフェイス領域として特定し、前記特定したフェイス領域に写っている商品の商品識別情報を同定する、
   ことを特徴とする情報処理プログラム。
8. コンピュータを、
   商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部、
   として機能させる情報処理プログラムであって、
   前記第１の学習モデルと陳列棚を撮影した画像情報とを用いて、前記画像情報に写っている商品の外形をフェイス領域として特定させ、前記特定したフェイス領域に写っている商品の商品識別情報を同定させる、
   ことを特徴とする情報処理プログラム。
9. コンピュータを、
   陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部、
   前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報から、写っている商品の商品識別情報を同定する陳列商品認識処理部、
   として機能させる情報処理プログラムであって、
   前記陳列商品認識処理部は、
   商品の輪郭を外形としてその閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をすることによって作成された第１の学習モデルと、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報とを用いて、前記写っている商品の外形をフェイス領域として特定し、前記特定したフェイス領域に写っている商品の商品識別情報を同定する、
   ことを特徴とする情報処理プログラム。

Images