JP7537724B1

JP7537724B1 - 情報処理システム

Info

Publication number: JP7537724B1
Application number: JP2023084948A
Authority: JP
Inventors: 成吉谷井
Original assignee: Marketvision Co Ltd
Current assignee: Marketvision Co Ltd
Priority date: 2023-05-23
Filing date: 2023-05-23
Publication date: 2024-08-21
Anticipated expiration: 2043-05-23

Abstract

【課題】
本発明は、機械学習における学習モデル（ネットワーク）の生成に関する情報処理システムを提供することを目的とする。
【解決手段】
機械学習で用いる学習モデルに関する処理を実行する情報処理システムであって、複数の対象物の画像情報を分類する分類処理部と、分類したグループと仮識別情報とを対応づける仮識別情報処理部と、グループに含まれる対象物の画像情報と仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して学習モデルを生成するモデル生成処理部と、入力を受け付けた標本情報を学習モデルに入力することで仮識別情報を出力させる認識処理部、出力した仮識別情報と標本情報に対応する対象物識別情報とを対応づける出力処理部と、を有する情報処理システムである。
【選択図】図１

Description

本発明は、機械学習における学習モデル（ネットワーク）の生成に関する情報処理システムに関する。

近年、コンピュータを用いた画像解析処理として、機械学習が広く用いられるようになってきている。機械学習では、あらかじめ学習用のデータセット（学習用データ）を作成し、それをコンピュータに読み込ませて所定の学習処理を実行させている。

しかし学習用データをあらかじめ準備すること自体が作業負担が大きい。そこで、下記特許文献１、特許文献２に示すようなシステムが開示されている。

特許文献１の発明では、商品画像を撮影し、その商品に付されているコードを読み取ることで、商品画像とそのラベル付けを行うことで、学習用データを生成している。

また、特許文献２の発明では、あらかじめ分類に関する情報がラベル付けされた物体を含む画像データが格納された画像データベースから、当該画像データに含まれる物体の分類を選択し、その物体を画像データから抽出してテンプレート画像を生成することで、テンプレート画像とラベル付けとをした学習用データを生成している。

特開２０２０－０９５５３７号公報特開２０２２－０７６２９６号公報

特許文献１の発明の場合、商品を準備して撮影を行うとともに、その商品に付されたコードをコードリーダで読み取ることで学習用データを生成するものであり、作業者の作業負担が大きい。学習用データとして読み取るべき商品が多くなると、膨大な作業量となる。

特許文献２の発明の場合、あらかじめ分類に関する情報がラベル付けされた物体を含む画像データが格納された画像データベースが準備されていなければその処理を行うことができない。

小売店などにおいて、陳列棚に陳列されている商品を認識し、その陳列状況などを把握することは企業のマーケティング戦略として非常に重要である。そのため、自社の商品、あるいは競合会社の商品が小売店の陳列棚に陳列されている状況を把握したい要望がある。

そこで、小売店の陳列棚を撮影して陳列棚に陳列している商品を同定するシステムがあるが、この商品の同定では機械学習を用いることが行われている。この機械学習においても、上述と同様に、学習用データを用いて学習処理が実行されているが、陳列棚に陳列される商品は多岐にわたる。この場合においても、従来は、陳列している商品とその識別情報をラベルとして対応づけた学習用データを用いて学習モデルを生成していた。

しかしこの場合においても、学習用データの準備の負担が大きく、学習モデルの生成に要する負担が大きかった。

本発明者は上記課題に鑑み、機械学習で用いる学習モデルを効率よく生成する情報処理システムを発明した。

第１の発明は、機械学習で用いる学習モデルに関する処理を実行する情報処理システムであって、複数の対象物の画像情報を分類する分類処理部と、前記分類したグループと仮識別情報とを対応づける仮識別情報処理部と、前記グループに含まれる対象物の画像情報と前記仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して学習モデルを生成するモデル生成処理部と、入力を受け付けた標本情報を前記学習モデルに入力することで仮識別情報を出力させる認識処理部、前記出力した仮識別情報と前記標本情報に対応する対象物識別情報とを対応づける出力処理部と、を有する情報処理システムである。

本発明のように構成することで、機械学習で用いる学習モデルを効率よく生成することができる。

上述の発明において、前記情報処理システムは、同定処理の対象とする画像情報を前記学習モデルに入力することで、前記学習モデルが出力する仮識別情報に対応する対象物識別情報を出力値として出力させる、情報処理システムのように構成することができる。

本発明のように構成することで、学習モデルに同定対象の画像情報を入力すると、対象物識別情報を出力することができる。

上述の発明において、前記情報処理システムは、前記分類したグループに含まれる対象物の画像情報のうち、誤りが含まれている可能性がある対象物画像情報を除外するクレンジング処理を実行するクレンジング処理部、を有する情報処理システムのように構成することができる。

本発明のようにクレンジング処理を実行することで、グループに含まれている対象物画像情報のうち、誤りが含まれている可能性がある対象物画像情報を除外することができ、画像分類の精度を向上させることができる。

上述の発明において、前記クレンジング処理部は、前記グループに含まれる対象物の画像情報の指標値を用いて算出した基準値からの情報距離を用いて、除外する対象物の画像情報を判定する、情報処理システムのように構成することができる。

上述の発明において、前記クレンジング処理部は、前記グループに含まれる対象物の画像情報の指標値を用いて基準値を算出し、前記基準値と、前記対象物の画像情報の指標値とを用いて情報距離を算出し、前記情報距離が所定の閾値以上または所定の比率以上の乖離がある場合には、その対象物の画像情報を除外する対象物の画像情報として判定する、情報処理システムのように構成することができる。

上述の発明において、前記クレンジング処理部は、前記グループに含まれる対象物の画像情報の類似度を用いて、除外する対象物の画像情報を判定する、情報処理システムのように構成することができる。

上述の発明において、前記クレンジング処理部は、前記グループに含まれる対象物の画像情報と、そのグループに含まれる他の対象物の画像情報との類似度を算出し、その類似度を用いたあらかじめ定められた条件を充足した場合には、その対象物の画像情報を除外する対象物の画像情報として判定する、情報処理システムのように構成することができる。

クレンジング処理としてはこれらの発明のように実行することができる。

上述の発明において、前記対象物は陳列棚に陳列している商品であり、前記分類処理部は、陳列棚の画像情報から陳列している商品の画像情報を切り出して対象物画像情報として抽出し、隣接している商品の対象物画像情報の類似度を比較し、前記類似度が一定の条件を充足している場合には、隣接している商品の対象物画像情報を同一のグループに分類する、情報処理システムのように構成することができる。

陳列棚には同一種別の商品は隣接して陳列されることが多い。そのため、対象物が陳列棚に陳列している商品の場合、隣接する商品の対象物画像情報は同一種別、すなわち同一のグループに分類できる可能性がある。そこで、隣接している商品の対象物画像情報の類似度を比較し、それが条件を充足している場合には、同一のグループに分類することが好ましい。

上述の発明において、前記対象物は陳列棚に陳列している商品であり、前記認識処理部は、入力を受け付けた売上高に応じた商品の標本情報を前記学習モデルに入力し、前記学習モデルで受け付けた前記標本情報に対応する仮識別情報を出力する、情報処理システムのように構成することができる。

陳列棚に陳列している商品を同定する学習モデルの場合、商品数が数千から数万単位になる可能性がある。その場合、すべての商品の標本情報を入力するのは負担が大きい。

一般的に、売上げの多くを占めるのは少数の売れ筋の商品である。そして陳列棚には売れ筋商品が陳列されている可能性が高い。そこで、商品の同定対象となる可能性の高い売れ筋の商品を標本情報として入力をしておけば、陳列棚に陳列しているすべての商品の同定ができなくても、売上高ベースで多くの商品の認識を行うことができ、実務的には十分なシステムを構築することができる。

上述の発明において、前記対象物は陳列棚に陳列している商品であり、前記認識処理部は、入力を受け付けた組織体ごとの商品の標本情報を前記学習モデルに入力し、前記学習モデルで受け付けた前記標本情報に対応する仮識別情報を出力する、情報処理システムのように構成することができる。

本発明をマーケティングに用いる場合、ある特定の会社などの特定の組織体から、自社または競合他社の商品の陳列状況を把握したい場合がある。そこで、本発明のように、組織体ごとの商品の標本情報を入力しておけば、陳列棚に陳列しているすべての商品の同定ができなくても、その組織体にとっては重要なマーケティング情報を得ることができ、実務的には十分なシステムを構築ることができる。

第１の発明は、本発明のプログラムをコンピュータに読み込ませて実行することで、実現することができる。すなわち、コンピュータを、複数の対象物の画像情報を分類する分類処理部、前記分類したグループと仮識別情報とを対応づける仮識別情報処理部、前記グループに含まれる対象物の画像情報と前記仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して学習モデルを生成するモデル生成処理部、入力を受け付けた標本情報を前記学習モデルに入力することで仮識別情報を出力させる認識処理部、前記出力した仮識別情報と前記標本情報に対応する対象物識別情報とを対応づける出力処理部、として機能させる情報処理プログラムである。

本発明の情報処理システムを用いることで、機械学習で用いる学習モデルを効率よく生成することができる。

本発明の情報処理システムの処理の概念図の一例を示す図である。本発明の情報処理システムの処理の概念図の一例を示す図である。本発明の情報処理システムの構成の一例を模式的に示すブロック図である。本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。本発明の情報処理システムにおける全体の処理プロセスの一例を示すフローチャートである。陳列棚を撮影した画像情報の一例を示す図である。陳列棚を撮影した画像情報から対象物画像情報を抽出した状態の一例を示す図である。画像分類処理部において対象物画像情報を分類した状態の一例を示す図である。仮識別情報処理部において仮識別情報を対応づけた状態の一例を示す図である。学習モデルに標本情報を入力して、仮識別情報を出力値として出力した状態の一例を示す図である。仮識別情報と対象物識別情報とを紐付ける状態の一例を示す図である。実施例２における情報処理システムの構成の一例を模式的に示す図である。

本発明の情報処理システム１の処理の概念図の一例を図１および図２に示す。また、本発明の情報処理システム１の処理機能の一例をブロック図で図３に示す。情報処理システム１では、陳列棚に陳列されている商品などの対象物を、機械学習のモデルを用いて画像情報から認識するモデルを生成するシステムである。対象物としては、陳列棚に陳列されている商品の場合を用いて説明するが、それに限られるものではない。

情報処理システム１における管理端末２は、コンピュータを用いて実現される。図４にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは、プログラムの演算処理を実行するＣＰＵなどのと、情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と、情報を表示するディスプレイなどの表示装置７２と、情報の入力が可能なキーボードやマウスなどの入力装置７３と、演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

コンピュータがタッチパネルディスプレイを備えている場合には、表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは、たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが、それに限定するものではない。

タッチパネルディスプレイは、そのディスプレイ上で、直接、所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で、表示装置７２と入力装置７３の機能が一体化した装置である。

本発明における各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は、その処理順序を適宜変更することもできる。また、処理の一部を省略してもよい。

管理端末２は、分類処理部２０と仮識別情報処理部２１とモデル生成処理部２２と標本情報受付処理部２３と認識処理部２４と出力処理部２５とを有する。

分類処理部２０は、たとえば陳列棚を撮影した画像情報などに写っている対象物の画像情報（対象物画像情報）から、クラスタリング処理などによって対象物画像情報を分類する。対象物画像情報としては、対象物が陳列棚に陳列されている商品の場合には、その商品の画像情報であればよく、たとえば陳列棚を写した画像情報から、対象物となる、陳列してある商品を含む領域を切り出した画像情報であればよい。このときに矩形で切り出していてもよいし、商品の外形に応じた任意の形状で切り出した画像情報であってもよい。

対象物画像情報に写っている対象物の識別情報（対象物識別情報）、たとえば対象物が商品であればその商品名やＪＡＮコードなどのコードは判明していなくてもよい。

分類処理部２０が、複数の対象物画像情報を公知の手法でクラスタリング処理を実行し、画像情報を複数のグループに分類をする。

なお、分類処理部２０はクラスタリング処理を用いて対象物画像情報を分類する場合を説明しているが、クラスタリング処理以外の手法によって対象物画像情報を分類してもよい。

仮識別情報処理部２１は、画像分類処理部２０で分類した各グループに仮の識別情報（仮識別情報）を対応づける。仮識別情報は、自動的に生成した仮識別情報を対応づけてもよいし、入力を受け付けた仮識別情報を所定の操作で対応づけてもよい。そして、各グループに分類された対象物画像情報に対応づけた仮識別情報を、ラベルとして対応づけてデータセットとし、学習用データとする。

モデル生成処理部２２は、学習用データを用いて公知の手法により機械学習を行い、学習モデルを生成する。すなわち、対象物画像情報には分類されたグループごとに仮識別情報が対応づけられているので、対象物画像情報とそのラベルを仮識別情報としたデータセットを用いた学習用データを用いて、学習モデルを生成する。

標本情報受付処理部２３は、モデル生成処理部２２に入力させる画像情報の入力を受け付ける。ここで入力を受け付ける画像情報は、対象物を識別する対象物識別情報が判明している対象物画像情報である。たとえば、陳列棚に陳列される可能性のある商品の画像情報であり、それに対応する商品の商品名、ＪＡＮコードなどのコードなどの商品識別情報（対象物識別情報）とが判明している画像情報である。ここで入力する画像情報は、標本情報とよぶこととする。

認識処理部２４は、標本情報受付処理部２３で入力を受け付けた画像情報（標本情報）を、モデル生成処理部２２で生成した学習モデルに入力し、仮識別情報を出力する。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、標本情報を入力すると、出力値として仮識別情報が出力される。複数の出力値がその確度とともに出力される場合には、もっとも確度が高い出力値を採用する。

出力処理部２５は、認識処理部２４で出力した出力値となる仮識別情報と、その入力に用いた標本情報の対象物識別情報とを紐付ける。そして、出力処理部２５は、認識処理部２４で出力した仮識別情報に紐付けた対象物識別情報を、認識処理部２４の認識結果として出力をする。

なお、出力処理部２５は、認識処理部２４が出力する仮識別情報に紐付けた対象物識別情報を出力するのではなく、画像分類処理部２０で出力したグループに対応づけた仮識別情報を対象物識別情報に代えて、再度、モデル生成処理部２２で機械学習の学習処理を実行させてもよい。

また、認識処理部２４が出力した仮識別情報の確度が所定の閾値以下の場合には、出力処理部２５の処理を実行しなくてもよい。

以上のような処理を実行することで、機械学習で用いる学習モデルを効率よく生成することができる。

つぎに本発明の情報処理システム１の処理の一例を図５のフローチャートを説明する。なお、以下の説明では、陳列棚を撮影した画像情報から陳列している商品を同定する場合を説明する。この場合、対象物としては陳列棚に陳列する商品、対象物識別情報としては商品識別情報となる。

まず店舗などで商品を陳列している陳列棚を撮影した画像情報に対して、商品を正対した位置となるように補正処理を行う。この場合の補正処理としては各種の公知の方法を用いることができ、たとえば台形補正処理などを用いることができる。なお、陳列棚を撮影した画像情報が正対した位置から撮影した画像情報であれば補正処理は行わなくてもよい。この際に、陳列棚全体を写した画像情報であってもよいし、陳列棚の一部、たとえば一段または二段以上の棚段の領域を写した画像情報であってもよい。図６に正対した位置に補正した陳列棚の棚段領域の画像情報の一例を示す。

そして補正をした画像情報または陳列棚を撮影した画像情報（処理対象とする画像情報）から、公知の手法により、陳列している商品の領域を切り出し、対象物画像情報として抽出をする。たとえば、補正をした画像情報または陳列棚を撮影した画像情報から、商品と商品との間に生じる細く狭い陰影を特定する、画像の繰り返しパターンを特定する、パッケージの上辺の段差を特定する、商品幅が同一であるなどの制約に基づいて区切り位置を特定するなどによって、商品の領域を特定する。また別の方法としては、深層学習（ディープラーニング）などの機械学習を用いて、商品の領域を特定してもよい。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、処理対象とする領域、たとえば陳列棚または棚段領域の画像情報を入力し、その出力値に基づいて、商品の領域を特定してもよい。また学習モデルとしては、さまざまな処理対象とする領域、たとえば陳列棚や棚段領域の画像情報に商品の領域を正解データとして与えたものを用いることができる。

図６の陳列棚の棚段領域の画像情報から、対象物画像情報を抽出した画像情報の一例を図７に示す。この時点では、陳列棚を写した画像情報から対象物画像情報を抽出しただけなので、対象物画像情報に写っている対象物である商品の商品識別情報は判明していなくてもよい。

そして、画像分類処理部２０は、対象物画像情報を用いて、公知のクラスタリング処理などを実行することで、類似する画像情報同士をグループ化し、複数のグループに分類を行う（Ｓ１００）。この状態を模式的に示すのが図８である。

仮識別情報処理部２１は、分類処理部２０で分類したグループごとに、仮識別情報を対応づける（Ｓ１１０）。たとえば「ａ１２３」、「ｂ４５６」、「ｃ７８９」、「ｄ０１２」など、それぞれのグループごとに任意の仮識別情報を対応づける。この状態を模式的に示すのが図９である。これによって、それぞれのグループの対象物画像情報について、仮識別情報をラベルとして対応づける。そしてこれらの対象物画像情報と仮識別情報のラベルとを用いたデータセットを学習用データとする。

分類処理部２０で分類したグループごとに仮識別情報を対応づけると、モデル生成処理部２２は、学習用データとして、公知の手法により機械学習を行い（Ｓ１２０）、学習モデルを生成する（Ｓ１３０）。

つぎに、標本情報受付処理部２３は、対象物識別情報が判明している画像情報である標本情報の入力を受け付け、入力を受け付けた標本情報をＳ１３０で生成した学習モデルに入力する（Ｓ１４０）。認識処理部２４は、標本情報の入力を受け付け、学習モデルを用いた機械学習による出力結果を出力する。この出力結果としては、仮識別情報が出力される（Ｓ１５０）。これを模式的に示すのが図１０である。

標本情報は、あらかじめ商品識別情報などの対象物識別情報が判明している画像情報である。そのため、認識処理部２４で出力した仮識別情報は、学習モデルに入力した標本情報の対象識別情報に対応すると考えられる。そのため、出力処理部２５は、出力した仮識別情報と、入力した標本情報の対象物識別情報とを紐付けする（Ｓ１６０）。たとえば図１１に示すように、

この紐付けによって、仮識別情報と対象物識別情報との対応付けができるので、その対応付けを記憶しておくことで、認識処理部２４が出力した仮識別情報を、対応する対象物識別情報で置き換えて出力すれば、同定処理を行う画像情報を学習モデルに入力した場合、学習モデルの出力値として、対象物識別情報の出力を行うことができる。

画像分類処理部２０で行う分類処理は、人間が行う分類処理よりも精度が劣る場合もある。そのため、誤りの混入が発生することがある。そこで、画像分類処理部２０により分類した各グループの画像情報（対象画像情報）に対してクレンジング処理を行い、グループに分類された画像情報のうち、誤りが含まれている可能性がある対象物画像情報を除外して、モデル生成処理部２２の学習用データとして用いる対象物画像情報を減らす処理を行うクレンジング処理部２６を備えていてもよい。この場合の情報処理システム１の構成の一例を図１２に示す。

すなわち、画像分類処理部２０でグループごとに対象物画像情報を分類すると、そのグループにおける画像情報の特徴を示す特徴量などの指標値を算出する。そして、そのグループにおいて、対象物画像情報ごとの指標値の中央値や平均値などの基準値からの情報距離（基準値から画像情報ごとの指標値までの乖離を所定の算出式で算出した値）を算出し、一定値または一定の比率以上、情報距離が乖離している対象物画像情報は、当該グループから除外してもよい。

またクレンジング処理として情報距離を用いるほか、画像情報の類似度を用いてもよい。この場合、グループにおける画像情報同士の類似度を数値化し、一定以上の類似度が算出された画像情報の枚数が所定の値以上であれば、対象物画像情報として残し、所定の値未満であれば対象物画像情報から除外する。

たとえばあるグループに５枚の対象画像情報（画像情報１から画像情報５）があった場合、その５枚の画像情報について、それぞれ他の画像情報との類似度を算出する。すなわち、画像情報１は画像情報２から画像情報５、画像情報２は画像情報３から画像情報５、画像情報３は画像情報４から画像情報５、画像情報４は画像情報５との類似度を算出する。これによって、各画像情報同士の類似度が算出できる。

画像情報１について、画像情報２との類似度が０．９、画像情報３との類似度が０．９５、画像情報４との類似度が０．３、画像情報５との類似度が０．８であり、画像情報２について画像情報３との類似度が０．８、画像情報４との類似度が０．２、画像情報５との類似度が０．６、画像情報３について画像情報４との類似度が０．４、画像情報５との類似度が０．９、画像情報４について画像情報５との類似度が０．５であったとする。

ここで、基準とする画像情報の類似度を０．７５、基準度を下回る画像情報の枚数を３枚としたときに、画像情報１は基準とする類似度を下回るのは画像情報４の１枚、画像情報２は基準とする類似度を下回るのは画像情報４と画像情報５の２枚、画像情報３は基準とする類似度を下回るのは画像情報４の１枚、画像情報４は基準とする類似度を下回るのは画像情報１、画像情報２、画像情報３、画像情報５の４枚、画像情報５は基準とする類似度を下回るのは、画像情報２と画像情報４の２枚となる。

したがって、クレンジング処理部２６は、基準とする類似度を下回る画像情報が３枚以上であった画像情報４を当該グループから除外し、当該グループの対象物画像情報としては、画像情報１、画像情報２、画像情報３、画像情報５の４枚として、仮識別情報処理部２１の処理を実行させる。

本実施例のようにグループ化した対象物画像情報のうち、乖離した画像情報を除外することで、グループ化した対象物画像情報を絞ることができ、精度向上につなげることができる。

陳列棚に陳列している商品を切り出して対象物画像情報を抽出する場合、一般的に、同じ商品は上下左右のいずれかの方向に隣接しておかれていることが多い。

そこで、陳列棚を撮影した画像情報から対象物画像情報を抽出した後、画像分類処理部２０は、隣接していた商品の対象物画像情報の類似度を比較して、それが一定の条件を充足する場合、たとえば類似度が所定の閾値以上であれば、同一種別の対象物であると判定し、隣接していた商品の対象物画像情報を同一のグループに分類するようにしてもよい。

陳列棚に陳列している商品を対象物とする場合、あらかじめ陳列される可能性のある商品の学習モデルを生成しておくことが好ましい。しかし、その場合、対象となる商品は数百から数千、場合によっては数万単位になる可能性がある。この場合、数千から数万単位の学習モデルを認識可能な学習モデルとすると、標本情報受付処理部２３で入力させる標本情報が数千から数万単位となり、従来の学習モデルよりも作業量は減るが、それでも作業負担は大きい。

一方、一般的に１０％程度の商品の種類で、その分類の９割程度の売上げを占める傾向があることがマーケティングとして知られている。そのため、標本情報受付処理部２３に入力させる標本情報として、売上高が多い商品を用いてもよい。この場合、マーケティング会社などにより提供されている商品などを用いてもよい。

これによって、売上高ベースであれば９割程度の商品の認識ができることとなり、実務的には十分に対象物識別情報の出力としては耐えうるものとなる。なお、あまり売上げができていない商品が学習モデルに入力された場合には、対象物識別情報と仮識別情報との紐付けがなされていないので、出力処理部２５はそのまま仮識別情報を出力することとなる。出力処理部２５が、仮識別情報と対象物識別情報との対応付けがない仮識別情報を出力する場合には、対応情報なし、などの所定の表示を行ってもよい。

また、ある特定の会社などの組織体の商品のみの認識ができればよいのであれば、その会社の商品の画像情報を標本情報として標本情報受付処理部２３に入力させてもよい。これによって、ある会社の商品については、対象物識別情報を出力することができる。一方、ある会社以外の会社の商品が入力された場合には、上述の場合と同様、対象物識別情報と仮識別情報との紐付けがなされていないので、出力処理部２５はそのまま仮識別情報を出力することとなる。出力処理部２５が、仮識別情報と対象物識別情報との対応付けがない仮識別情報を出力する場合には、対応情報なし、などの所定の表示を行ってもよい。

実施例１乃至実施例４のように生成した学習モデルに対しては、精度向上を目的として、再度、学習モデルを再構築してもよい。この場合、新たな標本情報を入力して、対象物識別情報が紐付けられていない仮識別情報に、あらたに対象物識別情報を紐付くように構成してもよいし、あるいは、新たな対象物が認識可能なように、新たな対象物の対象物画像情報を用いて分類処理部２０における分類処理を実行させてもよい。

上述の実施例１乃至実施例５では、陳列棚を撮影した画像情報から、その陳列棚に陳列された商品を同定する場合の学習モデルを生成する場合を説明したが、それ以外の場合にも適用できる。とくに本発明は、画像情報から多種類の対象物を同定する場合に自動化する場合に有用である。

一例として、対象物として動物の場合がある。たとえば人が近づかないような場所にアシカやオットセイのような複数種類の動物が大量に生息をしており、その種類と生息数を効率的に把握するような場合に適用できる。この場合、ドローンなどでその生息地を上空から撮影し、個体ごとに対象物画像情報を切り出し、個体ごとの対象物画像情報を画像分類処理部２０で画像分類処理を実行し、グループ化する。そして、仮識別情報処理部２１がグループごとに仮識別情報を対応づけて生成した学習用データを用いて、モデル生成処理部２２で機械学習を行い、学習モデルを生成する。そして標本情報受付処理部２３で、種類別の標本情報の入力を受け付けて、認識処理部２４で入力を受け付けた標本情報を入力値として学習モデルに入力し、仮識別情報を出力させる。これによって仮識別情報と、入力した標本情報の対応する対象物識別情報（動物の学名など）を紐付けて、出力処理部２５が対象物識別情報を出力可能とする。

上記と同様に、対象物として鳥類、植物としてもよい。鳥類、植物の場合であっても、上述の動物と同様に処理が行え、「動物」を「鳥類」、「植物」と読み替えて処理が実行できる。

本発明の情報処理システム１を用いることで、機械学習で用いる学習モデルを効率よく生成することができる。

１：情報処理システム
２：管理端末
２０：分類処理部
２１：仮識別情報処理部
２２：モデル生成処理部
２３：標本情報受付処理部
２４：認識処理部
２５：出力処理部
２６：クレンジング処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

Claims

機械学習で用いる学習モデルに関する処理を実行する情報処理システムであって、
複数の対象物の画像情報を分類する分類処理部と、
前記分類したグループと仮識別情報とを対応づける仮識別情報処理部と、
前記グループに含まれる対象物の画像情報と前記仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して学習モデルを生成するモデル生成処理部と、
入力を受け付けた標本情報を前記学習モデルに入力することで仮識別情報を出力させる認識処理部、
前記出力した仮識別情報と前記標本情報に対応する対象物識別情報とを対応づける出力処理部と、
を有することを特徴とする情報処理システム。
前記情報処理システムは、
同定処理の対象とする画像情報を前記学習モデルに入力することで、前記学習モデルが出力する仮識別情報に対応する対象物識別情報を出力値として出力させる、
ことを特徴とする請求項１に記載の情報処理システム。
前記情報処理システムは、
前記分類したグループに含まれる対象物の画像情報のうち、誤りが含まれている可能性がある対象物画像情報を除外するクレンジング処理を実行するクレンジング処理部、
を有することを特徴とする請求項１に記載の情報処理システム。
前記クレンジング処理部は、
前記グループに含まれる対象物の画像情報の指標値を用いて算出した基準値からの情報距離を用いて、除外する対象物の画像情報を判定する、
ことを特徴とする請求項３に記載の情報処理システム。
前記クレンジング処理部は、
前記グループに含まれる対象物の画像情報の指標値を用いて基準値を算出し、
前記基準値と、前記対象物の画像情報の指標値とを用いて情報距離を算出し、
前記情報距離が所定の閾値以上または所定の比率以上の乖離がある場合には、その対象物の画像情報を除外する対象物の画像情報として判定する、
ことを特徴とする請求項４に記載の情報処理システム。
前記クレンジング処理部は、
前記グループに含まれる対象物の画像情報の類似度を用いて、除外する対象物の画像情報を判定する、
ことを特徴とする請求項３に記載の情報処理システム。
前記クレンジング処理部は、
前記グループに含まれる対象物の画像情報と、そのグループに含まれる他の対象物の画像情報との類似度を算出し、
その類似度を用いたあらかじめ定められた条件を充足した場合には、その対象物の画像情報を除外する対象物の画像情報として判定する、
ことを特徴とする請求項６に記載の情報処理システム。
前記対象物は陳列棚に陳列している商品であり、
前記分類処理部は、
陳列棚の画像情報から陳列している商品の画像情報を切り出して対象物画像情報として抽出し、
隣接している商品の対象物画像情報の類似度を比較し、
前記類似度が一定の条件を充足している場合には、隣接している商品の対象物画像情報を同一のグループに分類する、
ことを特徴とする請求項１に記載の情報処理システム。
前記対象物は陳列棚に陳列している商品であり、
前記認識処理部は、
入力を受け付けた売上高に応じた商品の標本情報を前記学習モデルに入力し、前記学習モデルで受け付けた前記標本情報に対応する仮識別情報を出力する、
ことを特徴とする請求項１に記載の情報処理システム。
前記対象物は陳列棚に陳列している商品であり、
前記認識処理部は、
入力を受け付けた組織体ごとの商品の標本情報を前記学習モデルに入力し、前記学習モデルで受け付けた前記標本情報に対応する仮識別情報を出力する、
ことを特徴とする請求項１に記載の情報処理システム。
コンピュータを、
複数の対象物の画像情報を分類する分類処理部、
前記分類したグループと仮識別情報とを対応づける仮識別情報処理部、
前記グループに含まれる対象物の画像情報と前記仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して学習モデルを生成するモデル生成処理部、
入力を受け付けた標本情報を前記学習モデルに入力することで仮識別情報を出力させる認識処理部、
前記出力した仮識別情報と前記標本情報に対応する対象物識別情報とを対応づける出力処理部、
として機能させることを特徴とする情報処理プログラム。