JP7260706B2 - 認識器学習装置、認識装置、電子機器、及び学習方法 - Google Patents

Description

特許法第３０条第２項適用 １．京セラ株式会社が、２０２１年６月１０日付で、記者会見にて本発明を含む、無人ＰＯＳシステム全体について説明を行い公開。 ２．ＴＢＳテレビが２０２１年６月１０日１５：４９から放送された「Ｎスタ」において公開。 ３．ｈｔｔｐｓ：／／ｗｗｗ．ｋｙｏｃｅｒａ．ｃｏ．ｊｐ／ｎｅｗｓ／２０２１／０６０２＿ｒｅｇｉ．ｈｔｍｌ ｈｔｔｐｓ：／／ｗｗｗ．ｋｙｏｃｅｒａ．ｃｏ．ｊｐ／ｒｄ－ｏｐｅｎｉｎｎｏｖａｔｉｏｎ／ｃａｔａｌｏｇ／ａｕｔｏ＿ｒｅｇｉ．ｈｔｍｌ 京セラ株式会社が、２０２１年６月１０日及び１１日に自社ＨＰにおいて、出願に係る発明の内容を公開。

本発明は、認識器学習装置、認識装置、電子機器、及び学習方法に関するものである。

近年、画像中に含まれる物体を機械学習によって認識する技術の開発が進められている。

例えば、特許文献１には一般物体認識と特定物体認識とを併用した認識手法が記載されている。

国際公開２０１１／０８１１９２号

従来の技術には改善の余地がある。例えば、データベースに登録されていない対象物を既存の学習済み物体認識モデルに追加する学習を行う際、一般的には機械学習で用いる物体認識モデル全体を再学習する必要があり、学習時間がかかってしまうといったような、物体認識モデルの利用を阻害する要因がある。

かかる点に鑑みてなされた本開示の目的は、物体認識モデルの利用を促進することである。

上述した諸課題を解決すべく、第１の観点による認識器学習装置は、
画像を取得する取得部と、
最上層判定器と、少なくとも一つの下位層判定器とを含む、積層化した複数の段階的判定器によって構成され、前記最上層判定器は撮像された画像に写る対象物をいずれかのカテゴリに分類し、前記下位層判定器はより上位層の前記段階的判定器が分類したカテゴリを更に下位のカテゴリに分類し、前記画像に写る対象物を上位層から下位層に向かって段階的に分類することにより前記対象物を認識する第１の物体認識器を学習させる制御部と、を備え、
前記制御部は、前記取得部が取得した画像に写る対象物を、上位層から下位層に向かって前記段階的判定器に分類させ、既存の下位のカテゴリに分類できない下位層判定器に対応する上位のカテゴリに新規な下位のカテゴリを追加して、前記第１の物体認識器を学習させる。

また、第２の観点による認識器学習装置は、
対象物が撮像された画像を取得する取得部と、
前記対象物を、学習済み対象物を認識可能な第１の物体認識器で認識できない場合、前記学習済み対象物を用いずに前記対象物を用いて該対象物を認識可能な第２の物体認識器を構築する。

また、第３の観点による認識装置は、
撮像された画像を取得する取得部と、
画像を取得する取得部と、最上層判定器と、少なくとも一つの下位層判定器とを含む、積層化した複数の段階的判定器によって構成され、前記最上層判定器は撮像された画像に写る対象物をいずれかのカテゴリに分類し、前記下位層判定器はより上位層の前記段階的判定器が分類したカテゴリを更に下位のカテゴリに分類し、前記画像に写る対象物を上位層から下位層に向かって段階的に分類することにより前記対象物を認識する第１の物体認識器を学習させる制御部と、を有し、前記制御部は、前記取得部が取得した画像に写る対象物を、上位層から下位層に向かって前記段階的判定器に分類させ、既存の下位のカテゴリに分類できない下位層判定器に対応する上位のカテゴリに新規な下位のカテゴリを追加して、前記第１の物体認識器を学習させ、前記制御部は、前記対象物が、前記第１の物体認識器により認識可能な学習済み対象物に類似する場合に前記第１の物体認識器を学習させ、前記学習済み対象物に類似しない場合に該学習済み対象物を用いずに前記対象物を用いて該対象物を認識可能な第２の物体認識器を構築する認識器学習装置から取得する前記第１の物体認識器及び前記第２の物体認識器を構築するパラメータを記憶する記憶部と、
前記画像に含まれる対象物に前記第１の物体認識器による認識を行い、前記第１の物体認識器により認識できない場合に前記第２の物体認識器を用いて該対象物を認識する制御部と、を備える。

また、第４の観点による認識装置は、
撮像された画像を取得する取得部と、
画像を取得する取得部と、最上層判定器と、少なくとも一つの下位層判定器とを含む、積層化した複数の段階的判定器によって構成され、前記最上層判定器は撮像された画像に写る対象物をいずれかのカテゴリに分類し、前記下位層判定器はより上位層の前記段階的判定器が分類したカテゴリを更に下位のカテゴリに分類し、前記画像に写る対象物を上位層から下位層に向かって段階的に分類することにより前記対象物を認識する第１の物体認識器を学習させる制御部と、を有し、前記制御部は、前記取得部が取得した画像に写る対象物を、上位層から下位層に向かって前記段階的判定器に分類させ、既存の下位のカテゴリに分類できない下位層判定器に対応する上位のカテゴリに新規な下位のカテゴリを追加して、前記第１の物体認識器を学習させ、前記制御部は、前記対象物が、前記第１の物体認識器により認識可能な学習済み対象物に類似する場合に前記第１の物体認識器を学習させ、前記学習済み対象物に類似しない場合に該学習済み対象物を用いずに前記対象物を用いて該対象物を認識可能な第２の物体認識器を構築する認識器学習装置から取得する前記第１の物体認識器及び前記第２の物体認識器を構築するパラメータを記憶する記憶部と、
前記画像に含まれる対象物を前記第１の物体認識器及び前記第２の物体認識器それぞれによる認識を行い、認識に際して算出される信頼度に基づいて、前記第１の物体認識器及び前記第２の物体認識器のいずれかの認識を採用する制御部と、を備える。

また、第５の観点による認識装置は、
撮像された画像を取得する取得部と、
画像を取得する取得部と、最上層判定器と、少なくとも一つの下位層判定器とを含む、積層化した複数の段階的判定器によって構成され、前記最上層判定器は撮像された画像に写る対象物をいずれかのカテゴリに分類し、前記下位層判定器はより上位層の前記段階的判定器が分類したカテゴリを更に下位のカテゴリに分類し、前記画像に写る対象物を上位層から下位層に向かって段階的に分類することにより前記対象物を認識する第１の物体認識器を学習させる制御部と、を有し、前記制御部は、前記取得部が取得した画像に写る対象物を、上位層から下位層に向かって前記段階的判定器に分類させ、既存の下位のカテゴリに分類できない下位層判定器に対応する上位のカテゴリに新規な下位のカテゴリを追加して、前記第１の物体認識器を学習させ、前記制御部は、前記対象物が、前記第１の物体認識器により認識可能な学習済み対象物に類似する場合に前記第１の物体認識器を学習させ、前記学習済み対象物に類似しない場合に該学習済み対象物を用いずに前記対象物を用いて該対象物を認識可能な第２の物体認識器を構築し、前記制御部は、前記第２の物体認識器により認識可能な対象物と、前記学習済み対象物とを用いて前記第１の物体認識器を再学習することにより、前記第１の物体認識器を更新する認識器学習装置から取得する更新前の前記第１の物体認識器及び前記第２の物体認識器を構築するパラメータを記憶する記憶部と、
前記画像に含まれる対象物を、前記更新前の第１の物体認識器及び前記第２の物体認識器を用いて認識し、前記更新後の第１の物体認識器を取得後には前記更新後の第１の物体認識器のみを用いて認識する制御部と、を備える。

また、第６の観点による電子機器は、
撮像により画像を生成する撮像部と、
前記撮像部が撮像した画像を、画像を取得する取得部と、最上層判定器と、少なくとも一つの下位層判定器とを含む、積層化した複数の段階的判定器によって構成され、前記最上層判定器は撮像された画像に写る対象物をいずれかのカテゴリに分類し、前記下位層判定器はより上位層の前記段階的判定器が分類したカテゴリを更に下位のカテゴリに分類し、前記画像に写る対象物を上位層から下位層に向かって段階的に分類することにより前記対象物を認識する第１の物体認識器を学習させる制御部と、を有し、前記制御部は、前記取得部が取得した画像に写る対象物を、上位層から下位層に向かって前記段階的判定器に分類させ、既存の下位のカテゴリに分類できない下位層判定器に対応する上位のカテゴリに新規な下位のカテゴリを追加して、前記第１の物体認識器を学習させる認識器学習装置から取得する前記第１の物体認識装置を構築するパラメータを記憶する記憶部と、画像に含まれる対象物を前記第１の物体認識器による認識を行う制御部とを有する認識装置に送信し、前記認識装置から前記画像の認識結果を受信する通信部と、を備える。

また、第７の観点による電子機器は、
撮像により画像を生成する撮像部と、
前記撮像部が撮像した画像を、画像を取得する取得部と、最上層判定器と、少なくとも一つの下位層判定器とを含む、積層化した複数の段階的判定器によって構成され、前記最上層判定器は撮像された画像に写る対象物をいずれかのカテゴリに分類し、前記下位層判定器はより上位層の前記段階的判定器が分類したカテゴリを更に下位のカテゴリに分類し、前記画像に写る対象物を上位層から下位層に向かって段階的に分類することにより前記対象物を認識する第１の物体認識器を学習させる制御部と、を有し、前記制御部は、前記取得部が取得した画像に写る対象物を、上位層から下位層に向かって前記段階的判定器に分類させ、既存の下位のカテゴリに分類できない下位層判定器に対応する上位のカテゴリに新規な下位のカテゴリを追加して、前記第１の物体認識器を学習させ、前記制御部は、前記対象物が、前記第１の物体認識器により認識可能な学習済み対象物に類似する場合に前記第１の物体認識器を学習させ、前記学習済み対象物に類似しない場合に該学習済み対象物を用いずに前記対象物を用いて該対象物を認識可能な第２の物体認識器を構築する認識器学習装置から取得する前記第１の物体認識装置及び前記第２の物体認識器を構築するパラメータを記憶する記憶部と、画像に含まれる対象物を前記第１の物体認識器による認識を行い、前記第１の物体認識器により認識できない場合に前記第２の物体認識器を用いて該対象物を認識する制御部とを有する認識装置に送信し、前記認識装置から前記画像の認識結果を受信する通信部と、を備える。

また、第８の観点による学習方法は、
画像を取得する取得ステップと、
最上層判定器と少なくとも一つの下位層判定器とを含む、積層化した複数の段階的判定器によって構成され、前記最上層判定器は撮像された画像に写る対象物をいずれかのカテゴリに分類し、前記下位層判定器はより上位層の前記段階的判定器が分類したカテゴリを更に下位のカテゴリに分類し、前記画像に写る対象物を上位層から下位層に向かって段階的に分類することにより前記対象物を上位層から下位層に向かって前記段階的判定器に分類させ、既存の下位のカテゴリに分類できない下位層判定器に対応する上位のカテゴリに新規な下位のカテゴリを追加して学習させる学習ステップと、を備える。

また、第９の観点による学習方法は、
画像を取得する取得ステップと、
前記対象物を、学習済み対象物を認識可能な第１の物体認識モデルで認識できない場合、前記学習済み対象物を用いずに前記対象物を用いて該対象物を認識可能な第２の物体認識器を構築する構築ステップと、を備える。

本開示によれば、物体認識モデルの利用を促進することが期待できる。

第１の実施形態に係る認識器学習装置として機能する情報処理装置１０を含む情報処理システムの概略構成を示す構成図である。 図１の情報処理装置の概略構成を示すブロック図である。 図１の情報処理システムで用いられる第１の物体認識器の概略構成を示す図である。 図１の端末装置の外観を示す斜視図である。 図４の認識装置の概略構成を示すブロック図である。 図２の制御部が実行する第１の再学習処理を説明するためのフローチャートである。 図２の制御部が実行する第２の再学習処理を説明するためのフローチャートである。 図２の制御部が実行する第１の物体認識器学習のサブルーチンを説明するためのフローチャートである。 図５の制御部が実行する第１の認識処理を説明するためのフローチャートである。 図５の制御部が実行する第２の認識処理を説明するためのフローチャートである。 第２の実施形態において、図２の制御部が実行する第１の再学習処理を説明するためのフローチャートである。 第２の実施形態において、図２の制御部が実行する第２の再学習処理を説明するためのフローチャートである。

以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には同じ符号を付す。

図１に示すように、本開示の第１の実施形態に係る認識器学習装置として機能する情報処理装置１０を含む情報処理システム１１は、少なくとも一つの端末装置１２、ネットワーク１３、及び情報処理装置１０を含んで構成される。本実施形態において、情報処理システム１１は、複数の端末装置１２を含む。端末装置１２及び情報処理装置１０は、ネットワーク１３を介して通信してよい。

情報処理システム１１は、画像に含まれる検出対象の像に基づいて、検出対象を特定する任意のシステムに適用される。情報処理システム１１は、例えば、検出対象である商品を画像に基づいて特定する精算システムに適用される。以下において、精算システムに適用した例を用いて、情報処理システム１１を説明する。

端末装置１２は、購入者が端末装置１２に載置する商品を撮像してよい。端末装置１２は、撮像による画像に対して物体認識を行い、画像中に含まれる物体が店舗におけるいずれの商品であるかを推定してよい。画像中の物体は、画像内に描画されている物体を意味する。情報処理装置１０は、端末装置１２において撮像された全商品の推定結果に基づいて、請求金額を算出してよい。情報処理装置１０は、請求金額を端末装置１２に通知してよい。端末装置１２は、購入者に請求金額を提示し、購入金額の支払いを要求してよい。

情報処理システム１１は、商品名をアノテーションデータとして付与された商品の画像を用いて機械学習することにより構築される第１の物体認識器及び第２の物体認識器の少なくとも一方を用いて、物体認識を行う。認識器学習装置として機能する情報処理装置１０は、学習されていない商品に対して第１の物体認識器又は第２の物体認識器を学習させる。以下に、情報処理装置１０及び端末装置１２の詳細を説明する。

図２に示すように、情報処理装置１０は、通信部（取得部）１４及び制御部１５を含んで構成される。情報処理装置１０は、更に入力部１６及び記憶部１７を含んでよい。

通信部１４は、ネットワーク１３に接続可能な少なくとも１つの通信モジュールを含んでよい。通信モジュールは、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又は無線ＬＡＮ、Ｗｉ－Ｆｉ等の通信規格に対応した通信モジュールである。通信部１４は、通信モジュールによって有線ＬＡＮなどを介して、ネットワーク１３に接続されてよい。

通信部１４は、例えば通信線を介して、多様な外部機器と通信可能な通信モジュールを含んでよい。通信モジュールは、通信線の規格に対応した通信モジュールである。通信線は、有線及び無線の少なくとも何れかを含んで構成されてよい。

通信部１４は、ネットワーク１３又は通信線を介して、直接又は間接的に、後述する撮像部に接続されてよい。間接的に撮像部に接続されるとは、例えば、後述するように、撮像部を内蔵する端末装置１２に通信部１４が接続されることを意味する。通信部１４は、撮像部が生成する画像を取得する。

通信部１４は、ネットワーク１３又は通信線を介して、直接的又は間接的に後述する、出力装置に接続されてよい。

入力部１６は、ユーザからの操作入力を検出可能である。入力部１６は、ユーザからの入力を検出可能な少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、マイク等である。

記憶部１７は、半導体メモリ、磁気メモリ、光メモリのいずれかを含んでいる。半導体メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等である。ＲＡＭは、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等である。記憶部１７は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部１７は、情報処理装置１０の動作に用いられるデータと、情報処理装置１０の動作によって得られたデータとを記憶する。例えば、記憶部１７は、システムプログラム、アプリケーションプログラム、組み込みソフトウェア等を記憶する。例えば、記憶部１７は、物体認識モデルとして第１の物体認識器を記憶する。

制御部１５は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等であってもよい。制御部１５は、情報処理装置１０の各部を制御しながら、情報処理装置１０の動作に関わる処理を実行する。情報処理装置１０の動作に係わる処理とは、例えば、後述する第１の物体認識器の再学習である。

制御部１５は、端末装置１２から物体認識による認識結果を示す情報を取得する場合、認識結果である推定した物体の販売価格を記憶部１７から読出してよい。制御部１５は、推定した物体の販売価格を合計した請求金額を算出してよい。制御部１５は、推定した物体を示す情報を付与した端末装置１２に、請求金額に相当する金額情報を送信してよい。

制御部１５は、学習されていない対象物に対して第１の物体認識器を学習させる。図３に示すように、第１の物体認識器１８は、積層化した複数の段階的判定器１９によって構成される。段階的判定器１９は、最上層判定器２０及び少なくとも一つの下位層判定器２１を含む。最上層判定器２０は、撮像された画像に写る対象物をいずれかのカテゴリに分類する。下位層判定器２１は、より上位層の段階的判定器１９が分類したカテゴリを更に下位のカテゴリに分類する。第１の物体認識器１８は、撮像された画像に写る対象物を、積層化させた段階的判定器１９の上位層から下位層に向かって段階的に分類することにより対象物を認識する。

最上層判定器２０は、第１の物体認識器１８が取得する画像に写る対象物のカテゴリを特定するために学習されたモデルであってよい。下位層判定器２１は、より上位層の段階的判定器１９が特定したカテゴリの、更に下位のカテゴリを特定するために学習されたモデルであってよい。

本実施形態において、段階的判定器１９は１つの下位層判定器２１を含む。言換えると、第１の物体認識器１８は、第１層目の最上層判定器２０と、第２層目の下位層判定器２１とを有する。以下の説明において、第２層目の下位層判定器２１が分類するカテゴリを、「クラス」とも呼ぶことがある。第１の物体認識器１８が物体認識をする際に、最上層判定器２０が対象物のカテゴリを特定し、下位層判定器２１は最上層判定器２０が特定したカテゴリの中からクラスに分類することにより、対象物を特定してよい。

第１の物体認識器１８は、例えば、後述する、端末装置１２において撮像される任意の物体Ｘを、最初に最上層判定器２０を用いて判別する。最上層判定器２０は、例えば、最上層におけるカテゴリ群内で物体認識を行うことにより、カテゴリを特定する。情報処理システム１１を小売店の販売管理に用いる場合、最上層におけるカテゴリ群は、例えば、ペットボトル及びパン等の商品の種類を含む。最上層判定器２０による物体認識は、例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づいてよい。

物体Ｘの最上層におけるカテゴリがペットボトルであると特定された場合、下位層判定器２１は、ペットボトルのカテゴリに属するクラス群内で物体認識を行うことにより、クラスを特定する。ペットボトルのカテゴリに属するクラス群は、例えば、お茶Ａ及びスポーツドリンクＢを含んでよい。パンのカテゴリに属するクラス群は、例えば、クロワッサンＣ及びバターロールＤを含んでよい。下位層判定器２１が特定する、クラス群は、商品名又は当該商品名に紐づいてマスタ上で管理されるＩＤであってよい。下位層判定器２１による物体認識は、例えば、パターンマッチングに基づいてよい。

最上層判定器２０が分類する最上層カテゴリ群が商品の種類であることを例として説明したが、それ以外の分け方であってよい。対象物となる物によって、３層以上の階層によって分類されてよい。例えば、第２層目の下位層判定器２１が特定したクラスに属するいずれかのサブクラスに第３層目の下位層判定器２１が分類することにより対象物が特定されてよい。例えば、第２層目の下位層判定器２１が分類したクロワッサンＣより下位のサブクラス群が黒糖クロワッサン及びバタークロワッサンを含み、第３層目の下位層判定器２１により分類されてよい。換言すれば、これらの分類は、撮像された画像の種類が同一のカテゴリであるか否か、次に同一のクラスであるかいなか、次に同一のサブクラスであるか否かが決まるように構成されてもよい。

制御部１５は、第１の物体認識器１８の学習において、最初に、通信部１４が取得した画像に写る対象物を、上位層から下位層に向かって段階的判定器１９に分類させる。制御部１５は、段階的な分類において既存の下位のカテゴリに分類できない下位層判定器２１を特定する。制御部１５は、当該下位層判定器２１に対応する上位のカテゴリに新規な下位のカテゴリを追加して、当該下位層判定器２１の再学習により第１の物体認識器１８を学習させる。上位のカテゴリに新規なカテゴリを追加する方法は、以下に例示される。

制御部１５は、新規な下位のカテゴリを指定する操作入力を入力部１６が検出する場合、当該操作入力に対応する新規な下位のカテゴリを、下位のカテゴリに分類できない下位層判定器２１に対応する上位のカテゴリに追加してよい。操作入力は、新規な下位のカテゴリを含めさせる既存の上位のカテゴリの特定も含んでよい。対象物が第１の物体認識器１８が学習していない「ソーダ」である場合を例にして、以下に説明する。第１の物体認識器１８は、最上層判定器２０において、通信部１４を介して取得する画像に写る対象物であるソーダをペットボトルに分類する。しかし、「ペットボトル」のカテゴリに「ソーダ」は存在しないため、「ペットボトル」をより下位のカテゴリに分類する下位層判定器２１は分類ができない。この状態で、新規な下位のカテゴリに「ソーダ」の商品名等を入力する操作入力があるとき、制御部１５は、「ペットボトル」のカテゴリに「ソーダ」を追加する。言換えると、制御部１５は、「ペットボトル」のカテゴリをより下位のカテゴリに分類する下位層判定器２１のカテゴリ群に「ソーダ」のカテゴリを追加する。

又は、制御部１５は、第１の物体認識器１８を用いて対象物の認識結果に基づいて、対象物が学習済みであるかを判別してよい。より具体的には、制御部１５は、第１の物体認識器１８を用いて対象物の認識を行い、下位層判定器２１における下位のカテゴリへの分類における信頼度が閾値以下であるか否かを判別してよい。信頼度は、対象物のカテゴリへの分類結果の確からしさを示す指標である。制御部１５は、信頼度が閾値以下である場合、下位のカテゴリへの分類を行った下位層判定器２１における上位のカテゴリに、新規な下位のカテゴリを追加してよい。例えば、対象物が第１の物体認識器１８が学習していない「ソーダ」である場合、第１の物体認識器１８における最上層判定器２０は、対象物を「ペットボトル」に分類すると考えられる。「ペットボトル」に対応する第２層目の下位層判定器２１は、対象物を、カテゴリとして含まない「ソーダ」の代わりに他のカテゴリに分類する。下位層判定器２１は、当該他のカテゴリへの分類に際して、相対的に低い信頼度を算出する。制御部１５は、算出された信頼度が閾値以下である場合、「ペットボトル」のカテゴリに「ソーダ」を追加する。

制御部１５は、上述のように学習させて更新させた第１の物体認識器１８を構築するパラメータを、記憶部１７に格納してよい。制御部１５は、更新させた第１の物体認識器１８を構築するパラメータを、通信部１４を介して端末装置１２に付与してよい。

制御部１５は、通信部１４が取得した画像に写る対象物が、第１の物体認識器１８により認識可能な学習済みの対象物に類似するか否かを判別してよい。制御部１５は、例えば、画素値の平均値、ヒストグラム、相関係数等の特徴量を比較することにより類比判断を行う。制御部１５は、通信部１４が取得した画像に写る対象物が学習済みの対象物に類似する場合、第１の物体認識器１８を上述のように学習させてよい。制御部１５は、通信部１４が取得した画像に写る対象物が学習済みの対象物に類似しない場合、学習済み対象物を用いずに通信部１４が取得した画像に写る対象物を用いて当該対象物を認識可能な第２の物体認識器を構築してよい。

制御部１５は、通信部１４が取得した画像に写る対象物を、第１の物体認識器１８における最上層判定器２０がいずれかのカテゴリに分類できるか否かを判別してよい。分類の可否は、最上層判定器２０の分類結果の信頼度が閾値以上であるか否かに基づいて判別してよい。制御部１５は、最上層判定器２０が分類できない場合、第１の物体認識器１８により認識可能な学習済み対象物を用いずに、通信部１４が取得した画像に写る対象物を用いて当該対象物を認識可能な第２の物体認識器を構築してよい。

第２の物体認識器により認識可能な対象物の数は限定されず、単一であってよく、複数であってよい。言換えると、制御部１５は、単一の対象物又は複数の対象物を用いて機械学習を行うことにより、第２の物体認識器を構築してよい。制御部１５は、第２の物体認識器の構築中又は構築後に第１の物体認識器により認識できない対象物がある場合、当該第２の物体認識器の学習に当該対象物を用いてよい。又は、制御部１５は、第２の物体認識器の構築中又は構築後に第１の物体認識器により認識できない対象物がある場合、当該第２の物体認識器とは別に、当該対象物を認識可能な第２の物体認識器を構築してよい。言換えると、制御部１５は、複数の第２の物体認識器を構築してよい。

制御部１５は、新規な第２の物体認識器を構築するパラメータを、記憶部１７に格納してよい。制御部１５は、第２の物体認識器を構築するパラメータを、通信部１４を介して端末装置１２に付与してよい。

制御部１５は、第２の物体認識器を構築するパラメータの付与後に、当該第２の物体認識器により認識可能な対象物と、第１の物体認識器１８により認識可能な学習済みの対象物とを用いて、第１の物体認識器１８を再学習させてよい。制御部１５は、第１の物体認識器１８を再学習する場合、第２の物体認識器を構築するパラメータに当該再学習中であるフラグを関連付けて端末装置１２に付与してよい。制御部１５は、第１の物体認識器１８の再学習により第１の物体認識器１８を更新してよい。制御部１５は、更新した第１の物体認識器１８を構築するパラメータを、記憶部１７に格納してよい。制御部１５は、更新した第１の物体認識器１８を構築するパラメータを、通信部１４を介して端末装置１２に付与してよい。制御部１５は、更新した第１の物体認識器１８を構築するパラメータに、第２の物体認識器を構築するパラメータに関連付けたフラグを消去する指令を関連付けて端末装置１２に付与してよい。

図４に示すように、端末装置１２は、撮像部２２、出力装置２３、載置台２４、支持柱２５、及び認識装置２６を含んで構成される。

撮像部２２は、例えば、載置台２４の全範囲を撮像可能に固定されている。撮像部２２は、例えば、載置台２４の側面から延びる支持柱２５に固定されている。撮像部２２は、例えば、載置台２４の上面ｕｓ全面を撮像可能、かつ当該上面ｕｓに光軸が垂直になるように固定されている。

撮像部２２は、可視光或いは赤外線のカメラを含んで構成されていてもよい。カメラは、撮像光学系及び撮像素子を含んで構成される。撮像光学系は、例えば、１個以上のレンズ及び絞りなどの光学部材を含む。レンズは、焦点距離に囚われずどのようなものであってもよく、例えば、一般的なレンズ、魚眼レンズを含む広角レンズまたは焦点距離が可変であるズームレンズであってもよい。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＦＩＲ(ｆａｒ ｉｎｆｒａｒｅｄ ｒａｙｓ)カメラ等である。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。

出力装置２３は、画像を表示する、従来公知の任意のディスプレイであってよい。ディスプレイは、後述するように、タッチスクリーンとして機能してよい。出力装置２３は、情報を報知するスピーカであってよい。出力装置２３は、例えば、認識装置２６の物体認識の認識結果を表示してよい。出力装置２３は、情報処理システム１１等の不具合が発生した場合等に種々の報知を行ってよい。出力装置２３は、認識装置２６の判定の成否及び第１の物体認識器１８の再学習の要否を音声等で放置してよい。

図５に示すように、認識装置２６は、通信部２７（取得部）、記憶部２８、及び制御部２９を含んで構成される。認識装置２６は、更に、入力部３０を含んでよい。認識装置２６は、第１の実施形態において、撮像部２２及び出力装置２３とは別の装置として構成されているが、例えば、撮像部２２、載置台２４、支持柱２５、および出力装置２３の少なくともいずれかと一体的に構成されてよい。

通信部２７は、例えば、有線または無線を含んで構成される通信線を介して撮像部２２と通信する通信モジュールを含む。通信部２７は、撮像部２２から画像を信号として受信、言い換えると取得する。通信部２７は、通信線を介して出力装置２３と通信する通信モジュールを含んでよい。通信部２７は、表示させる画像を画像信号として出力装置２３に向けて送信してよい。通信部２７は、ディスプレイである出力装置２３から表示面において接触を検知した位置に相当する位置信号を受信してよい。通信部２７は、ネットワーク１３を介して情報処理装置１０と通信する通信モジュールを含む。通信部２７は、第１の物体認識器１８を構築するためのパラメータを情報処理装置１０から受信する。通信部２７は、後述する、確定した認識結果に相当する結果情報を情報処理装置１０に送信してよい。通信部２７は、情報処理装置１０から請求金額に相当する金額情報を受信してよい。

入力部３０は、ユーザからの操作入力を検出可能である。入力部３０は、ユーザからの入力を検出可能な少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、マイク等である。本実施形態において、入出力用インタフェースは、出力装置２３を用いたタッチスクリーンである。

記憶部２８は、半導体メモリ、磁気メモリ、光メモリのいずれかを含んでいる。半導体メモリは、例えば、ＲＡＭ又はＲＯＭ等である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭ等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ等である。記憶部２８は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２８は、認識装置２６の動作に用いられるデータと、認識装置２６の動作によって得られたデータとを記憶する。例えば、記憶部２８は、システムプログラム、アプリケーションプログラム、組み込みソフトウェア等を記憶する。例えば、記憶部２８は、情報処理装置１０から取得する第１の物体認識器１８及び第２の物体認識器をそれぞれ構築するパラメータを記憶する。

制御部２９は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ）、ＧＰＵ等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ、ＡＳＩＣ等であってもよい。制御部２９は、認識装置２６の各部を制御しながら、認識装置２６の動作に関わる処理を実行する。認識装置２６の動作に係わる処理とは、例えば、物体認識である。

制御部２９は、通信部２７が取得する画像に含まれる対象物を、最初に第１の物体認識器１８を用いて物体認識を行う。制御部２９は、第１の物体認識器１８により対象物を認識できない場合、第２の物体認識器を用いて物体認識を行う。前述のように、複数の第２の物体認識器が構築される場合、制御部２９は、いずれかの第２の物体認識器を用いて物体認識を行ってよい。

又は、制御部２９は、通信部２７が取得する画像に含まれる対象物を、第１の物体認識器１８及び第２の物体認識器それぞれを用いて物体認識を行う。制御部２９は、第１の物体認識器１８及び第２の物体認識器それぞれを用いた物体認識に際して、信頼度を算出する。制御部２９は、第１の物体認識器１８及び第２の物体認識器それぞれの物体認識による信頼度に基づいて、第１の物体認識器１８及び第２の物体認識器のいずれかの認識結果を採用する。制御部２９は、例えば、信頼度がより高い認識結果を採用する。

制御部２９は、情報処理装置１０から第２の物体認識器を構築するパラメータを取得した後、再学習した第１の物体認識器１８が送られるまでの間、通信部２７が取得する画像に含まれる対象物を上述のように、更新前の第１の物体認識器１８及び第２の物体認識器を用いて物体認識を行う。制御部２９は、第２の物体認識器により認識可能な対象物を再学習させた更新後の第１の物体認識器１８を構築するパラメータの取得後には、第２の物体認識器を用いずに、当該更新後の第１の物体認識器１８のみを用いて物体認識を行う。

制御部２９は、物体認識の認識結果を出力装置２３に出力させてよい。制御部２９は、認識結果を情報処理装置１０に付与してよい。

次に、第１の実施形態において情報処理装置１０の制御部１５が実行する、第１の再学習処理について、図６のフローチャートを用いて説明する。第１の再学習処理は、情報処理装置１０の入力部１６又は認識装置２６の入力部３０が第１の再学習の実行指令の操作入力を検出する場合に開始する。

ステップＳ１００において、制御部１５は、撮像部２２又は情報処理装置１０に直接的に接続される撮像部から画像を取得する。必要に応じて、制御部１５は、出力装置２３又は情報処理装置１０に直接的に接続される出力装置に、学習する必要のある可能性の高い対象物を撮像する要求を出力させ、その後に撮像される画像を取得してよい。画像の取得後、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、制御部１５は、ステップＳ１００において取得した画像に含まれる対象物と、第１の物体認識器１８において学習済みの対象物との類比判定を行う。類比判定の実行後、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、制御部１５は、ステップＳ１００において取得した画像に含まれる対象物が、学習済みの対象物の少なくとも一つに類似するか否かを判別する。類似する場合、プロセスはステップＳ２００に進む。学習済みの対象物のいずれにも類似しない場合、プロセスはステップＳ１０３に進む。

ステップＳ２００においては、制御部１５は、後述するように、第１の物体認識器学習のサブルーチンを実行する。サブルーチンの実行後、第１の再学習処理は終了する。

ステップＳ１０３では、制御部１５は、第１の物体認識器１８による学習済みの対象物を除いて、ステップＳ１００において取得した画像に含まれる対象物のみに対する第２の物体認識器を構築する。制御部１５は、第２の物体認識器を構築するためのパラメータを記憶部１７に格納する。制御部１５は、第２の物体認識器を構築するためのパラメータを端末装置１２に付与する。付与後、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、制御部１５は、ステップＳ１０３において構築した第２の物体認識器により認識可能な対象物と、第１の物体認識器１８において学習済みの対象物とを用いて、第１の物体認識器１８を再学習させる。制御部１５は、再学習により更新した第１の物体認識器１８を構築するパラメータを記憶部１７に格納する。更に、制御部１５は、第１の物体認識器を構築するためのパラメータを端末装置１２に付与する。付与後、第１の再学習処理は終了する。

次に、第１の実施形態において情報処理装置１０の制御部１５が第１の再学習処理の代わりに実行する、第２の再学習処理について、図７のフローチャートを用いて説明する。第１の再学習処理は、情報処理装置１０の入力部１６又は認識装置２６の入力部３０が第１の再学習の実行指令の操作入力を検出する場合に開始する。

ステップＳ３００において、制御部１５は、第１の再学習処理におけるステップＳ１００と同じ処理を行う。画像の取得後、プロセスはステップＳ３０１に進む。

ステップＳ３０１では、制御部１５は、ステップＳ３００において取得した画像に含まれる対象物を、最上層判定器２０で分類可能か否かを判別する。分類可能である場合、プロセスはステップＳ２００に進む。分類不能である場合、プロセスはステップＳ３０２に進む。

ステップＳ２００においては、制御部１５は、後述するように、第１の物体認識器学習のサブルーチンを実行する。サブルーチンの実行後、第２の再学習処理は終了する。

ステップＳ３０２、Ｓ３０３では、制御部１５は、第１の再学習処理におけるステップＳ１０３、Ｓ１０４と同じ処理を行う。パラメータの付与後、第２の再学習処理は終了する。

次に、第１の実施形態において情報処理装置１０の制御部１５が実行する、第１の物体認識器学習のサブルーチンについて、図８のフローチャートを用いて説明する。

ステップＳ２０１では、制御部１５は、第１の物体認識器１８に最上層から最下層に向かって段階的な分類を開始させる。分類の開始後、プロセスはステップＳ２０２に進む。

ステップＳ２０２では、制御部１５は、画像に含まれる対象物が要学習対象であることが明確であるか否かを判別する。明確であるか否かの判別は、情報処理装置１０の入力部１６又は認識装置２６の入力部３０に、要学習対象であることを示す操作入力の有無により判別される。要学習対象であるか否か不明である場合、プロセスはステップＳ２０３に進む。要学習対象であることが明確である場合、プロセスはステップＳ２０４に進む。

ステップＳ２０３では、制御部１５は、段階的判定器１９による対象物の物体認識に対する信頼度が閾値以上であるか否かを判別する。すべての階層の段階的判定器１９による物体認識の信頼度が閾値以上である場合、第１の物体認識器学習のサブルーチンＳ２００を終了する。いずれかの段階的判定器１９による物体認識の信頼度が閾値以上でない場合、プロセスはステップＳ２０５に進む。

ステップＳ２０４では、制御部１５は、第１の再学習処理のステップＳ１００又は第２の再学習処理のステップＳ３００において取得した画像に含まれる対象物の分類が不可能となる段階的判定器１９の階層を検出する。階層の検出後、プロセスはステップＳ２０５に進む。

ステップＳ２０５では、制御部１５は、ステップＳ２０３において信頼度が閾値未満であった階層以下において対象物が属するカテゴリ、又はステップＳ２０４において検出された階層以下において対象物が属するカテゴリの操作入力の要求を、出力装置２３又は情報処理装置１０に直接的に接続される出力装置に出力させる。出力後、プロセスはステップＳ２０６に進む。

ステップＳ２０６では、制御部１５は、ステップＳ２０５において操作入力を要求した全カテゴリが入力されているか否かを判別する。入力されていない場合、プロセスはステップＳ２０６に戻る。入力されている場合、プロセスはステップＳ２０７に進む。

ステップＳ２０７では、制御部１５は、ステップＳ２０６において入力が確認されたカテゴリを追加して、ステップＳ２０３において信頼度が閾値未満であった階層以下、又はステップＳ２０４において検出された階層以下の段階的判定器１９を再学習させる。制御部１５は、学習させた第１の物体認識器を構築するためのパラメータを記憶部１７に格納する。制御部１５は、学習させた第１の物体認識器を構築するためのパラメータを端末装置１２に付与する。付与後、第１の物体認識器学習のサブルーチンは終了する。

次に、第１の実施形態において認識装置２６の制御部２９が実行する、第１の認識処理について、図９のフローチャートを用いて説明する。第１の認識処理は、撮像部２２から画像を取得するたびに開始する。

ステップＳ４００において、制御部２９は、第１の物体認識器１８が第２の物体認識器の学習済み対象物を学習済みであるか否かを判別する。学習済みである場合、プロセスはステップＳ４０１に進む。学習済みでない場合、プロセスはステップＳ４０２に進む。

ステップＳ４０１では、制御部２９は、取得した画像に含まれる対象物に対して、第２の物体認識器の学習済み対象物を学習済みの第１の物体認識器１８を用いて物体認識を行う。物体認識後、プロセスはステップＳ４０５に進む。

ステップＳ４０２では、制御部２９は、第２の物体認識器の学習済み対象物を未学習である第１の物体認識器１８を用いて物体認識を行う。物体認識後、プロセスはステップＳ４０３に進む。

ステップＳ４０３では、制御部２９は、ステップＳ４０２における物体認識により対象物を特定できたか否かを判別する。特定できなかった場合、プロセスはステップＳ４０４０に進む。特定できた場合、プロセスはステップＳ４０５に進む。

ステップＳ４０４では、制御部２９は、第２の物体認識器を用いて物体認識を行う。物体認識後、プロセスはステップＳ４０５に進む。

ステップＳ４０５では、制御部２９は、ステップＳ４０１、Ｓ４０２、又はＳ４０４の物体認識の認識結果を出力装置２３に出力する。出力後、第１の認識処理は終了する。

次に、第１の実施形態において認識装置２６の制御部２９が第１の認識処理の代わりに実行する、第２の認識処理について、図１０のフローチャートを用いて説明する。第２の認識処理は、撮像部２２から画像を取得するたびに開始する。

ステップＳ５００、Ｓ５０１において、制御部２９は、第１の認識処理のステップＳ４０１、Ｓ４０２と同じ処理を行う。ステップＳ５０１における物体認識後、プロセスはステップＳ５０４に進む。

ステップＳ５０２では、制御部２９は、第１の物体認識器１８及び第２の物体認識器の両者それぞれを用いて物体認識を行う。物体認識後、プロセスはステップＳ５０５に進む。

ステップＳ５０３では、制御部２９は、ステップＳ５０２における第１の物体認識器１８及び第２の物体認識器それぞれの認識結果において、信頼度がより高い認識結果を正式な認識結果として採用する。採用後、プロセスはステップＳ５０４に進む。

ステップＳ５０４では、制御部２９は、ステップＳ５０１の物体認識の認識結果、又はステップＳ５０３において採用した認識結果を出力装置２３に出力する。出力後、第２の認識処理は終了する。

以上のような構成の第１の実施形態の情報処理装置１０は、通信部１４が取得した画像に写る対象物を、上位層から下位層に向かって段階的判定器１９に分類させ、既存の下位のカテゴリに分類できない下位層判定器２１に対応する上位のカテゴリに、新規な下位のカテゴリを追加して、第１の物体認識器１８を学習させる。このような構成により、情報処理装置１０は、階層化した段階的判定器１９の一部を学習させるので、階層化されていない物体認識モデルを学習させる場合に比べて、学習時間を短縮させ得る。したがって、情報処理装置１０は、物体認識モデルの利用を促進し得る。

また、第１の実施形態の情報処理装置１０は、入力部１６が検出する操作入力に対応する新な下位のカテゴリを追加する。このような構成により、情報処理装置１０は、使用者が未学習であると把握する対象物のカテゴリを、第１の物体認識器１８に加えて学習させ得る。

また、第１の実施形態の情報処理装置１０は、第１の物体認識器１８を用いて対象物の認識を行い、下位のカテゴリへの分類における信頼度が閾値以下である場合、当該下位のカテゴリへの分類を行った下位層判定器２１における上位のカテゴリに新規な下位のカテゴリを追加する。このような構成により、情報処理装置１０は、対象物が第１の物体認識器１８において学習済みであるか不明である場合であっても、学習済みであるか否かを判別し得る。したがって、情報処理装置１０は、学習済みであるか否かを使用者が判断することなく、自動的に判断して、第１の物体認識器１８を学習させ得る。

また、第１の実施形態の情報処理装置１０は、対象物が第１の物体認識器１８により認識可能な学習済みの対象物に類似する場合に第１の物体認識器１８を学習させ、学習済み対象物に類似しない場合に当該学習済み対象物を用いずに通信部１４が新規に取得した画像に含まれる対象物のみを用いて当該対象物を認識可能な第２の物体認識器を構築する。最上層判定器２０で分類できない対象物を用いた第１の物体認識器１８の学習は、第１の物体認識器１８全体の学習が必要であり、学習時間が長期化することがある。このような事象に対して上記の構成を有する情報処理装置１０は、対象物を第１の物体認識器１８の最上層判定器２０で分類できるか否かを判別し、分類できない場合に新規な第２の物体認識器を構築し得る。したがって、情報処理装置１０は、第１の物体認識器１８全体に比べて、学習時間が短い第２の物体認識器を構築し得るので、未学習の対象物を特定可能な物体認識器の学習時間を短縮させ得る。

また、第１の実施形態の情報処理装置１０は、最上層判定器２０が分類できない対象物に対して、第１の物体認識器１８により認識可能な学習済み対象物を用いずに通信部１４が新規に取得した画像に含まれる対象物を用いて当該該対象物を認識可能な第２の物体認識器を構築する。したがって、情報処理装置１０は、第１の物体認識器１８全体に比べて、学習時間が短い第２の物体認識器を構築し得るので、未学習の対象物を特定可能な物体認識器の学習時間を短縮させ得る。

また、第１の実施形態の情報処理装置１０は、第２の物体認識器により認識可能な対象物と、学習済み対象物とを用いて第１の物体認識器１８を再学習することにより、第１の物体認識器１８を更新する。このような構成により、情報処理装置１０は、未学習の対象物に対して複数の第２の物体認識器の無制限な構築を防ぎ、第１の物体認識器１８の学習が終わるまでの間、第２の物体認識器を併用する状況を提供し得る。

また、第１の実施形態の認識装置２６は、画像に含まれる対象物に第１の物体認識器１８による認識を行い、第１の物体認識器１８により認識できない場合に第２の物体認識器を用いて当該対象物を認識する。このような構成により、認識装置２６は、比較的早くに学習可能な第１の物体認識器１８又は第２の物体認識器を用いて対象物を認識できるので、新規な対象物を認識できない期間を短縮し得る。

又は、第１の実施形態の認識装置２６は、画像に含まれる対象物を第１の物体認識器１８及び第２の物体認識器それぞれによる認識を行い、認識に際して算出される信頼度に基づいて、第１の物体認識器１８及び第２の物体認識器のいずれかの認識を採用する。このような構成によっても、認識装置２６は、比較的早くに学習可能な第１の物体認識器１８又は第２の物体認識器を用いて対象物を認識できるので、新規な対象物を認識できない期間を短縮し得る。

また、第１の実施形態の認識装置２６は、画像に含まれる対象物を、更新前の第１の物体認識器１８及び第２の物体認識器を用いて認識し、更新後の第１の物体認識器１８を取得後には更新後の第１の物体認識器のみを用いて認識する。このような構成により、認識装置２６は、未学習の対象物別の複数の第２の物体認識器の構築を防ぎ、第１の物体認識器１８の学習が終わるまでの間、第２の物体認識器を併用する状況を提供し得る。

次に、本開示の第２の実施形態に係る情報処理装置について説明する。第２の実施形態では、第１の物体認識モデルの構造が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。

第２の実施形態に係る認識器学習装置として機能する情報処理装置１０を含む情報処理システム１１は、第１の実施形態と同じく、少なくとも一つの端末装置１２、ネットワーク１３、及び情報処理装置１０を含んで構成される。

第２の実施形態における情報処理装置１０は、第１の実施形態と同じく、通信部（取得部）１４及び制御部１５を含んで構成され、更に入力部１６及び記憶部１７を含んで構成されてよい。第２の実施形態において、通信部１４、制御部１５、入力部１６、及び記憶部１７の構成は、第１の実施形態と同じである。第２の実施形態において、通信部１４、入力部１６、及び記憶部１７の機能も、第１の実施形態と同じである。

第２の実施形態において、制御部１５は、第１の実施形態と同じく、端末装置１２から物体認識による認識結果を示す情報を取得する場合、認識結果である推定した物体の販売価格を記憶部１７から読出してよい。制御部１５は、推定した物体の販売価格を合計した請求金額を算出してよい。制御部１５は、推定した物体を示す情報を付与した端末装置１２に、請求金額に相当する金額情報を送信してよい。

第２の実施形態において、制御部１５は、第１の実施形態と異なり、通信部１４が取得する画像に含まれる対象物を、学習済み対象物を認識可能な第１の物体認識器で認識できない場合、第２の物体認識器を構築する。第１の物体認識器は、機械学習により構築される任意の認識モデルであって、第１の実施形態における第１の物体認識器１８と異なっていてよい。言換えると、第２の実施形態における第１の物体認識器は、積層化した複数の段階的判定器を含む構成に限定されない。制御部１５は、第１の物体認識器における学習済み対象物を用いずに、通信部１４が取得する画像に含まれる対象物を用いて、当該対象物を認識可能な第２の物体認識器を構築する。

第２の実施形態において、制御部１５は、第２の物体認識器の構築を開始させる操作入力を入力部１６が検出する場合、通信部１４が取得する画像に含まれる対象物を、第１の物体認識モデルで認識できないと判断して、第２の物体認識器を新規に構築してよい。

又は、第２の実施形態において、制御部１５は、第１の物体認識モデルに、通信部１４が取得する画像に含まれる対象物の物体認識を行わせ、物体認識の信頼度を算出してよい。制御部１５は、算出した信頼度が閾値以下である場合、第１の物体認識モデルで認識できないと判断して、第２の物体認識器を新規に構築してよい。

第２の実施形態において、制御部１５は、第１の実施形態と同じく、新規な第２の物体認識器を構築するパラメータを、記憶部１７に格納してよい。制御部１５は、第２の物体認識器を構築するパラメータを、通信部１４を介して端末装置１２に付与してよい。

第２の実施形態において、制御部１５は、第１の実施形態と同じく、第２の物体認識器を構築するパラメータの付与後に、当該第２の物体認識器により認識可能な対象物と、第１の物体認識器により認識可能な学習済みの対象物とを用いて、第１の物体認識器を再学習させてよい。制御部１５は、第１の物体認識器の再学習により第１の物体認識器を更新してよい。制御部１５は、更新した第１の物体認識器を構築するパラメータを、記憶部に格納してよい。制御部１５は、更新した第１の物体認識器を構築するパラメータを、通信部１４を介して端末装置１２に付与してよい。

第２の実施形態における端末装置１２は、第１の実施形態と同じく、撮像部２２、出力装置２３、載置台２４、支持柱２５、及び認識装置２６を含んで構成される。第２の実施形態において、撮像部２２、出力装置２３、載置台２４、支持柱２５、及び認識装置２６の構成は、第１の実施形態と同じである。第２の実施形態において、撮像部２２、出力装置２３、載置台２４、支持柱２５、及び認識装置２６の機能も、第１の実施形態と同じである。

次に、第２の実施形態において情報処理装置１０の制御部１５が実行する、第１の再学習処理について、図１１のフローチャートを用いて説明する。第１の再学習処理は、情報処理装置１０の入力部１６又は認識装置２６の入力部３０が第１の再学習の実行指令の操作入力を検出する場合に開始する。

ステップＳ６００において、制御部１５は、第１の実施形態における第１の再学習処理のステップＳ１００と同じ処理を行う。画像の取得後、プロセスはステップＳ６０１に進む。

ステップＳ６０１、Ｓ６０２では、制御部１５は、第１の実施形態における第１の再学習処理のステップＳ１０３、Ｓ１０４と同じ処理を行う。ステップＳ６０２において、第１の物体認識器を構築するためのパラメータの端末装置１２への付与後、第１の再学習処理は終了する。

次に、第２の実施形態において情報処理装置１０の制御部１５が第１の再学習処理の代わりに実行する、第２の再学習処理について、図１２のフローチャートを用いて説明する。第２の再学習処理は、情報処理装置１０の入力部１６又は認識装置２６の入力部３０が第１の再学習の実行指令の操作入力を検出する場合に開始する。

ステップＳ７００において、制御部１５は、第１の実施形態における第１の再学習処理のステップＳ１００と同じ処理を行う。画像の取得後、プロセスはステップＳ７０１に進む。

ステップＳ７０１では、制御部１５は、ステップＳ７００において取得した画像に含まれる対象物に対して、第１の物体認識器による物体認識を行う。更に、制御部１５は、物体認識の信頼度が閾値以上であるか否かを判別する。閾値以上である場合、第２の再学習処理を終了する。閾値以上でない場合、プロセスはステップＳ７０２に進む。

ステップＳ７０２、Ｓ７０３では、制御部１５は、第１の実施形態における第１の再学習処理のステップＳ１０３、Ｓ１０４と同じ処理を行う。ステップＳ７０３において、第１の物体認識器を構築するためのパラメータの端末装置１２への付与後、第２の再学習処理は終了する。

以上のような構成の第２の実施形態の情報処理装置１０は、通信部１４が取得した画像に写る対象物を、学習済み対象物を認識可能な第１の物体認識器で認識できない場合、学習済み対象物を用いずに、通信部１４が取得した画像に写る対象物を用いて当該対象物を認識可能な第２の物体認識器を構築する。未学習である対象物を用いた既存の第１の物体認識モデルの再学習の学習時間は、長期化することがある。このような事象に対して上記の構成を有する情報処理装置１０は、第１の物体認識器で認識できない対象物に対して第２の物体認識器を構築し得る。したがって、情報処理装置１０は、第１の物体認識器に比べて、学習時間が短い第２の物体認識器を構築し得るので、未学習の対象物を特定可能な物体認識器の学習時間を短縮させ得る。

また、第２の実施形態の情報処理装置１０は、第２の物体認識器の構築を開始させる操作入力を検出する場合、第２の物体認識器を新規に構築する。このような構成により、情報処理装置１０は、使用者が未学習であると把握する対象物に対して、第２の物体認識器を構築させ得る。

また、第２の実施形態の情報処理装置１０は、通信部１４が取得した画像に含まれる対象物の、第１の物体認識器による認識の信頼度を算出し、当該信頼度が閾値以下である場合に第２の物体認識器を新規に構築する。このような構成により、情報処理装置１０は、通信部１４が取得した画像に含まれる対象物が第１の物体認識器において学習済みであるか不明である場合であっても、学習済みであるか否かを判別し得る。したがって、情報処理装置１０は、学習済みであるか否かを使用者が判断することなく、自動的に判断して、第２の物体認識器を構築し得る。

以上、情報処理装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。

本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、第１の実施形態及び第２の実施形態において、情報処理装置１０は認識器学習装置として機能し、端末装置１２は認識装置を含む構成である。しかし、情報処理装置１０が認識器学習装置及び認識装置として機能してよい。このような構成においては、例えば、端末装置１２は、撮像部２２が生成する画像を情報処理装置１０に送信し、情報処理装置１０における第１の物体認識器による認識結果を受信してよい。又は、端末装置１２は、撮像部２２が生成する画像を情報処理装置１０に送信し、情報処理装置１０における第１の物体認識器又は第２の物体認識器による認識結果を受信してよい。

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の物体認識器は、第２の物体認識器と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

１０ 認識器学習装置
１１ 情報処理システム
１２ 端末装置
１３ ネットワーク
１４ 通信部
１５ 制御部
１６ 入力部
１７ メモリ
１８ 第１の物体認識器
１９ 段階的判定器
２０ 最上層判定器
２１ 下位層判定器
２２ 撮像部
２３ 出力装置
２４ 載置台
２５ 支持柱
２６ 認識装置
２７ 通信部部
２８ 記憶部
２９ 制御部
３０ 入力部

Claims (11)

1. 最上層判定器と、前記最上層判定器の下層に少なくとも２層以上の複数の下位層判定器を積層した下位層判定器群とを含み、前記最上層判定器は画像に写る対象物をいずれかのカテゴリに分類し、前記下位層判定器は前記対象物をより上位層の判定器が分類したカテゴリから更に下位のカテゴリに分類し、前記対象物を上位層から下位層に向かって分類する第１の物体認識器を学習させる制御部を備え、
   前記制御部は、前記下位層判定器によって、前記対象物をより上位層の判定器が分類した第１カテゴリから更に下位の第２カテゴリに分類できないとき、前記第１カテゴリへ前記第２カテゴリと同じ階層に新規な第３カテゴリを追加し、前記第３カテゴリを追加した当該下位層判定器を学習させることで、前記下位層判定器群の一部を学習させる
   認識器学習装置。
2. 請求項１に記載の認識器学習装置において、
   前記複数の下位層判定器のうち、いずれか１つの下位層判定器は、前記第１カテゴリと対応づけられている
   認識器学習装置。
3. 請求項１に記載の認識器学習装置において、
   前記制御部は、前記対象物を前記第１の物体認識器によって分類させることで、前記対象物を前記第２カテゴリに分類できない下位層判定器を特定する
   認識器学習装置。
4. 請求項１から３のいずれか１項に記載の認識器学習装置において、
   前記制御部は、最上層判定器が対象物を分類できないとき、前記第１の物体認識器により認識可能な対象物を用いずに前記対象物を用いて該対象物を認識可能な第２の物体認識器を構築する
   認識器学習装置。
5. 請求項４に記載の認識器学習装置において、
   前記制御部は、前記第２の物体認識器により認識可能な対象物と、前記第１の物体認識器へ既に学習されている対象物とを用いて前記第１の物体認識器を再学習することにより、前記第１の物体認識器を更新する
   認識器学習装置。
6. 画像を取得する取得部と、
   前記画像に含まれる対象物に、請求項１に記載される認識器学習装置によって構築された前記第１の物体認識器による認識を行う制御部と、を備える
   認識装置。
7. 画像を取得する取得部と、
   前記画像に含まれる対象物に、請求項４又は５に記載の認識器学習装置によって構築された前記第１の物体認識器による認識を行い、前記第１の物体認識器により認識できない場合に、前記認識器学習装置によって構築された前記第２の物体認識器を用いて該対象物を認識する制御部と、を備える
   認識装置。
8. 画像を取得する取得部と、
   前記画像に含まれる対象物を、請求項４又は５に記載の認識器学習装置によって構築された前記第１の物体認識器及び前記第２の物体認識器それぞれによる認識を行い、認識に際して算出される信頼度に基づいて、前記第１の物体認識器及び前記第２の物体認識器のいずれかの認識を採用する制御部と、を備える
   認識装置。
9. 画像を取得する取得部と、
   前記画像に含まれる対象物を、請求項５に記載の認識器学習装置によって構築された前記更新前の第１の物体認識器及び前記第２の物体認識器を用いて認識し、前記更新後の第１の物体認識器を取得後には前記更新後の第１の物体認識器のみを用いて認識する制御部と、を備える
   認識装置。
10. 撮像により画像を生成する撮像部と、
    請求項６から９のいずれか１項に記載の認識装置に前記画像を送信し、前記認識装置から前記画像の認識結果を受信する通信部と、を備える
    電子機器
11. 画像を取得する取得ステップと、
    最上層判定器と、前記最上層判定器の下層に少なくとも２層以上の複数の下位層判定器を積層した下位層判定器群とを含み、前記最上層判定器は画像に写る対象物をいずれかのカテゴリに分類し、前記下位層判定器は前記対象物をより上位層の判定器が分類したカテゴリから更に下位のカテゴリに分類し、前記対象物を上位層から下位層に向かって分類する第１の物体認識器に前記画像の対象物を分類させ、より上位層の判定器が分類した第１カテゴリから更に下位の第２カテゴリに分類できないとき、前記第１カテゴリへ前記第２カテゴリと同じ階層に新規な第３カテゴリを追加し、前記第３カテゴリを追加した当該下位層判定器を学習させる学習ステップと、を備える
    学習方法。

Images