JP7082239B1 - 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法 - Google Patents

認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法 Download PDF

Info

Publication number
JP7082239B1
JP7082239B1 JP2021174114A JP2021174114A JP7082239B1 JP 7082239 B1 JP7082239 B1 JP 7082239B1 JP 2021174114 A JP2021174114 A JP 2021174114A JP 2021174114 A JP2021174114 A JP 2021174114A JP 7082239 B1 JP7082239 B1 JP 7082239B1
Authority
JP
Japan
Prior art keywords
classifier
objects
category
layer classifier
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021174114A
Other languages
English (en)
Other versions
JP2022188727A (ja
Inventor
暁艶 戴
寛樹 谷本
ジェチョル キム
依珊 謝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2022086241A priority Critical patent/JP7262650B2/ja
Application granted granted Critical
Publication of JP7082239B1 publication Critical patent/JP7082239B1/ja
Priority to CN202280041247.0A priority patent/CN117501317A/zh
Priority to PCT/JP2022/023368 priority patent/WO2022260148A1/ja
Priority to EP22820327.9A priority patent/EP4354390A1/en
Priority to US18/568,133 priority patent/US20240273868A1/en
Publication of JP2022188727A publication Critical patent/JP2022188727A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】対象物の数が多くても認識精度の低下を低減する。【解決手段】認識装置は通信部と制御部とを有する。通信部は画像を取得する。制御部は物体認識器２３として機能する。物体認識器２３は画像に写る対象物を複数の分類器２４に順番に分類させることにより対象物を推定する。複数の分類器２４は最上層２５の分類器２４と複数の下位層２６の分類器２４とを含む。複数の下位層２６の分類器２４は更に下位のカテゴリが対象物の特定情報である最下層の分類器２４ｌｓｔを含む。物体認識器２３により推定される対象物の中で特定情報が異なる少なくとも２つの対象物における最上層２５の分類器２４から最下層の分類器２４ｌｓｔまでの階層数が異なる。【選択図】図４

Description

特許法第３０条第２項適用 ２０２１年６月１０日京セラ株式会社の記者会見で発表
特許法第３０条第２項適用 ２０２１年６月１０日ＴＢＳテレビの番組内で発表
特許法第３０条第２項適用 ２０２１年６月１０日及び１１日京セラ株式会社のＨＰで発表
本発明は、認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法に関するものである。
近年、画像中に含まれる物体を機械学習によって認識する技術の開発が進められている。
例えば、特許文献１には一般物体認識と特定物体認識とを併用した認識手法が記載されている。
国際公開２０１１／０８１１９２号
従来の技術には改善の余地がある。例えば、認識対象の物体の数が多くなると、認識精度が低下する。
かかる点に鑑みてなされた本開示の目的は、認識対象である対象物の数が多くても、認識精度の低下を低減することである。
上述した諸課題を解決すべく、第１の観点による認識装置は、
画像を取得する取得部と、
前記画像に写る対象物を、複数の層に階層化されている複数の分類器に順番に分類させることにより、推定する物体認識器として機能する制御部と、を備え、
前記複数の分類器は、前記画像に写る対象物を複数のカテゴリのいずれかに分類する最上層の分類器と、上位層の前記分類器により分類された各カテゴリについて更に下位のカテゴリに分類する複数の下位層の分類器とを含み、
前記下位層の分類器は、分類する前記更に下位のカテゴリが前記対象物の特定情報である最下層の分類器を含み、
前記物体認識器により推定される対象物の中で特定情報が異なる少なくとも２つの対象物における、前記最上層の分類器から前記最下層の分類器までの階層数が異なる。
また、第２の観点による端末装置は、
撮像部と、
前記撮像部が生成した画像を、画像を取得する取得部と、前記画像に写る対象物を、複数の層に階層化されている複数の分類器に順番に分類させることにより、推定する物体認識器として機能する制御部と、を有し、前記複数の分類器は、前記画像に写る対象物を複数のカテゴリのいずれかに分類する最上層の分類器と、上位層の前記分類器により分類された各カテゴリの中で更に下位のカテゴリに分類する複数の下位層の分類器とを含み、前記下位層の分類器は、分類する前記更に下位のカテゴリが前記対象物の特定情報である最下層の分類器を含み、前記物体認識器により推定される対象物の中で少なくとも２つの対象物における、前記最上層の分類器から前記最下層の分類器までの階層数が異なる認識装置に付与し、該画像に写る対象物の前記特定情報を取得する通信部と、
前記特定情報を報知する出力装置と、を備える
また、第３の観点による認識器構築装置は、
複数の層に階層化されている複数の分類器に順番に分類させることにより、画像に写る対象物を特定する特定情報を推定する物体認識器を構築する情報処理装置であって、
前記複数の対象物それぞれの、画像及び前記特定情報を少なくとも取得する取得部と、
前記複数の対象物それぞれの画像及び特定情報に基づいて、前記複数の分類器を構築する制御部と、を備え、
前記複数の分類器は、前記取得部が取得する画像に基づいて該画像における対象物のカテゴリを分類する最上層の分類器と、より上位層の前記分類器が分類したカテゴリに属する対象物をいずれかの前記特定情報に分類する最下層の分類器とを含み、
前記制御部は、
前記複数の対象物それぞれが属するカテゴリを初期基準に基づいて決定し、決定した該カテゴリに前記対象物を分類する前記最上層の分類器を構築し、
前記最上層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて、各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器を構築し、
前記仮の最下層の分類器が所定の条件を満たす場合、最下層の分類器として確定し、
前記仮の最下層の分類器が所定の条件を満たすまで、該仮の最下層の分類器の１つ上位層の分類器が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準の決定、該任意の基準に基づいた該全対象物それぞれが属する更に下位のカテゴリの決定、及び決定した更に下位の各カテゴリそれぞれに属する全対象物毎の画像と該更に下位のカテゴリとに基づいて構築する中間層の分類器への該仮の最下層の分類器からの差替えと、該中間層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器の構築とを、繰返す。
また、第４４の観点による認識器修正装置は、
新規な対象物の画像及び特定情報を少なくとも取得する取得部と、
前記新規な対象物を用いて、画像を取得する取得部と、前記画像に写る対象物を、複数の層に階層化されている複数の分類器に順番に分類させることにより、推定する物体認識器として機能する制御部と、を有し、前記複数の分類器は、前記画像に写る対象物を複数のカテゴリのいずれかに分類する最上層の分類器と、上位層の前記分類器により分類された各カテゴリの中で更に下位のカテゴリに分類する複数の下位層の分類器とを含み、前記下位層の分類器は、分類する前記更に下位のカテゴリが前記対象物の特定情報である最下層の分類器を含み、前記物体認識器により推定される対象物の中で少なくとも２つの対象物における、前記最上層の分類器から前記最下層の分類器までの階層数が異なる認識装置における前記物体認識器を修正させる制御部と、を備え、
前記制御部は、
前記画像に基づいて、前記物体認識器を用いて前記新規な対象物の特定情報を推定させ、
該特定情報を分類した最下層の分類器を特定し、
該最下層の分類器により分類される全対象物及び前記新規な対象物それぞれの画像と前記特定情報とに基づいて構築される仮の最下層の分類器を、該最下層の分類器に差替え、
前記仮の最下層の分類器が所定の条件を満たす場合、最下層の分類器として確定し、
前記仮の最下層の分類器が所定の条件を満たすまで、該仮の最下層の分類器の１つ上位層の分類器が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準の決定、該任意の基準に基づいた該全対象物それぞれが属する更に下位のカテゴリの決定、及び決定した更に下位の各カテゴリそれぞれに属する全対象物毎の画像と該更に下位のカテゴリとに基づいて構築する中間層の分類器への該仮の最下層の分類器からの差替えと、該中間層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器の構築とを、繰返す。
また、第５の観点による構築方法は、
複数の層に階層化されている複数の分類器に順番に分類させることにより、画像に写る対象物を特定する特定情報を推定する物体認識器の構築方法であって、
前記複数の対象物それぞれの、画像及び特定情報を少なくとも取得するステップと、
前記複数の対象物それぞれの画像及び特定情報に基づいて、前記複数の分類器を構築するステップと、を備え、
前記複数の分類器は、前記取得部が取得する画像に基づいて該画像における対象物のカテゴリを分類する最上層の分類器と、より上位層の前記分類器が分類したカテゴリに属する対象物をいずれかの前記特定情報に分類する最下層の分類器とを含み、
前記複数の分類器を構築するステップは、
前記複数の対象物それぞれが属するカテゴリを初期基準に基づいて決定するステップと、
決定した該カテゴリに前記対象物を分類する前記最上層の分類器を構築するステップと、
前記最上層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて、各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器を構築するステップと、
前記仮の最下層の分類器が所定の条件を満たす場合、最下層の分類器として確定するステップと、
前記仮の最下層の分類器が所定の条件を満たすまで、該仮の最下層の分類器の１つ上位層の分類器が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準の決定、該任意の基準に基づいた該全対象物それぞれが属する更に下位のカテゴリの決定、及び決定した更に下位の各カテゴリそれぞれに属する全対象物毎の画像と該更に下位のカテゴリとに基づいて構築する中間層の分類器への該仮の最下層の分類器からの差替えと、該中間層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器の構築とを、繰返すステップと、を含む。
また、第６の観点による修正方法は、
新規な対象物の画像及び特定情報を少なくとも取得するステップと、
前記新規な対象物を用いて、画像を取得する取得部と、前記画像に写る対象物を、複数の層に階層化されている複数の分類器に順番に分類させることにより、推定する物体認識器として機能する制御部と、を備え、前記複数の分類器は、前記画像に写る対象物を複数のカテゴリのいずれかに分類する最上層の分類器と、上位層の前記分類器により分類された各カテゴリの中で更に下位のカテゴリに分類する複数の下位層の分類器とを含み、前記下位層の分類器は、分類する前記更に下位のカテゴリが前記対象物の特定情報である最下層の分類器を含み、前記物体認識器により推定される対象物の中で少なくとも２つの対象物における、前記最上層の分類器から前記最下層の分類器までの階層数が異なる認識装置における前記物体認識器を学習させるステップと、を備え、
前記物体認識器を学習させるステップは、
前記画像に基づいて、前記物体認識器を用いて前記新規な対象物の特定情報を推定させ、
該特定情報を分類した最下層の分類器を特定するステップと、
該最下層の分類器により分類される全対象物及び前記新規な対象物それぞれの画像と前記特定情報とに基づいて構築される仮の最下層の分類器を、該最下層の分類器に差替えるステップと、
前記仮の最下層の分類器が所定の条件を満たす場合、最下層の分類器として確定するステップと、
前記仮の最下層の分類器が所定の条件を満たすまで、該仮の最下層の分類器の１つ上位層の分類器が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準の決定、該任意の基準に基づいた該全対象物それぞれが属する更に下位のカテゴリの決定、及び決定した更に下位の各カテゴリそれぞれに属する全対象物毎の画像と該更に下位のカテゴリとに基づいて構築する中間層の分類器への該仮の最下層の分類器からの差替えと、該中間層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器の構築とを、繰返すステップと、を含む。
本開示によれば、認識対象である対象物の数が多くても、認識精度の低下が低減され得る。
第１の実施形態に係る認識装置を含む端末装置を有する情報処理システムの概略構成を示す構成図である。 図１の端末装置の外観を示す斜視図である。 図２の認識装置の概略構成を示すブロック図である。 図１の認識装置において制御部が機能する物体認識器の構成図である。 図４の物体認識器に対応する物体認識モデルの樹形図である。 図１の情報処理装置の概略構成を示す図である。 図６の制御部が実行する認識器構築処理を説明するためのフローチャートである。 図６の制御部が実行する修正処理を説明するためのフローチャートである。
以下、本開示の実施形態について、図面を参照して説明する。以下の図面に示す構成要素において、同じ構成要素には同じ符号を付す。
図１に示すように、本開示の一実施形態に係る認識装置を含む端末装置１０を有する情報処理システム１１は、少なくとも一つの端末装置１０、ネットワーク１２、及び情報処理装置（認識器構築装置、認識器修正装置）１３を含んで構成されてよい。本実施形態において、情報処理システム１１は、複数の端末装置１０を含む。端末装置１０及び情報処理装置１３は、ネットワーク１２を介して通信してよい。
情報処理システム１１は、画像に含まれる検出対象の像に基づいて、検出対象を特定する任意のシステムに適用される。情報処理システム１１は、例えば、検出対象である商品を画像に基づいて特定する精算システムに適用される。以下において、精算システムに適用した例を用いて、情報処理システム１１を説明する。
端末装置１０は、購入者が端末装置１０に載置する商品を撮像してよい。端末装置１０は、撮像による画像に対して物体認識を行い、画像中に含まれる物体が店舗におけるいずれの商品であるかを推定してよい。画像中の物体は、画像内に描画されている物体を意味する。情報処理装置１３は、端末装置１０において撮像された全商品の推定結果に基づいて、請求金額を算出してよい。情報処理装置１３は、請求金額を端末装置１０に通知してよい。端末装置１０は、購入者に請求金額を提示し、購入金額の支払いを要求してよい。
情報処理システム１１は、商品の画像に基づいて商品名を特定可能に構築した物体認識器を用いて、物体認識を行う。物体認識器により商品名を特定可能な商品を、登録済みの商品とも呼ぶ。認識器構築装置として機能する情報処理装置１３は、新規に物体認識器を構築する。認識器修正装置として機能する情報処理装置１３は、既存の物体認識器により商品名を特定可能な商品以外の商品に対して、当該商品の画像に基づいて商品名を特定可能となるように物体認識器を修正する。以下に、端末装置１０及び情報処理装置１３の詳細を説明する。
図２に示すように、端末装置１０は、撮像部１４、出力装置１５、載置台１６、支持柱１７、及び認識装置１８を含んで構成される。
撮像部１４は、例えば、載置台１６の全範囲を撮像可能に固定されている。撮像部１４は、例えば、載置台１６の側面から延びる支持柱１７に固定されている。撮像部１４は、例えば、載置台１６の上面ｕｓ全面を撮像可能、かつ当該上面ｕｓに光軸が垂直になるように固定されている。
撮像部１４は、可視光或いは赤外線のカメラを含んで構成されていてもよい。カメラは、撮像光学系及び撮像素子を含んで構成される。撮像光学系は、例えば、１個以上のレンズ及び絞りなどの光学部材を含む。レンズは、焦点距離に囚われずどのようなものであってもよく、例えば、一般的なレンズ、魚眼レンズを含む広角レンズまたは焦点距離が可変であるズームレンズであってもよい。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＦＩＲ(ｆａｒ ｉｎｆｒａｒｅｄ ｒａｙｓ)カメラ等である。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。
出力装置１５は、画像を表示する、従来公知の任意のディスプレイであってよい。ディスプレイは、後述するように、タッチスクリーンとして機能してよい。出力装置１５は、情報を報知するスピーカであってよい。出力装置１５は、例えば、認識装置１８の物体認識の認識結果を報知してよい。出力装置１５は、情報処理システム１１等の不具合が発生した場合等に種々の報知を行ってよい。出力装置１５は、認識装置１８の判定の成否及び物体認識器の修正の要否を音声等で報知してよい。
図３に示すように、認識装置１８は、通信部１９（取得部）、記憶部２０、及び制御部２１を含んで構成される。認識装置１８は、更に、入力部２２を含んでよい。認識装置１８は、第１の実施形態において、撮像部１４及び出力装置１５とは別の装置として構成されているが、例えば、撮像部１４、載置台１６、支持柱１７、および出力装置１５の少なくともいずれかと一体的に構成されてよい。
通信部１９は、例えば、有線または無線を含んで構成される通信線を介して撮像部１４と通信する通信モジュールを含む。通信部１９は、撮像部１４から画像を信号として受信、言い換えると取得する。通信部１９は、通信線を介して出力装置１５と通信する通信モジュールを含んでよい。通信部１９は、表示させる画像を画像信号として出力装置１５に向けて送信してよい。通信部１９は、ディスプレイである出力装置１５から表示面において接触を検知した位置に相当する位置信号を受信してよい。通信部１９は、ネットワーク１２を介して情報処理装置１３と通信する通信モジュールを含む。通信部１９は、物体認識器を構築するためのパラメータを情報処理装置１３から受信する。通信部１９は、後述する、確定した認識結果に相当する結果情報を情報処理装置１３に送信してよい。通信部１９は、情報処理装置１３から請求金額に相当する金額情報を受信してよい。
入力部２２は、ユーザからの操作入力を検出可能である。入力部２２は、ユーザからの入力を検出可能な少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、マイク等である。本実施形態において、入出力用インタフェースは、出力装置１５を用いたタッチスクリーンである。
記憶部２０は、半導体メモリ、磁気メモリ、光メモリのいずれかを含んでいる。半導体メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等である。ＲＡＭは、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy)等である。記憶部２０は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２０は、認識装置１８の動作に用いられるデータと、認識装置１８の動作によって得られたデータとを記憶する。例えば、記憶部２０は、システムプログラム、アプリケーションプログラム、組み込みソフトウェア等を記憶する。例えば、記憶部２０は、情報処理装置１３から取得する物体認識器を構築するパラメータを記憶する。
制御部２１は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等であってもよい。制御部２１は、認識装置１８の各部を制御しながら、認識装置１８の動作に関わる処理を実行する。認識装置１８の動作に係わる処理とは、例えば、物体認識である。
制御部２１は、通信部１９が取得する画像に含まれる対象物を推定する物体認識器として機能する。制御部２１は、物体認識の認識結果を出力装置１５に出力させてよい。制御部２１は、認識結果を情報処理装置１３に付与してよい。
図４に示すように、物体認識器２３は、複数の層に階層化されている複数の分類器２４を含んで構成される。物体認識器２３は、上位層から下位層に向けて複数の分類器２４に順番に分類させることにより、物体認識を行う。複数の分類器２４は、最上層２５の分類器２４及び複数の下位層２６の分類器２４を含む。
最上層２５の分類器２４は、通信部１９が取得した画像に写る対象物を複数のカテゴリのいずれかに分類する。最上層２５の分類器２４が分類するカテゴリは、袋、箱、瓶、缶、トレイ等の包装態様に関するカテゴリ、商品分類情報に関するカテゴリ、又は対象物に関する他の外観的特徴に関するカテゴリであってよい。又は、最上層２５の分類器２４が分類するカテゴリは、後述するように、クラスタリングにより定められる特徴量に対応するカテゴリであってよい。最上層２５の分類器２４は、例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、パターンマッチング、画像解析等に基づいて、対象物を分類してよい。パターンマッチングは、例えば、ＳＩＦＴ特徴量／ＳＵＲＦ特徴量／Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ等の画像特徴量に基づく。なお、最上層２５の分類器２４には、対象物の特定でなくカテゴリの分類なので、ＤＮＮ等の一般物体認識に適した分類器が採用されることが好ましい。
下位層２６の各分類器２４は、一つ上位層の分類器２４により分類された各カテゴリについて更に下位のカテゴリに分類する。下位層２６が分類するカテゴリは、より上位層の分類器２４により分類されたカテゴリ以外のカテゴリであってよい。下位層２６が分類するカテゴリは、対象物の大きさを分類するカテゴリであってよい。下位層２６の分類器２４は、例えば、ＤＮＮ、パターンマッチング、画像解析等に基づいて、対象物を分類してよい。なお、後述する最下層の分類器２４ｌｓｔ以外の下位層２６の分類器２４には、対象物の特定でなくカテゴリの分類なので、ＤＮＮ等の一般物体認識に適した分類器が採用されることが好ましい。
下位層２６の分類器２４は、最下層の分類器２４ｌｓｔを含む。最下層の分類器２４ｌｓｔにより分類される、更に下位のカテゴリは対象物を特定するための特定情報である。特定情報は、例えば、小売店で用いる端末装置１０における、対象物の商品名、商品名に紐づいてマスタ上で管理されるＩＤ等である。最下層の分類器２４ｌｓｔは、例えば、ＤＮＮ、パターンマッチング、画像解析等に基づいて、対象物を分類してよい。なお、最下層の分類器２４ｌｓｔには、対象物の特定なので、パターンマッチング等の特定物体認識に適した分類器が採用されることが好ましい。
物体認識器２３が推定可能な複数の対象物、言換えると物体認識器の構築又は修正に用いた複数の対象物の中で、特定情報が異なる少なくとも２つの対象物における、最上層２５の分類器２４から最下層の分類器２４ｌｓｔまでの階層数が異なる。例えば、全体で２層目の分類器２４により物体認識される対象物に対しては当該分類器２４が最下層の分類器２４ｌｓｔであり、当該対象物に対応する階層数は２層である。また、全体で３層目の分類器２４により物体認識される対象物に対しては当該分類器２４が最下層の分類器２４ｌｓｔであり、当該対象物に対応する階層数は３層である。図４において、物体認識器２３の最大の階層数は３層であるが、４層以上であってよい。
複数の分類器２４の少なくとも一部が分類するカテゴリの数は第１の閾値以下であってよい。第１の閾値は、物体認識器２３による対象物の正答率を所定の値を超えさせる任意の値に定められる。複数の分類器２４の少なくとも一部が分類に用いる特徴量の、分類されたカテゴリにおけるバラツキ度合いは第２の閾値以下であってよい。バラツキ度合いは、例えば、分類されたカテゴリに属する全対象物の特徴量の分散である。第２の閾値は、物体認識器２３による対象物の正答率を所定の値を超えさせる任意の値に定められる。
最下層の分類器２４ｌｓｔの少なくとも一部が分類する全対象物の、当該一部による当該全対象物の正答率が第３の閾値以上であってよい。
最上層２５の分類器２４は、画像に写る対象物のカテゴリを特定するために構築されたモデルであってよい。下位層２６の分類器２４は、より上位層の分類器２４が特定したカテゴリを、更に別のカテゴリに分類するために構築されたモデルであってよい。
物体認識器２３に対応する物体認識モデルの例を、以下に説明する。図５に示すように、物体認識モデル２７は、撮像対象のカテゴリで区分される第１層及び各カテゴリに属するクラスで区分される第２層を少なくとも含む階層構造を有する。第１層は、物体認識器２３における最上層２５の分類器２４により分類されるカテゴリに対応する。第２層は、物体認識器２３における最上層２５の１つ下位の下位層２６の分類器２４により分類されるカテゴリに対応する。任意のカテゴリに属する第２層上のクラスについて更なる細分化が必要である場合、当該第２層の直下に当該第２層に属するクラス群で更にグループ分けを行った第３層のサブクラスが設けられる。第３層は、物体認識器２３における最上層２５の２つ下位の下位層２６の分類器２４により分類されるカテゴリに対応する。物体認識モデル２７の説明においては、解釈を容易にするため、第２層のカテゴリをクラスと呼び、第３層のカテゴリをサブクラスと呼ぶ。
物体認識器２３を用いた対象物の推定の手順を、物体認識モデル２７を用いて、以下に説明する。制御部２１は、画像に含まれる対象物である任意の物体Ｘを、最上層２５の分類器２４を用いて、予め設定した第１層のカテゴリ群のいずれかのカテゴリに分類する。例示された物体認識モデル２７では、第１層のカテゴリ群は対象物の包装の型による分類であって、同一或いは類似の箱型のカテゴリ、同一或いは類似の袋型のカテゴリを含む。
制御部２１は、物体Ｘが箱型に分類された場合、箱型のカテゴリに対応する分類器２４を用いて、更に物体Ｘを箱型に属する第２層におけるクラス群のいずれかのクラスに分類する。例示された物体認識モデル２７では、箱型に属するクラス群は、特定情報であるクッキーＡ及びチョコレートＢを含んでよい。
制御部２１は、物体Ｘが袋型に分類された場合、袋型のカテゴリに対応する分類器２４を用いて、更に物体Ｘを袋型に属する第２層におけるクラス群のいずれかのクラスに分類する。袋型のカテゴリは箱型と異なり、属するクラス群が膨大で物体認識精度が低下する。それゆえ、袋型のカテゴリに属するクラス群は、特定情報ではなく、クラス群の中で任意に定めた特徴に基づいた類似度合いに基づく更なる分類を行って細分化させるクラスを含む。細分化は、第２層に属するクラス群を当該第２層の下位の第３層にサブクラス群を属させる分類を行わせる。例えば、第２層のクラス群は、対象物の大きさに関するクラスであってよく、具体的には袋の面積が面積閾値と比較して大きいこと又は小さいことをクラスとして含んでよい。
制御部２１は、物体Ｘが袋型に分類され且つ袋が大きいことに分類された場合、袋が大きいことのカテゴリに対応する分類器２４を用いて、更に物体Ｘを大きいことに属する第３層におけるサブクラス群のいずれかに分類する。大きいことに属するサブクラス群は、特定情報である煎餅Ｃ及びポテトチップスＤを含んでよい。制御部２１は、物体Ｘが袋型に分類され且つ袋が小さいことに分類された場合、袋が小さいことのカテゴリに対応する分類器２４を用いて、更に物体Ｘを小さいことに属する第３層におけるサブクラス群のいずれかに分類する。小さいことに属するサブクラス群は、特定情報であるキャンディＥを含んでよい。
図６に示すように、情報処理装置１３は、通信部（取得部）２８及び制御部２９を含んで構成される。情報処理装置１３は、更に、記憶部３０を含んでよい。情報処理装置１３は、前述のように、複数の層に階層化されている複数の分類器２４に順番に分類させることにより画像に写る対象物を特定する特定情報を推定する物体認識器２３を構築する。
通信部２８は、ネットワーク１２に接続可能な少なくとも１つの通信モジュールを含んでよい。通信モジュールは、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又は無線ＬＡＮ、Ｗｉ－Ｆｉ等の通信規格に対応した通信モジュールである。通信部２８は、通信モジュールによって有線ＬＡＮなどを介して、ネットワーク１２に接続されてよい。
通信部２８は、例えば通信線を介して、多様な外部機器と通信可能な通信モジュールを含んでよい。通信モジュールは、通信線の規格に対応した通信モジュールである。通信線は、有線及び無線の少なくとも何れかを含んで構成されてよい。
通信部２８は、ネットワーク１２又は通信線を介して、直接又は間接的に、撮像部１４に接続されてよい。間接的に撮像部１４に接続されるとは、例えば、撮像部１４を内蔵する端末装置１０に通信部２８が接続されることを意味する。通信部２８は、撮像部１４が生成する画像を取得する。
通信部２８は、ネットワーク１２又は通信線を介して、直接的又は間接的に、入力部に接続されてよい。入力部は、認識装置１８の入力部２２であってよく、情報処理装置１３に直接接続される入力用インタフェースであってよい。通信部２８は、入力部が検出する特定情報を取得する。
通信部２８は、新規に物体認識器２３を構築する場合、当該物体認識器２３で物体認識を行う複数の対象物それぞれの画像及び特定情報を少なくとも取得する。通信部２８は、既存の物体認識器２３を新規な対象物に基づいて修正する場合、修正に用いる対象物の画像及び特定情報を少なくとも取得する。
通信部２８は、新規に物体認識器２３を構築する場合、複数の対象物それぞれの特徴量を取得してよい。通信部２８は、既存の物体認識器２３を新規な対象物に基づいて修正する場合、修正に用いる対象物の特徴量を取得してよい。特徴量は、入力部の検出、画像に基づく他の情報処理装置による算出によって情報として生成されてよい。
通信部２８は、分類器２４の構築のための、分類の基準を決める指示を取得してよい。分類の基準を決める指示は、例えば、後述するように、分類器２４が分類するカテゴリを指定する指示である。当該指示を取得する場合、複数の対象物それぞれに対応するカテゴリも取得される。指定されるカテゴリは、対象物の外観から判別されるカテゴリである。当該指示は、入力部が検出するユーザによる操作入力により生成されてよい。
通信部２８は、ネットワーク１２又は通信線を介して、直接的又は間接的に、出力装置１５に接続されてよい。間接的に出力装置１５に接続されるとは、例えば、出力装置１５を含む端末装置１０に通信部２８が接続されることを意味する。
記憶部３０は、半導体メモリ、磁気メモリ、光メモリのいずれかを含んでいる。半導体メモリは、例えば、ＲＡＭ、ＲＯＭ等である。ＲＡＭは、例えば、ＳＲＡＭ、ＤＲＡＭ等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ等である。記憶部３０は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部３０は、情報処理装置１３の動作に用いられるデータと、情報処理装置１３の動作によって得られたデータとを記憶する。例えば、記憶部３０は、システムプログラム、アプリケーションプログラム、組み込みソフトウェア等を記憶する。
制御部２９は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ、ＧＰＵ等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ、ＡＳＩＣ等であってもよい。制御部２９は、情報処理装置１３の各部を制御しながら、情報処理装置１３の動作に関わる処理を実行する。情報処理装置１３の動作に係わる処理とは、例えば、物体認識器２３の構築、物体認識器２３の修正である。
制御部２９は、端末装置１０から物体認識による認識結果を示す情報を取得する場合、認識結果である推定した物体の販売価格を記憶部３０から読出してよい。制御部２９は、推定した物体の販売価格を合計した請求金額を算出してよい。制御部２９は、推定した物体を示す情報を付与した端末装置１０に、請求金額に相当する金額情報を送信してよい。
制御部２９は、対象物の画像及び特定情報に少なくとも基づいて、物体認識器２３を構築する。更には、制御部２９は、対象物の画像及び特定情報に少なくとも基づいて、物体認識器２３を構成する複数の分類器２４を構築する。制御部２９による複数の分類器２４の構築方法を以下に説明する。
制御部２９は、複数の対象物それぞれが属するカテゴリを初期基準に基づいて決定する。制御部２９は、初期基準を、通信部２８が取得した分類の基準を決める指示に基づいて決定してよい。制御部２９は、初期基準を複数の対象物の画像解析により得られる特徴量に対してクラスタリングを行うことにより決定してよい。クラスタリングには、複数の対象物それぞれの画像に対する画像解析により生成する特徴量、及び通信部２８が取得した特徴量の少なくとも一方が用いられてよい。
制御部２９は、決定したカテゴリに対象物を分類する最上層２５の分類器２４を構築する。制御部２９は、任意の方法により最上層２５の分類器２４を構築してよい。任意の手法は、例えば、機械学習、非機械学習等の統計的手法である。制御部２９は、例えば、初期基準に基づいて対象物に対して決定したカテゴリをアノテーションデータとして用いて当該対象物の画像の機械学習を行う。又は、制御部２９は、初期基準に基づいて対象物に対して決定したカテゴリと当該対象物の画像との組合せを用いて非機械学習を行う。
制御部２９は、最上層２５の分類器２４が分類した各カテゴリに属する全対象物それぞれの画像と特定情報とに基づいて、仮の最下層の分類器２４ｖｌｓｔを構築する。制御部２９は、任意の方法により仮の最下層の分類器２４ｖｌｓｔを構築してよい。任意の方法は、例えば、機械学習、非機械学習等の統計的手法である。仮の最下層の分類器２４ｖｌｓｔは、最上層２５の分類器２４が分類した各カテゴリに属する全対象物をそれぞれの特定情報に分類する。
制御部２９は、仮の最下層の分類器２４ｖｌｓｔが所定の条件を満たす場合、当該仮の最下層の分類器２４ｖｌｓｔを最下層の分類器２４ｌｓｔとして確定する。
所定の条件は、仮の最下層の分類器２４ｖｌｓｔが分類するカテゴリの更なる細分化が不要と判断し得る条件である。
所定の条件は、仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率が第３の閾値以上である第３の条件であってよい。正答率は、対象物毎の、検証用の画像及び特定情報に基づいて算出されてよい。
又は、所定の条件は、第１の条件及び第２の条件の少なくとも一方であってよい。第１の条件は、仮の最下層の分類器ｖｌｓｔが分類する特定情報の数が第１の閾値以下である。第２の条件は、仮の最下層の分類器ｖｌｓｔの１つ上位層の分類器２４が分類に用いた特徴量の、該仮の最下層の分類器ｖｌｓｔに対応するカテゴリにおけるバラツキ度合いが第２の閾値以下である。
制御部２９は、所定の条件が第１の条件である場合の仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率と、所定の条件が第２の条件である場合の仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率との中で正答率がより高い所定の条件を、最下層の分類器２４ｌｓｔとしての確定の判別に適用してよい。
制御部２９は、第１の条件を満たす前の仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率から、第１の条件を満たした後の最下層の分類器２４ｌｓｔにより分類される対象物の正答率が低下するか否かを判別してよい。制御部２９は、低下する場合、当該第１の条件を満たすための中間層の分類器２４の構築及び当該中間層の分類器２４の下位層の最下層の分類器２４ｌｓｔの構築を停止してよい。中間層の分類器２４の構築は、後に説明される。
制御部２９は、第２の条件を満たす前の仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率から、第２の条件を満たした後の最下層の分類器２４ｌｓｔにより分類される対象物の正答率が低下するか否かを判別してよい。制御部２９は、低下する場合、当該第２の条件を満たすための中間層の分類器２４の構築及び当該中間層の分類器２４の下位層の最下層の分類器２４ｌｓｔの構築を停止してよい。
制御部２９は、分類器２４別に、上述の第１の条件、第２の条件、及び第３の条件のいずれかを用いてよい。したがって、制御部２９は、第１の条件に応じるように構築された中間層の分類器２４及び最下層の分類器２４ｌｓｔ、第２の条件に応じるように構築された中間層の分類器２４及び最下層の分類器２４ｌｓｔ、第３の条件に応じるように構築された最下層の分類器２４ｌｓｔを同時に含む物体認識器２３を構築してよい。
制御部２９は、仮の最下層の分類器２４ｖｌｓｔが所定の条件を満たすまで、中間層の分類器２４の構築と、当該仮の最下層の分類器ｖｌｓｔから当該中間層の分類器２４への差替えと、該中間層の分類器２４の１つ下位層の仮の最下層の分類器２４ｖｌｓｔの構築とを繰返す。
制御部２９は、中間層の分類器２４の構築のために、仮の最下層の分類器ｖｌｓｔの１つ上位層の分類器２４が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準を決定する。制御部２９は、任意の基準を、通信部２８が取得した分類の基準を決める指示に基づいて決定してよい。制御部２９は、任意の基準を複数の対象物の特徴量に対して画像解析により得られるクラスタリングを行うことにより決定してよい。クラスタリングには、複数の対象物それぞれの画像に対する画像解析により生成する特徴量、及び通信部２８が取得した特徴量の少なくとも一方が用いられてよい。任意の基準は、例えば、上述のように、対象物の大きさを特徴量として定められてよい。対象物の大きさは、画像の全領域に対する当該対象物が占める領域の面積比として算出されてよい。対象物の大きさい平均値、中央値等の統計値が、分類のための任意の基準として用いられてよい。
制御部２９は、決定した任意の基準に基づいて、仮の最下層の分類器ｖｌｓｔの１つ上位層の分類器２４が分類した任意のカテゴリに属すると決められた全対象物それぞれが属する更に下位のカテゴリを決定する。更に下位のカテゴリの決定は、当該全対象物それぞれの、クラスタリングに用いた特徴量又は指示とともに取得した当該前対象物それぞれのカテゴリに基づいてよい。
制御部２９は、決定した更に下位のカテゴリに属する全対象物毎の画像と当該更に下位のカテゴリとに基づいて、中間層の分類器２４を構築する。制御部２９は、任意の方法により中間層の分類器２４を構築してよい。任意の手法は、例えば、機械学習、非機械学習等の統計的手法である。制御部２９は、例えば、任意の基準に基づいて対象物に対して決定した更に下位のカテゴリをアノテーションデータとして用いて当該対象物の画像の機械学習を行う。又は、制御部２９は、任意の基準に基づいて対象物に対して決定した更に下位のカテゴリと当該対象物の画像との組合せを用いて非機械学習を行う。
制御部２９は、中間層の分類器２４の構築に伴い、当該中間層の分類器２４に分類される各カテゴリに属する全対象物をそれぞれの特定情報に分類する仮の最下層の分類器２４ｖｌｓｔを構築する。制御部２９は、当該中間層の分類器２４が分類した各カテゴリに属する全対象物それぞれの画像と特定情報とに基づいて、仮の最下層の分類器２４ｖｌｓｔを構築する。
制御部２９は、上述のように構築した物体認識器２３を構築するパラメータを、記憶部３０に格納してよい。制御部２９は、物体認識器２３を構築するパラメータを、通信部２８を介して端末装置１０に付与してよい。
制御部２９は、既存の物体認識器２３に対して新規な対象物の画像及び特定情報を、通信部２８を介して取得する場合、当該新規な対象物を用いて当該物体認識器２３を修正する。新規な対象物を用いた物体認識器２３の修正を以下に説明する。物体認識器２３は、パラメータを記憶部３０に格納した物体認識器２３であってよく、外部の情報処理装置が生成し且つ通信部２８を介して取得したパラメータに対応する物体認識器２３であってよい。
制御部２９は、取得した画像に対して、物体認識器２３を用いた物体認識により特定情報を推定させる。制御部２９は、当該特定情報に分類した最下層の分類器２４ｌｓｔを特定する。
制御部２９は、特定した最下層の分類器２４ｌｓｔにより分類される全対象物及び前記新規な対象物それぞれの画像と特定情報とに基づいて、仮の最下層の分類器２４ｖｌｓｔを構築する。制御部２９は、任意の方法により仮の最下層の分類器２４ｖｌｓｔを構築してよい。任意の手法は、例えば、機械学習、非機械学習等の統計的手法である。制御部２９は、特定した最下層の分類器２４ｌｓｔを、新規に構築した仮の最下層の分類器２４ｖｌｓｔに差替える。
制御部２９は、仮の最下層の分類器２４ｖｌｓｔが所定の条件を満たす場合、当該仮の最下層の分類器２４ｖｌｓｔを最下層の分類器２４ｌｓｔとして確定する。所定の条件は、新規に物体認識器２３を構築する場合において仮の最下層の分類器２４ｖｌｓｔを最下層の分類器２４ｌｓｔとして確定させる所定の条件と同じであってよい。
制御部２９は、仮の最下層の分類器２４ｖｌｓｔが所定の条件を満たすまで、中間層の分類器２４の構築と、当該仮の最下層の分類器ｖｌｓｔから当該中間層の分類器２４への差替えと、該中間層の分類器２４の１つ下位層の仮の最下層の分類器２４ｖｌｓｔの構築とを繰返す。中間層の分類器２４の構築は、後に説明する。
制御部２９は、中間層の分類器２４の構築のために、仮の最下層の分類器ｖｌｓｔの１つ上位層の分類器２４が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準を決定する。制御部２９は、任意の基準を、通信部２８が取得した分類の基準を決める指示に基づいて決定してよい。制御部２９は、任意の基準を複数の対象物の特徴量に対してクラスタリングを行うことにより決定してよい。クラスタリングには、複数の対象物それぞれの画像に対する画像解析により生成する特徴量、及び通信部２８が取得した特徴量の少なくとも一方が用いられてよい。
制御部２９は、決定した任意の基準に基づいて、仮の最下層の分類器ｖｌｓｔの１つ上位層の分類器２４が分類した任意のカテゴリに属すると決められた全対象物それぞれが属する更に下位のカテゴリを決定する。更に下位のカテゴリの決定は、当該全対象物それぞれの、クラスタリングに用いた特徴量又は指示とともに取得した当該前対象物それぞれのカテゴリに基づいてよい。
制御部２９は、決定した更に下位のカテゴリに属する全対象物毎の画像と当該更に下位のカテゴリとに基づいて、中間層の分類器２４を構築する。制御部２９は、任意の方法により中間層の分類器２４を構築してよい。任意の手法は、例えば、機械学習、非機械学習等の統計的手法である。制御部２９は、例えば、任意の基準に基づいて対象物に対して決定した更に下位のカテゴリをアノテーションデータとして用いて当該対象物の画像の機械学習を行う。又は、制御部２９は、任意の基準に基づいて対象物に対して決定した更に下位のカテゴリと当該対象物の画像との組合せを用いて非機械学習を行う。
制御部２９は、中間層の分類器２４の構築に伴い、当該中間層の分類器２４に分類される各カテゴリに属する全対象物をそれぞれの特定情報に分類する仮の最下層の分類器２４ｖｌｓｔを構築する。制御部２９は、当該中間層の分類器２４が分類した各カテゴリに属する全対象物それぞれの画像と特定情報とに基づいて、仮の最下層の分類器２４ｖｌｓｔを構築する。
制御部２９は、上述のように修正した物体認識器２３を構築するパラメータを、記憶部３０に格納してよい。制御部２９は、当該物体認識器２３を構築するパラメータを、通信部２８を介して端末装置１０に付与してよい。
次に、本実施形態において情報処理装置１３の制御部２９が実行する、認識器構築処理について、図７のフローチャートを用いて説明する。認識器構築処理は、情報処理装置１３の通信部２８を介して認識器の新規構築の実行指令を取得する場合に開始する。
ステップＳ１００において、制御部２９は、構築する物体認識器による認識対象である全対象物それぞれの画像及び特定情報を少なくとも取得する。制御部２９は、画像及び特定情報を取得するために、端末装置１０の出力装置１５に、画像及び特定情報の入力要求を出力させてよい。画像及び特定情報を少なくとも取得した後、プロセスはステップＳ１０１に進む。
ステップＳ１０１では、制御部２９は、初期基準に基づいて、複数の対象物それぞれが属するカテゴリを決定する。決定後、プロセスはステップＳ１０２に進む。
ステップＳ１０２では、制御部２９は、ステップＳ１０１において決定したカテゴリに対象物を分類するように最上層２５の分類器２４を構築する。構築後、プロセスはステップＳ１０３に進む。
ステップＳ１０３では、制御部２９は、最上層２５の分類器２４により分類されたカテゴリそれぞれに属する対象物を特定情報に分類するように仮の最下層の分類器２４ｖｌｓｔを構築する。構築後、プロセスはステップＳ１０４に進む。
ステップＳ１０４では、制御部２９は、未確定の一つの仮の最下層の分類器２４ｖｌｓｔを選択する。選択後、プロセスはステップＳ１０５に進む。
ステップＳ１０５では、制御部２９は、ステップＳ１０４において選択した仮の最下層の分類器２４ｌｓｔが所定の条件を満たすか否かを判別する。所定の条件は、前述のように、当該仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率が第３の閾値以上であること、当該仮の最下層の分類器ｖｌｓｔが分類する特定情報の数が第１の閾値以下であること、及び当該仮の最下層の分類器ｖｌｓｔの１つ上位層の分類器２４が分類に用いた特徴量の、該仮の最下層の分類器ｖｌｓｔに対応するカテゴリにおけるバラツキ度合いが第２の閾値以下であることの少なくとも１つであってよい。所定の条件を満たさない場合、プロセスはステップＳ１０６に進む。所定の条件を満たす場合、プロセスはステップＳ１０８に進む。
ステップＳ１０６では、制御部２９は、任意の基準に基づいて、複数の対象物それぞれが属するカテゴリを決定する。決定後、プロセスはステップＳ１０７に進む。
ステップＳ１０７では、制御部２９は、ステップＳ１０６において決定したカテゴリに対象物を分類するように中間層の分類器２４を構築する。更に、制御部２９は、当該中間層の分類器２４により分類されたカテゴリそれぞれに属する対象物を特定情報に分類するように仮の最下層の分類器２４ｖｌｓｔを構築する。構築後、プロセスはステップＳ１０４に戻る。
ステップＳ１０５において正答率が第３の閾値以上である場合に進むステップＳ１０８では、制御部２９は、ステップＳ１０４で選択した仮の最下層の分類器２４ｖｌｓｔを最下層の分類器２４ｌｓｔとして確定する。確定後、プロセスはステップＳ１０９に進む。
ステップＳ１０９では、制御部２９は、全仮の最下層の分類器ｖｌｓｔが最下層の分類器ｌｓｔとして確定されているか否かを判別する。すべての仮の最下層の分類器２４ｖｌｓｔが確定されていない場合、プロセスはステップＳ１０４に戻る。すべての仮の最下層の分類器２４ｖｌｓｔが確定されている場合、プロセスはステップＳ１１０に進む。
ステップＳ１１０では、制御部２９は、全分類器２４により形成される物体認識器２３を構築するパラメータを記憶部３０に格納する。更に、制御部２９は、物体認識器２３を構築するパラメータを端末装置１０に付与するように通信部２８を制御する。パラメータの格納及び付与後、認識器構築処理は終了する。
次に、本実施形態の情報処理装置１３の制御部２９が実行する、修正処理について、図８のフローチャートを用いて説明する。修正処理は、情報処理装置１３の通信部２８を介して認識器の修正の実行指令を取得する場合に開始する。
ステップＳ２００において、制御部２９は、修正の対象である既存の物体認識器２３を取得する。既存の物体認識器２３は、記憶部３０からパラメータを読出すことにより取得されてよい。取得後、プロセスはステップＳ２０１に進む。
ステップＳ２０１では、制御部２９は、ステップＳ２００において取得した既存の物体認識器２３に対して新規対象物の画像及び特定情報を少なくとも取得する。制御部２９は、画像及び特定情報を取得するために、端末装置１０の出力装置１５に、画像及び特定情報の入力要求を出力させてよい。画像及び特定情報を少なくとも取得した後、プロセスはステップＳ２０２に進む。
ステップＳ２０２では、制御部２９は、ステップＳ２００において取得した物体認識器２３を用いて、ステップＳ２０１で取得した新規な対象物それぞれを、当該対象物の画像に基づいて推定する。更に、制御部２９は、対象物を推定した、言換えると特定情報に分類した最下層の分類器２４ｌｓｔを特定する。特定後、プロセスはステップＳ２０３に進む。
ステップＳ２０３では、制御部２９は、ステップＳ２０２において特定した最下層の分類器２４ｌｓｔにより分類される全対象物及び新規な対象物それぞれの画像と特定情報とに基づいて、仮の最下層の分類器２４ｖｌｓｔを構築する。構築後、プロセスはステップＳ２０４に進む。
ステップＳ２０４では、制御部２９は、ステップＳ２０２において特定した最下層の分類器２４ｌｓｔを、ステップＳ２０３において新規に構築した仮の最下層の分類器２４ｖｌｓｔに差替える。差替え後、プロセスはステップＳ２０５に進む。
ステップＳ２０５からＳ２１１では、制御部２９は、認識器構築処理におけるステップＳ１０４からＳ１１０と同じ処理を行う。ステップＳ２１１においてパラメータの格納及び付与後、修正処理は終了する。
以上のような構成の本実施形態の認識装置１８は、画像に写る対象物を複数の層に階層化されている複数の分類器２４に順番に分類させることにより推定する物体認識器２３として機能する制御部２１を備え、複数の分類器２４は画像に写る対象物を複数のカテゴリのいずれかに分類する最上層２５の分類器２４と、一つ上位層の分類器２４により分類された各カテゴリの中で更に下位のカテゴリに分類する複数の下位層２６の分類器２４とを含み、下位層２６の分類器２４は分類する更に下位のカテゴリが対象物の特定情報である最下層の分類器２４ｌｓｔを含み、物体認識器２３により推定される対象物の中で少なくとも２つの対象物における最上層２５の分類器２４から最下層の分類器２４ｌｓｔまでの階層数が異なる。特許文献１のように、階層化させた分類器により順番に分類することにより対象物を推定する物体認識器において、分類するカテゴリの数が多くなると、一部のカテゴリに対象物が集中して分類され得る。分類器では、一般的に、分類するカテゴリの数が増加するほど、分類精度が低下する。それゆえ、上述のように、特許文献１に記載の物体認識では、一部のカテゴリに対象物が集中する場合、当該カテゴリに属する対象物の特定情報を分類する分類器の分類精度が低下し得る。一方で、上述の構成を有する認識装置１８は、全対象物における最上層２５の分類器２４から最下層の分類器２４ｌｓｔまでの階層数が異なるので、同一の階層において特定情報に分類する最下層の分類器２４ｌｓｔと更に下位のカテゴリに分類する分類器２４とを有する物体認識器２３として機能し得る。したがって、認識装置１８は、各分類器２４において任意のカテゴリへの対象物の集中を低減し得る。その結果、認識装置１８は、対象物の数が多くても、各分類器２４における分類精度の低下を抑え、物体認識器２３による物体認識の低下を低減し得る。
本実施形態の認識装置１８では、複数の分類器２４の少なくとも一部が分類するカテゴリの数は第１の閾値以下である。上述のように、一般的に、分類器において分類するカテゴリの数が増加するほど、分類精度が低下する。このような事象に対して、上述の構成を有する認識装置１８は、分類精度の低下を抑制し得る。
本実施形態の認識装置１８では、複数の分類器２４の少なくとも一部が分類に用いる特徴量の、分類されたカテゴリにおけるバラツキ度合いは第２の閾値以下である．一般的に、分類された一つのカテゴリにおいて、当該分類に用いた特徴量のばらつきは、高い精度で分類可能な、更なる分類の余地を示す。このような事象に対して、上述の構成を有する認識装置１８は、高い分類精度を有する分類器２４により構成される物体認識器２３として機能し得る。
以上のような構成の本実施形態の認識器構築装置として機能する情報処理装置１３は、複数の対象物それぞれが属するカテゴリの初期基準に基づいた決定と、決定した当該カテゴリに対象物を分類する最上層２５の分類器２４を構築し、最上層２５の分類器２４が分類した各カテゴリに属する全対象物それぞれの画像と特定情報とに基づいて、各カテゴリに属する全対象物をそれぞれの特定情報に分類する仮の最下層の分類器２４ｖｌｓｔを構築し、仮の最下層の分類器２４ｖｌｓｔが所定の条件を満たす場合、最下層の分類器２４ｌｓｔとして確定し、仮の最下層の分類器２４ｖｌｓｔが所定の条件を満たすまで、当該仮の最下層の分類器２４ｖｌｓｔの１つ上位層の分類器２４が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準の決定、当該任意の基準に基づいた当該全対象物それぞれが属する更に下位のカテゴリの決定及び決定した更に下位の各カテゴリそれぞれに属する全対象物毎の画像と当該更に下位のカテゴリとに基づいて構築する中間層の分類器２４への当該仮の最下層の分類器２４ｖｌｓｔからの差替えと、当該中間層の分類器２４が分類した各カテゴリに属する全対象物それぞれの画像と特定情報とに基づいて各カテゴリに属する全対象物をそれぞれの特定情報に分類する仮の最下層の分類器２４ｖｌｓｔの構築とを、繰返す。このような構成により情報処理装置１３は、対象物の数が膨大になった場合であっても、各分類器２４における分類精度を向上させ得る。したがって、情報処理装置１３は、分類精度の高い分類器２４により構成されるので、認識精度の高い物体認識器２３を構築し得る。
本実施形態の認識器構築装置として機能する情報処理装置１３では、所定の条件は、仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率が第３の閾値以上である。このような構成により、情報処理装置１３は、認識精度を更に向上させた物体認識器２３を構築し得る。
本実施形態の認識器構築装置として機能する情報処理装置１３では、所定の条件は、仮の最下層の分類器２４ｖｌｓｔが分類する特定情報の数が第１の閾値以下である第１の条件、及び仮の最下層の分類器２４ｖｌｓｔの１つ上位層の分類器２４が分類に用いた特徴量の当該仮の最下層の分類器２４ｖｌｓｔに対応するカテゴリにおけるバラツキ度合いが第２の閾値以下である第２の条件の少なくとも一方である。このような構成により、情報処理装置１３は、認識精度を更に向上させた物体認識器２３を構築し得る。
本実施形態の認識器構築装置として機能する情報処理装置１３は、所定の条件が第１の条件である場合の仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率と、所定の条件が第２の条件である場合の仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率との中で、正答率がより高い所定の条件を、最下層の分類器２４ｌｓｔとしての確定の判別に適用する。このような構成により、情報処理装置１３は、認識精度を更に向上させた物体認識器２３を構築し得る。
本実施形態の認識器構築装置として機能する情報処理装置１３は、第１の条件を満たした後の最下層の分類器２４ｌｓｔにより分類される対象物の正答率が、第１の条件を満たす前の仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率から低下する場合、当該第１の条件を満たすための中間層の分類器２４の構築及び当該中間層の分類器２４の下位層の最下層の分類器２４ｌｓｔの構築を停止する。このような構成により、情報処理装置１３は、分類精度の低下を防止するので、構築する物体認識器２３における認識精度の低下を防止する。
本実施形態の認識器構築装置として機能する情報処理装置１３は、第２の条件を満たした後の最下層の分類器２４ｌｓｔにより分類される対象物の正答率が、第２の条件を満たす前の仮の最下層の分類器２４ｖｌｓｔに分類される対象物の正答率から低下する場合、当該第２の条件を満たすための中間層の分類器２４の構築及び当該中間層の分類器２４ｌｓｔの構築を停止する。このような構成により、情報処理装置１３は、分類精度の低下を防止するので、構築する物体認識器２３における認識精度の低下を防止する。
本実施形態の認識器構築装置として機能する情報処理装置１３は、初期基準と前記任意の基準の少なくとも一部とをクラスタリングにより決定する。このような構成により、情報処理装置１３は、実際に得られる画像に対して適切な基準を決定し得る。したがって、情報処理装置１３は、認識精度を更に向上させた物体認識器２３を構築し得る。
本実施形態の認識器構築装置として機能する情報処理装置１３では、通信部２８は分類の基準を決める指示を更に取得し、制御部２９は初期基準と任意の基準の少なくとも一部とを通信部２８が取得した指示に基づいて決定する。このような構成により、情報処理装置１３では、ユーザが適用可能と判断する基準を、分類の基準に決定できる。
以上のような構成の本実施形態の認識器修正装置として機能する情報処理装置１３は、新規な対象物の画像に基づいて、物体認識器２３を用いて新規な対象物の特定情報を推定させ、当該特定情報を分類した最下層の分類器２４ｌｓｔを特定し、当該最下層の分類器２４ｌｓｔにより分類される全対象物及び新規な対象物それぞれの画像と特定情報とに基づいて構築される仮の最下層の分類器２４ｖｌｓｔを当該最下層の分類器２４ｌｓｔに差替え、仮の最下層の分類器２４ｖｌｓｔが所定の条件を満たす場合最下層の分類器２４ｌｓｔとして確定し、仮の最下層の分類器２４ｖｌｓｔが所定の条件を満たすまで当該仮の最下層の分類器２４ｖｌｓｔの１つ上位層の分類器２４が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準の決定、当該任意の基準に基づいた当該全対象物それぞれが属する更に下位のカテゴリの決定、及び決定した更に下位の各カテゴリそれぞれに属する全対象物毎の画像と当該更に下位のカテゴリとに基づいて構築する中間層の分類器２４への当該仮の最下層の分類器２４ｖｌｓｔからの差替えと、当該中間層の分類器２４が分類した各カテゴリに属する全対象物それぞれの画像と特定情報とに基づいて各カテゴリに属する全対象物をそれぞれの特定情報に分類する仮の最下層の分類器２４ｖｌｓｔの構築とを、繰返す。このような構成により、情報処理装置１３は、認識精度の低下を低減させながら、新規な対象物を物体認識させるように、既存の階層状の物体認識器２３を修正し得る。
以上、認識装置１８、並びに認識器構築装置及び認識器修正装置として機能する情報処理装置１３の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。
また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
例えば、本実施形態において、認識器構築装置及び認識器修正装置として機能する情報処理装置１３が物体認識器２３の構築及び修正を行う構成であるが、認識器構築装置及び認識器修正装置は別々の装置であってよい。
また、本実施形態において、認識器構築装置及び認識器修正装置として機能する情報処理装置１３が物体認識器２３の構築及び修正を行い、端末装置１０は認識装置１８を含む構成である。しかし、情報処理装置１３が物体認識器２３の構築及び修正を行うだけでなく、認識装置として機能してよい。このような構成においては、例えば、端末装置１０は、撮像部１４が生成する画像を情報処理装置１３に付与し、情報処理装置１３における物体認識器２３による認識結果である特定情報を取得する通信部を有してよい。
また、本実施形態において、認識器構築装置として機能する情報処理装置１３は、物体認識器２３の構築において、仮の最下層の分類器２４ｖｌｓｔを、中間層の分類器２４に差替える構成であるが、中間層の分類器２４への差替えは、仮の最下層の分類器２４ｖｌｓｔに限定されない。最上層２５の分類器２４も含めて、仮の最下層の分類器２４ｖｌｓｔより上位層の分類器２４が、中間層の分類器２４に差替えてられてよい。
本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の閾値は、第２の閾値と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
１０ 端末装置
１１ 情報処理システム
１２ ネットワーク
１３ 情報処理装置
１４ 撮像部
１５ 出力装置
１６ 載置台
１７ 支持柱
１８ 認識装置
１９ 通信部
２０ 記憶部
２１ 制御部
２２ 入力部
２３ 物体認識器
２４ 分類器
２４ｌｓｔ 最下層の分類器
２４ｖｌｓｔ 仮の最下層の分類器
２５ 最上層
２６ 下位層
２７ 物体認識モデル
２８ 通信部
２９ 制御部
３０ 記憶部

Claims (11)

  1. 複数の層に階層化されている複数の分類器に順番に分類させることにより、画像に写る対象物を特定する特定情報を推定する物体認識器を構築する情報処理装置であって、
    前記複数の対象物それぞれの、画像及び前記特定情報を少なくとも取得する取得部と、
    前記複数の対象物それぞれの画像及び特定情報に基づいて、前記複数の分類器を構築する制御部と、を備え、
    前記複数の分類器は、前記取得部が取得する画像に基づいて該画像における対象物のカテゴリを分類する最上層の分類器と、より上位層の前記分類器が分類したカテゴリに属する対象物をいずれかの前記特定情報に分類する最下層の分類器とを含み、
    前記制御部は、
    前記複数の対象物それぞれが属するカテゴリを初期基準に基づいて決定し、決定した該カテゴリに前記対象物を分類する前記最上層の分類器を構築し、
    前記最上層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて、各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器を構築し、
    前記仮の最下層の分類器が所定の条件を満たす場合、最下層の分類器として確定し、
    前記仮の最下層の分類器が所定の条件を満たすまで、該仮の最下層の分類器の１つ上位層の分類器が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準の決定、該任意の基準に基づいた該全対象物それぞれが属する更に下位のカテゴリの決定、及び決定した更に下位の各カテゴリそれぞれに属する全対象物毎の画像と該更に下位のカテゴリとに基づいて構築する中間層の分類器への該仮の最下層の分類器からの差替えと、該中間層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器の構築とを、繰返す
    認識器構築装置。
  2. 請求項１に記載の認識器構築装置において、
    前記所定の条件は、前記仮の最下層の分類器に分類される対象物の正答率が第３の閾値以上である
    認識器構築装置。
  3. 請求項１に記載の認識器構築装置において、
    前記所定の条件は、前記仮の最下層の分類器が分類する特定情報の数が第１の閾値以下である第１の条件、及び前記仮の最下層の分類器の１つ上位層の分類器が分類に用いた特徴量の、該仮の最下層の分類器に対応するカテゴリにおけるバラツキ度合いが第２の閾値以下である第２の条件の少なくとも一方である
    認識器構築装置。
  4. 請求項３に記載の認識器構築装置において、
    前記制御部は、前記所定の条件が前記第１の条件である場合の前記仮の最下層の分類器に分類される対象物の正答率と、前記所定の条件が第２の条件である場合の前記仮の最下層の分類器に分類される対象物の正答率との中で、前記正答率がより高い所定の条件を、前記最下層の分類器としての確定の判別に適用する
    認識器構築装置。
  5. 請求項３に記載の認識器構築装置において、
    前記制御部は、前記第１の条件を満たした後の最下層の分類器により分類される対象物の正答率が、前記第１の条件を満たす前の仮の最下層の分類器に分類される対象物の正答率から低下する場合、該第１の条件を満たすための中間層の分類器の構築及び当該中間層の分類器の下位層の最下層の分類器の構築を停止する
    認識器構築装置。
  6. 請求項３又は５に記載の認識器構築装置において、
    前記制御部は、前記第２の条件を満たした後の最下層の分類器により分類される対象物の正答率が、前記第２の条件を満たす前の仮の最下層の分類器に分類される対象物の正答率から低下する場合、該第２の条件を満たすための中間層の分類器の構築及び該中間層の分類器の下位層の最下層の分類器の構築を停止する
    認識器構築装置。
  7. 請求項１から６のいずれか１項に記載の認識器構築装置において、
    前記制御部は、前記初期基準と前記任意の基準の少なくとも一部とをクラスタリングにより決定する
    認識器構築装置。
  8. 請求項１から７のいずれか１項に記載の認識器構築装置において、
    前記取得部は、分類の基準を決める指示を更に取得し、
    前記制御部は、前記初期基準と前記任意の基準の少なくとも一部とを、前記取得部が取得した指示に基づいて決定する
    認識器構築装置。
  9. 新規な対象物の画像及び特定情報を少なくとも取得する取得部と、
    画像に写る対象物を複数の層に階層化されている複数の分類器に順番に分類させることにより、推定する物体認識器を備える認識装置における前記物体認識器を、前記新規な対象物を用いて修正する制御部と、を備え、
    前記制御部は、
    前記新規な対象物の画像に基づいて、前記物体認識器を用いて前記新規な対象物の特定情報を推定させ、
    該特定情報を分類した最下層の分類器を特定し、
    該最下層の分類器により分類される全対象物及び前記新規な対象物それぞれの画像と前記特定情報とに基づいて構築される仮の最下層の分類器を、該最下層の分類器に差替え、
    前記仮の最下層の分類器が所定の条件を満たす場合、最下層の分類器として確定し、
    前記仮の最下層の分類器が所定の条件を満たすまで、該仮の最下層の分類器の１つ上位層の分類器が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準の決定、該任意の基準に基づいた該全対象物それぞれが属する更に下位のカテゴリの決定、及び決定した更に下位の各カテゴリそれぞれに属する全対象物毎の画像と該更に下位のカテゴリとに基づいて構築する中間層の分類器への該仮の最下層の分類器からの差替えと、該中間層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器の構築とを、繰返す
    認識器修正装置。
  10. 複数の層に階層化されている複数の分類器に順番に分類させることにより、画像に写る対象物を特定する特定情報を推定する物体認識器の構築方法であって、
    前記複数の対象物それぞれの、画像及び特定情報を少なくとも取得するステップと、
    前記複数の対象物それぞれの画像及び特定情報に基づいて、前記複数の分類器を構築するステップと、を備え、
    前記複数の分類器は、前記取得するステップにおいて取得した画像に基づいて該画像における対象物のカテゴリを分類する最上層の分類器と、より上位層の前記分類器が分類したカテゴリに属する対象物をいずれかの前記特定情報に分類する最下層の分類器とを含み、
    前記複数の分類器を構築するステップは、
    前記複数の対象物それぞれが属するカテゴリを初期基準に基づいて決定するステップと、
    決定した該カテゴリに前記対象物を分類する前記最上層の分類器を構築するステップと、
    前記最上層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて、各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器を構築するステップと、
    前記仮の最下層の分類器が所定の条件を満たす場合、最下層の分類器として確定するステップと、
    前記仮の最下層の分類器が所定の条件を満たすまで、該仮の最下層の分類器の１つ上位層の分類器が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準の決定、該任意の基準に基づいた該全対象物それぞれが属する更に下位のカテゴリの決定、及び決定した更に下位の各カテゴリそれぞれに属する全対象物毎の画像と該更に下位のカテゴリとに基づいて構築する中間層の分類器への該仮の最下層の分類器からの差替えと、該中間層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器の構築とを、繰返すステップと、を含む
    構築方法。
  11. 新規な対象物の画像及び特定情報を少なくとも取得するステップと、
    画像に写る対象物を複数の層に階層化されている複数の分類器に順番に分類させることにより、推定する物体認識器を備える認識装置における前記物体認識器を、前記新規な対象物を用いて修正するステップと、を備え、
    前記物体認識器を修正するステップは、
    前記新規な対象物の画像に基づいて、前記物体認識器を用いて前記新規な対象物の特定情報を推定させ、
    該特定情報を分類した最下層の分類器を特定するステップと、
    該最下層の分類器により分類される全対象物及び前記新規な対象物それぞれの画像と前記特定情報とに基づいて構築される仮の最下層の分類器を、該最下層の分類器に差替えるステップと、
    前記仮の最下層の分類器が所定の条件を満たす場合、最下層の分類器として確定するステップと、
    前記仮の最下層の分類器が所定の条件を満たすまで、該仮の最下層の分類器の１つ上位層の分類器が分類した任意のカテゴリに属すると決められた全対象物を分類し得る任意の基準の決定、該任意の基準に基づいた該全対象物それぞれが属する更に下位のカテゴリの決定、及び決定した更に下位の各カテゴリそれぞれに属する全対象物毎の画像と該更に下位のカテゴリとに基づいて構築する中間層の分類器への該仮の最下層の分類器からの差替えと、該中間層の分類器が分類した各カテゴリに属する全対象物それぞれの前記画像と前記特定情報とに基づいて各カテゴリに属する全対象物をそれぞれの前記特定情報に分類する仮の最下層の分類器の構築とを、繰返すステップと、を含む
    修正方法。
JP2021174114A 2021-06-09 2021-10-25 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法 Active JP7082239B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022086241A JP7262650B2 (ja) 2021-06-09 2022-05-26 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
CN202280041247.0A CN117501317A (zh) 2021-06-09 2022-06-09 识别装置、终端装置、识别器构建装置、识别器修正装置、构建方法以及修正方法
PCT/JP2022/023368 WO2022260148A1 (ja) 2021-06-09 2022-06-09 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
EP22820327.9A EP4354390A1 (en) 2021-06-09 2022-06-09 Recognizing device, terminal device, recognizer constructing device, recognizer correcting device, construction method, and correction method
US18/568,133 US20240273868A1 (en) 2021-06-09 2022-06-09 Recognition device, terminal apparatus, recognizer constructing apparatus, recognizer modifying apparatus, construction method, and modification method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021096738 2021-06-09
JP2021096738 2021-06-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022086241A Division JP7262650B2 (ja) 2021-06-09 2022-05-26 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法

Publications (2)

Publication Number Publication Date
JP7082239B1 true JP7082239B1 (ja) 2022-06-07
JP2022188727A JP2022188727A (ja) 2022-12-21

Family

ID=81926015

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021174114A Active JP7082239B1 (ja) 2021-06-09 2021-10-25 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
JP2022086241A Active JP7262650B2 (ja) 2021-06-09 2022-05-26 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
JP2023064359A Pending JP2023085533A (ja) 2021-06-09 2023-04-11 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022086241A Active JP7262650B2 (ja) 2021-06-09 2022-05-26 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
JP2023064359A Pending JP2023085533A (ja) 2021-06-09 2023-04-11 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法

Country Status (5)

Country Link
US (1) US20240273868A1 (ja)
EP (1) EP4354390A1 (ja)
JP (3) JP7082239B1 (ja)
CN (1) CN117501317A (ja)
WO (1) WO2022260148A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020091253A1 (ko) 2018-10-29 2020-05-07 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN111507403A (zh) 2020-04-17 2020-08-07 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备和存储介质
CN111582361A (zh) 2020-05-06 2020-08-25 浙江大学 基于惯性传感器的人体行为识别方法
JP2020535557A (ja) 2017-09-29 2020-12-03 株式会社ソニー・インタラクティブエンタテインメント 自律型パーソナルコンパニオンのモジュール階層視覚システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2521092A1 (en) 2009-12-28 2012-11-07 Cyber Ai Entertainment Inc. Image recognition system
JP6043755B2 (ja) * 2014-06-19 2016-12-14 ヤフー株式会社 生成装置、生成方法及び生成プログラム
JP2020021378A (ja) 2018-08-02 2020-02-06 パナソニックＩｐマネジメント株式会社 物品判別システム、買物支援システム、買物支援方法、物品判別方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020535557A (ja) 2017-09-29 2020-12-03 株式会社ソニー・インタラクティブエンタテインメント 自律型パーソナルコンパニオンのモジュール階層視覚システム
WO2020091253A1 (ko) 2018-10-29 2020-05-07 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN111507403A (zh) 2020-04-17 2020-08-07 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备和存储介质
CN111582361A (zh) 2020-05-06 2020-08-25 浙江大学 基于惯性传感器的人体行为识别方法

Also Published As

Publication number Publication date
JP2023085533A (ja) 2023-06-20
JP2022188727A (ja) 2022-12-21
JP2022188754A (ja) 2022-12-21
JP7262650B2 (ja) 2023-04-21
EP4354390A1 (en) 2024-04-17
WO2022260148A1 (ja) 2022-12-15
CN117501317A (zh) 2024-02-02
US20240273868A1 (en) 2024-08-15

Similar Documents

Publication Publication Date Title
CN109447169B (zh) 图像处理方法及其模型的训练方法、装置和电子系统
CN100357944C (zh) 图像检索系统和方法及图像分类系统和方法
EP3910608A1 (en) Article identification method and system, and electronic device
US8139852B2 (en) Color classification method, color recognition method, color classification apparatus, color recognition apparatus, color recognition system, computer program, and recording medium
CN111008567A (zh) 一种驾驶员行为识别方法
CN115063482A (zh) 物品识别及追踪方法与系统
CN110796141A (zh) 目标检测方法及相关设备
CN111027554B (zh) 商品价签文字精确检测定位系统及定位方法
CN110263692A (zh) 大场景下集装箱开关门状态识别方法
CN116630301A (zh) 基于超分辨率和YOLOv8的带钢表面小目标缺陷检测方法及系统
CN114239761B (zh) 一种目标检测模型训练方法和装置
CN113239862A (zh) 一种基于人工智能的商品识别方法及装置
CN112232334B (zh) 一种智能售货商品识别检测方法
US20240029275A1 (en) System and method for identifying unmoved items on a platform during item identification
JP7409499B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20240020333A1 (en) System and method for selecting an item from a plurality of identified items based on a similarity value
CN111353440A (zh) 一种目标检测方法
CN114820580A (zh) 基于并行注意力补偿机制的fpn晶圆表面缺陷检测方法
JP7082239B1 (ja) 認識装置、端末装置、認識器構築装置、認識器修正装置、構築方法、及び修正方法
CN114332602A (zh) 一种智能货柜的商品识别方法
US20240020858A1 (en) System and method for search space reduction for identifying an item
US20240029284A1 (en) System and method for confirming the identity of an item based on item height
US20240029276A1 (en) System and method for identifying moved items on a platform during item identification
CN115880676B (zh) 一种基于深度学习的自助售货机商品识别方法
CN111444796B (zh) 售货机器人的商品摆放判断方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211025

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211115

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20211027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220526

R150 Certificate of patent or registration of utility model

Ref document number: 7082239

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150