JP7736062B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム

Info

Publication number
JP7736062B2
JP7736062B2 JP2023525231A JP2023525231A JP7736062B2 JP 7736062 B2 JP7736062 B2 JP 7736062B2 JP 2023525231 A JP2023525231 A JP 2023525231A JP 2023525231 A JP2023525231 A JP 2023525231A JP 7736062 B2 JP7736062 B2 JP 7736062B2
Authority
JP
Japan
Prior art keywords
image
original image
information processing
class
new image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023525231A
Other languages
English (en)
Other versions
JPWO2022254600A5 (ja
JPWO2022254600A1 (ja
Inventor
壮馬 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2022254600A1 publication Critical patent/JPWO2022254600A1/ja
Publication of JPWO2022254600A5 publication Critical patent/JPWO2022254600A5/ja
Application granted granted Critical
Publication of JP7736062B2 publication Critical patent/JP7736062B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00Two-dimensional [2D] image generation
    • G06T11/60Creating or editing images; Combining images with text
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
対象画像に対して画像識別処理を適用する技術が知られている。例えば、特許文献1には、欠損領域に対して修復処理を行った画像を評価するための機械学習を行わせる学習データを自動で生成することができる学習データ生成装置が開示されている。また、特許文献2には、既存の学習用データを用いて新たな学習用データを生成する際に、冗長な学習用データの生成を抑制する情報処理装置が開示されている。
日本国特開2017-058930号公報 日本国特開2020-091737号公報
特許文献1及び特許文献2に開示されるように、画像識別装置の識別精度を向上させたいというニーズが存在するが、取得可能な学習用データを用いて学習を行ったとしても、識別精度が期待ほど向上しないという課題がある。
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、画像の認識において、未登録の物体の画像が登録済の物体の画像に誤認識されることを抑制する技術を提供することである。
本発明の一側面に係る情報処理装置は、複数のクラスのいずれかに属する元画像を取得する取得手段と、画像生成方法を規定するパラメータを決定する決定手段と、当該元画像から、前記決定手段が決定したパラメータを用いて新たな画像を生成する画像生成手段と、前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成するデータ生成手段とを備えている。
(削除)
(削除)
本発明の一側面に係る情報処理方法は、少なくとも1つのプロセッサ複数のクラスのいずれかに属する元画像を取得すること、画像生成方法を規定するパラメータを決定すること、当該元画像から、決定された前記パラメータを用いて新たな画像を生成すること、前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成すること、を含む。
(削除)
本発明の一側面に係るプログラムは、コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、複数のクラスのいずれかに属する元画像を取得する取得手段、画像生成方法を規定するパラメータを決定する決定手段、当該元画像から、前記決定手段が決定したパラメータを用いて新たな画像を生成する画像生成手段、及び前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成するデータ生成手段として機能させる。
(削除)
本発明の一態様によれば、画像の認識において、未登録の物体の画像が登録済の物体の画像に誤認識されることを抑制する技術を提供することができる。
本発明の例示的実施形態1に係る情報処理装置の構成を示すブロック図である。 例示的実施形態1に係る情報処理方法の流れを示すフロー図である。 例示的実施形態1に係る情報処理システムの構成を示すブロック図である。 本発明の例示的実施形態2に係る情報処理装置の構成を示すブロック図である。 例示的実施形態2に係る情報処理装置が実行する新たな画像を生成する方法を示す図である。 例示的実施形態2に係る情報処理方法の流れを示すフロー図である。 本発明の例示的実施形態3に係る情報処理装置の構成を示すブロック図である。 例示的実施形態3に係る情報処理方法S3の流れを示すフローチャートである。 例示的実施形態3に係る情報処理方法S4の流れを示すフローチャートである。 例示的実施形態3に係る情報処理方法S5の流れを示すフローチャートである。 本発明の例示的実施形態4に係る情報処理装置の構成を示すブロック図である。 学習させる対象モデルの構成の模式図である。 本発明の例示的実施形態5に係る情報処理装置の構成を示すブロック図である。 本発明の例示的実施形態6に係る情報処理装置の構成を示すブロック図である。 2つの処理レイヤを有する対象モデルの構成の模式図である。 本発明の例示的実施形態7に係る情報処理装置の構成を示すブロック図である。 例示的実施形態7に係る情報処理方法S6の流れを示すフローチャートである。 異なる学習データを用いて学習させた識別器の正解率を示すグラフである。 ソフトウェアによって情報処理装置等を実現するための構成図である。
〔例示的実施形態1〕
本発明の第1の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
(情報処理装置1の構成)
本例示的実施形態に係る情報処理装置1の構成について、図1を参照して説明する。図1は、情報処理装置1の構成を示すブロック図である。図1に示すように、情報処理装置1は、取得部11、決定部12、画像生成部13、及びデータ生成部14を備えている。
取得部11は、特許請求の範囲に記載した「取得手段」の一形態であり、決定部12は、特許請求の範囲に記載した「決定手段」の一形態であり、画像生成部13、は、特許請求の範囲に記載した「画像生成手段」の一形態であり、データ生成部14は、特許請求の範囲に記載した「データ生成手段」の一形態である。
取得部11は、複数のクラスのいずれかに属する元画像を取得する。取得部11が元画像を取得する取得先は限定されない。例えば、外部のデータベースに記録された画像を取得してもよく、情報処理装置1有する図示しないメモリに記録された画像を取得してもよい。元画像には元画像が属するクラスに対応するラベルが付されている。取得部11が取得する画像を元画像と称する。取得部11は、取得した元画像を決定部12へ送信する。
決定部12は、取得部11から元画像を受信した場合、画像生成方法を規定するパラメータを決定する。画像生成方法とは、画像生成部13が行う、元画像から新たな画像を生成する方法である。パラメータには、一例として、画像を変更する方法を規定するパラメータと、その画像変更方法において、元画像に対してどの程度の変更を加えるかを規定するパラメータが含まれる。決定部12は、1つの元画像に対して1つ又は複数のパラメータを決定する。決定部12は、元画像と決定したパラメータを画像生成部13へ送信する。
画像生成部13は、元画像から、決定部12が決定したパラメータを用いて新たな画像を生成する。具体的には、画像生成部13は、決定部12から元画像とパラメータを受信した場合は、元画像に対して当該パラメータに基づく所定の変更を加えることにより、新たな画像を生成する。所定の変更とは、例えば、色相の変更、文字の変更、スタイルの変更等である。画像生成部13が生成する新たな画像は、元画像と似てはいるが、異なるクラスに属する画像である。新たな画像が属するクラスは、元画像の属するクラスとは異なるが、画像の内容は元画像と似ているため、疑似クラスとも称する。つまり、画像生成部13は、元画像に類似する疑似クラスの新たな画像を生成する。画像生成部13は、元画像のラベルと生成した新たな画像をデータ生成部14へ送信する。画像生成部13は、新たな画像を生成するのに用いたパラメータも含めてデータ生成部14へ送信してもよい。
データ生成部14は、画像生成部13から新たな画像を受信した場合、その新たな画像に付与する、元画像が属するクラスとは異なるクラスのラベルを決定する。データ生成部14は、新たな画像と、新たな画像に付与されたラベルであって、元画像が属するクラスとは異なるクラスのラベルとを含むデータを生成する。つまり、新たな画像と、それに付与されたラベルのセットをデータと称する。データ生成部14は、パラメータも含めてデータを生成してもよい。
なお、図1では、取得部11、決定部12、画像生成部13、及びデータ生成部14は1つの情報処理装置1としてまとめて配置されているように記載しているが、必ずしもその必要はない。即ち、これらのうちの少なくとも一部が別々に配置され、これらが有線又は無線で互いに情報通信可能に接続されていてもよい。また、これらのうちの少なくとも一部がクラウド上に配置されていてもよい。
また、情報処理装置1は、少なくとも1つのプロセッサを備えており、このプロセッサが、記憶されたプログラムを読み込んで、取得部11、決定部12、画像生成部13、及びデータ生成部14として機能する構成を有していてもよい。このような構成については後述する。
以上のように、本例示的実施形態に係る情報処理装置1においては、取得部11、決定部12、画像生成部13、及びデータ生成部14を備えるという構成が採用されている。このため、本例示的実施形態に係る情報処理装置1によれば、疑似クラスに属する新たな画像を生成することができる。そして、生成した新たな画像を用いて、物品の画像を識別する識別器を学習させることができる。従って、画像の認識において、未登録の物体の画像が登録済の物体の画像に誤認識されることを抑制することができるという効果が得られる。
(情報処理方法S1)
次に、本例示的実施形態に係る情報処理装置1が実行する情報処理方法S1について、図2を参照して説明する。図2は、情報処理方法S1の流れを示すフロー図である。図2に示すように、情報処理方法S1は次のステップを含む。
(ステップS11)
ステップS11において、少なくとも1つのプロセッサ(取得部11)は、複数のクラスのいずれかに属する元画像を取得する。
(ステップS12)
ステップS12において、少なくとも1つのプロセッサ(決定部12)は、画像生成方法を規定するパラメータを決定する。
(ステップS13)
ステップS13において、少なくとも1つのプロセッサ(画像生成部13)は、当該元画像から、決定12が決定したパラメータを用いて新たな画像を生成する。
(ステップS14)
ステップS14において、少なくとも1つのプロセッサ(データ生成部14)は、新たな画像と、新たな画像に付与されたラベルであって、元画像が属するクラスとは異なるクラスのラベルとを含むデータを生成する。生成されたデータは、所定のデータベースに記録される。
また、情報処理装置1が実行するデータ製造方法は、情報処理方法S1と同様に以下のステップを含む。即ち、データ製造方法は、少なくとも1つのプロセッサが、複数のクラスのいずれかに属する元画像を取得するステップ、画像生成方法を規定するパラメータを決定するステップ、当該元画像から、決定されたパラメータを用いて新たな画像を生成するステップ、新たな画像と、新たな画像に付与されたラベルであって、元画像が属するクラスとは異なるクラスのラベルとを含むデータを生成するステップを含む。
以上のように、本例示的実施形態に係る情報処理方法S1及びデータ製造方法においては、少なくとも1つのプロセッサが、複数のクラスのいずれかに属する元画像を取得すること、画像生成方法を規定するパラメータを決定すること、当該元画像から、決定されたパラメータを用いて新たな画像を生成すること、新たな画像と、新たな画像に付与されたラベルであって、元画像が属するクラスとは異なるクラスのラベルとを含むデータを生成することを含むという構成が採用されている。つまり、本例示的実施形態に係る情報処理方法S1によれば、物品の画像を識別する識別器を学習させることができる学習データを生成することができる。従って、画像の認識において、未登録の物体の画像が登録済の物体の画像に誤認識されることを抑制することができるという効果が得られる。
(情報処理システム2の構成)
次に、本例示的実施形態に係る情報処理システム2について、図面を参照して説明する。図3は、本例示的実施形態に係る情報処理システム2の構成を示すブロック図である。
図3に示すように、情報処理システム2は、取得部11、決定部12、画像生成部13、データ生成部14、及びデータベース25を備えている。取得部11、決定部12、画像生成部13、及びデータ生成部14は、先に情報処理装置1で説明したとおりである。取得部11、決定部12、画像生成部13、データ生成部14、及びデータベース25は、インターネットを含むネットワークNを介して互いに情報通信可能に接続されている。なお、これらの各部のすべてがネットワークNを介して接続されている必要はなく、一部は無線又は有線で直接接続されていてもよい。また、これらの各部の少なくとも一部がクラウド上にあってもよい。
取得部11は、データベース25から元画像を取得する。データベース25には、複数のクラスに分類された複数の画像が記録されている。例えば、図3に示す例では、クラスAからクラスZまでの異なるクラスに分類された画像が記録されている。クラスAには、同じクラスAに属する複数の画像A1、A2、…Amの画像が記録されており、それぞれ例えばAという物品名のラベルが付与されている。クラスZには同じクラスZに属する複数の画像Z1、Z2、…Znの画像が記録されており、それぞれの画像にはZという物品名のラベルが付与されている。つまり、クラスは識別器で識別させたい物品ごとにラベルが付されて分類されている。
データ生成部14が生成したデータは、データベース25に記録される。あるいは、データ生成部14が生成したデータは、データベース25とは異なるデータベースに記録されてもよい。データ生成部14が生成したデータは、一例として、元画像A1から画像生成部13が生成した画像A1’にラベルA’が付与されたデータである。図3では、ラベルA’が付与された画像A1’がクラスA’としてデータベース25に記録された状態を例示している。
以上の構成を有する情報処理システム2においては、上述の情報処理装置1により得られる効果と同様の効果を得ることができる。
〔例示的実施形態2〕
本発明の第2の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態1にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。本例示的実施形態では、一例として、商品のクラスを識別する情報処理装置3について説明する。
例えば、小売店舗等においては、在庫管理及び価格管理等に利用する識別装置が導入されている。この識別装置は、商品パッケージの画像を用いて商品を識別する。小売店舗では、新たな種類の商品や新たなパッケージの商品を数多く取り扱う必要がある。新たな種類の商品、又は新たなパッケージの商品(併せて「新たな商品」という)は、その商品の種類とそのパッケージの画像を識別装置に新たなクラスとして登録することにより、その商品の識別が可能となる。
しかし、日々入荷する新たな商品の画像のすべてを識別装置に登録することは困難である。そのため、登録されていない新たな商品は、既存の登録クラスに属しない新たな商品であると識別できるように、識別装置を学習させることが望まれる。しかし、登録された商品と外観はよく似ているが、登録された商品とは異なると識別できるように識別装置を学習させる学習データを集めることは容易ではない。
本例示的実施形態に係る情報処理装置1は、商品のクラスの識別装置(識別器)を学習させるためのデータを生成する装置である。この識別装置は、例えば、ある画像がすでに登録されている商品のクラスのいずれかに属する画像であるか、それとも登録されたどの商品のクラスにも属さない画像であるかを識別する装置である。クラスとは、実質的に同じ商品の画像が属するグループを指し、それぞれのクラスにそれぞれのラベルが付与されている。クラスは具体的な商品の種類ごとに設定され、それぞれのクラスにラベルとして例えば商品名が付されている。ただし、同じ商品名でもパッケージが更新された商品は別のクラスの商品として扱い、そのクラスには異なるラベルが付与される。
一般に、商品パッケージは、猫又は車といった特定の特徴を持たない、不定形の形状、模様、文字列、色彩等が組み合わされたデザイン的な意匠で構成されている。そして、その一部だけが変更されたデザインを有する商品パッケージも多い。そのため、あるパッケージの商品がすでに登録されたクラスの商品と同じか異なるかを分類する画像識別器を学習させるためには、登録されたクラスの商品パッケージの画像とよく似ているが、異なるクラスに属する商品パッケージの画像を用いて学習させることが好ましい。情報処理装置1は、そのような学習のための画像を生成する装置である。商品のパッケージの画像は商品画像とも称する。
(情報処理装置3の構成)
図4は、例示的実施形態2に係る情報処理装置3の構成を示すブロック図である。情報処理装置3は、取得部11、決定部12、画像生成部13、データ生成部14、及び相違度判定部35を備えている。
取得部11は、一例として、商品画像のデータベースから、登録された複数の商品クラス(以下、単に「クラス」とも称する。)のいずれかに属する元の商品画像(以下、単に「元画像」とも称する。)を取得する。データベースには、複数のクラスのいずれかに分類された商品画像が複数保存されている。取得部11は、取得した元画像を決定部12へ送信する。
決定部12は、取得部11から元画像を受信した場合は、新たな商品画像(以下、単に「新たな画像」とも称する。)の生成方法を規定するパラメータを決定する。又は、決定部12は、相違度判定部35から元画像とパラメータを受信した場合は、そのパラメータを変更する。決定部12は、パラメータを決定又は変更すると、元画像とパラメータを画像生成部13へ送信する。
画像生成部13は、元画像とパラメータを決定部12から受信すると、そのパラメータを用いて、元画像から新たな画像を生成する。画像生成部13は、新たな画像を生成した後、元画像と新たな画像を相違度判定部35へ送信する。
相違度判定部35は、元画像と、元画像から生成された新たな画像との相違度を導出して第1の閾値と比較する。相違度判定部35は、特許請求の範囲に記載した「相違度判定手段」の一形態である。相違度判定部35は、元画像と新たな画像との相違度が第1の閾値より小さい場合は、元画像とパラメータを決定部へ送信する。相違度判定部35は、元画像と新たな画像との相違度が第1の閾値以上である場合は、元画像のラベルと新たな画像をデータ生成部14へ送信する。
データ生成部14は、相違度判定部35から元画像のラベルと新たな画像を受信した場合は、新たな画像と、新たな画像に付与されたラベルであって、元の商品画像が属するクラスとは異なるクラスのラベルとを含むデータを生成する。
(画像の生成方法)
次に、画像生成部13が、元画像から新たな画像を生成する方法について、図面を参照して説明する。図5は、情報処理装置3の画像生成部13が実行する、新たな画像を生成する方法例を示す図である。画像生成部13は、少なくとも一部の色の変換、少なくとも一部の文字の置換、スタイル変換、画像生成モデルによる内挿、画像の一部の置換又は重畳、のうちの少なくとも1つを用いて新たな画像を生成する。具体的には、画像生成部13は、決定部12が決定したパラメータを用いて新たな画像を生成する。パラメータには、新たな画像を生成する方法を特定する方法パラメータMと、その方法Mを用いて新たな画像を生成する場合に、その方法Mによる画像変換の変換値、もしくは変換程度又は変換範囲等を特定する変換パラメータTとが含まれる。
例えば、方法パラメータMとしては、色の変換を行う色変換方法M1、文字を別の文字に置換する文字置換方法M2、大局的な形状と線を残しつつ、色の組み合わせ等を変換するスタイル変換方法M3、画像生成モデルを用いた画像間内挿方法M4、画像の一部を置換し、又は画像の一部に他の画像やパターンを重畳する画像置換方法M5等がある。決定部12は、まず方法パラメータMを決定し、次いでこれらの方法ごとに、具体的に変換値、もしくは変換程度又は変換範囲等を特定する変換パラメータTを決定する。
色変換方法M1は、例えば、元画像の色をHSV形式で表現し、その色相(Hue)、彩度(Saturation)、明度(Value)、コントラスト等を変化させる方法である(図示せず)。例えば、元画像の色相をHSV形式で円環状に配列し、これを所定の角度だけ回転させた色に変換することにより、色相が異なる新たな画像が生成される。色変換方法M1のうち、色相を用いる場合、変換パラメータT1は、円環状に配列した色相を回転させる角度である。色相は、右回りに、赤→緑→青の順に配列されており、回転させた角度に応じて元画像の色が変換される。
文字置換方法M2は、図5の201に示すように、元画像2011中の文字(列)部分を別の文字(列)に置換することにより、新たな画像2012を生成する方法である。文字置換方法M2を用いる場合、変換パラメータT2は、置換する文字(列)の割合、置換後の文字(列)の種類、フォント等である。
スタイル変換方法M3は、図5の202に示すように、元画像2021に別の画像2022を組み合わせて新たな画像2023を生成する方法である。スタイル変換方法M3として、例えば、AdaIN(Adaptive Instance Normalization)を用いて新たな画像を生成することができる。スタイル変換方法M3を用いる場合、変換パラメータT3は、別の画像の種類、スタイルの種類、色空間値等である。
画像間内挿方法M4は、2つの画像の特徴の量を変えて組み合わせた中間的な画像を生成する方法である。図5の203に示す例では、図の上部2031は、手書き数字の3と2の特徴を組み合わせた画像を示しており、左側にいくほど3の特徴が大きく、右側にいくほど2の特徴が大きい。図の下部2032は、同様に手書き数字の5と6の特徴を組み合わせた画像であり、左側にいくほど5の特徴が大きく、右側にいくほど6の特徴が大きい。画像間内挿方法M4を用いる場合、変換パラメータT4は、2つの画像の特徴量の割合である。2つの画像の特徴量の割合をどの程度にするかは、学習された識別器の識別能力によって決めてもよい。又は、2つの画像の特徴量の割合は、パッケージの変更のパターンに基づいて決めてもよい。
画像置換方法M5は、画像の一部の領域を、異なる画像又はパターンに置換する方法、又は画像の一部の領域に、異なる画像又はパターンを重畳する方法である。図5の204に示す例では、元画像2041に対して、星マーク2043を重畳して新たな画像2042が生成されている。異なる画像又はパターンを重畳する場合は、αブレンド法等を用いることができる。画像置換方法M5を用いる場合、変換パラメータT5は、一部領域の割合、異なる画像又はパターンの指定、α値等である。
画像生成部13は、元画像1つから、複数の新たな画像を生成してもよい。例えば、画像生成部13は、元画像1つに対して、複数の画像生成方法を用いて複数の新たな画像を生成してもよく、同じ画像生成方法でも変換パラメータTを変えることにより複数の新たな画像を生成してもよい。
以上のように、画像生成部13は、元画像から様々な方法により新たな画像を生成することができ、その方法は上述の方法に限定されるわけではない。なお、画像生成部13は、例えばニューラルネットワークを用いた学習済のモデルを用いてもよい。特に、画像生成部13は、例えばスタイル変換方法M3又は画像間内挿方法M4等を採用する場合に、ニューラルネットワークを用いた学習済のモデルを用いることが好ましい。
(相違度導出方法)
次に、相違度の導出方法と第1の閾値について説明する。相違度は、数値として導出され、その数値が予め設定された第1の閾値と比較される。相違度の導出方法は限定されないが、例えば以下のような方法を用いることができる。
元画像と新たな画像との相違度は、一例として、ニューラルネットワークを用いて導出することができる。例えば、相違度判定部35は、元画像と新たな画像の2つの画像を、VGG16等の学習された画像認識ニューラルネットワークに入力し、複数のレイヤの出力の差分の平均値又は合計値を導出し、それを相違度としてもよい。あるいは、相違度判定部35は、ニューラルネットワークを用いた文字認識を行い、画像中の文字の不一致度を導出し、それを相違度としてもよい。
また、ニューラルネットワークを用いない方法として、相違度判定部35は、2つの画像の画素値の差分の平均値又は合計値を導出し、それを相違度としてもよい。あるいは、相違度は、判定者(ユーザ)に判定させて決定してもよい。例えば、相違度判定部35は、2つの画像をディスプレイに表示し、判定者に2つの画像の相違度を予め設定した数値の範囲内で入力させ、ユーザが入力した数値を相違度と判定する。入力させる相違度の範囲として、例えば、ユーザが、2つの画像は同じ商品パッケージであると判定した場合を0とし、ユーザが、2つの画像は明らかに異なる商品パッケージであると判定した場合を1とする規格化された数値範囲としてもよい。
ユーザが判定する場合で、新たな画像が元画像とほとんど同じであると判定される程度に相違度が小さい場合は、より相違度が大きい新たな画像を画像生成部13に生成させることが好ましい。従って、決定部12は、相違度が第1の閾値よりも小さい場合に、相違度が大きくなるようにパラメータを変更する。相違度を大きくするためのパラメータ変更としては、例えば、色変換方法M1の場合は、回転角度を大きくすることができる。また、文字置換方法M2の場合は、変換する文字数を大きくする(増やす)、あるいは、ひらがな、カタカナ、漢字等の文字種を変えることができる。また、画像置換方法M5の場合は、置換領域の面積を大きくすることができる。
なお、パラメータを変更しても相違度が大きくなるかどうか不明な場合もある。そこで、決定部12は、相違度が第1の閾値よりも小さい場合に、パラメータをランダムに変更してもよい。ランダムに変更したパラメータを用いて生成された新たな画像の相違度を判定し、相違度が大きくなれば、そのパラメータを継続して、あるいは更に大きくして用いることができる。
また、元画像とその元画像からあるパラメータを用いて生成された新たな画像の相違度が第1の閾値よりも小さい場合には、決定部12は、そのパラメータを使用しないと決定してもよい。例えば、方法パラメータMとして色変換方法M1を用い、その変換パラメータTが色相の回転量「90度」であった場合に、相違度が第1の閾値よりも小さかった場合、決定部12は、その変換パラメータTを使用しないと決定してもよい。その場合、決定部12は、変換パラメータTとして、色相の回転量を「180度」を用いることができる。このような決定をすることにより、相違度が小さい新たな画像が生成される可能性を低減することができる。
第1の閾値は、相違度を導出する方法に基づいて予め設定される。第1の閾値は、一例として、あるパラメータを用いて元画像から生成された新たな画像が、元画像とどの程度相違しているかのデータを蓄積したうえで設定してもよい。あるいは、ユーザが元画像と新たな画像とを比較して異なる画像であると判定した場合の相違度を第1の閾値と設定してもよい。また、第1の閾値は、画像識別器を学習させた結果によって変更してもよい。
(情報処理装置3の効果)
以上のように、本例示的実施形態に係る情報処理装置3においては、上述の情報処理装置1又は2に係る構成に加えて、元画像と、新たな画像との相違度を導出して第1の閾値と比較する相違度判定手段を更に備えている、という構成が採用されている。このため、本例示的実施形態に係る情報処理装置3によれば、例示的実施形態1に係る情報処理装置1の奏する効果に加えて、元画像とほとんど同じ新たな画像が生成される可能性を低減することができるという効果が得られる。
(情報処理方法S2)
次に、本例示的実施形態に係る情報処理装置3が実行する情報処理方法S2について、図6を参照して説明する。図6は、情報処理方法S2の流れを示すフロー図である。図6に示すように、情報処理方法S2は次のステップを含む。
(ステップS21)
ステップS21において、取得部11は、複数の登録クラスのうち、いずれかのクラスに属する元画像を取得する。
(ステップS22)
ステップS22において、決定部12は、画像生成方法を規定するパラメータを決定(又は変更)する。
(ステップS23)
ステップS23において、画像生成部13は、元画像から、決定12が決定(又は変更)したパラメータを用いて新たな画像を生成する。
(ステップS24)
ステップS24において、相違度判定部35は、元画像と新たな画像との相違度が第1の閾値よりも小さいか否かを判定する。ステップS24において、相違度が第1の閾値よりも小さいと判定された場合(ステップS24:Y)は、ステップS22に戻り、決定部12はパラメータを変更する。一方、ステップS24において、相違度が第1の閾値よりも小さくないと判定された場合(ステップS24:N)は、ステップS25に移行する。
(ステップS25)
ステップS25において、データ生成部14は、新たな画像と、新たな画像に付与されたラベルであって、元画像が属するクラスとは異なるクラスのラベルとを含むデータを生成する。生成されたデータは、所定のデータベースに記録される。
なお前述のように、ステップS24において相違度が第1の閾値よりも小さいと判定された場合(ステップS24:Y)は、ステップS22に戻らずに、決定部12は、そのパラメータを使用しないことを決定してもよい。
(情報処理方法S2の効果)
以上のように、本例示的実施形態に係る情報処理方法S2においては、例示的実施形態1に係る情報処理方法S1の構成に加えて、相違度判定部35が元画像と新たな画像との相違度が第1の閾値よりも小さいか否かを判定するステップS24を備えるという構成が採用されている。このため、本例示的実施形態に係る情報処理方法S2によれば、例示的実施形態1に係る情報処理方法S1の奏する効果に加えて、元画像とほとんど同じ新たな画像が生成される可能性を低減することができるという効果が得られる。
〔例示的実施形態3〕
本発明の第3の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態1~2にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
(情報処理装置4の構成)
図7は、例示的実施形態3に係る情報処理装置4の構成を示すブロック図である。情報処理装置4は、取得部11、決定部12、画像生成部13、データ生成部14、相違度判定部35、識別部45、及び出力部46を備えている。取得部11、決定部12、画像生成部13、データ生成部14は、実施形態2で説明した各部と同じであるので説明は省略する。
相違度判定部35は、前述の情報処理装置3に係る相違度判定部35と同様の機能を有しているが、元画像と新たな画像との相違度を導出し、その相違度が第1の閾値以上である場合は、元画像と新たな画像をパラメータとともに識別部45へ送信する点が異なっている。なお、相違度判定部35は、相違度が第1の閾値より小さい場合は、元画像とパラメータを決定部に送信する。この点は前述の情報処理装置3の相違度判定部35が行う処理と同様である。
識別部45は、画像を識別するモデル451を含む。識別部45は、特許請求の範囲に記載した「第1識別手段」の一形態である。
出力部46は、一例として、識別部45が導出した識別結果を外部に出力する。出力部46は、有線又は無線の出力インタフェースである。具体的には、有線用の出力端子等、もしくは無線用のBluetooth(登録商標)規格又はWi-Fi(登録商標)規格の通信トランスミッタ等である。出力部46から出力された識別結果は、例えばディスプレイに表示される。
以下、識別部45について、詳細に説明する。識別部45は、画像を識別するモデル451に新たな画像を入力することにより識別結果を導出する。画像を識別するモデル451は、一例として、入力された新たな画像と元画像とがどの程度類似しているかを示す類似度を導出する。この場合、識別結果は、入力された新たな画像と元画像との類似度である。モデル451は、学習対象の画像識別モデルである。特に、モデル451は、情報処理装置1、3又は4で生成される画像を用いて学習させる学習対象である画像識別モデルであることが好ましい。
さらに、識別部45は、導出された類似度を第2の閾値と比較する。識別部45の識別結果が、新たな画像と元画像との類似度が第2の閾値よりも小さいとの結果である場合に、決定部12は、新たな画像と元画像との類似度が大きくなるようにパラメータを変更する。具体的には、類似度が第2の閾値よりも小さいとの結果である場合は、識別部45は、元画像とパラメータを決定部12に送信する。決定部12は、識別部45から元画像とパラメータを受信した場合は、新たな画像と元画像との類似度が大きくなるようにパラメータを変更する。類似度を大きくするためのパラメータ変更としては、例えば、色変換方法M1の場合は、回転角度を小さくすることができる。また、文字置換方法M2の場合は、変換する文字数を少なくすることができる。また、画像置換方法M5の場合は、置換領域を小さくすることができる。
類似度を導出する方法としては、例示的実施形態2で説明した相違度判定部35が実行する相違度導出方法と同様な手法を用いることができる。ただし類似度は相違度とは異なり、両者が相違する程度が大きいほど小さい数値となる。第2の閾値は、類似度を導出する方法に基づいて、予め設定されている。
類似度が第2の閾値よりも小さいとの結果である場合に、決定部12が、新たな画像と元画像との類似度が大きくなるようにパラメータを変更する理由は、画像生成部13に、画像識別器を学習させるために好適な画像を生成させるためである。その理由は、類似度が小さい(相違度が大きい)画像を用いて画像識別器を学習させても、画像識別器は類似度が大きい画像を識別する能力を獲得できず、類似度が大きい画像を識別する能力を獲得するように学習させるためには、類似度が大きい画像を用いて学習させる必要があるためである。
モデル451として、物品(商品等)のクラスを識別する画像識別器を用いる場合は、識別部45による識別結果には、新たな画像が分類されたクラスが含まれている。その識別結果が、新たな画像は元画像の属するクラスとは異なるクラスに分類されたとの結果である場合に、決定部12は、新たな画像と元画像との類似度が大きくなるようにパラメータを変更することが好ましい。具体的には、識別部45による識別結果が、新たな画像は元画像の属するクラスとは異なるクラスに分類されたとの結果である場合は、識別部45は、元画像とパラメータを決定部12に送信する。決定部12は、識別部45から元画像とパラメータを受信した場合は、新たな画像と元画像との類似度が大きくなるようにパラメータを変更する。この構成により、画像識別器を学習させるために好適な画像を画像生成部13に生成させることができる。
あるいは、識別部45による識別結果に、新たな画像が分類されたクラスと、当該クラスへの分類に関する信頼度が含まれているように構成することが好ましい。そして、識別結果が、新たな画像は元画像の属するクラスとは異なるクラスに分類され、当該異なるクラスへの分類に関する信頼度が第3の閾値よりも大きいとの結果である場合に、決定部12は、新たな画像と元画像との類似度が大きくなるようにパラメータを変更することが好ましい。
具体的には、識別結果が、新たな画像は元画像の属するクラスとは異なるクラスに分類され、当該異なるクラスへの分類に関する信頼度が第3の閾値よりも大きいとの結果である場合は、識別部45は、元画像とパラメータを決定部12に送信する。決定部12は、識別部45から元画像とパラメータを受信した場合は、新たな画像と元画像との類似度が大きくなるようにパラメータを変更する。この構成により、信頼度が第3の閾値よりも大きい場合だけパラメータを変更することができ、効率的に好適な画像を画像生成部13に生成させることができる。分類されたクラスの信頼度は、一例として、新たな画像があるクラスに分類される確率である。第3の閾値は、信頼度の導出方法に基づいて予め設定される。
識別部45の識別結果によっては、決定部12は、新たな画像と元画像との類似度が大きくなるようにパラメータを変更する場合がある。これは、前述の相違度判定部35の判定結果によっては、決定部12は、新たな画像と元画像との相違度が小さくなるようにパラメータを変更することと相反する。本例示的実施形態において、相違度判定部35と識別部45という相反する役割を有する機能を設けた理由は以下の通りである。即ち、相違度判定部35のみを設けると元画像との相違度が大きい画像ばかり生成され、相違度が小さい画像を識別する学習ができなくなる虞があるためであり、逆に識別部45のみを設けると、元画像との類似度が大きい画像ばかり生成され、類似度が小さい画像を識別する学習ができなくなる虞があるためである。相違度判定部35と識別部45の両方を備えることにより、適切な学習をするために必要な様々な種類の学習用画像を生成することができる。
なお、類似度を導出する方法は、前述のようにニューラルネットワークを用いて導出する方法、画像解析により導出する方法、あるいは、ユーザによる判定により導出する方法等がある。ただし、学習対象である識別器が、商品パッケージのような人為的な物品の相違を識別するものである場合は、ユーザが識別したいレベルを決めることが好ましい。従って、第1の閾値、第2の閾値、及び第3の閾値は、ユーザが識別したいレベルに応じてユーザが設定することが好ましい。
(情報処理装置4の効果)
以上のように、本例示的実施形態3に係る情報処理装置4においては、上述の情報処理装置1~3の構成に加えて、画像を識別するモデル451に新たな画像を入力することにより識別結果を導出する識別部45を更に備えている、という構成が採用されている。このため、本例示的実施形態3に係る情報処理装置4によれば、例示的実施形態1に係る情報処理装置1~3の奏する効果に加えて、適切な学習をするために必要な様々な種類の画像を生成することができるという効果が得られる。
(情報処理方法S3)
次に、情報処理装置4が実行する情報処理方法S3について図面を参照して説明する。図8は、本例示的実施形態に係る情報処理方法S3の流れを示すフローチャートである。図8に示すように、情報処理方法S3のうち、ステップS31、ステップS32、ステップS33、及びステップS34は、前述の情報処理方法S2のステップS21、ステップS22、ステップS23、及びステップS24と同じである。
ステップS34において、相違度が第1の閾値よりも小さいと判定された場合(ステップS34:Y)は、ステップS32に戻り、決定部12はパラメータを変更する。一方、ステップS34において、相違度が第1の閾値以上であると判定された場合(ステップS34:N)は、ステップS35に移行する。
(ステップS35)
ステップS35において、識別部45は、モデル451による識別結果が、新たな画像と元画像との類似度が第2の閾値よりも小さいか否かを判定する。
ステップS35において、新たな画像と元画像との類似度が第2の閾値よりも小さいと判定された場合(ステップS35:Y)は、ステップS32に戻り、決定12は、新たな画像と元画像との類似度が大きくなるようにパラメータを変更する。ステップS35において、新たな画像と元画像との類似度が第2の閾値以上であると判定された場合(ステップS35:N)は、ステップS36に移行する。
(ステップS36)
ステップS36において、データ生成部14は、新たな画像に対して、元画像が属するクラスとは異なるクラスのラベルを付与したデータを生成する。生成されたデータは、所定のデータベースに記録される。
次に、情報処理装置4が実行する情報処理方法S4について図面を参照して説明する。図9は、本例示的実施形態に係る情報処理方法S4の流れを示すフローチャートである。図9に示すように、情報処理方法S4のうち、ステップS41、ステップS42、ステップS43、及びステップS44は、前述の情報処理方法S3のステップS31、ステップS32、ステップS33、及びステップS34と同じである。
(ステップS45)
ステップS44において、相違度が第1の閾値以上であると判定された場合(ステップS44:N)は、ステップS45に移行する。ステップS45において、識別部45は、モデル451による識別結果が、新たな画像は元画像の属するクラスとは異なるクラスに分類されたか否かを判定する。
ステップS45において、新たな画像は元画像の属するクラスとは異なるクラスに分類されたと判定された場合(ステップS45:Y)は、ステップS42に戻り、決定12は、新たな画像と元画像との類似度が大きくなるようにパラメータを変更する。ステップS45において、新たな画像は元画像の属するクラスとは異なるクラスに分類されていないと判定された場合(ステップS45:N)は、ステップS46に移行する。
(ステップS46)
ステップS46において、データ生成部14は、新たな画像に対して、元画像が属するクラスとは異なるクラスのラベルを付与したデータを生成する。生成されたデータは、所定のデータベースに記録される。
次に、情報処理装置4が実行する情報処理方法S5について図面を参照して説明する。図10は、本例示的実施形態に係る情報処理方法S5の流れを示すフローチャートである。図10に示すように、情報処理方法S5のうち、ステップS51、ステップS52、ステップS53、及びステップS54は、前述の情報処理方法S4のステップS41、ステップS42、ステップS43、及びステップS44と同じである。
(ステップS55)
ステップS54において、相違度が第1の閾値以上であると判定された場合(ステップS54:N)は、ステップS55に移行する。ステップS55において、識別部45は、モデル451による識別結果が、新たな画像は元画像の属するクラスとは異なるクラスに分類され、当該異なるクラスへの分類に関する信頼度が第3の閾値よりも大きいか否かを判定する。
ステップS55において、新たな画像は元画像の属するクラスとは異なるクラスに分類され、当該異なるクラスへの分類に関する信頼度が第3の閾値よりも大きいと判定された場合(ステップS55:Y)は、ステップS52に戻り、決定12は、新たな画像と元画像との類似度が大きくなるようにパラメータを変更する。
ステップS55において、新たな画像は元画像の属するクラスとは異なるクラスに分類されていない、又は新たな画像は元画像の属するクラスとは異なるクラスに分類されているが、当該異なるクラスへの分類に関する信頼度が第3の閾値よりも大きくないと判定された場合(ステップS55:N)は、ステップS56に移行する。
(ステップS56)
ステップS56において、データ生成部14は、新たな画像に対して、元画像が属するクラスとは異なるクラスのラベルを付与したデータを生成する。生成されたデータは、所定のデータベースに記録される。
(情報処理方法S3、S4、S5の効果)
以上のように、本例示的実施形態に係る情報処理方法S3~S5においては、例示的実施形態1に係る情報処理方法S1の構成に加えて、識別部45は、モデル451による識別結果が、新たな画像と元画像との類似度が第2の閾値よりも小さいか否かを判定するステップS35、ステップS45、ステップS55を備えるという構成が採用されている。このため、本例示的実施形態に係る情報処理方法S3~S5によれば、例示的実施形態1に係る情報処理方法S1の奏する効果に加えて、適切な学習をするために必要な様々な種類の画像を生成することができるという効果が得られる。
〔例示的実施形態4〕
本発明の第4の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態1~3にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
(情報処理装置5の構成)
図11は、例示的実施形態4に係る情報処理装置5の構成を示すブロック図である。情報処理装置5は、取得部11、決定部12、画像生成部13、データ生成部14、学習部55、及びデータベース56を備えている。取得部11、決定部12、画像生成部13、及びデータ生成部14は、実施形態2~3で説明した各部と同様である。
図11に示すように、学習部55は、学習させる対象モデル551を含む。対象モデル551は、商品の画像からその商品クラスを識別する識別器である。データベース56には、データ生成14が元画像から生成した複数の新たな画像が元画像とともに記録されている。学習部55は、特許請求の範囲に記載した「学習手段」の一形態である。
学習部55は、データ生成14が生成したデータを参照して対象モデル551を学習させる。具体的には、学習部55は、データベース56からデータ生成14が生成した新たな画像を取得し、対象モデル551に入力する。そして、対象モデル551が出力した識別結果が正しくなるように対象モデル551を学習させる。正しい識別結果とは、新たな画像を入力した場合に、その画像がデータベース56に登録されている元画像が属するクラスのいずれにも属さないという結果である。なお、学習部55は、データベース56から元画像を取得し、対象モデル551に入力して正しいクラスを出力させるように学習させてもよい。また、対象モデル551は、情報処理装置4で説明した識別部45のモデル451と同じ識別モデルであってもよい。
図12は、学習させる対象モデル551の構成の模式図である。対象モデル551は、図12に示すように、複数の層からなる畳み込みニューラルネットワークである。対象モデル551にクラスA’に属する新たな画像が入力されると、出力として、この画像が属すると考えられるクラスとその信頼度が対象モデル551から出力される。なお、出力結果のクラスAは、クラスA’に属する新たな画像の元画像が属するクラスを示す。クラスA’’は、同じ元画像から生成された別の新たな画像が属するクラスを示す。クラスKは、元画像のクラスのうち、クラスAとは異なるクラスを示す。
学習部55は、対象モデル551の出力のロス値(Loss)を算出し、ロス値が小さくなるように対象モデル551を学習させる。ロス値は、一例として、正解以外のクラスの信頼度の合計値である。例えば、クラスAである信頼度が0.10、クラスA’(正解)である信頼度が0.80、クラスA’’である信頼度が0.05、クラスKである信頼度が0.05と出力された場合は、ロス値は0.2となる。学習部55が対象モデル551を学習させるとは、ロス値が小さくなるように、畳み込みニューラルネットワークの各層の関数式の重みを更新することである。
(情報処理装置5の効果)
以上のように、本例示的実施形態4に係る情報処理装置5においては、上述の情報処理装置1~4の構成に加えて、データ生成14が生成したデータを参照して対象モデル551を学習させる学習部55を更に備えている、という構成が採用されている。このため、本例示的実施形態4に係る情報処理装置5によれば、例示的実施形態1~3に係る情報処理装置1~4の奏する効果に加えて、生成した新たな画像を用いて対象モデルを学習させることができるという効果が得られる。
〔例示的実施形態5〕
本発明の第5の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態1~4にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
(情報処理装置6の構成)
図13は、例示的実施形態5に係る情報処理装置6の構成を示すブロック図である。情報処理装置6は、識別対象画像取得部61、決定部12、画像生成部13、データ生成部14、学習部55、第2識別部66、データベース67、及び入出力部68を備えている。決定部12、画像生成部13、データ生成部14、学習部55、データベース67は、実施形態4で説明した各部と同様である。
識別対象画像取得部61は、識別対象画像を取得する。識別対象画像は、データベース67に記録されている画像でもよく、情報処理装置6の外部に保存されている画像でもよい。情報処理装置6の外部に保存されている画像は、識別対象画像取得部61が入出力部68を介して取得する。第2識別部66は、学習部55によって学習された対象モデル551である、学習済モデル661を備えている。第2識別部66は、識別対象画像取得部61が取得した識別対象画像を、学習部55によって学習された学習済モデル661に入力することによって、識別対象画像に関する識別処理を行う。
一例として、学習済モデル661は、画像が入力されると、その画像が属する可能性のあるクラスを信頼度とともに出力する。第2識別部66は、その画像が、登録されているクラスのいずれに該当するか、あるいは登録されているクラスのいずれにも該当しないかを、その信頼度とともに出力してもよい。入出力部68は、画像を外部から取得し、又は識別結果を外部に出力するためのインタフェースである。
(情報処理装置6の効果)
以上のように、本例示的実施形態5に係る情報処理装置6においては、上述の情報処理装置1~5の構成に加えて、識別対象画像取得部61が取得した識別対象画像を、学習部55によって学習された対象モデル551(学習済モデル661)に入力することによって、識別対象画像に関する識別処理を行う第2識別部66を更に備えている、という構成が採用されている。このため、本例示的実施形態5に係る情報処理装置6によれば、例示的実施形態1~4に係る情報処理装置1~5の奏する効果に加えて、学習された対象モデルを用いて画像を識別することができるという効果が得られる。
〔例示的実施形態6〕
本発明の第6の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態1~5にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
(情報処理装置7の構成)
図14は、例示的実施形態6に係る情報処理装置7の構成を示すブロック図である。情報処理装置7は、取得部71、学習部72、データベース73を備えている。取得部71は、複数の画像と、当該複数の画像の各々に付与されたクラスラベルと、当該複数の画像の少なくとも一部の画像に付与された識別情報であって、当該少なくとも一部の画像に関する画像生成処理を識別するための識別情報とを含む学習用データを取得する。取得部71は、一例として、学習用データをデータベース73から取得する。学習部72は、学習させるモデルである対象モデル721を備えている。学習部72は、取得部71が取得した学習用データを参照して対象モデル721を学習させる。つまり、学習部72は、学習用データを対象モデル721に入力し、出力された識別結果のロス値が小さくなるように対象モデル721を学習させる。データベース73は、学習用データを記録している。
対象モデル721は、一例として、図15に示すように、一例として、畳み込みニューラルネットワークからなる2つのレイヤを備えていてもよい。レイヤの1つは、識別情報に依らずに適用される共通レイヤ7211であり、もう1つのレイヤは、識別情報に応じて選択的に適用される分岐レイヤ7212,7213である。分岐レイヤ7212は、色相を変更したパターンの画像の識別能力が高くなるように学習されている。一方、分岐レイヤ7213は、文字を変更したパターンの画像の識別能力が高くなるように学習されている。
画像に付与された識別情報とは、その画像がどのような種類の画像であるかを示す情報である。一例として、識別情報は、その画像がどのような方法で生成されたかを示す情報である。例えば、図15に示すように、クラスAの画像aの色相を変更して生成されたクラスA’の画像a’(H)には、Hという識別情報が付与されている。また、クラスBの元画像(図示せず)から文字を変更して生成されたクラスB’の画像b’(L)には、Lという識別情報が付与されている。なお、クラスAの画像aには識別情報は付与されていない。
対象モデル721に画像a’(H)が入力された場合、画像処理は、図の実線で示すように、共通レイヤ7211と分岐レイヤ7212を用いて行われる。学習部72は、分岐レイヤ7212から出力される出力値の合計ロス値(Loss1)が小さくなるように対象モデル721を学習させる。
一方、対象モデル721に画像b’(L)が入力された場合、画像処理は、図の太破線で示すように、共通レイヤ7211と分岐レイヤ7213を用いて行われる。学習部72は、分岐レイヤ7213から出力される出力値の合計ロス値(Loss2)が小さくなるように対象モデル721を学習させる。
なお、対象モデル721に画像aが入力された場合、画像処理は、例えば図の細破線で示すように、共通レイヤ7211と分岐レイヤ7212及び7213の両方とを用いて行ってもよい。学習部72は、分岐レイヤ7212から出力される出力値の合計ロス値(Loss1)と、分岐レイヤ7213から出力される出力値の合計ロス値(Loss2)との合計値(Loss)が小さくなるように対象モデル721を学習させる。
このように、画像がどのように生成されたか等の識別情報に応じて、そのような画像に適した画像処理レイヤを用いることにより、より画像の識別精度を向上させることができる。
(情報処理装置7の効果)
以上のように、本例示的実施形態に係る情報処理装置7においては、複数の画像と、当該複数の画像の各々に付与されたクラスラベルと、当該複数の画像の少なくとも一部の画像に付与された識別情報であって、当該少なくとも一部の画像に関する画像生成処理を識別するための識別情報とを含む学習用データを取得する取得部71と、取得部71が取得した学習用データを参照して対象モデル721を学習させる学習部72とを備え、対象モデル721は、識別情報に依らずに適用される共通レイヤ7211と、識別情報に応じて選択的に適用される分岐レイヤ7212,7213と、を備えているという構成が採用されている。このため、本例示的実施形態に係る情報処理装置7によれば、例示的実施形態1に係る情報処理装置1の奏する効果に加えて、画像の特性に応じて画像処理経路を変更することにより、識別精度を向上させることができるという効果が得られる。
〔例示的実施形態7〕
本発明の第7の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態1~6にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
(情報処理装置8の構成)
図16は、例示的実施形態7に係る情報処理装置8の構成を示すブロック図である。情報処理装置8は、識別対象画像取得部81、識別部82、出力部83を備えている。識別対象画像取得部81は、識別対象画像を取得する。識別対象画像取得部81は、識別対象画像を図示しないメモリ、又は図示しない外部のデータベースから取得してもよい。識別部82は、学習済モデル821を備えており、学習済モデル821に、識別対象画像取得部81が取得した識別対象画像を入力することによって、識別対象画像に関する識別処理を行い、識別処理の結果を出力する。出力部83は、学習済モデル821が出力した識別処理の結果を外部に出力するインタフェースである。
学習済モデル821は、第1のクラスのラベルが付与された画像と、当該第1のクラスのラベルが付与された画像から生成された画像であって、当該第1のクラスとは異なる1又は複数の第2のクラスの何れかのラベルが付与された画像とを含む学習用データを用いて学習されたモデルである。第1のクラスとは、前述の元画像のクラスに相当する。第2のクラス画像とは、前述の疑似クラスに相当する。
つまり、学習済モデル821は、上述の情報処理装置(情報処理システム)1~4が生成したデータを用いて学習された画像識別モデルである。あるいは、学習済モデル821は、前述の情報処理装置5の学習部55が学習させた対象モデル551、情報処理装置6の第2識別部66が備える学習済モデル661、又は情報処理装置7の学習部72が学習させた対象モデル721と同等のモデルである。この構成により、情報処理装置8は、取得した識別対象画像を識別することができる。
識別部82が出力する情報及びその出力形式は任意である。識別部82は、識別処理の結果として、識別対象画像が、第1のクラス、及び1又は複数の第2のクラスの何れに属するのかに関する情報を出力してもよい。例えば、識別部82は、識別対象画像が属する可能性のある第1のクラス及び/又は第2のクラスと、それぞれごとの信頼度(確率等)を出力してもよい。この構成により、可能性のある複数のクラスとその信頼度を出力させることができる。
あるいは、識別部82は、学習済モデル821の出力が、識別対象画像が1又は複数の第2のクラスの何れかに属することを示している場合に、識別処理の結果として、識別対象画像が第1のクラスに属することを示す情報を出力してもよい。例えば、学習済モデル821の出力が、識別対象画像が第2のクラスのいずれか(疑似クラス)に属することを示している場合に、識別部82は、識別されたクラスのみを出力してもよい。この場合は、シンプルな出力となる。
(画像の推論方法S6の流れ)
次に、情報処理装置8が実行する画像のクラスの情報処理方法(推論方法)S6の流れについて、図面を参照して説明する。図17は、情報処理方法S6の流れを示すフローチャートである。図17に示すように、情報処理方法S6は次のステップを含む。
(ステップS61)
ステップS61において、識別対象画像取得部81は、識別対象画像を取得する。
(ステップS62)
ステップS62において、識別部82は、学習済モデル821に、識別対象画像取得部81が取得した識別対象画像を入力することによって、識別対象画像に関する識別処理を行う。学習済モデル821は前述の通りである。
(ステップS63)
ステップS63において、識別部82(又は出力部83)は、識別部82が識別処理した結果を出力する。さらに、出力部83が識別結果を外部に出力してもよい。
(情報処理装置8と推論方法S6の構成と効果)
本例示的実施形態7に係る情報処理装置8は、識別対象画像を取得する識別対象画像取得部81と、学習済モデル821に、識別対象画像取得部81が取得した識別対象画像を入力することによって、識別対象画像に関する識別処理を行う識別部82を備えている。また、推論方法S6は、識別対象画像を取得すること、学習済モデル821に、識別対象画像取得部81が取得した識別対象画像を入力することによって、識別対象画像に関する識別処理を行うこと、を含んでいる。
このため、本例示的実施形態7に係る情報処理装置8及び推論方法S6によれば、新たな画像を用いて学習させた学習済モデル821を用いて識別対象画像を識別することができるという効果が得られる。
次に、実施例について説明する。図18は、元画像データのみを用いて学習させた識別器の正解率と、元画像に加えて、元画像から生成した新たな画像を用いて学習させた識別器の正解率を示すグラフである。この実施例では、入力された画像が、識別器に登録された50のクラスのいずれのクラスに属するか、あるいはどの登録クラスにも属さないかを識別器に識別させた。なお、正解率は、登録されていないクラスの画像を登録されたクラスの画像であると誤識別した割合が5%以下となるように識別器のパラメータを設定した条件において、正しい登録クラスを識別した画像数の割合である。
図18のグラフの左側の棒グラフは、登録クラスの元画像のみを用いて学習させた識別器の正解率である。右側の棒グラフは、新たな画像も含めて学習させた識別器の正解率である。図18に示すように、登録クラスの元画像のみを用いて学習させた識別器では、正解率は0.5であったが、新たな画像も含めて学習させた識別器の正解率は0.71まで向上した。
以上のように、本例示的実施形態に係る情報処理装置を用いて生成した新たな画像は、識別器を学習させるために有効な学習データとなることがわかった。
〔ソフトウェアによる実現例〕
情報処理装置1,3~8及び情報処理システム2(以上をまとめて「情報処理装置1等という。」)の一部又は全部の機能は、集積回路(ICチップ)等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、情報処理装置1等は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例(以下、コンピュータCと記載する)を図19に示す。コンピュータCは、少なくとも1つのプロセッサC1と、少なくとも1つのメモリC2と、を備えている。メモリC2には、コンピュータCを情報処理装置1等として動作させるためのプログラムPが記録されている。コンピュータCにおいて、プロセッサC1は、プログラムPをメモリC2から読み取って実行することにより、情報処理装置1等の各機能が実現される。
プロセッサC1としては、例えば、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、DSP(Digital Signal Processor)、MPU(Micro Processing Unit)、FPU(Floating point number Processing Unit)、PPU(Physics Processing Unit)、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリC2としては、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、これらの組み合わせなどを用いることができる。
なお、コンピュータCは、プログラムPを実行時に展開したり、各種データを一時的に記憶したりするためのRAM(Random Access Memory)を更に備えていてもよい。また、コンピュータCは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータCは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
また、プログラムPは、コンピュータCが読み取り可能な、一時的でない有形の記録媒体Mに記録することができる。このような記録媒体Mとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータCは、このような記録媒体Mを介してプログラムPを取得することができる。また、プログラムPは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータCは、このような伝送媒体を介してプログラムPを取得することもできる。
〔付記事項1〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
〔付記事項2〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
(付記1)
複数のクラスのいずれかに属する元画像を取得する取得手段と、画像生成方法を規定するパラメータを決定する決定手段と、当該元画像から、前記決定手段が決定したパラメータを用いて新たな画像を生成する画像生成手段と、前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成するデータ生成手段とを備えている、ことを特徴とする情報処理装置。
上記の構成によれば、画像の認識において、未登録の物体の画像が登録済の物体の画像に誤認識されることを抑制することができる。
(付記2)
前記元画像と、前記新たな画像との相違度を導出して第1の閾値と比較する相違度判定手段を更に備えている、ことを特徴とする付記1に記載の情報処理装置。
上記の構成によれば、元画像とほとんど同じ新たな画像が生成される可能性を低減することができる。
(付記3)
前記相違度判定手段が導出した相違度が前記第1の閾値よりも小さい場合に、前記決定手段は、前記パラメータを変更する、ことを特徴とする付記2に記載の情報処理装置。
上記の構成によれば、相違度が小さい新たな画像が生成される可能性を低減することができる。
(付記4)
前記決定手段は、前記相違度が前記第1の閾値よりも小さい場合に、前記相違度が大きくなるように、前記パラメータを変更する、ことを特徴とする付記3に記載の情報処理装置。
上記の構成によれば、相違度が小さい新たな画像が生成される可能性を低減することができる。
(付記5)
前記決定手段は、前記相違度が前記第1の閾値よりも小さい場合に、前記パラメータをランダムに変更する、ことを特徴とする付記3に記載の情報処理装置。
上記の構成によれば、相違度が小さい新たな画像が生成される可能性を低減することができる。
(付記6)
画像を識別するモデルに前記新たな画像を入力することにより識別結果を導出する識別手段を更に備えている、ことを特徴とする付記1から5のいずれか1つに記載の情報処理装置。
上記の構成によれば、適切な学習をするために必要な様々な種類の画像を生成することができる。
(付記7)
前記識別結果が、前記新たな画像と前記元画像との類似度が第2の閾値よりも小さいとの結果である場合に、前記決定手段は、前記新たな画像と前記元画像との類似度が大きくなるように前記パラメータを変更する、ことを特徴とする付記6に記載の情報処理装置。
上記の構成によれば、適切な学習をするために必要な様々な種類の画像を生成することができる。
(付記8)
前記識別結果には、前記新たな画像が分類されたクラスが含まれており、
前記識別結果が、前記新たな画像は前記元画像の属するクラスとは異なるクラスに分類されたとの結果である場合に、前記決定手段は、前記新たな画像と前記元画像との類似度が大きくなるように前記パラメータを変更する、ことを特徴とする付記6に記載の情報処理装置。
上記の構成によれば、適切な学習をするために必要な様々な種類の画像を生成することができる。
(付記9)
前記識別結果には、前記新たな画像が分類されたクラスと、当該クラスへの分類に関する信頼度が含まれており、前記識別結果が、前記新たな画像は前記元画像の属するクラスとは異なるクラスに分類され、当該異なるクラスへの分類に関する前記信頼度が第3の閾値よりも大きいとの結果である場合に、前記決定手段は、前記新たな画像と前記元画像との類似度が大きくなるように前記パラメータを変更する、ことを特徴とする付記8に記載の情報処理装置。
上記の構成によれば、適切な学習をするために必要な様々な種類の学習用画像を生成することができる。
(付記10)
前記画像生成手段は、少なくとも一部の色の変換、少なくとも一部の文字の置換、スタイル変換、画像生成モデルによる内挿、画像の一部の置換又は重畳、のうちの少なくとも1つを用いて前記新たな画像を生成する、ことを特徴とする付記1から9のいずれか1つに記載の情報処理装置。
上記の構成によれば、元画像から様々な方法により新たな画像を生成することができる。
(付記11)
前記データ生成手段が生成したデータを参照して対象モデルを学習させる学習手段を備えている、ことを特徴とする付記1から10のいずれか1つに記載の情報処理装置。
上記の構成によれば、生成した新たな画像を用いて対象モデルを学習させることができる。
(付記12)
識別対象画像を取得する識別対象画像取得手段と、前記識別対象画像取得手段が取得した識別対象画像を、前記学習手段によって学習された前記対象モデルに入力することによって、前記識別対象画像に関する識別処理を行う第2識別手段とを備えている、ことを特徴とする付記11に記載の情報処理装置。
上記の構成によれば、学習された対象モデルを用いて識別対象画像を識別することができる。
(付記13)
複数の画像と、当該複数の画像の各々に付与されたクラスラベルと、当該複数の画像の少なくとも一部の画像に付与された識別情報であって、当該少なくとも一部の画像に関する画像生成処理を識別するための識別情報とを含む学習用データを取得する取得手段と、前記取得手段が取得した学習用データを参照して対象モデルを学習させる学習手段とを備え、前記対象モデルは、前記識別情報に依らずに適用される共通レイヤと、前記識別情報に応じて選択的に適用される分岐レイヤとを備えている、ことを特徴とする情報処理装置。
上記の構成によれば、画像の特性に応じて画像処理経路を変更することにより、識別精度を向上させることができる。
(付記14)
識別対象画像を取得する識別対象画像取得手段と、第1のクラスのラベルが付与された画像と、当該第1のクラスのラベルが付与された画像から生成された画像であって、当該第1のクラスとは異なる1又は複数の第2のクラスの何れかのラベルが付与された画像とを含む学習用データを用いて学習されたモデルに、前記識別対象画像取得手段が取得した識別対象画像を入力することによって、前記識別対象画像に関する識別処理を行う識別手段と、を備えていることを特徴とする情報処理装置。
上記の構成によれば、情報処理装置は、新たな画像を用いて学習させた学習済モデルを用いて識別対象画像を識別することができる。
(付記15)
前記識別手段は、前記識別処理の結果として、前記識別対象画像が、前記第1のクラス、及び前記1又は複数の第2のクラスの何れに属するのかに関する情報を出力する、ことを特徴とする、付記14に記載の情報処理装置。
この構成により、可能性のある複数のクラスをその信頼度を出力させることができる。
(付記16)
前記識別手段は、前記モデルの出力が、前記識別対象画像が前記1又は複数の第2のクラスの何れかに属することを示している場合に、前記識別処理の結果として、前記識別対象画像が前記第1のクラスに属することを示す情報を出力する、ことを特徴とする付記14に記載の情報処理装置。
上記の構成によれば、シンプルな出力結果を出力することができる。
(付記17)
少なくとも1つのプロセッサが、複数のクラスのいずれかに属する元画像を取得すること、画像生成方法を規定するパラメータを決定すること、当該元画像から、決定された前記パラメータを用いて新たな画像を生成すること、前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成すること、を含む情報処理方法。
上記の構成によれば、物品の画像を識別する識別器を学習させることができる学習データを生成することができ、従って、画像の認識において、未登録の物体の画像が登録済の物体の画像に誤認識されることを抑制することができる。
(付記18)
少なくとも1つのプロセッサが、複数のクラスのいずれかに属する元画像を取得すること、画像生成方法を規定するパラメータを決定すること、当該元画像から、決定された前記パラメータを用いて新たな画像を生成すること、前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成すること、を含むデータ製造方法。
上記の構成によれば、物品の画像を識別する識別器を学習させることができる学習データを製造することができ、従って、画像の認識において、未登録の物体の画像が登録済の物体の画像に誤認識されることを抑制することができる。
(付記19)
コンピュータを付記1~16の何れか一に記載の情報処理装置として動作させるためのプログラムであって、前記コンピュータを前記各手段として機能させる、ことを特徴とするプログラム。
(付記20)
付記19に記載のプログラムを記録した、コンピュータ読み取り可能な非一時的記録媒体。
(付記21)
識別対象画像を取得すること、第1のクラスのラベルが付与された画像と、当該第1のクラスのラベルが付与された画像から生成された画像であって、当該第1のクラスとは異なる1又は複数の第2のクラスの何れかのラベルが付与された画像とを含む学習用データを用いて学習されたモデルに、取得された前記識別対象画像を入力することによって、前記識別対象画像に関する識別処理を行うこと、を含むことを特徴とする情報処理方法。
上記の構成によれば、新たな画像を用いて学習させた学習済モデルを用いて識別対象画像を識別することができる。
〔付記事項3〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
少なくとも1つのプロセッサを備え、前記プロセッサは、複数のクラスのいずれかに属する元画像を取得する取得処理と、画像生成方法を規定するパラメータを決定する決定処理と、当該元画像から、前記決定手段が決定したパラメータを用いて新たな画像を生成する画像生成処理と、前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成するデータ生成処理と、を実行する情報処理装置。
なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前決定処理と、前記画像生成処理と、データ生成処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
1,3,4,5,6,7,8・・・情報処理装置
2・・・情報処理システム
11,71・・・取得部
12・・・決定部
13・・・画像生成部
14・・・データ生成部
25,56,67,73・・・データベース
35・・・相違度判定部
45,82・・・識別部
46,83・・・出力部
55,72・・・学習部
61,81・・・識別対象画像取得部
66・・・第2識別部
68・・・入出力部

Claims (9)

  1. 複数のクラスのいずれかに属する元画像を取得する取得手段と、
    画像生成方法を規定するパラメータを決定する決定手段と、
    当該元画像から、前記決定手段が決定したパラメータを用いて新たな画像を生成する画像生成手段と、
    前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成するデータ生成手段と
    前記元画像と、前記新たな画像との相違度を導出して第1の閾値と比較する相違度判定手段と、を備え、
    前記決定手段は、前記相違度が前記第1の閾値よりも小さい場合に、前記相違度が大きくなるように、前記パラメータを変更する
    情報処理装置。
  2. 複数のクラスのいずれかに属する元画像を取得する取得手段と、
    画像生成方法を規定するパラメータを決定する決定手段と、
    当該元画像から、前記決定手段が決定したパラメータを用いて新たな画像を生成する画像生成手段と、
    前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成するデータ生成手段と、
    前記元画像と、前記新たな画像との相違度を導出して第1の閾値と比較する相違度判定手段と、を備え、
    前記決定手段は、前記相違度が前記第1の閾値よりも小さい場合に、前記パラメータをランダムに変更する
    情報処理装置。
  3. 画像を識別するモデルに前記新たな画像を入力することにより識別結果を導出する第1識別手段を更に備えている
    請求項1又は2に記載の情報処理装置。
  4. 前記識別結果が、前記新たな画像と前記元画像との類似度が第2の閾値よりも小さいとの結果である場合に、前記決定手段は、前記新たな画像と前記元画像との類似度が大きくなるように前記パラメータを変更する
    請求項に記載の情報処理装置。
  5. 前記識別結果には、前記新たな画像が分類されたクラスが含まれており、
    前記識別結果が、前記新たな画像は前記元画像の属するクラスとは異なるクラスに分類されたとの結果である場合に、前記決定手段は、前記新たな画像と前記元画像との類似度が大きくなるように前記パラメータを変更する
    請求項に記載の情報処理装置。
  6. 少なくとも1つのプロセッサが、
    複数のクラスのいずれかに属する元画像を取得すること、
    画像生成方法を規定するパラメータを決定すること、
    当該元画像から、決定された前記パラメータを用いて新たな画像を生成すること、
    前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成すること、
    前記元画像と、前記新たな画像との相違度を導出して第1の閾値と比較すること、を含み、
    前記比較することにおいて、導出した前記相違度が前記第1の閾値よりも小さい場合に、前記決定することにおいて、前記相違度が大きくなるように、前記パラメータを変更すること
    を含む情報処理方法。
  7. 少なくとも1つのプロセッサが、
    複数のクラスのいずれかに属する元画像を取得すること、
    画像生成方法を規定するパラメータを決定すること、
    当該元画像から、決定された前記パラメータを用いて新たな画像を生成すること、
    前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成すること、
    前記元画像と、前記新たな画像との相違度を導出して第1の閾値と比較すること、を含み、
    前記比較することにおいて、導出した前記相違度が前記第1の閾値よりも小さい場合に、前記決定することにおいて前記パラメータをランダムに変更すること
    を含む情報処理方法。
  8. コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
    複数のクラスのいずれかに属する元画像を取得する取得手段、
    画像生成方法を規定するパラメータを決定する決定手段、
    当該元画像から、前記決定手段が決定したパラメータを用いて新たな画像を生成する画像生成手段
    前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成するデータ生成手段、及び
    前記元画像と、前記新たな画像との相違度を導出して第1の閾値と比較する相違度判定手段、として機能させ、
    前記相違度判定手段が導出した相違度が前記第1の閾値よりも小さい場合に、前記決定手段は、前記相違度が大きくなるように、前記パラメータを変更する
    プログラム。
  9. コンピュータを情報処理装置として機能させるためのプログラムであって、前記コンピュータを、
    複数のクラスのいずれかに属する元画像を取得する取得手段、
    画像生成方法を規定するパラメータを決定する決定手段、
    当該元画像から、前記決定手段が決定したパラメータを用いて新たな画像を生成する画像生成手段、
    前記新たな画像と、前記新たな画像に付与されたラベルであって、前記元画像が属する前記クラスとは異なるクラスのラベルとを含むデータを生成するデータ生成手段、及び
    前記元画像と、前記新たな画像との相違度を導出して第1の閾値と比較する相違度判定手段、として機能させ、
    前記相違度判定手段が導出した相違度が前記第1の閾値よりも小さい場合に、前記決定手段は、前記パラメータをランダムに変更する
    プログラム。
JP2023525231A 2021-06-02 2021-06-02 情報処理装置、情報処理方法及びプログラム Active JP7736062B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/020960 WO2022254600A1 (ja) 2021-06-02 2021-06-02 情報処理装置、情報処理方法、データ製造方法、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2022254600A1 JPWO2022254600A1 (ja) 2022-12-08
JPWO2022254600A5 JPWO2022254600A5 (ja) 2024-03-04
JP7736062B2 true JP7736062B2 (ja) 2025-09-09

Family

ID=84322891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023525231A Active JP7736062B2 (ja) 2021-06-02 2021-06-02 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20240257424A1 (ja)
JP (1) JP7736062B2 (ja)
WO (1) WO2022254600A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023168366A2 (en) * 2022-03-03 2023-09-07 Siemens Healthcare Diagnostics Inc. Diagnostic laboratory systems and methods of imaging tube assemblies
JP2025017111A (ja) * 2023-07-24 2025-02-05 株式会社東芝 機械学習装置、方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095212A (ja) 2013-11-14 2015-05-18 株式会社デンソーアイティーラボラトリ 識別器、識別プログラム、及び識別方法
WO2019077854A1 (ja) 2017-10-17 2019-04-25 株式会社日立製作所 オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面
JP2020046883A (ja) 2018-09-18 2020-03-26 株式会社東芝 分類装置、分類方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095212A (ja) 2013-11-14 2015-05-18 株式会社デンソーアイティーラボラトリ 識別器、識別プログラム、及び識別方法
WO2019077854A1 (ja) 2017-10-17 2019-04-25 株式会社日立製作所 オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面
JP2020046883A (ja) 2018-09-18 2020-03-26 株式会社東芝 分類装置、分類方法およびプログラム

Also Published As

Publication number Publication date
JPWO2022254600A1 (ja) 2022-12-08
WO2022254600A1 (ja) 2022-12-08
US20240257424A1 (en) 2024-08-01

Similar Documents

Publication Publication Date Title
US20230137931A1 (en) Method for augmenting data for document classification and apparatus thereof
Sun et al. A robust approach for text detection from natural scene images
Chagas et al. Evaluation of convolutional neural network architectures for chart image classification
US20150278710A1 (en) Machine learning apparatus, machine learning method, and non-transitory computer-readable recording medium
CN112272838B (zh) 商品确定装置、记录介质和学习方法
CN107480682B (zh) 一种商品包装生产日期检测方法
JP7736062B2 (ja) 情報処理装置、情報処理方法及びプログラム
TWI792560B (zh) 資訊處理裝置及資訊處理方法
WO2021034841A1 (en) Apparatus and methods for converting lineless tables into lined tables using generative adversarial networks
US20220092448A1 (en) Method and system for providing annotation information for target data through hint-based machine learning model
Li et al. Multiple kernel-based multi-instance learning algorithm for image classification
JPWO2022254600A5 (ja)
CN109800768A (zh) 半监督gan的散列特征表示学习方法
CN116935140A (zh) 基于油墨的奢侈品鉴定模型训练方法、鉴定方法及装置
US8131077B2 (en) Systems and methods for segmenting an image based on perceptual information
CN118334672A (zh) 电子价签识别方法及装置
CN114155598B (zh) 一种图像处理模型的训练方法、装置及电子设备
Guo et al. MalFSLDF: A Few‐Shot Learning‐Based Malware Family Detection Framework
Bonilla-Rivas et al. Adapting YOLO to recognition of real numbers in 7-segment digits
Fitriyah et al. Traffic sign recognition using edge detection and eigen-face: Comparison between with and without color pre-classification based on Hue
CN106157284B (zh) 图像中文字区域的定位方法及装置
KR102868560B1 (ko) 표 인식 방법 및 장치
CN111694567A (zh) 一种数据处理方法及装置、存储介质
CN113343832B (zh) 视频封面判别方法、装置、设备及计算机可读介质
JP7835119B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250404

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20250425

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20250425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250811

R150 Certificate of patent or registration of utility model

Ref document number: 7736062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150