JP7243333B2 - 情報処理方法、情報処理プログラム、および情報処理装置 - Google Patents

情報処理方法、情報処理プログラム、および情報処理装置 Download PDF

Info

Publication number
JP7243333B2
JP7243333B2 JP2019049185A JP2019049185A JP7243333B2 JP 7243333 B2 JP7243333 B2 JP 7243333B2 JP 2019049185 A JP2019049185 A JP 2019049185A JP 2019049185 A JP2019049185 A JP 2019049185A JP 7243333 B2 JP7243333 B2 JP 7243333B2
Authority
JP
Japan
Prior art keywords
group
information processing
feature amount
image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019049185A
Other languages
English (en)
Other versions
JP2020149644A (ja
Inventor
貴司 三浦
祐輔 樋田
敦雄 原
恭子 只木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019049185A priority Critical patent/JP7243333B2/ja
Priority to US16/810,925 priority patent/US11263258B2/en
Publication of JP2020149644A publication Critical patent/JP2020149644A/ja
Application granted granted Critical
Publication of JP7243333B2 publication Critical patent/JP7243333B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/24765—Rule-based classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Description

本発明は、情報処理方法、情報処理プログラム、および情報処理装置に関する。
従来、分類モデルを用いてデータを分類する様々な技術がある。例えば、データを画像化し、画像を分類する学習済みの分類モデルを流用することにより、データに合わせた分類モデルを新たに作成しなくても、データを分類可能にしようとする技術がある。
先行技術としては、例えば、被検査物の画像情報から変換された電気信号を改良した結果を入力とし特定基準に基づいて学習データおよび未学習データに対する識別および評価を行うものがある。また、例えば、学習モデルを更新すると、学習モデルに含まれる部分特徴量空間のうち、更新前後において変化のなかった部分特徴量空間の数に基づいて、検査員が設定した“疵種に関する正解データ”を疵データに付与して学習モデルを生成する技術がある。
特開２００３－７６９９１号公報 特開２００９－２６５０８２号公報
しかしながら、従来技術では、データを精度よく分類することが難しい場合がある。例えば、データを、どのような画像化手法を用いて画像化すれば、流用した学習済みの分類モデルにより分類しやすくなるのかを判断することが難しい。
１つの側面では、本発明は、データを精度よく分類可能にすることを目的とする。
１つの実施態様によれば、複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、前記画像群ごとに算出した前記画像化手法のスコアを出力する情報処理方法、情報処理プログラム、および情報処理装置が提案される。
一態様によれば、データを精度よく分類可能にすることが可能になる。
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図（その１）である。 図２は、実施の形態にかかる情報処理方法の一実施例を示す説明図（その２）である。 図３は、情報処理システム３００の一例を示す説明図である。 図４は、情報処理装置１００のハードウェア構成例を示すブロック図である。 図５は、クライアント装置３０１のハードウェア構成例を示すブロック図である。 図６は、情報処理装置１００の機能的構成例を示すブロック図である。 図７は、サンプリングを実施する一例を示す説明図である。 図８は、画像化手法を評価する一例を示す説明図である。 図９は、学習済みＮＮを評価する一例を示す説明図である。 図１０は、分布表１０００を作成する一例を示す説明図である。 図１１は、画像化手法のスコアおよび学習済みＮＮのスコアを算出する一例を示す説明図である。 図１２は、画像化手法のスコアを算出する別の例を示す説明図（その１）である。 図１３は、画像化手法のスコアを算出する別の例を示す説明図（その２）である。 図１４は、学習済みＮＮのスコアを算出する別の例を示す説明図である。 図１５は、情報処理装置１００による効果を示す説明図である。 図１６は、情報処理装置１００の利用例１を示す説明図（その１）である。 図１７は、情報処理装置１００の利用例１を示す説明図（その２）である。 図１８は、情報処理装置１００の利用例２を示す説明図（その１）である。 図１９は、情報処理装置１００の利用例２を示す説明図（その２）である。 図２０は、利用例１における全体処理手順の一例を示すフローチャートである。 図２１は、利用例２における全体処理手順の一例を示すフローチャートである。 図２２は、分布抽出処理手順の一例を示すフローチャートである。 図２３は、選択処理手順の一例を示すフローチャートである。
以下に、図面を参照して、本発明にかかる情報処理方法、情報処理プログラム、および情報処理装置の実施の形態を詳細に説明する。
（実施の形態にかかる情報処理方法の一実施例）
図１および図２は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。情報処理装置１００は、データを精度よく分類可能にするためのコンピュータである。情報処理装置１００は、例えば、サーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。データは、例えば、数値データである。
ここで、データを分類する技術として、例えば、データを画像化し、画像を分類する学習済みモデルを流用することにより、データに合わせた分類モデルを新たに作成しなくても、データを分類可能にしようとするものが考えられる。
この技術は、例えば、Ｉｍａｇｉｆｉｃａｔｉｏｎとも呼ばれる。学習済みモデルは、入力された画像に対応する特徴量を出力するモデルである。学習済みモデルは、例えば、ニューラルネットワークである。学習済みモデルは、具体的には、Ｏｐｅｎ Ｓｏｕｒｃｅ Ｓｏｆｔｗａｒｅで公開されているモデルであってもよい。以下の説明では、ニューラルネットワークを「ＮＮ」と表記する場合がある。これによれば、データに合わせた分類モデルを新たに作成せずに済み、作成のための膨大な教師データを用意せずに済む。
しかしながら、従来では、この技術を用いた場合、データを精度よく分類することが難しいことがある。例えば、この技術で利用可能な画像化手法が複数存在する場合が考えられる。この場合、分類しようとするデータを、どのような画像化手法を用いて画像化すれば、学習済みモデルにより、データを分類しやすくなるのかを判断することが難しい。そして、データを画像化する際、データに合った画像化手法を用いなければ、データを画像化して学習済みモデルに入力しても、データを精度よく分類することはできない。
これに対し、人手または自動で、データに合った画像化手法を検討することが考えられるが、膨大なデータを用意し、複数の画像化手法のいずれの画像化手法が、データに合った画像化手法であるかを１つ１つ検討することになる。このため、データに合った画像化手法を検討する検討作業にかかる作業量および作業時間が膨大になりやすく、データを分類しようとする分類作業者にかかる作業負担の増大化を招いてしまう。分類作業者にかかる作業負担の増大化を招く具体例については、例えば、図１５を用いて後述する。
さらに、例えば、この技術で利用可能な学習済みモデルが複数存在する場合が考えられる。この場合、分類しようとするデータを画像化した後、どのような学習済みモデルに入力すれば、データを精度よく分類しやすくなるのかを判断することが難しい。そして、データを画像化した後、データに合った学習済みモデルに入力しなければ、データを精度よく分類することはできない。
これに対し、人手または自動で、データに合った学習済みモデルを検討することが考えられるが、膨大なデータを用意し、複数の学習済みモデルのいずれの学習済みモデルが、データに合った学習済みモデルであるかを１つ１つ検討することになる。このため、データに合った学習済みモデルを検討する検討作業にかかる作業量および作業時間が膨大になりやすく、データを分類しようとする分類作業者にかかる作業負担の増大化を招いてしまう。分類作業者にかかる作業負担の増大化を招く具体例については、例えば、図１５を用いて後述する。
従って、分類しようとするデータに合った画像化手法と学習済みモデルとの組み合わせを特定可能にすることが望まれる。そして、分類しようとするデータに合った画像化手法と学習済みモデルとの組み合わせを特定する際にかかる所要時間の増大化を抑制することが望まれる。
そこで、本実施の形態では、学習済みモデルに、データ群を画像化して生成された画像群が入力された場合に出力される特徴量群の特徴量空間における分布を参照することにより、データを精度よく分類可能にすることができる情報処理方法について説明する。
図１の例では、説明の簡略化のため、画像化手法が複数存在し、かつ、学習済みモデルが１つ存在する場合における一実施例について説明する。また、学習済みモデルが複数存在する場合における一実施例については、図２を用いて後述する。
図１において、（１－１）情報処理装置１００は、画像化手法によりデータ群を画像化して生成された画像群を複数取得する。情報処理装置１００は、例えば、複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得する。
ここで、情報処理装置１００は、複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を、自装置で生成することにより取得してもよいし、他装置から受信することにより取得してもよい。図１の例では、情報処理装置１００は、データ群１０１を画像化して生成された画像群１１０，１１１を取得する。
（１－２）情報処理装置１００は、取得した画像群ごとに、画像群の生成に用いた画像化手法のスコアを算出する。情報処理装置１００は、例えば、画像群ごとに、学習済みモデルにより画像群から得た特徴量群と、学習済みモデルにより基準画像群から得た特徴量群との特徴量空間における分布に基づいて、画像群の生成に用いた画像化手法のスコアを算出する。
基準画像群とは、例えば、学習済みモデルを用いて分類することが難しいノイズ画像群である。学習済みモデルにより画像群から得た特徴量群とは、例えば、学習済みモデルに画像群の各画像が入力された場合に、学習済みモデルから出力される特徴量群である。学習済みモデルにより基準画像群から得た特徴量群とは、例えば、学習済みモデルに基準画像群の各画像が入力された場合に、学習済みモデルから出力される特徴量群である。
ここで、基準画像群は、学習済みモデルを用いて分類することが難しいノイズ画像群であるため、学習済みモデルにより基準画像群から得た特徴量群の分布は、データの分類に失敗した場合の見本となりうる。従って、画像群から得た特徴量群の分布が、基準画像群から得た特徴量群の分布に類似しないほど、画像群の生成に用いた画像化手法の、データの分類精度の向上への寄与度合いが大きいことを示すことになる。画像化手法の、データの分類精度の向上への寄与度合いが大きければ、スコアを高くすることが好ましい。
図１の例では、情報処理装置１００は、学習済みモデル１３０により画像群１１０から得た特徴量群１４０と、学習済みモデル１３０により基準画像群１２０から得た特徴量群１５０とを取得する。情報処理装置１００は、特徴量群１４０，１５０の特徴量空間における分布に基づいて、画像群１１０の生成に用いた画像化手法のスコアを算出する。
また、情報処理装置１００は、学習済みモデル１３０により画像群１１１から得た特徴量群１４１と、学習済みモデル１３０により基準画像群１２０から得た特徴量群１５０とを取得する。情報処理装置１００は、特徴量群１４１，１５０の特徴量空間における分布に基づいて、画像群１１１の生成に用いた画像化手法のスコアを算出する。ここでは、情報処理装置１００は、特徴量群１４０の分布が、特徴量群１４１の分布よりも特徴量群１５０の分布から遠いため、画像群１１０の生成に用いた画像化手法のスコアを、画像群１１１の生成に用いた画像化手法のスコアより大きくなるように算出する。
（１－３）情報処理装置１００は、画像群ごとに算出した画像化手法のスコアを出力する。図１の例では、情報処理装置１００は、画像群１１０の生成に用いた画像化手法のスコア、および、画像群１１１の生成に用いた画像化手法のスコアを出力する。出力先は、例えば、データを分類しようとする分類作業者が閲覧可能である他の装置のディスプレイである。
これにより、情報処理装置１００は、比較的少ない作業量で、複数の画像化手法のいずれの画像化手法が、データに合った画像化手法であるかを検討することができる。そして、情報処理装置１００は、分類作業者が、スコアを参照して、複数の画像化手法のいずれの画像化手法が、データに合った画像化手法であるかを把握しやすくすることができる。このため、情報処理装置１００は、分類作業者の作業負担の低減化を図ることができる。
ここでは、情報処理装置１００が、基準画像群として、学習済みモデルを用いて分類することが難しいノイズ画像群を利用する場合について説明したが、これに限らない。例えば、情報処理装置１００が、基準画像群として、学習済みモデルを用いて精度よく分類することが可能である最適画像群を利用する場合があってもよい。この場合、情報処理装置１００は、画像群から得た特徴量群の分布が、基準画像群から得た特徴量群の分布に類似するほど、画像群の生成に用いた画像化手法のスコアが高くなるようにすることが好ましい。次に、図２の説明に移行する。
図２の例では、説明の簡略化のため、画像化手法が１つ存在し、かつ、学習済みモデルが複数存在する場合における一実施例について説明する。
図２において、（２－１）情報処理装置１００は、学習済みモデルおよび基準モデルを複数取得する。基準モデルは、学習済みモデルごとに対応付けて用意され、学習済みモデルごとに異なるモデルである。基準モデルは、例えば、学習済みモデルの元となる未学習モデルである。未学習モデルは、例えば、パラメータが初期化された状態である。
図２の例では、情報処理装置１００は、学習済みモデル２２０と、学習済みモデル２２０に対応する基準モデル２２１と、学習済みモデル２３０と、学習済みモデル２３０に対応する基準モデル２３１とを取得する。
（２－２）情報処理装置１００は、取得した学習済みモデルごとにスコアを算出する。情報処理装置１００は、例えば、学習済みモデルごとに、学習済みモデルにより所定画像群から得た特徴量群と、基準モデルにより所定画像群から得た特徴量群との特徴量空間における分布に基づいて、学習済みモデルのスコアを算出する。所定画像群は、例えば、データ群を画像化して生成される。
学習済みモデルにより所定画像群から得た特徴量群とは、例えば、学習済みモデルに所定画像群のそれぞれが入力された場合に、学習済みモデルから出力される特徴量群である。基準モデルにより所定画像群から得た特徴量群とは、例えば、基準モデルに所定画像群のそれぞれが入力された場合に、基準モデルから出力される特徴量群である。
ここで、基準モデルは、未学習モデルであるため、基準モデルにより所定画像群から得た特徴量群の分布は、データの分類に失敗した場合の見本となりうる。従って、学習済みモデルにより所定画像群から得た特徴量群の分布が、基準モデルにより所定画像群から得た特徴量群の分布に類似しないほど、学習済みモデルの、データの分類精度の向上への寄与度合いが大きいことを示すことになる。学習済みモデルの、データの分類精度の向上への寄与度合いが大きければ、スコアを高くすることが好ましい。
図２の例では、情報処理装置１００は、データ群２０１を画像化して生成された所定画像群２１０を取得する。情報処理装置１００は、学習済みモデル２２０により所定画像群２１０から得た特徴量群２４０と、基準モデル２２１により所定画像群２１０から得た特徴量群２４１とを取得する。情報処理装置１００は、特徴量群２４０，２４１の特徴量空間における分布に基づいて、学習済みモデル２２０のスコアを算出する。
また、情報処理装置１００は、学習済みモデル２３０により所定画像群２１０から得た特徴量群２５０と、基準モデル２３１により所定画像群２１０から得た特徴量群２５１とを取得する。情報処理装置１００は、特徴量群２５０，２５１の特徴量空間における分布に基づいて、学習済みモデル２３０のスコアを算出する。ここでは、情報処理装置１００は、特徴量群２４０の分布が、特徴量群２４１の分布から比較的遠いため、学習済みモデル２２０のスコアを比較的大きく算出する。一方で、情報処理装置１００は、特徴量群２５０の分布が、特徴量群２５１の分布に比較的近いため、学習済みモデル２３０のスコアを比較的小さく算出する。
（２－３）情報処理装置１００は、学習済みモデルごとに算出した学習済みモデルのスコアを出力する。図２の例では、情報処理装置１００は、学習済みモデル２２０のスコア、および、学習済みモデル２３０のスコアを出力する。出力先は、例えば、データを分類しようとする分類作業者が閲覧可能である他の装置のディスプレイである。
これにより、情報処理装置１００は、比較的少ない作業量で、複数の学習済みモデルのいずれの学習済みモデルが、データに合った学習済みモデルであるかを検討することができる。そして、情報処理装置１００は、分類作業者が、スコアを参照して、複数の学習済みモデルのいずれの学習済みモデルが、データに合った学習済みモデルであるかを把握しやすくすることができる。このため、情報処理装置１００は、分類作業者の作業負担の低減化を図ることができる。
ここでは、情報処理装置１００が、学習済みモデルにより所定画像群から得た特徴量群と、基準モデルにより所定画像群から得た特徴量群との特徴量空間における分布を利用する場合について説明したが、これに限らない。例えば、情報処理装置１００が、さらに、基準モデルによりノイズ画像群から得た特徴量群の特徴量空間における分布も利用する場合があってもよい。
図１の例では、説明の簡略化のため、学習済みモデルが１つである場合について説明し、また、図２の例では、説明の簡略化のため、画像化手法が１つである場合について説明したが、これに限らない。以下の説明では、画像化手法が複数存在し、かつ、学習済みモデルが複数存在する場合についても含むように説明することにする。画像化手法が複数存在し、かつ、学習済みモデルが複数存在する場合の具体例については、例えば、図７～図１１を用いて後述する。
（情報処理システム３００の一例）
次に、図３を用いて、図１および図２に示した情報処理装置１００を適用した、情報処理システム３００の一例について説明する。
図３は、情報処理システム３００の一例を示す説明図である。図３において、情報処理システム３００は、情報処理装置１００と、クライアント装置３０１とを含む。情報処理システム３００において、情報処理装置１００とクライアント装置３０１とは、有線または無線のネットワーク３１０を介して接続される。ネットワーク３１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。
情報処理装置１００は、例えば、分類対象のデータを、クライアント装置３０１から取得する。情報処理装置１００は、具体的には、１つのクライアント装置３０１から分類対象のデータを取得する。情報処理装置１００は、具体的には、複数のクライアント装置３０１から分類対象のデータを収集してもよい。情報処理装置１００は、例えば、分類対象のデータに基づいて、分類対象のデータに合った画像化手法と学習済みモデルとの組み合わせを、クライアント装置３０１に表示させる。情報処理装置１００は、例えば、分類対象のデータを分類した結果を、クライアント装置３０１に表示させてもよい。情報処理装置１００は、例えば、サーバやＰＣなどである。
クライアント装置３０１は、例えば、分類対象のデータを、情報処理装置１００に送信するコンピュータである。クライアント装置３０１は、例えば、分類対象のデータに合った画像化手法と学習済みモデルとの組み合わせを、情報処理装置１００から受信して表示する。クライアント装置３０１は、例えば、分類対象のデータを分類した結果を、情報処理装置１００から受信して表示してもよい。クライアント装置３０１は、例えば、ＰＣ、タブレット端末、または、スマートフォンなどである。ここでは、情報処理装置１００が、クライアント装置３０１とは異なる装置である場合について説明したが、これに限らない。例えば、情報処理装置１００が、クライアント装置３０１と一体である場合があってもよい。
（情報処理装置１００のハードウェア構成例）
次に、図４を用いて、情報処理装置１００のハードウェア構成例について説明する。
図４は、情報処理装置１００のハードウェア構成例を示すブロック図である。図４において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１と、メモリ４０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）４０３と、記録媒体Ｉ／Ｆ４０４と、記録媒体４０５とを有する。また、各構成部は、バス４００によってそれぞれ接続される。
ここで、ＣＰＵ４０１は、情報処理装置１００の全体の制御を司る。メモリ４０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることで、コーディングされている処理をＣＰＵ４０１に実行させる。
ネットワークＩ／Ｆ４０３は、通信回線を通じてネットワーク３１０に接続され、ネットワーク３１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ４０３は、ネットワーク３１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ４０３は、例えば、モデムやＬＡＮアダプタなどである。
記録媒体Ｉ／Ｆ４０４は、ＣＰＵ４０１の制御に従って記録媒体４０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ４０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体４０５は、記録媒体Ｉ／Ｆ４０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体４０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体４０５は、情報処理装置１００から着脱可能であってもよい。
情報処理装置１００は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ４０４や記録媒体４０５を複数有していてもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ４０４や記録媒体４０５を有していなくてもよい。
（クライアント装置３０１のハードウェア構成例）
次に、図５を用いて、図２に示した情報処理システム３００に含まれるクライアント装置３０１のハードウェア構成例について説明する。
図５は、クライアント装置３０１のハードウェア構成例を示すブロック図である。図５において、クライアント装置３０１は、ＣＰＵ５０１と、メモリ５０２と、ネットワークＩ／Ｆ５０３と、記録媒体Ｉ／Ｆ５０４と、記録媒体５０５と、ディスプレイ５０６と、入力装置５０７とを有する。また、各構成部は、バス５００によってそれぞれ接続される。
ここで、ＣＰＵ５０１は、クライアント装置３０１の全体の制御を司る。メモリ５０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ５０１のワークエリアとして使用される。メモリ５０２に記憶されるプログラムは、ＣＰＵ５０１にロードされることで、コーディングされている処理をＣＰＵ５０１に実行させる。
ネットワークＩ／Ｆ５０３は、通信回線を通じてネットワーク３１０に接続され、ネットワーク３１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ５０３は、ネットワーク３１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ５０３は、例えば、モデムやＬＡＮアダプタなどである。
記録媒体Ｉ／Ｆ５０４は、ＣＰＵ５０１の制御に従って記録媒体５０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ５０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体５０５は、記録媒体Ｉ／Ｆ５０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体５０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体５０５は、クライアント装置３０１から着脱可能であってもよい。
ディスプレイ５０６は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ５０６は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。入力装置５０７は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置５０７は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。
クライアント装置３０１は、上述した構成部のほか、例えば、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、クライアント装置３０１は、記録媒体Ｉ／Ｆ５０４や記録媒体５０５を複数有していてもよい。また、クライアント装置３０１は、記録媒体Ｉ／Ｆ５０４や記録媒体５０５を有していなくてもよい。
（情報処理装置１００の機能的構成例）
次に、図６を用いて、情報処理装置１００の機能的構成例について説明する。
図６は、情報処理装置１００の機能的構成例を示すブロック図である。情報処理装置１００は、記憶部６００と、取得部６０１と、算出部６０２と、選択部６０３と、分類部６０４と、出力部６０５とを含む。
記憶部６００は、例えば、図４に示したメモリ４０２や記録媒体４０５などの記憶領域によって実現される。以下では、記憶部６００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部６００が、情報処理装置１００とは異なる装置に含まれ、記憶部６００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。
取得部６０１～出力部６０５は、制御部の一例として機能する。取得部６０１～出力部６０５は、具体的には、例えば、図４に示したメモリ４０２や記録媒体４０５などの記憶領域に記憶されたプログラムをＣＰＵ４０１に実行させることにより、または、ネットワークＩ／Ｆ４０３により、その機能を実現する。各機能部の処理結果は、例えば、図４に示したメモリ４０２や記録媒体４０５などの記憶領域に記憶される。
記憶部６００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部６００は、複数の画像化手法を記憶する。ここで、２つの画像化手法について、画像化アルゴリズムが同一でも、それぞれの画像化手法の変数が異なれば、異なる種類の画像化手法として扱ってよい。記憶部６００は、複数の学習済みモデルを記憶する。学習済みモデルは、例えば、ニューラルネットワークである。ここで、２つの学習済みモデルについて、ニューラルネットワークのネットワークトポロジーが同一でも、それぞれの学習済みモデルのパラメータが異なれば、異なる種類の学習済みモデルとして扱ってよい。記憶部６００は、複数の学習済みモデルのそれぞれの学習済みモデルの元となる未学習モデルを記憶してもよい。
記憶部６００は、第１基準画像群を記憶する。第１基準画像群は、例えば、学習済みモデルを用いて分類することが難しいノイズ画像群である。第１基準画像群は、例えば、学習済みモデルの生成に用いた最適画像群であってもよい。第１基準画像群は、例えば、ノイズ画像群と、最適画像群との２種類であってもよい。第１基準画像群は、例えば、画像１つであってもよい。記憶部６００は、第２基準画像群を記憶する。第２基準画像群は、例えば、第１基準画像群と同一の画像群である。第２基準画像群は、例えば、ノイズ画像群である。第２基準画像群は、例えば、画像１つであってもよい。
記憶部６００は、学習済みモデルごとに、学習済みモデルに第１基準画像群の各画像が入力された場合に、学習済みモデルから出力される特徴量群を記憶してもよい。また、記憶部６００は、学習済みモデルごとに、学習済みモデルに第１基準画像群の各画像が入力された場合に、学習済みモデルから出力される特徴量群の特徴量空間における分布を示す情報を記憶してもよい。分布を示す情報は、例えば、特徴量群の平均特徴量や分散である。
記憶部６００は、学習済みモデルごとに、学習済みモデルに対応する基準モデルに第２基準画像群の各画像が入力された場合に、基準モデルから出力される特徴量群を記憶してもよい。また、記憶部６００は、学習済みモデルごとに、学習済みモデルに対応する基準モデルに第２基準画像群の各画像が入力された場合に、基準モデルから出力される特徴量群の特徴量空間における分布を示す情報を記憶してもよい。分布を示す情報は、例えば、特徴量群の平均特徴量や分散である。
取得部６０１は、各機能部の処理に用いられる各種情報を取得する。取得部６０１は、取得した各種情報を、記憶部６００に記憶し、または、各機能部に出力する。また、取得部６０１は、記憶部６００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部６０１は、例えば、利用者の操作入力に基づき、各種情報を取得する。取得部６０１は、例えば、情報処理装置１００とは異なる装置から、各種情報を受信してもよい。
取得部６０１は、データ群を取得する。データ群は、画像化手法または学習済みモデルを評価するための評価用である。取得部６０１は、例えば、データ集合を取得し、データ集合の中からデータ群を抽出する。データ集合は、例えば、分類対象である。これにより、取得部６０１は、データ集合全体を評価用とせず、データ集合の一部を評価用とすることができ、処理量の低減化を図ることができる。
取得部６０１は、複数の画像群を取得する。画像群は、例えば、画像１つであってもよい。取得部６０１は、例えば、画像化手法によりデータ群を画像化して生成された画像群を複数取得する。データ群のデータと、画像群の画像とは、例えば、１対１の対応でなくてもよい。データ群の２以上のデータが、例えば、１つの画像に画像化される場合があってもよい。取得部６０１は、具体的には、複数の画像化手法の指定を受け付ける。そして、取得部６０１は、指定された複数の画像化手法のそれぞれの画像化手法により、取得したデータ群を画像化し、複数の画像群を取得する。取得部６０１は、データ群を取得せず、複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して画像群を生成する装置から、複数の画像群を取得してもよい。
取得部６０１は、学習済みモデルを複数取得する。取得部６０１は、画像化手法によりデータ群を画像化して生成された画像群と、学習済みモデルとの、複数の組み合わせを取得してもよい。これにより、取得部６０１は、評価対象となる画像化手法、学習済みモデル、または、画像化手法と学習済みモデルとの組み合わせを取得することができ、算出部６０２が参照可能にすることができる。
算出部６０２は、取得した画像群ごとに、学習済みモデルに画像群の各画像が入力された場合に出力される特徴量群を取得する。算出部６０２は、画像群ごとに取得した特徴量群と、学習済みモデルに第１基準画像群の各画像が入力された場合に出力される特徴量群との特徴量空間における分布に基づいて、画像群の生成に用いた画像化手法のスコアを算出する。これにより、算出部６０２は、分類対象のデータ集合に合った画像化手法を選択するための指標となりうる、画像化手法のスコアを算出することができる。
算出部６０２は、取得した学習済みモデルごとに、学習済みモデルに画像群の各画像が入力された場合に出力される特徴量群を取得する。算出部６０２は、学習済みモデルごとに取得した特徴量群と、基準モデルに画像群の各画像が入力された場合に出力される特徴量群との特徴量空間における分布に基づいて、学習済みモデルのスコアを算出する。これにより、算出部６０２は、分類対象のデータ集合に合った学習済みモデルを選択するための指標となりうる、学習済みモデルのスコアを算出することができる。
算出部６０２は、取得した組み合わせごとに、組み合わせの学習済みモデルに組み合わせの画像群の各画像が入力された場合に出力される特徴量群を取得する。算出部６０２は、組み合わせごとに取得した特徴量群と、組み合わせの学習済みモデルに第１基準画像群の各画像が入力された場合に出力される特徴量群との特徴量空間における分布に基づいて、組み合わせの画像群の生成に用いた画像化手法のスコアを算出する。これにより、算出部６０２は、分類対象のデータ集合に合った組み合わせを選択するための指標となりうる、組み合わせの画像群の生成に用いた画像化手法のスコアを算出することができる。
算出部６０２は、取得した組み合わせごとに、組み合わせの学習済みモデルに組み合わせの画像群の各画像が入力された場合に出力される特徴量群を取得する。算出部６０２は、組み合わせごとに取得した特徴量群と、基準モデルに組み合わせの画像群の各画像が入力された場合に出力される特徴量群との特徴量空間における分布に基づいて、組み合わせの学習済みモデルのスコアを算出する。これにより、算出部６０２は、分類対象のデータ集合に合った組み合わせを選択するための指標となりうる、組み合わせの学習済みモデルのスコアを算出することができる。
算出部６０２は、取得した組み合わせごとに、さらに、基準モデルに第２基準画像群の各画像が入力された場合に出力される特徴量群の特徴量空間における分布にも基づいて、学習済みモデルのスコアを算出してもよい。これにより、算出部６０２は、学習済みモデルのスコアの算出精度の向上を図ることができる。
選択部６０３は、画像化手法ごとに算出した画像化手法のスコアに基づいて、取得した複数の画像化手法のいずれかの画像化手法を選択する。選択部６０３は、例えば、スコアが最大になる画像化手法を選択する。選択部６０３は、例えば、スコアが上位Ｍ件の画像化手法を選択してもよい。これにより、選択部６０３は、分類対象のデータ集合に合った画像化手法を選択することができる。
選択部６０３は、学習済みモデルごとに算出した学習済みモデルのスコアに基づいて、取得した複数の学習済みモデルのいずれかの学習済みモデルを選択する。選択部６０３は、例えば、スコアが最大になる学習済みモデルを選択する。選択部６０３は、例えば、スコアが上位Ｍ件の学習済みモデルを選択してもよい。これにより、選択部６０３は、分類対象のデータ集合に合った学習済みモデルを選択することができる。
選択部６０３は、組み合わせごとに算出した画像化手法のスコアおよび学習済みモデルのスコアに基づいて、取得した複数の組み合わせのいずれかの組み合わせを選択する。選択部６０３は、例えば、画像化手法のスコアおよび学習済みモデルのスコアの合計が最大になる組み合わせを選択する。選択部６０３は、例えば、画像化手法のスコアおよび学習済みモデルのスコアの合計が上位Ｍ件の組み合わせを選択してもよい。これにより、選択部６０３は、分類対象のデータ集合に合った組み合わせを選択することができる。
分類部６０４は、学習済みモデルに、選択した画像化手法により、データ群を画像化して生成された画像群の各画像が入力された場合に出力される特徴量群に基づいて、データ群を分類する。これにより、分類部６０４は、データ群を精度よく分類することができる。
分類部６０４は、学習済みモデルに、選択した画像化手法により、データ集合を画像化して生成された画像集合の各画像が入力された場合に出力される特徴量集合に基づいて、データ集合を分類する。これにより、分類部６０４は、データ集合を精度よく分類することができる。
分類部６０４は、選択した学習済みモデルに、データ群を画像化して生成された画像群の各画像が入力された場合に出力される特徴量群に基づいて、データ群を分類する。これにより、分類部６０４は、データ群を精度よく分類することができる。
分類部６０４は、選択した学習済みモデルに、データ集合を画像化して生成された画像集合の各画像が入力された場合に出力される特徴量集合に基づいて、データ集合を分類する。これにより、分類部６０４は、データ集合を精度よく分類することができる。
分類部６０４は、選択した組み合わせの学習済みモデルに、選択した組み合わせの画像群の生成に用いた画像化手法により、データ群を画像化して生成された画像群の各画像が入力された場合に出力される特徴量群に基づいて、データ群を分類する。これにより、分類部６０４は、データ群を精度よく分類することができる。
分類部６０４は、選択した組み合わせの学習済みモデルに、選択した組み合わせの画像群の生成に用いた画像化手法により、データ集合を画像化して生成された画像集合の各画像が入力された場合に出力される特徴量集合に基づいて、データ集合を分類する。これにより、分類部６０４は、データ集合を精度よく分類することができる。
出力部６０５は、各種情報を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ４０３による外部装置への送信、または、メモリ４０２や記録媒体４０５などの記憶領域への記憶である。
出力部６０５は、例えば、画像群ごとに算出した画像化手法のスコアを出力する。これにより、出力部６０５は、分類作業者が、スコアを参照して、複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを把握しやすくすることができる。このため、出力部６０５は、分類作業者が、分類対象を精度よく分類可能にすることができ、分類作業者の作業負担の低減化を図ることができる。
出力部６０５は、例えば、学習済みモデルごとに算出した学習済みモデルのスコアを出力する。これにより、出力部６０５は、分類作業者が、スコアを参照して、複数の学習済みモデルのいずれの学習済みモデルが、分類対象に合った学習済みモデルであるかを把握しやすくすることができる。このため、出力部６０５は、分類作業者が、分類対象を精度よく分類可能にすることができ、分類作業者の作業負担の低減化を図ることができる。
出力部６０５は、例えば、組み合わせごとに算出した画像化手法のスコアおよび学習済みモデルのスコアを出力する。これにより、出力部６０５は、分類作業者が、スコアを参照して、複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを把握しやすくすることができる。また、出力部６０５は、分類作業者が、スコアを参照して、複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを把握しやすくすることができる。このため、出力部６０５は、分類作業者が、分類対象を精度よく分類可能にすることができ、分類作業者の作業負担の低減化を図ることができる。
出力部６０５は、選択した組み合わせの画像群の生成に用いた画像化手法と、選択した組み合わせの学習済みモデルとを対応付けて出力する。これにより、出力部６０５は、分類作業者が、いずれの画像化手法と、いずれの画像化手法との組み合わせが、分類対象に合っているかを把握しやすくすることができる。このため、出力部６０５は、分類作業者が、分類対象を精度よく分類可能にすることができ、分類作業者の作業負担の低減化を図ることができる。
出力部６０５は、分類した結果を出力する。これにより、出力部６０５は、分類作業者の作業負担の低減化を図ることができる。出力部６０５は、いずれかの機能部の処理結果を出力してもよい。これにより、出力部６０５は、各機能部の処理結果を利用者に通知可能にし、各機能部の処理内容を利用者が把握しやすくし、情報処理装置１００の利便性の向上を図ることができる。
（情報処理装置１００の動作例）
次に、図７～図１５を用いて、情報処理装置１００の動作例について説明する。まず、図７を用いて、情報処理装置１００が、分析データ群に対してサンプリングを実施し、評価データ群を抽出する一例について説明する。分析データ群は、例えば、時系列データである。
図７は、サンプリングを実施する一例を示す説明図である。図７において、情報処理装置１００は、時系列データ７００を取得する。時系列データ７００は、分類データ群に対応し、時刻ごとのデータを複数含むデータ集合である。情報処理装置１００は、時系列データ７００に対してサンプリングを実施し、評価データ群を抽出する。サンプリングは、例えば、時系列データ７００から、ランダムに、Ｗ秒単位のデータを、時系列データ７００のＮ分の１の量だけ抽出することである。Ｗ秒単位は、例えば、画像化単位に対応する。
図７の例では、情報処理装置１００は、１時間分の時系列データ７００から、網掛け部分の１分単位のデータを、６分の１の量だけ抽出し、評価データ群を生成する。これにより、情報処理装置１００は、時系列データ７００をそのまま評価データ群とせず、時系列データ７００よりサイズの小さい評価データ群を生成することができ、処理量の低減化を図ることができる。次に、図８および図９を用いて、情報処理装置１００が、画像化手法および学習済みＮＮを評価する一例について説明する。
図８は、画像化手法を評価する一例を示す説明図である。図８において、情報処理装置１００は、画像化手法Ａと画像化手法Ｂとを評価する。
情報処理装置１００は、例えば、評価データ群を画像化手法Ａで画像化した画像群８０１の各画像を、学習済みＮＮ８２０に入力し、画像化手法Ａに対応する特徴量群を取得する。情報処理装置１００は、例えば、評価データ群を画像化手法Ｂで画像化した画像群８０２の各画像を、学習済みＮＮ８２０に入力し、画像化手法Ｂに対応する特徴量群を取得する。
また、情報処理装置１００は、ノイズ画像群８１０の各画像を、学習済みＮＮ８２０に入力し、ノイズ画像群に対応する特徴量群を取得する。ここで、ノイズ画像群に対応する特徴量群の分布は、評価データ群の分類に失敗した場合の見本となりうる。
このため、情報処理装置１００は、特徴量空間８３０での、画像化手法Ａに対応する特徴量群の分布と、画像化手法Ｂに対応する特徴量群の分布との、ノイズ画像群に対応する特徴量群の分布からの離れ具合を特定する。情報処理装置１００は、画像化手法Ａに対応する特徴量群の分布の方が、画像化手法Ｂに対応する特徴量群の分布よりも、ノイズ画像群に対応する特徴量群の分布から離れているため、画像化手法Ａが画像化手法Ｂよりも分析データ群の分類処理に適すると評価する。
情報処理装置１００は、具体的には、画像化手法に対応する特徴量群の分布の、ノイズ画像群に対応する特徴量群の分布からの離れ具合に応じ、分析データ群の分類処理への画像化手法の適合度合いを示すスコアを算出する。情報処理装置１００は、画像化手法のスコアに基づいて、画像化手法を評価する。画像化手法のスコアの算出例は、具体的には、例えば、図１０～図１４を用いて後述する。次に、図９を用いて、情報処理装置１００が学習済みＮＮを評価する一例について説明する。
図９は、学習済みＮＮを評価する一例を示す説明図である。図９において、情報処理装置１００は、いずれかの画像化手法と学習済みＮＮ９２０との組み合わせにおける、学習済みＮＮ９２０を評価する。
情報処理装置１００は、例えば、評価データ群を画像化した画像群９００の各画像を、学習済みＮＮ９２０に入力し、画像化手法と学習済みＮＮ９２０との組み合わせに対応する特徴量群を取得する。情報処理装置１００は、例えば、評価データ群を画像化した画像群９００の各画像を、無学習ＮＮ９３０に入力し、画像化手法と無学習ＮＮ９３０との組み合わせに対応する特徴量群を取得する。
また、情報処理装置１００は、ノイズ画像群９１０の各画像を、無学習ＮＮ９３０に入力し、ノイズ画像群９１０と無学習ＮＮ９３０との組み合わせに対応する特徴量群を取得する。ここで、ノイズ画像群９１０と無学習ＮＮ９３０との組み合わせに対応する特徴量群の分布は、評価データ群の分類に失敗した場合の見本となりうる。また、画像化手法と無学習ＮＮ９３０との組み合わせに対応する特徴量群の分布は、評価データ群の分類精度が悪い場合の見本となりうる。
このため、情報処理装置１００は、特徴量空間９４０での、ノイズ画像群９１０と無学習ＮＮ９３０との組み合わせに対応する特徴量群の分布と、画像化手法と無学習ＮＮ９３０との組み合わせに対応する特徴量群の分布との離れ具合を、評価基準として設定する。また、情報処理装置１００は、ノイズ画像群９１０と無学習ＮＮ９３０との組み合わせに対応する特徴量群の分布と、画像化手法と学習済みＮＮ９２０との組み合わせに対応する特徴量群の分布との離れ具合を、評価対象として設定する。情報処理装置１００は、評価対象の離れ具合が、評価基準の離れ具合よりも大きいほど、学習済みＮＮ９２０が、分析データ群の分類処理に適すると評価する。
情報処理装置１００は、具体的には、評価対象の離れ具合と、評価基準の離れ具合とに応じ、分析データ群の分類処理への学習済みＮＮ９２０の適合度合いを示すスコアを算出する。ここで、評価基準の離れ具合が、スコア１に対応する。情報処理装置１００は、学習済みＮＮ９２０のスコアに基づいて、学習済みＮＮ９２０を評価する。学習済みＮＮ９２０のスコアの算出例は、具体的には、例えば、図１０～図１４を用いて後述する。次に、図１０～図１４を用いて、情報処理装置１００が画像化手法のスコアおよび学習済みＮＮのスコアを算出する具体例について説明する。
図１０は、分布表１０００を作成する一例を示す説明図である。図１０において、情報処理装置１００は、各種特徴量群の特徴量空間における分布を示す情報を設定した分布表１０００を作成する。分布を示す情報は、例えば、平均特徴量または分散などである。
図１０の例では、情報処理装置１００は、画像化手法Ａおよび画像化手法Ｂを有し、学習済みＮＮ－ａと学習済みＮＮ－ａに対応する無学習ＮＮ－ａとを有し、学習済みＮＮ－ｂと学習済みＮＮ－ｂに対応する無学習ＮＮ－ｂとを有する。無学習ＮＮ－ａは、学習済みＮＮ－ａとネットワークトポロジーが同一であり、パラメータが初期化されたＮＮである。無学習ＮＮ－ｂは、学習済みＮＮ－ｂとネットワークトポロジーが同一であり、パラメータが初期化されたＮＮである。また、情報処理装置１００は、ノイズ画像群を有し、無学習ＮＮ－ａから学習済みＮＮ－ａを学習する際に用いられた学習用画像群を有し、無学習ＮＮ－ｂから学習済みＮＮ－ｂを学習する際に用いられた学習用画像群を有する。
図１０の例では、情報処理装置１００は、無学習ＮＮ－ａにノイズ画像群の各画像が入力された場合に無学習ＮＮ－ａから出力される特徴量群の分布を示す情報Ｂ0aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ－ａによる分類が失敗する場合の見本となりうる特徴量の分布を示す情報Ｂ0aを参照可能にすることができる。
また、情報処理装置１００は、学習済みＮＮ－ａにノイズ画像群の各画像が入力された場合に学習済みＮＮ－ａから出力される特徴量群の分布を示す情報Ｂ1aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、学習済みＮＮ－ａによる分類が失敗する場合の見本となりうる特徴量の分布を示す情報Ｂ1aを参照可能にすることができる。
また、情報処理装置１００は、無学習ＮＮ－ｂにノイズ画像群の各画像が入力された場合に無学習ＮＮ－ｂから出力される特徴量群の分布を示す情報Ｂ0bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ－ｂによる分類が失敗する場合の見本となりうる特徴量の分布を示す情報Ｂ0bを参照可能にすることができる。
また、情報処理装置１００は、学習済みＮＮ－ｂにノイズ画像群の各画像が入力された場合に学習済みＮＮ－ｂから出力される特徴量群の分布を示す情報Ｂ1bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、学習済みＮＮ－ｂによる分類が失敗する場合の見本となりうる特徴量の分布を示す情報Ｂ1bを参照可能にすることができる。
また、情報処理装置１００は、無学習ＮＮ－ａに画像化手法Ａにより評価データ群から生成された画像群の各画像が入力された場合に無学習ＮＮ－ａから出力される特徴量群の分布を示す情報ＸA,0aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ－ａによる分類精度が比較的悪い場合の見本となりうる特徴量の分布を示す情報ＸA,0aを参照可能にすることができる。
また、情報処理装置１００は、学習済みＮＮ－ａに画像化手法Ａにより評価データ群から生成された画像群の各画像が入力された場合に学習済みＮＮ－ａから出力される特徴量群の分布を示す情報ＸA,1aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、画像化手法Ａと学習済みＮＮ－ａとの組み合わせによる分類精度の高さを示す指標となりうる特徴量の分布を示す情報ＸA,1aを参照可能にすることができる。
また、情報処理装置１００は、無学習ＮＮ－ｂに画像化手法Ａにより評価データ群から生成された画像群の各画像が入力された場合に無学習ＮＮ－ｂから出力される特徴量群の分布を示す情報ＸA,0bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ－ｂによる分類精度が比較的悪い場合の見本となりうる特徴量の分布を示す情報ＸA,0bを参照可能にすることができる。
また、情報処理装置１００は、学習済みＮＮ－ｂに画像化手法Ａにより評価データ群から生成された画像群の各画像が入力された場合に学習済みＮＮ－ｂから出力される特徴量群の分布を示す情報ＸA,1bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、画像化手法Ａと学習済みＮＮ－ｂとの組み合わせによる分類精度の高さを示す指標となりうる特徴量の分布を示す情報ＸA,1bを参照可能にすることができる。
また、情報処理装置１００は、無学習ＮＮ－ａに画像化手法Ｂにより評価データ群から生成された画像群の各画像が入力された場合に無学習ＮＮ－ａから出力される特徴量群の分布を示す情報ＸB,0aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ－ａによる分類精度が比較的悪い場合の見本となりうる特徴量の分布を示す情報ＸB,0aを参照可能にすることができる。
また、情報処理装置１００は、学習済みＮＮ－ａに画像化手法Ｂにより評価データ群から生成された画像群の各画像が入力された場合に学習済みＮＮ－ａから出力される特徴量群の分布を示す情報ＸB,1aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、画像化手法Ｂと学習済みＮＮ－ａとの組み合わせによる分類精度の高さを示す指標となりうる特徴量の分布を示す情報ＸB,1aを参照可能にすることができる。
また、情報処理装置１００は、無学習ＮＮ－ｂに画像化手法Ｂにより評価データ群から生成された画像群の各画像が入力された場合に無学習ＮＮ－ｂから出力される特徴量群の分布を示す情報ＸB,0bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、無学習ＮＮ－ｂによる分類精度が比較的悪い場合の見本となりうる特徴量の分布を示す情報ＸB,0bを参照可能にすることができる。
また、情報処理装置１００は、学習済みＮＮ－ｂに画像化手法Ｂにより評価データ群から生成された画像群の各画像が入力された場合に学習済みＮＮ－ｂから出力される特徴量群の分布を示す情報ＸB,1bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、画像化手法Ｂと学習済みＮＮ－ｂとの組み合わせによる分類精度の高さを示す指標となりうる特徴量の分布を示す情報ＸB,1bを参照可能にすることができる。
また、情報処理装置１００は、学習済みＮＮ－ａに学習用画像群の各画像が入力された場合に学習済みＮＮ－ａから出力される特徴量群の分布を示す情報Ｇ1aを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、学習済みＮＮ－ａによる分類精度が比較的高い場合の見本となりうる特徴量の分布を示す情報Ｇ1aを参照可能にすることができる。
また、情報処理装置１００は、学習済みＮＮ－ｂに学習用画像群の各画像が入力された場合に学習済みＮＮ－ｂから出力される特徴量群の分布を示す情報Ｇ1bを生成し、分布表１０００に設定する。これにより、情報処理装置１００は、学習済みＮＮ－ｂによる分類精度が比較的高い場合の見本となりうる特徴量の分布を示す情報Ｇ1bを参照可能にすることができる。
以下の説明では、ノイズ画像群と無学習ＮＮ－ｋとの組み合わせに対応する特徴量群の分布を「最悪精度分布０ｋ」と表記する場合がある。ｋは、変数であり、ａまたはｂである。また、ノイズ画像群と学習済みＮＮ－ｋとの組み合わせに対応する特徴量群の分布を「最悪精度分布１ｋ」と表記する場合がある。また、学習用画像群と学習済みＮＮ－ｋとの組み合わせに対応する特徴量群の分布を「最良精度分布１ｋ」と表記する場合がある。
情報処理装置１００は、画像化手法と学習済みＮＮ－ｋとの組み合わせに対応する特徴量群の分布が、最悪精度分布０ｋと最悪精度分布１ｋとから離れるほど、かつ、最良精度分布１ｋに近いほど、画像化手法と学習済みＮＮ－ｋとのスコアが高くなるようにする。次に、図１１を用いて、情報処理装置１００が、分布表１０００を参照して、画像化手法のスコアおよび学習済みＮＮのスコアを算出する一例について説明する。
図１１は、画像化手法のスコアおよび学習済みＮＮのスコアを算出する一例を示す説明図である。図１１の例では、情報処理装置１００は、画像化手法に（ｉ）のラベルを付与し、学習済みモデルに（ｎ）のラベルを付与している。
情報処理装置１００は、下記式（１）により、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおける、画像化手法（ｉ）のスコアＴi,nを算出する。下記式（１）は、最悪精度分布１ｋと最良精度分布１ｋとの距離を１として規格化し、最悪精度分布１ｋからの、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせに対応する特徴量の分布の離れ具合を評価する。下記式（１）によれば、離れ具合が大きいほど、スコアＴi,nが高くなる。また、規格化によれば、特徴量空間の次元数が異なる場合にも、スコアＴi,nを算出可能にすることができる。これにより、情報処理装置１００は、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおいて、画像化手法（ｉ）が他の画像化手法（ｉ’）に比べて分類精度の向上にどの程度寄与するかを評価し、スコアＴi,nとして算出することができる。ここで、ｉ’≠ｉである。
Figure 0007243333000001
情報処理装置１００は、下記式（２）により、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおける、学習済みＮＮ（ｎ）のスコアＳi,nを算出する。下記式（２）は、最悪精度分布０ｋと最悪精度分布１ｋとの距離を１として規格化し、最悪精度分布１ｋからの、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせに対応する特徴量の分布の離れ具合を評価する。下記式（２）によれば、離れ具合が大きいほど、スコアＳi,nが高くなる。また、規格化によれば、特徴量空間の次元数が異なる場合にも、スコアＳi,nを算出可能にすることができる。これにより、情報処理装置１００は、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおいて、学習済みＮＮ（ｎ）が他の学習済みＮＮ（ｎ’）に比べて分類精度の向上にどの程度寄与するかを評価し、スコアＳi,nとして算出することができる。ここで、ｎ’≠ｎである。
Figure 0007243333000002
情報処理装置１００は、スコアＴi,nとスコアＳi,nとの和を算出し、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせについての最良組み合わせスコアを取得する。そして、情報処理装置１００は、下記式（３）により、最良組み合わせスコアが最大になる画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせを選択する。
Figure 0007243333000003
これにより、情報処理装置１００は、比較的少ない作業量で、いずれの画像化手法（ｉ）といずれの学習済みＮＮ（ｎ）との組み合わせが、評価データ群に合った組み合わせであるかを検討することができる。そして、情報処理装置１００は、分類作業者が、いずれの画像化手法（ｉ）といずれの学習済みＮＮ（ｎ）との組み合わせが、評価データ群に合った組み合わせであるかを把握しやすくすることができる。このため、情報処理装置１００は、分類作業者の作業負担の低減化を図ることができる。次に、図１２および図１３を用いて、情報処理装置１００が、分布表１０００を参照して、画像化手法のスコアを算出する別の例について説明する。
図１２および図１３は、画像化手法のスコアを算出する別の例を示す説明図である。図１２に示すように、情報処理装置１００は、上記式（１）に代わり下記式（４）により、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおける、画像化手法（ｉ）のスコアＴi,nを算出してもよい。下記式（４）は、最悪精度分布１ｋからの、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせに対応する特徴量の分布の離れ具合を評価する。下記式（４）によれば、離れ具合が大きいほど、スコアＴi,nが高くなる。
Figure 0007243333000004
これにより、情報処理装置１００は、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおいて、画像化手法（ｉ）が他の画像化手法（ｉ’）に比べて分類精度の向上にどの程度寄与するかを評価し、スコアＴi,nとして算出することができる。図１２の例では、情報処理装置１００は、最良精度分布１ｋを示す情報Ｇ1kを用いないため、図１０において最良精度分布１ｋを示す情報Ｇ1kを算出しなくてもよく、処理量とメモリ使用量の低減化を図ることができる。次に、図１３の説明に移行する。
図１３に示すように、情報処理装置１００は、上記式（１）に代わり下記式（５）により、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおける、画像化手法（ｉ）のスコアＴi,nを算出してもよい。下記式（５）は、最良精度分布１ｋからの、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせに対応する特徴量の分布の近づき具合を評価する。下記式（５）によれば、近づき具合が大きいほど、スコアＴi,nが高くなる。
Figure 0007243333000005
これにより、情報処理装置１００は、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおいて、画像化手法（ｉ）が他の画像化手法（ｉ’）に比べて分類精度の向上にどの程度寄与するかを評価し、スコアＴi,nとして算出することができる。図１３の例では、情報処理装置１００は、最悪精度分布１ｋを示す情報Ｂ1kを用いないため、図１０において最悪精度分布１ｋを示す情報Ｂ1kを算出しなくてもよく、処理量とメモリ使用量の低減化を図ることができる。次に、図１４を用いて、学習済みＮＮのスコアを算出する別の例について説明する。
図１４は、学習済みＮＮのスコアを算出する別の例を示す説明図である。図１４に示すように、情報処理装置１００は、上記式（２）に代わり下記式（６）により、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおける、学習済みＮＮ（ｎ）のスコアＳi,nを算出してもよい。下記式（６）は、最悪精度分布１ｋからの、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせに対応する特徴量の分布の離れ具合を評価する。下記式（６）によれば、離れ具合が大きいほど、スコアＳi,nが高くなる。
Figure 0007243333000006
これにより、情報処理装置１００は、画像化手法（ｉ）と学習済みＮＮ（ｎ）との組み合わせにおいて、学習済みＮＮ（ｎ）が他の学習済みＮＮ（ｎ’）に比べて分類精度の向上にどの程度寄与するかを評価し、スコアＳi,nとして算出することができる。図１４の例では、情報処理装置１００は、最悪精度分布０ｋを示す情報Ｂ0kを用いないため、図１０において最悪精度分布０ｋを示す情報Ｂ0kを算出しなくてもよく、処理量とメモリ使用量の低減化を図ることができる。次に、図１５を用いて、情報処理装置１００による効果について説明する。
図１５は、情報処理装置１００による効果を示す説明図である。図１５の例では、情報処理装置１００が、Ａ時間分の数値データを分類する場合であって、Ｂ種類の画像化手法が存在し、Ｃ種類の学習済みＮＮが存在し、Ｄ種類の特徴量分類手法が存在する場合について説明する。ここでは、画像化は、Ａ時間分の数値データのうち１分間単位のデータに対して実施される。また、ここでは、１分間単位のデータを画像化し、いずれかの学習済みＮＮにより特徴量を取得し、分類するまでにかかる所要時間が１秒であるとする。
従来では、Ａ時間分の数値データ、Ｂ種類の画像化手法、Ｃ種類の学習済みＮＮ、Ｄ種類の特徴量分類手法を網羅的に組み合わせて、分類精度が高くなる組み合わせを検討する手法が考えられる。この手法では、累計の所要時間は（Ａ／６０）＊Ｂ＊Ｃ＊Ｄ秒になり、累計の所要時間の膨大化を招き、分類作業者の作業負担の増大化を招く。
これに対し、情報処理装置１００は、Ａ時間分の数値データからＮ分の１の量をサンプリングした評価データを利用し、画像化手法と学習済みＮＮとの適切な組み合わせを検討することになる。その後、情報処理装置１００は、適切な組み合わせを利用し、Ａ時間分の数値データとＤ種類の特徴量分類手法との組み合わせを検討することになる。このため、情報処理装置１００は、累計の所要時間を（Ａ／６０／Ｎ）＊Ｂ＊Ｃ秒＋Ａ／６０＊Ｄ秒＝（Ａ／６０）（Ｂ＊Ｃ＋Ｄ＊Ｎ）／Ｎ秒に低減することができる。換言すれば、情報処理装置１００は、従来と比べて、累計の所要時間を（Ｂ＊Ｃ＋Ｄ＊Ｎ）／（Ｂ＊Ｃ＊Ｄ＊Ｎ）だけ低減することができる。
情報処理装置１００は、例えば、Ｂ＝Ｃ＝Ｄ＝Ｎ＝１０であれば、累計の所要時間を５０分の１に低減することができる。また、情報処理装置１００は、Ｎ＝１であり、サンプリングを実施しなくても、累計の所要時間を１０分の１に低減することができる。このため、情報処理装置１００は、分類作業者の作業時間および作業負担の低減化を図りつつ、数値データの分類精度の向上を図ることができる。また、従来では、例えば、数値データに合わせた分類モデルを新規に作成する場合、１００万枚単位の画像を用意することになる場合がある。一方で、情報処理装置１００は、１００枚単位の画像を用意すれば、画像化手法と学習済みＮＮとの適切な組み合わせを検討することができる。このため、情報処理装置１００は、分類作業者の作業時間および作業負担の低減化を図ることができる。
（情報処理装置１００の利用例１）
次に、図１６および図１７を用いて、情報処理装置１００の利用例１について説明する。
図１６および図１７は、情報処理装置１００の利用例１を示す説明図である。図１６において、情報処理装置１００は、クライアント装置３０１から、評価データ群を受信する。情報処理装置１００は、評価データ群に基づいて、特徴量の分布抽出処理を実行し、画像化手法と学習済みＮＮとの組み合わせの選択処理を実行する。
分布抽出処理は、画像化手法と学習済みＮＮとの組み合わせごとに、画像化処理と学習済みＮＮによる推論処理とを実行し、特徴量の分布を抽出する。分布抽出処理の一例は、例えば、図２２のフローチャートを用いて後述する。選択処理は、特徴量の分布に基づく最良組み合わせスコアを参照して、画像化手法と学習済みＮＮとの複数の組み合わせを、最良組み合わせスコアが大きい順にソートしたリストを生成する。選択処理の一例は、例えば、図２３のフローチャートを用いて後述する。
情報処理装置１００は、画像化手法と学習済みＮＮとの複数の組み合わせを、最良組み合わせスコアが大きい順にソートしたリストを、クライアント装置３０１に送信する。リストの一例は、例えば、図１７に後述する。クライアント装置３０１は、受信したリストを、ディスプレイ５０６に表示する。次に、図１７の説明に移行し、クライアント装置３０１がディスプレイ５０６に表示するリストの一例について説明する。
図１７に示すように、クライアント装置３０１は、リスト１７００を受信し、ディスプレイ５０６に表示する。リスト１７００は、組み合わせの最良組み合わせスコアが大きい順のランキングと、組み合わせの最良組み合わせスコアと、組み合わせに含まれる学習済みＮＮの種類と、組み合わせに含まれる画像化手法の種類とを対応付ける。これにより、分類作業者は、リスト１７００を参照して、いずれの画像化手法といずれの学習済みＮＮとの組み合わせが、評価データ群に合った組み合わせであるかを把握することができる。このため、分類作業者は、作業負担の低減化を図ることができる。
（情報処理装置１００の利用例２）
次に、図１８および図１９を用いて、情報処理装置１００の利用例２について説明する。
図１８および図１９は、情報処理装置１００の利用例２を示す説明図である。図１８において、情報処理装置１００は、クライアント装置３０１から、分析データ群を受信する。情報処理装置１００は、分析データ群に対してサンプリングを実施し、評価データ群を抽出する。情報処理装置１００は、評価データ群に基づいて、特徴量の分布抽出処理を実行し、画像化手法と学習済みＮＮとの組み合わせの選択処理を実行する。
分布抽出処理は、画像化手法と学習済みＮＮとの組み合わせごとに、画像化処理と学習済みＮＮによる推論処理とを実行し、特徴量の分布を抽出する。分布抽出処理の一例は、例えば、図２２のフローチャートを用いて後述する。選択処理は、特徴量の分布に基づく最良組み合わせスコアを参照して、画像化手法と学習済みＮＮとの複数の組み合わせを、最良組み合わせスコアが大きい順にソートしたリストを生成する。選択処理の一例は、例えば、図２３のフローチャートを用いて後述する。
情報処理装置１００は、画像化手法と学習済みＮＮとの複数の組み合わせを、最良組み合わせスコアが大きい順にソートしたリストに基づいて、いずれかの組み合わせ１８００を選択し、分析データ群の分類処理に利用する。情報処理装置１００は、例えば、最良組み合わせスコアが最大の組み合わせ１８００を選択し、組み合わせ１８００の画像化手法による画像化処理と、組み合わせ１８００の学習済みＮＮによる推論処理とを実施し、分類データ群の分類処理に利用する。情報処理装置１００は、分類処理の結果を、クライアント装置３０１に送信する。クライアント装置３０１は、分類処理の結果を、ディスプレイ５０６に表示する。次に、図１９の説明に移行する。
図１９に示すように、情報処理装置１００は、１以上のクライアント装置３０１のそれぞれのクライアント装置３０１から、様々な分析データ群を受信する。分析データ群は、例えば、株価データ、室内環境センシングデータ、動作センシングデータなどである。情報処理装置１００は、図１８と同様に、それぞれの分析データ群に合わせた、画像化手法と学習済みＮＮとの組み合わせを選択することができる。
そして、情報処理装置１００は、図１８と同様に、それぞれの分析データ群に対し、選択した組み合わせを利用して分類処理を実施し、それぞれの分析データ群を分類する。情報処理装置１００は、それぞれの分析データ群の分類結果１９００を、それぞれの分析データ群の送信元のクライアント装置３０１に送信する。クライアント装置３０１は、分析データ群の分類結果を受信し、ディスプレイ５０６に表示する。これにより、分類作業者は、分析データ群に合った、画像化手法と学習済みＮＮとの組み合わせを利用して、分析データ群を精度よく分類した分類結果を把握することができ、作業負担の低減化を図ることができる。
また、情報処理装置１００は、特定の形式の分析データ群に限らず、様々な形式の分析データ群を受け付けても、それぞれの分析データ群に合った、画像化手法と学習済みＮＮとの組み合わせを選択して分類することができる。このため、情報処理装置１００は、様々な形式の分析データ群に対して適用可能であり、利便性の向上を図ることができる。
（利用例１における全体処理手順）
次に、図２０を用いて、情報処理装置１００が実行する、利用例１における全体処理手順の一例について説明する。全体処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２や記録媒体４０５などの記憶領域と、ネットワークＩ／Ｆ４０３とによって実現される。
図２０は、利用例１における全体処理手順の一例を示すフローチャートである。図２０において、情報処理装置１００は、分析データ群Ａを取得する（ステップＳ２００１）。そして、情報処理装置１００は、分析データ群Ａに対してサンプリングを実施し、データ群ａを抽出する（ステップＳ２００２）。
次に、情報処理装置１００は、図２２に後述する分布抽出処理を実行する（ステップＳ２００３）。そして、情報処理装置１００は、図２３に後述する選択処理を実行する（ステップＳ２００４）。次に、情報処理装置１００は、リストＥを出力する（ステップＳ２００５）。そして、情報処理装置１００は、全体処理を終了する。
（利用例２における全体処理手順）
次に、図２１を用いて、情報処理装置１００が実行する、利用例２における全体処理手順の一例について説明する。全体処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２や記録媒体４０５などの記憶領域と、ネットワークＩ／Ｆ４０３とによって実現される。
図２１は、利用例２における全体処理手順の一例を示すフローチャートである。図２１において、情報処理装置１００は、分析データ群Ａを取得する（ステップＳ２１０１）。そして、情報処理装置１００は、分析データ群Ａに対してサンプリングを実施し、データ群ａを抽出する（ステップＳ２１０２）。
次に、情報処理装置１００は、図２２に後述する分布抽出処理を実行する（ステップＳ２１０３）。そして、情報処理装置１００は、図２３に後述する選択処理を実行する（ステップＳ２１０４）。次に、情報処理装置１００は、リストＥのうち、上位Ｍ件の画像化手法と学習済みＮＮとの組み合わせＦｋの集合Ｆを取得する（ステップＳ２１０５）。ここで、ｋ＝１～Ｍである。ｋの初期値は、１とする。そして、情報処理装置１００は、組み合わせＦｋを基に特徴量Ｈｋを抽出する（ステップＳ２１０６）。
次に、情報処理装置１００は、特徴量Ｈｋを解析し、解析結果Ｉｋを取得する（ステップＳ２１０７）。そして、情報処理装置１００は、ｋをインクリメントする（ステップＳ２１０８）。次に、情報処理装置１００は、ｋ＞Ｍであるか否かを判定する（ステップＳ２１０９）。ここで、ｋ＞Ｍではない場合（ステップＳ２１０９：Ｎｏ）、情報処理装置１００は、ステップＳ２１０６の処理に戻る。一方で、ｋ＞Ｍである場合（ステップＳ２１０９：Ｙｅｓ）、情報処理装置１００は、ステップＳ２１１０の処理に移行する。
ステップＳ２１１０では、情報処理装置１００は、分析結果Ｉｋの集合Ｉを出力する（ステップＳ２１１０）。そして、情報処理装置１００は、全体処理を終了する。
（分布抽出処理手順）
次に、図２２を用いて、情報処理装置１００が実行する、分布抽出処理手順の一例について説明する。分布抽出処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２や記録媒体４０５などの記憶領域と、ネットワークＩ／Ｆ４０３とによって実現される。
図２２は、分布抽出処理手順の一例を示すフローチャートである。図２２において、情報処理装置１００は、データ群ａを取得する（ステップＳ２２０１）。次に、情報処理装置１００は、画像化手法と学習済みＮＮの組み合わせＣｎの集合Ｃを設定する（ステップＳ２２０２）。ここで、ｎ＝１～Ｎである。ｎの初期値は、１とする。Ｎは、組み合わせの総数である。そして、情報処理装置１００は、組み合わせＣｎを用いて、データ群ａから特徴量Ｄｎを抽出する（ステップＳ２２０３）。
次に、情報処理装置１００は、特徴量Ｄｎから統計量Ｘｎを算出し、配列Ｘに登録する（ステップＳ２２０４）。そして、情報処理装置１００は、ｎをインクリメントする（ステップＳ２２０５）。次に、情報処理装置１００は、ｎ＞Ｎであるか否かを判定する（ステップＳ２２０６）。ここで、ｎ＞Ｎではない場合（ステップＳ２２０６：Ｎｏ）、情報処理装置１００は、ステップＳ２２０３の処理に戻る。一方で、ｎ＞Ｎである場合（ステップＳ２２０６：Ｙｅｓ）、情報処理装置１００は、ステップＳ２２０７の処理に移行する。
ステップＳ２２０７では、情報処理装置１００は、配列Ｘを出力する（ステップＳ２２０７）。そして、情報処理装置１００は、分布抽出処理を終了する。
（選択処理手順）
次に、図２３を用いて、情報処理装置１００が実行する、選択処理手順の一例について説明する。選択処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２や記録媒体４０５などの記憶領域と、ネットワークＩ／Ｆ４０３とによって実現される。
図２３は、選択処理手順の一例を示すフローチャートである。図２３において、情報処理装置１００は、配列Ｘを取得する（ステップＳ２３０１）。次に、情報処理装置１００は、ノイズ画像群と無学習ＮＮとの組み合わせに対応する特徴量の統計量Ｂを取得する（ステップＳ２３０２）。そして、情報処理装置１００は、学習済みＮＮの学習に用いた画像群と学習済みＮＮとの組み合わせに対応する特徴量の統計量Ｇを取得する（ステップＳ２３０３）。
次に、情報処理装置１００は、配列Ｘと統計量Ｂと統計量Ｇとに基づいて、スコアＳおよびスコアＴを算出する（ステップＳ２３０４）。そして、情報処理装置１００は、スコアＳおよびスコアＴに基づいて、画像化手法と学習済みＮＮの組み合わせＣｎごとに、最良組み合わせスコアを算出する（ステップＳ２３０５）。
次に、情報処理装置１００は、最良組み合わせスコアの大きい順に、画像化手法と学習済みＮＮの組み合わせＣｎをソートし、リストＥを作成する（ステップＳ２３０６）。そして、情報処理装置１００は、リストＥを出力する（ステップＳ２３０７）。その後、情報処理装置１００は、選択処理を終了する。
以上説明したように、情報処理装置１００によれば、画像化手法によりデータ群を画像化して生成された画像群を複数取得することができる。情報処理装置１００によれば、取得した画像群ごとに、学習済みモデルにより画像群から得られた特徴量群と、学習済みモデルにより第１基準画像群から得られる特徴量群との分布に基づいて、画像群の生成に用いた画像化手法のスコアを算出することができる。情報処理装置１００によれば、画像群ごとに算出した画像化手法のスコアを出力することができる。これにより、情報処理装置１００は、比較的少ない作業量で、複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを検討することができる。そして、情報処理装置１００は、分類作業者が、スコアを参照して、複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを把握しやすくすることができる。
情報処理装置１００によれば、画像化手法によりデータ群を画像化して生成された画像群と、学習済みモデルとの、複数の組み合わせを取得することができる。情報処理装置１００によれば、取得した組み合わせごとに、学習済みモデルにより画像群から得られる特徴量群と、学習済みモデルにより第１基準画像群から得られる特徴量群との分布に基づいて、画像群の生成に用いた画像化手法のスコアを算出することができる。情報処理装置１００によれば、取得した組み合わせごとに、学習済みモデルにより画像群から得られる特徴量群と、基準モデルにより画像群から得られる特徴量群との分布に基づいて、学習済みモデルのスコアを算出することができる。情報処理装置１００によれば、組み合わせごとに算出した画像化手法のスコアおよび学習済みモデルのスコアを出力することができる。これにより、情報処理装置１００は、比較的少ない作業量で、いずれの画像化手法といずれの学習済みモデルとの組み合わせが、分類対象に合った組み合わせであるかを検討することができる。
情報処理装置１００によれば、取得した組み合わせごとに、さらに、基準モデルにより第２基準画像群から得られた特徴量群の分布に基づいて、学習済みモデルのスコアを算出することができる。これにより、情報処理装置１００は、学習済みモデルのスコアの算出精度の向上を図ることができる。また、情報処理装置１００は、特徴量空間の次元数が異なる場合にも、学習済みモデルのスコアを算出可能にすることができる。
情報処理装置１００によれば、組み合わせごとに算出した画像化手法のスコアおよび学習済みモデルのスコアに基づいて、取得した複数の組み合わせのいずれかの組み合わせを選択することができる。情報処理装置１００によれば、選択した組み合わせの画像群の生成に用いた画像化手法と、選択した組み合わせの学習済みモデルとを対応付けて出力することができる。これにより、情報処理装置１００は、分類作業者が、いずれの画像化手法と、いずれの画像化手法との組み合わせが、分類対象に合っているかを把握しやすくすることができる。
情報処理装置１００によれば、選択した組み合わせの学習済みモデルにより、選択した組み合わせの画像群の生成に用いた画像化手法によりデータ群を画像化して生成された画像群から得られる特徴量群に基づいて、データ群を分類することができる。情報処理装置１００によれば、分類した結果を出力することができる。これにより、情報処理装置１００は、分類作業者が、分析対象に合った画像化手法と学習済みモデルとの組み合わせを利用して、分析対象を精度よく分類した分類結果を把握しやすくすることができる。
情報処理装置１００によれば、分類対象のデータ集合を受信した場合、データ集合の中からデータ群を抽出することができる。これにより、情報処理装置１００は、画像化手法のスコアまたは学習済みモデルのスコアを算出する際にかかる処理量の低減化を図ることができる。
情報処理装置１００によれば、選択した組み合わせの学習済みモデルにより、選択した組み合わせの画像群の生成に用いた画像化手法によりデータ集合を画像化して生成された画像集から得られる特徴量集合に基づいて、データ集合を分類することができる。情報処理装置１００によれば、分類した結果を出力することができる。これにより、情報処理装置１００は、分類作業者が、分析対象に合った画像化手法と学習済みモデルとの組み合わせを利用して、分析対象を精度よく分類した分類結果を把握しやすくすることができる。
情報処理装置１００によれば、複数の画像化手法の指定を受け付けることができる。情報処理装置１００によれば、指定された複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得することができる。これにより、情報処理装置１００は、指定された複数の画像化手法のいずれの画像化手法が、分類対象に合った画像化手法であるかを検討することができる。
情報処理装置１００によれば、学習済みモデルとして、ニューラルネットワークを利用することができる。これにより、情報処理装置１００は、学習済みモデルとして、ニューラルネットワークを流用可能にすることができる。
情報処理装置１００によれば、第２基準画像群として、第１基準画像群と同一の画像群を利用することができる。これにより、情報処理装置１００は、第２基準画像群を用意する作業負担の低減化を図ることができる。
情報処理装置１００によれば、第１基準画像群として、学習済みモデルの生成に用いた画像群を利用することができる。これにより、情報処理装置１００は、画像化手法のスコアの算出精度の向上を図ることができる。
情報処理装置１００によれば、基準モデルとして、学習済みモデルの元となる未学習モデルを利用することができる。これにより、情報処理装置１００は、学習済みモデルのスコアの算出精度の向上を図ることができる。
情報処理装置１００によれば、学習済みモデルを複数取得することができる。情報処理装置１００によれば、取得した学習済みモデルごとに、学習済みモデルにより所定画像群から得られる特徴量群と、基準モデルにより所定画像群から得られる特徴量群との分布に基づいて、学習済みモデルのスコアを算出することができる。情報処理装置１００によれば、学習済みモデルごとに算出した学習済みモデルのスコアを出力することができる。これにより、情報処理装置１００は、比較的少ない作業量で、複数の学習済みモデルのいずれの学習済みモデルが、分類対象に合った学習済みモデルであるかを検討することができる。そして、情報処理装置１００は、分類作業者が、スコアを参照して、複数の学習済みモデルのいずれの学習済みモデルが、データに合った学習済みモデルであるかを把握しやすくすることができる。
なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本実施の形態で説明した情報処理プログラムは、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本実施の形態で説明した情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
（付記１）複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
前記画像群ごとに算出した前記画像化手法のスコアを出力する、
処理をコンピュータが実行することを特徴とする情報処理方法。
（付記２）前記取得する処理は、
画像化手法によりデータ群を画像化して生成された画像群と、入力された画像に対応する特徴量を出力する学習済みモデルとの、複数の組み合わせを取得し、
前記算出する処理は、
取得した前記組み合わせごとに、前記組み合わせの学習済みモデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布と、前記組み合わせの学習済みモデルに前記基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記組み合わせの画像群の生成に用いた画像化手法のスコアを算出し、
取得した前記組み合わせごとに、前記組み合わせの学習済みモデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布と、基準モデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記組み合わせの学習済みモデルのスコアを算出し、
前記出力する処理は、
前記組み合わせごとに算出した前記画像化手法のスコアおよび前記学習済みモデルのスコアを出力する、ことを特徴とする付記１に記載の情報処理方法。
（付記３）前記算出する処理は、
取得した前記組み合わせごとに、さらに、前記基準モデルに第２基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布に基づいて、前記学習済みモデルのスコアを算出する、ことを特徴とする付記２に記載の情報処理方法。
（付記４）前記組み合わせごとに算出した前記画像化手法のスコアおよび前記学習済みモデルのスコアに基づいて、取得した前記複数の組み合わせのいずれかの組み合わせを選択し、
選択した前記組み合わせの画像群の生成に用いた画像化手法と、選択した前記組み合わせの学習済みモデルとを対応付けて出力する、
処理を前記コンピュータが実行することを特徴とする付記２または３に記載の情報処理方法。
（付記５）選択した前記組み合わせの学習済みモデルに、選択した前記組み合わせの画像群の生成に用いた画像化手法により、前記データ群を画像化して生成された画像群のそれぞれが入力された場合に出力される特徴量群に基づいて、前記データ群を分類し、
分類した結果を出力する、
処理を前記コンピュータが実行することを特徴とする付記４に記載の情報処理方法。
（付記６）前記取得する処理は、
データ集合の中から前記データ群を抽出する、ことを特徴とする付記２～４のいずれか一つに記載の情報処理方法。
（付記７）選択した前記組み合わせの学習済みモデルに、選択した前記組み合わせの画像群の生成に用いた画像化手法により、前記データ集合を画像化して生成された画像集合のそれぞれが入力された場合に出力される特徴量集合に基づいて、前記データ集合を分類し、
分類した結果を出力する、
処理を前記コンピュータが実行することを特徴とする付記６に記載の情報処理方法。
（付記８）前記複数の画像化手法の指定を受け付ける、処理を前記コンピュータが実行する、ことを特徴とする付記１～７のいずれか一つに記載の情報処理方法。
（付記９）前記学習済みモデルは、ニューラルネットワークである、ことを特徴とする付記１～８のいずれか一つに記載の情報処理方法。
（付記１０）前記第２基準画像群は、前記基準画像群と同一の画像群である、ことを特徴とする付記３に記載の情報処理方法。
（付記１１）前記基準画像群は、前記学習済みモデルの生成に用いた画像群である、ことを特徴とする付記１に記載の情報処理方法。
（付記１２）前記基準モデルは、前記学習済みモデルの元となる未学習モデルである、ことを特徴とする付記２に記載の情報処理方法。
（付記１３）複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
前記画像群ごとに算出した前記画像化手法のスコアを出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
（付記１４）複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
前記画像群ごとに算出した前記画像化手法のスコアを出力する、
制御部を有することを特徴とする情報処理装置。
（付記１５）入力された画像に対応する特徴量を出力する学習済みモデルを複数取得し、
取得した前記学習済みモデルごとに、前記学習済みモデルに所定画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、基準モデルに前記所定画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記学習済みモデルのスコアを算出し、
前記学習済みモデルごとに算出した前記学習済みモデルのスコアを出力する、
処理をコンピュータが実行することを特徴とする情報処理方法。
（付記１６）入力された画像に対応する特徴量を出力する学習済みモデルを複数取得し、
取得した前記学習済みモデルごとに、前記学習済みモデルに所定画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、基準モデルに前記所定画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記学習済みモデルのスコアを算出し、
前記学習済みモデルごとに算出した前記学習済みモデルのスコアを出力する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
（付記１７）入力された画像に対応する特徴量を出力する学習済みモデルを複数取得し、
取得した前記学習済みモデルごとに、前記学習済みモデルに所定画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、基準モデルに前記所定画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記学習済みモデルのスコアを算出し、
前記学習済みモデルごとに算出した前記学習済みモデルのスコアを出力する、
制御部を有することを特徴とする情報処理装置。
１００ 情報処理装置
１０１，２０１ データ群
１１０，１１１，８０１，８０２，９００ 画像群
１２０ 基準画像群
１３０，２２０，２３０ 学習済みモデル
１４０，１４１，１５０，２４０，２４１，２５０，２５１ 特徴量群
２１０ 所定画像群
２２１，２３１ 基準モデル
３００ 情報処理システム
３０１ クライアント装置
３１０ ネットワーク
４００，５００ バス
４０１，５０１ ＣＰＵ
４０２，５０２ メモリ
４０３，５０３ ネットワークＩ／Ｆ
４０４，５０４ 記録媒体Ｉ／Ｆ
４０５，５０５ 記録媒体
５０６ ディスプレイ
５０７ 入力装置
６００ 記憶部
６０１ 取得部
６０２ 算出部
６０３ 選択部
６０４ 分類部
６０５ 出力部
７００ 時系列データ
８１０，９１０ ノイズ画像群
８２０，９２０ 学習済みＮＮ
８３０，９４０ 特徴量空間
９３０ 無学習ＮＮ
１０００ 分布表
１７００ リスト
１８００ 組み合わせ
１９００ 分類結果

Claims (10)

  1. 複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
    取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
    前記画像群ごとに算出した前記画像化手法のスコアを出力する、
    処理をコンピュータが実行することを特徴とする情報処理方法。
  2. 前記取得する処理は、
    画像化手法によりデータ群を画像化して生成された画像群と、入力された画像に対応する特徴量を出力する学習済みモデルとの、複数の組み合わせを取得し、
    前記算出する処理は、
    取得した前記組み合わせごとに、前記組み合わせの学習済みモデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布と、前記組み合わせの学習済みモデルに前記基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記組み合わせの画像群の生成に用いた画像化手法のスコアを算出し、
    取得した前記組み合わせごとに、前記組み合わせの学習済みモデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布と、基準モデルに前記組み合わせの画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記組み合わせの学習済みモデルのスコアを算出し、
    前記出力する処理は、
    前記組み合わせごとに算出した前記画像化手法のスコアおよび前記学習済みモデルのスコアを出力する、ことを特徴とする請求項１に記載の情報処理方法。
  3. 前記算出する処理は、
    取得した前記組み合わせごとに、さらに、前記基準モデルに第２基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布に基づいて、前記学習済みモデルのスコアを算出する、ことを特徴とする請求項２に記載の情報処理方法。
  4. 前記組み合わせごとに算出した前記画像化手法のスコアおよび前記学習済みモデルのスコアに基づいて、取得した前記複数の組み合わせのいずれかの組み合わせを選択し、
    選択した前記組み合わせの画像群の生成に用いた画像化手法と、選択した前記組み合わせの学習済みモデルとを対応付けて出力する、
    処理を前記コンピュータが実行することを特徴とする請求項２または３に記載の情報処理方法。
  5. 選択した前記組み合わせの学習済みモデルに、選択した前記組み合わせの画像群の生成に用いた画像化手法により、前記データ群を画像化して生成された画像群のそれぞれが入力された場合に出力される特徴量群に基づいて、前記データ群を分類し、
    分類した結果を出力する、
    処理を前記コンピュータが実行することを特徴とする請求項４に記載の情報処理方法。
  6. 前記取得する処理は、
    データ集合の中から前記データ群を抽出する、ことを特徴とする請求項２～４のいずれか一つに記載の情報処理方法。
  7. 選択した前記組み合わせの学習済みモデルに、選択した前記組み合わせの画像群の生成に用いた画像化手法により、前記データ集合を画像化して生成された画像集合のそれぞれが入力された場合に出力される特徴量集合に基づいて、前記データ集合を分類し、
    分類した結果を出力する、
    処理を前記コンピュータが実行することを特徴とする請求項６に記載の情報処理方法。
  8. 前記複数の画像化手法の指定を受け付ける、処理を前記コンピュータが実行する、ことを特徴とする請求項１～７のいずれか一つに記載の情報処理方法。
  9. 複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
    取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
    前記画像群ごとに算出した前記画像化手法のスコアを出力する、
    処理をコンピュータに実行させることを特徴とする情報処理プログラム。
  10. 複数の画像化手法のそれぞれの画像化手法によりデータ群を画像化して生成された画像群を取得し、
    取得した前記画像群ごとに、入力された画像に対応する特徴量を出力する学習済みモデルに前記画像群のそれぞれが入力された場合に出力される特徴量群の特徴量空間における分布と、前記学習済みモデルに基準画像群のそれぞれが入力された場合に出力される特徴量群の前記特徴量空間における分布とに基づいて、前記画像群の生成に用いた画像化手法のスコアを算出し、
    前記画像群ごとに算出した前記画像化手法のスコアを出力する、
    制御部を有することを特徴とする情報処理装置。
JP2019049185A 2019-03-15 2019-03-15 情報処理方法、情報処理プログラム、および情報処理装置 Active JP7243333B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019049185A JP7243333B2 (ja) 2019-03-15 2019-03-15 情報処理方法、情報処理プログラム、および情報処理装置
US16/810,925 US11263258B2 (en) 2019-03-15 2020-03-06 Information processing method, information processing apparatus, and non-transitory computer-readable storage medium for storing information processing program of scoring with respect to combination of imaging method and trained model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049185A JP7243333B2 (ja) 2019-03-15 2019-03-15 情報処理方法、情報処理プログラム、および情報処理装置

Publications (2)

Publication Number Publication Date
JP2020149644A JP2020149644A (ja) 2020-09-17
JP7243333B2 true JP7243333B2 (ja) 2023-03-22

Family

ID=72422594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049185A Active JP7243333B2 (ja) 2019-03-15 2019-03-15 情報処理方法、情報処理プログラム、および情報処理装置

Country Status (2)

Country Link
US (1) US11263258B2 (ja)
JP (1) JP7243333B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243333B2 (ja) * 2019-03-15 2023-03-22 富士通株式会社 情報処理方法、情報処理プログラム、および情報処理装置
WO2021111431A1 (en) * 2019-12-05 2021-06-10 Orbotech Ltd. Improving accuracy of classification models
CN117355845A (zh) * 2021-06-18 2024-01-05 华为云计算技术有限公司 用于神经网络模型组合的系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110184950A1 (en) 2010-01-26 2011-07-28 Xerox Corporation System for creative image navigation and exploration
JP2013143009A (ja) 2012-01-11 2013-07-22 Hitachi Ltd 設備状態監視方法およびその装置
JP2017194806A (ja) 2016-04-19 2017-10-26 ＡＩ ｉｎｓｉｄｅ株式会社 文字認識装置、方法およびプログラム
JP2018124639A (ja) 2017-01-30 2018-08-09 日本電気株式会社 データ分析システム、データ分析方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3892258B2 (ja) 2001-08-31 2007-03-14 独立行政法人科学技術振興機構 自動検査装置及び自動検査方法
JP5163505B2 (ja) 2008-04-03 2013-03-13 新日鐵住金株式会社 疵学習装置、疵学習方法、及びコンピュータプログラム
US8515212B1 (en) * 2009-07-17 2013-08-20 Google Inc. Image relevance model
US8572011B1 (en) * 2010-07-16 2013-10-29 Google Inc. Outcome estimation models trained using regression and ranking techniques
US9152700B2 (en) * 2011-09-30 2015-10-06 Google Inc. Applying query based image relevance models
US8903182B1 (en) * 2012-03-08 2014-12-02 Google Inc. Image classification
US8873867B1 (en) * 2012-07-10 2014-10-28 Google Inc. Assigning labels to images
CN104077306B (zh) * 2013-03-28 2018-05-11 阿里巴巴集团控股有限公司 一种搜索引擎的结果排序方法及系统
US9443193B2 (en) * 2013-04-19 2016-09-13 Educational Testing Service Systems and methods for generating automated evaluation models
US9646227B2 (en) * 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
US20160378863A1 (en) * 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
GB2547712A (en) 2016-02-29 2017-08-30 Fujitsu Ltd Method and apparatus for generating time series data sets for predictive analysis
US10282792B2 (en) * 2016-11-30 2019-05-07 Facebook, Inc. Joint modeling of user and content feature vector data based on third party source data
JP7243333B2 (ja) * 2019-03-15 2023-03-22 富士通株式会社 情報処理方法、情報処理プログラム、および情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110184950A1 (en) 2010-01-26 2011-07-28 Xerox Corporation System for creative image navigation and exploration
JP2013143009A (ja) 2012-01-11 2013-07-22 Hitachi Ltd 設備状態監視方法およびその装置
JP2017194806A (ja) 2016-04-19 2017-10-26 ＡＩ ｉｎｓｉｄｅ株式会社 文字認識装置、方法およびプログラム
JP2018124639A (ja) 2017-01-30 2018-08-09 日本電気株式会社 データ分析システム、データ分析方法およびプログラム

Also Published As

Publication number Publication date
US20200293570A1 (en) 2020-09-17
US11263258B2 (en) 2022-03-01
JP2020149644A (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
JP7243333B2 (ja) 情報処理方法、情報処理プログラム、および情報処理装置
JP5567049B2 (ja) 文書分別システム及び文書分別方法並びに文書分別プログラム
Pol et al. Unstable taxa in cladistic analysis: identification and the assessment of relevant characters
JP4629101B2 (ja) 特許情報分析装置、特許情報分析方法、特許情報分析プログラム、およびコンピュータ読み取り可能な記録媒体
JP2017524196A (ja) コンテキストフィーチャを用いた画像解析システム
WO2015015826A1 (ja) 文書分別システム及び文書分別方法並びに文書分別プログラム
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
JP2013137203A (ja) Ｇｕｉ、分類装置、分類方法、プログラム及び分類プログラムを記憶した記憶媒体
WO2021195689A1 (en) Method for artificial intelligence (ai) model selection
Ling et al. Towards perceptually-optimized compression of user generated content (ugc): Prediction of ugc rate-distortion category
JP5986687B2 (ja) データ分別システム、データ分別方法、データ分別のためのプログラム、及び、このプログラムの記録媒体
JP6665999B2 (ja) データ処理装置、決定木生成方法、識別装置及びプログラム
Groucutt et al. Standardization of Nubian Levallois Technology in Dhofar, Southern Arabia
Apostol et al. Radss: A radiolarian classifier using support vector machines
Sameki et al. ICORD: Intelligent Collection of Redundant Data-A Dynamic System for Crowdsourcing Cell Segmentations Accurately and Efficiently.
US20220301689A1 (en) Anomaly detection in medical imaging data
JP6789460B1 (ja) 破面解析装置、学習済みモデル生成装置、破面解析方法、破面解析プログラム、および、学習済みモデル
JP7009911B2 (ja) 回答出力プログラム、回答出力方法および情報処理装置
JP7009912B2 (ja) 回答出力プログラム、回答出力方法および情報処理装置
WO2015025978A1 (ja) 文書分別システム及び文書分別方法並びに文書分別プログラム
Hsu et al. Spatial-slice feature learning using visual transformer and essential slices selection module for covid-19 detection of ct scans in the wild
JP5685675B2 (ja) 文書分別システム及び文書分別方法並びに文書分別プログラム
CN110310897A (zh) 基于空间密度分析的半导体晶片的引导检查
Rao et al. Breast Cancer Detection on Histopathological Data
Babalola et al. Investigating sex related phenotype changes in knockout mice by applying deep learning to x-ray images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R150 Certificate of patent or registration of utility model

Ref document number: 7243333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150