WO2021210414A1

WO2021210414A1 - 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置

Info

Publication number: WO2021210414A1
Application number: PCT/JP2021/014131
Authority: WO
Inventors: 貴之石黒; 星野　仁
Original assignee: 株式会社Ｒｏｘｙ
Priority date: 2020-04-17
Filing date: 2021-04-01
Publication date: 2021-10-21
Also published as: JP7309134B2; US20230103374A1; JPWO2021210414A1

Abstract

【課題】判別精度の向上および学習済モデルの信頼性の向上を図ること。【解決手段】特徴変換器２７によって変換された教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａを読み込み（ステップＳ１０）、読み込んだ第２多次元特徴ベクトル９２ａに基づいてモデル用二次元グラフ化データ３６ａを生成および記憶し（ステップＳ１２）、生成したモデル用二次元グラフ化データ３６ａに基づいてモデル用二次元グラフＯｇ，Ｎｇを生成してウィンドウ６２に表示する（ステップＳ１４）。なお、第２多次元特徴ベクトル９２ａは、学習済モデル３５の学習状況（個性）の可視化に適した指標である。これにより、学習済モデル３５が適切な学習状況（個性）にあるか否かを視覚的に確認して評価することができる。

Description

可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置

　本発明は、複数のサンプルデータを用いて学習する学習済モデルの学習状況を可視化する可視化方法、当該可視化方法の各ステップを１又は複数のコンピュータに実行させるためのプログラム、および、複数のサンプルデータを用いて学習する学習済モデルの学習状況を可視化する可視化装置、並びに、判別対象の分類を判別可能な判別装置に関するものである。

　特開２０１９－２１１２８８号公報（特許文献１）には、畳み込みニューラルネットワークを用いて判別対象の画像から特徴量を抽出し、抽出した当該特徴量について多変量解析を実行して、当該多変量解析の結果に基づいて判別対象の分類を判別する判別装置が記載されている。

　当該判別装置では、バラエティに富む判別対象の分類を高い精度で行うことができると共に、多変量解析の結果に基づいて判別基準を設定するため、判別対象の付加価値、例えば、高級品や汎用品等を加味した判別のための閾値を容易に設定することができる。

特開２０１９－２１１２８８号公報

　ところで、畳み込みニューラルネットワークを含む特徴抽出器を用いて生成した学習済モデルの評価は、正解率や適合率、再現率などの一次元の数値指標によって行われることが一般的である。これら数値指標は学習用のサンプルデータによる判定結果に基づいており、サンプルデータの偏りを排除して適切な学習済モデルを生成するためには大量のサンプルデータが必要だった。しかしながら、本発明者らが鋭意研究したところ、同じ数値指標を示す学習済モデルであっても、その判定結果の算出の仕方は、当該学習済モデルの学習状況により異なっていることが判明した。即ち、学習済モデルの学習状況（個性）を知ることができれば、少量のサンプルデータからでも適切な学習済モデルを生成可能であることが判明した。上述した公報には、こうした点については何ら言及されておらず、適切な学習済モデルを簡易かつ迅速に生成するという点において、なお改良の余地がある。

　本発明は、上記に鑑みてなされたものであり、適切な学習済モデルの簡易かつ迅速な生成に資する技術を提供することを目的の一つとする。また、学習済モデルの信頼性および判別精度の向上に資する技術を提供することを目的の一つとする。

　本発明に係る可視化方法の好ましい形態によれば、複数のサンプルデータを用いて学習される学習済モデルの学習状況を可視化する可視化方法が構成される。当該可視化方法は、（ａ）学習済モデルを生成する際、複数のサンプルデータそれぞれの第１多次元特徴ベクトルを前記特徴抽出器によって抽出し、（ｂ）抽出した第１多次元特徴ベクトルを、複数の全結合層を用いた特徴変換器によって、当該第１多次元特徴ベクトルよりも次元の低い第２多次元特徴ベクトルに変換し、（ｃ）変換された複数のサンプルデータそれぞれの第２多次元特徴ベクトルをグラフ化し、（ｄ）生成された複数のグラフを表示部の第１領域に表示するステップを含んでいる。

　本発明によれば、学習済モデルを生成する際に、学習済モデルの学習状況、即ち、学習済モデルの個性の可視化に有効な第２多次元特徴ベクトルをグラフ化し、当該グラフを表示部の第１領域に表示するため、学習済モデルの学習状況（個性）を簡易に可視化することができる。これにより、学習済モデルの学習状況が、判別対象の分類を適切に判別できる状況にあるか否かを評価することができるため、従来に比べて少量のサンプルデータで適切な学習済モデルを生成することができる。この結果、適切な学習済モデルを簡易かつ迅速に生成することができる。もとより、学習済モデルの学習状況（個性）を視覚的に確認することができるため、学習済モデルの信頼性が向上する。また、適切な学習済モデルを生成することができるため、判別対象を適切に分類可能な閾値の設定範囲を広くとることができる。これにより、外乱、例えば、判別対象の画像を取得する際の外光の影響などによる誤判別を抑制でき、正確な判別結果を安定して得ることができる。

　本発明に係る可視化方法の更なる形態によれば、ステップ（ｄ）は、複数のグラフのうち同一または類似するグラフ同士を同一または類似する態様で表示し、類似しないグラフを異なる態様で表示するステップである。ここで、本発明における「同一または類似するグラフ」とは、サンプルデータに付された教師信号が同一または類似するグラフがこれに該当する。また、本発明における「同一または類似する態様で表示」とは、典型的には、同一色または同系色で表示する態様がこれに該当するが、同一線幅で表示する態様や同一線種（例えば、実線同士や破線同士、一点鎖線同士、二点鎖線同士など）で表示する態様を好適に包含する。また、本発明における「異なる態様で表示」とは、典型的には、異色または異系色で表示する態様がこれに該当するが、異なる線幅で表示する態様や異なる線種（例えば、実線と破線、実線と一点鎖線、実線と二点鎖線など）で表示する態様を好適に包含する。

　本形態によれば、学習済モデルの学習状況（個性）を視覚的により明瞭なものとすることができる。

　本発明に係る可視化方法の更なる形態によれば、ステップ（ｃ）は、第２多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化するステップである。ここで、本発明における「二次元グラフ」とは、典型的には、平面上に表記され得るグラフがこれに該当する。平面上に表記され得るグラフとしては、例えば、直交座標系に表記されるグラフが考えられるが、極座標系に表記されるグラフを好適に包含する。

　本形態によれば、第２多次元特徴ベクトルを簡易にグラフ化することができる。

　本発明に係る可視化方法の更なる形態によれば、ステップ（ａ）は、判別対象の分類の際には、判別対象の第３多次元特徴ベクトルを特徴抽出器によって抽出するステップを含んでいる。また、ステップ（ｂ）は、抽出された第３多次元特徴ベクトルを、特徴変換器によって、第３多次元特徴ベクトルよりも次元の低い第４多次元特徴ベクトルに変換するステップを含んでいる。さらに、ステップ（ｃ）は、第４多次元特徴ベクトルをグラフ化するステップを含んでいる。そして、ステップ（ｄ）は、第４多次元特徴ベクトルのグラフを複数のグラフとは異なる態様で第１領域に表示するステップを含んでいる。ここで、本発明における「判別対象」とは、典型的には、分類が不明な対象がこれに該当するが、学習済モデルの学習結果の検証や学習精度向上を目的として分類が既知の対象、例えば、学習に用いた複数のサンプルデータから任意に抽出されるサンプルデータを好適に包含する。

　本形態によれば、判別対象の分類の際には、学習済モデルの学習状況（個性）の可視化に加えて、判別対象の分類の判別状況も可視化することができる。なお、判別対象における第４多次元特徴ベクトルのグラフが複数のグラフ（第２多次元特徴ベクトルのグラフ）とは異なる態様で表示されるため、当該判別対象の分類の判別状況が確認し易い。

　本発明に係る可視化方法の更なる形態によれば、ステップ（ｃ）は、第４多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化するステップである。ここで、本発明における「二次元グラフ」とは、典型的には、平面上に表記され得るグラフがこれに該当する。平面上に表記され得るグラフとしては、例えば、直交座標系に表記されるグラフが考えられるが、極座標系に表記されるグラフを好適に包含する。

　本形態によれば、第４多次元特徴ベクトルを簡易にグラフ化することができる。

　本発明に係る可視化方法の更なる形態によれば、判別対象の画像を表示部の第２領域に表示するステップ（ｅ）と、判別対象の画像の任意の領域を指定するステップ（ｆ）と、をさらに含んでいる。ステップ（ａ）は、指定された任意の領域における第５多次元特徴ベクトルを特徴抽出器によって抽出するステップを含んでいる。また、ステップ（ｂ）は、抽出された第５多次元特徴ベクトルを、特徴変換器によって、第５多次元特徴ベクトルよりも次元の低い第６多次元特徴ベクトルに変換するステップを含んでいる。さらに、ステップ（ｃ）は、第６多次元特徴ベクトルをグラフ化するステップを含んでいる。そして、ステップ（ｄ）は、第６多次元特徴ベクトルのグラフを複数のグラフとは異なる態様で第１領域に表示するステップを含んでいる。

　本形態によれば、判別対象の任意の領域の分類の判別状況を可視化することができる。これにより、ユーザ自ら気になる箇所の判別状況を視覚的に確認することができると共に、当該気になる箇所の判別状況に応じて、学習のやり直しを行うことができる。この結果、学習済モデルの信頼性の向上および判別精度の向上を図ることができる。なお、表示部の第２領域を用いて判別対象の任意の領域を指定しながら、表示部の第１領域を用いて当該任意の領域の分類の判別状況を確認することができるため、操作も容易である。また、任意の領域における第６多次元特徴ベクトルのグラフが複数のグラフ（第２多次元特徴ベクトルのグラフ）とは異なる態様で表示されるため、当該任意の領域の分類の判別状況が確認し易い。

　本発明に係る可視化方法の更なる形態によれば、複数のグラフのうち第６多次元特徴ベクトルのグラフと類似するグラフを選択するステップ（ｇ）をさらに含んでいる。そして、ステップ（ｄ）は、複数のグラフのうち第６多次元特徴ベクトルのグラフと類似するグラフを、複数のグラフおよび第６多次元特徴ベクトルのグラフとは異なる態様で第１領域に表示するステップを含んでいる。ここで、本発明における「類似するグラフ」とは、第６多次元特徴ベクトルとの距離が最短となる第２多次元特徴ベクトルのグラフがこれに該当する。

　本形態によれば、第６多次元特徴ベクトルのグラフに加えて、当該グラフに類似する第２多次元特徴ベクトルのグラフを、複数のグラフ（第２多次元特徴ベクトルのグラフ）および第６多次元特徴ベクトルのグラフとは異なる態様で第１領域に表示するため、判別対象が適正に分類できているか否かに加えて、学習済モデルが適正に学習できているか否かの確認を視覚的に知ることができる。即ち、分類が既知である判別対象の任意の領域の第６多次元特徴ベクトルのグラフを第１領域に表示させた際に、当該グラフに類似するとして第１領域に表示されたサンプルデータの第２多次元特徴ベクトルのグラフが、分類が既知である判別対象の任意の領域の第６多次元特徴ベクトルのグラフとは別の分類領域に表示された場合や別形状で表示された場合には、学習済モデルの学習状況が不適切であるということを知ることができる。もとより、分類が既知である判別対象の任意の領域の第６多次元特徴ベクトルのグラフに類似するとして第１領域に表示されたサンプルデータの第２多次元特徴ベクトルのグラフが、分類が既知である判別対象の任意の領域の第６多次元特徴ベクトルのグラフと同じ分類領域に類似の形状で表示された場合には、学習済モデルの学習状況が適切であるということを知ることができる。

　本発明に係る可視化方法の更なる形態によれば、所定の第２多次元特徴ベクトルに基づき基準値を設定するステップ（ｈ）と、第６多次元特徴ベクトルと基準値との差を一次元の数値として算出するステップ（ｉ）と、算出した当該差を視覚的および／または聴覚的および／または触覚的な態様で報知するステップ（ｊ）と、をさらに備えている。

　本形態によれば、任意の領域の基準値に対する類似度を視覚的および／または聴覚的および／または触覚的に確認することができる。

　本発明に係る可視化方法の更なる形態によれば、テップ（ｃ）は、第６多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化するステップである。ここで、本発明における「二次元グラフ」とは、典型的には、平面上に表記され得るグラフがこれに該当する。平面上に表記され得るグラフとしては、例えば、直交座標系に表記されるグラフが考えられるが、極座標系に表記されるグラフを好適に包含する。

　本形態によれば、第６多次元特徴ベクトルを簡易にグラフ化することができる。

　本発明に係る可視化方法の更なる形態によれば、特徴抽出器および特徴変換器は、深層学習を含むニューラルネットワークを用いて学習する。なお、ニューラルネットワークとして、ディープメトリックラーニングを用いることができる。

　本形態によれば、学習済モデルの可視化を効果的なものとすることができる。これにより、判別精度をより向上することができる。

　本発明に係るプログラムの好ましい形態によれば、複数のサンプルデータを用いて学習される学習済モデルの学習状況を可視化するためのプログラムが構成される。当該プログラムは、上述したいずれかの態様の本発明に係る可視化方法の各ステップを１又は複数のコンピュータに実行させるためものである。当該プログラムは、コンピュータが読み取り可能な記録媒体、例えば、ハードディスクやＲＯＭ、ＳＳＤ、フラッシュメモリ（ＵＳＢメモリ、ＳＤカードなど）、フロッピーディスク、ＣＤ、ＤＶＤなどに記録されていても良いし、伝送媒体、例えば、インターネットやＬＡＮなどの通信網を介してあるコンピュータから別のコンピュータへ配信されても良いし、あるいは、その他如何なる態様で授受されても良い。

　本発明によれば、プログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させることによって、上述したいずれかの態様の本発明に係る可視化方法の各ステップが実行されるため、上述した本発明に係る可視化方法と同様の作用効果、例えば、学習済モデルが、判別対象の分類を適切に判別できる学習状況にあるか否かを評価することができるため、従来に比べて少量のサンプルデータで適切な学習済モデルを生成することができ、適切な学習済モデルを簡易かつ迅速に生成することができるといった効果や、学習済モデルの信頼性を向上できるといった効果、適正な学習済モデルを使用することにより正確な判別結果を安定して得ることができるといった効果などを得ることができる。

　本発明に係る可視化装置の好ましい形態によれば、複数のサンプルデータを用いて学習される学習済モデルの学習状況を可視化する可視化装置が構成される。当該可視化装置は、学習済モデルを生成する際、複数のサンプルデータそれぞれの第１多次元特徴ベクトルを抽出する特徴抽出器と、抽出された第１多次元特徴ベクトルを、複数の全結合層を用いて第１多次元特徴ベクトルよりも次元の低い第２多次元特徴ベクトルに変換する特徴変換器と、変換された複数のサンプルデータそれぞれの第２多次元特徴ベクトルをグラフ化するための複数の第１グラフ化データを生成するグラフ生成部と、生成された複数の第１グラフ化データに基づき複数のグラフを表示可能な第１領域を有する表示部と、を備えている。

　本発明によれば、学習済モデルを生成する際に、学習済モデルの学習状況、即ち、学習済モデルの個性の可視化に有効な第２多次元特徴ベクトルをグラフ化し、当該グラフを表示部の第１領域に表示するため、学習済モデルの学習状況（個性）を簡易に可視化することができる。これにより、学習済モデルの学習状況が、判別対象の分類を適切に判別できる状況にあるか否かを評価することができるため、従来に比べて少量のサンプルデータで適切な学習済モデルを生成することができる。この結果、適切な学習済モデルを簡易かつ迅速に生成することができる。もとより、学習済モデルの学習状況を視覚的に確認することができるため、学習済モデルの信頼性が向上する。また、適切な学習済モデルを生成することができるため、判別対象を適切に分類可能な閾値の設定範囲を広くとることができる。これにより、外乱、例えば、判別対象の画像を取得する際の外光の影響などによる誤判別を抑制でき、正確な判別結果を安定して得ることができる。

　本発明に係る可視化装置の更なる形態によれば、グラフ生成部は、第２多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化データを生成する。ここで、本発明における「二次元グラフ」とは、典型的には、平面上に表記され得るグラフがこれに該当する。平面上に表記され得るグラフとしては、例えば、直交座標系に表記されるグラフが考えられるが、極座標系に表記されるグラフを好適に包含する。

　本発明に係る可視化装置の更なる形態によれば、グラフ生成部は、複数の第１グラフ化データのうち同一または類似するデータ同士には同一または類似する第１識別情報を付加する。そして、表示部は、第１識別情報が付加された複数の第１グラフ化データに基づき複数のグラフを前記第１領域に表示する。ここで、本発明における「同一または類似するデータ」とは、サンプルデータに付された教師信号が同一または類似するデータがこれに該当する。また、本発明における「同一または類似する第１識別情報」は、典型的には、同一色または同系色といった色情報がこれに該当するが、同一線幅といったサイズ情報や同一線種（例えば、実線や破線、一点鎖線、二点鎖線など）といった線種情報を好適に包含する。

　本形態によれば、学習済モデルの個性を視覚的により明瞭なものとすることができる。

　本発明に係る可視化装置の更なる形態によれば、特徴抽出器は、判別対象の分類の際には、当該判別対象の第３多次元特徴ベクトルを抽出する。また、特徴変換器は、抽出された第３多次元特徴ベクトルを、当該３多次元特徴ベクトルよりも次元の低い第４多次元特徴ベクトルに変換する。さらに、グラフ生成部は、第４多次元特徴ベクトルをグラフ化するための第２グラフ化データを生成すると共に、当該第２グラフ化データに第１識別情報とは異なる第２識別情報を付加する。そして、表示部は、第２識別情報が付加された第２グラフ化データに基づき第４多次元特徴ベクトルのグラフを第１領域に表示する。ここで、本発明における「判別対象」とは、典型的には、分類が不明な対象がこれに該当するが、学習済モデルの学習結果の検証や学習精度向上を目的として分類が既知の対象、例えば、学習に用いた複数のサンプルデータから任意に抽出されるサンプルデータを好適に包含する。

　本発明に係る可視化装置の更なる形態によれば、グラフ生成部は、第４多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化データを生成する。ここで、本発明における「二次元グラフ」とは、典型的には、平面上に表記され得るグラフがこれに該当する。平面上に表記され得るグラフとしては、例えば、直交座標系に表記されるグラフが考えられるが、極座標系に表記されるグラフを好適に包含する。

　本発明に係る可視化装置の更なる形態によれば、表示部は、判別対象の画像を表示可能な第２領域を有すると共に、当該第２領域において判別対象の画像の任意の領域を指定可能である。また、特徴抽出器は、指定された任意の領域における第５多次元特徴ベクトルを抽出する。さらに、特徴変換器は、抽出された第５多次元特徴ベクトルを、当該５多次元特徴ベクトルよりも次元の低い第６多次元特徴ベクトルに変換する。また、グラフ生成部は、第６多次元特徴ベクトルをグラフ化するための第３グラフ化信号を生成すると共に、当該第３グラフ化データに第１識別情報とは異なる第３識別情報を付加する。そして、表示部は、第３識別情報が付加された第３グラフ化データに基づき第６多次元特徴ベクトルのグラフを第１領域に表示する。ここで、本発明における「判別対象の任意の領域を指定可能」とは、典型的には、コンピュータに情報を入力するためのポインティング・デバイス（所謂「マウス」）によって、表示部に表示された画像の任意の領域をクリックやドラッグなどで当該任意の領域を指定する態様がこれに該当するが、指やタッチペン等によって表示部を直接触れることで、表示部に表示された画像の任意の領域を指定する態様を好適に包含する。

　本形態によれば、表示部の第２領域を用いて判別対象の任意の領域を指定しながら、表示部の第１領域を用いて当該任意の領域の分類の判別状況を確認することができる。なお、第６多次元特徴ベクトルのグラフが複数のグラフ（第２多次元特徴ベクトルのグラフ）とは異なる態様で表示されるため、当該任意の領域の分類の判別状況が確認し易い。ここで、第３識別情報は、第１識別情報とは異なる情報であれば良く、第２識別情報とは同じ情報であっても異なる情報であっても何れでも良い。

　本発明に係る可視化装置の更なる形態によれば、複数の第１グラフ化データのうち第３グラフ化データと類似する第４グラフ化データを選定し、選定した当該第４グラフ化データに、第１および第２識別情報とは異なる第４識別情報を付加する選定部をさらに備えている。そして、表示部は、第４識別情報が付加された第４グラフ化データに基づき第６多次元特徴ベクトルのグラフと類似するグラフを第１領域に表示する。ここで、本発明における「第３グラフ化データと類似する第４グラフ化データ」とは、第３グラフ化データに基づく第６多次元特徴ベクトルとの距離が最短となる第２多次元特徴ベクトルのグラフを生成する第４グラフ化データがこれに該当する。

　本発明に係る可視化装置の更なる形態によれば、所定の第２多次元特徴ベクトルに基づき基準値を設定すると共に、第６多次元特徴ベクトルと当該基準値との差を一次元の数値として算出し、算出した当該差を視覚的および／または聴覚的および／または触覚的な態様で報知する報知部をさらに備えている。

　本発明に係る可視化装置の更なる形態によれば、グラフ生成部は、第６多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化データを生成する。ここで、本発明における「二次元グラフ」とは、典型的には、平面上に表記され得るグラフがこれに該当する。平面上に表記され得るグラフとしては、例えば、直交座標系に表記されるグラフが考えられるが、極座標系に表記されるグラフを好適に包含する。

　本発明に係る可視化装置の更なる形態によれば、特徴抽出器および特徴変換器は、深層学習を含むニューラルネットワークを用いて学習する。なお、深層学習としてディープメトリックラーニングを用いることができる。

　本発明に係る判別装置の好ましい形態によれば、判別対象の分類を判別可能な判別装置が構成される。当該判別装置は、上述したいずれかの形態の本発明に係る可視化装置と、統計的機械学習を用いた分類器と、を備えている。分類器は、第２多次元特徴ベクトルに基づいて複数のサンプルデータを分類する。

　本発明によれば、上述したいずれかの態様の本発明に係る可視化装置を備えるため、本発明の可視化装置が奏する効果と同様の作用効果、例えば、学習済モデルが、判別対象の分類を適切に判別できる学習状況にあるか否かを評価することができるため、従来に比べて少量のサンプルデータで適切な学習済モデルを生成することができ、適切な学習済モデルを簡易かつ迅速に生成することができるといった効果や、学習済モデルの信頼性を向上できるといった効果、適正な学習済モデルを使用することにより正確な判別結果を安定して得ることができるといった効果などを得ることができる。なお、学習済モデルの学習状況（個性）を確認しながら複数のサンプルデータの分類を行うことができるため、適切な学習を実施できる。

　なお、本発明によれば、特徴抽出器および特徴変換器と、分類器と、を別構成として有するため、判別対象の判別精度の向上に際し、特徴抽出器および特徴変換器の学習と、分類器の学習と、を分けて実施することができる。即ち、判別精度の低さの原因が、特徴抽出器および特徴変換器による学習精度の低さに起因する場合には特徴抽出器および特徴変換器のみを学習させ、分類器による分類精度の低さに起因する場合には分類器のみを学習させることができる。これにより、判別精度の向上を効率良く行うことができる。ここで、本発明では、学習済モデルの学習状況（個性）を可視化できるため、判別精度の低さの原因が、特徴抽出器および特徴変換器による学習精度の低さに起因するのか、分類器による分類精度の低さに起因するのかを容易に判断することができる。

　判別対象の分類の判別状況を可視化する可視化装置を備える態様の本発明に係る判別装置の更なる形態によれば、分類器は、分類された複数のサンプルデータそれぞれの第２多次元特徴ベクトルと、第４多次元特徴ベクトルと、に基づいて判別対象を分類する。

　本形態によれば、判別対象の分類を適切に実施するこができる。

　判別対象の任意の領域における分類の判別状況を可視化する可視化装置を備える態様の本発明に係る判別装置の更なる形態によれば、分類器は、分類された複数のサンプルデータそれぞれの第２多次元特徴ベクトルと、第６多次元特徴ベクトルと、に基づいて判別対象の任意の領域を分類する。

　本形態によれば、判別対象の任意の領域の分類を適切に実施することができる。

　本発明によれば、適切な学習済モデルを簡易かつ迅速に生成することができる。また、本発明によれば、学習済モデルの信頼性および判別精度を向上することができる。

本発明の実施の形態に係る判別装置として機能するコンピュータ１の構成の概略を示す構成図である。本発明の実施の形態に係る判別装置として機能するコンピュータ１の機能構成を示す機能ブロック図である。特徴抽出器２６の構成の概略を示す構成図である。学習済モデル３５の生成および判別対象の分類の概略を示す説明図である。第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃの二次元グラフ化の概略を示す説明図である。学習済モデル生成段階可視化ルーチンの一例を示すフローチャートである。判別段階可視化ルーチンの一例を示すフローチャートである。判別段階可視化ルーチンから分岐した部分のフローチャートである。判別段階可視化ルーチンから分岐した部分のフローチャートである。判別段階可視化ルーチンから分岐した部分のフローチャートである。同じ数値指標を有する学習済モデル３５の学習状況（個性）を示す説明図である。ウィンドウ６２にモデル用二次元グラフＯｇ，Ｎｇが表示された状態を示す説明図である。ウィンドウ６２の第１領域６２ａにモデル用二次元グラフＯｇ，Ｎｇ、判別用二次元グラフＤｇ、類似二次元グラフＳｇ、および、バーグラフＢｇが表示された状態を示す説明図である。分類器２８の演算パラメータあるいは閾値の値の設定が適切でない場合の判別用二次元グラフＤｇの状態を示す説明図である。ユーザによって指定された領域の分類の判別において誤判別が発生した状態を示す説明図である。ウィンドウ６２に選択二次元グラフＣｇまたは判別用二次元グラフＤｇが表示された状態を示す説明図である。

　次に、本発明を実施するための最良の形態を実施例を用いて説明する。

　本実施の形態に係る判別装置として機能するコンピュータ１は、図１に示すように、ＣＰＵ２を中心とするマイクロプロセッサとして構成されており、各種処理プログラムを記憶するＲＯＭ４、一時的にデータを記憶するＲＡＭ６、画像処理を行う際に必要な計算処理や行列演算処理を行うＧＰＵ８、各種アプリケーションプログラム（単にアプリケーションと称する）や画像データを含む各種データを記憶する大容量メモリであるハードディスク（ＨＤＤ）１０、カメラ７０などの外部機器とのデータの入出力を行う入出力インターフェイス（Ｉ／Ｆ）１２などを備えている。なお、以下では説明の便宜上、本実施の形態に係る判別装置としてのコンピュータ１が、判別対象がＯＫ品であるかＮＧ品であるかの判別を行う装置として説明する。コンピュータ１は、本発明における「判別装置」に対応する実施構成の一例である。

コンピュータ１は、ユーザが各種指令を入力するキーボードおよびマウス等の入力装置１４や、各種情報を表示するディスプレイ６０などを備えている。ＣＰＵ２やＲＯＭ４、ＲＡＭ６、ＧＰＵ８、ＨＤＤ１０、Ｉ／Ｆ１２、入力装置１４、ディスプレイ６０などは、バス８０によって電気的に接続され、互いに各種制御信号やデータのやり取りができるように構成されている。

　当該コンピュータ１は、ディスプレイ６０に表示されたカーソル等をユーザが入力装置１４を介して入力操作すると、その入力操作に応じた動作を実行する機能を有している。また、当該コンピュータ１は、ＨＤＤ１０に格納されたアプリケーション、具体的には、判別対象の判別処理を実行する判別アプリケーションによって各種処理が実行されることで、本実施の形態に係る判別装置として機能する。なお、本実施の形態では、判別装置としてコンピュータ１によって実現可能な構成としたが、専用装置として実現しても良い。

　また、コンピュータ１には、図２に示すように、ＣＰＵ２やＲＯＭ４、ＲＡＭ６、ＧＰＵ８、ＨＤＤ１０、Ｉ／Ｆ１２、入力装置１４、ディスプレイ６０などの前述したハードウェア資源と、判別アプリケーションや本実施の形態に係る可視化プログラムといったソフトウェアと、の一方または双方の協働により、画像表示制御部２０や、画像取得部２２、領域指定部２４、特徴抽出器２６、特徴変換器２７、分類器２８、距離算定器２９、二次元グラフ化データ生成部３０、選定部３１、報知部３２、記憶部３３等が機能ブロックとして構成されている。換言すれば、これらの各部（画像表示制御部２０、画像取得部２２、領域指定部２４、特徴抽出器２６、特徴変換器２７、分類器２８、距離算定器２９、二次元グラフ化データ生成部３０、選定部３１、報知部３２、記憶部３３）は、ＨＤＤ１０からＲＡＭ６上に展開されたアプリケーションを実行するＣＰＵ２からの命令によって、図１に示す各構成要素（ＣＰＵ２やＲＯＭ４、ＲＡＭ６、ＧＰＵ８、ＨＤＤ１０、Ｉ／Ｆ１２、入力装置１４、ディスプレイ６０など）が単独あるいは協働して動作することにより実現される機能であると言うことができる。なお、画像表示制御部２０や、画像取得部２２、領域指定部２４、特徴抽出器２６、特徴変換器２７、分類器２８、距離算定器２９、二次元グラフ化データ生成部３０、選定部３１、報知部３２、記憶部３３等は、アドレスバスやデータバスなどのバスライン８２によって電気的に接続されている。特徴抽出器２６、特徴変換器２７およびディスプレイ６０（後述するウィンドウ６２）は、本発明における「可視化装置」に対応する実施構成の一例である。

　画像表示制御部２０は、判別アプリケーションが起動されると、図１に示すように、ディスプレイ６０の画面６１に所定のウィンドウ６２を表示する。また、画像表示制御部２０は、ディスプレイ６０に表示されたカーソル等をユーザが入力装置１４を介して入力操作することにより選択された教師信号付きサンプル画像データ３４ａ（図２参照）に基づいて教師信号付きサンプル画像をウィンドウ６２上に表示させたり、画像取得部２２により取得される判別対象画像データ３４ｂ（図２参照）に基づいて判別対象画像をウィンドウ６２上に表示させたり、領域指定部２４により取得される指定領域画像データ３４ｃ（図２参照）に基づいて指定領域画像をウィンドウ６２上に表示させる。複数の教師信号付きサンプル画像データ３４ａは、本発明における「複数のサンプルデータ」に対応する実施構成の一例である。また、ディスプレイ６０およびウィンドウ６２は、本発明における「表示部」に対応する実施構成の一例である。

　さらに、画像表示制御部２０は、記憶部３３に記憶されたモデル用二次元グラフ化データ３６ａ（図２参照）に基づいて二次元グラフをウィンドウ６２上に表示させたり、二次元グラフ化データ生成部３０によって生成される判別用二次元グラフ化データ３６ｂ、および、報知部３２によって生成されるバーグラフ化データ３９（図２参照）に基づいて判別用二次元グラフおよびバーグラフをウィンドウ６２上に表示させたりする。また、画像表示制御部２０は、分類器２８による判別結果をウィンドウ６２に表示する。なお、教師信号付きサンプル画像とは、特徴抽出器２６および特徴変換器２７の学習を行うために使用する画像である。また、判別対象画像とは、典型的には、分類（ＯＫ品　ｏｒ　ＮＧ品）が不明な対象の画像がこれに該当するが、特徴抽出器２６および特徴変換器２７の学習結果の検証や学習精度の向上を目的として分類（ＯＫ品　ｏｒ　ＮＧ品）が既知の対象の画像、例えば、複数の教師信号付きサンプル画像からユーザが任意に選択した教師信号付きサンプル画像を好適に包含する。

　画像取得部２２は、カメラ７０（図１参照）によって撮影された教師信号付きサンプル画像データ３４ａや判別対象画像データ３４ｂを取得し、取得したこれら画像データを画像表示制御部２０や特徴抽出器２６、記憶部３３などに供給する。

　領域指定部２４は、ユーザの入力装置１４を介した入力操作によって、ウィンドウ６２上に表示された教師信号付きサンプル画像や判別対象画像の任意の領域がクリックやドラッグなどされた際に、当該領域の画像データ（以下、「指定領域画像データ」という）３４ｃを取得し、取得した指定領域画像データ３４ｃ（図２参照）を画像表示制御部２０や特徴抽出器２６、記憶部３３などに供給する。

　特徴抽出器２６は、複数の教師信号付きサンプル画像データ３４ａや、判別対象画像データ３４ｂ、指定領域画像データ３４ｃから第１多次元特徴ベクトル９０ａ，９０ｂ，９０ｃを抽出し、抽出した第１多次元特徴ベクトル９０ａ，９０ｂ，９０ｃを特徴変換器２７に供給する。ここで、本実施の形態では、特徴抽出器２６には、図３および図４に示すように、畳み込みニューラルネットワーク（ＣＮＮ）を用いる構成とした。第１多次元特徴ベクトル９０ａ，９０ｂ，９０ｃは、それぞれ本発明における「第１多次元特徴ベクトル」、「第３多次元特徴ベクトル」、「第５多次元特徴ベクトル」に対応する実施構成の一例である。

　特徴抽出器２６による第１多次元特徴ベクトル９０ａ，９０ｂ，９０ｃの抽出は、図３に示すように、所定のフィルタ（図示せず）を用いて複数の教師信号付きサンプル画像データ３４ａや判別対象画像データ３４ｂ、指定領域画像データ３４ｃから、これら画像データ３４ａ，３４ｂ，３４ｃの特徴を失うことなく特徴を抽出する所謂畳み込み処理を複数回行った後、列ベクトルにフラット化することにより行う。

　特徴変換器２７は、図４に示すように、複数の全結合層２７ａ，２７ｂを有しており、当該全結合層２７ａ，２７ｂを用いて、特徴抽出器２６によって抽出された第１多次元特徴ベクトル９０ａ，９０ｂ，９０ｃを低次元化する処理を実行する。具体的には、全結合（Ｆｕｌｌｙ　Ｃｏｎｎｅｃｔｅｄ）処理によって、第１多次元特徴ベクトル９０ａ，９０ｂ，９０ｃを当該第１多次元特徴ベクトル９０ａ，９０ｂ，９０ｃよりも低次元の第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃに変換し、分類器２８や距離算定器２９、二次元グラフ化データ生成部３０、記憶部３３に供給する。なお、全結合（Ｆｕｌｌｙ　Ｃｏｎｎｅｃｔｅｄ）処理に替えてＧｌｏｂａｌ　ｍａｘ　ＰｏｏｌｉｎｇやＧｌｏｂａｌ　Ａｖｅｒａｇｅ　Ｐｏｏｌｉｎｇなどのプーリング処理によって、第１多次元特徴ベクトル９０ａ，９０ｂ，９０ｃを当該第１多次元特徴ベクトル９０ａ，９０ｂ，９０ｃよりも低次元の第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃに変換しても良い。第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃは、それぞれ記憶部３３に記憶される。第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃは、それぞれ本発明における「第２多次元特徴ベクトル」、「第４多次元特徴ベクトル」、「第６多次元特徴ベクトル」に対応する実施構成の一例である。

　なお、特徴抽出器２６および特徴変換器２７は、判別対象の分類の判別を精度良く行うことができるような第１多次元特徴ベクトル９０ａ，９０ｂ，９０ｃおよび第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃを得ることができるように、予め学習を行って、学習済モデル３５として記憶部３３に記憶させておく。　　　

　分類器２８は、図４（ｂ）に示すように、判別対象の分類の判別を行う際に機能する。図４（ｂ）に示すように、特徴変換器２７によって変換された第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃに基づいて、判別対象の分類、即ち、判別対象がＯＫ品であるかＮＧ品であるかの判別を行い、当該判別結果を画像表示制御部２０に供給する。判別対象の分類は、具体的には、第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃを用いて機械学習した演算パラメータにより判別対象の第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃがＯＫ品である確信度を示す一次元の数値を演算し、設定した閾値以上であればＯＫ品であると分類し、設定した閾値未満であればＮＧ品であると分類する。本実施の形態では、分類器２８には、勾配ブースティングや、サポートベクターマシーン、ランダムフォレスト、ニューラルネットワーク、ガウス正規化、アンサンブル検査、などの所謂統計的機械学習を用いる構成とした。

　距離算定器２９は、学習済モデル３５を生成する際、および、当該学習済モデル３５の検証や精度の向上を図る際に機能する。学習済モデル３５を生成する際には、距離算定器２９は、複数の教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａ間の距離を算定し、算定した当該距離を距離データ３８として記憶部３３に記憶する。算定した当該距離は、特徴抽出器２６および特徴変換器２７にフィードバックされる（図４（ａ）参照）。一方、学習済モデル３５の検証や精度の向上を図る際には、距離算定器２９は、複数の教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａと、判別対象画像データ３４ｂや指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｂ，９２ｃと、の間の距離を算定し、算定した当該距離を距離データ３８として記憶部３３に記憶する。

　本実施の形態では、特徴抽出器２６および特徴変換器２７へのフィードバックは、ＯＫ品同士の第２多次元特徴ベクトル９２ａ間の距離と、ＯＫ品の第２多次元特徴ベクトル９２ａおよびＮＧ品の第２多次元特徴ベクトル９２ａ間の距離と、が相対的に最適化されるように、Ｔｒｉｐｌｅｔ　ｌｏｓｓ関数などの損失関数を用いて誤差逆伝搬法および勾配降下法により、特徴抽出器２６および特徴変換器２７のパラメータの修正を行うことにより行う構成とした。このようなパラメータの修正（特徴抽出器２６および特徴変換器２７の学習）は、第２多次元特徴ベクトル９２ａの可視化（二次元グラフ化）を行って、学習済モデル３５（特徴抽出器２６および特徴変換器２７）の学習状況（個性）を把握したうえで、当該学習状況（個性）が所望の状態となるまで実施される。こうして、学習済モデル３５が生成され、記憶部３３に記憶される。なお、本実施の形態では、学習済モデル３５の学習と、特徴抽出器２６および特徴変換器２７の学習と、は同義である。

　ここで、本実施の形態では、特徴抽出器２６および特徴変換器２７のパラメータの修正には、ディープメトリックラーニングを用いる構成とした。即ち、特徴抽出器２６によって第１多次元特徴ベクトル９０ａを抽出し、抽出した第１多次元特徴ベクトル９０ａを特徴変換器２７によって第２多次元特徴ベクトル９２ａに変換すると共に、変換した第２多次元特徴ベクトル９２ａ間の距離を距離算定器２９によって算定して、算定した当該距離に基づき誤差逆伝搬法および勾配降下法により特徴抽出器２６および特徴変換器２７のパラメータの修正を行う一連の処理にディープメトリックラーニングを適用した。なお、第２多次元特徴ベクトル９２ａの可視化（二次元グラフ化）、および、特徴抽出器２６および特徴変換器２７の学習（個性）が所望の状態となったか否かの判定についての詳細は後述する。

　二次元グラフ化データ生成部３０は、複数の教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａに基づいて、モデル用二次元グラフ化データ３６ａを生成すると共に、判別対象画像データ３４ｂや指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｂ，９２ｃに基づいて、判別用二次元グラフ化データ３６ｂを生成する。モデル用二次元グラフ化データ３６ａは、本発明における「第１グラフ化データ」に対応し、判別用二次元グラフ化データ３６ｂは、本発明における「第２グラフ化データ」および「第３グラフ化データ」に対応する実施構成の一例である。

　具体的には、第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃを次元数の特徴量の集合としてモデル用二次元グラフ化データ３６ａや判別用二次元グラフ化データ３６ｂを生成する。例えば、第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃがｎ次元列ベクトル（ｆ_１，ｆ_２，ｆ_３，・・・，ｆ_ｎ－１，ｆ_ｎ）である場合、ｎ個の特徴量ｆ_１，ｆ_２，ｆ_３，・・・，ｆ_ｎ－１，ｆ_ｎの集合としたデータ、即ち、図５に示すように、縦軸に列番号１，２，３，・・・，ｎ－１，ｎをとり、横軸に特徴量ｆ_１，ｆ_２，ｆ_３，・・・，ｆ_ｎ－１，ｆ_ｎをとった座標系（直交座標系）に、これら特徴量ｆ_１，ｆ_２，ｆ_３，・・・，ｆ_ｎ－１，ｆ_ｎをプロットして曲線ないし直線で繋いだ二次元グラフを表示可能なデータを生成する。

　なお、学習済モデル３５（特徴抽出器２６および特徴変換器２７）の学習結果の検証や学習精度の向上を目的として、ユーザが記憶部３３に記憶された複数の教師信号付きサンプル画像データ３４ａの中から任意の一の教師信号付きサンプル画像データ３４ａを選択した場合には、二次元グラフ化データ生成部３０は、モデル用二次元グラフ化データ３６ａの中から、当該任意の一の教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトルデータ９２ａに基づいて生成されたモデル用二次元グラフ化データ３６ａ（以下、「選択二次元グラフ化データ３６ａ’」という）を抽出する。選択二次元グラフ化データ３６ａ’は、本発明における「第２グラフ化データ」に対応する実施構成の一例である。

　モデル用二次元グラフ化データ３６ａには、色情報（ＲＧＢ情報などの色調情報や階調情報）が付加される。ここで、同じ教師信号が付された第２多次元特徴ベクトル９２ａ同士は同系色の色情報が付される。具体的には、本実施の形態では、ＯＫ品同士のモデル用二次元グラフ化データ３６ａには青系統色が付され、ＮＧ品同士のモデル用二次元グラフ化データ３６ａには赤系統色が付される。生成されたモデル用二次元グラフ化データ３６ａは、記憶部３３に記憶される。ＯＫ品同士のモデル用二次元グラフ化データ３６ａに青系統色を付し、ＮＧ品同士のモデル用二次元グラフ化データ３６ａに赤系統色を付す態様は、本発明における「複数のグラフのうち同一または類似するグラフ同士を同一または類似する態様で表示し、類似しないグラフを異なる態様で表示する」態様、および、「複数の第１グラフ化データのうち同一または類似するデータ同士には同一または類似する第１識別情報を付加」する態様に対応する実施構成の一例である。

　また、判別用二次元グラフ化データ３６ｂおよび選択二次元グラフ化データ３６ａ’には、モデル用二次元グラフ化データ３６ａとは異なる色情報が付される。具体的には、本実施の形態では、黄系統色が付される。抽出された選択二次元グラフ化データ３６ａ’または生成された判別用二次元グラフ化データ３６ｂは、画像表示制御部２０に供給される。なお、判別用二次元グラフ化データ３６ｂは、記憶部３３に記憶される。二次元グラフ化データ生成部３０は、本発明における「グラフ生成部」に対応する実施構成の一例である。判別用二次元グラフ化データ３６ｂおよび選択二次元グラフ化データ３６ａ’に黄系統色を付す態様は、本発明における「第４多次元特徴ベクトルのグラフを複数のグラフとは異なる態様で第１領域に表示する」態様、「第６多次元特徴ベクトルのグラフを複数のグラフとは異なる態様で第１領域に表示する」態様、「第２グラフ化データに第１識別情報とは異なる第２識別情報を付加」する態様、および、「第３グラフ化データに第１識別情報とは異なる第３識別情報を付加」する態様に対応する実施構成の一例である。

　選定部３１は、ユーザの入力装置１４を介した入力操作によって、ウィンドウ６２上に表示された各種コマンドボタンの中から類似二次元グラフＳｇの表示指示を含むコマンドボタンが押された際に、記憶部３３に記憶された複数の第２多次元特徴ベクトル９２ａの中から、指定領域画像データ３４ｃから抽出された第２多次元特徴ベクトル９２ｃとの距離が最も小さい第２多次元特徴ベクトル（以下、「距離最小第２多次元特徴ベクトル」という）９２ａ’を選定すると共に、モデル用二次元グラフ化データ３６ａの中から、当該選定された距離最小第２多次元特徴ベクトル９２ａ’に基づいて生成された二次元グラフ化データ（類似二次元グラフ化データ）３６ｃを選定し、選定した類似二次元グラフ化データ３６ｃを画像表示制御部２０や記憶部３３などに供給する。ここで、類似二次元グラフ化データ３６ｃは、本発明における「第４グラフ化データ」に対応し、類似二次元グラフ化データ３６ｃに基づき生成されるグラフは、本発明における「前記複数のグラフのうち前記第６多次元特徴ベクトルのグラフと類似するグラフ」に対応する実施構成の一例である。

　ここで、本実施の形態では、距離最小第２多次元特徴ベクトル９２ａ’の選定は、記憶部３３に記憶された距離データ３８に基づいて行う構成とした。具体的には、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃと、複数の各教師信号付きサンプル画像データ３４ａそれぞれの第２多次元特徴ベクトル９２ａと、の間の距離が最小となる組合せの第２多次元特徴ベクトル９２ａを選定する構成とした。

　なお、選定部３１は、選定した類似二次元グラフ化データ３６ｃに上述した何れの色情報とも異なる色情報を付す。具体的には、本実施の形態では、白系統色が付される。類似二次元グラフ化データ３６ｃに白系統色を付す態様は、本発明における「第６多次元特徴ベクトルのグラフと同一または類似するグラフを、複数のグラフおよび第６多次元特徴ベクトルのグラフとは異なる態様で第１領域に表示する」態様、および、「第４グラフ化データに、第１および第２識別情報とは異なる第４識別情報を付加する」態様に対応する実施構成の一例である。

　報知部３２は、ユーザの入力装置１４を介した入力操作によって、ウィンドウ６２上に表示された各種コマンドボタンの中からバーグラフＢｇの表示指示を含むコマンドボタンが押された際に、学習済モデル３５の生成段階でＯＫ品に分類された複数の各教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２aそれぞれと，指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃと，の間の各距離のうち最小となる最小距離を選定すると共に、当該最小距離に基づいてバーグラフ化データ３９を生成し、生成した当該バーグラフ化データ３９を画像表示制御部２０や記憶部３３などに供給する。

　ここで、本実施の形態では、最小距離の選定は、記憶部３３に記憶された距離データ３８に基づいて行う構成とした。具体的には、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃと、複数のＯＫ品の第２多次元特徴ベクトル９２ａそれぞれと、の間の各距離のうち最小となる値を選定する構成とした。

　報知部３２は、最小距離が大きいほどバーグラフが長くなる態様でバーグラフ化データ３９を生成する。なお、最小距離が小さいときと大きいときとでバーグラフの色が異なる態様で表示されるようにバーグラフ化データ３９を生成することもできる。

　本実施の形態では、最小距離が小さいほど青系統色が強く、最小距離が多きくなるほど赤系統色が強くなる態様とした。当該バーグラフを見ることにより、ユーザ（判別者）は、指定領域画像がＯＫ品であるのか、ＮＧ品であるのかに加えて、ＯＫ品あるいはＮＧ品にどれだけ近いのかを一目で知ることができる。ここで、複数のＯＫ品の第２多次元特徴ベクトル９２ａは、本発明における「所定の前記第２多次元特徴ベクトル」に対応し、学習済モデル３５の生成段階でＯＫ品に分類された複数の各教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２aのうち指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃとの間の距離が最小となる第２多次元特徴ベクトル９２aは、本発明における「基準値」に対応し、最小距離は、本発明における「差」および「一次元の数値」に対応する実施構成の一例である。また、最小距離の大きさに応じたバーグラフをウィンドウ６２上に表示する態様は、本発明における「算出した該差を視覚的および／または聴覚的および／または触覚的な態様で報知する」態様に対応する実施構成の一例である。

　記憶部３３は、ＲＡＭ６およびＨＤＤ１０の少なくとも一方に確保され、カメラ７０（図１参照）によって撮影された教師信号付きサンプル画像データ３４ａおよび判別対象画像データ３４ｂや、領域指定部２４によって取得された指定領域画像データ３４ｃ、学習済モデル３５、二次元グラフ化データ生成部３０によって生成されたモデル用二次元グラフ化データ３６ａおよび判別用二次元グラフ化データ３６ｂ、選定部３１によって生成された類似二次元グラフ化データ３６ｃ、特徴変換器２７によって変換された第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃ、距離算定器２９によって算定された距離データ３８、および、報知部３２によって生成されたバーグラフ化データ３９を記憶する。

　可視化プログラムは、学習済モデル３５の生成段階で実行される学習済モデル生成段階可視化ルーチンと、学習済モデル３５の精度向上段階や判別対象の分類の判別段階で実行される判別段階可視化ルーチンと、から構成されており、学習済モデル３５の学習状況（個性）および判別対象の判別状況を可視化可能なように、二次元グラフ化データ生成部３０によって生成されたモデル用二次元グラフ化データ３６ａ、判別用二次元グラフ化データ３６ｂ、および、選択二次元グラフ化データ３６ａ’や、選定部３１によって生成された類似二次元グラフ化データ３６ｃ、報知部３２によって生成されたバーグラフ化データ３９に基づいて、画像表示制御部２０にモデル用二次元グラフＯｇ，Ｎｇ（図１５、図１６参照）や判別用二次元グラフＤｇ（図１６参照）、選択二次元グラフＣｇ（図１６参照）、類似二次元グラフＳｇ（図１６、図１５参照）、バーグラフＢｇ（図１６、図１５参照）などをウィンドウ６２上に表示させる機能を有している。

　次に、判別アプリケーションが起動されたときにコンピュータ１において実行される可視化プログラムについて説明する。まず、学習済モデル生成段階可視化ルーチンについて説明し、続いて、判別段階可視化ルーチンについて説明する。図６は、学習済モデル生成段階可視化ルーチンの一例を示すフローチャートであり、図７は、判別段階可視化ルーチンの一例を示すメインフローチャートであり、図８、図９および図１０は、図７のメインフローチャートから分岐したサブフローチャートである。

　学習済モデル生成段階可視化ルーチンは、例えば、ユーザがウィンドウ６２上に表示される各種コマンドボタンの中から「学習済モデル生成」ボタンを押したときに実行される。学習済モデル生成段階可視化ルーチンは、主に、画像表示制御部２０、画像取得部２２、特徴抽出器２６、特徴変換器２７、距離算定器２９、二次元グラフ化データ生成部３０などにより実行される。

　学習済モデル生成段階可視化ルーチンでは、学習済モデル３５を可視化する処理が実行される。具体的には、図６に示すように、まず、二次元グラフ化データ生成部３０が、記憶部３３に記憶された教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａを読み込み（ステップＳ１０）、読み込んだ第２多次元特徴ベクトル９２ａに基づいてモデル用二次元グラフ化データ３６ａを生成すると共に記憶部３３に記憶する処理を実行すると共に（ステップＳ１２、画像表示制御部２０が、記憶部３３に記憶されたモデル用二次元グラフ化データ３６ａを読み込み、読み込んだモデル用二次元グラフ化データ３６ａに基づいてモデル用二次元グラフＯｇ，Ｎｇ（図１２参照）をウィンドウ６２に表示して（ステップＳ１４）、本ルーチンを終了する処理を実行する。ここで、学習済モデル３５の生成段階においては、モデル用二次元グラフＯｇ，Ｎｇは、例えば、図１２に示すように、特徴抽出器２６、特徴変換器２７、および、分類器２８から算出される判定の精度や、特徴抽出器２６、特徴変換器２７、および、距離算定器２９から算出される損失など従来技術による学習状況（一次元の数値指標）のグラフと共にウィンドウ６２に表示することができる。この場合、ウィンドウ６２のうちモデル用二次元グラフＯｇ，Ｎｇの表示領域は、本発明における「第１領域」に対応する実施構成の一例である。また、ＯＫ品のモデル用二次元グラフＯｇおよびＮＧ品のモデル用二次元グラフＮｇは、本発明における「複数のグラフ」に対応する実施構成の一例である。

　このように、学習済モデル３５の学習状況（個性）の可視化に適した第２多次元特徴ベクトル９２ａに基づいてグラフ化したモデル用二次元グラフＯｇ，Ｎｇ（図１２参照）をウィンドウ６２に表示するため、学習済モデル３５が適切な学習状況（個性）にあるか否かを視覚的に確認して評価することができる。ここで、学習済モデル３５の学習状況（個性）の評価は、正解率や適合率、再現率などの一次元の数値指標によって行われることが一般的であるが、これら数値指標が同じであっても学習済モデル３５には判別精度および信頼精度に違いがあり、本発明者らが鋭意研究したところ、学習状況（個性）を視覚的に確認することで、適切な学習済モデル３５を生成可能であることが判明した。

　図１１は、同じ数値指標を有する学習済モデル３５の学習状況（個性）を示す説明図である。なお、図１１（ａ）は、学習済モデル３５が適切な学習状況（個性）にある状態を示すモデル用二次元グラフＯｇ，Ｎｇであり、図１１（ｂ）は、学習済モデル３５の学習状況（個性）が適切でない状態を示すモデル用二次元グラフＯｇ，Ｎｇである。ここで、本実施の形態では、ＯＫ品同士のモデル用二次元グラフ化データ３６ａには青系統色が付され、ＮＧ品同士のモデル用二次元グラフ化データ３６ａには赤系統色が付される構成としたため、実際には、ＯＫ品のモデル用二次元グラフＯｇは青系統色で表示され、ＮＧ品のモデル用二次元グラフＮｇは赤系統色で表示されることになるが、図１１中では、便宜上、青系統色を二点鎖線で記載し、赤系統色を破線で記載している。

　図１１（ａ）に示すように、学習済モデル３５が適切な学習状況（個性）にあると、ＯＫ品の教師信号付きサンプル画像データ３４ａに基づき生成されたモデル用二次元グラフＯｇと、ＮＧ品の教師信号付きサンプル画像データ３４ａに基づき生成されたモデル用二次元グラフＮｇと、が明確に離隔されて表示され、境界が明確となる。一方、学習済モデル３５の学習状況（個性）が適切でないと、モデル用二次元グラフＯｇと、モデル用二次元グラフＮｇと、が近接して表示され、境界が不明確となる。

　このように、学習済モデル３５の学習状況（個性）を可視化することにより、学習済モデル３５が判別対象の分類を適切に判別できる学習状況（個性）にあるか否かを評価することができるため、従来に比べて少量のサンプルデータで適切な学習済モデル３５を生成することができる。この結果、適切な学習済モデル３５を簡易かつ迅速に生成することができる。もとより、学習済モデル３５の学習状況（個性）を視覚的に確認することができるため、学習済モデル３５の信頼性が向上する。また、適切な学習済モデル３５を生成することができるため、分類器２８による判別対象の分類に適切な閾値の設定範囲を広くとることができる。これにより、外乱、例えば、判別対象の画像を取得する際の外光の影響などによる誤判別を抑制でき、正確な判別結果を安定して得ることができる。

　次に、判別段階可視化ルーチンについて説明する。判別段階可視化ルーチンは、例えば、ユーザがウィンドウ６２上に表示される各種コマンドボタンの中から「学習済モデルのテスト」ボタンや「学習済モデルの精度向上」ボタン、「判別対象の判別」ボタンを押したときに実行される。判別段階可視化ルーチンは、主にコンピュータ１の画像表示制御部２０や、画像取得部２２、領域指定部２４、特徴抽出器２６、特徴変換器２７、分類器２８、二次元グラフ化データ生成部３０、選定部３１、および、報知部３２により実行される。

　判別段階可視化ルーチンでは、図７に示すように、まず、学習済モデル３５を読み込んで可視化する処理、具体的には、画像表示制御部２０が、記憶部３３に記憶されたモデル用二次元グラフ化データ３６ａを読み込み（ステップＳ１００）、読み込んだモデル用二次元グラフ化データ３６ａに基づいてモデル用二次元グラフＯｇ，Ｎｇ（図１１参照）をウィンドウ６２の第１領域６２ａ（図１参照）に表示する処理を実行する（ステップＳ１０２）。ここで、モデル用二次元グラフ化データ３６ａは、上述した学習済モデル生成段階可視化ルーチンのステップＳ１２において、二次元グラフ化データ生成部３０によって生成され、記憶部３３に記憶されている。この場合、第１領域６２ａは、本発明における「第１領域」に対応する実施構成の一例である。

　ステップＳ１０２において、モデル用二次元グラフＯｇ，Ｎｇをウィンドウ６２の第１領域６２ａ（図１参照）に表示する処理を実行した後、続いて、画像表示制御部２０は、画像表示要求の有無を判定する処理を実行する（ステップＳ１０４）。ここで、「画像表示要求」は、例えば、記憶部３３に記憶された複数の教師信号付きサンプル画像データ３４ａの中からユーザが任意の一の教師信号付きサンプル画像データ３４ａを選択した場合や、画像取得部２２が判別対象の画像を取得した場合に「画像表示要求有り」と判定される。

　画像表示要求がなかった場合には、画像表示要求が有るまでステップＳ１０４の処理を繰り返し実行し、画像表示要求が有った場合には、画像表示制御部２０は、当該要求のあった画像データ（任意の一の教師信号付きサンプル画像データ３４ａまたは判別対象画像データ３４ｂ）を読み込むと共に、読み込んだ画像データ（任意の一の教師信号付きサンプル画像データ３４ａまたは判別対象画像データ３４ｂ）に基づいて、要求のあった画像（任意の一の教師信号付きサンプル画像または判別対象画像）をウィンドウ６２の第２領域６２ｂ（図１参照）に表示する処理を実行する（ステップＳ１０６）。

　次に、画像表示制御部２０は、ウィンドウ６２の第２領域６２ｂ（図１参照）に表示された画像（任意の一の教師信号付きサンプル画像または判別対象画像）の任意の領域が、ユーザにより指定されたか否かを判定する処理を実行する（ステップＳ１０８）。ユーザによる任意の領域が指定されたか否かの判定は、例えば、領域指定部２４からの指定領域画像データ３４ｃの入力があったか否かにより行うことができる。

　ユーザによる任意の領域指定があった場合は、類似二次元グラフＳｇ（図１３参照）を表示する要求が有るか否かを判定する処理を実行する（ステップＳ１１０）。ここで、類似二次元グラフＳｇ（図１３参照）の表示要求の有無の判定は、例えば、選定部３１からの類似二次元グラフ化データ３６ｃの入力があった否かにより行うことができる。

　類似二次元グラフＳｇ（図１３参照）を表示する要求が有る場合には、バーグラフＢｇ（図１３参照）を表示する要求が有るか否かを判定する処理を実行する（ステップＳ１１２）。ここで、バーグラフＢｇ（図１３参照）の表示要求の有無の判定は、例えば、報知部３２からのバーグラフ化データ３９の入力があった否かにより行うことができる。

　バーグラフＢｇ（図１３参照）を表示する要求が有る場合には、画像表示制御部２０は、指定領域画像データ３４ｃ、距離最小第２多次元特徴ベクトル９２ａ’（指定領域画像データ３４ｃから抽出された第２多次元特徴ベクトル９２ｃとの距離が最も近い第２多次元特徴ベクトル９２ａ）を有する教師信号付きサンプル画像データ３４ａ（以下、「類似画像データ３４ａ’」という）、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃに基づき生成された判別用二次元グラフ化データ３６ｂ、類似二次元グラフ化データ３６ｃ、および、バーグラフ化データ３９を読み込む処理を実行する（ステップＳ１１４）。

　ここで、判別用二次元グラフ化データ３６ｂは、任意の領域が指定された際に、二次元グラフ化データ生成部３０によって、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃに基づいて生成され、画像表示制御部２０に出力されるものであり、類似二次元グラフ化データ３６ｃは、類似二次元グラフＳｇを表示する要求が有った際（類似二次元グラフＳｇの表示指示を含むコマンドボタンが押された際）に、選定部３１によって、距離最小第２多次元特徴ベクトル９２ａ’に基づいて生成され、画像表示制御部２０に出力されるものであり、バーグラフ化データ３９は、バーグラフＢｇを表示する要求が有った際に、報知部３２によって、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃと，ＯＫ品に分類された複数の各教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａそれぞれと，の距離のうち最小となる最小距離に基づいて生成され、画像表示制御部２０に出力されるものである。

　そして、読み込んだ指定領域画像データ３４ｃ、類似画像データ３４ａ’、判別用二次元グラフ化データ３６ｂ、類似二次元グラフ化データ３６ｃ、および、バーグラフ化データ３９に基づいて、指定領域画像をウィンドウ６２の第３領域６２ｃ（図１参照）に表示すると共に、類似画像をウィンドウ６２の第４領域６２ｄ（図１参照）に表示し、図１３に示すように、既にウィンドウ６２の第１領域６２ａに表示されたモデル用二次元グラフＯｇ，Ｎｇと共に判別用二次元グラフＤｇ、類似二次元グラフＳｇ、および、バーグラフＢｇを第１領域６２ａに表示する処理を実行して（ステップＳ１１６）、ステップＳ１０４に戻る。ここで、判別用二次元グラフＤｇは、本発明における「第４多次元特徴ベクトルのグラフ」および「第６多次元特徴ベクトルのグラフ」に対応する実施構成の一例である。

　図１３は、モデル用二次元グラフＯｇ，Ｎｇに加えて、判別用二次元グラフＤｇ、類似二次元グラフＳｇ、および、バーグラフＢｇを、ウィンドウ６２の第１領域６２ａに表示した状態を示す説明図である。なお、図１３（ａ）は、判別用二次元グラフＤｇおよび類似二次元グラフＳｇがＮＧ品のモデル用二次元グラフＮｇ側に表示された状態を示す説明図であり、図１３（ｂ）は、判別用二次元グラフＤｇおよび類似二次元グラフＳｇがＯＫ品のモデル用二次元グラフＯｇ側に表示された状態を示す説明図である。ここで、本実施の形態では、判別用二次元グラフＤｇには黄系統色が付され、類似二次元グラフＳｇには白系統色が付される構成としたため、実際には、判別用二次元グラフＤｇは黄系統色で表示され、類似二次元グラフＳｇは白系統色で表示されることになるが、図１３中では、便宜上、黄系統色を太実線で記載し、白系統色を太一点鎖線で記載している。

　このように、モデル用二次元グラフＯｇ，Ｎｇに加えて、ユーザによって指定された領域の第２多次元特徴ベクトル９２ｃの状態を判別用二次元グラフＤｇとして表示するため、指定された領域の分類の判別状況を可視化することができる。これにより、ユーザ自ら気になる箇所の判別状況を視覚的に確認することができると共に（例えば、判別対象に傷などがあった場合に、当該傷をＮＧとして判別できているのかなど）、当該気になる箇所の判別状況に応じて（ＯＫ品であるのにＮＧであると判別していた場合や、これとは逆に、ＮＧ品であるのにＯＫ品であると判別していた場合）、特徴抽出器２６および特徴変換器２７の学習、あるいは、分類器２８の学習をやり直すことができる。

　ここで、上述したような誤判別が発生した場合（ＯＫ品であるのにＮＧであると判別していた場合や、これとは逆に、ＮＧ品であるのにＯＫ品であると判別していた場合）、モデル用二次元グラフＯｇ，Ｎｇおよび判別用二次元グラフＤｇの形状や、判別用二次元グラフＤｇの動きを確認することによって、誤判別の原因が特徴抽出器２６および特徴変換器２７の学習にあるのか、分類器２８の演算パラメータの機械学習や閾値の設定にあるのか、を判断することができる。なお、判別用二次元グラフＤｇの動きとは、ユーザが、ウィンドウ６２の第２領域６２ｂ（図１参照）に表示された画像（ユーザが選択した任意の一の教師信号付きサンプル画像または判別対象画像）上において、指定領域を様々に変化させたときの、判別用二次元グラフＤｇの変化を意味する。

　図１４（ａ）に示すように、判別用二次元グラフＤｇの形状がモデル用二次元グラフＮｇと離れており、異なる形状にも関わらず、ＮＧ品と判断された場合や、図１４（ｂ）に示すように、判別用二次元グラフＤｇの形状がモデル用二次元グラフＯｇと離れており、異なる形状にも関わらず、ＯＫ品と判断された場合、即ち、ＯＫ品およびＮＧ品の特徴は捉えることができているが、ＯＫ品およびＮＧ品の分類を誤っているような場合には、分類器２８の演算パラメータの機械学習や閾値の設定が適切でないと判断することができ、この場合、分類器２８の演算パラメータの機械学習や閾値の設定をし直すことで対応できる。

　一方、ユーザが、ウィンドウ６２の第２領域６２ｂ（図１参照）に表示された画像（ユーザが選択した任意の一の教師信号付きサンプル画像または判別対象画像）上において、正常箇所から例えば傷などの欠陥が存在する箇所に亘って指定領域を変化させているのに、判別用二次元グラフＤｇの動きに変化がない、あるいは、変化が乏しい場合、即ち、ＯＫ品およびＮＧ品の特徴を適切に捉えることができていない場合は、特徴抽出器２６および特徴変換器２７の学習が適切でないと判断することができ、この場合、特徴抽出器２６および特徴変換器２７の学習をし直すことで対応できる。

　このように、本実施の形態に係る判別装置によれば、特徴抽出器２６および特徴変換器２７と、分類器２８と、を別構成として有すると共に、学習済モデル３５の学習状況（個性）を可視化することができるため、誤判定した場合に当該誤判定の原因を簡易に特定することができると共に、その対処を適切に行うことができる。これにより、簡単かつ迅速に判定装置の判定精度を向上することができ、かつ、学習済モデル３５の信頼性の向上を図ることができる。なお、ウィンドウ６２の第２領域６２ｂ（図１参照）に表示された画像（ユーザが選択した任意の一の教師信号付きサンプル画像または判別対象画像）を用いて任意の領域を指定しながら、ウィンドウ６２の第１領域６２ａを用いて当該任意の領域の分類の判別状況を確認することができるため、操作も容易である。

　また、モデル用二次元グラフＯｇ，Ｎｇおよび判別用二次元グラフＤｇに加えて、類似二次元グラフＳｇを表示するため、任意の領域の特徴を適切に捉えることができているかを確認することができる。図１３に示すように、任意の領域の分類が適切に行われている場合（図１３（ａ）は、任意の領域がＮＧ品であった場合、図１３（ｂ）は、任意の領域がＯＫ品であった場合）には、判別用二次元グラフＤｇと類似二次元グラフＳｇとが類似形状を示していることを確認することで、当該任意の領域の特徴を適切に捉えることができていることを確認することができる。

　一方、図１５に示すように、任意の領域の分類の判別において誤判別が発生した場合（図１５（ａ）は、任意の領域がＮＧ品であるものをＯＫ品と分類した場合、図１５（ｂ）は、任意の領域がＯＫ品であるものをＮＧ品と分類した場合）には、当該誤判別の原因となった教師信号付きサンプル画像データ３４ａを類似二次元グラフＳｇによって確認することができるため、任意の領域の第２多次元特徴ベクトル９２ｃと当該誤判定の原因となるような距離最小第２多次元特徴ベクトル９２ａ’（教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａ）との距離が最適となるように、特徴抽出器２６および特徴変換器２７の学習のし直し、あるいは、判別用二次元グラフＤｇと類似二次元グラフＳｇとを確実に分類できるように、分類器２８の演算パラメータの機械学習のし直し、および、閾値の再設定を行うことで、精度の向上を図ることができる。

　さらに、モデル用二次元グラフＯｇ，Ｎｇ、判別用二次元グラフＤｇ、および、類似二次元グラフＳｇに加えて、バーグラフＢｇを表示するため、ユーザは、指定領域画像がＯＫ品であるのか、ＮＧ品であるのかに加えて、ＯＫ品あるいはＮＧ品にどれだけ近いのかを一目で知ることができる。

　図７の特徴抽出器可視化ルーチンに戻って、ステップＳ１０８において、ユーザによる任意の領域指定がなかった場合は、図８のフローチャートに示すように、選択二次元グラフ化データ３６ａ’または判別用二次元グラフ化データ３６ｂを読み込むと共に（ステップS１１８）、読み込んだ選択二次元グラフ化データ３６ａ’または判別用二次元グラフ化データ３６ｂに基づいて、図１６に示すように、選択二次元グラフＣｇまたは判別用二次元グラフＤｇを、既にウィンドウ６２の第１領域６２ａに表示されたモデル用二次元グラフＯｇ，Ｎｇと共に当該第１領域６２ａに表示する処理を実行して（ステップＳ１２０）、ステップＳ１０４に戻る。選択二次元グラフＣｇは、本発明における「第４多次元特徴ベクトルのグラフ」に対応する実施構成の一例である。

　ここで、選択二次元グラフ化データ３６ａ’は、ユーザが記憶部３３に記憶された複数の教師信号付きサンプル画像データ３４ａの中から任意の一の教師信号付きサンプル画像データ３４ａを選択した際に、二次元グラフ化データ生成部３０によってモデル用二次元グラフ化データ３６ａの中から抽出され、画像表示制御部２０に出力されるものであり、判別用二次元グラフ化データ３６ｂは、画像取得部２２が判別対象画像データ３４ｂを取得した際に、二次元グラフ化データ生成部３０によって、判別用二次元グラフ化データ３６ｂの第２多次元特徴ベクトル９２ｂに基づいて生成され、画像表示制御部２０に出力されるものである。

　また、ステップＳ１１０において、類似二次元グラフ表示要求がなかった場合には、図９のフローチャートに示すように、領域指定部２４から出力された指定領域画像データ３４ｃおよび判別用二次元グラフ化データ３６ｂを読み込む処理を実行する（ステップＳ１２２）。ここで、判別用二次元グラフ化データ３６ｂは、任意の領域が指定された際に、二次元グラフ化データ生成部３０によって、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃに基づいて生成され、画像表示制御部２０に出力されるものである。

　そして、読み込んだ指定領域画像データ３４ｃおよび判別用二次元グラフ化データ３６ｂに基づいて、指定領域画像をウィンドウ６２の第３領域６２ｃ（図１参照）に表示すると共に、図１６示すように、既にウィンドウ６２の第１領域６２ａ（図１参照）に表示されたモデル用二次元グラフＯｇ，Ｎｇと共に判別用二次元グラフＤｇを第１領域６２ａに表示する処理を実行して（ステップＳ１２４）、ステップＳ１０４に戻る。

　さらに、ステップＳ１１２において、バーグラフ表示要求がなかった場合には、図１０のフローチャートに示すように、画像表示制御部２０は、指定領域画像データ３４ｃ、類似画像データ３４ａ’、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃに基づき生成された判別用二次元グラフ化データ３６ｂ、類似二次元グラフ化データ３６ｃを読み込む処理を実行し（ステップＳ１２６）、読み込んだ指定領域画像データ３４ｃ、類似画像データ３４ａ’、判別用二次元グラフ化データ３６ｂ、および、類似二次元グラフ化データ３６ｃに基づいて、指定領域画像をウィンドウ６２の第３領域６２ｃ（図１参照）に表示すると共に、類似画像をウィンドウ６２の第４領域６２ｄ（図１参照）に表示し、既にウィンドウ６２の第１領域６２ａに表示されたモデル用二次元グラフＯｇ，Ｎｇと共に判別用二次元グラフＤｇおよび類似二次元グラフＳｇを第１領域６２ａに表示する処理を実行して（ステップＳ１２８）、ステップＳ１０４に戻る。

　以上説明した本実施の形態に係る判別装置によれば、学習済モデル３５の学習状況（個性）の可視化に適した第２多次元特徴ベクトル９２ａに基づいてグラフ化したモデル用二次元グラフＯｇ，Ｎｇ（図１２、図１３参照）をウィンドウ６２に表示するため、学習済モデル３５が適切な学習状況（個性）にあるか否かを視覚的に確認して評価することができるため、従来に比べて少量のサンプルデータで適切な学習済モデル３５を生成することができる。この結果、適切な学習済モデル３５を簡易かつ迅速に生成することができる。もとより、学習済モデル３５の学習状況（個性）を視覚的に確認することができるため、学習済モデル３５の信頼性が向上する。また、適切な学習済モデル３５を生成することができるため、判別対象を適切に分類可能な閾値の設定範囲を広くとることができる。これにより、外乱、例えば、判別対象の画像を取得する際の外光の影響などによる誤判別を抑制でき、正確な判別結果を安定して得ることができる。なお、第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃを二次元グラフによってグラフ化したため、学習済モデル３５の学習状況（個性）の可視化を簡易に実現することができる。

　また、本実施の形態に係る判別装置によれば、ＯＫ品のモデル用二次元グラフＯｇと、ＮＧ品のモデル用二次元グラフＮｇと、を異なる態様、即ち、ＯＫ品のモデル用二次元グラフＯｇは青系統色で表示し、ＮＧ品のモデル用二次元グラフＮｇは赤系統色で表示するため、学習済モデル３５の学習状況（個性）を視覚的により明瞭なものとすることができる。

　さらに、本実施の形態に係る判別装置によれば、任意の一の教師信号付きサンプル画像データ３４ａや、判別対象画像データ３４ｂ、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃに基づく選択二次元グラフＣｇや判別用二次元グラフＤｇを表示するため、学習済モデル３５の学習状況（個性）の可視化に加えて、任意の一の教師信号付きサンプル画像や判別対象、指定領域画像の分類の判別状況も可視化することができる。なお、選択二次元グラフＣｇや判別用二次元グラフＤｇをモデル用二次元グラフＯｇ，Ｎｇとは異なる態様、即ち、選択二次元グラフＣｇや判別用二次元グラフＤｇを黄系統色で表示するため、任意の一の教師信号付きサンプル画像や判別対象、指定領域画像の分類の判別状況が確認し易いものとなる。

　また、本実施の形態に係る判別装置によれば、類似二次元グラフＳｇを表示するため、任意の領域の特徴を適切に捉えることができているか否かを確認することができる。また、任意の領域の分類の判別において誤判別が発生した場合には、当該誤判別の原因となった教師信号付きサンプル画像データ３４ａを確認することができるため、任意の領域の第２多次元特徴ベクトル９２ｃと、距離最小第２多次元特徴ベクトル９２ａ’（誤判定の原因となるような教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａ）と、の距離が最適となるように、特徴抽出器２６および特徴変換器２７の学習のし直し、あるいは、判別用二次元グラフＤｇと類似二次元グラフＳｇとを確実に分類できるように、分類器２８の演算パラメータの機械学習のし直しや閾値の再設定を行うことで、精度の向上を図ることができる。

　また、本実施の形態に係る判別装置によれば、バーグラフＢｇを表示するため、ユーザは、指定領域画像がＯＫ品であるのか、ＮＧ品であるのかに加えて、ＯＫ品あるいはＮＧ品にどれだけ近いのかを一目で知ることができる。

　また、本実施の形態に係る判別装置によれば、ディープメトリックラーニングを用いて特徴抽出器２６および特徴変換器２７を学習する構成であるため、学習済モデル３５の可視化をより効果的なものとすることができる。

　また、本実施の形態に係る判別装置によれば、特徴抽出器２６および特徴変換器２７と、分類器２８と、を別構成として有するため、判別対象の判別精度の向上に際し、特徴抽出器２６および特徴変換器２７の学習と、分類器２８の学習と、を分けて実施することができる。即ち、判別精度の低さの原因が、特徴抽出器２６および特徴変換器２７による学習精度の低さに起因する場合には特徴抽出器２６および特徴変換器２７のみを学習させ、分類器２８による分類精度の低さに起因する場合には分類器２８のみを学習させることができるため、判別精度の向上を効率良く行うことができる。なお、学習済モデル３５の学習状況（個性）を可視化できるため、判別精度の低さの原因が、特徴抽出器２６および特徴変換器２７による学習精度の低さに起因するのか、分類器２８による分類精度の低さに起因するのかを容易に判断することができる。

　本実施の形態では、判別装置が、判別対象がＯＫ品であるかＮＧ品であるかの判別を行う装置として説明したが、これに限らない。例えば、判別装置が、判別対象を複数の分類のうちのいずれに分類されるかの判別を行う装置に適用しても良い。

　本実施の形態では、モデル用二次元グラフＯｇとモデル用二次元グラフＮｇとを、異なる系統色を用いて表示したが、これに限らない。例えば、モデル用二次元グラフＯｇとモデル用二次元グラフＮｇとを、異なる線種（例えば、実線と破線、実線と一点鎖線、実線と二点鎖線など）や、異なる線幅を用いて表示しても良い。

　本実施の形態では、モデル用二次元グラフＯｇ，Ｎｇと、判別用二次元グラフＤｇおよび選択二次元グラフＣｇと、を異なる系統色で表示したが、これに限らない。例えば、モデル用二次元グラフＯｇ，Ｎｇと、判別用二次元グラフＤｇおよび選択二次元グラフＣｇと、を異なる線種（例えば、実線と破線、実線と一点鎖線、実線と二点鎖線など）や、異なる線幅を用いて表示しても良い。

　本実施の形態では、類似二次元グラフＳｇを、モデル用二次元グラフＯｇ，Ｎｇ、判別用二次元グラフＤｇおよび選択二次元グラフＣｇとは、異なる系統色で表示したが、これに限らない。例えば、類似二次元グラフＳｇを、モデル用二次元グラフＯｇ，Ｎｇ、判別用二次元グラフＤｇおよび選択二次元グラフＣｇとは、異なる線種（例えば、実線と破線、実線と一点鎖線、実線と二点鎖線など）や、異なる線幅を用いて表示しても良い。

　本実施の形態では、バーグラフによって、指定領域画像のＯＫ品に対する近さ（類似度合）をユーザに知らせる構成としたが、これに限らいない。例えば、音色の変化や音の大きさの変化、振動の振幅の大きさの変化、振動の周期の変化、アニメーションの変化などによって、指定領域画像のＯＫ品に対する近さ（類似度合）をユーザに知らせる構成としても良い。なお、振動の大きさの変化や振動の周期の変化によって、指定領域画像のＯＫ品に対する近さ（類似度合）をユーザに知らせる構成の場合には、例えば、マウスを介してユーザの手に振動が伝わる構成とすることができる。

　本実施の形態では、学習済モデル３５の生成段階でＯＫ品に分類された複数の各教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａそれぞれと、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃと、の間の各距離のうち最小となる最小距離に基づいてバーグラフ化データ３９を生成したが、これに限らない。例えば、学習済モデル３５の生成段階でＯＫ品に分類された複数の各教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａそれぞれと、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃと、の間の各距離の平均に基づいてバーグラフ化データ３９を生成しても良い。あるいは、学習済モデル３５の生成段階でＮＧ品に分類された複数の各教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａそれぞれと、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃと、の間の各距離のうち最小となる最小距離や、学習済モデル３５の生成段階でＮＧ品に分類された複数の各教師信号付きサンプル画像データ３４ａの第２多次元特徴ベクトル９２ａそれぞれと、指定領域画像データ３４ｃの第２多次元特徴ベクトル９２ｃと、の間の各距離の平均に基づいてバーグラフ化データ３９を生成しても良い。

　本実施の形態では、第２多次元特徴ベクトル９２ａ，９２ｂ，９２ｃのグラフ化として、縦軸に列番号１，２，３，・・・，ｎ－１，ｎをとり、横軸に特徴量ｆ_１，ｆ_２，ｆ_３，・・・，ｆ_ｎ－１，ｆ_ｎをとった座標系（直交座標系）に、これら特徴量ｆ_１，ｆ_２，ｆ_３，・・・，ｆ_ｎ－１，ｆ_ｎをプロットして曲線ないし直線で繋いだ二次元グラフを用いたが、これに限らない。

　本実施の形態では、判別装置が特徴抽出器２６および特徴変換器２７と、分類器２８と、を別構成として有する構成としたが、判別装置が分類器２８を有さない構成としても良い。この場合、例えば、特徴抽出器２６、特徴変換器２７および距離算定器２９によって判別対象の分類まで行う構成とすれば良い。

　本実施の形態では、特徴抽出器２６として畳み込みニューラルネットワーク（ＣＮＮ）を用いたが、これに限らない。例えば、特徴抽出器２６として、畳み込みニューラルネットワーク（ＣＮＮ）以外のニューラルネットワークを用いても良いし、勾配ブースティングや、サポートベクターマシーン、ランダムフォレスト、ニューラルネットワーク、ガウス正規化、アンサンブル検査などの所謂統計的機械学習を用いても良い。なお、統計的機械学習を用いる場合には、当該統計的機械学習によって抽出される多次元特徴ベクトルをグラフ化して可視化する構成となり、また、判別対象を分類するための分類器２８は必要ない。

　本実施の形態では、入力装置１４は、キーボードおよびマウスとして説明したが、タッチパネル等のポインティングデバイスや、ボタン、ダイヤル、タッチセンサ、タッチパッド等を含んでいても良い。

　本実施の形態では、画像データを含む各種データを記憶する大容量メモリをＨＤＤ１０としたが、これに限らない。画像データを含む各種データを記憶する大容量メモリとして、フラッシュメモリ（ＵＳＢメモリ、ＳＤカードなど）や、ＳＳＤ、フロッピーディスク、ＣＤ、ＤＶＤなどを適用しても良い。

　本実施の形態では、可視化プログラムを含む各種アプリケーションをＨＤＤ１０に記憶する構成としたが、これに限らない。例えば、可視化プログラムを含む各種アプリケーションは、伝送媒体、例えば、インターネットやＬＡＮなどの通信網を介して他コンピュータから本実施の形態に係る判別装置としてのコンピュータ１へ配信される構成としても良い。

　本実施形態は、本発明を実施するための形態の一例を示すものである。したがって、本発明は、本実施形態の構成に限定されるものではない。

１　　　　　　コンピュータ１（判別装置）
２　　　　　　ＣＰＵ
４　　　　　　ＲＯＭ
６　　　　　　ＲＡＭ
８　　　　　　ＧＰＵ
１０　　　　　ＨＤＤ
１２　　　　　入出力インターフェイス
１４　　　　　入力装置
２０　　　　　画像表示制御部
２２　　　　　画像取得部
２４　　　　　領域指定部
２６　　　　　特徴抽出器（特徴抽出器）
２７　　　　　特徴変換器（特徴変換器）
２７ａ　　　　全結合層（複数の全結合層）
２７ｂ　　　　全結合層（複数の全結合層）
２８　　　　　分類器（分類器）
２９　　　　　距離算定器
３０　　　　　二次元グラフ化データ生成部（グラフ生成部）
３１　　　　　選定部（選定部）
３２　　　　　報知部（報知部）
３３　　　　　記憶部
３４ａ　　　　教師信号付きサンプル画像データ（サンプルデータ）
３４ｂ　　　　判別対象画像データ
３４ｃ　　　　指定領域画像データ
３５　　　　　学習済モデル（学習済モデル）
３６ａ　　　　モデル用二次元グラフ化データ（第１グラフ化データ）
３６ａ’　　　選択二次元グラフ化データ（第２グラフ化データ）
３６ｂ　　　　判別用二次元グラフ化データ（第２グラフ化データ、第３グラフ化データ）
３６ｃ　　　　類似二次元グラフ化データ（第４グラフ化データ）
３８　　　　　距離データ
３９　　　　　バーグラフ化データ
６０　　　　　ディスプレイ（表示部）
６２　　　　　ウィンドウ（表示部）
６２ａ　　　　第１領域（第１領域）
６２ｂ　　　　第２領域（第２領域）
６２ｃ　　　　第３領域（第３領域）
６２ｄ　　　　第４領域（第４領域）
８０　　　　　バス
８２　　　　　バスライン
９０ａ　　　　第１多次元特徴ベクトル（第１多次元特徴ベクトル）
９０ｂ　　　　第１多次元特徴ベクトル（第３多次元特徴ベクトル）
９０ｃ　　　　第１多次元特徴ベクトル（第５多次元特徴ベクトル）
９２ａ　　　　第２多次元特徴ベクトル（第２多次元特徴ベクトル）
９２ａ’　　　距離最小第２多次元特徴ベクトル
９２ｂ　　　　第２多次元特徴ベクトル（第４多次元特徴ベクトル）
９２ｃ　　　　第２多次元特徴ベクトル（第６多次元特徴ベクトル）
ｆｎ　　　　　特徴量（特徴量）
ｎ　　　　　　列番号
Ｏｇ　　　　　ＯＫ品のモデル用二次元グラフ（複数のグラフ）
Ｎｇ　　　　　ＮＧ品のモデル用二次元グラフ（複数のグラフ）
Ｓｇ　　　　　類似二次元グラフ（第６多次元特徴ベクトルのグラフと類似するグラフ）
Ｂｇ　　　　　バーグラフ
Ｄｇ　　　　　判別用二次元グラフ（第４多次元特徴ベクトルのグラフ、第６多次元特徴ベクトルのグラフ）
Ｃｇ　　　　　選択二次元グラフ（第４多次元特徴ベクトルのグラフ）

Claims

　複数のサンプルデータを用いて学習される学習済モデルの学習状況を可視化する可視化方法であって、
　（ａ）前記学習済モデルを生成する際、前記複数のサンプルデータそれぞれの第１多次元特徴ベクトルを特徴抽出器によって抽出し、
　（ｂ）抽出した前記第１多次元特徴ベクトルを、複数の全結合層を用いた特徴変換器によって、前記第１多次元特徴ベクトルよりも次元の低い第２多次元特徴ベクトルに変換し、
　（ｃ）変換された前記複数のサンプルデータそれぞれの前記第２多次元特徴ベクトルをグラフ化し、
　（ｄ）生成された複数のグラフを表示部の第１領域に表示する
　可視化方法。
　前記ステップ（ｄ）は、前記複数のグラフのうち同一または類似するグラフ同士を同一または類似する態様で表示し、類似しないグラフを異なる態様で表示するステップである
　請求項１に記載の可視化方法。
　前記ステップ（ｃ）は、前記第２多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化するステップである
　請求項１または２に記載の可視化方法。
　前記ステップ（ａ）は、判別対象の分類の際には、該判別対象の第３多次元特徴ベクトルを前記特徴抽出器によって抽出するステップであり、
　前記ステップ（ｂ）は、抽出された前記第３多次元特徴ベクトルを、前記特徴変換器によって、前記第３多次元特徴ベクトルよりも次元の低い第４多次元特徴ベクトルに変換するステップを含み、
　前記ステップ（ｃ）は、前記第４多次元特徴ベクトルをグラフ化するステップを含み、
　前記ステップ（ｄ）は、前記第４多次元特徴ベクトルのグラフを前記複数のグラフとは異なる態様で前記第１領域に表示するステップを含む
　請求項１ないし３のいずれか１項に記載の可視化方法。
　前記ステップ（ｃ）は、前記第４多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化するステップである
　請求項４に記載の可視化方法。
　前記判別対象の画像を前記表示部の第２領域に表示するステップ（ｅ）と、
　前記判別対象の画像の任意の領域を指定するステップ（ｆ）と、
　をさらに含み、
　前記ステップ（ａ）は、指定された前記任意の領域における第５多次元特徴ベクトルを前記特徴抽出器によって抽出するステップを含み、
　前記ステップ（ｂ）は、抽出された前記第５多次元特徴ベクトルを、前記特徴変換器によって、前記第５多次元特徴ベクトルよりも次元の低い第６多次元特徴ベクトルに変換するステップを含み、
　前記ステップ（ｃ）は、前記第６多次元特徴ベクトルをグラフ化するステップを含み、
　前記ステップ（ｄ）は、前記第６多次元特徴ベクトルのグラフを前記複数のグラフとは異なる態様で前記第１領域に表示するステップを含む
　請求項４または５に記載の可視化方法。
　前記複数のグラフのうち前記第６多次元特徴ベクトルのグラフと類似するグラフを選択するステップ（ｇ）をさらに含み、
　前記ステップ（ｄ）は、前記複数のグラフのうち前記第６多次元特徴ベクトルのグラフと類似するグラフを、前記複数のグラフおよび前記第６多次元特徴ベクトルのグラフとは異なる態様で前記第１領域に表示するステップを含んでいる
　請求項６に記載の可視化方法。
　所定の前記第２多次元特徴ベクトルに基づき基準値を設定するステップ（ｈ）と、
前記第６多次元特徴ベクトルと前記基準値との差を一次元の数値として算出するステップ（ｉ）と、
　算出した該差を視覚的および／または聴覚的および／または触覚的な態様で報知するステップ（ｊ）と、
　をさらに備える請求項６または７に記載の可視化方法。
　前記ステップ（ｃ）は、前記第６多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化するステップである
　請求項６ないし８のいずれか１項に記載の可視化方法。
　前記特徴抽出器および前記特徴変換器は、深層学習を含むニューラルネットワークを用いて学習する
　請求項１ないし９のいずれか１項に記載の可視化方法。
　前記特徴抽出器および前記特徴変換器は、ディープメトリックラーニングを用いて学習する
　請求項１０に記載の可視化方法。
　複数のサンプルデータを用いて学習される学習済モデルの学習状況を可視化するためのプログラムであって、
請求項１ないし１１のいずれか１項に記載の可視化方法の各ステップを１又は複数のコンピュータに実行させるためのプログラム。
　　複数のサンプルデータを用いて学習される学習済モデルの学習状況を可視化する可視化装置であって、
　前記学習済モデルを生成する際、前記複数のサンプルデータそれぞれの第１多次元特徴ベクトルを抽出する特徴抽出器と、
　抽出された前記第１多次元特徴ベクトルを、複数の全結合層を用いて該第１多次元特徴ベクトルよりも次元の低い第２多次元特徴ベクトルに変換する特徴変換器と、
　変換された前記複数のサンプルデータそれぞれの前記第２多次元特徴ベクトルをグラフ化するための複数の第１グラフ化データを生成するグラフ生成部と、
　生成された前記複数の第１グラフ化データに基づき複数のグラフを表示可能な第１領域を有する表示部と、
　を備える可視化装置。
　前記グラフ生成部は、前記第２多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化データを生成する
　請求項１３に記載の可視化装置。
　前記グラフ生成部は、前記複数の第１グラフ化データのうち同一または類似するデータ同士には同一または類似する第１識別情報を付加し、
　前記表示部は、前記第１識別情報が付加された前記複数の第１グラフ化データに基づき前記複数のグラフを前記第１領域に表示する
　請求項１３または１４に記載の可視化装置。
　前記特徴抽出器は、判別対象の分類の際には、該判別対象の第３多次元特徴ベクトルを抽出し、
　前記特徴変換器は、抽出された前記第３多次元特徴ベクトルを、該第３多次元特徴ベクトルよりも次元の低い第４多次元特徴ベクトルに変換し
　前記グラフ生成部は、該第４多次元特徴ベクトルをグラフ化するための第２グラフ化データを生成すると共に、該第２グラフ化データに前記第１識別情報とは異なる第２識別情報を付加し、
　前記表示部は、前記第２識別情報が付加された前記第２グラフ化データに基づき前記第４多次元特徴ベクトルのグラフを前記第１領域に表示する
　請求項１５に記載の可視化装置。
　前記グラフ生成部は、前記第４多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化データを生成する
　請求項１６に記載の可視化装置。
　前記表示部は、前記判別対象の画像を表示可能な第２領域を有すると共に、該第２領域において前記判別対象の画像の任意の領域を指定可能であり、
　前記特徴抽出器は、指定された前記任意の領域における第５多次元特徴ベクトルを抽出し、
　前記特徴変換器は、抽出された前記第５多次元特徴ベクトルを、該第５多次元特徴ベクトルよりも次元の低い第６多次元特徴ベクトルに変換し
　前記グラフ生成部は、前記第６多次元特徴ベクトルをグラフ化するための第３グラフ化データを生成すると共に、該第３グラフ化データに前記第１識別情報とは異なる第３識別情報を付加し、
　前記表示部は、前記第３識別情報が付加された前記第３グラフ化データに基づき前記第６多次元特徴ベクトルのグラフを前記第１領域に表示する
　請求項１６または１７に記載の可視化装置。
　前記複数の第１グラフ化データのうち前記第３グラフ化データと類似する第４グラフ化データを選定し、選定した該第４グラフ化データに、前記第１および第２識別情報とは異なる第４識別情報を付加する選定部をさらに備え、
　前記表示部は、前記第４識別情報が付加された前記第４グラフ化データに基づき前記第６多次元特徴ベクトルのグラフと類似するグラフを前記第１領域に表示する
　請求項１８に記載の可視化装置。
　所定の前記第２多次元特徴ベクトルに基づき基準値を設定すると共に、前記第６多次元特徴ベクトルと該基準値との差を一次元の数値として算出し、算出した該差を視覚的および／または聴覚的および／または触覚的な態様で報知する報知部をさらに備える請求項１８または１９に記載の可視化装置。
前記グラフ生成部は、前記第６多次元特徴ベクトルを次元数分の特徴量の集合として二次元グラフ化データを生成する
　請求項１８ないし２０のいずれか１項に記載の可視化装置。
　前記特徴抽出器および前記特徴変換器は、深層学習を含むニューラルネットワークを用いて学習する
　請求項１３ないし２１のいずれか１項に記載の可視化装置。
　前記特徴抽出器および前記特徴変換器は、ディープメトリックラーニングを用いて学習する
　請求項２２に記載の可視化装置。
　判別対象の分類を判別可能な判別装置であって、
　請求項１３ないし２３のいずれか１項に記載の可視化装置と、
　前記第２多次元特徴ベクトルに基づいて前記複数のサンプルデータを分類する統計的機械学習を用いた分類器と、
　を備える判別装置。
　請求項１６ないし２３のいずれか１項に記載の可視化装置を備える請求項２４に記載の判別装置であって、
　前記分類器は、分類された前記複数のサンプルデータそれぞれの前記第２多次元特徴ベクトルと、前記第４多次元特徴ベクトルと、に基づいて前記判別対象を分類する
　判別装置。
　請求項１８ないし２３のいずれか１項に記載の可視化装置を備える請求項２４に記載の判別装置であって、
　前記分類器は、分類された前記複数のサンプルデータそれぞれの前記第２多次元特徴ベクトルと、前記第６多次元特徴ベクトルと、に基づいて前記任意の領域を分類する
　判別装置。