JP7371375B2

JP7371375B2 - 学習モデルの出力結果を２次元で表示するシステム、方法、プログラム、及び記録媒体

Info

Publication number: JP7371375B2
Application number: JP2019133921A
Authority: JP
Inventors: 恭司吉野; 悠紀河村
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2019-07-19
Filing date: 2019-07-19
Publication date: 2023-10-31
Anticipated expiration: 2039-07-19
Also published as: JP2021018607A

Description

本発明は、学習モデルの出力結果を表示することができるシステム、方法、プログラム、及び記録媒体に関する。

ディープランニング等の機械学習に使用される様々な学習モデルが日々開発されている。学習モデルは、ニューラルネットワーク等の公知の機械学習アルゴリズムを利用して生成することができ、様々な学習データを機械学習アルゴリズムに入力することにより、その判定精度を高めることができる。例えば、特許第５８８５８７５号公報に、判定精度の向上、換言すれば、人口知能の成長過程を可視化できるようにしたシステムも従来開発されている。

特許第５８８５８７５号公報

しかしながら、従来の学習モデルは、出力結果をユーザに示すだけで、出力結果の正当性や、そのような出力結果を導き出した判定基準を、ユーザが確認することは不可能であるか、又は、困難であった。
本発明の目的は、このような上記従来技術における欠点を解消することにあり、データを入力した際に、複数のクラス（カテゴリー）の各々にその入力データが属する確からしさを、クラス毎に、複数のクラス間における割合（「識別スコア」とも呼ばれる）として出力することができる学習モデルについて、その学習モデルの出力結果を２次元で表示することができるシステム、方法、プログラム、及び記録媒体を提供することにある。

上記の課題を解決するため、本発明の一態様によるシステムは、複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示システムであって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記システムは、前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する手段であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比を求める、前記手段、前記解析することによって得られた情報に基づいて画像データを形成する手段、及び、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円を、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することによって得られた半径を有する円として、それぞれ表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第２のクラスとの関係において示す識別マークを、前記第１の直線上であって、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記第１の直線を按分した位置に表示する手段、を備える２次元表示システムを特徴として有する。
この態様のシステムによれば、学習モデルの出力結果の正当性を直観的に把握することができ、また、その判定基準を容易に把握することができる。

上記態様のシステムにおいて、前記解析する手段は、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第１のクラスの割合と前記第ｎのクラスの割合の比を求め、前記表示する手段は、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、第ｎ－１の円と互いに重なり合わないように表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第ｎのクラスとの関係において示す識別マークを、前記第１の円の中心と前記第ｎの円の中心を結ぶ第ｎ－１の直線上であって、前記第１の円の中心までの長さと前記第ｎの円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比又は前記第ｎのクラスの割合と前記第１のクラスの割合との比に対応するように前記第ｎ－１の直線を按分した位置に表示する（ｎは、３≦ｎ≦（確認すべきクラスの数）の整数）ものであってもよい。

また、上記の課題を解決するため、本発明の他の一態様によるシステムは、複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示システムであって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記システムは、前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する手段であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比及び前記第２のクラスの割合と前記第３のクラスの割合の比を求める、前記手段、前記解析することによって得られた情報に基づいて画像データを形成する手段、及び、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円を、前記第１の円と前記第２の円については前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することによって得られた半径を有する円として、また、前記第３の円については前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第２の円と前記第３の円が互いに重なり合わないように、それぞれ表示するとともに、前記第１のクラスと前記第２のクラスと前記第３のクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第２の円の中心と前記第３の円の中心との間に形成され得る前記第１の円と同心の円弧を前記第２の円の中心までの円弧の長さと前記第３の円の中心までの円弧の長さの比が前記第３のクラスの割合と前記第２のクラスの割合との比に対応するように按分した位置に対応する位置に表示する手段、を備える２次元表示システムを特徴として有する。
この態様のシステムによれば、学習モデルの出力結果の正当性を直観的に把握することができ、また、その判定基準を容易に把握することができる。

上記態様のシステムにおいて、前記解析する手段は、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合の比を求め、前記表示する手段は、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第ｎ－１の円と互いに重なり合わないように表示するとともに、前記第１のクラスと前記第ｎ－１のクラスと前記第ｎのクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第ｎ－１の円の中心と前記第ｎの円の中心との間に形成され得る前記第１の円と同心の円弧を前記第ｎ－１の円の中心までの円弧の長さと前記第ｎの円の中心までの円弧の長さの比が前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合との比に対応するように按分した位置に対応する位置に表示する（ｎは、４≦ｎ≦（確認すべきクラスの数）の整数）ものであってもよい。

また、上記態様のシステムの前記解析する手段において、前記第１の円の半径と前記第２の円の半径は、前記第１の直線を２分割することによって得られ、前記第２の円の半径は、前記第１の円の半径と同じか又は前記第１の円の半径より小さくてもよい。

また、上記態様のシステムの前記表示する手段において、前記第１の円と前記第ｎの円は、それらの円周において互いに実質的に一点で接した状態で表示されてもよい（ｎは２以上のいずれかの整数）。
更に、上記態様のシステムの前記表示する手段において、前記第ｎの円と前記第ｎ＋１の円は、それらの円周において互いに実質的に一点で接した状態で表示されてもよい（ｎは２以上のいずれかの整数）。

また、上記態様のシステムにおいて、前記第ｎ－１のクラスの割合が前記ｎのクラスの割合と同じであってもよい（ｎは、２≦ｎ≦（確認すべきクラスの数）のいずれかの整数）。

また、上記態様のシステムにおいて、前記識別マークの表示方法を前記割合の大きさに応じて変更する表示変更手段を更に備えるのが好ましい。
更に、上記態様のシステムにおいて、前記表示変更手段によって、前記識別マークを、表示対象として選択された複数の前記クラスにおいて時間を異にして表示してもよい。。
上記態様のシステムにおいて、前記表示変更手段によって、前記識別マークを、前記割合の大きさに対応した大きさで表示してもよい。
上記態様のシステムにおいて、前記表示変更手段によって、前記識別マークを、前記割合の大きさに対応した速度で点滅表示してもよい。

上記態様のシステムにおいて、前記解析する手段は、前記割合が所定の閾値以下の前記クラスを表示対象から除外してもよい。

上記態様のシステムにおいて、前記表示変更手段によって、前記識別マークを評価する評価基準を示す円を前記第１の円と同心状に表示してもよい。

上記態様のシステムにおいて、前記表示変更手段によって、前記第１の円以外の円を、各円の中心付近に円以外の方法で表示してもよい、又は、何も表示しなくてもよい。

上記態様のシステムにおいて、前記学習データには、前記学習モデルの作製用データと前記学習モデルの検証用データが含まれるのが好ましい。

上記の課題を解決するため、本発明の一態様による方法は、複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示方法であって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記方法は、前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する段階であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比を求める、前記段階、前記解析することによって得られた情報に基づいて画像データを形成する段階、及び、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円を、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することによって得られた半径を有する円として、それぞれ表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第２のクラスとの関係において示す識別マークを、前記第１の直線上であって、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記第１の直線を按分した位置に表示する段階、を備えることを特徴として有する。
この態様の方法によれば、学習モデルの出力結果の正当性を直観的に把握することができ、また、その判定基準を容易に把握することができる。

上記態様の方法において、前記解析する段階において、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第１のクラスの割合と前記第ｎのクラスの割合の比を求め、前記表示する段階において、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、第ｎ－１の円と互いに重なり合わないように表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第ｎのクラスとの関係において示す識別マークを、前記第１の円の中心と前記第ｎの円の中心を結ぶ第ｎ－１の直線上であって、前記第１の円の中心までの長さと前記第ｎの円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比又は前記第ｎのクラスの割合と前記第１のクラスの割合との比に対応するように前記第ｎ－１の直線を按分した位置に表示する（ｎは、３≦ｎ≦（確認すべきクラスの数）の整数）ものであってもよい。

また、上記の課題を解決するため、本発明の他の一態様による方法は、複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示方法であって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記方法は、前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する段階であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比及び前記第２のクラスの割合と前記第３のクラスの割合の比を求める、前記段階、前記解析することによって得られた情報に基づいて画像データを形成する段階、及び、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円を、前記第１の円と前記第２の円については前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することによって得られた半径を有する円として、また、前記第３の円については前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第２の円と前記第３の円が互いに重なり合わないように、それぞれ表示するとともに、前記第１のクラスと前記第２のクラスと前記第３のクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第２の円の中心と前記第３の円の中心との間に形成され得る前記第１の円と同心の円弧を前記第２の円の中心までの円弧の長さと前記第３の円の中心までの円弧の長さの比が前記第３のクラスの割合と前記第２のクラスの割合との比に対応するように按分した位置に対応する位置に表示する段階、を備えることを特徴として有する。
この態様の方法によれば、学習モデルの出力結果の正当性を直観的に把握することができ、また、その判定基準を容易に把握することができる。

上記態様の方法において、前記解析する段階において、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合の比を求め、前記表示する段階において、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第ｎ－１の円と互いに重なり合わないように表示するとともに、前記第１のクラスと前記第ｎ－１のクラスと前記第ｎのクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第ｎ－１の円の中心と前記第ｎの円の中心との間に形成され得る前記第１の円と同心の円弧を前記第ｎ－１の円の中心までの円弧の長さと前記第ｎの円の中心までの円弧の長さの比が前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合との比に対応するように按分した位置に対応する位置に表示する（ｎは、４≦ｎ≦（確認すべきクラスの数）の整数）ものであってもよい。

上記の課題を解決するため、本発明の一態様によるプログラムは、複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示プログラムであって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記プログラムは、コンピュータに、前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する機能であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比を求める、前記機能、前記解析することによって得られた情報に基づいて画像データを形成する機能、及び、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円を、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することによって得られた半径を有する円として、それぞれ表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第２のクラスとの関係において示す識別マークを、前記第１の直線上であって、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記第１の直線を按分した位置に表示する機能、を実現させるための２次元表示プログラムを特徴として有する。
この態様のプログラムによれば、学習モデルの出力結果の正当性を直観的に把握することができ、また、その判定基準を容易に把握することができる。

上記態様のプログラムにおいて、コンピュータに、前記解析する機能において、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第１のクラスの割合と前記第ｎのクラスの割合の比を求める機能、前記表示する機能において、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、第ｎ－１の円と互いに重なり合わないように表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第ｎのクラスとの関係において示す識別マークを、前記第１の円の中心と前記第ｎの円の中心を結ぶ第ｎ－１の直線上であって、前記第１の円の中心までの長さと前記第ｎの円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比又は前記第ｎのクラスの割合と前記第１のクラスの割合との比に対応するように前記第ｎ－１の直線を按分した位置に表示する機能（ｎは、３≦ｎ≦（確認すべきクラスの数）の整数）を実現させてもよい。

また、上記の課題を解決するため、複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示プログラムであって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記プログラムは、コンピュータに、前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する機能であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比及び前記第２のクラスの割合と前記第３のクラスの割合の比を求める、前記機能、前記解析することによって得られた情報に基づいて画像データを形成する機能、及び、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円を、前記第１の円と前記第２の円については前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することによって得られた半径を有する円として、また、前記第３の円については前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第２の円と前記第３の円が互いに重なり合わないように、それぞれ表示するとともに、前記第１のクラスと前記第２のクラスと前記第３のクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第２の円の中心と前記第３の円の中心との間に形成され得る前記第１の円と同心の円弧を前記第２の円の中心までの円弧の長さと前記第３の円の中心までの円弧の長さの比が前記第３のクラスの割合と前記第２のクラスの割合との比に対応するように按分した位置に対応する位置に表示する機能、を実現させるための２次元表示プログラムを特徴として有する。
この態様のプログラムによれば、学習モデルの出力結果の正当性を直観的に把握することができ、また、その判定基準を容易に把握することができる。

上記態様のプログラムにおいて、コンピュータに、前記解析する機能において、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合の比を求める機能、前記表示する機能において、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第ｎ－１の円と互いに重なり合わないように表示するとともに、前記第１のクラスと前記第ｎ－１のクラスと前記第ｎのクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第ｎ－１の円の中心と前記第ｎの円の中心との間に形成され得る前記第１の円と同心の円弧を前記第ｎ－１の円の中心までの円弧の長さと前記第ｎの円の中心までの円弧の長さの比が前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合との比に対応するように按分した位置に対応する位置に表示する機能（ｎは、４≦ｎ≦（確認すべきクラスの数）の整数）を実現させてもよい。

上記の課題を解決するため、本発明の一態様によれば、プログラムを記録したコンピュータ読み取り可能な記録媒体を特徴として有する。

本発明によれば、上記従来技術における欠点を解消した、学習モデルの出力結果を２次元で表示することができるシステム、方法、プログラム、及び記録媒体を提供することができる。

本発明の一実施形態によるシステムに用いることができる学習モデルの作製方法を概略的に示した図である。本発明の一実施形態によるシステムのハードウェア構成の一例を、周辺機器である学習モデル及び表示装置とともに概略的に示す図である。システムを使用して表示装置に表示させることができる表示の一例を示す図である。解析部によって実行される動作のフローチャートである。直線表示を行うために解析部によって実行される動作のフローチャートである。表示クラスが２つであると判断された場合の直線表示の一例を示す図である。表示クラスが３つ以上であると判断された場合の直線表示の一例を示す図である。表示クラスが３つ以上であると判断された場合の直線表示の一例を示す図である。表示クラスが３つ以上であると判断された場合の直線表示の一例を示す図である。表示クラスが３つ以上であると判断された場合の直線表示の一例を示す図である。円弧表示を行うために解析部によって実行される動作のフローチャートである。円弧表示の一例を示す図である。円弧表示の一例を示す図である。

以下、添付図面を参照しつつ、本発明の好適な一つの実施形態について説明する。説明の便宜のため好適な実施形態のみを示すが、勿論、これによって本発明を限定しようとするものではない。

図１は、本発明の一実施形態によるシステムに用いることができる学習モデル１の作製方法を概略的に示した図である。学習モデル１は、例えば、入力された画像データが、りんご、ばなな、ぶどう等、いずれの果物の画像データであるか、言い換えれば、その画像データが、いずれの「クラス（カテゴリー）」に属するのかを出力することができ、更に、各「クラス」に属する確からしさを、クラス毎に、複数のクラス間における割合として出力することができる。学習モデル１は、勿論、果物の判定のみに限定されるものではなく、例えば、看者のレントゲン写真から病名を診断するもの、指紋や顔から人物を特定するもの等、様々なタイプの学習モデルが含まれる。

これらの学習モデル１は、例えば、ニューラルネットワーク等の公知の機械学習アルゴリズムを利用して作製することができる。機械学習アルゴリズムに入力する学習データ（教師データ）は、学習モデル１の作製者が予め用意する。例えば、図１に示した果物の判定に用いる学習モデル１であれば、学習データは、写真撮影された各種果物の画像データや、手書きによる各種果物の絵画の画像データ等、果物に関連する画像データということになる。図１に、一例として、リンゴの画像データ１１Ａ、ばななの画像データ１１Ｂ、及びぶどうの画像データ１１Ｃを示した。各クラスそれぞれにつき、少なくとも１０００枚以上の画像データを用意するものとする。これらの画像データには、正解スコアが紐づけられている。紐づけされた正解スコアは、０から１までの数値パラメータを有する。正解スコアは、画像データ１１Ａ、１１Ｂ、１１Ｃの各々につき、基本的には、人の手によって評価され、設定されたものである。学習データには、学習モデルを作製するための作製用データに加え、作製用データを用いて作製された学習モデルを検証するための検証用データを用いることもできる。検証用データを利用することにより、学習モデル１の精度をより向上させることができる。尚、学習データを用いて学習された学習済みの学習モデルに、学習データを入力した場合、基本的に、ほぼ１００％の正解率を有する出力結果が得られることになる。

図２に、本発明の一実施形態によるシステム２のハードウェア構成の一例を、周辺機器としての学習モデル１とともに概略的に示す。

学習モデル１は、「未知のデータ」、即ち、「学習済みの学習モデル１を作製するため、また、検証するために用いた学習データ以外のデータ」が入力されたときに、その「未知のデータ」が、例えば、りんご、ばなな、ぶどう等の、いずれの果物、即ち、「クラス」に属するのかを出力し、更に、各「クラス」に属する確からしさを、クラス毎に、複数のクラス間における「割合」として出力する。図２に示した例では、学習モデル１が、ある「未知のデータ」について、「りんご」、「ばなな」、「ぶどう」のいずれかのクラスに属する割合が高いと判定し、また、これらの３つのクラスの各々に属する確からしさを、各クラス毎に、それら３つのクラス間における割合として、０．６、０．３、０．１として出力した例を示したものである。尚、図２に示した表中の「Ｎｏ．」は、単なる便宜上の表示である（以下、同様）。

システム２を利用することにより、このような「未知のデータ」が複数のクラス（この例では、りんご、ばなな、ぶどう等）の各々に属する確からしさを、クラス毎に、複数のクラス間における割合に応じて表示させることができ、取り分け、本システム２によれば、これらの出力結果を表示装置５に２次元で、従って、ユーザに直観的に把握させることができる方法で、表示させることができる。

表示装置５は、画像データに基づいて表示を行うことができるもの、また、学習モデル１の出力結果を２次元で表示することができるものであれば足り、一般に用いられている、ディスプレイ、タブレット、その他視様々なデバイスを使用することができる。

図３に、システム２を使用して表示装置５に表示させることができる表示の一例を示す。図３の（ａ）は、表示の全体像、図３の（ｂ）は、その部分拡大図である。この表示例は、特に、「りんご」に最も近いと考えられる複数の画像データを含んだ「未知のデータ」についての表示例であり、各クラスはそれぞれ、１つの円１４乃至２０として表示されている。確からしさが最も大きなクラス、言い換えれば、複数のクラス間における割合が最も大きなクラスに対応する円１４、この例では「りんご」に対応する第１の円１４は、他のクラスである「ばなな」や「ぶどう」にそれぞれ対応する第２の円１５や第３の円１６等の中心に配置されており、このような表示によって、「りんご」である可能性が最も高いことを直観的に示すものとなっている。更に、「未知のデータ」に含まれる複数の画像データが、各画像データに対応する「識別マーク」１４ａ、１５ａ、１６ａを、確からしさが最も大きなクラスである「りんご」の絵とし、更に、それらの絵を、複数のクラス間における割合に応じて、第１の円１４の中心から離れた位置に表示している。図３の例では、第１の円１４の中心に近いほど、その識別データが、「りんご」である確からしさが大きいことを意味するものとなっている。更に、「りんご」である確からしさが最も大きいものではあるが、「りんご」以外の、例えば、「ばなな」や「ぶどう」である確からしさも比較的大きい場合には、「ばなな」に対応する第２の円１５や、「ぶどう」に対応する第３の円１６の中心に比較的接近した位置に、識別マーク１５ａ、１６ａ、１７ａをそれぞれ表示するようになっている。このように、システム２を用いて、学習モデル１の出力結果を２次元で表示することにより、ユーザは、学習モデル１の出力結果の正当性を直観的に把握することができる。更に、図３の（ｂ）によく示されているように、識別マークを評価する評価基準を示す付加的な円又はエリア、例えば、「合格エリア」及び「不合格エリア」、更に、それらの間に設けた「準合格エリア」を、第１の円１４と同心状に表示することにより、所定の判定基準に基づいて、各「識別マーク」があるクラスに属する度合いを容易に把握することができるようになっている。

再び図２を参照する。システム２は、主に、入力部３と本体４を含む。入力部３は、ユーザからの指示等を本体４に入力することができるものであれば足り、キーボード、ディスプレイ、スキャナ等の様々な入力インタフェースを含む。ユーザは、入力部３を通じて、少なくとも、以下の事項を指示することができる。
１）「確認すべきクラス」、即ち、複数のクラスの中で、表示装置５に表示させるべきクラス、言い換えれば、表示装置５に表示させることにより、学習モデル１の出力結果の正当性を確認すべきものとユーザによって判断されたクラス、
２）「確認すべきクラス」のうち、割合の値が低く、表示装置５における表示を省略してもよいとユーザが判断したクラスを選別するための割合の値である「閾値」、
３）表示装置５における表示方法、例えば、各クラスを表す円の色や模様、円の半径の大きさ、割合が最も大きなクラス以外のクラスの円の表示の要否、識別マークの色、形状、及び大きさ、識別マークの表示方法等、
４）その他の有用な表示、例えば、図３に示した判定基準。

本体４は、入力部３から入力された指示内容や、学習モデル１から得た出力結果に基づいて、表示装置５における表示に必要な表示データを生成する。この表示データに基づいて、表示装置５にて２次元表示がなされる。

本体４は、一般的なコンピュータの構成、例えば、メモリ、コントローラ、バス、通信インタフェース、各機能を実現するソフトウェアであるプログラムを実行するＣＰＵ４２、当該プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置、当該プログラムを展開するＲＡＭ等（これらを「記録媒体」と称する）４１を含むとともに、更に、受信部４３、解析部２００、画像形成部３００、表示変更部４００、及び出力部４４を含む。

受信部４３は、入力部３や学習モデル１から各種データを受信する。

図４に、解析部２００によって実行される動作のフローチャートを示す。解析部２００は、受信部４３を通じて取得した情報（Ｓ２０２）、例えば、入力部３を通じて入力された指示内容や学習モデル１から得た出力結果を、ＣＰＵ４２等を用いて解析して、画像表示を行うために必要な情報を得る。解析に際し、先ず、「確認すべきクラス」、即ち、複数のクラスの中で、表示装置５に表示させるべきクラスを確認する（Ｓ２０３）。「確認すべきクラス」以外のクラス、即ち、表示する必要がないとされたクラスについては、基本的に、その後の処理は行わない。次いで、入力部３等を通じて「閾値」、即ち、割合の値が低く、表示装置５における表示を省略してもよいとユーザが判断したクラスを選別するための割合の値が設定されている場合には、「確認すべきクラス」のそれぞれの割合を、そのような「閾値」と比較する（Ｓ２０４）。「閾値」以下のクラスは、表示対象から除外し（Ｓ２０５）、その後の処理は行わない。以上の処理を行った後も表示対象とされたクラス（以下、「表示クラス」と呼ぶ）については、それらの「割合」を互いに比較し、「割合」の大きさに従って順序付けを行う（Ｓ２０６）。尚、順序付けの際、相隣り合う「割合」の大きさは互いに同じであってもよく、この場合には、いずれか一方のクラスを大きい又は小さい「割合」を有するものとして取り扱えばよい。次いで、「表示クラス」が２つ以上であるかを判断する（Ｓ２０７）。２つ以上でない場合、即ち、表示クラスが１つである場合は、処理を終了する。一方、２つ以上である場合は、更に、表示クラスが３つ以上であるかを判断する（Ｓ２０８）。３つ以上でない場合、即ち、表示クラスが２つである場合には、処理「Ａ」に進む。一方、３つ以上である場合には、入力部３等を通じて「直線表示」が指示されているか否かを判断する（Ｓ２０９）。「直線表示」が指示等されている場合には、処理「Ａ」に進む。一方、「直線表示」が指示されていない場合、言い換えれば、「円弧表示」が選択されている場合、処理「Ｂ」に進む。

１．直線表示
図５に、図４のＳ２０８において「表示クラス」が２つであると判断され、又は、図４のＳ２０８において「表示クラス」が３つ以上であると判断され且つＳ２０９において「直線表示」が指示されていると判断されて、処理「Ａ」に進んだ場合に、解析部２００によって実行される動作のフローチャートを示す。ここで「直線表示」とは、クラス間における割合に応じて「直線」を分割して示す表示方法を意味する。図６に、図４のＳ２０８において「表示クラス」が２つであると判断された場合の直線表示の一例を、また、図７乃至図１０に、図４のＳ２０８において「表示クラス」が３つ以上であると判断され且つＳ２０９において「直線表示」が指示されていると判断された場合の直線表示の一例を、それぞれ示す。図６は、直線表示の一例を、この直線表示の基になった学習モデルの出力結果と共に示したもの、図７は、直線表示の一例を、この直線表示の基になった学習モデルの出力結果及び計算方法と共に示したものであって、（ａ）は、直線表示の全体像を、（ｂ）は、その部分拡大図を示している。

１－１．表示クラスが２つの直線表示
図５及び図６を参照して、図４のＳ２０８において「表示クラス」が２つであると判断された場合の処理を説明する。先ず、入力部３を通じてユーザ等から表示方法が指示されているか否かを確認する（Ｓ２１０）。ユーザは、識別マーク１５ａ、即ち、表示クラスに未知のデータが属する確からしさを第１のクラスと第２のクラスとの関係において示すマークをどのように表示するか、例えば、クラスに関連するりんごで表示するか単なる点とするか、その表示速度、表示の大きさ等を、入力部３を通じて指示することができる。表示方法が指示されている場合、その情報を、表示変更部４００へ送信する。

次いで、表示クラスの中で割合が最も大きな第１のクラスに対応する第１の円１４と、２番目に大きな第２のクラスに対応する第２の円１５それぞれの中心を決定し、且つ、それら第１の円１４と第２の円１５それぞれの半径を設定するとともに、識別マーク１５ａを表示すべき位置を計算する（Ｓ２１１）。

第１の円１４と第２の円１５の半径は、例えば、第１の円１４と第２の円１５を、それらの中心１４Ａ、１５Ｂ同士を結ぶ第１の直線３０を分割することによって得ることができる。第１の直線３０は、２分割されてもよいし、３分割等されてもよい。分割方法は、例えば、入力部３を通じてユーザによって入力された指示に従う。図６は、２分割、特に、等分した例を示している。この場合、第１の円１４と第２の円１５は、それらの円周において実質的に一点で接した状態で表示される。ここで「実質的に一点で接している」とは、図示のように、ユーザが目視したときに、それらが重なって二重の線として見えない程度に接している状態を意味する。分割された分割片３１、３２の直線距離は、第１の円１４及び第２の円１５それぞれの半径に対応する。この場合、分割によって得られる第１の円１４の半径３１の大きさと第２の円１５の半径３２の大きさは、共に、第１の直線３０の長さより小さい。分割方法は特に限定されないが、識別マーク１５ａ等の見易さの観点から、第２の円１５の半径３２は、第１の円１４の半径３１と同じか又は第１の円１４の半径３１より小さいのが好ましい。これら第１の円１４と第２の円１５の中心１４Ａ、１５Ｂは、このように、例えば、第１の円１４と第２の円１５が、それらの円周において実質的に一点で接した状態となるように、また、少なくともそれら第１の円１４と第２の円１５の円が互いに重なり合わないように表示できるように決定する。

識別マーク１５ａは、第１の円１４と第２の円１５の中心１４Ａ、１５Ａ同士を結ぶ第１の直線３０上に表示するものとし、第１の直線３０における位置は、第１の円１４の中心１４Ａまでの長さと第２の円１５の中心１５Ａまでの長さの比が、第２のクラスの割合、図示の例では「０．３０」と、第１のクラスの割合、図示の例では「０．７０」との比に対応するように、第１の直線３０を按分した位置とする。解析部２００において、第１のクラスの割合と第２のクラスの割合の比を求め、この按分位置を計算する。

その後、表示クラスの数を確認する（Ｓ２１２）。表示クラスは、ここでは２つであるから、処理は終了する。

以上の解析部２００の処理によって得られた情報は、その後、画像形成部３００へ送信される。

１－２．表示クラスが３つ以上の直線表示
図５及び図７乃至図１０を参照して、図４のＳ２０８において「表示クラス」が３つ以上であると判断され且つＳ２０９において「直線表示」が指示されていると判断された場合の処理を説明する。尚、図７の例では、第１の円１４及び第２の円１５に加え、４個の付加的な円１６乃至２０を、図８の例では、２個の付加的な円１６、１７を、更に、図９の例では、８個の付加的な円１６乃至２４を含むものとなっている。尚、図８、図９では、便宜上、図面が簡略化されている。
図５のフローチャートにおいて、Ｓ２１２に至るまでの処理は、図５及び図６を参照して説明した＜表示クラスが２つでの直線表示＞と同じである。従って、ここでは説明を省略する。Ｓ２１２において、ここでは表示クラスの数は３つ以上であるから、Ｓ２１３に進み、ｎに３が設定される。次いで、Ｓ２１４において、表示クラスの中で割合が３番目に大きな第３のクラスに対応する第３の円１６の中心を決定し、且つ、半径を設定するとともに、識別マーク１６ａ、即ち、表示クラスに未知のデータが属する確からしさを第１のクラスと第３のクラスとの関係において示すマークを表示すべき位置を計算する（Ｓ２１４）。

第３の円１６の半径は、第ｎ－１の円、即ち、第２の円１５と同じ大きさとする。
また、第３の円１６の中心１６Ａは、第１の円１４と第２の円１５の中心間距離、即ち、第１の直線３０の長さ分だけ第１の円１４の中心１４Ａから離れた位置とし、このとき、第３の円１６が第２の円１５と互いに重なり合わないように表示できる位置とする。表示された第３の円１６の円周と、第２の円１５の円周は、図７、図９、図１０に示すように、実質的に一点で接していてもよいし、図８に示すように、接していなくてもよい。

識別マーク１６ａは、第１の円の中心と第３の円の中心を結ぶ第ｎ－１の直線、即ち、第２の直線３３上に表示するものとし、第２の直線３３における位置は、例えば、入力部３を通じて入力された指示に従って、第１の円１４の中心１４Ａまでの長さと第３の円１６の中心１６Ａまでの長さの比が、Ａ）第２のクラスの割合と第１のクラスの割合との比に対応するように、又は、Ｂ）第３のクラスの割合と第１のクラスの割合との比に対応するように、第２の直線３３を按分した位置とする。例えば、入力部３を通じて特に指示がない場合には、Ｂ）としてもよい。図７乃至図９は、入力部３を通じて指示があった場合、即ち、Ａ）の例を示している。Ａ）の場合、第１の直線３０に表示した識別マーク１５ａと、第２の直線３３に表示した識別マーク１６ａは、共に、第１の円の中心１４Ａの同心円上に存在することになり、表示方法を変更等しなければ、第２のクラスの割合と第３のクラスの割合との間の関係を認識することができない。表示の変更方法は、例えば、入力部３を通じて得てもよい。

次いで、Ｓ２１５において、ｎを１だけ追加し、ｎの値が表示クラスに達するまで（Ｓ２１６）、Ｓ２１４及びＳ２１５の処理を繰り返す。ｎの値が表示クラスに達したときに、処理を終了する。
以上の解析部２００の処理によって得られた情報は、その後、画像形成部３００へ送信される。

２．円弧表示
図１１に、図４のＳ２０９において「直線表示」が指示されていないと判断された場合、言い換えれば、「円弧表示」が選択されたと判断されて、処理「Ｂ」に進んだ場合に、解析部２００によって実行される動作のフローチャートを示す。ここで「円弧表示」とは、クラス間における割合に応じて「円弧」を分割して示す表示方法を意味する。図１２、図１３は共に、図１１に示したフローチャートの動作を通じて得られる円弧表示の一例である。図１２は、円弧表示の一例を、この円弧表示の基になった学習モデルの出力結果と共に示したものであって、（ａ）は、円弧表示の全体像を、（ｂ）は、その部分拡大図を示している。図１３は、図１２と同様の方法で円弧表示を示す図であるが、ここでは、図４のＳ２０４、Ｓ２０５を通じて、閾値以下の第４のクラス乃至第７のクラスが削除されている例を示している。

２－１．表示クラスが３つの円弧表示
図１１、図１２を参照して、図４のＳ２０９において「円弧表示」が選択されたと判断された場合であって、表示クラスが３つである場合の解析部２００における処理を説明する。先ず、入力部３を通じてユーザ等から表示方法が指示されているか否かを確認する（Ｓ２２０）。ユーザは、識別マーク１５６ａをどのように表示するか、例えば、クラスに関連するりんごで表示するか単なる点とするか、その表示速度、表示の大きさ等を、入力部３を通じて指示することができる。表示方法が指示されている場合、その情報を、表示変更部４００へ送信する。

次いで、表示クラスの中で割合が最も大きな第１のクラスに対応する第１の円１４と、２番目に大きな第２のクラスに対応する第２の円１５と、３番目に大きな第３のクラスに対応する第３の円１６それぞれの中心を決定し、且つ、半径を設定するとともに、識別マーク１５６ａ、即ち、表示クラスに未知のデータが属する確からしさを、第１のクラス、第２のクラス、及び第３のクラスとの関係において示すマークを表示すべき位置を計算する（Ｓ２２１）。

第１の円１４と第２の円１５の半径は、それらの中心１４Ａ、１５Ｂ同士を結ぶ第１の直線３０を分割することによって得ることができる。第１の直線３０は、２分割されてもよいし、３分割等されてもよい。図１２の例は、２分割、特に、等分した例を示している。分割された分割片３１、３２の直線距離は、第１の円１４及び第２の円１５それぞれの半径に対応する。ユーザは、入力部３を通じて、分割方法、更に言えば、第１の円１４及び第２の円１５の半径の大きさを指示することができる。分割によって得られる第１の円１４の半径３１の大きさと第２の円１５の半径３２の大きさは、共に、第１の直線３０の長さより小さい。分割方法は特に限定されないが、識別マーク１５６ａ等の見易さの観点から、第２の円１５の半径３２は、第１の円１４の半径３１と同じか又は第１の円１４の半径３１より小さいのが好ましい。これら第１の円１４と第２の円１５の中心１４Ａ、１５Ｂは、このように、例えば、第１の円１４と第２の円１５が、それらの円周において実質的に一点で接した状態となるように、また、少なくともそれら第１の円１４と第２の円１５の円が互いに重なり合わないように表示できるように決定する。

第３の円１６の半径は、第２の円１５と同じとする。図１２の例では、第１の円１４の半径とも同じものとなっている。
また、第３の円の中心１６Ａは、第１の円１４と第２の円１５の中心間距離、即ち、第１の直線３０の長さ分だけ第１の円１４の中心１４Ａから離れた位置とし、更にこのとき、第３の円１６と第２の円１５が、互いに重なり合わないように表示できる位置とする。表示された第３の円１６の円周と、第２の円１５の円周は、図１２に示すように、実質的に一点で接していてもよいし、接していなくてもよい。

識別マーク１５６ａは、第１の円と同心の円弧３６上に表示するものとし、この円弧３６を形成している円の半径は、第１の円１４の中心１４Ａまでの長さと第２の円１５の中心１５Ａまでの長さの比が、第２のクラスの割合、即ち、図示の例では「０．２０」と、第１のクラスの割合、即ち、図示の例では「０．７０」との比に対応するように、直線３０を按分した位置３８と、第１の円１４の中心１４Ａと、の間の距離３５に相当する長さとする。この円弧３６において、識別マーク１５６ａは、第２の円１５の中心１５Ａと第３の円１６の中心１６Ａとの間に形成され得る、第１の円１４と同心の円弧３７を、第２の円１５の中心１５Ａまでの円弧３７ａの長さと第３の円１６の中心１６Ａまでの円弧３７ｂの長さの比が、第３のクラスの割合、即ち、図示の例では「０．１０」と、第２のクラスの割合、即ち、図示の例では「０．２０」との比に対応するように按分した位置に対応する位置とする。識別マーク１５６ａの位置を決定するため、解析部２００において、第１のクラスの割合と第２のクラスの割合の比、及び、第２のクラスの割合と第３のクラスの割合の比を求め、この按分位置を計算する。

その後、表示クラスの数を確認する（Ｓ２２２）。表示クラスは、ここでは３つであるから、処理は終了する。
以上の解析部２００の処理によって得られた情報は、その後、画像形成部３００へ送信される。

２－２．表示クラスが４つ以上の円弧表示
図１１を更に参照しつつ、図４のＳ２０９において「円弧表示」が選択されたと判断された場合であって、表示クラスが４つ以上である場合の解析部２００における処理を説明する。尚、この処理を通じて得られる円弧表示の例は、特に示していない。表示クラスが４つ以上の場合、Ｓ２２３において、ｎに４が設定される。次いで、表示クラスの中で割合が４番目に大きな第４のクラスに対応する第４の円の中心を決定し、且つ、半径を設定するとともに、識別マーク、即ち、表示クラスに未知のデータが属する確からしさを、第１のクラス、第３のクラス、及び第４のクラスとの関係において示すマークを表示すべき位置を計算する（Ｓ２２４）。

第４の円の半径は、第２の円１５と同じ大きさとする。
また、第４の円の中心は、第１の円１４と第２の円１５の中心間距離、即ち、第１の直線３０の長さ分だけ第１の円１４の中心１４Ａから離れた位置とし、更にこのとき、第４の円が第３の円１６と互いに重なり合わないように表示できる位置とする。表示された第４の円の円周と、第３の円の円周は、実質的に一点で接していなくてもよいし、接していてもよい。

識別マークは、第１の円と同心の円弧上に表示するものとし、この円弧を形成している円の半径は、第１の円１４の中心１４Ａまでの長さと第２の円１５の中心１５Ａまでの長さの比が、第２のクラスの割合と第１のクラスの割合との比に対応するように、直線３０を按分した位置３８と、第１の円１４の中心１４Ａと、の間の距離３５に相当する長さとする。この円弧において、識別マークは、第３の円１６の中心１６Ａと第４の円の中心との間に形成され得る、第１の円１４と同心の円弧を、第３の円１６の中心１６Ａまでの円弧の長さと第４の円の中心までの円弧の長さの比が、第４のクラスの割合と第３のクラスの割合との比に対応するように按分した位置に対応する位置とする。識別マークの位置を決定するため、解析部２００において、第３のクラスの割合と第４のクラスの割合の比を求め、この按分位置を計算する。

次いで、Ｓ２２５において、ｎを１だけ追加し、ｎの値が表示クラスに達するまで（Ｓ２２６）、Ｓ２２４及びＳ２２５の処理を繰り返す。ｎの値が表示クラスに達したときに、処理を終了する。

画像形成部３００は、解析部２００による解析によって得られた情報や、解析部２００を通じて得られた入力部３から入力された指示内容等に基づいて、２次元表示を行うために必要な画像データを形成する。例えば、表示装置５によって表示する際の、各クラスを表示する円の中心座標を決定し、また、識別マークを表示する座標を決定する。更に、記録媒体４１等に記録された画像表示に必要なデータを収集する。画像形成部３００によって形成された画像データは、出力部４４を通じて表示装置５に送信され、表示装置５は、この画像データに基づいて２次元表示を行う。

表示変更部２４は、解析部２００を通じて得られた入力部３から入力された指示内容等に基づいて、画像形成部３００によって形成された画像データを操作し、表示方法を変更する。表示を変更する必要がなければ、特に処理を行う必要はない。例えば、Ｓ２１４において、入力部３を通じて入力された指示に従って、第１の円１４の中心１４Ａまでの長さと第３の円１６の中心１６Ａまでの長さの比を、第２のクラスの割合と第１のクラスの割合との比に対応するように第２の直線３３を按分した位置とした場合（上記Ａ）のケース）には、第２のクラスの割合と第３のクラスの割合とを比較することができるよう、入力部３から入力された指示内容等に従って、識別マーク１５ａ、１６ａの表示方法を割合の大きさに応じて変更することもできる。また、例えば、図７、図８の例に示すように、識別マークを、割合の大きさに対応した大きさで表示してもよいし、図１０に示すように、表示クラス間において時間を異にして表示してもよい（図において、矢印「３９」は、識別マークを表示する順序を意味する、更に言えば、識別マーク１５ａ乃至２０ａは、時計回りに順番に表示してもよい）。また、識別マークを、割合の大きさに対応した速度で点滅表示させてもよい。更に、これらの表示方法を適当に組み合わせても勿論よい。更にまた、図３に示した判定基準を表示させてもよい。

尚、本発明は、上述した実施形態に限定されるわけではなく、その他種々の変更が可能である。
例えば、上述した実施形態では、割合が大きい順に円を表示することとしているが、必ずしもそのような順番で表示する必要はない。互いに重ならなければ、どのような順番で表示してもよい。
また、第１のクラス以外のクラスについては、必ずしも第１のクラスのように円で表示する必要はない。更に言えば、それら第１のクラス以外のクラスに対応する円については、各円の中心付近に円以外の方法で表示してもよいし、又は、何も表示しなくてもよい。円以外の表示として、例えば、図６等に示した、クラスを表す文字による表示とすることもできる。
また、入力部３を通じて指示されるユーザからの指示内容を、システム２が指示するものとしてもよい。
更に、上述した実施形態では、学習モデル１はシステム２とは別個のものとして、一方、表示装置５はシステム２に含むものとして説明しているが、学習モデル１をシステム２に含めてもよいし、逆に、表示装置５をシステム２に含めなくてもよい。後者の場合、本体４における出力部４４が、実質的に表示手段として機能することになる。

本発明の更に別の態様、特徴及び効果は、本発明を実施するよう意図された最良の態様を含めて、多数の特定の実施形態及び実施例を示すだけで、以下の詳細な説明から容易に明らかとなろう。又、本発明は、他の及び異なる実施形態で構成することもでき、そしてその多数の細部は、本発明の精神及び範囲から逸脱せずに、種々の明らかな観点において変更することができる。従って、図面及び説明は、例示に過ぎず、これに限定されるものではない。

１学習モデル
２システム
３入力部
４本体
５表示装置（表示手段）
４４出力部（表示手段）
２００解析部（解析手段）
３００画像形成部（画像データ形成手段）
４００表示変更部

Claims

複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示システムであって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記システムは、
前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する手段であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比を求める、前記手段、
前記解析することによって得られた情報に基づいて画像データを形成する手段、及び
前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円を、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することによって得られた半径を有する円として、それぞれ表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第２のクラスとの関係において示す識別マークを、前記第１の直線上であって、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記第１の直線を按分した位置に表示する手段、
を備えることを特徴とする２次元表示システム。
前記解析する手段は、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第１のクラスの割合と前記第ｎのクラスの割合の比を求め、
前記表示する手段は、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、第ｎ－１の円と互いに重なり合わないように表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第ｎのクラスとの関係において示す識別マークを、前記第１の円の中心と前記第ｎの円の中心を結ぶ第ｎ－１の直線上であって、前記第１の円の中心までの長さと前記第ｎの円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比又は前記第ｎのクラスの割合と前記第１のクラスの割合との比に対応するように前記第ｎ－１の直線を按分した位置に表示する（ｎは、３≦ｎ≦（確認すべきクラスの数）の整数）、
請求項１に記載の２次元表示システム。
前記解析する手段において、前記第１の円の半径と前記第２の円の半径は、前記第１の直線を２分割することによって得られ、前記第２の円の半径は、前記第１の円の半径と同じか又は前記第１の円の半径より小さい、請求項１又は２に記載の２次元表示システム。
複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示システムであって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記システムは、
前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する手段であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比及び前記第２のクラスの割合と前記第３のクラスの割合の比を求める、前記手段、
前記解析することによって得られた情報に基づいて画像データを形成する手段、及び
前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円を、前記第１の円と前記第２の円については前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することによって得られた半径を有する円として、また、前記第３の円については前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第２の円と前記第３の円が互いに重なり合わないように、それぞれ表示するとともに、前記第１のクラスと前記第２のクラスと前記第３のクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第２の円の中心と前記第３の円の中心との間に形成され得る前記第１の円と同心の円弧を前記第２の円の中心までの円弧の長さと前記第３の円の中心までの円弧の長さの比が前記第３のクラスの割合と前記第２のクラスの割合との比に対応するように按分した位置に対応する位置に表示する手段、
を備えることを特徴とする２次元表示システム。
前記解析する手段は、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合の比を求め、
前記表示する手段は、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第ｎ－１の円と互いに重なり合わないように表示するとともに、前記第１のクラスと前記第ｎ－１のクラスと前記第ｎのクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第ｎ－１の円の中心と前記第ｎの円の中心との間に形成され得る前記第１の円と同心の円弧を前記第ｎ－１の円の中心までの円弧の長さと前記第ｎの円の中心までの円弧の長さの比が前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合との比に対応するように按分した位置に対応する位置に表示する（ｎは、４≦ｎ≦（確認すべきクラスの数）の整数）、請求項４に記載の２次元表示システム。
前記表示する手段において、前記第１の円と前記第ｎの円は、それらの円周において互いに実質的に一点で接した状態で表示される（ｎは２以上のいずれかの整数）、請求項１乃至５のいずれかに記載の２次元表示システム。
前記表示する手段において、前記第ｎの円と前記第ｎ＋１の円は、それらの円周において互いに実質的に一点で接した状態で表示される（ｎは２以上のいずれかの整数）、請求項１乃至６のいずれかに記載の２次元表示システム。
前記第ｎ－１のクラスの割合が前記ｎのクラスの割合と同じである（ｎは、２≦ｎ≦（確認すべきクラスの数）のいずれかの整数）、請求項１乃至７のいずれかに記載の２次元表示システム。
前記識別マークの表示方法を前記割合の大きさに応じて変更する表示変更手段を更に備える、請求項１乃至８のいずれかに記載の２次元表示システム。
前記表示変更手段によって、前記識別マークを、表示対象として選択された複数の前記クラスにおいて時間を異にして表示する、請求項９に記載の２次元表示システム。
前記表示変更手段によって、前記識別マークを、前記割合の大きさに対応した大きさで表示する、請求項９又は１０に記載の２次元表示システム。
前記表示変更手段によって、前記識別マークを、前記割合の大きさに対応した速度で点滅表示する、請求項９乃至１１のいずれかに記載の２次元表示システム。
前記表示変更手段によって、前記識別マークを評価する評価基準を示す円を前記第１の円と同心状に表示する、請求項９乃至１２のいずれかに記載の２次元表示システム。
前記表示変更手段によって、前記第１の円以外の円を、各円の中心付近に円以外の方法で表示する、又は、何も表示しない、請求項９乃至１３のいずれかに記載の２次元表示システム。
前記解析する手段は、前記割合が所定の閾値以下の前記クラスを表示対象から除外する、請求項１乃至１４のいずれかに記載の２次元表示システム。
前記学習データには、前記学習モデルの作製用データと前記学習モデルの検証用データが含まれる、請求項１乃至１５のいずれかに記載の２次元表示システム。
複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示方法であって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記方法は、
前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する段階であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比を求める、前記段階、
前記解析することによって得られた情報に基づいて画像データを形成する段階、及び
前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円を、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することによって得られた半径を有する円として、それぞれ表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第２のクラスとの関係において示す識別マークを、前記第１の直線上であって、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記第１の直線を按分した位置に表示する段階、
を備えることを特徴とする２次元表示方法。
前記解析する段階において、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第１のクラスの割合と前記第ｎのクラスの割合の比を求め、
前記表示する段階において、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、第ｎ－１の円と互いに重なり合わないように表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第ｎのクラスとの関係において示す識別マークを、前記第１の円の中心と前記第ｎの円の中心を結ぶ第ｎ－１の直線上であって、前記第１の円の中心までの長さと前記第ｎの円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比又は前記第ｎのクラスの割合と前記第１のクラスの割合との比に対応するように前記第ｎ－１の直線を按分した位置に表示する（ｎは、３≦ｎ≦（確認すべきクラスの数）の整数）、
請求項１７に記載の２次元表示方法。
複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示方法であって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記方法は、
前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する段階であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比及び前記第２のクラスの割合と前記第３のクラスの割合の比を求める、前記段階、
前記解析することによって得られた情報に基づいて画像データを形成する段階、及び
前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円を、前記第１の円と前記第２の円については前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することによって得られた半径を有する円として、また、前記第３の円については前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第２の円と前記第３の円が互いに重なり合わないように、それぞれ表示するとともに、前記第１のクラスと前記第２のクラスと前記第３のクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第２の円の中心と前記第３の円の中心との間に形成され得る前記第１の円と同心の円弧を前記第２の円の中心までの円弧の長さと前記第３の円の中心までの円弧の長さの比が前記第３のクラスの割合と前記第２のクラスの割合との比に対応するように按分した位置に対応する位置に表示する段階、
を備えることを特徴とする２次元表示方法。
前記解析する段階において、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合の比を求め、
前記表示する段階において、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第ｎ－１の円と互いに重なり合わないように表示するとともに、前記第１のクラスと前記第ｎ－１のクラスと前記第ｎのクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第ｎ－１の円の中心と前記第ｎの円の中心との間に形成され得る前記第１の円と同心の円弧を前記第ｎ－１の円の中心までの円弧の長さと前記第ｎの円の中心までの円弧の長さの比が前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合との比に対応するように按分した位置に対応する位置に表示する（ｎは、４≦ｎ≦（確認すべきクラスの数）の整数）、
請求項１９に記載の２次元表示方法。
複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示プログラムであって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記プログラムは、
コンピュータに、
前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する機能であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比を求める、前記機能、
前記解析することによって得られた情報に基づいて画像データを形成する機能、及び
前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円を、前記第１の円の中心と前記第２の円の中心を結ぶ第１の直線を分割することによって得られた半径を有する円として、それぞれ表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第２のクラスとの関係において示す識別マークを、前記第１の直線上であって、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記第１の直線を按分した位置に表示する機能、
を実現させるための２次元表示プログラム。
コンピュータに、
前記解析する機能において、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第１のクラスの割合と前記第ｎのクラスの割合の比を求める機能、
前記表示する機能において、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、第ｎ－１の円と互いに重なり合わないように表示するとともに、前記クラスに前記未知のデータが属する確からしさを前記第１のクラスと前記第ｎのクラスとの関係において示す識別マークを、前記第１の円の中心と前記第ｎの円の中心を結ぶ第ｎ－１の直線上であって、前記第１の円の中心までの長さと前記第ｎの円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比又は前記第ｎのクラスの割合と前記第１のクラスの割合との比に対応するように前記第ｎ－１の直線を按分した位置に表示する機能（ｎは、３≦ｎ≦（確認すべきクラスの数）の整数）、
を実現させるための請求項２１に記載の２次元表示プログラム。
複数のクラスの各々について用意された学習データを利用して機械学習を行った学習済みの学習モデルにデータを入力した際に得られる出力結果を２次元で表示する２次元表示プログラムであって、前記学習モデルは、データを入力した際に、複数の前記クラスの各々に前記データが属する確からしさを前記クラス毎に前記複数のクラス間における割合として出力するものであり、前記プログラムは、
コンピュータに、
前記学習モデルに前記学習データ以外の未知のデータを入力することによって得られる出力結果を解析する機能であって、確認すべき複数の前記クラスを前記割合の大きさに従って順序付けし、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円の中心を決定し、且つ、前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することにより半径を設定し、更に、前記第１のクラスの割合と前記第２のクラスの割合の比及び前記第２のクラスの割合と前記第３のクラスの割合の比を求める、前記機能、
前記解析することによって得られた情報に基づいて画像データを形成する機能、及び
前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合が最も大きな第１のクラスに対応する第１の円と２番目に大きな第２のクラスに対応する第２の円と３番目に大きな第３のクラスに対応する第３の円を、前記第１の円と前記第２の円については前記第１の円の中心と前記第２の円の中心を結ぶ直線を分割することによって得られた半径を有する円として、また、前記第３の円については前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第２の円と前記第３の円が互いに重なり合わないように、それぞれ表示するとともに、前記第１のクラスと前記第２のクラスと前記第３のクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第２の円の中心と前記第３の円の中心との間に形成され得る前記第１の円と同心の円弧を前記第２の円の中心までの円弧の長さと前記第３の円の中心までの円弧の長さの比が前記第３のクラスの割合と前記第２のクラスの割合との比に対応するように按分した位置に対応する位置に表示する機能、
を実現させるための２次元表示プログラム。
コンピュータに、
前記解析する機能において、更に、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円の中心を決定し、前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合の比を求める機能、
前記表示する機能において、更に、前記画像データに基づいて、確認すべき複数の前記クラスの中で前記割合がｎ番目に大きな第ｎのクラスに対応する第ｎの円を、前記第１の円と前記第２の円の中心間距離だけ前記第１の円の中心から離れた位置を中心とし前記第２の円と同じ半径を有する円として、前記第ｎ－１の円と互いに重なり合わないように表示するとともに、前記第１のクラスと前記第ｎ－１のクラスと前記第ｎのクラスとの関係において前記クラスに前記未知のデータが属する確からしさを示す識別マークを、前記第１の円の中心までの長さと前記第２の円の中心までの長さの比が前記第２のクラスの割合と前記第１のクラスの割合との比に対応するように前記直線を按分した位置と前記第１の円の中心との間の距離に相当する長さの半径を有する前記第１の円と同心の円弧上であって、前記第ｎ－１の円の中心と前記第ｎの円の中心との間に形成され得る前記第１の円と同心の円弧を前記第ｎ－１の円の中心までの円弧の長さと前記第ｎの円の中心までの円弧の長さの比が前記第ｎのクラスの割合と前記第ｎ－１のクラスの割合との比に対応するように按分した位置に対応する位置に表示する機能（ｎは、４≦ｎ≦（確認すべきクラスの数）の整数）、
を実現させるための請求項２３に記載の２次元表示プログラム。
請求項２１乃至２４のいずれかに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。