JP7297465B2 - 情報表示方法、情報表示システム及びプログラム - Google Patents

情報表示方法、情報表示システム及びプログラム Download PDF

Info

Publication number
JP7297465B2
JP7297465B2 JP2019030593A JP2019030593A JP7297465B2 JP 7297465 B2 JP7297465 B2 JP 7297465B2 JP 2019030593 A JP2019030593 A JP 2019030593A JP 2019030593 A JP2019030593 A JP 2019030593A JP 7297465 B2 JP7297465 B2 JP 7297465B2
Authority
JP
Japan
Prior art keywords
plot
dimensional data
point
low
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019030593A
Other languages
English (en)
Other versions
JP2020135631A (ja
Inventor
紗希 酒井
連秀 梁
有 佐藤
博之 水谷
泰介 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to JP2019030593A priority Critical patent/JP7297465B2/ja
Priority to US16/797,546 priority patent/US11314991B2/en
Publication of JP2020135631A publication Critical patent/JP2020135631A/ja
Application granted granted Critical
Publication of JP7297465B2 publication Critical patent/JP7297465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明の実施形態は、情報表示方法、情報表示システム及びプログラムに関する。
機械学習モデルを作成する際の学習方法として、例えば、所定の複数のクラスのうちの１つのクラスに分類した分類結果を示すラベルを画像データ等の元データに対して付与して得られる学習データを用いた学習方法が従来から知られている。また、前述の学習方法により機械学習モデルを作成する際には、当該機械学習モデルの処理により得られる処理結果の精度を高めるために、学習データに含まれるラベルの修正に係る作業が行われる。
しかし、従来から知られている手法によれば、例えば、学習データの総数が膨大である場合等において、前述のラベルの修正に係る作業を効率的に行うことができない、という問題点がある。
日本国特開２０１１－１３７２０号公報
実施形態は、機械学習モデルの作成に用いられる学習データに付与されているラベルの修正に係る作業を効率化することが可能な情報表示方法、情報表示システム及びプログラムを提供することを目的とする。
実施形態の情報表示方法は、コンピュータが、所定の複数のクラスのうちの１つのクラスに分類した分類結果を示すラベルが付与されたＰ（Ｐ≧２）個の画像から得られたＰ個の高次元データを変換することによりＰ個の低次元データを取得し、前記Ｐ個の低次元データを前記ラベルにより示される分類結果に応じて可視化したＰ個のプロット点を有するプロット図を生成し、前記プロット図に含まれる各プロット点のうちの一のプロット点として設定される基準点と、前記Ｐ個の低次元データに含まれる前記基準点と同じクラスに属する各低次元データの中から前記一のプロット点を可視化する際に用いられた一の低次元データに対する差異が小さい順に抽出されたＮ（１≦Ｎ＜Ｐ）個の低次元データに対応するプロット点として設定されるＮ個の参照点と、の距離に応じた補助情報を生成し、前記補助情報を付加した前記プロット図を含む表示画像を生成する。
実施形態に係る情報表示システムの構成の一例を示す図。 実施形態に係る情報表示システムにおける情報処理装置の構成の一例を示す図。 実施形態に係る情報表示システムにおけるサーバ装置の構成の一例を示す図。 サーバ装置に格納されている学習データを説明するための図。 実施形態に係る情報表示システムにおいて行われる処理等の具体例を説明するためのシーケンス図。 実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図。 実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図。 実施形態に係る情報表示システムにおいて行われる処理の具体例を説明するためのフローチャート。 実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図。 実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図。 実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図。 実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図。 実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図。 実施形態に係る情報表示システムにおいて行われる処理の具体例を説明するためのフローチャート。 実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図。 実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図。
以下、実施形態について、図面を参照しつつ説明を行う。
図１から図１５は、実施形態に係るものである。
情報表示システム１は、図１に示すように、情報処理装置１１と、サーバ装置２１と、入力Ｉ／Ｆ（インターフェース）３１と、表示装置４１と、を有して構成されている。図１は、実施形態に係る情報表示システムの構成の一例を示す図である。
情報処理装置１１は、例えば、１つ以上のプロセッサ１１Ａと、記憶媒体１１Ｂと、を有するコンピュータとして構成されている。また、情報処理装置１１は、ネットワークＮＷを介してサーバ装置２１に接続されている。また、情報処理装置１１は、入力Ｉ／Ｆ３１において行われた指示を検出するとともに、当該検出した指示をネットワークＮＷを介してサーバ装置２１へ出力するように構成されている。また、情報処理装置１１は、入力Ｉ／Ｆ３１において行われた指示と、サーバ装置２１からネットワークＮＷを介して出力される表示用データと、に応じた表示画像を生成するための処理を行うとともに、当該生成した表示画像を表示装置４１に表示させるための処理を行うように構成されている。
なお、ネットワークＮＷは、インターネット等のパブリックネットワークであってもよく、または、イントラネット等のプライベートネットワークであってもよい。
サーバ装置２１は、例えば、１つ以上のプロセッサ２１Ａと、記憶媒体２１Ｂと、を有するコンピュータとして構成されている。また、サーバ装置２１は、ネットワークＮＷを介して情報処理装置１１に接続されている。また、サーバ装置２１は、情報処理装置１１からネットワークＮＷを介して出力される指示に応じた表示用データを取得するための処理を行うとともに、当該取得したデータをネットワークＮＷを介して情報処理装置１１へ出力するように構成されている。
入力Ｉ／Ｆ３１は、例えば、マウス、キーボード及びタッチパネル等のような、ユーザにより操作される１つ以上の入力デバイスを有して構成されている。また、入力Ｉ／Ｆ３１は、ユーザの操作に応じた指示を情報処理装置１１へ出力することができるように構成されている。具体的には、入力Ｉ／Ｆ３１は、例えば、２次元散布図を表示装置４１に表示させるための指示、当該２次元散布図における基準点を設定するための指示、及び、当該２次元散布図における参照点の個数を設定するための指示等を情報処理装置１１へ出力することができるように構成されている。
表示装置４１は、例えば、液晶モニタ等を有して構成されている。また、表示装置４１は、情報処理装置１１から出力される表示画像等を画面上に表示することができるように構成されている。
情報処理装置１１は、図２に示すように、通信Ｉ／Ｆ１１１と、表示処理部１２１と、制御部１３１と、を有して構成されている。図２は、実施形態に係る情報表示システムにおける情報処理装置の構成の一例を示す図である。
通信Ｉ／Ｆ１１１は、例えば、ネットワークＮＷに接続可能な通信回路等を具備して構成されている。また、通信Ｉ／Ｆ１１１は、サーバ装置２１の通信Ｉ／Ｆ２１１（後述）との間で有線または無線による通信を行うことができるように構成されている。
表示処理部１２１は、制御部１３１の制御に応じた表示画像を生成し、当該生成した表示画像を表示装置４１へ出力するように構成されている。
制御部１３１は、入力Ｉ／Ｆ３１において行われた指示を検出するとともに、当該検出した指示を通信Ｉ／Ｆ１１１からサーバ装置２１へ送信させるための動作を行うように構成されている。また、制御部１３１は、入力Ｉ／Ｆ３１において行われた指示を送信した後に通信Ｉ／Ｆ１１１において受信された表示用データを取得するように構成されている。また、制御部１３１は、入力Ｉ／Ｆ３１において行われた指示と、通信Ｉ／Ｆ１１１において受信された表示用データと、に応じた表示画像を表示させるための制御を表示処理部１２１に対して行うように構成されている。
なお、本実施形態においては、情報処理装置１１に含まれる各部のうちの少なくとも一部の機能が、プロセッサ１１Ａ及び記憶媒体１１Ｂを含むハードウェアにより実現されるようにしてもよい。または、本実施形態においては、例えば、情報処理装置１１に含まれる各部のうちの少なくとも一部の機能を実現するためのプログラムが記憶媒体１１Ｂに格納されているとともに、プロセッサ１１Ａが当該プログラムを読み込んで実行するようにしてもよい。コンピュータ読取可能な記憶媒体１１Ｂとしては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Ｍａｇｎｅｔ Ｏｐｔｉｃａｌ）やＭＤ（Ｍｉｎｉ Ｄｉｓｋ）などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記憶媒体として含まれる。
サーバ装置２１は、図３に示すように、通信Ｉ／Ｆ２１１と、学習データ格納部２２１と、次元変換処理部２３１と、表示用データ取得部２４１と、を有して構成されている。図３は、実施形態に係る情報表示システムにおけるサーバ装置の構成の一例を示す図である。
通信Ｉ／Ｆ２１１は、例えば、ネットワークＮＷに接続可能な通信回路等を具備して構成されている。また、通信Ｉ／Ｆ２１１は、情報処理装置１１の通信Ｉ／Ｆ１１１との間で有線または無線による通信を行うことができるように構成されている。
学習データ格納部２２１には、機械学習モデルの作成に用いられる学習データとして、１番からＰ番までのうちのいずれかのＩＤ番号が付与されたＰ（Ｐ≧２）個の学習データ２２２が格納されている。また、学習データ格納部２２１に格納されているＰ個の学習データ２２２各々には、例えば、図４に示すように、被写体を撮像して得られた画像データ２２２Ａと、画像データ２２２Ａを所定の複数のクラスのうちの１つのクラスに分類した分類結果を示すラベル２２２Ｂと、が含まれている。図４は、サーバ装置に格納されている学習データを説明するための図である。
具体的には、例えば、所定の製品に生じる傷の種類に係る分類を行うための機械学習モデルを作成する場合には、当該所定の製品を被写体として撮像して得られた画像データ２２２Ａと、画像データ２２２Ａを「線状の傷」、「円状の傷」及び「傷無し」のうちの３つのクラスのうちのいずれかに分類した分類結果を示すラベル２２２Ｂと、を含むようなＰ個の学習データ２２２が学習データ格納部２２１に格納される。
なお、ラベル２２２Ｂにより示される分類結果は、例えば、画像データ２２２Ａに含まれる被写体を目視で確認した作業者の判断により決定される。すなわち、このような場合においては、一の画像データに含まれる被写体を目視で確認した際の判断結果に応じたラベルを当該一の画像に付与するための作業が作業者により行われる。
次元変換処理部２３１は、高次元データ取得部２３２と、低次元データ変換部２３３と、変換結果格納部２３４と、を有して構成されている。
高次元データ取得部２３２は、学習データ格納部２２１から読み込んだＰ個の学習データ２２２各々に対し、画像データ２２２Ａに応じた高次元データを取得するための処理を行うように構成されている。
具体的には、高次元データ取得部２３２は、例えば、学習データ格納部２２１から読み込んだＰ個の学習データ２２２各々に対し、画像データ２２２Ａの各画素の画素値を高次元データとして取得するための処理を行うように構成されている。または、高次元データ取得部２３２は、例えば、学習データ格納部２２１から読み込んだＰ個の学習データ２２２各々に対し、画像データ２２２Ａの各画素の画素値に基づいて算出される特徴ベクトルを高次元データとして取得するための処理を行うように構成されている。
高次元データ取得部２３２は、前述の処理により得られたＰ個の高次元データ各々に対してＩＤ番号及びラベル２２２Ｂを関連付けたデータを低次元データ変換部２３３へ出力するように構成されている。
低次元データ変換部２３３は、高次元データ取得部２３２から出力されるＰ個の高次元データ各々を低次元データに変換するための処理を行うように構成されている。
具体的には、低次元データ変換部２３３は、例えば、高次元データ取得部２３２から出力されるＰ個の高次元データ各々に対し、当該Ｐ個の高次元データのうちの一の高次元データとして取得された各画素値を２次元データに変換するための処理を行うように構成されている。または、低次元データ変換部２３３は、例えば、高次元データ取得部２３２から出力されるＰ個の高次元データ各々に対し、当該Ｐ個の高次元データのうちの一の高次元データとして取得された特徴ベクトルを２次元データに変換するための処理を行うように構成されている。
低次元データ変換部２３３は、前述の処理により得られたＰ個の低次元データ各々におけるデータ間の距離を算出するための処理を行うように構成されている。
具体的には、低次元データ変換部２３３は、例えば、前述の処理により得られたＰ個の２次元データがプロットされた所定の２次元座標系における各プロット点間の距離を算出するための処理を行うように構成されている。
低次元データ変換部２３３は、前述の処理により得られたＰ個の低次元データ各々に対してＩＤ番号及びラベル２２２Ｂを関連付けたデータと、前述の処理により得られた当該Ｐ個の低次元データ各々におけるデータ間の距離を示す距離データと、を併せて変換結果格納部２３４へ出力するように構成されている。
なお、本実施形態によれば、低次元データ変換部２３３により算出される距離が、Ｐ個の低次元データ各々における尤度の差に相当するパラメータとして表される。そのため、本実施形態によれば、低次元データ変換部２３３が、例えば、Ｐ個の低次元データ各々における尤度を含む距離を算出するための処理を行うように構成されていてもよい。また、本実施形態によれば、低次元データ変換部２３３が、例えば、Ｐ個の低次元データ各々におけるデータ間の類似度を含む距離を算出するための処理を行うように構成されていてもよい。
変換結果格納部２３４には、低次元データ変換部２３３から出力されるデータが格納される。具体的には、変換結果格納部２３４には、ＩＤ番号及びラベル２２２Ｂが関連付けられたＰ個の低次元データ２３５が格納されるとともに、当該Ｐ個の低次元データ２３５各々におけるデータ間の距離を示す距離データ２３６が格納される。
すなわち、次元変換処理部２３１は、所定の複数のクラスのうちの１つのクラスに分類した分類結果を示すラベル２２２Ｂが付与されたＰ個の画像から得られたＰ個の高次元データを変換することによりＰ個の低次元データを取得するように構成されている。
表示用データ取得部２４１は、通信Ｉ／Ｆ２１１において受信された指示を検出するとともに、当該検出した指示に応じた表示用データを学習データ格納部２２１及び／または変換結果格納部２３４から取得するように構成されている。また、表示用データ取得部２４１は、学習データ格納部２２１及び／または変換結果格納部２３４から取得した表示用データを通信Ｉ／Ｆ２１１から情報処理装置１１へ送信させるための動作を行うように構成されている。
なお、本実施形態においては、サーバ装置２１に含まれる各部のうちの少なくとも一部の機能が、プロセッサ２１Ａ及び記憶媒体２１Ｂを含むハードウェアにより実現されるようにしてもよい。または、本実施形態においては、例えば、サーバ装置２１に含まれる各部のうちの少なくとも一部の機能を実現するためのプログラムが記憶媒体２１Ｂに格納されているとともに、プロセッサ２１Ａが当該プログラムを読み込んで実行するようにしてもよい。コンピュータ読取可能な記憶媒体２１Ｂとしては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Ｍａｇｎｅｔ Ｏｐｔｉｃａｌ）やＭＤ（Ｍｉｎｉ Ｄｉｓｋ）などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記憶媒体として含まれる。
また、本実施形態は、ネットワークＮＷを介して通信を行うシステムとして実現されるものに限らず、例えば、表示処理部１２１、制御部１３１、学習データ格納部２２１、次元変換処理部２３１及び表示用データ取得部２４１の各部の機能を有するスタンドアロンの装置として実現されるものであってもよい。
続いて、本実施形態の作用について、図５等を参照しつつ説明する。図５は、実施形態に係る情報表示システムにおいて行われる処理等の具体例を説明するためのシーケンス図である。
なお、以降においては、被写体を撮像して得られた画像データ２２２Ａと、画像データ２２２ＡをクラスＣＫ、クラスＣＬ及びクラスＣＭの３つのクラスのうちのいずれかのクラスに分類した分類結果を示すラベル２２２Ｂと、を含むとともに１番からＰ番までのうちのいずれかのＩＤ番号が付与されたＰ個の学習データ２２２が学習データ格納部２２１に格納されているものとして説明する。また、以降においては、ＩＤ番号１番からＰ番までの学習データ２２２各々に対応するＰ個の２次元データがＰ個の低次元データ２３５として変換結果格納部２３４に格納されているものとして説明する。また、以降においては、Ｐ個の２次元データ各々におけるデータ間の距離を示す距離データ２３６が変換結果格納部２３４に格納されているものとして説明を行う。
制御部１３１は、例えば、所定のアプリケーションが起動している状態において、２次元散布図を表示装置４１に表示させるための指示（図５のステップＳ１）が入力Ｉ／Ｆ３１において行われたことを検出した場合に、当該検出した指示を通信Ｉ／Ｆ１１１からサーバ装置２１へ送信させるための動作を行う（図５のステップＳ２）。
表示用データ取得部２４１は、図５のステップＳ２により送信された指示が通信Ｉ／Ｆ２１１において受信されたことを検出した場合に、ＩＤ番号及びラベル２２２Ｂが関連付けられたＰ個の低次元データ２３５を表示用データＤＦＡとして変換結果格納部２３４から取得するための動作を行う（図５のステップＳ３）。また、表示用データ取得部２４１は、図５のステップＳ３により取得した表示用データＤＦＡを通信Ｉ／Ｆ２１１から情報処理装置１１へ送信させるための動作を行う（図５のステップＳ４）。
制御部１３１は、図５のステップＳ２の動作を行った後に通信Ｉ／Ｆ１１１において受信された表示用データＤＦＡを用いて２次元散布図を生成させるとともに、当該２次元散布図を含む表示画像を表示させるための制御を表示処理部１２１に対して行う。なお、表示用データＤＦＡは、例えば、制御部１３１により取得された直後から所定のアプリケーション（図５のステップＳ１において起動されているアプリケーション）を終了させるための指示が制御部１３１により検出されるまでの期間において保持されるものとする。
表示処理部１２１は、制御部１３１により得られた表示用データＤＦＡに含まれるＰ個の低次元データ２３５各々を平面座標系のプロット点（座標点）としてプロットするとともに、当該表示用データＤＦＡに含まれるラベル２２２Ｂにより示される分類結果に応じた異なる色または模様を各プロット点に付加したプロット図に相当する２次元散布図を生成するための処理を行う（図５のステップＳ５）。また、表示処理部１２１は、図５のステップＳ５により生成した２次元散布図を含む表示画像を表示装置４１へ出力するための動作を行う（図５のステップＳ６）。
すなわち、表示処理部１２１は、プロット図生成部としての機能を有し、表示用データＤＦＡに含まれるＰ個の低次元データを当該表示用データＤＦＡに含まれるラベル２２２Ｂにより示される分類結果に応じて可視化したＰ個のプロット点を有するプロット図を生成するように構成されている。
表示装置４１は、図５のステップＳ６を経て情報処理装置１１から出力される表示画像を画面上に表示するための動作を行う（図５のステップＳ７）。
ここで、図５のステップＳ１からステップＳ７までの処理等によれば、例えば、図６Ａに示すような、２次元散布図ＳＰを含む表示画像ＤＧＡが表示装置４１に表示される。図６Ａは、実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図である。
図６Ａの表示画像ＤＧＡにおける２次元散布図ＳＰには、クラスＣＫに属する低次元データ２３５に対応する１つ以上のプロット点ＰＣＫと、クラスＣＬに属する低次元データ２３５に対応する１つ以上のプロット点ＰＣＬと、クラスＣＭに属する低次元データ２３５に対応する１つ以上のプロット点ＰＣＭと、がそれぞれプロットされている。また、図６Ａの表示画像ＤＧＡにおける２次元散布図ＳＰの周辺には、プロット点ＰＣＫ、プロット点ＰＣＬ及びプロット点ＰＣＭに付加された色または模様の違いをユーザに提示するための凡例ＬＥが配置されている。
なお、本実施形態によれば、例えば、後述の表示用データＤＦＣを取得するための動作が表示用データ取得部２４１により行われるとともに、当該表示用データＤＦＣを用いて２次元散布図を含む表示画像を表示させるための制御が制御部１３１により行われた場合に、図６Ｂに示すような表示画像ＤＧＱを生成して出力するための動作が表示処理部１２１により行われるものであってもよい。図６Ｂは、実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図である。
具体的には、表示処理部１２１は、制御部１３１の制御に応じ、例えば、表示用データＤＦＣに含まれるＰ個の低次元データ２３５各々に対応する平面座標系のＰ個の座標点を特定し、当該特定したＰ個の座標点各々に対して当該表示用データＤＦＣに含まれる学習データ２２２から得られたＰ個の画像データ２２２Ａのサムネイルを配置することにより２次元散布図ＳＱを生成し、当該生成した２次元散布図ＳＱを含む表示画像ＤＧＱを表示装置４１へ出力するための動作を行うものであってもよい。
ここで、２次元散布図ＳＱは、２次元散布図ＳＰに含まれる各プロット点を画像データ２２２Ａのサムネイルに置き換えたものと略同様の図として生成される。そのため、本実施形態によれば、２次元散布図ＳＱに含まれる各サムネイルのうちの所望の一のサムネイルを後述の基準点に相当するサムネイルとして設定することができる。また、本実施形態によれば、後述の各補助情報のうちのいずれかを２次元散布図ＳＱに対して付加した表示画像を表示させることもできる。
制御部１３１は、図５のステップＳ７を経て表示装置４１に表示される２次元散布図に含まれる各プロット点の中から、所望の一のプロット点を基準点として設定するための指示（図５のステップＳ８）が入力Ｉ／Ｆ３１において行われたことを検出した場合に、当該所望の一のプロット点に対応する低次元データ２３５のＩＤ番号を表示用データＤＦＡから特定するための処理を行う。また、制御部１３１は、前述のように特定したＩＤ番号が付与された低次元データ２３５を基準点として設定する指示を通信Ｉ／Ｆ１１１からサーバ装置２１へ送信させるための動作を行う（図５のステップＳ９）。
制御部１３１は、図５のステップＳ８の指示により設定された基準点が属するクラスの正否の判断に利用されるプロット点に相当する参照点の個数Ｎ（１≦Ｎ＜Ｐ）を設定するための指示（図５のステップＳ１０）が入力Ｉ／Ｆ３１において行われたことを検出した場合に、当該検出した指示を通信Ｉ／Ｆ１１１からサーバ装置２１へ送信させるための動作を行う（図５のステップＳ１１）。
なお、本実施形態においては、図５のステップＳ１０の指示が行われる前にユーザに提示される参照点の個数Ｎの初期値が、予め設定された固定値であってもよく、または、表示用データＤＦＡに含まれる低次元データ２３５の総数に対する割合として設定される可変値であってもよい。
表示用データ取得部２４１は、図５のステップＳ９により送信された指示が通信Ｉ／Ｆ２１１において受信されたことを検出した場合に、変換結果格納部２３４に格納されているＰ個の低次元データ２３５の中から、当該指示に含まれるＩＤ番号に対応する低次元データ２３５Ｃを特定するための処理を行う。また、表示用データ取得部２４１は、図５のステップＳ１１により送信された指示が通信Ｉ／Ｆ２１１において受信されたことを検出した場合に、変換結果格納部２３４に格納されている距離データ２３６の中から、低次元データ２３５Ｃ及び当該指示に含まれる参照点の個数Ｎに応じた距離データ２３６Ｃを取得するための処理を行う（図５のステップＳ１２）。
ここで、図５のステップＳ１２において行われる処理の具体例について、図７を参照しつつ説明する。図７は、実施形態に係る情報表示システムにおいて行われる処理の具体例を説明するためのフローチャートである。
表示用データ取得部２４１は、変換結果格納部２３４に格納されている距離データ２３６の中から、低次元データ２３５Ｃと同じクラスに属する低次元データ各々におけるデータ間の距離を抽出する（図７のステップＳ１２１）。
表示用データ取得部２４１は、図７のステップＳ１２１により抽出した各距離を基準点に相当する低次元データ２３５Ｃからの距離の昇順にソートする（図７のステップＳ１２２）。なお、図７のステップＳ１２２の処理においては、低次元データ２３５Ｃからの距離とは異なる距離がソート対象から除外されるものとする。
表示用データ取得部２４１は、図７のステップＳ１２２によりソートした各距離のうちの先頭からＮ番目までのＮ個の距離を抽出する（図７のステップＳ１２３）。
表示用データ取得部２４１は、変換結果格納部２３４に格納されているＰ個の低次元データ２３５のＩＤ番号の中から、図７のステップＳ１２３により抽出したＮ個の距離各々に対応するＮ個の低次元データのＩＤ番号を特定する（図７のステップＳ１２４）。
表示用データ取得部２４１は、図７のステップＳ１２３により抽出したＮ個の距離と、図７のステップＳ１２４により特定したＮ個の低次元データのＩＤ番号と、を含む距離データ２３６Ｃを取得する（図７のステップＳ１２５）。
すなわち、以上に述べたような具体例によれば、例えば、参照点の個数Ｎが３に設定された場合に、低次元データ２３５Ｃに最も近い低次元データ２３５Ｃ１までの距離Ｌ１と、当該距離Ｌ１に対応する低次元データ２３５Ｃ１のＩＤ番号と、低次元データ２３５Ｃに２番目に近い低次元データ２３５Ｃ２までの距離Ｌ２と、当該距離Ｌ２に対応する低次元データ２３５Ｃ２のＩＤ番号と、低次元データ２３５Ｃに３番目に近い低次元データ２３５Ｃ３までの距離Ｌ３と、当該距離Ｌ３に対応する低次元データ２３５Ｃ３のＩＤ番号と、を含む距離データ２３６Ｃが取得される。
表示用データ取得部２４１は、図５のステップＳ１２により取得した距離データ２３６Ｃを含む表示用データＤＦＢを通信Ｉ／Ｆ２１１から情報処理装置１１へ送信させるための動作を行う（図５のステップＳ１３）。
制御部１３１は、図５のステップＳ８の指示により設定された基準点と、図５のステップＳ９及びステップＳ１１の動作を行った後に通信Ｉ／Ｆ１１１において受信された表示用データＤＦＢと、に応じた補助情報を生成させるとともに、当該補助情報を２次元散布図に対して付加した表示画像を表示させるための制御を表示処理部１２１に対して行う。なお、表示用データＤＦＢは、例えば、制御部１３１により取得された直後から図５のステップＳ８の指示に応じた基準点とは異なる新たな基準点を設定するための指示が制御部１３１により検出されるまでの期間において保持されるものとする。または、表示用データＤＦＢは、例えば、制御部１３１により取得された直後から図５のステップＳ１０の指示に応じた参照点の個数とは異なる新たな参照点の個数を設定するための指示が制御部１３１により検出されるまでの期間において保持されるものとする。
表示処理部１２１は、制御部１３１の制御に応じた補助情報を生成するための処理を行う（図５のステップＳ１４）とともに、当該補助情報を図５のステップＳ５の処理により生成した２次元散布図に対して付加した表示画像を表示装置４１へ出力するための動作を行う（図５のステップＳ１５）。
表示装置４１は、図５のステップＳ１５を経て情報処理装置１１から出力される表示画像、すなわち、図５のステップＳ１４により生成された補助情報を含む表示画像を画面上に表示するための動作を行う（図５のステップＳ１６）。
ここで、図６Ａの表示画像ＤＧＡが表示されている状態で図５のステップＳ８からステップＳ１６までの処理等が行われた場合には、例えば、図８に示すような表示画像ＤＧＢ、図９に示すような表示画像ＤＧＣ、及び、図１０に示すような表示画像ＤＧＤのうちのいずれかが表示装置４１に表示される。なお、以降においては、特に言及の無い限り、クラスＣＫに属するプロット点ＰＸが基準点として設定されているとともに、参照点の個数Ｎが４に設定されているものとして説明を行う。図８～図１０は、実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図である。
図８の表示画像ＤＧＢにおける２次元散布図ＳＰには、プロット点ＰＸを中心点とし、かつ、４つの参照点のうちの１つに相当するプロット点ＰＲＤを通過する円ＣＲが補助情報として付加されている。換言すると、図８の表示画像ＤＧＢにおける２次元散布図ＳＰに付加された補助情報には、プロット点ＰＸに相当する基準点を中心点とし、かつ、当該基準点と４個の参照点のうちの当該プロット点ＰＸから最も遠いプロット点ＰＲＤに相当する一の参照点との間の距離を半径とする円が含まれている。
そのため、ユーザは、例えば、円ＣＲの範囲内におけるプロット点の個数、及び、当該円ＣＲの範囲内における各プロット点が属するクラス等を確認することにより、プロット点ＰＸが属するクラスの正否、すなわち、当該プロット点ＰＸに対応する低次元データ２２５に関連付けられたラベル２２２Ｂにより示される分類結果の修正の要否を判断することができる。なお、本実施形態においては、図示及び説明の便宜上、円ＣＲの円周上に位置するプロット点と当該円ＣＲの円周よりも内側に位置するプロット点とが、当該円ＣＲの範囲内におけるプロット点として扱われるものとする。
図８の表示例によれば、図５のステップＳ１４の処理として、２次元散布図ＳＰに含まれる各プロット点の中から、プロット点ＰＸを基準点として設定するための処理が表示処理部１２１により行われる。また、図８の表示例によれば、図５のステップＳ１４の処理として、２次元散布図ＳＰに含まれる各プロット点の中から、表示用データＤＦＢに含まれる距離データ２３６における４つのＩＤ番号の低次元データ２３５に対応するプロット点ＰＲＡ、ＰＲＢ、ＰＲＣ及びＰＲＤを４つの参照点として設定するための処理が表示処理部１２１により行われる。また、図８の表示例によれば、図５のステップＳ１４の処理として、表示用データＤＦＢに含まれる距離データ２３６に基づき、４つの参照点に相当する各プロット点の中から、プロット点ＰＸからの距離が最も遠いプロット点ＰＲＤを特定するための処理が表示処理部１２１により行われる。また、図８の表示例によれば、図５のステップＳ１４の処理として、プロット点ＰＸを中心点とし、かつ、当該プロット点ＰＸとプロット点ＰＲＤとの間の距離Ｙを半径とする円ＣＲを補助情報として生成するための処理が表示処理部１２１により行われる。
図９の表示画像ＤＧＢにおける２次元散布図ＳＰには、プロット点ＰＸと、４つの参照点に相当するプロット点ＰＲＡ、ＰＲＢ、ＰＲＣ及びＰＲＤと、の間をそれぞれ結ぶ４つの線分ＳＡ、ＳＢ、ＳＣ及びＳＤが補助情報として付加されている。また、図９の２次元散布図ＳＰにおける４つのプロット点ＰＲＡ、ＰＲＢ、ＰＲＣ及びＰＲＤの近傍には、プロット点ＰＸからの近さを示す番号に相当する「１」、「２」、「３」及び「４」が補助情報として付加されている。換言すると、図９の表示画像ＤＧＢにおける２次元散布図ＳＰに付加された補助情報には、プロット点ＰＸに相当する基準点と４個の参照点との間を結ぶ４個の線分と、当該４個の参照点における当該基準点からの近さを示す番号と、が含まれている。
そのため、ユーザは、例えば、４つの線分ＳＡ、ＳＢ、ＳＣ及びＳＤの長さ、並びに、４つのプロット点ＰＲＡ、ＰＲＢ、ＰＲＣ及びＰＲＤの近傍に表示されている番号等を確認することにより、プロット点ＰＸが属するクラスの正否、すなわち、当該プロット点ＰＸに対応する低次元データ２２５に関連付けられたラベル２２２Ｂにより示される分類結果の修正の要否を判断することができる。
図９の表示例によれば、図５のステップＳ１４の処理として、２次元散布図ＳＰに含まれる各プロット点の中から、プロット点ＰＸを基準点として設定するための処理が表示処理部１２１により行われる。また、図９の表示例によれば、図５のステップＳ１４の処理として、２次元散布図ＳＰに含まれる各プロット点の中から、表示用データＤＦＢに含まれる距離データ２３６における４つのＩＤ番号の低次元データ２３５に対応するプロット点ＰＲＡ、ＰＲＢ、ＰＲＣ及びＰＲＤを４つの参照点として設定するための処理が表示処理部１２１により行われる。また、図９の表示例によれば、図５のステップＳ１４の処理として、表示用データＤＦＢに含まれる距離データ２３６に基づき、２次元散布図ＳＰにおける４つの参照点が、プロット点ＰＸに近い順にプロット点ＰＲＡ、ＰＲＢ、ＰＲＣ及びＰＲＤの順番で位置していることを特定するための処理が表示処理部１２１により行われる。また、図９の表示例によれば、図５のステップＳ１４の処理として、プロット点ＰＸとプロット点ＰＲＡとの間を結ぶ線分ＳＡと、当該プロット点ＰＸとプロット点ＰＲＢとの間を結ぶ線分ＳＢと、当該プロット点ＰＸとプロット点ＰＲＣとの間を結ぶ線分ＳＣと、当該プロット点ＰＸとプロット点ＰＲＤとの間を結ぶ線分ＳＤと、を補助情報として生成するための処理が表示処理部１２１により行われる。また、図９の表示例によれば、図５のステップＳ１４の処理として、プロット点ＰＲＡがプロット点ＰＸに最も近いことを示す番号「１」と、プロット点ＰＲＢが当該プロット点ＰＸに２番目に近いことを示す番号「２」と、プロット点ＰＲＣが当該プロット点ＰＸに２番目に近いことを示す番号「３」と、プロット点ＰＲＤが当該プロット点ＰＸに４番目に近いことを示す番号「４」と、を補助情報として生成するための処理が表示処理部１２１により行われる。
図１０の表示画像ＤＧＤにおける２次元散布図ＳＰには、プロット点ＰＸと、４つの参照点に相当するプロット点ＰＲＡ、ＰＲＢ、ＰＲＣ及びＰＲＤと、の間をそれぞれ結ぶ４つの線分ＳＥ、ＳＦ、ＳＧ及びＳＨが補助情報として付加されている。また、図１０の２次元散布図ＳＰに付加されている４つの線分ＳＥ、ＳＦ、ＳＧ及びＳＨは、プロット点ＰＸからの近さに応じた線幅を有している。換言すると、図１０の表示画像ＤＧＣにおける２次元散布図ＳＰに付加された補助情報には、プロット点ＰＸに相当する基準点と４個の参照点との間を結び、かつ、当該４個の参照点における当該基準点からの近さに応じた線幅または濃度を有する４個の線分が含まれている。
そのため、ユーザは、例えば、４つの線分ＳＥ、ＳＦ、ＳＧ及びＳＨの長さ並びに太さ等を確認することにより、プロット点ＰＸが属するクラスの正否、すなわち、当該プロット点ＰＸに対応する低次元データ２２５に関連付けられたラベル２２２Ｂにより示される分類結果の修正の要否を判断することができる。
図１０の表示例によれば、図５のステップＳ１４の処理として、２次元散布図ＳＰに含まれる各プロット点の中から、プロット点ＰＸを基準点として特定するための処理が表示処理部１２１により行われる。また、図１０の表示例によれば、図５のステップＳ１４の処理として、２次元散布図ＳＰに含まれる各プロット点の中から、表示用データＤＦＢに含まれる距離データ２３６における４つのＩＤ番号の低次元データ２３５に対応するプロット点ＰＲＡ、ＰＲＢ、ＰＲＣ及びＰＲＤを４つの参照点として設定するための処理が表示処理部１２１により行われる。また、図１０の表示例によれば、図５のステップＳ１４の処理として、表示用データＤＦＢに含まれる距離データ２３６に基づき、２次元散布図ＳＰにおける４つの参照点が、プロット点ＰＸに近い順にプロット点ＰＲＡ、ＰＲＢ、ＰＲＣ及びＰＲＤの順番で位置していることを特定するための処理が表示処理部１２１により行われる。また、図１０の表示例によれば、図５のステップＳ１４の処理として、プロット点ＰＸとプロット点ＰＲＡとの間を結ぶ線分ＳＥと、当該プロット点ＰＸとプロット点ＰＲＢとの間を結ぶ線分ＳＦと、当該プロット点ＰＸとプロット点ＰＲＣとの間を結ぶ線分ＳＧと、当該プロット点ＰＸとプロット点ＰＲＤとの間を結ぶ線分ＳＨと、を補助情報として生成するための処理が表示処理部１２１により行われる。また、図１０の表示例によれば、図５のステップＳ１４の処理として、線分ＳＥの線幅をＷＥに設定し、線分ＳＦの線幅をＷＦ（＜ＷＥ）に設定し、線分ＳＧの線幅をＷＧ（＜ＷＦ）に設定し、線分ＳＨの線幅をＷＨ（＜ＷＧ）に設定する処理が表示処理部１２１により行われる。
なお、図１０の表示例においては、４つの線分ＳＥ、ＳＦ、ＳＧ及びＳＨの線幅をプロット点ＰＸからの近さに応じて大きくするような処理が行われるものに限らず、例えば、当該４つの線分の濃度をプロット点ＰＸからの近さに応じて大きくするような処理が行われるものであってもよい。
すなわち、表示処理部１２１は、補助情報生成部としての機能を有し、２次元散布図ＳＰに含まれる各プロット点のうちのプロット点ＰＸとして設定される基準点と、Ｐ個の低次元データに含まれる当該基準点と同じクラスに属する各低次元データの中から当該プロット点ＰＸを可視化する際に用いられた一の低次元データに対する差異が小さい順に抽出されたＮ個の低次元データに対応するプロット点として設定されるＮ個の参照点と、に応じた補助情報を生成するように構成されている。また、表示処理部１２１は、表示画像生成部としての機能を有し、前述のように生成した補助情報を付加した２次元散布図ＳＰを含む表示画像を生成するように構成されている。
本実施形態に係る構成を適宜変形することにより、例えば、１次元データを直線上のプロット点（座標点）としてプロットしたプロット図が表示装置４１に表示されるとともに、入力Ｉ／Ｆ３１の指示により設定された基準点と参照点の個数とに応じた補助情報が当該プロット図に付加されるようにしてもよい。
本実施形態に係る構成を適宜変形することにより、例えば、３次元データを空間座標系のプロット点（座標点）としてプロットしたプロット図が表示装置４１に表示されるとともに、入力Ｉ／Ｆ３１の指示により設定された基準点と参照点の個数とに応じた補助情報が当該プロット図に付加されるようにしてもよい。
本実施形態に係る構成を適宜変形することにより、例えば、２次元散布図とは異なるプロット図が表示装置４１に表示されるとともに、入力Ｉ／Ｆ３１の指示により設定された基準点と参照点の個数とに応じた補助情報が当該プロット図に付加されるようにしてもよい。
以上に述べたように、本実施形態によれば、Ｐ個の２次元データを平面座標系のプロット点（座標点）としてプロットした２次元散布図等のプロット図に対し、ユーザにより設定された基準点と参照点の個数とに応じた補助情報を付加した表示画像を表示させることができる。そのため、本実施形態によれば、ユーザが、２次元散布図等のプロット図に付加された補助情報に基づき、当該プロット図に設定した基準点に対応する低次元データに関連付けられたラベルにより示される分類結果の修正の要否を判断することができる。従って、本実施形態によれば、機械学習モデルの作成に用いられる学習データに付与されているラベルの修正に係る作業を効率化することができる。
本実施形態によれば、例えば、図８の円ＣＲが補助情報として２次元散布図ＳＰに付加されている場合に、当該円ＣＲの範囲内におけるプロット点ＰＸと同じクラスに属するプロット点の個数ＮＡ１が当該円ＣＲの範囲内におけるプロット点の総数ＮＡ２に占める割合ＲＡ（＝ＮＡ１／ＮＡ２）を示す情報を当該２次元散布図ＳＰと併せて表示装置４１に表示させるための処理が表示処理部１２１により行われるようにしてもよい。
そして、前述の処理によれば、例えば、図１１に示すような、前述の割合ＲＡをユーザに提示するための文字列ＣＳを表示画像ＤＧＢに追加した画像に相当する表示画像ＤＧＥが表示装置４１に表示される。すなわち、表示画像ＤＧＥには、円ＣＲの範囲内における基準点と同じクラスに属するプロット点の個数が当該円ＣＲの範囲内におけるプロット点の総数に占める割合を示す情報が含まれている。図１１は、実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図である。
本実施形態によれば、例えば、図８の円ＣＲが補助情報として２次元散布図ＳＰに付加されている場合に、当該円ＣＲの範囲内における各プロット点が属するクラス毎のプロット点の個数を示す情報と、当該円ＣＲの範囲内における一のクラスに属するプロット点の個数ＮＡ３が当該円ＣＲの範囲内におけるプロット点の総数ＮＡ４に占める割合ＲＢ（＝ＮＡ３／ＮＡ４）を示す情報と、を当該２次元散布図ＳＰと併せて表示装置４１に表示させるための処理が表示処理部１２１により行われるようにしてもよい。
そして、前述の処理によれば、例えば、図１２に示すような、一覧情報ＬＪを表示画像ＤＧＢに追加した画像に相当する表示画像ＤＧＦが表示装置４１に表示される。図１２は、実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図である。
図１２の表示画像ＤＧＦにおける一覧情報ＬＪには、円ＣＲの範囲内における各プロット点（９個）のうちのクラスＣＫに属するプロット点の個数（５個）を示す情報と、当該各プロット点のうちのクラスＣＬに属するプロット点の個数（２個）を示す情報と、当該各プロット点のうちのクラスＣＭに属するプロット点の個数（２個）を示す情報と、が含まれている。すなわち、表示画像ＤＧＦには、円ＣＲの範囲内における各プロット点を当該各プロット点が属するクラス毎に分類した情報が含まれている。また、図１２の表示画像ＤＧＦにおける一覧情報ＬＪには、円ＣＲの範囲内におけるクラスＣＫに属するプロット点の個数が当該円ＣＲの範囲内におけるプロット点の総数に占める割合をユーザに提示するための文字列（０．５６）が含まれている。また、図１２の表示画像ＤＧＦにおける一覧情報ＬＪには、円ＣＲの範囲内におけるクラスＣＬに属するプロット点の個数が当該円ＣＲの範囲内におけるプロット点の総数に占める割合をユーザに提示するための文字列（０．２２）が含まれている。また、図１２の表示画像ＤＧＦにおける一覧情報ＬＪには、円ＣＲの範囲内におけるクラスＣＭに属するプロット点の個数が当該円ＣＲの範囲内におけるプロット点の総数に占める割合をユーザに提示するための文字列（０．２２）が含まれている。
そのため、ユーザは、例えば、一覧情報ＬＪに含まれる各情報を参照することにより、プロット点ＰＸが属するクラスの正否を判断することができるとともに、円ＣＲの範囲内における当該プロット点ＰＸ以外の所望の１つ以上のプロット点が属するクラスの正否を判断することができる。
本実施形態によれば、例えば、表示処理部１２１により生成された２次元散布図を用いて基準点を設定するための処理が制御部１３１により行われるようにしてもよい。このような処理の具体例について、図１３を参照しつつ説明する。図１３は、実施形態に係る情報表示システムにおいて行われる処理の具体例を説明するためのフローチャートである。
制御部１３１は、図５のステップＳ５により生成された２次元散布図を表示処理部１２１から取得するとともに、当該取得した２次元散布図を複数の領域に分割するための処理を行う（図１３のステップＳ２０１）。
制御部１３１は、図１３のステップＳ２０１の処理により得られた各領域の中から、全てのプロット点が同じクラスに属する領域を除外するための処理を行う（図１３のステップＳ２０２）。
制御部１３１は、図１３のステップＳ２０２の処理を経て残った各領域の中から、基準点の選択対象となる候補領域を抽出するための処理を行う（図１３のステップＳ２０３）。
具体的には、制御部１３１は、例えば、図１３のステップＳ２０２の処理を経て残った各領域の中から、プロット点各々が属するクラスの種類が最も多い領域を候補領域として抽出する。なお、このような方法を用いた場合には、図１３のステップＳ２０２の処理を経て残った各領域のうちの１つ以上の領域が候補領域として抽出される。
または、制御部１３１は、例えば、図１３のステップＳ２０２の処理を経て残った各領域の中から、プロット点各々が属するクラス間の識別境界が最も複雑な領域を候補領域として抽出する。なお、前述の識別境界の複雑さは、例えば、当該識別境界を示す線分における変曲点の数等により評価することができる。
または、制御部１３１は、例えば、図１３のステップＳ２０２の処理を経て残った各領域の中から、プロット点各々に対応する低次元データを用いて算出した平均値及び分散等のような所定の統計量が所定値を超える領域を候補領域として抽出する。
制御部１３１は、図１３のステップＳ２０３の処理により抽出した候補領域に含まれる各プロット点の中から、基準点に相当する一のプロット点を設定するための処理を行う（図１３のステップＳ２０４）。
具体的には、制御部１３１は、例えば、図１３のステップＳ２０３の処理により抽出した候補領域に含まれる各プロット点の中からランダムに選択した一のプロット点を基準点として設定する。
すなわち、図１３の一連の処理によれば、表示処理部１２１により生成された２次元散布図における基準点が、当該２次元散布図を分割して得られる複数の領域のうち、プロット点各々が属するクラスの種類が最も多い領域、または、プロット点各々が属するクラス間の識別境界が最も複雑な領域のいずれかから選択したプロット点として設定される。
そして、制御部１３１は、例えば、図１３の一連の処理を経て設定した基準点に対応する低次元データ２３５のＩＤ番号を表示用データＤＦＡから特定することにより、図５のステップＳ９と同様の動作を行うことができる。
本実施形態によれば、例えば、表示用データ取得部２４１が、Ｐ個の学習データ２２２と、ＩＤ番号及びラベル２２２Ｂが関連付けられたＰ個の低次元データ２３５と、を含む表示用データＤＦＣを取得するための動作を行うものであってもよい。また、本実施形態によれば、例えば、制御部１３１が、表示用データＤＦＣを用いて２次元散布図及びプレビュー欄を生成させるとともに、当該２次元散布図及び当該プレビュー欄を含む表示画像を表示させるための制御を表示処理部１２１に対して行うものであってもよい。また、本実施形態によれば、例えば、表示処理部１２１が、制御部１３１の制御に応じ、表示用データＤＦＣに含まれるＰ個の低次元データ２３５に応じた２次元散布図と、当該表示用データＤＦＣに含まれる学習データ２２２から得られたＰ個の画像データ２２２Ａのうちの少なくとも１つの画像データのサムネイルを提示するためのプレビュー欄と、を生成するとともに、当該２次元散布図及び当該プレビュー欄を含む表示画像を生成して表示装置４１に出力するための動作を行うものであってもよい。
そして、以上に述べたような各部の動作によれば、例えば、図１４に示すような表示画像ＤＧＧが表示装置４１に表示される。図１４は、実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図である。
図１４の表示画像ＤＧＧには、図６Ａと同様の２次元散布図ＳＰと、図６Ａと同様の凡例ＬＥと、プレビュー欄ＰＣＡと、が含まれている。
表示画像ＤＧＧのプレビュー欄ＰＣＡにおいては、Ｐ個のうちの少なくとも一部の画像データ２２２Ａに対応するサムネイルＳＭＡが一覧表示されている。また、表示画像ＤＧＧのプレビュー欄ＰＣＡにおいては、当該プレビュー欄ＰＣＡに配置されたスクロールバーＳＲＢにより、当該プレビュー欄ＰＣＡ内に一覧表示させるサムネイルを変更することができる。
本実施形態によれば、例えば、制御部１３１が、プレビュー欄ＰＣＡ内に一覧表示されている各サムネイルのうちの一のサムネイルを選択する指示が入力Ｉ／Ｆ３１において行われたことを検出した場合に、当該一のサムネイルに対応する一のプロット点を基準点として設定するための処理を行うものであってもよい。すなわち、このような処理によれば、表示処理部１２１により生成された２次元散布図における基準点が、Ｐ個の画像データ２２２Ａの中から選択された一の画像データに対応するプロット点として設定される。
本実施形態によれば、例えば、プロット点ＰＸが基準点として設定された場合に、表示処理部１２１が、制御部１３１の制御に応じ、表示用データＤＦＢ及びＤＦＣを用いて図１５に示すような表示画像ＤＧＨを生成するとともに、当該生成した表示画像ＤＧＨを表示装置４１に出力するための動作を行うものであってもよい。図１５は、実施形態に係る情報表示システムの処理に応じて表示される表示画像の一例を示す図である。
図１５の表示画像ＤＧＨには、図８と同様の円ＣＲが付加された２次元散布図ＳＰと、図６Ａと同様の凡例ＬＥと、プレビュー欄ＰＣＢと、が含まれている。
プレビュー欄ＰＣＢには、プロット点ＰＸに対応する画像データ２２２ＡのサムネイルＳＭＸと、当該プロット点ＰＸの生成に用いたラベル２２２Ｂにより示される分類結果を直接編集可能な表示形式を有するクラス情報ＣＪＸと、が含まれている。また、プレビュー欄ＰＣＢには、円ＣＲの範囲内におけるプロット点ＰＸ以外の各プロット点に対応する画像データ２２２ＡのサムネイルＳＭＹと、当該各プロット点の生成に用いたラベル２２２Ｂにより示される分類結果を直接編集可能な表示形式を有するクラス情報ＣＪＹと、が含まれている。すなわち、表示画像ＤＧＨには、基準点に対応する一の画像データのサムネイルと、当該基準点が属するクラスを示す情報と、円ＣＲの範囲内における当該基準点以外の各プロット点に対応する画像データのサムネイルと、当該円ＣＲの範囲内における当該基準点以外の各プロット点が属するクラスを示す情報と、が含まれている。また、プレビュー欄ＰＣＢにおいては、サムネイルＳＭＸがサムネイルＳＭＹよりも大きなサイズで表示されている。また、プレビュー欄ＰＣＢには、２次元散布図ＳＰに含まれる各プロット点のうち、所望の一のサムネイルＳＭＹに対応する一のプロット点の表示状態を変更可能なチェックボックスＣＨＢが配置されている。
そのため、ユーザは、例えば、プレビュー欄ＰＣＢに表示されている各情報を参照することにより、プロット点ＰＸが属するクラスの正否を判断することができるとともに、円ＣＲの範囲内における当該プロット点ＰＸ以外の所望の１つ以上のプロット点が属するクラスの正否を判断することができる。
また、ユーザは、プレビュー欄ＰＣＢに表示されている各情報に基づき、例えば、プロット点ＰＸが属するクラスが正しくないと判断した場合に、当該プロット点ＰＸに対応するクラス情報ＣＪＸを修正するための指示を入力Ｉ／Ｆ３１において行うことにより、当該プロット点ＰＸの生成に用いたラベル２２２Ｂにより示される分類結果を修正することができる。
また、ユーザは、プレビュー欄ＰＣＢに表示されている各情報に基づき、例えば、円ＣＲの範囲内における当該プロット点ＰＸ以外の一のプロット点が属するクラスが正しくないと判断した場合に、当該一のプロット点に対応するクラス情報ＣＪＹを修正するための指示を入力Ｉ／Ｆ３１において行うことにより、当該一のプロット点の生成に用いたラベル２２２Ｂにより示される分類結果を修正することができる。
また、ユーザは、例えば、円ＣＲの範囲内におけるプロット点ＰＸ以外の各プロット点の中に重要度の高い１つ以上のプロット点ＰＩ（図１５参照）が含まれている場合に、当該プロット点ＰＩに対応するチェックボックスＣＨＢをチェックする指示を入力Ｉ／Ｆ３１において行うことにより、当該プロット点ＰＸ及び当該プロット点ＰＩ以外の各プロット点を２次元散布図ＳＰに表示させないようにすることができる。
本発明の実施形態を説明したが、これらの実施形態は、例として示したものであり、本発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ 情報表示システム
１１ 情報処理装置
２１ サーバ装置
３１ 入力Ｉ／Ｆ
４１ 表示装置
１１１，２１１ 通信Ｉ／Ｆ
１２１ 表示処理部
１３１ 制御部
２２１ 学習データ格納部
２３１ 次元変換処理部
２３２ 高次元データ取得部
２３３ 低次元データ変換部
２３４ 変換結果格納部
２４１ 表示用データ取得部

Claims (11)

  1. コンピュータが、
    所定の複数のクラスのうちの１つのクラスに分類した分類結果を示すラベルが付与されたＰ（Ｐ≧２）個の画像から得られたＰ個の高次元データを変換することによりＰ個の低次元データを取得し、
    前記Ｐ個の低次元データを前記ラベルにより示される分類結果に応じて可視化したＰ個のプロット点を有するプロット図を生成し、
    前記プロット図に含まれる各プロット点のうちの一のプロット点として設定される基準点と、前記Ｐ個の低次元データに含まれる前記基準点と同じクラスに属する各低次元データの中から前記一のプロット点を可視化する際に用いられた一の低次元データに対する差異が小さい順に抽出されたＮ（１≦Ｎ＜Ｐ）個の低次元データに対応するプロット点として設定されるＮ個の参照点と、の距離に応じた補助情報を生成し、
    前記補助情報を付加した前記プロット図を含む表示画像を生成する
    ことを特徴とする情報表示方法。
  2. 前記補助情報には、前記基準点を中心点とし、かつ、前記基準点と前記Ｎ個の参照点のうちの前記一のプロット点から最も遠いプロット点に相当する一の参照点との間の距離を半径とする円が含まれている
    ことを特徴とする請求項１に記載の情報表示方法。
  3. 前記補助情報には、前記基準点と前記Ｎ個の参照点との間を結ぶＮ個の線分と、前記Ｎ個の参照点における前記基準点からの近さを示す番号と、が含まれている
    ことを特徴とする請求項１に記載の情報表示方法。
  4. 前記補助情報には、前記基準点と前記Ｎ個の参照点との間を結び、かつ、前記Ｎ個の参照点における前記基準点からの近さに応じた線幅または濃度を有するＮ個の線分が含まれている
    ことを特徴とする請求項１に記載の情報表示方法。
  5. 前記表示画像には、前記円の範囲内における前記基準点と同じクラスに属するプロット点の個数が前記円の範囲内におけるプロット点の総数に占める割合を示す情報がさらに含まれている
    ことを特徴とする請求項２に記載の情報表示方法。
  6. 前記表示画像には、前記円の範囲内における各プロット点を当該各プロット点が属するクラス毎に分類した情報がさらに含まれている
    ことを特徴とする請求項２に記載の情報表示方法。
  7. コンピュータが、前記基準点を、前記プロット図を分割して得られる複数の領域のうち、プロット点各々が属するクラスの種類が最も多い領域、または、プロット点各々が属するクラス間の識別境界が最も複雑な領域のいずれかから選択したプロット点として設定する
    ことを特徴とする請求項１に記載の情報表示方法。
  8. コンピュータが、前記基準点を、前記Ｐ個の画像の中から選択された一の画像に対応するプロット点として設定する
    ことを特徴とする請求項１に記載の情報表示方法。
  9. 前記表示画像には、前記基準点に対応する一の画像のサムネイルと、前記基準点が属するクラスを示す情報と、前記円の範囲内における前記基準点以外の各プロット点に対応する画像のサムネイルと、前記円の範囲内における前記基準点以外の各プロット点が属するクラスを示す情報と、が含まれている。
    ことを特徴とする請求項２に記載の情報表示方法。
  10. 所定の複数のクラスのうちの１つのクラスに分類した分類結果を示すラベルが付与されたＰ（Ｐ≧２）個の画像から得られたＰ個の高次元データを変換することによりＰ個の低次元データを取得するように構成された次元変換処理部と、
    前記Ｐ個の低次元データを前記ラベルにより示される分類結果に応じて可視化したＰ個のプロット点を有するプロット図を生成するように構成されたプロット図生成部と、
    前記プロット図に含まれる各プロット点のうちの一のプロット点として設定される基準点と、前記Ｐ個の低次元データに含まれる前記基準点と同じクラスに属する各低次元データの中から前記一のプロット点を可視化する際に用いられた一の低次元データに対する差異が小さい順に抽出されたＮ（１≦Ｎ＜Ｐ）個の低次元データに対応するプロット点として設定されるＮ個の参照点と、の距離に応じた補助情報を生成するように構成された補助情報生成部と、
    前記補助情報を付加した前記プロット図を含む表示画像を生成するように構成された表示画像生成部と、
    を有することを特徴とする情報表示システム。
  11. コンピュータに、
    所定の複数のクラスのうちの１つのクラスに分類した分類結果を示すラベルが付与されたＰ（Ｐ≧２）個の画像から得られたＰ個の高次元データを変換することによりＰ個の低次元データを取得する処理と、
    前記Ｐ個の低次元データを前記ラベルにより示される分類結果に応じて可視化したＰ個のプロット点を有するプロット図を生成する処理と、
    前記プロット図に含まれる各プロット点のうちの一のプロット点として設定される基準点と、前記Ｐ個の低次元データに含まれる前記基準点と同じクラスに属する各低次元データの中から前記一のプロット点を可視化する際に用いられた一の低次元データに対する差異が小さい順に抽出されたＮ（１≦Ｎ＜Ｐ）個の低次元データに対応するプロット点として設定されるＮ個の参照点と、の距離に応じた補助情報を生成する処理と、
    前記補助情報を付加した前記プロット図を含む表示画像を生成する処理と、
    を実行させるプログラム。
JP2019030593A 2019-02-22 2019-02-22 情報表示方法、情報表示システム及びプログラム Active JP7297465B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019030593A JP7297465B2 (ja) 2019-02-22 2019-02-22 情報表示方法、情報表示システム及びプログラム
US16/797,546 US11314991B2 (en) 2019-02-22 2020-02-21 Information display method, information display system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019030593A JP7297465B2 (ja) 2019-02-22 2019-02-22 情報表示方法、情報表示システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2020135631A JP2020135631A (ja) 2020-08-31
JP7297465B2 true JP7297465B2 (ja) 2023-06-26

Family

ID=72141221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019030593A Active JP7297465B2 (ja) 2019-02-22 2019-02-22 情報表示方法、情報表示システム及びプログラム

Country Status (2)

Country Link
US (1) US11314991B2 (ja)
JP (1) JP7297465B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11720621B2 (en) * 2019-03-18 2023-08-08 Apple Inc. Systems and methods for naming objects based on object content
US11989799B2 (en) * 2020-01-10 2024-05-21 Nec Corporation Visualized image display device
JP6976537B1 (ja) * 2020-10-08 2021-12-08 株式会社Fronteo 情報検索装置、情報検索方法および情報検索用プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2002269109A (ja) 2001-03-12 2002-09-20 Hitachi Ltd 薄膜デバイス製造工程管理システムおよび薄膜デバイス製造工程管理方法
US20070043722A1 (en) 2005-08-22 2007-02-22 Macnamee Brian Classification system
JP2011158945A (ja) 2010-01-29 2011-08-18 Casio Computer Co Ltd グラフ表示制御装置及びプログラム
JP2018142097A (ja) 2017-02-27 2018-09-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826124B2 (en) 2002-12-04 2004-11-30 Asulab S.A. Timepiece with power reserve indication
JP5246066B2 (ja) 2009-06-30 2013-07-24 Ｊｆｅスチール株式会社 カテゴリ判定ルールの作成方法、装置およびコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2002269109A (ja) 2001-03-12 2002-09-20 Hitachi Ltd 薄膜デバイス製造工程管理システムおよび薄膜デバイス製造工程管理方法
US20070043722A1 (en) 2005-08-22 2007-02-22 Macnamee Brian Classification system
JP2011158945A (ja) 2010-01-29 2011-08-18 Casio Computer Co Ltd グラフ表示制御装置及びプログラム
JP2018142097A (ja) 2017-02-27 2018-09-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20200272850A1 (en) 2020-08-27
JP2020135631A (ja) 2020-08-31
US11314991B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
JP7297465B2 (ja) 情報表示方法、情報表示システム及びプログラム
CN109643399B (zh) 多类别分类器的交互式性能可视化
US20150242761A1 (en) Interactive visualization of machine-learning performance
US20060171592A1 (en) System and method for digitizing a pattern
US11455502B2 (en) Learning device, classification device, learning method, classification method, learning program, and classification program
JP6612486B1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
CN104995657A (zh) 用于调整图像大小的系统和方法
JP6179224B2 (ja) 画像処理フィルタの作成装置及びその方法
JP6492880B2 (ja) 機械学習装置、機械学習方法、および機械学習プログラム
US9460477B2 (en) Information processing apparatus and method and non-transitory computer readable medium
US12001516B2 (en) Method and assistance system for parameterizing an anomaly detection method
CN115687643A (zh) 一种训练多模态信息抽取模型的方法及信息抽取方法
JP2012190434A (ja) 帳票定義装置、帳票定義方法、プログラム及び記録媒体
JP2009252185A (ja) 情報検索装置、情報検索方法、制御プログラム及び記録媒体
US8606494B2 (en) Map generation apparatus, map generation method and computer readable medium
WO2018173337A1 (ja) 情報提示装置、情報提示方法及びプログラム
US11886513B2 (en) Data analysis system, data analysis method, and computer program product
JP2020016969A (ja) プログラム及び帳票分類装置
JP2019153230A (ja) 情報処理装置及び情報処理プログラム
JP7471540B1 (ja) 学習過程可視化システム、プログラム、情報処理装置、および情報処理方法
US20230103374A1 (en) Visualization method, program for the same, visualization device, and discrimination device having the same
WO2023032317A1 (ja) プログラム、情報処理装置、情報処理方法
KR102157005B1 (ko) 영상 필터링 기법을 적용한 딥러닝 결과영상의 정확성 향상방법
JP6614914B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JPWO2017051538A1 (ja) 情報処理装置、情報処理方法およびプログラム記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230614

R150 Certificate of patent or registration of utility model

Ref document number: 7297465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150