JPWO2019151411A1 - 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム - Google Patents

学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム Download PDF

Info

Publication number
JPWO2019151411A1
JPWO2019151411A1 JP2019569559A JP2019569559A JPWO2019151411A1 JP WO2019151411 A1 JPWO2019151411 A1 JP WO2019151411A1 JP 2019569559 A JP2019569559 A JP 2019569559A JP 2019569559 A JP2019569559 A JP 2019569559A JP WO2019151411 A1 JPWO2019151411 A1 JP WO2019151411A1
Authority
JP
Japan
Prior art keywords
information
learning
input
data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019569559A
Other languages
English (en)
Other versions
JP7257682B2 (ja
Inventor
美紀 長谷山
美紀 長谷山
小川　貴弘
貴弘 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hokkaido University NUC
Original Assignee
Hokkaido University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hokkaido University NUC filed Critical Hokkaido University NUC
Publication of JPWO2019151411A1 publication Critical patent/JPWO2019151411A1/ja
Application granted granted Critical
Publication of JP7257682B2 publication Critical patent/JP7257682B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

入力情報に対応した学習パターンの生成のために必要な学習用データの量を低減しつつ、入力情報に対応した有意な出力情報を精度よく出力させるための学習パターン情報を生成することが可能な学習装置を提供する。画像データＧＤに対応した有意な出力を得るための学習パターンデータＰＤであって、画像データＧＤを用いた深層学習処理の結果に対応する学習パターンデータＰＤを生成する場合に、画像データＧＤに対応する外部データＢＤを外部から取得し、画像データＧＤの特徴を示す画像特徴データＧＣと、外部データＢＤの特徴を示す外部特徴データＢＣと、の間の相関に基づいて画像特徴データＧＣを変換し、変換画像特徴データＭＣを生成する。その後、生成された変換画像特徴データＭＣを用いて深層学習処理を実行し、学習パターンデータＰＤを生成する。

Description

本発明は、学習装置、学習方法及び当該学習装置用のプログラム、並びに、情報出力装置、情報出力方法及び当該情報出力装置用のプログラムの技術分野に属する。より詳細には、画像情報等の入力情報に対応した有意な出力情報を出力するための学習パターン情報を生成する学習装置、学習方法及び当該学習装置用のプログラム、並びに、当該生成された学習パターン情報を用いて出力情報を出力する情報出力装置、情報出力方法及び情報出力用プログラムの技術分野に属する。
近年、機械学習、特に深層学習に関する研究が活発に行われている。このような研究を開示した先行技術文献としては、例えば下記非特許文献１及び下記非特許文献２が挙げられる。これらの研究では、極めて高精度な認識や分類が可能である。
Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning", Nature, vol. 521, pp. 436-444, 2015 J. Schmidhuber, "Deep learning in neural networks: An overview", Neural Networks, vol. 61, pp. 85-117, 2015
しかしながら、上記二つの非特許文献に記載されている技術に対しては、上記認識や分類の高精度化のためには、例えば十万単位の大量の学習用データを必要とすること、及び、認識・分類結果に対する過程が人間と大きく異なること、が問題点として挙げられている。そして現状では、これらを同時に解決可能とする技術の実現には至っていない。またこれらの問題は、個人の嗜好や専門知識に関連する課題において顕著となり、深層学習の実利用を検討する際の障壁ともなっている。
なお、少ない学習用データからの学習を可能とするための方法として、学習済みの識別器から学習をし直す、いわゆる「Fine-tuning」なる手法等が知られているが、これらについても、学習用データの量の低減にも限界があり、学習の精度の向上との両立は困難である。
そこで本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例は、上記深層学習における層数、及び当該深層学習の結果としての学習パターンのパターン数を削減することで上記学習用データの低減が可能な学習装置、学習方法及び当該学習装置用のプログラム、並びに、生成された学習パターン情報を用いて上記出力情報を出力することが可能な情報出力装置、情報出力方法及び情報出力用プログラムを提供することにある。
上記の課題を解決するために、請求項１に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置において、前記入力情報に対応する外部情報を外部から取得する入力インターフェース等の外部情報取得手段と、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換部等の変換手段と、前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する学習パラメータ決定部等の深層学習手段と、を備える。
上記の課題を解決するために、請求項６に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であり、且つ、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置であって、入力インターフェース等の外部情報取得手段と、変換部等の変換手段と、学習パラメータ決定部等の深層学習手段と、を備える学習装置において実行される学習方法であって、前記入力情報に対応する外部情報を前記外部情報取得手段により外部から取得する外部情報取得工程と、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記変換手段により前記入力特徴情報を変換し、変換入力特徴情報を生成する変換工程と、前記生成された変換入力特徴情報を用いて前記深層学習手段により前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習工程と、を含む。
上記の課題を解決するために、請求項７に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置に含まれるコンピュータを、前記入力情報に対応する外部情報を外部から取得する外部情報取得手段、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換手段、及び、前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習手段、として機能させる。
請求項１、請求項６又は請求項７のいずれか一項に記載の発明によれば、入力情報に対応した外部情報との相関を用いて学習パターン情報を生成することで、入力情報に対応した学習パターン情報を生成するための深層学習処理における層数、及び学習パターン情報としてのパターン数を削減することができる。よって学習パターン情報の生成のために必要な学習用データとしての入力情報の量を低減しつつ、当該入力情報に対応した有意な出力情報を出力させることができる。
上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の学習装置において、前記外部情報は、前記生成された学習パターン情報を用いた前記出力情報の生成に関わる人の当該生成に関わる活動に起因して電気的に生成される外部情報であるように構成される。
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、外部情報が、学習パターン情報を用いた出力情報の生成に関わる人の活動に起因して電気的に生成される外部情報であるので、当該人の専門性や嗜好と当該入力情報の双方に対応した学習パターン情報を生成することができる。
上記の課題を解決するために、請求項３に記載の発明は、請求項２に記載の学習装置において、前記外部情報は、前記活動により生じた前記人の脳活動に対応した脳活動情報、又は、前記活動に含まれる前記人の視認行動に対応した視認情報の少なくともいずれか一方を含むように構成される。
請求項３に記載の発明によれば、請求項２に記載の発明の作用に加えて、外部情報が、学習パターン情報を用いた出力情報の生成に関わる人の活動により生じた当該人の脳活動に対応した脳活動情報、又は、当該活動に含まれる当該人の視認行動に対応した視認情報の少なくともいずれか一方を含むので、当該人の専門性や嗜好により対応した学習パターン情報を生成することができる。
上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の学習装置において、前記相関は、前記入力特徴情報と、前記外部特徴情報と、の間の正準相関分析処理の結果たる相関であり、前記変換手段は、当該結果に基づいて前記入力特徴情報を変換して前記変換入力特徴情報を生成するように構成される。
請求項４に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、入力特徴情報と、外部特徴情報と、の間の正準相関分析処理の結果に基づいて入力特徴情報を変換して変換入力特徴情報を生成するので、より外部情報に相関した変換入力特徴情報を生成して学習パターン情報の生成に供させることができる。
上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶部等の記憶手段と、前記入力情報を取得する入力インターフェース等の取得手段と、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する分類部等の情報出力手段と、を備える。
上記の課題を解決するために、請求項８に記載の発明は、請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶部等の記憶手段と、入力インターフェース等の取得手段と、分類部等の出力手段と、を備える情報出力装置において実行される情報出力方法であって、前記入力情報を前記取得手段により取得する取得工程と、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を前記出力手段により出力する出力工程と、を含む。
上記の課題を解決するために、請求項９に記載の発明は、請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置に含まれるコンピュータを、前記生成された学習パターン情報を記憶する記憶手段、前記入力情報を取得する取得手段、及び、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する出力手段、として機能させる。
請求項５、請求項８又は請求項９のいずれか一項に記載の発明によれば、請求項１から請求項４のいずれか一項に記載の発明の作用に加えて、入力情報と、記憶されている学習パターン情報と、に基づいて、入力情報に対応した出力情報を出力するので、入力情報により対応した出力情報を出力することができる。
本発明によれば、入力情報に対応した外部情報との相関を用いて学習パターン情報を生成することで、入力情報に対応した学習パターン情報を生成するための深層学習処理における層数、及び学習パターン情報としてのパターン数を削減することができる。
従って、学習パターン情報の生成のために必要な学習用データとしての入力情報の量を低減しつつ、当該入力情報に対応した有意な出力情報を精度よく出力させることができる。
実施形態に係る劣化判定システムの概要構成を示すブロック図である。 実施形態に係る劣化判定システムに含まれる学習装置の細部構成を示すブロック図である。 実施形態に係る学習処理における正準相関分析処理を示す概念図である。 実施形態に係る学習処理の全体を示す概念図である。 実施形態に係る劣化判定システムに含まれる検査装置の細部構成を示すブロック図である。 実施形態に係る劣化判定処理をそれぞれ示すフローチャートであり、（ａ）は実施形態に係る学習処理を示すフローチャートであり、（ｂ）は実施形態に係る検査処理を示すフローチャートである。
次に、本発明を実施するための形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、例えば橋脚等の建築物や構造物の劣化の状態を、それらの外観を撮影して得られる画像データを用いて判定する劣化判定システムに対して本発明を適用した場合の実施の形態である。このとき以下の説明においては、上記建築物又は構造物を、単に「構造物」と称する。
また、図１は実施形態に係る劣化判定システムの概要構成を示すブロック図であり、図２は当該劣化判定システムに含まれる学習装置の細部構成を示すブロック図である。更に、図３は実施形態に係る学習処理における正準相関分析処理を示す概念図であり、図４は当該学習処理の全体を示す概念図である。更にまた、図５は実施形態に係る劣化判定システムに含まれる検査装置の細部構成を示すブロック図であり、図６は実施形態に係る劣化判定処理をそれぞれ示すフローチャートである。
（Ｉ）判定システムの全体構成及び動作
はじめに、実施形態に係る判定システムの全体構成及び動作について、図１を用いて説明する。
図１に示すように、実施形態に係る判定システムＳは、学習装置Ｌと、検査装置Ｃと、により構成されている。このとき、学習装置Ｌが本発明に係る「学習装置」の一例に相当し、検査装置Ｃが本発明に係る「情報出力装置」の一例に相当する。
この構成において、学習装置Ｌは、劣化判定の対象たる構造物を過去に撮影して得られた画像データＧＤと、当該画像データＧＤを用いた劣化判定に対応する外部データＢＤと、に基づき、新たな劣化判定の対象である画像データＧＤを用いて自動的に上記劣化判定を行うための学習パターンデータＰＤを深層学習処理により生成する。そして、当該生成された学習パターンデータＰＤは、実際の劣化判定に用いられる検査装置Ｃの記憶部に記憶される。
一方、上記学習パターンデータＰＤを用いた構造物の実際の劣化判定時において検査装置Ｃは、上記記憶部に記憶されている学習パターンデータＰＤと、劣化判定の対象たる構造物を新たに撮影して得られた画像データＧＤと、を用いて、上記深層学習処理の結果を用いた劣化判定を行う。このとき、実際の劣化判定の対象たる構造物は、学習装置Ｌにおける深層学習処理に用いられた画像データＧＤが撮影された構造物と異なっていてもよいし、同一の構造物であってもよい。
（II）学習装置の細部構成及び動作
次に、上記学習装置Ｌの構成及び動作について、図２乃至図４を用いて説明する。
図２に示すように、実施形態に係る学習装置Ｌは、基本的にはパーソナルコンピュータ等により構成されるものであり、機能的には、入力インターフェース１及び入力インターフェース１０と、特徴量抽出部２、特徴量抽出部５及び特徴量抽出部１１と、正準相関分析部３と、変換部４と、学習パラメータ決定部６と、記憶部７と、特徴量選択部８と、により構成されている。なお、特徴量抽出部２、特徴量抽出部５及び特徴量抽出部１１、正準相関分析部３、変換部４、学習パラメータ決定部６、記憶部７並びに特徴量選択部８については、学習装置Ｌを構成する例えばＣＰＵ等を含むハードウェアロジック回路として構成してもよいし、後述する実施形態に係る学習処理（図６（ａ）参照）に相当するプログラムを学習装置Ｌの上記ＣＰＵ等が読み込んで実行することにより、ソフトウェア的に実現されるものであってもよい。また、上記入力インターフェース１０が本発明に係る「外部情報取得手段」の一例に相当し、特徴量抽出部２及び変換部４が本発明に係る「変換手段」の一例に相当し、特徴量抽出部５及び学習パラメータ決定部６が本発明に係る「深層学習手段」の一例に相当する。
以上の構成において、過去の劣化判定の対象となった構造物を撮影した、学習用データとしての画像データＧＤは、入力インターフェース１を介して特徴量抽出部２に出力される。そして特徴量抽出部２は、画像データＧＤにおける特徴量を既存の特徴量抽出方法により抽出し、画像特徴データＧＣを生成して正準相関分析部３及び変換部４に出力する。
一方、本発明に係る「外部情報」の一例である外部データＢＤは、入力インターフェース１０を介して特徴量抽出部１１に出力される。ここで当該外部データＢＤに含まれるデータとしては、例えば、上記画像データＧＤに対応する構造物の劣化判定を行った人（例えば、劣化判定についてある程度以上の練度を有する判定員）の、当該劣化判定時の脳活動の状態を示す脳活動データや、当該劣化判定の際の当該人の視線の動きを示す視線データや、当該劣化判定の対象であった構造物についての構造種別名称、構造細目名称及び変状部位名称等を示すテキストデータ等が挙げられる。このとき、上記脳活動データとしては、いわゆる機能的近赤外分光分析法（fNIRS（functional Near-Infrared Spectroscopy））を用いて計測された脳活動データをその一例として用いることができる。また、上記テキストデータは、後述するラベルデータＬＤとしての内容を含まないテキストデータであって正準相関分析部３による正準相関分析処理に用いることが可能な種々のテキストデータである。そして特徴量抽出部１１は、外部データＢＤにおける特徴量を既存の特徴量抽出方法により抽出し、外部特徴データＢＣを生成して正準相関分析部３に出力する。一方、上記構造物の劣化の状態の分類（分類クラス）を示し、且つ学習パラメータ決定部６による後述の深層学習処理の結果における分類のためのラベルデータＬＤが、正準相関分析部３及び学習パラメータ決定部６に入力されている。これらにより正準相関分析部３は、ラベルデータＬＤ、外部特徴データＢＣ及び画像特徴データＧＣに基づき、当該外部特徴データＢＣと画像特徴データＧＣとの間における正準相関分析処理を実行し、その結果（即ち、外部特徴データＢＣと画像特徴データＧＣとの間の正準相関）を、分析結果データＲＴとして変換部４に出力する。そして変換部４は、分析結果データＲＴを用いて画像特徴データＧＣを変換し、変換画像特徴データＭＣとして特徴量抽出部５に出力する。
ここで、正準相関分析部３による上記正準相関分析処理、及びその結果としての分析結果データＲＴを用いた変換部４における変換処理について、図３を用いてその概要をそれぞれ説明する。
一般に正準相関分析処理は、例えば二つの変量（ベクトル等の変量）間の相関を最大とする変換を求める処理である。即ち図３において、二つのベクトルｘiとベクトルｙi（ｉ＝1、２、…、Ｎ（Ｎはデータのサンプル数））があったと仮定すると、正準相関分析処理では、図３に示す転置行列Ａ’及び転置行列Ｂ’による線形変換を用いて、これら「二つのベクトルｘi及びベクトルｙi間の相関を最大とするような変換」を求める。このとき当該相関を上記「正準相関」と称する。この正準相関分析処理により、元のベクトルｘiとベクトルｙiとの間に内在する関連性を求めることができる。なお図３では、転置行列Ａ’及び転置行列Ｂ’を用いて線形変換する場合について示すが、非線形変換であっても構わない。そして、実施形態に係る学習処理では、外部特徴データＢＣと画像特徴データＧＣとの間の正準相関を示すように、上記分析結果データＲＴ（図３に示す新たなベクトルA’Xiに対応）を用いて変換部４により画像特徴データＧＣを変換する。なお、この場合の変換部４による変換は、上記線形変換を含む正準相関に対応したものの他に、上記非線形変換を含む正準相関に対応したものであってもよい。これにより、外部データＢＤとの相関を最大とする変換を、元の画像データＧＤに対する深層学習処理内に取り込む。このとき、外部データＢＤとして上記脳活動データを用いる場合は、当該脳活動データには、その取得元たる人の専門知識や嗜好を表す情報が含まれている。よって、当該専門知識や嗜好を表現（具現化）することが可能な画像としての特徴量が、変換部４による変換結果たる変換画像特徴データＭＣとして出力される。このとき特徴量選択部８は、正準相関分析部３における正準相関分析処理において、それに用いられる正準相関係数に基づいて外部特徴データＢＤを切り換えて正準相関分析処理に供させる。
次に、特徴量抽出部５は、変換画像特徴データＭＣにおける特徴量を既存の特徴量抽出方法により改めて抽出し、学習用特徴データＭＣＣを生成して学習パラメータ決定部６に出力する。これにより学習パラメータ決定部６は、上記ラベルデータＬＤに基づき、学習用特徴データＭＣＣを学習用データとして用いた深層学習処理を行い、その結果としての学習パターンデータＰＤを生成して記憶部７に出力する。そして記憶部７は、当該学習パターンデータＰＤを図示しない記憶媒体（例えば、ＵＳＢ（Universal Serial Bus）メモリや光ディスク等の記憶媒体）に記憶させる。
ここで、上述して来た学習装置Ｌにおける実施形態に係る学習処理の全体を概念的に示すと、図４のようになる。なお図４は、実施形態に係る深層学習処理（図４に示す中間層、隠れ層及び出力層からなる深層学習処理）を、例えば全接続型のニューラルネットワークを用いて示す図である。即ち、実施形態に係る学習処理では、劣化判定の対象たる構造物を過去に撮影して得られた画像データＧＤが学習装置Ｌに入力されると、特徴量抽出部２によりその特徴量が抽出され、画像特徴データＧＣが生成される。この処理は、図４における符号αで示した部分の処理に相当する。次に当該画像特徴データＧＣに対して、外部データＢＤとしての脳活動データ、視線データ及び／又はテキストデータ並びに上記ラベルデータＬＤを用いた上記正準相関処理を含む変換処理が正準相関分析部３及び変換部４により実行され、上記変換画像特徴データＭＣが生成される。この処理は、図４における符号βで示した部分の処理（正準相関分析処理）、及び符号γで示したノード部分の処理に相当する。そして、生成された変換画像特徴データＭＣからの特徴量抽出部５による特徴量の抽出処理、及びその結果たる学習用特徴データＭＣＣを用いた学習パラメータ決定部６による学習パターンデータＰＤの生成処理が実行される。これらの処理は、図４における符号δで示した部分の処理に相当する。このとき、生成された学習パターンデータＰＤには、図４に示す中間層に対応する学習パラメータデータと、図４に示す隠れ層に対応する学習パラメータデータと、が含まれている。その後、生成された学習パターンデータＰＤは、記憶部７により上記図示しない記憶媒体に記憶される。以上のような実施形態に係る学習処理によれば、過去に同様の劣化判定を行った人の脳活動の状態を示す脳活動データ等を外部データＢＤとして用いることで、例えば当該人の脳活動に相当する深層学習処理の部分を省略しつつ、その人の専門性を反映させた劣化判定を検査装置Ｃにおいて行うことができ、学習用データとしての画像データＧＤの量を大幅に低減することができる。
（III）検査装置の細部構成及び動作
次に、上記検査装置Ｃの構成及び動作について、図５を用いて説明する。
図５に示すように、実施形態に係る検査装置Ｃは、基本的には例えば携帯可能な又は移動可能なパーソナルコンピュータ等により構成されるものであり、機能的には、入力インターフェース２０と、特徴量抽出部２１及び特徴量抽出部２３と、変換部２２と、分類部２４と、液晶ディスプレイ等からなる出力部２５と、記憶部２６と、により構成されている。なお、特徴量抽出部２１及び特徴量抽出部２３、変換部２２、分類部２４及び記憶部２６については、検査装置Ｃを構成する例えばＣＰＵ等を含むハードウェアロジック回路として構成してもよいし、後述する実施形態に係る検査処理（図６（ｂ）参照）に相当するプログラムを検査装置Ｃの上記ＣＰＵ等が読み込んで実行することにより、ソフトウェア的に実現されるものであってもよい。また、上記入力インターフェース２０が本発明に係る「取得手段」の一例に相当し、分類部２４及び出力部２５が本発明に係る「出力手段」の一例に相当し、記憶部２６が本発明に係る「記憶手段」の一例に相当する。
以上の構成において、記憶部２６には、学習装置Ｌにより上記記憶媒体に記憶された学習パターンデータＰＤが、当該記憶媒体から読み出されて記憶されている。そして、新たに検査装置Ｃによる劣化判定の対象となった構造物を撮影した画像データＧＤであって本発明に係る「入力情報」の一例としての画像データＧＤは、例えば図示しないカメラ等及び入力インターフェース２０を介して特徴量抽出部２１に出力される。これにより特徴量抽出部２１は、画像データＧＤにおける特徴量を、例えば学習装置Ｌの特徴量抽出部２と同様の既存の特徴量抽出方法により抽出し、画像特徴データＧＣを生成して変換部４に出力する。その後変換部２２は、例えば学習装置Ｌの変換部４と同様の、上記転置行列Ａ’及び転置行列Ｂ’を用いた正準相関分析処理を含む変換処理を画像特徴データＧＣに施し、変換画像特徴データＭＣとして特徴量抽出部２３に出力する。なお、当該転置行列Ａ’及び転置行列Ｂ’を示すデータを含む当該正閏相関分析処理に必要な情報は、予め検査装置Ｃの図示しないメモリ内に記憶されている。
次に特徴量抽出部２３は、変換画像特徴データＭＣにおける特徴量を、例えば学習装置Ｌの特徴量抽出部５と同様の既存の特徴量抽出方法により改めて抽出し、特徴データＣＭＣを生成して分類部２４に出力する。そして分類部２４は、学習パターンデータＰＤを記憶部２６から読み出し、それを用いて特徴データＣＭＣにより示されている構造物の劣化の状態を判定して分類し、分類データＣＴとして出力部２５に出力する。この学習パターンデータＰＤを用いた分類部２４における分類処理により、学習装置Ｌにおける深層学習処理の結果を用いた構造物の劣化判定が行えることになる。そして出力部２５は、当該分類データＣＴを例えば表示することで、新たに劣化判定の対象となった構造物の当該劣化の状態等を使用者に認識させる。
（IV）実施形態の劣化判定処理
最後に、実施形態に係る判定システムＳ全体において実行される、実施形態に係る劣化判定処理について、纏めて図６を用いて説明する。
はじめに、実施形態に係る劣化判定処理のうち学習装置Ｌにより実行される実施形態に係る学習処理について、図６（ａ）を用いて説明する。
上述した細部構成及び動作を備える学習装置Ｌにより実行される実施形態に係る学習処理は、例えば学習装置Ｌの電源スイッチがオンとされ、更に上記学習用データとしての画像データＧＤが学習装置Ｌに入力されることで開始される（ステップＳ１）。そして、当該画像データＧＤと並行して外部データＢＤが学習装置Ｌに入力されると（ステップＳ２）、特徴量抽出部２及び特徴量抽出部１１により上記画像特徴データＧＣ及び上記外部特徴データＢＣがそれぞれ生成される（ステップＳ３）。その後、当該画像特徴データＧＣ及び当該外部特徴データＢＣ並びにラベルデータＬＤを用いた正準相関分析処理が正準相関分析部３により実行され（ステップＳ４）、その結果としての分析結果データＲＴを用いて画像特徴データＧＣが変換部４により変換されて変換画像特徴データＭＣが生成される（ステップＳ５）。その後、特徴量抽出部５により変換画像特徴データＭＣにおける特徴量が抽出され、学習用特徴データＭＣＣとして学習パラメータ決定部６に出力される（ステップＳ６）。そして、学習パラメータ決定部６の深層学習処理により上記学習パターンデータＰＤが生成され（ステップＳ７）、更に当該学習パターンデータＰＤが記憶部７により上記記憶媒体に記憶される（ステップＳ８）。その後、例えば学習装置Ｌの上記電源スイッチがオフとされたか否かが判定されることにより、実施形態に係る学習処理を終了するか否かが判定される（ステップＳ９）。ステップＳ９の判定において、実施形態に係る学習処理を終了すると判定された場合（ステップＳ９：ＹＥＳ）、学習装置Ｌは当該学習処理を終了する。一方、ステップＳ９の判定において、当該学習処理を継続する場合（ステップＳ９：ＮＯ）、その後は上述してきたステップＳ１以降の処理が繰り返される。
次に、実施形態に係る劣化判定処理のうち検査装置Ｃにより実行される実施形態に係る検査処理について、図６（ｂ）を用いて説明する。
上述した細部構成及び動作を備える検査装置Ｃにより実行される実施形態に係る検査処理は、例えば検査装置Ｃの電源スイッチがオンとされ、更に上記劣化判定の対象たる新たな画像データＧＤが検査装置Ｃに入力されることで開始される（ステップＳ１０）。そして、特徴量抽出部２１により上記画像特徴データＧＣが生成される（ステップＳ１１）。その後、当該画像特徴データＧＣが変換部２２により変換されて変換画像特徴データＭＣが生成される（ステップＳ１２）。次に、特徴量抽出部２３により変換画像特徴データＭＣにおける特徴量が抽出され、特徴データＣＭＣとして分類部２４に出力される（ステップＳ１３）。そして、記憶部２６から上記学習パターンデータＰＤが読み出され（ステップＳ１４）、それを用いた構造物の劣化の判定及び分類が分類部２４により実行される（ステップＳ１５）。その後、当該分類結果が出力部２５を介して使用者に提示される（ステップＳ１６）。その後、例えば検査装置Ｃの上記電源スイッチがオフとされたか否かが判定されることにより、実施形態に係る検査処理を終了するか否かが判定される（ステップＳ１７）。ステップＳ１７の判定において、実施形態に係る検査処理を終了すると判定された場合（ステップＳ１７：ＹＥＳ）、検査装置Ｃは当該検査処理を終了する。一方、ステップＳ１７の判定において、当該検査処理を継続する場合（ステップＳ１７：ＮＯ）、その後は上述してきたステップＳ１０以降の処理が繰り返される。
以上それぞれ説明したように、実施形態に係る劣化判定処理によれば、学習装置Ｌにおいて、学習用データとしての画像データＧＤに対応した外部データＢＤとの相関を用いて学習パターンデータＰＤを生成することで、画像データＧＤに対応した学習パターンデータＰＤを生成するための深層学習処理における層数、及び学習パターンデータＰＤとしてのパターン数を削減することができる。よって、学習パターンデータＰＤの生成のために必要な学習用データとしての画像データＧＤ（外部データＢＤと共に学習装置Ｌに入力される画像データＧＤ）の量を低減しつつ、当該画像データＧＤ（検査装置Ｃに入力される画像データＧＤ）に対応した有意な劣化判定結果を得ることができる。
また、外部データＢＤが、学習パターンデータＰＤを用いた劣化判定に関わる人の活動に起因して電気的に生成される外部データＢＤであるので、当該人の専門性と当該画像データＧＤの双方に対応した学習パターンデータＰＤを生成することができる。
更に、外部データＢＤが、学習パターンデータＰＤを劣化判定に関わる人の活動により生じた当該人の脳活動に対応した脳活動データ、又は、当該活動に含まれる当該人の視認行動に対応した視認データの少なくともいずれか一方を含む場合は、当該人の専門性により対応した学習パターンデータＰＤを生成することができる。
更にまた、画像特徴データＧＣと、外部特徴データＢＣと、の間の正準相関分析処理の結果に基づいて画像特徴データＧＣを変換して変換画像特徴データＭＣを生成するので、外部データＢＤによりより相関した変換画像特徴データＭＣを生成して学習パターンデータＰＤの生成に供させることができる。
また検査装置Ｃにおいて、劣化判定の対象たる新たな画像データＧＤと、記憶されている学習パターンデータＰＤと、に基づいて、画像データＧＤに対応した劣化判定結果を出力（提示）するので、画像データＧＤにより対応した劣化判定結果を出力することができる。
なお上述した実施形態では、画像データＧＤに対応する構造物の劣化判定を行った人の脳活動データとして、機能的近赤外分光分析法を用いて計測された脳活動データを用いたが、これ以外に、その人のいわゆるＥＥＧ（Electroencephalogram）脳波データや簡易脳波計データ、或いはｆＭＲＩ（functional Magnetic Resonance Imaging）データを当該脳活動データとして用いてもよい。この他に外部データＢＤとしては、一般に、人の専門性や嗜好を示す当該外部データＢＤとして、その人の瞬目データ、音声データ、バイタルデータ（血圧データ、サチュレーションデータ、心拍数データ、脈拍数データ、皮膚温データ等）、又は体動のデータ等を用いることができる。
更に上述した実施形態では、画像データＧＤを用いて構造物の劣化判定を行う場合に本発明を適用したが、これ以外に、音響データ（いわゆる打鍵音）により当該劣化判定を行う場合に本発明を提供してもよい。この場合には、当該打鍵音による劣化判定を行った人（つまり、打鍵音を聞いて劣化判定を行った判定員）の脳活動データを外部データＢＤとして、実施形態に係る学習処理が実行されることになる。
更にまた、上述した実施形態等では、構造物の劣化判定を画像データＧＤ又は音響データを用いて行う場合に本発明を適用したが、これ以外に、様々な物体の状態判定を、それに対応した画像データ又は音響データを用いて行う場合に本発明を適用することもできる。
また、実施形態等のような構造物の劣化判定処理だけでなく、医師や歯科医師或いは看護士等の経験を反映させた深層学習処理を行った結果得られた学習パターンデータを用いて医療診断支援や医療診断技術の伝承を行う場合や、災害リスクの専門家の経験等を反映させた深層学習処理を行った結果得られた学習パターンデータを用いて安全対策決定支援や災害リスクの判定支援を行う場合に、本発明を適用することもできる。
更に、人の嗜好の学習に本発明を適用する場合には、実施形態に係る外部データＢＤとしては、同様の嗜好を有する人の嗜好結果（判定結果）に相当する外部データＢＤを用いることができる。
更にまた、上述した実施形態では、学習装置Ｌ及び検査装置Ｃ共に、いわゆるスタンドアローン型のものである場合について説明したが、これらに限らず、実施形態に係る学習装置Ｌ及び検査装置Ｃそれぞれの機能を、サーバ装置と端末装置とを含むシステム上で実現するように構成してもよい。即ち、実施形態に係る学習装置Ｌの場合には、当該学習装置Ｌにおける入力インターフェース１及び入力インターフェース１０、特徴量抽出部２、特徴量抽出部５及び特徴量抽出部１１、正準相関分析部３、変換部４並びに学習パラメータ決定部６それぞれの機能を、例えばインターネット等のネットワークに接続されたサーバ装置に備えさせるように構成してもよい。この場合は、当該サーバ装置への画像データＧＤ及び外部データＢＤ並びにラベルデータＬＤの送信（図２参照）を当該ネットワークに接続された端末装置から行い、更に、上記サーバ装置の学習パラメータ決定部６により決定された学習パターンデータＰＤを当該サーバ装置から端末装置に送信して記憶させるように構成するのが好適である。一方、実施形態に係る検査装置Ｃの場合には、当該検査装置Ｃにおける入力インターフェース２０、特徴量抽出部２１及び特徴量抽出部２３、変換部２２、分類部２４並びに記憶部２６それぞれの機能を上記サーバ装置に備えさせるように構成してもよい。この場合は、当該サーバ装置への判定対象たる画像データＧＤの送信（図５参照）を当該ネットワークに接続された端末装置から行い、更に、上記サーバ装置の分類部２４から出力される分類データＣＴを当該サーバ装置から端末装置に送信して出力（表示）させるように構成するのが好適である。
次に、実施形態に係る劣化判定処理の効果を示すものとして本発明の発明者らが行った実験結果を、実施例として以下に示す。
上述したように、従来の深層学習処理により学習パターンデータＰＤを生成する際に必要となる学習用データの量は万単位となる。このとき、学習の精度（判定精度）を下げてもよい場合であっても数千の学習用データが必要となる。但しこの場合、「精度が下がる」というよりも、学習パターンデータＰＤを生成するに当たっての学習が正しく行われる保証が限りなく少なくなることになる。
これに対し、他の学習用データ（例えば万単位の画像データＧＤ）で学習済みの学習パターンデータＰＤを、再度、適用対象のデータで学習し直す上記Fine-tuningの手法が従来から知られているが、この手法を用いても、数千単位（但し最低でも千枚以上）の画像データがないと学習をすることは難しくなる。
これらに対して、実施形態に係る学習処理に対応した本発明者らによる実験では、評価用の画像データＧＤとして、構造物の変状が撮影された専門性の存在する画像の画像データＧＤを用い、その変状（劣化）のレベルを三つのレベルに分類して認識させた。このとき当該各レベルのそれぞれに対し、３０枚の画像データＧＤを用意し、よって合計９０枚の画像データＧＤで評価を行った。なお、具体的な精度評価の方法としては、いわゆる十分割交差検証（９割（８１枚）の画像データＧＤ）で学習装置Ｌにより学習させ、残りの１割（９枚）の画像データＧＤで検査装置Ｃとしての劣化判定処理を十回繰り返す検証）を採用した。以上のような実験の結果は表１に示すものとなった。
このとき表１では、外部データＢＤとしての脳活動データの取得元として被験者Ａ乃至被験者Ｄに協力を仰ぎ、上記８１枚の画像データＧＤを用いたそれらの人の劣化判定結果と、実施形態に劣化判定処理の結果と、上記Fine-tuning法による劣化判定結果と、を記載している。即ち、先ず上記Fine-tuning法は、外部データＢＤを用いないため被験者によらず全て同じ判定精度（表１では、正解率のパーセント表記として表示されている）ではあるが、従来のFine-tuning法よりも画像データＧＤの数が圧倒的に少ないので、判定精度も５０パーセント未満でしかない。これに対し、実施形態に係る劣化判定結果は、精度限界としての人（被験者Ａ乃至被験者Ｄ）による判定結果に迫る精度を有している。更に被験者Ｃとの関係では、当該被験者Ｃよりも高い精度を有している。なお、被験者Ａ乃至被験者Ｄのいずれでも上記精度が１００パーセントにはなっていないが、これは、画像データＧＤを用いた劣化判定を行う企業等の中で、「最も熟練した技術者達が、（画像データＧＤだけでなく）構造物に関連するデータを全て突き合わせて出した最終判定結果」が精度限界とならざるを得ないため、たとえ人たる被験者であっても、その劣化判定の精度は１００パーセントとなることはない。
以上それぞれ説明したように、本発明は構造物等の状態の判定を行う判定システムの分野に利用することが可能であり、特に当該構造物等の劣化判定を行う判定システムの分野に適用すれば特に顕著な効果が得られる。
１、１０、２０ 入力インターフェース
２、５、１１、２１、２３ 特徴量抽出部
３ 正準相関分析部
４、２２ 変換部
６ 学習パラメータ決定部
７、２６ 記憶部
８ 特徴量選択部
２４ 分類部
２５ 出力部
Ｓ 判定システム
Ｌ 学習装置
Ｃ 検査装置
ＧＤ 画像データ
ＢＤ 外部データ
ＰＤ 学習パターンデータ
ＧＣ 画像特徴データ
ＢＣ 外部特徴データ
ＬＤ ラベルデータ
ＲＴ 分析結果データ
ＭＣ 変換画像特徴データ
ＣＴ 分類データ
ＭＣＣ 学習用特徴データ
ＣＭＣ 特徴データ
【０００２】
上記認識や分類の高精度化のためには、例えば十万単位の大量の学習用データを必要とすること、及び、認識・分類結果に対する過程が人間と大きく異なること、が問題点として挙げられている。そして現状では、これらを同時に解決可能とする技術の実現には至っていない。またこれらの問題は、個人の嗜好や専門知識に関連する課題において顕著となり、深層学習の実利用を検討する際の障壁ともなっている。
［０００５］
なお、少ない学習用データからの学習を可能とするための方法として、学習済みの識別器から学習をし直す、いわゆる「Ｆｉｎｅ−ｔｕｎｉｎｇ」なる手法等が知られているが、これらについても、学習用データの量の低減にも限界があり、学習の精度の向上との両立は困難である。
［０００６］
そこで本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例は、上記深層学習における層数、及び当該深層学習の結果としての学習パターンのパターン数を削減することで上記学習用データの低減が可能な学習装置、学習方法及び当該学習装置用のプログラム、並びに、生成された学習パターン情報を用いて上記出力情報を出力することが可能な情報出力装置、情報出力方法及び情報出力用プログラムを提供することにある。
課題を解決するための手段
［０００７］
上記の課題を解決するために、請求項１に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置において、前記入力情報に対応する外部情報であって、当該入力情報が生成される際の対象となった実在物を当該入力情報の生成とは別個に認識した人の当該認識に関わる活動に起因して電気的に生成され且つ他の情報との間の相関処理が施されていない外部情報を外部から取得する入力インターフェース等の外部情報取得手段と、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換部等の変換手段と、前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する学習パラメータ決定部等の深層学習手段と、備える。
［０００８］
上記の課題を解決するために、請求項７に記載の発明は、入力情報に対応
【０００３】
した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であり、且つ、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置であって、入力インターフェース等の外部情報取得手段と、変換部等の変換手段と、学習パラメータ決定部等の深層学習手段と、を備える学習装置において実行される学習方法であって、前記入力情報に対応する外部情報であって、当該入力情報が生成される際の対象となった実在物を当該入力情報の生成とは別個に認識した人の当該認識に関わる活動に起因して電気的に生成され且つ他の情報との間の相関処理が施されていない外部情報を前記外部情報取得手段により外部から取得する外部情報取得工程と、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記変換手段により前記入力特徴情報を変換し、変換入力特徴情報を生成する変換工程と、前記生成された変換入力特徴情報を用いて前記深層学習手段により前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習工程と、を含む。
［０００９］
上記の課題を解決するために、請求項８に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置に含まれるコンピュータを、前記入力情報に対応する外部情報であって、当該入力情報が生成される際の対象となった実在物を当該入力情報の生成とは別個に認識した人の当該認識に関わる活動に起因して電気的に生成され且つ他の情報との間の相関処理が施されていない外部情報を外部から取得する外部情報取得手段、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換手段、及び、前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習手段、として機能させる。
［００１０］
請求項１、請求項７又は請求項８のいずれか一項に記載の発明によれば、入力情報に対応した外部情報であって、当該入力情報が生成される際の対象となった実在物を当該入力情報の生成とは別個に認識した人の当該認識に関わる活動に起因して電気的に生成され且つ他の情報との間の相関処理が施されていない外部情報との相関を用いて学習パターン情報を生成することで、入力情報に対応した学習パターン情報を生成するための深層学習処理における層数、及び学習パターン情報としてのパターン数を削減することができる。よって学習パターン情報の生成のために必要な学習用データとしての入力情報の量を低減しつつ、当該入力情報に対応した有意な出力情報を
【０００４】
出力させることができる。
［００１１］
上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の学習装置において、前記外部情報は、前記人の前記認識に関わる専門知識及び嗜好をそれぞれ示す情報を含む外部情報であるように構成される。
［００１２］
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、外部情報が、実在物を入力情報の生成とは別個に認識した人の当該認識に関わる専門知識及び嗜好をそれぞれ示す情報を含む外部情報であるので、当該人の専門性や嗜好と当該入力情報の双方に対応した学習パターン情報を生成することができる。
［００１３］
上記の課題を解決するために、請求項３に記載の発明は、請求項２に記載の学習装置において、前記外部情報は、前記認識時における前記人の視認行動に対応した視認情報を含むように構成される。
［００１４］
請求項３に記載の発明によれば、請求項２に記載の発明の作用に加えて、外部情報が、実在物を入力情報の生成とは別個に認識した人の当該認識時における人の視認行動に対応した視認情報を含むので、当該人の専門性や嗜好により対応した学習パターン情報を生成することができる。
上記の課題を解決するために、請求項４に記載の発明は、請求項３に記載の学習装置において、前記視認情報は、前記視認行動としての前記人の視線の動きを示す視線データであるように構成される。
請求項４に記載の発明によれば、請求項３に記載の発明の作用に加えて、人の視認行動に対応した視認情報が、視認行動としてのその人の視線の動きを示す視線データであるので、当該人の専門性や嗜好に更に対応した学習パターン情報を生成することができる。
［００１５］
上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の学習装置において、前記相関は、前記入力特徴情報と、前記外部特徴情報と、の間の正準相関分析処理の結果たる相関であり、前記変換手段は、当該結果に基づいて前記入力特徴情報を変換して前記変換入力特徴情報を生成するように構成される。
［００１６］
請求項５に記載の発明によれば、請求項１から請求項４のいずれか一項に記載の発明の作用に加えて、入力特徴情報と、外部特徴情報と、の間の正準相関分析処理の結果に基づいて入力特徴情報を変換して変換入力特徴情報を生成するので、より外部情報に相関した変換入力特徴情報を生成して学習パ
【０００５】
ターン情報の生成に供させることができる。
［００１７］
上記の課題を解決するために、請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶部等の記憶手段と、前記入力情報を取得する入力インターフェース等の取得手段と、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する分類部等の情報出力手段と、を備える。
［００１８］
上記の課題を解決するために、請求項９に記載の発明は、請求項１から請求項５のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶部等の記憶手段と、入力インターフェース等の取得手段と、分類部等の出力手段と、を備える情報出力装置において実行される情報出力方法であって、前記入力情報を前記取得手段により取得する取得工程と、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を前記出力手段により出力する出力工程と、を含む。
［００１９］
上記の課題を解決するために、請求項１０に記載の発明は、請求項１から請求項５のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置に含まれるコンピュータを、前記生成された学習パターン情報を記憶する記憶手段、前記入力情報を取得する取得手段、及び、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する出力手段、として機能させる。
［００２０］
請求項６、請求項９又は請求項１０のいずれか一項に記載の発明によれば、請求項１から請求項５のいずれか一項に記載の発明の作用に加えて、入力情報と、記憶されている学習パターン情報と、に基づいて、入力情報に対応した出力情報を出力するので、入力情報により対応した出力情報を出力するこ
【０００６】
とができる。
発明の効果
［００２１］
本発明によれば、入力情報に対応した外部情報であって、当該入力情報が生成される際の対象となった実在物を当該入力情報の生成とは別個に認識した人の当該認識に関わる活動に起因して電気的に生成され且つ他の情報との間の相関処理が施されていない外部情報との相関を用いて学習パターン情報を生成することで、入力情報に対応した学習パターン情報を生成するための深層学習処理における層数、及び学習パターン情報としてのパターン数を削減することができる。
［００２２］
従って、学習パターン情報の生成のために必要な学習用データとしての入力情報の量を低減しつつ、当該入力情報に対応した有意な出力情報を精度よく出力させることができる。
図面の簡単な説明
［００２３］
［図１］実施形態に係る劣化判定システムの概要構成を示すブロック図である。
［図２］実施形態に係る劣化判定システムに含まれる学習装置の細部構成を示すブロック図である。
［図３］実施形態に係る学習処理における正準相関分析処理を示す概念図である。
［図４］実施形態に係る学習処理の全体を示す概念図である。
［図５］実施形態に係る劣化判定システムに含まれる検査装置の細部構成を示すブロック図である。
［図６］実施形態に係る劣化判定処理をそれぞれ示すフローチャートであり、（ａ）は実施形態に係る学習処理を示すフローチャートであり、（ｂ）は実施形態に係る検査処理を示すフローチャートである。
発明を実施するための形態
［００２４］
次に、本発明を実施するための形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、例えば橋脚等の建築物や構造物の劣化の状態を、それらの外観を撮影して得られる画像データを用いて判定する劣化判定システムに対して本発明を適用した場合の実施の形態である。このとき以下の説明においては、上記建築物又は構造物を、単に「構造物」と称する。

Claims (9)

  1. 入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置において、
    前記入力情報に対応する外部情報を外部から取得する外部情報取得手段と、
    前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換手段と、
    前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習手段と、
    を備えることを特徴とする学習装置。
  2. 請求項１に記載の学習装置において、
    前記外部情報は、前記生成された学習パターン情報を用いた前記出力情報の生成に関わる人の当該生成に関わる活動に起因して電気的に生成される外部情報であることを特徴とする学習装置。
  3. 請求項２に記載の学習装置において、
    前記外部情報は、前記活動により生じた前記人の脳活動に対応した脳活動情報、又は、前記活動に含まれる前記人の視認行動に対応した視認情報の少なくともいずれか一方を含むことを特徴とする学習装置。
  4. 請求項１から請求項３のいずれか一項に記載の学習装置において、
    前記相関は、前記入力特徴情報と、前記外部特徴情報と、の間の正準相関分析処理の結果たる相関であり、
    前記変換手段は、当該結果に基づいて前記入力特徴情報を変換して前記変換入力特徴情報を生成することを特徴とする学習装置。
  5. 請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、
    前記生成された学習パターン情報を記憶する記憶手段と、
    前記入力情報を取得する取得手段と、
    前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する出力手段と、
    を備えることを特徴とする情報出力装置。
  6. 入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であり、且つ、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置であって、外部情報取得手段と、変換手段と、深層学習手段と、を備える学習装置において実行される学習方法であって、
    前記入力情報に対応する外部情報を前記外部情報取得手段により外部から取得する外部情報取得工程と、
    前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記変換手段により前記入力特徴情報を変換し、変換入力特徴情報を生成する変換工程と、
    前記生成された変換入力特徴情報を用いて前記深層学習手段により前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習工程と、
    を含むことを特徴とする学習方法。
  7. 入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置に含まれるコンピュータを、
    前記入力情報に対応する外部情報を外部から取得する外部情報取得手段、
    前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換手段、及び、
    前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習手段、
    として機能させることを特徴とする学習装置用プログラム。
  8. 請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶手段と、取得手段と、出力手段と、を備える情報出力装置において実行される情報出力方法であって、
    前記入力情報を前記取得手段により取得する取得工程と、
    前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を前記出力手段により出力する出力工程と、
    を含むことを特徴とする情報出力方法。
  9. 請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置に含まれるコンピュータを、
    前記生成された学習パターン情報を記憶する記憶手段、
    前記入力情報を取得する取得手段、及び、
    前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する出力手段、
    として機能させることを特徴とする情報出力用プログラム。
JP2019569559A 2018-02-02 2019-01-31 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム Active JP7257682B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018017044 2018-02-02
JP2018017044 2018-02-02
PCT/JP2019/003420 WO2019151411A1 (ja) 2018-02-02 2019-01-31 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム

Publications (2)

Publication Number Publication Date
JPWO2019151411A1 true JPWO2019151411A1 (ja) 2021-01-28
JP7257682B2 JP7257682B2 (ja) 2023-04-14

Family

ID=67479264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019569559A Active JP7257682B2 (ja) 2018-02-02 2019-01-31 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム

Country Status (3)

Country Link
US (1) US20210056414A1 (ja)
JP (1) JP7257682B2 (ja)
WO (1) WO2019151411A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181607A (ja) * 2011-02-28 2012-09-20 Toyota Central R&D Labs Inc 感覚データ識別装置及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3441896B1 (en) * 2012-09-14 2021-04-21 InteraXon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US10151636B2 (en) * 2015-06-14 2018-12-11 Facense Ltd. Eyeglasses having inward-facing and outward-facing thermal cameras
KR102657100B1 (ko) * 2016-10-05 2024-04-12 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181607A (ja) * 2011-02-28 2012-09-20 Toyota Central R&D Labs Inc 感覚データ識別装置及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
前田 圭介 ほか: "「正準相関最大化を導入した深層学習に基づく送電鉄塔の劣化レベル分類に関する検討」", 映像情報メディア学会技術報告, vol. 第41巻, 第29号, JPN6019014134, 29 August 2017 (2017-08-29), pages 11 - 14, ISSN: 0005016633 *
澤田 充奨 ほか: "「楽曲聴取時の個人の脳波信号を利用した好みの楽曲の識別に関する検討 -クラス情報を考慮した正準相関分析", 映像情報メディア学会技術報告, vol. 第39巻, 第7号, JPN6019014136, 16 February 2015 (2015-02-16), pages 179 - 184, ISSN: 0005016634 *
長谷山 美紀: "「ビッグデータからの価値創出を実現する次世代情報検索 -ＡＩ・ＩｏＴ技術の発想支援型検索への導入-」", 映像情報メディア学会技術報告, vol. 第41巻, 第43号, JPN6020002131, 23 November 2017 (2017-11-23), pages 101 - 106, ISSN: 0005016635 *

Also Published As

Publication number Publication date
JP7257682B2 (ja) 2023-04-14
WO2019151411A1 (ja) 2019-08-08
US20210056414A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
US20230131876A1 (en) Systems and methods of identity analysis of electrocardiograms
US9504420B2 (en) Methods and arrangements for identifying dermatological diagnoses with clinically negligible probabilities
US20140313303A1 (en) Longitudinal dermoscopic study employing smartphone-based image registration
Hasan et al. Pain level detection from facial image captured by smartphone
Adibuzzaman et al. Assessment of pain using facial pictures taken with a smartphone
Mirabet-Herranz et al. New insights on weight estimation from face images
CN114190897A (zh) 睡眠分期模型的训练方法、睡眠分期方法及装置
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
JP2009201653A (ja) 知的活動評価システム、並びにその学習方法及びラベル付与方法
Kaur et al. Early detection of ASD Traits in Children using CNN
JP6201520B2 (ja) 生理指標を用いる視線分析システムおよび方法
JP7257682B2 (ja) 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム
Jiang et al. Fusion of medical imaging and electronic health records with attention and multi-head machanisms
Jeyarani et al. Eye Tracking Biomarkers for Autism Spectrum Disorder Detection using Machine Learning and Deep Learning Techniques
Jeong et al. Artificial intelligence (AI) based system for the diagnosis and classification of scalp health: AI-ScalpGrader
Luo et al. Exploring adaptive graph topologies and temporal graph networks for eeg-based depression detection
Huang et al. Noise ECG generation method based on generative adversarial network
Cheng et al. Low rank self-calibrated brain network estimation and autoweighted centralized multi-task learning for early mild cognitive impairment diagnosis
Sweeney-Fanelli et al. Automated Emotion Recognition Employing Wearable ECG Sensor and Deep-Learning
Hu et al. Personalized Heart Disease Detection via ECG Digital Twin Generation
CN115063188B (zh) 一种基于脑电信号的智能消费者喜好度指数评估方法
Saha et al. Personalized Pain Study Platform using Evidence-Based Continuous Learning Tool
US20240013917A1 (en) Systems and methods for end of life analysis
Mahajan et al. Deciphering EEG Waves for the Generation of Images
CN114743686A (zh) 一种儿科护士应急护理方法及系统

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20200629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230328

R150 Certificate of patent or registration of utility model

Ref document number: 7257682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150