WO2019151411A1 - 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム - Google Patents

学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム Download PDF

Info

Publication number
WO2019151411A1
WO2019151411A1 PCT/JP2019/003420 JP2019003420W WO2019151411A1 WO 2019151411 A1 WO2019151411 A1 WO 2019151411A1 JP 2019003420 W JP2019003420 W JP 2019003420W WO 2019151411 A1 WO2019151411 A1 WO 2019151411A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
learning
input
data
feature
Prior art date
Application number
PCT/JP2019/003420
Other languages
English (en)
French (fr)
Inventor
美紀 長谷山
小川　貴弘
Original Assignee
国立大学法人北海道大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人北海道大学 filed Critical 国立大学法人北海道大学
Priority to US16/966,744 priority Critical patent/US20210056414A1/en
Priority to JP2019569559A priority patent/JP7257682B2/ja
Publication of WO2019151411A1 publication Critical patent/WO2019151411A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting

Definitions

  • the present invention belongs to a technical field of a learning device, a learning method, a program for the learning device, and an information output device, an information output method, and a program for the information output device. More specifically, a learning device that generates learning pattern information for outputting significant output information corresponding to input information such as image information, a learning method, a program for the learning device, and the generated learning pattern
  • the present invention belongs to a technical field of an information output device, an information output method, and an information output program for outputting output information using information.
  • Non-Patent Document 1 In recent years, research on machine learning, especially deep learning, has been actively conducted. Examples of prior art documents disclosing such research include Non-Patent Document 1 and Non-Patent Document 2 below. In these studies, extremely accurate recognition and classification are possible.
  • the invention according to claim 1 is learning pattern information for outputting significant output information corresponding to input information based on the input information, and uses the input information.
  • external information acquisition means such as an input interface for acquiring external information corresponding to the input information from the outside, and input indicating the characteristics of the input information
  • Conversion means such as a conversion unit that converts the input feature information based on the correlation between the feature information and the external feature information indicating the feature of the acquired external information, and generates converted input feature information
  • Deep learning means such as a learning parameter determination unit that executes the deep learning process using the generated conversion input feature information and generates the learning pattern information.
  • the invention according to claim 6 is learning pattern information for outputting significant output information corresponding to input information based on the input information
  • the input information is A learning device that generates learning pattern information corresponding to the result of the deep learning process used, an external information acquisition unit such as an input interface, a conversion unit such as a conversion unit, and a deep learning unit such as a learning parameter determination unit
  • a learning method executed by a learning device comprising: an external information acquisition step of acquiring external information corresponding to the input information from the outside by the external information acquisition means; and input feature information indicating characteristics of the input information And converting the input feature information by the converting means based on the correlation between the acquired external information and the external feature information indicating the characteristics of the acquired external information.
  • the learning pattern information is generated using the correlation with the external information corresponding to the input information, thereby corresponding to the input information.
  • the number of layers in the deep learning process for generating the learned pattern information and the number of patterns as learning pattern information can be reduced. Therefore, significant output information corresponding to the input information can be output while reducing the amount of input information as learning data necessary for generating learning pattern information.
  • external information is electrically generated due to human activities related to generation of output information using learning pattern information. Since the external information is generated, it is possible to generate learning pattern information corresponding to both the specialty and preference of the person and the input information.
  • the invention according to claim 3 is the learning device according to claim 2, wherein the external information is brain activity information corresponding to the brain activity of the person caused by the activity, Or it is comprised so that at least any one of the visual recognition information corresponding to the visual action of the person included in the activity may be included.
  • the external information is generated by the person's activity related to the generation of the output information using the learning pattern information. Since it includes at least one of brain activity information corresponding to the activity and / or visual information corresponding to the visual behavior of the person included in the activity, learning pattern information corresponding to the person's expertise and preference is generated. be able to.
  • the invention according to claim 4 is the learning device according to any one of claims 1 to 3, wherein the correlation includes the input feature information and the external feature. Between the information and the result of the canonical correlation analysis process, and the converting means is configured to convert the input feature information based on the result to generate the converted input feature information.
  • the invention according to claim 5 uses the learning pattern information generated by the learning device according to any one of claims 1 to 4 to output the output information.
  • An information output device that outputs, a storage unit such as a storage unit that stores the generated learning pattern information, an acquisition unit such as an input interface that acquires the input information, the acquired input information, and the And an information output means such as a classification unit for outputting the output information corresponding to the input information based on the stored learning pattern information.
  • the invention according to claim 8 is characterized in that the output information is obtained by using the learning pattern information generated by the learning device according to any one of claims 1 to 4.
  • An information output device for output comprising: a storage unit such as a storage unit that stores the generated learning pattern information; an acquisition unit such as an input interface; and an output unit such as a classification unit.
  • the information output method is based on the acquisition step of acquiring the input information by the acquisition unit, the acquired input information, and the stored learning pattern information. And outputting the output information by the output means.
  • the invention according to claim 9 is configured to output the output information using the learning pattern information generated by the learning device according to any one of claims 1 to 4.
  • FIG. 1 is a block diagram showing a schematic configuration of the degradation determination system according to the embodiment
  • FIG. 2 is a block diagram showing a detailed configuration of a learning device included in the degradation determination system.
  • FIG. 3 is a conceptual diagram showing a canonical correlation analysis process in the learning process according to the embodiment
  • FIG. 4 is a conceptual diagram showing the entire learning process.
  • FIG. 5 is a block diagram illustrating a detailed configuration of the inspection apparatus included in the deterioration determination system according to the embodiment.
  • FIG. 6 is a flowchart illustrating a deterioration determination process according to the embodiment.
  • the determination system S includes a learning device L and an inspection device C.
  • the learning device L corresponds to an example of a “learning device” according to the present invention
  • the inspection device C corresponds to an example of an “information output device” according to the present invention.
  • the inspection apparatus C newly captures the learning pattern data PD stored in the storage unit and the structure to be subjected to the deterioration determination.
  • the deterioration determination using the result of the deep learning process is performed using the image data GD obtained in this way.
  • the structure that is the target of the actual deterioration determination may be different from the structure in which the image data GD used in the deep learning process in the learning device L is captured, or may be the same structure. Good.
  • the learning device L is basically configured by a personal computer or the like, and functionally includes an input interface 1 and an input interface 10, and a feature amount extraction unit 2.
  • the feature amount extraction unit 5, the feature amount extraction unit 11, the canonical correlation analysis unit 3, the conversion unit 4, the learning parameter determination unit 6, the storage unit 7, and the feature amount selection unit 8 are configured. Yes.
  • the feature quantity extraction unit 2, the feature quantity extraction unit 5, the feature quantity extraction unit 11, the canonical correlation analysis unit 3, the conversion unit 4, the learning parameter determination unit 6, the storage unit 7, and the feature quantity selection unit 8 are learned.
  • the device L may be configured as a hardware logic circuit including a CPU or the like, or a program corresponding to a learning process (see FIG.
  • the input interface 10 corresponds to an example of “external information acquisition unit” according to the present invention
  • the feature amount extraction unit 2 and the conversion unit 4 correspond to an example of “conversion unit” according to the present invention
  • the unit 5 and the learning parameter determination unit 6 correspond to an example of “deep learning means” according to the present invention.
  • image data GD as learning data obtained by photographing a structure that has been subjected to past degradation determination is output to the feature quantity extraction unit 2 via the input interface 1.
  • the feature quantity extraction unit 2 extracts the feature quantity in the image data GD by an existing feature quantity extraction method, generates the image feature data GC, and outputs it to the canonical correlation analysis unit 3 and the conversion unit 4.
  • the external data BD which is an example of “external information” according to the present invention, is output to the feature quantity extraction unit 11 via the input interface 10.
  • the data included in the external data BD for example, the person who made the deterioration determination of the structure corresponding to the image data GD (for example, a judge having a certain degree of skill in deterioration determination)
  • Brain activity data indicating the state of brain activity at the time of deterioration determination
  • line-of-sight data indicating movement of the person's line of sight at the time of the deterioration determination
  • structure type name and structure of the structure that is the target of the deterioration determination
  • the brain activity data brain activity data measured using a so-called functional near-infrared spectroscopy (fNIRS) can be used as an example.
  • the text data is text data that does not include contents as label data LD, which will be described later, and is various text data that can be used for canonical correlation analysis processing by the canonical correlation analysis unit 3.
  • the feature quantity extraction unit 11 extracts the feature quantity in the external data BD by an existing feature quantity extraction method, generates external feature data BC, and outputs it to the canonical correlation analysis unit 3.
  • the label data LD for indicating the classification (classification class) of the deterioration state of the structure and the classification in the result of the deep learning process described later by the learning parameter determination unit 6 is the canonical correlation analysis unit 3 and the learning. It is input to the parameter determination unit 6. Accordingly, the canonical correlation analysis unit 3 executes the canonical correlation analysis process between the external feature data BC and the image feature data GC based on the label data LD, the external feature data BC, and the image feature data GC. The result (that is, the canonical correlation between the external feature data BC and the image feature data GC) is output to the conversion unit 4 as analysis result data RT. Then, the conversion unit 4 converts the image feature data GC using the analysis result data RT and outputs the converted image feature data MC to the feature amount extraction unit 5.
  • FIG. 3 shows a case where linear transformation is performed using the transposed matrix A ′ and the transposed matrix B ′, but non-linear transformation may be used.
  • the analysis result data RT (corresponding to the new vector A′X i shown in FIG. 3) is shown so as to show a canonical correlation between the external feature data BC and the image feature data GC. )
  • the conversion by the conversion unit 4 in this case may correspond to the canonical correlation including the non-linear conversion in addition to the canonical correlation including the linear conversion.
  • a transformation process including the canonical correlation process using the brain activity data, the line-of-sight data and / or the text data as the external data BD, and the label data LD is performed on the image feature data GC. 3 and the conversion unit 4 to generate the converted image feature data MC.
  • This processing corresponds to the processing of the portion indicated by the symbol ⁇ in FIG. 4 (canonical correlation analysis processing) and the processing of the node portion indicated by the symbol ⁇ .
  • feature amount extraction processing by the feature amount extraction unit 5 from the generated converted image feature data MC and learning pattern data PD generation processing by the learning parameter determination unit 6 using the learning feature data MCC as a result thereof are performed. Executed. These processes correspond to the process of the part indicated by the symbol ⁇ in FIG.
  • the generated learning pattern data PD includes learning parameter data corresponding to the intermediate layer shown in FIG. 4 and learning parameter data corresponding to the hidden layer shown in FIG. Thereafter, the generated learning pattern data PD is stored in the storage medium (not shown) by the storage unit 7.
  • the learning process according to the embodiment as described above by using, as external data BD, brain activity data indicating the state of brain activity of a person who has made a similar deterioration determination in the past, for example, the brain activity of the person Can be performed in the inspection apparatus C, and the amount of image data GD as learning data can be greatly reduced, while omitting the deep learning processing portion corresponding to. Can do.
  • the inspection apparatus C is basically configured by, for example, a portable or movable personal computer or the like, and functionally includes the input interface 20 and features.
  • An amount extraction unit 21 and a feature amount extraction unit 23, a conversion unit 22, a classification unit 24, an output unit 25 including a liquid crystal display, and a storage unit 26 are included.
  • the feature quantity extraction unit 21, the feature quantity extraction unit 23, the conversion unit 22, the classification unit 24, and the storage unit 26 may be configured as a hardware logic circuit including the CPU or the like that configures the inspection apparatus C.
  • a program corresponding to an inspection process (see FIG. 6B) according to an embodiment to be described later may be realized by software by the CPU or the like of the inspection apparatus C reading and executing a program.
  • the input interface 20 corresponds to an example of “acquisition unit” according to the present invention
  • the classification unit 24 and the output unit 25 correspond to an example of “output unit” according to the present invention
  • the storage unit 26 corresponds to the present invention. It corresponds to an example of such “storage means”.
  • the storage unit 26 stores the learning pattern data PD stored in the storage medium by the learning device L, read from the storage medium.
  • the image data GD as an example of the “input information” according to the present invention which is image data GD that is a new image of a structure that is subject to deterioration determination by the inspection apparatus C, includes, for example, a camera (not shown) and the like.
  • the data is output to the feature quantity extraction unit 21 via the interface 20.
  • the feature quantity extraction unit 21 extracts the feature quantity in the image data GD by, for example, an existing feature quantity extraction method similar to the feature quantity extraction unit 2 of the learning device L, generates image feature data GC, and converts the feature quantity. 4 is output.
  • the conversion unit 22 performs conversion processing including canonical correlation analysis processing using the transposed matrix A ′ and the transposed matrix B ′, similar to the conversion unit 4 of the learning device L, on the image feature data GC, for example. It is output to the feature amount extraction unit 23 as feature data MC.
  • Information necessary for the normal correlation analysis processing including data indicating the transposed matrix A ′ and the transposed matrix B ′ is stored in advance in a memory (not shown) of the inspection apparatus C.
  • the feature amount extraction unit 23 extracts the feature amount in the converted image feature data MC again by using, for example, an existing feature amount extraction method similar to the feature amount extraction unit 5 of the learning device L, and generates feature data CMC.
  • the data is output to the classification unit 24.
  • the classification unit 24 reads the learning pattern data PD from the storage unit 26, and uses the learned pattern data PD to determine and classify the deterioration state of the structure indicated by the feature data CMC, and outputs the classification data CT to the output unit 25. Output.
  • the output unit 25 displays the classification data CT, for example, to allow the user to recognize the state of deterioration of the structure that is newly subjected to the deterioration determination.
  • the power switch of the learning device L is turned on, and the image data GD as the learning data is further transferred to the learning device L. It is started by inputting (step S1).
  • the feature amount extraction unit 2 and the feature amount extraction unit 11 perform the image feature data GC and the external feature data BC. Are respectively generated (step S3).
  • a canonical correlation analysis process using the image feature data GC, the external feature data BC, and the label data LD is executed by the canonical correlation analysis unit 3 (step S4), and the analysis result data RT as a result is used.
  • step S9 If it is determined in step S9 that the learning process according to the embodiment is to be ended (step S9: YES), the learning device L ends the learning process. On the other hand, in the determination of step S9, when the learning process is continued (step S9: NO), thereafter, the processes after step S1 described above are repeated.
  • step S17 the determination and classification of the structure deterioration using the learned pattern data PD are executed by the classification unit 24 (step S15). Thereafter, the classification result is presented to the user via the output unit 25 (step S16). Thereafter, for example, by determining whether or not the power switch of the inspection apparatus C is turned off, it is determined whether or not to end the inspection process according to the embodiment (step S17). If it is determined in step S17 that the inspection process according to the embodiment is to be ended (step S17: YES), the inspection apparatus C ends the inspection process. On the other hand, in the determination of step S17, when the inspection process is continued (step S17: NO), the processes after step S10 described above are repeated thereafter.
  • the learning device L generates the learning pattern data PD using the correlation with the external data BD corresponding to the image data GD as the learning data.
  • the number of layers in the deep learning process for generating the learning pattern data PD corresponding to the image data GD and the number of patterns as the learning pattern data PD can be reduced. Therefore, while reducing the amount of image data GD (image data GD input to the learning device L together with the external data BD) as learning data necessary for generating the learning pattern data PD, the image data GD (inspection) A significant deterioration determination result corresponding to the image data GD input to the apparatus C can be obtained.
  • the external data BD is external data BD that is electrically generated due to a person's activity related to deterioration determination using the learning pattern data PD, both the expertise of the person and the image data GD are both included. Can be generated.
  • the external data BD corresponds to the brain activity data corresponding to the brain activity of the person caused by the activity of the person involved in the deterioration determination of the learning pattern data PD, or the visual recognition corresponding to the visual behavior of the person included in the activity.
  • the corresponding learning pattern data PD can be generated according to the expertise of the person.
  • the converted image feature data MC is generated by converting the image feature data GC based on the result of the canonical correlation analysis process between the image feature data GC and the external feature data BC. More correlated converted image feature data MC can be generated and used for generating learning pattern data PD.
  • the inspection apparatus C outputs (presents) a deterioration determination result corresponding to the image data GD based on the new image data GD to be subjected to deterioration determination and the stored learning pattern data PD, the image The degradation determination result corresponding to the data GD can be output.
  • the brain activity data measured using the functional near infrared spectroscopy is used as the brain activity data of the person who performed the deterioration determination of the structure corresponding to the image data GD.
  • the person's so-called EEG (Electroencephalogram) electroencephalogram data, simple electroencephalograph data, or fMRI (functional Magnetic Resonance I Imaging) data may be used as the brain activity data.
  • EEG Electroencephalogram
  • simple electroencephalograph data simple electroencephalograph data
  • fMRI functional Magnetic Resonance I Imaging
  • the external data BD generally, as the external data BD indicating a person's specialty and preference, the person's blink data, voice data, vital data (blood pressure data, saturation data, heart rate data, pulse rate) Data, skin temperature data, etc.) or body movement data.
  • the present invention is applied when the deterioration determination of the structure is performed using the image data GD.
  • the present invention is applied when the deterioration determination is performed using acoustic data (so-called keystroke sound). May be provided.
  • the learning process according to the embodiment is executed with the brain activity data of the person who performed the deterioration determination using the keystroke sound (that is, the judge who performed the deterioration determination by listening to the keystroke sound) as the external data BD. Will be.
  • the present invention is applied to the case where the deterioration determination of the structure is performed using the image data GD or the sound data.
  • the present invention can also be applied when performing using image data or sound data.
  • the present invention is not limited thereto, and each of the learning device L and the inspection device C according to the embodiment.
  • You may comprise so that a function may be implement
  • You may comprise so that the function of each of the conversion part 4 and the learning parameter determination part 6 may be provided in the server apparatus connected to networks, such as the internet, for example.
  • the image data GD, the external data BD, and the label data LD are transmitted to the server device (see FIG. 2) from the terminal device connected to the network, and further the learning parameter determination unit 6 of the server device. It is preferable that the learning pattern data PD determined by the above is transmitted from the server device to the terminal device and stored.
  • the functions of the input interface 20, the feature amount extraction unit 21, the feature amount extraction unit 23, the conversion unit 22, the classification unit 24, and the storage unit 26 in the inspection apparatus C are provided. You may comprise so that the said server apparatus may be equipped.
  • transmission of the image data GD to be determined to the server device is performed from the terminal device connected to the network, and the classification data CT output from the classification unit 24 of the server device. Is preferably transmitted from the server device to the terminal device and output (displayed).
  • the amount of learning data required when generating the learning pattern data PD by the conventional deep learning process is tens of thousands. At this time, even if the learning accuracy (determination accuracy) may be lowered, several thousand pieces of learning data are required. However, in this case, the guarantee that the learning is correctly performed in generating the learning pattern data PD will be reduced to the limit rather than “decrease in accuracy”.
  • the image data GD for evaluation the image data GD of the specialized image in which the deformation of the structure is photographed is used.
  • the level of deformation (deterioration) was classified into three levels and recognized.
  • 30 pieces of image data GD were prepared for each of the levels, and thus evaluation was performed with a total of 90 pieces of image data GD.
  • so-called sufficient cross-validation (90% (81 images) image data GD) is learned by the learning device L, and the remaining 10% (9 images) GD is used.
  • the verification that repeats the deterioration determination process as the inspection apparatus C ten times) was adopted.
  • the results of the experiment as described above are shown in Table 1.
  • Table 1 asks the subjects A to D as the acquisition source of the brain activity data as the external data BD, and the deterioration determination result of those persons using the 81 pieces of image data GD and the embodiment are shown in FIG.
  • the result of the deterioration determination process and the deterioration determination result by the Fine-tuning method are described. That is, since the Fine-tuning method does not use the external data BD, it has the same determination accuracy regardless of the subject (displayed as a percentage of the accuracy rate in Table 1), but the conventional Fine-tuning method. Since the number of image data GD is overwhelmingly smaller than the method, the determination accuracy is only less than 50%.
  • the present invention can be used in the field of a determination system that determines the state of a structure or the like, and particularly when applied to the field of a determination system that performs a deterioration determination of the structure or the like. A particularly remarkable effect is obtained.

Abstract

入力情報に対応した学習パターンの生成のために必要な学習用データの量を低減しつつ、入力情報に対応した有意な出力情報を精度よく出力させるための学習パターン情報を生成することが可能な学習装置を提供する。　画像データＧＤに対応した有意な出力を得るための学習パターンデータＰＤであって、画像データＧＤを用いた深層学習処理の結果に対応する学習パターンデータＰＤを生成する場合に、画像データＧＤに対応する外部データＢＤを外部から取得し、画像データＧＤの特徴を示す画像特徴データＧＣと、外部データＢＤの特徴を示す外部特徴データＢＣと、の間の相関に基づいて画像特徴データＧＣを変換し、変換画像特徴データＭＣを生成する。その後、生成された変換画像特徴データＭＣを用いて深層学習処理を実行し、学習パターンデータＰＤを生成する。

Description

学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム
　本発明は、学習装置、学習方法及び当該学習装置用のプログラム、並びに、情報出力装置、情報出力方法及び当該情報出力装置用のプログラムの技術分野に属する。より詳細には、画像情報等の入力情報に対応した有意な出力情報を出力するための学習パターン情報を生成する学習装置、学習方法及び当該学習装置用のプログラム、並びに、当該生成された学習パターン情報を用いて出力情報を出力する情報出力装置、情報出力方法及び情報出力用プログラムの技術分野に属する。
　近年、機械学習、特に深層学習に関する研究が活発に行われている。このような研究を開示した先行技術文献としては、例えば下記非特許文献１及び下記非特許文献２が挙げられる。これらの研究では、極めて高精度な認識や分類が可能である。
Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning", Nature, vol. 521, pp. 436-444, 2015 J. Schmidhuber, "Deep learning in neural networks: An overview", Neural Networks, vol. 61, pp. 85-117, 2015
　しかしながら、上記二つの非特許文献に記載されている技術に対しては、上記認識や分類の高精度化のためには、例えば十万単位の大量の学習用データを必要とすること、及び、認識・分類結果に対する過程が人間と大きく異なること、が問題点として挙げられている。そして現状では、これらを同時に解決可能とする技術の実現には至っていない。またこれらの問題は、個人の嗜好や専門知識に関連する課題において顕著となり、深層学習の実利用を検討する際の障壁ともなっている。
　なお、少ない学習用データからの学習を可能とするための方法として、学習済みの識別器から学習をし直す、いわゆる「Fine-tuning」なる手法等が知られているが、これらについても、学習用データの量の低減にも限界があり、学習の精度の向上との両立は困難である。
　そこで本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例は、上記深層学習における層数、及び当該深層学習の結果としての学習パターンのパターン数を削減することで上記学習用データの低減が可能な学習装置、学習方法及び当該学習装置用のプログラム、並びに、生成された学習パターン情報を用いて上記出力情報を出力することが可能な情報出力装置、情報出力方法及び情報出力用プログラムを提供することにある。
　上記の課題を解決するために、請求項１に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置において、前記入力情報に対応する外部情報を外部から取得する入力インターフェース等の外部情報取得手段と、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換部等の変換手段と、前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する学習パラメータ決定部等の深層学習手段と、を備える。
　上記の課題を解決するために、請求項６に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であり、且つ、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置であって、入力インターフェース等の外部情報取得手段と、変換部等の変換手段と、学習パラメータ決定部等の深層学習手段と、を備える学習装置において実行される学習方法であって、前記入力情報に対応する外部情報を前記外部情報取得手段により外部から取得する外部情報取得工程と、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記変換手段により前記入力特徴情報を変換し、変換入力特徴情報を生成する変換工程と、前記生成された変換入力特徴情報を用いて前記深層学習手段により前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習工程と、を含む。
　上記の課題を解決するために、請求項７に記載の発明は、入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置に含まれるコンピュータを、前記入力情報に対応する外部情報を外部から取得する外部情報取得手段、前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換手段、及び、前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習手段、として機能させる。
　請求項１、請求項６又は請求項７のいずれか一項に記載の発明によれば、入力情報に対応した外部情報との相関を用いて学習パターン情報を生成することで、入力情報に対応した学習パターン情報を生成するための深層学習処理における層数、及び学習パターン情報としてのパターン数を削減することができる。よって学習パターン情報の生成のために必要な学習用データとしての入力情報の量を低減しつつ、当該入力情報に対応した有意な出力情報を出力させることができる。
　上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の学習装置において、前記外部情報は、前記生成された学習パターン情報を用いた前記出力情報の生成に関わる人の当該生成に関わる活動に起因して電気的に生成される外部情報であるように構成される。
　請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、外部情報が、学習パターン情報を用いた出力情報の生成に関わる人の活動に起因して電気的に生成される外部情報であるので、当該人の専門性や嗜好と当該入力情報の双方に対応した学習パターン情報を生成することができる。
　上記の課題を解決するために、請求項３に記載の発明は、請求項２に記載の学習装置において、前記外部情報は、前記活動により生じた前記人の脳活動に対応した脳活動情報、又は、前記活動に含まれる前記人の視認行動に対応した視認情報の少なくともいずれか一方を含むように構成される。
　請求項３に記載の発明によれば、請求項２に記載の発明の作用に加えて、外部情報が、学習パターン情報を用いた出力情報の生成に関わる人の活動により生じた当該人の脳活動に対応した脳活動情報、又は、当該活動に含まれる当該人の視認行動に対応した視認情報の少なくともいずれか一方を含むので、当該人の専門性や嗜好により対応した学習パターン情報を生成することができる。
　上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の学習装置において、前記相関は、前記入力特徴情報と、前記外部特徴情報と、の間の正準相関分析処理の結果たる相関であり、前記変換手段は、当該結果に基づいて前記入力特徴情報を変換して前記変換入力特徴情報を生成するように構成される。
　請求項４に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、入力特徴情報と、外部特徴情報と、の間の正準相関分析処理の結果に基づいて入力特徴情報を変換して変換入力特徴情報を生成するので、より外部情報に相関した変換入力特徴情報を生成して学習パターン情報の生成に供させることができる。
　上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶部等の記憶手段と、前記入力情報を取得する入力インターフェース等の取得手段と、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する分類部等の情報出力手段と、を備える。
　上記の課題を解決するために、請求項８に記載の発明は、請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶部等の記憶手段と、入力インターフェース等の取得手段と、分類部等の出力手段と、を備える情報出力装置において実行される情報出力方法であって、前記入力情報を前記取得手段により取得する取得工程と、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を前記出力手段により出力する出力工程と、を含む。
　上記の課題を解決するために、請求項９に記載の発明は、請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置に含まれるコンピュータを、前記生成された学習パターン情報を記憶する記憶手段、前記入力情報を取得する取得手段、及び、前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する出力手段、として機能させる。
　請求項５、請求項８又は請求項９のいずれか一項に記載の発明によれば、請求項１から請求項４のいずれか一項に記載の発明の作用に加えて、入力情報と、記憶されている学習パターン情報と、に基づいて、入力情報に対応した出力情報を出力するので、入力情報により対応した出力情報を出力することができる。
　本発明によれば、入力情報に対応した外部情報との相関を用いて学習パターン情報を生成することで、入力情報に対応した学習パターン情報を生成するための深層学習処理における層数、及び学習パターン情報としてのパターン数を削減することができる。
　従って、学習パターン情報の生成のために必要な学習用データとしての入力情報の量を低減しつつ、当該入力情報に対応した有意な出力情報を精度よく出力させることができる。
実施形態に係る劣化判定システムの概要構成を示すブロック図である。 実施形態に係る劣化判定システムに含まれる学習装置の細部構成を示すブロック図である。 実施形態に係る学習処理における正準相関分析処理を示す概念図である。 実施形態に係る学習処理の全体を示す概念図である。 実施形態に係る劣化判定システムに含まれる検査装置の細部構成を示すブロック図である。 実施形態に係る劣化判定処理をそれぞれ示すフローチャートであり、（ａ）は実施形態に係る学習処理を示すフローチャートであり、（ｂ）は実施形態に係る検査処理を示すフローチャートである。
　次に、本発明を実施するための形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、例えば橋脚等の建築物や構造物の劣化の状態を、それらの外観を撮影して得られる画像データを用いて判定する劣化判定システムに対して本発明を適用した場合の実施の形態である。このとき以下の説明においては、上記建築物又は構造物を、単に「構造物」と称する。
　また、図１は実施形態に係る劣化判定システムの概要構成を示すブロック図であり、図２は当該劣化判定システムに含まれる学習装置の細部構成を示すブロック図である。更に、図３は実施形態に係る学習処理における正準相関分析処理を示す概念図であり、図４は当該学習処理の全体を示す概念図である。更にまた、図５は実施形態に係る劣化判定システムに含まれる検査装置の細部構成を示すブロック図であり、図６は実施形態に係る劣化判定処理をそれぞれ示すフローチャートである。
　（Ｉ）判定システムの全体構成及び動作
　はじめに、実施形態に係る判定システムの全体構成及び動作について、図１を用いて説明する。
　図１に示すように、実施形態に係る判定システムＳは、学習装置Ｌと、検査装置Ｃと、により構成されている。このとき、学習装置Ｌが本発明に係る「学習装置」の一例に相当し、検査装置Ｃが本発明に係る「情報出力装置」の一例に相当する。
　この構成において、学習装置Ｌは、劣化判定の対象たる構造物を過去に撮影して得られた画像データＧＤと、当該画像データＧＤを用いた劣化判定に対応する外部データＢＤと、に基づき、新たな劣化判定の対象である画像データＧＤを用いて自動的に上記劣化判定を行うための学習パターンデータＰＤを深層学習処理により生成する。そして、当該生成された学習パターンデータＰＤは、実際の劣化判定に用いられる検査装置Ｃの記憶部に記憶される。
　一方、上記学習パターンデータＰＤを用いた構造物の実際の劣化判定時において検査装置Ｃは、上記記憶部に記憶されている学習パターンデータＰＤと、劣化判定の対象たる構造物を新たに撮影して得られた画像データＧＤと、を用いて、上記深層学習処理の結果を用いた劣化判定を行う。このとき、実際の劣化判定の対象たる構造物は、学習装置Ｌにおける深層学習処理に用いられた画像データＧＤが撮影された構造物と異なっていてもよいし、同一の構造物であってもよい。
　（II）学習装置の細部構成及び動作
　次に、上記学習装置Ｌの構成及び動作について、図２乃至図４を用いて説明する。
　図２に示すように、実施形態に係る学習装置Ｌは、基本的にはパーソナルコンピュータ等により構成されるものであり、機能的には、入力インターフェース１及び入力インターフェース１０と、特徴量抽出部２、特徴量抽出部５及び特徴量抽出部１１と、正準相関分析部３と、変換部４と、学習パラメータ決定部６と、記憶部７と、特徴量選択部８と、により構成されている。なお、特徴量抽出部２、特徴量抽出部５及び特徴量抽出部１１、正準相関分析部３、変換部４、学習パラメータ決定部６、記憶部７並びに特徴量選択部８については、学習装置Ｌを構成する例えばＣＰＵ等を含むハードウェアロジック回路として構成してもよいし、後述する実施形態に係る学習処理（図６（ａ）参照）に相当するプログラムを学習装置Ｌの上記ＣＰＵ等が読み込んで実行することにより、ソフトウェア的に実現されるものであってもよい。また、上記入力インターフェース１０が本発明に係る「外部情報取得手段」の一例に相当し、特徴量抽出部２及び変換部４が本発明に係る「変換手段」の一例に相当し、特徴量抽出部５及び学習パラメータ決定部６が本発明に係る「深層学習手段」の一例に相当する。
　以上の構成において、過去の劣化判定の対象となった構造物を撮影した、学習用データとしての画像データＧＤは、入力インターフェース１を介して特徴量抽出部２に出力される。そして特徴量抽出部２は、画像データＧＤにおける特徴量を既存の特徴量抽出方法により抽出し、画像特徴データＧＣを生成して正準相関分析部３及び変換部４に出力する。
　一方、本発明に係る「外部情報」の一例である外部データＢＤは、入力インターフェース１０を介して特徴量抽出部１１に出力される。ここで当該外部データＢＤに含まれるデータとしては、例えば、上記画像データＧＤに対応する構造物の劣化判定を行った人（例えば、劣化判定についてある程度以上の練度を有する判定員）の、当該劣化判定時の脳活動の状態を示す脳活動データや、当該劣化判定の際の当該人の視線の動きを示す視線データや、当該劣化判定の対象であった構造物についての構造種別名称、構造細目名称及び変状部位名称等を示すテキストデータ等が挙げられる。このとき、上記脳活動データとしては、いわゆる機能的近赤外分光分析法（fNIRS（functional Near-Infrared Spectroscopy））を用いて計測された脳活動データをその一例として用いることができる。また、上記テキストデータは、後述するラベルデータＬＤとしての内容を含まないテキストデータであって正準相関分析部３による正準相関分析処理に用いることが可能な種々のテキストデータである。そして特徴量抽出部１１は、外部データＢＤにおける特徴量を既存の特徴量抽出方法により抽出し、外部特徴データＢＣを生成して正準相関分析部３に出力する。一方、上記構造物の劣化の状態の分類（分類クラス）を示し、且つ学習パラメータ決定部６による後述の深層学習処理の結果における分類のためのラベルデータＬＤが、正準相関分析部３及び学習パラメータ決定部６に入力されている。これらにより正準相関分析部３は、ラベルデータＬＤ、外部特徴データＢＣ及び画像特徴データＧＣに基づき、当該外部特徴データＢＣと画像特徴データＧＣとの間における正準相関分析処理を実行し、その結果（即ち、外部特徴データＢＣと画像特徴データＧＣとの間の正準相関）を、分析結果データＲＴとして変換部４に出力する。そして変換部４は、分析結果データＲＴを用いて画像特徴データＧＣを変換し、変換画像特徴データＭＣとして特徴量抽出部５に出力する。
　ここで、正準相関分析部３による上記正準相関分析処理、及びその結果としての分析結果データＲＴを用いた変換部４における変換処理について、図３を用いてその概要をそれぞれ説明する。
　一般に正準相関分析処理は、例えば二つの変量（ベクトル等の変量）間の相関を最大とする変換を求める処理である。即ち図３において、二つのベクトルｘiとベクトルｙi（ｉ＝1、２、…、Ｎ（Ｎはデータのサンプル数））があったと仮定すると、正準相関分析処理では、図３に示す転置行列Ａ’及び転置行列Ｂ’による線形変換を用いて、これら「二つのベクトルｘi及びベクトルｙi間の相関を最大とするような変換」を求める。このとき当該相関を上記「正準相関」と称する。この正準相関分析処理により、元のベクトルｘiとベクトルｙiとの間に内在する関連性を求めることができる。なお図３では、転置行列Ａ’及び転置行列Ｂ’を用いて線形変換する場合について示すが、非線形変換であっても構わない。そして、実施形態に係る学習処理では、外部特徴データＢＣと画像特徴データＧＣとの間の正準相関を示すように、上記分析結果データＲＴ（図３に示す新たなベクトルA’Xiに対応）を用いて変換部４により画像特徴データＧＣを変換する。なお、この場合の変換部４による変換は、上記線形変換を含む正準相関に対応したものの他に、上記非線形変換を含む正準相関に対応したものであってもよい。これにより、外部データＢＤとの相関を最大とする変換を、元の画像データＧＤに対する深層学習処理内に取り込む。このとき、外部データＢＤとして上記脳活動データを用いる場合は、当該脳活動データには、その取得元たる人の専門知識や嗜好を表す情報が含まれている。よって、当該専門知識や嗜好を表現（具現化）することが可能な画像としての特徴量が、変換部４による変換結果たる変換画像特徴データＭＣとして出力される。このとき特徴量選択部８は、正準相関分析部３における正準相関分析処理において、それに用いられる正準相関係数に基づいて外部特徴データＢＤを切り換えて正準相関分析処理に供させる。
　次に、特徴量抽出部５は、変換画像特徴データＭＣにおける特徴量を既存の特徴量抽出方法により改めて抽出し、学習用特徴データＭＣＣを生成して学習パラメータ決定部６に出力する。これにより学習パラメータ決定部６は、上記ラベルデータＬＤに基づき、学習用特徴データＭＣＣを学習用データとして用いた深層学習処理を行い、その結果としての学習パターンデータＰＤを生成して記憶部７に出力する。そして記憶部７は、当該学習パターンデータＰＤを図示しない記憶媒体（例えば、ＵＳＢ（Universal Serial Bus）メモリや光ディスク等の記憶媒体）に記憶させる。
　ここで、上述して来た学習装置Ｌにおける実施形態に係る学習処理の全体を概念的に示すと、図４のようになる。なお図４は、実施形態に係る深層学習処理（図４に示す中間層、隠れ層及び出力層からなる深層学習処理）を、例えば全接続型のニューラルネットワークを用いて示す図である。即ち、実施形態に係る学習処理では、劣化判定の対象たる構造物を過去に撮影して得られた画像データＧＤが学習装置Ｌに入力されると、特徴量抽出部２によりその特徴量が抽出され、画像特徴データＧＣが生成される。この処理は、図４における符号αで示した部分の処理に相当する。次に当該画像特徴データＧＣに対して、外部データＢＤとしての脳活動データ、視線データ及び／又はテキストデータ並びに上記ラベルデータＬＤを用いた上記正準相関処理を含む変換処理が正準相関分析部３及び変換部４により実行され、上記変換画像特徴データＭＣが生成される。この処理は、図４における符号βで示した部分の処理（正準相関分析処理）、及び符号γで示したノード部分の処理に相当する。そして、生成された変換画像特徴データＭＣからの特徴量抽出部５による特徴量の抽出処理、及びその結果たる学習用特徴データＭＣＣを用いた学習パラメータ決定部６による学習パターンデータＰＤの生成処理が実行される。これらの処理は、図４における符号δで示した部分の処理に相当する。このとき、生成された学習パターンデータＰＤには、図４に示す中間層に対応する学習パラメータデータと、図４に示す隠れ層に対応する学習パラメータデータと、が含まれている。その後、生成された学習パターンデータＰＤは、記憶部７により上記図示しない記憶媒体に記憶される。以上のような実施形態に係る学習処理によれば、過去に同様の劣化判定を行った人の脳活動の状態を示す脳活動データ等を外部データＢＤとして用いることで、例えば当該人の脳活動に相当する深層学習処理の部分を省略しつつ、その人の専門性を反映させた劣化判定を検査装置Ｃにおいて行うことができ、学習用データとしての画像データＧＤの量を大幅に低減することができる。
　（III）検査装置の細部構成及び動作
　次に、上記検査装置Ｃの構成及び動作について、図５を用いて説明する。
　図５に示すように、実施形態に係る検査装置Ｃは、基本的には例えば携帯可能な又は移動可能なパーソナルコンピュータ等により構成されるものであり、機能的には、入力インターフェース２０と、特徴量抽出部２１及び特徴量抽出部２３と、変換部２２と、分類部２４と、液晶ディスプレイ等からなる出力部２５と、記憶部２６と、により構成されている。なお、特徴量抽出部２１及び特徴量抽出部２３、変換部２２、分類部２４及び記憶部２６については、検査装置Ｃを構成する例えばＣＰＵ等を含むハードウェアロジック回路として構成してもよいし、後述する実施形態に係る検査処理（図６（ｂ）参照）に相当するプログラムを検査装置Ｃの上記ＣＰＵ等が読み込んで実行することにより、ソフトウェア的に実現されるものであってもよい。また、上記入力インターフェース２０が本発明に係る「取得手段」の一例に相当し、分類部２４及び出力部２５が本発明に係る「出力手段」の一例に相当し、記憶部２６が本発明に係る「記憶手段」の一例に相当する。
　以上の構成において、記憶部２６には、学習装置Ｌにより上記記憶媒体に記憶された学習パターンデータＰＤが、当該記憶媒体から読み出されて記憶されている。そして、新たに検査装置Ｃによる劣化判定の対象となった構造物を撮影した画像データＧＤであって本発明に係る「入力情報」の一例としての画像データＧＤは、例えば図示しないカメラ等及び入力インターフェース２０を介して特徴量抽出部２１に出力される。これにより特徴量抽出部２１は、画像データＧＤにおける特徴量を、例えば学習装置Ｌの特徴量抽出部２と同様の既存の特徴量抽出方法により抽出し、画像特徴データＧＣを生成して変換部４に出力する。その後変換部２２は、例えば学習装置Ｌの変換部４と同様の、上記転置行列Ａ’及び転置行列Ｂ’を用いた正準相関分析処理を含む変換処理を画像特徴データＧＣに施し、変換画像特徴データＭＣとして特徴量抽出部２３に出力する。なお、当該転置行列Ａ’及び転置行列Ｂ’を示すデータを含む当該正閏相関分析処理に必要な情報は、予め検査装置Ｃの図示しないメモリ内に記憶されている。
　次に特徴量抽出部２３は、変換画像特徴データＭＣにおける特徴量を、例えば学習装置Ｌの特徴量抽出部５と同様の既存の特徴量抽出方法により改めて抽出し、特徴データＣＭＣを生成して分類部２４に出力する。そして分類部２４は、学習パターンデータＰＤを記憶部２６から読み出し、それを用いて特徴データＣＭＣにより示されている構造物の劣化の状態を判定して分類し、分類データＣＴとして出力部２５に出力する。この学習パターンデータＰＤを用いた分類部２４における分類処理により、学習装置Ｌにおける深層学習処理の結果を用いた構造物の劣化判定が行えることになる。そして出力部２５は、当該分類データＣＴを例えば表示することで、新たに劣化判定の対象となった構造物の当該劣化の状態等を使用者に認識させる。
　（IV）実施形態の劣化判定処理
　最後に、実施形態に係る判定システムＳ全体において実行される、実施形態に係る劣化判定処理について、纏めて図６を用いて説明する。
　はじめに、実施形態に係る劣化判定処理のうち学習装置Ｌにより実行される実施形態に係る学習処理について、図６（ａ）を用いて説明する。
　上述した細部構成及び動作を備える学習装置Ｌにより実行される実施形態に係る学習処理は、例えば学習装置Ｌの電源スイッチがオンとされ、更に上記学習用データとしての画像データＧＤが学習装置Ｌに入力されることで開始される（ステップＳ１）。そして、当該画像データＧＤと並行して外部データＢＤが学習装置Ｌに入力されると（ステップＳ２）、特徴量抽出部２及び特徴量抽出部１１により上記画像特徴データＧＣ及び上記外部特徴データＢＣがそれぞれ生成される（ステップＳ３）。その後、当該画像特徴データＧＣ及び当該外部特徴データＢＣ並びにラベルデータＬＤを用いた正準相関分析処理が正準相関分析部３により実行され（ステップＳ４）、その結果としての分析結果データＲＴを用いて画像特徴データＧＣが変換部４により変換されて変換画像特徴データＭＣが生成される（ステップＳ５）。その後、特徴量抽出部５により変換画像特徴データＭＣにおける特徴量が抽出され、学習用特徴データＭＣＣとして学習パラメータ決定部６に出力される（ステップＳ６）。そして、学習パラメータ決定部６の深層学習処理により上記学習パターンデータＰＤが生成され（ステップＳ７）、更に当該学習パターンデータＰＤが記憶部７により上記記憶媒体に記憶される（ステップＳ８）。その後、例えば学習装置Ｌの上記電源スイッチがオフとされたか否かが判定されることにより、実施形態に係る学習処理を終了するか否かが判定される（ステップＳ９）。ステップＳ９の判定において、実施形態に係る学習処理を終了すると判定された場合（ステップＳ９：ＹＥＳ）、学習装置Ｌは当該学習処理を終了する。一方、ステップＳ９の判定において、当該学習処理を継続する場合（ステップＳ９：ＮＯ）、その後は上述してきたステップＳ１以降の処理が繰り返される。
　次に、実施形態に係る劣化判定処理のうち検査装置Ｃにより実行される実施形態に係る検査処理について、図６（ｂ）を用いて説明する。
　上述した細部構成及び動作を備える検査装置Ｃにより実行される実施形態に係る検査処理は、例えば検査装置Ｃの電源スイッチがオンとされ、更に上記劣化判定の対象たる新たな画像データＧＤが検査装置Ｃに入力されることで開始される（ステップＳ１０）。そして、特徴量抽出部２１により上記画像特徴データＧＣが生成される（ステップＳ１１）。その後、当該画像特徴データＧＣが変換部２２により変換されて変換画像特徴データＭＣが生成される（ステップＳ１２）。次に、特徴量抽出部２３により変換画像特徴データＭＣにおける特徴量が抽出され、特徴データＣＭＣとして分類部２４に出力される（ステップＳ１３）。そして、記憶部２６から上記学習パターンデータＰＤが読み出され（ステップＳ１４）、それを用いた構造物の劣化の判定及び分類が分類部２４により実行される（ステップＳ１５）。その後、当該分類結果が出力部２５を介して使用者に提示される（ステップＳ１６）。その後、例えば検査装置Ｃの上記電源スイッチがオフとされたか否かが判定されることにより、実施形態に係る検査処理を終了するか否かが判定される（ステップＳ１７）。ステップＳ１７の判定において、実施形態に係る検査処理を終了すると判定された場合（ステップＳ１７：ＹＥＳ）、検査装置Ｃは当該検査処理を終了する。一方、ステップＳ１７の判定において、当該検査処理を継続する場合（ステップＳ１７：ＮＯ）、その後は上述してきたステップＳ１０以降の処理が繰り返される。
　以上それぞれ説明したように、実施形態に係る劣化判定処理によれば、学習装置Ｌにおいて、学習用データとしての画像データＧＤに対応した外部データＢＤとの相関を用いて学習パターンデータＰＤを生成することで、画像データＧＤに対応した学習パターンデータＰＤを生成するための深層学習処理における層数、及び学習パターンデータＰＤとしてのパターン数を削減することができる。よって、学習パターンデータＰＤの生成のために必要な学習用データとしての画像データＧＤ（外部データＢＤと共に学習装置Ｌに入力される画像データＧＤ）の量を低減しつつ、当該画像データＧＤ（検査装置Ｃに入力される画像データＧＤ）に対応した有意な劣化判定結果を得ることができる。
　また、外部データＢＤが、学習パターンデータＰＤを用いた劣化判定に関わる人の活動に起因して電気的に生成される外部データＢＤであるので、当該人の専門性と当該画像データＧＤの双方に対応した学習パターンデータＰＤを生成することができる。
　更に、外部データＢＤが、学習パターンデータＰＤを劣化判定に関わる人の活動により生じた当該人の脳活動に対応した脳活動データ、又は、当該活動に含まれる当該人の視認行動に対応した視認データの少なくともいずれか一方を含む場合は、当該人の専門性により対応した学習パターンデータＰＤを生成することができる。
　更にまた、画像特徴データＧＣと、外部特徴データＢＣと、の間の正準相関分析処理の結果に基づいて画像特徴データＧＣを変換して変換画像特徴データＭＣを生成するので、外部データＢＤによりより相関した変換画像特徴データＭＣを生成して学習パターンデータＰＤの生成に供させることができる。
　また検査装置Ｃにおいて、劣化判定の対象たる新たな画像データＧＤと、記憶されている学習パターンデータＰＤと、に基づいて、画像データＧＤに対応した劣化判定結果を出力（提示）するので、画像データＧＤにより対応した劣化判定結果を出力することができる。
　なお上述した実施形態では、画像データＧＤに対応する構造物の劣化判定を行った人の脳活動データとして、機能的近赤外分光分析法を用いて計測された脳活動データを用いたが、これ以外に、その人のいわゆるＥＥＧ（Electroencephalogram）脳波データや簡易脳波計データ、或いはｆＭＲＩ（functional Magnetic Resonance Imaging）データを当該脳活動データとして用いてもよい。この他に外部データＢＤとしては、一般に、人の専門性や嗜好を示す当該外部データＢＤとして、その人の瞬目データ、音声データ、バイタルデータ（血圧データ、サチュレーションデータ、心拍数データ、脈拍数データ、皮膚温データ等）、又は体動のデータ等を用いることができる。
　更に上述した実施形態では、画像データＧＤを用いて構造物の劣化判定を行う場合に本発明を適用したが、これ以外に、音響データ（いわゆる打鍵音）により当該劣化判定を行う場合に本発明を提供してもよい。この場合には、当該打鍵音による劣化判定を行った人（つまり、打鍵音を聞いて劣化判定を行った判定員）の脳活動データを外部データＢＤとして、実施形態に係る学習処理が実行されることになる。
　更にまた、上述した実施形態等では、構造物の劣化判定を画像データＧＤ又は音響データを用いて行う場合に本発明を適用したが、これ以外に、様々な物体の状態判定を、それに対応した画像データ又は音響データを用いて行う場合に本発明を適用することもできる。
　また、実施形態等のような構造物の劣化判定処理だけでなく、医師や歯科医師或いは看護士等の経験を反映させた深層学習処理を行った結果得られた学習パターンデータを用いて医療診断支援や医療診断技術の伝承を行う場合や、災害リスクの専門家の経験等を反映させた深層学習処理を行った結果得られた学習パターンデータを用いて安全対策決定支援や災害リスクの判定支援を行う場合に、本発明を適用することもできる。
　更に、人の嗜好の学習に本発明を適用する場合には、実施形態に係る外部データＢＤとしては、同様の嗜好を有する人の嗜好結果（判定結果）に相当する外部データＢＤを用いることができる。
　更にまた、上述した実施形態では、学習装置Ｌ及び検査装置Ｃ共に、いわゆるスタンドアローン型のものである場合について説明したが、これらに限らず、実施形態に係る学習装置Ｌ及び検査装置Ｃそれぞれの機能を、サーバ装置と端末装置とを含むシステム上で実現するように構成してもよい。即ち、実施形態に係る学習装置Ｌの場合には、当該学習装置Ｌにおける入力インターフェース１及び入力インターフェース１０、特徴量抽出部２、特徴量抽出部５及び特徴量抽出部１１、正準相関分析部３、変換部４並びに学習パラメータ決定部６それぞれの機能を、例えばインターネット等のネットワークに接続されたサーバ装置に備えさせるように構成してもよい。この場合は、当該サーバ装置への画像データＧＤ及び外部データＢＤ並びにラベルデータＬＤの送信（図２参照）を当該ネットワークに接続された端末装置から行い、更に、上記サーバ装置の学習パラメータ決定部６により決定された学習パターンデータＰＤを当該サーバ装置から端末装置に送信して記憶させるように構成するのが好適である。一方、実施形態に係る検査装置Ｃの場合には、当該検査装置Ｃにおける入力インターフェース２０、特徴量抽出部２１及び特徴量抽出部２３、変換部２２、分類部２４並びに記憶部２６それぞれの機能を上記サーバ装置に備えさせるように構成してもよい。この場合は、当該サーバ装置への判定対象たる画像データＧＤの送信（図５参照）を当該ネットワークに接続された端末装置から行い、更に、上記サーバ装置の分類部２４から出力される分類データＣＴを当該サーバ装置から端末装置に送信して出力（表示）させるように構成するのが好適である。
　次に、実施形態に係る劣化判定処理の効果を示すものとして本発明の発明者らが行った実験結果を、実施例として以下に示す。
　上述したように、従来の深層学習処理により学習パターンデータＰＤを生成する際に必要となる学習用データの量は万単位となる。このとき、学習の精度（判定精度）を下げてもよい場合であっても数千の学習用データが必要となる。但しこの場合、「精度が下がる」というよりも、学習パターンデータＰＤを生成するに当たっての学習が正しく行われる保証が限りなく少なくなることになる。
　これに対し、他の学習用データ（例えば万単位の画像データＧＤ）で学習済みの学習パターンデータＰＤを、再度、適用対象のデータで学習し直す上記Fine-tuningの手法が従来から知られているが、この手法を用いても、数千単位（但し最低でも千枚以上）の画像データがないと学習をすることは難しくなる。
　これらに対して、実施形態に係る学習処理に対応した本発明者らによる実験では、評価用の画像データＧＤとして、構造物の変状が撮影された専門性の存在する画像の画像データＧＤを用い、その変状（劣化）のレベルを三つのレベルに分類して認識させた。このとき当該各レベルのそれぞれに対し、３０枚の画像データＧＤを用意し、よって合計９０枚の画像データＧＤで評価を行った。なお、具体的な精度評価の方法としては、いわゆる十分割交差検証（９割（８１枚）の画像データＧＤ）で学習装置Ｌにより学習させ、残りの１割（９枚）の画像データＧＤで検査装置Ｃとしての劣化判定処理を十回繰り返す検証）を採用した。以上のような実験の結果は表１に示すものとなった。
Figure JPOXMLDOC01-appb-T000001
　このとき表１では、外部データＢＤとしての脳活動データの取得元として被験者Ａ乃至被験者Ｄに協力を仰ぎ、上記８１枚の画像データＧＤを用いたそれらの人の劣化判定結果と、実施形態に劣化判定処理の結果と、上記Fine-tuning法による劣化判定結果と、を記載している。即ち、先ず上記Fine-tuning法は、外部データＢＤを用いないため被験者によらず全て同じ判定精度（表１では、正解率のパーセント表記として表示されている）ではあるが、従来のFine-tuning法よりも画像データＧＤの数が圧倒的に少ないので、判定精度も５０パーセント未満でしかない。これに対し、実施形態に係る劣化判定結果は、精度限界としての人（被験者Ａ乃至被験者Ｄ）による判定結果に迫る精度を有している。更に被験者Ｃとの関係では、当該被験者Ｃよりも高い精度を有している。なお、被験者Ａ乃至被験者Ｄのいずれでも上記精度が１００パーセントにはなっていないが、これは、画像データＧＤを用いた劣化判定を行う企業等の中で、「最も熟練した技術者達が、（画像データＧＤだけでなく）構造物に関連するデータを全て突き合わせて出した最終判定結果」が精度限界とならざるを得ないため、たとえ人たる被験者であっても、その劣化判定の精度は１００パーセントとなることはない。
　以上それぞれ説明したように、本発明は構造物等の状態の判定を行う判定システムの分野に利用することが可能であり、特に当該構造物等の劣化判定を行う判定システムの分野に適用すれば特に顕著な効果が得られる。
　１、１０、２０　　入力インターフェース
　２、５、１１、２１、２３　　特徴量抽出部
　３　　正準相関分析部
　４、２２　　変換部
　６　　学習パラメータ決定部
　７、２６　　記憶部
　８　　特徴量選択部
　２４　　分類部
　２５　　出力部
　Ｓ　　判定システム
　Ｌ　　学習装置
　Ｃ　　検査装置
　ＧＤ　　画像データ
　ＢＤ　　外部データ
　ＰＤ　　学習パターンデータ
　ＧＣ　　画像特徴データ
　ＢＣ　　外部特徴データ
　ＬＤ　　ラベルデータ
　ＲＴ　　分析結果データ
　ＭＣ　　変換画像特徴データ
　ＣＴ　　分類データ
　ＭＣＣ　　学習用特徴データ
　ＣＭＣ　　特徴データ

Claims (9)

  1. 　入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置において、
    　前記入力情報に対応する外部情報を外部から取得する外部情報取得手段と、
    　前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換手段と、
    　前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習手段と、
    　を備えることを特徴とする学習装置。
  2. 　請求項１に記載の学習装置において、
    　前記外部情報は、前記生成された学習パターン情報を用いた前記出力情報の生成に関わる人の当該生成に関わる活動に起因して電気的に生成される外部情報であることを特徴とする学習装置。
  3. 　請求項２に記載の学習装置において、
    　前記外部情報は、前記活動により生じた前記人の脳活動に対応した脳活動情報、又は、前記活動に含まれる前記人の視認行動に対応した視認情報の少なくともいずれか一方を含むことを特徴とする学習装置。
  4. 　請求項１から請求項３のいずれか一項に記載の学習装置において、
    　前記相関は、前記入力特徴情報と、前記外部特徴情報と、の間の正準相関分析処理の結果たる相関であり、
    　前記変換手段は、当該結果に基づいて前記入力特徴情報を変換して前記変換入力特徴情報を生成することを特徴とする学習装置。
  5. 　請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、
    　前記生成された学習パターン情報を記憶する記憶手段と、
    　前記入力情報を取得する取得手段と、
    　前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する出力手段と、
    　を備えることを特徴とする情報出力装置。
  6. 　入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であり、且つ、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置であって、外部情報取得手段と、変換手段と、深層学習手段と、を備える学習装置において実行される学習方法であって、
    　前記入力情報に対応する外部情報を前記外部情報取得手段により外部から取得する外部情報取得工程と、
    　前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記変換手段により前記入力特徴情報を変換し、変換入力特徴情報を生成する変換工程と、
    　前記生成された変換入力特徴情報を用いて前記深層学習手段により前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習工程と、
    　を含むことを特徴とする学習方法。
  7. 　入力情報に対応した有意な出力情報を当該入力情報に基づいて出力するための学習パターン情報であって、前記入力情報を用いた深層学習処理の結果に対応する学習パターン情報を生成する学習装置に含まれるコンピュータを、
    　前記入力情報に対応する外部情報を外部から取得する外部情報取得手段、
    　前記入力情報の特徴を示す入力特徴情報と、前記取得された外部情報の特徴を示す外部特徴情報と、の間の相関に基づいて前記入力特徴情報を変換し、変換入力特徴情報を生成する変換手段、及び、
    　前記生成された変換入力特徴情報を用いて前記深層学習処理を実行し、前記学習パターン情報を生成する深層学習手段、
    　として機能させることを特徴とする学習装置用プログラム。
  8. 　請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置であって、前記生成された学習パターン情報を記憶する記憶手段と、取得手段と、出力手段と、を備える情報出力装置において実行される情報出力方法であって、
    　前記入力情報を前記取得手段により取得する取得工程と、
    　前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を前記出力手段により出力する出力工程と、
    　を含むことを特徴とする情報出力方法。
  9. 　請求項１から請求項４のいずれか一項に記載の学習装置により生成された前記学習パターン情報を用いて前記出力情報を出力する情報出力装置に含まれるコンピュータを、
    　前記生成された学習パターン情報を記憶する記憶手段、
    　前記入力情報を取得する取得手段、及び、
    　前記取得された入力情報と、前記記憶されている学習パターン情報と、に基づいて、当該入力情報に対応した前記出力情報を出力する出力手段、
    　として機能させることを特徴とする情報出力用プログラム。
PCT/JP2019/003420 2018-02-02 2019-01-31 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム WO2019151411A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/966,744 US20210056414A1 (en) 2018-02-02 2019-01-31 Learning apparatus, learning method, and program for learning apparatus, as well as information output apparatus, information ouput method, and information output program
JP2019569559A JP7257682B2 (ja) 2018-02-02 2019-01-31 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-017044 2018-02-02
JP2018017044 2018-02-02

Publications (1)

Publication Number Publication Date
WO2019151411A1 true WO2019151411A1 (ja) 2019-08-08

Family

ID=67479264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003420 WO2019151411A1 (ja) 2018-02-02 2019-01-31 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム

Country Status (3)

Country Link
US (1) US20210056414A1 (ja)
JP (1) JP7257682B2 (ja)
WO (1) WO2019151411A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181607A (ja) * 2011-02-28 2012-09-20 Toyota Central R&D Labs Inc 感覚データ識別装置及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9983670B2 (en) * 2012-09-14 2018-05-29 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US10151636B2 (en) * 2015-06-14 2018-12-11 Facense Ltd. Eyeglasses having inward-facing and outward-facing thermal cameras
US10573042B2 (en) * 2016-10-05 2020-02-25 Magic Leap, Inc. Periocular test for mixed reality calibration

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181607A (ja) * 2011-02-28 2012-09-20 Toyota Central R&D Labs Inc 感覚データ識別装置及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAEDA, KEISUKE ET AL: "A Study on classification of Deterioration Levels of Electric Transmission Steel Tower Based on Deep Learning with Canonical Correlation Maximization", 工TE TECHNICAL REPORT, vol. 41, no. 29, 29 August 2017 (2017-08-29), pages 11 - 14 *
SAWATA, RYOSUKE ET AL: "A Note on Classification of 工ndividual Favorite Musical Pieces Utilizing EEG Signals during Listening to Music - Performance 工mprovement via CCA Considering Class 工nformation", 工TE TECHNICAL REPORT, vol. 39, no. 7, 2015, pages 179 - 184 *

Also Published As

Publication number Publication date
US20210056414A1 (en) 2021-02-25
JPWO2019151411A1 (ja) 2021-01-28
JP7257682B2 (ja) 2023-04-14

Similar Documents

Publication Publication Date Title
Tschandl et al. Expert-level diagnosis of nonpigmented skin cancer by combined convolutional neural networks
Liang et al. A new, short-recorded photoplethysmogram dataset for blood pressure monitoring in China
Müller et al. EEG/ERP-based biomarker/neuroalgorithms in adults with ADHD: Development, reliability, and application in clinical practice
US20170004288A1 (en) Interactive and multimedia medical report system and method thereof
Soni et al. Graphical representation learning-based approach for automatic classification of electroencephalogram signals in depression
Hasan et al. Pain level detection from facial image captured by smartphone
Bernstein-Eliav et al. The prediction of brain activity from connectivity: advances and applications
Bibbo’ et al. Emotional Health Detection in HAR: New Approach Using Ensemble SNN
Huo Full-stack application of skin cancer diagnosis based on CNN Model
Adibuzzaman et al. Assessment of pain using facial pictures taken with a smartphone
Guarin et al. Video-based facial movement analysis in the assessment of bulbar amyotrophic lateral sclerosis: clinical validation
Cao et al. BNLoop-GAN: a multi-loop generative adversarial model on brain network learning to classify Alzheimer’s disease
WO2019151411A1 (ja) 学習装置、学習方法及び学習装置用プログラム、並びに、情報出力装置、情報出力方法及び情報出力用プログラム
Sharma et al. MEDiC: Mitigating EEG Data Scarcity Via Class-Conditioned Diffusion Model
Islam et al. Personalization of Stress Mobile Sensing using Self-Supervised Learning
Jeyarani et al. Eye Tracking Biomarkers for Autism Spectrum Disorder Detection using Machine Learning and Deep Learning Techniques
Luo et al. Exploring adaptive graph topologies and temporal graph networks for eeg-based depression detection
Saisanthiya et al. Heterogeneous Convolutional Neural Networks for Emotion Recognition Combined with Multimodal Factorised Bilinear Pooling and Mobile Application Recommendation.
Sweeney-Fanelli et al. Automated Emotion Recognition Employing Wearable ECG Sensor and Deep-Learning
Hu et al. Personalized Heart Disease Detection via ECG Digital Twin Generation
Mahajan et al. Deciphering EEG Waves for the Generation of Images
Abeydeera et al. Smart mirror with virtual twin
KR102630547B1 (ko) 사용자 상태 진단을 위한 진단 정보 제공 방법 및 이를 수행하는 장치
Koorathota et al. Multimodal neurophysiological transformer for emotion recognition
US20210106248A1 (en) ECG Analysis System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19748195

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2019569559

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19748195

Country of ref document: EP

Kind code of ref document: A1