JPWO2019111339A1 - 学習装置、検査システム、学習方法、検査方法およびプログラム - Google Patents

学習装置、検査システム、学習方法、検査方法およびプログラム Download PDF

Info

Publication number
JPWO2019111339A1
JPWO2019111339A1 JP2019557912A JP2019557912A JPWO2019111339A1 JP WO2019111339 A1 JPWO2019111339 A1 JP WO2019111339A1 JP 2019557912 A JP2019557912 A JP 2019557912A JP 2019557912 A JP2019557912 A JP 2019557912A JP WO2019111339 A1 JPWO2019111339 A1 JP WO2019111339A1
Authority
JP
Japan
Prior art keywords
image
learning
learning data
data
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019557912A
Other languages
English (en)
Other versions
JP6901007B2 (ja
Inventor
高橋　勝彦
勝彦 高橋
剛志 柴田
剛志 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019111339A1 publication Critical patent/JPWO2019111339A1/ja
Application granted granted Critical
Publication of JP6901007B2 publication Critical patent/JP6901007B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

第１の画像取得手段８１は、検査対象の異常部分を含む第１の画像を取得する。第２の画像取得手段８２は、第１の画像が撮影された時点よりも過去に撮影された検査対象の第２の画像を取得する。学習データ生成手段８３は、第２の画像が異常部分を含むとする学習データを生成する。学習手段８４は、学習データ生成手段８３により生成された学習データを用いて、判別辞書を学習する。

Description

本発明は、検査対象の状況を学習する学習装置、学習方法および学習プログラム並びに学習結果に基づいて検査を行う検査システム、検査方法および検査プログラムに関する。
物体の劣化や人体に生じる病気などを機械学習によって検査する技術が提案されている。例えば、特許文献１には、事前にラベル付けされた劣化画像データおよび非劣化画像データを大量に学習して識別用の辞書を構築し、コンクリート構造物の点検を支援する装置が開示されている。
なお、特許文献２には、病例の経時変化に関する事例データを活用し、同一患者の病変部に対する現在画像と過去画像とを位置合わせし、その差分画像を生成する画像処理方法が開示されている。
特開２０１６−６５８０９号公報 特開２００５−２７０６３５号公報
物体の劣化や人体に生じる病気などは、早期に発見できることが望まれている。そのため、異常の状態の現れ方が顕著でない画像からも、異常状態の有無を検査できることが好ましい。
一般に、大きなひび割れが撮影された画像や病巣が明確に撮影された画像のように、検査対象を撮影した画像から異常な状態が顕著に表面に現れていることを確認できる場合には、異常部分を含む学習データとしてその画像を活用することは可能である。例えば、特許文献１に記載された装置では、劣化と判断できる画像データを劣化画像データ、劣化しているとは判断できないデータを非劣化画像データとして学習を行うことにより、辞書が構築される。
異常状態を識別する精度を向上させるためには、多くの学習データを利用できることが好ましい。しかし、異常の初期の状態で異常部分が小さかったり、他の構造的な特徴に異常部分が隠れてしまったりするなど、異常の状態の現れ方が顕著でない場合、その状態を異常と判断するには、多くの経験を必要とする。すなわち、多くの経験を積んだハイレベルな診断者でないと、このような画像から異常を検出することは難しいため、結果として学習データの取得も困難である。
このように、異常の状態の現れ方が顕著でない画像から取得可能な、異常状態を含むとする学習データは少ないため、このような状況での異常状態を識別する辞書を学習することが難しいという問題がある。
そこで、本発明は、検査対象の異常を示す学習データが少ない場合であっても、その検査対象について異常か否かを判断する精度を向上できる学習装置、学習方法および学習プログラム並びに学習結果に基づいて検査を行う検査システム、検査方法および検査プログラムを提供することを目的とする。
本発明による学習装置は、検査対象の異常部分を含む第１の画像を取得する第１の画像取得手段と、第１の画像が撮影された時点よりも過去に撮影された検査対象の第２の画像を取得する第２の画像取得手段と、第２の画像が異常部分を含むとする学習データを生成する学習データ生成手段と、学習データ生成手段により生成された学習データを用いて、判別辞書を学習する学習手段とを備えたことを特徴とする。
本発明による検査システムは、検査対象の画像を取得する画像取得手段と、検査対象の異常部分を含む第１の画像が撮影された時点よりも過去に撮影された検査対象の第２の画像が異常部分を含むとする学習データを用いて学習された、検査対象の異常の有無を判別する判別辞書を用いて、取得された画像から検査対象の異常の有無を検査する検査手段と、検査手段による検査結果を出力する出力手段とを備えたことを特徴とする。
本発明による学習方法は、検査対象の異常部分を含む第１の画像を取得し、第１の画像が撮影された時点よりも過去に撮影された検査対象の第２の画像を取得し、第２の画像が異常部分を含むとする学習データを生成し、生成された学習データを用いて、判別辞書を学習することを特徴とする。
本発明による検査方法は、検査対象の画像を取得し、検査対象の異常部分を含む第１の画像が撮影された時点よりも過去に撮影された検査対象の第２の画像が異常部分を含むとする学習データを用いて学習された、検査対象の異常の有無を判別する判別辞書を用いて、取得された画像から検査対象の異常の有無を検査し、検査結果を出力することを特徴とする。
本発明による学習プログラムは、コンピュータに、検査対象の異常部分を含む第１の画像を取得する第１の画像取得処理、第１の画像が撮影された時点よりも過去に撮影された検査対象の第２の画像を取得する第２の画像取得処理、第２の画像が異常部分を含むとする学習データを生成する学習データ生成処理、および、学習データ生成処理で生成された学習データを用いて、判別辞書を学習する学習処理を実行させることを特徴とする。
本発明による検査プログラムは、コンピュータに、検査対象の画像を取得する画像取得処理、検査対象の異常部分を含む第１の画像が撮影された時点よりも過去に撮影された検査対象の第２の画像が異常部分を含むとする学習データを用いて学習された、検査対象の異常の有無を判別する判別辞書を用いて、取得された画像から検査対象の異常の有無を検査する検査処理、および、検査手段による検査結果を出力する出力処理を実行させることを特徴とする。
本発明によれば、検査対象の異常を示す学習データが少ない場合であっても、その検査対象について異常か否かを判断する精度を向上できる。
本発明の検査システムの一実施形態の構成例を示すブロック図である。 画像データの例を示す説明図である。 検査対象の悪化のレベルと学習データの入手容易性との関係を示す説明図である。 検査対象の悪化のレベルと学習データの入手容易性との関係を示す説明図である。 正解ラベルデータの例を示す説明図である。 同一の検査対象を離散的な時刻に観測した画像データの例を示す説明図である。 画素対応データを算出する処理の例を示す説明図である。 正解ラベルの例を示す説明図である。 正解ラベルの例を示す説明図である。 検査対象と正解ラベルとの関係性の例を示す説明図である。 学習装置の動作例を示すフローチャートである。 検査システムの動作例を示すフローチャートである。 本発明による学習装置の概要を示すブロック図である。 本発明による検査システムの概要を示すブロック図である 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の検査システムの一実施形態の構成例を示すブロック図である。また、図２は、本発明で用いる画像データの例を示す説明図である。
まず初めに、図２を参照して、本発明が想定する検査対象を説明する。本発明では時間の経過とともに異常な状態が進行していくもの（すなわち、状態が悪化していくもの）を検査対象として想定する。ここで、異常な状態とは、正常な状態では存在しないものが存在する状態や、正常な状態では想定されない状態を意味する。
病気の例では、正常な状態では存在しない病巣が存在する状態が異常な状態と言える。具体的には、検査対象の異常は、その検査対象に発生した、病巣、腫瘍、潰瘍、閉塞、出血、被検対象に発生した病気の予兆などである。また、物体の劣化の例では、壁面に亀裂（ひび割れ）、壁面の剥離、壁の変色が存在する状態が異常な状態と言える。
図２に示す例では、検査対象の異常状態が、画像２０１、画像２０２、画像２０３および画像２０４の順に、時間の経過とともに進行していくことを示す。具体的には、図２に示す例では、画像２０１に示す状態が正常状態を表し、画像２０４に示す状態が、異常の現れ方が顕著で容易に判断が可能な状態（異常状態）を表す。
画像２０４のように、異常の現れ方が顕著な画像は、異常状態の判断がしやすいため、異常状態を表す学習データとして比較的多く集めることが可能である。しかし、画像２０３、画像２０２のように、異常の現れ方が顕著でない画像は、その時点で異常と判断できないことも多いため、異常状態を表す学習データとして取得できないことも多い。
画像２０２や、画像２０３のような、異常の現れ方が顕著ではない画像を学習データとして用いることができれば、早期に異常状態を検出することが可能になる。本実施形態では、検査対象の異常状態が時間の経過とともに進行していくことに着目し、異常状態が検出された検査対象について過去に撮影された画像を、異常状態を表す学習データとして利用する。
図２に示す例では、画像２０４が異常状態を表す画像と判断されている場合、同一検査対象について撮影された過去の画像２０３、画像２０２（必要であれば、画像２０１）が、異常状態を表す学習データとして利用される。
図３および図４は、検査対象の悪化のレベルと学習データの入手容易性との関係を示す説明図である。図３および図４では、劣化や病状が単調に悪化するタイプの事象に対し、その進行を４段階に区分した場合の、段階ごとの学習用劣化画像データ（異常状態を示すデータ）の入手容易性を例示する。
学習用の劣化画像データとして最も入手しやすいのは、通常レベルの診断者でも診断可能な、劣化や病状の進んだ状態を撮像した画像３０４である。通常レベルの診断者は、ハイレベルな診断者よりも多く存在するため、劣化や病状の進んだ状態を撮像した画像データは、多くの診断者によって、ラベル３１４を付されて収集される機会があると考えられるためである。
次に、入手しやすいデータは、ハイレベルの診断者が診断可能な、劣化や病状の進んだ状態を撮像した画像３０３である。通常レベルの診断者に比べ人数が少ないハイレベルの診断者のみがラベル３１３を付与することができる。
もっとも入手が難しいデータは、ハイレベルな診断者でさえも見逃してしまう状態の劣化や病状を撮像した画像３０２である。ハイレベルな診断者も判別できないため、画像データは劣化や病気が始まっていることを示すラベル付けがされることもなく、正常状態を表すデータとして扱われるためである。なお、画像３０１は正常状態を表すデータであり、ラベルは付与されない。
したがって、劣化状態や病気の状態を撮像した画像を機械学習によって学習し診断する一般的な機械学習では、通常レベルの診断者が診断可能な検査装置が構築されるに過ぎない。
一方、本実施形態では、図４の画像３０３および画像３０２が示す段階の画像からも、多くのラベル付けされたデータ（ラベル３１３、ラベル３１２）を生成する。そのため、ハイレベルの診断者が診断可能な検査装置を構築することが可能になる。
図１を参照すると、本実施形態の検査システム２００は、学習装置１００と、検査手段１０８と、画像取得手段１０９と、出力手段１１０とを備えている。
また、学習装置１００は、画像データ記憶部１０１と、正解ラベル記憶部１０２と、画素対応データ記憶部１０３と、画像・画素リンク手段１０４と、正解ラベル伝播手段１０５と、予兆検知学習手段１０６と、辞書記憶部１０７とを含む。
画像データ記憶部１０１は、同一の検査対象を時間の経過とともに撮影した画像データを記憶する。画像データ記憶部１０１は、例えば、図２に例示するような画像３０１〜３０４を記憶する。画像データ記憶部１０１は、離散的な時刻に観測された画像データを記憶していてもよく、時系列に撮影された画像データを記憶してもよい。ここで、離散的な時刻に観測された画像データとは、ビデオ画像のように連続した時刻に撮影された画像データではなく、連続していない時刻や日時、年代などに撮影された画像データを意味する。以下の説明では、同一の検査対象を時間の経過とともに撮影した一連の画像データを、画像データ群と記す。
また、同一の検査対象を撮影する撮像装置（図示せず）は、固定された装置であってもよく、移動する装置であってもよい。移動する装置で撮影された画像データは、必ずしも検査対象を撮影する位置が一致するとは限らない。そこで、後述する画像・画素リンク手段１０４によって、画像データ同士の対応付けが行われる。なお、検査対象を撮影した位置が異なる画像データ同士の場合、２つの画像データで同じｘ，ｙ座標にある画素同士が対応するのではなく、結果として、異なるｘ，ｙ座標の画素同士が対応することになる。
正解ラベル記憶部１０２は、画像データに対して付加される正解ラベルを記憶する。正解ラベルは、画像データ記憶部１０１に記憶された画像データに対して付加されるラベルであり、検査対象が正常状態か異常状態かを表すラベルデータ（以下、正解ラベルデータと記すこともある。）である。
図５は、正解ラベルデータの例を示す説明図である。例えば、図５に例示する画像４００に、劣化や病気の様相を呈している画素４０１、および、正常な状態に対応する画素４０２が含まれていたとする。このとき、正解ラベルデータ４００Ｌとして、劣化や病状を示すラベル４０３が画素４０１に付加され、正常を示すラベル４０４が画素４０２に付加される。
なお、図５では、画素単位に正解ラベルデータを付加する方法を例示した。ただし、正解ラベルデータを付加する単位は、画素単位に限定されない。例えば、簡易的に、劣化や病気の様相を呈している画素４０１を内包する外接矩形の四隅座標で表現された領域に対して劣化や病状を示すラベルが付加されてもよい。
正解ラベルは、ユーザが異常状態を示す画像を特定し、その画像中に含まれる異常部分に対して付加されてもよいし、後述する検査手段１０８によって異常状態と判断された画像の異常部分に対して付加されてもよい。
上述するように、初期状態では、異常の現れ方が顕著な画像に対して正解ラベルが付加される。言い換えると、当初は、画像データのうち、比較的新しい時刻に撮影された画像データに対してのみ正解ラベルが付加される。そして、後述する正解ラベル伝播手段１０５および予兆検知学習手段１０６が、より過去の時刻に撮影された画像データに対して正解ラベルを付加することを想定している。
画素対応データ記憶部１０３は、同一の検査対象に対して離散的な時刻に観測された画像データ間の画素の対応関係を示すデータ（以下、画素対応データと記す。）を記憶する。具体的には、画素対応データは、２枚の画像間における点同士の対応関係を示す。画素対応データは、例えば、２枚の画像間でのピクセルごとの縦軸および横軸方向の位置ずれ量をそれぞれ画素値とする２枚の画像形式で表されていてもよい。また、画素対応データは、劣化や病気の様相を呈している画素４０１を内包する外接矩形と、もう一方の画像にてそれに対応する矩形の四隅座標で表されていてもよい。
画像・画素リンク手段１０４は、同一の検査対象に対して離散的な時刻に観測された画像データを対応付ける。具体的には、画像・画素リンク手段１０４は、２つの画像データのうち、相対的に新しい画像データの各画素に対応する、相対的に過去の画像データ中の画素を特定することにより、両画像データを対応付ける。すなわち、画像・画素リンク手段１０４は、離散的な時刻に観測された２つの画像の位置を合わせる機能を有することから、位置合わせ手段ということができる。
画像・画素リンク手段１０４は、例えば、同一の検査対象を撮影した画像データを照合し、時間的に変化しない部分の対応関係を手掛かりとして、画像レベルおよび画素レベルで両画像データを対応付けてもよい。そして、画像・画素リンク手段１０４は、対応付けた結果を表す画素対応データを画素対応データ記憶部１０３に記憶してもよい。
図６は、同一の検査対象を離散的な時刻に観測した画像データの例を示す説明図である。図６に例示する画像５０１は、ある時刻に撮影された画像を表し、画像５０２は、同一の検査対象について、画像５０１が撮影された時刻よりも過去に撮影された画像を表す。すなわち、画像５０１の方が画像５０２よりも新しい時刻に撮影された画像である。
また、画像５０１に撮影された物体５０３〜５０６、および、画像５０２に撮影された物体５０７〜５１０は、経年変化しない物体を示し、物体５１１および物体５１２は、経年変化する物体を示す。ここで、物体５０３と物体５０７、物体５０４と物体５０８、物体５０５と物体５０９および物体５０６と物体５１０は、それぞれ対応する同一物であり、物体５１１の以前の状態が物体５１２であるとする。
図６に示す例では、画像を撮影するカメラは検査対象に対して固定されていない。そのため、画像５０１と画像５０２では、対応する物体の画像中での位置が、主に左右方向にずれている。また、画像５０１中の物体５１１と、画像５０２中の物体５１２は、サイズや見えが異なっている。
このような状況において、画像・画素リンク手段１０４は、実世界における点が対応する両画像中の点同士（画素同士）を対応づけする。画像・画素リンク手段１０４は、例えば、物体５０３〜５１０並びに物体５１１および物体５１２の間で、もっとも合理的と考えられる画素ごとの対応関係を線形変換モデルまたは非線形変換モデルを仮定することにより、画素同士を対応づけてもよい。そして、画像・画素リンク手段１０４は、対応付けた点の座標の組を抽出し、画素対応データとして画素対応データ記憶部１０３に保存する。
図６に示す例では、経年変化のない物体５０３〜５０６と物体５０７〜５１０をそれぞれ平行移動のみによって対応づけるのが、誤差がなくもっと合理的と考えられる。そこで、画像・画素リンク手段１０４は、そのような画像変換規則に基づいて画素の対応関係を求め、対応関係を示す情報を画素対応データ記憶部１０３に記憶する。例えば、対象物が平面的な剛体の場合、画像変換規則は、ホモグラフィ行列で表現可能である。また、対象物が、平行移動しかしない場合、画像変換規則は、アフィン変換行列で表現可能である。
なお、物体５１１には経年変化が生じているため、見た目の類似性に基づいて対応点を定めることは難しい。そこで、画像・画素リンク手段１０４は、経年劣化のない物体と同じ画像変換規則に基づいて計算される点を対応点としてもよい。すなわち、図６に示す例では、物体５１２を一回り大きくした物体５１１と同サイズの領域を、物体５１１に対応する領域としてもよい。
次に、画像・画素リンク手段１０４によって算出される画素対応データの例を説明する。図７は、画素対応データを算出する処理の例を示す説明図である。図７は、図５に例示する画像５０１中の物体５０３および画像５０２中の物体５０７の周辺のみをそれぞれ拡大した図を示している。
物体５０３は、３つの頂点６０１，６０２，６０３を含み、物体５０７は、３つの頂点６０４，６０５，６０６を含む。また、頂点６０１と頂点６０４、頂点６０２と頂点６０５および頂点６０３と頂点６０６がそれぞれ対応する。頂点６０１から頂点６０６までの各頂点のｘ，ｙ座標をそれぞれ、（ｘ６０１，ｙ６０１），（ｘ６０２，ｙ６０２），（ｘ６０３，ｙ６０３），（ｘ６０４，ｙ６０４），（ｘ６０５，ｙ６０５），（ｘ６０６，ｙ６０６）とする。
ここで、画像５０１から画像５０２への対応点のｘ座標を格納する画像をＩｘ（ｘｎ，ｙｎ）と表わし、画像５０１から画像５０２への対応点のｘ座標を格納する画像をＩｙ（ｘｎ，ｙｎ）と表わす。この場合、各画像ＩｘおよびＩｙには、以下の値が格納される。
Ｉｘ（ｘ６０１，ｙ６０１）＝ｘ６０４
Ｉｘ（ｘ６０２，ｙ６０２）＝ｘ６０５
Ｉｘ（ｘ６０３，ｙ６０３）＝ｘ６０６
Ｉｙ（ｘ６０１，ｙ６０１）＝ｙ６０４
Ｉｙ（ｘ６０２，ｙ６０２）＝ｙ６０５
Ｉｙ（ｘ６０３，ｙ６０３）＝ｙ６０６
画像・画素リンク手段１０４は、この画像ＩｘおよびＩｙを画素対応データとして画素対応データ記憶部１０３に保存してもよい。
また、画像・画素リンク手段１０４は、対応する点のｘ，ｙ座標を並べた情報、すなわち、
ｘ６０１，ｙ６０１，ｘ６０４，ｙ６０４
ｘ６０２，ｙ６０２，ｘ６０５，ｙ６０５
ｘ６０３，ｙ６０３，ｘ６０６，ｙ６０６
を画素対応データとして画素対応データ記憶部１０３に保存してもよい。
なお、上記説明では、説明を簡易にするため、対象物の頂点を対応付けた情報のみ記載したが、対応付ける情報は対象物の頂点に限定されない。画像・画素リンク手段１０４は、例えば、対象物の輪郭を示す情報をそれぞれ対応付けてもよいし、対象物の内部の特徴的な点を対応付けてもよい。
正解ラベル伝播手段１０５は、画像データ群に含まれる２つの画像データについて、相対的に新しい時刻に撮影された画像データに付加された正解ラベルを用いて、画素対応データに基づき、相対的に過去の画像データの正解ラベルを新たに生成する。画像データに対して正解ラベルが付加されたデータは、学習データとして利用できることになる。そのため、画像データに正解ラベルを付加することは、学習データを生成することであると言える。
例えば、画素対応データが画素単位で対応付けされている場合、正解ラベル伝播手段１０５は、異常部分に対応する画素に異常を示すラベルを付与した学習データを生成してもよい。また、画素対応データが異常部分を内包する外接矩形で対応付けされている場合、正解ラベル伝播手段１０５は、異常部分に対応する画素を含む領域に異常を示すラベルを付与した学習データを生成してもよい。
具体的には、まず、正解ラベル伝播手段１０５は、検査対象の異常部分を含む画像（以下、第１の画像と記す）を画像データ記憶部１０１から取得する。次に、正解ラベル伝播手段１０５は、第１の画像が撮影された時点よりも過去に撮影された検査対象の画像（以下、第２の画像と記す。）を取得する。そして、正解ラベル伝播手段１０５は、第１の画像の正解ラベルを第２の画像に伝播させることにより、取得した第２の画像が異常部分を含むとする学習データを生成する。ここで、正解ラベルを伝播させるとは、第１の画像の異常部分に対応する第２の画像の領域に異常があるとする学習データを生成することを意味する。
以下、正解ラベルを伝播させる方法について説明する。図８および図９は、正解ラベルの例を示す説明図である。図８に例示する正解ラベルは、相対的に新しい時刻に撮影された画像５０１（第１の画像）に付加された正解ラベルを示す。具体的には、図８に例示する画像５０１の領域７０１には、異常な領域であることを示すラベルが付加されており、領域７０２には、正常な領域であることを示すラベルが付加されている。このラベルは、例えば、図の画素値として付加されていてもよい。
例えば、図７に示す例では、物体５０７は物体５０３よりも左側に撮影されている。そのため、画像５０１よりも過去の時刻に撮影された画像データ５０２（第２の画像）に対し、この場合の画素対応データを用いた場合、正解ラベル伝播手段１０５は、例えば、図９に例示するラベル画像を生成する。具体的には、正解ラベル伝播手段１０５は、領域８０１に異常な領域であることを示すラベルを付加し、領域８０２に正常な領域であることを示すラベルを付加した正解ラベルを生成する。このように、画像データ５０２には、もともと正解ラベルが付加されていなかったが、正解ラベル伝播手段１０５により正解ラベルが付加されることになる。
また、仮に、画像データ５０２にもともと正解ラベルが付加されていた場合、正解ラベル伝播手段１０５は、新たに伝播させる正解ラベルでもとの正解ラベルを変更してもよいし、ユーザにいずれかの正解ラベルを選択させるように通知してもよい。
また、正解ラベル伝播手段１０５は、画像データ群から画像データを選択する際、相対的に過去のデータに対して、すでに正解ラベルが付加されている画像データを選択しないようにしてもよい。
ここで、画像データ５０２に付加された正解ラベル画像と、画像データ５０２との関係性を説明する。図１０は、検査対象と正解ラベルとの関係性の例を示す説明図である。図１０に例示する領域８０１は、画像５０１に付加されていた正解ラベルと同じ大きさの領域である。
劣化や病状に対応する領域（すなわち、検査対象の領域）は、一般的に、時々刻々拡大するものと考えられる。その場合、画像データ５０２における劣化や病状に対応する領域は、画像５０１における領域よりも小さいと考えられる。画像データ５０２において、領域９０１が劣化や病状に対応する領域だとすると、領域８０１は、領域９０１に比べて一まわり大きい領域になると想定される。すなわち、領域８０１は、画像データ５０２における劣化や病状に対応する領域９０１を包含するので、学習データとしては問題ないと言える。よって、正解ラベル伝播手段１０５は、第１の画像に付加された正解ラベルと同じ大きさの領域の正解ラベルを第２の画像に付加してもよい。
また、劣化や病状に対応する領域の時間経過に対する拡大率が既知である場合、正解ラベル伝播手段１０５は、その拡大率に基づいて領域８０１のサイズをその比率に従って縮小した正解ラベルを生成してもよい。逆に、劣化や病状に対応する領域が時間経過に伴って縮小する可能性がある場合、正解ラベル伝播手段１０５は、縮小する比率に基づいて領域８０１のサイズを拡大させた正解ラベルを生成してもよい。すなわち、正解ラベル伝播手段１０５は、第１の画像に付加された正解ラベルを所定の比率で変形させた領域の正解ラベルを第２の画像に付加してもよい。
なお、正解ラベルを伝播させる画像データが、図３に例示するような“正常と区別つかないレベル”の画像３０１である場合、実際には、劣化や病状に対応する領域が含まれないことになる。そこで、本実施形態では、まずは正解ラベル伝播手段１０５が正解ラベルを生成し、後述する予兆検知学習手段１０６が、このような正解ラベルの付与された学習データに対する処理を行ってもよい。
また、正解ラベルを伝播させた過去の画像データよりも、さらに過去の画像データが画像データ群に含まれる場合、正解ラベル伝播手段１０５は、過去の画像データに付加した正解ラベルをさらに過去の画像データに伝播させてもよい。正解ラベル伝播手段１０５が再帰的に正解ラベルを伝播させる範囲は任意であり、例えば、予め定めた回数分過去に遡って伝播させてもよいし、含まれる画像データ群の全ての画像データに対して伝播させてもよい。
なお、過去に遡るほど、正解ラベルの矛盾の可能性、すなわち、実際には異常でない画像データに対して異常を示すラベルを付加してしまう可能性が高まる。そこで、正解ラベル伝播手段１０５は、正解ラベルを伝播する際のエラー確率を勘案して、再帰的に正解ラベルを伝播させる範囲を限定してもよい。また、後述する予兆検知学習手段１０６が、エラー確率を考慮した学習を行ってもよい。エラー確率については後述される。
このように、正解ラベル伝播手段１０５が、検査対象の異常部分を含む第１の画像に基づいて、異常部分を含むか否か不明な第２の画像から異常部分を含むとする学習データを作成する。よって、学習データを増加させることができるため、検査対象の異常を示す学習データが少ない場合であっても、その検査対象について異常か否かを判断する辞書の判別精度を向上させることができる。
予兆検知学習手段１０６は、正解ラベル伝播手段１０５により生成された学習データ、すなわち、正解ラベルの付与された画像データを用いて、判別辞書を学習する。具体的には、予兆検知学習手段１０６は、画像データ群および画像データ群に予め付加されていた正解ラベル、並びに、正解ラベル伝播手段１０５が付加した正解ラベルを用いて、劣化や病状に対応する領域か否かを識別する教師あり機械学習を行い、判別辞書を学習する。
予兆検知学習手段１０６が機械学習に用いるアルゴリズムは任意である。予兆検知学習手段１０６は、例えば、深層畳み込みニューラルネットワーク（deep convolutional neural network ）のような特徴抽出と識別とを同時に最適化する方式を用いてもよい。また、予兆検知学習手段１０６は、勾配ヒストグラム（Histogram of Gradient ）特徴抽出とサポートベクターマシン（Support Vector Machine）学習器とを組み合わせて判別辞書を学習してもよい。
なお、本実施形態では、正解ラベルを過去の画像データに伝播させて学習データを生成する。そのため、一般的な機械学習で用いる学習データと比較すると、付加された正解ラベルに誤りが含まれる可能性が存在する。例えば、正解ラベル伝播手段１０５によって劣化や病状に対応するラベルが付加された領域８０１において、まだ劣化や発病が始まっておらず、その領域が実際には正常状態に対応するデータである場合が考えられる。
そこで、予兆検知学習手段１０６は、学習データの確からしさを考慮し、学習データに重みを設定して学習を行う。この重みは、もともと正解ラベルが付加されている学習データほど高く設定され、正解ラベル伝播手段１０５が正解ラベルを伝播させる画像データが過去の画像データであるほど（画像を取得した時間を遡るほど）低く設定される。さらに、この重みは、検査対象の劣化や病状の変化速度が速いほど小さく設定されることが好ましい。
時間が遡るほど、また、劣化や病状の変化速度が速いほど、正解ラベル伝播手段１０５が付加した正解ラベルが誤っている可能性が高まる。そのため、予兆検知学習手段１０６は、そのような学習データほど相対的に重みを小さく設定する。このように、正解ラベルの付加誤りが起こりやすい学習データに対して重みを小さく設定することで、学習時にこれらの学習データがパラメータ（辞書）推定に及ぼす影響を低減できるため、学習時の悪影響を抑制することができる。
予兆検知学習手段１０６は、例えば、データに対する重みを考慮した誤差を計算してもよい。具体的には、深層畳み込みニューラルネットワーク（deep convolutional neural network）の学習において、出力層の出力値と教師データとの誤差（クロスエントロピー）を計算する際、各データに対して、データに対する誤差とデータに対する重みを掛け合わせて総和を計算すれば、データに対する重みを考慮した誤差を計算できる。
一方、予兆検知学習手段１０６は、正解ラベル伝播手段１０５によって付加された正解ラベルがより正しい学習データの重みを高くすることで、パラメータ（辞書）推定に寄与させてもよい。例えば、１単位時間だけ過去の時刻に撮影した画像に対して正解ラベルを伝搬させた場合に、その正解ベルが誤っている確率をｐ（≦１）とする。このとき、予兆検知学習手段１０６は、ｔ単位時間過去にさかのぼった画像データに対する重みを（１−ｐ）ｔと設定してもよい。なお、このｐの値は、経験等に応じて予め定めておけばよい。
以上に述べたように、予兆検知学習手段１０６は、正解ラベル伝播手段１０５が正解ラベルを付加したデータに対する重みを、学習エラーが低下するように変更してもよい。このようにすることで、正しい正解ラベルが付加された学習データをより学習に寄与させ、誤った正解ラベルが付加されたデータをより学習への寄与を抑制させることが可能になる。
また、予兆検知学習手段１０６は、確率的勾配降下法などを用いて重みを修正してもよい。この場合、予兆検知学習手段１０６は、重みの修正量を、時間のさかのぼりが多いほど、劣化や病状の変化速度が速いほど小さくなるように学習係数を小さくしてもよい。
ただし、学習初期から学習エラーが低下するように重み変更を行ってしまうと、本来識別可能なデータに対する学習が進みにくくなってしまう。そのため、予兆検知学習手段１０６は、学習初期には重み変更は行わず、学習後期に行うようにしたほうが好ましい。また、予兆検知学習手段１０６は、１ｅｐｏｃｈあたりのデータに対する重み変更量を小さく制限し、できる限り辞書の学習により識別できるようにしてもよい。
また、予兆検知学習手段１０６は、学習終了後に判別辞書が示すパラメータ（ネットワーク重みや認識辞書）を使って識別実験を行ってもよい。そして、予兆検知学習手段１０６は、正しく識別できなかった画像データ（パターン）については正解ラベルが誤っているものと推定してもよい。このとき、予兆検知学習手段１０６は、正解ラベルを正常を示すラベルに変更してもよく、劣化を示す正解ラベルを取り消してもよい。
具体的には、予兆検知学習手段１０６は、判別辞書を用いて学習データの検査を行った結果、その学習データに異常がないと判断した場合、その学習データの確からしさをより低く変更してもよく、その学習データを異常がないとする学習データに変更してもよい。
このように、予兆検知学習手段１０６は、劣化や病状の予兆を検知するための辞書の学習と、正解ラベルの見直しとを行う。
なお、上記説明では、予兆検知学習手段１０６が、学習データの確からしさを示す重みを設定する場合について説明した。ただし、正解ラベル伝播手段１０５が、学習データの確からしさを示す重みを補助データとして、その学習データに付加してもよい。
具体的には、正解ラベル伝播手段１０５は、正解ラベルを付加した画像データ（すなわち、異常があるとする学習データ）に、その学習データの確からしさを示す補助データを付加してもよい。この場合、予兆検知学習手段１０６は、付加された補助データを含む学習データを用いて判別辞書を学習すればよい。
その際、正解ラベル伝播手段１０５は、上記の確率ｐで示すように、過去に撮影された画像に基づく学習データほど、その学習データの確からしさをより低く設定してもよい。
また、正解ラベル伝播手段１０５は、正解ベルが誤っている確率ｐを、正解ラベルを伝播させる範囲の限定に用いてもよい。具体的には、正解ラベル伝播手段１０５は、確率ｐが予め定めた閾値を下回った場合に、正解ラベルを伝播させないようにしてもよい。
辞書記憶部１０７は、予兆検知学習手段１０６が学習した判別辞書を記憶する。例えば、予兆検知学習手段１０６がディープラーニングにより判別辞書を学習している場合、判別辞書は、例えば、ネットワークの重みを含む。また、予兆検知学習手段１０６がＳＶＭ（サポートベクターマシン）により判別辞書を学習している場合、判別辞書は、サポートベクトルおよびその重みを含む。
画像取得手段１０９は、検査対象の画像を取得する。画像取得手段１０９の態様は任意である。画像取得手段１０９は、例えば、ネットワークを介して他のシステムや記憶部（図示せず）から、検査対象の画像を取得するインタフェースにより実現されていてもよい。
また、画像取得手段１０９は、画像を取得する各種デバイスに接続されたコンピュータ（図示せず）で実現され、各種デバイスから検査対象の画像を取得してもよい。例えば、病状を検査する場面では、画像を取得するデバイスとして、内視鏡、レントゲン装置、ＣＴ（Computed Tomography ）装置、ＭＲＩ（magnetic resonance imaging）装置、可視光カメラ、赤外線カメラなどが挙げられる。
検査手段１０８は、学習された判別辞書（具体的には、辞書記憶部１０７に記憶された判別辞書）を用いて、取得された画像から検査対象の異常の有無を検査する。検査手段１０８は、検査に用いる辞書に応じて、取得した画像を加工してもよい。
出力手段１１０は、検査結果を出力する。出力手段１１０は、例えば、ディスプレイ装置などにより実現される。
画像・画素リンク手段１０４と、正解ラベル伝播手段１０５と、予兆検知学習手段１０６とは、プログラム（学習プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array ））によって実現される。
例えば、プログラムは、記憶部（図示せず）に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、画像・画素リンク手段１０４、正解ラベル伝播手段１０５および予兆検知学習手段１０６として動作してもよい。また、監視システムの機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。
画像・画素リンク手段１０４と、正解ラベル伝播手段１０５と、予兆検知学習手段１０６とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
また、検査手段１０８も、プログラム（検査用プログラム）に従って動作するコンピュータのプロセッサによって実現される。また、画像取得手段１０９および出力手段１１０の制御を、プログラム（検査用プログラム）に従って動作するコンピュータのプロセッサが行ってもよい。
また、検査システムの各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
画像データ記憶部１０１と、正解ラベル記憶部１０２と、画素対応データ記憶部１０３と、辞書記憶部１０７とは、例えば、磁気ディスク装置等により実現される。
次に、本実施形態の学習装置の動作を説明する。図１１は、本実施形態の学習装置１００の動作例を示すフローチャートである。
画像・画素リンク手段１０４は、画像データ記憶部１０１に記憶された画像データ群に含まれる画像データの中から、同一物を離散的な時刻に観測した時系列画像データ同士を照合する。そして、画像・画素リンク手段１０４は、照合した画像データ同士を画像レベルおよび画素レベルで対応付けし、対応づけた結果を示す画素対応データを画素対応データ記憶部１０３に保存する（ステップＳ１００１）。
次に、正解ラベル伝播手段１０５は、対応付けられた画像データ群に含まれるすべての画像データの各ペアを選択する。そして、正解ラベル伝播手段１０５は、画素対応データに基づき、相対的に新しい時刻に撮影された画像データに付加されている正解ラベルから、相対的に過去の画像データの正解ラベルを生成する（ステップＳ１００２）。
予兆検知学習手段１０６は、予め正解ラベルが付加されていた画像データ群に含まれる画像データに加え、ステップＳ１００２で新たに付加された正解ラベルに対応する画像データを用いて、劣化や病状の予兆を検知するための判別辞書を学習する（ステップＳ１００３）。
その後、予兆検知学習手段１０６は、学習した判別辞書を用いて正解ラベル（学習データ）を検査し、ステップＳ１００２で付加された正解ラベルを修正する（ステップＳ１００４）。
次に、本実施形態の検査システムの動作を説明する。図１２は、本実施形態の検査システムの動作例を示すフローチャートである。
正解ラベル伝播手段１０５は、検査対象の異常部分を含む第１の画像を取得する（ステップＳ２００１）。また、正解ラベル伝播手段１０５は、第１の画像が撮影された時点よりも過去に撮影された検査対象の第２の画像を取得し（ステップＳ２００２）、第２の画像が異常部分を含むとする学習データを生成する（ステップＳ２００３）。そして、予兆検知学習手段１０６は、生成された学習データを用いて判別辞書を学習する（ステップＳ２００４）。
一方、画像取得手段１０９が検査対象の画像を取得すると（ステップＳ２００５）、検査手段１０８は、判別辞書を用いて、取得された画像から検査対象の異常の有無を検査する（ステップＳ２００６）。そして、出力手段１１０は、検査結果を出力する（ステップＳ２００７）。
以上のように、本実施形態では、正解ラベル伝播手段１０５が、検査対象の異常部分を含む第１の画像と、第１の画像が撮影された時点よりも過去に撮影された検査対象の第２の画像を取得して、第２の画像が異常部分を含むとする学習データを生成する。そして、予兆検知学習手段１０６が、生成された学習データを用いて判別辞書を学習する。
よって、検査対象の異常を示す学習データが少ない場合であっても、その検査対象について異常か否かを判断する精度を向上できる。したがって、ハイレベルな診断者のみが診断可能な劣化や病状、およびハイレベルな診断者でさえも見逃してしまう状態の劣化や病状でさえも発見することが可能になる。
なぜならば、本実施形態では、通常レベルの診断者が診断可能な、劣化や病状を撮影した画像データが得られた場合、画像・画素リンク手段１０４が、同劣化や病状を示している部位と位置的に対応する領域を、同部位を過去に撮影した画像データ中にて画素レベルまたは小領域レベルで対応付ける。具体的には、画像・画素リンク手段１０４が、その画像データと、同一個所または同一人物の同一器官を過去に撮影した画像データ群とを画素レベルで対応づける。
そして、正解ラベル伝播手段１０５が、対応づけた過去画像中の領域の画素に対して、劣化や病気を示すラベルを付与した学習データを生成する。すなわち、正解ラベル伝播手段１０５が、ハイレベルの診断者のみが診断可能な劣化や病状を撮影した画像データ、およびハイレベルな診断者でさえも見逃してしまう状態の劣化や病状を撮影した画像データに対して正解ラベルを付与する。
そのため、予兆検知学習手段１０６が、正解ラベルが付与された上記のような画像データに対して、劣化や病状の初期データとして学習できるため、このような状態の劣化や病状を識別可能な辞書を生成できる。
言い換えると、本実施形態では、正解ラベル伝播手段１０５が、一般的には有効に活用されていなかった、ハイレベルの診断者のみが診断可能な劣化や病状を撮影した画像データ、およびハイレベルな診断者でさえも見逃してしまう状態の劣化や病状を撮影した画像データに正解データを付加する。そのため、学習データが不足していた上記状態の劣化や病状について、良質のデータを用いて学習することができる。
さらに、本実施形態では、予兆検知学習手段１０６が、正解ラベル付け誤りの可能性が高いデータについては、そのデータの重みを相対的に軽くする。そのため、機械学習への悪影響を抑制することができる。
そして、本実施形態では、画像取得手段１０９が検査対象の画像を取得し、検査手段１０８が、判別辞書を用いて、取得された画像から検査対象の異常の有無を検査し、出力手段１１０が、検査手段による検査結果を出力する。そのため、ハイレベルの診断者が検査可能な対象の悪化を検出することが可能になる。
次に、本発明の概要を説明する。図１３は、本発明による学習装置の概要を示すブロック図である。本発明による学習装置８０（例えば、学習装置１００）は、検査対象の異常部分を含む第１の画像を取得する第１の画像取得手段８１（例えば、正解ラベル伝播手段１０５）と、第１の画像が撮影された時点よりも過去に撮影された検査対象の第２の画像を取得する第２の画像取得手段８２（例えば、正解ラベル伝播手段１０５）と、第２の画像が異常部分を含むとする学習データ（例えば、正解ラベル）を生成する学習データ生成手段８３（例えば、正解ラベル伝播手段１０５）と、学習データ生成手段８３により生成された学習データを用いて、判別辞書を学習する学習手段８４（例えば、予兆検知学習手段１０６）とを備えている。
そのような構成により、検査対象の異常を示す学習データが少ない場合であっても、その検査対象について異常か否かを判断する精度を向上できる。
また、学習された判別辞書を用いて、検査対象を検査する検査手段（例えば、検査手段１０８）を備えていてもよい。上述する判別辞書を用いて検査を行うことで、ハイレベルの診断者が検査可能な悪化状態を検出することが可能になる。
また、検査対象の異常は、その検査対象に発生した、病巣、腫瘍、潰瘍、閉塞、出血および被検対象に発生した病気の予兆のいずれかであってもよい。このような場合、病気の初期症状から異常を検出することが可能になる。
また、学習データ生成手段８３は、異常があるとする学習データに、その学習データの確からしさ（例えば、重み）を示す補助データを付加してもよい。そして、学習手段８４は、補助データを含む学習データを用いて判別辞書を学習してもよい。そのような構成によれば、異常があるか否かに誤りのある学習データを用いた機械学習への悪影響を抑制することができる。
その際、学習データ生成手段８３は、過去に撮影された画像に基づく学習データほど、その学習データの確からしさ（例えば、上記確率ｐ）をより低く設定してもよい。
また、学習手段８４は、判別辞書を用いて学習データの検査を行った結果、その学習データに異常がないと判断された場合、その学習データの確からしさをより低く変更してもよい。同様に、学習手段８４は、判別辞書を用いて学習データの検査を行った結果、その学習データに異常がないと判断された場合、その学習データを異常がないとする学習データに変更してもよい。そのような構成によれば、機械学習への悪影響を抑制することができる。
また、学習装置８０は、第１の画像と第２の画像の位置を合わせる位置合わせ手段（例えば、画像・画素リンク手段１０４）を備えていてもよい。そして、学習データ生成手段８３は、第１の画像の異常部分に対応する第２の画像の領域に異常があるとする学習データを生成してもよい。
具体的には、学習データ生成手段８３は、異常部分に対応する画素に異常を示すラベルを付与した学習データまたは異常部分に対応する画素を含む領域に異常を示すラベルを付与した学習データを生成してもよい。
また、学習データ生成手段８３は、検査対象の異常部分を含む第１の画像に基づいて、異常部分を含むか否か不明な第２の画像から異常部分を含むとする学習データを作成してもよい。そのような構成によれば、今まで用いられていなかったデータから、学習データを生成できるため、辞書を学習する精度を向上できる。
図１４は、本発明による検査システムの概要を示すブロック図である。本発明による検査システム９０（例えば、検査システム２００）は、検査対象の画像を取得する画像取得手段９１（例えば、画像取得手段１０９）と、検査対象の異常部分を含む第１の画像が撮影された時点よりも過去に撮影されたその検査対象の第２の画像が異常部分を含むとする学習データを用いて学習された、その検査対象の異常の有無を判別する判別辞書を用いて、取得された画像から検査対象の異常の有無を検査する検査手段９２（例えば、検査手段１０８）と、検査手段９２による検査結果を出力する出力手段９３（例えば、出力手段１１０）とを備えている。
そのような構成によれば、ハイレベルの診断者が検査可能な対象の悪化を検出することが可能になる。
図１５は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。
上述の学習装置は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（学習プログラム）の形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。
なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行しても良い。
また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）検査対象の異常部分を含む第１の画像を取得する第１の画像取得手段と、前記第１の画像が撮影された時点よりも過去に撮影された前記検査対象の第２の画像を取得する第２の画像取得手段と、前記第２の画像が異常部分を含むとする学習データを生成する学習データ生成手段と、前記学習データ生成手段により生成された前記学習データを用いて、判別辞書を学習する学習手段とを備えたことを特徴とする学習装置。
（付記２）学習された判別辞書を用いて、検査対象を検査する検査手段を備えた付記１記載の学習装置。
（付記３）検査対象の異常は、当該検査対象に発生した、病巣、腫瘍、潰瘍、閉塞、出血および被検対象に発生した病気の予兆のいずれかである付記１または付記２記載の学習装置。
（付記４）学習データ生成手段は、異常があるとする学習データに、当該学習データの確からしさを示す補助データを付加し、学習手段は、前記補助データを含む学習データを用いて判別辞書を学習する付記１から付記３のうちのいずれか１つに記載の学習装置。
（付記５）学習データ生成手段は、過去に撮影された画像に基づく学習データほど、当該学習データの確からしさをより低く設定する付記４記載の学習装置。
（付記６）学習手段は、判別辞書を用いて学習データの検査を行った結果、当該学習データに異常がないと判断された場合、当該学習データの確からしさをより低く変更する付記４または付記５記載の学習装置。
（付記７）学習手段は、判別辞書を用いて学習データの検査を行った結果、当該学習データに異常がないと判断された場合、当該学習データを異常がないとする学習データに変更する付記１から付記３のうちのいずれか１つに記載の学習装置。
（付記８）第１の画像と第２の画像の位置を合わせる位置合わせ手段を備え、学習データ生成手段は、第１の画像の異常部分に対応する第２の画像の領域に異常があるとする学習データを生成する付記１から付記７のうちのいずれか１つに記載の学習装置。
（付記９）学習データ生成手段は、異常部分に対応する画素に異常を示すラベルを付与した学習データまたは異常部分に対応する画素を含む領域に異常を示すラベルを付与した学習データを生成する付記８記載の学習装置。
（付記１０）学習データ生成手段は、検査対象の異常部分を含む第１の画像に基づいて、異常部分を含むか否か不明な第２の画像から異常部分を含むとする学習データを作成する 付記１から付記９のうちのいずれか１つに記載の学習装置。
（付記１１）検査対象の画像を取得する画像取得手段と、検査対象の異常部分を含む第１の画像が撮影された時点よりも過去に撮影された当該検査対象の第２の画像が異常部分を含むとする学習データを用いて学習された、当該検査対象の異常の有無を判別する判別辞書を用いて、取得された画像から前記検査対象の異常の有無を検査する検査手段と、前記検査手段による検査結果を出力する出力手段とを備えたことを特徴とする検査システム。
（付記１２）検査対象の異常部分を含む第１の画像を取得し、前記第１の画像が撮影された時点よりも過去に撮影された前記検査対象の第２の画像を取得し、前記第２の画像が異常部分を含むとする学習データを生成し、生成された前記学習データを用いて、判別辞書を学習することを特徴とする学習方法。
（付記１３）検査対象の画像を取得し、検査対象の異常部分を含む第１の画像が撮影された時点よりも過去に撮影された当該検査対象の第２の画像が異常部分を含むとする学習データを用いて学習された、当該検査対象の異常の有無を判別する判別辞書を用いて、取得された画像から前記検査対象の異常の有無を検査し、検査結果を出力することを特徴とする検査方法。
（付記１４）コンピュータに、検査対象の異常部分を含む第１の画像を取得する第１の画像取得処理、前記第１の画像が撮影された時点よりも過去に撮影された前記検査対象の第２の画像を取得する第２の画像取得処理、前記第２の画像が異常部分を含むとする学習データを生成する学習データ生成処理、および、前記学習データ生成処理で生成された前記学習データを用いて、判別辞書を学習する学習処理を実行させるための学習プログラム。
（付記１５）コンピュータに、検査対象の画像を取得する画像取得処理、検査対象の異常部分を含む第１の画像が撮影された時点よりも過去に撮影された当該検査対象の第２の画像が異常部分を含むとする学習データを用いて学習された、当該検査対象の異常の有無を判別する判別辞書を用いて、取得された画像から前記検査対象の異常の有無を検査する検査処理、および、前記検査手段による検査結果を出力する出力処理を実行させるための検査プログラム。
１００ 学習装置
１０１ 画像データ記憶部
１０２ 正解ラベル記憶部
１０３ 画素対応データ記憶部
１０４ 画像・画素リンク手段
１０５ 正解ラベル伝播手段
１０６ 予兆検知学習手段
１０７ 辞書記憶部
１０８ 検査手段
１０９ 画像取得手段
１１０ 出力手段
２００ 検査システム
２０１〜２０４，３０１〜３０４，４００，５０１，５０２ 画像
３１２〜３１４ ラベル
４０１〜４０４ 画素
５０３〜５１２ 物体
６０１〜６０６ 頂点
７０１，７０２，８０１，８０２ 領域

Claims (15)

  1. 検査対象の異常部分を含む第１の画像を取得する第１の画像取得手段と、
    前記第１の画像が撮影された時点よりも過去に撮影された前記検査対象の第２の画像を取得する第２の画像取得手段と、
    前記第２の画像が異常部分を含むとする学習データを生成する学習データ生成手段と、
    前記学習データ生成手段により生成された前記学習データを用いて、判別辞書を学習する学習手段とを備えた
    ことを特徴とする学習装置。
  2. 学習された判別辞書を用いて、検査対象を検査する検査手段を備えた
    請求項１記載の学習装置。
  3. 検査対象の異常は、当該検査対象に発生した、病巣、腫瘍、潰瘍、閉塞、出血および被検対象に発生した病気の予兆のいずれかである
    請求項１または請求項２記載の学習装置。
  4. 学習データ生成手段は、異常があるとする学習データに、当該学習データの確からしさを示す補助データを付加し、
    学習手段は、前記補助データを含む学習データを用いて判別辞書を学習する
    請求項１から請求項３のうちのいずれか１項に記載の学習装置。
  5. 学習データ生成手段は、過去に撮影された画像に基づく学習データほど、当該学習データの確からしさをより低く設定する
    請求項４記載の学習装置。
  6. 学習手段は、判別辞書を用いて学習データの検査を行った結果、当該学習データに異常がないと判断された場合、当該学習データの確からしさをより低く変更する
    請求項４または請求項５記載の学習装置。
  7. 学習手段は、判別辞書を用いて学習データの検査を行った結果、当該学習データに異常がないと判断された場合、当該学習データを異常がないとする学習データに変更する
    請求項１から請求項３のうちのいずれか１項に記載の学習装置。
  8. 第１の画像と第２の画像の位置を合わせる位置合わせ手段を備え、
    学習データ生成手段は、第１の画像の異常部分に対応する第２の画像の領域に異常があるとする学習データを生成する
    請求項１から請求項７のうちのいずれか１項に記載の学習装置。
  9. 学習データ生成手段は、異常部分に対応する画素に異常を示すラベルを付与した学習データまたは異常部分に対応する画素を含む領域に異常を示すラベルを付与した学習データを生成する
    請求項８記載の学習装置。
  10. 学習データ生成手段は、検査対象の異常部分を含む第１の画像に基づいて、異常部分を含むか否か不明な第２の画像から異常部分を含むとする学習データを作成する
    請求項１から請求項９のうちのいずれか１項に記載の学習装置。
  11. 検査対象の画像を取得する画像取得手段と、
    検査対象の異常部分を含む第１の画像が撮影された時点よりも過去に撮影された当該検査対象の第２の画像が異常部分を含むとする学習データを用いて学習された、当該検査対象の異常の有無を判別する判別辞書を用いて、取得された画像から前記検査対象の異常の有無を検査する検査手段と、
    前記検査手段による検査結果を出力する出力手段とを備えた
    ことを特徴とする検査システム。
  12. 検査対象の異常部分を含む第１の画像を取得し、
    前記第１の画像が撮影された時点よりも過去に撮影された前記検査対象の第２の画像を取得し、
    前記第２の画像が異常部分を含むとする学習データを生成し、
    生成された前記学習データを用いて、判別辞書を学習する
    ことを特徴とする学習方法。
  13. 検査対象の画像を取得し、
    検査対象の異常部分を含む第１の画像が撮影された時点よりも過去に撮影された当該検査対象の第２の画像が異常部分を含むとする学習データを用いて学習された、当該検査対象の異常の有無を判別する判別辞書を用いて、取得された画像から前記検査対象の異常の有無を検査し、
    検査結果を出力する
    ことを特徴とする検査方法。
  14. コンピュータに、
    検査対象の異常部分を含む第１の画像を取得する第１の画像取得処理、
    前記第１の画像が撮影された時点よりも過去に撮影された前記検査対象の第２の画像を取得する第２の画像取得処理、
    前記第２の画像が異常部分を含むとする学習データを生成する学習データ生成処理、および、
    前記学習データ生成処理で生成された前記学習データを用いて、判別辞書を学習する学習処理
    を実行させるための学習プログラム。
  15. コンピュータに、
    検査対象の画像を取得する画像取得処理、
    検査対象の異常部分を含む第１の画像が撮影された時点よりも過去に撮影された当該検査対象の第２の画像が異常部分を含むとする学習データを用いて学習された、当該検査対象の異常の有無を判別する判別辞書を用いて、取得された画像から前記検査対象の異常の有無を検査する検査処理、および、
    前記検査手段による検査結果を出力する出力処理
    を実行させるための検査プログラム。
JP2019557912A 2017-12-06 2017-12-06 学習装置、検査システム、学習方法、検査方法およびプログラム Active JP6901007B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/043735 WO2019111339A1 (ja) 2017-12-06 2017-12-06 学習装置、検査システム、学習方法、検査方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019111339A1 true JPWO2019111339A1 (ja) 2020-12-03
JP6901007B2 JP6901007B2 (ja) 2021-07-14

Family

ID=66750951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019557912A Active JP6901007B2 (ja) 2017-12-06 2017-12-06 学習装置、検査システム、学習方法、検査方法およびプログラム

Country Status (3)

Country Link
US (1) US20200334801A1 (ja)
JP (1) JP6901007B2 (ja)
WO (1) WO2019111339A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12094098B2 (en) 2020-09-09 2024-09-17 Kabushiki Kaisha Toshiba Defect management apparatus, method and non-transitory computer readable medium

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7164008B2 (ja) * 2019-03-13 2022-11-01 日本電気株式会社 データ生成方法、データ生成装置及びプログラム
JP7263074B2 (ja) * 2019-03-22 2023-04-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体
JP7267841B2 (ja) * 2019-05-30 2023-05-02 キヤノン株式会社 システムの制御方法、及びシステム
KR20220090645A (ko) * 2020-12-22 2022-06-30 주식회사 딥노이드 딥러닝 기반의 폐질환 진단 보조 시스템 및 딥러닝 기반의 폐질환 진단 보조 방법
CN114972339B (zh) * 2022-07-27 2022-10-21 金成技术股份有限公司 用于推土机结构件生产异常检测的数据增强系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
WO2017154844A1 (ja) * 2016-03-07 2017-09-14 日本電信電話株式会社 分析装置、分析方法および分析プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
WO2017154844A1 (ja) * 2016-03-07 2017-09-14 日本電信電話株式会社 分析装置、分析方法および分析プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12094098B2 (en) 2020-09-09 2024-09-17 Kabushiki Kaisha Toshiba Defect management apparatus, method and non-transitory computer readable medium

Also Published As

Publication number Publication date
JP6901007B2 (ja) 2021-07-14
US20200334801A1 (en) 2020-10-22
WO2019111339A1 (ja) 2019-06-13

Similar Documents

Publication Publication Date Title
JP6901007B2 (ja) 学習装置、検査システム、学習方法、検査方法およびプログラム
US10664968B2 (en) Computer aided diagnosis apparatus and method based on size model of region of interest
KR101740464B1 (ko) 뇌졸중 진단 및 예후 예측 방법 및 시스템
US11151721B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
CN102209488B (zh) 图像处理设备和方法以及断层图像拍摄设备和方法
CN110599421B (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
US20210407077A1 (en) Information processing device and model generation method
US20150002538A1 (en) Ultrasound image display method and apparatus
Verma et al. Detecting COVID-19 from chest computed tomography scans using AI-driven android application
JP2015173827A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN110969623B (zh) 一种肺部ct多征象自动检测方法、系统、终端及存储介质
JP5626202B2 (ja) 正中線決定装置およびプログラム
JP2021105960A (ja) 医用情報処理装置
Dong et al. Identifying carotid plaque composition in MRI with convolutional neural networks
JP5902196B2 (ja) 医用画像を検索する方法、装置及びコンピュータプログラム
KR102536369B1 (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
JP5655327B2 (ja) プログラムおよび情報処理装置
WO2022108466A1 (en) Automatic detection of erosions and ulcers in crohn's capsule endoscopy
Al et al. Reinforcement learning-based automatic diagnosis of acute appendicitis in abdominal ct
Lensink et al. Segmentation of pulmonary opacification in chest ct scans of covid-19 patients
CN117094976B (zh) 病灶漏检判断方法、装置和电子设备
Che et al. Deep learning-based biological anatomical landmark detection in colonoscopy videos
EP4198997A1 (en) A computer implemented method, a method and a system
US20230005139A1 (en) Fibrotic Cap Detection In Medical Images
US20240265540A1 (en) Medical image processing apparatus, method for operating medical image processing apparatus, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210531

R150 Certificate of patent or registration of utility model

Ref document number: 6901007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150