JPWO2017221412A1 - 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム - Google Patents

画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム Download PDF

Info

Publication number
JPWO2017221412A1
JPWO2017221412A1 JP2018523261A JP2018523261A JPWO2017221412A1 JP WO2017221412 A1 JPWO2017221412 A1 JP WO2017221412A1 JP 2018523261 A JP2018523261 A JP 2018523261A JP 2018523261 A JP2018523261 A JP 2018523261A JP WO2017221412 A1 JPWO2017221412 A1 JP WO2017221412A1
Authority
JP
Japan
Prior art keywords
learning
image group
target image
similar
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018523261A
Other languages
English (en)
Other versions
JP6707131B2 (ja
Inventor
都士也 上山
都士也 上山
大和 神田
大和 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017221412A1 publication Critical patent/JPWO2017221412A1/ja
Application granted granted Critical
Publication of JP6707131B2 publication Critical patent/JP6707131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Otolaryngology (AREA)
  • Pulmonology (AREA)
  • Urology & Nephrology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

医療画像特有の特徴を捉えることができる画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラムを提供する。学習装置１は、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習を行う事前学習部６１と、事前学習部６１の事前学習結果および対象画像群に基づいて、本学習を行う本学習部６２と、を備える。

Description

本発明は、生体内医療画像から正常であるか否かを識別する識別器を作成する画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラムに関する。
近年、大容量のデータを用いて識別器の学習を行う学習装置において、少量データセットの学習におけるオーバーフィッティングを回避するため、イメージネット（Imagenet）等の大量の一般物体画像データセットを用いて識別器の事前学習を行った後に、少量データセットを用いて本学習を行う学習方法が知られている（非特許文献１参照）。
Pulkit Agrawal，et.al "Analyzing the Performance of Multilayer Neural Networks for Object Recognition"，arXiv：1407．1610V2,arXiv.org，（22，Sep，2014）
ところで、医療分野においても、上述した事前学習を行った後に、本学習を行うことが考えられる。しかしながら、上述した従来技術の一般物体画像データセットによる事前学習では、一般物体画像データおよび医療画像データそれぞれの特徴が異なるため、医療画像データに特有の特徴を捉えることができず、事前学習が不十分となるという問題点があった。
本発明は、上記に鑑みてなされたものであって、医療画像データに特有の特徴を捉えることができる画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別部を備えることを特徴とする。
また、本発明に係る学習装置は、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習を行う事前学習部と、前記事前学習部の事前学習結果および前記対象画像群に基づいて、本学習を行う本学習部と、を備えたことを特徴とする。
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別ステップを含むことを特徴とする。
また、本発明に係る識別基準の作成方法は、学習装置が実行する識別基準の作成方法であって、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を前記識別基準として出力する識別ステップを含むことを特徴とする。
また、本発明に係る学習方法は、学習装置が実行する学習方法であって、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群を記録部から取得し、取得した前記類似画像に基づいて、事前学習を行う事前学習ステップと、前記記録部から前記対象画像群を取得し、取得した前記対象画像群および前記事前学習ステップの事前学習結果に基づいて、本学習を行う本学習ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画像処理装置に、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別ステップを実行させることを特徴とする。
また、本発明に係るプログラムは、学習装置に、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を識別基準として出力する識別ステップを実行させることを特徴とする。
また、本発明に係るプログラムは、学習装置に実行させるプログラムであって、学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群を記録部から取得し、取得した前記類似画像に基づいて、事前学習を行う事前学習ステップと、
前記記録部から前記対象画像群を取得し、取得した前記対象画像群および前記事前学習ステップの事前学習結果に基づいて、本学習を行う本学習ステップと、を実行させることを特徴とする。
本発明によれば、医療画像データに特有の特徴を捉えることができるという効果を奏する。
図１は、本発明の実施の形態１に係る学習装置の構成を示すブロック図である。 図２は、本発明の実施の形態１に係る学習装置が実行する処理の概要を示すフローチャートである。 図３は、図２の事前学習処理の概要を示すフローチャートである。 図４は、図３の事前学習用医療画像取得処理の概要を示すフローチャートである。 図５は、図２の本学習の概要を示すフローチャートである。 図６は、本発明の実施の形態１の変形例１に係る事前学習用医療画像取得処理の概要を示すフローチャートである。 図７は、本発明の実施の形態１の変形例２に係る事前学習部が実行する事前学習処理の概要を示すフローチャートである。 図８は、図７の医療画像取得処理の概要を示すフローチャートである。 図９は、本発明の実施の形態１の変形例３に係る事前学習部が実行する事前学習処理の概要を示すフローチャートである。 図１０は、図９の医療画像取得処理の概要を示すフローチャートである。 図１１は、本発明の実施の形態２に係る学習装置の構成を示すブロック図である。 図１２は、本発明の実施の形態２に係る学習装置が実行する処理の概要を示すフローチャートである。 図１３は、図１２の基礎学習処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１５は、本発明の実施の形態３に係る画像処理装置が実行する処理の概要を示すフローチャートである。
以下、本発明の実施の形態に係る学習装置を備えた画像処理装置、学習方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。
（実施の形態１）
〔学習装置の構成〕
図１は、本発明の実施の形態１に係る学習装置の構成を示すブロック図である。本実施の形態１に係る学習装置１は、一例として、内視鏡（軟性内視鏡や硬性内視鏡等の内視鏡スコープ）またはカプセル型内視鏡（以下、これらをまとめて単に「内視鏡」という）によって、生体の管腔を撮像することにより取得された学習対象の医療画像群における被写体の形状、被写体の組織構造および内視鏡の撮像系の少なくとも１つの特性が類似画像群に基づいて、事前学習を行った後に、学習対象の医療画像群に基づいて、本学習を行う。ここで、医療画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）およびＢ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。
図１に示す学習装置１は、内視鏡によって撮像された医療画像群に対応する対象医療画像群データおよび事前学習用医療画像群データを内視鏡または外部から取得する画像取得部２と、外部からの操作によって入力された入力信号を受け付ける入力部３と、画像取得部２によって取得された画像データや各種プログラムを記録する記録部４と、学習装置１全体の動作を制御する制御部５と、画像取得部２が取得した対象医療画像群データおよび事前学習用医療画像群データに基づいて、学習を行う演算部６と、を備える。
画像取得部２は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、画像取得部２は、内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された画像データを読み出すリーダ装置として構成される。また、画像取得部２は、サーバを介して内視鏡によって撮像された画像データを取得する場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって画像データを取得する。さらにまた、画像取得部２は、内視鏡によって撮像された画像データを記録する記録装置からケーブルを介して画像データが入力されるインターフェース装置等で構成してもよい。
入力部３は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部５へ出力する。
記録部４は、フラッシュメモリ、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）といった各種ＩＣメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部４は、画像取得部２によって取得された画像データの他、学習装置１を動作させるとともに、種々の機能を学習装置１に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部４は、事前学習用医療画像群を用いて事前学習を行った後に、対象医療画像群を用いて本学習を行うためのプログラム記録部４１、後述する演算部６が学習を行うために、ネットワーク構造に関する情報等を記録する。
制御部５は、ＣＰＵ（Central Processing Unit）等を用いて実現され、記録部４に記録された各種プログラムを読み込むことにより、画像取得部２から入力される画像データや入力部３から入力される入力信号等に従って、学習装置１を構成する各部への指示やデータの転送等を行い、学習装置１全体の動作を統括的に制御する。
演算部６は、ＣＰＵ等によって実現され、記録部４が記録するプログラム記録部４１からプログラムを読み込むことによって学習処理を実行する。
〔演算部の構成〕
次に、演算部６の詳細な構成について説明する。演算部６は、事前学習用医療画像群に基づいて、事前学習を行う事前学習部６１と、対象医療画像群に基づいて、本学習を行う本学習部６２と、を備える。
事前学習部６１は、事前学習用データを取得する事前学習用データ取得部６１１と、事前学習用のネットワーク構造を決定する事前学習用ネットワーク構造決定部６１２と、事前学習用のネットワークの初期パラメータを決定する事前学習用初期パラメータ決定部６１３と、事前学習を行う事前学習用学習部６１４と、事前学習によって学習されたパラメータを出力する事前学習用パラメータ出力部６１５と、を有する。
本学習部６２は、本学習用データを取得する本学習用データ取得部６２１と、本学習用のネットワーク構造を決定する本学習用ネットワーク構造決定部６２２と、本学習用のネットワークの初期パラメータを決定する本学習用初期パラメータ決定部６２３と、本学習を行う本学習用学習部６２４と、本学習によって学習されたパラメータを出力する本学習用パラメータ出力部６２５と、を有する。
〔学習装置の処理〕
次に、学習装置１が実行する処理について説明する。図２は、学習装置１が実行する処理の概要を示すフローチャートである。
図２に示すように、まず、画像取得部２は、処理対象である対象医療画像群を取得するとともに（ステップＳ１）、事前学習時に処理対象とする事前学習用医療画像群を取得する（ステップＳ２）。
続いて、事前学習部６１は、画像取得部２が取得した事前学習用医療画像群に基づいて、事前学習を行う事前学習処理を実行する（ステップＳ３）。
〔事前学習処理〕
図３は、図２のステップＳ３における事前学習処理の概要を示すフローチャートである。
図３に示すように、事前学習用データ取得部６１１は、記録部４に記録された事前学習用医療画像群を取得する事前学習用医療画像取得処理を実行する（ステップＳ１０）。ここで、事前学習用医療画像群とは、本学習において対象となる医療画像群と異なり、かつ、医療画像群の特性と類似する医療画像群である。具体的には、被写体の形状が類似している医療画像群である。例えば、被写体の形状としては、管構造が上げられる。医療画像における人体内独特の管構造は、内視鏡による光源の拡がり方、陰の発生の仕方、および奥行きによる被写体の歪み等を撮像するにあたり特殊な環境が発生する。この特殊な環境を事前学習するには、一般物体画像群では、不十分であると考えられる。そこで、本実施の形態１では、上述の特殊な環境に類似している医療画像群を事前学習において学習することによって、特殊な環境に合わせたパラメータを事前学習において取得することができる。この結果、高い精度で事前学習を行うことができる。具体的には、本実施の形態１では、生体内管腔における他の臓器画像群を事前学習用医療画像群として用いる。例えば、本実施の形態１においては、対象医療画像群が小腸内視鏡によって撮像された小腸の医療画像群（以下、「小腸内視鏡画像群」という）であった場合、一般的により検査数（症例数）が多いとされている大腸内視鏡によって撮像された大腸の医療画像群（以下、「大腸内視鏡画像群」という）を事前学習用医療画像群とする。
〔事前学習用医療画像取得処理〕
図４は、図３のステップＳ１０における事前学習用医療画像取得処理の概要を示すフローチャートである。
図４に示すように、事前学習用データ取得部６１１は、入力部３から入力された指示信号に対応する対象医療画像群が小腸内視鏡画像群である場合、記録部４から事前学習用医療画像として大腸内視鏡画像群を取得する（ステップＳ２１）。この場合、事前学習用データ取得部６１１は、大腸内視鏡画像群を任意のクラスに分けて取得する。例えば、事前学習用データ取得部６１１は、本学習の小腸内視鏡画像群の異常を検出するため、正常または異常の２クラスに分割して取得する。このため、事前学習用データ取得部６１１は、同様に事前学習用医療画像群としての大腸内視鏡画像群も正常または異常の２クラスに分割して取得する。このように、事前学習用データ取得部６１１は、管腔という人体内部特有の構造を有する点において共通であるため、対象医療画像群が少数枚であっても、上述の特殊な環境を効果的に事前学習において学習することができる。ステップＳ２１の後、学習装置１は、図３の事前学習処理へ戻る。
図３に戻り、ステップＳ１１以降の説明を続ける。
ステップＳ１１において、事前学習用ネットワーク構造決定部６１２は、事前学習に用いるネットワークの構造を決定する。例えば、事前学習用ネットワーク構造決定部６１２は、ニューラルネットワーク（ＮＮ：Neural Network）の一種であるコンボリューショナルニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を事前学習に用いるネットワークの構造として決定する（参考：シュプリンガージャパン、「パターン認識と機械学習」、ｐ．２７０−２７２（第５章ニューラルネットワーク ５．５．６畳み込みニューラルネットワーク））。ここで、事前学習用ネットワーク構造決定部６１２が決定するＣＮＮの構造は、深層学習の画像認識ルーツＣａｆｆｅのチュートリアル（参考：http://caffe.berkeleyvision.org/）に搭載されているｉｍａｇｅＮｅｔ用の構造、またはＣＩＦＡＲ−１０用の構造等を適宜選択することができる。
続いて、事前学習用初期パラメータ決定部６１３は、事前学習用ネットワーク構造決定部６１２によって決定されたネットワーク構造の初期パラメータを決定する（ステップＳ１２）。本実施の形態１では、事前学習用初期パラメータ決定部６１３は、ランダム値を初期パラメータとして決定する。
その後、事前学習用学習部６１４は、事前学習用データ取得部６１１が取得した事前学習用医療画像を入力し、事前学習用ネットワーク構造決定部６１２が決定したネットワークの構造で、事前学習用初期パラメータ決定部６１３が決定した初期値を用いて、事前学習を行う（ステップＳ１３）。
ここで、事前学習用学習部６１４による事前学習の詳細について説明する。以下においては、事前学習用ネットワーク構造決定部６１２がネットワーク構造としてＣＮＮを決定した場合について説明する（参考：最適化から見たディープラーニングの考え方）。
ＣＮＮは、モデルの一種であり、予測関数を複数の非線形変換の合成で表す。入力ｘ＝ｈ0に対して、ｆ１，・・・，ｆLを非線形関として、以下の式（１）のように定義する。
Figure 2017221412
Ｗｉは、結合重み行列であり、ｂｉは、ｂｉａｓベクトルであり、ともに学習すべきパラメータである。また、各ｈｉの成分をユニットと呼ぶ。各非線形関数ｆiは、活性化関数であり、パラメータを持たない関数である。損失関数は、ＮＮの出力ｈLに対して、定義される。本実施の形態１では、交差エントロピー誤差を用いる。具体的には、以下の式（２）を用いる。
Figure 2017221412
この場合、ｈLは、確立ベクトルである必要があるため、最終層の活性化関数としてソフトマックス関数を用いる。具体的には、以下の式（３）を用いる。
Figure 2017221412
ここでは、出力層のユニット数である。これは、ユニット毎の実数値関数に分解できない活性化関数の一例である。ＮＮの最適化手法は、勾配に基づく方法が主流である。あるデータに対する送信ｌ＝ｌ（ｈL）の勾配は、上述した式（１）に連鎖律を適用して次のように計算することができる。
Figure 2017221412
▽ＨLｌを出発点として、上述した式（４）を用いて、▽ＨLｌをi＝Ｌ−１，・・・，２の順に計算し、層毎に式（５）を用いてパラメータの勾配を求める。このアルゴリズムを誤差逆伝搬法という。この誤差逆伝搬法を用いて、損失関数を最小化するように学習を進めて行く。本実施の形態１では、活性化関数として、関数ｍａｘ（０，ｘ）を用いる。この関数は、Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＲｅＬＵ）やＲｅｃｔｉｆｉｅｒ等と呼ばれる。ＲｅＬＵは、値域が有界でない欠点があるものの、正の値をとるユニットについて勾配が減衰せずに伝搬するため、最適化において有利である（参考：シュプリンガージャパン、「パターン認識と機械学習」、ｐ．２４２−２５０（第５章ニューラルネットワーク ５．３．誤差逆伝搬）。事前学習用学習部６１４は、学習の終了条件を、例えば学習回数に設定し、設定した学習回数に達した場合、事前学習を終了する。
ステップＳ１３の後、事前学習用パラメータ出力部６１５は、事前学習用学習部６１４によって事前学習された学習終了時のパラメータを出力する（ステップＳ１４）。ステップＳ１４の後、学習装置１は、図２へ戻る。
図２に戻り、ステップＳ４以降の説明を続ける。
ステップＳ４において、本学習部６２は、画像取得部２が取得した対象医療画像群に基づいて、本学習を行う本学習処理を実行する。
〔本学習処理〕
図５は、図２のステップＳ４における本学習の概要を示すフローチャートである。
図５に示すように、本学習用データ取得部６２１は、記録部４に記録された対象医療画像群を取得する（ステップＳ３１）。
続いて、本学習用ネットワーク構造決定部６２２は、上述したステップＳ１１において事前学習用ネットワーク構造決定部６１２が決定したネットワーク構造を、本学習において用いるネットワーク構造に決定する（ステップＳ３２）。
その後、本学習用初期パラメータ決定部６２３は、上述したステップＳ１４において事前学習用パラメータ出力部６１５が出力した値（パラメータ）を初期パラメータに決定する（ステップＳ３３）。
続いて、本学習用学習部６２４は、本学習用データ取得部６２１が取得した対象医療画像群を入力し、本学習用ネットワーク構造決定部６２２が決定したネットワークの構造で、本学習用初期パラメータ決定部６２３が決定した初期値を用いて、本学習を行う（ステップＳ３４）。
その後、本学習用パラメータ出力部６２５は、本学習用学習部６２４によって本学習された学習終了時のパラメータを出力する（ステップＳ３５）。ステップＳ３５の後、学習装置１は、図２のメインルーチンへ戻る。
図２に戻り、ステップＳ５以降の説明を続ける。
ステップＳ５において、演算部６は、本学習のパラメータに基づいた識別器を外部へ出力する。
以上説明した本発明の実施の形態１によれば、事前学習部６１が対象医療画像と異なるが、対象医療画像に写る被写体の形状が管構造であるという特性が類似した医療画像を事前学習し、本学習部６２が対象医療画像に対して、事前学習部６１の事前学習結果を初期値として本学習を行うことによって、人体内管腔構造の持つ、光源の拡がり方、影の発生の仕方、および奥行きによる被写体の歪みといった画像の特徴を捉えるためのパラメータを事前学習することで、高精度な学習を行うことができる。この結果、少量データセットであっても、識別精度の高い識別器を得ることができる。
（実施の形態１の変形例１）
次に、本発明の実施の形態１の変形例１について説明する。本実施の形態１の変形例１は、上述した実施の形態１に係る事前学習用データ取得部６１１が実行する事前学習用医療画像取得処理と異なる。以下においては、本実施の形態１の変形例１に係る事前学習用データ取得部６１１が実行する事前学習用医療画像取得処理についてのみ説明する。なお、上述した実施の形態１に係る学習装置１と同一の構成には同一の符号を付して説明を省略する。
〔事前学習用医療画像取得処理〕
図６は、本発明の実施の形態１の変形例１に係る事前学習用医療画像取得処理の概要を示すフローチャートである。
図６に示すように、事前学習用データ取得部６１１は、入力部３から入力された指示信号に対応する対象医療画像群が小腸内視鏡画像群である場合、記録部４から事前学習用医療画像群として小腸の状態を模倣した模倣臓器を撮像した模倣臓器画像群を取得する（ステップＳ４１）。ここで、模倣臓器画像群とは、所謂、小腸の状態を模倣した生体ファントムを内視鏡等によって撮像した画像群である。この場合、事前学習用データ取得部６１１は、模倣画像群を任意のクラスに分けて取得する。例えば、通常では、本学習の小腸内視鏡画像群の異常を検出するため、正常または異常の２クラスに分割されている。このため、事前学習用データ取得部６１１は、同様に事前学習用医療画像群としての模倣臓器画像群も、例えば粘膜損傷状態を生体ファントム内に設けておき、正常部位と粘膜損傷状態の部位を内視鏡等によって撮像することによって、正常または異常の２クラスに分割して取得する。ステップＳ４１の後、学習装置１は、図３の事前学習処理へ戻る。
以上説明した本発明の実施の形態１の変形例１によれば、データの収集が難しい小腸の小腸内視鏡画像群と比較し、生体ファントムであれば、何度も撮像することが可能でため、人体内部特有の構造を学習することができので、高い精度での事前学習を行うことができる。
（実施の形態１の変形例２）
次に、本発明の実施の形態１の変形例２について説明する。本実施の形態１の変形例２は、上述した実施の形態１に係る事前学習部６１が実行する事前学習処理と異なる。以下においては、本実施の形態１の変形例２に係る事前学習部が実行する事前学習処理について説明する。なお、上述した実施の形態１に係る学習装置１と同一の構成には同一の符号を付して説明を省略する。
〔事前学習処理〕
図７は、本発明の実施の形態１の変形例２に係る事前学習部６１が実行する事前学習処理の概要を示すフローチャートである。
図７に示すように、まず、事前学習用データ取得部６１１は、記録部４に記録された事前学習用医療画像群を取得する事前学習用医療画像取得処理を実行する（ステップＳ６１）。ここで、事前学習用医療画像とは、本学習において対象となる医療画像と異なり、かつ、医療画像の特性と類似する医療画像である。具体的には、本学習において対象となる医療画像の被写体の組織構造が類似した医療画像である。被写体の組織構造としては、例えば器官系が一致していることが挙げられる。人体内特有の組織構造は、テクスチャパターン、細かな構造がもたらす反射光の様相等、内視鏡等によって撮像するにあたり多くの特殊な環境が発生する。そこで、本実施の形態１の変形例２では、上述の特殊な環境に類似している画像データ群を事前学習において学習することによって、特殊な環境に合わせたパラメータを事前学習において取得することができる。この結果、高い精度で事前学習を行うことができる。具体的には、本実施の形態１の変形例２においては、器官系が消化器、呼吸器、泌尿器および循環器のいずれかで共通しているものとする。事前学習用データ取得部６１１は、対象医療画像が小腸内視鏡であった場合、同じ消化器である胃の画像を事前学習に用いる事前学習用医療画像として取得する。
〔医療画像取得処理〕
図８は、図７のステップＳ６１において説明した事前学習用医療画像取得処理の概要を示すフローチャートである。
図８に示すように、事前学習用データ取得部６１１は、入力部３から入力された指示信号に対応する対象医療画像群が小腸内視鏡画像群である場合、記録部４から事前学習用医療画像群として、同一消化器であるという特性を持ち、対象医療画像群の器官が異なる胃画像群を取得する（ステップＳ７１）。この場合、事前学習用データ取得部６１１は、クラス数を任意とする。ステップＳ７１の後、学習装置１は、図７へ戻る。ステップＳ６２〜ステップＳ６５は、上述した図３のステップＳ１１〜ステップＳ１４それぞれに対応する。ステップＳ６５の後、学習装置１は、図２のメインルーチンへ戻る。
以上説明した本発明の実施の形態１の変形例２によれば、同一消化器であることにより対象医療画像群の特徴と類似する人体内特有の粘膜構造を学習するため、医療画像で特に問題となる細かなテクスチャ特徴量について事前学習し、事前学習結果を初期値として本学習を行うことによって、人体内組織構造が持つテクスチャパターンおよび細かな構造がもたらす反射光の様相等の画像の特徴を捉えることができるので、高精度な学習を行うことができる。
（実施の形態１の変形例３）
次に、本発明の実施の形態１の変形例３について説明する。本実施の形態１の変形例３は、上述した実施の形態１に係る事前学習部６１が実行する事前学習処理と異なる。以下においては、本実施の形態１の変形例３に係る事前学習処理が実行する事前学習処理について説明する。なお、上述した実施の形態１に係る学習装置１と同一の構成には同一の符号を付して説明を省略する。
〔事前学習処理〕
図９は、本発明の実施の形態１の変形例３に係る事前学習部６１が実行する事前学習処理の概要を示すフローチャートである。
図９に示すように、まず、事前学習用データ取得部６１１は、記録部４に記録された事前学習対象である医療画像群を取得する医療画像取得処理を実行する（ステップＳ８１）。ここで、事前学習用である医療画像群とは、本学習において対象となる医療画像群と異なり、かつ、医療画像群の特性と類似する医療画像群である。具体的には、本学習において対象となる医療画像群を撮像した撮像系（光学系や照明系を含む）および被写体それぞれが類似した医療画像群である。撮像系としては、内視鏡の撮像系が挙げられる。被検体内部に入り込む内視鏡は、広角特有の撮像の歪み、撮像素子自体の特性および照明光による照射特性等、内視鏡等によって撮像するにあたり多くの特殊な環境が発生する。そこで、本実施の形態１の変形例３では、上述の特殊な環境に類似している画像群を事前学習において学習することによって、特殊な環境に合わせたパラメータを事前学習において取得することができる。この結果、高い精度で事前学習を行うことができる。具体的には、本実施の形態１の変形例３においては、撮像系が同一であり、かつ、この同一の撮像系によって模倣臓器を撮像した医療画像群を事前学習において用いる。例えば、事前学習用データ取得部６１１は、対象医療画像群が胃用の内視鏡で胃が撮像された画像群であった場合、胃用の内視鏡で胃を模倣した生体ファントムを撮像した画像群を事前学習用医用画像群として取得する。
〔医療画像取得処理〕
図１０は、図９のステップＳ８１において説明した医療画像取得処理の概要を示すフローチャートである。
図１０に示すように、事前学習用データ取得部６１１は、入力部３から入力された指示信号に対応する対象医療画像群が胃用の内視鏡で撮像された胃内視鏡画像群である場合、記録部４から事前学習用医療画像群として、同一の撮像系であるという特性を持つとともに、対象医療画像の器官が同じ特性を持つ模倣臓器画像群を取得する（ステップＳ９１）。この場合、事前学習用データ取得部６１１が取得する模倣臓器画像群は、クラス数を任意とする。好ましくは、本学習の胃内視鏡画像群の異常を検知するため、正常または異常の２クラスに分類されているので、同様に事前学習の模倣画像群も、粘膜損傷状態を生体ファントムに作成し、粘膜損傷状態を撮像されたものを異常とし、それ以外を撮像されたものを正常とする２クラスに分類することが好ましい。これにより、データの収集が難しい実際の胃の内視鏡画像群と比較し、生体ファントムであれば、何度でも撮像することが可能であるので、少数データに対応しながら、同一の撮像系で学習できるため、高い精度で事前学習を行うことができる。ステップＳ９１の後、学習装置１は、図９へ戻る。ステップＳ８２〜ステップＳ８５は、上述した図３のステップＳ１１〜ステップＳ１４それぞれに対応する。ステップＳ８５の後、学習装置１は、図２のメインルーチンへ戻る。
以上説明した本発明の実施の形態１の変形例３によれば、事前学習部６１が対象医療画像群と異なり、対象医療画像群の特性と類似する撮像系の医療画像群を事前学習し、本学習部６２が対象医療画像群に対し、事前学習部６１によって事前学習された事前学習結果を初期値として本学習することによって、人体内部を撮像する内視鏡が持つ、広角特有の撮像の歪み、撮像素子自体の特性および照明光による照明特性等の画像の特徴を捉えるパラメータを事前学習することができ、高精度な学習を行うことができる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る画像処理装置は、上述した実施の形態１に係る学習装置１と構成が異なる。具体的には、上述した実施の形態１では、事前学習を行った後に、本学習を行っていたが、本実施の形態２では、事前学習を行う前に、さらに基礎学習を行う。以下においては、本実施の形態２に係る画像処理装置の構成を説明後、本実施の形態２に係る学習装置が実行する処理について説明する。なお、上述した実施の形態１に係る学習装置１と同一の構成には同一の符号を付して説明を省略する。
〔画像処理装置の構成〕
図１１は、本発明の実施の形態２に係る学習装置の構成を示すブロック図である。図１１に示す学習装置１ａは、上述した実施の形態１に係る学習装置１の演算部６に換えて、演算部６ａを備える。
〔演算部の構成〕
演算部６ａは、上述した実施の形態１に係る演算部６の構成に加えて、基礎学習部６０をさらに有する。
基礎学習部６０は、基礎学習を行う。ここで、基礎学習とは、事前学習より前に対象医療画像群と異なり、一般的な大規模データ（一般的な大規模画像群）を用いて学習することである。一般的な大規模データとしては、Ｉｍａｇｅｎｅｔ等である。一般的な大規模画像群によるＣＮＮの学習によって、ネットワークの一部が哺乳類の初期視覚野を模倣する（参考：ディープラーニングと画像認識 基礎と最近の動向 岡谷貴之）。本実施の形態２では、上述した初期視野を模倣した初期値を持たせて事前学習を実行する。これにより、ランダム値よりも精度を向上させることができる。
基礎学習部６０は、基礎学習画像群を取得する基礎学習用データ取得部６０１と、基礎学習用のネットワーク構造を決定する基礎学習用ネットワーク構造決定部６０２と、基礎学習用ネットワークの初期パラメータを決定する基礎学習用初期パラメータ決定部６０３と、基礎学習を行う基礎学習用学習部６０４と、基礎学習によって学習されたパラメータを出力する基礎学習用パラメータ出力部６０５と、を有する。
〔学習装置の処理〕
次に、学習装置１ａが実行する処理について説明する。図１２は、学習装置１ａが実行する処理の概要を示すフローチャートである。図１２において、ステップＳ１０１、ステップＳ１０２、ステップＳ１０５〜ステップＳ１０７は、上述した図２のステップＳ１〜ステップＳ５それぞれに対応する。
ステップＳ１０３において、画像取得部２は、基礎学習を行うための基礎学習用画像群を取得する。
続いて、基礎学習部６０は、基礎学習を行う基礎学習処理を実行する（ステップＳ１０４）。
〔基礎学習処理〕
図１３は、上述した図１２のステップＳ１０４における基礎学習処理の概要を示すフローチャートである。
図１３に示すように、基礎学習用データ取得部６０１は、記録部４に記録された基礎学習用一般画像群を取得する（ステップＳ２０１）。
続いて、基礎学習用ネットワーク構造決定部６０２は、学習に使われるネットワーク構造を決定する（ステップＳ２０２）。例えば、基礎学習用ネットワーク構造決定部６０２は、学習に使われるネットワーク構造をＣＮＮに決定する。
その後、基礎学習用初期パラメータ決定部６０３は、基礎学習用ネットワーク構造決定部６０２が決定したネットワーク構造の初期パラメータを決定する（ステップＳ２０３）。この場合、基礎学習用初期パラメータ決定部６０３は、初期パラメータとしてランダム値を決定する。
続いて、基礎学習用学習部６０４は、基礎学習用データ取得部６０１が取得した基礎画像用の一般画像群を入力し、基礎学習用ネットワーク構造決定部６０２が決定したネットワークの構造で、基礎学習用初期パラメータ決定部６０３が決定した初期値を用いて、事前学習を行う（ステップＳ２０４）。
その後、基礎学習用パラメータ出力部６０５は、基礎学習用学習部６０４によって基礎学習された学習終了時のパラメータを出力する（ステップＳ２０５）。ステップＳ２０５の後、学習装置１ａは、図１２のメインルーチンへ戻る。
以上説明した本発明の実施の形態２によれば、基礎学習部６０が事前学習の前に、対象となる医療画像と異なる大量の一般画像を基礎学習することにより、事前学習の際に有効となる初期値を得ることができ、高精度な学習を行うことができる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る画像処理装置は、上述した実施の形態１に係る学習装置１と構成が異なる。具体的には、上述した実施の形態１では、学習結果を識別器へ出力していたが、本実施の形態３では、画像処理装置に識別器を設け、本学習出力パラメータに基づいて、識別対象画像を識別する。以下においては、本実施の形態３に係る画像処理装置の構成を説明後、本実施の形態３に係る画像処理装置が実行する処理について説明する。
〔画像処理装置の構成〕
図１４は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。図１４に示す画像処理装置１ｂは、上述した実施の形態１に係る学習装置１の演算部６および記録部４に換えて、演算部６ｂおよび記録部４ｂを備える。
記録部４ｂは、上述した実施の形態１に係る記録部４の構成に加えて、上述した実施の形態１，２の学習装置１，１ａによって生成された識別基準である本学習出力パラメータ（本学習結果）を記録する識別基準記録部４２を有する。
〔演算部の構成〕
演算部６ｂは、識別部６３を有する。識別部６３は、識別基準記録部４２が記録する識別基準である本学習出力パラメータに基づいて、識別対象画像群を識別した識別結果を出力する。
〔画像処理装置の処理〕
図１５は、画像処理装置１ｂが実行する処理の概要を示すフローチャートである。図１５に示すように、画像取得部２は、識別対象画像を取得する（ステップＳ３０１）。
続いて、識別部６３は、識別基準記録部４２が記録する識別基準である本学習出力パラメータに基づいて、識別対象画像を識別する（ステップＳ３０２）。具体的には、識別部６３は、本学習において小腸内視鏡画像が正常であるか、異常であるかといった２クラス分類を行う場合、本学習において学習されたパラメータを初期値としたネットワークに基づく識別基準を作成し、この作成した識別基準に基づいて新たな識別対象画像が正常であるか、異常であるかの２クラス分類を行う。
その後、演算部６ｂは、識別部６３の分類結果に基づいて、識別結果を出力する（ステップＳ３０３）。ステップＳ３０３の後、本処理を終了する。
以上説明した本発明の実施の形態３によれば、識別部６３が本学習において学習されたパラメータを初期値としたネットワークを用いて、新たな識別対象画像を識別するので、精度高く学習した結果を識別対象画像に適用することができる。
（その他の実施の形態）
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜２およびこれらの変形例に係る学習装置および画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
なお、本発明は、実施の形態１〜３およびこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
１，１ａ 学習装置
１ｂ 画像処理装置
２ 画像取得部
３ 入力部
４ 記録部
５ 制御部
６，６ａ，６ｂ 演算部
４１ プログラム記録部
６０ 基礎学習部
６１ 事前学習部
６２ 本学習部
６３ 識別部
６０１ 基礎学習用データ取得部
６０２ 基礎学習用ネットワーク構造決定部
６０３ 基礎学習用初期パラメータ決定部
６０４ 基礎学習用学習部
６０５ 基礎学習用パラメータ出力部
６１１ 事前学習用データ取得部
６１２ 事前学習用ネットワーク構造決定部
６１３ 事前学習用初期パラメータ決定部
６１４ 事前学習用学習部
６１５ 事前学習用パラメータ出力部
６２１ 本学習用データ取得部
６２２ 本学習用ネットワーク構造決定部
６２３ 本学習用初期パラメータ決定部
６２４ 本学習用学習部
６２５ 本学習用パラメータ出力部

Claims (16)

  1. 学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別部を備えることを特徴とする画像処理装置。
  2. 前記被写体の形状は、生体内の管構造であることを特徴とする請求項１に記載の画像処理装置。
  3. 前記対象画像群は、所定の区間の生体内管腔を撮像した画像群であり、
    前記類似画像群は、前記対象画像群の区間と異なる生体内管腔を撮像した画像群であることを特徴とする請求項２に記載の画像処理装置。
  4. 前記類似画像群は、前記管構造を模倣した模倣臓器を撮像した模倣臓器画像群であることを特徴とする請求項２に記載の画像処理装置。
  5. 前記被写体の組織構造は、器官系の粘膜構造であり、
    前記類似画像群は、前記対象画像群と同一の器官系の粘膜構造を撮像した画像群であることを特徴とする請求項１に記載の画像処理装置。
  6. 前記器官系は、消化器、呼吸器、泌尿器および循環器のいずれかであることを特徴とする請求項５に記載の画像処理装置。
  7. 前記機器の撮像系は、内視鏡の撮像系であることを特徴とする請求項１に記載の画像処理装置。
  8. 前記類似画像群は、前記対象画像群と同じ前記内視鏡の撮像系で所定の臓器を模倣した模倣臓器を撮像した画像群であることを特徴とする請求項７に記載の画像処理装置。
  9. 前記事前学習は、前記対象画像群と特性が異なる非類似画像群に基づいて、基礎学習が行われた基礎学習結果および前記類似画像群に基づいて行われることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
  10. 学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習を行う事前学習部と、
    前記事前学習部の事前学習結果および前記対象画像群に基づいて、本学習を行う本学習部と、
    を備えたことを特徴とする学習装置。
  11. 画像処理装置が実行する画像処理方法であって、
    学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別ステップを含むことを特徴とする画像処理方法。
  12. 学習装置が実行する識別基準の作成方法であって、
    学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を前記識別基準として出力する識別ステップを含むことを特徴とする識別基準の作成方法。
  13. 学習装置が実行する学習方法であって、
    学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群を記録部から取得し、取得した前記類似画像に基づいて、事前学習を行う事前学習ステップと、
    前記記録部から前記対象画像群を取得し、取得した前記対象画像群および前記事前学習ステップの事前学習結果に基づいて、本学習を行う本学習ステップと、
    を含むことを特徴とする学習方法。
  14. 画像処理装置に、
    学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を出力する識別ステップを実行させることを特徴とするプログラム。
  15. 学習装置に、
    学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群に基づいて、事前学習が行われ、該事前学習の結果および前記対象画像群に基づいて本学習が行われた本学習結果に基づいて、識別対象の画像群を識別した識別結果を識別基準として出力する識別ステップを実行させることを特徴とするプログラム。
  16. 学習装置に実行させるプログラムであって、
    学習対象の対象画像群に写る被写体の形状、前記対象画像群に写る被写体の組織構造および前記対象画像群を撮像した機器の撮像系の少なくとも１つの特性が類似する類似画像群を記録部から取得し、取得した前記類似画像に基づいて、事前学習を行う事前学習ステップと、
    前記記録部から前記対象画像群を取得し、取得した前記対象画像群および前記事前学習ステップの事前学習結果に基づいて、本学習を行う本学習ステップと、
    を実行させることを特徴とするプログラム。
JP2018523261A 2016-06-24 2016-06-24 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム Active JP6707131B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/068877 WO2017221412A1 (ja) 2016-06-24 2016-06-24 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017221412A1 true JPWO2017221412A1 (ja) 2019-04-11
JP6707131B2 JP6707131B2 (ja) 2020-06-10

Family

ID=60783906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523261A Active JP6707131B2 (ja) 2016-06-24 2016-06-24 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム

Country Status (5)

Country Link
US (1) US20190117167A1 (ja)
JP (1) JP6707131B2 (ja)
CN (1) CN109310292B (ja)
DE (1) DE112016007005T5 (ja)
WO (1) WO2017221412A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020066670A1 (ja) * 2018-09-27 2021-06-10 Hoya株式会社 電子内視鏡システム
JP7127785B2 (ja) * 2018-11-30 2022-08-30 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
CN110363751B (zh) * 2019-07-01 2021-08-03 浙江大学 一种基于生成协作网络的大肠内视镜息肉检测方法
JP7477269B2 (ja) * 2019-07-19 2024-05-01 株式会社ニコン 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム
KR102449240B1 (ko) * 2020-06-22 2022-09-29 주식회사 뷰노 모델 학습 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05232986A (ja) * 1992-02-21 1993-09-10 Hitachi Ltd 音声信号用前処理方法
JP2010252276A (ja) * 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP2015191334A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 情報処理装置、情報処理方法
JP5937284B2 (ja) * 2014-02-10 2016-06-22 三菱電機株式会社 階層型ニューラルネットワーク装置、判別器学習方法および判別方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186875A1 (en) * 2001-04-09 2002-12-12 Burmer Glenna C. Computer methods for image pattern recognition in organic material
US7657299B2 (en) * 2003-08-21 2010-02-02 Ischem Corporation Automated methods and systems for vascular plaque detection and analysis
US20100189326A1 (en) * 2009-01-29 2010-07-29 Mcginnis Ryan Computer-aided detection of folds in medical imagery of the colon
US20120316421A1 (en) * 2009-07-07 2012-12-13 The Johns Hopkins University System and method for automated disease assessment in capsule endoscopy
WO2015035229A2 (en) * 2013-09-05 2015-03-12 Cellscope, Inc. Apparatuses and methods for mobile imaging and analysis
US10055843B2 (en) * 2015-03-31 2018-08-21 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convulutional neural networks
US10482313B2 (en) * 2015-09-30 2019-11-19 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
CN115279247A (zh) * 2020-03-11 2022-11-01 奥林巴斯株式会社 处理系统、图像处理方法以及学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05232986A (ja) * 1992-02-21 1993-09-10 Hitachi Ltd 音声信号用前処理方法
JP2010252276A (ja) * 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP5937284B2 (ja) * 2014-02-10 2016-06-22 三菱電機株式会社 階層型ニューラルネットワーク装置、判別器学習方法および判別方法
JP2015191334A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 情報処理装置、情報処理方法

Also Published As

Publication number Publication date
JP6707131B2 (ja) 2020-06-10
DE112016007005T5 (de) 2019-03-07
US20190117167A1 (en) 2019-04-25
WO2017221412A1 (ja) 2017-12-28
CN109310292B (zh) 2021-03-05
CN109310292A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
JP6707131B2 (ja) 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
EP3876190A1 (en) Endoscopic image processing method and system and computer device
CN107464230B (zh) 图像处理方法及装置
CN112041912A (zh) 用于诊断肠胃肿瘤的系统和方法
CN113496489B (zh) 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN110363768B (zh) 一种基于深度学习的早期癌病灶范围预测辅助系统
JP2024045234A (ja) 腸の病理学のための画像スコアリング
JP7231762B2 (ja) 画像処理方法、学習装置、画像処理装置及びプログラム
CN110600122A (zh) 一种消化道影像的处理方法、装置、以及医疗系统
WO2020003607A1 (ja) 情報処理装置、モデル学習方法、データ認識方法および学習済みモデル
Ghosh et al. Effective deep learning for semantic segmentation based bleeding zone detection in capsule endoscopy images
US11869655B2 (en) Information processing system, endoscope system, information storage medium, and information processing method
KR102132375B1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
CN112466466B (zh) 基于深度学习的消化道辅助检测方法、装置和计算设备
KR20230113386A (ko) 딥러닝 기반의 캡슐 내시경 영상 식별 방법, 기기 및매체
US20230316756A1 (en) Systems and methods for surgical data censorship
CN110930373A (zh) 一种基于神经网络的肺炎识别装置
CN108697310A (zh) 图像处理装置、图像处理方法和程序
EP4260295A1 (en) Self-supervised machine learning for medical image analysis
KR20220078495A (ko) 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램
WO2023042273A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
CN114419369A (zh) 影像中的息肉分类方法、系统、电子装置及存储介质
KR102564443B1 (ko) 딥러닝을 이용한 위내시경 검사의 신뢰성을 향상시킬 수 있는 위내시경 시스템
US20240029419A1 (en) Learning data generating apparatus, learning data generating method, and non-transitory recording medium having learning data generating program recorded thereon

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200519

R151 Written notification of patent or utility model registration

Ref document number: 6707131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250