JPWO2020031851A1 - 画像処理方法及び画像処理装置 - Google Patents

画像処理方法及び画像処理装置 Download PDF

Info

Publication number
JPWO2020031851A1
JPWO2020031851A1 JP2020535717A JP2020535717A JPWO2020031851A1 JP WO2020031851 A1 JPWO2020031851 A1 JP WO2020031851A1 JP 2020535717 A JP2020535717 A JP 2020535717A JP 2020535717 A JP2020535717 A JP 2020535717A JP WO2020031851 A1 JPWO2020031851 A1 JP WO2020031851A1
Authority
JP
Japan
Prior art keywords
learning
data set
image
layer
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020535717A
Other languages
English (en)
Other versions
JP7062068B2 (ja
Inventor
駿平 加門
駿平 加門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020031851A1 publication Critical patent/JPWO2020031851A1/ja
Application granted granted Critical
Publication of JP7062068B2 publication Critical patent/JP7062068B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、素性の異なる画像を効率的に学習できる画像処理方法及び画像処理装置を提供することを目的とする。階層型ネットワークを用いた学習及び認識では、入力に近い層は認識に必要となる特徴を抽出する特徴抽出器として機能し、出力に近い層は抽出した特徴を組み合わせて認識を行っていることが経験的に知られている。したがって、本発明の一の態様のように第２学習処理の際に階層型ネットワークの入力側に近い層での学習率を出力側に近い層の学習率に対し大きく設定して学習を行うことは、素性の異なるデータセットに対して主に特徴抽出部分を再学習（調整）することに相当する。これによりデータセット間の差違を吸収することができ、単純に転移学習を行うよりも効率的な学習が可能となる。

Description

本発明は画像処理方法及び画像処理装置に関し、特に階層型ネットワークを用いた機械学習を行う画像処理方法及び画像処理装置に関する。
機械学習の分野では、階層型ネットワークを用いて画像を始め多様なデータの学習や認識を行うことが知られている。階層型ネットワークは一般に特徴抽出や認識等を行う複数の層から構成され、層構成によって多数のパラメータが設定される。これらのパラメータは大量のデータを学習することで最適化する必要がある。
このような学習を効率的に行うための技術が提案されている。例えば特許文献１には、第１の学習工程を行い、その後学習率を大きくして第２の学習工程を行うことで学習が短時間で完了することが記載されている。
特開２０１７−１６４１４号公報
機械学習により構築された認識器の性能は学習に用いたデータセット（画像を学習する場合は画像群）に依存し、認識時に扱うデータの素性が学習時と異なる場合は認識の精度が低下する。このような素性が異なるデータに対しても精度の良い認識器を構築するためにデータの素性ごとに別途学習を行うことが考えられるが、素性ごとに大量のデータを用意することで開発コストの増加に繋がる可能性がある。このような問題に対し上述した特許文献１では「素性の異なる画像をどのように学習するのか」という点については何ら考慮されていない。
このように、従来の技術では素性の異なる画像を効率的に学習することが困難であった。
本発明はこのような事情に鑑みてなされたもので、素性の異なる画像を効率的に学習できる画像処理方法及び画像処理装置を提供することを目的とする。
上述した目的を達成するため、本発明の第１の態様に係る画像処理方法は、画像を受け付けて画像の特徴量を出力する階層型ネットワークを備える画像処理装置の画像処理方法であって、第１画像群から選択された第１データセットを階層型ネットワークに入力して学習させる第１学習処理を実行し、第１学習処理の実行後に、第１画像群とは素性が異なる第２画像群から選択された第２データセットを階層型ネットワークに入力して学習させる第２学習処理であって、階層型ネットワークの入力側に近い層での学習率を出力側に近い層の学習率に対し大きく設定して学習を行う第２学習処理を実行する。
階層型ネットワークを用いた学習及び認識では、入力に近い層は認識に必要となる特徴を抽出する特徴抽出器として機能し、出力に近い層は抽出した特徴を組み合わせて認識を行っていることが経験的に知られている。したがって、第１の態様のように、第２学習処理の際に階層型ネットワークの入力側に近い層での学習率を出力側に近い層の学習率に対し大きく設定して学習を行うことは、素性の異なるデータセットに対して主に特徴抽出部分を再学習（調整）することに相当する。これによりデータセット間の差違を吸収することができ、単純に転移学習を行う（第１データセットについて学習を行った状態で、学習率を調整せずに第２データセットについて学習を行う）よりも効率的な学習が可能となる。その結果、少ないデータでの学習で高い認識精度が得られる。
第１の態様によれば、このようにして素性の異なる画像を効率的に学習することができる。なお、第１の態様及び以下の各態様において「データセットの素性が異なる」とは、例えば被写体や被検体、撮像デバイス（撮像装置）、撮像条件、画像処理等の内容や特性が異なる場合を含む。また第１の態様及び以下の各態様において、第１データセットと第２データセットとでタスク（特定の被写体や注目領域の検出等、学習及び認識が目的とする処理）が共通であることが好ましい。
第２の態様に係る画像処理方法は第１の態様において、第１学習処理と第２学習処理とでは撮像デバイスが異なる画像により構成されるデータセットを入力する。第２の態様は「素性の異なる画像」の一態様を規定するもので、「撮像デバイスが異なる」とはモダリティ（機器の分類や様式）が同一で機種、光学系特性等（撮像デバイスが内視鏡の場合、プロセッサ、スコープ、光源、センサなど）が異なることを意味する。例えば、内視鏡装置とＣＴ装置（ＣＴ：Computed Tomography）ではモダリティが異なる。
第３の態様に係る画像処理方法は第１または第２の態様において、第１学習処理と第２学習処理とでは異なる画像処理が施された画像により構成されるデータセットを入力する。第３の態様は「素性の異なる画像」の他の態様を規定するもので、「画像処理」の例としては、撮像素子（イメージセンサ）が出力するデータから画像を生成する処理、特定の周波数帯域の成分を強調または低減する処理、特定の対象を強調または目立たなくする処理等を挙げることができるが、これらに限定されるものではない。
第４の態様に係る画像処理方法は第１から第３の態様のいずれか１つにおいて、第１学習処理と第２学習処理とでは被検体の異なる部位を撮像して得られた画像により構成されるデータセットを入力する。第４の態様は「素性の異なる画像」のさらに他の態様を規定するもので、「異なる部位」の例としては、人体が被検体の場合の異なる臓器（あるいは同じ臓器の異なる部分）を挙げることができるが、これらに限定されない。また、被検体は人体に限定されるものではない。
第５の態様に係る画像処理方法は第１から第４の態様のいずれか１つにおいて、第１学習処理と第２学習処理とでは被検体の属性が異なる画像により構成されるデータセットを入力する。第５の態様は「素性の異なる画像」のさらに他の態様を規定するもので、「被検体の属性」の例としては人体が被検体の場合の年齢、性別、人種等を挙げることができるが、これらに限定されるものではない。
第６の態様に係る画像処理方法は第１から第５の態様のいずれか１つにおいて、第１学習処理及び第２学習処理では医療画像により構成されるデータセットを入力する。医療画像を学習や認識の対象とする場合、それぞれの素性に対し十分な量の画像を用意するのが困難な場合があるが、本発明の画像処理方法により素性の異なる画像を効率的に学習することができる。なお、医療画像とは診断、治療、計測等を目的として人体等の生体を撮影、計測等した結果を画像化したものをいい、例えば内視鏡画像、超音波画像、ＣＴ画像、ＭＲＩ画像（ＭＲＩ：Magnetic Resonance Imaging）を挙げることができる。また、医療画像は医用画像ともいう。
第７の態様に係る画像処理方法は第６の態様において、第１学習処理及び第２学習処理では観察光の波長バランスが異なる内視鏡画像により構成されるデータセットを入力する。内視鏡を用いて画像を取得する場合、画像の使用目的に応じて異なる波長バランスの観察光（「異なる素性」の一態様）が用いられるが、使用目的によって画像の取得量に差があるため、観察光によっては十分な量の画像を用意するのは困難な場合がある。しかしながら第７の態様によれば、このような場合でも効率的に学習することができる。なお、「波長バランスが異なる」とは観察光の波長帯域及び／または観察光における各波長帯域の強度の相対関係が異なることを意味し、例えば白色光と狭帯域光、波長帯域の異なる複数の狭帯域光の組み合わせ等を挙げることができる。
第８の態様に係る画像処理方法は第１から第７の態様のいずれか１つにおいて、階層型ネットワークは畳み込みニューラルネットワークである。第８の態様は階層型ネットワークの具体的態様の一例を規定するものである。
第９の態様に係る画像処理方法は第１から第８の態様のいずれか１つにおいて、階層型ネットワークに入力する際の画像のサイズを第１サイズとし、第１サイズより小さいサイズを第２サイズとした場合に、第２学習処理では、階層型ネットワークを構成する層のうち第２サイズよりも大きいサイズのデータが入力される層を入力側に近い層とし、階層型ネットワークを構成する層のうち第２サイズ以下のサイズのデータが入力される層を出力側に近い層として、入力側に近い層での学習率を出力側に近い層での学習率に対し大きく設定して学習を行う。第９の態様は、階層型ネットワークでは入出力されるデータのサイズは層構成によって異なることに鑑みて「入力側に近い層」と「出力側に近い層」の一態様を規定するものである。なお、第９の態様において「データ」は一番初めの層に入力される画像だけでなく、階層型ネットワークで生成される特徴マップ等を含む。
第１０の態様に係る画像処理方法は第１から第９の態様のいずれか１つにおいて、階層型ネットワークは畳み込み層と全結合層とを有し、第２学習処理では、階層型ネットワークを構成する層のうち全結合層を含まない層を入力側に近い層とし、階層型ネットワークを構成する層のうち全結合層を含む層を出力側に近い層として、入力側に近い層での学習率を出力側に近い層での学習率に対し大きく設定して学習を行う。第１０の態様は、「入力側に近い層」と「出力側に近い層」の他の態様を規定するものである。なお、「全結合層を含む層」は全結合層以外の層を含んでいてもよい。
第１１の態様に係る画像処理方法は第１から第１０の態様のいずれか１つにおいて、階層型ネットワークは畳み込み層と全結合層とを有し、第２学習処理では、階層型ネットワークを構成する層のうち畳み込み層を含む層を入力側に近い層とし、階層型ネットワークを構成する層のうち畳み込み層を含まない層を出力側に近い層として、入力側に近い層での学習率を出力側に近い層での学習率に対し大きく設定して学習を行う。第１１の態様は、「入力側に近い層」と「出力側に近い層」のさらに他の態様を規定するものである。
第１２の態様に係る画像処理方法は第１から第１１の態様のいずれか１つにおいて、第１学習処理では、第２データセットより多くの数の画像により構成されるデータセットを第１データセットとして学習を行う。画像の素性によっては十分な量のデータが準備できない場合があるため、第１２の態様では、第２データセットより多くの数の画像により構成されるデータセットを第１データセットとして第１学習処理を行い、この第１学習処理の実行後に少ない数の画像で構成される第２データセットを用いて第２学習処理を行う。画像数の多い第１データセットを用いた第１学習処理により十分に学習された状態で第２学習処理を行うことにより、画像の数が少ない第２データセットについても効率的に学習することができる。
第１３の態様に係る画像処理方法は第１から第１２の態様のいずれか１つにおいて、画像で構成されるデータセットを取得するデータセット取得処理と、画像の素性を取得する素性取得処理と、第１学習処理により得られる第１学習済みモデルを有し、入力されるデータセットの認識結果を出力する第１認識器と、第１学習処理及び第２学習処理により得られる第２学習済みモデルを有し、入力されるデータセットの認識結果を出力する第２認識器と、のうち少なくとも一方に、素性に応じて取得したデータセットを入力する入力制御処理と、を行う。第１３の態様では、第１から第１２の態様のいずれか１つに係る画像処理方法により構築される第１，第２認識器を用いて高い精度で認識を行うことができる。例えば、認識のために入力される画像が第１画像群と同一または類似の素性を有する場合は、少なくとも第１認識器に入力することにより高い精度で認識を行うことができる。なお、この場合第１，第２認識器の双方に入力して一方の認識からの結果のみ出力（表示、記録等）してもよい。
なお、第１から第１３の態様に係る画像処理方法を画像処理装置あるいはコンピュータに実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
上述した目的を達成するため、本発明の第１４の態様に係る画像処理装置は第１画像群から選択された第１データセット及び第１画像群とは異なる第２画像群から選択された第２データセットを取得する学習データ取得部と、第１データセットまたは第２データセットを受け付けて特徴量を出力する階層型ネットワークと、第１データセットまたは第２データセットを階層型ネットワークに入力して学習させる学習制御部と、を備え、学習制御部は、第１データセットを階層型ネットワークに入力して学習させる第１学習処理を実行し、第１学習処理の実行後に、第２データセットを階層型ネットワークに入力して学習させる第２学習処理であって、階層型ネットワークの入力側に近い層での学習率を出力側に近い層の学習率に対し大きく設定して学習させる第２学習処理を実行する。第１４の態様によれば、第１の態様と同様に素性の異なる画像を効率的に学習することができる。
第１５の態様に係る画像処理装置は第１４の態様において、第１学習処理では、第２データセットより多くの数の画像により構成されるデータセットを第１データセットとして学習を行う。第１５の態様によれば、第１２の態様と同様に画像の数が少ない第２データセットについても効率的に学習することができる。
第１６の態様に係る画像処理装置は第１４または第１５の態様において、画像で構成されるデータセットを取得するデータセット取得部と、データセットの素性を取得する素性取得部と、第１学習処理により得られる第１学習済みモデルを有し、入力されるデータセットの認識結果を出力する第１認識器と、第１学習処理及び第２学習処理により得られる第２学習済みモデルを有し、入力されるデータセットの認識結果を出力する第２認識器と、第１認識器と、第２認識器と、のうち少なくとも一方に、素性に応じて取得したデータセットを入力する入力制御部と、を備える。第１６の態様によれば、第１３の態様と同様に高い精度で認識を行うことができる。
なお、第１４から第１６の態様に係る画像処理装置に対し、第２から第１１の態様と同様の構成をさらに含めてもよい。
以上説明したように、本発明の画像処理方法及び画像処理装置によれば、素性の異なる画像を効率的に学習することができる。
図１は、第１の実施形態に係る画像処理システムの構成を示す図である。 図２は、畳み込みニューラルネットワークの層構成の例を示す図である。 図３は、フィルタによる畳み込み処理の様子を示す図である。 図４は、内視鏡システムの構成を示す図である。 図５は、内視鏡システムの構成を示す他の図である。 図６は、第１の実施形態に係る画像処理方法を示すフローチャートである。 図７は、第１の実施形態に係る画像処理方法を示すフローチャート（図６の続き）である。 図８は、第１，第２学習処理の様子を示す図である。 図９は、データサイズで入力側層及び出力側層を規定する様子を示す図である。 図１０は、全結合層の有無により入力側層及び出力側層を規定する様子を示す図である。 図１１は、畳み込み層の有無により入力側層及び出力側層を規定する様子を示す図である。
以下、添付図面を参照しつつ、本発明に係る画像処理方法及び画像処理装置の実施形態について詳細に説明する。
＜第１の実施形態＞
＜画像処理システムの構成＞
図１は、第１の実施形態に係る画像処理システム１（画像処理装置）の構成を示すブロック図である。画像処理システム１は、被検体内に挿入される内視鏡で撮像された画像に基づく学習処理及び／または認識処理を行う画像処理装置５００（画像処理装置）と、１つ以上の内視鏡システム１０と、第１の画像データベース６０１と、第２の画像データベース６０２とを備える。
＜第１，第２の画像データベース＞
＜通常光画像及び特殊光画像＞
第１の画像データベース６０１及び第２の画像データベース６０２は、ハードディスク等の記録媒体により構成され、内視鏡システム１０で取得した内視鏡画像が記録される。第１の画像データベース６０１には、例えば通常光を観察光（第１の観察光）として撮影された複数の内視鏡画像（医療画像）を記録し、第２の画像データベース６０２には、通常光と異なる観察光（第２の観察光；例えば特殊光）として撮影された複数の内視鏡画像を記録することができる。すなわち、第１の画像データベース６０１に記録された複数の通常光画像は本発明における「第１画像群」の一態様であり、第２の画像データベース６０２に記録された複数の特殊光画像は本発明における「第１画像群とは素性が異なる第２画像群」の一態様である。特殊光画像を撮影する特殊光（狭帯域光）は以下では短波長狭帯域光（青色狭帯域光）として説明するが、長波長狭帯域光（赤色狭帯域光）等他の波長でもよい。また、上述の例では第１，第２の観察光が白色光と狭帯域光である場合について説明しているが、波長帯域及び／または強度が異なる第１，第２の狭帯域光を観察光として取得された内視鏡画像等の医用画像を用いてもよい。
＜素性が異なるデータの例＞
上述した通常光画像と特殊光画像のように観察光の波長バランスが異なる内視鏡画像だけでなく、第１の画像データベース６０１と第２の画像データベース６０２とで撮像デバイス、解像度、及び画像に施す画像処理のうち１または複数が異なる内視鏡画像を記録してもよい。「撮像デバイスが異なる」には異なるスコープ、光源や光学系の特性、プロセッサの性能が異なる内視鏡を用いていることが含まれる（複数の内視鏡システム１０の間で特性が異なる場合もある）が、これに限定されるものではない。また、「画像に施す画像処理が異なる」には、注目領域等特定の領域を強調または目立たなくする処理、特定の波長成分の影響を強調または低減する処理の有無及び／または程度が異なることが含まれるが、これらに限定されるものではない。また、これらのデータに加えて、またはこれに代えて被検体の異なる部位を撮像して得られた画像（内視鏡画像）を第１の画像データベース６０１と第２の画像データベース６０２に記録してもよいし、被検体の属性が異なる画像（内視鏡画像）を記録してもよい。「被検体の属性」の例としては年齢、性別、人種等を挙げることができるが、これらに限定されるものではない。
＜データ取得条件によるデータ数の違い＞
内視鏡を用いた観察や検査を行う場合、ユーザは通常光（白色光）を観察光として取得された画像をモニタに表示させて確認するケースが多い。観察や検査の目的、状況（例えば、通常光では病変の構造が観察しづらい）により狭帯域光等の特殊光を観察光として画像をケースもあるが、通常光と比較すると観察光としての使用頻度が低く、そのため特殊光画像は通常光画像よりも著しく数が少ない場合が多い。機械学習により画像の学習及び／または認識を行う場合、特殊光画像についても学習及び／または認識を行う必要があるが、データ数が少ないと通常光画像と比較して学習及び／または認識の精度が低下するおそれがある。このような状況に鑑み、第１の実施形態では後述する学習処理により素性が異なるデータを効率的に学習及び／または認識できるようにしている。
＜内視鏡画像の正解データ＞
第１の画像データベース６０１及び第２の画像データベース６０２は、上述した内視鏡画像に加え、注目領域（ＲＯＩ：Region of Interest）を識別するための「正解データ」を画像と対応させて記憶することができる。例えば、第１の画像データベース６０１は複数の通常光画像にそれぞれ対応する複数の正解データを記憶し、第２の画像データベース６０２は複数の特殊光画像にそれぞれ対応する複数の正解データを記憶する。正解データは、内視鏡画像に対して医師が指定した注目領域や鑑別結果であることが好ましい。また、このような観察光の波長バランスが異なる内視鏡画像の正解データに代えて、またはこれに加えて、撮像デバイス、解像度、及び画像に施す画像処理、被検体の部位（撮像部位）や属性についての正解データを記録してもよい。
＜学習認識装置の構成＞
画像取得部５１０は、外部サーバ、データベース等とネットワークを介して通信する装置等により構成され、学習や認識に用いる内視鏡画像及び／または正解データを第１の画像データベース６０１、第２の画像データベース６０２から取得する。画像取得部５１０は、図示せぬネットワークで画像処理システム１と接続された内視鏡システム、病院内サーバ等からも内視鏡画像を取得することができる。操作部５２０は図示せぬキーボード、マウス等の入力デバイスを備え、ユーザはこれらデバイスを介して画像取得、学習や認識等の処理に必要な操作を行うことができる。制御部５３０は記録部５５０に記録された各種プログラムを読み込み、操作部５２０から入力される指令にしたがって、画像処理システム１全体の動作を制御する。また制御部５３０は、後述する誤差算出部５６８が算出した誤差（損失）を第１のＣＮＮ５６２及び／または第２のＣＮＮ５６３（ＣＮＮ：Convolutional Neural Network、畳み込みニューラルネットワーク）に逆伝搬することにより、これらＣＮＮの重みパラメータを更新する。
表示部５４０はモニタ５４２（表示装置）を備え、内視鏡画像、学習結果、認識結果、処理条件設定画面等を表示する。記録部５５０は図示せぬＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等で構成され、画像取得部５１０が取得したデータ、処理部５６０での学習結果及び／または認識結果等を記録する。また、記録部５５０は内視鏡画像（医用画像）の学習、認識を行うためのプログラム（本発明の画像処理方法を画像処理システム１に実行させるプログラムを含む）を記録する。処理部５６０は、第１のＣＮＮ５６２及び第２のＣＮＮ５６３と、これらＣＮＮの出力（認識結果）と上述した「正解データ」とに基づいて損失（誤差）を算出する誤差算出部５６８とを備える。
＜第１のＣＮＮ及び第２のＣＮＮ＞
第１の実施形態に係る画像処理システム１（画像処理装置５００）は、畳み込みニューラルネットワーク（階層型ネットワーク）である第１のＣＮＮ５６２及び第２のＣＮＮ５６３を備える。後述する第１，第２学習処理が実行された状態において、第１のＣＮＮ５６２は第１学習処理により構築されたネットワークであり、第２のＣＮＮ５６３は第１のＣＮＮ５６２と同一の層構成を有するネットワークに対して第１のＣＮＮ５６２の状態（重みパラメータ等の値）を適用し、その状態で第２学習処理を行って構築されたネットワークである。すなわち、第２のＣＮＮ５６３は第１学習処理後に第２学習処理を行って構築したのと同様のＣＮＮである。
＜ＣＮＮの層構成＞
第１のＣＮＮ５６２及び第２のＣＮＮ５６３の層構成について説明する。以下では主として第１のＣＮＮ５６２について説明するが、第２のＣＮＮ５６３も同様の構成を採用することができる。なお、第１のＣＮＮ５６２の重みパラメータ等（第１学習処理の結果）を第２のＣＮＮ５６３に反映すること（詳細は後述する）を考慮すると、第１のＣＮＮ５６２と第２のＣＮＮ５６３とで層構成（層の種類、数、及び順序、各層におけるノードの数等）を同一にすることが好ましい。
図２は第１のＣＮＮ５６２の層構成の例を示す図である。図２の（ａ）部分に示す例では、第１のＣＮＮ５６２は入力層５６２Ａと、中間層５６２Ｂと、出力層５６２Ｃとを含む。入力層５６２Ａは第１の画像データベース６０１に記憶された通常光画像から選出された画像を入力して特徴量を出力する。中間層５６２Ｂは畳み込み層５６４及びプーリング層５６５を含み、入力層５６２Ａが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、複数の重みパラメータを保持している。重みパラメータの値は、学習が進むにつれて変化していく。第１のＣＮＮ５６２は、図２の（ｂ）部分に示す例のように全結合層５６６を含んでいてもよい。第１のＣＮＮ５６２の層構成は畳み込み層５６４とプーリング層５６５とが１つずつ繰り返される場合に限らず、いずれかの層（例えば、畳み込み層５６４）が複数連続して含まれていてもよい。また、全結合層５６６が複数連続して含まれていてもよい。
＜中間層における処理＞
中間層５６２Ｂは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層５６４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル(１枚)の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされ、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層５６５で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層５６２Ｂは、これらの処理を行う１または複数の層により構成することができる。
図３は、図２に示した第１のＣＮＮ５６２の中間層５６２Ｂの構成例を示す模式図である。中間層５６２Ｂの最初（１番目）の畳み込み層では、学習用（認識時は認識用）の画像セットとフィルタＦ１との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像である。通常光画像を入力する場合、データセットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像である。この画像セットと畳み込み演算されるフィルタＦ１は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎのフィルタになる。このフィルタＦ１を用いた畳み込み演算により、１つのフィルタＦ１に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ２は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。
１番目の畳み込み層と同様に、２番目からｎ番目の畳み込み層ではフィルタＦ２〜Ｆｎを用いた畳み込み演算が行われる。ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層またはプーリング層によりダウンスケーリングされているからである。
中間層５６２Ｂの層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（対象物の形状、構造等に関する特徴の抽出）が行われる（図８の（ａ）部分を参照）。なお、セグメンテーションを行う場合は後半部分の畳み込み層でアップスケーリングされ、最後の畳み込み層では、入力した画像セットと同じサイズの「特徴マップ」が得られる。一方、物体検出を行う場合は位置情報を出力すればよいのでアップスケーリングは必須ではない。第１の実施形態では、これらの点に鑑み「入力側に近い層」と「出力側に近い層」とで学習率を変えて第２の学習処理を行う（図８の（ｂ）部分を参照；詳細は後述）。
なお、中間層５６２Ｂは畳み込み層５６４及びプーリング層５６５の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。
＜出力層における処理＞
出力層５６２Ｃは、中間層５６２Ｂから出力された特徴量に基づき、入力された画像（通常光画像、特殊光画像）に映っている注目領域の位置検出を行ってその結果を出力する層である。セグメンテーションを行う場合、出力層５６２Ｃは、中間層５６２Ｂから得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。すなわち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。一方、物体検出を行う場合は画素レベルでの判断は必要なく、出力層５６２Ｃが対象物の位置情報を出力する。
出力層５６２Ｃは病変に関する鑑別を実行して鑑別結果を出力するものでもよい。例えば、出力層５６２Ｃは内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力してもよいし、３つのスコアから明確に分類できる場合には分類結果を出力してもよい。なお鑑別結果を出力する場合、出力層５６２Ｃが最後の１層または複数の層として全結合層を有することが好ましい（図２の（ｂ）部分を参照）。
＜内視鏡システムの構成＞
図４は、内視鏡システム１０（画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置）の外観図であり、図５は内視鏡システム１０の要部構成を示すブロック図である。図４，５に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡）、プロセッサ２００（プロセッサ、画像処理装置、医療画像処理装置）、光源装置３００、及びモニタ４００（表示装置）から構成される。
＜内視鏡本体の構成＞
内視鏡本体１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０、照明部１２３、鉗子口１２６等が設けられる（図４，図５参照）。
観察、処置の際には、操作部２０８（図５参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ、撮像部）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図４，図５に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮像部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、撮像部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。なお、撮像素子１３４の各画素は紫色光源３１０Ｖに対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。
被検体（腫瘍部、病変部）の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ２００に出力されて映像信号に変換される。これにより、プロセッサ２００に接続されたモニタ４００に観察画像が表示される。
また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
＜光源装置の構成＞
図５に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
光源３１０は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。
＜光源の波長帯域＞
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医用画像（生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。
光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色、紫色等）を照射してロータリカラーフィルタ（緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。
ライトガイドコネクタ１０８（図４参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
＜プロセッサの構成＞
図５に基づきプロセッサ２００の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び上述した画像取得部５１０、第１の画像データベース６０１、第２の画像データベース６０２等、あるいは外部のシステムやネットワークとの通信制御を行う。記録部２０７には、被検体の画像（内視鏡画像、医療画像）、注目領域の検出及び／または分類結果を示す情報等が記録される。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、注目領域の検出及び／または分類の結果に応じたメッセージ（音声）等をスピーカ２０９Ａから出力する。
また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、各種の画像処理方法をＣＰＵ２１０及び／または画像処理部２０４（画像処理装置、コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。
＜画像処理部の機能＞
画像処理部２０４は、特徴量の算出、特定の周波数帯域の成分を強調または低減する処理、特定の対象（注目領域、所望の深さの血管等）を強調または目立たなくする処理等を行うことができる。また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医用画像（医療画像）としての特徴量画像を取得及び表示してもよい。なお、これらの機能による処理はＣＰＵ２１０の制御下で行われる。
＜画像処理システムにおける「素性の異なる画像」の取得＞
上述した構成の画像処理システム１では、１つの内視鏡システム１０で撮影条件や画像処理条件等を変えて「素性の異なる画像」を取得してもよいし、複数の内視鏡システム１０で「素性の異なる画像」を取得してもよい。複数の内視鏡システム１０どうしでシステムの特性や撮影条件等が異なるものが含まれていてもよい。また、画像取得部５１０等が外部のシステムからデータを取得してもよい。
＜各種のプロセッサによる機能の実現＞
上述した画像取得部５１０、制御部５３０、処理部５６０（第１のＣＮＮ５６２、第２のＣＮＮ５６３、誤差算出部５６８）、画像処理部２０４の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。本発明のように画像の学習や認識を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る画像処理方法を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
＜画像処理方法＞
上述した構成の画像処理システム１における画像処理方法について説明する。図６，７は第１の実施形態に係る画像処理方法の手順を示すフローチャートである。なお、ユーザは操作部５２０を介して画像処理の実行指示や実行に必要な条件の指定を行うことができ、表示部５４０はこれら指示の際の画面表示、学習処理及び／または認識処理の過程、結果をモニタ５４２に表示することができる。
＜第１学習処理＞
画像取得部５１０（学習データ取得部）は、第１の画像データベース６０１に記録されている通常光画像（白色光画像）の画像群から選択された第１データセットを取得する（ステップＳ１００：第１学習処理）。第１データセットは、複数のミニバッチにより構成されるデータセットでもよい。この場合、第１のＣＮＮ５６２では、学習を行う際のミニバッチを単位としてデータの分布を正規化する（バッチノーマライゼーション処理）。第１データセットの取得は、操作部５２０を介したユーザの指示入力に応じて行ってもよい。
画像取得部５１０は、取得した第１データセットを第１のＣＮＮ５６２の入力層５６２Ａに入力する（ステップＳ１０２：第１学習処理）。第１のＣＮＮ５６２は、上述した構成の中間層５６２Ｂにおいて、畳み込み演算等により特徴マップを算出する（ステップＳ１０２：第１学習処理）。出力層５６２Ｃは、中間層５６２Ｂから得られる「特徴マップ」により、内視鏡画像の各画素が注目領域に属するか否かを検出し、その検出結果（上述したように、鑑別結果でもよい）を出力する（ステップＳ１０２：第１学習処理）。誤差算出部５６８は、出力層５６２Ｃが出力する結果と第１データセットに対する正解とを比較して損失（誤差）を計算し、損失が小さくなるように、中間層５６２Ｂにおける重みパラメータを出力側の層から入力側の層に向けて更新していく（ステップＳ１０２：第１学習処理、誤差逆伝搬）。
制御部５３０及び第１のＣＮＮ５６２は、ステップＳ１０３の判断が肯定されるまで上述した第１学習処理をくり返す。判断が否定されたらステップＳ１００に戻る。ステップＳ１０３の判断は、例えばデータセットの学習を指定された繰り返し回数終了した場合や誤差が収束した場合に肯定することができる。なお、画像取得部５１０、第１のＣＮＮ５６２、誤差算出部５６８による第１学習処理は、制御部５３０（学習制御部）の制御の下で行われる。
第１データセットと第２データセットとで画像の数に差がある場合、第１学習処理では、第２データセットより多くの数の画像により構成されるデータセットを第１データセットとして学習を行うことが好ましい。例えば白色光画像を用いた学習とＢＬＩ画像等の短波長狭帯域光画像を用いた学習とを行う場合、白色光画像と同程度の数の短波長狭帯域光画像を準備できない可能性があるが、この場合短波長狭帯域光画像により構成されるデータセット（第２データセット）より多くの数の白色光画像により構成されるデータセットを第１データセットとして第１学習処理を行い、この第１学習処理の実行後に少ない数の画像（短波長狭帯域光画像）で構成される第２データセットを用いて第２学習処理を行うことが好ましい。このような学習により、画像数の多い第１データセットを用いた第１学習処理により十分に学習された状態で第２学習処理を行うことができ、画像の数が少ない第２データセットについても効率的に学習することができる。
＜第２学習処理＞
＜第２のＣＮＮの構築＞
制御部５３０は、第２のＣＮＮ５６３に第１のＣＮＮ５６２の重みパラメータ（上述した第１学習処理の結果）を反映して、第２のＣＮＮ５６３を構築する（ステップＳ１０４：第２学習処理、ＣＮＮ構築処理）。これにより、第２のＣＮＮ５６３は第１学習処理がなされた状態になる。
＜学習率の設定＞
制御部５３０及び第２のＣＮＮ５６３は、第２のＣＮＮ５６３の各層での学習率を設定する（ステップＳ１０６：第２学習処理）。この際、第２のＣＮＮ５６３の入力側に近い層は学習率を大きく、出力側に近い層は学習率を小さくする（図８の（ｂ）部分を参照）。階層型ネットワークを用いた学習及び認識では、入力に近い層は認識に必要となる特徴を抽出する特徴抽出器として機能し、出力に近い層は抽出した特徴を組み合わせて認識を行っていることが経験的に知られている。したがって、第１の実施形態のように、第２学習処理の際に第２のＣＮＮ５６３の入力側に近い層での学習率を出力側に近い層の学習率に対し大きく設定して学習を行うことは、素性の異なるデータセットに対して主に特徴抽出部分を再学習（調整）することに相当する。これによりデータセット間の差違を吸収することができ、単純に転移学習を行う（第１データセットについて学習を行った状態で、学習率を調整せずに第２データセットについて学習を行う）よりも効率的な学習が可能となる。
第１の実施形態では第１データセットが白色光画像、第２データセットがＢＬＩ画像であり、これら画像は全体としての色味は大きく異なるが検出対象（注目領域）の特性には共通点がある（周囲より隆起している、周囲と色相が異なる等）。よって白色光画像で学習した第１のＣＮＮ５６２（階層型ネットワーク）の特徴抽出部のみＢＬＩ画像用に調整すれば（第２学習処理における学習率の設定）、特徴抽出部以降の層における特徴の組み合わせ方は同じものが利用できる。第１の実施形態では、このように白色光画像で学習した学習済みモデルを利用することで、ＢＬＩ画像のように少ないデータの場合でも高い認識精度が得られる。
＜学習率の設定例＞
以下、第２のＣＮＮ５６３における学習率の設定例について説明する。
（例１）データサイズによる設定
図９は、各層に入力するデータのサイズに基づいて、第２のＣＮＮ５６３を「入力側に近い層」と「出力側に近い層」に分ける様子を示す概念図である。図９は、第２のＣＮＮ５６３（階層型ネットワーク）に入力する際の画像のサイズを第１サイズとし、第１サイズより小さいサイズを第２サイズとした場合に、第２のＣＮＮ５６３を構成する層のうち第２サイズよりも大きいサイズのデータが入力される層（領域５６３Ｌに含まれる層）を「入力側に近い層」とし、第２サイズ以下のサイズのデータが入力される層を出力側に近い層（領域５６３Ｓに含まれる層）とする様子を示している。図中の曲線は、中間層５６３Ｂでの畳み込み処理によりデータサイズが変化していく様子を示している。
制御部５３０及び第２のＣＮＮ５６３は、領域５６３Ｌに含まれる層での学習率を領域５６３Ｓに含まれる層での学習率に対し大きく設定する。なお、第１のＣＮＮ５６２及び第２のＣＮＮ５６３がセグメンテーションを行うＣＮＮである場合は、上述のように中間層５６２Ｂ，５６３Ｂの後半部分（出力側）の畳み込み層でアップスケーリングされデータサイズが大きくなるが、アップスケーリングによりデータサイズが再度第２サイズを超える領域５６３Ｅに含まれる層では学習率を大きくしなくてよい。なお、第１のＣＮＮ５６２及び第２のＣＮＮ５６３が物体検出を行う場合は、上述のアップスケーリングは必須ではない。
（例２）全結合層の有無による設定
図１０は、入力層５６３Ａ、中間層５６３Ｂ、及び出力層５６３Ｃにより構成される第２のＣＮＮ５６３を「全結合層を含むか否か」に基づいて「入力側に近い層」と「出力側に近い層」に分ける様子を示す図である。図１０の（ａ）部分は、全結合層５６６以外の層を全て「入力側に近い層」（領域５６３Ｌ）とし、全結合層５６６のみを「出力側に近い層」（領域５６３Ｓ）とする様子を示している。一方、図１０の（ｂ）部分は、全結合層５６６に加えて畳み込み層５６４、プーリング層５６５を含む層を「出力側に近い層」（領域５６３Ｓ）とし、残りの層を「入力側に近い層」（領域５６３Ｌ）とする様子を示している。制御部５３０及び第２のＣＮＮ５６３は、領域５６３Ｌに含まれる層での学習率を領域５６３Ｓに含まれる層での学習率に対し大きく設定する。
（例３）畳み込み層の有無による設定
図１１は、第２のＣＮＮ５６３を「畳み込み層を含むか否か」に基づいて「入力側に近い層」と「出力側に近い層」に分ける様子を示す図である。畳み込み層を含む層を「入力側に近い層」（領域５６３Ｌ）とし、全結合層５６６のみを「出力側に近い層」（領域５６３Ｓ）とする（図１１に示す層構成の場合、結果として図１０の（ａ）部分に示す例と同一の分け方になる）。制御部５３０及び第２のＣＮＮ５６３は、領域５６３Ｌに含まれる層での学習率を領域５６３Ｓに含まれる層での学習率に対し大きく設定する。
学習率の設定において、出力側に近い層の学習率をゼロにする（固定する）ことができる。学習率は各層に固定値を設定してもよいし、出力側の層から入力側の層にかけて連続的に大きくなるように設定してもよい。また、エポック（学習の繰り返し回数が何度目であるか）に応じて学習率を設定する際に、特定のタイミングのみ上述のような大小関係となるように学習率を設定してもよい（例えば、学習の初期段階では入力側に近い層の学習率を大きく設定して、あるエポック以降は全て同一の学習率に設定する）。
なお、本発明における学習率設定の際の層の分け方は上述した例１〜例３の態様に限定されるものではない。また、制御部５３０及び第２のＣＮＮ５６３は、複数の分け方のうちからユーザの指示入力に基づいて決定した層の分け方を用いて学習率を設定してもよい。
＜第２データセットの取得及び学習＞
ステップＳ１０６で学習率を設定したら、上述した第１学習処理と同様の手順で第２学習処理を実行する。ステップＳ１０４で第２のＣＮＮ５６３が構築され第１学習処理がなされた状態になっているので、以下の処理により「第１学習処理の実行後に第２学習処理を実行する」ことになる。
画像取得部５１０は、第２の画像データベース６０２に記録されている短波長狭帯域光画像（ＢＬＩ画像、ＢＬＩ（Blue Laser Imaging）は登録商標）の画像群（第２画像群）から選択された第２データセット（第１画像群とは素性が異なる第２画像群から選択されたデータセットである）を取得し（ステップＳ１０８：第２学習処理）、取得した第２データセットを第２のＣＮＮ５６３に入力して学習させる（ステップＳ１１０：第２学習処理）。第２学習処理においても、第１学習処理と同様に第２データセットを複数のミニバッチにより構成されるデータセットとすることができる。第２のＣＮＮ５６３では第１のＣＮＮ５６２と同様に畳み込み演算による特徴マップの算出が行われ、注目領域の検出結果（鑑別結果でもよい）が出力される。第２のＣＮＮ５６３及び誤差算出部５６８は誤差逆伝搬処理を実行してもよい。制御部５３０及び第２のＣＮＮ５６３は、ステップＳ１１２の判断が肯定されるまで第２学習処理をくり返し、判断が否定されたらステップＳ１０８に戻る。ステップＳ１１２の判断は、例えばデータセットの学習を指定された繰り返し回数終了した場合や誤差が収束した場合に肯定することができる。
第１の実施形態によれば、上述した第１，第２学習処理により素性の異なる画像を効率的に学習することができる。また、第１の実施形態のように第１画像群（第１データセット）が白色光画像で第２画像群（第２データセット）が短波長狭帯域光画像（ＢＬＩ画像）である場合第２画像群を十分な量用意できない可能性があるが、上述した第１，第２学習処理によりデータ量の少ない第２画像群（第２データセット）についても効率的に学習することができる。
＜認識処理＞
第１の実施形態に係る画像処理システム１では、上述した第１，第２学習処理により構築されたＣＮＮによる認識処理を行うことができる。認識処理においては、第１の学習処理が実行された状態の第１のＣＮＮ５６２が第１学習済みモデル（第１認識器）となり入力されるデータセットの認識結果（例えば、注目領域の検出結果や鑑別結果）を出力する。同様に、第１，第２の学習処理が実行された状態の第２のＣＮＮ５６３が第２学習済みモデル（第２認識器）となり、入力されるデータセットの認識結果を出力する。以下、認識処理の手順を説明する。
＜データセット取得処理＞
画像取得部５１０（データセット取得部）は、制御部５３０の制御により、画像で構成される認識用データセットを取得する（ステップＳ１１４：認識処理、データセット取得処理）。認識用データセットは第１の画像データベース６０１あるいは第２の画像データベース６０２に記録されている画像（白色光画像、ＢＬＩ画像）で構成されていてもよいし、画像取得部５１０が内視鏡システム１０や他のシステムから取得した画像で構成されていてもよい。画像取得部５１０は、「いずれのデータベース、装置、システムから認識用データセットを取得するか」を、操作部５２０を介したユーザの指示入力に基づいて決定してもよい。
＜素性取得処理＞
画像取得部５１０（素性取得部）は、制御部５３０の制御により、ステップＳ１１４で取得したデータセットの素性を取得する（ステップＳ１１６：認識処理、素性取得処理）。「素性」は、具体的には例えば「データセットが、内視鏡システム１０で取得され第１の画像データベース６０１に記録されている通常光画像（白色光画像）により構成される」という情報である。このような情報に加えて、またはこれに代えて撮像デバイスの識別情報、光源の情報、画像処理の内容、撮像部位、被検体の属性等の情報を含んでいてもよい。素性の情報は第１の画像データベース６０１あるいは第２の画像データベース６０２に記録されているものを取得してよいし、画像取得部５１０が内視鏡システム１０や他のシステムから取得してもよい。例えば、操作部５２０を介してユーザが入力する、機器の設定情報から取得する（光源モードや画像処理パラメータの場合）、画像から素性を認識する認識器（例えば、画像から被検体の部位を認識する認識器）の出力結果を利用する、診断時に入力される患者情報（被検体の年齢、性別等の素性の場合）を利用する、等の態様が可能である。
＜入力制御処理＞
制御部５３０（入力制御部）は、ステップＳ１１６で取得した素性に応じて、第１認識器（第１のＣＮＮ５６２）と第２認識器（第２のＣＮＮ５６３）の少なくとも一方にデータセットを入力する（図７のステップＳ１１８，Ｓ１２０，Ｓ１２４：認識処理、入力制御処理）。具体的には、制御部５３０は「取得したデータセットの素性が、第２学習処理に用いた第２データセットの素性よりも第１学習処理に用いた第１データセットの素性に近いか否か」を判断する（ステップＳ１１８：認識処理、入力制御処理）。「取得したデータセットの素性が第１学習処理に用いた第１データセットの素性に近い」場合（上述した例では、認識用データセットが白色光画像により構成される場合）はステップＳ１１８の判断が肯定され、制御部５３０は第１認識器（第１のＣＮＮ５６２）にデータセットを入力する（ステップＳ１２０：認識処理、入力制御処理）。ステップＳ１１８の判断が否定された場合は、制御部５３０は第２認識器（第２のＣＮＮ５６３）にデータセットを入力する（ステップＳ１２４：認識処理、入力制御処理）。
なお、認識処理時のデータセットの素性が学習処理時のデータセットの素性と全く同一である必要はない。例えば、上述のように白色光画像、短波長狭帯域光画像（ＢＬＩ画像）をそれぞれ第１，第２データセットとして第１，第２学習処理を行った場合において、認識用データセットがＬＣＩ画像（ＬＣＩ：Linked Color Imaging、登録商標）により構成される場合は第１認識器に入力することができ、また認識用データセットがＢＬＩ−ｂｒｔ画像（ＢＬＩ−ｂｒｉｇｈｔ画像）により構成される場合は第２認識器に入力することができる。このような入力ができるのは、ＬＣＩ画像やＢＬＩ−ｂｒｔ画像はそれぞれ白色光画像、ＢＬＩ画像に色特性が近いため、上述のような制御則で認識精度の向上が期待できるからである。
＜認識結果の出力＞
データセットが入力された第１認識器または第２認識器は、認識結果を出力する（ステップＳ１２２、ステップＳ１２６：認識処理、出力処理）。認識結果は、例えば注目領域の検出結果や鑑別結果をモニタ５４２に表示することにより、及び／または記録部５５０に記録することにより出力される。出力の内容は認識器の構成（注目領域の検出、鑑別、その他）により異なる。認識結果を出力すると、制御部５３０は認識処理が終了したか否かを判断し（ステップＳ１２８：認識処理）、判断が肯定されるまでステップＳ１１４からＳ１２６の処理をくり返す。ステップＳ１２８の判断が肯定されたら認識処理を終了する。
なお、図７のフローチャートでは入力制御処理において第１，第２認識器の一方にデータセットを入力する場合について説明したが、「制御部５３０が両方の認識器にデータセットを入力し、一方の認識器（認識用データセットの素性が学習処理に用いたデータセットの素性に近い方の認識器）についての認識結果を出力する」態様を採用してもよい。この場合、制御部５３０は例えば白色光画像から構成される認識用データセットを第１，第２の認識器に入力し、第１認識器についての認識結果を出力（表示）させる。
以上説明したように、第１の実施形態に係る画像処理システム１によれば、第１，第２学習処理により素性の異なる画像を効率的に学習することができ、また構築された認識器によりデータセットの素性に応じて高精度に画像を認識することができる。
＜その他＞
上述した第１の実施形態では、画像処理装置５００で学習及び認識を行う場合について説明したが、画像処理装置５００の構成を内視鏡システム１０（例えばプロセッサ２００の画像処理部２０４）に含めてもよい。また、第１の画像データベース６０１、第２の画像データベース６０２をプロセッサ２００の記録部２０７に含めてもよい。また、第１の実施形態では通常光画像（白色光画像）及び短波長狭帯域光画像（ＢＬＩ画像）を用いた学習及び認識について説明したが、通常光画像と他の狭帯域光画像（例えば、ＬＣＩ画像等の長波長狭帯域光画像）を用いて学習及び認識を行ってもよい。また、素性の異なる複数の通常光画像、あるいは素性が異なる複数の狭帯域光画像を用いて学習及び認識を行ってもよい。複数の狭帯域光画像を用いる場合、狭帯域光の組み合わせとしては複数の青色狭帯域光、青色狭帯域光と紫色狭帯域光、複数の赤色狭帯域光等を用いることができる。
また、上述した第１の実施形態では医療画像（医用画像）の一態様である内視鏡画像を用いて学習及び認識を行う場合について説明したが、本発明に係る画像処理装置及び画像処理方法はＣＴ装置（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波画像診断装置等、内視鏡画像以外の医療画像を用いる場合にも適用することができる。
さらに、本発明に係る画像処理装置及び画像処理方法は医用画像以外の画像（例えば、人物、動物、風景、建築物、工業用製品等他の画像）を用いる場合にも適用することができる。例えば、撮像デバイスや観察光（可視光と赤外光等）、露出条件、画像処理パラメータ等（これらは「素性」の一例である）が異なる画像を用いて建築物の損傷画像（ひび割れ、剥離、浮き等の損傷を撮影した画像）の学習及び認識を行うことができる。
以上で本発明の実施形態及び他の例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１ 画像処理システム
１０ 内視鏡システム
１００ 内視鏡本体
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮影光学系
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ ＡＦＥ
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮影ボタン
１７０ ライトガイド
２００ プロセッサ
２０２ 画像入力コントローラ
２０４ 画像処理部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記録部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３１０Ｖ 紫色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５００ 画像処理装置
５１０ 画像取得部
５２０ 操作部
５３０ 制御部
５４０ 表示部
５４２ モニタ
５５０ 記録部
５６０ 処理部
５６２ 第１のＣＮＮ
５６２Ａ 入力層
５６２Ｂ 中間層
５６２Ｃ 出力層
５６３ 第２のＣＮＮ
５６３Ａ 入力層
５６３Ｂ 中間層
５６３Ｃ 出力層
５６３Ｅ 領域
５６３Ｌ 領域
５６３Ｓ 領域
５６４ 畳み込み層
５６５ プーリング層
５６６ 全結合層
５６８ 誤差算出部
６０１ 第１の画像データベース
６０２ 第２の画像データベース
Ｆ１ フィルタ
Ｆ２ フィルタ
Ｆｎ フィルタ
Ｓ１００〜Ｓ１２８ 画像処理方法の各ステップ
上述した目的を達成するため、本発明の第１４の態様に係る画像処理装置は第１画像群から選択された第１データセット及び第１画像群とは素性が異なる第２画像群から選択された第２データセットを取得する学習データ取得部と、第１データセットまたは第２データセットを受け付けて特徴量を出力する階層型ネットワークと、第１データセットまたは第２データセットを階層型ネットワークに入力して学習させる学習制御部と、を備え、学習制御部は、第１データセットを階層型ネットワークに入力して学習させる第１学習処理を実行し、第１学習処理の実行後に、第２データセットを階層型ネットワークに入力して学習させる第２学習処理であって、階層型ネットワークの入力側に近い層での学習率を出力側に近い層の学習率に対し大きく設定して学習させる第２学習処理を実行する。第１４の態様によれば、第１の態様と同様に素性の異なる画像を効率的に学習することができる。
＜データ取得条件によるデータ数の違い＞
内視鏡を用いた観察や検査を行う場合、ユーザは通常光（白色光）を観察光として取得された画像をモニタに表示させて確認するケースが多い。観察や検査の目的、状況（例えば、通常光では病変の構造が観察しづらい）により狭帯域光等の特殊光を観察光として画像を取得するケースもあるが、通常光と比較すると観察光としての使用頻度が低く、そのため特殊光画像は通常光画像よりも著しく数が少ない場合が多い。機械学習により画像の学習及び／または認識を行う場合、特殊光画像についても学習及び／または認識を行う必要があるが、データ数が少ないと通常光画像と比較して学習及び／または認識の精度が低下するおそれがある。このような状況に鑑み、第１の実施形態では後述する学習処理により素性が異なるデータを効率的に学習及び／または認識できるようにしている。
＜画像処理装置の構成＞
画像取得部５１０は、外部サーバ、データベース等とネットワークを介して通信する装置等により構成され、学習や認識に用いる内視鏡画像及び／または正解データを第１の画像データベース６０１、第２の画像データベース６０２から取得する。画像取得部５１０は、図示せぬネットワークで画像処理システム１と接続された内視鏡システム、病院内サーバ等からも内視鏡画像を取得することができる。操作部５２０は図示せぬキーボード、マウス等の入力デバイスを備え、ユーザはこれらデバイスを介して画像取得、学習や認識等の処理に必要な操作を行うことができる。制御部５３０は記録部５５０に記録された各種プログラムを読み込み、操作部５２０から入力される指令にしたがって、画像処理システム１全体の動作を制御する。また制御部５３０は、後述する誤差算出部５６８が算出した誤差（損失）を第１のＣＮＮ５６２及び／または第２のＣＮＮ５６３（ＣＮＮ：Convolutional Neural Network、畳み込みニューラルネットワーク）に逆伝搬することにより、これらＣＮＮの重みパラメータを更新する。
出力層５６２Ｃは病変に関する鑑別を実行して鑑別結果を出力するものでもよい。例えば、出力層５６２Ｃは内視鏡画像を「腫瘍性」、「非腫瘍性」、「その他」の３つのカテゴリに分類し、鑑別結果として「腫瘍性」、「非腫瘍性」及び「その他」に対応する３つのスコア（３つのスコアの合計は１００％）として出力してもよいし、３つのスコアから明確に分類できる場合には分類結果を出力してもよい。なお鑑別結果を出力する場合、中間層５６２Ｂが最後の１層または複数の層として全結合層を有することが好ましい（図２の（ｂ）部分を参照）。
上述した特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
また、光源３１０が発生する光の波長帯域は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
また、上述した第１の実施形態では医療画像（医用画像）の一態様である内視鏡画像を用いて学習及び認識を行う場合について説明したが、本発明に係る画像処理装置及び画像処理方法はＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像、超音波画像等、内視鏡画像以外の医療画像を用いる場合にも適用することができる。

Claims (16)

  1. 画像を受け付けて前記画像の特徴量を出力する階層型ネットワークを備える画像処理装置の画像処理方法であって、
    第１画像群から選択された第１データセットを前記階層型ネットワークに入力して学習させる第１学習処理を実行し、
    前記第１学習処理の実行後に、前記第１画像群とは素性が異なる第２画像群から選択された第２データセットを前記階層型ネットワークに入力して学習させる第２学習処理であって、前記階層型ネットワークの入力側に近い層での学習率を出力側に近い層の学習率に対し大きく設定して学習を行う第２学習処理を実行する、
    画像処理方法。
  2. 前記第１学習処理と前記第２学習処理とでは撮像デバイスが異なる画像により構成されるデータセットを入力する請求項１に記載の画像処理方法。
  3. 前記第１学習処理と前記第２学習処理とでは異なる画像処理が施された画像により構成されるデータセットを入力する請求項１または２に記載の画像処理方法。
  4. 前記第１学習処理と前記第２学習処理とでは被検体の異なる部位を撮像して得られた画像により構成されるデータセットを入力する請求項１から３のいずれか１項に記載の画像処理方法。
  5. 前記第１学習処理と前記第２学習処理とでは被検体の属性が異なる画像により構成されるデータセットを入力する請求項１から４のいずれか１項に記載の画像処理方法。
  6. 前記第１学習処理及び前記第２学習処理では医療画像により構成されるデータセットを入力する請求項１から５のいずれか１項に記載の画像処理方法。
  7. 前記第１学習処理及び前記第２学習処理では観察光の波長バランスが異なる内視鏡画像により構成されるデータセットを入力する請求項６に記載の画像処理方法。
  8. 前記階層型ネットワークは畳み込みニューラルネットワークである請求項１から７のいずれか１項に記載の画像処理方法。
  9. 前記階層型ネットワークに入力する際の画像のサイズを第１サイズとし、前記第１サイズより小さいサイズを第２サイズとした場合に、
    前記第２学習処理では、前記階層型ネットワークを構成する層のうち前記第２サイズよりも大きいサイズのデータが入力される層を前記入力側に近い層とし、前記階層型ネットワークを構成する層のうち前記第２サイズ以下のサイズのデータが入力される層を前記出力側に近い層として、前記入力側に近い層での前記学習率を前記出力側に近い層での前記学習率に対し大きく設定して学習を行う請求項１から８のいずれか１項に記載の画像処理方法。
  10. 前記階層型ネットワークは畳み込み層と全結合層とを有し、
    前記第２学習処理では、前記階層型ネットワークを構成する層のうち前記全結合層を含まない層を前記入力側に近い層とし、前記階層型ネットワークを構成する層のうち前記全結合層を含む層を前記出力側に近い層として、前記入力側に近い層での前記学習率を前記出力側に近い層での前記学習率に対し大きく設定して学習を行う請求項１から９のいずれか１項に記載の画像処理方法。
  11. 前記階層型ネットワークは畳み込み層と全結合層とを有し、
    前記第２学習処理では、前記階層型ネットワークを構成する層のうち前記畳み込み層を含む層を前記入力側に近い層とし、前記階層型ネットワークを構成する層のうち前記畳み込み層を含まない層を前記出力側に近い層として、前記入力側に近い層での前記学習率を前記出力側に近い層での前記学習率に対し大きく設定して学習を行う請求項１から１０のいずれか１項に記載の画像処理方法。
  12. 前記第１学習処理では、前記第２データセットより多くの数の画像により構成されるデータセットを前記第１データセットとして前記学習を行う請求項１から１１のいずれか１項に記載の画像処理方法。
  13. 画像で構成されるデータセットを取得するデータセット取得処理と、
    前記画像の素性を取得する素性取得処理と、
    前記第１学習処理により得られる第１学習済みモデルを有し、入力されるデータセットの認識結果を出力する第１認識器と、前記第１学習処理及び前記第２学習処理により得られる第２学習済みモデルを有し、入力されるデータセットの認識結果を出力する第２認識器と、のうち少なくとも一方に、前記素性に応じて前記取得した前記データセットを入力する入力制御処理と、
    を行う請求項１から１２のいずれか１項に記載の画像処理方法。
  14. 第１画像群から選択された第１データセット及び前記第１画像群とは素性が異なる第２画像群から選択された第２データセットを取得する学習データ取得部と、
    前記第１データセットまたは前記第２データセットを受け付けて特徴量を出力する階層型ネットワークと、
    前記第１データセットまたは前記第２データセットを前記階層型ネットワークに入力して学習させる学習制御部と、
    を備え、
    前記学習制御部は、前記第１データセットを前記階層型ネットワークに入力して学習させる第１学習処理を実行し、前記第１学習処理の実行後に、前記第２データセットを前記階層型ネットワークに入力して学習させる第２学習処理であって、前記階層型ネットワークの入力側に近い層での学習率を出力側に近い層の学習率に対し大きく設定して学習させる第２学習処理を実行する画像処理装置。
  15. 前記第１学習処理では、前記第２データセットより多くの数の画像により構成されるデータセットを前記第１データセットとして前記学習を行う請求項１４に記載の画像処理装置。
  16. 画像で構成されるデータセットを取得するデータセット取得部と、
    前記データセットの素性を取得する素性取得部と、
    前記第１学習処理により得られる第１学習済みモデルを有し、入力されるデータセットの認識結果を出力する第１認識器と、
    前記第１学習処理及び前記第２学習処理により得られる第２学習済みモデルを有し、入力されるデータセットの認識結果を出力する第２認識器と、
    前記第１認識器と、前記第２認識器と、のうち少なくとも一方に、前記素性に応じて前記取得した前記データセットを入力する入力制御部と、
    を備える請求項１４または１５に記載の画像処理装置。
JP2020535717A 2018-08-08 2019-08-01 画像処理方法及び画像処理装置 Active JP7062068B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018149388 2018-08-08
JP2018149388 2018-08-08
PCT/JP2019/030255 WO2020031851A1 (ja) 2018-08-08 2019-08-01 画像処理方法及び画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2020031851A1 true JPWO2020031851A1 (ja) 2021-08-12
JP7062068B2 JP7062068B2 (ja) 2022-05-02

Family

ID=69413670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020535717A Active JP7062068B2 (ja) 2018-08-08 2019-08-01 画像処理方法及び画像処理装置

Country Status (3)

Country Link
US (1) US11948080B2 (ja)
JP (1) JP7062068B2 (ja)
WO (1) WO2020031851A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020156903A (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
WO2021156974A1 (ja) * 2020-02-05 2021-08-12 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、表示制御装置及び内視鏡装置
JP7274071B2 (ja) * 2021-03-29 2023-05-15 三菱電機株式会社 学習装置
WO2022249572A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像処理装置、画像処理方法及び記録媒体
WO2023084900A1 (ja) * 2021-11-10 2023-05-19 富士フイルム株式会社 学習方法、学習装置、学習プログラム、及び画像処理装置
JP2023172341A (ja) 2022-05-23 2023-12-06 日本電子株式会社 マスイメージ処理装置及び方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042107A (ja) * 2000-07-31 2002-02-08 Fuji Electric Co Ltd ニューラルネットワークの学習方法
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6620439B2 (ja) 2015-07-01 2019-12-18 株式会社リコー 学習方法、プログラム及び学習装置
EP3433816A1 (en) * 2016-03-22 2019-01-30 URU, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
US10753881B2 (en) * 2016-05-27 2020-08-25 Purdue Research Foundation Methods and systems for crack detection
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
JP7276150B2 (ja) * 2017-06-21 2023-05-18 ソニーグループ株式会社 医用イメージングシステム、方法およびコンピュータプログラム製品
US11093793B2 (en) * 2017-08-29 2021-08-17 Vintra, Inc. Systems and methods for a tailored neural network detector
US10579897B2 (en) * 2017-10-02 2020-03-03 Xnor.ai Inc. Image based object detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042107A (ja) * 2000-07-31 2002-02-08 Fuji Electric Co Ltd ニューラルネットワークの学習方法
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム

Also Published As

Publication number Publication date
US11948080B2 (en) 2024-04-02
US20210150277A1 (en) 2021-05-20
WO2020031851A1 (ja) 2020-02-13
JP7062068B2 (ja) 2022-05-02

Similar Documents

Publication Publication Date Title
JP7062068B2 (ja) 画像処理方法及び画像処理装置
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
US20210235980A1 (en) Medical-use image processing device, endoscope system, and medical-use image processing method
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP7048732B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7289296B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
JPWO2020012872A1 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
US11398033B2 (en) Diagnosis support system, endoscope system, processor, and diagnosis support method
JP2022000163A (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2020170809A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
WO2021149552A1 (ja) 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
US20220285010A1 (en) Medical image processing apparatus, medical image processing method, and program
US20230157768A1 (en) Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2022228396A1 (zh) 内窥镜多光谱图像处理系统及处理和训练方法
WO2021157487A1 (ja) 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2021153471A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム
WO2021029293A1 (ja) 医用画像処理装置、内視鏡システム、及び医用画像処理方法
US20230077690A1 (en) Image processing device, image processing method, and program
WO2022064901A1 (ja) 学習済みモデル変換方法、推論方法、学習済みモデル変換装置、学習済みモデル、及び推論装置
WO2022181748A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
US20230206445A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220419

R150 Certificate of patent or registration of utility model

Ref document number: 7062068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150