JP7087390B2 - 診断支援装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、疾患領域の診断を支援するための診断支援装置、画像処理方法及びプログラムに関する。

近年、高齢化やオゾン層破壊によってメラノーマ（悪性黒色腫）などの皮膚疾患の増加が問題となっている。肉眼や通常のルーペを用いて観察を行っても、メラノーマと良性の色素細胞母斑（ほくろ）や血豆などとの鑑別は困難であり、メラノーマの早期発見及び早期治療を行うことが難しかった。

そこで、このような診断には、皮膚が部分的に透光性であることを利用することで、皮膚内部の色素分布や色合いを観察できるダーモスコープが活用されている。ダーモスコープは、発光ダイオードなどにより標的部に光を照射するとともに、皮膚内部を覆う皮膚表面からの反射光を低減し、かつ、標的部を１０倍から３０倍に拡大して観察することで、非侵襲的に皮膚内部の炎症、色、色素沈着、毛嚢及び血管などを視覚化するものである。最近では、さらに進んで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われているが、画像の観察による症例の識別は医師のスキルに依存しているのが現状である。

この診断を支援する手段として、皮膚疾患などの患部を撮影し、機械学習を用いて画像処理して画像分類する技術がある。その際、患部のサイズを明確にするため目盛り等を一緒に撮影する場合が多いが、その場合、目盛り等が画像処理に影響を与えてしまうことから、疾患領域である前景画像をクロップし、リサイズして画像分類する技術が提案されている（例えば、非特許文献１参照）。

しかしながら、非特許文献１に記載された技術によれば、元画像のサイズを変えるため、医師が目視による所見を得るときに、精度の高い診断がしにくいという課題があった。なお、上記では、メラノーマなどの皮膚疾患について背景技術を説明したが、本発明は、皮膚疾患に限られることなく、例えば、眼底検査、口腔内検査、開腹手術などにおける疾患領域の診断の支援にも適用できるものである。

Deep Learning Ensembles for Melanoma Recognition in Dermoscopy Images; by N. C. F. Codella, Q. B. Nguyen, S. Pankanti, D. Gutman, B. Helba, A. Halpern, J. R. Smith (Cornel University Library; Submitted on 14 Oct 2016 (v1), last revised 18 Oct 2016 (this version, v2))

本発明は上記した課題を解決するためになされたものであり、元画像を原寸のまま画像処理可能であって、機械学習を用いて疾患領域の診断を支援する診断支援装置、画像処理方法及びプログラムを提供することを目的とする。

上記した課題を解決するために本発明の一態様は、疾患領域の診断を支援する診断支援装置の画像処理方法であって、前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像に、新たな背景画像として無地の画像を合成した背景埋め込み画像を生成する画像生成処理（Ａ）と、前記画像生成処理（Ａ）で生成された前記背景埋め込み画像を用いた学習により特徴を抽出する識別器生成処理（Ｂ）と、前記識別器生成処理（Ｂ）で抽出された特徴を用いて未知の画像である予測対象画像について推論する識別器推論処理（Ｃ）と、を含むことを特徴とする。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。

本発明によれば、元画像を原寸のまま画像処理可能であって、機械学習を用いて疾患領域の診断を支援する診断支援装置、画像処理方法及びプログラムを提供することができる。

本発明の実施形態に係る診断支援装置の構成を示すブロック図である。 図１の識別器の動作概念図である。 本発明の実施形態に係る診断支援装置の基本動作を示すフローチャートである。 図３の画像生成処理の詳細手順を示すフローチャートである。 図３の識別器生成処理の詳細手順を示すフローチャートである。 図３の識別器推論処理の詳細手順を示すフローチャートである。 図４に対応して画像の生成を示す手順図である。 図５に対応して学習時の画像増量の例を示す図である。 図６に対応する推論時の画像増量の例を示す図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。

（実施形態の構成）
本実施形態は、以下に詳述するように、疾患として皮膚疾患を例に取り、ダーモスコピー画像の機械学習において、疾患領域を撮影した元画像と、元画像を前景部(疾患部)と背景部(非疾患部)に分離して前景画像マップを抽出し、背景部として無地のパターンを埋め込んで得られる背景埋め込み画像（詳しくは後述）を用いて、画像増量を行うものである。本実施形態では、増量画像を、学習時、推論時のどちらにおいても利用する。これにより、学習時においては、背景部が分類の本質ではないことの学習が可能となり、推論時には背景部の影響を取り除いた精度の高い推論が可能となる。

まず、本実施形態に係る診断支援装置１００の構成を説明する。図１に示すように、本実施形態に係る診断支援装置１００には、ダーモスコープ付き撮影装置（取得部）１１０が接続されている。ダーモスコープ付き撮影装置１１０は、診断支援装置１００（処理部１０）からの指示により撮影を行ない、撮影画像（ダーモスコピー画像）を元画像として画像記憶部１０２に格納するとともに表示装置１２０上に表示する。入力装置１３０は、ダーモスコピー画像の撮影開始指示、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置１２０、例えば、ＬＣＤ（Liquid Crystal Display）モニタにより構成され、入力装置１３０は、マウス等により構成されている。

画像データベース１０３は、処理部１０により、既知の画像データとして、疾患領域を撮影した元画像と、元画像に基づいて生成された背景埋め込み画像とが、学習用に付された疾患の識別名称と関連付けて記録されるデータベースである。背景埋め込み画像の生成の手順については、後述する。

処理部１０は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を有し、学習用の元画像と背景埋め込み画像を畳み込みニューラルネットワークに入力することにより予め学習に付され、診断されるべき疾患の識別が可能なように分類情報を生成する識別器として機能する。識別器は、診断されるべき疾患について、未知の画像データ（予測対象画像）として、元画像と背景埋め込み画像を多チャンネル化により統合した第３の画像データを学習済みの畳み込みニューラルネットワークへ入力することにより学習処理を経て診断すべき疾患を識別する。なお、識別器は、例えば診断支援装置１００が製造工場から出荷される前に製造段階で予め学習に付されていてもよいし、出荷された後に病院側などで予め学習に付されることとしてもよい。ここで、「予め」とは、診断されるべき疾患を識別するよりも前にという意味である。

このため、処理部１０は、処理部１０がコンピュータにて実行するプログラムの機能をブロック展開して示したように、前処理部１１と、特徴抽出部１２と、識別部１３とを含む。前処理部１１は、元画像から背景埋め込み画像を生成する機能や、元画像と背景埋め込み画像とを学習用に付された疾患の識別名称と関連付けて画像データベース１０３に記録する機能を持つ。また、前処理部１１は、元画像と背景埋め込み画像を多チャンネル化により統合された第３の画像データとして畳み込みニューラルネットワークへ入力する機能も合わせ持つ。

特徴抽出部１２と識別部１３は、中間層で畳み込みとプーリングの処理を繰り返し行う畳み込みニューラルネットワークを構成する機能ブロックである。図２に、畳み込みニューラルネットワークの代表的構成を示す。図２によれば、畳み込みニューラルネットワークは、第３の画像データ又は第３の画像データが入力される入力層（入力画像１０１）と、畳み込み層とプーリング層とから構成されるセット（処理ユニット１２ｂ）を複数有し、第３の画像データ又は第３の画像データから特徴（特徴マップ１２ａ）を抽出する中間層（第１層，第２層）と、中間層で抽出された特徴に基づき診断されるべき疾患の分類ごとに識別値を出力する出力層と、を備える。

特徴抽出部１２は、重みフィルタによる畳み込み演算とプーリングとを繰り返すことにより入力画像１０１である第３の画像データ又は第３の画像データの特徴を抽出する。具体的に、特徴抽出部１２は、入力画像１０１に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップ１２ａを得、その後、特徴マップ１２ａに対してプーリングを行う。プーリングとは、ｍ－１の特徴マップ１２ａの小領域から値を出力してｍの特徴マップに変換する処理であり、識別部１３に入力する特徴次元削減機能を持つ。

上記した畳み込みニューラルネットワークの処理は、多段接続された複数の処理ユニット１２ｂを介して行われる。各処理ユニット１２ｂの入出力は、入力画像１０１から抽出される複数の特徴である特徴マップ１２ａで示される複数の二次元画像である。この場合、入力画像１０１も１枚の特徴量マップとみなされる。ここでは、畳み込み演算とプーリングのユニットのペアが処理ユニット１２ｂとして多段接続され、特徴量（ベクトル値）を算出する。この特徴量（ベクトル値）に対して識別部１３で識別処理が行われ、出力クラスを得る構成になっている。見出された特徴量（ベクトル値）は登録されることによって学習がなされる。

識別部１３は、特徴抽出部１２で抽出した特徴を入力して識別を行う。畳み込みニューラルネットワークの学習は、誤差逆転伝搬法による学習により各層の重みを更新する。識別処理として多層パーセプトロンが用いられる。多層パーセプトロンは、入力層、中間層、出力層で構成される非線形のクラス識別器である。各階層間の重みは、誤差伝搬法による確率的勾配降下法で求める。識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として画像を分類する。

畳み込みニューラルネットワークは、高い精度で画像を分類するのに一般的な手法であり、例えば、インターネットＵＲＬ（http://en.wikipedia.org/wiki/Convolutional neural network）等に詳細に記載されている。

ここで、学習用の元画像と背景埋め込み画像は畳み込みニューラルネットワークへ各別に入力されてもよい。この場合、識別器として機能する処理部１０は、診断されるべき疾患について、撮影された元画像と、元画像から生成された背景埋め込み画像が学習済みの畳み込みニューラルネットワークへ各別に入力されることにより、診断されるべき疾患を元画像及び背景埋め込み画像の予備的識別を統合して識別する。

畳み込みニューラルネットワークは、学習用及び診断されるべき疾患に係る元画像及び背景埋め込み画像が入力される入力層と、畳み込み層とプーリング層から構成されたセットを複数有し、学習用及び診断されるべき疾患に係る元画像及び背景埋め込み画像から特徴を抽出する中間層と、抽出された特徴に基づき診断されるべき疾患の分類ごとに学習用及び診断されるべき疾患に係る元画像及び背景埋め込み画像の予備的識別値を統合して識別値を出力する出力層と、を備える。

なお、上記した学習用の元画像及び背景埋め込み画像は、それぞれ、ダーモスコープ付き撮影装置１１０を用い撮影されたダーモスコピー画像データ及びダーモスコピー画像データの背景部にパターンを嵌め込んだ背景埋め込み画像データであってもよい。また、診断されるべき疾患に係る元画像及び背景埋め込み画像は、それぞれ、ダーモスコープ付き撮影装置１１０を用い撮影されたダーモスコピー画像データ及びダーモスコピー画像データの背景部にパターンを嵌め込んだ背景埋め込み画像データであってもよい。

（実施形態の動作）
以下、図３から図９を参照しながら、図１，図２に示す本実施形態に係る診断支援装置１００の動作である画像処理方法について詳細に説明する。

図３は、診断支援装置１００の基本的な動作の流れを示している。図３において、処理部１０は、まず、前処理部１１が、疾患領域を撮影した元画像と、背景埋め込み画像とを生成する画像生成処理を実行する（ステップＳ１０。ステップＡともいう）。

前処理部１１がステップＳ１０で画像生成処理を実行後、特徴抽出部１２が、重みフィルタによる畳み込み演算とプーリングとを繰り返すことにより入力画像１０１である第３の画像又は第３の画像データの特徴を抽出する。具体的に、特徴抽出部１２は、入力画像１０１に対して重みフィルタをラスタスキャンさせて繰り返し畳み込み演算を行うことで特徴マップ１２ａを得、その後、特徴マップ１２ａに対してプーリングを行ない、ｍ－１の特徴マップ１２ａの小領域から値を出力してｍの特徴マップに変換する識別器生成処理を実行する（ステップＳ２０。ステップＢともいう）。

識別部１３は、特徴抽出部１２で抽出した特徴を入力して識別を行う。識別処理として多層パーセプトロンが用いられ、識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として入力画像を分類する未知の画像である予測対象画像について推論（識別）する識別器推論処理を実行する（ステップＳ３０。ステップＣともいう）。

以下の説明では、疾患領域を撮影した元画像と、背景埋め込み画像を畳み込みニューラルネットワークへ各別に入力することにより２個の推論値を得ることとし、この２個の推論値を平均して最終推論値として未知の画像である予測対象画像について推論（識別）する。

以下に、上記した基本的な流れを各別に説明する。まず、図４及び図７を参照して、画像生成処理（図３のステップＳ１０）の詳細を説明する。図４は画像生成処理（ステップＳ１０）のフローチャート、図７は図４に対応して画像の生成を示す概念図である。

図４に示すように、この画像生成処理を開始すると（ステップＳ１１）、まず、疾患領域についてダーモスコピー撮影を行なってダーモスコピー画像すなわち元画像を得る（ステップＳ１２）。この元画像には、図７（ａ）に示すように、例えば図中左端に疾患領域の大きさを読み取るためのスケールの目盛りが含まれている。

元画像は、元画像の疾患部の周辺部すなわち非疾患部について、肌領域の色輝度を正規化する（ステップＳ１３）。例えば、図７（ｂ）に示すように、非疾患部は、ターゲット画素値を（Ｒ，Ｇ，Ｂ）＝（２００，１８０，２００）として、肌色に正規化される。色輝度の正規化は、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することを可能にし、特に、画像を複数並べて提示したときに疾患部の違いを俯瞰的に把握することを容易にし、結果として、精度の高い診断支援を行うためのものであるが、その処理の詳細は項をあらためて後述する。なお、ここでは、正規化する色を肌色としているが、肌色以外の所定の色としても差し支えない。

前処理部１１は、ピクセルごとに意味をラベル付けする画像セグメンテーションを利用した画像分類の技術を用いて、元画像を前景部すなわち疾患部と背景部すなわち非疾患部に分離し、前景部の領域抽出（切り出し）を行う（ステップＳ１４）。例えば、前景部は、図７（ｃ）に示すように、前景画像マップとして領域抽出される。この前景部の領域抽出は、診断支援装置１００のユーザが手動で行えるように構成してもよいし、前処理部１１が自動で行えるように構成してもよい。

前処理部１１は、前景画像マップの背景部にパターンを埋め込む（ステップＳ１５）。この埋め込みは、色輝度正規化のターゲット画素値を背景部に設定し、図７（ｄ）に示すように、肌領域として埋め込んで背景埋め込み画像を得ることによって行われる。その際、前景部は、中心部にセンタリングされ、背景埋め込み画像には、元画像に含まれていた目盛りが除かれることとなる。これにより、画像生成処理の手順は終了する（ステップＳ１６）。

埋め込まれるパターンは、無地のものが好ましい。背景部を無地パターンで埋めることによって、リサイズを行う必要がない。また、背景部がある元画像と、無地のパターンで埋めた背景埋め込み画像を両方学習することによって、疾患鑑別と無相関の要素を学習することができる。

次に、図５及び図８を参照して、本実施形態の識別器生成処理の手順（図３のステップＳ２０）の詳細を説明する。図５は識別器生成処理（ステップＳ２０）のフローチャート、図８は図５に対応して識別器の生成を示す概念図である。

図５に示すように、処理部１０は、まず、前処理部１１が、識別器生成処理を開始する段階で学習用の画像としてＭ枚の元画像を用意する（ステップＳ２１）。そして、上記した図４の手順にしたがって、元画像から領域抽出した前景画像マップの背景部に無地のパターンを埋め込んだ背景埋め込み画像を生成して画像増量を行い、埋め込みを行っていない元画像と合わせて、学習画像をＭｘ２枚とする（ステップＳ２２）。

Ｍ枚の元画像とＭ枚の背景埋め込み画像は、図８に示すように、上記した識別部１３に入力される（ステップＳ２３）。入力された双方の画像データは、上記で説明した畳み込みニューラルネットワークに学習画像として入力され、機械学習が行われる（ステップＳ２４）。この機械学習は、必要回数繰り返され（ステップＳ２５の「Ｎ」の場合）、必要回数実行された段階（ステップＳ２５の「Ｙ」の場合）で識別器生成終了となる（ステップＳ２６）。

次に、図６及び図９を参照して、本実施形態の識別器推論処理の手順（図３のステップＳ３０）の詳細を説明する。図６は識別器推論処理（ステップＳ３０）のフローチャート、図９は図６に対応して学習済みの識別器を用いた推論を示す概念図である。

図６に示すように、処理部１０は、まず、前処理部１１が、識別器推論処理を開始する段階で診断されるべき疾患に係る予測対象画像である１枚の元画像を識別部１３に入力する（ステップＳ３１）。そして、上記した図４の手順にしたがって、元画像から領域抽出した前景画像マップの背景部に無地のパターンを埋め込んだ背景埋め込み画像を生成して画像増量を行い、埋め込みを行っていない元画像と合わせて、予測対象画像を２枚とする（ステップＳ３２）。

１枚の元画像と１枚の背景埋め込み画像は、それぞれ、図９に示すように、図５で説明した学習済みの識別部１３の畳み込みニューラルネットワークに予測対象画像として入力され、２個の推論値が得られる（ステップＳ３３）。そして、この２個の推論値を平均することによって最終推論値とし（ステップＳ３４）、推論処理終了となる（ステップＳ３５）。

（色輝度補正処理）
ここで、上記した色輝度補正処理（図４のステップＳ１３）について、説明する。

まず、色補正処理について説明する。前処理部１１は、色補正処理手段を含む。色補正処理手段は、色補正を行うために、撮影画像のうち疾患部の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。このとき、色補正処理手段は、中央部を撮影画像の中心円とし、中心円を除いた測定領域内で各ＲＧＢについて対応画素のＬｐノルムを求め、ｅ_Ｒ、ｅ_Ｇ及びｅ_ＢのＬ２ノルムが１となるように係数ｋで正規化し、ｅ_ｃに３＾（１／２）を乗算のうえ逆数にして色ゲインの設定を行い、ＲＧＢのゲイン係数を各画素に乗算し、元画像の色補正処理を行う。

色補正処理手段は、測定領域において全面が血液色であるような肌色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッタを設定してもよい。

色補正処理手段が、補正対象のダーモスコピー画像に対して色合いを補正（色補正）する際に、色情報計測領域を疾患部である確率が高い中央部を除く領域に設定し、補正ターゲットを肌色に設定することで、自然で、かつロバストな補正を行うことができる。また、肌色仮説が成り立たない全体的に血液色の場合に、補正時にリミッタを設定することにより不自然な補正を抑制することができる。したがって、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患部の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。

なお、ＲＧＢ色空間を持つ撮影画像を補正の対象として説明したが、ＲＧＢ色空間に限らず、輝度信号Ｙと、２つの色差信号Ｕ，Ｖを使って表現されるＹＵＶ色空間、又は色相Ｈ、彩度Ｓ及び明度Ｖを使って表現されるＨＳＶ色空間などを持つ撮影画像を補正の対象としても同様に色補正が可能である。ＹＵＶ色空間のときには、各画素Ｙ，Ｕ，Ｖに同一の補正ゲイン値を乗算し、ＨＳＶ色空間のときには、画素Ｓ，Ｖに同一の補正ゲイン値を乗算（画素Ｈは、そのまま）すればよく、色空間に応じて少なくとも２つの画素に同一の補正ゲイン値を乗算する。

次に、輝度補正処理について説明する。前処理部１１は、輝度補正処理手段を含む。輝度補正処理手段は、輝度補正を行うために、撮影画像のうち疾患部の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、測定領域に対して輝度ヒストグラムを生成し、輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにＲＧＢそれぞれに同一の補正ゲイン値を乗算して補正ゲインを得る。

このとき、輝度補正処理手段は、中央部を撮影画像の中心円とし、中心円を除いた測定領域内で輝度値ごとに画素数をカウントして輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の輝度ヒストグラムの平滑化を行い、高輝度側の輝度ヒストグラムのピーク値を求め、輝度補正のターゲット値を設定して補正前のピーク値がターゲット値となるように補正ゲインを設定し、求められた補正ゲイン値をＲＧＢそれぞれに乗算して輝度補正を行う。

輝度補正処理手段は、輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、上端値を超えないように補正ゲインをクリップし、補正ゲイン値を最終的なものとしてもよい。

輝度補正処理手段が、輝度計測領域を疾患部の確率が高い中央部を除いた領域に設定し、その領域に対してヒストグラムを生成し、そのヒストグラムピーク値に基づき補正ゲイン値を算出し、色相を変えないように、Ｒ，Ｇ，Ｂそれぞれに同一の補正ゲイン値を乗算することにより、自然でかつロバストな輝度補正を行うことができる。なお、ヒストグラムを作成する際に、肌色に近いもののみに限定することにより、診断精度が一層向上する。

また、肌色領域の判定を、補正の対象であるダーモスコピー画像に合わせ、空間的な条件付けとヒストグラムのピーク値の条件付けとを行い輝度補正を実行することにより、その結果に用途に応じた固有の特徴的処理が含まれ、したがって、撮影光源やメラニン濃度の個人差の影響を取り除くことができ、かつ、画像分類前処理や画像提示に利用することが可能となる。画像を複数並べて提示したときに疾患部の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。

（プログラム）
上記で説明した診断支援装置１００は、その機能をコンビュータに実行させるためのプログラムを備える。また、上記で説明した診断支援装置１００の動作である画像処理方法は、その処理をコンピュータに実行させるためのプログラムを備える。

（変形例）
上記した実施形態では、学習時と推論時の双方において、元画像と背景埋め込み画像を用いたが、以下のように組み合わせて実行してもよい。
（ａ）学習時に元画像と背景埋め込み画像を用い、推論時に背景埋め込み画像のみを用いる。診断されるべき疾患に係る予測対象画像に目盛り等をあえて含めて推論を行うような場合である。
（ｂ）学習時に元画像と背景埋め込み画像を用い、推論時に元画像のみを用いる。診断されるべき疾患に係る予測対象画像に目盛り等が含まれないような場合であり、この場合、推論時に前景部を領域抽出しないで済むメリットがある。
（ｃ）学習時に元画像のみを用い、推論時に背景埋め込み画像のみを用いる。学習用の元画像に目盛り等が含まれていないが、診断されるべき疾患に係る予測対象画像には目盛り等が含まれているような場合であり、この場合、学習時に前景部を領域抽出しないで済むメリットがある。

学習時に、例えば、脂漏性角化症とその他の疾患の識別をする際、脂漏性角化症の症例ばかりに、物差しが写っているのであれば、物差しが写った背景を、「その他」のクラスの症例にも埋め込んで、過学習を抑制するようにしてもよい。そうしない場合、物差しが写っていれば、「その他」についても脂漏性角化症だと誤判定してしまう可能性があるためである。なお、この際、前景を外接矩形でクロップの上で行うようにしてもよい。

（実施形態の効果）
上述した本実施形態によれば、疾患領域のダーモスコピー画像である元画像の前景部を抽出して背景部に無地のパターンで埋め込んだ背景埋め込み画像を用いることにより、元画像の原寸のまま処理を行うことができる。また、背景がある元画像と、無地パターンで埋めた背景埋め込み画像の両方を学習する場合は、疾患鑑別と無相関の要素を学習することができる。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
［請求項１］
疾患領域の診断を支援する診断支援装置の画像処理方法であって、
前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像マップに、新たな背景画像としてパターンを埋め込んだ背景埋め込み画像を生成する画像生成処理（Ａ）と、
前記画像生成処理（Ａ）で生成された前記背景埋め込み画像を学習により特徴を抽出する識別器生成処理（Ｂ）と、
前記識別器生成処理（Ｂ）で抽出された特徴を用いて未知の画像である予測対象画像について推論する識別器推論処理（Ｃ）と、
を含むことを特徴とする画像処理方法。
［請求項２］
学習時と推論時の双方において、前記元画像と前記背景埋め込み画像を用いることを特徴とする請求項１に記載の画像処理方法。
［請求項３］
学習時に前記元画像と前記背景埋め込み画像を用い、推論時に前記背景埋め込み画像のみを用いることを特徴とする請求項１に記載の画像処理方法。
［請求項４］
学習時に前記元画像と前記背景埋め込み画像を用い、推論時に前記元画像のみを用いることを特徴とする請求項１に記載の画像処理方法。
［請求項５］
学習時に前記元画像のみを用い、推論時に前記背景埋め込み画像のみを用いることを特徴とする請求項１に記載の画像処理方法。
［請求項６］
前記画像生成処理（Ａ）において、前記元画像の疾患部周辺の非疾患部について、所定の色の色輝度を正規化することを特徴とする請求項１に記載の画像処理方法。
［請求項７］
前記画像生成処理（Ａ）において、ピクセルごとに意味をラベル付けする画像セグメンテーションによって前記前景画像と前記背景画像を生成することを特徴とする請求項１に記載の画像処理方法。
［請求項８］
前記識別器生成処理（Ｂ）において、学習用の画像としてＭ枚の元画像を用意し、前記元画像から領域抽出した前景画像マップの背景部に無地のパターンを埋め込んだ背景埋め込み画像を生成して画像増量を行い、埋め込みを行っていない元画像と合わせて、学習画像をＭｘ２枚とすることを特徴とする請求項１に記載の画像処理方法。
［請求項９］
前記識別器推論処理（Ｃ）において、前記元画像に対する推論値と、前記背景埋め込み画像に対する推論値を得て、その２個の推論値を平均することによって最終推論値とすることを特徴とする請求項２に記載の画像処理方法。
［請求項１０］
疾患領域の診断を支援する診断支援装置の画像処理方法であって、
前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像マップに、新たな背景画像としてパターンが埋め込まれた背景埋め込み画像を用いて、前記診断支援装置の機械学習を実行する識別器において、前記背景埋め込み画像を用いて学習及び／又は推論がなされることを特徴とする画像処理方法。
［請求項１１］
請求項１から１０のいずれか１項に記載の画像処理方法をコンビュータに実行させることを特徴とするプログラム。
［請求項１２］
疾患領域の診断を支援する診断支援装置であって、
機械学習を実行する識別器を備え、
前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像マップに、新たな背景画像としてパターンが埋め込まれた背景埋め込み画像を用いて、前記識別器が学習及び／又は推論することを特徴とする診断支援装置。
［請求項１３］
前記前景画像マップが学習時に予め用意されることを特徴とする請求項１２に記載の診断支援装置。
［請求項１４］
前記背景埋め込み画像が学習時に予め生成して用意されることを特徴とする請求項１２に記載の診断支援装置。
［請求項１５］
前記識別器が前記背景画像を正規化された所定の色に処理することを特徴とする請求項１２に記載の診断支援装置。
［請求項１６］
前記識別器が、学習時及び推論時のいずれにおいても、前記元画像と前記背景埋め込み画像を用いることを特徴とする請求項１２から１５のいずれか１項に記載の診断支援装置。
［請求項１７］
前記パターンが無地であることを特徴とする請求項１２から１５のいずれか１項に記載の診断支援装置。
［請求項１８］
前記識別器は、診断されるべき疾患を識別する前に予め機械学習が実行されていることを特徴とする請求項１２から１７のいずれか１項に記載の診断支援装置。
［請求項１９］
請求項１２から１８のいずれか１項に記載の診断支援装置の機能をコンビュータに実行させることを特徴とするプログラム。

１０…処理部（識別器）、１１…前処理部、１２…特徴抽出部、１３…識別部、１００…診断装置、１０２…画像記憶部、１０３…画像データベース、１１０…ダーモスコープ付き撮影装置（取得部）、１２０…表示装置、１３０…入力装置

Claims (18)

1. 疾患領域の診断を支援する診断支援装置の画像処理方法であって、
   前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像に、新たな背景画像として無地の画像を合成した背景埋め込み画像を生成する画像生成処理（Ａ）と、
   前記画像生成処理（Ａ）で生成された前記背景埋め込み画像を用いた学習により特徴を抽出する識別器生成処理（Ｂ）と、
   前記識別器生成処理（Ｂ）で抽出された特徴を用いて未知の画像である予測対象画像について推論する識別器推論処理（Ｃ）と、
   を含むことを特徴とする画像処理方法。
2. 学習時と推論時の双方において、前記元画像と前記背景埋め込み画像を用いることを特徴とする請求項１に記載の画像処理方法。
3. 学習時に前記元画像と前記背景埋め込み画像を用い、推論時に前記背景埋め込み画像のみを用いることを特徴とする請求項１に記載の画像処理方法。
4. 学習時に前記元画像と前記背景埋め込み画像を用い、推論時に前記元画像のみを用いることを特徴とする請求項１に記載の画像処理方法。
5. 学習時に前記元画像のみを用い、推論時に前記背景埋め込み画像のみを用いることを特徴とする請求項１に記載の画像処理方法。
6. 前記画像生成処理（Ａ）において、前記元画像の疾患部周辺の非疾患部について、所定の色の色輝度を正規化することを特徴とする請求項１に記載の画像処理方法。
7. 前記画像生成処理（Ａ）において、ピクセルごとに意味をラベル付けする画像セグメンテーションによって前記前景画像と前記背景画像を生成することを特徴とする請求項１に記載の画像処理方法。
8. 前記識別器生成処理（Ｂ）において、学習用の画像としてＭ枚の元画像を用意し、前記元画像から領域抽出した前景画像に前記新たな背景画像として前記無地の画像を合成した背景埋め込み画像を生成して画像増量を行い、合成を行っていない元画像と合わせて、学習画像をＭｘ２枚とすることを特徴とする請求項１に記載の画像処理方法。
9. 前記識別器推論処理（Ｃ）において、前記元画像に対する推論値と、前記背景埋め込み画像に対する推論値とを導出し、導出されたそれぞれの前記推論値を平均することによって最終推論値とすることを特徴とする請求項２に記載の画像処理方法。
10. 疾患領域の診断を支援する診断支援装置の画像処理方法であって、
    前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像に、新たな背景画像として無地の画像が合成された背景埋め込み画像を用いて、前記診断支援装置の機械学習を実行する識別器において、前記背景埋め込み画像を用いて学習及び／又は推論がなされることを特徴とする画像処理方法。
11. 請求項１から１０のいずれか１項に記載の画像処理方法をコンビュータに実行させることを特徴とするプログラム。
12. 疾患領域の診断を支援する診断支援装置であって、
    機械学習を実行する識別器を備え、
    前記疾患領域を撮影した元画像を疾患部である前景画像と非疾患部である背景画像に分離して抽出された前景画像に、新たな背景画像として無地の画像が合成された背景埋め込み画像を用いて、前記識別器が学習及び／又は推論することを特徴とする診断支援装置。
13. 前記前景画像が学習時に予め用意されることを特徴とする請求項１２に記載の診断支援装置。
14. 前記背景埋め込み画像が学習時に予め生成して用意されることを特徴とする請求項１２に記載の診断支援装置。
15. 前記識別器が前記背景画像を正規化された所定の色に処理することを特徴とする請求項１２に記載の診断支援装置。
16. 前記識別器が、学習時及び推論時のいずれにおいても、前記元画像と前記背景埋め込み画像を用いることを特徴とする請求項１２から１５のいずれか１項に記載の診断支援装置。
17. 前記識別器は、診断されるべき疾患を識別する前に予め機械学習が実行されていることを特徴とする請求項１２から１６のいずれか１項に記載の診断支援装置。
18. 請求項１２から１７のいずれか１項に記載の診断支援装置の機能をコンビュータに実行させることを特徴とするプログラム。

Images