JP6164238B2 - 診断装置並びに当該診断装置における画像処理方法及びそのプログラム - Google Patents

診断装置並びに当該診断装置における画像処理方法及びそのプログラム Download PDF

Info

Publication number
JP6164238B2
JP6164238B2 JP2015054328A JP2015054328A JP6164238B2 JP 6164238 B2 JP6164238 B2 JP 6164238B2 JP 2015054328 A JP2015054328 A JP 2015054328A JP 2015054328 A JP2015054328 A JP 2015054328A JP 6164238 B2 JP6164238 B2 JP 6164238B2
Authority
JP
Japan
Prior art keywords
image
detail
luminance component
detail image
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015054328A
Other languages
English (en)
Other versions
JP2016173785A (ja
Inventor
中嶋 光康
光康 中嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015054328A priority Critical patent/JP6164238B2/ja
Priority to EP16150884.1A priority patent/EP3070673B1/en
Priority to AU2016200209A priority patent/AU2016200209B2/en
Priority to US14/995,031 priority patent/US10089735B2/en
Priority to CA2917481A priority patent/CA2917481C/en
Publication of JP2016173785A publication Critical patent/JP2016173785A/ja
Application granted granted Critical
Publication of JP6164238B2 publication Critical patent/JP6164238B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dermatology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明は、診断装置並びに当該診断装置における画像処理方法及びそのプログラムに関する。
皮膚病変の診断として視診は必ず行われ、多くの情報を得ることが出来る。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われている。
ダーモスコープとは、ハロゲンランプ等で病変部を明るく照らし、エコージェルや偏光
などにより反射光の無い状態にし、10倍程度に拡大して観察する非侵襲性の診察器具である。この器具を用いた観察法をダーモスコピーと呼んでいる。ダーモスコピー診断については、例えば、「ダーモスコピー超簡単ガイド」(田中 勝 東京女子医科大学東医療センター皮膚科教授 著。秀潤社。2010年4月1日発行)に記載されている。ダーモスコピー診断によれば、角質による乱反射がなくなることにより、表皮内から真皮浅層までの色素分布が良く見えてくる。
例えば、特許文献1に、上記したダーモスコープで撮影された皮膚画像に対して、色調、テクスチャ、非対称度、円度等の値を用いて診断を行う色素沈着部位の遠隔診断システムの技術が開示されている。それは、ダーモスコープを付けたカメラ付き携帯電話を用い、ダーモスコープを通して、メラノーマの心配がある良性色素性母斑などがある皮膚を撮影する。そして、携帯電話のネットワーク接続機能を用いてインターネットに接続し、撮影した皮膚画像を遠隔診断装置に送信して診断を依頼するものである。皮膚画像を受信した遠隔診断装置は、メラノーマ診断プログラムを用い、皮膚画像から、それがメラノーマであるか否か、あるいはメラノーマであった場合にどの病期のメラノーマであるかを診断し、その結果を医師に返信する。
特開2005−192944号
皮膚病については上記したダーモスコープ画像による診断が普及しつつあるが、明瞭な形状変化や模様を得られないことも多く、画像の観察や病変の判断は担当医の熟練度に依存しているのが現状である。したがって、ダーモスコープ画像の病変部分を強調する等、画像処理によって、容易、かつ的確に診断するのが望ましい。しかしながら、例えば、体毛、髪の毛等、非常に急峻なエッジを持つ近傍領域では勾配反転、あるいはハロー(エッジ近傍がぼやける現象)が発生し、特に、画像を拡大したときに誤診断を招く恐れがある。
本発明は上記した課題を解決するためになされたものであり、医師の診断を容易にするとともに診断精度の向上をはかる、診断装置並びに当該診断装置における画像処理方法及びそのプログラムを提供することを目的とする。
上記した課題を解決するために本発明の一態様は、
皮膚画像を用いて皮膚の病変を診断するための診断装置であって、
前記皮膚画像の輝度成分に前記皮膚画像のエッジ周辺を強調する第1のエッジ保存型平滑フィルタを施して第1のディテール画像を取得する手段と、
前記輝度成分に前記皮膚画像のエッジ周辺を鈍化する第2のエッジ保存型平滑フィルタを施して第2のディテール画像を取得する手段と、
前記第1のディテール画像及び前記第2のディテール画像から第3のディテール画像を生成する手段と、
前記第3のディテール画像を用いて第3のベース画像を新たに生成する手段と、
前記第3のベース画像及び前記第3のディテール画像を合成して輝度成分を復元して強調画像を生成する手段と、
を備えることを特徴とする診断装置である。
本発明の他の特徴は、本明細書及び添付図面の記載により、明らかにする。
本発明によれば、医師の診断を容易にするとともに診断精度の向上をはかることができる。
本発明の実施の形態に係る診断装置の構成を示すブロック図である。 本発明の実施の形態に係る診断装置の基本処理動作を示すフローチャートである。 エッジ保存型平滑フィルタのカーネル特性を説明するために引用した図である。 図2の撮影画像の強調処理動作の詳細を示すフローチャートである。 エッジ保存型平滑フィルタにより出力される輝度信号の一例を示す図である。 クリッピングされて出力される輝度信号の一例を示す図である。 本発明の実施の形態に係る診断装置により出力される強調画像の一例を従来例と対比して示した図である。 本発明の応用例1,2の構成を示すブロック図である。 図8の診断装置による強調処理動作の詳細を示すフローチャートである。 図9の血管らしさ抽出処理理動作の詳細を示すフローチャートである。 本発明の実施の形態に係る診断装置の表示画面構成の一例を示す図である。
以下、添付図面を参照して、本発明を実施するための形態(以下、本実施形態と言う)について詳細に説明する。なお、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。
(実施形態の構成)
図1は、本実施形態に係る診断装置100の構成を示すブロック図である。図1に示すように、本実施形態に係る診断装置100には、ダーモスコープ付き撮影装置110が接続されている。ダーモスコープ付き撮影装置110は、診断装置100(処理部10)からの指示により撮影を行ない、撮影画像(ダーモスコピー画像)を画像記憶部102に格納するとともに表示装置120上に表示する。また、撮影画像は、処理部10により強調処理が施されて画像記憶部102に保存されると共に表示装置120上に表示される。入力装置130は、ダーモスコープ画像の撮影開始指示、後述するダーモスコピー画像中の部位選択操作等を行う。
なお、表示装置120は、例えば、LCD(Liquid Crystal Display)モニタにより構成され、入力装置130は、マウス等により構成されている。
処理部10は、画像記憶部102に記憶された撮影画像を処理するもので、図1に示すように、分離手段10aと、第1ディテール画像取得手段10bと、第2ディテール画像取得手段10cと、第3ディテール画像生成手段10dと、ベース画像生成手段10eと、強調画像生成手段10fと、を含む。
分離手段10aは、ダーモスコピー画像等の皮膚画像を輝度成分と色情報成分に分離する手段として機能し、ここで分離された輝度成分と色成分情報は、第1ディテール画像取得手段10bと第2ディテール画像取得手段10cへ出力される。
第1ディテール画像取得手段10bは、分離手段10aにより分離された輝度成分に非エッジ領域を鈍化(平滑化)する第1のエッジ保存型平滑フィルタ(第1の成分分解フィルタ)処理を施して得られた第1のベース画像を輝度成分から減算して第1のディテール画像を取得する手段として機能し、ここで取得された第1のディテール画像は第3ディテール画像生成手段10dに出力される。第2ディテール画像取得手段10cは、分離手段10aにより分離された輝度成分に非エッジ領域を鈍化(平坦化)する第2のエッジ保存型平滑フィルタ(第2の成分分解フィルタ)処理を施して得られた第2のベース画像を輝度成分から減算して第2のディテール画像を取得する手段として機能し、ここで取得される第2のディテール画像は第3ディテール画像生成手段10dに出力される。
第3ディテール画像生成手段10dは、第1ディテール画像取得手段10bから出力される第1のディテール画像及び第2ディテール画像取得手段10cから出力される第2のディテール画像から第3のディテール画像を生成する手段として機能し、ここで生成された第3のディテール画像は、ベース画像生成手段10eおよび強調画像生成手段10fへ出力される。第3ディテール画像生成手段10dは、第3のディテール画像が、第2のディテール画像のプラス領域を第1のディテール画像で置き換えることにより生成する。このとき、第3のディテール画像は、例えば、ガウシアンフィルタ等により平滑化処理がなされたものとする。
ベース画像生成手段10eは、第3ディテール画像生成手段10dから出力される第3のディテール画像を用いて第3のベース画像を新たに生成する手段として機能し、ここで生成された第3のベース画像は、強調画像生成手段10fへ出力される。ここで、第3のベース画像は、輝度成分から第3のディテール画像を減算することにより生成される。
強調画像生成手段10fは、ベース画像生成手段10eから出力される第3のベース画像、及び第3ディテール画像生成手段10dから出力される第3のディテール画像を合成して、より詳しくは係数処理のうえ再合成して輝度成分を復元し、復元された輝度成分と分離手段10aから出力される色情報成分を用いて強調画像を生成する手段として機能する。ここで復元された輝度成分は、係数処理において、第3のディテール画像のゲインが上がり、かつ、第3のベース画像のゲインが下がるように再合成される。強調画像生成手段10fにより生成された強調画像は、表示装置120に出力される。
(実施形態の動作)
以下、図1に示す本実施形態に係る診断装置100の動作について、図2以降を参照しながら詳細に説明する。
図2に、本実施形態に係る診断装置100の基本処理動作の流れが示されている。図2によれば、処理部10は、まず、ダーモスコープ付き撮影装置110で撮影された患部(例えば、皮膚病変部位)の撮影画像を取得する(ステップS11)。そして、取得した撮影画像を画像記憶部102の所定の領域に格納するとともに、表示装置120に表示する(ステップS12)。続いて、処理部10は、撮影画像に対して強調処理を施し(ステップS13)、その処理画像を先に表示した撮影画像とともに表示装置120に並べて表示して医師の診断に委ねる(ステップS14)。
図11に表示装置120に表示される表示画面イメージの一例が示されている。画面に向かって左に撮影画像が表示される撮影画像表示領域121が、右に、例えば、患部の構造が強調された強調画像1が表示される強調画像表示領域122が割り当てられている。医師が、図面右下に割り当てられている「撮影開始」ボタン123を、入力装置130を操作(クリック)することによりダーモスコープ付き撮影装置110による患部の撮影が開始される。そして上記した処理部10の処理により、表示装置120のそれぞれの領域121,122に、撮影画像と、撮影画像のうち、例えば、患部構造の強調画像とが並んで表示される。
本実施形態で用いられる強調処理の基本的な概念は、入力画像にエッジ保存型平滑フィルタを施した結果をベース画像とし、入力画像からそのベース画像を減算したものをディテール画像とし、ベース画像のゲインを下げ、ディテール画像のゲインを上げて再合成したものである。ここで、エッジ保存型平滑フィルタとは、エッジ(急勾配)を保ちながら平滑化するフィルタのことである。現状、理想的に動作するエッジ保存型平滑フィルタは無く、エッジ保存型フィルタの種類に依存してそのフィルタ処理結果は異なってくる。
図3を参照しながらエッジ保存型平滑フィルタを用いた強調変換の特性について説明する。
エッジ保存型平滑フィルタは、非エッジ領域(平坦部)のフィルタ特性が良好なものでは、エッジ領域周辺が強調される傾向を持つタイプと、鈍る傾向を持つタイプとに分類される。エッジ周辺は理想的にフィルタ処理されるものの、エッジ以外の平坦部のフィルタ特性が劣るものも存在するがここでは扱わない(例えば、WLSフィルタ:Farbman,Fattal,Lischinski,and Detail Manipulation”,ACM Transactions on Graphics,27(3),August2008参照)。平坦部のフィルタ特性が悪いものは、強調するティテール画像に多くのノイズが含まれてしまうため、適用することはできない。あくまでも非エッジ領域では、良好にフィルタされるものを扱う。
エッジ保存型平滑フィルタとして多く使われるバイラテラルフィルタ(Bilateral filter)は、適切にパラメータの設定を行うと、例えば、図3(b)に示す振る舞いとして動作する。L画像(入力画像の輝度成分)にバイラテラルフィルタ処理を施した結果はB2となり、エッジ周辺が過度に強調されてしまう。ここで、ディテール画像は入力画像からベース画像を減算したものでD2として示してある。ここで、D2のゲインを上げたものをD21とし、B2のゲインを下げたものをB21とし、再合成(B21+D21)すれば、L21になる。
ここで、バイラテラルフィルタのパラメータ設定について補足する。注目画素をx,注目画素の値をI(x),フィルタ出力値をΓ(x)とすれば、フィルタ出力値Γ(x)=(1/Wp)Σ{I(xi)*f(I(xi)−I(x))*g(xi−x)}で示される。ここで、Wpは正規化項で、Wp=Σ{f(I(xi)−I(x))*g(xi−x)}である。Σの加算範囲は、画素xの周辺画素であるxiとする。また、f(),g()は、以下のようになる。
f(j)=exp(−(j*j)/(2*σr))
g(j)=exp(−(j*j)/(2*σs))
ここで、σsは空間方向のσ、σrはレンジ(値)方向のσである。
L画像の輝度の範囲を0〜100とした場合、σrは10〜30程度が好ましい。また、σsは、σs=H/tであり、tは、0.001〜0.02程度が好ましい。Hは、画像の総ピクセル数の平方根になる。あるいは画像幅数から画像高数までの間のいずれかの値とする。σsが1未満になった場合は1とする。ちなみに、後述するガイデッドフィルタで用いるパラメータは、K=σs,eps=σr*σrである。
ところが、バイラテラルフィルタによれば、図4(b)に点線で囲んだ変換画像L21のエッジ領域Eで勾配反転が生じてしまう。つまり、バイラテラルフィルタを用いると、入力信号のエッジ領域E内の勾配が大きい場合に、フィルタ後の信号に勾配反転が発生する。これは、エッジ勾配が急なほど顕著に発生する。
一方、エッジ周辺が鈍る(平坦化)傾向を持つフィルタとして、ガイデッドフィルタ(guided filter)がある。ガイデッドフィルタは、入力をIとすれば、係数A,Bにより、I’=A*I+Bで示される。ここで、var():近傍K領域の分散、mean():近傍K領域の平均、_a=var(I)/(var(I)+eps)、_b=mean(I)−a*mean(I)、A=mean(_a)、B=mean(_b)である。
バイラテルフィルタのスペースσ(空間方向)はKに対応し、レンジσ(直方向)はsqrt(eps)に対応する。図4(a)にガイデッドフィルタの振る舞いを示す。図4(a)によれば、入力画像の輝度成分Lに対して、ガイデッドフィルタによる平滑化処理結果がB1になる。明らかにエッジ周辺(点線で囲った領域)が鈍っている。ここで、LからB1を減算したものがディテール画像D1であり、D1のゲインを上げたものがD11になる。そして、B1のゲインを下げたB11と再合成すればL11になる。このL11によれば、エッジ領域Eの外側Hで、入力信号Lに無いオーバーシュートが見られる。これはハローと呼ばれ、エッジ近傍がぼけたようになる。このハローについてもエッジが急峻であれば顕著に発生してしまう。
なお、バイラテラルフィルタの詳細は、インターネットURL(http://en.wikipedia.org/wiki/Bilateral filter)に、ガイデッドフィルタの詳細は、Kaiming He,Jian Sun.Xiaou,Guided Lmage Filtering.LEEE Transactions on Pattern Analysis and Machine Lntelligence,Volume 35,Lssue 6,pp.1397−1409,june 2013に、それぞれ詳細に記載されている。
図4に、図2のステップS13の「撮影画像の強調処理」の詳細な処理手順が示されている。
以下、図4のフローチャートを参照しながら図1の本実施形態に係る診断装置100の画像強調処理について詳細に説明する。
処理部10は、まず、色空間の変換を行う。処理部10は、分離手段10aが、ダーモスコープ付き撮影装置110から取得されるRGB色空間の撮影画像を、CIELAB色空間(以下、単にLab色空間というが、正確には、CIE 1976 L*a*b*色空間)に変換する(ステップS131)。Lab色空間については、例えば、インターネットURL(http://ja.wikipedia.org/wiki/Lab%E8%89%B2%E7%A9%BA%E9%96%93)<平成27年3月1日閲覧>にその詳細が記載されている。
次に、第1ディテール画像取得手段10bと第2ディテール画像取得手段10cは、分離手段10aから出力される、Lab色空間で輝度成分に相当するL画像を用いて、エッジ保存型平滑フィルタ処理を施す。図5にその信号例を示す。ここでは、第1ディテール画像取得手段10bがL画像にガイデッドフィルタ処理を施し、B1(第1のベース画像)を得(ステップS132)、LからこのB1を減算してD1(第1のディテール画像)を得て第3ディテール画像生成手段10dへ出力する(ステップS133)。また、第2ディテール画像取得手段10cがL画像にバイラテラルフィルタ処理を施してB2(第2のベース画像)を得(ステップS134)、L画像からこのB2を減算してD2(第2のディテール画像)を得て第3ディテール画像生成手段10dへ出力する(ステップS135)。
なお、D1は、LとB1との差分であるため、0を跨いで±の信号になっている。D1がプラスの期間をM1とする(ステップS136)。第3ディテール画像生成手段10dは、M1の区間D2を、M1でない区間はD1それぞれ用いて新しいディテール画像D3(第3のディテール画像)を生成する(ステップS137)。これをうけてベース画像生成手段10eは、第3ディテール画像生成手段10dから出力されるD3に、ガウシアンフィルタ処理(gaussfilter)等を施してディテール画像Dとし(ステップS138)、L画像からこのDを減算して、B(第3のベース画像)を生成して強調画像生成手段10fへ出力する(ステップS139)。
これを受けて強調画像生成手段10fは、B画像をZのオフセット値にてK1倍し、Bxを得る(ステップS140)。ここで、Zは、例えばB画像の平均値とし、K1は、0.3〜0.8程度の値とする。また、DをK2倍して、Dxを得る(ステップS141)。このとき、K2は、1より大きな値とする。強調画像生成手段10fは、更に、BxとDxとを加算し、変換後の輝度画像Lxを生成する(ステップS142)。なお、このとき、Lab色空間での輝度画像は0〜100の値になるため、例えば、図6に示すように、0以下は0に、100以上は100にクリッピング処理を行う。強調画像生成手段10fは、最後に、変換後の輝度Lxと、Lab色空間のa,bから、RGB色空間に変換し、強調画像Eを得、表示装置120へ出力する(ステップS143)。
なお、ここでは、輝度画像を得るのに、Lab色空間を利用したが、Lab色空間に制限されない。例えば、YUV色空間のYを使ってもよいし、HSL空間のLを使ってもよい。或いは、HSV色空間のVを使ってもよい。YUV色空間についは、インターネットURL(http://ja.wikipedia.org/wiki/YUV)、HSV色空間については、インターネットURL(http://en.wikipedia.org/HSL and HSV)に詳細に開示されている。
ところで、適切に撮影された画像は、概ね中間値の輝度を持っている。つまり、最も注目している部位は中間値をもっていることになる。図5に示した変換後の輝度Lxは、値が小さい所ではハローが発生している。皮膚画像の場合、このハローは、黒い毛の周辺などで発生することがある。つまり、皮膚の輝度値が高く、毛の輝度値が特に低い場合にのみ発生する。一般的な黒い母斑などでは、エッジ部が特に急峻な勾配で無い限り、発生することは少ない。更に輝度値が小さければ、図6に示すようにクリッピングされてハローが目立たなくなる。
図7に、本実施形態に係る診断装置100により出力される強調画像の一例を従来例と比較して示してある。例えば、図7(a)に一例を示すように、入力画像にバイラテラルフィルタ処理を施すとそのバイラテラルフィルタのカーネル特性によりベース画像のエッジ部が過度に強調され、入力画像からそのベース画像を減算して得られるディテール画像はエッジ部の勾配反転が発生してしまう。一方、ディテール画像でエッジ部の勾配が反転しない、つまり、フィルタ処理結果、ベース画像のエッジ部が暈けるガイデッドフィルタを用いると、エッジ部外側周辺に緩やかな勾配反転(ハロー)が発生する。特に、ダーモスコピー画像での毛や黒い母斑等、急峻なエッジは、中間値から低い値(黒側)にかけて発生する。
そこで、本実施形態に係る診断装置100では、エッジ部が暈けるガイデッドフィルタのディテール画像を、その+領域においてエッジ部が強調されるバイラテラルフィルタにより生成されるディテール画像に入れ替える。そして、このディテール画像を入力画像から減算することでベース画像とし、これらを統合することで、図7(a)中央下に本形態の強調画像として示されるように、一見してハローも勾配反転も見られない強調画像を提供することができる。理論的には、輝度が小さい領域にて、抑制されたハローが僅かに現れている。なお、輝度が小さい領域とは、黒い髪の毛等、診断に影響の無いものであり、結果、誤診断を招くことがない。このように、勾配反転とハローを抑制した出力画像を生成することができる。図7(b)に示す例も同様である。
(実施形態の効果)
以上説明のように本実施形態に係る診断装置100によれば、処理部10が、(1)入力画像の輝度成分に第1の成分分解フィルタを施して得られた第1のベース画像を輝度成分から減算して第1のディテール画像を取得し、(2)輝度成分に第2の成分分解フィルタを施して得られた第2のベース画像を輝度成分から減算して第2のディテール画像を取得し、第1のディテール画像及び前記第2のディテール画像から第3のディテール画像を生成し、(3)第3のディテール画像を用いて第3のベース画像を新たに生成し、(4)第3のベース画像及び第3のディテール画像を合成して、より詳しくは係数処理のうえ再合成して輝度成分を復元し、復元された輝度成分と色情報成分を用いて強調画像を生成することにより、画像の急峻なエッジに発生する勾配反転、ハロー現象を抑制した強調画像を表示することができ、結果、誤診断を招く恐れを回避して診断精度を向上させることができる。
なお、本実施形態に係る診断装置100によれば、非常にエッジ勾配が大きな領域の強調変換の際、エッジ保存平滑フィルタによる2種類の強調方法を選択的に採用することで、輝度が小さい領域での抑制されたハローだけに抑えることができ、ダーモスコピー以外の医用診断画像にも同様に応用が可能である。
(応用例1)
図8は、本実施形態に係る診断装置100を用いた応用例1の構成を示すブロック図である。上述した本実施形態に係る診断装置100は、入力画像にエッジ保存型平滑フィルタを施した結果をベース画像とし、入力画像からそのベース画像を減算したものをディテール画像とし、ベース画像のゲインを下げ、ディテール画像のゲインを上げて再合成することにより画像の急峻なエッジに発生する勾配反転、ハロー現象を抑制した画像を生成するものであり、以下に説明する応用例1は、エッジ保存平滑フィルタ処理後の画像を更に加工して強調画像を生成することにより更なる診断精度の向上をはかるものである。
図8によれば、処理部10は、第1の分離手段101aと、第2の分離手段101bと、強調手段101c(第1の強調手段101c−1,第2の強調手段101c−2)と、生成手段101dとを含む。第1の分離手段101aは、撮影画像を輝度成分と色情報成分とに分離する手段として機能する。第2の分離手段101bは、輝度成分をベース成分(ベース画像)とディテール成分(ディテール画像)に分離する手段として機能する。画像記憶部102他、ダーモスコープ付き撮影装置110,表示装置120、入力装置130等、周辺装置の構成は同様である。
処理部10の強調手段101cは、ベース画像に対し強調処理を施す手段として機能し、ベース画像を中心値よりも明るく圧縮する第1の強調手段101c−1、またはベース画像にシャープネスフィルタ処理を施す第2の強調手段101c−2のいずれかを含む。生成手段101dは、強調されたベース画像とディテール画像とから輝度を復元し、色情報成分を用いて強調画像を生成する手段として機能する。
なお、第1の強調手段101c−1は、第2の分離手段101bにより分離されたベース画像がとりうる最大値と最小値が強調前後で変化しないように1以下の係数で累乗して強調する手段として機能する。また、第2の強調手段101c−2は、ベース画像を中心値よりも明るく圧縮して得られる圧縮画像を生成し、生成した圧縮画像に所定の畳み込み係数を畳み込み演算してシャープネスフィルタ処理を施す手段として機能する。
上記した第1の分離手段101a、第2の分離手段101b、強調手段101c(第1の強調手段101c−1,第2の強調手段101c−2)、生成手段101dは、いずれも、処理部10が、処理部10が有する本実施形態に係るプログラムを逐次読み出し、コンピュータにて実行することにより、それぞれが持つ上記した機能を実現する。
以下、図8に示す応用例1の画像強調処理について、図9、図10のフローチャートを参照しながら詳細に説明する。ここでは、処理部10が、ダーモスコープ付き撮影装置110で撮影された患部の撮影画像からベース画像とディテール画像とに分離し、それぞれに対して異なる強調処理を施す例を示している。ベース画像とディテール画像は、既に、本実施形態に係る診断装置100により、エッジ保存平滑化処理がなされてあるものとする。
具体的に、処理部10は、まず、色空間変換を行う。処理部10は、第1の分離手段101aが、ダーモスコープ付き撮影装置110から取得されるRGB色空間の撮影画像を、Lab色空間に変換する(ステップS231)。次に、処理部10は、第2の分離手段101bが、撮影画像をベース画像とディテール画像とに分離するために、L画像にエッジ保存型フィルタ処理を施す(ステップS232)。ここで、エッジ保存型フィルタとして、例えば、バイラテラルフィルタを用いる。
次に、処理部10は、強調手段101cが、L画像にバイラテルフィルタ処理を施して得られるB画像、B=bilateral_filter(L)を取得する。ここで、B画像はベース画像である。次に、強調手段101cが、ディテール画像であるD画像を取得する。ここで、ディテール画像Dは、D=L画像−B画像により取得することができる(ステップS233)。
続いて、強調手段101c(第1の強調手段101c−1)は、ベース画像Bをp階乗することにより強調されたベース画像B1を得る(ステップS234)。このときのpは、p<=1となる。このとき、強調手段101cは、ベース画像Bの取りうる最大値と最小値が変換前後で同じになるように処理する。具体的には、Lab色空間では輝度Lの値範囲が0から100であるため、B1は、B1=(B^p)/(100^p)*100で求めることができる。次に、強調手段101cは、B1を、値Zを基準にK1倍して圧縮画像B2を得る(S235)。
圧縮画像B2は、B2=(B1−Z)*K1+Zで求めることができる。ここで、係数K1は圧縮率で1以下とし、ここでは0.2〜0.8程度の値とする。また、Zは、中心Cよりも明るめに設定する。ここで、Cは値の中心位置であり、C=(50^p)/(100^p)*100であり、これを5%から50%程度大きくした値がZになる。すなわち、強調手段101cは、ベース画像を中心値よりも明るく圧縮して強調する。
次に、強調手段101c(第2の強調手段101c−2)は、圧縮画像B2にシャープネスフィルタ処理を施して鮮鋭化画像B3とする(ステップS236:B3 ← sharpnessFilter(B2))。第2の強調手段101c−2は、シャープネスフィルタ処理を実行するにあたり、以下のカーネルMを圧縮画像B2に畳み込み演算(convoltion)を行う。なお、以下に示すコンボリューション行列(畳み込みカーネルMの値)は一例である。
|−0.1667 −0.6667 −0.1667|
M=|−0.6667 4.3333 −0.6667|
|−0.1667 −0.6667 −0.1667|
なお、上記した圧縮強調処理を第1の強調手段101c−1が実行し、続くシャープネスフィルタ処理を第2の強調手段101c−2が行うものとして説明したが、強調手段101cが、圧縮強調処理とシャープネスフィルタ処理の両方を実行することは必須でなく、圧縮強調処理とシャープネスフィルタ処理のいずれか一方でもよい。
次に、強調手段101cは、血管らしさを尤度Aとして抽出してディテール画像Dの強調の度合いに反映させる処理を実行する(ステップS237)。血管らしさ(尤度A)は、ノイズを除去したベース画像の圧縮画像B2と同じ次元の情報をもっており、各ピクセルに対して0から1の血管らしさ情報(尤度A)を持つ。血管らしさが増すと1に近づく。図10に、ステップS237の「血管らしさを尤度Aとして抽出する処理」がフローチャートで示されている。
図10によれば、強調手段101cは、Lab色空間の赤系の色相方向であるa軸の値を取得し(ステップS237a)、血管らしさ(尤度A)について、aの値を、0からSの範囲で制限を与えて正規化を行い、0から1の値範囲に設定する(ステップS237b,S237c)。ここで、Sは、例えば80とする。ここでは、0から80の値で制限を与えたが、この値は一例であり、この値に制限されない。
説明を図9のフローチャートに戻す。強調手段101cは、上記のように血管らしさを尤度Aとして求めた後(ステップS237)、その尤度Aを用いてディテール画像Dの強調係数K3を求める(ステップS238)。強調係数K3は、K3=A*K2で求めることができる。ここでは、強調係数K3の下限を係数K2のLM1倍とする。ここで、LM1は、0〜1の範囲で、例えば0.5とする。すなわち、K3=max(K3,LM1)で、max()は、要素ごとに2つの引数の最大値を返す関数である。LM1はスカラーであるため、強調係数K3と同次元に同値で拡張して処理がなされる。
続いて、強調手段101cは、ディテール画像Dに強調係数K3を用いて強調処理を施し、ディテール画像Dの強調画像D1とする(ステップS239)。すなわち、強調画像D1は、D1=D*K3で求められる。なお、*は要素ごとの乗算を表している。
続いて、処理部10は、生成手段101dが、強調手段101cにより強調され変換されたベース画像B1と、強調され変換された強調画像D1とを加算(L”=B3+D1)することにより、変換された輝度画像L”を取得する(ステップS240)。続いて、得られた輝度画像L”と、赤系の色相成分であるa軸ならびに青系の色相成分であるb軸の値とによりRGB色空間に変換して最終的な強調画像Eを生成する(ステップS241)。すなわち、生成手段101dは、強調されたベース画像とディテール画像とから輝度を復元し、色情報成分を用いて強調画像を生成する。そして、処理部10は、表示装置120に、例えば、図5の表示画面に示すように、撮影画像表示領域121と強調画像表示領域122とを並べて表示する。
なお、強調手段101cは、上記したように、ベース画像と、ディテール画像のいずれをも強調することができ、ベース画像については明るめに圧縮するか、シャープネスフィルタ処理により圧縮して強調し、ディテール画像については、血管らしさに応じて強調処理を施した。このとき、生成手段101dは、必ずしも、強調されたベース画像と強調されたディテール画像とを必要とせず、少なくとも一方から輝度を復元することが可能である。例えば、生成手段101dは、強調手段101cにより強調されたベース画像(B2またはB3)と、第2の分離手段101bにより分離されたディテール画像(D)とを加算することにより、変換された輝度画像L”を取得することが可能である。
以上説明のように応用例1によれば、処理部10が、画像記憶部102に記憶された撮影画像を輝度成分と色情報成分とに分離し、輝度成分からなる輝度画像をベース画像とディテール画像とに分離し、ベース画像を中心値よりも明るく圧縮するか、ベース画像にシャープネスフィルタ処理を施し、強調されたベース画像とディテール画像とから輝度を復元し、色情報成分を用いて強調画像を生成することにより、例えば、図11の表示画面に示すように、撮影画像表示領域121と強調画像表示領域122とを並べて表示することができる。ここで、ベース画像を中心値よりも明るく圧縮して強調した場合、血管色が維持され、ベース画像にシャープネスフィルタ処理を施して強調した場合、細かなノイズが増えずに、画像内のベース画像がシャープになる。したがって、医師は、例えば、線状血管や点状血管について明瞭な画像を視認でき、容易、かつ的確に診断を行うことができ、診断精度が向上する。
なお、応用例1によれば、輝度成分をベース画像とディテール画像とに分離する際にバイラテラルフィルタ処理を用いることとしたが、バイラテラルフィルタに限らず、エプシロンフィルタ等、エッジ保存型平滑化フィルタであれば代替可能である。また、画面表示例として、図11に示すように、撮影画像表示領域121と強調画像表示領域122とを並べて表示したが、同じ画面上で切り替えて表示しても同様の効果が得られる。また、輝度画像を得るのにLab色空間を利用したが、Lab色空間によらず、例えば、輝度信号と2つの色差信号を使って表現されるYUV色空間の輝度信号Yを使用してもよい。
また、本実施形態に係る診断装置100によれば、血管らしさ(尤度A)として、Lab色空間のa軸を用いたが、a軸をb軸のプラス方向に、(a1,b1)を中心として回転させた軸を使用してもよい。その場合、a1は10〜50の値を、b1は0、回転量は0.3ラジアンから0.8ラジアン程度回転させることが必要である。
(応用例2)
なお、上述した応用例1によれば、撮影画像の輝度成分をベース画像とディテール画像とに分離し、ベース画像を中心値よりも明るく圧縮するか、ベース画像にシャープネスフィルタ処理を施し、強調されたベース画像とディテール画像とから輝度を復元して色情報成分を用いて強調画像を生成する例について説明したが、輝度成分をベース画像とディテール画像とに分離した後、ディテール画像を診断の対象のそれらしさ(尤度)に応じて強調処理を施し、ベース画像と強調されたディテール画像とから輝度を復元し、色情報を用いて強調画像を生成しても同様の効果がえられる。以下に応用例2としてその詳細を説明する。ここでも応用例1同様、図8〜図10を用いて詳述する。
応用例2において、処理部10は、第1の分離手段101aと、第2の分離手段101bと、強調手段101cと、生成手段101dと、を含む。
第1の分離手段101aは、撮影画像を輝度成分と色情報成分とに分離する手段として機能する。また、第2の分離手段101bは、輝度成分をベース画像とディテール画像に分離する手段として機能する。強調手段101cは、ディテール画像に対して強調処理を施す手段として機能し、ディテール画像を診断の対象の部位のそれらしさに応じて強調する。このとき、強調手段101cは、第1の色空間(CIELab色空間)の赤系の色相方向に応じた色情報成分を取得し、この色情報成分の所定の範囲を正規化し、正規化して得られる部位のそれらしさを示す尤度をディテール画像の強調係数に反映させて強調されたディテール画像を生成してもよい。
生成手段101dは、第2の分離手段により分離されたベース画像と、強調手段101cにより強調されたディテール画像とを加算して輝度を復元し、復元された輝度と、第1の色空間(CIELab色空間)の赤系の色相方向と青色の色相方向に応じた色情報成分とから第2の色空間(RGB色空間)に変換して強調画像を生成する手段として機能する。
上記した第1の分離手段101a、第2の分離手段101b、強調手段101c、生成手段101dは、いずれも、処理部10が、処理部10が有する本実施形態に係るプログラムを逐次読み出し実行することにより、それぞれが持つ上記した機能を実現する。
図9に示すように、処理部10は、まず、色空間変換を行う。処理部10は、第1の分離手段101aが、ダーモスコープ付き撮影装置110から取得されるRGB色空間の撮影画像を、CIELAB色空間に変換する(ステップS231)。次に、処理部10は、第2の分離手段101bが、撮影画像をベース画像とディテール画像とに分離するために、L画像にエッジ保存型フィルタ処理を施す(ステップS232)。ここで、エッジ保存型フィルタとして、例えば、バイラテラルフィルタを用いる。
次に、処理部10は、強調手段101cが、L画像にバイラテルフィルタ処理を施して得られるB画像、B=bilateral_filter(L)を取得する。ここで、B画像はベース画像である。次に、強調手段101cが、ディテール画像であるD画像を取得する。D画像は、D=L画像−B画像により取得することができる(ステップS233)。
続いて、強調手段101c(第1の強調手段)は、ベース画像Bをp階乗することにより強調されたベース画像B1を得る(ステップS234)。このときのpは、p<=1となる。このとき、強調手段101cは、ベース画像Bの取りうる最大値と最小値が変換前後で同じになるように処理する。具体的には、Lab色空間では輝度Lの値範囲が0から100であるため、B1は、B1=(B^p)/(100^p)*100で求めることができる。次に、強調手段101cは、B1を、値Zを基準にK1倍して圧縮画像B2を得る(S235)。
圧縮画像B2は、B2=(B1−Z)*K1+Zで求めることができる。ここで、係数K1は圧縮率で1以下とし、ここでは0.2〜0.8程度の値とする。また、Zは、中心Cよりも明るめに設定する。ここで、Cは値の中心位置であり、C=(50^p)/(100^p)*100であり、これを5%から50%程度大きくした値がZになる。すなわち、強調手段101cは、ベース画像を中心値よりも明るく圧縮して強調する。
次に、強調手段101cは、圧縮画像B2にシャープネスフィルタ処理を施して鮮鋭化画像B3とする(ステップS236:B3_←_sharpnessFilter(B2))。強調手段101cは、シャープネスフィルタ処理を実行するにあたり、応用例1同様カーネルMを圧縮画像B2に畳み込み演算(convoltion)を行う。
なお、強調手段101cは、圧縮強調処理と、続くシャープネスフィルタ処理を行うものとして説明したが、圧縮強調処理とシャープネスフィルタ処理の両方を実行することは必須でなく、少なくとも圧縮強調処理とシャープネスフィルタ処理の一方でよい。
次に、強調手段101cは、血管らしさを尤度Aとして抽出してディテール画像の強調の程度に反映させる処理を実行する(ステップS237)。血管らしさ(尤度A)は、ノイズを除去したベース画像の圧縮画像B2と同じ次元の情報をもっており、各ピクセルに対して0から1の血管らしさの情報を持つ。血管らしさが増すと1に近づく。
図10のフローチャートに示すように、強調手段101cは、Lab色空間の赤系の色相方向であるa軸の値を取得し(ステップS237a)、血管らしさ(尤度A)について、aの値を、0からSの範囲で制限を与えて正規化を行い、0から1の値範囲に設定する(ステップS237b,S237c)。ここで、Sは、例えば80とする。ここでは、0から80の値で制限を与えたが、この値は一例であり、この値に制限されるものではない。
説明を図9のフローチャートに戻す。強調手段101cは、上記のように血管らしさを尤度Aとして抽出した後(ステップS237)、その尤度Aを用いてディテール画像Dの強調係数K3を求める(ステップS3238)。強調係数K3は、K3=A*K2で求めることができる。ここでは、強調係数K3の下限を係数K2のLM1倍とする。ここで、LM1は、0〜1の範囲で、例えば0.5とする。すなわち、K3=max(K3,LM1)で、max()は、要素ごとに2つの引数の最大値を返す関数である。LM1はスカラーであるため、強調係数K3と同次元に同値で拡張して処理がなされる。強調手段101cは、ディテール画像Dに強調係数K3を用いて強調処理を施し、ディテール画像Dの強調画像D1とする(ステップS239)。すなわち、ディテール画像の強調画像D1は、D1=D*K3で求められる。
続いて、処理部10は、生成手段101dが、強調手段101cにより強調され変換されたベース画像B1と、強調され変換された強調画像D1とを加算(L”=B3+D1)することにより、変換された輝度画像L”を取得する(ステップS240)。続いて、得られた強調輝度L”と、赤系の色相成分であるa軸ならびに青系の色相成分であるb軸の値とによりRGB色空間に変換して最終的な強調画像Eを生成する(ステップS241)。すなわち、生成手段101dは、強調されたベース画像とディテール画像とから輝度を復元し、色情報成分を用いて強調画像を生成する。そして、処理部10は、表示装置120に、例えば、図11の表示画面に示すように、撮影画像表示領域121と強調画像表示領域122とを並べて表示する。
なお、強調手段101cは、上記したように、ベース画像と、ディテール画像のいずれをも強調することができ、ベース画像については明るめに圧縮するか、シャープネスフィルタ処理により圧縮して強調し、ディテール画像については、血管らしさに応じて強調処理を施した。これをうけて生成手段101dが変換された輝度画像L”を取得するにあたり(ステップS240)、必ずしも、強調されたベース画像と、強調されたディテール画像の両方を必要とせず、少なくとも一方を使用することで復元することができる。例えば、生成手段101dは、第2の分離手段101bにより分離されたベース画像(B画像)と、強調手段101cにより強調されたディテール画像(D1画像)とを加算することにより、変換された輝度画像L”を取得することが可能である。
以上説明のように応用例2によれば、処理部10が、画像記憶部102に記憶された撮影画像を輝度成分と色情報成分とに分離し、輝度成分をベース画像とディテール画像とに分離し、強調手段101cが、ディテール画像を診断の対象の部位のそれらしさに応じて強調処理を施し、生成手段101dが、ベース画像と強調されたディテール画像とから輝度を復元し、色情報成分を用いて強調画像を生成することにより、例えば、図11の表示画面に示すように、撮影画像表示領域121と強調画像表示領域122とを並べて表示することができる。
応用例2により、ディテール画像を血管らしさに応じて強調すると、全体のノイズ感を変えずに血管周辺が鮮明になり、したがって、医師は、例えば、線状血管や点状血管について、撮影画像とは異なる明瞭な画像を視認でき、容易、かつ的確に診断を行うことができ、その結果、診断精度が向上する。
なお、ベース画像を骨格成分画像、ディテール画像を詳細成分画像と表現することもある。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
〔付記〕
[請求項1]
皮膚画像を用いて皮膚の病変を診断するための診断装置であって、
前記皮膚画像を輝度成分と色情報成分に分離する手段と
前記輝度成分に第1の成分分解フィルタを施して第1のディテール画像を取得する手段と、
前記輝度成分に前記第1の成分分解フィルタとは特性の異なる第2の成分分解フィルタを施して第2のディテール画像を取得する手段と、
前記第1のディテール画像及び前記第2のディテール画像から第3のディテール画像を生成する手段と、
前記第3のディテール画像を用いて第3のベース画像を新たに生成する手段と、
前記第3のベース画像及び前記第3のディテール画像を合成して輝度成分を復元して強調画像を生成する手段と、
を備えることを特徴とする診断装置。
[請求項2]
前記強調画像を生成する手段は、前記復元された輝度成分と前記色情報成分を用いて強調画像を生成することを特徴とする請求項1に記載の診断装置。
[請求項3]
前記強調画像を生成する手段は、前記第3のベース画像及び前記第3のディテール画像を係数処理のうえ再合成して輝度成分を復元して強調画像を生成することを特徴とする請求項1又は2に記載の診断装置。
[請求項4]
前記第1のディテール画像を取得する手段は、前記輝度成分に第1の成分分解フィルタを施して得られた第1のベース画像を前記輝度成分から減算して前記第1のディテール画像を取得し、
前記第2のディテール画像を取得する手段は、前記輝度成分に第2の成分分解フィルタを施して得られた第2のベース画像を前記輝度成分から減算して前記第2のディテール画像を取得することを特徴とする請求項1から3のいずれか1項に記載の診断装置。
[請求項5]
前記皮膚画像がダーモスコピー画像であることを特徴とする請求項1から4のいずれか1項に記載の診断装置。
[請求項6]
前記第1の成分分解フィルタが、前記皮膚画像のエッジ周辺を強調する第1のエッジ保存型平滑フィルタであり、
前記第2の成分分解フィルタが、前記皮膚画像のエッジ周辺を鈍化する第2のエッジ保存型平滑フィルタであることを特徴とする請求項1から5のいずれか1項に記載の診断装置。
[請求項7]
前記第3のディテール画像が、前記第2のディテール画像のプラス領域を前記第1のディテール画像で置き換えることにより合成されることを特徴とする請求項1から6のいずれか1項に記載の診断装置。
[請求項8]
前記第3のディテール画像が平滑フィルタを施されることを特徴とする請求項7に記載の診断装置。
[請求項9]
前記第3のベース画像が前記輝度成分から前記第3のディテール画像を減算することにより生成されることを特徴とする請求項1から8のいずれか1項に記載の診断装置。
[請求項10]
前記復元された輝度成分が、前記係数処理において、前記第3のディテール画像のゲインが上がり、かつ、前記第3のベース画像のゲインが下がるように再合成されることを特徴とする請求項1から9のいずれか1項に記載の診断装置。
[請求項11]
前記復元された輝度成分が、前記第3のベース画像と、尤度に応じて強調処理された前記第3のディテール画像とから再合成されることを特徴とする請求項1から9のいずれか1項に記載の診断装置。
[請求項12]
皮膚画像を用いて皮膚の病変を診断するための診断装置における画像処理方法であって、
前記皮膚画像を輝度成分と色情報成分に分離するステップと
前記輝度成分に第1の成分分解フィルタを施して得られた第1のディテール画像を取得するステップと、
前記輝度成分に前記第1の成分分解フィルタとは特性の異なる第2の成分分解フィルタを施して得られた第2のディテール画像を取得するステップと、
前記第1のディテール画像及び前記第2のディテール画像から第3のディテール画像を生成するステップと、
前記第3のディテール画像を用いて第3のベース画像を新たに生成するステップと、
前記第3のベース画像及び前記第3のディテール画像を合成して輝度成分を復元して強調画像を生成するステップと、
を備えることを特徴とする画像処理方法。
[請求項13]
皮膚画像を用いて皮膚の病変を診断するための診断装置における画像処理のプログラムであって、
コンピュータに、
前記皮膚画像を輝度成分と色情報成分に分離する機能と
前記輝度成分に第1の成分分解フィルタを施して得られた第1のディテール画像を取得する機能と、
前記輝度成分に前記第1の成分分解フィルタとは特性の異なる第2の成分分解フィルタを施して得られた第2のディテール画像を取得する機能と、
前記第1のディテール画像及び前記第2のディテール画像から第3のディテール画像を生成する機能と、
前記第3のディテール画像を用いて第3のベース画像を新たに生成する機能と、
前記第3のベース画像及び前記第3のディテール画像を合成して輝度成分を復元して強調画像を生成する機能と、
を実行させることを特徴とするプログラム。
100…診断装置、10…処理部、10a…分離手段、10b…第1ディテール画像取得手段、10c…第2ディテール画像取得手段、10d…第3ディテール画像生成手段、10e…ベース画像生成手段、10f強調画像生成手段、110…ダーモスコープ付き撮影装置、120…表示装置、121…撮影画像表示領域、122…強調画像表示領域、130…入力装置

Claims (12)

  1. 皮膚画像を用いて皮膚の病変を診断するための診断装置であって、
    前記皮膚画像の輝度成分に前記皮膚画像のエッジ周辺を強調する第1のエッジ保存型平滑フィルタを施して第1のディテール画像を取得する手段と、
    前記輝度成分に前記皮膚画像のエッジ周辺を鈍化する第2のエッジ保存型平滑フィルタを施して第2のディテール画像を取得する手段と、
    前記第1のディテール画像及び前記第2のディテール画像から第3のディテール画像を生成する手段と、
    前記第3のディテール画像を用いて第3のベース画像を新たに生成する手段と、
    前記第3のベース画像及び前記第3のディテール画像を合成して輝度成分を復元して強調画像を生成する手段と、
    を備えることを特徴とする診断装置。
  2. 前記皮膚画像を輝度成分と色情報成分に分離する手段をさらに備え、
    前記強調画像を生成する手段は、前記復元された輝度成分と前記色情報成分を用いて強調画像を生成することを特徴とする請求項1に記載の診断装置。
  3. 前記強調画像を生成する手段は、前記第3のベース画像及び前記第3のディテール画像を係数処理のうえ再合成して輝度成分を復元して強調画像を生成することを特徴とする請求項1又は2に記載の診断装置。
  4. 前記第1のディテール画像を取得する手段は、前記輝度成分に第1の成分分解フィルタを施して得られた第1のベース画像を前記輝度成分から減算して前記第1のディテール画像を取得し、
    前記第2のディテール画像を取得する手段は、前記輝度成分に第2の成分分解フィルタを施して得られた第2のベース画像を前記輝度成分から減算して前記第2のディテール画像を取得することを特徴とする請求項1から3のいずれか1項に記載の診断装置。
  5. 前記皮膚画像がダーモスコピー画像であることを特徴とする請求項1から4のいずれか1項に記載の診断装置。
  6. 前記第3のディテール画像が、前記第2のディテール画像のプラス領域を前記第1のディテール画像で置き換えることにより合成されることを特徴とする請求項1からのいずれか1項に記載の診断装置。
  7. 前記第3のディテール画像が平滑フィルタを施されることを特徴とする請求項に記載の診断装置。
  8. 前記第3のベース画像が前記輝度成分から前記第3のディテール画像を減算することにより生成されることを特徴とする請求項1からのいずれか1項に記載の診断装置。
  9. 前記復元された輝度成分が、前記係数処理において、前記第3のディテール画像のゲインが上がり、かつ、前記第3のベース画像のゲインが下がるように再合成されることを特徴とする請求項3に記載の診断装置。
  10. 前記復元された輝度成分が、前記第3のベース画像と、尤度に応じて強調処理された前記第3のディテール画像とから再合成されることを特徴とする請求項1から9のいずれか1項に記載の診断装置。
  11. 皮膚画像を用いて皮膚の病変を診断するための診断装置における画像処理方法であって、
    前記皮膚画像の輝度成分に前記皮膚画像のエッジ周辺を強調する第1のエッジ保存型平滑フィルタを施して得られた第1のディテール画像を取得するステップと、
    前記輝度成分に前記皮膚画像のエッジ周辺を鈍化する第2のエッジ保存型平滑フィルタを施して得られた第2のディテール画像を取得するステップと、
    前記第1のディテール画像及び前記第2のディテール画像から第3のディテール画像を生成するステップと、
    前記第3のディテール画像を用いて第3のベース画像を新たに生成するステップと、
    前記第3のベース画像及び前記第3のディテール画像を合成して輝度成分を復元して強調画像を生成するステップと、
    を備えることを特徴とする画像処理方法。
  12. 皮膚画像を用いて皮膚の病変を診断するための診断装置における画像処理のプログラムであって、
    コンピュータに、
    前記皮膚画像の輝度成分に前記皮膚画像のエッジ周辺を強調する第1のエッジ保存型平滑フィルタを施して得られた第1のディテール画像を取得する機能と、
    前記輝度成分に前記皮膚画像のエッジ周辺を鈍化する第2のエッジ保存型平滑フィルタを施して得られた第2のディテール画像を取得する機能と、
    前記第1のディテール画像及び前記第2のディテール画像から第3のディテール画像を生成する機能と、
    前記第3のディテール画像を用いて第3のベース画像を新たに生成する機能と、
    前記第3のベース画像及び前記第3のディテール画像を合成して輝度成分を復元して強調画像を生成する機能と、
    を実行させることを特徴とするプログラム。
JP2015054328A 2015-03-18 2015-03-18 診断装置並びに当該診断装置における画像処理方法及びそのプログラム Active JP6164238B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015054328A JP6164238B2 (ja) 2015-03-18 2015-03-18 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
EP16150884.1A EP3070673B1 (en) 2015-03-18 2016-01-12 Image processing method to diagnose cutaneous lesion, and diagnostic apparatus used for the same method
AU2016200209A AU2016200209B2 (en) 2015-03-18 2016-01-13 Image processing method to diagnose cutaneous lesion, diagnostic apparatus used for the same method, and medium storing program associated with the same method
US14/995,031 US10089735B2 (en) 2015-03-18 2016-01-13 Image processing method to diagnose cutaneous lesion, diagnostic apparatus used for the same method, and medium storing program associated with the same method
CA2917481A CA2917481C (en) 2015-03-18 2016-01-13 Image processing method to diagnose cutaneous lesion, diagnostic apparatus used for the same method, and medium storing program associated with the same method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015054328A JP6164238B2 (ja) 2015-03-18 2015-03-18 診断装置並びに当該診断装置における画像処理方法及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2016173785A JP2016173785A (ja) 2016-09-29
JP6164238B2 true JP6164238B2 (ja) 2017-07-19

Family

ID=55221267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015054328A Active JP6164238B2 (ja) 2015-03-18 2015-03-18 診断装置並びに当該診断装置における画像処理方法及びそのプログラム

Country Status (5)

Country Link
US (1) US10089735B2 (ja)
EP (1) EP3070673B1 (ja)
JP (1) JP6164238B2 (ja)
AU (1) AU2016200209B2 (ja)
CA (1) CA2917481C (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LU92673B1 (en) * 2015-03-05 2016-09-06 Iee Int Electronics & Eng Sa Method and system for real-time noise removal and image enhancement of high-dynamic range images
US10742899B1 (en) 2017-08-30 2020-08-11 Snap Inc. Systems, devices, and methods for image enhancement
CN107833232B (zh) * 2017-10-27 2020-10-09 智车优行科技(北京)有限公司 图像细节的提取方法和装置、电子设备、计算机存储介质
CN108335275B (zh) * 2018-02-13 2019-12-13 腾讯科技(深圳)有限公司 图像增强方法、装置、计算设备及存储介质
JP7280107B2 (ja) * 2019-05-10 2023-05-23 株式会社エビデント 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム
JP7044120B2 (ja) 2020-02-07 2022-03-30 カシオ計算機株式会社 識別装置、識別器学習方法、識別方法及びプログラム
US11354781B2 (en) * 2020-07-20 2022-06-07 Samsung Electronics Co., Ltd. Single-image detail and contrast enhancement
CN113284058B (zh) * 2021-04-16 2024-04-16 大连海事大学 一种基于迁移理论的水下图像增强方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10139708A1 (de) 2001-08-11 2003-02-20 Philips Corp Intellectual Pty Vorrichtung und Verfahren zur Verarbeitung von Digitalbildern
JP4437202B2 (ja) 2004-01-09 2010-03-24 学校法人慶應義塾 色素沈着部位の遠隔診療システム
NZ556655A (en) * 2005-01-19 2010-10-29 Dermaspect Llc Devices and methods for identifying and monitoring changes of a suspect area on a patient
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
CN104067311B (zh) * 2011-12-04 2017-05-24 数码装饰有限公司 数字化妆
US9412155B2 (en) * 2012-12-31 2016-08-09 Karl Storz Imaging, Inc. Video system with dynamic contrast and detail enhancement
JP6036790B2 (ja) * 2014-11-07 2016-11-30 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP6187535B2 (ja) * 2014-12-25 2017-08-30 カシオ計算機株式会社 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム

Also Published As

Publication number Publication date
EP3070673B1 (en) 2019-04-03
AU2016200209A1 (en) 2016-10-06
AU2016200209B2 (en) 2020-09-10
US20160275675A1 (en) 2016-09-22
CA2917481C (en) 2018-06-05
EP3070673A1 (en) 2016-09-21
CA2917481A1 (en) 2016-09-18
JP2016173785A (ja) 2016-09-29
US10089735B2 (en) 2018-10-02

Similar Documents

Publication Publication Date Title
JP6164238B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
EP3029629B1 (en) Diagnostic apparatus and image processing method in the same apparatus
JP6003963B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP6361501B2 (ja) 診断装置
JP6519703B2 (ja) 画像処理方法、診断装置、並びにプログラム
JP6036790B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP6187535B2 (ja) 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム
JP6003964B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP6003965B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
CN110140150B (zh) 一种图像处理方法、装置以及终端设备
JP6503733B2 (ja) 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム
JP6319370B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
CN117437136A (zh) 内窥镜图像的增强处理方法、装置、设备及存储介质
JP6265231B2 (ja) 診断装置、画像処理方法、及びプログラム
JP6459410B2 (ja) 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2018043041A (ja) 診断支援装置並びに画像処理方法及びそのプログラム
JP2018043042A (ja) 診断支援装置並びに画像処理方法及びそのプログラム

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161227

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170605

R150 Certificate of patent or registration of utility model

Ref document number: 6164238

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150