JPWO2018159288A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JPWO2018159288A1 JPWO2018159288A1 JP2019502857A JP2019502857A JPWO2018159288A1 JP WO2018159288 A1 JPWO2018159288 A1 JP WO2018159288A1 JP 2019502857 A JP2019502857 A JP 2019502857A JP 2019502857 A JP2019502857 A JP 2019502857A JP WO2018159288 A1 JPWO2018159288 A1 JP WO2018159288A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- noise
- noise reduction
- visible light
- fluorescent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 285
- 238000003672 processing method Methods 0.000 title claims description 12
- 230000009467 reduction Effects 0.000 claims abstract description 347
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 201
- 238000000034 method Methods 0.000 claims abstract description 100
- 230000008569 process Effects 0.000 claims description 95
- 238000011946 reduction process Methods 0.000 claims description 46
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 230000007423 decrease Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 16
- 230000003902 lesion Effects 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
Description
蛍光画像は、例えば、特定の波長領域からなる励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影することで得られる画像である。
蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。
なお、可視光画像と蛍光画像を用いた内視鏡装置については、例えば特許文献1(特開2013−212323号公報)等に記載がある。
しかし、例えば、医療装置において、画像を観察する医師等の要望として、病変部を確実に確認するため、可視光単独の画像や、蛍光画像単独の画像、さらに、可視光画像と蛍光画像との重畳率を変更した様々な画像を観察したいという要望がある。
このようなノイズレベルの違う2つの画像を重畳して表示する場合、以下のような問題点が発生する。
例えば可視光画像の表示処理に続いて、可視光画像に蛍光画像を重畳させた重畳画像を表示すると、可視光画像には存在しなかった蛍光画像に含まれるノイズに起因する点や線が、突然、表示装置に表示されるといったことが発生する。
このような状況が発生すると、医師等の画像観察者は、これらの点や線が病変部等の被写体画像であるのか、ノイズであるのかを判別することが困難となり、正確な診断ができなくなるという問題がある。
蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、
可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、
を備え、
前記ノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理装置にある。
画像処理装置において実行する画像処理方法であり、
蛍光画像ノイズ低減部が、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減ステップと、
画像重畳部が、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳ステップを有し、
前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり、
蛍光画像ノイズ低減部に、蛍光画像のノイズ低減処理を実行させてノイズ低減蛍光画像を生成させる蛍光画像ノイズ低減ステップと、
画像重畳部に、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成させる画像重畳ステップを実行させ、
前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理として実行させるプログラムにある。
具体的には、例えば、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、設定された重畳率に応じて、可視光画像とノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、蛍光画像ノイズ低減部における蛍光画像のノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有する。蛍光画像ノイズ低減強度算出部は、重畳率が変更された場合でも、ノイズ低減蛍光画像のノイズレベルを、重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する。
これらの構成、処理により、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.蛍光画像の概要について
2.本開示の画像処理装置の実施例1の構成と処理について
3.画像処理装置の実行する処理のシーケンスについて
4.本開示の画像処理装置の実施例2の構成と処理について
4−1.ノイズ低減強度に基づいてフィルタサイズを決定する構成例について
4−2.ノイズ低減強度と画像特徴量に基づく学習データに基づいてフィルタサイズを決定する構成例について
5.本開示の画像処理装置の実施例3の構成と処理について
6.画像処理装置のハードウェア構成例について
7.本開示の構成のまとめ
まず、蛍光画像の概要について説明する。
前述したように、生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像の他、蛍光画像の利用が増加している。
蛍光画像は、特定波長の励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影した画像である。
蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。
蛍光画像は、特定波長の励起光を照射し、例えば血管等の生体組織から出力される蛍光を撮像素子に入力して撮影する画像である。
励起光が血管に照射されると、複数の散乱光が発生する。特に生体組織1の深い部分では、より多くの散乱光が発生し、その結果、撮像素子に撮影される蛍光画像のノイズが大きくなるという問題がある。
具体的には、例えば表示装置に可視光画像と蛍光画像との重畳率を変更する操作部を設け、医師等の観察者が操作部を操作して、可視光画像と蛍光画像との重畳率を順次、変更して様々な画像を連続的に観察する構成である。
このようなノイズレベルの違う可視光画像と蛍光画像との重畳率を順次、変更して様々な重畳率の画像を連続的に表示すると、重畳率の変化に応じて蛍光画像のノイズに起因する点や線が表示されたり消えたりすることがある。
このような状況が発生すると、医師等の画像観察者は、これらの点や線が病変部等の被写体画像であるのか、ノイズであるのかを判別することが困難となり、正確な診断ができなくなる。
図2以下を参照して本開示の画像処理装置の実施例1の構成と処理について説明する。
図2は、本開示の実施例1の画像処理装置100の構成例を示すブロック図である。
なお、本開示の画像処理装置は、具体的には例えば、撮像装置や、撮像装置の撮影画像を入力して画像処理を実行するPC等の情報処理装置等において実現可能である。
以下では、本開示の画像処理装置100の一実施例として、可視光画像10と、蛍光画像20の重畳処理を実行する実施例について説明する。
例えば、画像処理装置100自体が、可視光画像と蛍光画像の撮像処理を行なう撮像部を有する構成としてもよいし、画像処理装置100は撮像部を持たず、撮像装置の撮影した可視光画像と蛍光画像を入力する構成としてもよい。
なお、これら2つの画像に位置ずれ等がある場合、既存技術を適用した位置合わせ処理を予め実行する。
すなわち、図2に示す可視光画像10と、蛍光画像20は、同一被写体を撮影した位置合わせ済みの2つの画像である。
まず、画像処理装置100の各構成部の実行する処理の概要について説明し、後段で、各構成部の具体的処理について詳細に説明する。
可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103は、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
生成された重畳画像30は、画像表示部120に表示される。
まず、画像処理装置100の各構成部の実行する処理の概要について説明した。
次に、各構成部の具体的処理について詳細に説明する。
前述したように、重畳率設定部101は、例えば医師等の画像観察者によって操作可能な操作部を有し、重畳画像30を構成する可視光画像成分と蛍光画像成分の比率である重畳率を調整することを可能とした構成を持つ。
スライド操作つまみ121をスライドさせることで、画像表示部120に表示される重畳画像30を構成する可視光画像と蛍光画像の重畳率を変化させることができる。
スライド操作つまみ121を右に移動させると、徐々に可視光画像の重畳率が低下し、蛍光画像の重畳率が上昇する。
なお、本開示の画像処理装置、すなわち、図2に示す構成を有する画像処理装置100において、重畳画像30を構成する蛍光画像は、蛍光画像ノイズ低減部105において生成されたノイズ低減蛍光画像112である。
重畳率α=0の重畳画像は、可視光画像であり、
重畳率α=1の重畳画像は、蛍光画像(ノイズ低減蛍光画像)である。
ynr=(1−α)yV+αyFnr ・・・(式1)
ただし、yVは、可視光画像の画素値、
yFnrは、ノイズ低減蛍光画像の画素値である。
なお、Vは可視光画像を意味し、Fは蛍光画像を意味する添え字である。
nrはノイズ低減画像、またはノイズ低減画像を適用した重畳画像であることを意味する。
表示部に表示される重畳画像に含まれる蛍光画像領域を観察しやすくするため、重畳処理の前に蛍光画像を所定の色、例えば緑等で着色(カラー化)する画素値修正を行い、この修正後に、重畳する構成としてもよい。
先に説明したように、可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103は、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
ステップS11〜S14は、ノイズレベル推定のための可視光画像10と、蛍光画像20に含まれる画像領域(ブロック)を選択する処理である。
すなわち、ノイズ推定を行うための最適な画像領域(ブロック)、例えば一辺が数10〜数100画素からなる矩形型のブロックを可視光画像10と、蛍光画像20から選択する。
ここでは、以下の複数のブロックを選択する。
(xvn,yvn) n=0,1,2,3・・・
(xvn,yvn)は、例えば、ブロックの中心座標である。
ここでは、以下の複数のブロックを選択する。
(xfm,yfm) m=0,1,2,3・・・
(xfm,yfm)は、例えば、ブロックの中心座標である。
両者の位置が一番近い2つのブロックのペアをノイズ測定ブロックとする。
以下の(式2)に従って、選択される2つのブロックのペアをノイズ測定ブロックとする。
すなわち、ステップS13において、上記(式2)に従って選択されたノイズ測定ブロックが複数ある場合は、ステップS14で、複数のブロックペアから、画像中心に最も近いブロックを選択する。
すなわち、以下の(式3)に従って選択される画像中心に最も近いブロックのペアをノイズ測定ブロックとする。
また、ステップS16では、蛍光画像の選択ブロックの画素値の標準偏差を算出し、算出した標準偏差に基づいてノイズレベルを推定する。
標準偏差が大きいほどノイズレベルが大となる。
なおノイズレベルの算出処理には、標準偏差値を用いる他、ブロック内の画素の画素値(輝度)平均値や、分散、あるいは隣接差分絶対値和等を用いてもよい。
先に図2を参照して説明したように、蛍光画像ノイズ低減強度算出部104は、可視光画像ノイズレベル推定部102と、蛍光画像ノイズレベル推定部103において推定された可視光画像10と、蛍光画像20に含まれるノイズレベルに応じて、蛍光画像20のノイズレベルの低減強度であるノイズレベル低減強度β,111を算出する。
なお、前提条件として、重畳率をα(ただし0≦α≦1)として、重畳画像は、以下の重畳率を適用した画像の加算処理によって生成されるものとする。
重畳画像=(1−α)(可視光画像)+(α)(ノイズ低減蛍光画像)
まず、蛍光画像ノイズ低減強度算出部104は、ステップS21において、可視光画像の画素値yVを原信号xVと、ノイズ成分信号nvを用いて、以下の式で表す。
yV=xV+nV
次に、蛍光画像ノイズ低減強度算出部104は、ステップS22において、蛍光画像の画素値yFを原信号xFと、ノイズ成分nFを用いて、以下の式で表す。
yF=xF+nF
次に、蛍光画像ノイズ低減強度算出部104は、ステップS23において、ノイズ低減後の蛍光画像の画素値yFnrを原信号xFと、ノイズ低減強度βと、ノイズ成分nFを用いて、以下の式で表す。
yFnr=xF+(1/β)nF
次に、蛍光画像ノイズ低減強度算出部104は、ステップS24において、可視光画像yVとノイズ低減蛍光画像yFnrの重畳画像ynrを、重畳率αを用いて以下で表す。
ynr=(1−α)yV+αyFnr
=(1−α)xV+αxF+(1−α)nV+(α/β)nF
次に、蛍光画像ノイズ低減強度算出部104は、ステップS25において、重畳画像を構成する可視光画像のノイズ成分nVと、ノイズ低減蛍光画像のノイズ成分(α/β)nFを同等にするための式、すなわち以下の式(式4)を設定する。
(1−α)nV=(α/β)nF ・・・(式4)
(a)可視光画像のノイズ信号レベル(1−α)nV、
(b)ノイズ低減蛍光画像のノイズ信号レベル(α/β)nF、
これら(a),(b)の各画像のノイズ信号レベルを一致させる設定とした式である。
次に、蛍光画像ノイズ低減強度算出部104は、ステップS26において、上記(式4)を用いて、蛍光画像に施すノイズ低減処理に適用するノイズ低減強度βを以下の(式5)に従って算出する。
β=(α/(1−α))(nF/nV) ・・・(式5)
上記(式5)から、理解されるように、ノイズ低減強度βは、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。
上記(式5)は、先に説明した(式4)から導かれる式であり、(式4)は、重畳画像に含まれる、
(a)可視光画像のノイズ信号レベル(1−α)nV、
(b)ノイズ低減蛍光画像のノイズ信号レベル(α/β)nF、
これら(a),(b)の各画像のノイズ信号レベルを一致させる設定とした式である。
一方、重畳率αが減少、すなわち、ノイズ低減蛍光画像の重畳率が減少した場合、ノイズ低減強度βが減少し、蛍光画像ノイズ低減部105は、適用するノイズ低減強度を弱めて、蛍光画像20に対するノイズ低減処理を行うことになる。
蛍光画像ノイズ低減部105は、蛍光画像ノイズ低減強度算出部104の算出したノイズレベル低減強度β,111に従って、蛍光画像20のノイズレベルの低減処理を行う。
yF=xF+nF
なお、原信号xVは、ノイズ成分を含まない被写体を反映した画像信号であり、ノイズ成分信号nvは、被写体を反映した画像信号とは異なるノイズ成分のみの信号である。
yFnr=xF+(1/β)nF ・・・(式6)
画像重畳部106は、可視光画像10と、蛍光画像ノイズ低減部105の生成したノイズ低減蛍光画像112を重畳して重畳画像30を生成する。
生成された重畳画像30は、画像表示部120に表示される。
さらに、重畳率設定部101から、例えば医師等の画像観察者の設定した重畳率αを入力する。
yV=xV+nV
また、蛍光画像ノイズ低減部105の生成したノイズレベル低減蛍光画像112の画素値yFnr、図7に示すように、以下の式で表される。
yFnr=xF+(1/β)nF
ynr=(1−α)yV+αyFnr
=(1−α)xV+αxF+(1−α)nV+(α/β)nF ・・・(式7)
先に説明したように、(式5)は、(式4)から導かれる式であり、(式4)は、重畳画像に含まれる、
(a)可視光画像のノイズ信号レベル(1−α)nV、
(b)ノイズ低減蛍光画像のノイズ信号レベル(α/β)nF、
これら(a),(b)の各画像のノイズ信号レベルを一致させる設定とした式である。
すなわち、上記(式7)によって算出される重畳画像に含まれる可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)はほぼ一致したレベル(強度)となる。
この結果、上記(式7)によって示される重畳画像に含まれるノイズ低減蛍光画像112のノイズレベルは、重畳画像に含まれる可視光画像20のノイズレベルとほぼ一致する設定となる。
この結果、上記(式7)によって示される重畳画像に含まれるノイズ低減蛍光画像112のノイズレベルは、重畳画像に含まれる可視光画像20のノイズレベルとほぼ一致する設定となる。
すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。
次に、図2に示す画像処理装置100の実行する処理のシーケンスについて、図8に示すフローチャートを参照して説明する。
以下、図8に示すフローの各ステップの処理について、順次、説明する。
まず、画像処理装置は、ステップS101において、可視光画像と蛍光画像のノイズレベルを推定する。
可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103は、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
可視光画像10については、平坦領域、蛍光画像20については、低輝度領域からブロックを選択し、両ブロックの位置が近く、さらに画像中心に近いブロックのペアを選択して、この選択ブロックペアをノイズレベルの推定処理に適用する画素ブロックとする。
なお、標準偏差の他、ブロック内の画素の画素値(輝度)平均値や、分散、あるいは隣接差分絶対値和等を用いてもよい。
次に、画像処理装置は、ステップS102において、蛍光画像のノイズレベルを、可視光画像のノイズレベルに合わせるために蛍光画像に施すノイズ低減処理のノイズ低減強度βを算出する。
先に図5を参照して説明したように、蛍光画像ノイズ低減強度算出部104は、図5に示すステップS21〜S26の処理を実行して、可視光画像と蛍光画像との重畳率αが変化しても、重畳画像に含まれる可視光画像と蛍光画像のノイズレベルがほぼ一致するレベルとなるように、重畳率に応じたノイズレベル低減強度βを算出する。
β=(α/(1−α))(nF/nV) ・・・(式5)
上記(式5)から、理解されるように、ノイズ低減強度βは、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。
次に、画像処理装置は、ステップS103において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。
先に図6を参照して説明したように、蛍光画像ノイズ低減部105は、蛍光画像ノイズ低減強度算出部104の算出したノイズレベル低減強度βを適用して、以下の(式6)に従ってノイズ低減後の画素値yFnrを持つノイズ低減蛍光画像112を生成する。
yFnr=xF+(1/β)nF ・・・(式6)
次に、画像処理装置は、ステップS104において、可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。
先に図7を参照して説明したように、画像重畳部106は、可視光画像10と、蛍光画像ノイズ低減部105の生成したノイズ低減蛍光画像112を重畳して重畳画像30を生成する。
生成された重畳画像30は、画像表示部120に表示される。
ynr=(1−α)yV+αyFnr
=(1−α)xV+αxF+(1−α)nV+(α/β)nF ・・・(式7)
先に説明したように、(式5)は、(式4)から導かれる式であり、(式4)は、重畳画像に含まれる、
(a)可視光画像のノイズ信号レベル(1−α)nV、
(b)ノイズ低減蛍光画像のノイズ信号レベル(α/β)nF、
これら(a),(b)の各画像のノイズ信号レベルを一致させる設定とした式である。
すなわち、上記(式7)によって算出される重畳画像に含まれる可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)はほぼ一致したレベル(強度)となる。
この結果、上記(式7)によって示される重畳画像に含まれるノイズ低減蛍光画像112のノイズレベルは、重畳画像に含まれる可視光画像20のノイズレベルとほぼ一致する設定となる。
この結果、上記(式7)によって示される重畳画像に含まれるノイズ低減蛍光画像112のノイズレベルは、重畳画像に含まれる可視光画像20のノイズレベルとほぼ一致する設定となる。
すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。
次に、図9以下を参照して本開示の画像処理装置の実施例2の構成と処理について説明する。
まず、ノイズ低減強度に基づいてフィルタサイズを決定する構成例について説明する。
図9は、本開示の実施例2の画像処理装置200の構成例を示すブロック図である。
図9に示す実施例2の画像処理装置200も、先に実施例1として説明した図2に示す画像処理装置100と同様、可視光画像10と、蛍光画像20を入力して、これら2つの画像を重畳した重畳画像30を生成して出力する。重畳画像30は、例えば、画像表示部(ディスプレイ)を持つ画像表示装置220に出力され表示される。
これらの構成要素は、先に実施例1として説明した図2に示す画像処理装置100と同様の構成である。
図9に示す画像処理装置200の蛍光画像ノイズ低減部205は、図9に示すようにルックアップテーブル(LUT)221を有している。
蛍光画像ノイズ低減部205の具体的構成と処理について、図10を参照して説明する。
蛍光画像ノイズ低減部205は、図10に示すように、蛍光画像20を入力し、さらに、蛍光画像ノイズ低減強度算出部204の算出したノイズレベル低減強度β,211を入力する。
ルックアップテーブル(LUT)221の格納データの一例を図11に示す。
図11には、横軸にノイズ低減強度β、縦軸に平均フィルタサイズを設定したグラフを示している。グラフに示す線は、様々なノイズ低減強度βの値に対応付けられた最適な平均フィルタのサイズを示すデータである。
この平均フィルタ適用処理によってノイズ低減蛍光画像212を生成する。
すなわち、ノイズレベル低減強度βが大きいほど、より広い領域の画素を用いた平均化処理が施される。すなわちノイズ低減効果が大きくなる。
以下、図12に示すフローの各ステップの処理について、順次、説明する。
ステップS201〜S202の処理は、先に説明した実施例1の処理である図8に示すフローチャートのステップS101〜S102の処理と同様の処理である。
この処理は、図9に示す画像処理装置200の可視光画像ノイズレベル推定部202、蛍光画像ノイズレベル推定部203の実行する処理である。
可視光画像ノイズレベル推定部202、蛍光画像ノイズレベル推定部203は、先に図4を参照して説明したシーケンスに従って、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
この処理は、図9に示す画像処理装置200の蛍光画像ノイズ低減強度算出部204の実行する処理である。
先に図5を参照して説明したように、蛍光画像ノイズ低減強度算出部204は、図5に示すステップS21〜S26の処理を実行して、可視光画像とノイズ低減蛍光画像との重畳率αが変化しても、重畳画像に含まれる可視光画像とノイズ低減蛍光画像のノイズレベルがほぼ同一になるように重畳率に応じたノイズレベル低減強度βを算出する。
次に、画像処理装置は、ステップS203において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。
先に図10を参照して説明したように、蛍光画像ノイズ低減部205は、蛍光画像ノイズ低減強度算出部204の算出したノイズレベル低減強度βを入力し、ルックアップテーブル(LUT)221から、ノイズ低減強度βの値に対応付けられた最適な平均フィルタのサイズを取得する。
平均フィルタ適用部222は、LUT221から入力したフィルタサイズ213によって決定される大きさの平均フィルタを、蛍光画像20に適用して、蛍光画像のノイズ低減処理を実行する。
この平均フィルタ適用処理によってノイズ低減蛍光画像212を生成する。
次に、画像処理装置は、ステップS204において、可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。
この処理は、先の実施例1において、図7を参照して説明した処理と同様の処理である。画像重畳部206は、可視光画像10と、蛍光画像ノイズ低減部205の生成したノイズ低減蛍光画像212を重畳して重畳画像30を生成する。
生成された重畳画像30は、画像表示部220に表示される。
すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。
次に、実施例2の変形例として、ノイズ低減強度と画像特徴量に基づく学習データに基づいてフィルタサイズを決定する構成例について説明する。
図13は、本開示の実施例2の変形例の画像処理装置200の構成例を示すブロック図である。
図13に示す画像処理装置200は、先に図9を参照して説明した画像処理装置200の構成とほぼ同様の構成であり、蛍光画像ノイズ低減部205が、ルックアップテーブル(LUT)221を有している。
図9の画像処理装置200の構成と異なる点は、蛍光画像ノイズ低減部205に蛍光画像20に併せて、可視光画像10を入力している点である。
蛍光画像ノイズ低減部205は、図14に示すように、先に図10を参照して説明した蛍光画像ノイズ低減部205と同様、ルックアップテーブル(LUT)221と、平均フィルタ適用部222を有している。
図14に示す蛍光画像ノイズ低減部205は、さらに、クラス分類処理部223を有している。
ルックアップテーブル(LUT)221の格納データの一例を図15に示す。
図15には、横軸にノイズ低減強度β、縦軸に平均フィルタサイズを設定したグラフを、複数(000〜nnn)、示している。個々のグラフに示す線は、様々なノイズ低減強度βの値に対応付けられた最適な平均フィルタのサイズを示すデータである。
LUT221では、クラス分類情報214に対応したデータ(グラフで示すLUT)が選択され、その選択データから、入力ノイズ低減強度β,211に対応付けられたフィルタサイズを取得し、取得したフィルタサイズ213を平均フィルタ適用部222に出力する。
この平均フィルタ適用処理によってノイズ低減蛍光画像212を生成する。
クラス分類処理部223におけるクラス分類情報214の出力例について、図16を参照して説明する。
(a)画像特徴
(b)クラス分類情報
(c)適用LUT
これらの対応データを示している。
具体的には、平坦部、テクスチャ部、エッジ部等の画像特徴量に応じた区別がなされ、さらに、各区別された画像特徴の中で、強、中、弱のレベル分けがなされている。
(c)適用LUTは、図15を参照して説明したクラス対応のグラフ(LUT)の識別子である。
次に、(a)画像特徴に基づいて、クラス分類情報214を取得する。
図16に示す(a)画像特徴と、(b)クラス分類情報は、事前に実行されたサンプル画像を適用した学習データを適用して対応付けがなされており、この対応付けデータを利用して、入力した可視光画像10と、蛍光画像20の画像特徴量に対応付けられたクラス分類情報214を選択して出力する。
この平均フィルタ適用処理によってノイズ低減蛍光画像212を生成する。
また、例えばエッジ情報を利用したジョイント・バイラテラルフィルタを適用する構成も可能である。
以下、図17に示すフローは、先に説明した図12のフローとほぼ同様である。
図17に示すフローのステップS201,S202,S204は、図12のフローのステップS201、S202、S204と同じ処理となる。
図17のフロー中、ステップS203bの処理のみが、図12に示すフローのステップS203の処理と異なる処理となる。
(ステップS203b)
画像処理装置は、ステップS203において、ステップS202で算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。
先に図14〜図16を参照して説明したように、蛍光画像ノイズ低減部205は、クラス分類処理部223、ルックアップテーブル(LUT)221、平均フィルタ適用部222を有している。
ルックアップテーブル(LUT)221には、ノイズ低減強度β,211と、クラス分類情報214に対応付けた最適な平均フィルタのサイズが格納されている。
この平均フィルタ適用処理によってノイズ低減蛍光画像212を生成する。
次に、画像処理装置は、ステップS204において、可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。
すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。
次に、図18以下を参照して本開示の画像処理装置の実施例3の構成と処理について説明する。
図18に示す実施例3の画像処理装置300も、先に実施例1として説明した図2に示す画像処理装置100と同様、可視光画像10と、蛍光画像20を入力して、これら2つの画像を重畳した重畳画像30を生成して出力する。重畳画像30は、例えば、画像表示部(ディスプレイ)を持つ画像表示装置320に出力され表示される。
これらの構成要素は、先に実施例1として説明した図2に示す画像処理装置100と同様の構成である。
可視光画像ノイズ低減部307の生成したノイズ低減可視光画像316と、
蛍光画像ノイズ低減部305の生成したノイズ低減蛍光画像315、
これらの2つの画像の重畳処理を実行して重畳画像30を生成する。
入力した可視光画像10のノイズレベルが、予め規定したしきい値より大きいか否かを判定するのは、蛍光画像ノイズ低減強度算出部304である。
可視光画像ノイズ低減部307は、このノイズ低減強度γ312を適用して、可視光画像10のノイズレベル低減処理を実行する。
yV=xV+nV
上記画素値yVによって構成される可視光画像10に対して、ノイズレベル低減強度γを適用して、以下の式に従ってノイズ低減後の画素値yVnrを持つノイズ低減可視光画像316を生成する。
yVnr=xV+(1/γ)nV
先の実施例1において、図5を参照して説明したと同様、蛍光画像ノイズ低減強度算出部304は、可視光画像ノイズレベル推定部302と、蛍光画像ノイズレベル推定部303において推定された可視光画像10と蛍光画像20に含まれるノイズレベルに応じて、蛍光画像20のノイズレベルの低減強度であるノイズレベル低減強度β,311を算出する。
この場合、画像重畳部306は、
可視光画像ノイズ低減部307の生成したノイズ低減可視光画像316と、
蛍光画像ノイズ低減部305の生成したノイズ低減蛍光画像315、
これらの2つの画像の重畳処理を実行して重畳画像30を生成する。
ynr=(1−α)yVnr+αyFnr
=(1−α)xV+αxF+((1−α)/γ)nV+(α/β)nF ・・・(式8)
すなわち、ノイズ低減蛍光画像315のノイズレベルを、ノイズ低減可視光画像316のノイズレベルに合わせるように調整する処理のシーケンスである。
以下、図19を参照して、蛍光画像ノイズ低減強度算出部304の実行するステップS31〜S36の処理について、以下、順次説明する。
まず、蛍光画像ノイズ低減強度算出部304は、ステップS31において、可視光画像の画素値yVを原信号xVと、ノイズ成分信号nvを用いて、以下の式で表す。
yV=xV+nV
次に、蛍光画像ノイズ低減強度算出部304は、ステップS32において、蛍光画像の画素値yFを原信号xFと、ノイズ成分nFを用いて、以下の式で表す。
yF=xF+nF
次に、蛍光画像ノイズ低減強度算出部304は、ステップS33において、ノイズ低減後の蛍光画像の画素値yFnrを原信号xFと、ノイズ低減強度βと、ノイズ成分nFを用いて、以下の式で表す。
yFnr=xF+(1/β)nF
次に、蛍光画像ノイズ低減強度算出部304は、ステップS34において、可視光画像yVとノイズ低減蛍光画像yFnrの重畳画像ynrを、重畳率αを用いて以下で表す。
ynr=(1−α)yV+αyFnr
=(1−α)xV+αxF+(1−α)nV+(α/β)nF
次に、蛍光画像ノイズ低減強度算出部304は、ステップS35において、重畳画像を構成する可視光画像のノイズ成分nVと、ノイズ低減蛍光画像のノイズ成分(α/β)nFを同等にするための式、すなわち以下の式(式4)を設定する。
(1−α)nV=(α/β)nF ・・・(式4)
(a)可視光画像のノイズ信号レベル(1−α)nV、
(b)ノイズ低減蛍光画像のノイズ信号レベル(α/β)nF、
これら(a),(b)の各画像のノイズ信号レベルを一致させる設定とした式である。
次に、蛍光画像ノイズ低減強度算出部304は、ステップS36において、入力した可視光画像10のノイズレベルがしきい値(th)より大きいこと確認すると、可視光画像ノイズ低減部307に、予め規定した可視光画像用のノイズ低減強度γを出力する。
β=(α/(1−α))(nF/((1/γ)nV)) ・・・(式9)
β=(α/(1−α))(nF/nV) ・・・(式5)
上記(式5)中の、可視光画像のノイズレベルnVを、ノイズ低減処理後のノイズレベル、すなわち、(1/γ)nVに変更した式に相当する。
上記(式9)から、理解されるように、ノイズ低減強度βは、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。
ynr=(1−α)yVnr+αyFnr
=(1−α)xV+αxF+((1−α)/γ)nV+(α/β)nF ・・・(式8)
以下、図20に示すフローの各ステップの処理について、順次、説明する。
ステップS301の処理は、先に説明した実施例1の処理である図8に示すフローチャートのステップS101の処理と同様の処理である。
この処理は、図18に示す画像処理装置300の可視光画像ノイズレベル推定部302、蛍光画像ノイズレベル推定部303の実行する処理である。
可視光画像ノイズレベル推定部302、蛍光画像ノイズレベル推定部303は、先に図4を参照して説明したシーケンスに従って、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
次に、画像処理装置は、ステップS302において、可視光画像10のノイズレベルが既定のしきい値(th)より大きいか否かを判定する。
この処理は、図18に示す画像処理装置300の蛍光画像ノイズ低減強度算出部304の実行する処理である。
一方、可視光画像10のノイズレベルが既定のしきい値(th)より大きくない場合は、ステップS321に進む。
ステップS302において、可視光画像10のノイズレベルが既定のしきい値(th)より大きい場合は、ステップS311に進む。
画像処理装置は、ステップS311において、可視光画像に対するノイズ低減処理を実行する。
可視光画像ノイズ低減部307は、予め規定されたノイズ低減強度γを適用して、可視光画像ののいず低減処理を実行して、ノイズ低減可視光画像を生成する。
次に、画像処理装置は、ステップS312において、蛍光画像のノイズレベルを、ステップS311において生成したノイズ低減可視光画像のノイズレベルに合わせるために蛍光画像に施すノイズ低減処理のノイズ低減強度βを算出する。
この処理は、先に図19を参照して説明した処理である。
次に、画像処理装置は、ステップS313において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。
この処理は、実施例1において図6を参照して説明した処理と同様の処理である。
あるいは実施例2において図10他を参照して説明したルックアップテーブル(LUT)221を適用した処理として実行してもよい。
図18に示す画像処理装置300の蛍光画像ノイズ低減部305は、いずれかの処理を実行してノイズ低減蛍光画像312を生成する。
次に、画像処理装置は、ステップS314において、ノイズ低減可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。
生成された重畳画像は、画像表示部220に表示される。
一方、ステップS302において、可視光画像10のノイズレベルが既定のしきい値(th)より大きくないと判定した場合は、ステップS321に進む。
ステップS321〜S323の処理は、実施例1において、図8のフローを参照して説明したステップS102〜S104と同様の処理である。
この処理は、図18に示す画像処理装置300の蛍光画像ノイズ低減強度算出部304の実行する処理である。
この場合の処理は、先の実施例1において、図5を参照して説明したステップS21〜S26の処理となる。
ノイズ低減なし可視光画像とノイズ低減蛍光画像との重畳率αが変化しても、重畳画像に含まれるノイズ低減なし可視光画像とノイズ低減蛍光画像のノイズレベルがほぼ同一になるように重畳率に応じたノイズレベル低減強度βを算出する。
次に、画像処理装置は、ステップS322において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。
この処理は、実施例1において図6を参照して説明した処理と同様の処理である。
あるいは実施例2において図10他を参照して説明したルックアップテーブル(LUT)221を適用した処理として実行してもよい。
図18に示す画像処理装置300の蛍光画像ノイズ低減部305は、いずれかの処理を実行してノイズ低減蛍光画像312を生成する。
次に、画像処理装置は、ステップS323において、ノイズ低減なし可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。
この処理は、先の実施例1において、図7を参照して説明した処理と同様の処理である。画像重畳部306は、可視光画像10と、蛍光画像ノイズ低減部305の生成したノイズ低減蛍光画像312を重畳して重畳画像30を生成する。
生成された重畳画像30は、画像表示部320に表示される。
可視光画像が既定しきい値より大きいノイズレベルでない場合は、ノイズ低減なしの可視光画像とノイズ低減蛍光画像の重畳画像を生成する。
すなわち、ノイズ低減蛍光画像のノイズレベルは、常に、重畳対象となる可視光画像、またはノイズ低減可視光画像のノイズレベルに一致する設定に制御されて表示される。従って、重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。
次に、図21を参照して画像処理装置のハードウェア構成例について説明する。
図21は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、
可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、
を備え、
前記ノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理装置。
前記蛍光画像ノイズ低減強度算出部は、
前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する(1)に記載の画像処理装置。
前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルを適用して、前記ノイズ低減強度を算出する(2)に記載の画像処理装置。
前記画像重畳部において実行する可視光画像とノイズ低減蛍光画像との重畳処理に適用する各画像の重畳率を設定する重畳率設定部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記重畳率が変更された場合でも、前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する(2)または(3)に記載の画像処理装置。
前記ノイズ低減蛍光画像の重畳率が大きいほど、大きなノイズ低減強度を算出する(4)に記載の画像処理装置。
前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルと、前記重畳率を適用して、前記ノイズ低減強度を算出する(4)に記載の画像処理装置。
ノイズ低減強度と、フィルタサイズの対応データからなるルックアップテーブルを有し、
蛍光画像ノイズ低減強度算出部の算出したノイズ低減強度に対応付けられたフィルタサイズを、前記ルックアップテーブルから取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する(1)〜(6)いずれかに記載の画像処理装置。
事前の学習データを適用した画像特徴量に基づくクラス分類情報を出力するクラス分類処理部を有し、
前記クラス分類処理部は、
重畳処理用の可視光画像と蛍光画像の特徴量に基づくクラス分類情報を出力し、
前記クラス分類情報によって選択されるルックアップテーブルを適用して、前記ノイズ低減強度に対応付けられたフィルタサイズを取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する(7)または(8)に記載の画像処理装置。
可視光画像ノイズ低減部を有し、
前記可視光画像ノイズ低減部は、
前記可視光画像が、予め規定したしきい値より大きいノイズレベルを有する場合に、前記可視光画像に対するノイズ低減処理を実行して、ノイズ低減可視画像を生成し、
前記画像重畳部は、前記ノイズ低減可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する(1)〜(9)いずれかに記載の画像処理装置。
前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する前記ノイズ低減可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する(10)に記載の画像処理装置。
前記可視光画像と前記蛍光画像の撮像処理を行なう撮像部を有する(1)〜(11)いずれかに記載の画像処理装置。
蛍光画像ノイズ低減部が、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減ステップと、
画像重畳部が、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳ステップを有し、
前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理方法。
蛍光画像ノイズ低減部に、蛍光画像のノイズ低減処理を実行させてノイズ低減蛍光画像を生成させる蛍光画像ノイズ低減ステップと、
画像重畳部に、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成させる画像重畳ステップを実行させ、
前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理として実行させるプログラム。
具体的には、例えば、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、設定された重畳率に応じて、可視光画像とノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、蛍光画像ノイズ低減部における蛍光画像のノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有する。蛍光画像ノイズ低減強度算出部は、重畳率が変更された場合でも、ノイズ低減蛍光画像のノイズレベルを、重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する。
これらの構成、処理により、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法が実現される。
2 血管
10 可視光画像
20 蛍光画像
30 重畳画像
100,200,300 画像処理装置
101,201,301 重畳率設定部
102,202,302 可視光画像ノイズレベル推定部
103,203,303 蛍光画像ノイズレベル推定部
104,204,304 蛍光画像ノイズ低減強度算出部
105,205,405 蛍光画像ノイズ低減部
106,206,306 画像重畳部
221 ルックアップテーブル(LUT)
222 平均フィルタ適用部
223 クラス分類処理部
307 可視光画像ノイズ低減部
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア
621 撮像部
622 表示部
Claims (14)
- 蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、
可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、
を備え、
前記ノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理装置。 - 前記ノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する請求項1に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルを適用して、前記ノイズ低減強度を算出する請求項2に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記画像重畳部において実行する可視光画像とノイズ低減蛍光画像との重畳処理に適用する各画像の重畳率を設定する重畳率設定部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記重畳率が変更された場合でも、前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する請求項2に記載の画像処理装置。 - 前記蛍光画像ノイズ低減強度算出部は、
前記ノイズ低減蛍光画像の重畳率が大きいほど、大きなノイズ低減強度を算出する請求項4に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルと、前記重畳率を適用して、前記ノイズ低減強度を算出する請求項4に記載の画像処理装置。 - 前記蛍光画像ノイズ低減部は、
ノイズ低減強度と、フィルタサイズの対応データからなるルックアップテーブルを有し、
蛍光画像ノイズ低減強度算出部の算出したノイズ低減強度に対応付けられたフィルタサイズを、前記ルックアップテーブルから取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する請求項1に記載の画像処理装置。 - 前記フィルタは平均フィルタ、または、メディアンフィルタ、バイラテラルフィルタのいずれかである請求項7に記載の画像処理装置。
- 前記蛍光画像ノイズ低減部は、
事前の学習データを適用した画像特徴量に基づくクラス分類情報を出力するクラス分類処理部を有し、
前記クラス分類処理部は、
重畳処理用の可視光画像と蛍光画像の特徴量に基づくクラス分類情報を出力し、
前記クラス分類情報によって選択されるルックアップテーブルを適用して、前記ノイズ低減強度に対応付けられたフィルタサイズを取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する請求項7に記載の画像処理装置。 - 前記画像処理装置は、さらに、
可視光画像ノイズ低減部を有し、
前記可視光画像ノイズ低減部は、
前記可視光画像が、予め規定したしきい値より大きいノイズレベルを有する場合に、前記可視光画像に対するノイズ低減処理を実行して、ノイズ低減可視画像を生成し、
前記画像重畳部は、前記ノイズ低減可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する請求項1に記載の画像処理装置。 - 前記蛍光画像ノイズ低減強度算出部は、
前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する前記ノイズ低減可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する請求項10に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記可視光画像と前記蛍光画像の撮像処理を行なう撮像部を有する請求項1に記載の画像処理装置。 - 画像処理装置において実行する画像処理方法であり、
蛍光画像ノイズ低減部が、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減ステップと、
画像重畳部が、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳ステップを有し、
前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
蛍光画像ノイズ低減部に、蛍光画像のノイズ低減処理を実行させてノイズ低減蛍光画像を生成させる蛍光画像ノイズ低減ステップと、
画像重畳部に、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成させる画像重畳ステップを実行させ、
前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理として実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017037025 | 2017-02-28 | ||
JP2017037025 | 2017-02-28 | ||
PCT/JP2018/004982 WO2018159288A1 (ja) | 2017-02-28 | 2018-02-14 | 画像処理装置、および画像処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018159288A1 true JPWO2018159288A1 (ja) | 2019-12-19 |
JP7127637B2 JP7127637B2 (ja) | 2022-08-30 |
Family
ID=63370849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019502857A Active JP7127637B2 (ja) | 2017-02-28 | 2018-02-14 | 画像処理装置、および画像処理方法、並びにプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190346367A1 (ja) |
EP (1) | EP3590404A4 (ja) |
JP (1) | JP7127637B2 (ja) |
DE (1) | DE112018001054T5 (ja) |
WO (1) | WO2018159288A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7413215B2 (ja) * | 2020-09-09 | 2024-01-15 | 英敏 太田 | 消化器内視鏡 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007075198A (ja) * | 2005-09-12 | 2007-03-29 | Pentax Corp | 電子内視鏡システム |
JP2011199786A (ja) * | 2010-03-23 | 2011-10-06 | Olympus Corp | 画像処理装置及び画像処理方法並びにプログラム |
US20120248333A1 (en) * | 2011-03-30 | 2012-10-04 | Johannes Fallert | Device For Fluorescence Diagnosis |
JP2015019863A (ja) * | 2013-07-19 | 2015-02-02 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 放射線断層撮影装置及びプログラム |
JP2015029841A (ja) * | 2013-08-06 | 2015-02-16 | 三菱電機エンジニアリング株式会社 | 撮像装置および撮像方法 |
WO2015025640A1 (ja) * | 2013-08-23 | 2015-02-26 | オリンパス株式会社 | 蛍光観察装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010122884A1 (ja) * | 2009-04-21 | 2010-10-28 | オリンパスメディカルシステムズ株式会社 | 蛍光画像装置及び蛍光画像取得方法 |
JP5993184B2 (ja) | 2012-04-04 | 2016-09-14 | オリンパス株式会社 | 蛍光観察装置および蛍光観察装置の作動方法 |
-
2018
- 2018-02-14 US US16/482,860 patent/US20190346367A1/en not_active Abandoned
- 2018-02-14 EP EP18760655.3A patent/EP3590404A4/en active Pending
- 2018-02-14 DE DE112018001054.6T patent/DE112018001054T5/de active Pending
- 2018-02-14 JP JP2019502857A patent/JP7127637B2/ja active Active
- 2018-02-14 WO PCT/JP2018/004982 patent/WO2018159288A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007075198A (ja) * | 2005-09-12 | 2007-03-29 | Pentax Corp | 電子内視鏡システム |
JP2011199786A (ja) * | 2010-03-23 | 2011-10-06 | Olympus Corp | 画像処理装置及び画像処理方法並びにプログラム |
US20120248333A1 (en) * | 2011-03-30 | 2012-10-04 | Johannes Fallert | Device For Fluorescence Diagnosis |
JP2015019863A (ja) * | 2013-07-19 | 2015-02-02 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 放射線断層撮影装置及びプログラム |
JP2015029841A (ja) * | 2013-08-06 | 2015-02-16 | 三菱電機エンジニアリング株式会社 | 撮像装置および撮像方法 |
WO2015025640A1 (ja) * | 2013-08-23 | 2015-02-26 | オリンパス株式会社 | 蛍光観察装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3590404A1 (en) | 2020-01-08 |
JP7127637B2 (ja) | 2022-08-30 |
DE112018001054T5 (de) | 2019-11-07 |
EP3590404A4 (en) | 2020-03-25 |
WO2018159288A1 (ja) | 2018-09-07 |
US20190346367A1 (en) | 2019-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6439816B2 (ja) | 医療用皮膚検査装置、画像処理方法、プログラム | |
JP5867390B2 (ja) | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム | |
KR101264182B1 (ko) | 화상 처리 방법 및 화상 처리 장치 | |
JP7289653B2 (ja) | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム | |
JP6758891B2 (ja) | 画像表示装置及び画像表示方法 | |
EP3111635B1 (en) | Systems and methods to control judder visibility | |
US9345391B2 (en) | Control device, endoscope apparatus, aperture control method, and information storage medium | |
JP6623832B2 (ja) | 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム | |
JP2012169700A (ja) | 画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法 | |
JP5586858B2 (ja) | 表示制御装置、及び表示制御方法 | |
WO2016006429A1 (ja) | 画像処理装置および方法、プログラム、並びに内視鏡システム | |
US8711250B2 (en) | Image signal processing apparatus and image signal processing method | |
JP7127637B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
WO2014129339A1 (ja) | 眼底画像出力装置および方法、並びにプログラム | |
US11050931B2 (en) | Control device and control method | |
KR20070063781A (ko) | 색역 내에 존재하는 색상을 영상 적응적으로 조절하는 방법및 장치 | |
US9437162B2 (en) | Image output apparatus, control method therefor, image display apparatus, control method therefor, and storage medium | |
JP6338525B2 (ja) | X線スレーブ画像のx線マスタ画像への適合 | |
US20220014664A1 (en) | Apparatuses, systems, and methods for gaze-based auto-exposure management of image frames | |
JP5302158B2 (ja) | 画像信号処理装置、画像信号処理プログラムおよび画像信号処理方法 | |
JP2005295417A (ja) | 画像処理装置 | |
JP2010283690A (ja) | 画像処理装置、画像処理方法、プログラムおよび記憶媒体 | |
US10849482B2 (en) | Endoscopic system, image processing apparatus, and image processing method | |
JP2019145092A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2016170637A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220801 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7127637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |