JPWO2018159288A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JPWO2018159288A1
JPWO2018159288A1 JP2019502857A JP2019502857A JPWO2018159288A1 JP WO2018159288 A1 JPWO2018159288 A1 JP WO2018159288A1 JP 2019502857 A JP2019502857 A JP 2019502857A JP 2019502857 A JP2019502857 A JP 2019502857A JP WO2018159288 A1 JPWO2018159288 A1 JP WO2018159288A1
Authority
JP
Japan
Prior art keywords
image
noise
noise reduction
visible light
fluorescent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019502857A
Other languages
English (en)
Other versions
JP7127637B2 (ja
Inventor
イーウェン ズー
イーウェン ズー
神尾 和憲
和憲 神尾
諭志 河田
諭志 河田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018159288A1 publication Critical patent/JPWO2018159288A1/ja
Application granted granted Critical
Publication of JP7127637B2 publication Critical patent/JP7127637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6408Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

可視光画像と、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法を提供する。蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、設定した重畳率に応じて可視光画像とノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、蛍光画像のノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有する。蛍光画像ノイズ低減強度算出部は、重畳率が変更された場合でも、ノイズ低減蛍光画像のノイズレベルを、重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する。

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、可視光画像と蛍光画像を利用した画像処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。
生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像の他、昨今、可視光画像とは異なる蛍光画像の利用が進んでいる。
蛍光画像は、例えば、特定の波長領域からなる励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影することで得られる画像である。
蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。
ただし、蛍光画像は、可視光画像に比較すると低画質な画像であるという問題があり、可視光画像と蛍光画像を組み合わせて利用することが多い。
なお、可視光画像と蛍光画像を用いた内視鏡装置については、例えば特許文献1(特開2013−212323号公報)等に記載がある。
特許文献1(特開2013−212323号公報)は、蛍光画像を撮影する撮像素子が取得した蛍光画像が高画質であるときは蛍光画像を白色画像(可視光画像)に重畳し、蛍光画像が低画質であるときは病変部の位置を示すマーカを白色画像(可視光画像)に重畳する構成を開示している。これにより、画像観察者は、病変部の位置を容易に確認することができる。
この特許文献1では、蛍光画像と白色画像(可視光画像)の重畳画像を生成する構成について開示している。
しかし、例えば、医療装置において、画像を観察する医師等の要望として、病変部を確実に確認するため、可視光単独の画像や、蛍光画像単独の画像、さらに、可視光画像と蛍光画像との重畳率を変更した様々な画像を観察したいという要望がある。
しかし、一般的に、可視光画像はノイズレベルが低い鮮明な画像であるのに対して、蛍光画像はノイズレベルが高く不鮮明な画像となる。
このようなノイズレベルの違う2つの画像を重畳して表示する場合、以下のような問題点が発生する。
例えば可視光画像の表示処理に続いて、可視光画像に蛍光画像を重畳させた重畳画像を表示すると、可視光画像には存在しなかった蛍光画像に含まれるノイズに起因する点や線が、突然、表示装置に表示されるといったことが発生する。
例えば表示装置に可視光画像と蛍光画像との重畳率を変更する操作部を設け、医師等の観察者が操作部を操作して、可視光画像と蛍光画像との重畳率を順次、変更して様々な重畳率の画像を連続的に観察する場合、重畳率の変化に応じて蛍光画像のノイズに起因する点や線が表示されたり消えたりすることがある。
このような状況が発生すると、医師等の画像観察者は、これらの点や線が病変部等の被写体画像であるのか、ノイズであるのかを判別することが困難となり、正確な診断ができなくなるという問題がある。
特開2013−212323号公報
本開示は、例えば、上記の問題点に鑑みてなされたものであり、可視光画像と蛍光画像を重畳した画像を表示する構成において、2つの画像のノイズレベルを制御して表示することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本開示の一実施例においては、可視光画像と蛍光画像との重畳率が変化しても、重畳画像に含まれる可視光画像と蛍光画像のノイズレベルを、ほぼ一致させた重畳画像を生成して表示すること可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、
可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、
を備え、
前記ノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理装置にある。
さらに、本開示の第2の側面は、
画像処理装置において実行する画像処理方法であり、
蛍光画像ノイズ低減部が、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減ステップと、
画像重畳部が、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳ステップを有し、
前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理方法にある。
さらに、本開示の第3の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
蛍光画像ノイズ低減部に、蛍光画像のノイズ低減処理を実行させてノイズ低減蛍光画像を生成させる蛍光画像ノイズ低減ステップと、
画像重畳部に、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成させる画像重畳ステップを実行させ、
前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理として実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、可視光画像と、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法が実現される。
具体的には、例えば、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、設定された重畳率に応じて、可視光画像とノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、蛍光画像ノイズ低減部における蛍光画像のノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有する。蛍光画像ノイズ低減強度算出部は、重畳率が変更された場合でも、ノイズ低減蛍光画像のノイズレベルを、重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する。
これらの構成、処理により、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
蛍光画像について説明する図である。 画像処理装置の構成例について説明する図である。 重畳率設定部の構成と処理について説明する図である。 ノイズレベル推定部の実行する処理について説明する図である。 蛍光画像ノイズ低減強度算出部の実行する処理について説明する図である。 蛍光画像ノイズ低減部の実行する処理について説明する図である。 画像重畳部の実行する処理について説明する図である。 画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置の構成例について説明する図である。 蛍光画像ノイズ低減部の実行する処理について説明する図である。 蛍光画像ノイズ低減部のLUTについて説明する図である。 画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置の構成例について説明する図である。 蛍光画像ノイズ低減部の実行する処理について説明する図である。 蛍光画像ノイズ低減部のLUTについて説明する図である。 蛍光画像ノイズ低減部のクラス分類処理部の実行する処理について説明する図である。 画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置の構成例について説明する図である。 蛍光画像ノイズ低減強度算出部の実行する処理について説明する図である。 画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置のハードウェア構成例を示す図である。
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.蛍光画像の概要について
2.本開示の画像処理装置の実施例1の構成と処理について
3.画像処理装置の実行する処理のシーケンスについて
4.本開示の画像処理装置の実施例2の構成と処理について
4−1.ノイズ低減強度に基づいてフィルタサイズを決定する構成例について
4−2.ノイズ低減強度と画像特徴量に基づく学習データに基づいてフィルタサイズを決定する構成例について
5.本開示の画像処理装置の実施例3の構成と処理について
6.画像処理装置のハードウェア構成例について
7.本開示の構成のまとめ
[1.蛍光画像の概要について]
まず、蛍光画像の概要について説明する。
前述したように、生体内の画像を撮影する内視鏡として、通常のカラー画像である可視光画像の他、蛍光画像の利用が増加している。
蛍光画像は、特定波長の励起光を照射し、生体内の物質による反射光に含まれる蛍光を撮影した画像である。
蛍光画像は、例えば、生体内の病変に応じた強度の違い等を表現可能であり、蛍光画像を用いることにより、病気の進行状況の解析などを効果的に行うことができる。
図1を参照して、蛍光画像の撮影構成について説明する。
蛍光画像は、特定波長の励起光を照射し、例えば血管等の生体組織から出力される蛍光を撮像素子に入力して撮影する画像である。
図1(1)は、生体組織1内の比較的浅い部分にある血管2を撮影する構成例であり、(2)は、生体組織1内の比較的深い部分にある血管2を撮影する構成例を示している。
励起光が血管に照射されると、複数の散乱光が発生する。特に生体組織1の深い部分では、より多くの散乱光が発生し、その結果、撮像素子に撮影される蛍光画像のノイズが大きくなるという問題がある。
前述したように、例えば、医療装置において、画像を観察する医師等の要望として、病変部を確実に確認するため、可視光単独の画像や、蛍光画像単独の画像、さらに、可視光画像と蛍光画像との重畳率を変更した様々な画像を観察したいという要望がある。
具体的には、例えば表示装置に可視光画像と蛍光画像との重畳率を変更する操作部を設け、医師等の観察者が操作部を操作して、可視光画像と蛍光画像との重畳率を順次、変更して様々な画像を連続的に観察する構成である。
しかし、前述したように多くの可視光画像はノイズレベルが低い鮮明な画像であるのに対し、蛍光画像はノイズレベルが高く不鮮明な画像である。
このようなノイズレベルの違う可視光画像と蛍光画像との重畳率を順次、変更して様々な重畳率の画像を連続的に表示すると、重畳率の変化に応じて蛍光画像のノイズに起因する点や線が表示されたり消えたりすることがある。
このような状況が発生すると、医師等の画像観察者は、これらの点や線が病変部等の被写体画像であるのか、ノイズであるのかを判別することが困難となり、正確な診断ができなくなる。
以下、上記の問題を解決する構成、すなわち、可視光画像と蛍光画像の重畳画像を表示する場合に、画像のノイズレベルを制御して表示可能とした本開示の構成と処理について説明する。
[2.本開示の画像処理装置の実施例1の構成と処理について]
図2以下を参照して本開示の画像処理装置の実施例1の構成と処理について説明する。
図2は、本開示の実施例1の画像処理装置100の構成例を示すブロック図である。
なお、本開示の画像処理装置は、具体的には例えば、撮像装置や、撮像装置の撮影画像を入力して画像処理を実行するPC等の情報処理装置等において実現可能である。
図2に示す画像処理装置100は、可視光画像10と、蛍光画像20を入力して、これら2つの画像を重畳した重畳画像30を生成して出力する。重畳画像30は、例えば、画像表示部(ディスプレイ)を持つ画像表示装置120に出力され表示される。
図2に示す画像処理装置100は、可視光画像10と、蛍光画像20を重畳した重畳画像30のノイズレベルを制御する構成を持つ。具体的には、例えば、蛍光画像20のノイズレベルを重畳対象となる可視光画像10のノイズレベルまで低下させて重畳することを可能とした構成を持つ。
なお、以下では、画像処理装置100は、可視光画像10と、蛍光画像20の重畳処理を実行する構成として説明するが、本開示の画像処理装置において重畳対象とする画像の組み合わせは、可視光画像と蛍光画像に限らず、ノイズレベルの異なる様々な画像が適用可能である。
例えば、可視光画像と(遠)赤外線画像の重畳処理や、ノイズレベルの低い可視光画像とノイズレベルの高い可視光画像の重畳処理等にも適用可能であり、この他、様々な画像の重畳処理において、本開示の構成や処理の適用が可能である。
以下では、本開示の画像処理装置100の一実施例として、可視光画像10と、蛍光画像20の重畳処理を実行する実施例について説明する。
図2に示す画像処理装置100に入力する可視光画像10と、蛍光画像20は、同一被写体を撮影した画像である。
例えば、画像処理装置100自体が、可視光画像と蛍光画像の撮像処理を行なう撮像部を有する構成としてもよいし、画像処理装置100は撮像部を持たず、撮像装置の撮影した可視光画像と蛍光画像を入力する構成としてもよい。
なお、これら2つの画像に位置ずれ等がある場合、既存技術を適用した位置合わせ処理を予め実行する。
すなわち、図2に示す可視光画像10と、蛍光画像20は、同一被写体を撮影した位置合わせ済みの2つの画像である。
図2に示すように、画像処理装置100は、重畳率設定部101、可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103、蛍光画像ノイズ低減強度算出部104、蛍光画像ノイズ低減部105、画像重畳部106を有する。
まず、画像処理装置100の各構成部の実行する処理の概要について説明し、後段で、各構成部の具体的処理について詳細に説明する。
重畳率設定部101は、例えば医師等の画像観察者によって操作可能な操作部を有し、重畳画像30を構成する可視光画像成分と蛍光画像成分の比率である重畳率を調整する。
可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103は、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
蛍光画像ノイズ低減強度算出部104は、蛍光画像ノイズ低減部105が蛍光画像20に施すノイズ低減処理において適用するノイズレベル低減強度β,111を算出する。
蛍光画像ノイズ低減強度算出部104は、例えば、可視光画像と蛍光画像との重畳率が変化しても、重畳画像に含まれる可視光画像と蛍光画像のノイズレベルがほぼ一致するレベルとなるように、重畳率に応じたノイズレベル低減強度β,111を算出する。
蛍光画像ノイズ低減部105は、蛍光画像ノイズ低減強度算出部104の算出したノイズレベル低減強度β,111に従って、蛍光画像20のノイズレベルの低減処理を行う。
画像重畳部106は、可視光画像10と、蛍光画像ノイズ低減部105の生成したノイズ低減蛍光画像112を重畳して重畳画像30を生成する。
生成された重畳画像30は、画像表示部120に表示される。
まず、画像処理装置100の各構成部の実行する処理の概要について説明した。
次に、各構成部の具体的処理について詳細に説明する。
まず、図3を参照して重畳率設定部101について説明する。
前述したように、重畳率設定部101は、例えば医師等の画像観察者によって操作可能な操作部を有し、重畳画像30を構成する可視光画像成分と蛍光画像成分の比率である重畳率を調整することを可能とした構成を持つ。
例えば図3に示すようなスライド操作つまみ121を有し、重畳画像30を観察する医師等の画像観察者が、このスライド操作つまみ121をスライドさせる。
スライド操作つまみ121をスライドさせることで、画像表示部120に表示される重畳画像30を構成する可視光画像と蛍光画像の重畳率を変化させることができる。
例えばスライド操作つまみ121を左端に設定すると、可視光画像100%の画像が、画像表示部120に表示される。
スライド操作つまみ121を右に移動させると、徐々に可視光画像の重畳率が低下し、蛍光画像の重畳率が上昇する。
なお、本開示の画像処理装置、すなわち、図2に示す構成を有する画像処理装置100において、重畳画像30を構成する蛍光画像は、蛍光画像ノイズ低減部105において生成されたノイズ低減蛍光画像112である。
スライド操作つまみ121を中央に設定すると、可視光画像10とノイズ低減蛍光画像112の重畳率が一致、すなわち各画像が1対1に重畳された重畳画像が、画像表示部120に表示される。
さらに、スライド操作つまみ121を右に移動させると、徐々に可視光画像の重畳率が低下し、蛍光画像の重畳率が上昇する。スライド操作つまみ121を右端に設定すると、ノイズ低減蛍光画像112のみからなる画像が、画像表示部120に表示される。
なお、以下において説明する各実施例において、重畳率αは、重畳画像における蛍光画像(ノイズ低減蛍光画像)の重畳比率(0≦α≦1)とする。
重畳率α=0の重畳画像は、可視光画像であり、
重畳率α=1の重畳画像は、蛍光画像(ノイズ低減蛍光画像)である。
重畳画像を構成する画素の画素値yは、以下の式(式1)によって示される。
nr=(1−α)y+αyFnr ・・・(式1)
ただし、yは、可視光画像の画素値、
Fnrは、ノイズ低減蛍光画像の画素値である。
なお、Vは可視光画像を意味し、Fは蛍光画像を意味する添え字である。
nrはノイズ低減画像、またはノイズ低減画像を適用した重畳画像であることを意味する。
なお、多くの場合、重畳される可視光画像はカラー画像であり、蛍光画像はモノトーンの白黒画像である。
表示部に表示される重畳画像に含まれる蛍光画像領域を観察しやすくするため、重畳処理の前に蛍光画像を所定の色、例えば緑等で着色(カラー化)する画素値修正を行い、この修正後に、重畳する構成としてもよい。
このように、画像処理装置100の重畳率設定部101は、例えば医師等の画像観察者によって操作可能な操作部を有し、重畳画像30を構成する可視光画像成分と蛍光画像成分の比率である重畳率を調整することを可能とした構成を持つ。
次に、可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103の実行する具体的な処理について、図4を参照して説明する。
先に説明したように、可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103は、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
図4には、可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103の実行する処理のシーケンスを示している。
ステップS11〜S14は、ノイズレベル推定のための可視光画像10と、蛍光画像20に含まれる画像領域(ブロック)を選択する処理である。
すなわち、ノイズ推定を行うための最適な画像領域(ブロック)、例えば一辺が数10〜数100画素からなる矩形型のブロックを可視光画像10と、蛍光画像20から選択する。
まず、ステップS11では、可視光画像から、平坦画像領域ブロックを選択する。可視光画像において、画素値変化の少ない画像領域は、ノイズの検出の容易な領域であり、可視光画像から、平坦画像領域ブロックを選択する。
ここでは、以下の複数のブロックを選択する。
(xvn,yvn) n=0,1,2,3・・・
(xvn,yvn)は、例えば、ブロックの中心座標である。
一方、ステップS12では、蛍光画像から、低輝度画像領域ブロックを選択する。蛍光画像において、低輝度画像領域は、ノイズの検出の容易な領域であり、蛍光画像から、低輝度画像領域ブロックを選択する。
ここでは、以下の複数のブロックを選択する。
(xfm,yfm) m=0,1,2,3・・・
(xfm,yfm)は、例えば、ブロックの中心座標である。
次に、ステップS13において、ステップS11で選択した可視光画像の平坦画像領域ブロックと、ステップS12で選択した蛍光画像低輝度画像領域ブロック中、
両者の位置が一番近い2つのブロックのペアをノイズ測定ブロックとする。
以下の(式2)に従って、選択される2つのブロックのペアをノイズ測定ブロックとする。
ステップS13において、1つのブロックペアが選択できない場合は、ステップS14を実行する。
すなわち、ステップS13において、上記(式2)に従って選択されたノイズ測定ブロックが複数ある場合は、ステップS14で、複数のブロックペアから、画像中心に最も近いブロックを選択する。
すなわち、以下の(式3)に従って選択される画像中心に最も近いブロックのペアをノイズ測定ブロックとする。
上述したステップS11〜S14の処理によってノイズ測定ブロックを決定した後、次のステップS15、ステップS16において、選択したブロックの画素値分布状況に基づいて、可視光画像、蛍光画像のノイズレベルを推定する。
ステップS15では、可視光画像の選択ブロックの画素値の標準偏差を算出し、算出した標準偏差に基づいてノイズレベルを推定する。
また、ステップS16では、蛍光画像の選択ブロックの画素値の標準偏差を算出し、算出した標準偏差に基づいてノイズレベルを推定する。
上記処理により、選択ブロック内の画素値(輝度)の標準偏差を算出し、算出した標準偏差、または標準偏差に基づく変換値をノイズレベルとする。
標準偏差が大きいほどノイズレベルが大となる。
なおノイズレベルの算出処理には、標準偏差値を用いる他、ブロック内の画素の画素値(輝度)平均値や、分散、あるいは隣接差分絶対値和等を用いてもよい。
このように、可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103は、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
次に、図5を参照して、図2に示す画像処理装置100の蛍光画像ノイズ低減強度算出部104の実行する処理について説明する。
先に図2を参照して説明したように、蛍光画像ノイズ低減強度算出部104は、可視光画像ノイズレベル推定部102と、蛍光画像ノイズレベル推定部103において推定された可視光画像10と、蛍光画像20に含まれるノイズレベルに応じて、蛍光画像20のノイズレベルの低減強度であるノイズレベル低減強度β,111を算出する。
蛍光画像ノイズ低減強度算出部104は、例えば、可視光画像と蛍光画像との重畳率が変化しても、重畳画像に含まれる可視光画像と蛍光画像のノイズレベルがほぼ一致するレベルとなるように、重畳率に応じたノイズレベル低減強度β,111を算出する。
図5には、蛍光画像ノイズ低減強度算出部104の実行する重畳率に応じたノイズレベル低減強度βの算出処理シーケンスを示している。
なお、前提条件として、重畳率をα(ただし0≦α≦1)として、重畳画像は、以下の重畳率を適用した画像の加算処理によって生成されるものとする。
重畳画像=(1−α)(可視光画像)+(α)(ノイズ低減蛍光画像)
蛍光画像ノイズ低減強度算出部104の実行するステップS21〜S26の処理について、以下、順次説明する。
(ステップS21)
まず、蛍光画像ノイズ低減強度算出部104は、ステップS21において、可視光画像の画素値yを原信号xと、ノイズ成分信号nを用いて、以下の式で表す。
=x+n
なお、原信号xとは、ノイズ成分を含まない被写体を反映した画像信号であり、ノイズ成分信号nは、被写体を反映した画像信号とは異なるノイズ成分のみの信号である。
(ステップS22)
次に、蛍光画像ノイズ低減強度算出部104は、ステップS22において、蛍光画像の画素値yを原信号xと、ノイズ成分nを用いて、以下の式で表す。
=x+n
(ステップS23)
次に、蛍光画像ノイズ低減強度算出部104は、ステップS23において、ノイズ低減後の蛍光画像の画素値yFnrを原信号xと、ノイズ低減強度βと、ノイズ成分nを用いて、以下の式で表す。
Fnr=x+(1/β)n
なお、上記式に示されるように、ノイズ低減強度βを適用したノイズ低減処理によって、蛍光画像の画素値に含まれるノイズ成分は、(1/β)nに減少する。
(ステップS24)
次に、蛍光画像ノイズ低減強度算出部104は、ステップS24において、可視光画像yとノイズ低減蛍光画像yFnrの重畳画像ynrを、重畳率αを用いて以下で表す。
nr=(1−α)y+αyFnr
=(1−α)x+αx+(1−α)n+(α/β)n
(ステップS25)
次に、蛍光画像ノイズ低減強度算出部104は、ステップS25において、重畳画像を構成する可視光画像のノイズ成分nと、ノイズ低減蛍光画像のノイズ成分(α/β)nを同等にするための式、すなわち以下の式(式4)を設定する。
(1−α)n=(α/β)n ・・・(式4)
上記(式4)は、重畳画像に含まれる、
(a)可視光画像のノイズ信号レベル(1−α)n
(b)ノイズ低減蛍光画像のノイズ信号レベル(α/β)n
これら(a),(b)の各画像のノイズ信号レベルを一致させる設定とした式である。
(ステップS26)
次に、蛍光画像ノイズ低減強度算出部104は、ステップS26において、上記(式4)を用いて、蛍光画像に施すノイズ低減処理に適用するノイズ低減強度βを以下の(式5)に従って算出する。
β=(α/(1−α))(n/n) ・・・(式5)
このようにして、蛍光画像ノイズ低減強度算出部104は、蛍光画像20に対するノイズ低減処理を実行する蛍光画像ノイズ低減部105において適用するノイズ低減強度βを算出する。
上記(式5)から、理解されるように、ノイズ低減強度βは、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。
上記(式5)は、先に説明した(式4)から導かれる式であり、(式4)は、重畳画像に含まれる、
(a)可視光画像のノイズ信号レベル(1−α)n
(b)ノイズ低減蛍光画像のノイズ信号レベル(α/β)n
これら(a),(b)の各画像のノイズ信号レベルを一致させる設定とした式である。
すなわち、上記(式5)に従って算出されるノイズ低減強度βを適用したノイズ低減処理を施して生成したノイズ低減蛍光画像と、可視光画像を、重畳率αに従って重畳することで重畳画像を構成する可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とが一致することになる。
このノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とはほぼ一致する設定に制御されることになる。
上記(式5)から理解されるように、重畳率αが増加、すなわち、ノイズ低減蛍光画像の重畳率が増加した場合、ノイズ低減強度βが増加し、蛍光画像ノイズ低減部105は、蛍光画像20のノイズをより低減させる処理を行うことになる。
一方、重畳率αが減少、すなわち、ノイズ低減蛍光画像の重畳率が減少した場合、ノイズ低減強度βが減少し、蛍光画像ノイズ低減部105は、適用するノイズ低減強度を弱めて、蛍光画像20に対するノイズ低減処理を行うことになる。
次に、この蛍光画像ノイズ低減部105の実行する処理の具体例について、図6を参照して説明する。
蛍光画像ノイズ低減部105は、蛍光画像ノイズ低減強度算出部104の算出したノイズレベル低減強度β,111に従って、蛍光画像20のノイズレベルの低減処理を行う。
蛍光画像ノイズ低減部105は、図6に示すように、蛍光画像20を入力し、さらに、蛍光画像ノイズ低減強度算出部104の算出したノイズレベル低減強度β,111を入力する。
蛍光画像20の画素値yは、先に図5のステップS22において説明したように、原信号xと、ノイズ成分nを用いて、以下で示される。
=x+n
なお、原信号xは、ノイズ成分を含まない被写体を反映した画像信号であり、ノイズ成分信号nは、被写体を反映した画像信号とは異なるノイズ成分のみの信号である。
蛍光画像ノイズ低減部105は、蛍光画像ノイズ低減強度算出部104の算出したノイズレベル低減強度βを適用して、以下の(式6)に従ってノイズ低減後の画素値yFnrを持つノイズ低減蛍光画像112を生成する。
Fnr=x+(1/β)n ・・・(式6)
上記式に示されるように、ノイズ低減強度βを適用したノイズ低減処理によって、蛍光画像の画素値に含まれるノイズ成分は、(1/β)nに減少する。
次に、図7を参照して、画像重畳部106の実行する処理について説明する。
画像重畳部106は、可視光画像10と、蛍光画像ノイズ低減部105の生成したノイズ低減蛍光画像112を重畳して重畳画像30を生成する。
生成された重畳画像30は、画像表示部120に表示される。
画像重畳部106は、図7に示すように、可視光画像10と、蛍光画像ノイズ低減部105の生成したノイズ低減蛍光画像112を入力する。
さらに、重畳率設定部101から、例えば医師等の画像観察者の設定した重畳率αを入力する。
可視光画像10の画素値yは、図7に示すように、以下の式で表される。
=x+n
また、蛍光画像ノイズ低減部105の生成したノイズレベル低減蛍光画像112の画素値yFnr、図7に示すように、以下の式で表される。
Fnr=x+(1/β)n
画像重畳部106は、これら2つの画像を重畳率αに従って重畳して重畳画像30を生成する。重畳画像30の画素値ynrは、以下の式(式7)によって表される。
nr=(1−α)y+αyFnr
=(1−α)x+αx+(1−α)n+(α/β)n ・・・(式7)
このようにして、画像重畳部106は、可視光画像10と、蛍光画像ノイズ低減部105の生成したノイズ低減蛍光画像112を重畳して重畳画像30を生成し、生成した重畳画像30は、画像表示部120に出力し表示する。
上記(式7)に示すノイズ低減強度βは、先に説明した(式5)から理解されるように、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。
先に説明したように、(式5)は、(式4)から導かれる式であり、(式4)は、重畳画像に含まれる、
(a)可視光画像のノイズ信号レベル(1−α)n
(b)ノイズ低減蛍光画像のノイズ信号レベル(α/β)n
これら(a),(b)の各画像のノイズ信号レベルを一致させる設定とした式である。
すなわち、上記(式5)に従って算出されるノイズ低減強度βを適用したノイズ低減処理を施して生成したノイズ低減蛍光画像と、可視光画像を、重畳率αに従って重畳することで重畳画像を構成する可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とが一致することになる。
すなわち、上記(式7)によって算出される重畳画像に含まれる可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)はほぼ一致したレベル(強度)となる。
ノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とはほぼ一致する設定に制御されることになる。
重畳率αが増加、すなわち、ノイズ低減蛍光画像の重畳率が増加した場合、ノイズ低減強度βが増加し、蛍光画像ノイズ低減部105は、蛍光画像20のノイズをより強く低減させる処理を行う。
この結果、上記(式7)によって示される重畳画像に含まれるノイズ低減蛍光画像112のノイズレベルは、重畳画像に含まれる可視光画像20のノイズレベルとほぼ一致する設定となる。
一方、重畳率αが減少、すなわち、ノイズ低減蛍光画像の重畳率が減少した場合、ノイズ低減強度βが減少し、蛍光画像ノイズ低減部105は、適用するノイズ低減強度を弱めて、蛍光画像20に対するノイズ低減処理を行うことになる。
この結果、上記(式7)によって示される重畳画像に含まれるノイズ低減蛍光画像112のノイズレベルは、重畳画像に含まれる可視光画像20のノイズレベルとほぼ一致する設定となる。
このように、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とはほぼ一致する設定に制御された重畳画像を生成して表示することが可能となる。
すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。
[3.画像処理装置の実行する処理のシーケンスについて]
次に、図2に示す画像処理装置100の実行する処理のシーケンスについて、図8に示すフローチャートを参照して説明する。
図8示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
以下、図8に示すフローの各ステップの処理について、順次、説明する。
(ステップS101)
まず、画像処理装置は、ステップS101において、可視光画像と蛍光画像のノイズレベルを推定する。
この処理は、図2に示す画像処理装置100の可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103の実行する処理である。
可視光画像ノイズレベル推定部102、蛍光画像ノイズレベル推定部103は、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
先に図4を参照して説明したように、可視光画像10と、蛍光画像20に設定した画素ブロック中、
可視光画像10については、平坦領域、蛍光画像20については、低輝度領域からブロックを選択し、両ブロックの位置が近く、さらに画像中心に近いブロックのペアを選択して、この選択ブロックペアをノイズレベルの推定処理に適用する画素ブロックとする。
このノイズレベル推定処理に適用する画素ブロックとして選択された可視光画像のブロックと、蛍光画像のブロックについて、例えば画素値(輝度)の標準偏差を算出して、算出値をノイズレベルとする。
なお、標準偏差の他、ブロック内の画素の画素値(輝度)平均値や、分散、あるいは隣接差分絶対値和等を用いてもよい。
(ステップS102)
次に、画像処理装置は、ステップS102において、蛍光画像のノイズレベルを、可視光画像のノイズレベルに合わせるために蛍光画像に施すノイズ低減処理のノイズ低減強度βを算出する。
この処理は、図2に示す画像処理装置100の蛍光画像ノイズ低減強度算出部104の実行する処理である。
先に図5を参照して説明したように、蛍光画像ノイズ低減強度算出部104は、図5に示すステップS21〜S26の処理を実行して、可視光画像と蛍光画像との重畳率αが変化しても、重畳画像に含まれる可視光画像と蛍光画像のノイズレベルがほぼ一致するレベルとなるように、重畳率に応じたノイズレベル低減強度βを算出する。
ノイズ低減強度βは、先に説明したように、以下の(式5)に従って算出する。
β=(α/(1−α))(n/n) ・・・(式5)
上記(式5)から、理解されるように、ノイズ低減強度βは、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。
(ステップS103)
次に、画像処理装置は、ステップS103において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。
この処理は、図2に示す画像処理装置100の蛍光画像ノイズ低減部105の実行する処理である。
先に図6を参照して説明したように、蛍光画像ノイズ低減部105は、蛍光画像ノイズ低減強度算出部104の算出したノイズレベル低減強度βを適用して、以下の(式6)に従ってノイズ低減後の画素値yFnrを持つノイズ低減蛍光画像112を生成する。
Fnr=x+(1/β)n ・・・(式6)
上記式に示されるように、ノイズ低減強度βを適用したノイズ低減処理によって、蛍光画像の画素値に含まれるノイズ成分は、(1/β)nに減少する。
(ステップS104)
次に、画像処理装置は、ステップS104において、可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。
この処理は、図2に示す画像処理装置100の画像重畳部106の実行する処理である。
先に図7を参照して説明したように、画像重畳部106は、可視光画像10と、蛍光画像ノイズ低減部105の生成したノイズ低減蛍光画像112を重畳して重畳画像30を生成する。
生成された重畳画像30は、画像表示部120に表示される。
先に図7を参照して説明したように、画像重畳部106は、可視光画像10と、蛍光画像ノイズ低減部105の生成したノイズ低減蛍光画像112を重畳率αに従って重畳して重畳画像30を生成する。重畳画像30の画素値ynrは、以下の式(式7)によって表される。
nr=(1−α)y+αyFnr
=(1−α)x+αx+(1−α)n+(α/β)n ・・・(式7)
このようにして、画像重畳部106は、可視光画像10と、蛍光画像ノイズ低減部105の生成したノイズ低減蛍光画像112を重畳して重畳画像30を生成し、生成した重畳画像30は、画像表示部120に出力して表示する。
上記(式7)に示すノイズ低減強度βは、先に説明した(式5)から理解されるように、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。
先に説明したように、(式5)は、(式4)から導かれる式であり、(式4)は、重畳画像に含まれる、
(a)可視光画像のノイズ信号レベル(1−α)n
(b)ノイズ低減蛍光画像のノイズ信号レベル(α/β)n
これら(a),(b)の各画像のノイズ信号レベルを一致させる設定とした式である。
すなわち、上記(式5)に従って算出されるノイズ低減強度βを適用したノイズ低減処理を施して生成したノイズ低減蛍光画像と、可視光画像を、重畳率αに従って重畳することで重畳画像を構成する可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とが一致することになる。
すなわち、上記(式7)によって算出される重畳画像に含まれる可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)はほぼ一致したレベル(強度)となる。
ノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とはほぼ一致する設定に制御されることになる。
重畳率αが増加、すなわち、ノイズ低減蛍光画像の重畳率が増加した場合、ノイズ低減強度βが増加し、蛍光画像ノイズ低減部105は、蛍光画像20のノイズをより強く低減させる処理を行う。
この結果、上記(式7)によって示される重畳画像に含まれるノイズ低減蛍光画像112のノイズレベルは、重畳画像に含まれる可視光画像20のノイズレベルとほぼ一致する設定となる。
一方、重畳率αが減少、すなわち、ノイズ低減蛍光画像の重畳率が減少した場合、ノイズ低減強度βが減少し、蛍光画像ノイズ低減部105は、適用するノイズ低減強度を弱めて、蛍光画像20に対するノイズ低減処理を行うことになる。
この結果、上記(式7)によって示される重畳画像に含まれるノイズ低減蛍光画像112のノイズレベルは、重畳画像に含まれる可視光画像20のノイズレベルとほぼ一致する設定となる。
このように、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とはほぼ一致する設定に制御された重畳画像を生成して表示することが可能となる。
すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。
[4.本開示の画像処理装置の実施例2の構成と処理について]
次に、図9以下を参照して本開示の画像処理装置の実施例2の構成と処理について説明する。
[4−1.ノイズ低減強度に基づいてフィルタサイズを決定する構成例について]
まず、ノイズ低減強度に基づいてフィルタサイズを決定する構成例について説明する。
図9は、本開示の実施例2の画像処理装置200の構成例を示すブロック図である。
図9に示す実施例2の画像処理装置200も、先に実施例1として説明した図2に示す画像処理装置100と同様、可視光画像10と、蛍光画像20を入力して、これら2つの画像を重畳した重畳画像30を生成して出力する。重畳画像30は、例えば、画像表示部(ディスプレイ)を持つ画像表示装置220に出力され表示される。
図9に示す画像処理装置200も、先に実施例1として説明した図2に示す画像処理装置100と同様、可視光画像10と、蛍光画像20を重畳した重畳画像30のノイズレベルを制御する構成を持つ。具体的には、例えば、蛍光画像20のノイズレベルを重畳対象となる可視光画像10のノイズレベルまで低下させて重畳することを可能とした構成を持つ。
図9に示すように、画像処理装置200は、重畳率設定部201、可視光画像ノイズレベル推定部202、蛍光画像ノイズレベル推定部203、蛍光画像ノイズ低減強度算出部204、蛍光画像ノイズ低減部205、画像重畳部206を有する。
これらの構成要素は、先に実施例1として説明した図2に示す画像処理装置100と同様の構成である。
図9に示す画像処理装置200と、図2に示す画像処理装置100との違いは、蛍光画像ノイズ低減部205である。
図9に示す画像処理装置200の蛍光画像ノイズ低減部205は、図9に示すようにルックアップテーブル(LUT)221を有している。
蛍光画像ノイズ低減部205は、ルックアップテーブル(LUT)221の格納データを参照して、蛍光画像20のノイズレベル低減処理を行う。
蛍光画像ノイズ低減部205の具体的構成と処理について、図10を参照して説明する。
蛍光画像ノイズ低減部205は、図10に示すように、ルックアップテーブル(LUT)221と、平均フィルタ適用部222を有している。
蛍光画像ノイズ低減部205は、図10に示すように、蛍光画像20を入力し、さらに、蛍光画像ノイズ低減強度算出部204の算出したノイズレベル低減強度β,211を入力する。
ルックアップテーブル(LUT)221には、ノイズ低減強度βと、そのノイズ低減強度βに最適な平均フィルタのサイズを対応付けたデータが格納されている。
ルックアップテーブル(LUT)221の格納データの一例を図11に示す。
図11には、横軸にノイズ低減強度β、縦軸に平均フィルタサイズを設定したグラフを示している。グラフに示す線は、様々なノイズ低減強度βの値に対応付けられた最適な平均フィルタのサイズを示すデータである。
ルックアップテーブル(LUT)221には、このような対応データが予め格納されており、蛍光画像ノイズ低減部205は、蛍光画像ノイズ低減強度算出部204から入力したノイズレベル低減強度β,211に基づいて、最適な平均フィルタのサイズを取得し、取得したフィルタサイズ213を平均フィルタ適用部222に出力する。
平均フィルタ適用部222は、LUT221から入力したフィルタサイズ213によって決定される大きさの平均フィルタを、蛍光画像20に適用して、蛍光画像のノイズ低減処理を実行する。
この平均フィルタ適用処理によってノイズ低減蛍光画像212を生成する。
なお、平均フィルタは、補正対象画素を中心とする画素領域、例えばn×n画素の画素領域の全画素の平均画素値を算出し、その算出画素値を補正画素値として設定するフィルタである。nは、例えば数画素から数10画素である。
図11にグラフ(LUT)から理解されるように、蛍光画像ノイズ低減強度算出部204から入力したノイズレベル低減強度βが大きいほど、フィルタサイズは大きく設定される。
すなわち、ノイズレベル低減強度βが大きいほど、より広い領域の画素を用いた平均化処理が施される。すなわちノイズ低減効果が大きくなる。
本実施例2では、予めルックアップテーブル(LUT)221として、ノイズレベル低減強度βと、平均フィルタのサイズを対応づけたテーブルを格納し、このテーブルデータに基づいて選択されたサイズを持つ平均化フィルタを蛍光画像20に適用してノイズ低減蛍光画像212を生成する。
なお、上述した実施例では、蛍光画像20からノイズ低減蛍光画像212を生成する際に、平均フィルタを適用する構成として説明したが、これは一例であり、蛍光画像20からノイズ低減蛍光画像212を生成する際に適用するフィルタは、平均フィルタに限るものではなく、メディアンフィルタやバイラテラルフィルタ等、様々なフィルタが適用可能である。
本実施例の図9に示す画像処理装置200の実行する処理のシーケンスについて、図12に示すフローチャートを参照して説明する。
以下、図12に示すフローの各ステップの処理について、順次、説明する。
(ステップS201〜S202)
ステップS201〜S202の処理は、先に説明した実施例1の処理である図8に示すフローチャートのステップS101〜S102の処理と同様の処理である。
まず、画像処理装置は、ステップS201において、可視光画像と蛍光画像のノイズレベルを推定する。
この処理は、図9に示す画像処理装置200の可視光画像ノイズレベル推定部202、蛍光画像ノイズレベル推定部203の実行する処理である。
可視光画像ノイズレベル推定部202、蛍光画像ノイズレベル推定部203は、先に図4を参照して説明したシーケンスに従って、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
次に、画像処理装置は、ステップS202において、蛍光画像のノイズレベルを、可視光画像のノイズレベルに合わせるために蛍光画像に施すノイズ低減処理のノイズ低減強度βを算出する。
この処理は、図9に示す画像処理装置200の蛍光画像ノイズ低減強度算出部204の実行する処理である。
先に図5を参照して説明したように、蛍光画像ノイズ低減強度算出部204は、図5に示すステップS21〜S26の処理を実行して、可視光画像とノイズ低減蛍光画像との重畳率αが変化しても、重畳画像に含まれる可視光画像とノイズ低減蛍光画像のノイズレベルがほぼ同一になるように重畳率に応じたノイズレベル低減強度βを算出する。
(ステップS203)
次に、画像処理装置は、ステップS203において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。
この処理は、図9に示す画像処理装置200の蛍光画像ノイズ低減部205の実行する処理である。
先に図10を参照して説明したように、蛍光画像ノイズ低減部205は、蛍光画像ノイズ低減強度算出部204の算出したノイズレベル低減強度βを入力し、ルックアップテーブル(LUT)221から、ノイズ低減強度βの値に対応付けられた最適な平均フィルタのサイズを取得する。
さらに、取得したフィルタサイズ213を平均フィルタ適用部222に出力する。
平均フィルタ適用部222は、LUT221から入力したフィルタサイズ213によって決定される大きさの平均フィルタを、蛍光画像20に適用して、蛍光画像のノイズ低減処理を実行する。
この平均フィルタ適用処理によってノイズ低減蛍光画像212を生成する。
(ステップS204)
次に、画像処理装置は、ステップS204において、可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。
この処理は、図9に示す画像処理装置200の画像重畳部206の実行する処理である。
この処理は、先の実施例1において、図7を参照して説明した処理と同様の処理である。画像重畳部206は、可視光画像10と、蛍光画像ノイズ低減部205の生成したノイズ低減蛍光画像212を重畳して重畳画像30を生成する。
生成された重畳画像30は、画像表示部220に表示される。
先に図7を参照して説明したように、画像重畳部106は、可視光画像10と、蛍光画像ノイズ低減部105の生成したノイズ低減蛍光画像112を重畳率αに従って重畳して重畳画像30を生成する。重畳画像30の画素値ynrは、先に説明した式(式7)によって表される。
本実施例においても、重畳画像のノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とはほぼ一致する設定に制御されることになる。
すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。
[4−2.ノイズ低減強度と画像特徴量に基づく学習データに基づいてフィルタサイズを決定する構成例について]
次に、実施例2の変形例として、ノイズ低減強度と画像特徴量に基づく学習データに基づいてフィルタサイズを決定する構成例について説明する。
図13は、本開示の実施例2の変形例の画像処理装置200の構成例を示すブロック図である。
図13に示す画像処理装置200は、先に図9を参照して説明した画像処理装置200の構成とほぼ同様の構成であり、蛍光画像ノイズ低減部205が、ルックアップテーブル(LUT)221を有している。
図9の画像処理装置200の構成と異なる点は、蛍光画像ノイズ低減部205に蛍光画像20に併せて、可視光画像10を入力している点である。
蛍光画像ノイズ低減部205の具体的構成と処理について、図14を参照して説明する。
蛍光画像ノイズ低減部205は、図14に示すように、先に図10を参照して説明した蛍光画像ノイズ低減部205と同様、ルックアップテーブル(LUT)221と、平均フィルタ適用部222を有している。
図14に示す蛍光画像ノイズ低減部205は、さらに、クラス分類処理部223を有している。
クラス分類処理部223は、可視光画像10と、蛍光画像20を入力し、これら2つの画像の特徴量に基づいて、事前に取得済みの学習データを適用してクラス分類情報214を出力する。
ルックアップテーブル(LUT)221には、ノイズ低減強度β,211と、クラス分類情報214に対応付けた最適な平均フィルタのサイズが格納されている。
ルックアップテーブル(LUT)221の格納データの一例を図15に示す。
図15には、横軸にノイズ低減強度β、縦軸に平均フィルタサイズを設定したグラフを、複数(000〜nnn)、示している。個々のグラフに示す線は、様々なノイズ低減強度βの値に対応付けられた最適な平均フィルタのサイズを示すデータである。
図15に示す複数のグラフ(LUT)は、可視光画像10と、蛍光画像20、これら2つの画像の特徴量に基づいて、事前の学習データを適用して分類されたクラスに対応したクラス対応のグラフ(LUT)である。
LUT221では、クラス分類情報214に対応したデータ(グラフで示すLUT)が選択され、その選択データから、入力ノイズ低減強度β,211に対応付けられたフィルタサイズを取得し、取得したフィルタサイズ213を平均フィルタ適用部222に出力する。
平均フィルタ適用部222は、LUT221から入力したフィルタサイズ213によって決定される大きさの平均フィルタを、蛍光画像20に適用して、蛍光画像のノイズ低減処理を実行する。
この平均フィルタ適用処理によってノイズ低減蛍光画像212を生成する。
なお、前述したように、クラス分類処理部223は、可視光画像10と、蛍光画像20を入力し、これら2つの画像の特徴量に基づいて、事前の学習データを適用して、クラス分類情報214を出力する。
クラス分類処理部223におけるクラス分類情報214の出力例について、図16を参照して説明する。
図16には、
(a)画像特徴
(b)クラス分類情報
(c)適用LUT
これらの対応データを示している。
(a)画像特徴は、入力する可視光画像10と、蛍光画像20、これら2つの画像の特徴量に相当する。
具体的には、平坦部、テクスチャ部、エッジ部等の画像特徴量に応じた区別がなされ、さらに、各区別された画像特徴の中で、強、中、弱のレベル分けがなされている。
(b)クラス分類情報は、事前の学習処理によって設定した画像特徴量に対応付けられたクラス識別子である。
(c)適用LUTは、図15を参照して説明したクラス対応のグラフ(LUT)の識別子である。
クラス分類処理部223は、可視光画像10と、蛍光画像20を入力し、これら2つの画像の特徴量を取得する。この特徴量が、(a)画像特徴に相当する。
次に、(a)画像特徴に基づいて、クラス分類情報214を取得する。
図16に示す(a)画像特徴と、(b)クラス分類情報は、事前に実行されたサンプル画像を適用した学習データを適用して対応付けがなされており、この対応付けデータを利用して、入力した可視光画像10と、蛍光画像20の画像特徴量に対応付けられたクラス分類情報214を選択して出力する。
その後、クラス分類情報214に従って、図15に示すLUT221から1つのデータ、すなわち、図15に示す複数のグラフの1つが選択され、その選択データから、入力ノイズ低減強度β,211に対応付けられたフィルタサイズを取得し、取得したフィルタサイズ213を平均フィルタ適用部222に出力する。
平均フィルタ適用部222は、LUT221から入力したフィルタサイズ213によって決定される大きさの平均フィルタを、蛍光画像20に適用して、蛍光画像のノイズ低減処理を実行する。
この平均フィルタ適用処理によってノイズ低減蛍光画像212を生成する。
なお、画像特徴量は、可視光画像10と、蛍光画像20の画像全体で1つの特徴量を取得する構成として、1つの画像に1つのサイズのフィルタを適用する構成としてもよいし、画像の領域単位で特徴量を個別に取得して、画像領域単位で異なるサイズのフィルタを適用する構成としてもよい。
なお、先に説明した実施例と同様、蛍光画像20からノイズ低減蛍光画像212を生成する際に適用するフィルタは、平均フィルタに限るものではなく、メディアンフィルタやバイラテラルフィルタ等、様々なフィルタが適用可能である。
また、例えばエッジ情報を利用したジョイント・バイラテラルフィルタを適用する構成も可能である。
本実施例の図13に示す画像処理装置200の実行する処理のシーケンスについて、図17に示すフローチャートを参照して説明する。
以下、図17に示すフローは、先に説明した図12のフローとほぼ同様である。
図17に示すフローのステップS201,S202,S204は、図12のフローのステップS201、S202、S204と同じ処理となる。
図17のフロー中、ステップS203bの処理のみが、図12に示すフローのステップS203の処理と異なる処理となる。
図17のフローのステップS203bの処理について説明する。
(ステップS203b)
画像処理装置は、ステップS203において、ステップS202で算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。
この処理は、図13に示す画像処理装置200の蛍光画像ノイズ低減部205の実行する処理である。
先に図14〜図16を参照して説明したように、蛍光画像ノイズ低減部205は、クラス分類処理部223、ルックアップテーブル(LUT)221、平均フィルタ適用部222を有している。
ルックアップテーブル(LUT)221には、ノイズ低減強度β,211と、クラス分類情報214に対応付けた最適な平均フィルタのサイズが格納されている。
クラス分類処理部223は、可視光画像10と、蛍光画像20を入力し、これら2つの画像の特徴量を取得する。この特徴量に基づいて、クラス分類情報214を取得する。画像特徴と、クラス分類情報は、事前に実行されたサンプル画像を適用した学習データを適用して対応付けがなされており、この対応付けデータを利用して、入力した可視光画像10と、蛍光画像20の画像特徴量に対応付けられたクラス分類情報214を選択して出力する。
その後、クラス分類情報214に従って、図15に示すLUT221から1つのデータ、すなわち、図15に示す複数のグラフの1つが選択され、その選択データから、入力ノイズ低減強度β,211に対応付けられたフィルタサイズを取得し、取得したフィルタサイズ213を平均フィルタ適用部222に出力する。
平均フィルタ適用部222は、LUT221から入力したフィルタサイズ213によって決定される大きさの平均フィルタを、蛍光画像20に適用して、蛍光画像のノイズ低減処理を実行する。
この平均フィルタ適用処理によってノイズ低減蛍光画像212を生成する。
(ステップS204)
次に、画像処理装置は、ステップS204において、可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。
本例においても、重畳画像のノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とはほぼ一致する設定に制御されることになる。
すなわち、ノイズ低減蛍光画像のノイズレベルは、常に可視光画像のノイズレベルに一致する設定に制御されて表示されるので、重畳画像の重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。
[5.本開示の画像処理装置の実施例3の構成と処理について]
次に、図18以下を参照して本開示の画像処理装置の実施例3の構成と処理について説明する。
図18は、本開示の実施例3の画像処理装置300の構成例を示すブロック図である。
図18に示す実施例3の画像処理装置300も、先に実施例1として説明した図2に示す画像処理装置100と同様、可視光画像10と、蛍光画像20を入力して、これら2つの画像を重畳した重畳画像30を生成して出力する。重畳画像30は、例えば、画像表示部(ディスプレイ)を持つ画像表示装置320に出力され表示される。
図18に示す画像処理装置300も、先に実施例1として説明した図2に示す画像処理装置100と同様、可視光画像10と、蛍光画像20を重畳した重畳画像30のノイズレベルを制御する構成を持つ。具体的には、例えば、蛍光画像20のノイズレベルを重畳対象となる可視光画像10のノイズレベルまで低下させて重畳することを可能とした構成を持つ。
図18に示すように、画像処理装置300は、重畳率設定部301、可視光画像ノイズレベル推定部302、蛍光画像ノイズレベル推定部303、蛍光画像ノイズ低減強度算出部304、蛍光画像ノイズ低減部305、画像重畳部306を有する。
これらの構成要素は、先に実施例1として説明した図2に示す画像処理装置100と同様の構成である。
図18に示す画像処理装置300と、図2に示す画像処理装置100との違いは、可視光画像ノイズ低減部307が追加されたことである。
可視光画像ノイズ低減部307は、入力した可視光画像10のノイズレベルが、予め規定したしきい値(th)より大きい場合に、可視光画像10のノイズレベルを低減する処理を実行して、ノイズ低減可視光画像316を生成して画像重畳部306に出力する。
この場合、画像重畳部306は、
可視光画像ノイズ低減部307の生成したノイズ低減可視光画像316と、
蛍光画像ノイズ低減部305の生成したノイズ低減蛍光画像315、
これらの2つの画像の重畳処理を実行して重畳画像30を生成する。
なお、可視光画像ノイズ低減部307における可視光画像10のノイズレベル低減処理に適用するノイズ低減強度γ312は、予め規定した固定値である。
上述したように、可視光画像ノイズ低減部307は、入力した可視光画像10のノイズレベルが、予め規定したしきい値より大きい場合に、可視光画像10のノイズレベルを低減する処理を実行する。
入力した可視光画像10のノイズレベルが、予め規定したしきい値より大きいか否かを判定するのは、蛍光画像ノイズ低減強度算出部304である。
蛍光画像ノイズ低減強度算出部304は、入力する可視光画像10のノイズレベルが予め規定したしきい値より大きいか否かを判定し、大きいと判定した場合は、可視光画像ノイズ低減部307に、予め規定したノイズ低減強度γ312を出力する。
可視光画像ノイズ低減部307は、このノイズ低減強度γ312を適用して、可視光画像10のノイズレベル低減処理を実行する。
可視光画像ノイズ低減部307は、入力する可視光画像10、すなわち、
=x+n
上記画素値yによって構成される可視光画像10に対して、ノイズレベル低減強度γを適用して、以下の式に従ってノイズ低減後の画素値yVnrを持つノイズ低減可視光画像316を生成する。
Vnr=x+(1/γ)n
なお、上記式において、信号xは原信号、すなわちノイズ成分を含まない被写体を反映した画像信号であり、信号nは、被写体を反映した画像信号とは異なるノイズ成分のみの信号である。
次に、図19を参照して、蛍光画像ノイズ低減強度算出部304の実行する処理の詳細について説明する。
先の実施例1において、図5を参照して説明したと同様、蛍光画像ノイズ低減強度算出部304は、可視光画像ノイズレベル推定部302と、蛍光画像ノイズレベル推定部303において推定された可視光画像10と蛍光画像20に含まれるノイズレベルに応じて、蛍光画像20のノイズレベルの低減強度であるノイズレベル低減強度β,311を算出する。
蛍光画像ノイズ低減強度算出部304は、例えば、可視光画像と蛍光画像との重畳率が変化しても、重畳画像に含まれる可視光画像と蛍光画像のノイズレベルがほぼ一致するレベルとなるように、重畳率に応じたノイズレベル低減強度β,311を算出する。
本実施例では、前述したように、入力した可視光画像10のノイズレベルが、予め規定したしきい値(th)より大きい場合に、可視光画像10のノイズレベルを低減する処理を実行して、ノイズ低減可視光画像316を生成して画像重畳部306に出力する。
この場合、画像重畳部306は、
可視光画像ノイズ低減部307の生成したノイズ低減可視光画像316と、
蛍光画像ノイズ低減部305の生成したノイズ低減蛍光画像315、
これらの2つの画像の重畳処理を実行して重畳画像30を生成する。
画像重畳部306は、これら2つの画像を重畳率αに従って重畳して重畳画像30を生成する。重畳画像30の画素値ynrは、以下の式(式8)によって表される。
nr=(1−α)yVnr+αyFnr
=(1−α)x+αx+((1−α)/γ)n+(α/β)n ・・・(式8)
このように、蛍光画像の重畳対象となる可視光画像が、ノイズ低減可視光画像316となる場合、ノイズ低減蛍光画像315のノイズレベルも、このノイズ低減可視光画像316のノイズレベルに合わせるように調整することが必要となる。
図19は、この場合の処理シーケンス、すなわち、入力可視光画像10のノイズレベルがしきい値より高いと判定され、ノイズ低減蛍光画像315と、ノイズ低減可視光画像316との重畳処理が実行される場合の処理シーケンスである。
すなわち、ノイズ低減蛍光画像315のノイズレベルを、ノイズ低減可視光画像316のノイズレベルに合わせるように調整する処理のシーケンスである。
以下、図19を参照して、蛍光画像ノイズ低減強度算出部304の実行するステップS31〜S36の処理について、以下、順次説明する。
(ステップS31)
まず、蛍光画像ノイズ低減強度算出部304は、ステップS31において、可視光画像の画素値yを原信号xと、ノイズ成分信号nを用いて、以下の式で表す。
=x+n
なお、原信号xとは、ノイズ成分を含まない被写体を反映した画像信号であり、ノイズ成分信号nは、被写体を反映した画像信号とは異なるノイズ成分のみの信号である。
(ステップS32)
次に、蛍光画像ノイズ低減強度算出部304は、ステップS32において、蛍光画像の画素値yを原信号xと、ノイズ成分nを用いて、以下の式で表す。
=x+n
(ステップS33)
次に、蛍光画像ノイズ低減強度算出部304は、ステップS33において、ノイズ低減後の蛍光画像の画素値yFnrを原信号xと、ノイズ低減強度βと、ノイズ成分nを用いて、以下の式で表す。
Fnr=x+(1/β)n
なお、上記式に示されるように、ノイズ低減強度βを適用したノイズ低減処理によって、蛍光画像の画素値に含まれるノイズ成分は、(1/β)nに減少する。
(ステップS34)
次に、蛍光画像ノイズ低減強度算出部304は、ステップS34において、可視光画像yとノイズ低減蛍光画像yFnrの重畳画像ynrを、重畳率αを用いて以下で表す。
nr=(1−α)y+αyFnr
=(1−α)x+αx+(1−α)n+(α/β)n
(ステップS35)
次に、蛍光画像ノイズ低減強度算出部304は、ステップS35において、重畳画像を構成する可視光画像のノイズ成分nと、ノイズ低減蛍光画像のノイズ成分(α/β)nを同等にするための式、すなわち以下の式(式4)を設定する。
(1−α)n=(α/β)n ・・・(式4)
上記(式4)は、重畳画像に含まれる、
(a)可視光画像のノイズ信号レベル(1−α)n
(b)ノイズ低減蛍光画像のノイズ信号レベル(α/β)n
これら(a),(b)の各画像のノイズ信号レベルを一致させる設定とした式である。
(ステップS36)
次に、蛍光画像ノイズ低減強度算出部304は、ステップS36において、入力した可視光画像10のノイズレベルがしきい値(th)より大きいこと確認すると、可視光画像ノイズ低減部307に、予め規定した可視光画像用のノイズ低減強度γを出力する。
さらに、上記(式4)を用いて、蛍光画像に施すノイズ低減処理に適用するノイズ低減強度βを以下の(式9)に従って算出する。
β=(α/(1−α))(n/((1/γ)n)) ・・・(式9)
上記(式9)は、先に、実施例1において、図5を参照して説明したステップS26において適用したノイズ低減強度β算出式、すなわち、以下の(式5)、
β=(α/(1−α))(n/n) ・・・(式5)
上記(式5)中の、可視光画像のノイズレベルnを、ノイズ低減処理後のノイズレベル、すなわち、(1/γ)nに変更した式に相当する。
このようにして、蛍光画像ノイズ低減強度算出部304は、蛍光画像20に対するノイズ低減処理を実行する蛍光画像ノイズ低減部305において適用するノイズ低減強度βを算出する。
上記(式9)から、理解されるように、ノイズ低減強度βは、蛍光画像の重畳率αが増加すると増加し、蛍光画像の重畳率αが減少すると減少する設定である。
このノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成するノイズ低減可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とはほぼ一致する設定に制御されることになる。
画像重畳部106は、これら2つの画像を重畳率αに従って重畳して重畳画像30を生成する。重畳画像30の画素値ynrは、前述の式(式8)によって表される。
nr=(1−α)yVnr+αyFnr
=(1−α)x+αx+((1−α)/γ)n+(α/β)n ・・・(式8)
次に、本実施例3の図18に示す画像処理装置300の実行する処理のシーケンスについて、図20に示すフローチャートを参照して説明する。
以下、図20に示すフローの各ステップの処理について、順次、説明する。
(ステップS301)
ステップS301の処理は、先に説明した実施例1の処理である図8に示すフローチャートのステップS101の処理と同様の処理である。
まず、画像処理装置は、ステップS301において、可視光画像と蛍光画像のノイズレベルを推定する。
この処理は、図18に示す画像処理装置300の可視光画像ノイズレベル推定部302、蛍光画像ノイズレベル推定部303の実行する処理である。
可視光画像ノイズレベル推定部302、蛍光画像ノイズレベル推定部303は、先に図4を参照して説明したシーケンスに従って、可視光画像10と、蛍光画像20に含まれるノイズレベルを推定する。
(ステップS302)
次に、画像処理装置は、ステップS302において、可視光画像10のノイズレベルが既定のしきい値(th)より大きいか否かを判定する。
この処理は、図18に示す画像処理装置300の蛍光画像ノイズ低減強度算出部304の実行する処理である。
可視光画像10のノイズレベルが既定のしきい値(th)より大きい場合は、ステップS311に進む。
一方、可視光画像10のノイズレベルが既定のしきい値(th)より大きくない場合は、ステップS321に進む。
(ステップS311)
ステップS302において、可視光画像10のノイズレベルが既定のしきい値(th)より大きい場合は、ステップS311に進む。
画像処理装置は、ステップS311において、可視光画像に対するノイズ低減処理を実行する。
この処理は、図18に示す画像処理装置300の可視光画像ノイズ低減部307の実行する処理である。
可視光画像ノイズ低減部307は、予め規定されたノイズ低減強度γを適用して、可視光画像ののいず低減処理を実行して、ノイズ低減可視光画像を生成する。
(ステップS312)
次に、画像処理装置は、ステップS312において、蛍光画像のノイズレベルを、ステップS311において生成したノイズ低減可視光画像のノイズレベルに合わせるために蛍光画像に施すノイズ低減処理のノイズ低減強度βを算出する。
この処理は、図18に示す画像処理装置300の蛍光画像ノイズ低減強度算出部304の実行する処理である。
この処理は、先に図19を参照して説明した処理である。
図19を参照して説明したように、蛍光画像ノイズ低減強度算出部304は、図19に示すステップS31〜S36の処理を実行して、ノイズ低減可視光画像とノイズ低減蛍光画像との重畳率αが変化しても、重畳画像に含まれるノイズ低減可視光画像とノイズ低減蛍光画像のノイズレベルがほぼ同一になるように重畳率に応じたノイズレベル低減強度βを算出する。
(ステップS313)
次に、画像処理装置は、ステップS313において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。
この処理は、図18に示す画像処理装置300の蛍光画像ノイズ低減部305の実行する処理である。
この処理は、実施例1において図6を参照して説明した処理と同様の処理である。
あるいは実施例2において図10他を参照して説明したルックアップテーブル(LUT)221を適用した処理として実行してもよい。
図18に示す画像処理装置300の蛍光画像ノイズ低減部305は、いずれかの処理を実行してノイズ低減蛍光画像312を生成する。
(ステップS314)
次に、画像処理装置は、ステップS314において、ノイズ低減可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。
この処理は、図18に示す画像処理装置300の画像重畳部306の実行する処理である。
生成された重畳画像は、画像表示部220に表示される。
画像重畳部106は、ノイズ低減強度γを適用してノイズ低減処理がなされたノイズ低減可視光画像と、ノイズ低減強度γを適用してノイズ低減処理がなされたノイズ低減蛍光画像を重畳率αに従って重畳して重畳画像30を生成する。重畳画像30の画素値ynrは、先に説明した式(式8)によって表される。
(ステップS321)
一方、ステップS302において、可視光画像10のノイズレベルが既定のしきい値(th)より大きくないと判定した場合は、ステップS321に進む。
ステップS321〜S323の処理は、実施例1において、図8のフローを参照して説明したステップS102〜S104と同様の処理である。
画像処理装置は、ステップS321において、蛍光画像のノイズレベルを、ノイズ低減なしの可視光画像のノイズレベルに合わせるために蛍光画像に施すノイズ低減処理のノイズ低減強度βを算出する。
この処理は、図18に示す画像処理装置300の蛍光画像ノイズ低減強度算出部304の実行する処理である。
この場合の処理は、先の実施例1において、図5を参照して説明したステップS21〜S26の処理となる。
ノイズ低減なし可視光画像とノイズ低減蛍光画像との重畳率αが変化しても、重畳画像に含まれるノイズ低減なし可視光画像とノイズ低減蛍光画像のノイズレベルがほぼ同一になるように重畳率に応じたノイズレベル低減強度βを算出する。
(ステップS322)
次に、画像処理装置は、ステップS322において、算出したノイズ低減強度βを適用して、蛍光画像のノイズの低減処理を実行して、ノイズ低減蛍光画像を生成する。
この処理は、図18に示す画像処理装置300の蛍光画像ノイズ低減部305の実行する処理である。
この処理は、実施例1において図6を参照して説明した処理と同様の処理である。
あるいは実施例2において図10他を参照して説明したルックアップテーブル(LUT)221を適用した処理として実行してもよい。
図18に示す画像処理装置300の蛍光画像ノイズ低減部305は、いずれかの処理を実行してノイズ低減蛍光画像312を生成する。
(ステップS323)
次に、画像処理装置は、ステップS323において、ノイズ低減なし可視光画像と、ノイズ低減蛍光画像を重畳率αに従って重畳し、重畳画像を生成する。
この処理は、図18に示す画像処理装置300の画像重畳部306の実行する処理である。
この処理は、先の実施例1において、図7を参照して説明した処理と同様の処理である。画像重畳部306は、可視光画像10と、蛍光画像ノイズ低減部305の生成したノイズ低減蛍光画像312を重畳して重畳画像30を生成する。
生成された重畳画像30は、画像表示部320に表示される。
先に図7を参照して説明したように、画像重畳部306は、可視光画像10と、蛍光画像ノイズ低減部305の生成したノイズ低減蛍光画像312を重畳率αに従って重畳して重畳画像30を生成する。重畳画像30の画素値ynrは、先に説明した式(式7)によって表される。
本実施例においては、可視光画像が既定しきい値より大きいノイズレベルである場合は、ノイズ低減可視光画像とノイズ低減蛍光画像の重畳画像を生成し、
可視光画像が既定しきい値より大きいノイズレベルでない場合は、ノイズ低減なしの可視光画像とノイズ低減蛍光画像の重畳画像を生成する。
ただし、いずれの場合でも、重畳画像のノイズ信号レベルは、重畳率αの変化に応じて変化するが、重畳率αが変化しても、その重畳画像を構成する可視光画像、またはノイズ低減可視光画像のノイズ信号レベル(強度)と、ノイズ低減蛍光画像のノイズ信号レベル(強度)とはほぼ一致する設定に制御されることになる。
すなわち、ノイズ低減蛍光画像のノイズレベルは、常に、重畳対象となる可視光画像、またはノイズ低減可視光画像のノイズレベルに一致する設定に制御されて表示される。従って、重畳率を変化させて、蛍光画像の割合を変化させてもノイズ増減が抑制され、観察しやすい画像の表示が可能となる。
[6.画像処理装置のハードウェア構成例について]
次に、図21を参照して画像処理装置のハードウェア構成例について説明する。
図21は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。
CPU(Central Processing Unit)601は、ROM(Read Only Memory)602、または記憶部608に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)603には、CPU601が実行するプログラムやデータなどが記憶される。これらのCPU601、ROM602、およびRAM603は、バス604により相互に接続されている。
CPU601はバス604を介して入出力インタフェース605に接続され、入出力インタフェース605には、撮像部621の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部606、表示部622やスピーカなどに対するデータ出力を実行する出力部607が接続されている。CPU601は、入力部606から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部607に出力する。
入出力インタフェース605に接続されている記憶部608は、例えばハードディスク等からなり、CPU601が実行するプログラムや各種のデータを記憶する。通信部609は、Wi−Fi通信、ブルートゥース(登録商標)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース605に接続されているドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア611を駆動し、データの記録あるいは読み取りを実行する。
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、
可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、
を備え、
前記ノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理装置。
(2)前記ノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する(1)に記載の画像処理装置。
(3) 前記画像処理装置は、さらに、
前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルを適用して、前記ノイズ低減強度を算出する(2)に記載の画像処理装置。
(4) 前記画像処理装置は、さらに、
前記画像重畳部において実行する可視光画像とノイズ低減蛍光画像との重畳処理に適用する各画像の重畳率を設定する重畳率設定部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記重畳率が変更された場合でも、前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する(2)または(3)に記載の画像処理装置。
(5) 前記蛍光画像ノイズ低減強度算出部は、
前記ノイズ低減蛍光画像の重畳率が大きいほど、大きなノイズ低減強度を算出する(4)に記載の画像処理装置。
(6) 前記画像処理装置は、さらに、
前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
前記蛍光画像ノイズ低減強度算出部は、
前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルと、前記重畳率を適用して、前記ノイズ低減強度を算出する(4)に記載の画像処理装置。
(7) 前記蛍光画像ノイズ低減部は、
ノイズ低減強度と、フィルタサイズの対応データからなるルックアップテーブルを有し、
蛍光画像ノイズ低減強度算出部の算出したノイズ低減強度に対応付けられたフィルタサイズを、前記ルックアップテーブルから取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する(1)〜(6)いずれかに記載の画像処理装置。
(8) 前記フィルタは平均フィルタ、または、メディアンフィルタ、バイラテラルフィルタのいずれかである(7)に記載の画像処理装置。
(9) 前記蛍光画像ノイズ低減部は、
事前の学習データを適用した画像特徴量に基づくクラス分類情報を出力するクラス分類処理部を有し、
前記クラス分類処理部は、
重畳処理用の可視光画像と蛍光画像の特徴量に基づくクラス分類情報を出力し、
前記クラス分類情報によって選択されるルックアップテーブルを適用して、前記ノイズ低減強度に対応付けられたフィルタサイズを取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する(7)または(8)に記載の画像処理装置。
(10) 前記画像処理装置は、さらに、
可視光画像ノイズ低減部を有し、
前記可視光画像ノイズ低減部は、
前記可視光画像が、予め規定したしきい値より大きいノイズレベルを有する場合に、前記可視光画像に対するノイズ低減処理を実行して、ノイズ低減可視画像を生成し、
前記画像重畳部は、前記ノイズ低減可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する(1)〜(9)いずれかに記載の画像処理装置。
(11) 前記蛍光画像ノイズ低減強度算出部は、
前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する前記ノイズ低減可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する(10)に記載の画像処理装置。
(12) 前記画像処理装置は、さらに、
前記可視光画像と前記蛍光画像の撮像処理を行なう撮像部を有する(1)〜(11)いずれかに記載の画像処理装置。
(13) 画像処理装置において実行する画像処理方法であり、
蛍光画像ノイズ低減部が、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減ステップと、
画像重畳部が、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳ステップを有し、
前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理方法。
(14) 画像処理装置において画像処理を実行させるプログラムであり、
蛍光画像ノイズ低減部に、蛍光画像のノイズ低減処理を実行させてノイズ低減蛍光画像を生成させる蛍光画像ノイズ低減ステップと、
画像重畳部に、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成させる画像重畳ステップを実行させ、
前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理として実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、可視光画像と、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法が実現される。
具体的には、例えば、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、設定された重畳率に応じて、可視光画像とノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、蛍光画像ノイズ低減部における蛍光画像のノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有する。蛍光画像ノイズ低減強度算出部は、重畳率が変更された場合でも、ノイズ低減蛍光画像のノイズレベルを、重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する。
これらの構成、処理により、可視光画像のノイズレベルにほぼ一致するノイズレベルの蛍光画像との重畳画像を生成する装置、方法が実現される。
1 生体組織
2 血管
10 可視光画像
20 蛍光画像
30 重畳画像
100,200,300 画像処理装置
101,201,301 重畳率設定部
102,202,302 可視光画像ノイズレベル推定部
103,203,303 蛍光画像ノイズレベル推定部
104,204,304 蛍光画像ノイズ低減強度算出部
105,205,405 蛍光画像ノイズ低減部
106,206,306 画像重畳部
221 ルックアップテーブル(LUT)
222 平均フィルタ適用部
223 クラス分類処理部
307 可視光画像ノイズ低減部
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア
621 撮像部
622 表示部

Claims (14)

  1. 蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減部と、
    可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳部と、
    を備え、
    前記ノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理装置。
  2. 前記ノイズ低減処理に適用するノイズ低減強度を算出する蛍光画像ノイズ低減強度算出部を有し、
    前記蛍光画像ノイズ低減強度算出部は、
    前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する請求項1に記載の画像処理装置。
  3. 前記画像処理装置は、さらに、
    前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
    前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
    前記蛍光画像ノイズ低減強度算出部は、
    前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルを適用して、前記ノイズ低減強度を算出する請求項2に記載の画像処理装置。
  4. 前記画像処理装置は、さらに、
    前記画像重畳部において実行する可視光画像とノイズ低減蛍光画像との重畳処理に適用する各画像の重畳率を設定する重畳率設定部を有し、
    前記蛍光画像ノイズ低減強度算出部は、
    前記重畳率が変更された場合でも、前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する請求項2に記載の画像処理装置。
  5. 前記蛍光画像ノイズ低減強度算出部は、
    前記ノイズ低減蛍光画像の重畳率が大きいほど、大きなノイズ低減強度を算出する請求項4に記載の画像処理装置。
  6. 前記画像処理装置は、さらに、
    前記可視光画像のノイズレベルを推定する可視光画像ノイズレベル推定部と、
    前記蛍光画像のノイズレベルを推定する蛍光画像ノイズレベル推定部を有し、
    前記蛍光画像ノイズ低減強度算出部は、
    前記前記可視光画像のノイズレベルと、前記蛍光画像のノイズレベルと、前記重畳率を適用して、前記ノイズ低減強度を算出する請求項4に記載の画像処理装置。
  7. 前記蛍光画像ノイズ低減部は、
    ノイズ低減強度と、フィルタサイズの対応データからなるルックアップテーブルを有し、
    蛍光画像ノイズ低減強度算出部の算出したノイズ低減強度に対応付けられたフィルタサイズを、前記ルックアップテーブルから取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する請求項1に記載の画像処理装置。
  8. 前記フィルタは平均フィルタ、または、メディアンフィルタ、バイラテラルフィルタのいずれかである請求項7に記載の画像処理装置。
  9. 前記蛍光画像ノイズ低減部は、
    事前の学習データを適用した画像特徴量に基づくクラス分類情報を出力するクラス分類処理部を有し、
    前記クラス分類処理部は、
    重畳処理用の可視光画像と蛍光画像の特徴量に基づくクラス分類情報を出力し、
    前記クラス分類情報によって選択されるルックアップテーブルを適用して、前記ノイズ低減強度に対応付けられたフィルタサイズを取得して、取得したフィルタサイズを有するフィルタを蛍光画像に適用して、ノイズ低減蛍光画像を生成する請求項7に記載の画像処理装置。
  10. 前記画像処理装置は、さらに、
    可視光画像ノイズ低減部を有し、
    前記可視光画像ノイズ低減部は、
    前記可視光画像が、予め規定したしきい値より大きいノイズレベルを有する場合に、前記可視光画像に対するノイズ低減処理を実行して、ノイズ低減可視画像を生成し、
    前記画像重畳部は、前記ノイズ低減可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する請求項1に記載の画像処理装置。
  11. 前記蛍光画像ノイズ低減強度算出部は、
    前記ノイズ低減蛍光画像のノイズレベルを、前記重畳画像を構成する前記ノイズ低減可視光画像のノイズレベルにほぼ一致させる値を持つノイズ低減強度を算出する請求項10に記載の画像処理装置。
  12. 前記画像処理装置は、さらに、
    前記可視光画像と前記蛍光画像の撮像処理を行なう撮像部を有する請求項1に記載の画像処理装置。
  13. 画像処理装置において実行する画像処理方法であり、
    蛍光画像ノイズ低減部が、蛍光画像のノイズ低減処理を実行してノイズ低減蛍光画像を生成する蛍光画像ノイズ低減ステップと、
    画像重畳部が、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成する画像重畳ステップを有し、
    前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理である画像処理方法。
  14. 画像処理装置において画像処理を実行させるプログラムであり、
    蛍光画像ノイズ低減部に、蛍光画像のノイズ低減処理を実行させてノイズ低減蛍光画像を生成させる蛍光画像ノイズ低減ステップと、
    画像重畳部に、可視光画像と、前記ノイズ低減蛍光画像との重畳画像を生成させる画像重畳ステップを実行させ、
    前記蛍光画像ノイズ低減ステップにおいて実行するノイズ低減処理は、前記蛍光画像のノイズレベルを、前記重畳画像を構成する可視画像のノイズレベルに近づける処理として実行させるプログラム。
JP2019502857A 2017-02-28 2018-02-14 画像処理装置、および画像処理方法、並びにプログラム Active JP7127637B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017037025 2017-02-28
JP2017037025 2017-02-28
PCT/JP2018/004982 WO2018159288A1 (ja) 2017-02-28 2018-02-14 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018159288A1 true JPWO2018159288A1 (ja) 2019-12-19
JP7127637B2 JP7127637B2 (ja) 2022-08-30

Family

ID=63370849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502857A Active JP7127637B2 (ja) 2017-02-28 2018-02-14 画像処理装置、および画像処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20190346367A1 (ja)
EP (1) EP3590404A4 (ja)
JP (1) JP7127637B2 (ja)
DE (1) DE112018001054T5 (ja)
WO (1) WO2018159288A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7413215B2 (ja) * 2020-09-09 2024-01-15 英敏 太田 消化器内視鏡

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075198A (ja) * 2005-09-12 2007-03-29 Pentax Corp 電子内視鏡システム
JP2011199786A (ja) * 2010-03-23 2011-10-06 Olympus Corp 画像処理装置及び画像処理方法並びにプログラム
US20120248333A1 (en) * 2011-03-30 2012-10-04 Johannes Fallert Device For Fluorescence Diagnosis
JP2015019863A (ja) * 2013-07-19 2015-02-02 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 放射線断層撮影装置及びプログラム
JP2015029841A (ja) * 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
WO2015025640A1 (ja) * 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010122884A1 (ja) * 2009-04-21 2010-10-28 オリンパスメディカルシステムズ株式会社 蛍光画像装置及び蛍光画像取得方法
JP5993184B2 (ja) 2012-04-04 2016-09-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075198A (ja) * 2005-09-12 2007-03-29 Pentax Corp 電子内視鏡システム
JP2011199786A (ja) * 2010-03-23 2011-10-06 Olympus Corp 画像処理装置及び画像処理方法並びにプログラム
US20120248333A1 (en) * 2011-03-30 2012-10-04 Johannes Fallert Device For Fluorescence Diagnosis
JP2015019863A (ja) * 2013-07-19 2015-02-02 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 放射線断層撮影装置及びプログラム
JP2015029841A (ja) * 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
WO2015025640A1 (ja) * 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置

Also Published As

Publication number Publication date
EP3590404A1 (en) 2020-01-08
JP7127637B2 (ja) 2022-08-30
DE112018001054T5 (de) 2019-11-07
EP3590404A4 (en) 2020-03-25
WO2018159288A1 (ja) 2018-09-07
US20190346367A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
JP6439816B2 (ja) 医療用皮膚検査装置、画像処理方法、プログラム
JP5867390B2 (ja) カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
KR101264182B1 (ko) 화상 처리 방법 및 화상 처리 장치
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP6758891B2 (ja) 画像表示装置及び画像表示方法
EP3111635B1 (en) Systems and methods to control judder visibility
US9345391B2 (en) Control device, endoscope apparatus, aperture control method, and information storage medium
JP6623832B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
JP2012169700A (ja) 画像処理装置、撮像装置、画像処理プログラム、及び画像処理方法
JP5586858B2 (ja) 表示制御装置、及び表示制御方法
WO2016006429A1 (ja) 画像処理装置および方法、プログラム、並びに内視鏡システム
US8711250B2 (en) Image signal processing apparatus and image signal processing method
JP7127637B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2014129339A1 (ja) 眼底画像出力装置および方法、並びにプログラム
US11050931B2 (en) Control device and control method
KR20070063781A (ko) 색역 내에 존재하는 색상을 영상 적응적으로 조절하는 방법및 장치
US9437162B2 (en) Image output apparatus, control method therefor, image display apparatus, control method therefor, and storage medium
JP6338525B2 (ja) X線スレーブ画像のx線マスタ画像への適合
US20220014664A1 (en) Apparatuses, systems, and methods for gaze-based auto-exposure management of image frames
JP5302158B2 (ja) 画像信号処理装置、画像信号処理プログラムおよび画像信号処理方法
JP2005295417A (ja) 画像処理装置
JP2010283690A (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
US10849482B2 (en) Endoscopic system, image processing apparatus, and image processing method
JP2019145092A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016170637A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R151 Written notification of patent or utility model registration

Ref document number: 7127637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151