JPWO2018131141A1 - 内視鏡用画像処理装置および内視鏡用画像処理方法 - Google Patents
内視鏡用画像処理装置および内視鏡用画像処理方法 Download PDFInfo
- Publication number
- JPWO2018131141A1 JPWO2018131141A1 JP2018561754A JP2018561754A JPWO2018131141A1 JP WO2018131141 A1 JPWO2018131141 A1 JP WO2018131141A1 JP 2018561754 A JP2018561754 A JP 2018561754A JP 2018561754 A JP2018561754 A JP 2018561754A JP WO2018131141 A1 JPWO2018131141 A1 JP WO2018131141A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- light image
- special light
- superimposed
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 11
- 230000002596 correlated effect Effects 0.000 claims 1
- 238000002073 fluorescence micrograph Methods 0.000 description 24
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本発明の内視鏡用画像処理装置(1)は、広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された被写体の特殊光画像とを処理する画像処理装置であって、特殊光画像内の被写体の構造と相関を有しない非構造情報を低減する非構造低減部(4)と、非構造情報が低減された特殊光画像を通常光画像に重畳して重畳画像を生成する重畳画像生成部(5)と、重畳画像を外部装置へ出力する出力部(6)とを備える。
Description
本発明は、内視鏡用画像処理装置および内視鏡用画像処理方法に関するものである。
従来、白色光画像のような通常光画像と、蛍光画像のような特殊光画像とを取得し、通常光画像に特殊光画像を重畳表示する内視鏡装置が知られている(例えば、特許文献1参照。)。
生体内の組織の構造を表す通常光画像は、組織の輪郭等、組織の構造と相関を有する構造情報を多く含む。一方、蛍光物質で標識された病変部等、組織の特定領域を表す特殊光画像は、組織の構造と相関を有しない、または相関が低い非構造情報を多く含む。したがって、通常光画像に特殊光画像を重畳したときに通常光画像内の構造情報が特殊光画像内の非構造情報によって劣化し、生成された重畳画像において組織の構造が不鮮明化されてしまうという不都合がある。
本発明は、上述した事情に鑑みてなされたものであって、特殊光画像を通常光画像に重畳する際の被写体の構造情報の劣化を軽減することができる内視鏡用画像処理装置および内視鏡用画像処理方法を提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理装置であって、前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減する非構造低減部と、該非構造低減部によって前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成する重畳画像生成部と、該重畳画像生成部によって生成された前記重畳画像を外部装置へ出力する出力部とを備える内視鏡用画像処理装置である。
本発明の一態様は、広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理装置であって、前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減する非構造低減部と、該非構造低減部によって前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成する重畳画像生成部と、該重畳画像生成部によって生成された前記重畳画像を外部装置へ出力する出力部とを備える内視鏡用画像処理装置である。
広帯域の可視光で照明された被写体の通常光画像は、被写体の構造を表した画像であり、被写体の構造情報を含む。一方、狭帯域の特殊光で照明された特殊光画像は、被写体の内、特殊光と作用する特定領域を表した画像であり、被写体の構造と相関を有しない非構造情報を含む。
本態様によれば、重畳画像生成部によって、通常光画像と特殊光画像とを重畳することで被写体の構造と特定領域とを対応付けた重畳画像が生成され、生成された重畳画像が出力部から外部装置に出力される。
この場合に、非構造低減部によって非構造情報が低減された特殊光画像が通常光画像との重畳に使用されるので、特殊光画像を通常光画像に重畳する際の被写体の構造情報の劣化を軽減することができ、被写体の構造が鮮明な重畳画像を生成することができる。
この場合に、非構造低減部によって非構造情報が低減された特殊光画像が通常光画像との重畳に使用されるので、特殊光画像を通常光画像に重畳する際の被写体の構造情報の劣化を軽減することができ、被写体の構造が鮮明な重畳画像を生成することができる。
上記態様においては、前記非構造低減部が、前記特殊光画像の明るさを低減してもよい。
このように特殊光画像の明るさを低減することによって、簡単な処理で、重畳画像内の非構造情報を構造情報に対して相対的に低減することができる。
このように特殊光画像の明るさを低減することによって、簡単な処理で、重畳画像内の非構造情報を構造情報に対して相対的に低減することができる。
上記態様においては、前記非構造低減部が、前記特殊光画像の一部の画素を間引いてもよい。
このように特殊光画像の一部の画素を間引くことによって、特殊光画像内の非構造情報を簡単な処理で低減することができる。
このように特殊光画像の一部の画素を間引くことによって、特殊光画像内の非構造情報を簡単な処理で低減することができる。
上記態様においては、前記非構造低減部が、時系列の複数の特殊光画像間で間引く画素を異ならせてもよい。
このようにすることで、特殊光画像から画素が間引かれる位置が経時的に変化する。これにより、動画のように連続する通常光画像および特殊光画像から重畳画像を生成する際に、重畳画像において、特殊光画像内の同一位置の情報が常に欠落することを防ぎ、特殊光画像の全ての位置の情報を重畳画像の観察者に提供することができる。
このようにすることで、特殊光画像から画素が間引かれる位置が経時的に変化する。これにより、動画のように連続する通常光画像および特殊光画像から重畳画像を生成する際に、重畳画像において、特殊光画像内の同一位置の情報が常に欠落することを防ぎ、特殊光画像の全ての位置の情報を重畳画像の観察者に提供することができる。
上記態様においては、前記非構造低減部が、前記被写体の構造情報を低減せずに前記非構造情報を選択的に低減してもよい。
このようにすることで、被写体の構造情報を維持しつつ非構造情報が選択的に低減された特殊光画像が得られる。このような特殊光画像を重畳画像に用いることで、被写体の構造情報を重畳画像において強調することができる。
このようにすることで、被写体の構造情報を維持しつつ非構造情報が選択的に低減された特殊光画像が得られる。このような特殊光画像を重畳画像に用いることで、被写体の構造情報を重畳画像において強調することができる。
上記態様においては、前記通常光画像に含まれる前記被写体の構造情報を強調する構造強調部を備えていてもよい。
このようにすることで、通常光画像内の被写体の構造がより鮮明な重畳画像を生成することができる。
このようにすることで、通常光画像内の被写体の構造がより鮮明な重畳画像を生成することができる。
本発明の他の態様は、広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理方法であって、前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減し、前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成し、生成された前記重畳画像を外部装置へ出力する内視鏡用画像処理方法である。
本発明によれば、特殊光画像を通常光画像に重畳する際の被写体の構造情報の劣化を軽減することができるという効果を奏する。
以下に、本発明の一実施形態に係る内視鏡用画像処理装置1について図面を参照して説明する。
本実施形態に係る内視鏡用画像処理装置(以下、単に「画像処理装置」という。)1は、内視鏡装置および表示装置(外部装置)と接続され、該内視鏡装置から該内視鏡装置によって取得された画像信号を順次受信し、受信した画像信号を処理して後述する重畳画像を生成し、生成された重畳画像を表示装置に出力して該表示装置に表示させる。
本実施形態に係る内視鏡用画像処理装置(以下、単に「画像処理装置」という。)1は、内視鏡装置および表示装置(外部装置)と接続され、該内視鏡装置から該内視鏡装置によって取得された画像信号を順次受信し、受信した画像信号を処理して後述する重畳画像を生成し、生成された重畳画像を表示装置に出力して該表示装置に表示させる。
内視鏡装置は、生体組織(被写体)に通常光を照射し、生体組織からの通常光の反射光を撮像素子で撮影することによって通常光画像信号を取得する。また、内視鏡装置は、生体組織に励起光を照射し、生体組織内の蛍光物質が発する蛍光を撮像素子で撮影することによって蛍光画像信号を取得する。通常光は、白色光のような広帯域の可視光であり、励起光は、狭帯域の光である。蛍光物質は、例えば、生体組織内の病変部のような特定領域に集積する薬剤である。
画像処理装置1は、図1に示されるように、通常光画像生成部2と、蛍光画像生成部3と、非構造低減部4と、重畳画像生成部5と、出力部6とを備えている。
通常光画像生成部2は、内視鏡装置から通常光画像信号を受信し、通常光画像信号から通常光画像を生成し、通常光画像を重畳画像生成部5に送信する。通常光画像は、図2Aに示されるように、生体組織の表面形態のような生体組織の構造を表した画像である。したがって、通常光画像は、生体組織の輪郭A等、生体組織の構造と空間的な相関を有する構造情報を多く含む。
通常光画像生成部2は、内視鏡装置から通常光画像信号を受信し、通常光画像信号から通常光画像を生成し、通常光画像を重畳画像生成部5に送信する。通常光画像は、図2Aに示されるように、生体組織の表面形態のような生体組織の構造を表した画像である。したがって、通常光画像は、生体組織の輪郭A等、生体組織の構造と空間的な相関を有する構造情報を多く含む。
蛍光画像生成部3は、内視鏡装置から蛍光画像信号を受信し、蛍光画像信号から蛍光画像(特殊光画像)を生成し、蛍光画像を非構造低減部4に送信する。蛍光画像は、病変部のような特定領域からの蛍光を撮影した画像である。したがって、蛍光画像は、図2Bに示されるように、蛍光領域Bのような、生体組織の構造と空間的な相関を有しない、または空間的な相関が低い非構造情報を多く含む画像である。
非構造低減部4は、蛍光画像の全体にわたって画素を均一に間引き、一部の画素が欠落した間引き蛍光画像(図3の右図参照)を生成し、間引き蛍光画像を重畳画像生成部5に送信する。例えば、非構造低減部4は、図3に示されるように、行方向および列方向に1画素置きに画素を間引く。図3において、白い四角は画素を示し、黒い四角は間引かれた画素を示している。
通常光画像は、例えばRGB形式のカラー画像であり、赤(R)、緑(G)および青(B)のチャネルを有する。重畳画像生成部5は、通常光画像のGチャネルの信号に間引き蛍光画像の信号を加算することによって、通常光画像に間引き蛍光画像が重畳された重畳画像を生成し、重畳画像を出力部6に送信する。Gチャネルに代えてRまたはBチャネルに間引き蛍光画像を加算してもよい。
出力部6は、重畳画像を一定のフレームレートで表示装置へ出力する。
出力部6は、重畳画像を一定のフレームレートで表示装置へ出力する。
このような画像処理装置1は、例えば、中央演算処理装置(CPU)と、上述した各部2,3,4,5の処理をCPUに実行させるための画像処理プログラムを格納する記憶装置とを備えるコンピュータによって実現される。
次に、画像処理装置1の作用について図4を参照して説明する。
内視鏡装置によって取得された通常光画像信号および蛍光画像信号は、順次、画像処理装置1へ入力される。画像処理装置1では、通常光画像生成部2において通常光画像信号から通常光画像が生成され(ステップS1)、蛍光画像生成部3において蛍光画像信号から蛍光画像が生成される(ステップS2)。
内視鏡装置によって取得された通常光画像信号および蛍光画像信号は、順次、画像処理装置1へ入力される。画像処理装置1では、通常光画像生成部2において通常光画像信号から通常光画像が生成され(ステップS1)、蛍光画像生成部3において蛍光画像信号から蛍光画像が生成される(ステップS2)。
次に、非構造低減部4において、蛍光画像の一部の画素を間引いて間引き蛍光画像が生成される(ステップS3)。次に、重畳画像生成部5において、間引き蛍光画像が通常光画像のGチャネルに加算されることによって重畳画像が生成される(ステップS4)。生成された重畳画像は、出力部6を介して表示装置に送信されて該表示装置に表示される(ステップS5)。
このように、本実施形態によれば、重畳画像の生成に、一部の画素の間引きによって蛍光領域Bのような非構造情報が低減された蛍光画像が使用され、通常光画像の信号をそのまま有する画素と、通常光画像の信号に蛍光画像の信号が加算された画素とが混在する重畳画像が生成される。これにより、通常光画像内の構造情報が蛍光画像内の非構造情報によって劣化することを軽減し、通常光画像内の生体組織の構造情報が鮮明に維持された重畳画像を生成することができるという利点がある。
次に、本実施形態に係る画像処理装置1の変形例について説明する。後述する第1から第4の変形例は、適宜組み合わせて実施してもよい。
(第1の変形例)
第1の変形例に係る画像処理装置において、非構造低減部4は、図5に示されるように、蛍光画像から間引く間引き対象画素の位置を規定した複数の間引きパターンP1,P2を有している。図5において、ハッチングが施されている画素が間引き対象画素を示している。図5には、2種類の間引きパターンP1,P2が示されているが、3種類以上の間引きパターンが用意されていてもよい。
(第1の変形例)
第1の変形例に係る画像処理装置において、非構造低減部4は、図5に示されるように、蛍光画像から間引く間引き対象画素の位置を規定した複数の間引きパターンP1,P2を有している。図5において、ハッチングが施されている画素が間引き対象画素を示している。図5には、2種類の間引きパターンP1,P2が示されているが、3種類以上の間引きパターンが用意されていてもよい。
複数の間引きパターンP1,P2は、間引き対象画素の位置が互いに異なるように設計されている。非構造低減部4は、蛍光画像生成部3から受信する時系列の複数の蛍光画像に対して複数の間引きパターンP1,P2を順番に適用して間引き蛍光画像を生成する。これにより、画素の間引き位置が互いに異なる複数パターンの間引き蛍光画像が順番に生成される。このような複数パターンの間引き蛍光画像を用いて生成された重畳画像が表示装置に順番に表示されると、蛍光画像の各位置の情報の表示と非表示とが交互に繰り返される。
間引き対象画素の位置が固定されている場合には、蛍光画像内の同一位置の情報が欠落した重畳画像が観察者に提供され続けることになる。本変形例によれば、間引き対象画素の位置を経時的に変化させることによって、蛍光画像内の非構造情報を低減しながらも、蛍光画像内の全位置の情報を観察者に提供することができるという利点がある。
(第2の変形例)
第2の変形例に係る画像処理装置10は、図6に示されるように、通常光画像に対して構造強調処理を行う構造強調部7をさらに備えている。構造強調処理は、通常光画像に含まれる構造情報を増大する処理であり、例えば、エッジ強調処理または明るさを増大する処理である。重畳画像生成部5は、構造強調部7によって構造強調された通常光画像を重畳画像の生成に使用する。本変形例によれば、生体組織の構造がより鮮明な重畳画像を得ることができる。
第2の変形例に係る画像処理装置10は、図6に示されるように、通常光画像に対して構造強調処理を行う構造強調部7をさらに備えている。構造強調処理は、通常光画像に含まれる構造情報を増大する処理であり、例えば、エッジ強調処理または明るさを増大する処理である。重畳画像生成部5は、構造強調部7によって構造強調された通常光画像を重畳画像の生成に使用する。本変形例によれば、生体組織の構造がより鮮明な重畳画像を得ることができる。
(第3の変形例)
第3の変形例に係る画像処理装置20おいて、非構造低減部4は、通常光画像の明るさに対する蛍光画像の明るさの比が所定の閾値以下となるように、蛍光画像の明るさを低減することによって、非構造情報を低減する。具体的には、非構造低減部4は、図7に示されるように、通常光画像生成部2から通常光画像を受信し、通常光画像の明るさを算出するとともに、蛍光画像生成部3から蛍光画像を受信し、蛍光画像の明るさを算出する。画像の明るさは、例えば、全画素の信号の平均値である。所定の閾値は、重畳画像において通常光画像内の生体組織の構造情報が蛍光画像内の非構造情報に埋もれないように設定される。重畳画像生成部5は、非構造低減部4によって明るさが低減された蛍光画像を重畳画像の生成に使用する。
第3の変形例に係る画像処理装置20おいて、非構造低減部4は、通常光画像の明るさに対する蛍光画像の明るさの比が所定の閾値以下となるように、蛍光画像の明るさを低減することによって、非構造情報を低減する。具体的には、非構造低減部4は、図7に示されるように、通常光画像生成部2から通常光画像を受信し、通常光画像の明るさを算出するとともに、蛍光画像生成部3から蛍光画像を受信し、蛍光画像の明るさを算出する。画像の明るさは、例えば、全画素の信号の平均値である。所定の閾値は、重畳画像において通常光画像内の生体組織の構造情報が蛍光画像内の非構造情報に埋もれないように設定される。重畳画像生成部5は、非構造低減部4によって明るさが低減された蛍光画像を重畳画像の生成に使用する。
蛍光画像には非構造情報に加えて構造情報も含まれ得るが、構造情報は非構造情報に比べて少ない。したがって、蛍光画像の明るさを低減したときに、構造情報の低減度に比べて非構造情報の低減度の方が大きくなり、構造情報に対して非構造情報を相対的に低減する効果が得られる。
このように、通常光画像の明るさに対する蛍光画像の明るさを低減することによっても、蛍光画像内の非構造情報を低減する効果が得られる。
本変形例においては、蛍光画像の明るさを低減することに代えて、またはこれに加えて、通常光画像の明るさを増大することによって、通常光画像の明るさに対する蛍光画像の明るさの比が所定の閾値以下となるように、通常光画像と蛍光画像の相対的な明るさを調整してもよい。
このように、通常光画像の明るさに対する蛍光画像の明るさを低減することによっても、蛍光画像内の非構造情報を低減する効果が得られる。
本変形例においては、蛍光画像の明るさを低減することに代えて、またはこれに加えて、通常光画像の明るさを増大することによって、通常光画像の明るさに対する蛍光画像の明るさの比が所定の閾値以下となるように、通常光画像と蛍光画像の相対的な明るさを調整してもよい。
(第4の変形例)
第4の変形例に係る画像処理装置30は、図8に示されるように、通常光画像内から、生体組織の輪郭のような構造情報を有する構造領域を抽出する構造抽出部8をさらに備える。構造領域は、例えば、公知のエッジ抽出処理によって抽出することができる。蛍光画像は、病変部のような強い蛍光領域Bに加えて、生体組織の構造に沿って微弱な蛍光領域(すなわち構造情報)を含み得る。非構造低減部4は、構造抽出部8によって抽出された構造領域を蛍光画像から減算することによって、蛍光画像から、生体組織の構造に沿う弱い蛍光領域を除去する。続いて、非構造低減部4は、構造領域が減算された蛍光画像から一部の画素を間引いて非構造情報を低減し、その後に、減算した構造領域を非構造情報が低減された間引き蛍光画像に再び加算する。これにより、蛍光画像において、被写体の構造情報を低減せずに、非構造情報を選択的に低減することができる。
第4の変形例に係る画像処理装置30は、図8に示されるように、通常光画像内から、生体組織の輪郭のような構造情報を有する構造領域を抽出する構造抽出部8をさらに備える。構造領域は、例えば、公知のエッジ抽出処理によって抽出することができる。蛍光画像は、病変部のような強い蛍光領域Bに加えて、生体組織の構造に沿って微弱な蛍光領域(すなわち構造情報)を含み得る。非構造低減部4は、構造抽出部8によって抽出された構造領域を蛍光画像から減算することによって、蛍光画像から、生体組織の構造に沿う弱い蛍光領域を除去する。続いて、非構造低減部4は、構造領域が減算された蛍光画像から一部の画素を間引いて非構造情報を低減し、その後に、減算した構造領域を非構造情報が低減された間引き蛍光画像に再び加算する。これにより、蛍光画像において、被写体の構造情報を低減せずに、非構造情報を選択的に低減することができる。
このように、非構造情報が選択的に低減された蛍光画像を重畳画像に使用することによって、生体組織の輪郭のような構造情報を重畳画像において強調する効果を得ることができる。
本変形例においては、画素の間引きに代えて、またはこれに加えて、第3の変形例で説明したように、明るさの低減によって非構造情報を低減した蛍光画像を通常光画像に重畳してもよい。
本変形例においては、画素の間引きに代えて、またはこれに加えて、第3の変形例で説明したように、明るさの低減によって非構造情報を低減した蛍光画像を通常光画像に重畳してもよい。
上述した実施形態および変形例においては、特殊光および特殊光画像の一例として、蛍光物質を励起する励起光および蛍光画像について説明したが、特殊光および特殊光画像の種類はこれに限定されるものではない。例えば、赤外光を使用して取得された赤外光画像、または、青色狭帯域光および緑色狭帯域光を使用して取得されたNBI画像を、通常光画像との重畳に使用してもよい。
1,10,20,30 内視鏡用画像処理装置
2 通常光画像生成部
3 蛍光画像生成部
4 非構造低減部
5 重畳画像生成部
6 出力部
7 構造強調部
8 構造抽出部
2 通常光画像生成部
3 蛍光画像生成部
4 非構造低減部
5 重畳画像生成部
6 出力部
7 構造強調部
8 構造抽出部
Claims (7)
- 広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理装置であって、
前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減する非構造低減部と、
該非構造低減部によって前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成する重畳画像生成部と、
該重畳画像生成部によって生成された前記重畳画像を外部装置へ出力する出力部とを備える内視鏡用画像処理装置。 - 前記非構造低減部が、前記特殊光画像の明るさを低減する請求項1に記載の内視鏡用画像処理装置。
- 前記非構造低減部が、前記特殊光画像の一部の画素を間引く請求項1または請求項2に記載の内視鏡用画像処理装置。
- 前記非構造低減部が、時系列の複数の特殊光画像間で間引く画素を異ならせる請求項3に記載の内視鏡用画像処理装置。
- 前記非構造低減部が、前記被写体の構造情報を低減せずに前記非構造情報を選択的に低減する請求項1から請求項4のいずれかに記載の内視鏡用画像処理装置。
- 前記通常光画像に含まれる前記被写体の構造情報を強調する構造強調部を備える請求項1から請求項5のいずれかに記載の内視鏡用画像処理装置。
- 広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理方法であって、
前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減し、
前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成し、
生成された前記重畳画像を外部装置へ出力する内視鏡用画像処理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/001050 WO2018131141A1 (ja) | 2017-01-13 | 2017-01-13 | 内視鏡用画像処理装置および内視鏡用画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2018131141A1 true JPWO2018131141A1 (ja) | 2019-11-07 |
Family
ID=62840207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018561754A Pending JPWO2018131141A1 (ja) | 2017-01-13 | 2017-01-13 | 内視鏡用画像処理装置および内視鏡用画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190289179A1 (ja) |
JP (1) | JPWO2018131141A1 (ja) |
WO (1) | WO2018131141A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3544482A4 (en) | 2016-11-28 | 2020-07-22 | Adaptivendo LLC | SEPARABLE DISPOSABLE SHAFT ENDOSCOPE |
US11471055B2 (en) | 2019-06-20 | 2022-10-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11540696B2 (en) * | 2019-06-20 | 2023-01-03 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11389066B2 (en) | 2019-06-20 | 2022-07-19 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
US11898909B2 (en) | 2019-06-20 | 2024-02-13 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11925328B2 (en) | 2019-06-20 | 2024-03-12 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral imaging system |
US12013496B2 (en) | 2019-06-20 | 2024-06-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed laser mapping imaging system |
JPWO2021039870A1 (ja) * | 2019-08-27 | 2021-03-04 | ||
WO2021044900A1 (ja) * | 2019-09-02 | 2021-03-11 | ソニー株式会社 | 施術システム、画像処理装置、画像処理方法、及びプログラム |
USD1018844S1 (en) | 2020-01-09 | 2024-03-19 | Adaptivendo Llc | Endoscope handle |
USD1031035S1 (en) | 2021-04-29 | 2024-06-11 | Adaptivendo Llc | Endoscope handle |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10234664A (ja) * | 1997-02-27 | 1998-09-08 | Toshiba Corp | 画像処理装置 |
WO2012132790A1 (ja) * | 2011-03-31 | 2012-10-04 | オリンパス株式会社 | 蛍光観察装置 |
WO2013024788A1 (ja) * | 2011-08-15 | 2013-02-21 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
JP2014221168A (ja) * | 2013-05-14 | 2014-11-27 | 富士フイルム株式会社 | プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法 |
JP2015194596A (ja) * | 2014-03-31 | 2015-11-05 | 株式会社Jvcケンウッド | 映像表示装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4761899B2 (ja) * | 2005-09-12 | 2011-08-31 | Hoya株式会社 | 電子内視鏡システム |
JP5690327B2 (ja) * | 2010-03-09 | 2015-03-25 | オリンパス株式会社 | 蛍光内視鏡装置 |
DE112015006176T5 (de) * | 2015-03-19 | 2017-10-26 | Olympus Corporation | Endoskopvorrichtung |
-
2017
- 2017-01-13 WO PCT/JP2017/001050 patent/WO2018131141A1/ja active Application Filing
- 2017-01-13 JP JP2018561754A patent/JPWO2018131141A1/ja active Pending
-
2019
- 2019-05-31 US US16/427,447 patent/US20190289179A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10234664A (ja) * | 1997-02-27 | 1998-09-08 | Toshiba Corp | 画像処理装置 |
WO2012132790A1 (ja) * | 2011-03-31 | 2012-10-04 | オリンパス株式会社 | 蛍光観察装置 |
WO2013024788A1 (ja) * | 2011-08-15 | 2013-02-21 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
JP2014221168A (ja) * | 2013-05-14 | 2014-11-27 | 富士フイルム株式会社 | プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法 |
JP2015194596A (ja) * | 2014-03-31 | 2015-11-05 | 株式会社Jvcケンウッド | 映像表示装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2018131141A1 (ja) | 2018-07-19 |
US20190289179A1 (en) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018131141A1 (ja) | 内視鏡用画像処理装置および内視鏡用画像処理方法 | |
JP6315873B2 (ja) | 内視鏡画像処理装置 | |
US20200169686A1 (en) | Simultaneous Display of Two or More Different Sequentially Processed Images | |
WO2017057039A1 (ja) | 画像処理装置、画像処理方法、手術システム、及び、手術糸 | |
US11510549B2 (en) | Medical image processing apparatus and medical observation system | |
WO2017022324A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
WO2017104192A1 (ja) | 医用観察システム | |
WO2015145814A1 (ja) | 生体観察システム | |
US20200126220A1 (en) | Surgical imaging system and signal processing device of surgical image | |
JP2008279261A (ja) | 内視鏡画像の画像処理のための方法及び装置 | |
JP7116580B2 (ja) | 撮像装置、撮像装置を制御するための方法及びプログラム | |
WO2020035929A1 (ja) | 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム | |
JP6137892B2 (ja) | 撮像システム | |
CN111065315B (zh) | 电子内窥镜用处理器以及电子内窥镜系统 | |
WO2017203996A1 (ja) | 画像信号処理装置、画像信号処理方法および画像信号処理プログラム | |
WO2017149742A1 (ja) | 内視鏡用画像処理装置 | |
JP7123135B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
JP7224963B2 (ja) | 医療用制御装置及び医療用観察システム | |
TW202213978A (zh) | 影像感測裝置以及影像感測方法 | |
WO2023090044A1 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
US20240087090A1 (en) | Processor for electronic endoscope and electronic endoscopic system | |
WO2021152704A1 (ja) | 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム | |
JP2010004319A (ja) | 撮像装置 | |
JP4415162B2 (ja) | 電子内視鏡装置 | |
JP2022080732A (ja) | 医療用画像処理装置及び医療用観察システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200728 |