JP6124518B2 - 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理装置の作動方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP6124518B2 JP6124518B2 JP2012145857A JP2012145857A JP6124518B2 JP 6124518 B2 JP6124518 B2 JP 6124518B2 JP 2012145857 A JP2012145857 A JP 2012145857A JP 2012145857 A JP2012145857 A JP 2012145857A JP 6124518 B2 JP6124518 B2 JP 6124518B2
- Authority
- JP
- Japan
- Prior art keywords
- spatial frequency
- band
- local
- image
- spectral band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
図1は、本発明の実施の形態1に係る画像処理装置を示すブロック図である。本実施の形態1に係る画像処理装置1は、面順次式の内視鏡によって管腔内を撮像することにより取得された複数の分光帯域画像間における位置合わせを実行する装置である。面順次式においては、通常、R(赤)、G(緑)、B(青)の各分光帯域画像が順次取得される。なお、分光帯域画像としては、上記R、G、Bの3つに限定されず、4つ以上の分光帯域画像を取得しても良い。一例として、Rの帯域から2つの狭帯域(以下、R1、R2と表す)を抽出し、R1、R2、G、Bの4つの分光帯域画像を取得しても良い。また、別の例として、さらにBの帯域から2つの狭帯域(以下、B1、B2と表す)を抽出し、R1、R2、G、B1、B2の5つの分光帯域画像を取得しても良い。
表示部40は、LCDやELディスプレイ等の表示装置によって実現され、制御部10の制御の下で、管腔内画像を含む各種画面を表示する。
まず、ステップS10において、分光帯域画像取得部110は、記録部50に記録された画像データを読み込み、処理対象とする複数の分光帯域画像を取得する。
まず、ステップS122において、局所周波数特徴量算出部132は、空間周波数帯域fn毎に、負領域における空間周波数成分の絶対値|Y(x,y,fn)|の平均値を算出する。ここで、空間周波数帯域fnにおける負領域は、図5に示すように、周囲の領域に対して画素値のプロファイルが1/fn程度の間隔で凹となる領域に相当する。
全ての矩形領域rkに対してループAの処理が終了した後、処理はメインルーチンに戻る。
このような処理により、テンプレート用画像として選択された分光帯域画像と他の分光帯域画像との間で、対応する画素同士の座標情報の関連付けがなされる。
次に、本発明の実施の形態2について説明する。
図7は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。図7に示すように、実施の形態2に係る画像処理装置2は、図1に示す重み算出部130の代わりに重み算出部210を有する演算部200を備える。重み算出部210以外の演算部200内の各部の構成及び動作、並びに画像処理装置2の各部の構成及び動作は、実施の形態1と同様である。
ここで、分光帯域画像において高周波成分として表れる情報は、粘膜面の微細構造や粘膜表層の微細血管に対応する。このうち、粘膜面の微細構造は、波長帯域によらず分光帯域画像に表れる。また、血管における吸光度が低い長波長の分光帯域画像(例えば、Rの分光帯域画像)にも微細血管が表れていれば、他の分光帯域画像にも同様の微細血管が表れている可能性が高い。即ち、長波長の分光帯域画像における高周波成分の強度が強い場合、他の分光帯域画像においても高周波成分が強くなる傾向があり、高周波成分は位置合わせにおいて重要な情報となる。従って、テンプレート用画像が長波長の分光帯域画像であり、且つ、該分光帯域画像における高周波成分の強度が強ければ、高周波成分の重みがより大きくなるよう仮重みを強調する。
次に、上記実施の形態2に対し、テンプレート用画像が非常に短い波長の分光帯域画像である場合について説明する。非常に短い波長の分光帯域画像をテンプレート用画像とする場合において、他の分光帯域画像で抽出し得る高周波成分よりもさらに高い空間周波数成分が抽出されたときには、そのような空間周波数成分を抑制することとしても良い。そのような周波数成分は、他の分光帯域画像に表れにくく、位置合わせに使用することが難しいからである。
上述した実施の形態1及び2においては、画像空間における空間周波数成分を用いて、各矩形領域における空間周波数帯域毎の重み又は仮重みを算出した。しかしながら、周波数空間における情報を用いて、同様の重み又は仮重みを算出しても良い。以下、周波数空間における情報を用いる具体的な処理について説明する。なお、以下においては、実施の形態1に対応する重みを算出する場合を説明するが、実施の形態2に対応する仮重みを算出する場合も、同様の処理となる。
上述した実施の形態1及び2においては、各矩形領域に対して空間周波数帯域毎に算出された重みをもとに空間周波数成分を強調したテンプレートを作成し、該テンプレートを用いた一般的な位置合わせ手法(LK法等)により他の分光帯域画像との位置合わせを行った。しかしながら、位置合わせの方法としては、上述した方法に限定されない。本変形例3においては、他の位置合わせの例を説明する。
10 制御部
20 画像取得部
30 入力部
40 表示部
50 記録部
51 画像処理プログラム
100、200 演算部
110 分光帯域画像取得部
120 空間周波数成分抽出部
130、210 重み算出部
131 領域抽出部
132 局所周波数特徴量算出部
132a 負成分抽出部
132b 平均振幅算出部
133 局所重み算出部
133a 閾値処理部
133b 最小帯域抽出部
133c 比率算出部
140 位置合わせ部
211 仮重み算出部
212 仮重み制御部
212a 空間周波数帯域選択部
212b 閾値処理部
212c 仮重み強調部
Claims (10)
- 波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理装置において、
前記複数の分光帯域画像を取得する分光帯域画像取得手段と、
前記複数の分光帯域画像のうちの少なくとも1つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出手段と、
前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも1つの分光帯域画像から、空間周波数成分が負である画素領域を空間周波数帯域毎に抽出し、周囲よりも画素値のプロファイルが凹となる情報を含む空間周波数帯域の空間周波数成分を強調する重みを前記空間周波数帯域毎に算出する重み算出手段と、
前記空間周波数帯域毎の前記重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせ手段と、
を備えることを特徴とする画像処理装置。 - 前記重み算出手段は、
前記少なくとも1つの分光帯域画像から複数の局所領域を抽出する局所領域抽出手段と、
前記少なくとも1つの分光帯域画像内の前記各画素から抽出された前記空間周波数帯域毎の特徴量から、前記複数の局所領域の各々における空間周波数帯域毎の特徴量である局所周波数特徴量を算出する局所周波数特徴量算出手段と、
前記局所周波数特徴量に基づいて、前記複数の局所領域の各々に与えられる前記空間周波数帯域毎の前記重みを局所重みとして算出する局所重み算出手段と、
を備えることを特徴とする請求項1に記載の画像処理装置。 - 前記局所周波数特徴量算出手段は、
前記少なくとも1つの分光帯域画像から、空間周波数成分が負の画素領域である負領域を抽出する負領域抽出手段と、
前記複数の局所領域の各々に対し、前記空間周波数帯域毎に、前記負領域における空間周波数成分の絶対値の平均値を算出する平均振幅算出手段と、
を備え、前記空間周波数帯域毎に算出された前記平均値を当該局所領域における前記局所周波数特徴量とすることを特徴とする請求項2に記載の画像処理装置。 - 前記局所重み算出手段は、
前記局所周波数特徴量が所定の閾値以上である空間周波数帯域を抽出する閾値処理手段と、
前記閾値処理手段により抽出された前記空間周波数帯域のうち、前記局所周波数特徴量が最小である空間周波数帯域を抽出する最小帯域抽出手段と、
前記最小帯域抽出手段により抽出された空間周波数帯域の前記局所周波数特徴量に対する、前記閾値処理手段により抽出された空間周波数帯域の前記局所周波数特徴量の比率を算出する比率算出手段と、
を備えることを特徴とする請求項2に記載の画像処理装置。 - 前記局所重み算出手段は、前記局所周波数特徴量に加え、前記少なくとも1つの分光帯域画像の波長帯域に基づいて前記局所重みを算出することを特徴とする請求項2に記載の画像処理装置。
- 前記局所重み算出手段は、前記局所周波数特徴量に基づいて算出された前記局所重みのうち、前記波長帯域に応じて選択される空間周波数帯域における局所重みを強調又は抑制することを特徴とする請求項5に記載の画像処理装置。
- 前記局所重み算出手段は、
前記波長帯域に応じて選択される空間周波数帯域の前記局所周波数特徴量に対して閾値処理を行う閾値処理手段と、
前記閾値処理手段により前記局所周波数特徴量が所定の閾値以上と判別された空間周波数帯域において、前記局所周波数特徴量に基づいて算出された局所重みに所定の係数を掛け合わせる仮重み強調手段と、
を備えることを特徴とする請求項6に記載の画像処理装置。 - 前記位置合わせ手段は、前記空間周波数帯域毎の前記重みを用いて前記少なくとも1つの分光帯域画像内の各画素の画素値を強調することによりテンプレートを作成し、該テンプレートを用いて前記複数の分光帯域画像間の位置合わせを行うことを特徴とする請求項1に記載の画像処理装置。
- 波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理装置の作動方法であって、
演算部が、前記複数の分光帯域画像を取得する分光帯域画像取得ステップと、
演算部が、前記複数の分光帯域画像のうちの少なくとも1つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出ステップと、
演算部が、各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも1つの分光帯域画像から、空間周波数成分が負である画素領域を空間周波数帯域毎に抽出し、周囲よりも画素値のプロファイルが凹となる情報を含む空間周波数帯域の空間周波数成分を強調する重みを前記空間周波数帯域毎に算出する重み算出ステップと、
演算部が、前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせステップと、
を含むことを特徴とする画像処理装置の作動方法。 - 波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理をコンピュータに実行させる画像処理プログラムにおいて、
前記複数の分光帯域画像を取得する分光帯域画像取得ステップと、
前記複数の分光帯域画像のうちの少なくとも1つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出ステップと、
各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも1つの分光帯域画像から、空間周波数成分が負である画素領域を空間周波数帯域毎に抽出し、周囲よりも画素値のプロファイルが凹となる情報を含む空間周波数帯域の空間周波数成分を強調する重みを前記空間周波数帯域毎に算出する重み算出ステップと、
前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせステップと、
を含むことを特徴とする画像処理プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012145857A JP6124518B2 (ja) | 2012-06-28 | 2012-06-28 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
PCT/JP2013/065969 WO2014002744A1 (ja) | 2012-06-28 | 2013-06-10 | 画像処理装置、画像処理方法、及び画像処理プログラム |
EP13809740.7A EP2868253B1 (en) | 2012-06-28 | 2013-06-10 | Image processing apparatus, image processing method, and image processing program |
CN201380033788.XA CN104411229B (zh) | 2012-06-28 | 2013-06-10 | 图像处理装置以及图像处理方法 |
US14/579,425 US9743825B2 (en) | 2012-06-28 | 2014-12-22 | Image processing apparatus, image processing method, and computer-readable recording device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012145857A JP6124518B2 (ja) | 2012-06-28 | 2012-06-28 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014008142A JP2014008142A (ja) | 2014-01-20 |
JP6124518B2 true JP6124518B2 (ja) | 2017-05-10 |
Family
ID=49782909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012145857A Active JP6124518B2 (ja) | 2012-06-28 | 2012-06-28 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9743825B2 (ja) |
EP (1) | EP2868253B1 (ja) |
JP (1) | JP6124518B2 (ja) |
CN (1) | CN104411229B (ja) |
WO (1) | WO2014002744A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6408817B2 (ja) * | 2014-07-22 | 2018-10-17 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム |
CN107920728B (zh) * | 2016-03-03 | 2019-10-22 | 奥林巴斯株式会社 | 内窥镜系统 |
US10740873B2 (en) * | 2016-04-01 | 2020-08-11 | Institute Of Remote Sesing And Digital Earth, Chinese Academy Of Sciences | Extraction method for time-space-spectrum four-dimensional remote sensing data |
US10806334B2 (en) | 2017-02-28 | 2020-10-20 | Verily Life Sciences Llc | System and method for multiclass classification of images using a programmable light source |
CN113812137B (zh) * | 2019-05-16 | 2024-03-15 | 三菱电机株式会社 | 图像处理装置和方法、图像读取装置和记录介质 |
CN111161852B (zh) * | 2019-12-30 | 2023-08-15 | 北京双翼麒电子有限公司 | 一种内窥镜图像处理方法、电子设备及内窥镜系统 |
US11689830B2 (en) * | 2020-07-13 | 2023-06-27 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4832794B2 (ja) * | 2005-04-27 | 2011-12-07 | オリンパスメディカルシステムズ株式会社 | 画像処理装置及び画像処理プログラム |
US7970239B2 (en) * | 2006-01-19 | 2011-06-28 | Qualcomm Incorporated | Hand jitter reduction compensating for rotational motion |
JP2010279454A (ja) * | 2009-06-03 | 2010-12-16 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
JP5683882B2 (ja) * | 2009-10-15 | 2015-03-11 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP5669489B2 (ja) * | 2009-10-15 | 2015-02-12 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP5393554B2 (ja) * | 2010-03-23 | 2014-01-22 | 富士フイルム株式会社 | 電子内視鏡システム |
JP2012010776A (ja) * | 2010-06-29 | 2012-01-19 | Fujifilm Corp | 断層画像処理装置及び方法、並びに光干渉断層画像診断装置 |
-
2012
- 2012-06-28 JP JP2012145857A patent/JP6124518B2/ja active Active
-
2013
- 2013-06-10 EP EP13809740.7A patent/EP2868253B1/en not_active Not-in-force
- 2013-06-10 WO PCT/JP2013/065969 patent/WO2014002744A1/ja active Application Filing
- 2013-06-10 CN CN201380033788.XA patent/CN104411229B/zh active Active
-
2014
- 2014-12-22 US US14/579,425 patent/US9743825B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN104411229A (zh) | 2015-03-11 |
US20150112135A1 (en) | 2015-04-23 |
EP2868253A4 (en) | 2016-03-23 |
WO2014002744A1 (ja) | 2014-01-03 |
EP2868253A1 (en) | 2015-05-06 |
CN104411229B (zh) | 2017-04-26 |
US9743825B2 (en) | 2017-08-29 |
EP2868253B1 (en) | 2017-02-01 |
JP2014008142A (ja) | 2014-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6124518B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
US10244991B2 (en) | Method and system for providing recommendation for optimal execution of surgical procedures | |
Ma et al. | Perceptual evaluation of single image dehazing algorithms | |
JP6902864B2 (ja) | フーリエタイコグラフィによって取得された画像の物理レジストレーション | |
JP3810776B2 (ja) | ディジタル画像中の赤目を検出し補正する方法 | |
JP6128888B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP5959168B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
US9916666B2 (en) | Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device | |
CN105979847B (zh) | 内窥镜图像诊断辅助系统 | |
US20150170360A1 (en) | Ophthalmic reference image selection | |
JP7187557B2 (ja) | 医療画像学習装置、方法及びプログラム | |
US20140016868A1 (en) | Method and apparatus for image content-based automatic brightness detection | |
Abbasi-Sureshjani et al. | Boosted exudate segmentation in retinal images using residual nets | |
US20140016853A1 (en) | Method and apparatus for stain separation using vector analysis | |
JP5800549B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
Reza et al. | Automatic detection of optic disc in fundus images by curve operator | |
Raj et al. | SpFusionNet: deep learning-driven brain image fusion with spatial frequency analysis | |
JP2021152763A (ja) | 信号処理装置、信号処理方法およびプログラム | |
KR20090019174A (ko) | 데시메이션-프리 방향성 필터 뱅크를 이용한 혈관 선명도개선 방법 | |
KR101341576B1 (ko) | 등고선 기반 관심영역 결정방법 및 장치 | |
Du et al. | Bas-relief map using texture analysis with application to live enhancement of ultrasound images | |
R S | FOE NET: Segmentation of Fetal in Ultrasound Images Using V-NET | |
Long et al. | A Practical Dental Image Enhancement Network for Early Diagnosis of Oral Dental Disease | |
Oliveira et al. | A Stable Diffusion Approach for RGB to Thermal Image Conversion for Leg Ulcer Assessment | |
CN117746037A (zh) | 全局与局部信息融合的视网膜血管分割方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160607 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170404 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6124518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |