JP5657375B2 - 内視鏡装置及びプログラム - Google Patents
内視鏡装置及びプログラム Download PDFInfo
- Publication number
- JP5657375B2 JP5657375B2 JP2010287943A JP2010287943A JP5657375B2 JP 5657375 B2 JP5657375 B2 JP 5657375B2 JP 2010287943 A JP2010287943 A JP 2010287943A JP 2010287943 A JP2010287943 A JP 2010287943A JP 5657375 B2 JP5657375 B2 JP 5657375B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- amplitude
- frequency band
- predetermined frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 187
- 238000012937 correction Methods 0.000 claims description 171
- 238000000605 extraction Methods 0.000 claims description 112
- 238000000034 method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 34
- 210000004204 blood vessel Anatomy 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003702 image correction Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 28
- 238000003860 storage Methods 0.000 description 22
- 230000008859 change Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000011084 recovery Methods 0.000 description 14
- 210000004400 mucous membrane Anatomy 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 10
- 230000009467 reduction Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000002146 bilateral effect Effects 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 238000012216 screening Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 210000004088 microvessel Anatomy 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Computing Systems (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Image Processing (AREA)
Description
まず、本実施形態の手法について説明する。上述したように、本実施形態の手法によれば、合焦状態と同等の少ないボケ量の画像を、ノイズを増大させずに取得することが可能になる。
2.1 構成
図1は第1の実施形態の内視鏡装置の全体構成を示すブロック図である。本発明を構成する内視鏡装置は光源部100と撮像部200とプロセッサ部300と表示部400と外部I/F部500からなる。
続いてボケ量情報抽出部の詳細について説明する。本実施形態においては、ボケ量情報抽出部は、図2のテクスチャ抽出部320に相当する。
続いてボケ量補正部について説明する。本実施形態においては、ボケ量補正部は、テクスチャ補正量算出部340、テクスチャ補正部360及び合成部370に相当する。
但し、振幅ゲイン量≧1、且つ振幅ゲイン量<Th1
補正量=補正量上限値−α×振幅ゲイン量+β ・・・・・(6)
但し、振幅ゲイン量≧Th1、且つ振幅ゲイン量<Th2
補正量=0 ・・・・・(7)
但し、振幅ゲイン量<1、或いは振幅ゲイン量≧Th2
またTh1=補正量上限値+1、Th2=Th1+基準振幅値/テクスチャ基準閾値
α=振幅上限値/(Th2-Th1)
β=α×Th2−補正量上限値
振幅ゲイン量=RMA/MA(t)
3.1 構成
図10は第2実施の形態の撮像装置の全体構成を示すブロック図である。本実施例を構成する撮像装置は光源部100と撮像部200とプロセッサ部300と表示部400と外部I/F部500からなり、第1の実施形態と同一の基本構成であるので、異なる詳細構成を主に説明する。
テクスチャ抽出部320の構成は、第1実施の形態とは異なり、図13のブロック図に示す構成となっている。
続いてテクスチャ補正量算出部340について図15に基づき詳述する。
続いて合焦位置算出部303について図17に基づき詳述する。合焦位置算出部303は領域抽出部1371、1375、1379と、平均振幅算出部1372、1376、1380と平均振幅記憶部1373、1377、1381と、合焦位置算出部1374、1378、1382と、合焦位置判定部1384と、合焦位置算出制御部1383とから構成される。
104 集光レンズ、200 撮像部、201 ライトガイドファイバ、
202 照明レンズ、203 対物レンズ、206 焦点位置制御部、
207 焦点位置調整レンズ、209 撮像素子、210 A/D変換部、
300 プロセッサ部、301 画像処理部、302 制御部、
303 合焦位置算出部、310 画像構成処理部、320 テクスチャ抽出部、
321 領域抽出部、322 フィルタ係数算出部、323 フィルタ処理部、
324 ノイズ量推定部、325 減算処理部、326 領域抽出部、
327 フィルタ係数算出部、328 フィルタ処理部、
329 フィルタパラメータ制御部、340 テクスチャ補正量算出部、
341 振幅算出部、342 基準振幅更新判定部、343 基準振幅記憶部、
344 補正量算出部、345 補正量制御部、360 テクスチャ補正部、
370 合成部、400 表示部、500 外部I/F部、
601 色フィルタ、602 色フィルタ、603 色フィルタ、604 回転モータ、
1321 ローパス処理部、1322 ダウンサンプリング部、1323 減算処理部、
1324 ノイズ量推定部、1325 コアリング部、
1335 処理パラメータ制御部、1341 振幅算出部、
1342 基準振幅更新判定部、1343 基準振幅記憶部、1344 補正量算出部、
1353 補正量制御部、1361 乗算処理部、1362 乗算処理部、
1363 乗算処理部、1364 アップサンプリング部、1365 加算処理部、
1366 アップサンプリング部、1367 加算処理部、
1368 処理パラメータ制御部、1371 領域抽出部、1372 平均振幅算出部、
1373 平均振幅記憶部、1374 合焦位置算出部、
1383 合焦位置算出制御部、1384 合焦位置判定部
Claims (25)
- 通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部と、
前記拡大観察状態における前記撮像画像から、前記撮像画像がどの程度ぼけているかを表す情報であるボケ量情報として、前記撮像画像の所定周波数帯域成分を抽出するボケ量情報抽出部と、
抽出した前記ボケ量情報に基づいて、前記撮像画像のぼけを低減する補正をするボケ量補正部と、
を含み、
前記ボケ量情報抽出部は、
前記撮像画像から前記所定周波数帯域成分の画像である所定周波数帯域画像を抽出する所定周波数帯域画像抽出部を含み、
前記所定周波数帯域画像抽出部は、
前記撮像画像の振幅値を算出する撮像画像振幅算出部を含み、
前記所定周波数帯域画像抽出部は、
前記撮像画像振幅算出部により算出された振幅値が、第1の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行わず、
前記撮像画像振幅算出部により算出された振幅値が、前記第1の振幅範囲における振幅値よりも小さい振幅値に対応する範囲である第2の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行うことを特徴とする内視鏡装置。 - 請求項1において、
前記所定周波数帯域画像抽出部は、
前記撮像画像振幅算出部により算出された振幅値が、前記第2の振幅範囲における振幅値よりも小さい振幅値に対応する範囲である第3の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行わないことを特徴とする内視鏡装置。 - 請求項1において、
前記所定周波数帯域画像は、
前記撮像画像振幅算出部により算出された振幅値が前記第2の振幅範囲にあり、
周波数成分が、第2の周波数範囲における周波数よりも高い周波数に対応する範囲である第1の周波数範囲にある画像であることを特徴とする内視鏡装置。 - 請求項2において、
前記撮像画像振幅算出部により算出された振幅値が、前記第2の振幅範囲である前記所定周波数帯域画像は、
生体表面の粘膜表面及び血管に対応する画像であることを特徴とする内視鏡装置。 - 請求項2において、
前記撮像画像振幅算出部により算出された振幅値が、前記第1の振幅範囲である画像は、
生体表面のヒダに対応する画像であり、
前記撮像画像振幅算出部により算出された振幅値が、前記第3の振幅範囲である画像は、
ノイズに対応する画像であることを特徴とする内視鏡装置。 - 請求項1において、
前記所定周波数帯域画像抽出部は、
前記内視鏡装置の前記光学系の倍率情報に基づいて、前記所定周波数帯域画像の抽出条件を制御する抽出条件制御部を含むことを特徴とする内視鏡装置。 - 請求項6において、
第1の周波数範囲における周波数は、第2の周波数範囲における周波数に比べて高い周波数であり、
前記第1の周波数範囲は、第1の周波数閾値よりも大きく、第2の周波数閾値よりも小さい範囲であり、
前記所定周波数帯域画像が、周波数成分が第1の周波数範囲にある画像である場合に、
前記所定周波数帯域画像抽出部は、
前記内視鏡装置の前記光学系の倍率情報により表される倍率が大きくなるほど、前記第1の周波数閾値及び前記第2の周波数閾値を大きくすることを特徴とする内視鏡装置。 - 請求項6において、
前記所定周波数帯域画像抽出部は、
前記倍率情報に基づき決定される複数の所定周波数帯域に、前記撮像画像を分離した画像である複数のサブバンド画像を生成する周波数帯域分離部と、
前記複数のサブバンド画像から1又は複数のサブバンド画像を選択して前記所定周波数帯域画像を生成するサブバンド選択部と、
を含むことを特徴とする内視鏡装置。 - 請求項6において、
前記所定周波数帯域画像抽出部は、
第1のフィルタ処理部と、
減算処理部と、
ノイズ量推定部と、
第2のフィルタ処理部と、
を含み、
前記減算処理部は、
前記撮像画像に対して、前記第1のフィルタ処理部による第1のフィルタ処理を行うことで取得された画像と、前記撮像画像との差分をとることで、構造画像を生成し、
前記ノイズ量推定部は、
前記構造画像に含まれているノイズ量を、前記抽出条件に基づいて推定し、
前記第2のフィルタ処理部は、
前記ノイズ量推定部により推定されたノイズ量に基づいて、前記構造画像からノイズを分離し、前記所定周波数帯域画像を取得することを特徴とする内視鏡装置。 - 請求項9において、
第1の周波数範囲における周波数は、第2の周波数範囲における周波数に比べて高い周波数である場合に、
前記第1のフィルタ処理部は、
第1の振幅範囲の画像に対しては、前記第1の周波数範囲及び前記第2の周波数範囲に対応する周波数成分を透過するローパスフィルタ処理を行い、
第2の振幅範囲の画像に対しては、前記第2の周波数範囲に対応する周波数成分を透過し、前記第1の周波数範囲に対応する周波数成分をカットするローパスフィルタ処理を行うことを特徴とする内視鏡装置。 - 請求項9において、
前記第1のフィルタ処理部は、
前記撮像画像から注目画素の周辺の所定領域を抽出する領域抽出部と、
前記所定領域内の注目画素に対する周辺画素との空間距離、及び、画素値間距離を算出するとともに、前記抽出条件に基づき各所定領域の画素に対するフィルタ係数を算出するフィルタ係数算出部と、
前記所定領域と前記フィルタ係数によりフィルタ処理を行うフィルタ処理部と、
を含むことを特徴とする内視鏡装置。 - 請求項9において、
第1の周波数範囲における周波数は、第2の周波数範囲における周波数に比べて高い周波数である場合に、
前記第2のフィルタ処理部は、
第2の振幅範囲の画像に対しては、前記第1の周波数範囲及び前記第2の周波数範囲に対応する周波数成分を透過するローパスフィルタ処理を行い、
前記第2の振幅範囲における振幅値よりも小さい振幅値に対応する範囲である第3の振幅範囲の画像に対しては、前記第2の周波数範囲に対応する周波数成分を透過し、前記第1の周波数範囲に対応する周波数成分をカットするローパスフィルタ処理を行うことを特徴とする内視鏡装置。 - 請求項9において、
前記第2のフィルタ処理部は、
前記構造画像から注目画素の周辺の所定領域を抽出する領域抽出部と、
前記所定領域内の注目画素に対する周辺画素との空間距離、及び、画素値間距離を算出するとともに、前記ノイズ量に基づき各所定領域の画素に対するフィルタ係数を算出するフィルタ係数算出部と、
前記所定領域と前記フィルタ係数によりフィルタ処理する事で前記注目画素からノイズを分離するノイズ分離部と、
を含むことを特徴とする内視鏡装置。 - 請求項1において、
前記ボケ量補正部は、
時系列に取得された前記撮像画像に対して、合焦状態にあると判定された撮像画像である合焦撮像画像のボケ量に基づいて補正を行うことを特徴とする内視鏡装置。 - 請求項14において、
前記ボケ量補正部は、
前記所定周波数帯域画像抽出部で抽出された前記所定周波数帯域画像の振幅値を算出する所定周波数帯域画像振幅算出部を含むことを特徴とする内視鏡装置。 - 請求項15において、
前記ボケ量補正部は、
前記所定周波数帯域画像振幅算出部により算出された前記所定周波数帯域画像の振幅値に基づいて所定周波数帯域画像を補正する所定周波数帯域画像補正部と、
前記撮像画像と補正した前記所定周波数帯域画像を合成する合成部と、
を含むことを特徴とする内視鏡装置。 - 請求項16において、
前記所定周波数帯域画像補正部は、
前記所定周波数帯域画像振幅算出部で時系列的に算出された所定周波数帯域画像の振幅値の中から、合焦状態と判定された振幅値を基準振幅値として選択する基準振幅値選択部と、
前記基準振幅値に基づいて前記所定周波数帯域画像に対する補正量を算出し、乗算する補正量乗算部と、
を含むことを特徴とする内視鏡装置。 - 請求項17において、
前記所定周波数帯域画像抽出部で抽出される所定周波数帯域画像は、
1又は複数の周波数帯域からなる1又は複数のサブバンド画像であり、
前記補正量乗算部は、
前記所定周波数帯域画像振幅算出部で算出された各サブバンド画像に対応する1又は複数の振幅値と内視鏡装置の前記光学系の倍率情報に基づいて、前記各サブバンド画像に対応する補正量を算出し、前記各サブバンド画像に乗算するサブバンド画像補正量乗算部を含むことを特徴とする内視鏡装置。 - 請求項14において、
前記合焦撮像画像は、
内視鏡装置の前記光学系を拡大観察状態に切換えた時点で抽出された撮像画像であることを特徴とする内視鏡装置。 - 請求項15において、
前記合焦撮像画像は、
内視鏡装置の前記光学系を拡大観察状態に切換えた時点以降で抽出された撮像画像であり、かつ、前記所定周波数帯域画像の前記振幅値が所定期間内で所定条件を満足した撮像画像であることを特徴とする内視鏡装置。 - 請求項20において、
前記合焦撮像画像は、
内視鏡装置の前記光学系を拡大観察状態に切換えた時点以降で抽出された撮像画像であり、かつ、前記所定周波数帯域画像の前記振幅値が基準振幅判定閾値より大きく、かつ、前記振幅値が極大値である撮像画像であることを特徴とする内視鏡装置。 - 請求項1において、
フォーカス位置を制御するフォーカス位置制御部と、
前記フォーカス位置制御部により時系列的に移動した複数のフォーカス位置に基づく撮像画像に対して、前記ボケ量情報抽出部で算出したボケ量情報に基づきターゲットフォーカス位置を算出するターゲットフォーカス位置算出部と、
を含み、
前記フォーカス位置制御部は、
前記ターゲットフォーカス位置に基づいて、フォーカス位置を制御することを特徴とする内視鏡装置。 - 請求項22において、
前記ボケ量補正部は、
前記フォーカス位置制御部で合焦していると判定したフォーカス位置における撮像画像を合焦撮像画像であると判定し、前記合焦撮像画像のボケ量情報に基づいて補正を行うことを特徴とする内視鏡装置。 - 請求項1において、
前記拡大観察状態は、
前記内視鏡装置の光学系の拡大倍率が所定倍率以上となる状態であることを特徴とする内視鏡装置。 - 通常観察状態に比べて光学系の拡大倍率が高倍率である拡大観察状態における撮像画像を時系列的に取得する画像取得部と、
前記拡大観察状態における前記撮像画像から、前記撮像画像がどの程度ぼけているかを表す情報であるボケ量情報として、前記撮像画像の所定周波数帯域成分を抽出するボケ量情報抽出部と、
抽出した前記ボケ量情報に基づいて、前記撮像画像のぼけを低減する補正をするボケ量補正部として、
コンピュータを機能させ、
前記ボケ量情報抽出部は、
前記撮像画像から前記所定周波数帯域成分の画像である所定周波数帯域画像を抽出する所定周波数帯域画像抽出部を含み、
前記所定周波数帯域画像抽出部は、
前記撮像画像の振幅値を算出する撮像画像振幅算出部を含み、
前記所定周波数帯域画像抽出部は、
前記撮像画像振幅算出部により算出された振幅値が、第1の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行わず、
前記撮像画像振幅算出部により算出された振幅値が、前記第1の振幅範囲における振幅値よりも小さい振幅値に対応する範囲である第2の振幅範囲にある場合には、前記所定周波数帯域画像の抽出を行うことを特徴とするプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010287943A JP5657375B2 (ja) | 2010-12-24 | 2010-12-24 | 内視鏡装置及びプログラム |
CN201180061990.4A CN103269636B (zh) | 2010-12-24 | 2011-12-16 | 内窥镜装置以及图像处理方法 |
PCT/JP2011/079165 WO2012086536A1 (ja) | 2010-12-24 | 2011-12-16 | 内視鏡装置及びプログラム |
EP11850095.8A EP2656778A4 (en) | 2010-12-24 | 2011-12-16 | ENDOSCOPE DEVICE AND PROGRAM |
US13/925,197 US9492059B2 (en) | 2010-12-24 | 2013-06-24 | Endoscope apparatus, information storage device, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010287943A JP5657375B2 (ja) | 2010-12-24 | 2010-12-24 | 内視鏡装置及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012135345A JP2012135345A (ja) | 2012-07-19 |
JP2012135345A5 JP2012135345A5 (ja) | 2014-02-06 |
JP5657375B2 true JP5657375B2 (ja) | 2015-01-21 |
Family
ID=46313808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010287943A Active JP5657375B2 (ja) | 2010-12-24 | 2010-12-24 | 内視鏡装置及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9492059B2 (ja) |
EP (1) | EP2656778A4 (ja) |
JP (1) | JP5657375B2 (ja) |
CN (1) | CN103269636B (ja) |
WO (1) | WO2012086536A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5657375B2 (ja) * | 2010-12-24 | 2015-01-21 | オリンパス株式会社 | 内視鏡装置及びプログラム |
WO2014030390A1 (ja) * | 2012-08-23 | 2014-02-27 | 富士フイルム株式会社 | 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム |
JP6077340B2 (ja) * | 2013-03-06 | 2017-02-08 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システムの作動方法 |
JP6049518B2 (ja) * | 2013-03-27 | 2016-12-21 | オリンパス株式会社 | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 |
JP6109695B2 (ja) * | 2013-09-27 | 2017-04-05 | 富士フイルム株式会社 | 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置 |
JP6415066B2 (ja) | 2014-03-20 | 2018-10-31 | キヤノン株式会社 | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム |
EP3125527A4 (en) * | 2014-03-28 | 2017-05-03 | FUJIFILM Corporation | Image processing device, photography device, image processing method, and image processing program |
JP2016046747A (ja) * | 2014-08-26 | 2016-04-04 | 富士通テン株式会社 | 画像処理装置、画像処理方法、及び、画像表示システム |
JP6196599B2 (ja) * | 2014-09-30 | 2017-09-13 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法 |
JP6874009B2 (ja) * | 2016-01-29 | 2021-05-19 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 光レベル適応フィルタ及び方法 |
JP6629639B2 (ja) | 2016-03-07 | 2020-01-15 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
JP2017158764A (ja) | 2016-03-09 | 2017-09-14 | ソニー株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
US11422346B2 (en) * | 2016-03-31 | 2022-08-23 | Sony Olympus Medical Solutions Inc. | Medical observation device, image movement correcting method, and medical observation system |
JP6751763B2 (ja) * | 2016-07-25 | 2020-09-09 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6833495B2 (ja) * | 2016-12-15 | 2021-02-24 | オリンパス株式会社 | 内視鏡 |
EP3590415A4 (en) * | 2017-03-03 | 2020-03-18 | Fujifilm Corporation | ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD OF THE ENDOSCOPE SYSTEM |
JP2018143400A (ja) * | 2017-03-03 | 2018-09-20 | ソニー株式会社 | 画像処理装置および方法、並びに内視鏡システム |
JP7163913B2 (ja) | 2017-06-05 | 2022-11-01 | ソニーグループ株式会社 | 医療用システム及び制御ユニット |
WO2019044328A1 (ja) * | 2017-08-31 | 2019-03-07 | ソニー株式会社 | 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法 |
JP6804417B2 (ja) * | 2017-09-26 | 2020-12-23 | オリンパス株式会社 | 計測装置、計測システム、計測装置の作動方法、およびプログラム |
US10580121B2 (en) * | 2017-11-16 | 2020-03-03 | Axis Ab | Image noise reduction based on a modulation transfer function of a camera dome |
JP7050817B2 (ja) * | 2017-12-25 | 2022-04-08 | 富士フイルム株式会社 | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム |
JP7012549B2 (ja) * | 2018-02-07 | 2022-01-28 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体 |
CN111989910B (zh) * | 2018-04-12 | 2021-12-14 | 三菱电机株式会社 | 图像处理装置、图像处理方法和记录有图像处理程序的记录介质 |
US20220392031A1 (en) * | 2019-11-22 | 2022-12-08 | Sony Group Corporation | Image processing method, image processing apparatus and image processing system |
CN112967209B (zh) * | 2021-04-23 | 2022-08-02 | 上海埃尔顿医疗器械有限公司 | 一种基于多倍采样的内窥镜图像血管纹理增强方法 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6501551B1 (en) * | 1991-04-29 | 2002-12-31 | Massachusetts Institute Of Technology | Fiber optic imaging endoscope interferometer with at least one faraday rotator |
US5392067A (en) * | 1991-10-17 | 1995-02-21 | Olympus Optical Co., Ltd. | TV system for endoscopes |
JP3292538B2 (ja) | 1993-02-23 | 2002-06-17 | 富士写真光機株式会社 | 固体撮像素子を用いたカラー撮像装置 |
EP0729270B1 (en) * | 1995-02-24 | 2002-12-18 | Eastman Kodak Company | Black pattern correction for a charge transfer sensor |
JP3532368B2 (ja) | 1996-12-10 | 2004-05-31 | 富士写真フイルム株式会社 | 内視鏡 |
US6603885B1 (en) | 1998-04-30 | 2003-08-05 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
JP3998369B2 (ja) | 1998-09-16 | 2007-10-24 | 富士フイルム株式会社 | 画像処理方法および画像処理装置 |
WO2000019889A1 (en) * | 1998-10-08 | 2000-04-13 | University Of Kentucky Research Foundation | Methods and apparatus for in vivo identification and characterization of vulnerable atherosclerotic plaques |
DE19927129C1 (de) * | 1999-06-15 | 2001-01-04 | Wolf Gmbh Richard | Fokussier- und Brennweiteneinstellvorrichtung für eine Videokamera |
US6635011B1 (en) * | 2000-01-14 | 2003-10-21 | Pentax Corporation | Electronic endoscope system |
AU2001259435A1 (en) * | 2000-05-03 | 2001-11-12 | Stephen T Flock | Optical imaging of subsurface anatomical structures and biomolecules |
US7064777B2 (en) * | 2000-08-31 | 2006-06-20 | Canon Kabushiki Kaisha | Blur correction aparatus, control apparatus to be used in a blur correction apparatus, image taking apparatus, control method to be used in these apparatuses and computer program product to be used with these apparatuses |
JP2002209136A (ja) * | 2001-01-05 | 2002-07-26 | Canon Inc | 撮影装置 |
US7217266B2 (en) * | 2001-05-30 | 2007-05-15 | Anderson R Rox | Apparatus and method for laser treatment with spectroscopic feedback |
AU2002324605A1 (en) * | 2001-08-03 | 2003-02-17 | Joseph A Izatt | Real-time imaging system and method |
US6919914B2 (en) * | 2001-10-24 | 2005-07-19 | Stryker Corporation | Powered optical coupler and endoscopic viewing system using same |
JP3955458B2 (ja) * | 2001-11-06 | 2007-08-08 | ペンタックス株式会社 | 内視鏡のオートフォーカス装置 |
US6885801B1 (en) * | 2001-12-06 | 2005-04-26 | Clear Image Technology Llc | Enhancement of fiber based images |
JP4175024B2 (ja) | 2002-05-22 | 2008-11-05 | ソニー株式会社 | 画像表示装置および画像処理装置、並びに画像処理方法 |
WO2004064620A2 (en) * | 2003-01-14 | 2004-08-05 | University Of Virginia Patent Foundation | Ultrasonic transducer drive |
WO2004103151A2 (en) * | 2003-05-16 | 2004-12-02 | Marc Shapiro | Data entry system for an endoscopic examination |
US6880943B2 (en) * | 2003-06-04 | 2005-04-19 | Itt Manufacturing Enterprises, Inc. | High resolution image formation from a multiple aperture imaging system |
WO2005010799A2 (en) * | 2003-07-16 | 2005-02-03 | Shrenik Deliwala | Optical encoding and reconstruction |
EP1548645B1 (de) * | 2003-12-19 | 2008-04-23 | Imaging Solutions AG | Verfahren zur Verarbeitung digitaler Bilddaten von verwackelten Aufnahmen |
EP1706242A2 (en) * | 2003-12-24 | 2006-10-04 | The General Hospital Corporation | Multi-channel optical imaging |
JP4558370B2 (ja) | 2004-04-23 | 2010-10-06 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP2005332383A (ja) * | 2004-04-23 | 2005-12-02 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
US9131861B2 (en) * | 2004-11-30 | 2015-09-15 | Academisch Medisch Centrum | Pulsed lighting imaging systems and methods |
ATE399501T1 (de) * | 2004-12-30 | 2008-07-15 | Given Imaging Ltd | System zur lokalisation einer in-vivo signalquelle |
WO2006138504A2 (en) * | 2005-06-17 | 2006-12-28 | Mayo Foundation For Medical Education And Research | Colonoscopy video processing for quality metrics determination |
JP2007193186A (ja) * | 2006-01-20 | 2007-08-02 | Olympus Corp | 画像検出方法及び画像検出装置 |
WO2007116648A1 (ja) * | 2006-04-03 | 2007-10-18 | Konica Minolta Medical & Graphic, Inc. | 放射線画像読取装置および診断システム |
JP2008011491A (ja) | 2006-05-30 | 2008-01-17 | Kyocera Corp | カメラシステム、監視カメラ、および撮像方法 |
JP5030507B2 (ja) * | 2006-08-30 | 2012-09-19 | オリンパスメディカルシステムズ株式会社 | 内視鏡の先端フードとフード付き内視鏡 |
RU2009141610A (ru) * | 2007-04-11 | 2011-05-20 | Форт Фотоникс Лимитед (Gb) | Опорная конструкция и рабочая станция, содержащая опорную конструкцию, для улучшения, повышения объективности и документирования обследований матки in vivo |
JP5043595B2 (ja) * | 2007-10-23 | 2012-10-10 | 富士フイルム株式会社 | 撮影装置および内視鏡システム |
JP4518197B2 (ja) * | 2008-06-20 | 2010-08-04 | ソニー株式会社 | 撮像装置、及び像振れ補正方法並びにプログラム |
JP2010022772A (ja) * | 2008-07-24 | 2010-02-04 | Olympus Medical Systems Corp | 内視鏡及び生体観察システム |
US20100081928A1 (en) * | 2008-09-29 | 2010-04-01 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Histological Facilitation systems and methods |
BRPI0921770A2 (pt) * | 2008-11-04 | 2016-01-05 | Univ Rice William M | espectrômetros de mapeamento de imagem |
JP2012515576A (ja) * | 2009-01-20 | 2012-07-12 | ザ ジェネラル ホスピタル コーポレイション | 内視鏡生検装置、システム、及び方法 |
JP5657375B2 (ja) * | 2010-12-24 | 2015-01-21 | オリンパス株式会社 | 内視鏡装置及びプログラム |
JP5864880B2 (ja) * | 2011-04-07 | 2016-02-17 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
JP5951211B2 (ja) * | 2011-10-04 | 2016-07-13 | オリンパス株式会社 | 合焦制御装置及び内視鏡装置 |
-
2010
- 2010-12-24 JP JP2010287943A patent/JP5657375B2/ja active Active
-
2011
- 2011-12-16 CN CN201180061990.4A patent/CN103269636B/zh active Active
- 2011-12-16 EP EP11850095.8A patent/EP2656778A4/en not_active Withdrawn
- 2011-12-16 WO PCT/JP2011/079165 patent/WO2012086536A1/ja active Application Filing
-
2013
- 2013-06-24 US US13/925,197 patent/US9492059B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN103269636B (zh) | 2015-08-05 |
EP2656778A1 (en) | 2013-10-30 |
US9492059B2 (en) | 2016-11-15 |
JP2012135345A (ja) | 2012-07-19 |
EP2656778A4 (en) | 2016-12-21 |
US20130286172A1 (en) | 2013-10-31 |
CN103269636A (zh) | 2013-08-28 |
WO2012086536A1 (ja) | 2012-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5657375B2 (ja) | 内視鏡装置及びプログラム | |
JP5953187B2 (ja) | 合焦制御装置、内視鏡システム及び合焦制御方法 | |
JP5855358B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
JP5951211B2 (ja) | 合焦制御装置及び内視鏡装置 | |
WO2014155782A1 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 | |
US9498153B2 (en) | Endoscope apparatus and shake correction processing method | |
JP6137921B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6013020B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
JP5562808B2 (ja) | 内視鏡装置及びプログラム | |
JP5663331B2 (ja) | 制御装置、内視鏡装置、絞り制御方法及びプログラム | |
US20160128545A1 (en) | Endoscope apparatus and method for controlling endoscope apparatus | |
JP6150554B2 (ja) | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム | |
JP6132901B2 (ja) | 内視鏡装置 | |
WO2017138209A1 (ja) | 医療用画像処理装置、システム、方法及びプログラム | |
JP6736670B2 (ja) | 内視鏡システム | |
JP5996218B2 (ja) | 内視鏡装置及び内視鏡装置の作動方法 | |
JP6120491B2 (ja) | 内視鏡装置及び内視鏡装置のフォーカス制御方法 | |
JP2013043007A (ja) | 焦点位置制御装置、内視鏡装置及び焦点位置制御方法 | |
JP6177387B2 (ja) | 内視鏡装置の合焦制御装置、内視鏡装置及び内視鏡制御装置の作動方法 | |
WO2013061939A1 (ja) | 内視鏡装置及びフォーカス制御方法 | |
JP7456385B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2012055412A (ja) | 画像処理装置、内視鏡装置、画像処理方法及びプログラム | |
JP6168878B2 (ja) | 画像処理装置、内視鏡装置及び画像処理方法 | |
JP2012120618A (ja) | 制御装置、内視鏡装置及び絞り制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141126 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5657375 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |