JP7015384B2 - 医療画像処理システム - Google Patents
医療画像処理システム Download PDFInfo
- Publication number
- JP7015384B2 JP7015384B2 JP2020516212A JP2020516212A JP7015384B2 JP 7015384 B2 JP7015384 B2 JP 7015384B2 JP 2020516212 A JP2020516212 A JP 2020516212A JP 2020516212 A JP2020516212 A JP 2020516212A JP 7015384 B2 JP7015384 B2 JP 7015384B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- light
- narrow band
- band light
- specific narrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000035945 sensitivity Effects 0.000 claims description 87
- 238000009499 grossing Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 30
- 238000005286 illumination Methods 0.000 claims description 19
- 238000002834 transmittance Methods 0.000 description 30
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 210000003238 esophagus Anatomy 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00112—Connection or coupling means
- A61B1/00117—Optical cables in or with an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Endoscopes (AREA)
- Microelectronics & Electronic Packaging (AREA)
Description
本発明は、短波長の狭帯域光により観察対象を照明し、カラーの撮像センサにより観察対象の撮像を行う医療画像処理システムに関する。
医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像センサで撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
また、撮像素子としては、G画素、B画素、R画素の画素数の比率が2:1:1であるベイヤー配列のRGBの撮像センサの他、B画素、G画素、R画素に加えて、白色光などの広帯域光に感度を有するW画素が設けられたRGBWの撮像センサが用いられつつある。RGBWの撮像センサにおいては、ベイヤー配列のRGBの撮像センサと同様に、デモザイク化処理を行うことによって、各画素位置において3色のRGB画像信号を生成するようにしている(例えば、特許文献1、2)。
近年の内視鏡診断においては、表層血管や赤血球など特定の構造を観察するために、中心波長が410nm、450nm前後の短波長の狭帯域光が観察対象の照明に用いられつつある。このような短波長の狭帯域光が照明された観察対象を、RGBの撮像センサやRGBWの撮像センサのようなカラーの撮像センサによって撮像する場合、短波長の狭帯域光に感度を有するB画素の画素数は、短波長の狭帯域光にほとんど感度を有しない他の画素の画素数と比較して少ないため、カラー撮像センサにより得られる画像は、デモザイク化処理後は、解像度が低下してしまう。そこで、白色光のような広帯域光を用いた場合に得られる画像の画質を維持しつつ、短波長の狭帯域光を用いた場合に得られる画像についても解像度を維持又は向上させることが求められていた。
本発明は、白色光のような広帯域光を用いた場合に得られる画像の画質を維持しつつ、短波長の狭帯域光を用いた場合に得られる画像についても解像度を維持又は向上させることができる医療画像処理システムを提供することを目的とする。
第2画素群は第4画素を含み、第4画素は、第1長波光よりも長波の第2長波光と前記特定狭帯域光に対して感度を有することが好ましい。第4画素の感度のうち、特定狭帯域光を含む短波長の光に対する短波長側感度は、第4画素の最高感度の10%以上、又は、第1画素の短波長側感度の10%以上であることが好ましい。第4画素の感度のうち、特定狭帯域光を含む短波長の光に対する短波長側感度は、第4画素の最高感度の35%以下、又は、第1画素の短波長側感度の35%以下であることが好ましい。
第4画素の画素位置における第1画素の画素値は、第3画素の画素値との相関に基づくデモザイク化処理により、算出されることが好ましい。デモザイク化処理は、撮像センサから出力される画像信号に対して画像ぼけ削減処理が施された画像ぼけ削減処理済みの信号を取得し、第3画素に対応する位置にフィルタ係数を有する第1平滑化フィルタを、画像信号に掛け合わせることによって、第1平滑化フィルタ済みの成分を取得し、第4画素が特定位置に位置する特定の画素領域に対して施される第3平滑化フィルタであって、特定の画素領域のうち第1画素に対応する位置にフィルタ係数を有する第3平滑化フィルタを、画像信号に掛け合わせることによって、第3平滑化フィルタ済みの成分を取得し、第4画素の画素位置における第1画素の画素値は、画像ぼけ削減処理済みの信号、第1平滑化フィルタ済みの成分、及び第3平滑化フィルタ済みの成分に基づいて算出されることが好ましい。
第2画素群の画素数は第1画素群の画素数よりも多いことが好ましい。特定狭帯域光の中心波長は400nm以上450nm以下に含まれ、特定狭帯域光の半値幅は40nm以下であることが好ましい。
本発明によれば、白色光のような広帯域光を用いた場合に得られる画像の画質を維持しつつ、短波長の狭帯域光を用いた場合に得られる画像についても解像度を維持又は向上させることができる。
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
また、操作部12bには、アングルノブ12eの他、モード切替SW13a、静止画取得指示部13bが設けられている。モード切替SW13aは、通常観察モードと、特殊観察モードと、短波長観察モードとの切替操作に用いられる。通常観察モードは、白色光などの通常光(図9、図10参照)により観察対象の照明を行って、通常画像をモニタ18上に表示するモードである。特殊観察モードは、青色狭帯域光などの特殊光により観察対象の照明を行って、特定深さの血管などの構造を強調した特殊観察画像をモニタ18上に表示するモードである。短波長観察モードは、観察対象の照明に短波長の特定狭帯域光(後述の紫色光Vに対応する)を用いることによって、短波長の特定狭帯域光で観察可能な構造物を表す短波長観察画像をモニタ18上に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替SW13aの他に、フットスイッチを用いてもよい。
プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続される。モニタ18は、画像情報等を出力表示する。ユーザーインターフェース19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、光源部20と、光源制御部21と、光路結合部23とを有している。光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20dを有している。光源制御部21は、LED20a~20dの駆動を制御する。光路結合部23は、4色のLED20a~20dから発せられる4色の光の光路を結合する。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
図3に示すように、V-LED20aは、中心波長が400nm以上450nm(例えば、405nm)に含まれ、且つ、半値幅が40nm以下である紫色光Vを発生する。B-LED20bは、中心波長が450nm以上500nm以下(例えば、460nm)に含まれ、且つ、半値幅が40nm以下である青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
光源制御部21は、通常観察モード及び特殊観察モードにおいて、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯する制御を行う。また、光源制御部21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。また、光源制御部21は、特殊観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED20a~20dを制御する。特殊光は、特定深さの血管などの構造を強調できることが好ましい。また、光源制御部21は、図4に示すように、短波長観察モード時には、短波長の特定狭帯域光である紫色光Vを発光するように、各LED20a~20dを制御する。
なお、本明細書において、光強度比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有するものとする。
また、光源制御部21は、プロセッサ装置16の明るさ情報算出部54から送られる明るさ情報に基づいて、各LED20a~20dから発せられる照明光の発光量を制御する。
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS
(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)B(青)、及びW(白)の4色のRGBW画像信号を得るためのカラーの撮像センサである。即ち、撮像センサ48は、図5に示すように、Rフィルタが設けられたR画素(第4画素)、Gフィルタが設けられたG画素(第2画素)、Bフィルタが設けられたB画素(第1画素)、及びWフィルタが設けられたW画素(第3画素)を備えている。なお、撮像センサ48は2つの第1画素群と第2画素群に分けられ、第2画素群の画素数は第1画素群の画素数よりも多くなっている。第1画素群にはB画素が含まれ、第2画素群にはG画素、R画素、W画素が含まれる。
撮像センサ48において、W画素は市松模様となるように配列されている。また、短波長観察モード時において撮像センサ48で得られる信号に対しては、解像度を向上させるために、後述のデモザイク化処理に示すように、G画素にも特定狭帯域光への感度を一定以上持たせて、W画素とG画素の相関を用いることによって、G画素位置においても特定狭帯域光の信号が得られるようにしている。同様にして、R画素にも特定狭帯域光への感度を一定以上持たせて、W画素とR画素の相関を用いることによって、R画素位置においても特定狭帯域光の信号が得られるようにしている。
以上のように、短波長の特定狭帯域光の照明時に、G画素位置で特定狭帯域光の信号を得るためには、図6に示すように、G画素については、500nm~600nmの緑色帯域の光(第1長波光)に対する感度だけでなく、短波長の特定狭帯域光を含む短波長の光(400nm~450nm)に対する短波長側感度も有するように、Gフィルタの透過率を設定する。これにより、図7に示すように、特定狭帯域光とGフィルタの透過率と部位別反射率(図7の場合であれば「食道」の反射率を用いる。胃、大腸の反射率は点線で表示。)を掛け合わせた場合には、G画素の受光強度として、特定狭帯域光の波長域に対応する受光強度が得られる。なお、B画素の受光強度は、特定狭帯域光とBフィルタの透過率(400nm~500nmの青色帯域)と部位別反射率を掛け合わせて得られ、G画素の受光強度の強度値の一定倍となっている。
なお、G画素で得られる信号値が小さいとノイズの影響が大きくなり、デモザイク化処理後の画像の画質が悪化するため、例えば、G画素の短波長側感度については、400~450nmにおいてG画素の最高感度の10%以上とすることが好ましい。即ち、Gフィルタにおいて、400~450nmの透過率を、G画素の最高感度に対応する波長範囲(例えば、540~560nm)の透過率の10%以上とすることが好ましい。もしくは、G画素の短波長側感度については、B画素の短波長側感度の10%以上とすることが好ましい。即ち、Gフィルタにおいて、400~450nmの透過率を、Bフィルタの400~450nmの透過率の10%以上とすることが好ましい。なお、G画素の最高感度とは、Gカラーフィルタの透過率が一定以上(例えば、70%)である波長域の光に対する感度のことをいう。R画素の最高感度についても同様である。
一方、G画素の短波長側感度が高くなりすぎると、通常画像における色再現性が低下するため、G画素の短波長側感度については、400~450nmにおいてG画素の最高感度の35%以下とすることが好ましい。即ち、Gフィルタにおいて、400~450nmの透過率を、G画素の最高感度に対応する波長範囲(例えば、540~560nm)の透過率の35%以下とすることが好ましい。もしくは、G画素の短波長側感度については、B画素の短波長側感度の35%以下とすることが好ましい。即ち、Gフィルタにおいて、400~450nmの透過率を、Bフィルタの400~450nmの透過率の35%以下とすることが好ましい。
また、短波長の特定狭帯域光の照明時に、R画素位置で特定狭帯域光の信号を得るためには、図6に示すように、R画素については、600nm~700nmの赤色帯域の光(第2長波光)に対する感度だけでなく、短波長の特定狭帯域光を含む短波長(波長帯域は450nm以下であり、例えば400nm~450nm)の光に対する短波長側感度も有するように、Rフィルタの透過率を設定する。これにより、図8に示すように、特定狭帯域光とRフィルタの透過率と部位別反射率(図8の場合であれば「食道」の反射率を用いる。胃、大腸の反射率は点線で表示。)を掛け合わせた場合には、R画素の受光強度として、特定狭帯域光の波長域に対応する受光強度が得られる。なお、B画素の受光強度は、上記と同様に、G画素の受光強度の一定倍となっている。
ただし、R画素で得られる信号値が小さいとノイズの影響が大きくなり、デモザイク化処理後の画像の画質が悪化するため、例えば、R画素の短波長側感度については、400~450nmにおいてR画素の最高感度の10%以上とすることが好ましい。即ち、Rフィルタにおいて、400~450nmの透過率を、R画素の最高感度に対応する波長範囲(例えば、640~660nm)の透過率の10%以上とすることが好ましい。もしくは、R画素の短波長側感度については、B画素の短波長側感度の10%以上とすることが好ましい。即ち、Rフィルタにおいて、400~450nmの透過率を、Bフィルタの400~450nmの透過率の10%以上とすることが好ましい。
一方、R画素の短波長側感度が高くなりすぎると、通常画像における色再現性が低下するため、R画素の短波長側感度については、400~450nmにおいてR画素の最高感度の35%以下とすることが好ましい。即ち、Rフィルタにおいて、400~450nmの透過率を、R画素の最高感度に対応する波長範囲(例えば、640~660nm)の透過率の35%以下とすることが好ましい。もしくは、R画素の短波長側感度については、B画素の短波長側感度の35%以下とすることが好ましい。即ち、Rフィルタにおいて、400~450nmの透過率を、Bフィルタの400~450nmの透過率の35%以下とすることが好ましい。
撮像センサ48において、W画素については、短波長の特定狭帯域光、緑色帯域の光、赤色帯域の光を含むように、青色帯域から赤色帯域に至るまでの広帯域光の照明光に分光感度を有していることから、B画素、G画素、R画素など他の画素と比較して、画素値の飽和が速い。したがって、W画素の感度は、B画素、G画素、R画素など他の画素の感度よりも低く設定されている。具体的には、W画素の感度は、B画素の最高感度(例えば、440~460nmの感度)又はG画素の最高感度(例えば、540~560nmの感度)に対して、30%~50%とすることが好ましい。
例えば、W画素とG画素との感度に関する関係においては、図9に示すように、通常光の光源スペクトルとWフィルタの透過率とを掛け合わせて得られるW画素の受光強度が、通常光の光源スペクトルとGフィルタの透過率とを掛け合わせて得られるG画素の受光強度の50%程度(例えば、45%~55%)となるように、Wフィルタの透過率を設定する。もしくは、W画素とB画素との感度に関する関係においては、図10に示すように、通常光の光源スペクトルとWフィルタの透過率とを掛け合わせて得られるW画素の受光強度が、通常光の光源スペクトルとBフィルタの透過率と食道の反射率とを掛け合わせて得られるB画素の受光強度の50%程度(例えば、45%~55%)となるように、Wフィルタの透過率を設定する。
なお、撮像センサ48としては、RGBWのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。
図2に示すように、撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、画像取得部53と、明るさ情報算出部54と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像処理部60と、パラメータ切替部62と、表示制御部64とを備えている。
画像取得部53は、内視鏡12において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡12からのデジタルのカラー画像信号が画像取得部53に入力される。カラー画像信号は、撮像センサ48のR画素から出力されるR画像信号と、撮像センサ48のG画素から出力されるG画像信号と、撮像センサ48のB画素から出力されるB画像信号と、撮像センサ48のW画素から出力されるW画像信号から構成されるRGBW画像信号である。明るさ情報算出部54は、画像取得部53から入力されるRGBW画像信号に基づいて、観察対象の明るさを示す明るさ情報を算出する。算出した明るさ情報は光源制御部21に送られ、照明光の発光量の制御に用いられる。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、又はガンマ変換処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。
リニアマトリクス処理後の画像信号には、デモザイク化処理部56aにおいて、デモザイク化処理(等方化処理、同時化処理とも言う)が施される。通常観察モードと特殊観察モードにおいては、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。なお、RGBW画像信号を得るためのカラーの撮像センサを用いる場合のデモザイク処理については、例えば、特開2011-55038号公報に記載の方法を用いることができる。
短波長観察モードでは、短波長の特定狭帯域光のみが観察対象に照明されるが、通常のRGBの撮像センサ(R画素、G画素、B画素からなる撮像センサ)の分光感度は、図15に示すように、Gフィルタ及びRフィルタは特定狭帯域においてほとんど透過率を有さず、G画素及びR画素は特定狭帯域光に感度がほとんどない。このため、短波長の特定狭帯域光に基づいて得られる短波長観察画像は、特定狭帯域光に感度を有するB画素及びW画素から信号が得られるのみで、G画素とR画素からはほとんど信号が得られない。このためW画素との相関に基づくデモザイク処理を行っても、解像度の高い短波長観察画像は得られない。しかし、本実施形態に示すように、特定狭帯域光に対する感度をG画素とR画素に持たせることで、G画素とR画素からも特定狭帯域光に対応する一定の信号が得られるようになり、W画素との相関に基づくデモザイク処理により、解像度の高い短波長観察画像が得られる。
なお、以下において、短波長観察モードにて、B画素及びW画素から得られる信号と、W画素との相関に基づくデモザイク処理により、G画素とR画素から得られる信号については、特定狭帯域光に対応する一定の信号を有していることから、それぞれの信号を短波長観察信号という。
短波長観察モードにおけるデモザイク化処理では、W画素の画素値との相関に基づき、短波長観察信号として、G画素位置におけるB画素の画素値を算出し、且つ、短波長観察信号として、R画素位置におけるB画素の画素値を算出する。これにより、G画素位置及びR画素位置においても、特定狭帯域光に対応する信号値を有するようになるため、短波長観察画像の解像度を向上させることができる。
W画素の画素値との相関に基づくデモザイク化処理により、短波長観察信号として、G画素位置におけるB画素の画素値を算出する方法については、以下のとおりである。例えば、図11に示すように、撮像センサ48から出力される画像信号80において、特定位置SPにあるG画素位置のB画素の画素値Bdを算出する場合には、画像信号80に含まれる離散的なW画素信号に対して、近傍のW画素値に応じた方向判別補間によって全画素位置におけるW画素値を算出し、算出されたW画素値に対してウィナーフィルタ処理によって画像ぼけを削減する画像ぼけ削減処理を行い、画像ぼけ削減処理後のW画素信号(=Wd)(画像ぼけ削減処理済みの信号)を算出する。次に、図12に示すように、5×5の画素領域(特定の画素領域)の画素値に対して、第1平滑化フィルタ82を掛け合わせることにより、低周波成分mW(第1平滑化フィルタ済みの成分)を得る。第1平滑化フィルタ82は、画像信号80のうちW画素がある位置に対して、フィルタ係数(「1」や「2」など)を設けている。
次に、図13に示すように、5×5の画素領域の画素値に対して、第2平滑化フィルタ84を掛け合わせることにより、低周波成分mBx(第2平滑化フィルタ済みの成分)を得る。第2平滑化フィルタ84は、G画素が特定位置SPに位置する5×5の画素領域毎に施されるフィルタであって、画像信号80のうちB画素がある位置に対して、フィルタ係数(「1」)を設けている。この第2平滑化フィルタ84では、特定位置SPに近い位置のB画素の画素値を均等に取得する設定としたフィルタ係数設定が行われている。そして、以下の式X)により、G画素位置におけるB画素の画素値Bdを算出する。
式X)Bd=(mBx/mW)×Wd
W画素の画素値との相関に基づくデモザイク化処理により、短波長観察信号として、R画素位置におけるB画素の画素値を算出する方法については、以下のとおりである。上記の場合と同様に、ぼけ補正ホワイト(W)信号(=Wd)と、低周波成分mWを取得する。そして、図14に示すように、5×5の画素領域の画素値に対して、第3平滑化フィルタ86を掛け合わせることにより、低周波成分mBy(第3平滑化処理済みの成分)を取得する。第3平滑化フィルタ86は、R画素が特定位置SPに位置する5×5の画素領域毎に施されるフィルタであって、画像信号80のうちB画素がある位置に対して、フィルタ係数(「1」)を設けている。そして、以下の式Y)により、R画素位置におけるB画素の画素値Bdを算出する。
式Y)Bd=(mBy/mW)×Wd
ノイズ除去部58は、DSP56でガンマ補正等が施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去された画像信号は、画像処理部60に送信される。
画像処理部60は、各観察モードに対応する画像処理を行う。画像処理の方法としては、例えば、各観察モードに対応する階調処理や彩度強調などの画像処理パラメータを用意しておき、各観察モードに応じて画像信号に掛け合わせる方法がある。通常観察モードの場合であれば、通常観察モード用パラメータをRGB画像信号に掛け合わせ、特殊観察モードの場合でれば、特殊観察モード用パラメータをRGB画像信号に掛け合わせる。また、短波長観察モードの場合であれば、短波長観察モード用パラメータをB画像信号に掛け合わせる。以上の通常観察モード用パラメータ、特殊観察モード用パラメータ、及び短波長観察用パラメータは、モード切替SW13aのモード切替に伴って、パラメータ切替部62により切り替えられる。
表示制御部64は、画像信号から入力された画像信号を、モニタ18で表示可能な画像として表示するための制御を行う。通常観察モードの場合であれば、R画像信号をモニタ18のRチャンネルに、G画像信号をモニタ18のGチャンネルに、B画像信号をモニタ18のBチャンネルに割り当てることによって、通常画像をモニタ18に表示する。また、特殊光観察モードの場合であれば、G画像信号をモニタ18のRチャンネルに、B画像信号をモニタ18のGチャンネル及びBチャンネルに割り当てることによって、特殊観察画像をモニタ18に表示する(割り当てる際には、階調処理、彩度強調を行うことが好ましい)。一方、短波長観察モードの場合であれば、短波長観察信号をモニタ18のR、G、Bの各チャンネルに割り当てて、短波長観察画像をモニタ18に表示する。短波長観察信号を割り当てる際には、短波長観察画像にR、G、Bの各チャンネル用のゲイン等を掛け合わせてから各チャンネルに割り当てる。これにより、短波長の特定狭帯域光で観察可能な構造物が表された短波長観察画像を、グレー画像よりも、血管などの構造の視認性が良い特定背景色を持つ画像としてモニタ18に表示することができる。
なお、上記実施形態では、短波長観察モードにおけるデモザイク化処理は、G画素位置及びR画素位置におけるB画素の画素値(B画像信号)を算出するようにしているが、通常観察モード又は特殊観察モードと同様にして、各画素位置においてR画素、G画素、B画素の画素値をそれぞれ算出するようにしてもよい。
上記実施形態において、画像取得部53、明るさ情報算出部54、DSP56、ノイズ除去部58、画像処理部60、パラメータ切替部62、表示制御部64など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)
チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替SW13b 静止画取得指示部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED(Violet Light Emitting Diode)
20b B-LED(Blue Light Emitting Diode)
20c G-LED(Green Light Emitting Diode)
20d R-LED(Red Light Emitting Diode)
21 光源制御部
23 光路結合部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
50 CDS・AGC回路
52 A/D53 画像取得部
54 明るさ情報算出部
56 DSP(Digital Signal Processor)
56a デモザイク化処理部
58 ノイズ除去部
60 画像処理部
62 パラメータ切替部
64 表示制御部
80 画像信号
82 第1平滑化フィルタ
84 第2平滑化フィルタ
86 第3平滑化フィルタ
Claims (12)
- 短波長の特定狭帯域光を発する光源部と、
前記特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第1画素を含む第1画素群と、第2画素と第3画素を少なくとも含む第2画素群とを備える撮像センサとを備え、
前記第1画素は前記第2画素よりも前記特定狭帯域光への感度が高く、
前記第2画素は、前記特定狭帯域光よりも長波の第1長波光と前記特定狭帯域光に対して感度を有し、
前記第3画素は、前記特定狭帯域光及び第1長波光を含む広帯域の照明光に感度を有し、
前記第2画素の感度のうち、前記特定狭帯域光を含む短波長の光に対する短波長側感度は、前記第2画素の最高感度の35%以下、又は、前記第1画素の前記短波長側感度の35%以下である医療画像処理システム。 - 短波長の特定狭帯域光を発する光源部と、
前記特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第1画素を含む第1画素群と、第2画素と第3画素を少なくとも含む第2画素群とを備える撮像センサとを備え、
前記第1画素は前記第2画素よりも前記特定狭帯域光への感度が高く、
前記第2画素は、前記特定狭帯域光よりも長波の第1長波光と前記特定狭帯域光に対して感度を有し、
前記第3画素は、前記特定狭帯域光及び第1長波光を含む広帯域の照明光に感度を有し、
前記第3画素の感度は、前記第1画素又は前記第2画素の最高感度に対して、30%以上50%以下である医療画像処理システム。 - 短波長の特定狭帯域光を発する光源部と、
前記特定狭帯域光で照明された観察対象を撮像する撮像センサであって、第1画素を含む第1画素群と、第2画素と第3画素を少なくとも含む第2画素群とを備える撮像センサとを備え、
前記第1画素は前記第2画素よりも前記特定狭帯域光への感度が高く、
前記第2画素は、前記特定狭帯域光よりも長波の第1長波光と前記特定狭帯域光に対して感度を有し、
前記第3画素は、前記特定狭帯域光及び第1長波光を含む広帯域の照明光に感度を有し、
前記第2画素の画素位置における前記第1画素の画素値は、前記第3画素の画素値との相関に基づくデモザイク化処理により、算出される医療画像処理システム。 - 前記第2画素の感度のうち、前記特定狭帯域光を含む短波長の光に対する短波長側感度は、前記第2画素の最高感度の10%以上、又は、前記第1画素の前記短波長側感度の10%以上である請求項1記載の医療画像処理システム。
- 前記デモザイク化処理は、
前記撮像センサから出力される画像信号に対して画像ぼけ削減処理が施された画像ぼけ削減処理済みの信号を取得し、
前記第3画素に対応する位置にフィルタ係数を有する第1平滑化フィルタを、前記画像信号に掛け合わせることによって、第1平滑化フィルタ済みの成分を取得し、
前記第2画素が特定位置に位置する特定の画素領域毎に施される第2平滑化フィルタであって、前記特定の画素領域のうち前記第1画素に対応する位置にフィルタ係数を有する第2平滑化フィルタを、前記画像信号に掛け合わせることによって、第2平滑化フィルタ済みの成分を取得し、
前記第2画素の画素位置における前記第1画素の画素値は、前記画像ぼけ削減処理済みの信号、前記第1平滑化フィルタ済みの成分、及び前記第2平滑化フィルタ済みの成分に基づいて算出される請求項3記載の医療画像処理システム。 - 前記第2画素群は第4画素を含み、
前記第4画素は、前記第1長波光よりも長波の第2長波光と前記特定狭帯域光に対して感度を有する請求項1ないし5いずれか1項記載の医療画像処理システム。 - 前記第4画素の感度のうち、前記特定狭帯域光を含む短波長の光に対する短波長側感度は、前記第4画素の最高感度の10%以上、又は、前記第1画素の前記短波長側感度の10%以上である請求項6記載の医療画像処理システム。
- 前記第4画素の感度のうち、前記特定狭帯域光を含む短波長の光に対する短波長側感度は、前記第4画素の最高感度の35%以下、又は、前記第1画素の前記短波長側感度の35%以下である請求項6または7記載の医療画像処理システム。
- 前記第4画素の画素位置における前記第1画素の画素値は、前記第3画素の画素値との相関に基づくデモザイク化処理により、算出される請求項6ないし8いずれか1項記載の医療画像処理システム。
- 前記デモザイク化処理は、
前記撮像センサから出力される画像信号に対して画像ぼけ削減処理が施された画像ぼけ削減処理済みの信号を取得し、
前記第3画素に対応する位置にフィルタ係数を有する第1平滑化フィルタを、前記画像信号に掛け合わせることによって、第1平滑化フィルタ済みの成分を取得し、
前記第4画素が特定位置に位置する特定の画素領域に対して施される第3平滑化フィルタであって、前記特定の画素領域のうち前記第1画素に対応する位置にフィルタ係数を有する第3平滑化フィルタを、前記画像信号に掛け合わせることによって、第3平滑化フィルタ済みの成分を取得し、
前記第4画素の画素位置における前記第1画素の画素値は、前記画像ぼけ削減処理済みの信号、前記第1平滑化フィルタ済みの成分、及び前記第3平滑化フィルタ済みの成分に基づいて算出される請求項9記載の医療画像処理システム。 - 前記第2画素群の画素数は前記第1画素群の画素数よりも多い請求項1ないし10いずれか1項記載の医療画像処理システム。
- 前記特定狭帯域光の中心波長は400nm以上450nm以下に含まれ、前記特定狭帯域光の半値幅は40nm以下である請求項1ないし11いずれか1項記載の医療画像処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018082157 | 2018-04-23 | ||
JP2018082157 | 2018-04-23 | ||
PCT/JP2019/015760 WO2019208236A1 (ja) | 2018-04-23 | 2019-04-11 | 医療画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019208236A1 JPWO2019208236A1 (ja) | 2021-04-01 |
JP7015384B2 true JP7015384B2 (ja) | 2022-02-02 |
Family
ID=68295426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020516212A Active JP7015384B2 (ja) | 2018-04-23 | 2019-04-11 | 医療画像処理システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11969152B2 (ja) |
JP (1) | JP7015384B2 (ja) |
CN (1) | CN111970954B (ja) |
WO (1) | WO2019208236A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021145823A (ja) * | 2020-03-18 | 2021-09-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び医療用観察システム |
JP2022175095A (ja) * | 2021-05-12 | 2022-11-25 | 株式会社デンソー | 画像センサ、撮像装置、および画像処理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015093295A1 (ja) | 2013-12-20 | 2015-06-25 | オリンパス株式会社 | 内視鏡装置 |
JP2015195844A (ja) | 2014-03-31 | 2015-11-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法 |
WO2017090366A1 (ja) | 2015-11-25 | 2017-06-01 | オリンパス株式会社 | 内視鏡システムおよび撮影方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4517493B2 (ja) * | 2000-10-18 | 2010-08-04 | ソニー株式会社 | 固体撮像素子及びその信号処理方法 |
JP5326943B2 (ja) | 2009-08-31 | 2013-10-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP5389612B2 (ja) * | 2009-11-06 | 2014-01-15 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
JP5141757B2 (ja) | 2010-12-13 | 2013-02-13 | ソニー株式会社 | 撮像装置、撮像及び信号処理方法 |
JP2015211727A (ja) * | 2014-05-01 | 2015-11-26 | オリンパス株式会社 | 内視鏡装置 |
JP6072374B2 (ja) * | 2014-11-20 | 2017-02-01 | オリンパス株式会社 | 観察装置 |
WO2016110984A1 (ja) * | 2015-01-08 | 2016-07-14 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置 |
WO2016129062A1 (ja) | 2015-02-10 | 2016-08-18 | オリンパス株式会社 | 画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム |
WO2019208235A1 (ja) * | 2018-04-23 | 2019-10-31 | 富士フイルム株式会社 | 医療画像処理システム |
-
2019
- 2019-04-11 JP JP2020516212A patent/JP7015384B2/ja active Active
- 2019-04-11 WO PCT/JP2019/015760 patent/WO2019208236A1/ja active Application Filing
- 2019-04-11 CN CN201980025860.1A patent/CN111970954B/zh active Active
-
2020
- 2020-09-17 US US17/024,093 patent/US11969152B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015093295A1 (ja) | 2013-12-20 | 2015-06-25 | オリンパス株式会社 | 内視鏡装置 |
JP2015195844A (ja) | 2014-03-31 | 2015-11-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法 |
WO2017090366A1 (ja) | 2015-11-25 | 2017-06-01 | オリンパス株式会社 | 内視鏡システムおよび撮影方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019208236A1 (ja) | 2021-04-01 |
CN111970954A (zh) | 2020-11-20 |
US11969152B2 (en) | 2024-04-30 |
WO2019208236A1 (ja) | 2019-10-31 |
US20210006757A1 (en) | 2021-01-07 |
CN111970954B (zh) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6917518B2 (ja) | 内視鏡システム | |
JPWO2019093355A1 (ja) | 内視鏡システム及びその作動方法 | |
US11937788B2 (en) | Endoscope system | |
US11089943B2 (en) | Endoscope system and method of operating the same | |
US11311185B2 (en) | Endoscope system | |
US11969152B2 (en) | Medical image processing system | |
US11744437B2 (en) | Medical image processing system | |
JP7136933B2 (ja) | 内視鏡システム | |
JP7069290B2 (ja) | 内視鏡システム及びその作動方法 | |
JP6995889B2 (ja) | 内視鏡システム及びその作動方法 | |
JP7171885B2 (ja) | 内視鏡システム | |
JP7163243B2 (ja) | プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 | |
WO2021095417A1 (ja) | 内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220121 |