JP7015382B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP7015382B2
JP7015382B2 JP2020513212A JP2020513212A JP7015382B2 JP 7015382 B2 JP7015382 B2 JP 7015382B2 JP 2020513212 A JP2020513212 A JP 2020513212A JP 2020513212 A JP2020513212 A JP 2020513212A JP 7015382 B2 JP7015382 B2 JP 7015382B2
Authority
JP
Japan
Prior art keywords
image
light
color
pixel
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020513212A
Other languages
English (en)
Other versions
JPWO2019198574A1 (ja
Inventor
達也 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019198574A1 publication Critical patent/JPWO2019198574A1/ja
Application granted granted Critical
Publication of JP7015382B2 publication Critical patent/JP7015382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Description


本発明は、カラーフィルタを介して被写体を撮影する内視鏡システムに関する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムが普及している。光源装置は、照明光を発生する。内視鏡は、イメージセンサを用いて被写体を撮影する。プロセッサ装置は、撮影した被写体の画像に対する処理等を行う。

画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタ有するイメージセンサを用いる場合、イメージセンサから得られる原画像（いわゆるＲＡＷ画像）は、各画素につき、例えばＲ（赤色）、Ｇ（緑色）、またはＢ（青色）のいずれか１チャンネルの情報しか持たない。このため、ＲＡＷ画像に対して、デモザイク処理（同時化処理という場合もある）を施す。ＲＡＷ画像は、デモザイク処理を施す前の画像である。

内視鏡システムにおいては、例えば、画素ごとにＲＧＢおよびＷ（白色）のカラーフィルタを有するイメージセンサを用いる場合に、Ｗカラーフィルタを有するＷ画素を、Ｇカラーフィルタを有するＧ画素またはＢカラーフィルタを有するＢ画素とみなしてモザイク処理を行う方法が知られている（特許文献１）。

また、モニタ等に表示して被写体の観察に用いるための画像を生成する場合と、色に関する数値情報を取得する場合とで、デモザイク処理の内容を切り替える内視鏡システムが知られている（特許文献２）。具体的には、色に関する数値情報を取得する場合には、通常のデモザイク処理から、色情報が正しい低解像度のデモザイク処理に切り替える。

特開２０１５－１９５８４４号公報 特開２０１７－１５８８４０号公報

内視鏡システムを用いた診断においては、微細な血管等の組織及び／またはピットパターン等の微細構造が重要な診断材料である。このため、内視鏡システムにおいては、表示等する画像の解像度は高いことが好ましい。

しかし、デモザイク処理は、処理アルゴリズムが複数知られているが、いずれも補間（interpolating）によりデータを補う。このため、デモザイク処理をした画像は、ＲＡＷ画像と比較して解像度が低下する。

本発明は、必要に応じてデモザイク処理を実施しない高解像度な内視鏡画像を得ることができる内視鏡システムを提供することを目的とする。
本発明の内視鏡システムは、照明光を発光する光源部と、画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有し、照明光を用いて被写体を撮影するイメージセンサと、各色の前記カラーフィルタに対応する各色のＲＡＷ画像に対して、デモザイク処理を施すデモザイク処理部と、照明光のスペクトル情報を用いて、デモザイク処理を実施するか否かを切り替える切替部と、各色のカラーフィルタに対応する各色のＲＡＷ画像のうちの１つである特定色画像に対して、特定色画像とは異なるＲＡＷ画像である非特定色画像を用いて、欠落した画素の画素値を補完する補完処理を行う補完処理部を備え、切替部は、デモザイク処理と補完処理のどちらを実施するかを切り替え、補完処理部は、ゲインをかけた非特定色画像の画素値を用いて、特定色画像の欠落した画素の画素値を補完し、生体の分光反射率に基づいて定められたゲイン、又は、生体の分光反射率に基づくことなく定められたゲインのいずれを用いるかを、照明光の波長帯域によって、決定する。


各色のカラーフィルタに対応する各色のＲＡＷ画像のうちの１つである特定色画像に対して、特定色画像とは異なるＲＡＷ画像である非特定色画像を用いて、欠落した画素の画素値を補完する補完処理を行う補完処理部を備え、切替部は、デモザイク処理と補完処理のどちらを実施するかを切り替えることが好ましい。

各色のカラーフィルタに対応する各色のＲＡＷ画像のうちの１つである特定色画像に対して、特定色画像とは異なるＲＡＷ画像である非特定色画像を用いて、欠落した画素の画素値を補完する補完処理を行う補完処理部を備え、スペクトル情報として、照明光が、各色のカラーフィルタに対応する単色光又は狭帯域光の少なくとも一つである場合に、切替部は、実施する処理を補完処理に切り替えることが好ましい。

補完処理部は、ゲインをかけた非特定色画像の画素値を用いて、特定色画像の欠落した画素の画素値を補完することが好ましい。

ゲインは、白色の被写体を撮影した場合に、非特定色画像の画素値を特定色画像の画素値に近づける演算のパラメータであることが好ましい。

ゲインは、照明光のスペクトル情報と、カラーフィルタの分光透過率と、から求める第１受光スペクトルにおいて、特定色画像の画素値を形成する画素の受光スペクトルと、非特定色画像の画素値を形成する画素の受光スペクトルと、を近づける係数であることが好ましい。

ゲインは、照明光のスペクトル情報と、カラーフィルタの分光透過率と、被写体の分光特性と、から求める第２受光スペクトルにおいて、特定色画像の画素値を形成する画素の受光スペクトルと、非特定色画像の画素値を形成する画素の受光スペクトルと、を近づける係数であることが好ましい。

被写体の部位ごとに、ゲインを記憶する記憶部を備え、補完処理部は、記憶部に記憶されたゲインに基づき、被写体の部位ごとに、使用するゲインを切り替えることが好ましい。

照明光は、狭帯域光であることが好ましい。

照明光は、紫色光、青色光、または、緑色光の少なくともいずれか一種であることが好ましい。

補完した画像を用いてカラー画像を生成するカラー画像生成部を備えることが好ましい。

本発明の内視鏡システムによれば、必要に応じてデモザイク処理を実施しない高解像度な内視鏡画像を得ることができる。

内視鏡システムの外観図である。 内視鏡システムのブロック図である。 照明光のスペクトルを示すグラフである。 狭帯域紫色光のスペクトルを示すグラフである。 イメージセンサにおけるカラーフィルタの配列を示す説明図である。 カラーフィルタの分光特性を示すグラフである。 ＤＳＰの構成を示すブロック図である。 ＲＡＷ画像を示す説明図である。 デモザイク処理後の画像を示す説明図である。 受光スペクトルを示すグラフである。 ゲイン補正後の受光スペクトルを示すグラフである。 補完処理後の画像（補完特定色画像）を示す説明図である。 内視鏡画像を生成する流れを示すフローチャートである。 食道、胃、及び、大腸の分光反射率を示すグラフである。 第２受光スペクトルを示すグラフである。 ゲイン補正後の第２受光スペクトルを示すグラフである。 変形例におけるプロセッサ装置の構成の一部を示すブロック図である。 画像処理部の構成を示すブロック図である。 画像処理部の作用を示す説明図である。 自然な色調にするための階調調節に用いるトーンカーブである。 自然な色調にするための階調調節に用いるトーンカーブである。 粘膜を緑色系統色にするための階調調節に用いるトーンカーブである。 粘膜をシアン系統色にするための階調調節に用いるトーンカーブである。 内視鏡システムと画像処理装置の関係を示す説明図である。 内視鏡システム及びＰＡＣＳと診断支援装置の関係を示す説明図である。 各種検査装置と医療業務支援装置の関係を示す説明図である。

［第１実施形態］

図１に示すように、内視鏡システム１０（内視鏡装置）は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９と、を備える。内視鏡１２は、被写体を撮影する。光源装置１４は、照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８は、内視鏡１２で画像等を表示する表示部である。コンソール１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。

内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。その結果、先端部１２ｄが所望の方向に向く。また、操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３ａ、及び、モード切替操作部１３ｂが設けられている。ズーム操作部１３ａを操作することによって、被写体を拡大または縮小して撮影できる。また、モード切替操作部１３ｂを操作することによって、観察モードが切り替わる。

観察モードとは、撮影時に使用する照明光の種類、表示等するための画像を生成する際に実施する画像処理の内容、酸素飽和度等の生体情報の算出の有無、画像等の表示態様、その他の観察に係る条件の組み合わせである。内視鏡システム１０は、例えば、白色光を用いて被写体を撮影し、被写体を自然な色調で表示する通常観察モードと、白色光とは異なる特定の波長帯域を有する照明光を用いて被写体を撮影及び表示する特殊観察モードと、を有する。

図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の動作を制御する光源制御部２２と、を備える。

光源部２０は、被写体を照明する照明光を発光する。照明光の発光には、照明光を発光するために使用する励起光等の発光を含む。光源部２０は、例えば、レーザーダイオード（以下、ＬＤという）、ＬＥＤ(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発光するために使用する励起光を発光する。白色には、内視鏡１２を用いた被写体の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。光源部２０は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部２０は、被写体が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域を有する光を発光できる。

本実施形態においては、光源部２０は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄの４色のＬＥＤを有する。図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５ｎｍ、波長帯域３８０～４２０ｎｍの紫色光ＶＬを発光する。Ｂ－ＬＥＤ２０ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光ＢＬを発光する。Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光ＧＬを発光する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍに及ぶ赤色光ＲＬを発光する。なお、Ｖ－ＬＥＤ２０ａとＢ－ＬＥＤ２０ｂの中心波長は約±２０ｎｍ、好ましくは約±５ｎｍから約±１０ｎｍ程度の幅を有する。

光源制御部２２は、光源部２０を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部２０は、スペクトルが異なる複数種類の照明光を発光できる。本実施形態においては、光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、点灯時の発光量、光学フィルタの挿抜等を、各々に独立した制御信号を入力することにより、照明光のスペクトルを調節する。これにより、通常観察モードにおいては光源部２０は白色光を発光する。また、光源部２０は、図４に示すように、特殊観察モードにおいては少なくとも狭帯域の紫色光（以下、狭帯域紫色光Ｖｎという）からなる照明光を発光する。「狭帯域」とは、被写体の特性及び／またはイメージセンサ４８が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、中心波長を基準に、波長帯域が例えば約±２０ｎｍ以下（好ましくは約±１０ｎｍ以下）である場合、この光は狭帯域である。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が被写体に向けて出射する。

撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有する。イメージセンサ４８は、イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、被写体から戻る照明光の反射光等（反射光の他、散乱光、被写体が発光する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む）を用いて被写体を撮影する。ズームレンズ４７は、ズーム操作部１３ａの操作をすることで移動し、被写体像を拡大または縮小する。

図５に示すように、イメージセンサ４８は、画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有する。本実施形態においては、イメージセンサ４８は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ４８は、赤色カラーフィルタＲ（以下、Ｒフィルタという）を有するＲ画素７１と、緑色カラーフィルタＧ（以下、Ｇフィルタという）を有するＧ画素７２と、青色カラーフィルタＢ（以下、Ｂフィルタという）を有するＢ画素７３と、を有する。また、本実施形態においては、図５に示すとおり、各色の画素の配列はいわゆるベイヤー配列である。

図６に示すように、Ｂフィルタは、短波長帯域７７の光を透過する。例えば青色から紫色の光は短波長帯域７７に属する。したがって、紫色光ＶＬ、狭帯域紫色光Ｖｎ、及び、青色光ＢＬの被写体からの反射光等は、Ｂ画素７３が最も効率良く受光する。Ｇフィルタは、主として中波長帯域７８の光を透過する。緑色の光は中波長帯域７８に属する。このため、緑色光ＧＬの被写体からの反射光等は、Ｇ画素７２が最も効率良く受光する。同様に、Ｒフィルタは、主として長波長帯域７９の光を透過する。赤色の光は長波長帯域７９に属する。このため、赤色光ＲＬの被写体からの反射光等は、Ｒ画素７１が最も効率良く受光する。

但し、Ｂフィルタ、Ｇフィルタ、及び、Ｒフィルタは、それぞれ、副感度を有する。副感度とは、主として他色のカラーフィルタを有する画素において受光することを予定する波長帯域（他色のカラーフィルタの方が、透過率が高い波長帯域）を有する光に対する感度をいう。カラーフィルタの感度とは、０より大きい透過率を有することをいう。すなわち、Ｂフィルタは、主として短波長帯域７７に属する光を受光することを予定するが、この他に、中波長帯域７８、及び、長波長帯域７９に属する各光を一部透過する。Ｇフィルタは、中波長帯域７８に属する光を受光することを予定するが、短波長帯域７７、及び、長波長帯域７９に属する各光を一部透過する。同様に、Ｒフィルタは、短波長帯域７７、及び、中波長帯域７８に属する各光を一部透過する。このため、例えば、特殊観察モードにおいて狭帯域紫色光Ｖｎを照明光に使用して被写体を撮影する場合、狭帯域紫色光Ｖｎの反射光等はＢ画素７３が受光する。一方、Ｇ画素７２及びＲ画素７１も、副感度により、狭帯域紫色光Ｖｎの反射光等を一部受光する。したがって、狭帯域紫色光Ｖｎを用いて被写体を撮影する特殊観察モードにおいては、Ｂ画素７３を用いて被写体を撮影したＢ画像９１（図８参照）の他、Ｇ画素７２を用いて被写体を撮影したＧ画像、及び、Ｒ画素７１を用いて被写体を撮影したＲ画像を得る。そして、Ｇ画像は、Ｇフィルタの副感度に応じた被写体像を含む。Ｒ画像も同様である。

なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色－原色色変換をすれば、Ｂ画像９１、Ｇ画像、及びＲ画像に変換できる。原色系（ＲＧＢ）または補色系のセンサにおいて、Ｗ画素（ほぼ全波長帯域の光を受光するホワイト画素）等、上記以外の特性を有する画素を１または複数種類有する場合も同様である。

プロセッサ装置１６は、制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６と、を有する（図２参照）。

制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。コンソール１９等を用いて、各種設定の入力等をした場合には、制御部５２は、その設定を、光源制御部２２、イメージセンサ４８、または画像処理部６１等の内視鏡システム１０の各部に入力する。

画像取得部５４は、イメージセンサ４８から、各色の画素を用いて被写体を撮影した画像、すなわちＲＡＷ画像を取得する。また、ＲＡＷ画像は、デモザイク処理または補完処理を実施する前の画像である。デモザイク処理または補完処理を実施する前の画像であれば、イメージセンサ４８から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像も“ＲＡＷ画像”に含む。本実施形態においては、画像取得部５４は、Ｂ画像９１、Ｇ画像、及び、Ｒ画像の３色のＲＡＷ画像を取得する。そして、画像取得部５４は、これらのＲＡＷ画像を用いて、表示等するための画像を生成する。以下においては、画像取得部５４が出力する「表示等するための画像」を内視鏡画像という。

画像取得部５４は、取得したＲＡＷ画像に必要に応じて各種処理を施して内視鏡画像を生成するために、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を備える。

図７に示すように、ＤＳＰ５６は、例えば、オフセット処理部８１、欠陥補正処理部８２、デモザイク処理部８３、補完処理部８４、リニアマトリクス処理部８６、及び、ＹＣ変換処理部８７を備える。ＤＳＰ５６は、これらを用いてＲＡＷ画像またはＲＡＷ画像を用いて生成した画像に対して各種処理を施す。

オフセット処理部８１は、ＲＡＷ画像に対してオフセット処理を施す。オフセット処理は、ＲＡＷ画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。

欠陥補正処理部８２は、ＲＡＷ画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ４８が製造工程または経時変化に起因する欠陥を有する画素を含む場合に、イメージセンサ４８の欠陥画素に対応するＲＡＷ画素の画素値を補正または生成する処理である。

デモザイク処理部８３は、各色のカラーフィルタに対応する各色のＲＡＷ画像に対してデモザイク処理を施す。デモザイク処理は、ＲＡＷ画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。例えば、図８に示すように、Ｂ画像９１においては、イメージセンサ４８のＢ画素７３に対応する位置にある画素９８には、イメージセンサ４８のＢ画素７３における受光量に応じた画素値を有する。一方、Ｂ画像９１は、イメージセンサ４８のＧ画素７２に対応する位置にある画素９７（破線で示す画素。以下、同じ。）には画素値を有しない。同様に、Ｂ画像９１は、イメージセンサ４８のＲ画素７１に対応する位置にある画素９６（一点鎖線で示す画素。以下、同じ。）には画素値を有しない。このＢ画像９１に対してデモザイク処理を施す場合、デモザイク処理部８３は、画素９７及び画素９６の画素値を、各々の近隣にある画素９８の画素値を用いた補間によって生成する。これにより、図９に示すように、画素９８だけでなく、画素９７及び画素９６においても、イメージセンサ４８のＢ画素７３における受光量に相当する画素値を有するＢ画像１０１（デモザイク処理後のＢ画像）を生成する。デモザイク処理の内容は、Ｂ画像９１以外のＲＡＷ画像、すなわちＧ画像及びＲ画像についても同様である。

デモザイク処理部８３は、上記デモザイク処理を実施する場合と実施しない場合がある。デモザイク処理を実施するか否かの切り替えは、制御部５２が備える切替部８５（図７参照）が制御する。具体的には、切替部８５は、ＲＡＷ画像を撮影した際の「照明光のスペクトル情報」を用いて、デモザイク処理を実施するか否かを切り替える。「照明光のスペクトル情報」とは、照明光の波長帯域、及び／または、各波長もしくは波長帯域ごとの撮影に寄与する光量に係る情報である。本実施形態においては、照明光のスペクトル情報は、Ｖ－ＬＥＤ２０ａ等の光源部２０が有する各色のＬＥＤの点灯または消灯、発光量（瞬間的な発光強度の他、発光時間の長さに関する情報を含む）、及び、光学フィルタの有無等である。切替部８５は、制御部５２または光源制御部２２から、照明光のスペクトル情報を得る。

補完処理部８４は、ＲＡＷ画像に対して補完処理を施す。補完処理とは、特定色画像に対して、非特定色画像を用いて、欠落した画素の画素値を補完する処理である。

「特定色」とは、イメージセンサ４８が有する各色のカラーフィルタのうちの１色である。「特定色画像」とは、各色のカラーフィルタに対応する各色のＲＡＷ画像のうちの１つである。すなわち、特定色画像は、イメージセンサ４８から得られる複数のＲＡＷ画像のうちの１つのＲＡＷ画像である。本実施形態においては、Ｂ画像９１、Ｇ画像、または、Ｒ画像が特定色画像になり得る。例えば、狭帯域紫色光Ｖｎを用いて被写体を撮影する場合に得るＢ画像９１が特定色画像である。

「非特定色」とは、イメージセンサ４８が有する各色のカラーフィルタのうち、上記特定色のカラーフィルタを除くカラーフィルタのうちの１色である。「非特定色画像」とは、各色のＲＡＷ画像のうち、特定色画像とは異なるＲＡＷ画像のうちのいずれかまたは全部である。例えば、狭帯域紫色光Ｖｎを用いて被写体を撮影する場合に得るＢ画像９１を特定色画像とする場合、Ｂ画像９１、Ｇ画像、及び、Ｒ画像の３種類のＲＡＷ画像うち、Ｂ画像９１を除いたＧ画像及びＲ画像が非特定色画像である。

「欠落した画素」とは、特定色画像においてカラーフィルタの配列に起因して画素値が欠落した画素をいう。例えば、Ｂ画像９１においては、イメージセンサ４８のＧ画素７２の位置にある画素９７、及び、イメージセンサ４８のＲ画素７１の位置にある画素９６である（図７参照）。Ｇ画像またはＲ画像を特定色画像とする場合においても同様である。

画素値について「補完（complement）」とは、補間（interpolating）によらずに、画素値を補充することをいう。補完処理部８４が行う処理は、補間によらずに、非特定画像の画素値を用いて特定色画像の欠落した画素値を補充するので、補完処理である。

補完処理部８４は、ゲインをかけた非特定色画像の画素値を用いて、特定色画像の欠落した画素の画素値を補完する。「ゲインをかける」とは、所定のゲインを用いて加減乗除その他の演算をすることをいう。本実施形態においては、補完処理部８４は、非特定色画像の画素値にゲインを乗じる。

補完処理に用いるゲインは、例えば、白色の被写体を撮影した場合に、非特定色画像の画素値を特定色画像の画素値に近づける演算のパラメータである。本実施形態においては、特定色画像の画素値を形成する画素の受光スペクトルと、非特定色画像の画素値を形成する画素の受光スペクトルと、を近づける係数をゲインとして使用する。具体的には、以下のように定める。

内視鏡システム１０においては、イメージセンサ４８が有する各色のカラーフィルタの分光透過率（図６参照）及び撮影時に使用する照明光のスペクトル情報は既知である。また、照明光が狭帯域光である場合、各色のカラーフィルタで得られる受光スペクトルへの被写体の反射率の影響はほとんどない。このため、照明光のスペクトル情報と、各色のカラーフィルタの分光透過率と、を用いて予め簡易的に受光スペクトル求め、算出した受光スペクトルからゲインを算出する。例えば、図１０に示すように、狭帯域紫色光Ｖｎを照明光に用いる場合、受光スペクトル１１０は、狭帯域紫色光Ｖｎのスペクトル情報（図４参照）と、各色のカラーフィルタの分光透過率（図６参照）と、の波長ごとの積である。この場合、Ｂ画素７３における受光スペクトルＲｂと、Ｇ画素７２における受光スペクトルＲｇと、Ｒ画素７１における受光スペクトルＲｒと、を比較すると、Ｂ画素７３における受光スペクトルＲｂのピークに比べて、Ｇ画素７２の受光スペクトルＲｇのピークと、Ｒ画素７１における受光スペクトルＲｒのピークは小さい。Ｇ画素７２及びＲ画素７１は、ＧフィルタまたはＲフィルタの副感度を用いて狭帯域紫色光Ｖｎの反射光等を受光するからである。

但し、Ｂ画素７３における受光スペクトルＲｂと、Ｇ画素７２における受光スペクトルＲｇと、Ｒ画素７１における受光スペクトルＲｒと、の相互関係は一定である。例えば、図１１に示すように、Ｇ画素７２における受光スペクトルＲｇのα倍の受光スペクトルαＲｇがＢ画素７３における受光スペクトルＲｂにほぼ一致し、かつ、Ｒ画素７１における受光スペクトルＲｒのβ倍の受光スペクトルβＲｒがＢ画素７３における受光スペクトルＲｂにほぼ一致する。このため、本実施形態においては、補完処理部８４は、上記の係数α及び係数βをゲインとして使用する。

具体的には、狭帯域紫色光Ｖｎを用いて被写体を撮影する場合に得るＢ画像９１を特定色画像とする場合、図１２に示すように、補完処理部８４は、非特定色画像であるＧ画像の画素値をα倍した値をＢ画像９１の画素９７に補充し、かつ、非特定色画像であるＲ画像の画素値をβ倍した値をＢ画像９１の画素９６に補充することにより、補完Ｂ画像１２０を得る。他の色のＲＡＷ画像を特定色画像とする場合も同様である。補完Ｂ画像１２０等の補完処理後の画像を、補完特定色画像という。補完特定色画像は、必要に応じてその他の処理を施すが、実質的に、表示等するための内視鏡画像である。

なお、照明光を、各色のカラーフィルタのうちの１つである特定色のカラーフィルタを有する画素において受光する場合に、切替部８５は、実施する処理を補完処理に切り替える。照明光を「特定色のカラーフィルタを有する画素において受光する」とは、照明光の波長帯域のほぼ全体が、特定色のカラーフィルタが主感度を有する波長帯域（他色のカラーフィルタよりも透過率が高い波長帯域）に含まれており、照明光の反射光等を用いた被写体の撮影を、実質的に特定色のカラーフィルタを有する画素で行うことをいう。すなわち、照明光が単色光である場合、特に、狭帯域光である場合、切替部８５は、実施する処理を補完処理に切り替える。一方、照明光が白色光である場合等、照明光の波長帯域が１つのカラーフィルタの主感度を有する波長帯域よりも広く、実質的に被写体の撮影を複数色の画素で行う場合、切替部８５は、実施する処理をデモザイク処理に切り替える。

リニアマトリクス処理部８６は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。リニアマトリクス処理はデモザイク処理を実施する場合に行い、補完処理を実施する場合にはリニアマトリクス処理は行わない。

ＹＣ変換処理部８７は、１または複数のＲＡＷ画像をＲＧＢ各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に変換する処理である。

ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色のチャンネルを有する内視鏡画像に再変換する。

画像処理部６１は、画像取得部５４が出力する内視鏡画像に、必要に応じて画像処理または解析処理等を施す。また、画像処理部６１は、必要に応じて、画像処理または解析処理等の結果を表示する特殊内視鏡画像を生成する。画像処理部６１が施す画像処理は、例えば、輪郭等の検出処理、強調処理、または、マスク処理等である。画像処理部６１が施す解析処理は、酸素飽和度等の生体情報の算出処理、特定の組織等の抽出処理、病状等の判定処理、または、癌等のステージを鑑別する鑑別処理、等である。特殊内視鏡画像は、例えば、酸素飽和度を表示する酸素飽和度画像である。

表示制御部６６は、内視鏡画像を表示に適した形式に変換してモニタ１８に出力する。

これにより、モニタ１８は内視鏡画像を表示する。

以下、内視鏡システム１０において内視鏡画像を生成する動作の流れを、図１３に示すフローチャートに沿って説明する。まず、観察モードを選択（設定）する（ステップＳ１１０）。これにより、光源部２０は選択した観察モードに必要な照明光を発光する。そして、自動的にまたは撮影指示に基づいて、イメージセンサ４８は光源部２０が発光した照明光を用いて被写体を撮影する（ステップＳ１１１）。

イメージセンサ４８が被写体を撮影すると、画像取得部５４は、イメージセンサ４８からＲＡＷ画像を取得して、内視鏡画像を生成する。その際に、切替部８５は、照明光のスペクトル情報を用いて、デモザイク処理を実施するか否かを切り替える（ステップＳ１１２）。具体的には、観察モードが通常観察モードであり、撮影時の照明光が白色光である場合（ステップＳ１１２：ＹＥＳ）、切替部８５は、実施する処理をデモザイク処理に切り替える。このため、デモザイク処理部８３がデモザイク処理を実施して（ステップＳ１１３）、内視鏡画像を生成する（ステップＳ１１５）。一方、観察モードが特殊観察モードであり、撮影時の照明光は狭帯域紫色光Ｖｎである場合（ステップＳ１１２：ＮＯ）、切替部８５は、実施する処理を補完処理に切り替える。このため、補完処理部８４が補完処理を実施して（ステップＳ１１４）、内視鏡画像を生成する（ステップＳ１１５）。

上記のように、内視鏡システム１０においては、内視鏡画像を生成する際に、照明光のスペクトル情報を用いて、デモザイク処理を実施するか否かを切り替える。デモザイク処理を行って生成した内視鏡画像は、生成過程に補間処理を含むので、ＲＡＷ画像よりも解像度が低下してしまうが、上記のようにデモザイク処理を実施するか否かを切り替えらえるようにすることにより、内視鏡画像にＲＡＷ画像と同程度の画質（解像度等）が求められる場合等、デモザイク処理を実施することが適当でない場合には、デモザイク処理を実施しないようにすることができる。

また、内視鏡システム１０は、内視鏡画像にＲＡＷ画像と同程度の解像度が求められる場合には、デモザイク処理の代わりに、補完処理を実施して内視鏡画像（補完特定色画像）を生成する。補完特定色画像は、生成過程に補間処理を含まないので、ＲＡＷ画像と同程度の解像度を維持できる。このため、内視鏡システム１０は、デモザイク処理をすることが適当でない場合に、補完処理を実施することによって、高解像度の補完特定色画像を内視鏡画像として生成できる。

また、切替部８５は、照明光を特定色のカラーフィルタを有する画素において受光する場合に、実施する処理を補完処理に切り替える。これは、内視鏡システム１０において、照明光を、単色光、特に狭帯域光とする場合が、細い血管や細かい組織等を観察する場合等の高解像度が求められる場合にほぼ等しく、ＲＡＷ画像と同程度の解像度を維持する必要性が特に高いからである。同様の理由から、切替部８５が、実施する処理を補完処理に切り替えるのは、照明光が紫色光、青色光または緑色光である場合（すなわち照明光の波長帯域のほぼ全部が、短波長帯域７７または中波長帯域７８に属する光である場合）であることが好ましく、照明光が紫色光または青色光である場合（すなわち照明光の波長帯域のほぼ全部が短波長帯域７７に属する光である場合）であることが特に好ましい。

なお、上記第１実施形態の内視鏡システム１０は、照明光を発光する光源部２０と、画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有し、照明光を用いて被写体を撮影するイメージセンサ４８と、各色のカラーフィルタに対応する各色のＲＡＷ画像のうちの１つである特定色画像に対して、特定色画像とは異なるＲＡＷ画像である非特定色画像を用いて、欠落した画素の画素値を補完する補完処理を行う補完処理部８４と、を備える内視鏡システムということができる。

［第２実施形態］

上記第１実施形態においては、照明光のスペクトル情報と、各色のカラーフィルタの分光透過率と、から求まる受光スペクトルを用いて、補完処理に用いるゲイン（係数α及び係数β）を決定しているが、補完処理に用いるゲインは、さらに、被写体の分光反射率を考慮して決定することが好ましい。生体の分光反射率を考慮して、補完処理に用いるゲインを定めれば、照明光の波長帯域の広さによっては、補完特定色画像の解像度を、より高解像度に維持できるからである。

例えば、図１４に示すように、食道の分光反射率ＥＳ、胃の分光反射率ＳＴ、及び、大腸の分光反射率ＬＩは、いずれも一定ではなく、相互に相違がある。すなわち、生体の分光特性は一定ではない。また、部位によっても相違がある。このため、例えば、図１５に示すように、照明光のスペクトル情報と、各色のカラーフィルタの分光透過率と、生体の分光特性と、から求める第２受光スペクトル２１０は、照明光の波長帯域の広さによっては、生体の分光反射率を考慮しない場合の受光スペクトル１１０（図１０参照）と比較して、変形する。

このため、本実施形態においては、補完処理に用いるゲインは、第２受光スペクトル２１０において、特定色画像の画素値を形成する画素の受光スペクトルと、非特定色画像の画素値を形成する画素の受光スペクトルと、を近づける演算のパラメータ（画素値に乗算する係数等）とする。例えば、図１６に示すように、Ｇ画素７２における第２受光スペクトルＲｇ２のγ倍の受光スペクトルγＲｇ２がＢ画素７３における第２受光スペクトルＲｂ２にほぼ一致し、かつ、Ｒ画素７１における第２受光スペクトルＲｒ２のδ倍の受光スペクトルδＲｒ２がＢ画素７３における第２受光スペクトルＲｂ２にほぼ一致する場合、補完処理部８４は、第１実施形態の係数α及び係数βの代わりに、上記の係数γ及び係数δをゲインとして使用する。

上記のように、生体の分光特性を考慮する場合、図１７に示すように、プロセッサ装置１６には、被写体の部位ごとに、補完処理に用いるゲインを記憶する記憶部２３０を設けることが好ましい。記憶部２３０は、例えば、食道観察用ゲイン２３１と、胃観察用ゲイン２３２と、大腸観察用ゲイン２３３と、を記憶しておく。そして、補完処理部８４は、観察部位の設定、または、任意の切り替え操作に応じて、被写体の部位ごとに、使用するゲインを切り替えることが好ましい。例えば、観察部位が胃である場合には、自動的にまたは手動選択により、補完処理部８４は、記憶部２３０から胃観察用ゲイン２３２を読み出して、補完処理に使用する。

このように、観察部位ごとのゲインを予め記憶しておき、観察部位に応じて使用するゲインを切り替えられるようにすると、観察部位ごとの分光特性に合わせて、より正確な補完処理ができるようになる。その結果、照明光の波長帯域の広さによっては、補完特定色画像は、より高解像度を維持できる。

なお、照明光が狭帯域光であり、波長帯域が十分に小さい場合には、生体の分光反射率は考慮せず、第１実施形態のように補完処理に用いるゲインを決定することが好ましい。生体の分光反射率の影響を実質的に無視できる場合が多いからである。また、生体の分光反射率は、生体の個体差等による誤差があるので、照明光が狭帯域光である場合には、生体の分光反射率を考慮せずに補完処理に用いるゲインを決定した方が、補完特定色画像をより高解像度に維持できる場合が多いからである。

なお、上記第１実施形態及び第２実施形態の補完特定色画像はモノクロ画像であるが、補完特定色画像を用いてカラー画像を生成することができる。この場合、図１８に示すように、画像処理部６１には、カラー画像生成部３０１と、階調調節部３０２と、を設ける。

図１９に示すように、カラー画像生成部３０１は、補完Ｂ画像１２０等の補完した補完特定色画像を、ＲＧＢ各色の色チャンネルに割り当てることにより、カラー画像３１０を生成する。そして、階調調節部３０２は、補完特定色画像を各色チャンネルに割り当てる際に、または、補完特定色画像を各色チャンネルに割り当てたカラー画像３１０に対して、階調調節処理を施す。

例えば、図２０に示すように、階調調節部３０２が、概ねＲ＞Ｇ＞Ｂのバランスのトーンカーブにしたがって階調調節をすれば、白色光で撮影したいわゆる白色光画像に近い色調のカラー画像３１０を得ることができる。また、図２１に示すように、Ｇチャンネル用のトーンカーブとＢチャンネル用のトーンカーブに交点３２０を持たせ、入力画素値が小さい範囲においては概ねＲ＞Ｇ＞Ｂのバランスとし、入力画素値が大きい範囲においては概ねＲ＞Ｂ＞Ｇのバランスとする。こうすると、血管等の照明光を吸収し易い特定の組織の赤味が増す。このため、ＲＡＷ画像と同等の高解像度を維持しながら、白色光画像よりも血管等の特定の組織の視認性を向上できる。

また、図２２に示すように、階調調節部３０２が、概ねＧ＞Ｂ≒Ｒのバランスのトーンカーブにしたがって階調調節をすれば、粘膜が緑色系統色のカラー画像３１０を得ることができる。同様に、図２３に示すように、階調調節部３０２が、概ねＢ≒Ｇ＞Ｒのバランスのトーンカーブにしたがって階調調節をすれば、粘膜がシアン系統色のカラー画像３１０を得ることができる。これらは、粘膜等の明るい組織の色と、血管等の暗い組織の色と、の距離をＬ＊ａ＊ｂ＊色空間において拡大することができる。このため、例えば粘膜に対して血管の視認性が良いカラー画像３１０を生成できる。

この他、図２４に示すように、内視鏡システム１０のうちＤＳＰ５６及び／または画像処理部６１を構成する各部の一部または全部は、例えばプロセッサ装置１６と通信して内視鏡システム１０と連携する医療画像処理装置７０１に設けることができる。また、図２５に示すように、内視鏡システム１０のうちＤＳＰ５６及び／または画像処理部６１を構成する各部の一部または全部は、例えば内視鏡システム１０から直接的に、または、ＰＡＣＳ（Picture Archiving and Communication Systems）７１０から間接的に、内視鏡１２で撮影したＲＡＷ画像を取得する診断支援装置７１１に設けることができる。また、図２６に示すように、内視鏡システム１０を含む、第１検査装置７２１、第２検査装置７２２、…、第Ｎ検査装置７２３等の各種検査装置と、ネットワーク７２６を介して接続する医療業務支援装置７３０に、内視鏡システム１０のうちＤＳＰ５６及び／または画像処理部６１を構成する各部の一部または全部を設けることができる。

また、内視鏡１２としてカプセル内視鏡を使用できる。この場合、光源装置１４と、プロセッサ装置１６の一部と、はカプセル内視鏡に搭載できる。

上記各実施形態及び変形例において、光源制御部２２、制御部５２、画像取得部５４、画像処理部６１、及び、表示制御部６６等といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）

である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）

チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０ 内視鏡システム

１２ 内視鏡

１２ａ 挿入部

１２ｂ 操作部

１２ｃ 湾曲部

１２ｄ 先端部

１２ｅ アングルノブ

１３ａ ズーム操作部

１３ｂ モード切替操作部

１４ 光源装置

１６ プロセッサ装置

１８ モニタ

１９ コンソール

２０ 光源部

２２ 光源制御部

３０ａ 照明光学系

３０ｂ 撮影光学系

４５ 照明レンズ

４６ 対物レンズ

４７ ズームレンズ

４８ イメージセンサ

５２ 制御部

５４ 画像取得部

５６ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）

５８ ノイズ低減部

５９ 変換部

６１ 画像処理部

６６ 表示制御部

７１ Ｒ画素

７２ Ｇ画素

７３ Ｂ画素

７７ 短波長帯域

７８ 中波長帯域

７９ 長波長帯域

８１ オフセット処理部

８２ 欠陥補正処理部

８３ デモザイク処理部

８４ 補完処理部

８５ 切替部

８６ リニアマトリクス処理部

８７ ＹＣ変換処理部

９１ Ｂ画像

９６ イメージセンサのＲ画素に対応する位置にある画素

９７ イメージセンサのＧ画素に対応する位置にある画素

９８ イメージセンサのＢ画素に対応する位置にある画素

１０１ デモザイク処理後のＢ画像

１１０ 受光スペクトル

１２０ 補完Ｂ画像

２１０ 第２受光スペクトル

２３０ 記憶部

２３１ 食道観察用ゲイン

２３２ 胃観察用ゲイン

２３３ 大腸観察用ゲイン

３０１ カラー画像生成部

３０２ 階調調節部

３１０ カラー画像

３２０ 交点

７０１ 医療画像処理装置

７１０ ＰＡＣＳ

７１１ 診断支援装置

７２１ 第１検査装置

７２２ 第２検査装置

７２３ 第Ｎ検査装置

７２６ ネットワーク

７３０ 医療業務支援装置

Ｂ 青色カラーフィルタ

Ｇ 緑色カラーフィルタ

Ｒ 赤色カラーフィルタ

ＶＬ 紫色光

ＢＬ 青色光

ＧＬ 緑色光

ＲＬ 赤色光

Ｖｎ 狭帯域紫色光

Ｙ 輝度チャンネル

Ｃｂ 色差チャンネル

Ｃｒ 色差チャンネル

Ｒｂ Ｂ画素の受光スペクトル

Ｒｇ Ｇ画素の受光スペクトル

Ｒｒ Ｒ画素の受光スペクトル

ＥＳ 食道の分光反射率

ＬＩ 大腸の分光反射率

ＳＴ 胃の分光反射率

Ｒｂ２ Ｂ画素の第２受光スペクトル

Ｒｇ２ Ｇ画素の第２受光スペクトル

Ｒｒ２ Ｒ画素の第２受光スペクトル

Ｓ１１０、Ｓ１１１、Ｓ１１２、Ｓ１１３、Ｓ１１４、Ｓ１１５ 動作のステップ

Claims (8)

  1. 照明光を発光する光源部と、
    画素ごとに、複数色のカラーフィルタのうち１色のカラーフィルタを有し、前記照明光を用いて被写体を撮影するイメージセンサと、
    各色の前記カラーフィルタに対応する各色のＲＡＷ画像に対して、デモザイク処理を施すデモザイク処理部と、
    前記照明光のスペクトル情報を用いて、前記デモザイク処理を実施するか否かを切り替える切替部と、
    各色の前記カラーフィルタに対応する各色のＲＡＷ画像のうちの１つである特定色画像に対して、前記特定色画像とは異なるＲＡＷ画像である非特定色画像を用いて、欠落した画素の画素値を補完する補完処理を行う補完処理部を備え、
    前記切替部は、前記デモザイク処理と前記補完処理のどちらを実施するかを切り替え、
    前記補完処理部は、ゲインをかけた前記非特定色画像の画素値を用いて、前記特定色画像の欠落した画素の画素値を補完し、
    生体の分光反射率に基づいて定められた前記ゲイン、又は、前記生体の分光反射率に基づくことなく定められた前記ゲインのいずれを用いるかを、前記照明光の波長帯域によって、決定する内視鏡システム。
  2. 前記スペクトル情報として、前記照明光が、前記各色のカラーフィルタに対応する単色光又は狭帯域光の少なくとも一つである場合に、前記切替部は、実施する処理を前記補完処理に切り替える請求項１に記載の内視鏡システム。
  3. 前記ゲインは、白色の被写体を撮影した場合に、前記非特定色画像の画素値を前記特定色画像の画素値に近づける演算のパラメータである請求項１または２に記載の内視鏡システム。
  4. 前記ゲインは、前記特定色画像の画素値を形成する画素の受光スペクトルと、前記非特定色画像の画素値を形成する画素の受光スペクトルと、を近づける係数である請求項１～３いずれか１項に記載の内視鏡システム。
  5. 前記被写体の部位ごとに、前記ゲインを記憶する記憶部を備え、
    前記補完処理部は、前記記憶部に記憶されたゲインに基づき、前記被写体の部位ごとに、使用する前記ゲインを切り替える請求項１ないし４いずれか１項に記載の内視鏡システム。
  6. 前記照明光は、狭帯域光である請求項１～５のいずれか１項に記載の内視鏡システム。
  7. 前記狭帯域光は、紫色光、青色光、または、緑色光の少なくともいずれか一種である請求項６に記載の内視鏡システム。
  8. 補完した画像を用いてカラー画像を生成するカラー画像生成部を備える請求項１～７のいずれか１項に記載の内視鏡システム。
JP2020513212A 2018-04-11 2019-04-02 内視鏡システム Active JP7015382B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018076061 2018-04-11
JP2018076061 2018-04-11
PCT/JP2019/014684 WO2019198574A1 (ja) 2018-04-11 2019-04-02 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2019198574A1 JPWO2019198574A1 (ja) 2021-05-13
JP7015382B2 true JP7015382B2 (ja) 2022-02-02

Family

ID=68163632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020513212A Active JP7015382B2 (ja) 2018-04-11 2019-04-02 内視鏡システム

Country Status (4)

Country Link
US (1) US11308578B2 (ja)
JP (1) JP7015382B2 (ja)
CN (1) CN112004454B (ja)
WO (1) WO2019198574A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115190668A (zh) * 2022-07-08 2022-10-14 上海芯龙光电科技股份有限公司 一种基于rgbwcla七色合一的led全光谱混色方法
US20240095273A1 (en) * 2022-09-16 2024-03-21 Google Llc Actionable suggestions for media content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015066063A (ja) 2013-09-27 2015-04-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2017158840A (ja) 2016-03-10 2017-09-14 富士フイルム株式会社 内視鏡画像信号処理装置および方法並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115793A (ja) * 1998-10-08 2000-04-21 Fuji Photo Optical Co Ltd デジタル出力可能な電子内視鏡装置
JP2009284931A (ja) * 2008-05-27 2009-12-10 Hoya Corp 内視鏡装置
JP2009284959A (ja) * 2008-05-27 2009-12-10 Hoya Corp 内視鏡装置
JP5452242B2 (ja) * 2010-01-15 2014-03-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP6435275B2 (ja) * 2013-12-20 2018-12-05 オリンパス株式会社 内視鏡装置
JP5968944B2 (ja) 2014-03-31 2016-08-10 富士フイルム株式会社 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015066063A (ja) 2013-09-27 2015-04-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2017158840A (ja) 2016-03-10 2017-09-14 富士フイルム株式会社 内視鏡画像信号処理装置および方法並びにプログラム

Also Published As

Publication number Publication date
JPWO2019198574A1 (ja) 2021-05-13
CN112004454B (zh) 2023-10-03
WO2019198574A1 (ja) 2019-10-17
CN112004454A (zh) 2020-11-27
US11308578B2 (en) 2022-04-19
US20200410639A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
US11399123B2 (en) Image transformation and display for fluorescent and visible imaging
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP6817154B2 (ja) プロセッサ装置及びその作動方法
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US20180220052A1 (en) Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination
US11375928B2 (en) Endoscope system
JP2002172082A (ja) 蛍光画像表示方法および装置
US11596293B2 (en) Endoscope system and operation method therefor
CN111107778B (zh) 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置
JP7015382B2 (ja) 内視鏡システム
US20200402238A1 (en) Medical image processing apparatus
JP7069290B2 (ja) 内視鏡システム及びその作動方法
JP6932094B2 (ja) 内視鏡システム及び内視鏡管理装置並びにキャリブレーション方法
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP7196016B2 (ja) 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法
JP7057381B2 (ja) 内視鏡システム
WO2021065939A1 (ja) 内視鏡システム及びその作動方法
CN112004455B (zh) 医疗图像处理系统
WO2020121868A1 (ja) 内視鏡システム
WO2019244254A1 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
JP2006184033A (ja) 撮影装置
CN111970954A (zh) 医疗图像处理系统
CN112004455A (zh) 医疗图像处理系统
JP2019118759A (ja) 電子内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220121