JPWO2016129062A1 - 画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム - Google Patents

画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JPWO2016129062A1
JPWO2016129062A1 JP2016574559A JP2016574559A JPWO2016129062A1 JP WO2016129062 A1 JPWO2016129062 A1 JP WO2016129062A1 JP 2016574559 A JP2016574559 A JP 2016574559A JP 2016574559 A JP2016574559 A JP 2016574559A JP WO2016129062 A1 JPWO2016129062 A1 JP WO2016129062A1
Authority
JP
Japan
Prior art keywords
narrowband
image
filter
broadband
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016574559A
Other languages
English (en)
Other versions
JP6588043B2 (ja
Inventor
井岡　健
健 井岡
和徳 吉崎
和徳 吉崎
直 菊地
直 菊地
小宮　康宏
康宏 小宮
福永　康弘
康弘 福永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016129062A1 publication Critical patent/JPWO2016129062A1/ja
Application granted granted Critical
Publication of JP6588043B2 publication Critical patent/JP6588043B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern

Abstract

通常画像および狭帯域画像それぞれを高解像度で得ることができる画像処理装置、内視鏡システムおよび撮像装置を提供する。画像処理装置４は、撮像装置から入力される画像信号に基づいて、複数の広帯域フィルタの各々を透過した広帯域光に対応する複数の広帯域画像信号と複数の狭帯域フィルタの各々を透過した狭帯域光に対応する複数の狭帯域画像信号とを分離する分離部４０１ａと、分離部４０１ａが分離した複数の狭帯域画像信号に基づいて、複数の広帯域画像信号のいずれか１つを補間するデモザイク処理を行うデモザイク部４０１ｂと、デモザイク部４０１ｂがデモザイク処理によって補間した広帯域画像信号を用いて広帯域画像を生成するとともに、狭帯域画像信号を用いて狭帯域画像を生成する画像生成部４０１ｃと、を備える。

Description

本発明は、広帯域の光を透過する複数の広帯域フィルタおよび狭帯域の光を透過する複数の狭帯域フィルタを２次元マトリクス状に配置したカラーフィルタを有する撮像素子から出力された画像データに対して画像処理を行う画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラムに関する。
近年、内視鏡の分野では、可視領域における広帯域の光を透過する複数の広帯域フィルタおよび狭帯域の光を透過する複数の狭帯域フィルタを２次元マトリクス状に配列したカラーフィルタを撮像素子の受光面に設けることによって、粘膜表層の毛細血管および粘膜微細模様を観察可能な狭帯域画像と通常の広帯域画像とを同時に取得する技術が知られている（特許文献１参照）。
特開２００７−２０８８０号公報
しかしながら、上述した特許文献１では、狭帯域フィルタの数および広帯域フィルタの数が、通常の広帯域フィルタのみの場合より少ないため、狭帯域画像および広帯域画像それぞれの解像度が低いという問題点があった。
本発明は、上記に鑑みてなされたものであって、通常の広帯域画像および狭帯域画像それぞれを高解像度で得ることができる画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換して画像信号を生成する撮像素子と、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタ、および前記複数の広帯域フィルタの各々が透過する前記広帯域光の波長帯域よりも狭い波長帯域を有し、前記広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、前記狭帯域フィルタのフィルタ数が前記複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるカラーフィルタであって、前記複数の画素に対応させて配置したカラーフィルタと、を備えた撮像装置から入力される前記画像信号に基づいて、前記複数の広帯域フィルタの各々を透過した前記広帯域光に対応する複数の広帯域画像信号と前記狭帯域フィルタを透過した前記狭帯域光に対応する狭帯域画像信号とを分離する分離部と、前記分離部が分離した前記狭帯域画像信号に基づいて、前記複数の広帯域画像信号の少なくとも１つを補間するデモザイク処理を行うデモザイク部と、前記デモザイク部が前記デモザイク処理によって補間した少なくとも１つの前記広帯域画像信号を用いて広帯域画像を生成するとともに、前記狭帯域画像信号を用いて狭帯域画像を生成する画像生成部と、を備えたことを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記狭帯域フィルタは、前記狭帯域光を透過する透過スペクトルの最大値が前記複数の広帯域フィルタのいずれか１つの透過スペクトルの半値幅の間に含まれ、前記デモザイク部は、前記複数の広帯域画像信号のうち、前記半値幅の間に前記最大値が含まれる前記広帯域フィルタに対応する広帯域画像信号を前記デモザイク処理によって補間することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記複数の広帯域フィルタは、青色の波長帯域の光を透過する青色フィルタ、緑色の波長帯域の光を透過する緑色フィルタおよび赤色の波長帯域の光を透過する赤色フィルタを含み、前記狭帯域フィルタは、前記狭帯域光を透過する透過スペクトルの最大値が前記青色フィルタの透過スペクトルの半値幅の間に含まれる第１狭帯域フィルタを有し、前記デモザイク部は、前記青色フィルタに対応する広帯域画像信号を、前記第１狭帯域フィルタを透過した前記狭帯域光に対応する第１狭帯域画像信号を用いて前記デモザイク処理を行うことによって補間し、前記第１狭帯域フィルタのフィルタ数は、前記青色フィルタのフィルタ数以上であることを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記狭帯域フィルタは、前記狭帯域光を透過する透過スペクトルの最大値が前記緑色フィルタの透過スペクトルの半値幅の間に含まれる第２狭帯域フィルタを有し、前記緑色フィルタに対応する広帯域画像信号を、前記第２狭帯域フィルタを透過した前記狭帯域光に対応する第２狭帯域画像信号を用いて前記デモザイク処理を行うことによって補間することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記デモザイク部は、前記緑色フィルタに対応する広帯域画像信号と前記第１狭帯域フィルタを透過した前記狭帯域光に対応する第１狭帯域画像信号がある場合において、前記青色フィルタに対応する広帯域画像信号を補間するとき、前記第１狭帯域画像信号を用いて前記デモザイク処理を行うことを特徴とする。
また、本発明に係る内視鏡システムは、上記の画像処理装置と、２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換して画像信号を生成する撮像素子と、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタ、および前記複数の広帯域フィルタの各々が透過する前記広帯域光の波長帯域よりも狭い波長帯域を有し、前記広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、前記狭帯域フィルタのフィルタ数が前記複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるカラーフィルタであって、前記複数の画素に対応させて配置したカラーフィルタと、を備えた撮像装置と、前記撮像装置が先端に設けられ、被検体に挿入される挿入部と、を備えたことを特徴とする。
また、本発明に係る撮像装置は、２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換して画像信号を生成する撮像素子と、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタ、および前記複数の広帯域フィルタの各々が透過する前記広帯域光の波長帯域よりも狭い波長帯域を有し、前記広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、前記狭帯域フィルタのフィルタ数が前記複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるカラーフィルタであって、前記複数の画素に対応させて配置したカラーフィルタと、を備えたことを特徴とする。
また、本発明に係る画像処理方法は、２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換して画像信号を生成する撮像素子と、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタ、および前記複数の広帯域フィルタの各々が透過する前記広帯域光の波長帯域よりも狭い波長帯域を有し、前記広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、前記狭帯域フィルタのフィルタ数が前記複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるカラーフィルタであって、前記複数の画素に対応させて配置したカラーフィルタと、を備えた撮像装置から入力される前記画像信号に基づいて、前記複数の広帯域フィルタの各々を透過した前記広帯域光に対応する複数の広帯域画像信号と前記狭帯域フィルタを透過した前記狭帯域光に対応する狭帯域画像信号とを分離する分離ステップと、前記分離ステップにおいて分離した前記狭帯域画像信号に基づいて、前記複数の広帯域画像信号の少なくとも１つを補間するデモザイク処理を行うデモザイクステップと、前記デモザイクステップにおいて前記デモザイク処理によって補間した少なくとも１つの前記広帯域画像信号を用いて広帯域画像を生成するとともに、前記狭帯域画像信号を用いて狭帯域画像を生成する画像生成ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換して画像信号を生成する撮像素子と、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタ、および前記複数の広帯域フィルタの各々が透過する前記広帯域光の波長帯域よりも狭い波長帯域を有し、前記広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、前記狭帯域フィルタのフィルタ数が前記複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるカラーフィルタであって、前記複数の画素に対応させて配置したカラーフィルタと、を備えた撮像装置から入力される前記画像信号に基づいて、前記複数の広帯域フィルタの各々を透過した前記広帯域光に対応する複数の広帯域画像信号と前記狭帯域フィルタを透過した前記狭帯域光に対応する狭帯域画像信号とを分離する分離ステップと、前記分離ステップにおいて分離した前記狭帯域画像信号に基づいて、前記複数の広帯域画像信号の少なくとも１つを補間するデモザイク処理を行うデモザイクステップと、前記デモザイクステップにおいて前記デモザイク処理によって補間した少なくとも１つの前記広帯域画像信号を用いて広帯域画像を生成するとともに、前記狭帯域画像信号を用いて狭帯域画像を生成する画像生成ステップと、を画像処理装置に実行させる。
本発明によれば、広帯域画像および狭帯域画像それぞれを高解像度で得ることができるという効果を奏する。
図１は、本発明の実施の形態１に係る内視鏡システムの概略構成を示す図である。 図２は、本発明の実施の形態１に係る内視鏡システムの要部の機能構成を示すブロック図である。 図３は、本発明の実施の形態１に係るカラーフィルタの構成を模式的に示す図である。 図４は、本発明の実施の形態１に係るカラーフィルタを構成する各フィルタの透過率の特性を示す図である。 図５は、本発明の実施の形態１に係る画像処理部が実行する画像処理の概要を模式的に説明する図である。 図６は、本発明の実施の形態１の変形例に係るカラーフィルタの構成を模式的に示す図である。 図７は、本発明の実施の形態２に係るカラーフィルタの構成を模式的に示す図である。 図８は、本発明の実施の形態２に係るカラーフィルタを構成する各フィルタの透過率の特性を示す図である。 図９は、本発明の実施の形態２に係る画像処理部が実行する画像処理の概要を模式的に説明する図である。 図１０は、本発明の実施の形態３に係るカラーフィルタの構成を模式的に示す図である。 図１１は、本発明の実施の形態３に係るカラーフィルタを構成する各フィルタの透過率の特性を示す図である。 図１２は、本発明の実施の形態３に係る画像処理部が実行する画像処理の概要を模式的に説明する図である。
以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。本実施の形態では、画像処理装置として患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムを例に説明する。また、以下の実施の形態により本発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
〔内視鏡システムの構成〕
図１は、本発明の実施の形態１に係る内視鏡システムの概略構成を示す図である。図２は、本発明の実施の形態１に係る内視鏡システムの要部の機能構成を示すブロック図である。
図１および図２に示す内視鏡システム１は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源装置３と、内視鏡２が撮像した画像信号に所定の画像処理を施して画像を生成するとともに、内視鏡システム１全体の動作を統括的に制御する処理装置４（プロセッサ）と、処理装置４が画像処理を施して生成した画像を表示する表示装置５と、を備える。
〔内視鏡の構成〕
まず、内視鏡２の構成について説明する。内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源装置３および処理装置４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４（撮像装置）を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
先端部２４は、ライトガイド２４１と、照明レンズ２４２と、光学系２４３と、カラーフィルタ２４５と、撮像素子２４４と、アナログフロントエンド部２４６（以下、「ＡＦＥ部２４６」という）と、タイミングジェネレータ部２４７（以下、「ＴＧ部２４７」という）と、撮像制御部２４８と、を有する。
ライトガイド２４１は、グラスファイバ等を用いて構成され、光源装置３が出射した光の導光路をなす。照明レンズ２４２は、ライトガイド２４１の先端に設けられ、ライトガイド２４１が導光した光を被写体に向けて発散する。
光学系２４３は、一または複数のレンズおよびプリズム等を用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
撮像素子２４４は、光学系２４３およびカラーフィルタ２４５を透過した光を受光し、光電変換を行うことによって電気信号を生成し、この電気信号を画像信号として出力する。撮像素子２４４は、光学系２４３からの光を受光する複数の画素が、２次元マトリックス状に配列されるＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像センサを用いて構成される。撮像素子２４４は、撮像制御部２４８の制御のもと、ＴＧ部２４７から入力される信号および処理装置４から入力されるクロック信号に従って画像信号を生成する。
カラーフィルタ２４５は、撮像素子２４４の受光面に積層して設けられる。カラーフィルタ２４５は、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタと、複数の広帯域フィルタの各々が広帯域光を透過する波長帯域より狭い波長帯域を有し、広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、狭帯域フィルタのフィルタ数が複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるフィルタユニットを、複数の画素に対応させて配置する。
図３は、カラーフィルタ２４５の構成を模式的に示す図である。図３に示すカラーフィルタ２４５は、例えば４×４（１６）のマトリクス状に並べられたフィルタを１つのパターンとして繰り返すフィルタユニットＴ１を撮像素子２４４の画素の配置に応じてマトリックス状に並べて配置したものである。フィルタが設けられた画素は、フィルタが透過する波長帯域の光を受光する。例えば、緑色の波長帯域の光を透過する広帯域フィルタＧが設けられた画素は、緑色の波長帯域の光を受光する。以下、緑色の波長帯域の光を受光する画素をＧ画素という。同様に、青色の波長帯域の光を受光する画素をＢ画素、赤色の波長帯域の光を受光する画素をＲ画素、および狭帯域光を受光する画素をＸ画素という。
図３に示すフィルタユニットＴ１は、赤色の波長帯域（６２０ｎｍ〜７５０ｎｍ）の光を透過する２つの広帯域フィルタＲ、緑色の波長帯域（４９５ｎｍ〜５７０ｎｍ）の光を透過する８つの広帯域フィルタＧ、青色の波長帯域（４５０ｎｍ〜４９５ｎｍ）の光を透過する２つの広帯域フィルタＢおよび青色の波長帯域の一部の光を透過し、各広帯域フィルタが透過する波長帯域より狭い波長帯域を有する狭帯域光を透過する４つの狭帯域フィルタＸを１つのパターンとして繰り返す。また、フィルタユニットＴ１は、狭帯域フィルタＸのフィルタ数が広帯域フィルタＢのフィルタ数以上（４＞２）である。フィルタユニットＴ１は、白色画像の解像度を保つため、広帯域フィルタＧの数をベイヤー配列と同じ８つとし、狭帯域画像の解像度を高くするため、狭帯域フィルタＸの数を４つとする。また、フィルタユニットＴ１は、広帯域フィルタＢと狭帯域フィルタＸとが互いに相関性が高いため、広帯域フィルタＢの数を２つとし、大腸内に赤色が少ないため、広帯域フィルタＲの数を２つとする。
図４は、カラーフィルタ２４５を構成する各フィルタの透過率の特性を示す図である。図４において、横軸が波長を示し、縦軸が透過率を示す。また、図４において、曲線ＬBが広帯域フィルタＢの透過率の特性を示し、曲線ＬGが広帯域フィルタＧの透過率の特性を示し、曲線ＬRが広帯域フィルタＲの透過率の特性を示し、曲線ＬXが狭帯域フィルタＸの透過率の特性を示す。さらに、図４においては、狭帯域フィルタＸのピーク波長を４１５ｎｍ±３０ｎｍとして説明する。
図４の曲線ＬXに示すように、狭帯域フィルタＸは、広帯域フィルタＢが透過する広帯域光の波長帯域より狭い波長帯域を有し、広帯域フィルタＢが透過する波長帯域の一部に含まれる狭帯域光を透過する透過スペクトルを有する。さらに、図４の曲線ＬXに示すように、広帯域フィルタＢを透過する光の波長帯域と狭帯域フィルタＸを透過する光の波長帯域は、互いに相関性が高い。具体的には、曲線ＬXおよび曲線ＬBに示すように、狭帯域フィルタＸは、透過スペクトルの最大値Ｐmax1が広帯域フィルタＢの透過スペクトルにおける最大値の半分の値をとる下限値Ｐ1と上限値Ｐ２との半値幅の間に含まれる。また、曲線ＬGおよび曲線ＬRに示すように、広帯域フィルタＧおよび広帯域フィルタＲの各々の分光スペクトルは、互いに重なるので、相関性が高い。
図１および図２に戻り、内視鏡２の構成の説明を続ける。
ＡＦＥ部２４６は、撮像素子２４４から入力された画像信号に含まれるノイズ成分を低減するとともに、画像信号の増幅率を調整して一定の出力レベルを維持するＣＤＳ（Correlated Double Sampling）処理および画像信号をＡ／Ｄ変換するＡ／Ｄ変換処理等を行って処理装置４へ出力する。
ＴＧ部２４７は、撮像素子２４４および撮像制御部２４８それぞれを駆動するための各種信号処理のパルスを発生する。ＴＧ部２４７は、パルス信号を撮像素子２４４および撮像制御部２４８へ出力する。
撮像制御部２４８は、撮像素子２４４の撮像を制御する。撮像制御部２４８は、ＣＰＵ（Central Processing Unit）や各種プログラムを記録するレジスタ等を用いて構成される。
操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置４、光源装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線を少なくとも内蔵している。ユニバーサルコード２３は、は、後述する処理装置４から出力されたクロック信号と同期信号とを伝送するための信号と、画像信号を伝送するための信号と、を少なくとも含む。
〔光源装置の構成〕
次に、光源装置３の構成について説明する。光源装置３は、照明部３１と、照明制御部３２と、を備える。
照明部３１は、照明制御部３２の制御のもと、被写体（被検体）に対して、波長帯域が互いに異なる複数の照明光を順次切り替えて出射する。照明部３１は、光源部３１１と、光源ドライバ３１２と、を有する。
光源部３１１は、キセノンランプや白色ＬＥＤ（Light Emitting Diode）等の光源および一または複数のレンズ等を用いて構成され、光源ドライバ３１２の制御のもと、白色光を出射する。なお、光源部３１１を赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤで構成し、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤから同時に光を出射させることによって、白色光を被写体に照射してもよい。
光源ドライバ３１２は、照明制御部３２の制御のもと、光源部３１１に対して電流を供給することにより、光源部３１１に白色光を出射させる。
照明制御部３２は、処理装置４の制御のもと、所定の周期で光源部３１１に白色光を出射させる。
〔処理装置の構成〕
次に、処理装置４の構成について説明する。処理装置４は、画像処理部４０１と、明るさ検出部４０２と、調光部４０３と、入力部４０４と、記録部４０５と、基準クロック生成部４０６と、同期信号生成部４０７と、制御部４０８と、を備える。
画像処理部４０１は、内視鏡２から入力された画像信号に基づいて、表示装置５が表示する体内画像を生成して表示装置５へ出力する。画像処理部４０１は、画像信号に対して、所定の画像処理を施して体内画像を生成する。
ここで、画像処理部４０１の詳細な構成について説明する。画像処理部４０１は、少なくとも分離部４０１ａと、デモザイク部４０１ｂと、画像生成部４０１ｃと、を有する。
分離部４０１ａは、内視鏡２から入力される画像信号に基づいて、複数の広帯域フィルタの各々を透過した広帯域光に対応する複数の広帯域画像信号と複数の狭帯域フィルタの各々を透過した狭帯域光に対応する複数の狭帯域画像信号とを分離する。具体的には、分離部４０１ａは、内視鏡２から入力される画像信号（ＲＡＷデータ）に対して、広帯域フィルタＲを透過した広帯域光に対応する広帯域画像信号と、広帯域フィルタＧを透過した広帯域光に対応する広帯域画像信号と、広帯域フィルタＢを透過した広帯域光に対応する広帯域画像信号と、狭帯域フィルタＸを透過した狭帯域光に対応する狭帯域画像信号と、に分離する。
デモザイク部４０１ｂは、分離部４０１ａが分離した狭帯域画像信号に基づいて、複数の広帯域画像信号のいずれか１つを補間するデモザイク処理を行う。具体的には、デモザイク部４０１ｂは、分離部４０１ａが分離した狭帯域画像信号に基づいて、広帯域フィルタＢを透過した広帯域光に対応する広帯域画像信号を補間するデモザイク処理を行う。また、デモザイク部４０１ｂは、Ｇ画素の画像信号を用いて、Ｒ画素の画像信号を補間するデモザイク処理を実行する。
画像生成部４０１ｃは、デモザイク部４０１ｂがデモザイク処理によって補間した広帯域画像信号を用いて広帯域画像を生成するとともに、狭帯域画像信号を用いて狭帯域画像を生成する。具体的には、画像生成部４０１ｃは、デモザイク部４０１ｂがベイヤー配列にしたＲＧＢ画像信号に基づいて、カラーの通常画像を生成する。また、画像生成部４０１ｃは、Ｘ画素の画像信号に基づいて、デモザイク処理を行うことによって欠けている画素の画像信号を補間することで、狭帯域画像を生成する。
明るさ検出部４０２は、画像処理部４０１から入力される画像信号に含まれるＲＧＢ画像情報に基づいて、各画像に対応する明るさレベルを検出し、この検出した明るさレベルを内部に設けられたメモリに記録するとともに、制御部４０８へ出力する。
調光部４０３は、制御部４０８の制御のもと、明るさ検出部４０２が検出した明るさレベルに基づいて、光源装置３が発生する光量や発光タイミング等の発光条件を設定し、この設定した発光条件を含む調光信号を光源装置３へ出力する。
入力部４０４は、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。入力部４０４は、スイッチ等を用いて構成される。
記録部４０５は、内視鏡システム１を動作させるための各種プログラムおよび内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部４０５は、処理装置４の識別情報を記録する。ここで、識別情報には、処理装置４の固有情報（ＩＤ）、年式、スペック情報、伝送方法および伝送レート等が含まれる。
基準クロック生成部４０６は、内視鏡システム１の各構成部の動作の基準となるクロック信号を生成し、内視鏡システム１の各構成部に対してクロック信号を供給する。なお、本実施の形態１では、基準クロック生成部４０６がクロック信号生成部として機能する。
同期信号生成部４０７は、基準クロック生成部４０６から入力されるクロック信号に基づいて、同期信号を生成し、この同期信号を内視鏡２のＴＧ部２４７へ出力するとともに、画像処理部４０１へ出力する。
制御部４０８は、撮像素子２４４および光源装置３を含む各構成部の駆動制御および各構成部に対する情報の入出力制御等を行う。制御部４０８は、ＣＰＵを用いて構成される。
〔表示装置の構成〕
次に、表示装置５について説明する。表示装置５は、映像ケーブルを介して処理装置４から入力される画像信号に対応する体内画像を表示する。表示装置５は、液晶または有機ＥＬ（Electro Luminescence）等を用いて構成される。
〔画像処理部の処理〕
次に、画像処理部４０１が実行する画像処理について説明する。図５は、画像処理部４０１が実行する画像処理の概要を模式的に説明する図である。
図５に示すように、まず、分離部４０１ａは、内視鏡２の撮像素子２４４から入力されたＲＡＷデータＦ1を、各画素の画像信号に分離する。具体的には、分離部４０１ａは、ＲＡＷデータＦ1を、Ｇ画素に対応する広帯域画像信号をベイヤー配列の画像データＦG1、Ｒ画素に対応する広帯域画像信号を画像データＦR1、Ｂ画素に対応する広帯域画像信号を画像データＦB1およびＸ画素に対応する狭帯域画像信号を画像データＦX1それぞれに分離する。
図５に示すように、画像データＦR1は、広帯域フィルタＲに対応するＲ画素からの広帯域画像信号がベイヤー配列と比べて少ない。このため、デモザイク部４０１ｂは、広帯域フィルタＧと広帯域フィルタＲとの透過スペクトル（分光特性）が互いに重なり、相関性が高いため（図４を参照）、画像データＦG1の広帯域画像信号に基づいて、欠けているＲ画素の広帯域画像信号をデモザイク処理によって補間することで、ベイヤー配列の画像データＦR2を生成する。
また、画像データＦB1は、広帯域フィルタＢに対応するＢ画素からの広帯域画像信号がベイヤー配列と比べて少ない。さらに、画像データＦB1は、広帯域であるため、深層および表層血管の各々が撮影されているが、エッジ情報がぼけていることで、解像度が低くなる。このため、デモザイク部４０１ｂは、広帯域フィルタＢの分光特性が狭帯域フィルタＸの分光特性を包含し、かつ、広帯域フィルタＧと狭帯域フィルタＸとの透過スペクトルが互いに重なり、相関性が高いため（図４を参照）、画像データＦG1の広帯域画像信号および画像データＦX1の狭帯域画像信号に基づいて、欠けているＢ画像の広帯域画像信号をデモザイク処理によって補間することで、ベイヤー配列の画像データＦB2を生成する。この場合において、デモザイク部４０１ｂは、欠けているＢ画素に対して、画像データＦG1の広帯域画像信号および画像データＦX1の狭帯域画像信号があるとき、消化器粘膜の表層血管をより明確に捉えるため、狭帯域画像信号により多くの細かいエッジ情報が含まれるので、画像データＦX１の狭帯域画像信号を優先して用いることによって、欠けているＢ画素の広帯域画像信号をデモザイク処理によって補間する。これにより、従来のベイヤー配列のＲＡＷデータＦRGBを得ることができるとともに、画像データＦB1を高解像度で得ることができる。
続いて、デモザイク部４０１ｂは、ベイヤー配列のＲＡＷデータＦRGBに基づいて、ベイヤーのデモザイク処理を行うことによって、ＲＧＢそれぞれの画像データＦR3、画像データＦG3および画像データＦB3を生成する。
その後、画像生成部４０１ｃは、デモザイク部４０１ｂが生成したＲＧＢそれぞれの画像データＦR3、画像データＦG3および画像データＦB3に基づいて、カラーの通常画像データＦW（白色画像）を生成して表示装置５へ出力する。
また、画像生成部４０１ｃは、画像データＦX1の画像信号に基づいて、欠けているＸ画素に対して、デモザイク処理を行うことによって補間することで、狭帯域画像データＦX2を生成して表示装置５へ出力する。
以上説明した本発明の実施の形態１によれば、デモザイク部４０１ｂが狭帯域フィルタＸを透過した狭帯域光に対応する狭帯域画像信号に基づいて、広帯域フィルタＢに対応する広帯域画像信号を補間するデモザイク処理を行う。これによって、広帯域画像および狭帯域画像それぞれを高解像度で得ることができる。
（実施の形態１の変形例）
次に、本発明の実施の形態１の変形例について説明する。本実施の形態１の変形例に係る内視鏡システムは、上述した実施の形態１に係る内視鏡システム１のカラーフィルタ２４５の構成が異なる。このため、以下において、本実施の形態１の変形例に係るカラーフィルタの構成のみ説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
図６は、本発明の実施の形態１の変形例に係るカラーフィルタの構成を模式的に示す図である。
図６に示すカラーフィルタ２４５ａは、撮像素子２４４の受光面に積層して設けられる。カラーフィルタ２４５ａは、例えば４×４（１６）のマトリクス状に並べられたフィルタを１つのパターンとして繰り返すフィルタユニットＴ２を撮像素子２４４の画素の配置に応じてマトリックス状に並べて配置したものである。カラーフィルタ２４５ａは、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタと、複数の広帯域フィルタの各々が広帯域光を透過する波長帯域より狭い波長帯域を有し、広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、狭帯域フィルタのフィルタ数が複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるフィルタユニットＴ２を、複数の画素に対応させて配置する。
図６に示すフィルタユニットＴ２は、赤色の成分を透過する２つの広帯域フィルタＲ、緑色の成分を透過する８つの広帯域フィルタＧ、青色の成分を透過する２つの広帯域フィルタＢおよび広帯域フィルタＢを透過する光の波長帯域より狭い波長帯域を有し、広帯域フィルタＢが透過する波長帯域の一部に含まれる狭帯域光を透過する４つの狭帯域フィルタＸを１つのパターンとして繰り返す。フィルタユニットＴ２は、白色画像の解像度を保つため、広帯域フィルタＧの数をベイヤー配列と同じ８つとし、狭帯域画像の解像度を高くするため、狭帯域フィルタＸの数を４つとし、広帯域フィルタＢと狭帯域フィルタＸとが互いに相関性が高いため、広帯域フィルタＢの数を２つとし、大腸内に赤色が少ないため、広帯域フィルタＲの数を２つとする。
以上説明した本実施の形態１の変形例によれば、上述した実施の形態１と同様の効果を奏する。
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る内視鏡システムは、上述した実施の形態１に係る内視鏡システム１とカラーフィルタの構成および画像処理部の処理が異なる。このため、以下においては、本実施の形態２に係るカラーフィルタの構成を説明後、本実施の形態２に係る画像処理部が実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
〔カラーフィルタの構成〕
図７は、本実施の形態２に係るカラーフィルタの構成を模式的に示す図である。図７に示すカラーフィルタ２４５ｂは、例えば４×４（１６）のマトリクス状に並べられたフィルタを１つのパターンとして繰り返すフィルタユニットＴ３を撮像素子２４４の画素の配置に応じてマトリックス状に並べて配置したものである。カラーフィルタ２４５ｂは、カラーフィルタ２４５ａは、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタと、複数の広帯域フィルタの各々が広帯域光を透過する波長帯域より狭い波長帯域を有し、広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、狭帯域フィルタのフィルタ数が複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるフィルタユニットＴ３を、複数の画素に対応させて配置する。
具体的には、図７に示すように、フィルタユニットＴ３は、赤色の波長帯域の光を透過する２つの広帯域フィルタＲ、緑色の波長帯域の光を透過する４つの広帯域フィルタＧ、青色の波長帯域の光を透過する２つの広帯域フィルタＢおよび広帯域フィルタを透過する光の波長帯域より狭い波長帯域を有し、広帯域フィルタが透過する波長帯域の一部に含まれる狭帯域光を透過する８つの狭帯域フィルタＸを１つのパターンとして繰り返す。
図８は、カラーフィルタ２４５ｂを構成する各フィルタの透過率の特性を示す図である。図８において、横軸が波長を示し、縦軸が透過率を示す。また、図８において、曲線ＬB1が広帯域フィルタＢの透過率の特性を示し、曲線ＬG1が広帯域フィルタＧの透過率の特性を示し、曲線ＬR1が広帯域フィルタＲの透過率の特性を示し、曲線ＬX1が狭帯域フィルタＸの透過率の特性を示す。さらに、図８においては、狭帯域フィルタＸのピーク波長を４１５ｎｍ±３０ｎｍとして説明する。
図８の曲線ＬX1および曲線ＬB1に示すように、狭帯域フィルタＸは、広帯域フィルタＢが透過する波長帯域より狭い波長帯域を有し、広帯域フィルタＢが透過する波長帯域の一部に含まれる狭帯域光を透過する透過スペクトルを有する。さらに、広帯域フィルタＢが透過する波長帯域と狭帯域フィルタＸが透過する波長帯域は、互いに相関性が高い。さらにまた、狭帯域フィルタＸは、光が透過する透過スペクトルの最大値Ｐmax2が広帯域フィルタＢを透過する光の透過スペクトルの下限値と上限値Ｐ2との間の半値幅をとる。また、曲線ＬG1および曲線ＬR1が示すように、広帯域フィルタＧおよび広帯域フィルタＲの各々の透過スペクトルは、互いに重なるので、相関性が高い。
〔画像処理部の処理〕
次に、画像処理部４０１が実行する処理について説明する。図９は、画像処理部４０１が実行する画像処理の概要を模式的に説明する図である。
図９に示すように、まず、分離部４０１ａは、内視鏡２の撮像素子２４４から入力されたＲＡＷデータＦ2を、各画素の画像信号に分離する。具体的には、分離部４０１ａは、ＲＡＷデータＦ２を、Ｇ画素に対応する広帯域画像信号をベイヤー配列の画像データＦG10、Ｒ画素に対応する広帯域画像信号を画像データＦR10、Ｂ画素に対応する広帯域画像信号を画像データＦB10およびＸ画素に対応する狭帯域画像信号を画像データＦX10それぞれに分離する。
次に、画像生成部４０１ｃは、画像データＦX10の狭帯域画像信号に基づいて、欠けているＸ画素に対して、デモザイク処理を行うことによって狭帯域画像信号を補間することで、狭帯域画像データＦX20を生成して表示装置５へ出力する。
狭帯域画像データＦX20は、狭帯域画像信号に毛細血管の細かいエッジ情報が含まれている。このため、デモザイク部４０１ｂは、狭帯域画像データＦX20の狭帯域画像信号に基づいて、画像データＦB10において欠けているＢ画素の広帯域画像信号を、デモザイク処理を行うことによって補間することで、広帯域画像データＦB20を生成する。狭帯域画像データＦX20は、狭帯域画像信号に毛細血管の細かいエッジ情報が含まれている。
その後、デモザイク部４０１ｂは、狭帯域画像データＦX20の狭帯域画像信号に含まれるエッジ情報および広帯域画像データＦB20に基づいて、画像データＦG10において欠けているＧ画素の広帯域画像信号を、デモザイク処理を行うことによって補間することで、広帯域画像データＦG20を生成する。
続いて、デモザイク部４０１ｂは、広帯域画像データＦG20の広帯域画像信号に基づいて、画像データＦR10において欠けているＲ画素の広帯域画像信号を、デモザイク処理を行うことによって補間することで、広帯域画像データＦR20を生成する。
その後、画像生成部４０１ｃは、デモザイク部４０１ｂが生成したＲＧＢそれぞれの広帯域画像データＦR20、広帯域画像データＦG20および広帯域画像データＦB20に基づいて、カラー通常画像データＦW10（白色画像）を生成して表示装置５へ出力する。
以上説明した本発明の実施の形態２によれば、デモザイク部４０１ｂがＸ画素によって出力された狭帯域画像信号を用いて、Ｂ画素の広帯域画像信号をデモザイク処理によって補間する。これにより、通常画像および狭帯域画像の各々を高解像度で得ることができる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る内視鏡システムは、上述した実施の形態１に係る内視鏡システム１とカラーフィルタの構成および画像処理部の処理が異なる。具体的には、本実施の形態３に係るカラーフィルタは、互いに透過スペクトルが異なる２種類の狭帯域フィルタを有する。このため、以下においては、本実施の形態３に係るカラーフィルタの構成を説明後、本実施の形態３に係る画像処理部が実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
〔カラーフィルタの構成〕
図１０は、本実施の形態３に係るカラーフィルタの構成を模式的に示す図である。図１０に示すカラーフィルタ２４５ｃは、例えば４×４（１６）のマトリクス状に並べられたフィルタを１つのパターンとして繰り返すフィルタユニットＴ４を撮像素子２４４の画素の配置に応じてマトリクス状に並べて配置したものである。カラーフィルタ２４５ｃは、カラーフィルタ２４５ａは、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタと、複数の広帯域フィルタの各々が広帯域光を透過する波長帯域より狭い波長帯域を有し、広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、狭帯域フィルタのフィルタ数が複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるフィルタユニットＴ４を、複数の画素に対応させて配置する。
図１０に示すフィルタユニットＴ４は、赤色の波長帯域の光を透過する２つの広帯域フィルタＲ、緑色の波長帯域の光を透過する４つの広帯域フィルタＧ、青色の波長帯域の光を透過する２つの広帯域フィルタＢ、広帯域フィルタＢを透過する光の波長帯域より狭い波長帯域を有し、広帯域フィルタＢが透過する波長帯域の一部に含まれる狭帯域光を透過する４つの狭帯域フィルタＸ1、広帯域フィルタＧを透過する光の波長帯域より狭い波長帯域を有し、広帯域フィルタＧが透過する波長帯域の一部に含まれる狭帯域光を透過する４つの狭帯域フィルタＸ2を１つのパターンとして繰り返す。
図１１は、カラーフィルタ２４５ｃを構成する各フィルタの透過率の特性を示す図である。図１１において、横軸が波長を示し、縦軸が透過率を示す。また、図１１において、曲線ＬB10が広帯域フィルタＢの透過率の特性を示し、曲線ＬG10が広帯域フィルタＧの透過率の特性を示し、曲線ＬR10が広帯域フィルタＲの透過率の特性を示し、曲線ＬX10が狭帯域フィルタＸ1の透過率の特性を示し。曲線ＬX20が狭帯域フィルタＸ2の透過率の特性を示す。さらに、図１１においては、狭帯域フィルタＸ1のピーク波長を４１５ｎｍ±３０ｎｍ、狭帯域フィルタＸ2のピーク波長を５４０ｎｍ±３０ｎｍとして説明する。
図１１の曲線ＬX10および曲線ＬB10に示すように、狭帯域フィルタＸ1は、広帯域フィルタＢが透過する波長帯域より狭い波長帯域を有し、広帯域フィルタＢが透過する波長帯域の一部に含まれる狭帯域光を透過する透過スペクトルを有する。さらに、曲線ＬX10および曲線ＬB10に示すように、広帯域フィルタＢが透過する透過スペクトルと狭帯域フィルタＸ1が透過する透過スペクトルは、互いに相関性が高い。さらにまた、曲線ＬX10および曲線ＬB10に示すように、狭帯域フィルタＸ1は、光が透過する透過スペクトルにおける最大値Ｐmax3が広帯域フィルタＢを透過する光の透過スペクトルにおける下限値Ｐ31と上限値Ｐ32との間である半値幅になる。
また、図１１の曲線ＬX20および曲線ＬG10に示すように、狭帯域フィルタＸ2は、広帯域フィルタＧが光を透過する波長帯域より狭い波長帯域を有し、広帯域フィルタＧが光を透過する波長帯域の一部に含まれる狭帯域光を透過する透過スペクトルを有する。さらに、曲線ＬX200および曲線ＬG10に示すように、広帯域フィルタＧが透過する透過スペクトルと狭帯域フィルタＸ2が透過する透過スペクトルは、互いに相関性が高い。さらにまた、曲線ＬX20および曲線ＬG10に示すように、狭帯域フィルタＸ2は、光が透過する透過スペクトルにおける最大値Ｐmax4が広帯域フィルタＧを透過する光の透過スペクトルにおける下限値Ｐ41と上限値Ｐ42との間である半値幅になる。
〔画像処理部の処理〕
次に、画像処理部４０１が実行する処理について説明する。図１２は、画像処理部４０１が実行する画像処理の概要を模式的に説明する図である。
図１２に示すように、まず、分離部４０１ａは、内視鏡２の撮像素子２４４から入力されたＲＡＷデータＦ3を、各画素の画像信号に分離する。具体的には、分離部４０１ａは、ＲＡＷデータＦ3を、Ｒ画素に対応する広帯域画像信号を画像データＦR30、Ｂ画素に対応する広帯域画像信号を画像データＦB30、Ｘ1画素に対応する狭帯域画像信号を画像データＦX30、Ｇ画素に対応する広帯域画像信号をベイヤー配列の画像データＦG30、およびＸ2画素に対応する狭帯域画像信号を画像データＦX50それぞれに分離する。
続いて、デモザイク部４０１ｂは、画像データＦX30に基づいて、欠けているＸ1画素に対して、デモザイク処理を行うことによってＸ1画素の狭帯域画像信号を補間することで、狭帯域画像データＦX40を生成する。また、デモザイク部４０１ｂは、画像データＦX50に基づいて、欠けているＸ2画素に対して、デモザイク処理を行うことによってＸ2画素の狭帯域画像信号を補間することで、狭帯域画像データＦX60を生成する。
画像データＦG30は、広帯域であるため、深層血管をシャープに撮影することができない。広帯域フィルタＧの分光特性は、狭帯域フィルタＸ2の分光特性を包含し、かつ、広帯域フィルタＧと狭帯域フィルタＸ2との透過スペクトルが互いに重なり、相関性が高く（図１１を参照）、Ｘ2画素の狭帯域画像信号に深層血管のエッジ情報が含まれている。このため、デモザイク部４０１ｂは、狭帯域画像データＦX60の狭帯域画像信号に基づいて、デモザイク処理を行うことによって画像データＦG30において欠けているＧ画素の広帯域画像信号を補間することで、広帯域画像データＦG40を生成する。
また、画像データＦB30は、広帯域であるため、表層血管をシャープに撮影することができない。広帯域フィルタＢの分光特性は、狭帯域フィルタＸ1の分光特性を包含し、かつ、広帯域フィルタＢと狭帯域フィルタＸ1との透過スペクトルが互いに重なり、相関性が高く（図１１を参照）、Ｘ1画素の狭帯域画像信号に表層血管のエッジ情報が含まれている。このため、デモザイク部４０１ｂは、画像データＦX30、狭帯域画像データＦX40および広帯域画像データＦG40に基づいて、デモザイク処理を行うことによって画像データＦB30において欠けているＢ画素の画像信号を補間することで、広帯域画像データＦB40を生成する。この場合において、デモザイク部４０１ｂは、補間するＢ画素において、狭帯域画像データＦX40の狭帯域画像信号および広帯域画像データＦG40の広帯域画像信号があるとき、狭帯域画像データＦX40の狭帯域画像信号を優先して用いることによって、欠けているＢ画像の広帯域画像信号をデモザイク処理によって補間する。
その後、デモザイク部４０１ｂは、画像データＦR30および広帯域画像データＦG40に基づいて、デモザイク処理を行うことによって画像データＦR30において欠けているＲ画像の広帯域画像信号を補間することで、広帯域画像データＦR40を生成する。
続いて、画像生成部４０１ｃは、広帯域画像データＦR40、広帯域画像データＦB40および広帯域画像データＦG40に基づいて、白色画像データＦW30を生成して表示装置５へ出力する。また、画像生成部４０１ｃは、狭帯域画像データＦX40および狭帯域画像データＦX60に基づいて、ＮＢＩ（Narrow Band Imaging）画像データＦX100を生成して表示装置５へ出力する。
以上説明した本発明の実施の形態３によれば、生体撮影において、Ｇ画素よりもＸ画素およびＢ画素に毛細血管のような細かいエッジ情報に基づいて、デモザイク処理を行うことによって、表層の血管の解像度を上げることができる。
（その他の実施の形態）
本発明では、カラーフィルタが原色フィルタで構成されていたが、例えば補色の波長成分を有する光を透過する補色フィルタ（Ｃｙ,Ｍｇ,Ｙｅ）を用いてもよい。さらに、カラーフィルタを、原色フィルタと、オレンジおよびシアンの波長成分を有する光を透過するフィルタ（Ｏｒ,Ｃｙ）とによって構成されたカラーフィルタ（Ｒ,Ｇ,Ｂ,Ｏｒ,Ｃｙ）を用いてもよい。さらにまた、原色フィルタと、白色の波長成分を有する光を透過させるフィルタ（Ｗ）とによって構成されたカラーフィルタ（Ｒ,Ｇ,Ｂ,Ｗ）を用いてもよい。
また、本発明では、画像処理装置を備えた内視鏡システムを例に説明していたが、例えばカプセル型の筐体内に本実施の形態の画像処理装置および撮像素子を設け、被検体に経口されることによって被検体の体腔内を撮像するカプセル型内視鏡であっても適用することができる。
１ 内視鏡システム
２ 内視鏡
３ 光源装置
４ 処理装置
５ 表示装置
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２４ 先端部
２５ 湾曲部
２６ 可撓管部
３１ 照明部
３２ 照明制御部
２２１ 湾曲ノブ
２２２ 処置具挿入部
２２３ スイッチ
２４１ ライトガイド
２４２ 照明レンズ
２４３ 光学系
２４４ 撮像素子
２４５，２４５ａ，２４５ｂ，２４５ｃ カラーフィルタ
２４６ ＡＦＥ部
２４７ ＴＧ部
２４８ 撮像制御部
２５０ 集合ケーブル
３１１ 光源部
３１２ 光源ドライバ
４０１ 画像処理部
４０１ａ 分離部
４０１ｂ デモザイク部
４０１ｃ 画像生成部
４０２ 明るさ検出部
４０３ 調光部
４０４ 入力部
４０５ 記録部
４０６ 基準クロック生成部
４０７ 同期信号生成部
４０８ 制御部
Ｂ，Ｇ，Ｒ 広帯域フィルタ
Ｔ１，Ｔ２，Ｔ３，Ｔ４ フィルタユニット
Ｘ，Ｘ1，Ｘ2 狭帯域フィルタ

Claims (9)

  1. ２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換して画像信号を生成する撮像素子と、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタ、および前記複数の広帯域フィルタの各々が透過する前記広帯域光の波長帯域よりも狭い波長帯域を有し、前記広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、前記狭帯域フィルタのフィルタ数が前記複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるカラーフィルタであって、前記複数の画素に対応させて配置したカラーフィルタと、を備えた撮像装置から入力される前記画像信号に基づいて、前記複数の広帯域フィルタの各々を透過した前記広帯域光に対応する複数の広帯域画像信号と前記狭帯域フィルタを透過した前記狭帯域光に対応する狭帯域画像信号とを分離する分離部と、
    前記分離部が分離した前記狭帯域画像信号に基づいて、前記複数の広帯域画像信号の１つを補間するデモザイク処理を行うデモザイク部と、
    前記デモザイク部が前記デモザイク処理によって補間した前記広帯域画像信号を用いて広帯域画像を生成するとともに、前記狭帯域画像信号を用いて狭帯域画像を生成する画像生成部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記狭帯域フィルタは、
    前記狭帯域光を透過する透過スペクトルの最大値が前記複数の広帯域フィルタのいずれか１つの透過スペクトルの半値幅の間に含まれ、
    前記デモザイク部は、
    前記複数の広帯域画像信号のうち、前記半値幅の間に前記最大値が含まれる前記広帯域フィルタに対応する広帯域画像信号を前記デモザイク処理によって補間することを特徴とする請求項１に記載の画像処理装置。
  3. 前記複数の広帯域フィルタは、青色の波長帯域の光を透過する青色フィルタ、緑色の波長帯域の光を透過する緑色フィルタおよび赤色の波長帯域の光を透過する赤色フィルタを含み、
    前記狭帯域フィルタは、
    前記狭帯域光を透過する透過スペクトルの最大値が前記青色フィルタの透過スペクトルの半値幅の間に含まれる第１狭帯域フィルタを有し、
    前記デモザイク部は、
    前記青色フィルタに対応する広帯域画像信号を、前記第１狭帯域フィルタを透過した前記狭帯域光に対応する第１狭帯域画像信号を用いて前記デモザイク処理を行うことによって補間し、
    前記第１狭帯域フィルタのフィルタ数は、前記青色フィルタのフィルタ数以上であることを特徴とする請求項２に記載の画像処理装置。
  4. 前記狭帯域フィルタは、
    前記狭帯域光を透過する透過スペクトルの最大値が前記緑色フィルタの透過スペクトルの半値幅の間に含まれる第２狭帯域フィルタを有し、
    前記緑色フィルタに対応する広帯域画像信号を、前記第２狭帯域フィルタを透過した前記狭帯域光に対応する第２狭帯域画像信号を用いて前記デモザイク処理を行うことによって補間することを特徴とする請求項３に記載の画像処理装置。
  5. 前記デモザイク部は、前記緑色フィルタに対応する広帯域画像信号と前記第１狭帯域フィルタを透過した前記狭帯域光に対応する第１狭帯域画像信号がある場合において、前記青色フィルタに対応する広帯域画像信号を補間するとき、前記第１狭帯域画像信号を用いて前記デモザイク処理を行うことを特徴とする請求項３または４に記載の画像処理装置。
  6. 請求項１〜４のいずれか一つの画像処理装置と、
    ２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換して画像信号を生成する撮像素子と、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタ、および前記複数の広帯域フィルタの各々が透過する前記広帯域光の波長帯域よりも狭い波長帯域を有し、前記広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、前記狭帯域フィルタのフィルタ数が前記複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるカラーフィルタであって、前記複数の画素に対応させて配置したカラーフィルタと、を備えた撮像装置と、
    前記撮像装置が先端に設けられ、被検体に挿入される挿入部と、
    を備えたことを特徴とする内視鏡システム。
  7. ２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換して画像信号を生成する撮像素子と、
    互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタ、および前記複数の広帯域フィルタの各々が透過する前記広帯域光の波長帯域よりも狭い波長帯域を有し、前記広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、前記狭帯域フィルタのフィルタ数が前記複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるカラーフィルタであって、前記複数の画素に対応させて配置したカラーフィルタと、
    を備えたことを特徴とする撮像装置。
  8. ２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換して画像信号を生成する撮像素子と、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタ、および前記複数の広帯域フィルタの各々が透過する前記広帯域光の波長帯域よりも狭い波長帯域を有し、前記広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、前記狭帯域フィルタのフィルタ数が前記複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるカラーフィルタであって、前記複数の画素に対応させて配置したカラーフィルタと、を備えた撮像装置から入力される前記画像信号に基づいて、前記複数の広帯域フィルタの各々を透過した前記広帯域光に対応する複数の広帯域画像信号と前記狭帯域フィルタを透過した前記狭帯域光に対応する狭帯域画像信号とを分離する分離ステップと、
    前記分離ステップにおいて分離した前記狭帯域画像信号に基づいて、前記複数の広帯域画像信号の１つを補間するデモザイク処理を行うデモザイクステップと、
    前記デモザイクステップにおいて前記デモザイク処理によって補間した前記広帯域画像信号を用いて広帯域画像を生成するとともに、前記狭帯域画像信号を用いて狭帯域画像を生成する画像生成ステップと、
    を含むことを特徴とする画像処理方法。
  9. ２次元格子状に配置された複数の画素がそれぞれ受光した光を光電変換して画像信号を生成する撮像素子と、互いに異なる原色の波長帯域を含む広帯域光を透過する複数の広帯域フィルタ、および前記複数の広帯域フィルタの各々が透過する前記広帯域光の波長帯域よりも狭い波長帯域を有し、前記広帯域光の波長帯域の一部に含まれる狭帯域光を透過する狭帯域フィルタを用いて構成され、前記狭帯域フィルタのフィルタ数が前記複数の広帯域フィルタのうちいずれか１つのフィルタ数以上であるカラーフィルタであって、前記複数の画素に対応させて配置したカラーフィルタと、を備えた撮像装置から入力される前記画像信号に基づいて、前記複数の広帯域フィルタの各々を透過した前記広帯域光に対応する複数の広帯域画像信号と前記狭帯域フィルタを透過した前記狭帯域光に対応する狭帯域画像信号とを分離する分離ステップと、
    前記分離ステップにおいて分離した前記狭帯域画像信号に基づいて、前記複数の広帯域画像信号の１つを補間するデモザイク処理を行うデモザイクステップと、
    前記デモザイクステップにおいて前記デモザイク処理によって補間した前記広帯域画像信号を用いて広帯域画像を生成するとともに、前記狭帯域画像信号を用いて狭帯域画像を生成する画像生成ステップと、
    を画像処理装置に実行させるプログラム。
JP2016574559A 2015-02-10 2015-02-10 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム Active JP6588043B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/053687 WO2016129062A1 (ja) 2015-02-10 2015-02-10 画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016129062A1 true JPWO2016129062A1 (ja) 2017-12-07
JP6588043B2 JP6588043B2 (ja) 2019-10-09

Family

ID=56615374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016574559A Active JP6588043B2 (ja) 2015-02-10 2015-02-10 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム

Country Status (4)

Country Link
US (1) US10835104B2 (ja)
JP (1) JP6588043B2 (ja)
CN (1) CN107205618B (ja)
WO (1) WO2016129062A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6588043B2 (ja) * 2015-02-10 2019-10-09 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム
JP6561571B2 (ja) * 2015-05-12 2019-08-21 ソニー株式会社 医療用撮像装置、撮像方法及び撮像装置
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
WO2018105089A1 (ja) * 2016-12-08 2018-06-14 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN111093459A (zh) 2017-10-04 2020-05-01 奥林巴斯株式会社 内窥镜装置、图像处理方法以及程序
CN111970954A (zh) * 2018-04-23 2020-11-20 富士胶片株式会社 医疗图像处理系统
JP7235540B2 (ja) * 2019-03-07 2023-03-08 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP6932288B2 (ja) * 2019-03-18 2021-09-08 三菱電機株式会社 ライダ装置及び空気調和機
CN111684794A (zh) * 2019-05-30 2020-09-18 深圳市大疆创新科技有限公司 一种色彩滤镜阵列、图像传感器和拍摄装置
CN113616138B (zh) * 2021-08-03 2024-05-03 北京双翼麒电子有限公司 一种多光谱内窥镜图像处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020880A (ja) * 2005-07-15 2007-02-01 Olympus Medical Systems Corp 内視鏡
WO2010143692A1 (ja) * 2009-06-10 2010-12-16 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡装置
US20120257030A1 (en) * 2011-04-08 2012-10-11 Samsung Electronics Co., Ltd. Endoscope apparatus and image acquisition method of the endoscope apparatus
JP2014103597A (ja) * 2012-11-21 2014-06-05 Olympus Corp 撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101081000B1 (ko) * 2003-10-23 2011-11-09 소니 가부시키가이샤 화상 처리 장치 및 화상 처리 방법과 기록 매체
JP4810807B2 (ja) * 2004-07-30 2011-11-09 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US7653240B1 (en) * 2005-04-22 2010-01-26 Texas Instruments Incorporated Color filter array and method
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
JP5591570B2 (ja) 2010-03-23 2014-09-17 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
US9277205B2 (en) * 2012-05-14 2016-03-01 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging
JP2015103151A (ja) * 2013-11-27 2015-06-04 ソニー株式会社 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器
JP6196900B2 (ja) * 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
JP6588043B2 (ja) * 2015-02-10 2019-10-09 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム
US9990695B2 (en) * 2015-03-27 2018-06-05 Intel Corporation Edge sensing measure for raw image processing
US9681109B2 (en) * 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
EP3257432B1 (en) * 2016-06-17 2023-05-10 FUJIFILM Corporation Light source device and endoscope system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020880A (ja) * 2005-07-15 2007-02-01 Olympus Medical Systems Corp 内視鏡
WO2010143692A1 (ja) * 2009-06-10 2010-12-16 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡装置
US20120257030A1 (en) * 2011-04-08 2012-10-11 Samsung Electronics Co., Ltd. Endoscope apparatus and image acquisition method of the endoscope apparatus
JP2014103597A (ja) * 2012-11-21 2014-06-05 Olympus Corp 撮像装置

Also Published As

Publication number Publication date
CN107205618B (zh) 2019-03-26
US10835104B2 (en) 2020-11-17
CN107205618A (zh) 2017-09-26
US20170325658A1 (en) 2017-11-16
WO2016129062A1 (ja) 2016-08-18
JP6588043B2 (ja) 2019-10-09

Similar Documents

Publication Publication Date Title
JP6588043B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム
US10159404B2 (en) Endoscope apparatus
JP6196900B2 (ja) 内視鏡装置
US10070771B2 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JPWO2016079831A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置
WO2016084257A1 (ja) 内視鏡装置
JP2017131559A (ja) 医療用撮像装置、医療用画像取得システム及び内視鏡装置
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
US11571111B2 (en) Endoscope scope, endoscope processor, and endoscope adaptor
JPWO2019069414A1 (ja) 内視鏡装置、画像処理方法およびプログラム
US10863149B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP6346501B2 (ja) 内視鏡装置
US20180267291A1 (en) Endoscope system
JP7454417B2 (ja) 医療用制御装置及び医療用観察システム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP6535435B2 (ja) プロセッサ及び内視鏡システム
JP6681971B2 (ja) プロセッサ及び内視鏡システム

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20170727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190911

R151 Written notification of patent or utility model registration

Ref document number: 6588043

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250