JP6346501B2 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP6346501B2
JP6346501B2 JP2014123403A JP2014123403A JP6346501B2 JP 6346501 B2 JP6346501 B2 JP 6346501B2 JP 2014123403 A JP2014123403 A JP 2014123403A JP 2014123403 A JP2014123403 A JP 2014123403A JP 6346501 B2 JP6346501 B2 JP 6346501B2
Authority
JP
Japan
Prior art keywords
pixel
light
luminance component
filter
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014123403A
Other languages
English (en)
Other versions
JP2016002188A5 (ja
JP2016002188A (ja
Inventor
順平 高橋
順平 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014123403A priority Critical patent/JP6346501B2/ja
Priority to PCT/JP2015/053245 priority patent/WO2015194204A1/ja
Priority to CN201580030856.6A priority patent/CN106455949A/zh
Priority to DE112015002169.8T priority patent/DE112015002169T5/de
Publication of JP2016002188A publication Critical patent/JP2016002188A/ja
Priority to US15/352,833 priority patent/US20170055816A1/en
Publication of JP2016002188A5 publication Critical patent/JP2016002188A5/ja
Application granted granted Critical
Publication of JP6346501B2 publication Critical patent/JP6346501B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4015Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Description

本発明は、生体内に導入され、該生体内の画像を取得する内視鏡装置に関する。
従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体の体腔内に、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても体腔内の画像を取得できるため、被検体への負担が少なく、普及が進んでいる。
このような内視鏡装置の観察方式として、白色の照明光(白色照明光)を用いた白色光観察(WLI:White Light Imaging)方式と、青色および緑色の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光(狭帯域照明光)を用いた狭帯域光観察(NBI:Narrow Band Imaging)方式とが該技術分野では既に広く知られている。このような内視鏡装置の観察方式に関して、白色照明光観察方式(WLIモード)と、狭帯域光観察方式(NBIモード)とを切り替えて観察することが望まれている。
上述した観察方式でカラー画像を生成して表示するため、単板の撮像素子により撮像画像を取得すべく、当該撮像素子の受光面上には、一般的にベイヤ配列と呼ばれるフィルタ配列を単位として複数のフィルタがマトリックス状に並べられたカラーフィルタが設けられている。ベイヤ配列は、赤色(R)、緑色(G)、緑色(G)および青色(B)の波長帯域の光を各々透過する四つのフィルタを2行2列に配列し、かつ緑色の波長帯域の光を透過するGフィルタを対角に配置してなる。この場合、各画素はフィルタを透過した波長帯域の光を受光し、撮像素子はその波長帯域の光に応じた色成分の電気信号を生成する。
WLIモードでは、生体の血管や腺管構造が明瞭に描出される緑色成分の信号、すなわちG画素(Gフィルタが配置された画素のことをいう。R画素、B画素も同様の定義)で取得された信号(G信号)が、画像の輝度への寄与度が最も高い。一方、NBIモードでは、生体表層の血管や腺管構造が明瞭に描出される青色成分の信号、すなわちB画素で取得された信号(B信号)が、画像の輝度への寄与度が最も高い。
ベイヤ配列のカラーフィルタが設けられた撮像素子は、基本パターン内にG画素が2画素存在するのに対し、B画素は半分の1画素しか存在しない。そのため、ベイヤ配列の場合、NBIモードで取得されるカラー画像の解像度が低いという問題があった。
NBIモードにおける解像度を向上するため、B画素をR画素およびG画素よりも密に配置したカラーフィルタが設けられた撮像素子が開示されている(例えば、特許文献1を参照)。
特開2006−297093号公報
しかしながら、特許文献1が開示するカラーフィルタを用いると、NBIモードでは解像度の高いカラー画像を取得できるものの、WLIモードでは、G画素の密度がB画素の密度よりも低く、解像度が低くなるという問題が生じる。このため、どちらの観察モードにおいても解像度の高い画像を得ることができる技術が望まれていた。
本発明は、上記に鑑みてなされたものであって、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても解像度の高い画像を得ることができる内視鏡装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる内視鏡装置は、赤色、緑色および青色の波長帯域の光を含む白色照明光、または前記青色および前記緑色の波長帯域にそれぞれ含まれる狭帯域の光からなる狭帯域照明光を出射する光源部と、マトリックス状に配置された複数の画素を有し、各画素が受光した光を光電変換して電気信号を生成する撮像素子と、前記青色の波長帯域の光を透過する青色フィルタと、前記緑色の波長帯域の光を透過する緑色フィルタと、前記赤色の波長帯域の光を透過する赤色フィルタと、を用いて構成されるフィルタユニットであって、前記青色フィルタの数および前記緑色フィルタの数が前記赤色フィルタの数より大きいフィルタユニットを複数並べてなり、前記撮像素子の受光面に配置したカラーフィルタと、を備えたことを特徴とする。
本発明によれば、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても解像度の高い画像を得ることができるという効果を奏する。
図1は、本発明の実施の形態にかかる内視鏡装置の概略構成を示す図である。 図2は、本発明の実施の形態にかかる内視鏡装置の概略構成を示す模式図である。 図3は、本発明の実施の形態にかかる画素の構成を示す模式図である。 図4は、本発明の実施の形態にかかるカラーフィルタの構成の一例を示す模式図である。 図5は、本発明の実施の形態にかかるカラーフィルタの各フィルタの特性の一例を示す図であって、光の波長と各フィルタの透過率との関係を示す図である。 図6は、本発明の実施の形態にかかる内視鏡装置の照明部が出射する照明光の波長と光量との関係を示すグラフである。 図7は、本発明の実施の形態にかかる内視鏡装置の照明部が有する切替フィルタによる照明光の波長と透過率との関係を示すグラフである。 図8は、本発明の実施の形態にかかる内視鏡装置のプロセッサ部の要部の構成を示すブロック図である。 図9は、本発明の実施の形態にかかる内視鏡装置の動きベクトル検出処理部が行う撮像タイミングが異なる画像間の動きを模式的に説明する図である。 図10は、本発明の実施の形態にかかる内視鏡装置のプロセッサ部が行う信号処理を示すフローチャートである。 図11は、本発明の実施の形態の変形例1にかかるカラーフィルタの構成を示す模式図である。 図12は、本発明の実施の形態の変形例2にかかるカラーフィルタの構成を示す模式図である。 図13は、本発明の実施の形態の変形例3にかかるカラーフィルタの構成を示す模式図である。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
図1は、本発明の実施の形態にかかる内視鏡装置の概略構成を示す図である。図2は、本実施の形態にかかる内視鏡装置の概略構成を示す模式図である。図1および図2に示す内視鏡装置1は、被検体の体腔内に挿入部21を挿入することによって観察部位の体内画像を撮像して電気信号を生成する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源部3と、内視鏡2が取得した電気信号に所定の画像処理を施すとともに、内視鏡装置1全体の動作を統括的に制御するプロセッサ部4と、プロセッサ部4が画像処理を施した体内画像を表示する表示部5と、を備える。内視鏡装置1は、患者等の被検体の体腔内に、挿入部21を挿入して体腔内の体内画像を取得する。医師等の使用者は、取得した体内画像の観察を行うことによって、検出対象部位である出血部位や腫瘍部位の有無を検査する。なお、図2では、実線の矢印が画像にかかる電気信号の伝送を示し、破線の矢印が制御にかかる電気信号の伝送を示している。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、光源部3およびプロセッサ部4に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、光を受光する画素(フォトダイオード)がマトリックス状に配列され、当該画素が受光した光に対して光電変換を行うことにより画像信号を生成する撮像素子202を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、光源部3に照明光の切替動作を行わせるための指示信号、処置具や、プロセッサ部4と接続する外部機器の操作指示信号、送水を行うための送水指示信号、および吸引を行うための吸引指示信号などを入力する複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の先端に設けられる処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。なお、スイッチ223は、光源部3の照明光(観察方式)を切り替えるための照明光切替スイッチを含んで構成されてもよい。
ユニバーサルコード23は、ライトガイド203と、一または複数の信号線をまとめた集合ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡2および光源部3とプロセッサ部4との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像信号を送受信するための信号線、撮像素子202を駆動するための駆動用のタイミング信号を送受信するための信号線などを含む。
また、内視鏡2は、撮像光学系201、撮像素子202、ライトガイド203、照明用レンズ204、A/D変換部205および撮像情報記憶部206を備える。
撮像光学系201は、先端部24に設けられ、少なくとも観察部位からの光を集光する。撮像光学系201は、一または複数のレンズを用いて構成される。なお、撮像光学系201には、画角を変化させる光学ズーム機構および焦点を変化させるフォーカス機構が設けられていてもよい。
撮像素子202は、撮像光学系201の光軸に対して垂直に設けられ、撮像光学系201によって結ばれた光の像を光電変換して電気信号(画像信号)を生成する。撮像素子202は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を用いて実現される。
図3は、本実施の形態にかかる撮像素子の画素の構成を示す模式図である。撮像素子202は、撮像光学系201からの光を受光する複数の画素を有し、該複数の画素がマトリックス状に配列されてなる。そして、撮像素子202は、各画素が受光した光に対して光電変換を行うことにより生成された電気信号からなる撮像信号を生成する。この撮像信号には、各画素の画素値(輝度値)や画素の位置情報などが含まれる。図3では、i行j列目に配置されている画素を画素Pijと記している。
撮像素子202には、撮像光学系201と当該撮像素子202との間に設けられ、各々が個別に設定される波長帯域の光を透過する複数のフィルタを有するカラーフィルタ202aが設けられている。カラーフィルタ202aは、撮像素子202の受光面上に設けられる。
図4は、本実施の形態にかかるカラーフィルタの構成の一例を示す模式図である。本実施の形態にかかるカラーフィルタ202aは、4行4列のマトリックス状に並べられた16個のフィルタからなるフィルタユニットU1を画素Pijの配置に応じてマトリックス状に並べて配置したものである。換言すれば、カラーフィルタ202aは、フィルタユニットU1のフィルタ配列を基本パターンとして、該基本パターンで繰り返し配置したものである。各画素の受光面には、所定の波長帯域の光を透過する一つのフィルタが各々配置される。このため、フィルタが設けられた画素Pijは、該フィルタが透過する波長帯域の光を受光する。例えば、緑色の波長帯域の光を透過するフィルタが設けられた画素Pijは、緑色の波長帯域の光を受光する。以下、緑色の波長帯域の光を受光する画素PijをG画素という。同様に、青色の波長帯域の光を受光する画素をB画素、赤色の波長帯域の光を受光する画素をR画素という。
ここでのフィルタユニットU1は、青色(B)の波長帯域H、緑色(G)の波長帯域Hおよび赤色(R)の波長帯域Hの光を透過する。加えて、フィルタユニットU1は、波長帯域Hの光を透過する青色フィルタ(Bフィルタ)、波長帯域Hの光を透過する緑色フィルタ(Gフィルタ)、波長帯域Hの光を透過する赤色フィルタ(Rフィルタ)を各々一つまた複数用いて構成され、かつBフィルタ、およびGフィルタの数の各々が、Rフィルタの数より大きくなるように選択されてなる。青色、緑色および赤色の波長帯域H,HおよびHは、例えば、波長帯域Hが400nm〜500nm、波長帯域Hが480nm〜600nm、波長帯域Hが580nm〜700nmである。
図4に示されるとおり、本実施の形態にかかるフィルタユニットU1は、波長帯域Hの光をそれぞれ透過する八つのBフィルタと、波長帯域Hの光をそれぞれ透過する六つのGフィルタと、波長帯域Hの光をそれぞれ透過する二つのRフィルタと、で構成されている。フィルタユニットU1では、同色の波長帯域の光を透過するフィルタ(同色フィルタ)が、行方向および列方向で隣接しないように配置されている。以下、画素Pijに対応する位置にBフィルタが設けられる場合、このBフィルタをBijと記す。同様に画素Pijに対応する位置にGフィルタが設けられる場合、Gij、Rフィルタが設けられる場合、Rijと記す。
フィルタユニットU1は、BフィルタおよびGフィルタの数が、当該フィルタユニットU1を構成する全フィルタ数(16個)の1/3以上であり、かつRフィルタの数が、全フィルタ数の1/3未満である。また、カラーフィルタ202a(フィルタユニットU1)において、複数のBフィルタは、市松状のパターンをなしている。
図5は、本実施の形態にかかるカラーフィルタの各フィルタの特性の一例を示す図であって、光の波長と各フィルタの透過率との関係を示す図である。図5では、各フィルタの透過率の最大値が等しくなるように透過率曲線を規格化している。図5に示す曲線L(実線)はBフィルタの透過率曲線を示し、曲線L(破線)はGフィルタの透過率曲線を示し、曲線L(一点鎖線)はRフィルタの透過率曲線を示す。図5に示すように、Bフィルタは、波長帯域Hの光を透過する。Gフィルタは、波長帯域Hの光を透過する。Rフィルタは、波長帯域Hの光を透過する。
図1および図2の説明に戻り、ライトガイド203は、グラスファイバ等を用いて構成され、光源部3が出射した光の導光路をなす。
照明用レンズ204は、ライトガイド203の先端に設けられ、ライトガイド203により導光された光を拡散して先端部24の外部に出射する。
A/D変換部205は、撮像素子202が生成した撮像信号をA/D変換し、該変換した撮像信号をプロセッサ部4に出力する。
撮像情報記憶部206は、内視鏡2を動作させるための各種プログラム、内視鏡2の動作に必要な各種パラメータおよび当該内視鏡2の識別情報等を含むデータを記憶する。また、撮像情報記憶部206は、識別情報を記憶する識別情報記憶部261を有する。識別情報には、内視鏡2の固有情報(ID)、年式、スペック情報、伝送方式およびカラーフィルタ202aにかかるフィルタの配列情報等が含まれる。撮像情報記憶部206は、フラッシュメモリ等を用いて実現される。
つぎに、光源部3の構成について説明する。光源部3は、照明部31および照明制御部32を備える。
照明部31は、照明制御部32の制御のもと、波長帯域が互いに異なる複数の照明光を切り替えて出射する。照明部31は、光源31a、光源ドライバ31b、切替フィルタ31c、駆動部31d、駆動ドライバ31eおよび集光レンズ31fを有する。
光源31aは、照明制御部32の制御のもと、赤色、緑色および青色の波長帯域H,HおよびHの光を含む白色照明光を出射する。光源31aが発生した白色照明光は、切替フィルタ31cや、集光レンズ31fおよびライトガイド203を経由して先端部24から外部に出射される。光源31aは、白色LEDや、キセノンランプなどの白色光を発する光源を用いて実現される。
光源ドライバ31bは、照明制御部32の制御のもと、光源31aに対して電流を供給することにより、光源31aに白色照明光を出射させる。
切替フィルタ31cは、光源31aが出射した白色照明光のうち青色の狭帯域光および緑色の狭帯域光のみを透過する。切替フィルタ31cは、照明制御部32の制御のもと、光源31aが出射する白色照明光の光路上に挿脱自在に配置されている。切替フィルタ31cは、白色照明光の光路上に配置されることにより、二つの狭帯域光のみを透過する。具体的には、切替フィルタ31cは、波長帯域Hに含まれる狭帯域T(例えば、400nm〜445nm)の光と、波長帯域Hに含まれる狭帯域T(例えば、530nm〜550nm)の光と、からなる狭帯域照明光を透過する。この狭帯域T,Tは、血液中のヘモグロビンに吸収されやすい青色光および緑色光の波長帯域である。なお、狭帯域Tは、少なくとも405nm〜425nmが含まれていればよい。この帯域に制限されて射出される光を狭帯域照明光といい、当該狭帯域照明光による画像の観察をもって狭帯域光観察(NBI)方式という。
駆動部31dは、ステッピングモータやDCモータ等を用いて構成され、切替フィルタ31cを光源31aの光路から挿脱動作させる。
駆動ドライバ31eは、照明制御部32の制御のもと、駆動部31dに所定の電流を供給する。
集光レンズ31fは、光源31aが出射した白色照明光、または切替フィルタ31cを透過した狭帯域照明光を集光して、光源部3の外部(ライトガイド203)に出射する。
照明制御部32は、光源ドライバ31bを制御して光源31aをオンオフ動作させ、および駆動ドライバ31eを制御して切替フィルタ31cを光源31aの光路に対して挿脱動作させることによって、照明部31により出射される照明光の種類(帯域)を制御する。
具体的には、照明制御部32は、切替フィルタ31cを光源31aの光路に対して挿脱動作させることによって、照明部31から出射される照明光を、白色照明光および狭帯域照明光のいずれかに切り替える制御を行う。換言すれば、照明制御部32は、波長帯域H,HおよびHの光を含む白色照明光を用いた白色照明光観察(WLI)方式と、狭帯域T,Tの光からなる狭帯域照明光を用いた狭帯域光観察(NBI)方式とのいずれかの観察方式に切り替える制御を行う。
図6は、本実施の形態にかかる内視鏡装置の照明部が出射する照明光の波長と光量との関係を示すグラフである。図7は、本実施の形態にかかる内視鏡装置の照明部が有する切替フィルタによる照明光の波長と透過率との関係を示すグラフである。照明制御部32の制御により切替フィルタ31cを光源31aの光路から外すと、照明部31は、波長帯域H,HおよびHの光を含む白色照明光を出射する(図6参照)。これに対し、照明制御部32の制御により切替フィルタ31cを光源31aの光路に挿入すると、照明部31は、狭帯域T,Tの光からなる狭帯域照明光を出射する(図7参照)。
次に、プロセッサ部4の構成について説明する。プロセッサ部4は、画像処理部41、入力部42、記憶部43および制御部44を備える。
画像処理部41は、内視鏡2(A/D変換部205)からの撮像信号をもとに所定の画像処理を実行して、表示部5が表示するための表示画像信号を生成する。画像処理部41は、輝度成分画素選択部411、動きベクトル検出処理部412(動き検出処理部)、ノイズ低減処理部413、フレームメモリ414、デモザイキング処理部415および表示画像生成処理部416を有する。
輝度成分画素選択部411は、照明制御部32による照明光の切替動作、すなわち照明部31が出射する照明光が、白色照明光および狭帯域照明光のうちのどちらであるかを判断する。輝度成分画素選択部411は、判断した照明光に応じて、動きベクトル検出処理部412やデモザイキング処理部415で用いる輝度成分画素(輝度成分の光を受光する画素)の選択を行う。
動きベクトル検出処理部412は、内視鏡2(A/D変換部205)からの撮像信号に応じた同時化前画像と、当該同時化前画像の直前に取得され、ノイズ低減処理部413によりノイズ低減処理が施された同時化前画像(以下、巡回画像)と、を用いて、画像の動きを動きベクトルとして検出する。本実施の形態では、動きベクトル検出処理部412は、輝度成分選択部411で選択された輝度成分画素の色成分(輝度成分)の同時化前画像および巡回画像を用いて、画像の動きを動きベクトルとして検出する。換言すれば、動きベクトル検出処理部412は、撮像タイミングが異なる(時系列に撮像された)同時化前画像と巡回画像との間の画像の動きを動きベクトルとして検出する。
ノイズ低減処理部413は、同時化前画像および巡回画像を用いた画像間の加重平均処理により、同時化前画像(撮像信号)のノイズ成分を低減する。巡回画像は、フレームメモリ414に記憶されている同時化前画像を出力することにより取得される。また、ノイズ低減処理部413は、ノイズ低減処理を施した同時化前画像をフレームメモリ414に出力する。
フレームメモリ414は、一つの画像(同時化前画像)を構成する1フレーム分の画像情報を記憶する。具体的には、フレームメモリ414は、ノイズ低減処理部413によりノイズ低減処理が施された同時化前画像の情報を記憶する。フレームメモリ414では、ノイズ低減処理部413により新たに同時化前画像が生成されると、該新たに生成された同時化前画像の情報に更新される。フレームメモリ414は、VRAM(Video Random Access Memory)等の半導体メモリを用いるものであってもよいし、記憶部43の記憶領域の一部を用いるものであってもよい。
デモザイキング処理部415は、ノイズ低減処理部413によりノイズ低減処理が施された撮像信号をもとに、複数の画素の色情報(画素値)の相関から補間方向を判別し、判別した補間方向に並んだ画素の色情報に基づいて補間を行うことによって、カラー画像信号を生成する。デモザイキング処理部415は、輝度成分画素選択部411によって選択された輝度成分画素に基づいて、該輝度成分の補間処理を行った後、輝度成分以外の色成分の補間処理を行ってカラー画像信号を生成する。
表示画像生成処理部416は、デモザイキング処理部415により生成された電気信号に対して、階調変換、拡大処理、または生体の血管及び腺管構造に対する強調処理などを施す。表示画像生成処理部416は、所定の処理を施した後、表示用の表示画像信号として表示部5に出力する。
画像処理部41は、上述したデモザイキング処理のほか、OBクランプ処理や、ゲイン調整処理などを行う。OBクランプ処理では、内視鏡2(A/D変換部205)から入力された電気信号に対し、黒レベルのオフセット量を補正する処理を施す。ゲイン調整処理では、デモザイキング処理を施した画像信号に対し、明るさレベルの調整処理を施す。
入力部42は、プロセッサ部4に対するユーザからの入力等を行うためのインターフェースであり、電源のオン/オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り替えるためのモード切替ボタン、光源部3の照明光(観察方式)を切り替えるための照明光切替ボタンなどを含んで構成されている。
記憶部43は、内視鏡装置1を動作させるための各種プログラム、および内視鏡装置1の動作に必要な各種パラメータ等を含むデータを記録する。記憶部43は、内視鏡2にかかる情報、例えば内視鏡2の固有情報(ID)とカラーフィルタ202aのフィルタ配置にかかる情報との関係テーブルなどを記憶してもよい。記憶部43は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。
制御部44は、CPU等を用いて構成され、内視鏡2および光源部3を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部44は、記憶部43に記録されている撮像制御のための設定データ(例えば、読み出し対象の画素など)や、撮像タイミングにかかるタイミング信号等を、所定の信号線を介して内視鏡2へ送信する。制御部44は、撮像情報記憶部206を介して取得したカラーフィルタ情報(識別情報)を画像処理部41に出力するとともに、カラーフィルタ情報に基づいて切替フィルタ31cの配置にかかる情報を光源部3に出力する。
次に、表示部5について説明する。表示部5は、映像ケーブルを介してプロセッサ部4が生成した表示画像信号を受信して該表示画像信号に対応する体内画像を表示する。表示部5は、液晶または有機EL(Electro Luminescence)を用いて構成される。
続いて、内視鏡装置1のプロセッサ部4の各部が行う信号処理について図8を参照して説明する。図8は、本実施の形態にかかる内視鏡装置のプロセッサ部の要部の構成を示すブロック図である。
輝度成分画素選択部411は、入力された撮像信号が、白色照明光観察方式および狭帯域光観察方式のうちどちらの観察方式により生成されたものかを判断する。具体的には、輝度成分画素選択部411は、例えば制御部44からの制御信号(例えば、照明光にかかる情報や、観察方式を示す情報)に基づいて、どちらの観察方式により生成されたものかを判断する。
輝度成分画素選択部411は、入力された撮像信号が、白色照明光観察方式により生成されたものであると判断すると、輝度成分画素としてG画素を選択して設定し、該設定した設定情報を動きベクトル検出処理部412およびデモザイキング処理部415に出力する。具体的には、輝度成分画素選択部411は、識別情報(カラーフィルタ202aの情報)に基づいて輝度成分画素として設定するG画素の位置情報、例えばG画素の行および列に関する情報を出力する。
これに対し、輝度成分画素選択部411は、入力された撮像信号が、狭帯域光観察方式により生成されたものであると判断すると、輝度成分画素としてB画素を選択して設定し、該設定した設定情報を動きベクトル検出処理部412およびデモザイキング処理部412に出力する。
次に、動きベクトル検出処理部412およびノイズ低減処理部413が行う処理について説明する。図9は、本発明の実施の形態にかかる内視鏡装置の動きベクトル検出処理部が行う撮像タイミングが異なる画像間の動きを模式的に説明する図である。図9に示すように、動きベクトル検出処理部412は、巡回画像に基づく第1動き検出用画像F1、および処理対象の同時化前画像に基づく第2動き検出用画像F2を用いて、公知のブロックマッチング法を用いて、第1動き検出用画像F1と第2動き検出用画像F2との間の画像の動きを動きベクトルとして検出する。なお、第1動き検出用画像F1および第2動き検出用画像F2は、時系列に連続した二つのフレームの撮像信号に基づく画像である。
動きベクトル検出処理部412は、動き検出用画像生成部412aおよびブロックマッチング処理部412bを有する。動き検出用画像生成部412aは、輝度成分画素選択部411で選択された輝度成分画素に応じた輝度成分の補間処理を施し、各画素に応じて輝度成分の画素値、または補間された画素値(以下、補間値という)が付与された動き検出用画像(第1動き検出用画像F1および第2動き検出用画像F2)を生成する。補間処理は同時化前画像、および巡回画像のそれぞれに施す。補間処理の方法は、後述する輝度成分生成部415aと同様の処理を用いればよい。
ブロックマッチング処理部412bは、ブロックマッチング法を用いて、動き検出用画像生成部412aが生成した動き検出用画像から画素毎に動きベクトルを検出する。具体的には、ブロックマッチング処理部412bは、例えば、第2動き検出用画像F2の画素M1が第1動き検出用画像F1のどの位置に移動したかを検出する。動きベクトル検出処理部412は、画素M1を中心としたブロックB1(小領域)をテンプレートとして、第1動き検出用画像F1において第2動き検出用画像F2の画素M1の位置と同じ位置の画素fを中心に、第1動き検出用画像F1をブロックB1のテンプレートで走査し、テンプレート間の差分絶対値和が最も小さい位置の中心画素を画素M1’とする。動きベクトル検出処理部412は、第1動き検出用画像F1において画素M1(画素f)から画素M1’への動き量Y1を動きベクトルとして検出し、この処理を画像処理対象の全ての画素に対して行う。以下、画素M1の座標を(x,y)とし、座標(x,y)における動きベクトルのx成分をVx(x,y)、y成分をVy(x,y)と記載する。また、第1動き検出用画像F1における画素M1’の座標を(x’,y’)とすると、x’およびy’は、下式(1)、(2)でそれぞれ定義される。ブロックマッチング処理部412bは、検出した動きベクトル(画素M1,M1’の位置を含む)情報をノイズ低減処理部413に出力する。
Figure 0006346501
ノイズ低減処理部413は、同時化前画像と巡回画像との画像間の加重平均処理により、同時化前画像のノイズを低減する。以下、注目画素、例えば、画素M1(座標(x,y))におけるノイズ低減処理後の信号をInr(x,y)と記載する。ノイズ低減処理部413は、動きベクトル情報を参照し、注目画素に対応する参照画素が同色画素であるか否かを判断し、同色の場合と異色の場合とで異なる処理を実行する。ノイズ低減処理部413は、例えば、フレームメモリ414に記憶されている巡回画像の情報を参照して、画素M1に対応する参照画素である画素M1’(座標(x’,y’))の情報(信号値や透過光の色情報)を取得し、画素M1’が画素M1と同色画素であるか否かを判断する。
1).注目画素と参照画素とが同色の場合
注目画素と参照画素とが同色(同一の色成分の光を受光する画素)の場合、ノイズ低減処理部413は、下式(3)を用いて同時化前画像および巡回画素の各1画素を用いた加重平均処理を行うことにより信号Inr(x,y)を生成する。
Figure 0006346501
但し、I(x,y) :同時化前画像の注目画素の信号値
I’(x’,y’):巡回画像の参照画素の信号値
なお、信号値は、画素値または補間値を含む。係数coefは、0<coef<1を満たす任意の実数である。係数coefは、所定値が予め設定されているものであってもよいし、ユーザにより入力部42を介して任意の値が設定されるものであってもよい。
2).注目画素と参照画素とが異色の場合
注目画素と参照画素とが異色(異なる色成分の光を受光する画素)の場合、ノイズ低減処理部413は、巡回画像の参照画素における信号値を周辺同色画素から補間する。ノイズ低減処理部413は、例えば下式(4)を用いてノイズ低減処理後の信号Inr(x,y)を生成する。
Figure 0006346501
但し、I(x,y)とI(x’+i,y’+j)とが同色画素の信号値である場合、w(x’+i,y’+j)=0であり、I(x,y)とI(x’+i,y’+j)とが異色画素の信号値である場合、w(x’+i,y’+j)=1となる。
式(4)において、w()は同色画素を抽出するための関数であり、周辺画素(x’+i,y’+j)が注目画素(x,y)と同色の場合に1、異なる色の場合は0となる。また、Kは参照する周辺領域の大きさを設定するパラメータである。パラメータKは、G画素またはB画素である場合は1(K=1)、R画素である場合は2(K=2)とする。
続いて、デモザイキング処理部415による補間処理について説明する。デモザイキング処理部415は、ノイズ低減処理部413によりノイズ低減処理が施された信号(信号Inr(x,y))をもとに補間処理を行うことによって、カラー画像信号を生成する。デモザイキング処理部415は、輝度成分生成部415a、色成分生成部415bおよびカラー画像生成部415cを有する。デモザイキング処理部415は、輝度成分画素選択部411が選択した輝度成分画素に基づいて、複数の画素の色情報(画素値)の相関から補間方向を判別し、判別した補間方向に並んだ画素の色情報に基づいて補間を行うことによって、カラー画像信号を生成する。
輝度成分生成部415aは、輝度成分画素選択部411により選択された輝度成分画素が生成した画素値を用いて補間方向を判別し、該判別した補間方向に基づき輝度成分画素以外の画素における輝度成分を補間して、各画素が輝度成分の画素値または補間値を有する一枚の画像を構成する画像信号を生成する。
具体的には、輝度成分生成部415aは、既知の輝度成分(画素値)からエッジ方向を補間方向として判別し、補間対象とする非輝度成分画素に対して該補間方向に沿った補間処理を施す。輝度成分生成部415aは、例えば輝度成分画素としてB画素が選択されている場合、座標(x,y)における非輝度成分画素のB成分の信号値B(x,y)は、判別されたエッジ方向に基づいて下式(5)〜(7)により算出する。
輝度成分生成部415aは、水平方向の輝度の変化が、垂直方向の輝度の変化より大きい場合、垂直方向をエッジ方向と判別し、下式(5)により信号値B(x,y)を算出する。
Figure 0006346501
なお、エッジ方向の判別では、図3に示す画素の配置の上下方向を垂直方向とし、左右方向を水平方向とする。また、垂直方向では下方向を正とし、左右方向では右方向を正とする。
輝度成分生成部415aは、垂直方向の輝度の変化が、水平方向の輝度の変化より大きい場合、水平方向をエッジ方向と判別し、下式(6)により信号値B(x,y)を算出する。
Figure 0006346501
輝度成分生成部415aは、垂直方向の輝度の変化と、水平方向の輝度の変化との差が小さい(両方向の輝度の変化が平坦な)場合は、エッジ方向を垂直方向でも水平方向でもないものと判別し、下式(7)により信号値B(x,y)を算出する。この場合、輝度成分生成部415aは、垂直方向および水平方向に位置する画素の信号値を用いて信号値B(x,y)の算出を行う。
Figure 0006346501
輝度成分生成部415aは、上記式(5)〜(7)により非輝度成分画素のB成分の信号値B(x,y)を補間することにより、少なくとも画像を構成する画素について、輝度成分の信号の信号値(画素値または補間値)を有する画像信号を生成する。
一方、輝度成分生成部415aは、輝度成分画素としてG画素が選択されている場合、初めにR画素におけるG信号の信号値G(x,y)を、判別されたエッジ方向に基づいて下式(8)〜(10)により補間する。その後、輝度成分生成部415aは、信号値B(x,y)と同様の方法(式(5)〜(7))で信号値G(x,y)を補間する。
輝度成分生成部415aは、斜め上方向の輝度の変化が、斜め下方向の輝度の変化より大きい場合、斜め下方向をエッジ方向と判別し、下式(8)により信号値B(x,y)を算出する。
Figure 0006346501
輝度成分生成部415aは、斜め下方向の輝度の変化が、斜め上方向の輝度の変化より大きい場合、斜め上方向をエッジ方向と判別し、下式(9)により信号値B(x,y)を算出する。
Figure 0006346501
また、輝度成分生成部415aは、斜め下方向の輝度の変化と、斜め上方向の輝度の変化との差が小さい(両方向の輝度の変化が平坦な)場合は、エッジ方向を斜め下方向でも斜め上方向でもないものと判別し、下式(10)により信号値B(x,y)を算出する。
Figure 0006346501
なお、ここではエッジ方向(補間方向)に沿ってR画素のG成分(輝度成分)の信号値G(x,y)を補間する方法(式(8)〜(10))を示したが、この方法に限定されるものではない。他の方法としては、公知のバイキュービック補間を用いてもよい。
色成分生成部415bは、輝度成分画素および色成分画素(非輝度成分画素)の信号値を用いて、少なくとも画像を構成する画素の色成分を補間して、各画素が色成分の画素値または補間値を有する一枚の画像を構成する画像信号を生成する。具体的には、色成分生成部415bは、輝度成分生成部415aにより補間された輝度成分(例えばG成分とする)の信号(G信号)を使って、非輝度成分画素(B画素およびR画素)位置における色差信号(R−G、B−G)を算出し、各色差信号に対して例えば公知のバイキュービック補間処理を施す。そして、色成分生成部415bは、補間後の色差信号にG信号を加算し、画素ごとのR信号およびB信号を補間する。このように、色成分生成部415bは、色成分の信号を補間することにより、少なくとも画像を構成する画素について、色成分の信号値(画素値または補間値)を付与した画像信号を生成する。この方法により、輝度の高周波成分が色成分に重畳され、解像度の高い画像を取得できる。なお、本発明はこれに限定されるものではなく、単に色信号に対してバイキュービック補間処理を施す構成としてもよい。
カラー画像生成処理部415cは、輝度成分生成部415aおよび色成分生成部415bにより生成された輝度成分および色成分の画像信号を同時化し、各画素に応じてRGB成分またはGB成分の信号値を付与したカラー画像(同時化後の画像)を含むカラー画像信号を生成する。カラー画像生成処理部415cは、輝度成分および色成分の信号をRGBの各チャンネルに割り当てる。観察モード(WLI/NBI)におけるチャンネルと信号との関係を以下に示す。本実施の形態では、Gチャンネルに輝度成分の信号が割り当てられるものとする。
WLIモード NBIモード
Rチャンネル : R信号 G信号
Gチャンネル : G信号 B信号
Bチャンネル : B信号 B信号
続いて、上述した構成を有するプロセッサ部4が行う信号処理について、図面を参照して説明する。図10は、本実施の形態にかかる内視鏡装置1のプロセッサ部4が行う信号処理を示すフローチャートである。制御部44は、内視鏡2から電気信号を取得すると、該電気信号に含まれる同時化前画像の読み込みを行う(ステップS101)。内視鏡2からの電気信号は、撮像素子202により生成され、A/D変換部205によってデジタル信号に変換された同時化前画像データを含む信号である。
制御部44は、同時化前画像の読み込み後、識別情報記憶部261を参照して制御情報(例えば、照明光(観察方式)にかかる情報や、カラーフィルタ202aの配列情報)を取得し、輝度成分画素選択部411に出力する(ステップS102)。
輝度成分画素選択部411は、制御情報に基づき、電気信号(読み込んだ同時化前画像)が、取得した白色照明光観察(WLI)方式および狭帯域観察(NBI)方式のうちどちらの観察方式により生成されたものかを判断し、該判断をもとに輝度成分画素を選択する(ステップS103)。具体的には、輝度成分画素選択部411は、WLI方式であると判断した場合にG画素を輝度成分画素として選択し、NBI方式であると判断した場合にB画素を輝度成分画素として選択する。輝度成分画素選択部411は、選択した輝度成分画素に関する制御信号を動きベクトル検出処理部412およびデモザイキング処理部415に出力する。
動きベクトル検出処理部412は、輝度成分画素に関する制御信号を取得すると、輝度成分の同時化前画像および巡回画像とをもとに動きベクトルの検出を行う(ステップS104)。動きベクトル検出処理部412は、検出した動きベクトルをノイズ低減処理部413に出力する。
ノイズ低減処理部413は、同時化前画像、巡回画像、および動きベクトル検出処理部412により検出された動きベクトルを用いて、電気信号(ステップS101で読み込んだ同時化前画像)に対しノイズ低減処理を施す(ステップS105)。なお、本ステップS105により生成されたノイズ低減処理後の電気信号(同時化前画像)は、デモザイキング処理部415に出力されるとともに、巡回画像としてフレームメモリ414に格納(更新)される。
デモザイキング処理部415は、ノイズ低減処理部413からノイズ低減処理後の電子信号が入力されると、該電子信号をもとにデモザイキング処理を行う(ステップS106)。デモザイキング処理では、輝度成分生成部415aが、輝度成分画素として設定した画素が生成した画素値を用いて補間対象の画素(輝度成分画素以外の画素)における補間方向を判別し、該判別した補間方向に基づき輝度成分画素以外の画素における輝度成分を補間して、各画素が輝度成分の画素値または補間値を有する一枚の画像を構成する画像信号を生成する。その後、色成分生成部415bが、輝度成分の画素値および補間値、ならびに輝度成分画素以外の画素の画素値をもとに、輝度成分以外の色成分の画素値または補間値を有する一枚の画像を構成する画像信号を色成分ごとに生成する。
色成分生成部415bにより各色の成分の画像信号が生成されると、カラー画像生成部415cが、各色成分の各画像信号を用いてカラー画像を構成するカラー画像信号を生成する(ステップS107)。カラー画像生成部415cは、WLIモードの場合は赤色成分、緑色成分および青色成分の画像信号を用いてカラー画像信号を生成し、NBIモードの場合は緑色成分および青色成分の画像信号を用いてカラー画像信号を生成する。
デモザイキング処理部415によりカラー画像信号が生成された後、表示画像生成処理部416は、該カラー画像信号に対して、階調変換、拡大処理などを施して表示用の表示画像信号を生成する(ステップS108)。表示画像生成処理部416は、所定の処理を施した後、表示画像信号として表示部5に出力する。
表示画像生成処理部416により表示画像信号が生成されると、該表示画像信号に応じて画像表示処理が行われる(ステップS109)。画像表示処理により、表示部5には、表示画像信号に応じた画像が表示される。
制御部44は、表示画像生成処理部416による表示画像信号の生成処理、および画像表示処理後、この画像が最終画像であるか否かを判断する(ステップS110)。制御部44は、全ての画像に対して一連の処理が完了した場合は処理を終了し(ステップS110:Yes)、未処理画像が残っている場合はステップS101に移行して同様の処理を継続する(ステップS110:No)。
本実施の形態では、プロセッサ部4を構成する各部をハードウェアで構成し、各部が処理を行うものとして説明したが、CPUが各部の処理を行う構成として、該CPUがプログラムを実行することによって上述した信号処理をソフトウェアで実現するものであってもよい。例えば、カプセル型内視鏡などの撮像素子で予め取得された画像に対して、CPUが上述したソフトウェアを実行することで信号処理を実現することとしてもよい。また、各部が行う処理の一部をソフトウェアで構成することとしてもよい。この場合、CPUは、上述したフローチャートにしたがって信号処理を実行する。
上述した本実施の形態によれば、撮像素子202に設けたカラーフィルタ202aにおいて、Bフィルタ、およびGフィルタの数の各々が、Rフィルタの数より大きいフィルタユニットU1のフィルタ配列を基本パターンとして、該基本パターンを繰り返してフィルタを配置するようにしたので、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても解像度の高い画像を得ることができる。
また、上述した本実施の形態によれば、動きベクトル検出処理部412による動きベクトル検出処理を観察方式に対して適応的に切り替えることで、観察モード(NBIモードまたはWLIモード)によらず画像間の動きを高精度に検出可能である。具体的には、WLIモード時に生体の血管や腺管構造が明瞭に描出されるG画素を輝度成分画素として選択し、G画素を用いて画像間の動きベクトルを検出する。一方、NBIモード時には、生体表層の血管や腺管構造が明瞭に描出されるB画素を輝度成分画素として選択し、B画素を用いて動きベクトルを検出する。このような輝度成分画素の選択により得られた高精度な動きベクトルを用いることで、残像を抑制したノイズ低減が可能となり、より解像度の高い画像を取得できる。
また、上述した本実施の形態によれば、観察モードに応じてデモザイキング処理を切り替えることで、さらに解像度を向上可能である。具体的には、WLIモード時にはG画素を輝度成分画素として選択し、G画素に対してエッジ方向に沿った補間処理を施す。さらに、色差信号(R−G、B−G)に対する補間処理後にG信号を加算し、G信号の高周波成分を色成分にも重畳する。一方、NBIモード時にはB画素を輝度成分画素として選択し、B画素に対してエッジ方向に沿った補間処理を施す。さらに色差信号(G−B)に対する補間処理後にB信号を加算し、B信号の高周波成分を色成分にも重畳する。以上の構成により、公知のバイキュービック補間と比較して解像度を向上させることができる。また、本実施の形態の構成によれば、デモザイキング処理部415の前段にあるノイズ低減処理部413により、デモザイキング処理に用いる電気信号はノイズが低減されているため、エッジ方向の判別精度が向上する利点もある。
(変形例1)
図11は、本実施の形態の変形例1にかかるカラーフィルタの構成を示す模式図である。本変形例1にかかるカラーフィルタは、3行3列のマトリックス状に並べられた9個のフィルタからなるフィルタユニットU2を二次元的に並べて配列したものである。フィルタユニットU2は、四つのBフィルタと、四つのGフィルタと、一つのRフィルタと、からなる。フィルタユニットU2では、同色の波長帯域の光を透過するフィルタ(同色フィルタ)が、行方向および列方向で隣接しないように配置されている。
フィルタユニットU2は、BフィルタおよびGフィルタの数が、当該フィルタユニットU2を構成する全フィルタ数(9個)の1/3以上であり、かつRフィルタの数が、全フィルタ数の1/3未満の割合である。また、カラーフィルタ202a(フィルタユニットU2)において、複数のBフィルタは、市松状のパターンの一部をなしている。
(変形例2)
図12は、本実施の形態の変形例2にかかるカラーフィルタの構成を示す模式図である。本変形例2にかかるカラーフィルタは、2行3列のマトリックス状に並べられた6個のフィルタからなるフィルタユニットU3を二次元的に並べて配列したものである。フィルタユニットU3は、三つのBフィルタと、二つのGフィルタと、一つのRフィルタと、からなる。フィルタユニットU3では、同色の波長帯域の光を透過するフィルタ(同色フィルタ)が、行方向および列方向で隣接しないように配置されている。
フィルタユニットU3は、BフィルタおよびGフィルタの数が、当該フィルタユニットU3を構成する全フィルタ数(6個)の1/3以上であり、かつRフィルタの数が、全フィルタ数の1/3未満である。
(変形例3)
図13は、本実施の形態の変形例3にかかるカラーフィルタの構成を示す模式図である。本変形例3にかかるカラーフィルタは、2行6列のマトリックス状に並べられた12個のフィルタからなるフィルタユニットU4を二次元的に並べて配列したものである。フィルタユニットU4は、六つのBフィルタと、四つのGフィルタと、二つのRフィルタと、からなる。フィルタユニットU4では、同色の波長帯域の光を透過するフィルタ(同色フィルタ)が、行方向および列方向で隣接しないように配置され、かつ複数のBフィルタがジグザグ状に配置されている。
フィルタユニットU4は、BフィルタおよびGフィルタの数が、当該フィルタユニットU4を構成する全フィルタ数(12個)の1/3以上であり、かつRフィルタの数が、全フィルタ数の1/3未満である。また、カラーフィルタ202a(フィルタユニットU4)において、複数のBフィルタは、市松状のパターンをなす。
なお、上述した実施の形態にかかるカラーフィルタ202aは、フィルタユニットにおいて、波長帯域Hの光を透過するBフィルタの数と、波長帯域Hの光を透過するGフィルタの数との各々が、波長帯域Hの光を透過するRフィルタの数より大きければよく、上述した配列のほか、上記の条件を満たす配列であれば適用可能である。また、上述したフィルタユニットは、4行4列、3行3列、2行3列または2行6列でフィルタが配置されたものとして説明したが、これらの行数および列数に限定されるものではない。
また、上述した実施の形態では、各々が所定の波長帯域の光を透過するフィルタを複数有するカラーフィルタ202aが撮像素子202の受光面に設けられているものとして説明したが、各フィルタが撮像素子202の各画素に個別に設けられているものであってもよい。
なお、上述した実施の形態にかかる内視鏡装置1は、一つの光源31aから出射される白色光に対して、切替フィルタ31cの挿脱により照明部31から出射される照明光を白色照明光および狭帯域照明光に切り替えるものとして説明したが、白色照明光および狭帯域照明光をそれぞれ出射する二つの光源を切り替えて白色照明光および狭帯域照明光のいずれかを出射するものであってもよい。二つの光源を切り替えて白色照明光および狭帯域照明光のいずれかを出射する場合、例えば、光源部、カラーフィルタおよび撮像素子を備え、被検体内に導入されるカプセル型の内視鏡にも適用することができる。
また、上述した実施の形態にかかる内視鏡装置1は、A/D変換部205が先端部24に設けられているものとして説明したが、プロセッサ部4に設けられるものであってもよい。また、画像処理にかかる構成を、内視鏡2や、内視鏡2とプロセッサ部4とを接続するコネクタ、操作部22などに設けるものであってもよい。また、上述した内視鏡装置1では、識別情報記憶部261に記憶された識別情報などを用いてプロセッサ部4に接続されている内視鏡2を識別するものとして説明したが、プロセッサ部4と内視鏡2との接続部分(コネクタ)に識別手段を設けてもよい。例えば、内視鏡2側に識別用のピン(識別手段)を設けて、プロセッサ部4に接続された内視鏡2を識別する。
また、上述した実施の形態では、動き検出用画像生成部412aにより輝度成分について同時化した後に動きベクトルを検出するものとして説明したが、本発明はこれに限定されない。他の方法としては、同時化前の輝度信号(画素値)から動きベクトルを検出する構成としてもよい。この場合、同色画素間でマッチングを行う際、輝度成分画素以外の画素(非輝度成分画素)から画素値が得られないためマッチングの間隔が制限されるものの、ブロックマッチングに要する演算コストを低減できる。ここで、動きベクトルの検出は輝度成分画素のみのため、非輝度成分画素における動きベクトルを補間する必要がある。この際の補間処理には公知のバイキュービック補間を用いればよい。
また、上述した実施の形態では、デモザイキング処理部415によるデモザイキング処理前の同時化前画像に対してノイズ低減処理を施す構成としたが、デモザイキング処理部415から出力されるカラー画像に対してノイズ低減処理部413がノイズ低減処理を施すようにしてもよい。この場合、参照画素は全て同色画素のため式(4)の演算処理が不要となり、ノイズ低減処理に要する演算コストを低減できる。
以上のように、本発明にかかる内視鏡装置は、白色照明光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得るのに有用である。
1 内視鏡装置
2 内視鏡
3 光源部
4 プロセッサ部
5 表示部
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
31 照明部
31a 光源
31b 光源ドライバ
31c 切替フィルタ
31d 駆動部
31e 駆動ドライバ
31f 集光レンズ
32 照明制御部
41 画像処理部
42 入力部
43 記憶部
44 制御部
201 撮像光学系
202 撮像素子
202a カラーフィルタ
203 ライトガイド
204 照明用レンズ
205 A/D変換部
206 撮像情報記憶部
261 識別情報記憶部
411 輝度成分選択部
412 動きベクトル検出処理部(動き検出処理部)
412a 動き検出用画像生成部
412b ブロックマッチング処理部
413 ノイズ低減処理部
414 フレームメモリ
415 デモザイキング処理部
415a 輝度成分生成部
415b 色成分生成部
415c カラー画像生成部
416 表示画像生成処理部
U1〜U3 フィルタユニット

Claims (8)

  1. 赤色、緑色および青色の波長帯域の光を含む白色照明光、または前記青色および前記緑色の波長帯域にそれぞれ含まれる狭帯域の光からなる狭帯域照明光を出射する光源部と、
    マトリックス状に配置された複数の画素を有し、各画素が受光した光を光電変換して電気信号を生成する撮像素子と、
    前記青色の波長帯域の光を透過する青色フィルタと、前記緑色の波長帯域の光を透過する緑色フィルタと、前記赤色の波長帯域の光を透過する赤色フィルタと、を用いて構成されるフィルタユニットであって、前記青色フィルタの数および前記緑色フィルタの数が前記赤色フィルタの数より大きいフィルタユニットを複数並べてなり、前記撮像素子の受光面に配置したカラーフィルタと、
    前記光源部が出射する照明光の種類に応じて前記複数の画素から輝度成分の光を受光する輝度成分画素を選択する輝度成分画素選択部と、
    前記輝度成分画素選択部が選択した前記輝度成分画素に基づいて複数の色成分を有するカラー画像信号を生成するデモザイキング処理部と、
    を備えたことを特徴とする内視鏡装置。
  2. 前記フィルタユニットは、
    前記青色フィルタおよび前記緑色フィルタの各々の数が、当該フィルタユニットを構成する全フィルタ数の1/3以上であり、
    かつ前記赤色フィルタの数が、前記全フィルタ数の1/3未満である
    ことを特徴とする請求項1に記載の内視鏡装置。
  3. 複数の前記青色フィルタは、市松状のパターンの少なくとも一部をなす
    ことを特徴とする請求項1に記載の内視鏡装置。
  4. 前記輝度成分画素選択部は、
    前記光源部が前記白色照明光を出射する場合、前記緑色フィルタを介して光を受光する画素を前記輝度成分画素として選択し、
    前記光源部が前記狭帯域照明光を出射する場合、前記青色フィルタを介して光を受光する画素を前記輝度成分画素として選択する
    ことを特徴とする請求項に記載の内視鏡装置。
  5. 前記デモザイキング処理部は、
    前記輝度成分画素選択部により選択された前記輝度成分画素の画素値に基づき前記輝度成分画素以外の画素の輝度成分を補間して該輝度成分の画像信号を生成する輝度成分生成部と、
    前記輝度成分生成部が生成した輝度成分をもとに輝度成分以外の色成分を補間して該色成分の画像信号を生成する色成分生成部と、
    を有することを特徴とする請求項に記載の内視鏡装置。
  6. 赤色、緑色および青色の波長帯域の光を含む白色照明光、または前記青色および前記緑色の波長帯域にそれぞれ含まれる狭帯域の光からなる狭帯域照明光を出射する光源部と、
    マトリックス状に配置された複数の画素を有し、各画素が受光した光を光電変換して電気信号を生成する撮像素子と、
    前記青色の波長帯域の光を透過する青色フィルタと、前記緑色の波長帯域の光を透過する緑色フィルタと、前記赤色の波長帯域の光を透過する赤色フィルタと、を用いて構成されるフィルタユニットであって、前記青色フィルタの数および前記緑色フィルタの数が前記赤色フィルタの数より大きいフィルタユニットを複数並べてなり、前記撮像素子の受光面に配置したカラーフィルタと、
    前記複数の画素から輝度成分の光を受光する輝度成分画素を前記光源部が出射する照明光の種類に応じて選択する輝度成分画素選択部と、
    前記画素が時系列に沿って生成した電気信号であって、前記輝度成分画素選択部が選択した輝度成分の電気信号をもとに生成される撮像画像の動きを検出する動き検出処理部と、
    を備えたことを特徴とする内視鏡装置。
  7. 前記輝度成分画素選択部は、
    前記光源部が前記白色照明光を出射する場合、前記緑色フィルタを介して光を受光する画素を前記輝度成分画素として選択し、
    前記光源部が前記狭帯域照明光を出射する場合、前記青色フィルタを介して光を受光する画素を前記輝度成分画素として選択する
    ことを特徴とする請求項に記載の内視鏡装置。
  8. 前記動き検出処理部が検出した前記動きに基づいて前記撮像画像に含まれるノイズ成分を低減するノイズ低減処理部
    をさらに備えたことを特徴とする請求項に記載の内視鏡装置。
JP2014123403A 2014-06-16 2014-06-16 内視鏡装置 Active JP6346501B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014123403A JP6346501B2 (ja) 2014-06-16 2014-06-16 内視鏡装置
PCT/JP2015/053245 WO2015194204A1 (ja) 2014-06-16 2015-02-05 内視鏡装置
CN201580030856.6A CN106455949A (zh) 2014-06-16 2015-02-05 内窥镜装置
DE112015002169.8T DE112015002169T5 (de) 2014-06-16 2015-02-05 Endoskopvorrichtung
US15/352,833 US20170055816A1 (en) 2014-06-16 2016-11-16 Endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014123403A JP6346501B2 (ja) 2014-06-16 2014-06-16 内視鏡装置

Publications (3)

Publication Number Publication Date
JP2016002188A JP2016002188A (ja) 2016-01-12
JP2016002188A5 JP2016002188A5 (ja) 2017-07-27
JP6346501B2 true JP6346501B2 (ja) 2018-06-20

Family

ID=54935204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014123403A Active JP6346501B2 (ja) 2014-06-16 2014-06-16 内視鏡装置

Country Status (5)

Country Link
US (1) US20170055816A1 (ja)
JP (1) JP6346501B2 (ja)
CN (1) CN106455949A (ja)
DE (1) DE112015002169T5 (ja)
WO (1) WO2015194204A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117036A1 (ja) * 2015-01-20 2016-07-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JP6630895B2 (ja) * 2016-02-18 2020-01-15 キヤノン株式会社 信号処理装置及び画像ノイズ低減方法
CN111295124B (zh) * 2017-11-09 2023-02-28 奥林巴斯株式会社 内窥镜系统、内窥镜图像的生成方法和处理器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796005B2 (ja) * 1987-10-27 1995-10-18 オリンパス光学工業株式会社 内視鏡装置
JP3268891B2 (ja) * 1992-08-14 2002-03-25 オリンパス光学工業株式会社 内視鏡撮像装置
US20060232668A1 (en) * 2005-04-18 2006-10-19 Given Imaging Ltd. Color filter array with blue elements
JP5191090B2 (ja) * 2005-07-15 2013-04-24 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP4717103B2 (ja) * 2008-07-18 2011-07-06 オリンパス株式会社 信号処理システム及び信号処理プログラム
US20100220215A1 (en) * 2009-01-12 2010-09-02 Jorge Rubinstein Video acquisition and processing systems
US20110080506A1 (en) * 2009-10-07 2011-04-07 Ping-Kuo Weng Image sensing device and system
JP5554253B2 (ja) * 2011-01-27 2014-07-23 富士フイルム株式会社 電子内視鏡システム
JP2011177532A (ja) * 2011-05-02 2011-09-15 Olympus Medical Systems Corp 内視鏡装置
EP2769665A4 (en) * 2012-05-01 2015-08-26 Olympus Medical Systems Corp ENDOSCOPE DEVICE
US10210599B2 (en) * 2013-08-09 2019-02-19 Intuitive Surgical Operations, Inc. Efficient image demosaicing and local contrast enhancement

Also Published As

Publication number Publication date
US20170055816A1 (en) 2017-03-02
CN106455949A (zh) 2017-02-22
JP2016002188A (ja) 2016-01-12
WO2015194204A1 (ja) 2015-12-23
DE112015002169T5 (de) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6471173B2 (ja) 画像処理装置、内視鏡装置の作動方法、画像処理プログラムおよび内視鏡装置
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JP6196900B2 (ja) 内視鏡装置
JP6435275B2 (ja) 内視鏡装置
US10070771B2 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
US10575720B2 (en) Endoscope system
US20170112356A1 (en) Image processing apparatus, image processing method, computer-readable recording medium, and endoscope system
WO2016084257A1 (ja) 内視鏡装置
US20190246875A1 (en) Endoscope system and endoscope
JP6346501B2 (ja) 内視鏡装置
JPWO2019069414A1 (ja) 内視鏡装置、画像処理方法およびプログラム
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
US10863149B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
US10729309B2 (en) Endoscope system
JP6937902B2 (ja) 内視鏡システム
JP2017123997A (ja) 撮像システムおよび処理装置
WO2021176890A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP2017221276A (ja) 画像処理装置
JP2017228936A (ja) 画像処理システムおよび画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180525

R151 Written notification of patent or utility model registration

Ref document number: 6346501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250