JP6401800B2 - 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置 - Google Patents

Description

本発明は、撮像素子により生成された撮像信号に信号処理を施して画像信号を生成する画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム、およびこの画像処理装置を備えた内視鏡装置に関する。

従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体内に、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても被検体内の体内画像を取得できるため、被検体への負担が少なく、普及が進んでいる。

このような内視鏡装置の観察方式として、白色の照明光（白色照明光）を用いた白色光観察（ＷＬＩ：White Light Imaging）方式と、青色および緑色の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光（狭帯域照明光）を用いた狭帯域光観察（ＮＢＩ：Narrow Band Imaging）方式とが該技術分野では既に広く知られている。このような内視鏡装置の観察方式に関して、白色照明光観察方式（ＷＬＩモード）と、狭帯域光観察方式（ＮＢＩモード）とを切り替えて観察することが望まれている。ＷＬＩモードは、診断に重要な生体構造（血管、粘膜等）が緑色成分の信号（Ｇ信号）に描出される特徴がある。一方、ＮＢＩモードでは、生体構造が青色成分の信号（Ｂ信号）に描出される特徴がある。

上述した観察方式でカラー画像を生成して表示するため、単板の撮像素子により撮像画像を取得すべく、当該撮像素子の受光面上には、一般的にベイヤ配列と呼ばれるフィルタ配列を単位として複数のフィルタがマトリックス状に並べられたカラーフィルタが設けられている。ベイヤ配列は、赤色（Ｒ）、緑色（Ｇ）、緑色（Ｇ）および青色（Ｂ）の波長帯域の光を各々透過する四つのフィルタを２行２列に配列し、かつ緑色の波長帯域の光を透過するＧフィルタを対角に配置してなる。この場合、各画素はフィルタを透過した波長帯域の光を受光し、撮像素子はその波長帯域の光に応じた色成分の電気信号を生成する。

カラー画像に含まれるノイズを低減する技術として、時間的に連続する画像間の動きベクトルを検出し、検出した動きベクトルに応じて画像のノイズを低減する画像処理装置が知られている（例えば、特許文献１を参照）。

また、ベイヤ配列のカラーフィルタが設けられた撮像素子を用いて生成される画像間の動きベクトルを検出する技術として、ベイヤ配列により生成される四つの色信号を加算平均して生成した輝度信号（Ｙ信号）を用いて動きベクトルを検出する動きベクトル検出装置が知られている（例えば、特許文献２を参照）。

特開２００５−１５０９０３号公報 特許第４６３０１７４号公報

特許文献２が開示する技術により動きベクトルを検出する場合、Ｇ信号を生成するＧフィルタが設けられた画素の割合が多い（全画素の半分を占める）ベイヤ配列の撮像素子を用いているため、生成されるＹ信号はＧ信号が支配的となる。このためＧ信号に生体構造が描出されるＷＬＩモードでは高精度な動きベクトルが得られる。しかしながら、特にＢ信号に生体構造が描出されるＮＢＩモードでは、青色の波長帯域に含まれる狭帯域照明光に感度を有する画素の割合が少ない（全画素の４分の１のみ）ため、動きベクトルの検出精度が低下するおそれがある。このため、どちらの観察方式においても動きベクトルを高精度に検出することができる技術が望まれていた。

本発明は、上記に鑑みてなされたものであって、白色照明光観察方式および狭帯域光観察方式のどちらの観察方式においても動きベクトルを高精度に検出することができる画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、赤色、緑色および青色の波長帯域の光を含む白色照明光による白色照明光観察方式、および赤色、緑色および青色の波長帯域のいずれかに含まれる二つの狭帯域の光を含む狭帯域照明光による狭帯域照明光観察方式のいずれかの観察方式の照明光によって複数の画素が生成した信号値に基づいて撮像画像を生成する画像処理装置であって、異なる時間における撮像画像間の動きを検出するための動き検出画像を生成するために、前記白色照明光観察方式の照明光を用いる際には前記白色照明光観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上とし、前記狭帯域観察方式を用いる際には前記狭帯域観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上として、異なる色フィルタを有する複数の画素の組に含まれる画素の画素値を加算平均処理し、該加算平均処理により得られた動き検出画像生成用の信号値をもとに前記動き検出画像を生成する動き検出画像生成部と、前記動き検出画像生成部が生成した前記動き検出画像に基づいて、前記異なる時間における撮像画像をもとに生成された二つの前記動き検出画像間の動きを検出する動き検出処理部と、を備えたことを特徴とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置の作動方法は、赤色、緑色および青色の波長帯域の光を含む白色照明光による白色照明光観察方式、および赤色、緑色および青色の波長帯域のいずれかに含まれる二つの狭帯域の光を含む狭帯域照明光による狭帯域照明光観察方式のいずれかの観察方式の照明光によって複数の画素が生成した信号値に基づいて撮像画像を生成する画像処理装置の作動方法であって、動き検出画像生成部が、異なる時間における撮像画像間の動きを検出するための動き検出画像を生成するために、前記白色照明光観察方式の照明光を用いる際には前記白色照明光観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上とし、前記狭帯域観察方式を用いる際には前記狭帯域観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上として、異なる色フィルタを有する複数の画素の組に含まれる画素の画素値を加算平均処理し、該加算平均処理により得られた動き検出画像生成用の信号値をもとに前記動き検出画像を生成する動き検出画像生成ステップと、動き検出処理部が、前記動き検出画像生成部が生成した前記動き検出画像に基づいて、前記異なる時間における撮像画像をもとに生成された二つの前記動き検出画像間の動きを検出する動き検出処理ステップと、を含むことを特徴とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置の作動プログラムは、赤色、緑色および青色の波長帯域の光を含む白色照明光による白色照明光観察方式、および赤色、緑色および青色の波長帯域のいずれかに含まれる二つの狭帯域の光を含む狭帯域照明光による狭帯域照明光観察方式のいずれかの観察方式の照明光によって複数の画素が生成した信号値に基づいて撮像画像を生成する画像処理装置の作動プログラムであって、動き検出画像生成部が、異なる時間における撮像画像間の動きを検出するための動き検出画像を生成するために、前記白色照明光観察方式の照明光を用いる際には前記白色照明光観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上とし、前記狭帯域観察方式を用いる際には前記狭帯域観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上として、異なる色フィルタを有する複数の画素の組に含まれる画素の画素値を加算平均処理し、該加算平均処理により得られた動き検出画像生成用の信号値をもとに前記動き検出画像を生成する動き検出画像生成手順と、動き検出処理部が、前記動き検出画像生成部が生成した前記動き検出画像に基づいて、前記異なる時間における撮像画像をもとに生成された二つの前記動き検出画像間の動きを検出する動き検出処理手順と、を前記画像処理装置に実行させることを特徴とする。

上述した課題を解決し、目的を達成するために、本発明にかかる内視鏡装置は、白色照明光観察および狭帯域照明光観察を行なうための内視鏡装置であって、赤色、緑色および青色の波長帯域の光を含む白色照明光、および前記白色照明光観察および前記狭帯域照明光観察における各輝度成分の波長帯域のいずれかに含まれる二つの狭帯域の光からなる狭帯域照明光のいずれかを出射する光源部と、マトリックス状に配置された複数の画素を有し、各画素が受光した光を光電変換して電気信号を生成する撮像素子と、前記白色照明光観察の輝度成分、および前記狭帯域照明光観察の輝度成分の波長帯域の光を透過する第１フィルタと、前記白色照明光観察の輝度成分の波長帯域の光を透過する第２フィルタと、前記狭帯域照明光観察の輝度成分の波長帯域の光を透過する第３フィルタと、を用いて構成されるフィルタユニットを複数並べてなり、前記撮像素子の受光面に配置したカラーフィルタと、上記の発明にかかる画像処理装置と、を備えたことを特徴とする。

本発明によれば、白色照明光観察方式および狭帯域光観察方式のどちらの観察方式においても動きベクトルを高精度に検出することができるという効果を奏する。

図１は、本発明の実施の形態にかかる内視鏡装置の概略構成を示す図である。 図２は、本発明の実施の形態にかかる内視鏡装置の概略構成を示す模式図である。 図３は、本発明の実施の形態にかかる画素の構成を示す模式図である。 図４は、本発明の実施の形態にかかるカラーフィルタの構成の一例を示す模式図である。 図５は、本発明の実施の形態にかかるカラーフィルタの各フィルタの特性の一例を示す図であって、光の波長と各フィルタの透過率との関係を示す図である。 図６は、本発明の実施の形態にかかる内視鏡装置の照明部が出射する照明光の波長と光量との関係を示すグラフである。 図７は、本発明の実施の形態にかかる内視鏡装置の照明部が有する切替フィルタによる照明光の波長と透過率との関係を示すグラフである。 図８は、本発明の実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図９は、本発明の実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図１０は、本発明の実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図１１は、本発明の実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図１２Ａは、本発明の実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図１２Ｂは、本発明の実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図１３は、本発明の実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図１４は、本発明の実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図１５は、本発明の実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図１６は、本発明の実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図１７は、本発明の実施の形態にかかる内視鏡装置の動き検出処理部が行う撮像タイミングが異なる画像間の動きを模式的に説明する図である。 図１８は、本発明の実施の形態にかかる内視鏡装置のプロセッサ部が行う信号処理を示すフローチャートである。 図１９は、本発明の実施の形態の変形例４にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図２０は、本発明の実施の形態の変形例４にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図２１は、本発明の実施の形態の変形例４にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図２２は、本発明の実施の形態の変形例４にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。 図２３は、本発明の実施の形態の変形例５にかかるカラーフィルタの構成を示す模式図である。

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、画像処理装置を含む装置の一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

（実施の形態）
図１は、本発明の一実施の形態にかかる内視鏡装置１の概略構成を示す図である。図２は、本発明の一実施の形態にかかる内視鏡装置１の概略構成を示す模式図である。図１および図２に示す内視鏡装置１は、被検体内に挿入部２１を挿入することによって観察部位の体内画像を撮像して電気信号を生成する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３と、内視鏡２が取得した電気信号に所定の画像処理を施すとともに、内視鏡装置１全体の動作を統括的に制御するプロセッサ部４と、プロセッサ部４が画像処理を施した体内画像を表示する表示部５と、を備える。内視鏡装置１は、患者等の被検体内に、挿入部２１を挿入して被検体内の体内画像を取得する。医師等の術者は、取得した体内画像の観察を行うことによって、検出対象部位である出血部位や腫瘍部位の有無を検査する。

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源部３およびプロセッサ部４に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

挿入部２１は、光を受光する画素(フォトダイオード)が格子（マトリックス）状に配列され、当該画素が受光した光に対して光電変換を行うことにより画像信号を生成する撮像素子２０２を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、光源部３に照明光の切替動作を行わせるための指示信号、処置具や、プロセッサ部４と接続する外部機器の操作指示信号、送水を行うための送水指示信号、および吸引を行うための吸引指示信号などを入力する複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の先端に設けられる処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

ユニバーサルコード２３は、ライトガイド２０３と、一または複数の信号線をまとめた集合ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡２および光源部３とプロセッサ部４との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像信号を送受信するための信号線、撮像素子２０２を駆動するための駆動用のタイミング信号を送受信するための信号線などを含む。

また、内視鏡２は、撮像光学系２０１、撮像素子２０２、ライトガイド２０３、照明用レンズ２０４、Ａ／Ｄ変換部２０５および撮像情報記憶部２０６を備える。

撮像光学系２０１は、先端部２４に設けられ、少なくとも観察部位からの光を集光する。撮像光学系２０１は、一または複数のレンズを用いて構成される。なお、撮像光学系２０１には、画角を変化させる光学ズーム機構および焦点を変化させるフォーカス機構が設けられていてもよい。

撮像素子２０２は、撮像光学系２０１の光軸に対して垂直に設けられ、撮像光学系２０１によって結ばれた光の像を光電変換して電気信号(画像信号)を生成する。撮像素子２０２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いて実現される。

図３は、撮像素子２０２の画素の構成を示す模式図である。撮像素子２０２は、撮像光学系２０１からの光を受光する複数の画素が、格子（マトリックス）状に配列されている。そして、撮像素子２０２は、それぞれの画素が受光した光に対して光電変換を行うことにより電気信号（画像信号等とも呼ばれる）を生成する。この電気信号には、各画素の画素値（輝度値）や画素の位置情報などが含まれる。図３では、ｉ行ｊ列目に配置されている画素を画素Ｐ_ｉｊと記している（ｉ，ｊは０を含む自然数）。

撮像素子２０２は、撮像光学系２０１と当該撮像素子２０２との間に設けられ、各々が個別に設定される波長帯域の光を透過する複数のフィルタを有するカラーフィルタ２０２ａを備える。カラーフィルタ２０２ａは、撮像素子２０２の受光面上に設けられる。

図４は、カラーフィルタ２０２ａの構成の一例を示す模式図である。カラーフィルタ２０２ａは、２行２列のマトリックス状に並べられた４個のフィルタからなるフィルタユニットＵ１を画素Ｐ_ｉｊの配置に応じてマトリックス状に並べて配置したものである。換言すれば、カラーフィルタ２０２ａは、フィルタユニットＵ１のフィルタ配列を基本パターンとして、該基本パターンで繰り返し配置したものである。各画素の受光面には、所定の波長帯域の光を透過する一つのフィルタが各々配置される。このため、フィルタが設けられた画素Ｐ_ｉｊは、該フィルタが透過する波長帯域の光を受光する。例えば、緑色の波長帯域の光を透過するフィルタが設けられた画素Ｐ_ｉｊは、緑色の波長帯域の光を受光する。以下、緑色の波長帯域の光を受光する画素Ｐ_ｉｊをＧ画素という。同様に、青色の波長帯域の光を受光する画素をＢ画素、赤色の波長帯域の光を受光する画素をＲ画素という。

ここでのフィルタユニットＵ１は、青色（Ｂ）の波長帯域Ｈ_Ｂ、緑色（Ｇ）の波長帯域Ｈ_Ｇおよび赤色（Ｒ）の波長帯域Ｈ_Ｒの光を透過する。加えて、フィルタユニットＵ１は、波長帯域Ｈ_Ｂの光を透過する青色フィルタ（Ｂフィルタ）、波長帯域Ｈ_Ｇの光を透過する緑色フィルタ（Ｇフィルタ）、波長帯域Ｈ_Ｒの光を透過する赤色フィルタ（Ｒフィルタ）を用いて構成され、二つのＧフィルタが対角に配置されるとともに、ＢフィルタおよびＲフィルタが対角に配置された、いわゆるベイヤ配列をなしている。フィルタユニットＵ１では、Ｇフィルタの密度が、ＢフィルタおよびＲフィルタの密度に対して高い。換言すれば、撮像素子２０２において、Ｇ画素の密度がＢ画素およびＲ画素の密度に対して高い。青色、緑色および赤色の波長帯域Ｈ_Ｂ，Ｈ_ＧおよびＨ_Ｒは、例えば、波長帯域Ｈ_Ｂが３８０ｎｍ〜５００ｎｍ、波長帯域Ｈ_Ｇが４８０ｎｍ〜６００ｎｍ、波長帯域Ｈ_Ｒが５８０ｎｍ〜６５０ｎｍである。

図５は、本実施の形態にかかるカラーフィルタの各フィルタの特性の一例を示す図であって、光の波長と各フィルタの透過率との関係を示す図である。図５では、各フィルタの透過率の最大値が等しくなるように透過率曲線を規格化している。図５に示す曲線Ｌ_ｂ（実線）はＢフィルタの透過率曲線を示し、曲線Ｌ_ｇ（破線）はＧフィルタの透過率曲線を示し、曲線Ｌ_ｒ（一点鎖線）はＲフィルタの透過率曲線を示す。図５に示すように、Ｂフィルタは、波長帯域Ｈ_Ｂの光を透過する。Ｇフィルタは、波長帯域Ｈ_Ｇの光を透過する。Ｒフィルタは、波長帯域Ｈ_Ｒの光を透過する。

図１および図２の説明に戻り、ライトガイド２０３は、グラスファイバ等を用いて構成され、光源部３が出射した光の導光路をなす。

照明用レンズ２０４は、ライトガイド２０３の先端に設けられ、ライトガイド２０３により導光された光を拡散して先端部２４の外部に出射する。

Ａ／Ｄ変換部２０５は、撮像素子２０２が生成した電気信号をＡ／Ｄ変換し、該変換した電気信号をプロセッサ部４に出力する。Ａ／Ｄ変換部２０５は、撮像素子２０２が生成した電気信号を、例えば１２ビットのデジタルデータ（画像信号）に変換する。

撮像情報記憶部２０６は、内視鏡２を動作させるための各種プログラム、内視鏡２の動作に必要な各種パラメータおよび当該内視鏡２の識別情報等を含むデータを記憶する。また、撮像情報記憶部２０６は、識別情報を記憶する識別情報記憶部２６１を有する。識別情報には、内視鏡２の固有情報（ＩＤ）、年式、スペック情報、伝送方式およびカラーフィルタ２０２ａにかかるフィルタの配列情報等が含まれる。撮像情報記憶部２０６は、フラッシュメモリ等を用いて実現される。

つぎに、光源部３の構成について説明する。光源部３は、照明部３１および照明制御部３２を備える。

照明部３１は、照明制御部３２の制御のもと、波長帯域が互いに異なる複数の照明光を切り替えて出射する。照明部３１は、光源３１ａ、光源ドライバ３１ｂ、切替フィルタ３１ｃ、駆動部３１ｄ、駆動ドライバ３１ｅおよび集光レンズ３１ｆを有する。

光源３１ａは、照明制御部３２の制御のもと、赤色、緑色および青色の波長帯域Ｈ_Ｒ，Ｈ_ＧおよびＨ_Ｂの光を含む白色照明光を出射する。光源３１ａが発生した白色照明光は、切替フィルタ３１ｃや、集光レンズ３１ｆおよびライトガイド２０３を経由して先端部２４から外部に出射される。光源３１ａは、白色ＬＥＤや、キセノンランプなどの白色光を発する光源を用いて実現される。

光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することにより、光源３１ａに白色照明光を出射させる。

切替フィルタ３１ｃは、光源３１ａが出射した白色照明光のうち青色の狭帯域光および緑色の狭帯域光のみを透過する。切替フィルタ３１ｃは、照明制御部３２の制御のもと、光源３１ａが出射する白色照明光の光路上に挿脱自在に配置されている。切替フィルタ３１ｃは、白色照明光の光路上に配置されることにより、二つの狭帯域光のみを透過する。具体的には、切替フィルタ３１ｃは、波長帯域Ｈ_Ｂに含まれる狭帯域Ｔ_Ｂ（例えば、４００ｎｍ〜４４５ｎｍ）の光と、波長帯域Ｈ_Ｇに含まれる狭帯域Ｔ_Ｇ（例えば、５３０ｎｍ〜５５０ｎｍ）の光と、からなる狭帯域照明光を透過する。この狭帯域Ｔ_Ｂ，Ｔ_Ｇは、血液中のヘモグロビンに吸収されやすい青色光および緑色光の波長帯域である。なお、狭帯域Ｔ_Ｂは、少なくとも４０５ｎｍ〜４２５ｎｍが含まれていればよい。この帯域に制限されて射出される光を狭帯域照明光といい、当該狭帯域照明光による画像の観察をもって狭帯域光観察（ＮＢＩ）方式という。

駆動部３１ｄは、ステッピングモータやＤＣモータ等を用いて構成され、切替フィルタ３１ｃを光源３１ａの光路から挿脱動作させる。

駆動ドライバ３１ｅは、照明制御部３２の制御のもと、駆動部３１ｄに所定の電流を供給する。

集光レンズ３１ｆは、光源３１ａが出射した白色照明光、または切替フィルタ３１ｃを透過した狭帯域照明光を集光して、光源部３の外部（ライトガイド２０３）に出射する。

照明制御部３２は、光源ドライバ３１ｂを制御して光源３１ａをオンオフ動作させ、および駆動ドライバ３１ｅを制御して切替フィルタ３１ｃを光源３１ａの光路に対して挿脱動作させることによって、照明部３１により出射される照明光の種類（帯域）を制御する。

具体的には、照明制御部３２は、切替フィルタ３１ｃを光源３１ａの光路に対して挿脱動作させることによって、照明部３１から出射される照明光を、白色照明光および狭帯域照明光のいずれかに切り替える制御を行う。換言すれば、照明制御部３２は、波長帯域Ｈ_Ｂ，Ｈ_ＧおよびＨ_Ｒの光を含む白色照明光を用いた白色照明光観察（ＷＬＩ）方式と、狭帯域Ｔ_Ｂ，Ｔ_Ｇの光からなる狭帯域照明光を用いた狭帯域光観察（ＮＢＩ）方式とのいずれかの観察方式に切り替える制御を行う。

ここで、白色照明光観察（ＷＬＩ）方式では緑色成分（波長帯域Ｈ_Ｇ）が輝度成分（第１輝度成分）となり、狭帯域光観察（ＮＢＩ）方式では青色成分（狭帯域Ｔ_Ｂ）が輝度成分（第２輝度成分）となる。なお、本発明における輝度成分とは、例えば後述するＸＹＺ表色系の輝度信号の主成分となる色成分のことをいう。例えば、白色照明光観察では、人間の目の比視感度の最も高く、生体の血管や腺管構造が明瞭に描出される緑色成分が輝度成分となる。一方、狭帯域照明光観察では、被写体により選択される輝度成分が異なり、白色照明光観察と同様に緑色成分が選択される場合もあれば、白色照明光観察時と輝度成分が異なる場合もある。具体的には、狭帯域照明光観察において青色成分または赤色成分が輝度成分になるものの代表例として上述したＮＢＩ方式があり、この場合、生体表層の血管や腺管構造が明瞭に描出される青色成分が輝度成分となる。本実施の形態では、白色照明光観察では緑色成分を輝度成分とし、狭帯域照明光観察では青色成分を輝度成分とする。

図６は、本実施の形態にかかる内視鏡装置１の照明部３１が出射する照明光の波長と光量との関係を示すグラフである。図７は、本実施の形態にかかる内視鏡装置１の照明部が有する切替フィルタ３１ｃによる照明光の波長と透過率との関係を示すグラフである。照明制御部３２の制御により切替フィルタ３１ｃを光源３１ａの光路から外すと、照明部３１は、波長帯域Ｈ_Ｂ，Ｈ_ＧおよびＨ_Ｒの光を含む白色照明光を出射する（図６参照）。これに対し、照明制御部３２の制御により切替フィルタ３１ｃを光源３１ａの光路に挿入すると、照明部３１は、狭帯域Ｔ_Ｂ，Ｔ_Ｇの光からなる狭帯域照明光を出射する（図７参照）。

次に、プロセッサ部４の構成について説明する。プロセッサ部４は、画像処理部４１、入力部４２、記憶部４３および制御部４４を備える。

画像処理部４１は、内視鏡２（Ａ／Ｄ変換部２０５）からの撮像信号をもとに所定の画像処理を実行して、表示部５が表示するための表示画像信号を生成する。画像処理部４１は、動き検出画像生成処理部４１１、動き検出処理部４１２、ノイズ低減処理部４１３、フレームメモリ４１４、デモザイキング処理部４１５および表示画像生成処理部４１６を有する。

動き検出画像生成処理部４１１は、Ａ／Ｄ変換部２０５より出力される同時化前画像（現画像）とフレームメモリ４１４に保持されている過去画像に対し、後述する変換処理を施すことで動き検出画像を生成する。ここでいう過去画像とは、最新フレームの画像（現画像）の直前に取得され、ノイズ低減処理が施された画像（例えば１フレーム前の画像）である。動き検出画像生成処理部４１１は、制御部４４から観察方式に関する観察モード情報を取得し、観察方式に応じた変換処理を施す。また、本実施の形態における変換処理とは、白色照明光観察方式の照明光を用いる際には白色照明光観察方式における撮像画像（現画像または過去画像）の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上とし、狭帯域観察方式を用いる際には狭帯域観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上として、異なる色フィルタを有する複数の画素の組に含まれる画素の画素値を加算平均処理することをいう。

動き検出処理部４１２は、動き検出画像生成処理部４１１により生成された動き検出画像を用いて、画像の動きを動きベクトルとして検出する。換言すれば、動き検出処理部４１２は、撮像タイミングが異なる（時系列の）動き検出画像間の画像の動きを動きベクトルとして検出する。

ノイズ低減処理部４１３は、動き検出処理部４１２による検出結果、現画像および過去画像を用いた画像間の加重平均処理により、現画像（撮像信号）のノイズ成分を低減する。過去画像は、フレームメモリ４１４に記憶されている過去画像を出力することにより取得される。また、ノイズ低減処理部４１３は、ノイズ低減処理を施した現画像をフレームメモリ４１４に出力する。

フレームメモリ４１４は、一つの画像（同時化前画像）を構成する１フレーム分の画像情報を記憶する。具体的には、フレームメモリ４１４は、ノイズ低減処理部４１３によりノイズ低減処理が施された同時化前画像の情報を記憶する。フレームメモリ４１４では、ノイズ低減処理部４１３により新たに同時化前画像が生成されると、該新たに生成された同時化前画像の情報に更新される。なお、複数フレームの同時化前画像を記憶するものであってもよい。フレームメモリ４１４は、ＶＲＡＭ（Video Random Access Memory）等の半導体メモリを用いるものであってもよいし、記憶部４３の記憶領域の一部を用いるものであってもよい。

デモザイキング処理部４１５は、例えば、ノイズ低減処理部４１３によりノイズ低減処理が施された撮像信号をもとに、複数の画素の色情報（画素値）の相関から補間方向を判別し、判別した補間方向に並んだ画素の色情報に基づいて補間を行うことによって、カラー画像信号を生成する。

表示画像生成処理部４１６は、デモザイキング処理部４１５により生成されたカラー画像信号に対して、表示部５の色域である例えばｓＲＧＢ（ＸＹＺ表色系）の色空間に色変換処理を行い、所定の階調変換特性に基づく階調変換、拡大処理、または粘膜表層の毛細血管や粘膜微細模様などの構造の構造強調処理などを施す。表示画像生成処理部４１６は、所定の処理を施した後、該処理後の信号を表示用の表示画像信号として表示部５に出力する。

画像処理部４１は、上述したデモザイキング処理のほか、ＯＢクランプ処理や、ゲイン調整処理などを行う。ＯＢクランプ処理では、内視鏡２（Ａ／Ｄ変換部２０５）から入力された電気信号に対し、黒レベルのオフセット量を補正する処理を施す。ゲイン調整処理では、デモザイキング処理を施した画像信号に対し、明るさレベルの調整処理を施す。

入力部４２は、プロセッサ部４に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り替えるためのモード切替ボタン、光源部３の照明光（観察方式）を切り替えるための照明光切替ボタンなどを含んで構成されている。

記憶部４３は、内視鏡装置１を動作させるための各種プログラム、および内視鏡装置１の動作に必要な各種パラメータ等を含むデータを記録する。記憶部４３は、内視鏡２にかかる情報、例えば内視鏡２の固有情報（ＩＤ）とカラーフィルタ２０２ａのフィルタ配置にかかる情報との関係テーブルなどを記憶してもよい。記憶部４３は、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。

制御部４４は、ＣＰＵ等を用いて構成され、内視鏡２および光源部３を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４４は、記憶部４３に記録されている撮像制御のための設定データ（例えば、読み出し対象の画素など）や、撮像タイミングにかかるタイミング信号等を、所定の信号線を介して内視鏡２へ送信する。制御部４４は、撮像情報記憶部２０６を介して取得したカラーフィルタ情報（識別情報）や、現在適用されている観察方式に応じた制御モード（観察モード）に関する観察モード情報などを画像処理部４１に出力するとともに、カラーフィルタ情報に基づいて切替フィルタ３１ｃの配置にかかる情報を光源部３に出力する。

次に、表示部５について説明する。表示部５は、映像ケーブルを介してプロセッサ部４が生成した表示画像信号を受信して該表示画像信号に対応する体内画像を表示する。表示部５は、液晶または有機ＥＬ（Electro Luminescence）を用いて構成される。

続いて、内視鏡装置１のプロセッサ部４の各部が行う信号処理について図面を参照して説明する。図８〜１６は、本発明の実施の形態にかかる内視鏡装置１の動き検出画像生成処理部４１１が行う動き検出画像生成処理を説明する図である。

〔ＷＬＩモードの動き検出画像生成処理〕
動き検出画像生成処理部４１１は、注目画素（画素Ｐ_ｉｊ）の座標を（ｘ，ｙ）とし、現画像において四つの画素を一つの組とする加算平均対象領域（例えば図８に示す加算平均対象領域Ｑ１，Ｑ２，Ｑ３）の四つの画素値の加算平均処理することにより、動き検出用画像の信号値Ｙ（ｘ，ｙ）を生成する（図９参照）。例えば、画素Ｇ_００の信号値Ｇ（０，０）に対応する動き検出用画像生成用の信号値Ｙ（０，０）は加算平均対象領域Ｑ１により生成され、画素Ｂ_０１の信号値Ｂ（０，１）に対応する動き検出用画像生成用の信号値Ｙ（０，１）は加算平均対象領域Ｑ２により生成され、画素Ｒ_１０の信号値Ｒ（１，０）に対応する動き検出用画像生成用の信号値Ｙ（１，０）は加算平均対象領域Ｑ３により生成される。加算平均対象領域は、隣接する画素が存在しない場合、折り返した位置にある画素を用いる。具体的には、動き検出画像生成処理部４１１は、動き検出用画像の信号Ｙ_００、Ｙ_０１は、下式（１）、（２）により算出する（他の座標についても同様）。

この際に生成される各信号値Ｙ（ｘ，ｙ）の位相（図８での紙面上の重心位置）は、各々が、対応する画素（例えば、信号値Ｙ（０，０）であれば画素Ｇ_００）の中心位置から水平方向および垂直方向に１／２画素ずつずれるものの、各位相は均一に配置されている。例えば、信号値Ｇ（０，０）に対応する信号値Ｙ（ｘ，ｙ）の位相はＳ１１であり、信号値Ｂ（０，１）に対応する信号値Ｙ（０，１）の位相はＳ１２であり、信号値Ｒ（１，０）に対応する信号値Ｙ（１，０）の位相はＳ１３である（図１０参照）。また、信号値Ｙ（ｋ，ｌ）を構成するＲＧＢ信号の割合は、Ｒ：Ｇ：Ｂ＝１：２：１でＧ信号の比率が高い（Ｇ信号の重みが大きい）。

このように、ＷＬＩモードでは、生体構造がＧ信号（ＷＬＩ方式の輝度成分の信号）に描出される特徴があるため、位相が均一になるようにＧ成分の信号値の比率を高くして信号値Ｙを生成する。

〔ＮＢＩモードの動き検出画像生成処理〕
ＮＢＩモードでは、生体構造がＢ信号（ＮＢＩ方式の輝度成分の信号）に描出される特徴があるため、上述したＷＬＩモードの方法を用いると、Ｙ信号に占めるＢ信号の比率が低く動き検出処理の精度が低下する。また、本実施の形態では、狭帯域光にはＲ成分が存在せず信号値Ｒ（１，０）がゼロになるため、図１１に示すように、信号値Ｙ（０，０）の位相がＳ３１、信号値Ｙ（０，１）の位相がＳ３２、信号値Ｙ（１，０）の位相がＳ３３となり、全体的に位相（図１１の●）が不均一（位相ズレ）となる。さらに、被写体が動いている場合等には、位相ズレの影響により画像間でエッジ形状が変形するため、動き検出処理の精度低下を招く。より詳細には、信号値Ｙ（ｘ，ｙ）を構成する信号値Ｇ（ｘ，ｙ）および信号値Ｂ（ｘ，ｙ）のうち、信号値Ｂ（ｘ，ｙ）の位相が不均一となるため、動き検出処理の精度が低下する。図１２Ａおよび図１２Ｂは、本実施の形態にかかる内視鏡装置の動き検出画像生成処理部が行う動き検出画像生成処理を説明する図である。図１２Ａは、信号値Ｙ（１，０）におけるＧ信号の位相Ｓｇ１と、信号値Ｙ（１，０）におけるＢ信号の位相Ｓｂ１と、を示している。また、図１２Ｂは、信号値Ｙ（２，０）におけるＧ信号の位相Ｓｇ２と、信号値Ｙ（２，０）におけるＢ信号の位相Ｓｂ２と、を示している。図１２Ａおよび図１２Ｂに示すように、信号値Ｙ（１，０）と信号値Ｙ（２，０）とにおいて、Ｇ信号の位相Ｓｇ１，Ｓｇ２は変化するものの、Ｂ信号の位相Ｓｂ１，Ｓｂ２は変化しない。

このように、ＷＬＩモードの動き検出用画像生成処理をＮＢＩモードに適用すると、以下の課題が存在する。
１．生体表層の生体構造が描出されるＢ信号の比率が小さい。
２．動き検出用画像の位相が不均一になる。

上記課題１，２を解消するため、動き検出画像生成処理部４１１は、ＮＢＩモードおいて、下式（３）を用いて信号値Ｙ（ｘ，ｙ）を生成する。なお、信号値Ｒ（ｘ，ｙ）はゼロとなるため使用しない。また、信号値Ｂ_tmp（ｘ，ｙ）に乗ずる係数（式（３）では２）は、輝度成分であるＢ成分の重みを大きくするための重み付け値である。

具体的には、画素Ｂ_２１の信号値Ｂ（０，１）に対応する動き検出用画像生成用の信号値Ｙ（０，１）を生成する場合、動き検出画像生成処理部４１１は、図１３に示す加算平均対象領域Ｑ１１の五つの画素の信号値をもとに、下式（４）、（５）によって信号値Ｂ_tmp（０，１）およびＧ_tmp（０，１）をそれぞれ生成した後、式（３）により信号値Ｙ（０，１）を生成する。信号値Ｙ（０，１）の位相は、図１３に示すＳ２１となる。

また、画素Ｂ_２１の信号値Ｂ（２，１）に対応する動き検出用画像生成用の信号値Ｙ（２，１）を生成する場合、動き検出画像生成処理部４１１は、図１４に示す加算平均対象領域Ｑ１２の五つの画素の信号値をもとに、下式（６）、（７）によって信号値Ｂ_tmp（２，１）およびＧ_tmp（２，１）をそれぞれ生成した後、式（３）により信号値Ｙ（２，１）を生成する。信号値Ｙ（２，１）の位相は、図１４に示すＳ２２となる。

また、画素Ｂ_０３の信号値Ｂ（０，３）に対応する動き検出用画像生成用の信号値Ｙ（０，３）を生成する場合、動き検出画像生成処理部４１１は、図１５に示す加算平均対象領域Ｑ１３の五つの画素の信号値をもとに、下式（８）、（９）によって信号値Ｂ_tmp（０，３）およびＧ_tmp（０，３）をそれぞれ生成した後、式（３）により信号値Ｙ（０，２）を生成する。信号値Ｙ（０，３）の位相は、図１５に示すＳ２３となる。

また、画素Ｂ_２３の信号値Ｂ（２，３）に対応する動き検出用画像生成用の信号値Ｙ（２，３）を生成する場合、動き検出画像生成処理部４１１は、図１６に示す加算平均対象領域Ｑ１４の五つの画素の信号値をもとに、下式（１０）、（１１）によって信号値Ｂ_tmp（２，３）およびＧ_tmp（２，３）をそれぞれ生成した後、式（３）により信号値Ｙ（２，３）を生成する。信号値Ｙ（２，３）の位相は、図１６に示すＳ２４となる。

ＮＢＩモードでは、生体構造がＢ信号（ＮＢＩ方式の輝度成分の信号）に描出される特徴があるため、信号値Ｙを生成する画素とその近傍の複数のＢ画素およびＧ画素とを用いることで、位相の均一な動き検出画像を生成することができる。具体的には、信号値Ｙを生成する画素位置を基準に、水平方向および垂直方向で近接する画素から三つのＢ画素および二つのＧ画素を含む加算平均対象領域の信号値を用いることで、位相の均一な動き検出画像を生成することができる。なお、上述した例では、Ｂ画素位置での信号値Ｙを算出するものを説明したが、Ｇ画素位置についても同様に行うことが好ましい。このように、Ｂ信号の比率が大きくなるように設定した加算平均対象領域の信号値によって信号値Ｙ（ｘ，ｙ）を生成するとともに、信号値Ｙ（ｘ，ｙ）の位相を均一にするにより、動き検出処理の精度が向上する。また、ＷＬＩモードでは信号値Ｙを生成する画素とその近傍の複数のＧ画素、ＮＢＩモードでは信号値Ｙを生成する画素とその近傍の複数のＢ画素とを用いることで、位相の均一な動き検出画像を生成してもよい。

次に、動き検出処理部４１２およびノイズ低減処理部４１３が行う処理について説明する。図１７は、本発明の実施の形態にかかる内視鏡装置１の動き検出処理部４１２が行う撮像タイミングが異なる画像間の動きを模式的に説明する図である。図１７に示すように、動き検出処理部４１２は、過去画像に基づく第１動き検出画像Ｆ１、および処理対象の現画像に基づく第２動き検出画像Ｆ２を用いて、ブロックＢ１をテンプレートとする公知のブロックマッチング法により、第１動き検出用画像Ｆ１と第２動き検出用画像Ｆ２との間の画像の動き量Ｙ１を動きベクトルとして検出する。なお、第１動き検出用画像Ｆ１および第２動き検出用画像Ｆ２は、時系列に連続した二つのフレームの撮像信号に基づく画像である。

動き検出処理部４１２は、ブロックマッチング法を用いて、動き検出画像生成部４１１が生成した動き検出画像から画素（信号値Ｙ）毎に動きベクトルを検出する。以下、画素Ｍ１の座標を（ｘ，ｙ）とし、座標（ｘ，ｙ）における動きベクトルのｘ成分をＶｘ（ｘ，ｙ）、ｙ成分をＶｙ（ｘ，ｙ）と記載する。また、第１動き検出用画像Ｆ１における画素Ｍ１’の座標を（ｘ’，ｙ’）とすると、ｘ’およびｙ’は、下式（１２）、（１３）でそれぞれ定義される。ブロックマッチング処理部４１２ｂは、検出した動きベクトル（画素Ｍ１，Ｍ１’の位置を含む）情報をノイズ低減処理部４１３に出力する。

ノイズ低減処理部４１３は、現画像と過去画像との画像間の加重平均処理により、現画像のノイズを低減する。以下、注目画素、例えば、画素Ｍ１（座標（ｘ，ｙ））におけるノイズ低減処理後の信号をＩｎｒ（ｘ，ｙ）と記載する。ノイズ低減処理部４１３は、動きベクトル情報を参照し、注目画素に対応する参照画素が同色画素であるか否かを判断し、同色の場合と異色の場合とで異なる処理を実行する。ノイズ低減処理部４１３は、例えば、フレームメモリ４１４に記憶されている過去画像の情報を参照して、画素Ｍ１に対応する参照画素である画素Ｍ１’（座標（ｘ’，ｙ’））の情報（信号値や透過光の色情報）を取得し、画素Ｍ１’が画素Ｍ１と同色画素であるか否かを判断する。

１）．注目画素と参照画素とが同色の場合
注目画素と参照画素とが同色（同一の色成分の光を受光する画素）の場合、ノイズ低減処理部４１３は、下式（１４）を用いて同時化前画像および巡回画素の各１画素を用いた加重平均処理を行うことにより信号Ｉｎｒ（ｘ，ｙ）を生成する。

但し、Ｉ（ｘ，ｙ） ：現画像の注目画素の信号値
Ｉ’（ｘ’，ｙ’）：過去画像の参照画素の信号値
係数ｃｏｅｆは、０＜ｃｏｅｆ＜１を満たす任意の実数である。係数ｃｏｅｆは、所定値が予め設定されているものであってもよいし、ユーザにより入力部４２を介して任意の値が設定されるものであってもよい。

２）．注目画素と参照画素とが異色の場合
注目画素と参照画素とが異色（異なる色成分の光を受光する画素）の場合、ノイズ低減処理部４１３は、過去画像の参照画素における信号値を周辺同色画素から補間する。ノイズ低減処理部４１３は、例えば下式（１５）を用いてノイズ低減処理後の信号Ｉｎｒ（ｘ，ｙ）を生成する。

但し、
Ｉ（ｘ，ｙ）とＩ（ｘ’＋ｉ，ｙ’＋ｊ）と同色画素の信号値である場合、ｗ（ｘ’＋ｉ，ｙ’＋ｊ）は１、
Ｉ（ｘ，ｙ）とＩ（ｘ’＋ｉ，ｙ’＋ｊ）と異色画素の信号値である場合、ｗ（ｘ’＋ｉ，ｙ’＋ｊ）は０
となる。

式（１５）において、ｗ（ｘ’＋ｉ，ｙ’＋ｊ）は同色画素を抽出するための関数であり、周辺画素（ｘ’＋ｉ，ｙ’＋ｊ）が注目画素（ｘ，ｙ）と同色の場合に１、異なる色の場合は０となる。また、Ｋは参照する周辺領域の大きさを設定するパラメータである。パラメータＫは、Ｇ画素である場合は１（Ｋ＝１）、Ｂ画素またはＲ画素である場合は２（Ｋ＝２）とする。なお、Ｇ画素である場合にＫ＝２、Ｂ画素またはＲ画素である場合にＫ＝４としてもよい。

その後、デモザイキング処理部４１５が、ノイズ低減処理部４１３によりノイズ低減処理が施された信号（信号Ｉｎｒ（ｘ，ｙ））をもとに補間処理を行うことによって、カラー画像信号を生成する。デモザイキング処理部４１５は、例えば、観察方式に応じた輝度成分の信号値に基づいて、複数の画素の色情報（画素値）の相関から補間方向を判別し、判別した補間方向に並んだ画素の色情報に基づいて補間を行うことによって、カラー画像信号を生成する。また、他の方法として、公知のバイキュービック補間を用いてもよい。

デモザイキング処理部４１５は、補間処理を施すことにより、画素位置ごとにＲＧＢ成分またはＧＢ成分を有する信号値を付与したカラー画像（同時化後の画像）を含むカラー画像信号を生成する。デモザイキング処理部４１５は、輝度成分および色成分の信号をＲＧＢの各チャンネルに割り当てる。観察方式（ＷＬＩ／ＮＢＩ）におけるチャンネルと信号との関係を以下に示す。本実施の形態では、Ｇチャンネルに輝度成分の信号が割り当てられるものとする。
ＷＬＩ ＮＢＩ
Ｒチャンネル ： Ｒ信号 Ｇ信号
Ｇチャンネル ： Ｇ信号 Ｂ信号
Ｂチャンネル ： Ｂ信号 Ｂ信号

続いて、上述した構成を有するプロセッサ部４が行う信号処理について、図面を参照して説明する。図１８は、本実施の形態にかかる内視鏡装置１のプロセッサ部４が行う信号処理を示すフローチャートである。制御部４４は、内視鏡２から電気信号を取得すると、該電気信号に含まれる現画像（同時化前画像）の読み込みを行う（ステップＳ１０１）。内視鏡２からの電気信号は、撮像素子２０２により生成され、Ａ／Ｄ変換部２０５によってデジタル信号に変換された同時化前画像データを含む信号である。

制御部４４は、現画像の読み込み後、識別情報記憶部２６１を参照して制御情報（例えば、照明光（観察方式）にかかる情報や、カラーフィルタ２０２ａの配列情報）を取得し、動き検出画像生成処理部４１１およびデモザイキング処理部４１５に出力する（ステップＳ１０２）。

動き検出画像生成処理部４１１は、制御情報に基づき、電気信号（読み込んだ同時化前画像）が、取得した白色照明光観察（ＷＬＩ）方式および狭帯域観察（ＮＢＩ）方式のうちどちらの観察方式により生成されたものか（どちらの観察モードが設定されているか）を判断し、該判断をもとに動き検出画像を生成する（ステップＳ１０３：動き検出画像生成ステップ）。動き検出画像生成処理部４１１は、現画像およびフレームメモリ４１４に記憶されている過去画像をもとに動き検出画像を生成し、該生成した動き検出画像を動き検出処理部４１２およびフレームメモリ４１４に出力する。

動き検出処理部４１２は、動き検出画像生成処理部４１１から動き検出画像を取得すると、現画像に対応する動き検出画像および過去画像に対応する動き検出画像とをもとに動きベクトルの検出を行う（ステップＳ１０４：動き検出処理ステップ）。動き検出処理部４１２は、検出した動きベクトルをノイズ低減処理部４１３に出力する。

ノイズ低減処理部４１３は、現画像、過去画像、および動き検出処理部４１２により検出された動きベクトルを用いて、電気信号（ステップＳ１０１で読み込んだ現画像）に対しノイズ低減処理を施す（ステップＳ１０５）。なお、本ステップＳ１０５により生成されたノイズ低減処理後の電気信号（同時化前画像）は、デモザイキング処理部４１５に出力されるとともに、過去画像としてフレームメモリ４１４に格納（更新）される（ステップＳ１０６）。

デモザイキング処理部４１５は、ノイズ低減処理部４１３からノイズ低減処理後の電子信号が入力されると、該電子信号をもとにデモザイキング処理を行う（ステップＳ１０７）。デモザイキング処理部４１５は、輝度成分以外の色成分の画素位置における輝度成分を補間して、各画素が輝度成分の画素値または補間値を有する一枚の画像を構成する画像信号を生成後、輝度成分の画素値および補間値、ならびに輝度成分以外の色成分の画素の画素値をもとに、ＲＧＢの各色成分の画素値または補間値を有する一枚の画像を構成する画像信号を色成分ごとに生成する。その後、デモザイキング処理部４１５は、各色成分の各画像信号を用いてカラー画像を構成するカラー画像信号を生成する。デモザイキング処理部４１５は、ＷＬＩモードの場合は赤色成分、緑色成分および青色成分の画像信号を用いてカラー画像信号を生成し、ＮＢＩモードの場合は緑色成分および青色成分の画像信号を用いてカラー画像信号を生成する。

デモザイキング処理部４１５によりカラー画像信号が生成された後、表示画像生成処理部４１６は、該カラー画像信号対して、表示部５の色域である例えばｓＲＧＢ（ＸＹＺ表色系）の色空間に色変換処理を行い、所定の階調変換特性に基づく階調変換、拡大処理などを施して表示用の表示画像信号を生成する（ステップＳ１０８）。表示画像生成処理部４１６は、所定の処理を施した後、表示画像信号として表示部５に出力する。

表示画像生成処理部４１６により表示画像信号が生成されると、該表示画像信号に応じて画像表示処理が行われる（ステップＳ１０９）。画像表示処理により、表示部５には、表示画像信号に応じた画像が表示される。

制御部４４は、表示画像生成処理部４１６による表示画像信号の生成処理、および画像表示処理後、この画像が最終画像であるか否かを判断する（ステップＳ１１０）。制御部４４は、全ての画像に対して一連の処理が完了した場合は処理を終了し（ステップＳ１１０：Ｙｅｓ）、未処理画像が残っている場合はステップＳ１０１に移行して同様の処理を継続する（ステップＳ１１０：Ｎｏ）。

本実施の形態では、プロセッサ部４を構成する各部をハードウェアで構成し、各部が処理を行うものとして説明したが、ＣＰＵが各部の処理を行う構成として、該ＣＰＵがプログラムを実行することによって上述した信号処理をソフトウェアで実現するものであってもよい。例えば、カプセル型内視鏡などの撮像素子で予め取得された画像に対して、ＣＰＵが上述したソフトウェアを実行することで信号処理を実現することとしてもよい。また、各部が行う処理の一部をソフトウェアで構成することとしてもよい。この場合、ＣＰＵは、上述したフローチャートにしたがって信号処理を実行する。

上述した本実施の形態によれば、動き検出画像生成処理部４１１によって観察方式（ＷＬＩモードおよびＮＢＩモード）によらず位相が均一な信号値Ｙを生成し、動き検出処理部４１２が、該信号値Ｙをもとに動きベクトルの検出を行うようにしたので、白色照明光観察方式および狭帯域光観察方式のどちらの観察方式においても動きベクトルを高精度に検出することができる。具体的には、動き検出画像生成処理部４１１が、ＷＬＩモードでは、輝度成分であるＧ成分の信号値の比率の大きい加算平均対象領域の四つの信号値をもとに信号値Ｙを生成し、ＮＢＩモードでは、輝度成分であるＢ成分の信号の比率が大きくなるように加算平均対象領域を設定したり、信号値に重み付けを行なったりして信号値Ｙを生成し、かつ信号値Ｙの位相が均一となるため、その後の動きベクトル検出処理を高精度に行うことができる。

（実施の形態の変形例１）
上述した実施の形態では、Ａ／Ｄ変換部２０５より出力される現画像に対し、動きベクトル検出処理およびノイズ低減処理を施すものとして説明したが、本発明はこれに限定されない。本変形例１では、補間処理後のカラー画像信号に対して動きベクトル検出処理およびノイズ低減処理を施す。この場合、Ａ／Ｄ変換部２０５で取得される現画像がデモザイキング処理部４１５に出力される。デモザイキング処理部４１５が生成したカラー画像信号は、動き検出画像生成処理部４１１およびノイズ低減処理部４１３に出力される。

動き検出画像生成処理部４１１は、観察方式に応じて下式（１６）、（１７）を用いて動き検出用画像をそれぞれ生成する。なお、式（１６）、（１７）における信号値Ｒｉ（ｘ，ｙ）、Ｇｉ（ｘ，ｙ）およびＢｉ（ｘ，ｙ）は、信号値Ｙ（ｘ，ｙ）に応じた画素位置において補間により生成された各色成分の信号値である。式（１６）、（１７）では、各観察方式の輝度成分の信号値が重み付けされている。
〔ＷＬＩモードの場合〕

〔ＮＢＩモードの場合〕

また、ノイズ低減処理部４１３は上式（１４）を用いてノイズ低減画像を生成し、表示画像生成処理部４１６に出力すればよい。この方法によれば、ノイズ低減処理時に上式（１５）に示した補間処理が不要となり、演算コストを低減できる。

（実施の形態の変形例２）
上述した実施の形態では、ＷＬＩモードの場合に、四つの画素の単純な加算平均で信号値Ｙ（動き検出画像）を生成するものとして説明したが、本発明はこれに限定されない。本変形例２では、ＲＧＢの各色成分の信号値の加重平均により信号値Ｙを生成する。重み付け値としては予め設定された所定値を用いてもよいし、入力部４２より術者等が任意の値を設定する構成としてもよい。いずれの場合も、信号値Ｙに占めるＧ成分の信号値の割合が５０％以上となることが好ましい。例えば、信号値Ｙを算出する式として、下式（１８）に示す変換式を用いる。

また、ＮＢＩモードでは、Ｂ：Ｇ＝２：１の割合で信号値Ｙを生成するものとしたが、本発明はこれに限定されない。この場合も同様に、入力部４２より術者等が任意の値を設定する構成としてもよい（Ｂ：Ｇ＝１：１、またはＢ：Ｇ＝３：１など）。Ｂ成分の信号値の割合は５０％以上に設定することが好ましい。

（実施の形態の変形例３）
上述した実施の形態では、ＮＢＩモードの場合に、上式（４）、（６）、（８）（１０）を用いて信号値Ｙ（動き検出画像）を生成するものとして説明したが、本発明はこれに限定されない。本変形例３では、下式（１９）〜（２２）を用いて上式（３）に示したＢ_tmpを算出する構成としてもよい（注目するＢ画素の周囲にある四つのＢ画素の信号値を使用する）。なお、注目画素を中心に３×３の画素領域のなかからＢ画素を選択するものとして説明したが、５×５の画素領域のなかからＢ画素を選択するものであってもよい。

（実施の形態の変形例４）
上述した実施の形態では、図８〜１０に示したように動き検出画像は、現画像および過去画像と同一の大きさ（画素数）を有するものとして説明したが、本発明はこれに限定されない。本変形例４では、現画像および過去画像に対し、水平方向および垂直方向をそれぞれ１／２の大きさに縮小した動き検出画像を生成する。図１９〜２２は、本発明の実施の形態の変形例４にかかる内視鏡装置１の動き検出画像生成処理部４１１が行う動き検出画像生成処理を説明する図である。

動き検出画像生成処理部４１１は、動き検出画像の信号値をＹｓ（ｘ，ｙ）とすると、観察方式に応じて下式（２３）〜（２９）を用いて動き検出用画像をそれぞれ生成する。
〔ＷＬＩモードの場合〕
ＷＬＩモードでは、例えば、下式（２３）、（２４）を用いて信号値Ｙｓ（ｘ，ｙ）を生成する（図１９参照）。加算平均対象領域は、例えば、図１９に示す加算平均対象領域Ｑ２１，Ｑ２２であって、一つの画素の信号値を重複して用いないように領域が設定される。

〔ＮＢＩモードの場合〕
また、ＮＢＩモードでは、下式（２５）〜（２９）を用いて信号値Ｙｓ（ｘ，ｙ）を生成する（図２０参照）。加算平均対象領域は、例えば、図２０に示す加算平均対象領域Ｑ３１，Ｑ３２であって、Ｂ画素を中心画素として九つの画素からなる領域が設定される。

具体的には、動き検出画像生成処理部４１１は、動き検出画像生成用の信号値Ｙｓ（１，０）を生成する場合、図２０に示す加算平均対象領域Ｑ３１の五つの画素の信号値（Ｒ画素を除く）をもとに、下式（２６）、（２７）によって信号値Ｂ_tmp２（１，０）およびＧ_tmp２（１，０）をそれぞれ生成した後、式（２５）により信号値Ｙｓ（１，０）を生成する。信号値Ｙｓ（１，０）の位相は、図２１に示すＳ４１となる。

また、動き検出画像生成処理部４１１は、動き検出画像生成用の信号値Ｙｓ（１，１）を生成する場合、図２０に示す加算平均対象領域Ｑ３２の七つの画素の信号値（Ｒ画素を除く）をもとに、下式（２８）、（２９）によって信号値Ｂ_tmp（１，１）およびＧ_tmp（１，１）をそれぞれ生成した後、式（２５）により信号値Ｙｓ（１，１）を生成する。信号値Ｙｓ（１，１）の位相は、図２２に示すＳ４２となる。

変形例４によれば、動き検出画像が小さくなるため、動き検出処理部４１２のブロックマッチング処理に要する演算コストを削減（回路を小規模化）できる。変形例４の場合、動き検出処理部４１２は検出した動きベクトルの大きさを２倍（現画像上での動きベクトルに換算）して、ノイズ低減処理部４１３に出力する。

（実施の形態の変形例５）
上述した実施の形態では、撮像素子２０２は、２行２列の画素からなるフィルタユニットＵ１（図４参照）を基本パターンとするものとして説明したが、本発明はこれに限定されない。例えば、４行４列の画素からなるフィルタユニットであってもよい。図２３は、本発明の実施の形態の変形例５にかかるカラーフィルタの構成を示す模式図である。図２２に示すフィルタユニットＵ２は、八つのＧフィルタ、六つのＢフィルタおよび二つのＲフィルタが、同一の色フィルタが水平方向および垂直方向で隣接しないように並べられてなる。このフィルタユニットＵ２における動き検出用画像の生成処理を以下に示す。

〔ＷＬＩモードの場合〕
ＷＬＩモードでは、現画像に対する四つの画素の加算平均処理により、動き検出画像の信号値Ｙ（ｘ，ｙ）を生成する（図８と同様）。例えば、動き検出画像の信号値Ｙ（０，０）およびＹ（０，１）は上式（１）および（２）を用いて生成する（他の座標も同様）。

〔ＮＢＩモードの場合〕
ＮＢＩモードでは、上述したようにＲ画素の信号値がゼロとなるため使用しない。この場合、例えば図２３に示すフィルタユニットＵ２の左上の四つの画素はＧ画素およびＢ画素のみで構成されており、Ｒ画素を含まないため、Ｙ（０,０）は上式（１）で上述したように四つの画素の加算平均処理により生成する。一方、Ｙ（０，１）の場合は、四つの画素（Ｂ_２１，Ｇ_２２，Ｇ_３１，Ｒ_３２）にＲ画素が含まれるため、上式（４）、（５）を用いて、位相ズレを生じないようにする必要がある。具体的には、例えば、下式（３０）〜（３３）を用いる。なお、信号値に割り振られる座標は、上記と同様である。
・加算平均対象領域内にＲ画素が存在しない場合（例えば、信号値Ｙ（０,０）の場合）

・加算平均対象領域内にＲ画素が存在する場合（例えば、信号値Ｙ（０,１）の場合）

ＮＢＩモードでは、Ｒ画素の配置に応じて上式（３０）〜（３３）を用いることにより、信号値Ｙを生成する。

なお、上述した実施の形態にかかるカラーフィルタ２０２ａは、フィルタユニットにおいて、波長帯域Ｈ_Ｇの光を透過するＧフィルタの数が、波長帯域Ｈ_Ｂの光を透過するＢフィルタの数、および波長帯域Ｈ_Ｒの光を透過するＲフィルタの数より大きければよく、上述した配列のほか、上記の条件を満たす配列であれば適用可能である。また、上述したフィルタユニットは、２行２列または４行４列でフィルタが配置されたものとして説明したが、これらの行数および列数に限定されるものではない。

また、上述した実施の形態では、各々が所定の波長帯域の光を透過するフィルタを複数有するカラーフィルタ２０２ａが撮像素子２０２の受光面に設けられているものとして説明したが、各フィルタが撮像素子２０２の各画素に個別に設けられているものであってもよい。

また、上述した実施の形態では、狭帯域照明光が、波長帯域Ｈ_Ｂに含まれる狭帯域Ｔ_Ｂの光と、波長帯域Ｈ_Ｇに含まれる狭帯域Ｔ_Ｇの光と、からなるものとして説明したが、これらの狭帯域に限るものではない。例えば、波長帯域Ｈ_Ｒに含まれる狭帯域Ｔ_Ｒの光と、波長帯域Ｈ_Ｇに含まれる狭帯域Ｔ_Ｇの光と、からなる狭帯域照明光であってもよい。波長帯域Ｈ_Ｒに含まれる狭帯域Ｔ_Ｒの光により、例えば深層の血管を観察することができる。この場合の狭帯域照明光観察の輝度成分は、赤色成分となる。また、加算平均対象領域は、上述したＢ画素を基点とする領域設定と同様に、Ｒ画素を基点に領域が設定される。

なお、上述した実施の形態にかかる内視鏡装置１は、一つの光源３１ａから出射される白色光に対して、切替フィルタ３１ｃの挿脱により照明部３１から出射される照明光を白色照明光および狭帯域照明光に切り替えるものとして説明したが、白色照明光および狭帯域照明光をそれぞれ出射する二つの光源を切り替えて白色照明光および狭帯域照明光のいずれかを出射するものであってもよい。二つの光源を切り替えて白色照明光および狭帯域照明光のいずれかを出射する場合、例えば、光源部、カラーフィルタおよび撮像素子を備え、被検体内に導入されるカプセル型の内視鏡にも適用することができる。

また、上述した実施の形態にかかる内視鏡装置１は、Ａ／Ｄ変換部２０５が先端部２４に設けられているものとして説明したが、プロセッサ部４に設けられるものであってもよい。また、画像処理にかかる構成を、内視鏡２や、内視鏡２とプロセッサ部４とを接続するコネクタ、操作部２２などに設けるものであってもよい。また、上述した内視鏡装置１では、識別情報記憶部２６１に記憶された識別情報などを用いてプロセッサ部４に接続されている内視鏡２を識別するものとして説明したが、プロセッサ部４と内視鏡２との接続部分（コネクタ）に識別手段を設けてもよい。例えば、内視鏡２側に識別用のピン（識別手段）を設けて、プロセッサ部４に接続された内視鏡２を識別する。

以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置は、白色照明光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得るのに有用である。

１ 内視鏡装置
２ 内視鏡
３ 光源部
４ プロセッサ部
５ 表示部
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２４ 先端部
３１ 照明部
３１ａ 光源
３１ｂ 光源ドライバ
３１ｃ 切替フィルタ
３１ｄ 駆動部
３１ｅ 駆動ドライバ
３１ｆ 集光レンズ
３２ 照明制御部
４１ 画像処理部
４２ 入力部
４３ 記憶部
４４ 制御部
２０１ 撮像光学系
２０２ 撮像素子
２０２ａ カラーフィルタ
２０３ ライトガイド
２０４ 照明用レンズ
２０５ Ａ／Ｄ変換部
２０６ 撮像情報記憶部
２６１ 識別情報記憶部
４１１ 動き検出画像生成処理部
４１２ 動き検出処理部
４１３ ノイズ低減処理部
４１４ フレームメモリ
４１５ デモザイキング処理部
４１６ 表示画像生成処理部
Ｕ１，Ｕ２ フィルタユニット

Claims (7)

1. 赤色、緑色および青色の波長帯域の光を含む白色照明光による白色照明光観察方式、および赤色、緑色および青色の波長帯域のいずれかに含まれる狭帯域照明光による狭帯域照明光観察方式のいずれかの観察方式の照明光によって複数の画素が生成した信号値に基づいて撮像画像を生成する画像処理装置であって、
   異なる時間における撮像画像間の動きを検出するための動き検出画像を生成するために、前記白色照明光観察方式の照明光を用いる際には前記白色照明光観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上とし、前記狭帯域観察方式を用いる際には前記狭帯域観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上として、異なる色フィルタを有する複数の画素の組に含まれる画素の画素値を加算平均処理し、該加算平均処理により得られた動き検出画像生成用の信号値をもとに前記動き検出画像を生成する動き検出画像生成部と、
   前記動き検出画像生成部が生成した前記動き検出画像に基づいて、前記異なる時間における撮像画像をもとに生成された二つの前記動き検出画像間の動きを検出する動き検出処理部と、
   を備えたことを特徴とする画像処理装置。
2. 前記白色照明光観察の輝度成分は、緑色成分であり、
   前記狭帯域照明光観察の輝度成分は、青色成分であり、
   前記動き検出画像生成部は、前記白色照明光観察の場合に緑色成分の画素値を重み付けした加算平均処理を行い、前記狭帯域照明光観察の場合に青色成分の画素値を重み付けした加算平均処理を行う、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記組に含まれる前記複数の画素の配置に基づく位相であって、前記動き検出画像生成用の信号値の位相は、前記動き検出画像内で均一に配置される、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記動き検出処理部が検出した前記動きに基づいて前記撮像画像に含まれるノイズ成分を低減するノイズ低減処理部
   をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
5. 赤色、緑色および青色の波長帯域の光を含む白色照明光による白色照明光観察方式、および赤色、緑色および青色の波長帯域のいずれかに含まれる二つの狭帯域の光を含む狭帯域照明光による狭帯域照明光観察方式のいずれかの観察方式の照明光によって複数の画素が生成した信号値に基づいて撮像画像を生成する画像処理装置の作動方法であって、
   動き検出画像生成部が、異なる時間における撮像画像間の動きを検出するための動き検出画像を生成するために、前記白色照明光観察方式の照明光を用いる際には前記白色照明光観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上とし、前記狭帯域観察方式を用いる際には前記狭帯域観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上として、異なる色フィルタを有する複数の画素の組に含まれる画素の画素値を加算平均処理し、該加算平均処理により得られた動き検出画像生成用の信号値をもとに前記動き検出画像を生成する動き検出画像生成ステップと、
   動き検出処理部が、前記動き検出画像生成部が生成した前記動き検出画像に基づいて、前記異なる時間における撮像画像をもとに生成された二つの前記動き検出画像間の動きを検出する動き検出処理ステップと、
   を含むことを特徴とする画像処理装置の作動方法。
6. 赤色、緑色および青色の波長帯域の光を含む白色照明光による白色照明光観察方式、および赤色、緑色および青色の波長帯域のいずれかに含まれる二つの狭帯域の光を含む狭帯域照明光による狭帯域照明光観察方式のいずれかの観察方式の照明光によって複数の画素が生成した信号値に基づいて撮像画像を生成する画像処理装置の作動プログラムであって、
   動き検出画像生成部が、異なる時間における撮像画像間の動きを検出するための動き検出画像を生成するために、前記白色照明光観察方式の照明光を用いる際には前記白色照明光観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上とし、前記狭帯域観察方式を用いる際には前記狭帯域観察方式における撮像画像の輝度成分の光を透過するフィルタを有する画素の画素値の重みを他の種類のフィルタを有する画素の画素値の重み以上として、異なる色フィルタを有する複数の画素の組に含まれる画素の画素値を加算平均処理し、該加算平均処理により得られた動き検出画像生成用の信号値をもとに前記動き検出画像を生成する動き検出画像生成手順と、
   動き検出処理部が、前記動き検出画像生成部が生成した前記動き検出画像に基づいて、前記異なる時間における撮像画像をもとに生成された二つの前記動き検出画像間の動きを検出する動き検出処理手順と、
   を前記画像処理装置に実行させることを特徴とする画像処理装置の作動プログラム。
7. 白色照明光観察および狭帯域照明光観察を行なうための内視鏡装置であって、
   赤色、緑色および青色の波長帯域の光を含む白色照明光、および前記白色照明光観察および前記狭帯域照明光観察における各輝度成分の波長帯域のいずれかに含まれる二つの狭帯域の光からなる狭帯域照明光のいずれかを出射する光源部と、
   マトリックス状に配置された複数の画素を有し、各画素が受光した光を光電変換して電気信号を生成する撮像素子と、
   前記白色照明光観察の輝度成分、および前記狭帯域照明光観察の輝度成分の波長帯域の光を透過する第１フィルタと、前記白色照明光観察の輝度成分の波長帯域の光を透過する第２フィルタと、前記狭帯域照明光観察の輝度成分の波長帯域の光を透過する第３フィルタと、を用いて構成されるフィルタユニットを複数並べてなり、前記撮像素子の受光面に配置したカラーフィルタと、
   請求項１に記載の画像処理装置と、
   を備えたことを特徴とする内視鏡装置。

Images