JP4951649B2 - 画像処理装置 - Google Patents

Description

本発明は、複数種類の観察光で観察することを可能とする画像処理装置に関する。

現在、体腔内にスコープを挿入することにより、食道、胃、小腸、大腸などの消化管や肺等の気管を観察し、必要に応じて処置具チャンネル内に挿通した処置具を用いて各種の治療処理のできる電子内視鏡が広く利用されている。
特に、光源装置から光学フィルタを通す等して赤、緑、青等の光を順次被写体に照射してモノクロの撮像素子で受光し、プロセッサ内で信号処理を行ってカラー画像として表示装置に出力する面順次式の内視鏡装置は国内で広く普及している。

プロセッサ内の信号処理としては、病変の発見を容易にするために行われる色強調がある。色強調では、生体粘膜に含まれるヘモグロビンの量を基準にして色を強調する等して、正常粘膜と病変粘膜を色の差により明確に区別しやすくする。

また、内視鏡による診断では、肉眼で見えるのと同様のカラー画像をモニタに表示する通常観察の他に、生体組織の自家蛍光を利用した自家蛍光観察も行われ始めている。自家蛍光観察では、紫外〜青色の励起光を生体組織に当てた時に生体組織から出てくる自家蛍光のスペクトルが正常粘膜と腫瘍で異なることを利用して診断を行う。

この自家蛍光の画像は、生体組織により反射されて戻ってくる反射光画像と共に、それぞれ異なる色を割り当ててモニタに表示されることにより、病変部を正常部との色の違いとして明確に認識できるようになる。蛍光は微弱なため、蛍光画像にはノイズが多く含まれ、蛍光観察用のプロセッサにはノイズ除去回路が搭載されることが多い。

また、例えば特開２００２−９５６３５号公報に開示されているように、通常の観察光よりも狭い帯域の光を照射して観察を行う、狭帯域光観察（ＮＢＩ：ＮａｒｒｏｗＢａｎｄＩｍａｇｉｎｇ）というものも行われている。狭帯域光観察では、粘膜表層の血管をよりコントラスト良く観察することが可能になる。

この狭帯域光観察は狭帯域の光で観察を行うため、通常の内視鏡画像とは異なった色調の画像が表示される。そこで、プロセッサ内に色変換回路を設けることにより色の調整を行い、より病変の判別に適した色調に変換してからモニタに出力して表示している。

また、近赤外光を照射して観察を行う赤外観察というものも行われている。赤外観察時には、インドシアニングリーン（ＩＣＧ）という近赤外に吸収を持つ薬剤を血管内に注入することにより、通常観察では見ることのできない粘膜下深部の血行動態を観察することが可能になる。この赤外観察時にも、粘膜に含まれるＩＣＧの量を基準として色強調処理を行うことにより、よりコントラストのよい血管像を観察することができる。

これらの、通常観察、蛍光観察、狭帯域光観察、赤外観察は、照明光の切替が可能な照明装置を用いることにより、１つのシステムにまとめることが可能である。

従来の電子内視鏡装置やプロセッサでは、１つのプロセッサ内で通常観察、蛍光観察、狭帯域光観察、赤外観察などの複数種類の観察光（観察モード）に対応した観察処理を行う場合には、そのそれぞれに必要な色強調、ノイズ除去、色変換などの画像処理機能を全て搭載するために、その回路規模が非常に大きなものになってしまっていた。

内視鏡装置の回路規模を減らす工夫としては、特開平５−２７７０６５号公報に開示されているように、接続される内視鏡に搭載されているＣＣＤ毎にプログラミング可能な論理素子を構成することにより、回路を共通化するものがある。 しかし、この技術は内視鏡装置の電源を入れていない時等の観察を行っていないときに、自動的に論理素子を構成するものであるために、検査の途中などで使用者の操作に応じた論理素子の構成を行うことができなかった。

また、観察を行っているときに論理素子の構成を行うと、論理素子の構成中には信号処理を行うことができないため、モニタ上の画像が消えてしまうといった問題点があった。

また、観察モード切替時に照明光を切り替えるためには回転フィルタの回転数を変化させたりフィルタの位置を移動させたりするため、その間、画像の色が乱れたり、画像の明るさが一定しない、などの問題が生じていた。
すなわち、観察モード切替時（フィルタ切替時）に画像の乱れを防止し、観察画像の静止画表示を可能にする画像処理装置の提供が求められていた。

（発明の目的）
本発明は上述した点に鑑みてなされたもので、その目的は、観察モード切替時（フィルタ切替時）に画像の乱れを防止し、観察画像の静止画表示を可能にする画像処理装置を提供することにある。

本発明の画像処理装置は、被写体へ照明光を照射する照明手段と、前記照明光の照明光路中に配置可能に配設され、第１の波長領域の光を透過する第１の分光手段と、前記照明光の照明光路中に配置可能に配設され、前記第１の波長領域とは異なる第２の波長領域の光を透過する第２の分光手段と、前記照明光路中に配置される前記第１の分光手段と第２の分光手段の切り替え指示を行う切り替え指示手段と、前記第１の分光手段または第２の分光手段を透過した照明光を前記被写体に照射することにより得られる反射光から前記被写体像を撮像する撮像手段と、前記撮像手段の出力信号に基づいた静止画像を生成可能な静止画像生成手段と、前記切り替え指示手段の指示に応じて、前記静止画像生成手段により生成された当該切り替え指示時における静止画像をフリーズさせた状態で表示させ、前記静止画像の表示中に前記第１の分光手段と第２の分光手段の切り替えを行い、当該第１の分光手段と第２の分光手段の切り替えが完了した後に当該フリーズを解除するよう制御する制御手段と、を具備したことを特徴とする。

本発明によれば、観察モード切替時（フィルタ切替時）に画像の乱れを防止し、観察画像の静止画表示を可能にする。

本発明の第１の実施の形態を備えた内視鏡装置の全体構成図。 帯域切替フィルタの説明図。 回転フィルタ板の説明図。 通常・蛍光観察フィルタ、赤外観察フィルタの透過特性を示す図。 狭帯域光観察フィルタの透過特性を示す図。 Ｒ，Ｇ，Ｂフィルタの透過特性を示す図。 励起、Ｇ′、Ｒ′フィルタの透過特性を示す図。 励起光カットフィルタの透過特性を示す図。 第１の実施の形態に係るフィルタ切替時の動作説明図。 ＦＰＧＡにより構成される色強調回路の構成図。 ＦＰＧＡにより構成されるノイズ除去回路の構成図。 ＦＰＧＡにより構成される色変換回路の構成図。 本発明の第２の実施の形態に係るフィルタ切替時の動作説明図。

以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１ないし図１２は本発明の第１の実施の形態に係り、図１は第１の実施の形態を備えた内視鏡装置の全体構成を示し、図２は帯域切替フィルタを示し、図３は回転フィルタ板を示し、図４は通常・蛍光観察フィルタ、赤外観察フィルタの透過特性を示し、図５は狭帯域光観察フィルタの透過特性を示し、図６はＲ，Ｇ，Ｂフィルタの透過特性を示し、図７は励起、Ｇ′、Ｒ′フィルタの透過特性を示し、図８は励起光カットフィルタの透過特性を示し、図９はフィルタ切替時の動作説明を示し、図１０は通常光及び赤外光観察時にＦＰＧＡで構成される色強調回路の構成を示し、図１１は蛍光観察時にＦＰＧＡにより構成されるノイズ除去回路の構成を示し、図１２は狭帯域光観察時にＦＰＧＡにより構成される色変換回路の機能を示す。

本実施の形態の目的は複数の観察光（観察モード）に対応した信号処理を、少ない回路規模で実現すること及びプログラミング可能な論理素子の構成（構築）中においても、観察画像の動画表示を可能にする画像処理装置及び電子内視鏡装置を提供することにある。

まず、本実施の形態の構成を説明する。
図１に示すように本発明の第１の実施の形態を備えた電子内視鏡装置１は、体腔内に挿入可能で、体腔内の患部等の被写体８を撮像する電子内視鏡（以下、スコープと略記）２と、このスコープ２が着脱自在に接続され、観察用の照明光を発生する光源装置３と、スコープ２が着脱自在に接続され、撮像された画像信号に対する信号処理等を行うプロセッサ４と、このプロセッサ４と接続され、プロセッサ４から出力される映像信号が入力され、この映像信号に対応する画像を表示するモニタ５と、プロセッサ４に接続され、データやコマンド等を入力するキーボード６と、フットスイッチ７とより構成される。

スコープ２は、体腔内に挿入される細長の挿入部１１と、この挿入部１１の後端に設けられた操作部１２と、この操作部１２から延出されるユニバーサルコード１３とを有する。

スコープ２の挿入部１１内には照明光を伝送するライトガイドファイバ１４が挿通されており、このライトガイドファイバ１４の後端側はユニバーサルコード１３内を挿通され、その後端のライトガイドコネクタ１５を光源装置３に着脱自在に接続することにより、光源装置３から照明光が供給される。

このライトガイドファイバ１４により伝送された照明光は挿入部１１の先端部の照明窓に取り付けられた先端面からさらに照明レンズ１６を経て体腔内の被写体８側に出射される。

この照明窓に隣接して設けられた観察窓（撮像窓）には対物レンズ１７が取り付けてあり、その結像位置には高感度の固体撮像素子、具体的にはＣＣＤ１８が配置されており、その撮像面に結像された光学像を光電変換する。このＣＣＤ１８は信号線を介してその端部のコネクタをプロセッサ４に着脱自在に接続できるようにしている。

このＣＣＤ１８の撮像面の前には励起光カットフィルタ１９が配置されており、蛍光観察する場合に用いられる励起光をカットして、微弱な蛍光をＣＣＤ１８に導光できるようにしている。
また、このスコープ２の操作部１２には、フィルタ切替による照明光の切替えを指示するフィルタ切替スイッチ２０が設けてある。

光源装置３は、赤外域から可視域をカバーする光を放射するキセノンランプ等のランプ２１と、このランプ２１の照明光路上に設けられ透過波長を制限する帯域切替フィルタ２２と、この帯域切替フィルタ２２を切り替えるためのモータ２３と、透過する波長域が異なるフィルタが設けられた回転フィルタ板２４と、この回転フィルタ板２４を回転駆動するためのモータ２５と、回転フィルタ板２４を照明光軸に対して垂直な方向Ａに移動するためのモータ２６と、回転フィルタ板２４を透過した光を集光してライトガイドコネクタ１５の端面に入射させる集光レンズ２７と備えている。

この場合、回転フィルタ板２４を回転するモータ２５にはラック２８が取り付けてあり、このラック２８に噛合するピニオン２９をその回転軸に取り付けたモータ２６を回転駆動することにより、モータ２５及び回転フィルタ板２４を照明光軸と垂直な方向Ａに移動できるようにしている。

また、この光源装置３における例えばフロントパネルには、使用者が操作できる位置に通常光・特殊光切替スイッチ３１と特殊光選択スイッチ３２とが配置されている。なお、ここでの特殊光とは蛍光観察、狭帯域光観察、赤外光観察を意味する。

プロセッサ４は、ＣＣＤ１８からの撮像信号に対する前処理を行うプリプロセス回路３４、Ａ／Ｄ変換回路３５、カラーバランス補正回路３６、第１同時化メモリ３７、ディレイ３８又はプログラマブルに回路を構築可能とするＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３９、ディレイ３８側及びＦＰＧＡ３９側の信号を選択するセレクタ４０、ガンマ補正回路４１、空間フィルタ回路からなる構造強調回路４２、第２同時化メモリ４３、Ｄ／Ａ変換回路４４の順に映像信号が流れるように構成されている。

また、プロセッサ４に設けた制御等を行うＣＰＵ４５は、スコープ２、キーボード６、フットスイッチ７、光源装置３などの外部機器、及びプロセッサ４内部の色調設定スイッチ３３，ロード制御回路４６等の内部回路と電気的に接続されている。

また、プログラマブルに回路を構築可能とするＦＰＧＡ３９は、論理演算などを行うゲート回路だけでなく内部メモリを搭載しており、内部にルックアップテーブルを構成したり画像メモリを構成したりすることができる。

このロード制御回路４６は、ＦＰＧＡ３９にロードするデータを記憶したデータＲＯＭ４７のアドレス指定などを行えるように接続されており、データＲＯＭ４７の出力は、ＦＰＧＡ３９を構成するためのデータロード用のピンに接続されている。
このデータＲＯＭ４７には、通常観察、蛍光観察、狭帯域光観察、赤外観察のそれぞれの観察モードに対応した合計４つの回路データが記憶されており、選択された回路データがＦＰＧＡ３９にロードされてその回路データに対応した回路が構築される。

キーボード６には、通常観察、蛍光観察、狭帯域光観察、赤外観察のそれぞれを選択切替するために、図示しない４つのキーが配置されている。また、フットスイッチ７には、光源装置３の通常光・特殊光切替スイッチ３１、特殊光選択スイッチ３２に相当するスイッチが配置されている。
図２に示すように帯域切替フィルタ２２は、通常・蛍光観察用フィルタ４８、赤外観察用フィルタ４９、狭帯域光観察用フィルタ５０が配置されている。

各フィルタの分光特性はそれぞれ図４、図５に示すようになっている。つまり、図４は通常・蛍光観察用フィルタ４８の透過特性４８ａ及び赤外観察用フィルタ４９の透過特性４９ａを示し、図５は狭帯域光観察フィルタ５０の透過特性５０ａ、５０ｂ、５０ｃを示す。

この場合、通常・蛍光観察用フィルタ４８の透過特性４８ａは４００ｎｍ〜６６０ｎｍの光を透過し、赤外観察用フィルタ４９の透過特性はは７９０〜９８０ｎｍの光を透過する。

また図５に示すように、狭帯域光観察フィルタ５０に関しては、１つのフィルタで３つの離散的な帯域を透過する３峰性の透過特性５０ａ、５０ｂ、５０ｃを有する。つまり４００〜４３０ｎｍ、５３０〜５６０ｎｍ、６００〜６３０ｎｍの光を透過する透過特性５０ａ、５０ｂ、５０ｃを有する。

回転フィルタ板２４は、図３に示すように外周にそれぞれ赤、緑、青の波長の光を透過するＲフィルタ５１、Ｇフィルタ５２、Ｂフィルタ５３が配置されている。
また、回転フィルタ板２４における内周には５４０〜５６０ｎｍの光を透過するＧ′フィルタ５４、３９０〜４５０ｎｍの励起光を透過する励起フィルタ５５、６００〜６２０ｎｍの光を透過するＲ′フィルタ５６が配置されている。

外周、内周のフィルタの分光特性はそれぞれ図６、図７に示すようになっている。つまり、図６に示すようにＲフィルタ５１、Ｇフィルタ５２、Ｂフィルタ５３はそれぞれフィルタ特性５１ａ，５２ａ，５３ａに示す透過特性を示す。

また、図６に示すように、外周の各フィルタ５１，５２，５３に関しては、可視光の帯域だけでなく近赤外光の帯域も部分的に透過する特性を持っている。 具体的には、Ｒフィルタ５１及びＧフィルタ５２の透過特性５１ａ及び５２ａは７５０〜８２０ｎｍの光を透過する特性を有し、Ｂフィルタ５３の透過特性５３ａは９００ｎｍ以上の波長の光も透過する特性を有する。

励起光カットフィルタ１９は、図８に示すように４５０ｎｍ以下の波長の光を遮断する透過特性１９ａを持ち、その透過帯域は励起フィルタ５５の透過帯域と重ならないようにしている。

本実施の形態では、光源装置３には複数の観察モードに対応して、選択された観察モードに対応した照明光をスコープ２のライトガイドファイバ１４に供給可能にすると共に、プロセッサ４には選択された各観察モードにおいて、その観察モードで撮像された信号に対して必要とされる信号処理を行う回路をＦＰＧＡ３９により、データＲＯＭ４７から読み出す回路データを（ロード制御回路４６によるロード制御により）選択することによって、プログラマブルにその回路を構築できるようにしている。

このような構成にすることにより、共通のＦＰＧＡ３９により、例えば通常観察時及び赤外光観察時には共通のＦＰＧＡ３９により色強調回路を、蛍光観察時にはノイズ除去回路を構築できるようにして、小さな回路規模で必要とされる信号処理を行えるようにしていることが特徴となっている。

また、ＦＰＧＡ３９と共に、このＦＰＧＡ３９を通さないで動画の表示処理を行うバイパス回路を設け、ＦＰＧＡ３９により構築される回路とバイパス回路とをセレクタ４０で選択可能とし、ＦＰＧＡ３９により回路を構築中の場合には一時的にバイパス回路を通すことにより、ＦＰＧＡ３９により回路を構築中の場合においても動画を表示できるようにして使い勝手を向上していることも特徴となっている。

次に本実施の形態の作用を説明する。
光源装置３のランプ２１からは、被写体を照明するための光が放射される。ランプ２１から放射された光は、帯域切替フィルタ２２、回転フィルタ板２４を通過した後、集光レンズ２７により集光されてスコープ２のライトガイドファイバ１４に入射される。

帯域切替フィルタ２２は、ＣＰＵ４５からのフィルタ切替指示信号によってモータ２３によって回転駆動され、通常観察時及び蛍光観察時には通常・蛍光観察用フィルタ４８が、狭帯域光観察時には狭帯域光観察用フィルタ５０が、赤外観察時には赤外観察用フィルタ４９がそれぞれ照明光路上に挿入される。

回転フィルタ板２４は、通常観察時、狭帯域光観察時及び赤外観察時には外周のフィルタが光軸上に挿入され、モータ２５により所定の速度で回転駆動されることにより順次Ｒフィルタ５１、Ｇフィルタ５２、Ｂフィルタ５３が光路上に入れられる。

帯域切替フィルタ２２との組み合わせにより、通常観察時には赤、緑、青の光が、狭帯域光観察時には、４００〜４３０ｎｍ、５３０〜５６０ｎｍ、６００〜６３０ｎｍの光が、赤外光観察時には、７９０〜８２０ｎｍ、７９０〜８２０ｎｍ、９００〜９８０ｎｍの光がそれぞれ透過される。

このモータ２５は、微弱な蛍光を長い露光時間で撮像するために、蛍光観察時のみは他の観察モードに比べて遅い速度で回転する。また、蛍光観察時には、回転フィルタ板２４はＣＰＵ４５からのフィルタ切替指示信号に応じてモータ２６により照明光路と垂直な方向Ａに移動されることにより、内周のフィルタが照明光路上に挿入される。

内周のフィルタ挿入時には５４０〜５６０ｎｍ、３９０〜４５０ｎｍ、６００〜６２０ｎｍの波長の光が順次、光源装置３から出射される。ここで、３９０〜４５０ｎｍの光は生体組織からの自家蛍光を励起するための励起光である。

スコープ２のライトガイドファイバ１４に入射された光は、スコープ２の先端部の照明窓から消化管等の被写体８に照射される。被写体８で散乱、反射、放射された光はスコープ２の先端部の観察窓の対物レンズ１７によりＣＣＤ１８上に結像され、光電変換されて撮像される。

ＣＣＤ１８の前面には励起光カットフィルタ１９が配置されており、３９０〜４５０ｎｍの励起光を遮断して蛍光を抽出する作用を持つ。このＣＣＤ１８は回転フィルタ板２４の回転に同期して図示しないＣＣＤ駆動回路により駆動され、Ｒフィルタ５１、Ｇフィルタ５２、Ｂフィルタ５３等、回転フィルタ板２４のそれぞれのフィルタを透過した照射光に対応する画像信号が順次プロセッサ４に入力される。

プロセッサ４に入力された画像信号は、まずプリプロセス回路３４に入力される。プリプロセス回路３４ではＣＤＳ（相関２重サンプリング）等の処理により画像信号が取り出される。
プリプロセス回路３４から出力された信号はＡ／Ｄ変換回路３５によりアナログ信号からデジタル信号に変換される。Ａ／Ｄ変換回路３５から出力された信号は、カラーバランス補正回路３６に入力される。

カラーバランス補正回路３６では、基準となる被写体を撮像としたときにモニタ５に所定の色で表示されるように信号の増幅率が調整された後、第１同時化メモリ３７に一時的に記憶される。この第１同時化メモリ３７では、順次記憶された画像データを同時に読み出すことにより、面順次画像の同時化を行う。

同時化された画像データは、ディレイ回路３８とＦＰＧＡ３９とに入力される。ディレイ回路３８は、ＦＰＧＡ３９を通過する信号と同じ時間だけ遅延するようにタイミングを合わせるためのメモリである。

ディレイ回路３８及びＦＰＧＡ３９からの出力信号はセレクタ４０に入力される。このセレクタ４０では、ディレイ３８から出力された信号とＦＰＧＡ３９から出力された信号の片方を選択すると共に、同時化された信号を再度面順次化してガンマ補正回路４１に出力する。

この面順次化は、ガンマ補正回路４１や構造強調回路４２の回路規模を小さくするために行われる。ガンマ補正回路４１ではモニタ５のガンマ特性を補正する変換が行われ、構造強調回路４２で画像の輪郭成分が強調されて第２同時化メモリ４３に出力される。

第２同時化メモリ４３で再び同時化された信号は、Ｄ／Ａ変換回路４４によりアナログ信号に変換され、モニタ５に出力され、ＣＣＤ１８で撮像された画像が表示される。

観察光の切替（実際に切り替えるのは照明光であるが観察光も変わるのでここではこのように記述する）は、スコープ２のフィルタ切替スイッチ２０、キーボード６、フットスイッチ７、光源装置３のスイッチ３１、３２のいずれかを使用者が操作することにより行われる。

キーボード６上では、通常観察、蛍光観察、狭帯域光観察、赤外観察のそれぞれを選択するためのキーがあるので、直接観察したいモードを使用者が選択することにより、対応付けられた指示信号がＣＰＵ４５に入力され、ＣＰＵ４５はその指示信号に対応して観察光の切替制御を行う。

スコープ２のフィルタ切替スイッチ２０が押されたときには、通常観察→蛍光観察→狭帯域光観察→赤外観察→通常観察…の順に、使用者によりスイッチ２０が押される毎に観察光が順次切り替わるようにＣＰＵ４５は制御する。

光源装置３の通常光・特殊光切替スイッチ３１（又はフットスイッチ７におけるこれに対応するスイッチ）が押された場合には、押される前の状態が、蛍光観察、狭帯域光観察、赤外観察のいずれかの場合には、通常観察に切り替えるようにＣＰＵ４５が制御する。

押される前の状態が通常観察の場合は、蛍光観察、狭帯域光観察、赤外観察のいずれかに切り替えるようにＣＰＵ４５が制御する。この場合、蛍光観察、狭帯域光観察、赤外観察のどれに切り替えられるかは、特殊光選択スイッチ３２により選択することができる。
特殊光選択スイッチ３２は、使用者がスイッチを押す毎に蛍光観察→狭帯域光観察→赤外観察→蛍光観察…のように３つの特殊観察モードの中の１つが選択される。

特殊光選択スイッチ３２が押される前の状態が通常観察である場合には、ＣＰＵ４５は観察光の切替は行わず、図示しない表示用ＬＥＤ表示により選択されている特殊観察モードが変わったことが分かる。特殊光選択スイッチ３２が押される前の状態が通常観察ではない場合には、ＣＰＵ４５は実際に観察光の切替制御を行う。

観察光の切替を行うときのＣＰＵ４５による制御動作を図９に示す。
まず、ＣＰＵ４５は第２同時化メモリ４３を制御してモニタ５に出力されるＲＧＢ信号全てに同じ信号（Ｇ信号）を割り当てることにより、モノクロ画像を出力するようにする（ステップＳ１）。

そして、次のステップＳ２で、ＣＰＵ４５はセレクタ４０によりディレイ回路３８からの信号を選択することにより、その場合の画像信号がＦＰＧＡ３９を通過しないようにする。つまり、ＣＰＵ４５はディレイ回路３８を通した画像信号を選択する。

次のステップＳ３では、ＣＰＵ４５はモータ２３、モータ２６を制御するフィルタ切替指示信号を送り、フィルタ切換処理により選ばれた観察光に切り替える。

その時、同時に、ＣＰＵ４５はロード制御回路４６にＦＰＧＡ再構成を指示（ステップＳ４）することにより、ＦＰＧＡ３９を再構成する。

ロード制御回路４６では、観察光に対応したデータＲＯＭ４７のアドレスを指定すると共に、ＦＰＧＡ３９に回路データを読み込むための制御を行い、データＲＯＭ４７から読み出された観察光に対応した回路データがＦＰＧＡ３９にロードされる。

ＣＰＵ４５では、ロード制御回路４６から再構成の終了を判断する（ステップＳ５）。具体的にはＣＰＵ４５はＦＰＧＡ３９からロード終了したことの確認する信号を受けるまで待つ。さらにＣＰＵ４５はステップＳ６でフィルタ切替終了を待ち、そのフィルタ切替終了後、ステップＳ７に示すようにセレクタ４０によりＦＰＧＡ３９からの出力を選択する。

なお、フィルタ切替終了の信号は、切替終了の信号を光源装置３から受けてもよいし、フィルタ切替終了にかかる時間以上に設定したタイマの出力信号で判断するようにしてもよい。

そして、次のステップＳ８で第２同時化メモリ４３を制御して再度カラー画像を出力するように制御する。

このように、ロード中のＦＰＧＡ３９を迂回するバイパス回路を設けることにより、ＦＰＧＡ３９の構成中でも、動画での観察が可能になる。ＦＰＧＡ３９内で行う画像処理についてはバイパス通過中には行うことができないが、この時はフィルタ切替中の画像であって元々の画像の色調も正常ではないので特に問題とはならない。

また、一応動画像を観察できるので、フィルタ切替中にスコープ２が意外な動きをしていないか等を確認することができ、使い勝手を確保することができる。また、フィルタ切替中の画像をモノクロ画像にすることにより、フィルタ切替による画像の色調の乱れを目立たないようにすることができる。

通常光観察時、赤外光観察時にＦＰＧＡ３９内に構成される色強調回路６０を図１０に示す。
色強調回路６０では、まず入力される入力画像信号（具体的にはＲｉｎ、Ｇｉｎ、Ｂｉｎ）を基に、色素量算出回路６１において色素量を算出する。この色素量算出回路６１では、通常観察時にはヘモグロビン量を、赤外観察時にはＩＣＧ量を画素ごとに算出する。

ヘモグロビン量ＩＨｂを求める式は、
ＩＨｂ＝ｌｏｇ（Ｒ／Ｇ）
で表され、ＩＣＧ量ＩＩｃｇを求める式は
ＩＩｃｇ＝ｌｏｇ（Ｂ／Ｒ）
で表される。

また、色素量算出回路６１からは、画素ごとの色素量（ヘモグロビン量またはＩＣＧ量）の他に、画像１フレーム分の色素量の平均値として平均色素量も出力される。

色素量算出回路６１で算出された色素量および平均色素量は、強調係数算出回路６２に入力され、色素量と平均色素量との差を基にした強調係数が画素ごとに算出される。

通常観察時（ＩＨｂ算出時）の場合、各画素ごとの強調係数αは、
α＝ＩＨｂ−Ａｖｅ（ＩＨｂ）
で表され、赤外観察時（ＩＣＧ量算出時）の場合も上式のＩＨｂの代わりにＩＩｃｇが入る以外は同様である。

上式におけるＡｖｅ（ＩＨｂ）はＩＨｂの画像１フレーム分の平均値を示す。ここで各画素の色素量と１フレーム分の平均値との差をとることにより、偏った色分布の画像でも効果的に強調することができる。

また、入力画像信号としてのＲｉｎ、Ｇｉｎ、Ｂｉｎはそれぞれディレイ回路６３ａ、６３ｂ、６３ｃにより遅延された後、それぞれルックアップテーブル（ＬＵＴと略記）６４ａ、６４ｂ、６４ｃに入力される。

つまり、ディレイ回路６３ａ、６３ｂ、６３ｃを通してタイミングを調整された画像信号と、強調係数αと、ＣＰＵ４５から指定される色調設定レベルの値とがそれぞれＬＵＴ６４ａ、６４ｂ、６４ｃに入力され、これらをもとにして色素量を基にした色強調を画素ごとに行う。

強調の式は、
Ｒout＝Ｒin×ｅｘｐ（ｈ×ｋR×α）
Ｇout＝Ｇin×ｅｘｐ（ｈ×ｋG×α）
Ｂout＝Ｂin×ｅｘｐ（ｈ×ｋB×α）
で表される。

ここで、Ｒin、Ｇin、ＢinはそれぞれＲ，Ｇ，Ｂの入力画像信号、Ｒout、Ｇout、ＢoutはそれぞれＲ，Ｇ，Ｂの出力画像信号、ｋR、ｋG、ｋBは対象となる色素の色ごとの吸収率により決まる係数でＩＨｂ量を求めるときとＩＣＧ量を求めるときとでは異なった値をとる。

ｈは強調の度合いを表す係数であり、ＣＰＵ４５経由で色調設定スイッチ３３から設定される設定レベルにより決定される。この強調を行うことにより、ＩＨｂ量に基づく強調時には、見かけのＩＨｂ量が増えたような画像が形成され、ＩＣＧ量に基づく強調時には、見かけのＩＣＧ量が増えたような画像が形成される。

通常観察時でも赤外観察時でも回路の構成は同じであるが、色素の吸収率が異なるので、ＬＵＴのデータ等は共有できない。

しかし、本実施の形態では通常観察と赤外観察を切り替えたときでもＦＰＧＡ３９の再構成を行うようにしてそれぞれ必要なだけのＬＵＴ６４ａ、６４ｂ、６４ｃを構成しているので、回路規模を小さくすることができる。また、ＬＵＴ６４ａ、６４ｂ、６４ｃをＦＰＧＡ３９内部に設けることにより、外部にＲＯＭを配置するよりも高速なアクセスが可能となっている。

蛍光観察時にＦＰＧＡ３９内に構成されるノイズ除去回路７０を図１１に示す。
このノイズ除去回路７０は３×３のメディアンフィルタで構成されており、１クロック分遅延させるディレイ回路７１（具体的には７１ａ〜７１ｆ）、約１ライン分遅延させるラインメモリ７２（具体的には７２ａ、７２ｂ）によって、対象画素の近傍の９画素の画素値が中央値選択回路７３に入力されるようにしている。

例えば入力画像信号としてのＲｉｎはそのまま中央値選択回路７３に入力されると共に、ディレイ回路７１ａにより１画素分遅延されて中央値選択回路７３に入力される。さらにこの１画素遅延された信号はディレイ回路７１ｂにより１画素分遅延されて中央値選択回路７３に入力される。

同様に入力されるＲｉｎは、ラインメモリ７２ａにより約１ライン分遅延された後、中央値選択回路７３に入力されると共に、ディレイ回路７１ａ及び７１ｂにより１画素分、２画素分それぞれ遅延されて中央値選択回路７３に入力される。

同様にラインメモリ７２ａにより約１ライン分遅延された信号は、ラインメモリ７２ｂにより約１ライン分遅延された後、中央値選択回路７３に入力されると共に、ディレイ回路７１ａ及び７１ｂにより１画素分、２画素分それぞれ遅延されて中央値選択回路７３に入力される。

中央値選択回路７３では、近傍９画素の中央値となる画素値が選択されて出力される。図１１にはＲ信号についてのみ記載しているが、Ｇ信号、Ｂ信号についても同様であり、狭帯域光観察時にＦＰＧＡ３９内に構成される色変換回路８０を図１２に示す。

この色変換回路８０では、入力される画像信号としてのＲｉｎ、Ｇｉｎ，Ｂｉｎの各信号はそれぞれＬＵＴ８１ａ、８１ｂ、８１ｃを通過した後、マトリクス回路８２によりマトリクス演算され、さらにＬＵＴ８３ａ、８３ｂ、８３ｃを経て出力される。マトリクス回路８２での演算は、
Ｒout＝ａ1・Ｒin＋ｂ1・Ｇin＋ｃ1・Ｂin
Ｇout＝ａ2・Ｒin＋ｂ2・Ｇin＋ｃ2・Ｂin
Ｂout＝ａ3・Ｒin＋ｂ3・Ｇin＋ｃ3・Ｂin
で表される。

ａ、ｂ、ｃは係数であり、図示しないメモリに複数組記憶されており、色調設定スイッチ３３からＣＰＵ４５経由での色調設定レベルにより選択される。このように、色調設定スイッチ３３は、通常観察時・赤外観察時の色強調レベルの設定と、狭帯域光観察時のマトリクス演算の係数選択とに併用されている。

これらの設定されたレベルは各観察モード毎にＣＰＵ４５で記憶されており、観察モードの切替に応じて記憶されているレベルが設定される。ＬＵＴ８１とＬＵＴ８３は、色変換によってモニタ５に表示できない色域に出てしまう色を表示可能な範囲に圧縮するための調整を行うためのものである。

本実施の形態では、ＦＰＧＡ３９を用いているが、その他のＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）に応用することも可能である。 また、切り替えられる観察光は、自家蛍光、狭帯域光、赤外光に限らず、体内に投与可能な薬剤の蛍光やラマン光であってもよい。
また、面順次式の内視鏡装置に限らず、同時式の内視鏡装置に応用することもできる。

また、通常観察時、赤外観察時の色強調については、特開平１０−２１０３２４号公報で開示されているように、画像の特徴量に応じて強調のレベルを調整するものを用いてもよい。

また、ＦＰＧＡ３９、ロード制御回路４６、データＲＯＭ４７を他の部分とは別の独立した基板上に実装し、その基板をプロセッサ４に抜き差し可能（つまり着脱可能）に構成することにより、色変換などの画像処理機能をプロセッサ４の拡張機能としてユーザに提供することも可能である。

また、スコープ２やフットスイッチ７などに配置されるスイッチは、ユーザの設定によって様々に機能が割り当てられるものが好ましい。

本実施の形態は以下の効果を有する。
観察光の切替に応じて、フィルタ切替中にプログラミング可能な論理素子を再構成するようにしたので、複数の観察光に対応した信号処理を、少ない回路規模で実現することができる。

また、画像信号処理を行う論理素子の構成中には、その論理素子を通らないバイパス回路を通して信号を出力するようにしたので、プログラミング可能な論理素子の構成中においても、観察画像を動画で観察することができる。

（第２の実施の形態）
本実施の形態の目的は複数の観察光に対応した信号処理を、少ない回路規模で実現することと、プログラミング可能な論理素子の構成中においても、観察画像の静止画表示を可能にする画像処理装置を提供することである。

本実施の形態の構成は第１の実施の形態と同じ、つまり図１と同じ構成である。
次に本実施の形態の作用を説明する。
本実施の形態では、第１の実施の形態と観察光の切替時の動作が異なる。

観察光の切替を行うときのＣＰＵ４５の動作を図１３に示す。
まず、最初のステップＳ１１において、ＣＰＵ４５は第２同時化メモリ４３を制御してこの第２同時化メモリ４３の書き込みを禁止することにより、その書き込み禁止直前に書き込まれた画像を繰り返し読み出す状態、つまりフリーズ状態の静止画像を出力するようにする。そして、次のステップＳ１２で、モータ２３、モータ２６にフィルタ切替指示信号を送り、所定の観察光に切り替える。

その時、同時にステップＳ１３に示すように、ＣＰＵ４５はロード制御回路４６にＦＰＧＡ再構成を指示することにより、ＦＰＧＡ３９を再構成する。

ロード制御回路４６は、観察光に対応したデータＲＯＭ４７のアドレスを指定すると共に、ＦＰＧＡ３９に回路データを読み込むための制御を行い、データＲＯＭ４７から読み出された観察光に対応した回路データがＦＰＧＡにロードされる。

次のステップＳ１４でＣＰＵ４５は、ロード制御回路４６からのロード終了の信号により再構成終了かの判断を行い、この信号を受けた後、さらに次のステップＳ１５でフィルタ切替終了かの判断を行う。このフィルタ切替終了の後ＣＰＵ４５は、第２同時化メモリ４３を制御してフリーズを解除することにより再度動画像を出力する（ステップＳ１６）。

このように、ＦＰＧＡ３９のロード中に画像をフリーズさせることにより、ＦＰＧＡ３９の構成中でも、カラーの静止画での観察が可能になり、フィルタ切替による画像の乱れも起きない。

また、ＦＰＧＡ３９の再構成中は動画の観察をすることはできないが、フィルタの切替中に行われることであるので、ＦＰＧＡ３９の再構成により検査時間が長引くなどの弊害はない。

本実施の形態は以下の効果を有する。
観察光の切替に応じて、フィルタ切替中にプログラミング可能な論理素子を再構成するようにしたので、複数の観察光に対応した信号処理を、少ない回路規模で実現することができる。

また、画像信号処理を行う論理素子の構成中には、その論理素子よりも出力に近い部分で画像を静止させて出力するようにしたので、プログラミング可能な論理素子の構成中においても、乱れの無い静止画で観察することができる。

［付記］
１．波長帯域の異なる複数の照明光を選択的に供給する照明光供給装置と、
この照明光供給装置により照明された被写体を撮像する撮像素子と、
前記撮像素子から出力される信号を信号処理するための、回路データに基づいて回路を構成することが可能なプログラマブル回路と、
前記回路データを前記複数の照明光に対応して複数記憶する回路データ記憶回路と、
前記複数の照明光を切り替えるための照明光切替指示手段と、
前記照明光切替指示手段の指示に応じて照明光を切り替えるとともに切り替え後の照明光に対応した前記回路データを読み出して前記プログラマブル回路にロードする制御回路を備えたことを特徴とする電子内視鏡装置。

２．前記撮像手段から出力される信号を前記プログラマブル回路を通らずに表示装置に導くバイパス回路を有し、
前記バイパス回路を通過した信号を前記プログラマブル回路のロード中に前記表示装置に導くことを特徴とする電子内視鏡装置。
（付記２の目的）プログラミング可能な論理素子の構成中においても、観察画像の動画表示を可能にする電子内視鏡装置を提供すること。

３．前記プログラマブル回路から出力される信号を記憶する静止画像記憶回路を有し、
前記静止画像記憶回路に記憶された静止画像信号を前記プログラマブル回路のロード中に表示装置に導くことを特徴とする電子内視鏡装置。
（付記３の目的）プログラミング可能な論理素子の構成中においても、観察画像の静止画表示を可能にする電子内視鏡装置を提供すること。

４．複数の照明光を選択的に発生する照明光発生手段による照明光を被写体に照射して撮像し、得られた前記照明光に基づく撮像信号を、回路データに基づいてプログラマブルに構築されるプログラマブル回路により信号処理するプログラマブル回路構築手段と、
複数種類の回路データを保持する回路データ保持手段と、
前記照明光発生手段が発生する照明光に対応して前記プログラマブル回路手段が使用する回路データを前記回路データ保持手段が保持する複数種類の回路データから選択する制御手段と、
を備えたことを特徴とする画像処理装置。

１…内視鏡装置
２…電子内視鏡（スコープ）
３…光源装置
４…プロセッサ
５…モニタ
６…キーボード
７…フットスイッチ
８…被写体
１１…挿入部
１４…ライトガイドファイバ
１７…対物レンズ
１８…ＣＣＤ
１９…励起光カットフィルタ
２０…フィルタ切替スイッチ
２１…ランプ
２２…帯域切替フィルタ
２３，２５，２６…モータ
２４…回転フィルタ
３１…通常光・特殊光切替スイッチ
３２…特殊光選択スイッチ
３９…ＦＰＧＡ
４５…ＣＰＵ
４６…ロード制御回路
４７…データＲＯＭ
４８…通常・蛍光観察用フィルタ
４９…狭帯域光観察用フィルタ
５０…赤外観察用フィルタ
５１…Ｒフィルタ
５２…Ｇフィルタ
５３…Ｂフィルタ
５４…Ｇ′フィルタ
５５…励起フィルタ
５６…Ｂ′フィルタ

特開２００２−９５６３５号公報

Claims (1)

1. 被写体へ照明光を照射する照明手段と、
   前記照明光の照明光路中に配置可能に配設され、第１の波長領域の光を透過する第１の分光手段と、
   前記照明光の照明光路中に配置可能に配設され、前記第１の波長領域とは異なる第２の波長領域の光を透過する第２の分光手段と、
   前記照明光路中に配置される前記第１の分光手段と第２の分光手段の切り替え指示を行う切り替え指示手段と、
   前記第１の分光手段または第２の分光手段を透過した照明光を前記被写体に照射することにより得られる反射光から前記被写体像を撮像する撮像手段と、
   前記撮像手段の出力信号に基づいた静止画像を生成可能な静止画像生成手段と、
   前記切り替え指示手段の指示に応じて、前記静止画像生成手段により生成された当該切り替え指示時における静止画像をフリーズさせた状態で表示させ、前記静止画像の表示中に前記第１の分光手段と第２の分光手段の切り替えを行い、当該第１の分光手段と第２の分光手段の切り替えが完了した後に当該フリーズを解除するよう制御する制御手段と、
   を具備したことを特徴とする画像処理装置。

Images