JP6924727B2 - 内視鏡装置 - Google Patents

Description

本発明は、被写体の大きさを測定する内視鏡装置に関する。

内視鏡装置では、観察対象物までの距離又は観察対象物の大きさなどを取得することが行われている。例えば、特許文献１では、観察対象からの戻り光のうち、観察像と、距離測定用の測距光の戻り光を分岐光学系で分岐し、分岐した測距光の戻り光について、観察像用の撮像素子とは別に設けられた測距光撮像素子にて受光する。受光した測距光の戻り光に基づいて、飛行時間法により観察対象までの距離を算出する。

国際公開２０１７／１９９５３１号

特許文献１では、分岐光学系を用いることで、観察用の撮像素子で得られる観察像には測距光の成分が含まれないため、観察像は測距光の影響を受けにくいというメリットがある。しかしながら、分岐光学系の他、撮像素子を２つ設けることによって、内視鏡を含む内視鏡装置全体が大型化し、また高額化するというデメリットがある。更に、医療費削減の他、クリニックによっては省スペース化といった要望があることから、内視鏡装置全体の大型化や高額化は避ける必要がある。

また、分岐光学系で、測距光のみを完全の分岐することは難しく、測距光の一部が観察像用の撮像素子に入射することがある。この測距光の一部入射は、観察像の映像の色味には少なからず影響を与えるため、観察像などの被写体の色再現性を損ねてしまう。

本発明は、被写体の色再現性を損ねることなく、観察対象との距離や観察対象物の大きさなど被写体に関する情報を提示することができる内視鏡装置を提供することを目的とする。

本発明の内視鏡装置は、被写体を照明するための照明光を発する照明光光源部と、特定光を発する特定光光源部と、照明光を点灯する制御と、特定光を特定フレーム間隔にて点灯と減光を繰り返す制御とをする発光用制御部と、被写体を撮像する撮像素子と、照明光によって照明された被写体を撮像して得られる第１撮像画像と、照明光及び特定光によって照明された被写体を撮像して得られる第２撮像画像を取得する画像取得部と、第１撮像画像と第２撮像画像とに基づいて、第２撮像画像において特定光に基づいて得られる特定領域の位置を特定する位置特定部と、特定領域の位置に基づいて、第１撮像画像又は第２撮像画像を加工して特定画像を生成する画像加工部と、特定画像を表示部に表示する表示制御部とを備え、特定光は、被写体の計測に用いられる計測補助光であり、第１撮像画像又は第２撮像画像には、位置特定部による特定領域の位置の特定の妨げとなるノイズ成分が含まれ、位置特定部は、第１撮像画像と第２撮像画像に基づいて、第２撮像画像からノイズ成分を除いてノイズ除去済み第２撮像画像を得るノイズ成分除去部を有し、ノイズ除去済み第２撮像画像に基づいて、特定領域の位置を特定し、ノイズ成分除去部は、第１撮像画像を第１色情報画像に変換し、第２撮像画像を第２色情報画像に変換する色情報変換部と、第１色情報画像を二値化して二値化第１色情報画像にし、第２色情報画像を二値化して二値化第２色情報画像にする二値化処理部と、二値化第１色情報画像と二値化第２色情報画像とに基づいて、第２撮像画像からノイズ成分を除去するためのマスク画像を得るマスク画像生成部と、二値化第２色情報画像とマスク画像とに基づいて、ノイズ除去済み第２撮像画像を得る除去部とを備える。

第１撮像画像又は第２撮像画像には、位置特定部による特定領域の位置の特定の妨げとなるノイズ成分が含まれ、位置特定部は、第１撮像画像と第２撮像画像に基づいて、第２撮像画像からノイズ成分を除いてノイズ除去済み第２撮像画像を得るノイズ成分除去部を有し、ノイズ除去済み第２撮像画像に基づいて、特定領域の位置を特定することが好ましい。

ノイズ成分除去部は、第１撮像画像を第１色情報画像に変換し、第２撮像画像を第２色情報画像に変換する色情報変換部と、第１色情報画像を二値化して二値化第１色情報画像にし、第２色情報画像を二値化して二値化第２色情報画像にする二値化処理部と、二値化第１色情報画像と二値化第２色情報画像とに基づいて、第２撮像画像からノイズ成分を除去するためのマスク画像を得るマスク画像生成部と、二値化第２色情報画像とマスク画像とに基づいて、ノイズ除去済み第２撮像画像を得る除去部とを備えることが好ましい

画像加工部は、第１撮像画像又は第２撮像画像のうち加工する対象となる加工対象画像を選択する画像選択部を有し、特定領域の位置に基づいて、加工対象画像として選択された画像の加工を行うことが好ましい。画像選択部は、特定領域の位置に関する状態に基づいて、加工対象画像の選択を行うことが好ましい。画像選択部は、ユーザーによる指示により、加工対象画像の選択を行うことが好ましい。

特定光は、被写体の計測に用いられる計測補助光であり、画像加工部は、特定領域の位置に応じて設定した計測用マーカを、第１撮像画像又は第２撮像画像に対して重ねて表示する特定画像を生成することが好ましい。計測用マーカは、被写体の実寸サイズを示す第１の計測用マーカ、又は、計測補助光によって形成される被写体上の交差ライン、及び交差ライン上に被写体の大きさの指標となる目盛りからなる第２の計測用マーカを含むことが好ましい。計測用マーカの種類は、ユーザーによる指示により選択可能であることが好ましい。特定光は、被写体に含まれる蛍光成分を励起発光させるための励起光であり、像加工部は、特定領域の位置に応じて、蛍光成分を表示するための蛍光表示用領域を設定し、蛍光表示用領域を第１撮像画像に表示する特定画像を生成することが好ましい。

本発明によれば、被写体の色再現性を損ねることなく、観察対象との距離や観察対象物の大きさなど被写体に関する情報を提示することができる。

内視鏡装置の外観図である。 内視鏡の先端部を示す平面図である。 内視鏡装置の機能を示すブロック図である。 計測補助光出射部を示すブロック図である。 計測補助光によって被写体上に形成されるスポットＳＰを示す説明図である。 内視鏡の先端部と観察距離の範囲Ｒｘ内の近端Ｐｘ、中央付近Ｐｙ、及び遠端Ｐｚとの関係を示す説明図である。 測長モードにおける発光パターンなどを示す説明図である。 信号処理部の機能を示すブロック図である。 ノイズ除去済みの第２撮像画像を得るための処理の流れを示すブロック図である。 二値化第１色情報画像を示す説明図である。 二値化第２色情報画像を示す説明図である。 二値化第１色情報画像におけるノイズ成分の領域を示す説明図である。 マスク画像を示す説明図である。 観察距離が近端Ｐｘである場合のスポット表示部及び第１の計測用マーカを示す画像図である。 観察距離が中央付近Ｐｙである場合のスポット表示部及び第１の計測用マーカを示す画像図である。 観察距離が遠端Ｐｚである場合のスポット表示部及び第１の計測用マーカを示す画像図である。 目盛り付き十字型、歪曲十字型、円及び十字型、及び計測用点群型の第１の計測用マーカを示す説明図である。 観察距離が近端Ｐｘである場合におけるスポットの位置と第１の計測用マーカの大きさとの関係の測定に用いる方眼紙状のチャートを示す説明図である。 観察距離が遠端Ｐｙである場合におけるスポットの位置と第１の計測用マーカの大きさとの関係の測定に用いる方眼紙状のチャートを示す説明図である。 スポットのＸ方向ピクセル位置と第１の計測用マーカのＸ軸方向ピクセル数との関係を示すグラフである。 スポットのＹ方向ピクセル位置と第１の計測用マーカのＸ軸方向ピクセル数との関係を示すグラフである。 スポットのＸ方向ピクセル位置と第１の計測用マーカのＹ軸方向のピクセル数との関係を示すグラフである。 スポットのＹ方向ピクセル位置と第１の計測用マーカのＹ軸方向のピクセル数との関係を示すグラフである。 色がそれぞれ同じ３つの同心円状のマーカを示す画像図である。 色がそれぞれ異なる３つの同心円状のマーカを示す画像図である。 歪曲同心円状のマーカを示す画像図である。 交差ライン及び目盛りを示す画像図である。 励起光光源部を備える光源装置を示すブロック図である。 蛍光表示用領域設定部を備える信号処理部を示すブロック図である。 蛍光表示用領域の設定方法を示す説明図である。

図１に示すように、内視鏡装置１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。プロセッサ装置１６は、画像を表示するモニタ１８（表示部）に電気的に接続されている。ユーザーインターフェース１９は、プロセッサ装置１６に接続されており、プロセッサ装置１６に対する各種設定操作等に用いられる。なお、ユーザーインターフェース１９は図示したキーボードの他、マウスなどが含まれる。

内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。

内視鏡１２は、通常モードと、測長モードとを備えており、これら２つのモードは内視鏡１２の操作部１２ｂに設けられたモード切替スイッチ１３ａによって切り替えられる。通常モードは、照明光によって観察対象を照明するモードである。測長モードは、照明光又は計測補助光を観察対象に照明し、且つ、観察対象の撮像により得られる撮像画像上に、観察対象の大きさなどの測定に用いられる計測用マーカを表示する。計測補助光は、被写体の計測に用いられる光である。

また、内視鏡１２の操作部１２ｂには、撮像画像の静止画の取得を指示する静止画取得指示を操作するためのフリーズスイッチ１３ｂ（静止画取得指示部）が設けられている。ユーザーがフリーズスイッチ１３ｂを操作することにより、モニタ１８の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音（例えば「ピー」）を発する。そして、フリーズスイッチ１３ｂの操作タイミング前後に得られる撮像画像の静止画が、プロセッサ装置１６内の静止画保存部３７（図３参照）に保存される。また、測長モードに設定されている場合には、撮像画像の静止画と合わせて、後述する計測情報も保存することが好ましい。なお、静止画保存部３７はハードディスクやＵＳＢ（Universal Serial Bus）メモリなどの記憶部である。プロセッサ装置１６がネットワークに接続可能である場合には、静止画保存部３７に代えて又は加えて、ネットワークに接続された静止画保存サーバ（図示しない）に撮像画像の静止画を保存するようにしてもよい。

なお、フリーズスイッチ１３ｂ以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置１６にフットペダルを接続し、ユーザーが足でフットペダル（図示しない）を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてのフットペダルで行うようにしてもよい。また、プロセッサ装置１６に、ユーザーのジェスチャーを認識するジェスチャー認識部（図示しない）を接続し、ジェスチャー認識部が、ユーザーによって行われた特定のジェスチャーを認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、ジェスチャー認識部を用いて行うようにしてもよい。

また、モニタ１８の近くに設けた視線入力部（図示しない）をプロセッサ装置１６に接続し、視線入力部が、モニタ１８のうち所定領域内にユーザーの視線が一定時間以上入っていることを認識した場合に、静止画取得指示を行うようにしてもよい。また、プロセッサ装置１６に音声認識部（図示しない）を接続し、音声認識部が、ユーザーが発した特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、音声認識部を用いて行うようにしてもよい。また、プロセッサ装置１６に、タッチパネルなどのオペレーションパネル（図示しない）を接続し、オペレーションパネルに対してユーザーが特定の操作を行った場合に、静止画取得指示を行うようにしてもよい。モード切替についても、オペレーションパネルを用いて行うようにしてもよい。

図２に示すように、内視鏡１２の先端部は略円形となっており、内視鏡１２の撮像光学系を構成する光学部材のうち最も被写体側に位置する対物レンズ２１と、被写体に対して照明光を照射するための照明レンズ２２と、後述する計測補助光を被写体に照明するための計測補助用レンズ２３と、処置具を被写体に向けて突出させるための開口２４と、送気送水を行うための送気送水ノズル２５とが設けられている。

対物レンズ２１の光軸Axは、紙面に対して垂直な方向に延びている。縦の第１方向D１は、光軸Axに対して直交しており、横の第２方向D２は、光軸Aｘ及び第１方向D１に対して直交する。対物レンズ２１と計測補助用レンズ２３とは、第１方向D１に沿って配列されている。

図３に示すように、光源装置１４は、光源部２６と、光源制御部２７とを備えている。光源部２６（照明光光源部）は、被写体を照明するための照明光を発生する。光源部２６から出射された照明光は、ライトガイド２８に入射され、照明レンズ２２を通って被写体に照射される。光源部２６としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源（例えば青色光を出射する青色光源）を含む複数の光源等が用いられる。光源制御部２７は、プロセッサ装置１６のシステム制御部４１と接続されている。光源制御部２７は、システム制御部４１からの指示に基づいて光源部２６を制御する。システム制御部４１（発光用制御部）は、光源制御部２７に対して、光源制御に関する指示を行う他に、計測補助光出射部３０の光源３０ａ（図４参照）も制御する。システム制御部４１による光源制御の詳細については後述する。

内視鏡１２の先端部１２ｄには、照明光学系２９ａ、撮像光学系２９ｂ、及び計測補助光出射部３０が設けられている。照明光学系２９ａは照明レンズ２２を有しており、この照明レンズ２２を介して、ライトガイド２８からの光が観察対象に照射される。撮像光学系２９ｂは、対物レンズ２１及び撮像素子３２を有している。観察対象からの反射光は、対物レンズ２１を介して、撮像素子３２に入射する。これにより、撮像素子３２に観察対象の反射像が結像される。

撮像素子３２はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子３２は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像素子３２は、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサである。撮像素子３２は、撮像制御部３３によって制御される。

撮像素子３２から出力される画像信号は、ＣＤＳ・ＡＧＣ回路３４に送信される。ＣＤＳ・ＡＧＣ回路３４は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ・ＡＧＣ回路３４を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）３５により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、通信Ｉ／Ｆ（Interface）３６を介して、プロセッサ装置１６に入力される。

プロセッサ装置１６は、内視鏡１２の通信Ｉ／Ｆ３６と接続される通信Ｉ／Ｆ（Interface）３８と、信号処理部３９と、表示制御部４０と、システム制御部４１とを備えている。通信Ｉ／Ｆは、内視鏡１２の通信Ｉ／Ｆ３６から伝送されてきた画像信号を受信して信号処理部３９に伝達する。信号処理部３９は、通信Ｉ／Ｆ３８から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、撮像画像を生成する。なお、信号処理部３９では、測長モードに設定されている場合には、撮像画像に対して、血管などの構造を強調する構造強調処理や、観察対象のうち正常部と病変部などとの色差を拡張した色差強調処理を施すようにしてもよい。

表示制御部４０は、信号処理部３９によって生成された撮像画像をモニタ１８に表示する。システム制御部４１は、内視鏡１２に設けられた撮像制御部３３を介して、撮像素子３２の制御を行う。撮像制御部３３は、撮像素子３２の制御に合わせて、ＣＤＳ／ＡＧＣ３４及びＡ／Ｄ３５の制御も行う。

図４に示すように、計測補助光出射部３０（特定光光源部）は、光源３０ａと、回折光学素子ＤＯＥ３０ｂ（Diffractive Optical Element）と、プリズム３０ｃと、計測補助用レンズ２３とを備える。光源３０ａは、撮像素子３２の画素によって検出可能な色の光（具体的には可視光）を出射するものであり、レーザー光源ＬＤ（Laser Diode）又はＬＥＤ（Light Emitting Diode）等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。

光源３０ａが出射する光の波長は、例えば、６００ｎｍ以上６５０ｎｍ以下の赤色光であることが好ましい。もしくは、４９５nm以上５７０ｎｍ以下の緑色光を用いてもよい。光源３０ａはシステム制御部４１によって制御され、システム制御部４１からの指示に基づいて光出射を行う。ＤＯＥ３０ｂは、光源から出射した光を、計測情報を得るための計測補助光（特定光）に変換する。

プリズム３０ｃは、ＤＯＥ３０ｂで変換後の計測補助光の進行方向を変えるための光学部材である。プリズム３０ｃは、対物レンズ２１及びレンズ群を含む撮像光学系の視野と交差するように、計測補助光の進行方向を変更する。計測補助光の進行方向の詳細についても、後述する。プリズム３０ｃから出射した計測補助光Ｌｍは、計測補助用レンズ２３を通って、被写体へと照射される。計測補助光が被写体に照射されることにより、図５に示すように、被写体において、円状領域としてのスポットＳＰが形成される。このスポットＳＰの位置は、位置特定部によって特性され、また、スポットＳＰの位置に応じて、実寸サイズを表す計測用マーカが設定される。設定された計測用マーカは、撮像画像上に表示される。なお、計測用マーカには、後述するように、第１の計測用マーカ、第２の計測用マーカなど複数の種類が含まれ、いずれの種類の計測用マーカを撮像画像上に表示するかについては、ユーザーの指示によって選択が可能となっている。ユーザーの指示としては、例えば、ユーザーインターフェース１９が用いられる。

なお、計測補助用レンズ２３に代えて、内視鏡の先端部１２ｄに形成される計測補助用スリットとしてもよい。また、計測補助用レンズ２３には、反射防止コート（ＡＲ（Anti-Reflection）コート）（反射防止部）を施すことが好ましい。このように反射防止コートを設けるのは、計測補助光が計測補助用レンズ２３を透過せずに反射して、被写体に照射される計測補助光の割合が低下すると、後述する位置特定部５０が、計測補助光により被写体上に形成されるスポットＳＰの位置を認識し難くなるためである。

なお、計測補助光出射部３０は、計測補助光を撮像光学系の視野に向けて出射できるものであればよい。例えば、光源３０ａが光源装置に設けられ、光源３０ａから出射された光が光ファイバによってＤＯＥ３０ｂにまで導光されるものであってもよい。また、プリズム３０ｃを用いずに、光源３０ａ及びＤＯＥ３０ｂの向きを光軸Ａｘに対して斜めに設置することで、撮像光学系の視野を横切る方向に計測補助光Ｌｍを出射させる構成としてもよい。

計測補助光の進行方向については、図６に示すように、計測補助光Ｌｍの光軸Ｌｍが対物レンズ２１の光軸Aｘと交差する状態で、計測補助光Ｌｍを出射する。観察距離の範囲Ｒｘにおいて観察可能であるとすると、範囲Ｒｘの近端Ｐｘ、中央付近Ｐｙ、及び遠端Ｐｚでは、各点での撮像範囲（矢印Ｑｘ、Ｑｙ、Ｑｚで示す）における計測補助光Ｌｍによって被写体上に形成されるスポットＳＰの位置（各矢印Ｑｘ、Ｑｙ、Ｑｚが光軸Ａｘと交わる点）が異なることが分かる。なお、撮像光学系の撮影画角は２つの実線１０１で挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域（２つの点線１０２で挟まれる領域）で計測を行うようにしている。

以上のように、計測補助光の光軸Ｌｍを光軸Aｘと交差する状態で、計測補助光Lmを出射することによって、観察距離の変化に対するスポット位置の移動の感度が高いことから、被写体の大きさを高精度に計測することができる。そして、計測補助光が照明された被写体を撮像素子３２で撮像することによって、スポットＳＰを含む撮像画像が得られる。撮像画像では、スポットＳＰの位置は、対物レンズ２１の光軸Ａｘと計測補助光Lmの光軸Lmとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ（例えば５ｍｍ）を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。

したがって、詳細を後述するように、スポットＳＰの位置と被写体の実寸サイズに対応する計測情報（ピクセル数）との関係を示す情報を予め記憶しておくことで、スポットＳＰの位置から計測情報を算出することができる。

システム制御部４１による光源制御の詳細について説明する。通常モードに設定されている場合には、システム制御部４１は、光源装置１４の光源部２６に対して、照明光を常時発するように指示する。これにより、光源部２６からは照明光が発せられる。照明光は、ライトガイド２８を介して、被写体に照射される。なお、通常モードの場合には、計測補助光出射部３０の光源３０ａは停止している。

一方、測長モードに設定されている場合には、システム制御部４１は、光源装置１４の光源部２６に対して、照明光を連続的に発光するように制御し、且つ、計測補助光出射部３０の光源３０ａに対して、計測補助光Ｌｍを特定フレーム間隔にて点灯と減光を繰り返すように制御する。具体的には、図７に示すように、特定フレーム間隔を１フレーム間隔とした場合には、照明光のみが点灯（on）され、計測補助光Ｌｍが消灯（off）する発光フレームＦＬｘと、照明光と計測補助光Ｌｍの両方が点灯（on）される発光フレームＦＬｙとが交互に行われる。発光フレームＦＬｘの場合には、照明光によって照明された被写体を撮像素子３２で撮像して得られる撮像画像として、第１撮像画像が得られる。また、発光フレームＦＬｙの場合には、照明光及び計測補助光によって照明された被写体を撮像素子３２で撮像して得られる撮像画像として、第２撮像画像が得られる。なお、発光フレームＦＬｘにおいては、計測補助光を完全に消灯するのではなく、発光フレームＦＬｙと比較して、計測補助光の光強度を特定値まで減少させる減光を行うようにしてもよい。なお、撮像画像は３色のＲＧＢ画像とするが、その他のカラー画像（輝度信号Ｙ、色差信号Ｃｒ、Ｃｂ）であってもよい。

図８に示すように、プロセッサ装置１６の信号処理部３９は、スポットＳＰ（特定領域）の位置認識、及び計測用マーカの設定を行うために、第２撮像画像におけるスポットＳＰの位置を特定する位置特定部５０と、スポットＳＰの位置に基づいて、第１撮像画像又は第２撮像画像を加工して特定画像を生成する画像加工部５２とを備えている。特定画像は、表示制御部４０によって、モニタ１８に表示される。なお、信号処理部３９は、測長モードに設定されている場合には、撮像画像として、第１撮像画像と第２撮像画像が入力される。これら第１撮像画像又は第２撮像画像は、通信Ｉ／Ｆ３８（画像取得部）で取得される。

位置特定部５０は、スポットＳＰの位置の特定の妨げになるノイズ成分を除去するノイズ成分除去部５３を有している。第２撮像画像中において、スポットＳＰを形成する計測補助光の色とは異なるものの、計測補助光に近い色（計測補助光近似色）が含まれている場合には、スポットＳＰの位置を正確に特定することができないことがある。そこで、ノイズ成分除去部５３は、計測補助光近似色の成分をノイズ成分として第２撮像画像から除去する。位置特定部５０は、ノイズ成分が除かれたノイズ除去済みの第２撮像画像に基づいて、スポットＳＰの位置を特定する。

ノイズ成分除去部５３は、色情報変換部５４と、二値化処理部５６と、マスク画像生成部５８と、除去部６０を備えている。ノイズ除去済みの第２撮像画像を得るための処理の流れについて、図９を用いて説明する。色情報変換部５４は、ＲＧＢ画像である第１撮像画像を第１色情報画像に変換し、ＲＧＢ画像である第２撮像画像を第２色情報画像に変換する。色情報としては、例えば、ＨＳＶ（Ｈ（Hue（色相））、Ｓ（Saturation（彩度））、Ｖ（Value（明度）））とすることが好ましい。その他、色情報として、色差Ｃｒ、Ｃｂとしてもよい。二値化処理部５６は、第１色情報画像を二値化して二値化第１色情報画像にし、第２色情報画像を二値化して二値化第２色情報画像にする。二値化するための閾値は、計測補助光の色を含む二値化用閾値とする。図１０、図１１に示すように、二値化第１色情報画像には、ノイズ成分の色情報６２が含まれる。二値化第２色情報画像には、計測補助光の色情報６４の他に、ノイズ成分の色情報６２が含まれる。

マスク画像生成部５８は、二値化第１色情報画像と二値化第２色情報画像とに基づいて、第２撮像画像から、ノイズ成分の色情報を除去し、また、計測補助光の色情報を抽出するためのマスク画像を生成する。マスク画像生成部５８は、図１２に示すように、二値化第１撮像画像に含まれるノイズ成分から、ノイズ成分を有するノイズ成分の領域６３を特定する。そして、マスク画像生成部５８は、図１３に示すように、二値化第２色情報画像のうち、計測補助光の色情報６４の領域について色情報を抽出する抽出領域とし、ノイズ成分の領域について色情報を抽出しない非抽出領域とするマスク画像を生成する。なお、ノイズ成分の領域６３は、ノイズ成分の色情報６２が占める領域よりも大きくすることが好ましい。これは、手ぶれ等が生ずる場合には、ノイズ成分の色情報６２の領域は、手ぶれ等が無い場合と比較して大きくなるためである。また、図１０〜図１３は、二値化第１色情報画像、二値化第２色情報画像、ノイズ成分の領域、マスク画像の説明のために模式的に記載したものである。

除去部６０は、マスク画像を用いて第２色情報画像から色情報の抽出を行うことによって、ノイズ成分の色情報が除去され、且つ、計測補助光の色情報が抽出されたノイズ除去済み第２色情報画像が得られる。ノイズ除去済み第２色情報画像は、色情報をＲＧＢ画像に戻すＲＧＢ変換処理を行うことによって、ノイズ除去済み第２撮像画像となる。位置特定部５０は、ノイズ除去済み第２撮像画像に基づいて、スポットＳＰの位置の特定を行う。ノイズ除去済み第２撮像画像は、ノイズ成分が除かれているため、スポットＳＰの位置を正確に特定することができる。

画像加工部５２は、画像選択部７０とマーカ用テーブルとを有している。画像選択部７０は、第１撮像画像又は第２撮像画像のうち、スポットＳＰの位置に基づく加工を行う対象画像である加工対象画像を選択する。画像加工部５２は、加工対象画像として選択された画像に対して、スポットＳＰの位置に基づく加工を行う。画像選択部７０は、スポットＳＰの位置に関する状態に基づいて、加工対象画像の選択を行う。なお、画像選択部７０は、ユーザーによる指示により、加工対象画像の選択を行うようにしてもよい。ユーザーによる指示には、例えば、ユーザーインターフェース１９を用いられる。

具体的には、スポットＳＰが特定期間中、特定範囲内に入っている場合には、被写体又は内視鏡の先端部１２ｄに動きが少ないと考えられるため、第１撮像画像を加工対象画像として選択する。このように動きが少ない場合には、スポットＳＰが無くとも、被写体に含まれる病変部に容易に位置合わせすることができると考えられる。また、第１撮像画像には、計測補助光の色成分が含まれないため、被写体の色再現性を損ねることがない。一方、スポットＳＰの位置が特定期間中、特定範囲内に入っていない場合には、被写体又は内視鏡の先端部１２の動きが大きいと考えられるため、第２撮像画像を加工対象画像として選択する。このように動きが大きい場合には、ユーザーは、スポットＳＰが病変部に位置するように、内視鏡１２を操作する。これにより、病変部への位置合わせがし易くなる。

画像加工部５２は、第２撮像画像におけるスポットＳＰの位置に基づいて、計測用マーカとして、被写体の実寸サイズを示す第１の計測用マーカを生成する。画像加工部５２は、第２撮像画像におけるスポットＳＰの位置と被写体の実寸サイズを示す第１の計測用マーカとの関係を記憶したマーカ用テーブル７２を参照して、スポットの位置からマーカの大きさを算出する。そして、画像加工部５２では、マーカの大きさに対応する第１の計測用マーカを生成する。

スポットの位置の特定と第１の計測用マーカの生成が完了すると、表示制御部４０は、照明光によって照明された被写体を撮像して得られる第１撮像画像（スポットＳＰが写り込んでいない）に対して、スポットの位置にスポット表示部と、第１の計測用マーカをモニタ１８に表示する。なお、測長モードを用いる実際の内視鏡診断においては、ユーザーは、内視鏡の先端部１２ｄを患者の患部にまで到達するまで、内視鏡１２を患者の体内に挿入または抜去する。内視鏡の先端部１２ｄが患部に到達したら、患部に対して、計測補助光又は計測用マーカを位置合わせする。計測用マーカを用いて患部のサイズを計測する。患部のサイズに基づく診断の結果によって、患部に関する処置（切除等）についての方針を決定する。

第１の計測用マーカとしては、例えば、十字型の計測マーカを用いる。この場合、図１４に示すように、観察距離が近端Ｐｘに近い場合には、被写体の腫瘍ｔｍ１上に形成されたスポット表示部ＳＰ１の中心に合わせて、実寸サイズ５ｍｍ（第２撮像画像の水平方向及び垂直方向）を示す十字型のマーカＭ１が表示される。腫瘍ｔｍ１と十字型のマーカＭ１により定められる範囲とはほぼ一致しているため、腫瘍ｔｍ１は５ｍｍ程度と計測することができる。なお、第１撮像画像に対しては、スポット表示部を表示せず、第１の計測用マーカのみを表示するようにしてもよい。

なお、第１撮像画像では、計測補助光Ｌｍによって形成されるスポットは写り込んでいないため、認識したスポットＳＰの位置に対応する部分に、スポットの位置であることが分かるような明るさ及び色によってスポット表示部を表示する。スポットの色と被写体の観察部分の色が同じような色（赤色）の場合、色がにじんで観察部分の視認性が低下することがあるが、このように、スポットが写り込んでいない第１撮像画像に、スポットを表したスポット表示部を表示することで、計測補助光による色のにじみを避けることができるため、観察部分の視認性を低下させることはない。

同様にして、図１５に示すように、観察距離が中央付近Ｐｙに近い場合、被写体の腫瘍ｔｍ２上に形成されたスポット表示部ＳＰ２の中心に合わせて、実寸サイズ５ｍｍ（第２撮像画像の水平方向及び垂直方向）を示す十字型のマーカＭ２が表示される。また、図１６に示すように、被写体の腫瘍ｔｍ３上に形成されたスポット表示部ＳＰ３の中心に合わせて、実寸サイズ５ｍｍ（第２撮像画像の水平方向及び垂直方向）を示す十字型のマーカＭ３が表示される。以上のように、観察距離によって撮像素子３２の撮像面におけるスポットの位置が異なり、これに従って、マーカの表示位置も異なっている。以上の図１４〜図１６に示すように、観察距離が長くなるにつれて同一の実寸サイズ５ｍｍに対応する第１の計測用マーカの大きさが小さくなっている。

なお、図１４〜図１６では、スポットＳＰの中心とマーカの中心を一致させて表示しているが、計測精度上問題にならない場合には、スポットＳＰから離れた位置に第１の計測用マーカを表示してもよい。ただし、この場合にもスポットの近傍に第１の計測用マーカを表示することが好ましい。また、第１の計測用マーカを変形して表示するのではなく、撮像画像の歪曲収差を補正し変形させない状態の第１の計測用マーカを補正後の撮像画像に表示するようにしてもよい。

また、図１４〜図１６では、被写体の実寸サイズ５ｍｍに対応する第１の計測用マーカを表示しているが、被写体の実寸サイズは観察対象や観察目的に応じて任意の値（例えば、２ｍｍ、３ｍｍ、１０ｍｍ等）を設定してもよい。また、図１４〜図１６では、第１の計測用マーカを、縦線と横線が直交する十字型としているが、図１７に示すように、十字型の縦線と横線の少なくとも一方に、目盛りＭｘを付けた目盛り付き十字型としてもよい。また、第１の計測用マーカとして、縦線、横線のうち少なくともいずれかを傾けた歪曲十字型としてもよい。また、第１の計測用マーカを、十字型と円を組み合わせた円及び十字型としてもよい。その他、第１の計測用マーカを、スポット表示部から実寸サイズに対応する複数の測定点ＥＰを組み合わせた計測用点群型としてもよい。また、第１の計測用マーカの数は一つでも複数でもよいし、実寸サイズに応じて第１の計測用マーカの色を変化させてもよい。

マーカ用テーブル７２の作成方法について、以下説明する。スポットの位置とマーカの大きさとの関係は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。例えば、スポット状の計測補助光をチャートに向けて出射し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫（５ｍｍ）もしくはそれより細かい罫（例えば１ｍｍ）の方眼紙状のチャートを撮像し、スポットの位置（撮像素子３２の撮像面におけるピクセル座標）と実寸サイズに対応するピクセル数（実寸サイズである５ｍｍが何ピクセルで表されるか）との関係を取得する。

図１８に示すように、（ｘ１、ｙ１）は、撮像素子３２の撮像面におけるスポットＳＰ４のＸ、Ｙ方向のピクセル位置（左上が座標系の原点）である。スポットＳＰ４の位置（ｘ１、ｙ１）での、実寸サイズ５ｍｍに対応するＸ方向ピクセル数をＬｘ１とし、Ｙ方向ピクセル数をＬｙ１とする。このような測定を、観察距離を変えながら繰り返す。図１９は、図１８と同じ５ｍｍ罫のチャートを撮像した状態を示しているが、図１８の状態よりも撮影距離が遠端に近い状態であり、罫の間隔が狭く写っている。図３１の状態において、撮像素子３２の撮像面におけるスポットＳＰ５の位置（ｘ２、ｙ２）での実寸サイズ５ｍｍに対応するＸ方向ピクセル数をＬｘ２とし、Ｙ方向ピクセル数をＬｙ２とする。そして、観察距離を変えながら、図１８、１９のような測定を繰り返し、結果をプロットする。なお、図１８、１９では、対物レンズ２１の歪曲収差を考慮せず表示している。

図２０は、スポットの位置のＸ座標とＬｘ（Ｘ方向ピクセル数）との関係を示しており、図２１は、スポットの位置のＹ座標とＬｘとの関係を示している。Ｌｘは図２０の関係よりＸ方向位置の関数として、Ｌｘ＝ｇ１（ｘ）と表され、また、Ｌｘは、図２１の関係より、Ｙ方向位置の関数として、Ｌｘ＝ｇ２（ｙ）として表される。ｇ１、ｇ２は上述のプロット結果から、例えば、最小二乗法により求めることができる。

なお、スポットのＸ座標とＹ座標とは一対一に対応しており、関数ｇ１、ｇ２のいずれを用いても、基本的に同じ結果（同じスポット位置に対しては同じピクセル数）が得られるため、第１の計測用マーカの大きさを算出する場合には、どちらの関数を用いてもよく、ｇ１、ｇ２のうち位置変化に対するピクセル数変化の感度が高い方の関数を選んでもよい。また、ｇ１、ｇ２の値が大きく異なる場合には、「スポットの位置を認識できなかった」と判断してもよい。

図２２は、スポット位置のＸ座標とＬｙ（Ｙ方向ピクセル数）との関係を表しており、図２３は、スポット位置のＹ座標とＬｙとの関係を表している。図２２の関係より、ＬｙはＸ方向位置の座標としてＬｙ＝ｈ１（ｘ）と表され、図２３の関係より、ＬｙはＹ方向位置の座標としてＬｙ＝ｈ２（ｙ）として表される。Ｌｙについても、Ｌｘと同様に関数ｈ１、ｈ２のいずれを用いてもよい。

以上のように得られた関数ｇ１、ｇ２、ｈ１、ｈ２については、ルックアップテーブル形式によってマーカ用テーブルに記憶される。なお、関数ｇ１、ｇ２については、関数形式でマーカ用テーブルに記憶するようにしてもよい。

なお、第２実施形態では、第１の計測用マーカとして、図２４に示すように、大きさが異なる３つの同心円状のマーカＭ４Ａ、Ｍ４Ｂ、Ｍ４Ｃ（大きさはそれぞれ直径が２ｍｍ、５ｍｍ、１０ｍｍ）を、腫瘍ｔｍ４上に形成されたスポット表示部ＳＰ４を中心として、第１撮像画像上に表示するようにしてもよい。この３つの同心円状のマーカは、マーカを複数表示するので切替の手間が省け、また、被写体が非線形な形状をしている場合でも計測が可能である。なお、スポットを中心として同心円状のマーカを複数表示する場合には、大きさや色をマーカ毎に指定するのではなく、複数の条件の組合せを予め用意しておきその組み合わせの中から選択できるようにしてもよい。

図２４では、３つの同心円状のマーカを全て同じ色（黒）で表示しているが、複数の同心円状のマーカを表示する場合、マーカによって色を変えた複数の色付き同心円状のマーカとしてもよい。図２５に示すように、マーカＭ５Ａは赤色を表す点線、マーカＭ５Ｂは青色を表す実線、マーカＭ５Ｃは白を表す一点鎖線で表示している。このようにマーカの色を変えることで識別性が向上し、容易に計測を行うことができる。

また、第１の計測用マーカとしては、複数の同心円状のマーカの他、図２６に示すように、各同心円を歪曲させた複数の歪曲同心円状のマーカを用いてもよい。この場合、歪曲同心円状のマーカＭ６Ａ、マーカＭ６Ｂ、マーカＭ６Ｃが、腫瘍ｔｍ５に形成されたスポット表示部ＳＰ５を中心に第１撮像画像に表示されている。

なお、計測補助光については、被写体に照射された場合に、スポットとして形成される光を用いているが、その他の光を用いるようにしてもよい。例えば、被写体に照射された場合に、図２７に示すように、被写体上に交差ライン８０として形成される平面状の計測補助光を用いるようにしてもよい。この場合には、計測用マーカとして、交差ライン８０及び交差ライン上に被写体の大きさ（例えば、ポリープＰ）の指標となる目盛り８２からなる第２の計測用マーカを生成する。平面状の計測補助光を用いる場合には、位置特定部５０は、交差ライン８０（特定領域）の位置を特定する。交差ライン８０が下方に位置する程、観察距離が近く、交差ライン８０が上方に位置する程、観察距離が遠くなる。そのため、交差ライン８０が下方に位置する程、目盛り８２の間隔は大きくなり、交差ライン８０が上方に位置する程、目盛り８２の間隔は小さくなる。

なお、上記実施形態では、撮像画像上に計測用マーカを表示するために、特定光として、計測補助光を用いているが、特定光は、その他の用途に用いてもよい。例えば、被写体に含まれる蛍光成分（自家蛍光、薬剤蛍光）を励起発光させるために、特定光として、励起光を用いる。この場合には、図２８に示すように、光源装置１４内に、励起光を発光する励起光光源部９０を設ける。そして、図２９に示すように、位置特定部５０は、照明光とともに励起光を発光した場合に得られる第２撮像画像から、蛍光成分の領域（特定領域）の位置を特定する。また、画像加工部５２内に設けられた蛍光表示用領域設定部９２は、蛍光成分の領域の位置に応じて、蛍光成分を表示するための蛍光表示用領域を設定する。そして、図３０に示すように、照明光のみを発光し、励起光を発光しない場合に得られる第１撮像画像上に、蛍光表示用領域９４を表示した特定画像をモニタ１８に表示する。これにより、励起光成分が含まれない第１撮像画像上に蛍光成分の領域を表示することにより、被写体の色再現性を損ねることなく、蛍光成分の領域を観察することができる。

上記実施形態において、信号処理部３９、表示制御部４０、システム制御部４１といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０ 内視鏡装置
１２ 内視鏡
１２ 先端部
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ モード切替スイッチ
１３ｂ フリーズスイッチ
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ ユーザーインターフェース
２１ 対物レンズ
２２ 照明レンズ
２３ 計測補助用レンズ
２４ 開口
２５ 送気送水ノズル
２６ 光源部
２７ 光源制御部
２８ ライトガイド
２９ａ 照明光学系
２９ｂ 撮像光学系
３０ 計測補助光出射部
３０ａ 光源
３０ｃ プリズム
３２ 撮像素子
３３ 撮像制御部
３４ ＣＤＳ・ＡＧＣ回路
３６ 通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）
３７ 静止画保存部
３８ 通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）
３９ 信号処理部
４０ 表示制御部
４１ システム制御部
５０ 位置特定部
５２ 画像加工部
５３ ノイズ成分除去部
５４ 色情報変換部
５６ 二値化処理部
５８ マスク画像生成部
６０ 除去部
６２ ノイズ成分の色情報
６３ ノイズ成分の領域
６４ 計測補助光の色情報
７０ 画像選択部
７２ マーカ用テーブル
８０ 交差ライン
９０ 励起光光源部
９２ 蛍光表示用領域設定部
９４ 蛍光表示用領域
１０１ 実践
１０２ 点線
ＥＰ 測定点
Ｍｘ 目盛り
Ｍ１、Ｍ２、Ｍ３ 十字型のマーカ
ｔｍ１、ｔｍ２、ｔｍ３、ｔｍ４、ｔｍ５ 腫瘍
ＳＰ スポット
ＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４、ＳＰ５ スポット
Ｌｘ１、Ｌｘ２ Ｘ方向ピクセル数
Ｌｙ１、Ｌｙ２ Ｙ方向ピクセル数
Ｍ４Ａ、Ｍ４Ｂ、Ｍ４Ｃ、Ｍ５Ａ、Ｍ５Ｂ、Ｍ５Ｃ 同心円状のマーカ
Ｍ６Ａ、Ｍ６Ｂ、Ｍ６Ｃ 歪曲同心円状のマーカ
Ｐ ポリープ

Claims (7)

1. 被写体を照明するための照明光を発する照明光光源部と、
   特定光を発する特定光光源部と、
   前記照明光を点灯する制御と、前記特定光を特定フレーム間隔にて点灯と減光を繰り返す制御とをする発光用制御部と、
   前記被写体を撮像する撮像素子と、
   前記照明光によって照明された被写体を撮像して得られる第１撮像画像と、前記照明光及び前記特定光によって照明された被写体を撮像して得られる第２撮像画像を取得する画像取得部と、
   前記第１撮像画像と前記第２撮像画像とに基づいて、前記第２撮像画像において前記特定光に基づいて得られる特定領域の位置を特定する位置特定部と、
   前記特定領域の位置に基づいて、前記第１撮像画像又は前記第２撮像画像を加工して特定画像を生成する画像加工部と、
   前記特定画像を表示部に表示する表示制御部とを備え、
   前記特定光は、前記被写体の計測に用いられる計測補助光であり、
   前記第１撮像画像又は前記第２撮像画像には、前記位置特定部による前記特定領域の位置の特定の妨げとなるノイズ成分が含まれ、
   前記位置特定部は、
   前記第１撮像画像と前記第２撮像画像に基づいて、前記第２撮像画像からノイズ成分を除いてノイズ除去済み第２撮像画像を得るノイズ成分除去部を有し、
   前記ノイズ除去済み第２撮像画像に基づいて、前記特定領域の位置を特定し、
   前記ノイズ成分除去部は、
   前記第１撮像画像を第１色情報画像に変換し、前記第２撮像画像を第２色情報画像に変換する色情報変換部と、
   前記第１色情報画像を二値化して二値化第１色情報画像にし、前記第２色情報画像を二値化して二値化第２色情報画像にする二値化処理部と、
   前記二値化第１色情報画像と前記二値化第２色情報画像とに基づいて、前記第２撮像画像から前記ノイズ成分を除去するためのマスク画像を得るマスク画像生成部と、
   前記二値化第２色情報画像と前記マスク画像とに基づいて、前記ノイズ除去済み第２撮像画像を得る除去部とを備える内視鏡装置。
2. 前記画像加工部は、
   前記第１撮像画像又は前記第２撮像画像のうち前記加工する対象となる加工対象画像を選択する画像選択部を有し、前記特定領域の位置に基づいて、前記加工対象画像として選択された画像の加工を行う請求項１記載の内視鏡装置。
3. 前記画像選択部は、前記特定領域の位置に関する状態に基づいて、前記加工対象画像の選択を行う請求項２記載の内視鏡装置。
4. 前記画像選択部は、ユーザーによる指示により、前記加工対象画像の選択を行う請求項２記載の内視鏡装置。
5. 前記画像加工部は、
   前記特定領域の位置に応じて設定した計測用マーカを、前記第１撮像画像又は前記第２撮像画像に対して重ねて表示する特定画像を生成する請求項１ないし４いずれか１項記載の内視鏡装置。
6. 前記計測用マーカは、前記被写体の実寸サイズを示す第１の計測用マーカ、又は、前記計測補助光によって形成される前記被写体上の交差ライン、及び前記交差ライン上に前記被写体の大きさの指標となる目盛りからなる第２の計測用マーカを含む請求項５記載の内視鏡装置。
7. 前記計測用マーカの種類は、ユーザーによる指示により選択可能である請求項５または６記載の内視鏡装置。

Images