以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
図1から図11は、本発明の実施例に係るものである。図1は、本発明の実施例に係る内視鏡システムの要部の構成を示す図である。
内視鏡システム1は、例えば図1に示すように、被検者の体腔内に挿入される走査型の内視鏡2と、内視鏡2に接続される本体装置3と、本体装置3に接続されるモニタ4と、本体装置3に接続される情報処理装置5と、を有して構成されている。
内視鏡2は、被検者の体腔内に挿入可能な細長形状及び可撓性を備えて形成された挿入部11を有して構成されている。なお、挿入部11の基端部には、内視鏡2を本体装置3に着脱自在に接続するための図示しないコネクタ等が設けられている。
挿入部11の内部における基端部から先端部にかけての部分には、本体装置3の光源ユニット21から供給された照明光を対物光学系14へ導く導光部材としての機能を具備する照明用ファイバ12と、被写体からの戻り光を受光して本体装置3の検出ユニット23へ導く受光用ファイバ13と、がそれぞれ挿通されている。
照明用ファイバ12の光入射面を含む端部は、本体装置3の内部に設けられた合波器32に配置されている。また、照明用ファイバ12の光出射面を含む端部は、挿入部11の先端部に設けられた対物光学系14の光入射面の近傍において、固定部材等により固定されない状態で配置されている。すなわち、照明用ファイバ12により導かれた照明光は、対物光学系14を経て被写体へ照射される。
なお、本実施例においては、後述の対物光学系14の設計データに対応する設計値として、例えば、照明用ファイバ12の光出射面を含む端部の開口数NAが0.0963となるように設定されていることが望ましい。
受光用ファイバ13の光入射面を含む端部は、挿入部11の先端部の先端面における、対物光学系14の光出射面の周囲に固定配置されている。また、受光用ファイバ13の光出射面を含む端部は、本体装置3の内部に設けられた分波器36に配置されている。
挿入部11の先端部側における照明用ファイバ12の中途部には、本体装置3のドライバユニット22から出力される駆動信号に基づいて駆動するアクチュエータ15が取り付けられている。
ここで、以降においては、挿入部11の長手方向の軸に相当する挿入軸(または対物光学系14の光軸)に対して垂直な仮想の平面として、図2に示すようなXY平面を被写体の表面に設定する場合を例に挙げつつ説明を進める。図2は、被写体の表面に設定される仮想的なXY平面の一例を示す図である。
具体的には、図2のXY平面上の点SAは、紙面手前側から奥側に相当する方向に挿入部11の挿入軸が存在するものとして仮想的に設定した場合における、当該挿入軸と紙面との交点を示している。また、図2のXY平面におけるX軸方向は、紙面左側から右側に向かう方向として設定されている。また、図2のXY平面におけるY軸方向は、紙面下側から上側に向かう方向として設定されている。また、図2のXY平面を構成するX軸及びY軸は、点SAにおいて交差している。
アクチュエータ15は、本体装置3のドライバユニット22から出力される第1の駆動信号に基づき、照明用ファイバ12の光出射面を含む端部をX軸方向に揺動させるように動作するX軸用アクチュエータ(図示せず)と、本体装置3のドライバユニット22から出力される第2の駆動信号に基づき、照明用ファイバ12の光出射面を含む端部をY軸方向に揺動させるように動作するY軸用アクチュエータ(図示せず)と、を有して構成されている。そして、照明用ファイバ12の光出射面を含む端部は、前述のようなX軸用アクチュエータ及びY軸用アクチュエータの動作に伴い、点SAを中心として渦巻状に揺動される。
なお、本実施例においては、後述の対物光学系14の設計データに対応する設計値として、例えば、アクチュエータ15により揺動される照明用ファイバ12の(光出射面を含む端部の)長さが3.4mmとなるように設定されていることが望ましい。
挿入部11の内部には、例えば、対物光学系14の特性に応じて決定される光学特性情報等のような、内視鏡2に関連する種々の情報を含む内視鏡情報が予め格納されたメモリ16が設けられている。そして、メモリ16に格納された内視鏡情報は、内視鏡2と本体装置3とが接続された際に、本体装置3のコントローラ25によって読み出される。なお、メモリ16に格納された対物光学系14の光学特性情報の詳細については、後程説明する。
ここで、挿入部11の先端部に設けられた対物光学系14の具体的な構成例について、図3及び図4を参照しつつ説明を行う。図3は、本実施例に係る内視鏡に設けられた対物光学系の構成の一例を示す図である。図4は、図3の対物光学系において発生する倍率色収差を示す収差図である。
対物光学系14は、例えば図3に示すように、正の屈折力を有する2つの平凸レンズにより構成されている。また、本実施例の対物光学系14は、下記のような設計データを具備して設計されている。
なお、下記の対物光学系14の設計データにおいては、曲率半径をrとして示し、面間隔をdとして示し、各レンズのd線(587.6nm)に対する屈折率をndとして示し、各レンズのd線のアッベ数をνdとして示している。また、下記の対物光学系14の設計データにおいては、曲率半径rの“∞”が無限大であることを示し、面番号の“物体面”におけるD=7.50(mm)が対物光学系14の焦点位置を示している。また、曲率半径r及び面間隔d等の距離に関するデータの単位は、特段の記載がない場合においては、ミリメートル(mm)であるとする。また、下記の対物光学系14の設計データ及び図3内の“物体面”は、観察対象物の表面を示すものとする。また、下記の対物光学系14の設計データ及び図3内の、“像面”は、渦巻状に揺動される照明用ファイバ12の光出射面の軌跡が投影される仮想的な面を示すものとする。
(設計データ)
一方、上記の設計データを具備して設計された対物光学系14においては、例えば図4に示すような倍率色収差が発生する。
なお、図4の一点鎖線は、緑色の波長帯域の光(以降、G光とも称する)を基準とした場合(G光の倍率色収差=0と規定した場合)における、赤色の波長帯域の光(以降、R光とも称する)の像高(図4の“FIY”に相当)と倍率色収差に起因する収差量との間の相関を示している。また、図4の二点鎖線は、G光を基準とした場合における、青色の波長帯域の光(以降、B光とも称する)の像高と倍率色収差に起因する収差量との間の相関を示している。また、図4の“FIY”の最大値に相当する最大像高は、被写体の表面における点SAから後述の点YMAXまでの距離(例えば0.2(mm))に略一致する値であるとともに、アクチュエータ15により揺動される照明用ファイバ12の最大振幅に応じて決定される値である。
すなわち、挿入部11のメモリ16には、対物光学系14の特性に応じて決定される光学特性情報として、上記のような設計データと、図4の収差図として例示したような、対物光学系14に起因して発生する倍率色収差の基準をG光に設定した場合における、R光及びB光の像高と収差量との間の対応関係を示すデータと、が併せて格納されている。
一方、本体装置3は、光源ユニット21と、ドライバユニット22と、検出ユニット23と、メモリ24と、コントローラ25と、を有して構成されている。
光源ユニット21は、光源31aと、光源31bと、光源31cと、合波器32と、を有して構成されている。
光源31aは、例えばレーザ光源等を具備し、コントローラ25の制御によりオンされた際に、R光を合波器32へ出射するように構成されている。
光源31bは、例えばレーザ光源等を具備し、コントローラ25の制御によりオンされた際に、G光を合波器32へ出射するように構成されている。
光源31cは、例えばレーザ光源等を具備し、コントローラ25の制御によりオンされた際に、B光を合波器32へ出射するように構成されている。
合波器32は、光源31aから発せられたR光と、光源31bから発せられたG光と、光源31cから発せられたB光と、を合波して照明用ファイバ12の光入射面に供給できるように構成されている。
ドライバユニット22は、信号発生器33と、デジタルアナログ(以下、D/Aという)変換器34a及び34bと、アンプ35と、を有して構成されている。
信号発生器33は、コントローラ25の制御に基づき、照明用ファイバ12の光出射面を含む端部をX軸方向に揺動させる第1の駆動信号として、例えば図5に示すような、所定の波形の信号を生成してD/A変換器34aに出力するように構成されている。図5は、内視鏡に設けられたアクチュエータに供給される第1の駆動信号の信号波形の一例を示す図である。
また、信号発生器33は、コントローラ25の制御に基づき、照明用ファイバ12の光出射面を含む端部をY軸方向に揺動させる第2の駆動信号として、例えば図6に示すような、前述の第1の駆動信号の位相を90°ずらした波形の信号を生成してD/A変換器34bに出力するように構成されている。図6は、内視鏡に設けられたアクチュエータに供給される第2の駆動信号の信号波形の一例を示す図である。
D/A変換器34aは、信号発生器33から出力されたデジタルの第1の駆動信号をアナログの第1の駆動信号に変換してアンプ35へ出力するように構成されている。
D/A変換器34bは、信号発生器33から出力されたデジタルの第2の駆動信号をアナログの第2の駆動信号に変換してアンプ35へ出力するように構成されている。
アンプ35は、D/A変換器34a及び34bから出力された第1及び第2の駆動信号を増幅してアクチュエータ15へ出力するように構成されている。
ここで、図5において例示した第1の駆動信号の振幅値(信号レベル)は、最小値となる時刻T1を起点として徐々に増加し、時刻T2において最大値になった後で徐々に減少し、時刻T3で再び最小値となる。
また、図6において例示した第2の駆動信号の振幅値(信号レベル)は、最小値となる時刻T1を起点として徐々に増加し、時刻T2の近辺において最大値になった後で徐々に減少し、時刻T3で再び最小値となる。
そして、図5に示すような第1の駆動信号がアクチュエータ15のX軸用アクチュエータに供給されるとともに、図6に示すような第2の駆動信号がアクチュエータ15のY軸用アクチュエータに供給されると、照明用ファイバ12の光出射面を含む端部が点SAを中心とした渦巻状に揺動され、このような揺動に応じて被写体の表面が図7A及び図7Bに示すような渦巻状に走査される。図7Aは、図2のような仮想的なXY平面に照明光が照射された場合における、点SAから点YMAXに至るまでの照明光の照射座標の時間的な変位を説明するための図である。図7Bは、図2のような仮想的なXY平面に照明光が照射された場合における、点YMAXから点SAに至るまでの照明光の照射座標の時間的な変位を説明するための図である。
具体的には、時刻T1においては、被写体の表面の点SAに相当する位置に照明光が照射される。その後、第1及び第2の駆動信号の振幅値が時刻T1から時刻T2にかけて増加するに伴い、被写体の表面における照明光の照射座標が点SAを起点として外側へ第1の渦巻状の軌跡を描くように変位し、さらに、時刻T2に達すると、被写体の表面における照明光の照射座標の最外点である点YMAXに照明光が照射される。そして、第1及び第2の駆動信号の振幅値が時刻T2から時刻T3にかけて減少するに伴い、被写体の表面における照明光の照射座標が点YMAXを起点として内側へ第2の渦巻状の軌跡を描くように変位し、さらに、時刻T3に達すると、被写体の表面における点SAに照明光が照射される。
すなわち、アクチュエータ15は、ドライバユニット22から供給される第1及び第2の駆動信号に基づき、対物光学系14を経て被写体へ照射される照明光の照射位置が図7A及び図7Bに例示した渦巻形状の走査パターンに沿った照射位置となるように、照明用ファイバ12の光出射面を含む端部を揺動させることができるように構成されている。
なお、本実施例においては、対物光学系14を経た照明光が図7A及び図7Bのような渦巻形状に沿って照射され、さらに、対物光学系14の光出射面の周囲に固定配置された受光用ファイバ13が被写体の表面からの戻り光を受光することに伴い、90°の画角(視野)の画像が生成されるものとする。
一方、検出ユニット23は、分波器36と、検出器37a、37b及び37cと、アナログデジタル(以下、A/Dという)変換器38a、38b及び38cと、を有して構成されている。
分波器36は、ダイクロイックミラー等を具備し、受光用ファイバ13の光出射面から出射された戻り光をR(赤)、G(緑)及びB(青)の各色成分毎の光に分離して検出器37a、37b及び37cへ出射するように構成されている。
検出器37aは、分波器36から出力されるR光の強度を検出し、当該検出したR光の強度に応じたアナログのR信号を生成してA/D変換器38aへ出力するように構成されている。
検出器37bは、分波器36から出力されるG光の強度を検出し、当該検出したG光の強度に応じたアナログのG信号を生成してA/D変換器38bへ出力するように構成されている。
検出器37cは、分波器36から出力されるB光の強度を検出し、当該検出したB光の強度に応じたアナログのB信号を生成してA/D変換器38cへ出力するように構成されている。
A/D変換器38aは、検出器37aから出力されたアナログのR信号をデジタルのR信号に変換してコントローラ25へ出力するように構成されている。
A/D変換器38bは、検出器37bから出力されたアナログのG信号をデジタルのG信号に変換してコントローラ25へ出力するように構成されている。
A/D変換器38cは、検出器37cから出力されたアナログのB信号をデジタルのB信号に変換してコントローラ25へ出力するように構成されている。
メモリ24には、本体装置3の制御を行うための制御プログラム等が予め格納されているとともに、情報処理装置5の処理結果として得られる画像補正情報が格納される。なお、このような画像補正情報の詳細については、後程説明する。
コントローラ25は、メモリ24に格納された制御プログラムを読み出し、当該読み出した制御プログラムに基づいて光源ユニット21及びドライバユニット22の制御を行うように構成されている。
コントローラ25は、挿入部11が本体装置3に接続された際にメモリ16から出力される内視鏡情報を情報処理装置5へ出力することができるように構成されている。また、コントローラ25は、情報処理装置5から出力された画像補正情報をメモリ24に格納させるように動作する。
コントローラ25は、時刻T1から時刻T2に相当する期間に検出ユニット23から出力されるR信号、G信号及びB信号に基づいて1フレーム分の画像を生成するように構成されている。また、コントローラ25は、時刻T2から時刻T3に相当する期間に検出ユニット23から出力されるR信号、G信号及びB信号に基づいて1フレーム分の画像を生成するように構成されている。
さらに、コントローラ25は、メモリ24に画像補正情報が格納されている場合において、当該画像補正情報に基づく画像補正処理を各フレームの画像に対して施し、当該画像補正処理を施した補正後の画像を所定のフレームレートでモニタ4に表示させるように動作する。
情報処理装置5は、コントローラ25から出力される光学特性情報と、光照射座標検出モジュール101から出力される座標情報と、に基づいて画像補正情報の取得に係る処理を行う演算処理部51を有して構成されている。
ここで、座標情報取得部としての機能を備えた光照射座標検出モジュール101は、位置検出素子(PSD:Position Sensitive Detector)等を具備し、対物光学系14を経て出射された照明光を受光した際の位置を検出するとともに、当該検出した位置に応じた座標情報を出力するように構成されている。
なお、本実施例の光照射座標検出モジュール101においては、図2、図7A及び図7Bに例示したXY平面上の点SAの座標位置が(0,0)となるように予め設定されているものとする。すなわち、光照射座標検出モジュール101から出力される座標情報は、図2、図7A及び図7Bに例示したXY平面上の点SAの座標位置(0,0)を基準とした相対的な座標位置を示す情報である。
そのため、演算処理部51は、以上に述べたような構成を具備する光照射座標検出モジュール101から出力される座標情報に基づき、内視鏡2から渦巻状に照射される照明光の照射位置を特定することができる。
また、演算処理部51は、光照射座標検出モジュール101から出力される座標情報と、コントローラ25から出力される内視鏡情報に含まれる光学特性情報と、に基づいて後述の処理を行うことにより画像補正情報を取得し、当該取得した画像補正情報を本体装置3のコントローラ25へ出力するように構成されている。
続いて、以上に述べたような構成を具備する内視鏡システム1の各部の動作等について、以下に説明する。
まず、術者等は、内視鏡2、モニタ4及び情報処理装置5の各部を本体装置3にそれぞれ接続し、内視鏡2の先端面に対向する位置に光照射座標検出モジュール101を配置し、さらに、光照射座標検出モジュール101から出力される座標情報が情報処理装置5へ入力されるように設定する。
その後、内視鏡システム1の各部の電源が投入されると、挿入部11のメモリ16に格納された内視鏡情報が、コントローラ25を介して情報処理装置5へ出力される。
なお、本実施例によれば、内視鏡2の種類を特定可能なID情報が内視鏡情報としてメモリ16に格納され、かつ、複数の内視鏡2の種類に応じた光学特性情報がメモリ24に格納されるようにしてもよい。さらに、このような場合において、コントローラ25が、メモリ16から出力されるID情報に基づいて本体装置3に接続された内視鏡2の種類を識別し、当該識別した結果に応じて内視鏡2に適合する光学特性情報を選択し、当該選択した光学特性情報を情報処理装置5へ出力するようにしてもよい。
一方、コントローラ25は、メモリ16から読み込んだ内視鏡情報を情報処理装置5へ出力した略直後のタイミングにおいて、光源31a及び31cをオフしたまま光源31bをオフからオンへ切り替える制御を光源ユニット21に対して行うとともに、第1及び第2の駆動信号をアクチュエータ15へ出力させる制御をドライバユニット22に対して行う。そして、このようなコントローラ25の制御により、G光が光照射座標検出モジュール101の表面に渦巻状に照射され、当該渦巻状に照射されたG光を受光した座標位置に対応する座標情報が光照射座標検出モジュール101から順次出力される。
補正情報取得部としての機能を備えた演算処理部51は、G光の所定の像高に対応する1つの座標情報が光照射座標検出モジュール101から出力されたことを検出すると、当該所定の像高におけるR光及びB光の収差量を光学特性情報に基づいてそれぞれ検出し、さらに、当該検出した各収差量に基づき、R光の照射に応じて生成されるR画像の補正処理に用いられるR画像補正情報、及び、B光の照射に応じて生成されるB画像の補正処理に用いられるB画像補正情報をそれぞれ取得する処理を行う。
具体的には、演算処理部51は、例えば、G光の所定の像高に対応する1つの座標情報が光照射座標検出モジュール101から出力されたことを検出すると、図4の収差図に基づき、当該所定の像高におけるR光の収差量を検出し、当該検出したR光の収差量が最大像高に対して占める割合P(%)を算出し、当該算出した割合P(%)の値をR画像補正情報として取得する。また、演算処理部51は、例えば、G光の所定の像高に対応する1つの座標情報が光照射座標検出モジュール101から出力されたことを検出すると、図4の収差図に基づき、当該所定の像高におけるB光の収差量を検出し、さらに、当該検出したB光の収差量が最大像高に対して占める割合Q(%)を算出し、当該算出した割合Q(%)の値をB画像補正情報として取得する。
そして、演算処理部51は、前述のように取得したR画像補正情報及びB画像補正情報をコントローラ25へ出力する。
コントローラ25は、R画像補正情報及びB画像補正情報が情報処理装置5から出力されたことを検出すると、各画像補正情報をメモリ24に格納させるとともに、光源31bをオンしたまま光源31a及び31cをオフからオンへ切り替える制御を光源ユニット21に対して行う。そして、このようなコントローラ25の制御により、R光、G光及びB光の混合光が(光照射座標検出モジュール101等の)任意の被写体の表面に渦巻状に照射され、当該任意の被写体の表面に照射された混合光の戻り光が受光用ファイバ13により受光され、当該受光された戻り光に応じた各色信号(R信号、G信号及びB信号)が検出ユニット23から順次出力される。
コントローラ25は、検出ユニット23から出力されるR信号に応じたR画像を生成し、当該生成したR画像に対し、メモリ24に格納されたR画像補正情報に基づく画像補正処理を施す。また、コントローラ25は、検出ユニット23から出力されるB信号に応じたB画像を生成し、当該生成したB画像に対し、メモリ24に格納されたB画像補正情報に基づく画像補正処理を施す。
具体的には、コントローラ25は、前述の画像補正処理として、例えば、検出ユニット23から出力されるR信号に応じて生成したR画像を、メモリ24に格納されたR画像補正情報の割合に相当するP(%)だけ収縮させるような処理を行う。また、コントローラ25は、前述の画像補正処理として、例えば、検出ユニット23から出力されるB信号に応じて生成したB画像を、メモリ24に格納されたB画像補正情報の割合に相当するQ(%)だけ膨張させるような処理を行う。
そして、コントローラ25は、画像補正処理をそれぞれ施した補正後のR画像及びB画像と、検出ユニット23から出力されるG信号に応じて生成したG画像と、を各フレーム毎に合成し、当該合成した画像を所定のフレームレートでモニタ4に表示させる。
なお、本実施例においては、G光を基準として(G光の倍率色収差=0と規定して)R画像補正情報及びB画像補正情報を取得するように構成したものに限らず、例えば、R光を基準として(R光の倍率色収差=0と規定して)G画像の補正処理に用いられるG画像補正情報及びB画像補正情報を取得するように構成してもよい。または、本実施例においては、B光を基準として(B光の倍率色収差=0と規定して)R画像補正情報及びG画像補正情報を取得するように構成してもよい。
以上に述べたように、本実施例によれば、前述のような光学特性情報と、所定の1つの色成分の光を光照射座標検出モジュール101の表面に照射した際に検出される座標情報と、に基づき、当該所定の1つの色成分とは異なる他の色成分の光の照射に伴って生じる倍率色収差を補正するための情報を取得することができる。その結果、本実施例によれば、走査型の内視鏡を用いて画像を取得する際に生じる倍率色収差を従来に比べて簡易に較正することができる。
また、本実施例によれば、正の屈折力を有する光学部材のみを具備して構成された対物光学系14において発生する倍率色収差を画像補正処理により補正することができる。その結果、本実施例によれば、走査型の内視鏡における挿入部の先端部の構成を簡易化しつつ、倍率色収差に起因して生じる色ずれを補正することができる。
なお、本実施例によれば、例えば、対物光学系14の歪曲収差を特定可能な収差図等の情報が光学特性情報に含まれているような場合において、光照射座標検出モジュール101の代わりに、図8に示すような較正用チャート201を用いて画像補正処理を行うようにしてもよい。図8は、画像補正処理を行う際に利用可能な較正用チャートの一例を示す図である。
較正用チャート201は、たる型の歪曲収差を具備する対物光学系14に適合するように構成されており、図8に示すように、白色の背景領域内に黒色で描かれた複数のドットからなるドットパターンを有している。
なお、図8のドットパターンに含まれる各ドットは、較正用チャート201の中央部から外縁部へ向かうにつれてドットの径が大きくなり、かつ、較正用チャート201の中央部から外縁部へ向かうにつれてドット同士の間隔が広くなるように描かれている。
続いて、このような較正用チャート201を用いた場合における画像補正処理等について、以下に説明する。図9は、図8の較正用チャートを用いて行われる処理の概要を説明するためのフローチャートである。
まず、術者等は、内視鏡2、モニタ4及び情報処理装置5の各部を本体装置3にそれぞれ接続する。さらに、術者等は、内視鏡2の先端面に対向する位置であり、かつ、ドットパターンの中央のドットと対物光学系14の光軸とが略一致するような位置に較正用チャート201を配置する。
その後、内視鏡システム1の各部の電源が投入されると、挿入部11のメモリ16に格納された内視鏡情報が、コントローラ25を介して情報処理装置5へ出力される。
コントローラ25は、メモリ16から読み込んだ内視鏡情報を情報処理装置5へ出力した略直後のタイミングにおいて、光源31a、31b及び31cをオフからオンへ切り替える制御を光源ユニット21に対して行うとともに、第1及び第2の駆動信号をアクチュエータ15へ出力させる制御をドライバユニット22に対して行う。そして、このようなコントローラ25の制御により、R光、G光及びB光の混合光が較正用チャート201の表面に渦巻状に照射され、較正用チャート201の表面に照射された混合光の戻り光が受光用ファイバ13により受光され、当該受光された戻り光に応じた各色信号(R信号、G信号及びB信号)が検出ユニット23から順次出力される。
そして、コントローラ25は、検出ユニット23から出力されるR信号、G信号及びB信号に応じてR画像、G画像及びB画像を生成し、当該生成した各色の画像を情報処理装置5へ出力する。
演算処理部51は、図2に例示したXY平面の点SAに相当する座標位置(0,0)と、コントローラ25から出力される各画像に含まれるドットパターンの中央のドットの位置とを合わせた状態において、当該各画像に含まれるドットパターンの各ドットの座標位置を取得する。すなわち、座標情報取得部としての機能を備えた演算処理部51は、コントローラ25から出力される各画像に含まれるドットパターンの各ドットの座標位置を、内視鏡2から渦巻状に照射される照明光の照射位置を特定可能な座標情報として取得する。
演算処理部51は、G画像内のドットパターンに含まれるドットの座標位置がR画像内のドットパターンにおいてどの程度ずれているかをパターンマッチングを用いて計測することにより、G画像の画素に対するR画像の画素の色ずれの大きさを示す色ずれ量RZPを、R画像の各画素において算出する。
そして、補正情報取得部としての機能を備えた演算処理部51は、前述のように求めたR画像の各画素における色ずれ量RZPをR画像補正情報として取得した(図9のステップS1)後、当該取得したR画像補正情報を本体装置3のコントローラ25へ出力する。
また、演算処理部51は、G画像内のドットパターンに含まれるドットの座標位置がB画像内においてどの程度ずれているかをパターンマッチングを用いて計測することにより、G画像の画素に対するB画像の画素の色ずれの大きさを示す色ずれ量BZPを、B画像の各画素において算出する。
そして、補正情報取得部としての機能を備えた演算処理部51は、前述のように求めたB画像の各画素における色ずれ量BZPをB画像補正情報として取得した(図9のステップS1)後、当該取得したB画像補正情報を本体装置3のコントローラ25へ出力する。
コントローラ25は、情報処理装置5から出力されるR画像補正情報及びB画像補正情報をメモリ24に格納する。
その後、コントローラ25は、検出ユニット23から出力されるR信号に応じたR画像を生成し、当該生成したR画像に対し、メモリ24に格納されたR画像補正情報に基づく画像補正処理を施す(図9のステップS2)。また、コントローラ25は、検出ユニット23から出力されるB信号に応じたB画像を生成し、当該生成したB画像に対し、メモリ24に格納されたB画像補正情報に基づく画像補正処理を施す(図9のステップS2)。
ここで、図9のステップS2において行われる画像補正処理の具体例について、R画像の場合を例に挙げて説明する。図10は、図9のステップS2において行われる画像補正処理の具体例を説明するためのフローチャートである。
まず、コントローラ25は、R画像内の各画素の中から、補正対象となる注目画素と、当該注目画素の近傍に位置する複数の近傍画素と、をそれぞれ抽出する(図10のステップS11)。
具体的には、コントローラ25は、R画像内の各画素の中から、例えば、補正対象となる注目画素PIと、当該注目画素の近傍に位置する4つの近傍画素PN1、PN2、PN3及びPN4と、をそれぞれ抽出する。
次に、コントローラ25は、図10のステップS11において抽出した注目画素と各近傍画素との間の距離をそれぞれ算出し(図10のステップS12)、さらに、当該算出した各距離に対応する正規化値を取得する(図10のステップS13)。
具体的には、コントローラ25は、例えば、注目画素PIと近傍画素PN1との間の距離DP1を算出し、注目画素PIと近傍画素PN2との間の距離DP2を算出し、注目画素PIと近傍画素PN3との間の距離DP3を算出し、注目画素PIと近傍画素PN4との間の距離DP4を算出する。さらに、コントローラ25は、前述のように算出した距離DP1〜DP4の合計値が1.0になるように正規化することにより、距離DP1に対応する正規化値DN1と、距離DP2に対応する正規化値DN2と、距離DP3に対応する正規化値DN3と、距離DP4に対応する正規化値DN4と、をそれぞれ取得する。
コントローラ25は、メモリ24に格納されたR画像補正情報に含まれる各近傍画素の色ずれ量を、図10のステップS13により取得した正規化値により重み付けする(図10のステップS14)。
具体的には、コントローラ25は、メモリ24に格納されたR画像補正情報に基づき、例えば、近傍画素PN1の色ずれ量RZPN1に正規化値DN1を乗じ、近傍画素PN2の色ずれ量RZPN2に正規化値DN2を乗じ、近傍画素PN3の色ずれ量RZPN3に正規化値DN3を乗じ、近傍画素PN4の色ずれ量RZPN4に正規化値DN4を乗ずるような重み付けを行う。
コントローラ25は、図10のステップS14により重み付けされた各近傍画素の色ずれ量に基づき、図10のステップS11により抽出した注目画素の色ずれ量を算出する(図10のステップS15)。
具体的には、コントローラ25は、例えば、色ずれ量RZPN1に正規化値DN1を乗じて得られた値と、色ずれ量RZPN2に正規化値DN2を乗じて得られた値と、色ずれ量RZPN3に正規化値DN3を乗じて得られた値と、色ずれ量RZPN4に正規化値DN4を乗じて得られた値と、の総和を、ステップS11により抽出した注目画素の色ずれ量RZPIとして算出する。
その後、コントローラ25は、R画像内の各画素の色ずれ量RZPIの算出が未完了である場合には(図10のステップS16)、図10のステップS11〜ステップS15までの処理を繰り返し行う。また、コントローラ25は、R画像内の各画素の色ずれ量RZPIの算出が完了した際には(図10のステップS16)、当該算出した各画素の色ずれ量RZPIに基づく画像補正処理をR画像に対して施す(図10のステップS17)。
さらに、コントローラ25は、図10の一連の処理を適用することにより、R画像に対して施したものと略同様の画像補正処理をB画像に対して施した後、当該画像補正処理が施された補正後のR画像及びB画像と、検出ユニット23から出力されるG信号に応じて生成した無補正のG画像と、をフレーム毎に合成し、当該合成した画像を所定のフレームレートでモニタ4に表示させる(図9のステップS3)。
なお、以上に述べたような画像補正処理の手法は、糸巻き型の歪曲収差を具備する対物光学系14に対しても略同様に適用できる。具体的には、例えば、較正用チャートの中央部から外縁部へ向かうにつれてドットの径が小さくなり、かつ、当該較正用チャートの中央部から外縁部へ向かうにつれてドット同士の間隔が狭くなるように描かれたドットパターンを含むR画像及びB画像に基づく処理等を行うことにより、前述のものと略同様の画像補正処理を行うことができる。
一方、本実施例によれば、例えば、対物光学系14の歪曲収差を特定可能な収差図等の情報が光学特性情報に含まれているような場合において、光照射座標検出モジュール101の代わりに、図11に示すような較正用チャート301を用いて画像補正処理を行うようにしてもよい。図11は、画像補正処理を行う際に利用可能な較正用チャートの、図8とは異なる例を示す図である。
較正用チャート301は、たる型の歪曲収差を具備する対物光学系14に適合するように構成されており、図11に示すように、白色の背景領域内に黒色の線分で描かれた複数の格子からなる格子パターンを有している。
なお、図11の格子パターンに含まれる各格子は、較正用チャート301の中央部から外縁部へ向かうにつれて線幅が太くなり、較正用チャート301の中央部から外縁部へ向かうにつれて格子間隔が広くなり、かつ、較正用チャート301の中央部から外縁部へ向かうにつれて格子形状が歪むように描かれている。
続いて、このような較正用チャート301を用いた場合における画像補正処理等について、以下に説明する。
まず、術者等は、内視鏡2、モニタ4及び情報処理装置5の各部を本体装置3にそれぞれ接続する。さらに、術者等は、内視鏡2の先端面に対向する位置であり、かつ、格子パターンの中央の頂点と対物光学系14の光軸とが略一致するような位置に較正用チャート301を配置する。
その後、内視鏡システム1の各部の電源が投入されると、挿入部11のメモリ16に格納された内視鏡情報が、コントローラ25を介して情報処理装置5へ出力される。
コントローラ25は、メモリ16から読み込んだ内視鏡情報を情報処理装置5へ出力した略直後のタイミングにおいて、光源31a、31b及び31cをオフからオンへ切り替える制御を光源ユニット21に対して行うとともに、第1及び第2の駆動信号をアクチュエータ15へ出力させる制御をドライバユニット22に対して行う。そして、このようなコントローラ25の制御により、R光、G光及びB光の混合光が較正用チャート301の表面に渦巻状に照射され、較正用チャート301の表面に照射された混合光の戻り光が受光用ファイバ13により受光され、当該受光された戻り光に応じた各色信号(R信号、G信号及びB信号)が検出ユニット23から順次出力される。
そして、コントローラ25は、検出ユニット23から出力されるR信号、G信号及びB信号に応じてR画像、G画像及びB画像を生成し、当該生成した各色の画像を情報処理装置5へ出力する。
演算処理部51は、図2に例示したXY平面の点SAに相当する座標位置(0,0)と、コントローラ25から出力される各画像に含まれる格子パターンの中央の頂点の位置とを合わせた状態において、当該各画像に含まれる格子パターンの各頂点の座標位置を取得する。すなわち、座標情報取得部としての機能を備えた演算処理部51は、コントローラ25から出力される各画像に含まれる格子パターンの各頂点の座標位置を、内視鏡2から渦巻状に照射される照明光の照射位置を特定可能な座標情報として取得する。
演算処理部51は、G画像内の格子パターンに含まれる頂点の座標位置がR画像内のドットパターンにおいてどの程度ずれているかをパターンマッチングを用いて計測することにより、G画像の画素に対するR画像の画素の色ずれの大きさを示す色ずれ量RZPを、R画像の各画素において算出する。
そして、補正情報取得部としての機能を備えた演算処理部51は、前述のように求めたR画像の各画素における色ずれ量RZPをR画像補正情報として取得した(図9のステップS1)後、当該取得したR画像補正情報を本体装置3のコントローラ25へ出力する。
また、演算処理部51は、G画像内の格子パターンに含まれる頂点の座標位置がB画像内においてどの程度ずれているかをパターンマッチングを用いて計測することにより、G画像の画素に対するB画像の画素の色ずれの大きさを示す色ずれ量BZPを、B画像の各画素において算出する。
そして、補正情報取得部としての機能を備えた演算処理部51は、前述のように求めたB画像の各画素における色ずれ量BZPをB画像補正情報として取得した(図9のステップS1)後、当該取得したB画像補正情報を本体装置3のコントローラ25へ出力する。
コントローラ25は、情報処理装置5から出力されるR画像補正情報及びB画像補正情報をメモリ24に格納する。
その後、コントローラ25は、検出ユニット23から出力されるR信号に応じたR画像を生成し、当該生成したR画像に対し、メモリ24に格納されたR画像補正情報に基づく画像補正処理を施す(図9のステップS2)。また、コントローラ25は、検出ユニット23から出力されるB信号に応じたB画像を生成し、当該生成したB画像に対し、メモリ24に格納されたB画像補正情報に基づく画像補正処理を施す(図9のステップS2)。
ここで、図9のステップS2において行われる画像補正処理の具体例について、R画像の場合を例に挙げて説明する。
まず、コントローラ25は、R画像内の各画素の中から、補正対象となる注目画素と、当該注目画素の近傍に位置する複数の近傍画素と、をそれぞれ抽出する(図10のステップS11)。
具体的には、コントローラ25は、R画像内の各画素の中から、例えば、補正対象となる注目画素PIと、当該注目画素の近傍に位置する4つの近傍画素PN1、PN2、PN3及びPN4と、をそれぞれ抽出する。
次に、コントローラ25は、図10のステップS11において抽出した注目画素と各近傍画素との間の距離をそれぞれ算出し(図10のステップS12)、さらに、当該算出した各距離に対応する正規化値を取得する(図10のステップS13)。
具体的には、コントローラ25は、例えば、注目画素PIと近傍画素PN1との間の距離DP1を算出し、注目画素PIと近傍画素PN2との間の距離DP2を算出し、注目画素PIと近傍画素PN3との間の距離DP3を算出し、注目画素PIと近傍画素PN4との間の距離DP4を算出する。さらに、コントローラ25は、前述のように算出した距離DP1〜DP4の合計値が1.0になるように正規化することにより、距離DP1に対応する正規化値DN1と、距離DP2に対応する正規化値DN2と、距離DP3に対応する正規化値DN3と、距離DP4に対応する正規化値DN4と、をそれぞれ取得する。
コントローラ25は、メモリ24に格納されたR画像補正情報に含まれる各近傍画素の色ずれ量を、図10のステップS13により取得した正規化値により重み付けする(図10のステップS14)。
具体的には、コントローラ25は、メモリ24に格納されたR画像補正情報に基づき、例えば、近傍画素PN1の色ずれ量RZPN1に正規化値DN1を乗じ、近傍画素PN2の色ずれ量RZPN2に正規化値DN2を乗じ、近傍画素PN3の色ずれ量RZPN3に正規化値DN3を乗じ、近傍画素PN4の色ずれ量RZPN4に正規化値DN4を乗ずるような重み付けを行う。
コントローラ25は、図10のステップS14により重み付けされた各近傍画素の色ずれ量に基づき、図10のステップS11により抽出した注目画素の色ずれ量を算出する(図10のステップS15)。
具体的には、コントローラ25は、例えば、色ずれ量RZPN1に正規化値DN1を乗じて得られた値と、色ずれ量RZPN2に正規化値DN2を乗じて得られた値と、色ずれ量RZPN3に正規化値DN3を乗じて得られた値と、色ずれ量RZPN4に正規化値DN4を乗じて得られた値と、の総和を、ステップS11により抽出した注目画素の色ずれ量RZPIとして算出する。
その後、コントローラ25は、R画像内の各画素の色ずれ量RZPIの算出が未完了である場合には(図10のステップS16)、図11のステップS11〜ステップS15までの処理を繰り返し行う。また、コントローラ25は、R画像内の各画素の色ずれ量RZPIの算出が完了した際には(図10のステップS16)、当該算出した各画素の色ずれ量RZPIに基づく画像補正処理をR画像に対して施す(図10のステップS17)。
さらに、コントローラ25は、図10の一連の処理を適用することにより、R画像に対して施したものと略同様の画像補正処理をB画像に対して施した後、当該画像補正処理が施された補正後のR画像及びB画像と、検出ユニット23から出力されるG信号に応じて生成した無補正のG画像と、をフレーム毎に合成し、当該合成した画像を所定のフレームレートでモニタ4に表示させる(図9のステップS3)。
なお、以上に述べたような画像補正処理の手法は、糸巻き型の歪曲収差を具備する対物光学系14に対しても略同様に適用できる。具体的には、例えば、較正用チャートの中央部から外縁部へ向かうにつれて線幅が細くなり、較正用チャートの中央部から外縁部へ向かうにつれて格子間隔が狭くなり、かつ、較正用チャート301の中央部から外縁部へ向かうにつれて格子形状が歪むように描かれた格子パターンを含むR画像及びB画像に基づく処理等を行うことにより、前述のものと略同様の画像補正処理を行うことができる。
すなわち、以上に述べたような、対物光学系14の歪曲収差に適合するように構成された所定の較正用チャートを用いて画像補正処理を行う手法によれば、走査型の内視鏡を用いて画像を取得する際に生じる倍率色収差を従来に比べて簡易に較正することができる。
本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本出願は、2012年6月1日に日本国に出願された特願2012−126422号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。