以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
図1から図9は、本発明の実施例に係るものである。図1は、実施例に係る走査型内視鏡システムの要部の構成を示す図である。
走査型内視鏡システム1は、例えば図1に示すように、被検者の体腔内に挿入される走査型内視鏡2と、走査型内視鏡2に接続される本体装置3と、本体装置3に接続されるモニタ4と、を有して構成されている。
走査型内視鏡2は、被検者の体腔内に挿入可能な細長形状及び可撓性を備えて形成された挿入部11を有して構成されている。なお、挿入部11の基端部には、走査型内視鏡2を本体装置3に着脱自在に接続するための図示しないコネクタ等が設けられている。
挿入部11の内部における基端部から先端部にかけての部分には、本体装置3の光源ユニット21から供給された照明光を対物光学系14へ導く導光部としての機能を具備する照明用ファイバ12と、被写体からの戻り光を受光して本体装置3の検出ユニット23へ導く受光用ファイバ13と、がそれぞれ挿通されている。
照明用ファイバ12の光入射面を含む端部は、本体装置3の内部に設けられた合波器32に配置されている。また、照明用ファイバ12の光出射面を含む端部は、挿入部11の先端部に設けられたレンズ14aの光入射面の近傍において、固定部材等により固定されない状態で配置されている。
受光用ファイバ13の光入射面を含む端部は、挿入部11の先端部の先端面における、レンズ14bの光出射面の周囲に固定配置されている。また、受光用ファイバ13の光出射面を含む端部は、本体装置3の内部に設けられた分波器36に配置されている。
対物光学系14は、照明用ファイバ12からの照明光が入射されるレンズ14aと、レンズ14aを経た照明光を被写体へ出射するレンズ14bと、を有して構成されている。
挿入部11の先端部側における照明用ファイバ12の中途部には、本体装置3のドライバユニット22から出力される駆動信号に基づいて駆動するアクチュエータ15が取り付けられている。
ここで、以降においては、挿入部11の長手方向の軸に相当する挿入軸(または対物光学系14の光軸)に対して垂直な仮想の平面として、図2に示すようなXY平面を被写体の表面に設定する場合を例に挙げつつ説明を進める。図2は、被写体の表面に設定される仮想的なXY平面の一例を示す図である。
具体的には、図2のXY平面上の点SAは、紙面手前側から奥側に相当する方向に挿入部11の挿入軸が存在するものとして仮想的に設定した場合における、当該挿入軸と紙面との交点を示している。また、図2のXY平面におけるX軸方向は、紙面左側から右側に向かう方向として設定されている。また、図2のXY平面におけるY軸方向は、紙面下側から上側に向かう方向として設定されている。また、図2のXY平面を構成するX軸及びY軸は、点SAにおいて交差している。
アクチュエータ15は、本体装置3のドライバユニット22から出力される第1の駆動信号に基づき、照明用ファイバ12の光出射面を含む端部をX軸方向に揺動させるように動作するX軸用アクチュエータ(図示せず)と、本体装置3のドライバユニット22から出力される第2の駆動信号に基づき、照明用ファイバ12の光出射面を含む端部をY軸方向に揺動させるように動作するY軸用アクチュエータ(図示せず)と、を有して構成されている。そして、照明用ファイバ12の光出射面を含む端部は、前述のようなX軸用アクチュエータ及びY軸用アクチュエータの動作に伴い、点SAを中心として渦巻状に揺動される。
挿入部11の内部には、走査型内視鏡2の個体識別情報等の種々の情報を含む内視鏡情報が予め格納されたメモリ16が設けられている。そして、メモリ16に格納された内視鏡情報は、走査型内視鏡2と本体装置3とが接続された際に、本体装置3のコントローラ25によって読み込まれる。
一方、本体装置3は、光源ユニット21と、ドライバユニット22と、検出ユニット23と、メモリ24と、コントローラ25と、を有して構成されている。
光源ユニット21は、光源31aと、光源31bと、光源31cと、合波器32と、を有して構成されている。
光源31aは、例えばレーザ光源等を具備し、コントローラ25の制御によりオンされた際に、赤色の波長帯域の光(以降、R光とも称する)を合波器32へ出射するように構成されている。
光源31bは、例えばレーザ光源等を具備し、コントローラ25の制御によりオンされた際に、緑色の波長帯域の光(以降、G光とも称する)を合波器32へ出射するように構成されている。
光源31cは、例えばレーザ光源等を具備し、コントローラ25の制御によりオンされた際に、青色の波長帯域の光(以降、B光とも称する)を合波器32へ出射するように構成されている。
合波器32は、光源31aから発せられたR光と、光源31bから発せられたG光と、光源31cから発せられたB光と、を合波して照明用ファイバ12の光入射面に供給できるように構成されている。
ドライバユニット22は、信号発生器33と、デジタルアナログ(以下、D/Aという)変換器34a及び34bと、アンプ35と、を有して構成されている。
信号発生器33は、コントローラ25の制御に基づき、照明用ファイバ12の光出射面を含む端部をX軸方向に揺動させる第1の駆動信号として、例えば図3に示すような、所定の波形の信号を生成してD/A変換器34aに出力するように構成されている。図3は、走査型内視鏡に設けられたアクチュエータに供給される第1の駆動信号の信号波形の一例を示す図である。
また、信号発生器33は、コントローラ25の制御に基づき、照明用ファイバ12の光出射面を含む端部をY軸方向に揺動させる第2の駆動信号として、例えば図4に示すような、前述の第1の駆動信号の位相を90°ずらした波形の信号を生成してD/A変換器34bに出力するように構成されている。図4は、走査型内視鏡に設けられたアクチュエータに供給される第2の駆動信号の信号波形の一例を示す図である。
D/A変換器34aは、信号発生器33から出力されたデジタルの第1の駆動信号をアナログの第1の駆動信号に変換してアンプ35へ出力するように構成されている。
D/A変換器34bは、信号発生器33から出力されたデジタルの第2の駆動信号をアナログの第2の駆動信号に変換してアンプ35へ出力するように構成されている。
アンプ35は、D/A変換器34a及び34bから出力された第1及び第2の駆動信号を増幅してアクチュエータ15へ出力するように構成されている。
ここで、図3において例示した第1の駆動信号の振幅値(信号レベル)は、最小値となる時刻T1を起点として徐々に増加し、時刻T2において最大値になった後で徐々に減少し、時刻T3で再び最小値となる。
また、図4において例示した第2の駆動信号の振幅値(信号レベル)は、最小値となる時刻T1を起点として徐々に増加し、時刻T2の近辺において最大値になった後で徐々に減少し、時刻T3で再び最小値となる。
そして、図3に示すような第1の駆動信号がアクチュエータ15のX軸用アクチュエータに供給されるとともに、図4に示すような第2の駆動信号がアクチュエータ15のY軸用アクチュエータに供給されると、照明用ファイバ12の光出射面を含む端部が点SAを中心とした渦巻状に揺動され、このような揺動に応じて被写体の表面が図5A及び図5Bに示すような渦巻状に走査される。図5Aは、図2のような仮想的なXY平面に照明光が照射された場合における、点SAから点YMAXに至るまでの照明光の照射座標の時間的な変位を説明するための図である。図5Bは、図2のような仮想的なXY平面に照明光が照射された場合における、点YMAXから点SAに至るまでの照明光の照射座標の時間的な変位を説明するための図である。
具体的には、時刻T1においては、被写体の表面の点SAに相当する位置に照明光が照射される。その後、第1及び第2の駆動信号の振幅値が時刻T1から時刻T2にかけて増加するに伴い、被写体の表面における照明光の照射座標が点SAを起点として外側へ第1の渦巻状の軌跡を描くように変位し、さらに、時刻T2に達すると、被写体の表面における照明光の照射座標の最外点である点YMAXに照明光が照射される。そして、第1及び第2の駆動信号の振幅値が時刻T2から時刻T3にかけて減少するに伴い、被写体の表面における照明光の照射座標が点YMAXを起点として内側へ第2の渦巻状の軌跡を描くように変位し、さらに、時刻T3に達すると、被写体の表面における点SAに照明光が照射される。
すなわち、アクチュエータ15は、ドライバユニット22から供給される第1及び第2の駆動信号に基づき、対物光学系14を経て被写体へ照射される照明光の照射位置が図5A及び図5Bに例示した渦巻状の走査パターンに応じた軌跡を描くように、照明用ファイバ12の光出射面を含む端部を揺動させることが可能な構成を具備している。
一方、検出ユニット23は、分波器36と、検出器37a、37b及び37cと、アナログデジタル(以下、A/Dという)変換器38a、38b及び38cと、を有して構成されている。
分波器36は、ダイクロイックミラー等を具備し、受光用ファイバ13の光出射面から出射された戻り光をR(赤)、G(緑)及びB(青)の色成分毎の光に分離して検出器37a、37b及び37cへ出射するように構成されている。
検出器37aは、分波器36から出力されるR光の強度を検出し、当該検出したR光の強度に応じたアナログのR信号を生成してA/D変換器38aへ出力するように構成されている。
検出器37bは、分波器36から出力されるG光の強度を検出し、当該検出したG光の強度に応じたアナログのG信号を生成してA/D変換器38bへ出力するように構成されている。
検出器37cは、分波器36から出力されるB光の強度を検出し、当該検出したB光の強度に応じたアナログのB信号を生成してA/D変換器38cへ出力するように構成されている。
A/D変換器38aは、検出器37aから出力されたアナログのR信号をデジタルのR信号に変換してコントローラ25へ出力するように構成されている。
A/D変換器38bは、検出器37bから出力されたアナログのG信号をデジタルのG信号に変換してコントローラ25へ出力するように構成されている。
A/D変換器38cは、検出器37cから出力されたアナログのB信号をデジタルのB信号に変換してコントローラ25へ出力するように構成されている。
メモリ24には、本体装置3の制御を行うための制御プログラム等が予め格納されている。また、メモリ24には、図5Aに示すような理想的な渦巻状の走査パターンに沿って照明光が照射された際(時刻T1から時刻T2に相当する期間)に一定のサンプリング周期SCでサンプリングされる各サンプリング画素の座標位置(画素位置)に係る情報を含むマッピングテーブルMPT1と、図5Bに示すような理想的な渦巻状の走査パターンに沿って照明光が照射された際(時刻T2から時刻T3に相当する期間)に一定のサンプリング周期SCでサンプリングされる各サンプリング画素の座標位置(画素位置)に係る情報を含むマッピングテーブルMPT2と、がそれぞれ格納されている。
コントローラ25は、CPU等を具備し、メモリ24に格納された制御プログラムを読み出し、当該読み出した制御プログラムに基づいて光源ユニット21及びドライバユニット22の制御を行うように構成されている。
コントローラ25は、挿入部11が本体装置3に接続された際にメモリ16から読み込んだ内視鏡情報がメモリ24に格納(保存)されていないことを検出した場合において、当該読み込んだ内視鏡情報をメモリ24に格納(保存)するように構成されている。
コントローラ25は、後述のテストチャート101の底面部102に照明光が照射された際に受光される戻り光に応じて検出ユニット23から出力されるR信号、G信号及びB信号に基づき、ホワイトバランス調整処理に用いるホワイトバランス補正値を取得し、当該取得したホワイトバランス補正値をメモリ24に格納するように構成されている。
コントローラ25は、後述のテストチャート101の底面部102に照明光が照射された際に受光される戻り光に応じて検出ユニット23から出力されるR信号、G信号及びB信号に基づき、画素ずれ補正処理に用いる画素ずれ補正値を取得するとともに、当該取得した画素ずれ補正値をメモリ24のマッピングテーブルMPT1またはMPT2に書き込むように構成されている。
コントローラ25は、画素生成部としての機能を具備し、時刻T1から時刻T2に相当する期間に検出ユニット23から出力されるR信号、G信号及びB信号を一定のサンプリング周期SCでサンプリングすることによりサンプリング画素を生成し、当該サンプリング画素に基づく補間処理を行うことにより補間画素を生成し、さらに、当該サンプリング画素及び当該補間画素に基づいて1フレーム分の画像を生成することができるように構成されている。また、コントローラ25は、前述のように生成した(時刻T1から時刻T2に相当する期間の)1フレーム分の画像に対し、メモリ24に格納されたホワイトバランス補正値に基づくホワイトバランス調整処理と、メモリ24に格納されているマッピングテーブルMPT1に書き込まれた画素ずれ補正値に基づく画素ずれ補正処理と、をそれぞれ施すことができるように構成されている。
コントローラ25は、画素生成部としての機能を具備し、時刻T2から時刻T3に相当する期間に検出ユニット23から出力されるR信号、G信号及びB信号を一定のサンプリング周期SCでサンプリングすることによりサンプリング画素を生成し、当該サンプリング画素に基づく補間処理を行うことにより補間画素を生成し、さらに、当該サンプリング画素及び当該補間画素に基づいて1フレーム分の画像を生成することができるように構成されている。また、コントローラ25は、前述のように生成した(時刻T2から時刻T3に相当する期間の)1フレーム分の画像に対し、メモリ24に格納されたホワイトバランス補正値に基づくホワイトバランス調整処理と、メモリ24に格納されているマッピングテーブルMPT2に書き込まれた画素ずれ補正値に基づく画素ずれ補正処理と、をそれぞれ施すことができるように構成されている。
コントローラ25は、ホワイトバランス調整処理及び画素ずれ補正処理を施した画像をモニタ4に表示させるように構成されている。
ここで、前述のホワイトバランス補正値及び画素ずれ補正値の取得に用いられるテストチャート101の構成について説明する。図6は、実施例に係る走査型内視鏡システムとともに用いられるテストチャートの構成を説明するための図である。図7は、テストチャートの底面部の構成の一例を示す図である。
テストチャート101は、図6に示すように、挿入部11の先端部を開口部から内部空間へ挿入することが可能な有底筒体として形成されている。また、テストチャート101は、図6及び図7に示すように、有底筒体の内部に設けられた平面部としての底面部102と、白色の内周側面部103と、位置決め部材104と、を具備して形成されている。また、底面部102は、ホワイトバランス調整用領域102a及び画素ずれ補正用領域102bを備えて形成されている。
ホワイトバランス調整用領域102aは、底面部102の周縁部に設けられた白色かつ無地の領域として構成されている。
画素ずれ補正用領域102bは、底面部102の中央部に設けられた(描かれた)格子パターンを具備する領域として構成されている。
画素ずれ補正用領域102bの格子パターンに含まれる垂直方向(図2に例示した仮想的なXY平面におけるY軸方向に相当)の各線分は、赤色、緑色及び青色のうちの第1の色(例えば赤色)で描かれている。また、画素ずれ補正用領域102bの格子パターンに含まれる水平方向(図2に例示した仮想的なXY平面におけるX軸方向に相当)の各線分は、赤色、緑色及び青色の中のうちの第1の色とは異なる第2の色(例えば緑色)で描かれている。さらに、画素ずれ補正用領域102bの格子パターンに含まれる垂直方向及び水平方向の各線分は、1画素分以上の一定かつ相互に同一の間隔を隔ててそれぞれ描かれている。なお、画素ずれ補正用領域102bの形状は、図2に示したような正方形に限らず、例えば、長方形、円形、楕円形、または、多角形のいずれであってもよい。
位置決め部材104は、例えば、図6に示すようなフランジ付の筒体(または管体)として形成されている。
具体的には、位置決め部材104は、テストチャート101の内部空間に挿入部11が挿入された際に、挿入部11の先端面と底面部102との間の距離を所定の距離に維持しつつ、当該先端面と底面部102とが正対するような位置に挿入部11の先端部を固定配置することが可能な形状を具備して形成されている。また、位置決め部材104には、前述のような位置に挿入部11の先端部が固定配置された状態において、対物光学系14を経て出射される照明光を遮らない程度の径を具備する孔が設けられている。
続いて、以上に述べたような構成を具備する走査型内視鏡システム1の動作等について説明する。なお、以降においては、走査型内視鏡2のメモリ16から読み込まれる内視鏡情報がメモリ24に格納(保存)されていない場合について主に述べる。
まず、術者等は、走査型内視鏡2及びモニタ4を本体装置3にそれぞれ接続し、さらに、走査型内視鏡2をテストチャート101の開口部から内部空間へ挿入することにより、挿入部11の先端面と底面部102とが正対し、挿入部11の先端面と底面部102との間の距離が所定の距離となり、さらに、対物光学系14の光軸と画素ずれ補正用領域102bの格子パターンの中心とが一致するような位置に挿入部11の先端部を配置する。すなわち、このような配置によれば、図2に例示した仮想的なXY平面における点SAと、画素ずれ補正用領域102bの格子パターンの中心とが一致する。
その後、走査型内視鏡システム1の各部の電源が投入されると、挿入部11のメモリ16に格納された内視鏡情報がコントローラ25により読み込まれ、当該読み込まれた内視鏡情報がメモリ24に格納される。
一方、コントローラ25は、メモリ16から読み込んだ内視鏡情報をメモリ24に格納させた略直後のタイミングにおいて、光源31a、31b及び31cをオフからオンへ切り替える制御を光源ユニット21に対して行うとともに、第1及び第2の駆動信号をアクチュエータ15へ出力させる制御をドライバユニット22に対して行う。そして、このようなコントローラ25の制御により、R光、G光及びB光を混合した白色光が照明光として底面部102の表面に照射され、底面部102からの戻り光が受光用ファイバ13により受光され、受光用ファイバ13により受光された戻り光に応じたR信号、G信号及びB信号が検出ユニット23から出力される。
その後、コントローラ25は、例えば、本体装置3に設けられたキャリブレーションスイッチ(不図示)が押下されたことを検出すると、以下に述べるような処理を行うことにより、ホワイトバランス補正値及び画素ずれ補正値を取得する。
ここで、ホワイトバランス補正値及び画素ずれ補正値の取得に係る処理等について説明する。図8は、実施例に係る走査型内視鏡システムにおいて行われる処理等の一例を示すフローチャートである。
コントローラ25は、検出ユニット23から出力されるR信号、G信号及びB信号を一定のサンプリング周期SCでサンプリングすることによりサンプリング画素を生成し、当該生成したサンプリング画素に基づく補間処理を行うことにより補間画素を生成し、さらに、当該生成したサンプリング画素及び補間画素に基づく底面部102の画像を生成した後、当該生成した底面部102の画像の中から、ホワイトバランス調整用領域102aに相当する領域を抽出する(図8のステップS1)。
コントローラ25は、図8のステップS1により抽出したホワイトバランス調整用領域102aに含まれる各サンプリング画素の画素値に基づいてホワイトバランス補正値を算出するとともに(図8のステップS2)、当該算出したホワイトバランス補正値をメモリ24に格納する。
具体的には、コントローラ25は、例えば、ホワイトバランス調整用領域102aに含まれる各サンプリング画素について、R成分の画素値の平均値RPAと、G成分の画素値の平均値GPAと、B成分の画素値の平均値BPAと、をそれぞれ算出した後、さらに、当該算出した3つの平均値RPA、GPA及びBPAの比を1:1:1とするようなホワイトバランス補正値を算出する。
その後、コントローラ25は、図8のステップS1においてホワイトバランス調整用領域102aの抽出に用いたものと同一の画像の中から、底面部102の画素ずれ補正用領域102bに相当する領域を抽出する(図8のステップS3)。
コントローラ25は、図8のステップS3において画素ずれ補正用領域102bの抽出に用いたものと同一の画像に含まれる各画素の画素ずれ補正値を算出した(図8のステップS4)後、当該算出した各画素の画素ずれ補正値をメモリ24のマッピングテーブルMPT1またはMPT2に書き込む。
ここで、図8のステップS4において、画素ずれ補正値を算出する際に行われる演算の一例について説明する。なお、以降においては、簡単のため、垂直方向の画素ずれ補正値を算出する場合を主な例として挙げつつ説明する。
まず、コントローラ25は、メモリ24のマッピングテーブルMPT1またはMPT2に含まれている各サンプリング画素の座標位置を、画素ずれ補正用領域102bの中央部に属するグループGR1と、当該中央部以外の周縁部に属するグループGR2と、に分ける。図9は、画素ずれ補正値の算出に係る処理におけるグループGR1及びGR2の分け方を模式的に示した図である。
具体的には、コントローラ25は、例えば、画素ずれ補正用領域102bの画像サイズが400×400画素である場合においては、図9に模式的に示すように、メモリ24のマッピングテーブルMPT1またはMPT2に含まれている各サンプリング画素の座標位置を、画素ずれ補正用領域102bの中央部に位置する150×150画素からなる範囲(領域)内に含まれるグループGR1と、当該中央部以外の周縁部に属するグループGR2と、に分ける。なお、このようなグループGR1及びGR2の分け方は、挿入部11の先端面と底面部102との間の距離が所定の距離である場合の一例を示している。そのため、本実施例によれば、画素ずれ補正用領域102bの中央部及び周縁部の範囲(領域)が、挿入部11の先端面と底面部102との間の距離に応じた適切な広さの範囲(領域)となるように設定されることが望ましい。
次に、コントローラ25は、グループGR1またはグループGR2に属する各サンプリング画素の座標位置の中から、画素ずれ補正用領域102bの格子パターンの水平方向の線分を構成する各サンプリング画素の座標位置を抽出する。具体的には、コントローラ25は、例えば、画素ずれ補正用領域102bにおける第2の色で描かれている部分を、画素ずれ補正用領域102bの格子パターンの水平方向の線分を構成する各サンプリング画素の座標位置として抽出する。
ここで、画素ずれ補正用領域102bの格子パターンの水平方向における1つの線分を構成する各サンプリング画素の座標位置が(xi,yi)で表される(但し、0≦i≦N-1とする)とともに、当該各サンプリング画素の座標位置に基づいて求められる水平方向のスプライン曲線がf(xi)で表される場合を考えると、当該スプライン曲線f(xi)に対応する評価値σを以下の数式(1)で表すことができる。なお、以下の数式(1)において、ωiは所定の定数を表し、gは正の値をとる重み係数を表し、f(M) (xi)はスプライン曲線f(xi)のM次導関数を表すものとする。
数式(1)の右辺第1項は、画素ずれ補正用領域102bの格子パターンの水平方向における1つの線分を構成する各サンプリング画素の座標位置(x0,y0)、(x1,y1)、…(x(N-1),y(N-1))に対し、スプライン曲線f(xi)がどの程度乖離しているかを測るための尺度として扱われる。そのため、例えば、数式(1)の右辺第1項の値が小さくなるに従い、画素ずれ補正用領域102bの格子パターンの水平方向における1つの線分を構成する各サンプリング画素の座標位置(x0,y0)、(x1,y1)、…(x(N-1),y(N-1))と、スプライン曲線f(xi)との間の乖離が小さくなる。
また、数式(1)の右辺第2項は、スプライン曲線f(xi)の振動の大きさを示す尺度として扱われる。そのため、例えば、数式(1)の右辺第2項における重み係数gを除く部分の値が小さくなるに従い、スプライン曲線f(xi)が滑らかになる。
すなわち、上記の数式(1)の左辺の評価値σの値が最小となるような水平方向のスプライン曲線f(xi)を求め、さらに、当該求めた水平方向のスプライン曲線f(xi)と、サンプリング画素のY座標値yiとの差分をとることにより(f(xi)-yiの演算を行うことにより)、当該Y座標値yiに対応する垂直方向の画素ずれ補正値を算出することができる。また、上記の数式(1)を用いた演算によれば、例えば、上記の数式(1)の左辺の評価値σの値が最小となるような垂直方向のスプライン曲線を求め、さらに、当該求めた垂直方向のスプライン曲線と、サンプリング画素のX座標値との差分をとることにより、当該X座標値に対応する水平方向の画素ずれ補正値を算出することもできる。
ところで、渦巻状の走査パターンで走査を行う(照明用ファイバ12を揺動させる)場合においては、走査密度が最も高くなる領域であるグループGR1に属する各サンプリング画素の座標位置のずれ量が、グループGR2に属する各サンプリング画素の座標位置のずれ量に対して相対的に大きくなると考えられる。
これに対し、本実施例によれば、渦巻状の走査パターンで走査を行う場合の歪みの発生に対応するために、例えば、グループGR1に属する各サンプリング画素の画素ずれ補正値を算出する際に数式(1)に適用する重み係数gの値を、グループGR2に属する各サンプリング画素の画素ずれ補正値を算出する際に数式(1)に適用する重み係数gの値に比べて大きな値とすることにより、2つのグループGR1及びGR2において、相互に異なるスプライン曲線に基づく画素ずれ補正値が算出されるようにしている。
換言すると、本実施例によれば、渦巻状の走査パターンで走査を行う場合の歪みの発生に対応するために、例えば、スプライン曲線自体の滑らかさを重視するように重み係数gの値が設定された数式(1)により、グループGR1に属する各サンプリング画素の画素ずれ補正値の算出に用いられる第1のスプライン曲線が求められる一方で、サンプリング画素の座標位置に対するスプライン曲線の乖離度の低さを重視するように重み係数gの値が設定された数式(1)により、グループGR2に属する各サンプリング画素の画素ずれ補正値の算出に用いられる第2のスプライン曲線が求められる。
なお、本実施例においては、数式(1)における重み係数gの値の設定を適宜変更することにより、渦巻状の走査パターンで走査を行う場合に発生する歪みについてのみならず、他の走査パターンで走査を行う場合に発生する歪みについても、画素ずれ補正値の算出に好適なスプライン曲線を求めることができる。
また、本実施例においては、グループGR1に属する各サンプリング画素の画素ずれ補正値を算出する際に用いられる第1のスプライン曲線と、グループGR2に属する各サンプリング画素の画素ずれ補正値を算出する際に用いられる第2のスプライン曲線と、が滑らかに接続されるように、例えば、グループGR1の範囲(領域)がグループGR2の範囲(領域)に一部重複するように設定されるものであってもよい。
さらに、本実施例によれば、例えば、グループGR1に属する各画素で算出された画素ずれ補正値、または、グループGR2に属する各画素で算出された画素ずれ補正値のいずれかに対し、画素間の距離に応じた重み付けを行うことにより、各補間画素、及び、ホワイトバランス調整用領域102aに含まれる各画素における画素ずれ補正値をそれぞれ算出することもできる。
すなわち、以上に述べたような演算が図8のステップS4において行われることにより、図8のステップS3において画素ずれ補正用領域102bの抽出に用いたものと同一の画像に含まれる各画素毎に、水平方向の画素ずれ補正値、及び、垂直方向の画素ずれ補正値が算出されるとともに、当該算出された水平方向及び垂直方向の画素ずれ補正値がメモリ24のマッピングテーブルMPT1またはMPT2に書き込まれる。
コントローラ25は、図8のステップS4の処理を実施した後でメモリ24に格納されている情報を確認することにより、2つのマッピングテーブルMPT1及びMPT2のそれぞれで画素ずれ補正値を算出したか否かを判定する(図8のステップS5)。
そして、コントローラ25は、マッピングテーブルMPT1及びMPT2のうち、画素ずれ補正値を算出していないマッピングテーブルがあるとの判定結果を得た場合には、図8のステップS3に戻って処理を行う。
また、コントローラ25は、マッピングテーブルMPT1及びMPT2の両方で画素ずれ補正値を算出したとの判定結果を得た場合には、メモリ24に格納されているホワイトバランス補正値を用いたホワイトバランス調整処理と、メモリ24に格納されているマッピングテーブルMPT1及びMPT2に書き込まれた画素ずれ補正値を用いた画素ずれ補正処理と、をそれぞれ施した2フレーム分の補正後の画像を生成する(図8のステップS6)。
その後、コントローラ25は、図8のステップS6により生成した2フレーム分の補正後の画像の両方でホワイトバランス調整処理及び画素ずれ補正処理が正常に施されているか否かを判定する(図8のステップS7)。
そして、コントローラ25は、図8のステップS6により生成した2フレーム分の画像のうち、ホワイトバランス調整処理及び画素ずれ補正処理が正常に施されていない画像があるとの判定結果を得た場合には、メモリ24に格納されているホワイトバランス補正値と、メモリ24に格納されているマッピングテーブルMPT1及びMPT2に書き込まれた画素ずれ補正値と、をそれぞれ破棄した後、図8のステップS1からの処理を再度行う。
また、コントローラ25は、図8のステップS6により生成した2フレーム分の画像の両方でホワイトバランス調整処理及び画素ずれ補正処理が正常に施されているとの判定結果を得た場合には、当該2フレーム分の補正後の画像と、本体装置3に接続されている走査型内視鏡2のメモリ16から読み込んだ内視鏡情報と、を関連付けてメモリ24に保存した(図8のステップS8)後、ホワイトバランス補正値及び画素ずれ補正値の取得に係る一連の処理を完了する。
具体的には、コントローラ25は、例えば、図8のステップS6により生成した2フレーム分の補正後の画像と、ホワイトバランス調整処理及び画素ずれ補正処理が正常に施されているか否かの選択を術者等に促すGUI(Graphical User Interface)と、を併せてモニタ4に表示させる。そして、コントローラ25は、例えば、術者等によるキーボードまたはポインティングデバイス(いずれも不図示)の操作に基づき、「NO」等の否定を示す文字列が記載されたGUIボタンが押下されたことを検出した場合において、図8のステップS6により生成した2フレーム分の補正後の画像のうち、ホワイトバランス調整処理及び画素ずれ補正処理が正常に施されていない画像があるとの判定結果を得る。また、コントローラ25は、例えば、術者等によるキーボードまたはポインティングデバイス(いずれも不図示)の操作に基づき、「YES」等の肯定を示す文字列が記載されたGUIボタンが押下されたことを検出した場合において、図8のステップS6により生成した2フレーム分の補正後の画像の両方でホワイトバランス調整処理及び画素ずれ補正処理が正常に施されているとの判定結果を得る。
一方、コントローラ25は、判定部としての機能を具備し、相互に関連付けられた状態でメモリ24に保存されている内視鏡情報及び補正後の画像を参照することにより画素ずれ補正値の取得の要否を判定し、さらに、当該判定した結果に基づいて図8のステップS3~S8に相当する処理を実施または省略するように動作する。
具体的には、コントローラ25は、例えば、メモリ24に既に保存されているものと同一の内視鏡情報をメモリ16から読み込んだ場合であって、さらに、当該内視鏡情報に関連付けられた状態で保存されている補正後の画像と、図8のステップS1の処理を行う前にサンプリング画素及び補間画素に基づいて生成した補正前の画像と、の間の差分値(歪み量または画素ずれ量に相当する値)が所定の閾値以下であることを検出した場合において、画素ずれ補正値の取得が不要であると判定し、さらに、当該判定した結果に基づいて図8のステップS3~S8に相当する処理を省略するように動作する。
一方、コントローラ25は、例えば、メモリ24に既に保存されているものと同一の内視鏡情報をメモリ16から読み込んだ場合であって、さらに、当該内視鏡情報に関連付けられた状態で保存されている補正後の画像と、図8のステップS1の処理を行う前にサンプリング画素及び補間画素に基づいて生成した補正前の画像と、の間の差分値(歪み量または画素ずれ量に相当する値)が所定の閾値を超えていることを検出した場合において、画素ずれ補正値の取得が必要であると判定し、さらに、当該判定した結果に基づいて図8のステップS3~S8に相当する処理を実施するように動作する。
以上に述べたように、本実施例によれば、テストチャート101のホワイトバランス調整用領域102a及び画素ずれ補正用領域102bを走査して得られる画像に基づき、当該画像におけるホワイトバランス補正値及び画素ずれ補正値をまとめて取得することができる。そのため、本実施例によれば、走査型内視鏡を用いた観察に要する作業量を軽減することができる。
また、以上に述べたように、本実施例によれば、過去に本体装置3に接続されたことがある走査型内視鏡2における画素ずれ補正値の取得の要否がコントローラ25により判定されるようになっている。そのため、本実施例によれば、例えば、本体装置3に走査型内視鏡2を接続する毎に、術者等が目視で画像を確認して画素ずれ補正値の取得の要否を判断する、というような、走査型内視鏡を用いた観察の前に行われる一部の作業を省くことができ、その結果、走査型内視鏡を用いた観察に要する作業量を軽減することができる。
なお、本実施例によれば、例えば、各色成分の画素値がそれぞれ0~255の値(8ビット)で示される場合において、R成分、G成分及びB成分の画素値が全て255であるような画素を予め除外してから図8の一連の処理を行うようにしてもよい。
本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本出願は、2012年9月3日に日本国に出願された特願2012-193339号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。