JP2024017630A - 電子内視鏡システムの画像補正方法 - Google Patents

Abstract

【課題】任意の電子内視鏡と電子内視鏡用プロセッサを組み合わせて使用する場合に、色情報の補正を行う際の処理負荷を軽減する。
【解決手段】本発明の一態様は、電子内視鏡システムにおいて撮像画像を補正する補正方法である。この方法は、基準内視鏡と基準プロセッサとを用いて補正対象プロセッサに対応する第１補正用パラメータを算出するステップと、算出された第１補正用パラメータを補正対象プロセッサに記憶させるステップと、基準内視鏡と基準プロセッサとを用いて補正対象内視鏡に対応する第２補正用パラメータを算出するステップと、算出された第２補正用パラメータを補正対象内視鏡に記憶させるステップと、補正対象内視鏡と補正対象プロセッサが接続された場合に、補正対象プロセッサが、補正対象内視鏡の撮像素子によって撮像された撮像画像に対して、第１補正用パラメータと第２補正用パラメータを用いた補正を行うステップと、を含む。
【選択図】図６

Description

本発明は、生体組織の撮像画像を取得して処理するように構成された電子内視鏡システムにおける画像補正方法に関する。

人体内部の生体組織の観察や治療に電子内視鏡システムが使用されている。電子内視鏡システムは、生体組織を撮像素子で撮像して撮像画像をプロセッサに伝送する電子内視鏡（電子スコープ）と、照明光を出射するとともに撮像画像の信号を信号処理して表示用画像を作成するプロセッサ（電子内視鏡用プロセッサ）を備える。
電子内視鏡（電子スコープ）に備わる撮像素子と、プロセッサに備わる光源とは、それぞれ分光特性に個体差があるため、電子スコープとプロセッサを接続した場合に、表示される生体組織の画像の色情報にばらつきが生ずる。このようなプロセッサと内視鏡の個体間の色情報の誤差（機差）を補正することが従来から提案されている。

例えば特許文献１には、プロセッサと内視鏡の機差を補正するために、プロセッサにおいて照明光として予め定めた標準光の分光特性と実際の照明光の分光特性との違いに相当する色度の補正、及び、内視鏡の撮像素子が有するカラーフィルタの分光特性に応じて撮像信号を基準となる所定の色調に合わせる補正を画像信号に施すための色度補正テーブルを作成することが記載されている。

特許第５５４４２１９号公報

しかし、特許文献１に記載された補正方法は、色度補正テーブルを作成するために、複数の分光特性の各々を基準となる分光特性に変換するための変換係数を算出し、各変換係数の積を求めるために、大量の少数の演算（例えば浮動小数点演算）が必要となるとともに、各分光特性のデータを記憶するために大容量のメモリが必要となる。つまり、特許文献１に記載された補正方法は、プロセッサと内視鏡の個体間の色情報の誤差を補正する際に処理負荷が膨大であることが問題である。

そこで、本発明は、任意の電子内視鏡と電子内視鏡用プロセッサを組み合わせて使用する場合に、色情報の補正を行う際の処理負荷を軽減することを目的とする。

本発明の一態様は、生体組織を撮像素子で撮像する電子内視鏡と、前記撮像素子による撮像画像を信号処理して表示用画像を作成する電子内視鏡用プロセッサと、が接続される電子内視鏡システムにおいて、撮像画像を補正する補正方法である。
この補正方法は、
補正の基準となる電子内視鏡である基準内視鏡と、補正の基準となる電子内視鏡用プロセッサである基準プロセッサと、を用いて、補正対象の電子内視鏡用プロセッサである補正対象プロセッサに対応する第１補正用パラメータを算出するステップと、
算出された前記第１補正用パラメータを前記補正対象プロセッサに記憶させるステップと、
前記基準内視鏡と、前記基準プロセッサと、を用いて、補正対象の電子内視鏡である補正対象内視鏡に対応する第２補正用パラメータを算出するステップと、
算出された前記第２補正用パラメータを前記補正対象内視鏡に記憶させるステップと、
前記補正対象内視鏡と前記補正対象プロセッサが接続された場合に、前記補正対象プロセッサが、前記補正対象内視鏡の撮像素子によって撮像された撮像画像に対して、前記第１補正用パラメータと前記第２補正用パラメータを用いた補正を行うステップと、を含む。

前記第１補正用パラメータを算出するステップは、
前記基準内視鏡と前記補正対象プロセッサを接続して所定の色指標を撮像したときに得られる撮像画像の画素値である第１画素値、及び、
前記基準内視鏡と前記基準プロセッサを接続して前記色指標を撮像したときに得られる撮像画像の画素値である第２画素値、に基づいて、
前記第１補正用パラメータとして、前記第１画素値を前記第２画素値に変換するパラメータを算出することを含んでもよい。
前記第２補正用パラメータを算出するステップは、
前記補正対象内視鏡と前記基準プロセッサを接続して所定の色指標を撮像したときに得られる撮像画像の画素値である第３画素値、及び、
前記基準内視鏡と前記基準プロセッサを接続して前記色指標を撮像したときに得られる撮像画像の画素値である第４画素値、に基づいて、
前記第２補正用パラメータとして、前記第３画素値を前記第４画素値に変換するパラメータを算出することを含んでもよい。

前記補正方法は、
前記第１画素値から得られる特徴量である第１特徴量、及び、前記第２画素値から得られる特徴量である第２特徴量を特定し、前記第１特徴量を前記第２特徴量に変換する第１特徴量補正パラメータを算出するステップと、
前記第３画素値から得られる特徴量である第３特徴量、及び、前記第４画素値から得られる特徴量である第４特徴量を特定し、前記第３特徴量を前記第４特徴量に変換する第２特徴量補正パラメータを算出するステップと、
前記補正対象内視鏡と前記補正対象プロセッサが接続された場合に、前記補正対象プロセッサが、前記補正対象内視鏡の撮像素子によって撮像された撮像画像の画素値から得られる特徴量に対して、前記第１特徴量補正パラメータと前記第２特徴量補正パラメータを用いた補正を行うステップと、をさらに含んでもよい。

前記色指標を、撮像画像の画素値から得られる特徴量に応じて複数の色指標の中から決定してもよい。

上述の内視鏡システムによれば、任意の電子内視鏡と電子内視鏡用プロセッサを組み合わせて使用する場合に、色情報の補正を行う際の処理負荷を軽減できる。

一実施形態の内視鏡システムの概略的なシステム構成を示す図である。 一実施形態の内視鏡システムの主な構成を示すブロック図である。 一実施形態の電子内視鏡システムの画像補正方法の各工程を示す図である。 一実施形態の電子内視鏡システムにおいてプロセッサ行列を算出する工程を説明する図である。 一実施形態の電子内視鏡システムにおいてスコープ行列を算出する工程を説明する図である。 一実施形態の電子内視鏡システムにおいて診断時の画像処理を示すフローチャートである。 別の実施形態の電子内視鏡システムにおいてプロセッサ行列を算出する工程を説明する図である。 別の実施形態の電子内視鏡システムにおいてスコープ行列を算出する工程を説明する図である。

（１）第１の実施形態
以下、一実施形態の電子内視鏡システム、及び、その画像補正方法について図面を参照しながら詳細に説明する。
先ず、一実施形態の電子内視鏡システム１について、図１及び図２を参照して説明する。図１は、一実施形態の内視鏡システム１の概略的なシステム構成を示す図である。図２は、一実施形態の内視鏡システム１の主な構成を示すブロック図である。
図１に示されるように、電子内視鏡システム１は、医療用に特化されたシステムであり、電子スコープ１０（電子内視鏡の一例）、プロセッサ２０（電子内視鏡用プロセッサの一例）、及び、モニタ３０を備えている。

図１に示すように、電子スコープ１０の先端には、可撓性を有し、人体内部に挿入するための挿入部１２０が設けられている。挿入部１２０の先端近傍には、挿入部１２０の基端に連結された手元操作部１２２からの遠隔操作に応じて屈曲する屈曲部１０４が設けられている。屈曲部１０４の屈曲機構は、一般的な内視鏡に組み込まれている周知の機構である。屈曲構造は、手元操作部１２２に設けられた湾曲操作ノブの回転操作に連動した操作ワイヤの牽引によって屈曲部１０４を屈曲させるものである。屈曲部１０４の先端には、固体撮像素子（以降、撮像素子という）１４（図２参照）を備えた先端部１０２が連結している。湾曲操作ノブの回転操作による屈曲部１０４の屈曲動作に応じて先端部１０２の向きが変わることにより、電子スコープ１０による撮影領域が移動する。

電子スコープ１０のコネクタ部１０ｃから先端部１０２にかけての略全長に渡って、ＬＣＢ（Light Carrying Bundle）１１（図２参照）が配置されている。ＬＣＢ１１は、光ファイバ束であり、光源装置２５から供給された照射光を電子スコープ１０の先端部１０２まで導光する。

プロセッサ２０は、電子スコープ１０の撮像素子１４が被写体を撮像することで得られる被写体の撮像画像の映像信号を信号処理してモニタ３０（図２参照）に供給する装置である。
図１に示すように、プロセッサ２０には、電子スコープ１０と接続するためのコネクタ部２０ｃが設けられている。電子スコープ１０の基端にはプロセッサ２０のコネクタ部２０ｃと接続するためのコネクタ部１０ｃが設けられている。コネクタ部１０ｃとコネクタ部２０ｃが機械的に接続されることにより、電子スコープ１０とプロセッサ２０とが電気的に接続され、光源装置２５と電子スコープ１０が光学的に接続される。

情報処理装置４０は、コンピュータ装置、タブレット端末、スマートフォン等、所定の演算処理が可能な装置であり、ケーブル２００を介してプロセッサ２０と電気的に接続可能である。
情報処理装置４０は、電子スコープ１０及び／又はプロセッサ２０に対して画像補正のためのパラメータを算出し、算出したパラメータを電子スコープ１０及び／又はプロセッサ２０に記録する。図１に示す例では、情報処理装置４０は電子スコープ１０と直接的に有線により接続されていないが、電子スコープ１０とプロセッサ２０が電気的に接続されている場合には、プロセッサ２０を介して電子スコープ１０にパラメータを書き込むことができる。なお、情報処理装置４０と電子スコープ１０及びプロセッサ２０の各々とが無線通信可能であれば、情報処理装置４０は、ケーブル２００を使用せずに、パラメータを電子スコープ１０及びプロセッサ２０の各々に書き込んでもよい。
一実施形態では、後述するように、情報処理装置４０は、パラメータとしてプロセッサ行列及びスコープ行列を算出し、プロセッサ行列をプロセッサ２０の行列記憶部２８に書き込み、スコープ行列を電子スコープ１０の行列記憶部１６に書き込むように構成されている。

プロセッサ行列及び／又はスコープ行列を算出して書き込むタイミングは限定しないが、例えば、電子スコープ１０及びプロセッサ２０の製造後の出荷前のタイミングが好ましい。

図２を参照すると、プロセッサ２０は、システムコントローラ２１、画像入力処理部２２、画像メモリ２３、画像出力処理部２４、光源装置２５、操作パネル２６、色補正演算部２７、行列記憶部２８、及び、集光レンズ２９を備える。
電子スコープ１０は、ＬＣＢ１１、配光レンズ１２、対物レンズ１３、撮像素子１４、ドライバ信号処理回路１５、及び、行列記憶部１６を備える。

システムコントローラ２１は、各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２１は、操作パネル２６に接続されている。システムコントローラ２１は、操作パネル２６に入力される術者からの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。システムコントローラ２１は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

光源装置２５は、体腔内の生体組織等の被写体を照明するための照明光Ｌを出射する。照明光Ｌは、白色光、擬似白色光、あるいは特殊光を含む。一実施形態によれば、光源装置２５は、白色光あるいは擬似白色光を照明光Ｌとして常時射出するモードと、白色光あるいは擬似白色光と、特殊光が交互に照明光Ｌとして射出するモードの一方を選択し、選択したモードに基づいて、白色光、擬似白色光、あるいは特殊光を射出することが好ましい。白色光は、可視光帯域においてフラットな分光強度分布を有する光であり、擬似白色光は、分光強度分布はフラットではなく、複数の波長帯域の光が混色された光である。特殊光は、可視光帯域の中の青色あるいは緑色等の狭い波長帯域の光である。青色あるいは緑色の波長帯域の光は、生体組織中の特定の部分を強調して観察する時に用いられる。光源装置２５から出射した照明光Ｌは、集光レンズ２９によりＬＣＢ１１の入射端面に集光されて電子スコープ１０のＬＣＢ１１内に入射される。
なお、図２に示す例では、光源装置２５がプロセッサ２０に内蔵されているが、光源装置２５がプロセッサ２０とは別体で構成されてもよい。

ＬＣＢ１１内に入射された照明光Ｌは、電子スコープ１０のＬＣＢ１１内を伝播する。ＬＣＢ１１内を伝播した照明光Ｌは、電子スコープ１０の先端部１０２に配置されたＬＣＢ１１の射出端面から射出され、配光レンズ１２を介して被写体に照射される。配光レンズ１２からの照明光Ｌによって照明された被写体からの戻り光は、対物レンズ１３を介して撮像素子１４の受光面上で光学像を結ぶ。

撮像素子１４は、ベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。撮像素子１４は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、撮像素子１４は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。撮像素子１４はまた、補色系フィルタを搭載したものであってもよい。

電子スコープ１０のドライバ信号処理回路１５には、システムコントローラ２１からクロックパルスを供給される。ドライバ信号処理回路１５は、システムコントローラ２１から供給されるクロックパルスに従って、撮像素子１４をプロセッサ２０側で処理される映像のフレームレートに同期したタイミングで駆動制御する。フレームレートは、例えば、１／３０秒である。ドライバ信号処理回路１５は、撮像素子１４から入力される画像信号に対してＡ／Ｄ変換を含む所定の処理を施してプロセッサ２０の画像入力処理部２２に出力する。

画像入力処理部２２は、入力された画像信号に対してデモザイク処理、マトリックス演算等の所定の信号処理を施す。画像入力処理部２２は、所定のノイズ低減処理を行ってもよい。
画像メモリ２３は、画像入力処理部２２によって処理された画像信号（画像）をバッファリングするためのメモリである。
画像出力処理部２４は、画像メモリ２３内の画像を逐次処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３０に出力される。これにより、被写体の画像がモニタ３０の表示画面に表示される。

プロセッサ２０の行列記憶部２８、及び、電子スコープ１０の行列記憶部１６は、例えばＳＳＤ（Solid State Drive）等の不揮発性メモリであり、それぞれプロセッサ行列、及び、スコープ行列を記憶する。前述したように、プロセッサ行列、及び、スコープ行列は、情報処理装置４０によって書き込まれる。
プロセッサ２０の色補正演算部２７は、画像メモリ２３にバッファされた画像を対象として、プロセッサ行列及びスコープ行列を基に色補正演算を行う。システムコントローラ２１は、色補正演算部２７による演算後の画像を画像メモリ２３に上書きする。したがって、画像出力処理部２４によって生成されるモニタ表示用の画像データは、色補正が行われた後の画像に基づいている。

次に、図３～図６を参照して、一実施形態の電子内視鏡システムの画像補正方法について説明する。
図３は、一実施形態の電子内視鏡システムの画像補正方法の各工程を示す図である。図３に示すように、この画像補正方法は、工程Ｓ１～Ｓ５を含む。
工程Ｓ１，Ｓ２は、補正対象であるプロセッサに対して行われる工程であり、例えばプロセッサの製造後の出荷前に行われる。
工程Ｓ３，Ｓ４は、補正対象である電子スコープに対して行われる工程であり、例えば電子スコープの製造後の出荷前に行われる。
工程Ｓ５は、診断時においてフレーム単位の各画像に対して行われる工程である。

（工程Ｓ１）
工程Ｓ１は、補正の基準となる電子スコープである基準電子スコープ１０＿Ｒｅｆと、補正の基準となるプロセッサである基準プロセッサ２０＿Ｒｅｆと、を用いて、補正対象のプロセッサである補正対象プロセッサ２０＿Ｔａｒに対応するプロセッサ行列（第１補正用パラメータの一例）を算出する工程である。
基準電子スコープ１０＿Ｒｅｆとは、色補正の目標とするマスタとなる電子スコープ１０である。例えば、一般に電子スコープに備わる撮像素子には分光特性に個体差があるが、基準電子スコープ１０＿Ｒｅｆは、分光特性が中央値である撮像素子１４が備わっている電子スコープ１０である。
基準プロセッサ２０＿Ｒｅｆとは、色補正の目標とするマスタとなるプロセッサ２０である。例えば、一般にプロセッサに備わる光源装置の照明光には分光特性に個体差があるが、基準プロセッサ２０＿Ｒｅｆは、照明光の分光特性が中央値である光源装置２５が備わっているプロセッサ２０である。

図４に、工程Ｓ１における手順を概念的に示す。
先ず、基準電子スコープ１０＿Ｒｅｆと補正対象プロセッサ２０＿Ｔａｒを接続し、さらに図４に示していない情報処理装置４０を補正対象プロセッサ２０＿Ｔａｒに接続する。基準電子スコープ１０＿Ｒｅｆの先端部は、基準となる色指標ＲＣに向けられる。色指標ＲＣは、補正の際の基準となる色が表示された指標である。色指標ＲＣに表示される色は、被写体に応じて適宜決定されるが、生体組織を撮影する場合には患部の色に合わせて赤味が強い色であることが好ましい。それぞれ異なる色を含む複数の色指標ＲＣを用いてもよい。
工程Ｓ１では、基準電子スコープ１０＿Ｒｅｆと補正対象プロセッサ２０＿Ｔａｒの組合せにより得られた色指標ＲＣの撮像画像ＩＭＧ１を、情報処理装置４０に取り込む。
次いで、同様にして、基準電子スコープ１０＿Ｒｅｆと基準プロセッサ２０＿Ｒｅｆの組合せにより得られた色指標ＲＣの撮像画像ＩＭＧ２を、情報処理装置４０に取り込む。

情報処理装置４０は、撮像画像ＩＭＧ１を撮像画像ＩＭＧ２に合わせ込むためのプロセッサ行列Ｍ１を算出する。プロセッサ行列Ｍ１を算出するに際して、撮像画像ＩＭＧ１内の特定の画素の画素値（ＲＧＢの値；第１画素値の一例）を、撮像画像ＩＭＧ２内の対応する画素の画素値（第２画素値の一例）に変換するための行列を求めてもよいし、各撮像画像の対応する範囲内の画素同士の平均的な画素値（ＲＧＢの平均値）を変換するための行列を求めてもよい。

（工程Ｓ２）
工程Ｓ２は、工程Ｓ１で算出されたプロセッサ行列を補正対象プロセッサ２０＿Ｔａｒの行列記憶部２８に記憶させる工程である。
工程Ｓ２では、情報処理装置４０は、工程Ｓ１で算出したプロセッサ行列Ｍ１を補正対象プロセッサ２０＿Ｔａｒに送信する。

工程Ｓ１，Ｓ２は、典型的には、プロセッサ２０の製造現場において、プロセッサ２０の出荷前に行われる。すなわち、プロセッサ２０の製造現場に基準電子スコープ１０＿Ｒｅｆ及び基準プロセッサ２０＿Ｒｅｆを少なくとも１台ずつ用意しておき、生産される複数のプロセッサ２０を１つずつ順次補正対象プロセッサ２０＿Ｔａｒとし、各プロセッサ２０に対して個別にプロセッサ行列Ｍ１を算出して格納する。なお、図４で、基準電子スコープ１０＿Ｒｅｆと基準プロセッサ２０＿Ｒｅｆの組合せによって撮像画像ＩＭＧ２を取得することは１回行なえばよく、逐次行う必要はない。

（工程Ｓ３）
工程Ｓ３は、基準電子スコープ１０＿Ｒｅｆと、基準プロセッサ２０＿Ｒｅｆと、を用いて、補正対象の電子スコープである補正対象スコープ１０＿Ｔａｒに対応するスコープ行列（第２補正用パラメータの一例）を算出する工程である。

図５に、工程Ｓ３における手順を概念的に示す。
先ず、補正対象スコープ１０＿Ｔａｒと基準プロセッサ２０＿Ｒｅｆを接続し、さらに図５に示していない情報処理装置４０を基準プロセッサ２０＿Ｒｅｆに接続する。補正対象スコープ１０＿Ｔａｒの先端部は、基準となる色指標ＲＣに向けられる。
工程Ｓ３では、補正対象スコープ１０＿Ｔａｒと基準プロセッサ２０＿Ｒｅｆの組合せにより得られた色指標ＲＣの撮像画像ＩＭＧ３を、情報処理装置４０に取り込む。
次いで、同様にして、基準電子スコープ１０＿Ｒｅｆと基準プロセッサ２０＿Ｒｅｆの組合せにより得られた色指標ＲＣの撮像画像ＩＭＧ４を、情報処理装置４０に取り込む。

情報処理装置４０は、撮像画像ＩＭＧ３を撮像画像ＩＭＧ４に合わせ込むためのスコープ行列Ｍ２を算出する。スコープ行列Ｍ２を算出するに際して、撮像画像ＩＭＧ３内の特定の画素の画素値（第３画素値の一例）を、撮像画像ＩＭＧ４内の対応する画素の画素値（第４画素値の一例）に変換するための行列を求めてもよいし、各撮像画像の対応する範囲内の画素同士の平均的な画素値（ＲＧＢの平均値）を変換するための行列を求めてもよい。

（工程Ｓ４）
工程Ｓ４は、工程Ｓ３で算出されたスコープ行列を補正対象スコープ１０＿Ｔａｒの行列記憶部１６に記憶させる工程である。
工程Ｓ４では、情報処理装置４０は、工程Ｓ３で算出したスコープ行列Ｍ２を、基準プロセッサ２０＿Ｒｅｆを介して補正対象スコープ１０＿Ｔａｒに送信する。

工程Ｓ３，Ｓ４は、典型的には、電子スコープ１０の製造現場において、電子スコープ１０の出荷前に行われる。すなわち、電子スコープ１０の製造現場に基準電子スコープ１０＿Ｒｅｆ及び基準プロセッサ２０＿Ｒｅｆを少なくとも１台ずつ用意しておき、生産される複数の電子スコープ１０を１つずつ順次補正対象スコープ１０＿Ｔａｒとし、各電子スコープ１０に対して個別にスコープ行列Ｍ２を算出して格納する。なお、図５で、基準電子スコープ１０＿Ｒｅｆと基準プロセッサ２０＿Ｒｅｆの組合せによって撮像画像ＩＭＧ４を取得することは１回行なえばよく、逐次行う必要はない。

工程Ｓ１，Ｓ２においてそれぞれ使用される基準電子スコープ１０＿Ｒｅｆ、基準プロセッサ２０＿Ｒｅｆと、工程Ｓ３，Ｓ４においてそれぞれ使用される基準電子スコープ１０＿Ｒｅｆ、基準プロセッサ２０＿Ｒｅｆとは同一でなくてもよい。工程Ｓ１，Ｓ２がプロセッサ２０の製造現場で行われ、工程Ｓ３，Ｓ４が電子スコープ１０の製造現場で行われる場合には、それぞれ異なる基準装置（基準電子スコープ１０＿Ｒｅｆ，基準プロセッサ２０＿Ｒｅｆ）を用いた方が好都合である。その場合でも共通の色指標ＲＣを使用する限り、算出されるプロセッサ行列Ｍ１及びスコープ行列Ｍ２の変動はほとんどない。

（工程Ｓ５）
工程Ｓ５は、補正対象スコープ１０＿Ｔａｒと補正対象プロセッサ２０＿Ｔａｒが接続された場合に、補正対象プロセッサ２０＿Ｔａｒが、補正対象スコープ１０＿Ｔａｒの撮像素子１４によって撮像された撮像画像に対して、プロセッサ行列Ｍ１とスコープ行列Ｍ２を用いた補正を行う工程である。
工程Ｓ５は、工程Ｓ１～Ｓ４とは異なり、プロセッサ行列Ｍ１が格納されたプロセッサ２０と、スコープ行列Ｍ２が格納された電子スコープ１０と、を接続させた電子内視鏡システム１を使用して医療現場で診断を行うときに実行される。

工程Ｓ５においてプロセッサ２０によって実行される処理のフローチャートを図６に示す。
先ず、プロセッサ２０は、電子スコープ１０から現在のフレームの画像を取得し、所定の画像処理を行って画像メモリ２３に一時的に格納する（ステップＳ１０）。プロセッサ２０は、行列記憶部２８からプロセッサ行列Ｍ１を読み出し（ステップＳ１２）、電子スコープ１０の行列記憶部１６からスコープ行列Ｍ２を読み出す（ステップＳ１４）。
次いで、プロセッサ２０は、ステップＳ１０で画像メモリ２３に格納した画像に対して色補正演算を行う（ステップＳ１６）。具体的には、プロセッサ２０は、画像の各画素の画素値を、プロセッサ行列Ｍ１とスコープ行列Ｍ２の積となる行列（Ｍ１・Ｍ２）により変換した画素値を求める。プロセッサ２０は、各画素の画素値を変換した画像に対して画像出力処理を実行する（ステップＳ１８）。画像出力処理では、画像に基づいてモニタ表示用の画面データ画像が生成され、生成されたモニタ表示用の画面データが所定のビデオフォーマット信号に変換されてモニタ３０に出力される。

以上説明したように、一実施形態の電子内視鏡システムの画像補正方法では、組み合わされる電子スコープ１０とプロセッサ２０にはそれぞれ診断前に予め最適化されたスコープ行列とプロセッサ行列が格納されており、診断時には、スコープ行列とプロセッサ行列を用いて色情報の補正を行うことができる。そのため、従来のシステムのような色情報の補正を行う際の処理負荷が、大幅に軽減される。電子スコープ１０とプロセッサ２０はそれぞれスコープ行列とプロセッサ行列を記憶すればよく、メモリの容量も少なくて済む。
上述した電子内視鏡システムの画像補正方法では、被写体に応じた色指標ＲＣの分光反射率の特性が反映された状態でプロセッサ行列とスコープ行列が決定されるため、各フレームの画像の画素値（Ｒ値、Ｇ値、Ｂ値）に対して被写体の特性に応じた補正を行うことができる。例えば、患部の色に合わせた赤味の強い色が表示された色指標ＲＣの撮像画像を基に各行列が決定される場合には、診断時には、被写体（患者の患部）の分光反射率の特性に応じた補正を行うことができる。
上述した電子内視鏡システムの画像補正方法では、電子スコープとプロセッサに予め最適化されたプロセッサ行列とスコープ行列が格納されているため、診断時に電子スコープとプロセッサの組合せを考慮する必要がない。すなわち、診断時に任意の電子スコープとプロセッサの組み合わせたとしても撮像画像に対して最適な補正を行うことができる。

（２）第２の実施形態
以下、第２の実施形態について説明する。
第２の実施形態では、画像だけではなく画像の特徴量も含めた形でプロセッサ行列及びスコープ行列を算出し、そのプロセッサ行列及びスコープ行列に基づいて画像補正を行う点で、第１の実施形態と異なる。
以下、第１の実施形態で説明した画像補正方法（図５）と異なる点に注目して説明する。本実施形態の画像補正方法の工程Ｓ１～Ｓ５は、以下のとおりである。

図７に、工程Ｓ１において、図４に対して特徴量をも含めたプロセッサ行列Ｍ１ａを算出するときの手順を概念的に示す。
図７を参照すると、工程Ｓ１では、補正対象プロセッサ２０＿Ｔａｒは、基準電子スコープ１０＿Ｒｅｆと補正対象プロセッサ２０＿Ｔａｒの組合せにより得られる色指標ＲＣの撮像画像ＩＭＧ１の特定の画素の画素値（第１画素値の一例）から、特徴量ＦＴＲ１（第１特徴量の一例）を特定する。
基準プロセッサ２０＿Ｒｅｆは、基準電子スコープ１０＿Ｒｅｆと基準プロセッサ２０＿Ｒｅｆの組合せにより得られる色指標ＲＣの撮像画像ＩＭＧ２において、対応する画素の画素値（第２画素値の一例）から、特徴量ＦＴＲ２（第２特徴量の一例）を特定する。
そして、情報処理装置４０は、撮像画像ＩＭＧ１を撮像画像ＩＭＧ２に変換するパラメータに加え、特徴量ＦＴＲ１を特徴量ＦＴＲ２に変換するパラメータ（第１特徴量補正パラメータの一例）も含むプロセッサ行列Ｍ１ａを算出する。
工程Ｓ２では、プロセッサ行列Ｍ１ａを補正対象プロセッサ２０＿Ｔａｒに格納する。

図８に、工程Ｓ３において、図５に対して特徴量をも含めたスコープ行列Ｍ２ａを算出するときの手順を概念的に示す。
図８を参照すると、工程Ｓ３では、基準プロセッサ２０＿Ｒｅｆは、補正対象スコープ１０＿Ｔａｒと基準プロセッサ２０＿Ｒｅｆの組合せに得られる色指標ＲＣの撮像画像ＩＭＧ３の特定の画素の画素値（第３画素値の一例）から、特徴量ＦＴＲ３（第３特徴量の一例）を特定する。
基準プロセッサ２０＿Ｒｅｆは、基準電子スコープ１０＿Ｒｅｆと基準プロセッサ２０＿Ｒｅｆの組合せにより得られる色指標ＲＣの撮像画像ＩＭＧ４において、対応する画素の画素値（第４画素値の一例）から、特徴量ＦＴＲ４（第４特徴量の一例）を特定する。
そして、情報処理装置４０は、撮像画像ＩＭＧ３を撮像画像ＩＭＧ４に変換するパラメータに加え、特徴量ＦＴＲ３を特徴量ＦＴＲ４に変換するパラメータ（第２特徴量補正パラメータの一例）も含むスコープ行列Ｍ２ａを算出する。
工程Ｓ４では、スコープ行列Ｍ２ａを補正対象スコープ１０＿Ｔａｒに格納する。

工程Ｓ５では、補正対象スコープ１０＿Ｔａｒと補正対象プロセッサ２０＿Ｔａｒが接続された場合に、補正対象プロセッサ２０＿Ｔａｒが、補正対象スコープ１０＿Ｔａｒの撮像素子１４によって撮像された撮像画像に対して、プロセッサ行列Ｍ１ａとスコープ行列Ｍ２ａを用いた補正を行う。それによって、補正対象プロセッサ２０＿Ｔａｒにより、補正対象スコープ１０＿Ｔａｒの撮像素子１４によって撮像された撮像画像の画素値から得られる特徴量に対しても補正が行われる。

工程Ｓ１，Ｓ３において特徴量の算出方法は、適宜、定義可能である。例えば、被写体である患者の炎症部位の炎症の程度を表す値として、対応する画素同士の画素値の比率（例えば、Ｇ値とＲ値の比率）を特徴量とすることができる。
本実施形態では、プロセッサ行列及びスコープ行列にそれぞれ特徴量を補正するためのパラメータが含まれているため、診断時に得られる各フレームの画像に対して色補正演算を実行することで、容易に特徴量の補正を行うことができる。

なお、本実施形態では、工程Ｓ１，Ｓ３において使用される色指標ＲＣを、撮像画像の画素値から得られる特徴量に応じて複数の色指標の中から決定することが好ましい。被写体の色合いが撮像画像の特徴量により明確に反映されるように色指標を選択することで、算出されるプロセッサ行列Ｍ１ａとスコープ行列Ｍ２ａを、特徴量の補正を行う上でより適切な値とすることができる。例えば、上述したように、画素のＧ値とＲ値の比率を特徴量とする場合には、この特徴量によって被写体の赤味の程度が明確に反映されるように、複数の色指標の中から赤色又は赤味を含む色が表示された色指標を選択することが好ましい。

１…電子内視鏡システム
１０…電子スコープ
１１…ＬＣＢ
１２…配光レンズ
１３…対物レンズ
１４…固体撮像素子
１５…ドライバ信号処理回路
１６…行列記憶部
１０２…先端部
１０４…屈曲部
１２０…挿入部
１２２…手元操作部
２０…電子内視鏡用プロセッサ
２１…システムコントローラ
２２…画像入力処理部
２３…画像メモリ
２４…画像出力処理部
２５…光源装置
２６…操作パネル
２７…色補正演算部
２８…行列記憶部
２９…集光レンズ
３０…モニタ
４０…情報処理装置
ＲＣ…色指標

Claims (4)

1. 生体組織を撮像素子で撮像する電子内視鏡と、前記撮像素子による撮像画像を信号処理して表示用画像を作成する電子内視鏡用プロセッサと、が接続される電子内視鏡システムにおいて、撮像画像を補正する補正方法であって、
   補正の基準となる電子内視鏡である基準内視鏡と、補正の基準となる電子内視鏡用プロセッサである基準プロセッサと、を用いて、補正対象の電子内視鏡用プロセッサである補正対象プロセッサに対応する第１補正用パラメータを算出するステップと、
   算出された前記第１補正用パラメータを前記補正対象プロセッサに記憶させるステップと、
   前記基準内視鏡と、前記基準プロセッサと、を用いて、補正対象の電子内視鏡である補正対象内視鏡に対応する第２補正用パラメータを算出するステップと、
   算出された前記第２補正用パラメータを前記補正対象内視鏡に記憶させるステップと、
   前記補正対象内視鏡と前記補正対象プロセッサが接続された場合に、前記補正対象プロセッサが、前記補正対象内視鏡の撮像素子によって撮像された撮像画像に対して、前記第１補正用パラメータと前記第２補正用パラメータを用いた補正を行うステップと、を含む、
   電子内視鏡システムの画像補正方法。
2. 前記第１補正用パラメータを算出するステップは、
   前記基準内視鏡と前記補正対象プロセッサを接続して所定の色指標を撮像したときに得られる撮像画像の画素値である第１画素値、及び、
   前記基準内視鏡と前記基準プロセッサを接続して前記色指標を撮像したときに得られる撮像画像の画素値である第２画素値、に基づいて、
   前記第１補正用パラメータとして、前記第１画素値を前記第２画素値に変換するパラメータを算出することを含み、
   前記第２補正用パラメータを算出するステップは、
   前記補正対象内視鏡と前記基準プロセッサを接続して所定の色指標を撮像したときに得られる撮像画像の画素値である第３画素値、及び、
   前記基準内視鏡と前記基準プロセッサを接続して前記色指標を撮像したときに得られる撮像画像の画素値である第４画素値、に基づいて、
   前記第２補正用パラメータとして、前記第３画素値を前記第４画素値に変換するパラメータを算出することを含む、
   請求項１に記載された電子内視鏡システムの画像補正方法。
3. 前記第１画素値から得られる特徴量である第１特徴量、及び、前記第２画素値から得られる特徴量である第２特徴量を特定し、前記第１特徴量を前記第２特徴量に変換する第１特徴量補正パラメータを算出するステップと、
   前記第３画素値から得られる特徴量である第３特徴量、及び、前記第４画素値から得られる特徴量である第４特徴量を特定し、前記第３特徴量を前記第４特徴量に変換する第２特徴量補正パラメータを算出するステップと、
   前記補正対象内視鏡と前記補正対象プロセッサが接続された場合に、前記補正対象プロセッサが、前記補正対象内視鏡の撮像素子によって撮像された撮像画像の画素値から得られる特徴量に対して、前記第１特徴量補正パラメータと前記第２特徴量補正パラメータを用いた補正を行うステップと、をさらに含む、
   請求項２に記載された電子内視鏡システムの画像補正方法。
4. 前記色指標を、撮像画像の画素値から得られる特徴量に応じて複数の色指標の中から決定する、
   請求項３に記載された電子内視鏡システムの画像補正方法。

Images