JP6420358B2 - 内視鏡システム及び評価値計算装置 - Google Patents

Description

本発明は、所定の評価値を計算する内視鏡システム及び評価値計算装置に関する。

病変部は、一般に、正常な粘膜組織とは異なる色を呈する。近年、カラー内視鏡装置の性能の向上に伴い、正常組織に対して僅かに色の異なる病変部を術者が把握して診断することが可能になっている。しかし、術者が内視鏡による撮影画像上の僅かな色の違いによって正常組織から病変部を正確に把握して診断できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても、僅かな色の違いから病変部を把握して診断することは容易ではなく、慎重な作業が要求される。

そこで、特開２０１４−１８３３２号公報（以下、「特許文献１」と記す。）に、術者による病変部の診断を補助するため、撮影画像に写る病変部をスコアリングする装置が記載されている。具体的には、特許文献１に記載の装置は、内視鏡による撮影画像を構成する各画素について、非線形な利得を画素値に与えるトーン強調処理を行って、病変部と判定される画素値の領域の境界近傍のダイナミックレンジを拡げた後、ＲＧＢ３原色で定義されるＲＧＢ空間のトーン強調された画素データをＨＳＩ色空間、ＨＳＶ色空間等の所定の色空間に変換して色相と彩度の情報を取得し、取得された色相と彩度の情報に基づいて病変部の画素であるか否かを判定し、判定された画素の数に基づいて評価値（病変指数）を計算する。

しかし、トーン強調処理等の非線形な計算処理や色空間の変換処理は負荷が重いため、処理の実行には多量のハードウェアリソースが必要になるという問題が指摘される。また、トーン強調処理を行った結果、画像の明るさに影響する撮影条件（例えば照射光の当たり具合等）に依存して撮影画像の評価値が変動してしまうという問題も指摘される。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能な内視鏡システム及び評価値計算装置を提供することである。

本発明の一実施形態に係る内視鏡システムは、少なくとも三つ以上の色成分を持つカラー画像を取得する画像取得手段と、カラー画像を構成する各画素に対応する点を、その色成分に応じて、少なくとも三つ以上の色成分のうちの第一の成分の軸である第一の軸と、少なくとも三つ以上の色成分のうちの第二の成分の軸であって第一の軸と交差する第二の軸とを含む平面内に配置する配置手段と、平面内において第一の軸と第二の軸との交点を通り且つ該第一の軸、該第二の軸の何れに対しても非平行な第三の軸を定義し、該第三の軸と各画素に対応する点との距離データを計算する距離データ計算手段と、計算された距離データに基づいてカラー画像に対する所定の評価値を計算する評価値計算手段と、を備える。

上記構成によれば、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能になる。

上記内視鏡システムにおいて、カラー画像は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各色成分を有するものであっても良い。この場合、第一の軸はＲ成分の軸であり、且つ第二の軸はＧ成分又はＢ成分の軸であっても良い。また、配置手段は、カラー画像を構成する各画素に対応する点を、その色成分に応じて、Ｒ成分の軸である第一の軸と、Ｇ成分又はＢ成分の軸である第二の軸とを含む平面内に配置するように構成されていても良い。

上記内視鏡システムにおいて、第三の軸は、平面内において第一の軸に対して４５°の角度をなし且つ第二の軸に対して４５°の角度をなす軸であっても良い。

上記内視鏡システムにおいて、距離データ計算手段は、各画素について、第一の軸の値から第二の軸の値を減算することにより、距離データを求めるように構成されていても良い。

上記内視鏡システムにおいて、評価値計算手段は、距離データ計算手段により計算された第三の軸と各画素に対応する点との距離データを所定の基準距離データを用いて正規化し、正規化された各画素の距離データに基づいてカラー画像全体の評価値を計算するように構成されていても良い。

上記内視鏡システムにおいて、所定の評価値は、炎症の強さに関する炎症評価値であっても良い。

上記内視鏡システムは、炎症評価値に基づいて、炎症を有する画素と正常部の画素とが異なる色で識別可能に表された画像を表示する画像表示手段を更に備えていても良い。

本発明の一実施形態に係る内視鏡システムは、少なくとも三つ以上の色成分を持つカラー画像を取得する画像取得手段と、カラー画像に対する所定の評価値を計算する評価値計算手段と、を備える。この構成において、少なくとも三つ以上の色成分は、第一の成分と第二の成分とを含み、評価値計算手段は、カラー画像を構成する各画素について第一の成分から第二の成分を減算した値を求め、当該減算した値に基づいて評価値を計算する。

上記構成によれば、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能になる。

上記内視鏡システムにおいて、第一の成分がＲ成分であり、第二の成分がＧ成分又はＢ成分であっても良い。

本発明の一実施形態に係る評価値計算装置は、少なくとも三つ以上の色成分を持つカラー画像を構成する各画素に対応する点を、その色成分に応じて、少なくとも三つ以上の色成分のうちの第一の成分の軸である第一の軸と、少なくとも三つ以上の色成分のうちの第二の成分の軸であって第一の軸と交差する第二の軸とを含む平面内に配置する配置手段と、平面内において第一の軸と第二の軸との交点を通り且つ該第一の軸、該第二の軸の何れに対しても非平行な第三の軸を定義し、該第三の軸と各画素に対応する点との距離データを計算する距離データ計算手段と、計算された距離データに基づいてカラー画像に対する所定の評価値を計算する評価値計算手段と、を備える。

上記構成によれば、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能になる。

本発明の一実施形態に係る評価値計算装置は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各色成分を持つカラー画像を構成する各画素に対応する点を、その色成分に応じて、Ｒ成分の軸である第一の軸と、該第一の軸と直交するＧ成分又はＢ成分の軸である第二の軸とを含む平面内に配置する配置手段と、平面内において第一の軸と第二の軸との交点を通り且つ該第一の軸、該第二の軸の何れに対しても非平行な第三の軸を定義し、該第三の軸と各画素に対応する点との距離データを計算する距離データ計算手段と、計算された距離データに基づいてカラー画像に対する所定の評価値を計算する評価値計算手段と、を備える。

上記構成によれば、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能になる。

上記評価値計算装置において、第三の軸は、平面内において第一の軸に対して４５°の角度をなし且つ第二の軸に対して４５°の角度をなす軸であっても良い。

上記評価値計算装置において、距離データ計算手段は、各画素について、第一の軸の値から第二の軸の値を減算することにより、距離データを求めるように構成されていても良い。

上記評価値計算装置において、評価値計算手段は、距離データ計算手段により計算された第三の軸と各画素に対応する点との距離データを所定の基準距離データを用いて正規化し、正規化された各画素の距離データに基づいてカラー画像全体の評価値を計算するように構成されていても良い。

本発明の一実施形態に係る評価値計算装置は、Ｒ、Ｇ、Ｂの各色成分を持つカラー画像を構成する各画素についてＲ成分からＧ成分を減算した値を求める減算手段と、減算手段により求められた値に基づいてカラー画像に対する所定の評価値を計算する評価値計算手段と、を備える。

上記構成によれば、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能になる。

上記評価値計算装置において、減算手段は、各画素について、Ｒ成分からＧ成分を減算することに代えて、Ｒ成分からＢ成分を減算するように構成されていても良い。

本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。 本発明の一実施形態に係るプロセッサに備えられる特殊画像処理回路による特殊画像生成処理のフローチャートを示す図である。 図２の処理ステップＳ１３におけるＲ−Ｇデータの計算処理の説明を補助する図である。 図２の処理ステップＳ１３におけるＲ−Ｇデータの計算処理の説明を補助する図である。 本発明の一実施形態において特殊モード時にモニタの表示画面に表示される表示画面例を示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。

［電子内視鏡システム１の構成］
図１は、本発明の一実施形態に係る電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。

プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２２２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１８に接続されている。システムコントローラ２０２は、操作パネル２１８より入力される術者からの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム１の動作モードの切替指示がある。本実施形態では、動作モードとして、通常モードと特殊モードがある。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

ランプ２０８は、ランプ電源イグナイタ２０６による始動後、白色光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、レーザである。ランプ２０８より射出された白色光Ｌは、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限される。なお、ＬＥＤやレーザに関しては、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることは、後述する評価値の精度を向上させることにつながる。

絞り２１２には、図示省略されたアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００の表示画面に表示される映像を適正な明るさにするため、モータ２１４により動作され開度が変えられる。ランプ２０８より照射された白色光Ｌの光量は、絞り２１２の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル２１８の輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。

絞り２１２を通過した白色光Ｌは、ＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。入射端面よりＬＣＢ１０２内に入射された白色光Ｌは、ＬＣＢ１０２内を伝播する。ＬＣＢ１０２内を伝播した白色光Ｌは、電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して生体組織を照射する。白色光Ｌにより照射された生体組織からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

固体撮像素子１０８は、ベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。以下、固体撮像素子１０８より順次出力される各画素（各画素アドレス）の画像信号を「画素信号」と記す。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、補色系フィルタを搭載したものであってもよい。補色系フィルタの一例は、ＣＭＹＧ（シアン、マゼンタ、イエロー、グリーン）フィルタである。

原色系（ＲＧＢ）フィルタに関しては、補色系フィルタと比較して発色性が良く、原色系フィルタを搭載した撮像素子によるＲＧＢ画像信号を炎症評価値の算出に使用すると評価精度を向上させることができる。また、原色系フィルタを使用することで、後述の炎症評価値計算の処理において信号の変換を行う必要がないことから、炎症評価値計算の処理負荷を抑えることが可能となる。

電子スコープ１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２には、白色光Ｌにより照射された生体組織の画素信号が固体撮像素子１０８よりフレーム周期で入力される。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される画素信号をプロセッサ２００の前段信号処理回路２２０に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、１／３０秒、１／６０秒である。

ドライバ信号処理回路１１２はまた、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。

システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

［通常モード時の動作］
通常モード時のプロセッサ２００での信号処理動作を説明する。

前段信号処理回路２２０は、ドライバ信号処理回路１１２よりフレーム周期で入力されるＲ、Ｇ、Ｂの各画素信号に対してデモザイク処理を施す。具体的には、Ｒの各画素信号についてＧ、Ｂの周辺画素による補間処理が施され、Ｇの各画素信号についてＲ、Ｂの周辺画素による補間処理が施され、Ｂの各画素信号についてＲ、Ｇの周辺画素による補間処理が施される。これにより、１つの色成分の情報しか持たなかった画素信号が全て、Ｒ、Ｇ、Ｂの３つの色成分の情報を持つ画素データに変換される。

前段信号処理回路２２０は、デモザイク処理後の画素データにマトリックス演算、ホワイトバランス調整処理、ガンマ補正処理等の所定の信号処理を施して特殊画像処理回路２３０に出力する。カラー画像を取得する画像取得手段は、例えば、固体撮像素子１０８と、ドライバ信号処理回路１１２と、前段信号処理回路２２０と、を含むように構成されている。

特殊画像処理回路２３０は、前段信号処理回路２２０より入力される画素データを後段信号処理回路２４０へスルー出力する。

後段信号処理回路２４０は、特殊画像処理回路２３０より入力される画素データに所定の信号処理を施してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３００に出力される。これにより、生体組織のカラー画像がモニタ３００の表示画面に表示される。

［特殊モード時の動作］
次に、特殊モード時のプロセッサ２００での信号処理動作を説明する。

前段信号処理回路２２０は、ドライバ信号処理回路１１２よりフレーム周期で入力される画素信号に対してデモザイク処理、マトリックス演算、ホワイトバランス調整処理、ガンマ補正処理等の所定の信号処理を施して特殊画像処理回路２３０に出力する。

［特殊画像生成処理］
図２は、特殊画像処理回路２３０による特殊画像生成処理のフローチャートを示す。図２の特殊画像生成処理は、電子内視鏡システム１の動作モードが特殊モードに切り替えられた時点で開始される。

［図２のＳ１１（現フレームの画素データの入力）］
本処理ステップＳ１１では、前段信号処理回路２２０より現フレームの各画素の画素データが入力される。

［図２のＳ１２（注目画素の選択）］
本処理ステップＳ１２では、全ての画素の中から所定の順序に従い一つの注目画素が選択される。

［図２のＳ１３（Ｒ−Ｇデータの計算）］
本処理ステップＳ１３では、処理ステップＳ１２（注目画素の選択）にて選択された注目画素について、Ｒ−Ｇデータが計算される。図３及び図４に、Ｒ−Ｇデータの計算処理の説明を補助する図を示す。

図３に、互いに直交するＲ軸とＧ軸とによって定義されるＲＧ平面を示す。なお、Ｒ軸は、Ｒ成分（Ｒの画素値）の軸であり、Ｇ軸は、Ｇ成分（Ｇの画素値）の軸である。本処理ステップＳ１３では、ＲＧＢ３原色で定義されるＲＧＢ空間の注目画素データ（三次元データ）がＲＧの二次元データに変換されて、図３に示されるように、Ｒ、Ｇの画素値に応じてＲＧ平面内にプロットされる。以下、説明の便宜上、ＲＧ平面内にプロットされた注目画素データの点を「注目画素対応点」と記す。なお、ステップＳ１３において実行される注目画素データをＲＧ平面内に配置する動作は、配置手段により行われる。

撮影対象となる患者の体腔内は、ヘモグロビン色素等の影響によりＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的であり、典型的には、炎症が強いほど赤味（すなわちＲ成分）が強くなる。そのため、注目画素のＲ軸の値は、基本的には、炎症の強さと比例するものと考えられる。しかし、体腔内の撮影画像は、明るさに影響する撮影条件（例えば白色光Ｌの当たり具合）に応じて色味が変化する。例示的には、白色光Ｌの届かない陰影部分は黒（無彩色）となり、白色光Ｌが強く当たって正反射する部分は白（無彩色）となる。すなわち、白色光Ｌの当たり具合によっては、注目画素のＲ軸の値が炎症の強さと相関の無い値を取ることもある。

体腔内の撮影画像の明るさが白色光Ｌの当たり具合によって変化すると、撮影画像の色味は、個人差、撮影箇所、炎症の状態等の影響があるものの、基本的には、ＲＧＢの各色成分で同じように変化するものと考えられる。そこで、本実施形態では、図３に示されるように、ＲＧ平面内においてＲ軸とＧ軸との交点（原点）を通り且つＲ軸、Ｇ軸の何れの軸に対しても４５°の角度をなす軸（以下、説明の便宜上「白色変化軸」と記す。）が定義される。

体腔内の撮影画像の明るさが白色光Ｌの当たり具合によって変化すると、ＲＧ平面内において、注目画素データ（注目画素対応点）は、大凡、白色変化軸に沿って変化する。従って、ＲＧ平面内において、白色変化軸を、撮影画像の明るさに対する感度が最も高い軸として定義することができる。また、撮影画像の明るさに対する感度が最も高い白色変化軸と直交するＲ−Ｇ軸（図３参照）については、撮影画像の明るさの影響を最も受け難い軸（撮影画像の明るさの影響を実質的に受けない軸）として定義することができる。

上記の各定義によれば、注目画素対応点と白色変化軸との距離（Ｒ−Ｇ軸沿いの距離）が、炎症の強さを示すものであって、撮影画像の明るさの影響を実質的に受けていない（撮影画像の明るさによる色味の変化が実質的に発生していない）ものとなる。従って、本処理ステップＳ１３では、処理ステップＳ１２（注目画素の選択）にて選択された注目画素について、注目画素対応点と白色変化軸との距離データが計算される。

より詳細には、本処理ステップＳ１３では、処理ステップＳ１２（注目画素の選択）にて選択された注目画素について、Ｒ−Ｇデータ、すなわち、Ｒの画素値からＧの画素値を減算するという簡単な計算処理を行うことにより、注目画素対応点と白色変化軸との距離（Ｒ−Ｇ軸沿いの距離）データが求められる。なお、ステップＳ１３において実行される注目画素対応点と白色変化軸との距離データを計算する動作は、距離データ計算手段により行われる。

［図２のＳ１４（正規化処理）］
図４に、処理ステップＳ１３（Ｒ−Ｇデータの計算）にて計算されたＲ−Ｇデータ（炎症の強さを示すデータ）を示す。図４中、横軸がＲ−Ｇデータの軸である。本実施形態では、炎症が進行して血液そのものが見えている状態が最も強い状態の炎症であるという考えに基づき、基準となるＲ-Ｇデータが規定されている。以下、説明の便宜上、基準となるＲ−Ｇデータを「基準ＲＧデータ」と記す。基準ＲＧデータは、例えば、予め撮影された複数の血液画像サンプルのＲ−Ｇデータの平均値である。

本処理ステップＳ１４では、処理ステップＳ１３（Ｒ−Ｇデータの計算）にて計算されたＲ−Ｇデータが、基準ＲＧデータを１．００としたときの値に正規化される。以下、説明の便宜上、正規化されたＲ−Ｇデータを「正規化ＲＧデータ」と記す。図４の例では、正規化ＲＧデータは、値０．２０〜０．４０の範囲内に分布している。

［図２のＳ１５（カラーマップ画像上での表示色の決定）］
本実施形態では、炎症の強さに応じた表示色で撮影画像をモザイク化したカラーマップ画像を表示することができる。カラーマップ画像を表示可能とするため、正規化ＲＧデータの値と所定の表示色とを対応付けたテーブルがメモリ２２２等の記憶領域に記憶されている。本テーブルでは、例えば、値０．０５刻みで異なる表示色が対応付けられている。例示的には、正規化ＲＧデータの値が０．００〜０．０５の範囲では黄色が対応付けられており、該値が０．０５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該値が０．９５〜１．００の範囲では赤色が対応付けられている。

本処理ステップＳ１５では、処理ステップＳ１２（注目画素の選択）にて選択された注目画素の、カラーマップ画像上での表示色が、上記テーブルに基づき、処理ステップＳ１４（正規化処理）にて求められた注目画素の正規化ＲＧデータの値に応じた色に決定される。

［図２のＳ１６（全画素に対する処理の実行完了判定）］
本処理ステップＳ１６では、現フレームの全ての画素に対して処理ステップＳ１２〜Ｓ１５が実行されたか否かが判定される。

処理ステップＳ１２〜Ｓ１５が未実行の画素が残っている場合（Ｓ１６：ＮＯ）、図２の特殊画像生成処理は、次の注目画素に対して処理ステップＳ１２〜Ｓ１５を実行するため、処理ステップＳ１２（注目画素の選択）に戻る。

［図２のＳ１７（炎症の強さに関する炎症評価値の計算）］
本処理ステップＳ１７は、現フレームの全ての画素に対して処理ステップＳ１２〜Ｓ１５が実行されたと判定された場合（Ｓ１６：ＹＥＳ）に実行される。本処理ステップＳ１７では、現フレームの全ての画素の正規化ＲＧデータを平均化した平均値が撮影画像全体の炎症評価値として計算され、計算された炎症評価値の表示データが生成される。なお、ステップＳ１７において実行されるカラー画像に対する所定の評価値としての炎症評価値を計算する動作は、評価値計算手段により行われる。

［図２のＳ１８（オーバレイ処理）］
本処理ステップＳ１８では、前段信号処理回路２２０より入力される画素データ（すなわち、ＲＧＢの３つの色成分を持つ画素データ）に基づく通常画像と、処理ステップＳ１５（カラーマップ画像上での表示色の決定）にて所定の表示色に決定された画素データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画素データ（通常の画素データ）と後者の画素データ（カラーマップ用の画素データ）とが加算される。係数の設定は、ユーザ操作により適宜設定変更することが可能である。通常画像の方を濃く表示したい場合は、通常の画素データの係数が高く設定され、カラーマップ画像の方を濃く表示したい場合は、カラーマップ用の画素データの係数が高く設定される。

［図２のＳ１９（終了判定）］
本処理ステップＳ１９では、電子内視鏡システム１の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合（Ｓ１９：ＮＯ）、図２の特殊画像生成処理は、処理ステップＳ１１（現フレームの画素データの入力）に戻る。一方、別のモードに切り替えられたと判定される場合（Ｓ１９：ＹＥＳ）、図２の特殊画像生成処理は終了する。

［画面表示例］
後段信号処理回路２４０は、図２の処理ステップＳ１８（オーバレイ処理）にて加算処理された画素データに基づいて通常画像とカラーマップ画像とのオーバレイ画像の表示データを生成すると共にモニタ３００の表示画面の周辺領域（画像表示領域の周囲）をマスクするマスキング処理を行い、更に、マスキング処理により生成されるマスク領域に炎症評価値を重畳した、モニタ表示用の画面データを生成する。後段信号処理回路２４０は、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換して、モニタ３００に出力する。なお、炎症評価値に基づいて、炎症を有する画素と正常部の画素とが異なる色で識別可能に表された画像を表示する画像表示手段は、例えば、モニタ３００である。

図５に、特殊モード時の画面表示例を示す。図５に例示されるように、モニタ３００の表示画面には、その中央領域に体腔内の撮影画像（通常画像とカラーマップ画像とがオーバレイ表示されたオーバレイ画像）が表示されると共に画像表示領域の周囲がマスキングされた画面が表示される。また、マスク領域には炎症評価値（スコア）が表示される。

このように、本実施形態によれば、トーン強調処理等の非線形な計算処理や複雑な色空間変換処理等を行うことなく単純な計算処理を行うだけで、炎症評価値（ここでは撮影部位のヘモグロビン色素の増減に相関のある値）が求まる。すなわち、炎症評価値の計算に必要なハードウェアリソースが大幅に抑えられる。また、画像の明るさに影響する撮影条件（例えば照射光の当たり具合等）によって炎症評価値が変動しないため、術者は、炎症についてより客観的で正確な判断を下すことが可能となる。

より具体的には、本実施形態による内視鏡システムは、当技術分野における次の様な効果乃至課題の解決をもたらすものである。第１に、本実施形態による内視鏡システムは、炎症性疾患を早期に発見するための診断補助となるということである。第２に、本実施形態の構成によれば、視認し難い軽度炎症を術者が発見できるように、炎症程度を画面表示する、或いは、炎症が生じている領域の画像を強調することができる。特に、軽度炎症は正常部との判別が難しいので、軽度炎症の評価に関して本実施形態の構成によりもたらされる効果が顕著となる。第３に、本実施形態の構成によれば、炎症度の評価として客観的な評価値をドクターに提供することができるので、ドクター間の診断差を低減することができる。特に、経験の浅いドクターに対して本実施形態の構成による客観的な評価値を提供できるメリットは大きい。第４に、本実施形態の構成によれば、画像処理の負荷が軽減されることでリアルタイムで炎症部を画像として表示することができるので、診断精度を向上させることができる。第５に、本実施形態の構成によれば、上述した背景技術と比較して評価値計算の処理負荷が軽減されるので、遅滞なくカラーマップ画像（炎症度を示した画像）と通常画像とを並べて、或いは、合成して表示することができる。そのため、カラーマップ画像を検査時間の延長を伴うことなく表示することが可能となり、ひいては、患者負担が増すことを回避する事が可能となる。

本実施形態における観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、十二指腸、子宮等である。上述の本実施形態による内視鏡システムは、観察対象が大腸である場合に効果がより顕著になると考えられる。これは、具体的には、次のような理由による。第１に、大腸には炎症を基準として評価できる病があり、炎症している箇所を発見するメリットが他の器官と比較して大きいということである。特に、潰瘍性大腸炎に代表される炎症性腸疾患（ＩＢＤ）の指標として、本実施形態による炎症評価値は有効である。潰瘍性大腸炎は治療法が確立されていない為、本実施形態の構成の内視鏡システムの使用により早期に発見して進行を抑える効果は非常に大きい。大腸は、胃等と比較して細長い器官であり、得られる画像は奥行きがあり、奥ほど暗くなる。本実施形態によれば、画像内の明るさの変化に起因する評価値の変動を抑えることができるので、本実施形態の内視鏡システムを大腸の観察に適用すると本実施形態による効果が顕著となる。つまり、本実施形態の内視鏡システムは、呼吸器用内視鏡システム又は消化器用内視鏡システムであることが好ましく、大腸用内視鏡システムであることがより好ましい。

また、軽度の炎症は一般に診断が難しいが、本実施形態の構成によれば、例えば、炎症度を評価した結果を画面に表示することで、ドクターが軽度炎症を見逃すことを回避することができる。特に、軽度の炎症に関しては、その判断基準は明瞭なものではないため、ドクター間の個人差を大きくする要因となっている。この点に関しても、本実施形態の構成によれば、客観的な評価値をドクターに提供できるので、個人差による診断のばらつきを低減することができる。

なお、本実施形態の上記構成は、炎症度のみでなく、ガン、ポリープその他の色変化を伴う各種病変の評価値の算出に適用することができ、それらの場合においても、上述と同様の有利な効果をもたらすことができる。つまり、本実施形態の評価値は、色変化を伴う病変の評価値であることが好ましく、炎症度、ガン、ポリープの少なくとも何れかの評価値を含む。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

上記の実施形態では、各画素に含まれるＲ成分とＧ成分を用いて炎症評価値が計算されているが、別の実施形態では、Ｒ成分とＧ成分に代えて、Ｒ成分とＢ成分を用いて炎症評価値が計算されてもよい。

上述の実施形態では、Ｒ、Ｇ、Ｂの原色成分を使用し炎症等の評価値が算出されているが、本発明による評価値算出のための構成はＲ，Ｇ，Ｂの原色成分の使用に限定されるものではない。Ｒ，Ｇ，Ｂ原色成分の使用に代えて、Ｃ、Ｍ、Ｙ、Ｇ（シアン、マゼンタ、イエロー、グリーン）の補色系の成分を使用し上述の実施形態と同様な手法により炎症等の評価値を算出しても良い。

上述の実施形態では、ランプ電源イグナイタ２０６、ランプ２０８、集光レンズ２１０、絞り２１２、モータ２１４等を含む光源部が、プロセッサと一体に設けられているが、光源部はプロセッサとは別体の装置として設けられていても良い。

上述の実施形態において説明した通り、固体撮像素子と１０８としてＣＣＤイメージセンサに代え、ＣＭＯＳイメージセンサが用いられてもよい。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。したがって、上述の実施形態の構成による、画像の明るさによる評価値の変動を抑えることができるという有利な効果は、固体撮像素子としてＣＭＯＳイメージセンサが用いられ状況においてより顕著に表れる。

診断を精度よく行うためには高精細な画像を得ることが好ましい。したがって、診断の精度をより向上させる観点では、画像の解像度は、１００万画素以上であることが好ましく、２００万画素であることがより好ましく、８００万画素以上であることがさらに好ましい。画像の解像度が高くなるほど全画素について上述の評価値計算を行うための処理負荷が重くなるが、上述の実施形態の構成によれば評価値計算の処理負荷を抑えることができるため、高精細な画像を処理する状況において本実施形態の構成による有利な効果が顕著に表れる。

上述の実施形態における特殊画像生成処理では、画像中の全ての画素を処理の対象としているが、例えば、極めて高輝度の画素及び極めて低輝度の画素等は、処理の対象から除外しても良い。具体的には、例えば、予め定められた基準輝度範囲の輝度を持つと判定された画素のみを評価値算出の対象とすることによって評価値の精度を向上させることができる。

上述の実施形態の説明において述べた通り、内視鏡システム１に使用される光源としては様々なタイプの光源を用いることができる。他方、内視鏡システム１の観察目的等に依存して、光源のタイプを限定的なもととする形態もあり得る（例えば、光源のタイプとしてレーザを除く等）。

また、評価値算出の為に使用する色成分に関しては、色相と彩度を使用して評価値を算出することを除外する形態もあり得る。

Claims (10)

1. 白色光で照明された体腔内のカラー画像であって、少なくとも三つ以上の色成分を持つカラー画像を取得する画像取得手段と、
   前記カラー画像を構成する各画素に対応する点を、その色成分に応じて、前記少なくとも三つ以上の色成分のうちの第一の成分の軸である第一の軸と、前記少なくとも三つ以上の色成分のうちの第二の成分の軸であって前記第一の軸と交差する第二の軸とを含む平面内に配置する配置手段と、
   前記平面内において前記第一の軸と前記第二の軸との交点を通り且つ該第一の軸、該第二の軸の何れに対しても非平行な第三の軸と前記画素に対応する点との距離を示す距離データを画素毎に計算する距離データ計算手段と、
   前記計算された各画素の距離データに基づいて前記カラー画像に対する所定の評価値を計算する評価値計算手段と、
   を備え、
   前記第三の軸は、
   前記平面内において前記カラー画像の明るさの影響を最も受け難い方向を定義する軸と直交する軸であることにより、該平面内において該カラー画像の明るさに対する感度が最も高い軸となっており、
   前記各画素の距離データは、
   前記第三の軸から前記画素に対応する点まで延びる垂線の長さを示すデータであり、該長さが炎症の強さを示しており、該垂線が前記平面内において前記カラー画像の明るさの影響を最も受け難い方向を定義する軸と平行であることから、該平面内において該カラー画像の明るさの影響を実質的に受けないデータとなっている、
   内視鏡システム。
2. 前記カラー画像は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各色成分を有し、
   前記第一の軸はＲ成分の軸であり、且つ前記第二の軸はＧ成分又はＢ成分の軸であり、
   前記配置手段は、前記カラー画像を構成する各画素に対応する点を、その色成分に応じて、前記Ｒ成分の軸である第一の軸と、前記Ｇ成分又は前記Ｂ成分の軸である第二の軸とを含む平面内に配置する、
   請求項１に記載の内視鏡システム。
3. 前記距離データ計算手段は、
   前記各画素について、前記第一の軸の値から前記第二の軸の値を減算することにより、前記距離データを求める、
   請求項１又は請求項２に記載の内視鏡システム。
4. 前記評価値計算手段は、
   前記距離データ計算手段により計算された第三の軸と各画素に対応する点との距離データを所定の基準距離データを用いて正規化し、正規化された各画素の距離データに基づいて前記カラー画像全体の評価値を計算する、
   請求項１から請求項３の何れか一項に記載の内視鏡システム。
5. 前記所定の評価値は、前記炎症の強さに関する炎症評価値である、
   請求項１から請求項４の何れか一項に記載の内視鏡システム。
6. 前記炎症評価値に基づいて、炎症を写す画素と正常部を写す画素とが異なる色で識別可能に表された画像を表示する画像表示手段を更に備える、
   請求項５に記載の内視鏡システム。
7. 白色光で照明された体腔内のカラー画像であって、少なくとも三つ以上の色成分を持つカラー画像を構成する各画素に対応する点を、その色成分に応じて、前記少なくとも三つ以上の色成分のうちの第一の成分の軸である第一の軸と、前記少なくとも三つ以上の色成分のうちの第二の成分の軸であって前記第一の軸と交差する第二の軸とを含む平面内に配置する配置手段と、
   前記平面内において前記第一の軸と前記第二の軸との交点を通り且つ該第一の軸、該第二の軸の何れに対しても非平行な第三の軸と前記画素に対応する点との距離を示す距離データを画素毎に計算する距離データ計算手段と、
   前記計算された各画素の距離データに基づいて前記カラー画像に対する所定の評価値を計算する評価値計算手段と、
   を備え、
   前記第三の軸は、
   前記平面内において前記カラー画像の明るさの影響を最も受け難い方向を定義する軸と直交する軸であることにより、該平面内において該カラー画像の明るさに対する感度が最も高い軸となっており、
   前記各画素の距離データは、
   前記第三の軸から前記画素に対応する点まで延びる垂線の長さを示すデータであり、該長さが炎症の強さを示しており、該垂線が前記平面内において前記カラー画像の明るさの影響を最も受け難い方向を定義する軸と平行であることから、該平面内において該カラー画像の明るさの影響を実質的に受けないデータとなっている、
   評価値計算装置。
8. 白色光で照明された体腔内のカラー画像であって、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各色成分を持つカラー画像を構成する各画素に対応する点を、その色成分に応じて、Ｒ成分の軸である第一の軸と、該第一の軸と直交するＧ成分又はＢ成分の軸である第二の軸とを含む平面内に配置する配置手段と、
   前記平面内において前記第一の軸と前記第二の軸との交点を通り且つ該第一の軸、該第二の軸の何れに対しても非平行な第三の軸と前記画素に対応する点との距離を示す距離データを画素毎に計算する距離データ計算手段と、
   計算された各画素の距離データに基づいて前記カラー画像に対する所定の評価値を計算する評価値計算手段と、
   を備え、
   前記第三の軸は、
   前記平面内において前記カラー画像の明るさの影響を最も受け難い方向を定義する軸と直交する軸であることにより、該平面内において該カラー画像の明るさに対する感度が最も高い軸となっており、
   前記各画素の距離データは、
   前記第三の軸から前記画素に対応する点まで延びる垂線の長さを示すデータであり、該長さが炎症の強さを示しており、該垂線が前記平面内において前記カラー画像の明るさの影響を最も受け難い方向を定義する軸と平行であることから、該平面内において該カラー画像の明るさの影響を実質的に受けないデータとなっている、
   評価値計算装置。
9. 前記距離データ計算手段は、
   前記各画素について、前記第一の軸の値から前記第二の軸の値を減算することにより、前記距離データを求める、
   請求項７又は請求項８に記載の評価値計算装置。
10. 前記評価値計算手段は、
    前記距離データ計算手段により計算された第三の軸と各画素に対応する点との距離データを所定の基準距離データを用いて正規化し、正規化された各画素の距離データに基づいて前記カラー画像全体の評価値を計算する、
    請求項７から請求項９の何れか一項に記載の評価値計算装置。