WO2017150071A1

WO2017150071A1 - 補正データ生成方法及び補正データ生成装置

Info

Publication number: WO2017150071A1
Application number: PCT/JP2017/003945
Authority: WO
Inventors: 洋祐池本; 水口　直志; 敦小師; 俊雄橘; 洋一人形; 太田　紀子
Original assignee: Hoya株式会社
Priority date: 2016-03-03
Filing date: 2017-02-03
Publication date: 2017-09-08
Also published as: US20180168512A1; JPWO2017150071A1; DE112017000025T5; JP6427280B2; CN107529957B; CN107529957A; JP2019063537A; US10512433B2

Abstract

所定の疾患に関する指標を撮影した撮影画像データを取得する取得ステップと、取得された撮影画像データに応じた実際の撮影のデータ点をその色成分に応じて所定の疾患と関連付けられた所定の色空間に配置する配置ステップと、所定の色空間内におけるデータ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値を算出する算出ステップと、算出された補正値を記憶する記憶ステップとを含む補正データ生成方法を提供する。

Description

補正データ生成方法及び補正データ生成装置

　本発明は、補正データ生成方法及び補正データ生成装置に関する。

　病変部は、一般に、正常な粘膜組織とは異なる色を呈する。近年、カラー内視鏡装置の性能の向上に伴い、正常組織に対して僅かに色の異なる病変部を術者が把握して診断することが可能になっている。しかし、術者が電子内視鏡による撮影画像上の僅かな色の違いによって正常組織から病変部を正確に把握して診断できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても、僅かな色の違いから病変部を把握して診断することは容易ではなく、慎重な作業が要求される。

　そこで、例えば特開２０１４－１８３３２号公報（以下、「特許文献１」と記す。）に、術者による病変部の診断を補助するため、撮影画像に写る病変部をスコアリングする装置が記載されている。具体的には、特許文献１に記載の装置は、電子内視鏡による撮影画像を構成する各画素について、非線形な利得を画素値に与えるトーン強調処理を行って、病変部と判定される画素値の領域の境界近傍のダイナミックレンジを拡げた後、ＲＧＢ３原色で定義されるＲＧＢ空間のトーン強調された画素データをＨＳＩ色空間、ＨＳＶ色空間等の所定の色空間に変換して色相と彩度のデータを取得し、取得された色相と彩度のデータに基づいて病変部の画素であるか否かを判定し、判定された画素の数に基づいて評価値（病変指数）を計算する。

　電子内視鏡により取得される画素データは、そのままでは白の被写体に対してＲ／Ｇ／Ｂの各値が同値とならない。そこで、画素データに対してホワイトバランス調整が行われる。特許文献１に例示される装置では、撮影画像から取得される色データに基づいて病変指数が計算されるため、ホワイトバランス調整による撮影画像の色再現性の向上に伴い、病変指数の計算精度が向上するものと考えられる。

　しかし、同一の病変部を異なる電子内視鏡システムで撮影すると、目視では病変部が同じように写る場合であっても、病変指数等のスコア値に大きなばらつきが発生することがある。そこで、本発明者らは、鋭意検討を重ねた結果、主に電子内視鏡の光学部品（光学性能）の個体差により、ホワイトバランス調整では除去し切れない誤差（ばらつき）がスコア計算に用いられる色データに残存し、これがスコア計算の精度を劣化させる要因であるとの知見を得た。

　本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつきを抑えるための補正データ生成方法及び補正データ生成装置を提供することである。

　本発明の一実施形態に係る補正データ生成方法は、コンピュータにより実行される方法であり、所定の疾患に関する指標を撮影した撮影画像データを取得する取得ステップと、取得された撮影画像データに応じた実際の撮影のデータ点をその色成分に応じて所定の疾患と関連付けられた所定の色空間に配置する配置ステップと、所定の色空間内におけるデータ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値を算出する算出ステップと、算出された補正値を記憶する記憶ステップとを含む。

　また、本発明の一実施形態に係る補正データ生成方法は、取得ステップにて、所定の疾患について症状レベルが所定の第一のレベルであるときの生体組織の色である第一の色を持つ第一の指標を撮影した第一の撮影画像データと、該疾患について症状レベルが所定の第二のレベルであるときの生体組織の色である第二の色を持つ第二の指標を撮影した第二の撮影画像データを取得し、配置ステップにて、取得された第一、第二の撮影画像データに応じた第一、第二のデータ点をその色成分に応じて所定の色空間に配置し、算出ステップにて、所定の色空間内における第一のデータ点と所定の第一の目標点との距離及び第二のデータ点と所定の第二の目標点との距離に基づいて補正値を算出するものとしてもよい。

　また、本発明の一実施形態に係る補正データ生成方法は、ユーザによる症状レベルの指定操作を受け付けるステップと、受け付けた症状レベルに対応する指標をユーザに報知するステップとを含むものとしてもよい。

　また、本発明の一実施形態に係る補正データ生成方法は、算出ステップにて、第一のデータ点と第一の目標点との距離と、第二のデータ点と第二の目標点との距離との合計値を最小とするマトリックス係数を補正値として算出するものとしてもよい。

　また、本発明の一実施形態において、所定の色空間は、例えば、Ｒ成分の軸と、該Ｒ成分の軸と直交するＧ成分の軸を含む二次元色空間である。

　また、本発明の一実施形態において、第一の色は、例えば、疾患について症状レベルが最も高いときの生体組織の色である。この場合、第一の目標点は、所定の色空間において、ヘモグロビン色素と相関の高い軸上に位置する点である。

　また、本発明の一実施形態において、第二の色は、例えば、疾患について健常であるときの生体組織の色である。この場合、第二の目標点は、所定の色空間において、体腔内の粘膜の色味と相関の高い軸上に位置する点である。

　また、本発明の一実施形態に係る補正データ生成装置は、所定の疾患に関する指標を撮影した撮影画像データを取得する取得手段と、取得された撮影画像データに応じた実際の撮影のデータ点をその色成分に応じて所定の疾患と関連付けられた所定の色空間に配置する配置手段と、所定の色空間内におけるデータ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値を算出する算出手段と、算出された補正値を記憶する記憶手段とを備える。

　本発明の一実施形態によれば、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつきを抑えるための補正データ生成方法及び補正データ生成装置が提供される。

本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。本発明の一実施形態において特殊モード時に実行される特殊画像生成処理のフローチャートを示す図である。本発明の一実施形態において画素対応点がプロットされるＲＧ平面を示す図である。ＲＧ平面内に設定される基準軸について説明する図である。本発明の一実施形態において特殊モード時にモニタの表示画面に表示される表示画面例を示す図である。本発明の一実施形態においてキャリブレーションモード時に実行されるキャリブレーション処理のフローチャートを示す図である。図６のキャリブレーション処理の説明を補助する図である。

　以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システム（コンピュータ）を例に取り説明する。

［電子内視鏡システム１の構成］
　図１は、本発明の一実施形態に係る電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、医療用に特化されたシステムであり、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。

　プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２２２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１８に接続されている。システムコントローラ２０２は、操作パネル２１８より入力される術者からの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム１の動作モードの切替指示がある。本実施形態では、動作モードとして、通常モード、特殊モード及びキャリブレーションモードがある。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。

　ランプ２０８は、ランプ電源イグナイタ２０６による始動後、白色光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプである。ランプ２０８より射出された白色光Ｌは、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限される。なお、ランプ２０８は、ＬＤ（Laser Diode）やＬＥＤ（Light Emitting Diode）等の半導体発光素子に置き換えてもよい。半導体発光素子に関しては、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることは、後述する炎症評価値の精度を向上させることにつながる。半導体発光素子は、プロセッサ２００に限らず、電子スコープ１００に内蔵されてもよい。一例として、半導体発光素子は、電子スコープ１００の先端部内に備えられてもよい。

　絞り２１２には、図示省略されたアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００の表示画面に表示される映像を適正な明るさにするため、モータ２１４により動作され開度が変えられる。ランプ２０８より照射された白色光Ｌの光量は、絞り２１２の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル２１８の輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。

　絞り２１２を通過した白色光Ｌは、ＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。入射端面よりＬＣＢ１０２内に入射された白色光Ｌは、ＬＣＢ１０２内を伝播する。

　ＬＣＢ１０２内を伝播した白色光Ｌは、電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して生体組織を照射する。白色光Ｌにより照射された生体組織からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。

　固体撮像素子１０８は、補色市松フィルタを搭載した単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの画素データを生成して出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。

　電子スコープ１００の接続部内には、ドライバ信号処理回路１１２が備えられている。ドライバ信号処理回路１１２には、白色光Ｌにより照射された生体組織を撮像した各画素の画素データが固体撮像素子１０８よりフレーム周期で入力される。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される画素データをプロセッサ２００の信号処理回路２２０に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、１／３０秒、１／６０秒である。

　ドライバ信号処理回路１１２はまた、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。

　システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。

　タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。

［通常モード時の動作］
　通常モード時のプロセッサ２００での信号処理動作を説明する。

　プロセッサ２００に備えられる信号処理回路２２０は、プリプロセス回路２２０Ａ、プロセス回路２２０Ｂ、出力回路２２０Ｃ、補正回路２２０Ｄ、スコアリング回路２２０Ｅ、マッピング回路２２０Ｆを有している。

　プリプロセス回路２２０Ａは、ドライバ信号処理回路１１２よりフレーム周期で入力されるＲＡＷ形式の画素データにデモザイク処理を施してＲＧＢ形式の画素データに変換し、カラーマトリックス処理、ホワイトバランス調整、Ｈｕｅゲイン調整等を施してプロセス回路２２０Ｂに出力する。

　プロセス回路２２０Ｂは、プリプロセス回路２２０Ａより入力される画素データにエンハンス処理、ガンマ補正等を施して通常のカラー画像データを生成し、出力回路２２０Ｃに出力する。

　出力回路２２０Ｃは、プロセス回路２２０Ｂより入力されるカラー画像データに対してＹ／Ｃ分離、色差補正等の処理を施して所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３００に出力される。これにより、生体組織の通常のカラー画像がモニタ３００の表示画面に表示される。

［特殊モード時の動作］
　次に、特殊モード時のプロセッサ２００での信号処理動作を説明する。図２に、特殊モード時に実行される特殊画像生成処理のフローチャートを示す。図２の特殊画像生成処理は、電子内視鏡システム１の動作モードが特殊モードに切り替えられた時点で開始される。

［図２のＳ１１（現フレームの画素データの入力）］
　本処理ステップＳ１１では、現フレームの各画素の画素データがプリプロセス回路２２０Ａに入力される。各画素の画素データは、プリプロセス回路２２０Ａによる信号処理後、プロセス回路２２０Ｂ及び補正回路２２０Ｄに入力される。

［図２のＳ１２（ＲＧ平面へのプロット）］
　図３に、補正回路２２０Ｄの動作を概念的に説明するための図であって、互いに直交するＲ軸とＧ軸とによって定義されるＲＧ平面（二次元色空間）を示す。なお、Ｒ軸は、Ｒ成分（Ｒの画素値）の軸であり、Ｇ軸は、Ｇ成分（Ｇの画素値）の軸である。

　本処理ステップＳ１２では、ＲＧＢ３原色で定義されるＲＧＢ空間の各画素の画素データ（３種類の色成分よりなる三次元の画素データ）がＲＧの画素データ（２種類の色成分よりなる二次元の画素データ）に変換（正射影変換）される。概念的には、図３に示されるように、ＲＧＢ色空間の各画素の画素データが、Ｒ、Ｇの画素値に応じてＲＧ平面内にプロットされる。以下、説明の便宜上、ＲＧ平面内にプロットされた画素データの点を「画素対応点」と記す。なお、図３においては、図面を明瞭化する便宜上、全ての画素の画素対応点を示すのではなく一部の画素の画素対応点のみ示している。

　このように、本処理ステップＳ１２では、ＲＧＢ空間の画素データ（三次元データ）がＲＧ平面に正射影され、該画素データに対応するＲＧＢ空間内の点からＲＧ平面に下された垂線の足が画素対応点（二次元データ）となる。

［図２のＳ１３（基準軸の設定）］
　本処理ステップＳ１３では、補正回路２２０Ｄにより、胃炎等の所定の疾患の炎症強度を計算するために必要なＲＧ平面内の基準軸が設定される。図４に、基準軸の説明を補助する図を示す。

　撮影対象となる患者の体腔内は、ヘモグロビン色素等の影響によりＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的であり、典型的には、炎症が強いほど赤味（Ｒ成分）が他の色味（Ｇ成分及びＢ成分）に対して強くなる。しかし、体腔内の撮影画像は、明るさに影響する撮影条件（例えば白色光Ｌの当たり具合）に応じて色味が変化する。例示的には、白色光Ｌの届かない陰影部分は黒（無彩色であり、例えば、Ｒ、Ｇ、Ｂがゼロ又はゼロに近い値）となり、白色光Ｌが強く当たって正反射する部分は白（無彩色であり、例えば、Ｒ、Ｇ、Ｂが２５５又は２５５に近い値）となる。すなわち、炎症が起こっている同じ異常部位を撮影した場合であっても、白色光Ｌが強く当たるほどその異常部位画像の画素値が大きくなる。そのため、白色光Ｌの当たり具合によっては、画素値が炎症の強さと相関の無い値を取ることがある。

　一般に、炎症が起こっていない体腔内の正常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の異常部位は十分な粘膜で覆われていない。病変部等の異常部位では炎症が強いほど粘膜が薄くなる。粘膜は、基本的には白基調ではあるが、色味としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色味（黄色の色味）が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。

　そこで、本処理ステップＳ１３では、図４に示されるように、ＲＧ平面内において、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸ＡＸ１」と記し、後者の基準軸を「粘膜変化軸ＡＸ２」と記す。

　図４に示されるプロットは、本発明者が体腔内の多数のサンプル画像を解析した結果得たものである。解析に用いられるサンプル画像には、症状レベルの最も高い炎症画像例（最も重症なレベルの炎症画像例）や、症状レベルの最も低い炎症画像例（実質的に正常部位であるとみなされる画像例）など、各段階の炎症画像例が含まれる。なお、図４の例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図４に示されるプロットの数よりも遥かに多い。

　上述したように、炎症が強い異常部位ほどＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｇ軸よりもＲ軸に近い方の境界線上の軸、図４の例では、（５０，０）及び（２５５，７６）を通る境界線上の軸が、症状レベルの最も高い病変部（症状レベルの最も高い炎症（異常）部位）と相関の高い軸として設定される。この軸がヘモグロビン変化軸ＡＸ１である。ヘモグロビン変化軸ＡＸ１には、様々な撮影条件（例えば白色光Ｌの当たり具合）で撮影された症状レベルの最も高い炎症部位に対応するプロットが重畳される。

　一方、正常部位に近いほどＧ成分（又はＢ成分）がＲ成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｒ軸よりもＧ軸に近い方の境界線上の軸、図４の例では、（０，０）及び（２５５，１９２）を通る境界線上の軸が、症状レベルの最も低い病変部（症状レベルの最も低い炎症（異常）部位であって、実質的に正常（健常）部位であるとみなされるもの）と相関の高い軸として設定される。この軸が粘膜変化軸ＡＸ２である。粘膜変化軸ＡＸ２には、様々な撮影条件（例えば白色光Ｌの当たり具合）で撮影された症状レベルの最も低い炎症部位（実質的に正常部位とみなされるもの）に対応するプロットが重畳される。

　補足すると、症状レベルの最も高い炎症部位は、出血を伴う。一方、症状レベルの最も低い炎症部位は、実質正常部位であるから、十分な粘膜で覆われている。そのため、図４に示されるＲＧ平面内のプロットは、血液（ヘモグロビン色素）と最も相関の高い軸と、粘膜の色味と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、Ｒ軸に近い（Ｒ成分が強い）方の境界線が、症状レベルの最も高い炎症部位を示す軸（ヘモグロビン変化軸ＡＸ１）に相当し、Ｇ軸に近い（Ｇ成分が強い）方の境界線が、症状レベルの最も低い炎症部位を示す軸（粘膜変化軸ＡＸ２）に相当する。

［図２のＳ１４（注目画素の選択）］
　本処理ステップＳ１４では、補正回路２２０Ｄにより、全ての画素の中から所定の順序に従い一つの注目画素が選択される。

［図２のＳ１５（画素データの補正）］
　補正回路２２０Ｄには、後述のキャリブレーションモード時に算出された補正マトリックス係数が記憶されている。本処理ステップＳ１５では、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつき（言い換えると、電子スコープの個体差）を抑えるため、補正回路２２０Ｄにより、処理ステップＳ１４（注目画素の選択）にて選択された注目画素の画素データ（Ｒ，Ｇ）が補正マトリックス係数を用いて補正される。なお、補正マトリックス係数については、後述の［キャリブレーションモード時の動作］において詳細に説明する。

・補正マトリックス例

Ｒ_new　　：補正後の注目画素の画素データ（Ｒ成分）
Ｇ_new　　：補正後の注目画素の画素データ（Ｇ成分）
Ｍ₁₁～Ｍ₂₂：補正マトリックス係数
Ｒ　　　：補正前の注目画素の画素データ（Ｒ成分）
Ｇ　　　：補正前の注目画素の画素データ（Ｇ成分）

［図２のＳ１６（角度の算出）］
　補正回路２２０Ｄにおいて現フレームの全ての画素に対して処理ステップＳ１４（注目画素の選択）及びＳ１５（画素データの補正）が実行されると、スコアリング回路２２０Ｅにより、処理ステップＳ１５（画素データの補正）にて補正された各画素の画素データ（Ｒ_new，Ｇ_new）について、炎症強度を計算するための角度が算出される。具体的には、本処理ステップＳ１６では、各画素について、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点（基準点）Ｏ’と画素対応点（Ｒ_new，Ｇ_new）とを結ぶ線分Ｌと、ヘモグロビン変化軸ＡＸ１とがなす角度θ（図３参照）が算出される。なお、基準点Ｏ’は、座標（－１５０，－７５）に位置する。

［図２のＳ１７（正規化処理）］
　体腔内の撮影画像の明るさが白色光Ｌの当たり具合によって変化すると、撮影画像の色味は、個人差、撮影箇所、炎症の状態等の影響があるものの、ＲＧ平面内において、概ね、症状レベルの最も高い炎症部位ではヘモグロビン変化軸ＡＸ１上に沿って変化し、症状レベルの最も低い炎症部位では粘膜変化軸ＡＸ２上に沿って変化する。また、中間の症状レベルの炎症部位の撮影画像の色味も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、白色光Ｌの当たり具合によって変化すると、基準点Ｏ’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、白色光Ｌの当たり具合によって変化すると、角度θが一定のまま移動して基準点Ｏ’との距離が変わる。これは、角度θが撮影画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。

　角度θが小さいほどＲ成分がＧ成分に対して強くなり、炎症部位の症状レベルが高いことを示す。また、角度θが大きいほどＧ成分がＲ成分に対して強くなり、炎症部位の症状レベルが低いことを示す。

　そこで、本処理ステップＳ１７では、スコアリング回路２２０Ｅにより、角度θがゼロであるときに値２５５となり、角度θがθ_ＭＡＸであるときに値ゼロとなるように、現フレームの全ての画素について角度θが正規化される。なお、θ_ＭＡＸは、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２とがなす角度と等しい。これにより、０～２５５の範囲に収まる炎症強度（８ｂｉｔの情報）が得られる。

［図２のＳ１８（炎症評価値の計算）］
　本処理ステップＳ１８では、スコアリング回路２２０Ｅにより、現フレームの全ての画素の炎症強度を平均化した平均値（又は全ての画素の炎症強度の積算値）が撮影画像全体の炎症評価値として計算されると共に、計算した炎症評価値の表示データ（表示データ例：Ｓｃｏｒｅ：○○）が生成される。

［図２のＳ１９（カラーマップ画像上での表示色の決定）］
　本実施形態では、炎症強度に応じた表示色で撮影画像をモザイク化したカラーマップ画像を表示することができる。カラーマップ画像を表示可能とするため、炎症強度の値と所定の表示色とを対応付けたテーブルがスコアリング回路２２０Ｅの所定の記憶領域に記憶されている。本テーブルでは、例えば、値５刻みで異なる表示色が対応付けられている。例示的には、炎症強度の値が０～５の範囲では黄色が対応付けられており、該値が５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該値が２５０～２５５の範囲では赤色が対応付けられている。

　本処理ステップＳ１９では、マッピング回路２２０Ｆにより、現フレームの各画素の、カラーマップ画像上での表示色が、上記テーブルに基づいて、処理ステップＳ１７（正規化処理）にて得た炎症強度の値に応じた色に決定される。

［図２のＳ２０（カラーマップ画像データの生成）］
　本処理ステップＳ２０では、マッピング回路２２０Ｆにより、現フレームの各画素の色データが、処理ステップＳ１９（カラーマップ画像上での表示色の決定）にて決定された表示色のデータに変換され、変換された表示色で表示される画素よりなるカラーマップ画像データが生成される。

［図２のＳ２１（オーバレイ処理）］
　本処理ステップＳ２１では、出力回路２２０Ｃにより、プロセス回路２２０Ｂより入力される通常のカラー画像データに基づく通常のカラー画像と、処理ステップＳ２０（カラーマップ画像データの生成）にて生成されたカラーマップ画像データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画像データ（通常のカラー画像データ）と後者の画像データ（カラーマップ画像データ）とが加算される。

　なお、係数の設定は、ユーザ操作により適宜設定変更することが可能である。例えば、通常のカラー画像の方を濃く表示したい場合は、カラー画像データの係数が高く設定され、カラーマップ画像の方を濃く表示したい場合は、カラーマップ画像データの係数が高く設定される。

［図２のＳ２２（終了判定）］
　本処理ステップＳ２２では、電子内視鏡システム１の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合（Ｓ２２：ＮＯ）、図２の特殊画像生成処理は、処理ステップＳ１１（現フレームの画素データの入力）に戻る。一方、別のモードに切り替えられたと判定される場合（Ｓ２２：ＹＥＳ）、図２の特殊画像生成処理は終了する。

［画面表示例］
　出力回路２２０Ｃは、図２の処理ステップＳ２１（オーバレイ処理）にて加算処理された画像データに基づいて通常のカラー画像とカラーマップ画像とのオーバレイ画像の表示データを生成すると共にモニタ３００の表示画面の周辺領域（画像表示領域の周囲）をマスクするマスキング処理を行い、更に、マスキング処理により生成されるマスク領域に炎症評価値を重畳した、モニタ表示用の画面データを生成する。出力回路２２０Ｃは、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換して、モニタ３００に出力する。

　図５に、特殊モード時の画面表示例を示す。図５に例示されるように、モニタ３００の表示画面には、その中央領域に体腔内の撮影画像（通常画像とカラーマップ画像とがオーバレイ表示されたオーバレイ画像）が表示されると共に画像表示領域の周囲がマスキングされた画面が表示される。また、マスク領域には、炎症評価値（スコア）が表示される。

　なお、特殊モード時の撮影画像の表示形態は、通常のカラー画像とカラーマップ画像とをオーバレイ表示したものに限らない。例えば、通常のカラー画像とカラーマップ画像を一画面内に並べて表示したり、カラーマップ画像のみを表示したりする表示形態が挙げられる。前者の場合、通常のカラー画像とカラーマップ画像の両方を同一のサイズで表示してもよいし、通常のカラー画像とカラーマップ画像の一方をメイン画像として表示すると共に他方をメイン画像より小さいサブ画像として表示してもよい。

　このように、本実施形態によれば、トーン強調処理等の非線形な計算処理や複雑な色空間変換処理等を行うことなく単純な計算処理を行うだけで、炎症評価値（ここでは撮影部位のヘモグロビン色素の増減に相関のある値）が求まる。すなわち、炎症評価値の計算に必要なハードウェアリソースが大幅に抑えられる。また、体腔内の撮影画像の明るさに影響する撮影条件（例えば照射光の当たり具合等）によって炎症評価値が実質的に変動しないため、術者は、炎症についてより客観的で正確な判断を下すことが可能となる。

［キャリブレーションモード時の動作］
　次に、キャリブレーションモード時の電子内視鏡システム１の動作について説明する。図６に、キャリブレーションモード時に実行されるキャリブレーション処理のフローチャートを示す。また、図７に、図６のキャリブレーション処理の説明を補助する図を示す。図６のキャリブレーション処理は、例えば工場出荷時に実行されるものであり、電子内視鏡システム１の動作モードがキャリブレーションモードに切り替えられた時点で開始される。

　なお、キャリブレーション処理の実行に先立ち、作業者による準備作業が行われる。具体的には、作業者は、グレーカード等を用いて電子内視鏡システム１のホワイトバランスを調整する。

　作業者は、ホワイトバランスの調整が完了すると、電子内視鏡システム１をキャリブレーション用治具にセットすると共に、プロセッサ２００に接続された端末（ＰＣ）上でキャリブレーション用ソフトウェアを起動させる。

　作業者は、次いで、電子スコープ１００による撮影画像の輝度調整を行う。例示的には、作業者は、輝度調整用の被写体を撮影したときの撮影画像の輝度値が目標輝度値に収まるように、絞り２１２の開度をマニュアル調整する。なお、撮影画像の輝度値は、キャリブレーション用ソフトウェア上で確認することができる。

　作業者は、撮影画像の輝度調整が完了すると、第一の指標をキャリブレーション用治具にセットすることにより、電子スコープ１００の画角内に第一の指標を固定配置する。ここで、第一の指標は、所定の疾患について症状レベルが最も高いときの生体組織の色である第一の色を持つ指標である。本実施形態において、第一の指標は、ＲＧ平面内のヘモグロビン変化軸ＡＸ１上の所定点（後述の第一の目標点Ｐ_T1）に対応する色が塗布された板状部材である。

［図６のＳ３１（第一の指標の撮影）］
　本処理ステップＳ３１では、作業者による操作入力に従い、第一の指標（第一の色が塗布された面）が電子スコープ１００によって撮影され、その撮影画像データ（ＲＡＷ形式やＹＵＶ形式等）がＰＣに入力される。

［図６のＳ３２（第二の指標の撮影）］
　作業者は、第一の指標に代えて第二の指標をキャリブレーション用治具にセットすることにより、電子スコープ１００の画角内に第二の指標を固定配置する。ここで、第二の指標は、所定の疾患について健常であるときの生体組織の色である第二の色を持つ指標である。本実施形態において、第二の指標は、ＲＧ平面内の粘膜変化軸ＡＸ２上の所定点（後述の第二の目標点Ｐ_T2）に対応する色が塗布された板状部材である。

　本処理ステップＳ３２では、作業者による操作入力に従い、第二の指標（第二の色が塗布された面）が電子スコープ１００によって撮影され、その撮影画像データ（ＲＡＷ形式やＹＵＶ形式等）がＰＣに入力される。作業者は、キャリブレーション用治具を使用することにより、第一の指標と第二の指標を同一の条件で撮影することができる。処理ステップＳ３１（第一の指標の撮影）及び本処理ステップＳ３２の実行により、所定の疾患に関する指標を撮影した撮影画像データが取得される。

［図６のＳ３３（第一の実撮影データ点Ｐ_D1の算出）］
　作業者による操作入力に従い又は指定枚数（ここでは二枚）の撮影後自動的に、本処理ステップＳ３３の実行が開始される。

　本処理ステップＳ３３では、キャリブレーション用ソフトウェアにより、処理ステップＳ３１（第一の指標の撮影）にて撮影された第一の指標の撮影画像データから、第一の指標の実測値として第一の実撮影データ点Ｐ_D1が算出される。例示的には、第一の指標の画像内の中央領域の画素（例えば２００×２００画素）の平均値が第一の実撮影データ点Ｐ_D1として算出される。

［図６のＳ３４（第二の実撮影データ点Ｐ_D2の算出）］
　本処理ステップＳ３４では、キャリブレーション用ソフトウェアにより、処理ステップＳ３２（第二の指標の撮影）にて撮影された第二の指標の撮影画像データから、第二の指標の実測値として第二の実撮影データ点Ｐ_D2が算出される。例示的には、第一の実撮影データ点と同様に、第二の指標の画像内の中央領域の画素（例えば２００×２００画素）の平均値が第二の実撮影データ点Ｐ_D2として算出される。

［図６のＳ３５（ＲＧ平面への実撮影データ点の配置）］
　本処理ステップＳ３５では、キャリブレーション用ソフトウェアにより、図７に示されるように、第一の実撮影データ点Ｐ_D1及び第二の実撮影データ点Ｐ_D2が、ここでの対象疾患（胃炎等）と関連付けられたＲＧ平面に配置される。本処理ステップＳ３５の実行により、各実撮影データ点がその色成分に応じて所定の疾患と関連付けられた所定の色空間に配置される。

［図６のＳ３６（補正マトリックス係数の算出）］
　図７に示されるように、ヘモグロビン変化軸ＡＸ１上には第一の実撮影データ点Ｐ_D1に対応する第一の目標点Ｐ_T1が設定され、粘膜変化軸ＡＸ２上には第二の実撮影データ点Ｐ_D2に対応する第二の目標点Ｐ_T2が設定されている。第一の目標点Ｐ_T1は、第一の指標が持つ第一の色に対応し、第二の目標点Ｐ_T2は、第二の指標が持つ第二の色に対応する。

　本処理ステップＳ３６では、キャリブレーション用ソフトウェアにより、第一の実撮影データ点Ｐ_D1と第一の目標点Ｐ_T1との距離（第一の距離Δ₁）と、第二の実撮影データ点Ｐ_D2と第二の目標点Ｐ_T2との距離（第二の距離Δ₂）との合計値を最小とする補正マトリックス係数が最小二乗法等を用いて算出される。本処理ステップＳ３６の実行により、色空間内における実撮影データ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値が算出される。

　また、補正マトリックス係数は、次式を用いて算出されてもよい。
・補正マトリックス係数の算出例

Ｍ₁₁～Ｍ₂₂　　　　：補正マトリックス係数
ＲＥＦ₁₁、ＲＥＦ₂₁：第一の目標点Ｐ_T1
ＲＥＦ₁₂、ＲＥＦ₂₂：第二の目標点Ｐ_T2
ＭＥＡ₁₁、ＭＥＡ₂₁：第一の実撮影データ点Ｐ_D1
ＭＥＡ₁₂、ＭＥＡ₂₂：第二の実撮影データ点Ｐ_D2

　上記の式は、次に示されるように、計測値（実撮影データ点）に補正マトリックスを掛けて補正目標（目標点）へと補正する式を変形することによって導出される。

［図６のＳ３７（補正マトリックス係数の保存）］
　本処理ステップＳ３７では、処理ステップＳ３６（補正マトリックス係数の算出）にて算出された補正マトリックス係数がプロセッサ２００の補正回路２２０Ｄに保存（記憶）される。これにより、図６に示されるキャリブレーション処理が完了する。

　各電子内視鏡システムに対してキャリブレーション処理を実行することにより、対象疾患（胃炎等）に関連する第一の指標や第二の指標を各電子内視鏡システムで撮影したときに略同じ値（何れの電子内視鏡システムにおいても第一の目標点Ｐ_T1や第二の目標点Ｐ_T2に近似する値）が得られるため、最終的に計算される炎症評価値も略等しい値となる。そのため、対象疾患（胃炎等）を各電子内視鏡システムで実際に撮影した場合にも炎症評価値のばらつきが抑えられることが判る。

　すなわち、本実施形態によれば、補正対象を限定する（具体的には、対象疾患に関連する特定の色を補正対象とする）ことにより、対象疾患の評価値計算に用いられる色データに残存する誤差（主に電子スコープ１００の光学部品の個体差によるばらつき）が良好に除去される。これにより、評価値の計算精度が向上する。

　また、本実施形態に係る電子内視鏡システムは、当技術分野における次のような効果及び課題の解決をもたらすものである。

　第１に、本実施形態に係る電子内視鏡システムは、炎症性疾患を早期に発見するための診断補助となるということである。

　第２に、本実施形態の構成によれば、視認し難い軽度炎症を術者が発見できるように、炎症程度を画面表示する、又は、炎症が生じている領域の画像を強調することができる。特に、軽度炎症は正常部との判別が難しいため、軽度炎症の評価に関して本実施形態の構成によりもたらされる効果が顕著となる。

　第３に、本実施形態の構成によれば、炎症度の評価として客観的な評価値を術者に提供することができるため、術者間の診断差を低減することができる。特に、経験の浅い術者に対して本実施形態の構成による客観的な評価値を提供できるメリットは大きい。

　第４に、本実施形態の構成によれば、画像処理の負荷が軽減されることにより、炎症部を画像としてリアルタイムに表示することができる。そのため、診断精度を向上させることができる。

　第５に、本実施形態の構成によれば、評価値計算の処理負荷が軽減されるため、遅滞なくカラーマップ画像（炎症度を示した画像）と通常画像とを並べて、又は、合成して表示することができる。そのため、検査時間の延長を伴うことなくカラーマップ画像を表示することが可能となり、ひいては、患者負担が増すことを回避することが可能となる。

　本実施形態における観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、十二指腸、子宮等である。本実施形態に係る電子内視鏡システムは、観察対象が大腸である場合に効果がより顕著になると考えられる。これは、具体的には、次のような理由による。

　大腸には炎症を基準として評価できる病があり、炎症している箇所を発見するメリットが他の器官と比較して大きいということである。特に、潰瘍性大腸炎に代表される炎症性腸疾患（ＩＢＤ）の指標として、本実施形態による炎症評価値は有効である。潰瘍性大腸炎は治療法が確立されていないため、本実施形態の構成の電子内視鏡システムの使用により早期に発見して進行を抑える効果は非常に大きい。

　大腸は、胃等と比較して細長い器官であり、得られる画像は奥行きがあり、奥ほど暗くなる。本実施形態の構成によれば、画像内の明るさの変化に起因する評価値の変動を抑えることができる。従って、本実施形態に係る電子内視鏡システムを大腸の観察に適用すると、本実施形態による効果が顕著となる。すなわち、本実施形態に係る電子内視鏡システムは、呼吸器用電子内視鏡システム又は消化器用電子内視鏡システムであることが好ましく、大腸用電子内視鏡システムであることがより好ましい。

　また、軽度の炎症は一般に診断が難しいが、本実施形態の構成によれば、例えば、炎症度を評価した結果を画面に表示することで、術者が軽度炎症を見逃すことを回避することができる。特に、軽度の炎症に関しては、その判断基準は明瞭なものではないため、術者間の個人差を大きくする要因となっている。この点に関しても、本実施形態の構成によれば、客観的な評価値を術者に提供できるため、個人差による診断のばらつきを低減することができる。

　なお、本実施形態の上記構成は、炎症度のみでなく、ガン、ポリープその他の色変化を伴う各種病変の評価値の算出に適用することができ、それらの場合においても、上述と同様の有利な効果をもたらすことができる。つまり、本実施形態の評価値は、色変化を伴う病変の評価値であることが好ましく、炎症度、ガン、ポリープの少なくとも何れかの評価値を含む。

　以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

　上記の実施形態では、作業者により、第一の指標として、第一の色（所定の疾患について症状レベルが最も高いときの生体組織の色）を持つものが選択され、第二の指標として、第二の色（所定の疾患について健常であるときの生体組織の色）を持つものが選択されている。そのため、上記の実施形態では、色空間内において第一の色や第二の色（すなわち補正対象）に距離が近い色ほど高い精度でキャリブレーションされている。言い換えると、色空間内において、補正対象から距離が遠い色（例えば水色のような、炎症ではあり得ない色）ほどキャリブレーションの精度が低い。

　従って、作業者は、キャリブレーション用治具にセットする指標について、電子内視鏡システム１を用いて特に高い精度でスコアリングしたい症状レベルに対応するものを選択するとよい。例えば、軽度炎症を高い精度でスコアリングしたい場合、術者は、第一の指標として、軽度の炎症が起こったときの生体組織の色を持つものを選択するとよい。

　なお、指標が細分化されて用意されるほど、術者がその中から適切な指標を選択することが難しい。そこで、システムコントローラ２０２は、接続された周辺機器（キーボード等）を介して、作業者による症状レベルを指定する操作を受け付けると、指定された症状レベルに対応する指標をモニタ３００の表示画面に表示したり音声再生で通知したりする（すなわち、ユーザに報知する）ことができる。これにより、術者は、複数の指標の中から適切な指標を確実に選択することができる。

　また、上記の実施形態では、各画素に含まれるＲ成分とＧ成分（ＲＧの二次元色空間）を用いて炎症評価値が計算されているが、別の実施形態では、ＲＧの二次元色空間に代えて、ＲＢの二次元色空間やＨＳＩ、ＨＳＶ、Ｌａｂ等の三次元色空間を用いることにより、それぞれの色空間に対応する、上記の実施形態とは別の対象疾患（胃の委縮や大腸腫瘍等）に関する評価値を計算することもできる。この場合、上記の実施形態とは異なる指標及び目標点を用いて補正マトリックス係数が算出される。

　プロセッサ２００の補正回路２２０Ｄには、各種対象疾患に対応する複数種類の補正マトリックス係数が保存されてもよい。診断対象の疾患に応じて補正マトリックス係数が切り替わることにより、それぞれの対象疾患で安定した（個体差によるばらつきの少ない）評価値計算が行われる。

Claims

　コンピュータにより実行される方法であって、
　所定の疾患に関する指標を撮影した撮影画像データを取得する取得ステップと、
　取得された撮影画像データに応じた実際の撮影のデータ点をその色成分に応じて前記疾患と関連付けられた所定の色空間に配置する配置ステップと、
　前記色空間内における前記データ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値を算出する算出ステップと、
　算出された補正値を記憶する記憶ステップと、
を含む、
補正データ生成方法。
　前記取得ステップにて、
　　前記疾患について症状レベルが所定の第一のレベルであるときの生体組織の色である第一の色を持つ第一の指標を撮影した第一の撮影画像データと、該疾患について症状レベルが所定の第二のレベルであるときの生体組織の色である第二の色を持つ第二の指標を撮影した第二の撮影画像データを取得し、
　前記配置ステップにて、
　　取得された第一、第二の撮影画像データに応じた第一、第二の前記データ点をその色成分に応じて前記色空間に配置し、
　前記算出ステップにて、
　　前記色空間内における前記第一のデータ点と所定の第一の目標点との距離及び前記第二のデータ点と所定の第二の目標点との距離に基づいて前記補正値を算出する、
請求項１に記載の補正データ生成方法。
　ユーザによる症状レベルの指定操作を受け付けるステップと、
　受け付けた症状レベルに対応する指標をユーザに報知するステップと、
を含む、
請求項２に記載の補正データ生成方法。
　前記算出ステップにて、
　　前記第一のデータ点と前記第一の目標点との距離と、前記第二のデータ点と前記第二の目標点との距離との合計値を最小とするマトリックス係数を前記補正値として算出する、
請求項２又は請求項３に記載の補正データ生成方法。
　前記色空間は、
　　Ｒ成分の軸と、該Ｒ成分の軸と直交するＧ成分の軸を含む二次元色空間である、
請求項１から請求項４の何れか一項に記載の補正データ生成方法。
　前記第一の色は、
　　前記疾患について症状レベルが最も高いときの生体組織の色であり、
　前記第一の目標点は、
　　前記色空間において、ヘモグロビン色素と相関の高い軸上に位置する点である、
請求項２を引用する、請求項３から請求項５の何れか一項に記載の補正データ生成方法。
　前記第二の色は、
　　前記疾患について健常であるときの生体組織の色であり、
　前記第二の目標点は、
　　前記色空間において、体腔内の粘膜の色味と相関の高い軸上に位置する点である、
請求項２を引用する、請求項３から請求項６の何れか一項に記載の補正データ生成方法。
　所定の疾患に関する指標を撮影した撮影画像データを取得する取得手段と、
　取得された撮影画像データに応じた実際の撮影のデータ点をその色成分に応じて前記疾患と関連付けられた所定の色空間に配置する配置手段と、
　前記色空間内における前記データ点と所定の目標点との距離に基づいて電子内視鏡による撮影画像を構成する各画素の値を補正する補正値を算出する算出手段と、
　算出された補正値を記憶する記憶手段と、
を備える、
補正データ生成装置。
　前記取得手段は、
　　前記疾患について症状レベルが所定の第一のレベルであるときの生体組織の色である第一の色を持つ第一の指標を撮影した第一の撮影画像データと、該疾患について症状レベルが所定の第二のレベルであるときの生体組織の色である第二の色を持つ第二の指標を撮影した第二の撮影画像データを取得し、
　前記配置手段は、
　　取得された第一、第二の撮影画像データに応じた第一、第二の前記データ点をその色成分に応じて前記色空間に配置し、
　前記算出手段は、
　　前記色空間内における前記第一のデータ点と所定の第一の目標点との距離及び前記第二のデータ点と所定の第二の目標点との距離に基づいて前記補正値を算出する、
請求項８に記載の補正データ生成装置。
　ユーザによる症状レベルの指定操作を受け付ける手段と、
　受け付けた症状レベルに対応する指標をユーザに報知する手段と、
を備える、
請求項９に記載の補正データ生成装置。
　前記算出手段は、
　　前記第一のデータ点と前記第一の目標点との距離と、前記第二のデータ点と前記第二の目標点との距離との合計値を最小とするマトリックス係数を前記補正値として算出する、
請求項９又は請求項１０に記載の補正データ生成装置。
　前記色空間は、
　　Ｒ成分の軸と、該Ｒ成分の軸と直交するＧ成分の軸を含む二次元色空間である、
請求項８から請求項１１の何れか一項に記載の補正データ生成装置。
　前記第一の目標点は、
　　前記色空間において、ヘモグロビン色素と相関の高い軸上に位置する点である、
請求項９を引用する、請求項１０から請求項１２の何れか一項に記載の補正データ生成装置。
　前記第二の目標点は、
　　前記色空間において、体腔内の粘膜の色味と相関の高い軸上に位置する点である、
請求項９を引用する、請求項１０から請求項１３の何れか一項に記載の補正データ生成装置。