JPWO2019142689A1 - 電子内視鏡用プロセッサ及び電子内視鏡システム - Google Patents

電子内視鏡用プロセッサ及び電子内視鏡システム Download PDF

Info

Publication number
JPWO2019142689A1
JPWO2019142689A1 JP2019566421A JP2019566421A JPWO2019142689A1 JP WO2019142689 A1 JPWO2019142689 A1 JP WO2019142689A1 JP 2019566421 A JP2019566421 A JP 2019566421A JP 2019566421 A JP2019566421 A JP 2019566421A JP WO2019142689 A1 JPWO2019142689 A1 JP WO2019142689A1
Authority
JP
Japan
Prior art keywords
image
color
pixel
electronic endoscope
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019566421A
Other languages
English (en)
Other versions
JP6926242B2 (ja
Inventor
貴雄 牧野
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of JPWO2019142689A1 publication Critical patent/JPWO2019142689A1/ja
Application granted granted Critical
Publication of JP6926242B2 publication Critical patent/JP6926242B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

電子内視鏡システムに用いる電子内視鏡用プロセッサは、生体組織の撮像画像の画素毎に、各画素の画像色成分の値を用いて、各画素に対応する生体組織の位置における病変部の病変の程度に関して順位のついた少なくとも2つ以上のレベルに、画素のレベル分けを行う選別部と、前記レベルそれぞれに属する画素の数に重み付け係数を乗算した値から、前記撮像画像に写る生体組織全体の病変の程度の評価値を算出する評価値算出部と、を備える。前記重み付け係数は、撮像された生体組織の病変の程度の評価結果が定まっている参照画像における前記評価値が前記評価結果に一致あるいは対応するように、前記参照画像における前記レベルそれぞれに属する画素の数の情報に基づいて算出された係数である。

Description

本発明は、生体組織の撮像画像を処理する電子内視鏡用プロセッサ及び電子内視鏡システムであって、生体組織の病変部の病変の程度を評価するための装置に関する。
病変部、例えば炎症部位は、一般に正常な粘膜組織とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織に対して僅かに色の異なる炎症部位等の病変部の識別も可能になってきている。しかし、術者が内視鏡画像内に含まれる僅かな色の相違によって正常部位と病変部とを識別できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても僅かな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求される。そこで、例えば特許文献1に、病変部等の識別を容易にするため、白色光を使用して撮像した内視鏡画像データに対して色の違いを強調する色変換処理を行う機能を備えた電子内視鏡システムが提案されている。
特開2009−106424号公報
特許文献1に記載の電子内視鏡システムによって生成される画像は、通常の内視鏡画像に比べれば正常部位と病変部とを識別し易いものといえる。しかし、病変部の色は病変の程度に応じて変化する。病変の程度に応じた変化は微妙であるため、経験の浅い術者では、特許文献1に記載の技術をはじめとする公知の技術を用いて正常部位と病変部とを識別することができたとしても、病変部における病変の程度を正確に評価することは難しい。
更には、熟練した術者であっても、病変の程度の評価が術者個々人の経験や知識に依存する読像技能に委ねられるため、客観的かつ再現性のある(術者のスキルに依存しない)評価を行うことができなかった。また、撮像画像が、病変の程度が高いが、その領域が小さい局所的な病変部の像を含む場合、生体組織の病変について適切な評価を行うことができなかった。
そこで、本発明は、局所的な病変部がある場合も含め、病変部における病変の程度について客観性かつ再現性が担保された正確な評価を行うことを可能とする電子内視鏡用プロセッサ及び電子内視鏡システムを提供することを目的とする。
本発明の一実施形態は、生体組織の撮像画像を処理するように構成された電子内視鏡用プロセッサである。当該電子内視鏡用プロセッサは、
生体組織の撮像画像の画素毎に、各画素の画像色成分の値を用いて、各画素に対応する生体組織の部位における病変の程度に関して順位のついた少なくとも2つ以上のレベルに、画素のレベル分けを行うように構成された選別部と、
前記レベルそれぞれに属する画素の数に重み付け係数を乗算した値から、前記撮像画像に写る生体組織全体の病変の程度の評価値を算出するように構成された評価値算出部と、を備える。
前記重み付け係数は、撮像された生体組織の病変の程度を数値化した評価結果が定まっている参照画像における前記評価値が前記評価結果に一致あるいは対応するように、前記参照画像における前記レベルそれぞれに属する画素の数の情報に基づいて算出された係数である、ことが好ましい。
ここで、前記参照画像は、病変部の病変の程度及び病変部の大きさが異なる像を含む。
前記評価値算出部は、前記レベル毎に属する画素の数に前記重み付け係数を乗算した値の合計値Xを、下記式(1)にしたがって前記評価値に対応する値Pを算出する処理を行うように構成されている、ことが好ましい。
P=1/(1+e−X) ・・・ (1)
前記選別部は、mを2以上の自然数として画像におけるm種類の画像色成分の値によって設定された少なくとも2つの設定範囲のうちどの設定範囲に、前記撮像画像における前記m種類の画像色成分の値の組が含まれるか、を判定することにより、前記レベル分けを行うように構成されている、ことが好ましい。
前記選別部は、前記m種類の画像色成分により定義される色空間内において、所定の基準点を通る基準軸を設定しており、前記撮像画像の各画素について、前記基準点と前記m種類の画像色成分の値に対応する画素対応点とを結ぶ線分と、前記基準軸とがなす角度に基づいて、前記レベル分けを行うように構成されている、ことが好ましい。
前記基準軸は、前記病変の程度が高くなるにつれて前記画素対応点が近づく軸である、ことが好ましい。
前記設定範囲は、前記色平面上の、前記基準点からみた方位角の数値範囲によって定められている、ことが好ましい。
前記mは2であり、
前記選別部は、画像における2つの画像色成分の値の比によって、あるいは、前記2つの画像色成分の値それぞれから所定値を差し引いた値の比によって前記レベル分けを行うように構成されている、ことが好ましい。
前記画像色成分は、R成分、G成分、及びB成分のうち、少なくともR成分を含む、ことが好ましい。
本発明の他の一実施形態は、前記電子内視鏡用プロセッサと、
前記撮像画像のデータを生成して前記電子内視鏡用プロセッサに出力するように構成された電子スコープと、
前記電子内視鏡用プロセッサにより算出された前記評価値を表示するように構成された表示装置と、
を備える、電子内視鏡システムである。
このとき、前記電子内視鏡用プロセッサは、前記撮像画像の各画素の色を、前記レベルに応じた色に置換するように構成された部分と、色を置換した各画素により構成されるカラーマップ画像を前記表示装置の表示画面に表示させるように構成された部分と、を含む評価画像生成部を備え、
前記表示装置は、前記評価値と前記カラーマップ画像を同時に表示するように構成されている、ことが好ましい。
上述の電子内視鏡用プロセッサ及び電子内視鏡システムによれば、局所的な病変部がある場合も含め、病変部における病変の程度について客観性かつ再現性が担保された正確な評価を行うことができる。
一実施形態の電子内視鏡システムの構成を示すブロック図である。 図1に示す画像処理ユニットの構成の一例を示す図である。 一実施形態の電子内視鏡システムが行う病変評価情報生成処理のフローの一例を示す図である。 一実施形態の電子内視鏡システムで用いる、画素対応点がプロットされるRG平面を示す図である。 一実施形態の電子内視鏡システムにおいて行う病変部のレベル分けの一例を説明する図である。 一実施形態の電子内視鏡システムのモニタの表示画面に表示される評価画像例である。 図3に示すステップS15及びステップS16で行う処理の詳細なフローの一例を示す図である。
以下、実施形態について図面を参照しながら説明する。以下においては、一実施形態として電子内視鏡システムを例に取り説明する。
図1は、一実施形態の電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、電子内視鏡用プロセッサ200、モニタ300及びプリンタ400を備えている。
電子内視鏡用プロセッサ200は、システムコントローラ202やタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)による指示に応じて電子内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
電子内視鏡用プロセッサ200は、電子スコープ100に照明光を供給する光源部230を備えている。光源部230は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザダイオードを用いることもできる。発光ダイオード及びレーザダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する炎症に関する評価値の精度を向上させることができる。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子スコープ100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
入射端よりLCB102内に入射した照明光は、LCB102内を伝播して電子スコープ100の先端部内に配置されたLCB102の射出端より射出され、配光レンズ104を介して被写体に照射される。被写体からの反射光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像をつくる。
固体撮像素子108は、例えば、IR(Infra Red)カットフィルタ108a、ベイヤ配列カラーフィルタ108bの各種フィルタが受光面に配置された単板式カラーCCD(Charge-Coupled Device)イメージセンサであり、受光面上で結像した光学像に応じたR(Red)、G(Green)、B(Blue)の各原色信号を生成する。単板式カラーCCDイメージセンサの代わりに、単板式カラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることもできる。CMOSイメージセンサは、一般に、CCDイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変評価情報生成処理における、画像の明るさによる評価値の変動を抑えることができるという有利な効果は、CMOSイメージセンサを用いる場合においてより顕著である。
電子スコープ100が、電子内視鏡用プロセッサ200と接続する接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112は、固体撮像素子108より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号(輝度信号Y、色差信号Cb,Cr)を生成し、生成された画像信号を電子内視鏡用プロセッサ200の画像処理ユニット220に出力する。また、ドライバ信号処理回路112は、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、電子内視鏡用プロセッサ200に接続中の電子スコープ100に適した処理がなされるように電子内視鏡用プロセッサ200内の各回路の動作やタイミングを制御する。
タイミングコントローラ206は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112、画像処理ユニット220、及び光源部230にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ206から供給されるクロックパルスに従って、電子内視鏡用プロセッサ200側で処理される映像のフレームレートに基づくタイミングに同期して固体撮像素子108を駆動制御する。
画像処理ユニット220は、システムコントローラ202による制御の下、ドライバ信号処理回路112より入力した画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。さらに、画像処理ユニット220は、後述する病変評価情報生成処理(以下、単に情報生成処理ともいう)を行い、情報生成処理結果に基づいて撮像画像の色を置換したカラーマップ画像を生成する。情報生成処理結果は、撮像した生体組織の症状の評価値を含む。画像処理ユニット220は、具体的には、情報生成処理結果及びカラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。これにより、術者は、モニタ300の表示画面に表示された内視鏡画像を通じて例えば消化管内の診断等を行うことができる。画像処理ユニット220は、必要に応じてプリンタ400に情報生成処理結果を出力する。
電子内視鏡用プロセッサ200は、NIC(Network Interface Card)210及びネットワーク500を介してサーバ600に接続されている。電子内視鏡用プロセッサ200は、内視鏡検査に関する情報(例えば、患者の電子カルテ情報や術者の情報)をサーバ600からダウンロードすることができる。ダウンロードされた情報は、例えばモニタ300の表示画面や操作パネル208に表示される。また、電子内視鏡用プロセッサ200は、内視鏡検査結果(内視鏡画像データ、検査条件、画像解析結果、術者所見等)をサーバ600にアップロードすることにより、サーバ600に保存することができる。
図2は、画像処理ユニット220の構成の一例を示す図である。図3は、電子内視鏡用プロセッサ200にて実行される病変評価情報生成処理のフローの一例を示す図である。
画像処理ユニット220は、RGB変換部220a、色空間変換部220b、色補正部220c、選別部220d、評価値算出部220e、評価画像作成部220f、メモリ222、及び画像メモリ224を備える。画像処理ユニット220は、システムコントローラ202がプログラムを起動して各部分の機能を発揮するように構成されたソフトウェアモジュールであってもよいし、FPGA(Field-Programmable Gate Array)等の専用回路で構成されたハードウェアモジュールであってもよい。
RGB変換部220aは、図3に示す処理ステップS11の処理を行うように構成されている。
色空間変換部220bは、図3に示す処理ステップS12,S13の処理を行うように構成されている。
色補正部220cは、図3に示す処理ステップS14の処理を行うように構成されている。
選別部220dは、図3に示す処理ステップS15の処理を行うように構成されている。
評価値算出部220eは、図3に示す処理ステップS16の処理を行うように構成されている。
評価画像作成部220fは、図3に示す処理ステップS17,18の処理を行うように構成されている。
メモリ222は、画像処理ユニット220が実施する処理に必要な情報を格納している。格納する情報には、色補正部220cが色補正をする際に用いる補正マトリックス係数、評価値算出部220eが評価値を算出する際に用いる重み付け係数α,β,γ,δの数値、評価画像作成部220fがカラーマップ画像を作成する際に用いる表示色テーブル等が含まれる。
画像メモリ224は、ドライバ信号処理回路112から送られる画像信号を撮像画像として記録保持し、さらに、画像処理ユニット220が実施する処理の結果である処理画像を必要に応じて記録保持する。画像メモリ224に記録保持された画像は、必要に応じて呼び出され処理される。画像処理ユニット220が行う処理については、以下説明する。なお、以降で処理を説明するとき、カラー画像のR,G,Bの各色成分の画像信号を、画像色成分という。
[病変評価情報生成処理]
図3は、電子内視鏡用プロセッサ200にて実行される病変評価情報生成処理のフローの一例を示す。以下に説明する情報生成処理は、電子スコープ100により撮像された生体組織の病変部、例えば対象疾患(例示的には、炎症性腸疾患(IBD)の病変である炎症(浮腫や易出血性を含む赤変病変))の症状レベル(病変の程度)を客観的に評価するための処理である。以下、病変部として、炎症部位を代表して説明する。情報生成処理は、概略的には、カラー内視鏡画像の各画素の画像色成分の値を用いて、各画素を、炎症の程度(病変の程度)を、順位のついたレベルに分け、例えば、Lv1〜Lv4のように4つのレベルにわけ、このレベル分けの結果に基づいて、撮像画像全体に写る生体組織全体の炎症の程度の評価値を算出する。
評価値は、所定のアルゴリズム(図3に示される情報生成処理)の実行により算出される再現性が担保された数値データである。そのため、術者は評価値を把握することにより、炎症部位における炎症の程度を客観的に評価することができる。
[図3のS11(RGB変換)]
ステップS11では、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb,Cr)が所定のマトリックス係数を用いて画像色成分(R,G,B)に変換される。
[図3のS12(RG平面への正射影)]
次に、画像色成分に変換された画像データはRG平面に正射影される。
図4は、互いに直交するR軸とG軸とによって定義されるRG平面を示す図である。なお、R軸は、画像色成分のうちのR成分(R成分の画素値)の軸であり、G軸は、画像色成分のうちのG成分(G成分の画素値)の軸である。
ステップS12では、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、図4に示されるように、RGB色空間の各画素の画像色成分が、R成分、G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0〜255、G成分の画素値=0〜255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG平面内にプロットされた画像色成分の点を「画素対応点」と記す。なお、図4においては、図面を明瞭化する便宜上、撮像画像全ての画素の画素対応点を示しておらず、一部の画素の画素対応点のみ示している。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620〜750nm、波長495〜570nm、及び波長450〜495nmの色成分である。
なお、画像色成分は、色空間(色平面も含む。)を構成するものである。一実施形態によれば、色相及び彩度は、「画像色成分」から除かれることが好ましい。
このように、本処理ステップS12では、RGB色空間の各画素データ(三次元データ)がRG平面に正射影され、画素に対応するRGB色空間内の各画素対応点からRG平面に下された垂線とRG平面との交点が各画素対応点となる。
[図3のS13(基準軸の設定)]
ステップS13では、炎症部位における程度(病変部の病変の程度)を判定するために必要なRG平面内の基準軸が設定される。
被写体となる患者の体腔内の生体組織では、ヘモグロビン色素等の影響により画像色成分のうちR成分が他の成分(G成分及びB成分)に対して支配的であり、典型的には、炎症が強いほど赤味(R成分)が他の色味(G成分及びB成分)に対して強くなる。しかし、体腔内の撮像画像は、明るさに影響する撮影条件(例えば照明光の当たり具合)に応じて色味が変化する。例示的には、照明光の届かない陰影部分は黒(無彩色であり、例えば、R,G,Bの画像色成分の値がゼロ又はゼロに近い値)となり、照明光が強く当たって正反射する部分は白(無彩色であり、例えば、R,G,Bの画像色成分の値が255又は255に近い値)となる。すなわち、炎症が起こっている同じ異常部位を撮像した場合であっても、照明光が強く当たるほどその異常部位画像の画素値が大きくなる。そのため、照明光の当たり具合によっては、画像色成分の値が炎症の強さと相関の無い値となることがある。
一般に、炎症が起こっていない体腔内の正常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の炎症部位は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色味としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色味(黄色の色味)が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。
そこで、ステップS13では、図4に示される例の場合、RG平面内において、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸AX1」と記し、後者の基準軸を「粘膜変化軸AX2」と記す。
図4に示されるプロットは、本発明者が体腔内の多数の参照画像を解析した結果得たものである。解析に用いられる参照画像には、炎症の程度の最も高い炎症画像例(最も重症なレベルの炎症画像例)や、炎症の程度の最も低い炎症画像例(実質的に正常部位であるとみなされる画像例)など、各段階の炎症画像例が含まれる。なお、図4に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図4に示されるプロットの数よりも遥かに多い。
上述したように、炎症が強い部分ほど画像色成分のうちR成分が他の成分(G成分及びB成分)に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、G軸よりもR軸に近い方の境界線上の軸、図4に示す例では、(50,0)及び(255,76)を通る境界線上の軸が、炎症の程度が最も強い部分、すなわち炎症の程度の最も高い部位と相関の高い軸として設定される。この軸がヘモグロビン変化軸AX1である。ヘモグロビン変化軸AX1には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も高い炎症部位に対応するプロットが重畳される。したがって、ヘモグロビン変化軸AX1は、対象疾患について炎症の程度が高くなるにつれてプロットされる画素対応点が近づく軸である。
一方、正常部位に近いほど画像色成分のうちG成分(又はB成分)がR成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、R軸よりもG軸に近い方の境界線上の軸、図5に示す例では、(0,0)及び(255,192)を通る境界線上の軸が、炎症の程度の最も低い部分、すなわち、炎症の程度の最も低い部分であって、実質的に正常部位であるとみなされるものと相関の高い軸として設定される。この軸が粘膜変化軸AX2である。粘膜変化軸AX2には、様々な撮影条件、例えば照明光の当たり具合で撮像された炎症の程度の最も低い部分、すなわち実質的に正常部位とみなされるものに対応するプロットが重畳される。したがって、粘膜変化軸AX2は、対象疾患について炎症の程度が低くなるにつれて(健常部に近くなるほど)プロットされる画素対応点が近づく軸である。
補足すると、病変部の病変の程度の最も高い部分は、出血を伴う。一方、病変の程度の最も低い部分は、実質正常な健常部であるから、十分な粘膜で覆われている。そのため、図4に示されるRG平面内のプロットは、血液(ヘモグロビン色素)と最も相関の高い軸と、粘膜の色味と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、R軸に近い(R成分が強い)方の境界線が、炎症の程度の最も高い炎症部位を示す軸(ヘモグロビン変化軸AX1)に相当し、G軸に近い(G成分が強い)方の境界線が、炎症の程度の最も低い炎症部位を示す軸(粘膜変化軸AX2)に相当する。
このような基準軸の設定を行った後、ステップS12で正射影された画像色成分に対して後述する処理ステップS15の処理が行われる。ステップS15の前に、ステップS14において正射影された画素データに対して色補正が行われる。
ステップS13で設定する基準軸は、上述したヘモグロビン変化軸AX1及び粘膜変化軸AX2に限定されず、疾患の種類に応じて基準軸は種々異なる。
[図3のS14(画素データの補正)]
メモリ222には、補正マトリックス係数が保存されている。本処理ステップS14では、同一の炎症部位を異なる電子内視鏡システムで撮像したときの後述する評価値がばらつかないように(言い換えると、電子スコープの個体間誤差を抑えるために)、各画素の画素対応点である画素データ(R,G)が補正マトリックス係数を用いて補正される。
・補正マトリックス例
new :補正後の画素データ(R成分)
new :補正後の画素データ(G成分)
00〜M11:補正マトリックス係数
R :補正前の画素データ(R成分)
G :補正前の画素データ(G成分)
なお、ステップS14にて実行される、各画素の画素対応点を、補正マトリックス係数を用いて色補正する動作は、図2に示す色補正部220cが担う。
[図3のS15(レベル分け)]
ステップS15では、ステップS14にて補正された画像データ(各画素の画像色成分(Rnew,Gnew))を用いて、画素の位置に対応する部位の炎症の程度に関して順位のついた少なくとも3つ以上のレベルに画素のレベル分けを行う。図5は、レベル分けの一例を説明する図である。図5に示す例では、RG平面におけるヘモグロビン変化軸AX1と粘膜変化軸AX2との間に挟まれる領域を、4つの領域にわけ、粘膜変化軸AX2に近い側から順番にレベル1〜4、すなわちLv1〜Lv4と定めている。Lv1〜LV4の領域を区分けする境界線は、予め参照画像を用いて、医師が、略正常、軽度の炎症、中度の炎症、及び強度の炎症の4つの症状のレベルで評価した画像中の炎症部位の画像色成分の画素対応点から求めたものである。このような境界線は、図5に示す例では、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点(基準点)O’を通過する。
したがって、評価しようとする画像の各画素の画像色成分の画素対応点をRG平面上にプロットした時、Lv1〜Lv4に区分けした領域のうちどの領域に含まれるか判定することによって、各画素における炎症の程度(症状レベル)がレベル分けされる。したがって、選別部220dは、生体組織の撮像画像の全画素について、各画素の画像色成分の値、具体的には、R成分とG成分の値を用いて、各画素に対応する生体組織の位置における炎症の程度を、順位のついた4つのレベルにレベル分けを行う。すなわち、選別部220dは、上記レベル分けを行う選別手段として機能する。
なお、図5に示す実施形態では、選別部220dは、ヘモグロビン変化軸AX1と粘膜変化軸AX2との間に挟まれる領域を4つに分割したが、これは一例であって、分割数は限定されない。また、上述の説明では、選別部220dは、各画素の画素対応点が、どの分割した領域に含まれるかを判定することにより、レベル分けを行うが、レベル分けは、上述の実施形態に限定されない。一実施形態によれば、選別部220dは、画素対応点と交点O’とを結ぶ直線が、ヘモグロビン変化軸AX1あるいは粘膜変化軸AX2からはずれるずれ角度を指標として、このずれ角度に基づいて少なくとも2つ以上のレベルにレベル分けを行うこともできる。
体腔内の撮像画像の明るさが照明光の当たり具合によって変化すると、撮像画像の色味は、個人差、撮像箇所、炎症の状態等の影響があるものの、RG平面内において、概ね、炎症の程度の最も高い炎症部位ではヘモグロビン変化軸AX1上に沿って変化し、炎症の程度の最も低い炎症部位、言い換えると健常部位では、粘膜変化軸AX2上に沿って変化する。また、中間の炎症の程度の炎症部位の撮像画像の色味も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、画素対応点と交点O’とを結ぶ直線が、ヘモグロビン変化軸AX1あるいは粘膜変化軸AX2から外れるずれ角度を一定に維持したまま移動して基準点O’との距離が変わる。これは、上記ずれ角度が撮像画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
ヘモグロビン変化軸AX1からのずれ角度が小さいほどR成分がG成分に対して強くなり、炎症部位の炎症の程度が高いことを示す。また、ヘモグロビン変化軸AX1からの角度が大きいほどG成分がR成分に対して強くなり、炎症部位の炎症の程度が低いことを示す。
このような画素毎のレベル分けを、選別部220dは、撮像画像の全ての画素に対して行う。
[図3のS16(評価値の算出)]
ステップS16では、ステップS15で行われたレベル分けの結果に基づいて評価値が算出される。ステップS16は、評価値算出部220eで行われる。評価値算出部220eは、評価値を算出する評価値算出手段として機能する。具体的には、評価値算出部220eは、Lv1〜Lv4それぞれに属する画素の数に重み付け係数を乗算した値から、撮像画像に写る生体組織全体の炎症の程度(病変部の症状レベル)の評価値を算出する。
評価値算出部220eは、Lv1〜Lv4のレベル毎に属する画素の数に重み付け係数を乗算した値の合計値Xを、下記式(1)にしたがって評価値に対応する値Pを算出する。
P=1/(1+e−X) ・・・ (1)
具体的には、評価値算出部220eは、Lv1にレベル分けされた画素数Snと、Lv2にレベル分けされた画素数Slと、Lv3にレベル分けされた画素数Smと、Lv4にレベル分けされた画素数Shと、予め定められた重み付け係数α,β,γ,δとを用いてX=α・Sn+β・Sl+γ・Sm+δ・Shを計算する。評価値算出部220eは、この計算結果Xを、上記式(1)にしたがって計算し、値Pを算出する。
ここで、上記重み付け係数α,β,γ,δは、予め設定され、メモリ222に記憶されてものである。重み付け係数α,β,γ,δは、撮像された生体組織の病変の程度を数値化した評価結果が定まっている参照画像における評価結果に評価値が一致するように、参照画像におけるLv1〜LV4それぞれに属する画素の数の情報に基づいて算出された係数である。具体的には、評価値が定まっている参照画像とは、予め医師による主観評価結果(MAYO endoscopic subscore:0または1)が定まっている画像である。参照画像には、炎症の程度(症状レベル)及び炎症部位の大きさが種々異なる像を含む。この主観評価結果では、炎症の程度(症状レベル)が高いが、その領域が小さい局所的な炎症部位についても考慮されて評価される。このような主観評価結果に一致するように、多重ロジスティック回帰分析によって重み付け係数α,β,γ,δの値が算出される。炎症の程度(症状レベル)が高いが、その領域が小さい局所的な炎症部位と、その周辺に大きな正常部位が存在する撮像画像では、評価が、大きな正常部位に引きずられて、炎症の程度(症状レベル)が高い局所的な炎症部位の評価が見過ごされ易い評価値になり易いが、本実施形態では、Lv1〜LV4それぞれに属する画素の数に重み付け係数を乗算した値を用いて値Pを算出するので、局所的な炎症部位を含む場合も含め、炎症部位の炎症の程度について客観性かつ再現性が担保された正確な評価を行うことができる。
値Pは、式(1)からわかるように、0〜1の値であるので、評価値算出部220eは、所定の値、例えば、値255を乗算した値を評価値とする。
[図3のS17(カラーマップ画像上での表示色の決定)]
本実施形態では、Lv1〜Lv4にレベル分けした画素について、レベルに応じた表示色で撮像画像をモザイク化したカラーマップ画像を表示することができる。あるいは、上記レベルの代わりに、図4に示す画素対応点と交点O’とを結ぶ直線がヘモグロビン変化軸AX1あるいは粘膜変化軸AX2からはずれるずれ角度に応じて異なる表示色で撮像画像をモザイク化したカラーマップ画像を表示することもできる。カラーマップ画像を表示可能とするため、レベルあるいはずれ角度と所定の表示色とを関連付けた表示色テーブルがメモリ222に記憶されている。
表示色テーブルは、色分けをする各段階に対して所定の表示色を関連付けている。ステップS17では、表示色テーブルに従い、各画素の色がLv1〜Lv4あるいは上記ずれ角度と関連付けられた表示色の色に置換される、言い換えると、表示色テーブルに基づいてカラーマップ画像の表示色が決定される。各画素は、例えば、Lv1に近い程、また、粘膜変化軸AX2からのずれ角度が小さい程、寒色系の色に置換され、Lv4に近い程、また、粘膜変化軸AX2からのずれ角度が大きい程、暖色系の色に置換される。
なお、ステップS17は、評価画像作成部220fで行われる。評価画像作成部220fは、撮像画像の各画素の色を、レベルあるいは上記ずれ角度に応じた色に置換する色置換手段として機能する。
[図3のS18(評価画像の表示)]
ステップS18は、評価画像作成部220fで行われ、所定の評価画像がモニタ300の表示画面に表示される。評価画像作成部220fは、カラーマップ画像をモニタ300の表示画面に表示させる表示制御手段として機能する。図6に、評価画像を例示する。図6に示す例では、評価画像として、カラーマップ画像と評価値を表すスコア“221”が示されている。図6に示すカラーマップ画像は、各画素が上述のずれ角度に応じて設定される11の段階の色で区分された階調画像となっている。図示されないが、Lv1〜Lv4の4段階の色で区分された階調画像としてもよい。この場合、術者は、撮像画角内のどの位置にどの程度の炎症が発生しているかを容易に視認することができる。このように、本実施形態では、局所的な炎症部位を含む炎症した部分の炎症の程度について、評価値(スコア)によって客観性かつ再現性が担保された正確な評価を行うことができる。
なお、本処理ステップS18にて実行される、カラーマップ画像及び評価値を含む評価画像を表示する動作は、モニタ300で行われる。
図7は、図3に示すステップS15〜S16で行う処理の詳細なフローの一例を示す図である。
電子内視鏡用プロセッサ200には、電子スコープ100から順次撮像画像が送られてくる。画像処理ユニット220は、最新のフレーム(現フレーム)の撮像画像をステップS11〜S14にて処理した画像が画像メモリ224に記録保持される。選別部220dは、現フレームの画像を画像メモリ224から読み出して取得する(ステップS50)。
次に、選別部220dは、画像中の画素におけるR成分及びG成分の値を用いて、例えば図5に示すようなLv1〜Lv4に分けた領域のうち、どの領域に画素対応点がプロットされるかを判定し、画素における炎症の程度(症状レベル)を判定する(ステップS52)。
次に、選別部220dは、画素の対応する炎症の程度(症状レベル)の画素数のカウント変数を1つ増加させる(ステップS54)。
選別部220dは、ステップS52,54の処理を全画素行ったか否かを判定する(ステップS56)。これにより、選別部220dは、全画素についてステップS52,54の処理を行うまで、ステップS52,54の処理を繰り返す。これにより、評価しようとする画像について、Lv1〜Lv4のそれぞれに含まれる画素数の情報を得ることができる。Lv1〜Lv4のそれぞれに含まれる画素数の情報は、メモリ222に記憶される。
次に、評価値算出部220eは、得られたLv1〜Lv4のそれぞれに含まれる画素数の情報と、メモリ222から読み出された重み付け係数α,β,γ,δを用いて、X=α・Sn+β・Sl+γ・Sm+δ・Shを計算し、値Xから式(1)にしたがって値Pを算出する。式(1)は、多重ロジスティック回帰分析によって得られる回帰式に該当する。多重ロジスティック回帰分析では、値Pが予め医師による主観評価結果0または1に一致あるいは対応するように重回帰分析を行うので、値Pは、主観評価結果が1である確率を0〜1の数で表す値である。評価値算出部220eは、値Pに所定の値を乗算する。図6に示す例では、値Pに255倍して、評価値(スコア値)を算出する(ステップS60)。ここで、値Pが主観評価結果0または1に一致あるいは対応することは、主観評価結果が0の参照画像の場合、値Pは0に近い値になり、主観評価結果が1の参照画像の場合、値Pは1に近い値になることを含む。この場合、閾値を定めて値Pが閾値より以上の場合に評価値を1にし、値Pが閾値以下の場合に評価値を0にする場合、この値が主観評価結果と一致する。
これにより、選別部220d及び評価値算出部220eは、現フレームの画像のステップS15,S16の処理を終了する。選別部220d及び評価値算出部220eは、処理を終了するか否かを判定し(ステップS64)、続行して次のフレームの画像のステップS15,S16の処理を行う場合、ステップS50に戻る。
従来、炎症性腸疾患の炎症の症状は、医師によるMAYO endoscopic subscoreにより4段階に区分されていた。一方、近年、粘膜治癒の達成と寛解維持期間との間に相関が見られることが判ってきた。そのため、MAYO endoscopic subscore 0相当やMAYO endoscopic subscore 1相当の軽症例に対して症状を細かく評価することが炎症性腸疾患の治療に有効であると考えられる。本実施形態では、撮像された炎症部位の炎症の程度(症状レベル)が評価値(スコア値)として表示されるため、術者は、炎症部の炎症の程度(症状レベル)を細かく知ることができる。すなわち、実施形態では、MAYO endoscopic subscore 0相当やMAYO endoscopic subscore 1相当の軽症例に対して炎症の程度(症状レベル)を評価値により細かく評価することができる。このため、本実施形態の評価値は炎症性腸疾患の治療に有益である。
このように値が0〜255範囲内にある算出した評価値と、医師によるMAYO endoscopic subscoreの0または1の評価結果を、局所的な炎症部位の像を含む100枚の撮像画像について対応関係を調べた。レベル分けは、図5に示すように、Lv1〜Lv4の4段階にレベルを分けた。重み付け係数α,β,γ,δの値は、100枚の主観評価結果が定まっている参照画像を用いて多重ロジスティック回帰分析を行って得た。このとき、撮像画像の評価値が0〜127の範囲にある場合、MAYO endoscopic subscore 0と推定し、撮像画像の評価値が128〜255の範囲にある場合、MAYO endoscopic subscore 1と推定した。この推定結果と、医師によるMAYO endoscopic subscore 0または1の実際の評価結果との対応関係は、100枚中74枚の撮像画像について一致していた。これより、本実施形態の効果は明らかであり、局所的な炎症部位がある場合を含め、炎症の程度について客観性かつ再現性が担保された正確な評価結果を得ることができることがわかった。
上述した実施形態では、評価値算出部220eは、Lv1〜Lv4のレベル毎に属する画素の画素数に重み付け係数α,β,γ,δを乗算した値から撮像画像に写る生体組織全体の病変の程度の評価値を算出するので、局所的な病変部がある場合も含め、病変部における病変の程度について客観性かつ再現性が担保された正確な評価を行うことができる。
このとき、重み付け係数α,β,γ,δは、撮像された生体組織の病変の程度の評価結果(例えばMAYO endoscopic subscore)が定まっている参照画像における評価値(例えば、値Pあるいは、値Pを255倍した値)が評価結果に一致あるいは対応(相関)するように、参照画像におけるレベルそれぞれに属する画素の数の情報に基づいて算出された係数である。このため、医師による主観評価結果に略一致する評価値を得ることができる。
また、評価値算出部220eは、Lv1〜Lv4のレベル毎に属する画素の画素数に重み付け係数α,β,γ,δを乗算した値の合計値Xを、式(1)にしたがって評価値に対応する値Pを算出する処理を含む。このため、Lv1〜Lv4のような順位尺度に含まれる画素数の情報から撮像された生体組織全体の病変の程度の評価値を適切に算出することができる。
本実施形態によれば、選別部220dは、画像色成分のうち、R成分及びG成分を用いてレベル分けをするが、一実施形態によれば、R成分及びB成分を用いてレベル分けをすることもできる。さらに、選別部220dは、2つの画像色成分を用いてレベル分けをするが、一実施形態によれば、3つ以上の画像色成分を用いてレベル分けをすることもできる。すなわち、画像におけるm(mは2以上の自然数)種類の画像色成分の値によって設定された少なくとも2つの設定範囲のうちどの設定範囲に、撮像画像におけるm種類の画像色成分の値の組が含まれるか、を判定することにより、レベル分けを行うこともできる。3つ以上の画像色成分を用いることで、より正確なレベル分けを行うことができる。
本実施形態によれば、選別部220dは、m種類の画像色成分により定義される色空間(m=2の場合、色平面)内において、所定の基準点、例えば、図5に示す交点O’を通る基準軸、例えばヘモグロビン変化軸AX1あるいは粘膜変化軸AX2を設定しており、撮像画像の各画素について、基準点とm種類の画像色成分の値に対応する画素対応点とを結ぶ線分が基準軸からはずれるずれ角度に基づいて、レベル分けを行うことも好ましい。ずれ角度によって細かくレベル分けを行うことができる。このとき、基準軸は、ヘモグロビン変化軸AX1のように、炎症の程度(病変部の症状レベル)が高くなるにつれて画素対応点が近づく軸であることが好ましい。
一実施形態によれば、図5に示すLv1〜Lv4のように、レベル毎の設定範囲は、色平面上の、基準点からみた方位角の数値範囲によって定められていることが好ましい。これにより、画像色成分の値を用いた画素毎のレベル分けを精度よく行うことができる。
レベル分けを行う選別部220dは、mが2である場合、画像における2つの画像色成分の値の比(例えば、R成分の値に対するG成分の値の比)によってレベル分けを行うことが好ましい。画像色成分の値の比を用いることにより、画像の明るさに影響しないレベル分けをすることができる。
また、選別部220dは、mが2である場合、画像における2つの画像色成分の値のうち1つの画像色成分の値から所定値(ゼロを含む)を差し引いた値に対する、残りの1つの画像色成分の値から別の所定値(ゼロを含む)を差し引いた値の比によって、レベル分けを行うことも好ましい。すなわち、設定範囲のそれぞれは、2つの画像色成分の値それぞれから所定値(ゼロを含む)を差し引いた値の比によってレベル分けを行うことも好ましい。
本実施形態において説明したように、レベル分けに用いる画像色成分は、R成分、G成分、及びB成分のうち、少なくR成分を含む、ことが好ましい。炎症部位の炎症の程度(症状レベル)が高くなるほど、撮像画像にはR成分が支配的な血液の色成分が含まれる程度が高くなるので、炎症の程度(症状レベル)を精度よく評価するには、画像色成分の中で少なくともR成分を用いることが好ましい。
電子内視鏡システム1は、当技術分野における次のような効果及び課題の解決をもたらすものである。
第1に、電子内視鏡システム1は、炎症性疾患を早期に発見するための診断補助となる。
第2に、視認し難い軽度炎症を術者が発見できるように、炎症部位の評価値を含んだ評価画像を画面表示する、又は、炎症が生じている領域の画像をカラーマップ画像にて強調することができる。特に、軽度炎症は正常部位との判別が難しいため、軽度炎症の評価を行う本実施形態は有利である。
第3に、炎症の程度(症状レベル)の評価として客観的な評価値を術者に提供することができるため、術者間の診断差を低減することができる。特に、経験の浅い術者に対して本実施形態で得られる客観的な評価値は有効である。
第4に、炎症部位を画像としてリアルタイムに表示することができる。そのため、診断精度を向上させることができる。
本実施形態における観察の対象は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、十二指腸、子宮等である。電子内視鏡システム1は、観察対象が大腸である場合に上述の効果がより顕著になると考えられる。これは、具体的には、次のような理由による。
大腸には炎症を基準として評価できる病があり、炎症している箇所を発見するメリットが他の器官と比較して大きい。特に、潰瘍性大腸炎に代表される炎症性腸疾患(IBD)の指標として、上述した評価値は有効である。潰瘍性大腸炎は治療法が確立されていないため、電子内視鏡システム1の使用により潰瘍性大腸炎を早期に発見して進行を抑える効果は非常に大きい。
大腸は、胃等と比較して細長い器官であり、得られる画像は奥行きがあり、奥ほど暗くなる。呼吸器の画像も奥行きがある画像である。本実施形態の構成によれば、画像内の明るさの変化に起因する評価値の変動を抑えることができる。従って、電子内視鏡システム1を大腸や呼吸器の観察に適用すると、本実施形態による効果が顕著となる。電子内視鏡システム1は、呼吸器用電子内視鏡システム又は消化器用電子内視鏡システムであることが好ましく、大腸用電子内視鏡システムであることがより好ましい。
また、軽度の炎症は一般に診断が難しいが、本実施形態の構成によれば、例えば、炎症部位の炎症の程度(症状レベル)を評価した結果を画面に表示することで、術者が軽度炎症を見逃すことを回避することができる。特に、軽度の炎症に関しては、その判断基準は明瞭なものではないため、術者間の個人差を大きくする要因となっている。本実施形態の構成によれば、客観的な評価値を術者に提供できるため、個人差による診断のばらつきを低減することができる。
なお、本実施形態で対象とする病変部は、炎症部位のみでなく、ガン、ポリープその他の色変化を伴う各種病変部に適用することができる。それらの場合においても、上述と同様の有利な効果をもたらすことができる。つまり、本実施形態の評価値は、色変化を伴う病変の程度の評価値であることが好ましく、病変部の病変の程度は、炎症の程度、ガン、ポリープの進行の程度の少なくとも何れかの評価値を含む。
以上が本実施形態の例示的な説明である。本実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
一実施形態によれば、レベル分けの対象とする画像は、全ての画素ではなく、所定の条件を満たす一部の画素(例えば輝度値が適正な範囲に収まる画素など)であってもよい。
また、本実施形態では、RGB色空間の画素データがRG平面の画素データに変換され、変換された各画素データに含まれるR成分とG成分を用いて炎症評価値が計算されているが、別の実施形態では、RGB色空間に代えて、CIE1976 L色空間、CIE Ch色空間、CIE1976 L色空間、HSB色空間、sRGB色空間、CMK色空間、CMYK色空間、CMYG色空間等の他の色空間(n(n≧3)種類の色成分より定義される色空間)の画素データをこれよりも低次の色空間(m(n>m≧2)種類の色成分より定義される色空間)の画素データに変換したものを用いることにより、それぞれの色空間に対応する、上記の実施形態とは別の対象疾患(胃の委縮や大腸腫瘍等)に関する評価を行うこともできる。
電子内視鏡システム1に使用される光源としては、様々なタイプの光源を用いることができる。他方、電子内視鏡システム1の観察目的等に依存して、光源のタイプを限定的なものとする形態もあり得る(例えば、光源のタイプとしてレーザを除く等)。ここで、上述した補正マトリックス係数は、使用光源の分光特性によって最適値が変わる。従って、例えば、電子内視鏡用プロセッサ200が複数種類の光源を備える場合(又は複数種類の外部光源を切り替えて使用する場合)には、光源の種類毎の補正マトリックス係数がメモリ222に保存されていてもよい。これにより、使用する光源の分光特性による病変評価情報生成処理の結果のばらつきが抑えられる。
また、上記の実施形態では、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点が基準点O’として設定されているが、本発明はこれに限らない。例えば、粘膜変化軸AX2上に位置するRG平面の原点(0,0)が基準点O’として設定されてもよい。
また、本実施形態では、R,G,Bのベイヤ配列カラーフィルタ108bを有する固体撮像素子108が用いられているが、補色系のCy(シアン)、Mg(マゼンタ)、Ye(イエロー)、G(グリーン)のフィルタを有する固体撮像素子が用いられてもよい。
1 電子内視鏡システム
100 電子スコープ
200 電子内視鏡用プロセッサ
220 画像処理ユニット
220a RGB変換部
220b 色空間変換部
220c 色補正部
220d 選別部
220e 評価値算出部
220f 評価画像作成部
222 メモリ
224 画像メモリ
230 光源部
300 モニタ
400 プリンタ
600 サーバ

Claims (11)

  1. 生体組織の撮像画像を処理するように構成された電子内視鏡用プロセッサであって、
    生体組織の撮像画像の画素毎に、各画素の画像色成分の値を用いて、各画素に対応する生体組織の部位における病変の程度に関して順位のついた少なくとも2つ以上のレベルに、画素のレベル分けを行うように構成された選別部と、
    前記レベルそれぞれに属する画素の数に重み付け係数を乗算した値から、前記撮像画像に写る生体組織全体の病変の程度の評価値を算出するように構成された評価値算出部と、を備える、ことを特徴とする電子内視鏡用プロセッサ。
  2. 前記重み付け係数は、撮像された生体組織の病変の程度を数値化した評価結果が定まっている参照画像における前記評価値が前記評価結果に一致あるいは対応するように、前記参照画像における前記レベルそれぞれに属する画素の数の情報に基づいて算出された係数である、請求項1に記載の電子内視鏡用プロセッサ。
  3. 前記評価値算出部は、前記レベル毎に属する画素の数に前記重み付け係数を乗算した値の合計値Xを、下記式(1)にしたがって前記評価値に対応する値Pを算出する処理を行うように構成された、請求項1または2に記載の電子内視鏡用プロセッサ。
    P=1/(1+e−X) ・・・ (1)
  4. 前記選別部は、mを2以上の自然数として、画像におけるm種類の画像色成分の値によって設定された少なくとも2つの設定範囲のうちどの設定範囲に、前記撮像画像における前記m種類の画像色成分の値の組が含まれるか、を判定することにより、前記レベル分けを行うように構成されている、請求項1〜3のいずれか1項に記載の電子内視鏡用プロセッサ。
  5. 前記選別部は、前記m種類の画像色成分により定義される色平面内において、所定の基準点を通る基準軸を設定しており、前記撮像画像の各画素について、前記基準点と前記m種類の画像色成分の値に対応する画素対応点とを結ぶ線分と、前記基準軸とがなす角度に基づいて、前記レベル分けを行うように構成されている、請求項4に記載の電子内視鏡用プロセッサ。
  6. 前記基準軸は、前記病変の程度が高くなるにつれて前記画素対応点が近づく軸である、請求項5に記載の電子内視鏡用プロセッサ。
  7. 前記設定範囲は、前記色平面上の、前記基準点からみた方位角の数値範囲によって定められている、請求項5または6に記載の電子内視鏡用プロセッサ。
  8. 前記mは2であり、
    前記選別部は、画像における2つの画像色成分の値の比によって、あるいは、前記2つの画像色成分の値それぞれから所定値を差し引いた値の比によって前記レベル分けを行うように構成される、請求項4〜7のいずれか1項に記載の電子内視鏡用プロセッサ。
  9. 前記画像色成分は、R成分、G成分、及びB成分のうち、少なくR成分を含む、請求項1〜8のいずれか1項に記載の電子内視鏡用プロセッサ。
  10. 請求項1〜9のいずれか1項に記載の電子内視鏡用プロセッサと、
    前記撮像画像のデータを生成して前記電子内視鏡用プロセッサに出力するように構成された電子スコープと、
    前記電子内視鏡用プロセッサにより算出された前記評価値を表示するように構成された表示装置と、
    を備える、電子内視鏡システム。
  11. 前記電子内視鏡用プロセッサは、前記撮像画像の各画素の色を、前記レベルに応じた色に置換するように構成された部分と、色を置換した各画素により構成されるカラーマップ画像を前記表示装置の表示画面に表示させるように構成された部分と、を含む評価画像作成部を備え、
    前記表示装置は、前記評価値と前記カラーマップ画像を同時に表示するように構成されている、請求項10に記載の電子内視鏡システム。
JP2019566421A 2018-01-19 2019-01-08 電子内視鏡用プロセッサ及び電子内視鏡システム Active JP6926242B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018007311 2018-01-19
JP2018007311 2018-01-19
PCT/JP2019/000148 WO2019142689A1 (ja) 2018-01-19 2019-01-08 電子内視鏡用プロセッサ及び電子内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2019142689A1 true JPWO2019142689A1 (ja) 2020-12-17
JP6926242B2 JP6926242B2 (ja) 2021-08-25

Family

ID=67301447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019566421A Active JP6926242B2 (ja) 2018-01-19 2019-01-08 電子内視鏡用プロセッサ及び電子内視鏡システム

Country Status (2)

Country Link
JP (1) JP6926242B2 (ja)
WO (1) WO2019142689A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060159A1 (ja) * 2019-09-27 2021-04-01 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理の作動方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0837604A (ja) * 1994-05-17 1996-02-06 Olympus Optical Co Ltd 画像処理装置
JPH11103471A (ja) * 1997-09-25 1999-04-13 Olympus Optical Co Ltd 映像信号処理装置
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2016077756A (ja) * 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2016136442A1 (ja) * 2015-02-23 2016-09-01 Hoya株式会社 画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6591688B2 (ja) * 2016-08-31 2019-10-16 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
US11589777B2 (en) * 2016-08-31 2023-02-28 Hoya Corporation Electronic endoscope processor and electronic endoscopic system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0837604A (ja) * 1994-05-17 1996-02-06 Olympus Optical Co Ltd 画像処理装置
JPH11103471A (ja) * 1997-09-25 1999-04-13 Olympus Optical Co Ltd 映像信号処理装置
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2016077756A (ja) * 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2016136442A1 (ja) * 2015-02-23 2016-09-01 Hoya株式会社 画像処理装置

Also Published As

Publication number Publication date
JP6926242B2 (ja) 2021-08-25
WO2019142689A1 (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
US11701032B2 (en) Electronic endoscope processor and electronic endoscopic system
JP7068487B2 (ja) 電子内視鏡システム
WO2017057680A1 (ja) 内視鏡システム及び評価値計算装置
US20230112696A1 (en) Evaluation value calculation device and electronic endoscope system
CN112351723B (zh) 电子内窥镜系统与数据处理装置
JP6427280B2 (ja) 補正データ生成方法及び補正データ生成装置
JP6877672B2 (ja) 電子内視鏡システム及びデータ処理装置
JP6433634B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6912688B2 (ja) 電子内視鏡システム及びデータ処理装置
WO2022064987A1 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP6912608B2 (ja) 内視鏡システム
JP6591688B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP7455716B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP6926242B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2022054722A (ja) 内視鏡用プロセッサ及び内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210804

R150 Certificate of patent or registration of utility model

Ref document number: 6926242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250