JPWO2020203705A1 - 電子内視鏡システム及びデータ処理装置 - Google Patents
電子内視鏡システム及びデータ処理装置 Download PDFInfo
- Publication number
- JPWO2020203705A1 JPWO2020203705A1 JP2021511678A JP2021511678A JPWO2020203705A1 JP WO2020203705 A1 JPWO2020203705 A1 JP WO2020203705A1 JP 2021511678 A JP2021511678 A JP 2021511678A JP 2021511678 A JP2021511678 A JP 2021511678A JP WO2020203705 A1 JPWO2020203705 A1 JP WO2020203705A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation value
- lesion
- evaluation
- organ
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
Abstract
Description
これに対して、画像の明るさによる炎症部の評価値の変動を抑えて安定した評価値の計算を行い、かつ、評価値の計算の処理負荷を抑えることが可能な内視鏡システムが知られている(特許文献1)。
このような構成によれば、画像の明るさによる炎症評価値の変動を抑えて、安定した炎症評価値の計算を行い、かつ、炎症評価値の計算の処理負荷を抑えることができる。
さらに、器官内部を、器官を特徴付ける複数の区間に分けて、区間毎に病変の程度を知ることは、病変の奥行き方向の広がりを評価する上で重要であるが、内視鏡システムにおいて、区間すべてにおいて病変の程度を評価しているとは限らず、病変の程度の評価のない空白区間もある。このような場合、後日、同じ器官を検査して区間毎に病変の進行の具合を評価しようとしても、前回の評価結果に、病変の程度の評価結果がない空白区間があると、病変の奥行き方向の進行具合(あるいは縮小の具合)を把握することは難しい。
前記器官内の生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備える。
前記評価ユニットは、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間より前記器官の奥側にある前記代表評価値の生成されている非空白区間における前記画像評価値の1つ、あるいは、前記非空白区間における前記画像評価値に基づいて得られる代表評価値を、前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備える。
前記病変評価調整部は、前記空白区間より前記器官の奥側にある前記非空白区間を撮像した画像のうち、前記撮像時刻あるいは前記撮像順番が最も遅い画像に対応する画像評価値、あるいは、前記空白区間より前記器官の奥側にある前記非空白区間を撮像した画像の画像評価値のうち、前記撮像時刻あるいは前記撮像順番が最も遅い画像の画像評価値を、前記推定代表評価値として定める、ことが好ましい。
前記器官内の生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備える。
前記評価ユニットは、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間を挟む両側の、前記代表評価値の生成されている非空白区間それぞれにおける前記代表評価値の2つを基準評価値として、前記基準評価値に基づいて算出される複合評価値を、前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、
を備える。
前記器官内の生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備える。
前記評価ユニットは、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間を挟む両側の、前記代表評価値の生成されている非空白区間における前記代表評価値に基づいて得られる複合代表評価値を、前記空白区間における前記病変の程度を示す推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備え、
前記病変評価調整部は、前記両側の非空白区間それぞれの長さ情報及び前記空白区間の長さ情報と、前記非空白区間及び前記空白区間における前記代表評価値とを用いたカーブフィッティングによる内挿補間により、前記空白区間における前記推定代表評価値を算出する。
前記評価結果画面では、前記推定代表評価値は、前記代表評価値に対して区別可能な表示形態で表される、ことが好ましい。
また、前記注目画像の撮像位置の移動に伴って前記注目画像の前記画像評価値が予め定めた閾値を横切る位置を病変部の開始あるいは終了位置として、前記注目撮像の前記撮像位置の情報から、前記開始あるいは終了位置の前記器官内における位置を特定するように構成された病変部位置算出部を備え、
前記病変評価部は、前記病変部位置算出部の特定結果から、前記病変部の前記奥行き方向の長さを算出する、ことが好ましい。
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間より前記器官の奥側にある前記代表評価値の生成されている非空白区間における前記画像評価値の1つ、あるいは、前記非空白区間における前記画像評価値に基づいて得られる代表評価値を前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備える。
また、前記注目画像の撮像位置の移動に伴って前記注目画像の前記画像評価値が予め定めた閾値を横切る位置を病変部の開始あるいは終了位置として、前記注目撮像の前記撮像位置の情報から、前記開始あるいは終了位置の前記器官内における位置を特定するように構成された病変部位置算出部を備え、
前記病変評価部は、前記病変部位置算出部の特定結果から、前記病変部の前記奥行き方向の長さを算出する、ことが好ましい。
以下説明する実施形態の電子内視鏡システムのプロセッサは、電子内視鏡を器官内に挿入して生体組織を撮像した画像から器官内における生体組織の病変の程度を評価する。病変の程度とは、病変の広がりと、病変の強さを含む。器官内部の生体組織を撮像する場合、例えば、管状の器官の開口端から器官内部の奥行き方向の撮像対象とする最深部の位置まで電子内視鏡を挿入し、そこから、器官の開口端に向かって略連続的に移動しながら、器官内部の生体組織を撮像する。奥行き方向は、開口端から最深部の側に進む方向、及び最深部の側から開口端の側に進む方向の双方を含む。
生体組織の撮像される画像は、一定の時間間隔で連続して撮像した動画でもよく、また、器官内で電子内視鏡を移動しながら断続的に撮像した静止画であってもよい。電子内視鏡を移動させる場合、電子内視鏡の移動速度を必ずしも一定にする必要はなく、また、電子内視鏡が通過した場所に戻って撮像する、すなわち移動方向を部分的に逆方向にすることもできる。なお、動画の場合、電子内視鏡を略同じ移動速度で略同じ方向に移動しながら撮像する。
病変の程度の評価では、プロセッサは、白色光の照明光で照明した生体組織の複数の画像それぞれに対して、術者あるいはオペレータにより指示された画像における病変の強さを示す画像評価値を算出する。この画像評価値は、特に限定されないが、例えば、病変が炎症である場合、病変部(炎症部)の炎症の程度を、病変部の色成分の情報(例えば、赤色)に基づいて評価する炎症評価値を挙げることができる。
評価対象の器官は、特に限定されないが、例えば、咽頭〜食道、胃、小腸、大腸等の消化管等を挙げることができる。
プロセッサは、取得した撮像位置の情報を利用して、撮像した器官内の領域を区分けした複数の区間毎に、複数の区間それぞれの生体組織を撮像した複数の画像の画像評価値から画像評価値の代表評価値を算出し、この代表評価値を用いて、器官の奥行き方向に連続して広がっている病変の広がりを評価する。
ここで、区間とは、撮像位置のサンプリング間隔以上の距離で区切られた区間である。一実施形態によれば、この区間は、予め定められた間隔で区切られた区間である。予め定めた間隔は、一定の間隔であってもよいし、一定でなくてもよい。また、予め定めた間隔は、代表評価値の算出の途中で随時変更してもよい。例えば、予め細かい間隔で区切った区間を、より大きな区間に、例えば器官内で他の部分と識別可能に区別することができる部分であるセグメントに変更してもよい。
代表評価値は、区間毎の画像評価値の統計量、例えば、平均値、中央値、最頻値、あるいは最大値である。また、画像を再生しながら代表評価値を算出する際、代表評価値には、各区間の最後に算出した画像評価値を用いてもよい。
あるいは、病変評価調整部は、代表評価値の生成されていない空白区間に対して、複数の区間のうち空白区間を挟む両側の非空白区間それぞれにおける代表評価値の2つを基準評価値として、基準評価値に基づいて算出される複合評価値を、空白区間における病変の程度を示す推定代表評価値として、空白区間に付与するように構成される。
あるいは、病変評価調整部は、代表評価値の生成されていない空白区間に対して、複数の区間のうち空白区間を挟む両側の非空白区間における代表評価値に基づいて得られる複合代表評価値を、空白区間における病変の程度を示す推定代表評価値として、空白区間に付与するように構成される。このとき、病変評価調整部は、両側の非空白区間それぞれの長さ情報及び空白区間の長さ情報と、非空白区間における代表評価値とを用いて、カーブフィッティングによる内挿補間により、空白区間における推定代表評価値を算出する。
なお、代表評価値及び推定代表評価値は、区間における病変の強さの指標である。したがって、撮像した複数の画像毎の局所的な生体組織の病変の強さの評価だけではなく、器官の奥行き方向における病変の広がりと病変の強さを含む総合的な評価を精度よく行うことができる。ここで、病変の広がりは、病変が連続して奥行き方向に広がっていることを示す。このため、器官内で離散的に数箇所の位置で画像を離散的に撮像して画像評価値を算出しても、病変の広がりを評価することは難しい。
図1は、本発明の一実施形態の電子内視鏡システム1の構成を示すブロック図である。
図1に示されるように、電子内視鏡システム1は、電子スコープ(電子内視鏡)100、電子内視鏡用プロセッサ200、モニタ300、及び、プリンタ400を備えている。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、後述する炎症に関する評価値の精度を向上させることができる。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子スコープ100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
さらに、画像処理ユニット220は、画像内の各画素の、後述する画素評価値に応じて各画素の色を置換したカラーマップ画像を生成する。画像処理ユニット220は、器官における病変の程度の評価結果の情報及び上記カラーマップ画像をモニタ表示するためのビデオ信号を生成し、モニタ300に出力する。これにより、術者あるいはオペレータは、モニタ300の表示画面に表示された画像を通じて注目する器官の奥行き方向に広がる病変の程度の評価を受けることができる。画像処理ユニット220は、必要に応じてプリンタ400にカラーマップ画像及び器官における病変の程度の評価結果の情報を出力する。
なお、図2に示す実施形態では、画像処理ユニット220は、病変部位置算出部220eを備えるが、別の一実施形態では、病変部位置算出部220eを備えない。
画像評価値算出部220bは、生体組織の赤色の程度を画素毎に数値化した生体組織赤色度を画素評価値とし、画像全体における画素評価値を積算処理することにより1つの数値に纏めた値を、画像評価値として算出する。すなわち、生体組織の炎症の強さを、生体組織の赤色の程度を利用して評価する。以下、炎症の程度を示す生体組織赤色度を計算する形態を一例として説明する。
前処理部220aは、ドライバ信号処理回路112より入力した画像信号(輝度信号Y、色差信号Cb,Cr)を所定のマトリックス係数を用いて画像色成分(R,G,B)に変換する。
前処理部220aは、さらに、画像色成分に変換された画像データをRG平面に正射影する色変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R,G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0〜255、G成分の画素値=0〜255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620〜750nm、波長495〜570nm、及び波長450〜495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
前処理部220aは、生体組織赤色度を評価するために必要なRG平面内の基準軸を設定する。
このような基準軸の設定を行った後、正射影された画像の色成分に対して後述する赤色の程度を示す生体組織赤色度を算出する処理が行われる。この生体組織赤色度を算出する処理の前に、正射影された画素データに対して色補正が行われる。
なお、図3に示す基準軸は、一例であり、疾患の種類に応じて基準軸は種々異なる。
他方、基準点O’を座標(−50,−50)から(−200,−200)の間に設定することで、炎症の程度を示す評価結果はノイズの影響を受け難い。
なお、注目画素は、画像の全画素について1つずつ選択される。
なお、図4に示す例では、色空間としてRG色空間を用いるが、RG色空間に代えてRB色空間を用いることもできる。
画像評価値算出部220bが算出した画像評価値は、病変評価部220dに送られる。
こうして、特徴量算出部220bは、生体組織赤色度に応じて色を付与したカラーマップ画像を作成する。
注目画像と対応付けられた撮像位置の取得情報は、逐次病変評価部220dに送られる。
このセグメントは、1つの器官内で他の部分と識別可能に区別することができる部分であり、例えば、器官が大腸の場合、上行結腸のセグメント、横行結腸のセグメント、下行結腸のセグメント、S字結腸のセグメント、直腸のセグメント等を含む。このようなセグメントは、特定部分通過信号により区間が区切られる。
電子スコープ100を器官内部において移動させながら生体組織を撮像することにより、区間毎に代表評価値を求めることで、器官内部の奥行き方向に連続して広がっている病変の広がりを評価することができる。
統計量は、平均値、中央値、最頻値、あるいは最大値を含むことが好ましい。一実施形態によれば、統計量の中で、病変の強さを最適に示すことができる点から、最大値を用いることがより好ましい。
また、一実施形態によれば、病変評価部220dは、病変が器官の奥行き方向に連続して広がっている病変部の有無を、代表評価値に基づいて区間毎に判定することが好ましい。病変部の領域は、代表評価値が予め設定された閾値に対して大きい領域である。
一実施形態によれば、病変評価部220dは、病変が器官の奥行き方向に連続して広がっている病変部の有無を、画像評価値に基づいて判定することもできる。病変部の領域は、画像評価値が予め設定された閾値に対して大きい領域である。画像評価値は、画像毎の評価値であるため、ノイズ成分を含む場合がある。この場合、画像評価値ではなく、区間毎の代表評価値を用いることが好ましい。
したがって、一実施形態によれば、病変部位置算出部220eは、画像の撮像位置の移動に伴って画像評価値が予め定めた閾値を横切る位置を病変部の開始あるいは終了位置として、画像の撮像した位置情報から、病変部の開始あるいは終了位置の器官内における位置を特定するように構成され、病変評価部220dは、この特定結果から、病変部の器官内の奥行き方向の長さを算出することが好ましい器官内において、器官内の奥行き方向の最深部に電子スコープ100を挿入しても病変部がさらにその奥に続いている場合もある。この場合、奥行き方向の最深部の撮像位置においてすでに病変部が存在しているので、病変部の奥行き方向の長さは、画像評価値のある奥行き方向の最深部の撮像位置から終了位置までの長さをいう。モニタ300は、病変部の終了位置及び/または開始位置、及び病変部の長さの少なくとも1つを画面表示する、ことが好ましい。これにより、術者は、病変の器官の奥行き方向の広がりを認識し易くなる。
また、病変評価部220dは、区間のうち病変部の開始位置と終了位置との間に含まれる区間に対応する代表評価値の合計値を求め、この合計値により、病変の程度を評価する、ことが好ましい。これにより、病変の器官の奥行き方向の広がりと病変の程度(強さ)を同時に評価することができる。この場合、例えば、合計値を複数のレベルに分けて病変の程度をレベルにより評価することができる。
あるいは、病変評価調整部220fは、空白区間に対して、空白区間を挟む両側の非空白区間それぞれにおける代表評価値の2つを基準評価値とし、この基準評価価に基づいて得られる複合代表評価値を、空白区間における病変の程度を示す推定代表評価値として、空白区間に付与する。
あるいは、病変評価調整部220fは、空白区間に対して、空白区間を挟む両側の非空白区間における代表評価値に基づいて、病変の程度を示す複合代表評価値を、推定代表評価値として算出し、この推定代表評価値を空白区間に付与する。このとき、病変評価調整部220fは、両側の非空白区間それぞれの長さ情報及び空白区間の長さ情報と、代表評価値とを用いたカーブフィッティングによる内挿補間により、空白区間における推定代表評価値を算出する。
このように、病変評価調整部220fを用いて空白区間に推定代表評価値を定めることができるので、器官の奥行き方向の病変の広がりを評価することができる他、後日、病変の広がりの検査を行った場合、生体組織の、器官の奥行き方向の広がりの進み具合、あるいは後退の具合を評価することができる。推定代表評価値の具体的な説明は後述する。
なお、ステップS14は、ステップS12の後に行うことに限定されず、ステップS12の前に、あるいは同時に行うことができる。
さらに、前処理部220aは、術者あるいはオペレータの指示により、病変の評価を行う画像を取得するか否かを判定する(ステップS22)。画像の取得がなくなるまで、前処理部220aは画像の取得のために待機する。
一般的に、電子スコープ100は、上行結腸であるセグメントSG1の最深部まで挿入され、そこから、開口端側に向かって引き出すように移動する。このため、電子スコープ100は、セグメントSG1、セグメントSG2、セグメントSG3、・・・と順番に画像を撮像する。
図8に示すように、空白区間が連続して2つ以上存在する場合でも、空白区間より器官の奥側にある非空白区間であるセグメントSG2における代表評価値をセグメントSG3,SG4に推定代表評価値として付与することができる。このように、空白区間より器官の奥側にある非空白区間であるセグメントSG2における代表評価値を空白区間の推定代表評価値として流用するのは、術者あるいはオペレータは、器官内の奥側方向に対して逆方向(セグメントSG1の側からセグメントSG5の側に向かう方向)に電子スコープ100を移動させながらモニタ300に表示される画像を見て病変の程度をチェックするので、空白区間は、奥側の区間における病変の程度からの変化が小さい区間である可能性が極めて高い。このため、空白区間より器官の奥側にある非空白区間であるセグメントSG2における代表評価値を空白区間であるセグメントSG3,SG4における推定代表評価値として用いることができる。
図9に示すように、セグメントSG2に複数の画像評価値(“○”)がある場合、セグメントSG3,SG4の推定代表評価値は、代表評価値(”●”)ではなく、セグメントSG2の画像評価値の1つとしている。
図10に示すように、病変評価調整部220fは、空白区間であるセグメントSG3,SG4に対して、複数の区間のうち空白区間を挟む両側の非空白区間それぞれにおける代表評価値の2つを基準評価値として、基準評価価に基づいて得られる複合代表値を病変の程度を示す推定代表評価値として求め、この推定代表評価値を空白区間に付与する。セグメントSG2とセグメントSG5の間で、代表評価値がわずかに変化する場合、わずかに変化することを考慮して、空白区間であるセグメントSG3、SG4を挟む両側の非空白区間それぞれにおける代表評価値の2つを基準評価値として用いて推定代表評価値を求めることが、精度の高い評価をする上で好ましい。病変評価調整部220fは、例えば2つの基準評価値を用いて直線による内挿補間により複合代表値を求める。
図11に示すように、病変評価調整部220fは、空白区間に対して、空白区間を挟む両側の非空白区間における代表評価値に基づいて病変の程度を示す推定代表評価値を求め、この推定代表評価値を空白区間に付与する。このとき、病変評価調整部220fは、両側の非空白区間それぞれの長さ情報及び空白区間の長さ情報と、非空白区間における代表評価値とを用いたカーブフィッティングによる内挿補間により、空白区間における推定代表評価値を算出する。内挿補間に用いる式は、予め定められた式が用いられ、例えば、Bスプライン関数や3次多項式の関数が用いられる。このように、セグメントSG1〜SG5の長さ情報と非空白区間における代表評価値を用いて推定代表評価値を算出するので、精度の高い評価を得ることができる。空白区間及び非空白区間の長さの情報は、予め知られている長さが用いられる。
100 電子スコープ
102 LCB(Light Carrying Bundle)
104 配光レンズ
106 対物レンズ
108 撮像素子
108a IR(Infrared)カットフィルタ
108b ベイヤ配列カラーフィルタ
112 ドライバ信号処理回路
114 メモリ
200 プロセッサ
202 システムコントローラ
204 メモリ
206 タイミングコントローラ
208 操作パネル
210 NIC(Network Interface Card)
220 画像処理ユニット
220a 前処理部
220b 画像評価値算出部
220c 撮像位置情報処理部
220d 病変評価部
220e 病変部位置算出部
220f 病変評価調整部
220g 評価結果統合部
230 光源部
250 位置測定システム
300 モニタ
400 プリンタ
500 ネットワーク
600 サーバ
Claims (10)
- 電子内視鏡を器官内に挿入して生体組織を撮像した画像から前記器官内における生体組織の病変の程度を評価する電子内視鏡システムであって、
前記器官内の生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備え、
前記評価ユニットは、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間より前記器官の奥側にある前記代表評価値の生成されている非空白区間における前記画像評価値の1つ、あるいは、前記非空白区間における前記画像評価値に基づいて得られる代表評価値を、前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備えることを特徴とする電子内視鏡システム。 - 前記病変評価調整部は、前記空白区間より前記器官の奥側にある前記非空白区間であって、前記空白区間に最も近い最近傍区間内の画像評価値の1つ、あるいは前記最近傍区間における代表値評価値を前記推定代表評価値として定める、請求項1に記載の電子内視鏡システム。
- 前記画像あるいは前記画像評価値は、前記画像の撮像時刻あるいは撮像順番の情報と対応付けられており、
前記病変評価調整部は、前記空白区間より前記器官の奥側にある前記非空白区間を撮像した画像のうち前記撮像時刻あるいは前記撮像順番が最も遅い画像に対応する画像評価値、あるいは、前記空白区間より前記器官の奥側にある前記非空白区間を撮像した画像の画像評価値のうち、前記撮像時刻あるいは前記撮像順番が最も遅い画像の画像評価値を、前記推定代表評価値として定める、請求項1または2に記載の電子内視鏡システム。 - 電子内視鏡を器官内に挿入して生体組織を撮像した画像から前記器官内における生体組織の病変の程度を評価する電子内視鏡システムであって、
前記器官内の生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備え、
前記評価ユニットは、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間を挟む両側の、前記代表評価値の生成されている非空白区間それぞれにおける前記代表評価値の2つを基準評価値として、前記基準評価値に基づいて算出される複合評価値を、前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、
を備えることを特徴とする電子内視鏡システム。 - 前記病変評価調整部は、前記両側の非空白区間のうち一方の非空白区間の長さ情報と前記空白区間の長さ情報の合計長さの情報に基づいた第1重み付け係数、及び前記両側の非空白区間のうち他方の非空白区間の長さ情報と前記空白区間の長さ情報の合計長さの情報に基づいた第2重み付け係数を用いて前記2つの基準評価値を重み付け平均した重み付け平均値を、前記推定代表評価値として定める、請求項4に記載の電子内視鏡システム。
- 電子内視鏡を器官内に挿入して生体組織を撮像した画像から前記器官内における生体組織の病変の程度を評価する電子内視鏡システムであって、
前記器官内の生体組織を撮像するように構成された電子内視鏡と、
撮像された前記生体組織の複数の画像を処理して前記器官における病変の程度を評価するように構成された評価ユニットを備えるプロセッサと、
前記病変の程度の評価結果を画面表示するように構成されたモニタと、を備え、
前記評価ユニットは、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記電子内視鏡が撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間を挟む両側の、前記代表評価値の生成されている非空白区間における前記代表評価値に基づいて得られる複合代表評価値を、前記空白区間における前記病変の程度を示す推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備え、
前記病変評価調整部は、前記両側の非空白区間それぞれの長さ情報及び前記空白区間の長さ情報と、前記非空白区間における前記代表評価値とを用いたカーブフィッティングによる内挿補間により、前記空白区間における前記推定代表評価値を算出する、ことを特徴とする電子内視鏡システム。 - 前記評価ユニットは、前記代表評価値及び前記推定代表評価値を、前記区間に対応して示す評価結果画面を生成するように構成された評価結果統合部を備え、
前記評価結果画面では、前記推定代表評価値は、前記代表評価値に対して区別可能な表示形態で表される、請求項1〜6のいずれか1項に記載の電子内視鏡システム。 - 前記注目画像の撮像位置の移動に伴って前記注目画像の前記画像評価値が予め定めた閾値を横切る位置を病変部の開始あるいは終了位置として、前記注目撮像の前記撮像位置の情報から、前記開始あるいは終了位置の前記器官内における位置を特定するように構成された病変部位置算出部を備え、
前記病変評価部は、前記病変部位置算出部の特定結果から、前記病変部の前記奥行き方向の長さを算出する、請求項1〜7のいずれか1項に記載の電子内視鏡システム。 - 電子内視鏡を器官内に挿入して生体組織を撮像した画像から、前記器官内における生体組織の病変の程度を評価するデータ処理装置であって、
前記器官内における前記生体組織の異なる場所を撮像した複数の画像の少なくとも一部の複数の注目画像に対して、前記注目画像における前記病変の程度を示す画像評価値を算出するように構成された画像評価値算出部と、
前記撮像した前記器官内における撮像位置の情報を前記注目画像それぞれと対応付けるように構成された撮像位置情報処理部と、
算出した前記画像評価値それぞれを、前記撮像位置の情報を利用して、前記器官内部の領域を区分けした複数の区間の1つに振り分け、振り分けた前記画像評価値から各区間の代表評価値を生成する処理を行い、前記代表評価値を用いて前記器官の奥行き方向に連続して広がっている前記病変の広がりを評価するように構成された病変評価部と、
前記複数の区間のうち、前記病変評価部の前記処理により前記代表評価値の生成されていない空白区間に対して、前記複数の区間のうち前記空白区間より前記器官の奥側にある前記代表評価値の生成されている非空白区間における前記画像評価値の1つ、あるいは、前記非空白区間における前記画像評価値に基づいて得られる代表評価値を前記空白区間における推定代表評価値として、前記空白区間に付与するように構成された病変評価調整部と、を備えることを特徴とするデータ処理装置。 - 前記注目画像の撮像位置の移動に伴って前記注目画像の前記画像評価値が予め定めた閾値を横切る位置を病変部の開始位置及び終了位置の少なくとも一方として、前記注目撮像の前記撮像位置の情報から、前記開始位置及び前記終了位置の少なくとも一方の前記器官内における位置を特定するように構成された病変部位置算出部を備え、
前記病変評価部は、前記病変部位置算出部の特定結果から、前記病変部の前記奥行き方向の長さを算出する、請求項9に記載のデータ処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019070601 | 2019-04-02 | ||
JP2019070601 | 2019-04-02 | ||
PCT/JP2020/013862 WO2020203705A1 (ja) | 2019-04-02 | 2020-03-26 | 電子内視鏡システム及びデータ処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020203705A1 true JPWO2020203705A1 (ja) | 2021-06-10 |
JP6912688B2 JP6912688B2 (ja) | 2021-08-04 |
Family
ID=72668448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021511678A Active JP6912688B2 (ja) | 2019-04-02 | 2020-03-26 | 電子内視鏡システム及びデータ処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210338039A1 (ja) |
JP (1) | JP6912688B2 (ja) |
CN (1) | CN112930136B (ja) |
DE (1) | DE112020001788T5 (ja) |
WO (1) | WO2020203705A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7116251B2 (ja) * | 2019-04-10 | 2022-08-09 | 富士フイルム株式会社 | 内視鏡システム |
CN113610847B (zh) * | 2021-10-08 | 2022-01-04 | 武汉楚精灵医疗科技有限公司 | 一种白光模式下胃部标志物评估方法及系统 |
CN114596288B (zh) * | 2022-03-11 | 2024-05-10 | 山东大学齐鲁医院 | 一种内镜下溃疡性结肠炎评估系统、介质及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012228346A (ja) * | 2011-04-26 | 2012-11-22 | Toshiba Corp | 画像表示装置 |
WO2014192512A1 (ja) * | 2013-05-31 | 2014-12-04 | オリンパスメディカルシステムズ株式会社 | 医療装置 |
US20150313445A1 (en) * | 2014-05-01 | 2015-11-05 | Endochoice, Inc. | System and Method of Scanning a Body Cavity Using a Multiple Viewing Elements Endoscope |
WO2018043550A1 (ja) * | 2016-08-31 | 2018-03-08 | Hoya株式会社 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2008200088B2 (en) * | 2003-04-25 | 2011-03-24 | Olympus Corporation | Image Display Apparatus, Image Display Method and Image Display Program |
JP6113387B1 (ja) * | 2015-08-13 | 2017-04-12 | Hoya株式会社 | 評価値計算装置及び電子内視鏡システム |
US10918270B2 (en) | 2015-09-30 | 2021-02-16 | Hoya Corporation | Endoscope system and evaluation value calculation device |
JP6578058B2 (ja) * | 2016-05-27 | 2019-09-18 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム |
-
2020
- 2020-03-26 WO PCT/JP2020/013862 patent/WO2020203705A1/ja active Application Filing
- 2020-03-26 DE DE112020001788.5T patent/DE112020001788T5/de active Pending
- 2020-03-26 US US17/283,816 patent/US20210338039A1/en active Pending
- 2020-03-26 JP JP2021511678A patent/JP6912688B2/ja active Active
- 2020-03-26 CN CN202080005823.7A patent/CN112930136B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012228346A (ja) * | 2011-04-26 | 2012-11-22 | Toshiba Corp | 画像表示装置 |
WO2014192512A1 (ja) * | 2013-05-31 | 2014-12-04 | オリンパスメディカルシステムズ株式会社 | 医療装置 |
US20150313445A1 (en) * | 2014-05-01 | 2015-11-05 | Endochoice, Inc. | System and Method of Scanning a Body Cavity Using a Multiple Viewing Elements Endoscope |
WO2018043550A1 (ja) * | 2016-08-31 | 2018-03-08 | Hoya株式会社 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
Also Published As
Publication number | Publication date |
---|---|
CN112930136A (zh) | 2021-06-08 |
US20210338039A1 (en) | 2021-11-04 |
CN112930136B (zh) | 2023-07-25 |
WO2020203705A1 (ja) | 2020-10-08 |
JP6912688B2 (ja) | 2021-08-04 |
DE112020001788T5 (de) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7068487B2 (ja) | 電子内視鏡システム | |
JP6581730B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
US11944261B2 (en) | Electronic endoscope system and data processing device | |
JP6912688B2 (ja) | 電子内視鏡システム及びデータ処理装置 | |
JP6907398B2 (ja) | 内視鏡システム | |
WO2020188825A1 (ja) | 内視鏡システム | |
JPWO2017150071A1 (ja) | 補正データ生成方法及び補正データ生成装置 | |
JP7084546B2 (ja) | 内視鏡システム | |
JP6877672B2 (ja) | 電子内視鏡システム及びデータ処理装置 | |
JP6912608B2 (ja) | 内視鏡システム | |
WO2022064987A1 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
JP7455716B2 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
JP6926242B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
JP7455717B2 (ja) | 内視鏡用プロセッサ及び内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210226 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210226 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6912688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |