JP7182014B2 - 電子内視鏡システム - Google Patents
電子内視鏡システム Download PDFInfo
- Publication number
- JP7182014B2 JP7182014B2 JP2021550452A JP2021550452A JP7182014B2 JP 7182014 B2 JP7182014 B2 JP 7182014B2 JP 2021550452 A JP2021550452 A JP 2021550452A JP 2021550452 A JP2021550452 A JP 2021550452A JP 7182014 B2 JP7182014 B2 JP 7182014B2
- Authority
- JP
- Japan
- Prior art keywords
- location
- lumen
- image
- still image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
この光センサは、電子内視鏡の挿入部に等間隔に設けられるので、挿入部の器官(消化管)内に挿入され部分に設けられた光センサは外光を検出せず、器官(消化管)内に挿入されていない部分に設けられた光センサは外光を検出するので、光を検出していない光センサの分布長を器官(消化管)内に挿入された挿入部の長さと判定することで、電子内視鏡先端部の位置(挿入長)の情報を取得することができる。
管腔内における生体組織の画像を動画として撮像するように構成された電子内視鏡と、
撮像された前記生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、前記静止画を記録するように構成された記録部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付けるように構成された対応付け処理部と、を備えるプロセッサと、
前記動画及び前記静止画を表示するように構成されたモニタと、
予め設定された前記管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、前記動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信するように構成された入力操作デバイスと、
を備える。
前記ボタンは、前記キーボードのキーであり、
前記プロセッサは、前記キーに設定される前記管腔内の場所の情報を、前記キーに設定されている番号、文字、あるいは記号と対応させた情報を前記モニタに表示させるように制御するように構成された表示制御ユニットを備える、ことが好ましい。
前記情報修正部は、前記入力操作デバイスの前記ボタンの1つの押圧によって、押圧したボタンに付与されている前記管腔内の場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成されている、ことが好ましい。
前記プロセッサは、
前記静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価部と、
前記管腔内の複数の場所それぞれにおける前記静止画と対応付けられた前記撮像場所に関する場所情報と、前記管腔内の複数の場所それぞれにおける前記静止画の前記画像評価値とを用いて、前記管腔内の奥行き方向における前記病変の広がり情報を求めるように構成された広がり評価部と、
前記管腔内の複数の場所それぞれにおける前記画像評価値と前記病変の広がり情報とに基づいて、前記管腔内における病変の重症度を評価するように構成された管腔評価部と、を備える、ことが好ましい。
以下説明する実施形態の電子内視鏡システムのプロセッサは、電子内視鏡で撮像した器官内における生体組織の動画から静止画を取得する。この静止画は、例えば、管腔内における病変の程度を評価するために用いられる。器官内の生体組織を動画として撮像する場合、例えば、管状の器官の開口端から器官内部の奥行き方向の撮像対象とする最深部の位置まで電子内視鏡(以降、電子スコープという)を挿入し、そこから、器官の開口端に向かって略連続的に移動しながら、器官内部の生体組織を撮像する。奥行き方向は、開口端から最深部の側に進む方向、及び最深部の側から開口端の側に進む方向の双方を含む。
生体組織の撮像される画像はモニタに表示され、術者が好ましいと思う動画のフレーム画像はキャプチャ指示により静止画として取得される。ここで、電子スコープを管腔内で移動させる場合、電子スコープの移動速度を必ずしも一定にする必要はなく、また、電子スコープが通過した場所に戻って撮像する、すなわち移動方向を部分的に逆方向にすることもできる。一実施形態では、動画の場合、電子スコープを略同じ移動速度で略同じ方向に移動しながら撮像する。
そこで、実施形態によれば、電子内視鏡システムのプロセッサは、撮像された生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、管腔内の生体組織の撮像場所に関する場所情報と静止画とを対応付けるように構成された対応付け処理部と、取得した静止画及び撮影場所に関する場所情報を記録するように構成された記録部とを備える。また、電子内視鏡システムの入力操作デバイスは、予め設定された管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をする。入力操作デバイスは、この操作をトリガとして、動画から静止画を取得するキャプチャ指示を静止画取得部に送信し、さらに、動画の撮像の期間中、複数のボタンの1つの押圧によって、押圧したボタンに付与されている管腔内の場所の情報を撮像場所に関する場所情報として、上記対応付け処理部に送信するように構成される。これにより、静止画の取得の指示と、撮像場所に関する場所情報と静止画との対応付けとを同時に行うことができる。したがって、従来のように、専用のセンサを電子内視鏡に設けることなく、効率よく静止画像の撮像場所の情報を得て、この情報を静止画像と対応付けることができる。
図1は、一実施形態の電子内視鏡システム1の構成例を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、電子内視鏡用プロセッサ200、モニタ300及びプリンタ400を備えている。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、画像評価値の精度を向上させることができる。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子スコープ100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
画像処理ユニット220は、画像処理本体部220aと、静止画像取得部220bと、対応付け処理部220cと、病変評価部220dと、を備える。
画像処理本体部220aは、あらかじめ設定された処理を、ドライバ信号処理回路112から送られる画像信号に施すとともに、モニタ300に動画として画像を再現するための動画信号を生成する。また、モニタ300は、動画を画面表示する他、動画の1フレーム画像を静止画として取得した場合、この静止画も画像表示を行う。
例えば、潰瘍性大腸炎における炎症部分は、正常な部分に比べて粘膜が薄く、赤色を呈するので、白色光を照明光としたときの静止画の各画素の赤色成分の画素値の、他の色成分、例えばG成分の画素値に対する比率を用いて赤色の程度(以降、単に赤色度という)を数値化することができる。この赤色度により、各画素に対応する微小領域における炎症の程度を表わすことができる。このような画素毎の赤色度を、静止画全体で積算した積算値あるいは平均値等を用いて、静止画内の病変の強さ(病変の進行具合を表わす)を評価することができる。このような赤色度を用いた病変の強さについては、例えば、国際公開第2017/057680号に具体的に記載されている。具体的には、少なくとも3つ以上の色成分を含むカラー画像のうちの少なくとも2つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び取得されたカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、病変に相関を有する基準軸と、がなす角度に基づいて各画素の病変の強さに関する評価をする。
すなわち、操作パネル208は、予め設定された管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をし、この操作をトリガとして、動画から静止画を取得するキャプチャ指示を静止画取得部220bに送信し、さらに、動画の撮像の期間中、選択場所の情報を撮像場所に関する場所情報として対応付け処理部220cに送る入力操作デバイスである。
ボタンの1つを押す操作をトリガとして静止画のキャプチャ指示が静止画取得部220bに送られるため、動画から静止画が取得される。さらに、「直腸キャプチャ」、「S字結腸キャプチャ」等が表示されたボタンを選択して押圧することにより、選択場所が決定され、この選択場所の情報、例えば「直腸」、「S字結腸」等の場所情報が、対応付け処理部220cに送られる。対応付け処理部220cは、取得した静止画と、「直腸」、「S字結腸」等の場所情報とが、対応付けられる。取得した静止画及び場所情報は、メモリ204に記録保持される。
ボタン208a~208eの配置は、図4(a)に示すように、横方向一列に配置してもよいし、図4(b)に示すように、複数段に分けて配置してもよく、また、図4(c)に示すように、大腸の形状を表示すると共に、この形状の各場所に対応する名称を表示したボタンを配置してもよい。
また、開口端からの距離情報に代えて、管腔内の奥行き方向に沿った各場所に番号(識別情報)を振り、この番号(識別情報)を選択場所の情報としてボタン208a~208eに付与してもよい。このような番号(識別情報)を振った管腔内の奥行き方向の位置を、ユーザは選択場所の情報として予め把握しておき、ユーザが電子スコープ100の可撓管を管腔内に手作業で挿入した後、引き抜きながら管腔内を検査するので、ユーザは、電子スコープ100の先端部の撮像素子108が撮像する場所を把握しているので、番号(識別情報)を付与したボタン208a~208eであってもユーザにとって不都合はない。
なお、図4(a)~(c)に示す例では、管腔内の場所を5つに分けているが、5つに限定されない。場所を6以上に分けてもよく、7個、9個、15個等に分けてもよい。
図5に示す電子内視鏡用プロセッサ200は、図1に示す電子内視鏡用プロセッサ200のUI制御ユニット222の代わりに、キーボード209と接続した表示制御ユニット223が設けられている。これ以外の構成は、図1に示すプロセッサ200の構成と同じであるので、その説明は省略する。
具体的には、表示制御ユニット223は、キーボード209のキーに選択場所の情報として設定される管腔内の場所の情報を、キーに設定されている番号、文字、あるいは記号と対応させた情報をモニタ300に表示させるように制御する。キーの1つを選択して押圧することにより、この押圧をトリガとしてキーに割り付けられているキャプチャ指示が画像処理ユニット220に送信され、さらに、押圧によって決定された選択場所の情報が撮影場所に関する場所情報として画像処理ユニット220に送信される。
図6(a)に示す例では、モニタ300の画面において、現在の動画と、キャプチャ指示のためのキーの番号が選択場所の情報とが表示されている。図6(a)では、“Rectum”(直腸)の撮影場所におけるキャプチャ指示には、キー番号“7”が割り付けられ、“Sigmoid”(S字結腸)の撮影場所におけるキャプチャ指示には、キー番号“8”が割り付けられ、“Descending”(下行結腸)の撮影場所におけるキャプチャ指示には、キー番号“9”が割り付けられ、“Transverse”(横行結腸)の撮影場所におけるキャプチャ指示には、キー番号“4”が割り付けられ、“Ascending”(上行結腸)の撮影場所におけるキャプチャ指示には、キー番号“5”が割り付けられていることを示している。したがって、例えば、キー番号“7”を押圧することにより、この押圧をトリガとして直腸が選択場所として決定され、さらに、静止画のキャプチャ指示が生成される。
図6(b)に示す例では、モニタ300の画面において、現在の動画と、大腸の各場所を
で示した情報が表示されている。この
は、キーボード209のキーの番号“1”~“9”に対応して割り付けられていることを示している。したがって、例えば番号“1”のキーを押圧することにより、この押圧をトリガとして大腸の
の場所が選択場所として決定され、情報と、キャプチャ指示が生成され、選択場所の情報とキャプチャ指示が、画像処理ユニット220に送信される。
また、選択場所を選択するユーザインターフェースとして、操作パネル208あるいはモニタ300に表示された上述のスライダやホイール等のユーザインターフェースを利用する形態、あるいは、スマートフォンで用いられるフリック入力のように操作パネル208上でユーザの指の動く方向を検知することにより操作内容が選択できるユーザインターフェースを利用する形態を用いることができる。勿論、選択操作デバイスとして上述した複数のボタンを用いることもできる。この場合、ボタンの1つを選択して押圧することで、ボタンに対応した場所を選択場所として選択してもよい。また、複数のボタンに限られず、1つのボタンの押圧を繰り返すたびに場所の情報が切り替わり、目標の選択場所の情報に切り替わるまで、押圧を繰り返し続行するようにしてもよい。このボタンの押圧を数秒間維持し続けることで、押圧時の場所の情報を選択場所の情報として選択されるように選択操作デバイスを構成することもできる。この場合、ボタンの押圧によって切り替わる場所の情報は、モニタ300に表示される。
画像評価部220d1は、静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成される。画像評価部220d1で評価を行う静止画は、管腔内の異なる複数の場所それぞれで取得された画像である。
広がり評価部220d2は、管腔内の複数の場所それぞれにおける静止画と対応付けられた撮像場所に関する場所情報と、管腔内の複数の場所それぞれにおける静止画の画像評価値とを用いて、管腔内の奥行き方向における前記病変の広がり情報を求めるように構成される。
管腔評価部220d3は、管腔内の複数の場所それぞれにおける画像評価値と病変の広がり情報とに基づいて、管腔内における病変の重症度を評価するように構成される。
画像処理ユニット220には、ドライバ信号処理回路112より輝度信号Y、色差信号Cb、Crが入力されるので、所定のマトリックス係数を用いて画像色成分(R、G、B)に変換する。前処理として、さらに、画像色成分に変換された画像データをRG平面に正射影する色変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R、G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0~255、G成分の画素値=0~255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620~750nm、波長495~570nm、及び波長450~495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
このようにして求めた画像評価値は、静止画内の生体組織の病変の進行の程度を示す病変の強さである。
また、管腔評価部220d3は、病変サンプルの静止画像群に関して、Mayoスコアのように医師により評価された評価レベルと、その静止画から得られる病変の強さ及び病変の長さの組み合わせのデータとを学習データとして、病変の強さ及び病変の長さと、評価レベルとの関係を機械学習させた予測モデルを用いて、評価対象の管腔内の生体組織を病変の程度を評価レベルで予測し、この評価レベルを病変の重症度としてもよい。
このように、管腔評価部220d3は、病変の強さだけではなく、病変の広がりも考慮して、病変の重症度を精度よく評価することができる。
まず、電子内視鏡システム1を立ち上げて、ユーザ(術者または補助者)は、管腔内の生体組織の観察、検査を行うモードを設定する。これにより、操作パネル208には、UI制御ユニット222の制御によって、図4(a)~(c)に示すように、設定されているキャプチャ指示用のボタン群が表示される(ステップS10)。
ユーザは、電子スコープ100で撮像しモニタ300に表示された管腔内の生体組織の画像を見ながら、表示された画像に対応した撮影場所に関する場所情報が付与されているボタンを選択して押圧する。
この後、病変評価部220dは、静止画取得部220bが取得した静止画から、各画素の病変の強さを示す画素評価値を算出して静止画内の生体組織の病変の強さを示す画像評価値を算出する(ステップS18)。
これと同時に、対応付け処理部220cは、場所情報をメモリ204に記録保持し、画像評価値をメモリ204に記録保持する(ステップS20,S22)。場所情報をメモリ204に記録保持する場合、場所情報は、静止画のみならず、画像評価値と対応付けて記録保持される。
最後に、システムコントローラ202の制御により、モニタ300は計算した重症度の数値を画面表示し、あるいはプリンタ400は、重症度の値をプリント出力する(ステップS28)。
なお、図10に示すフローでは、操作パネル208に表示されたボタンの押圧によって静止画を取得するキャプチャ指示及び静止画の撮影場所に関する場所情報を得るが、操作パネル208に表示されたボタンに代えて、図6(a),(b)に示すようなキーボード209のキーを用いてもよい。この場合、ステップS10の動作に代えて、図5に示す表示制御ユニット223が、場所情報とキーボード209の各キーとを対応させた情報をモニタ300に画面表示させる動作に変更される。また、表示制御ユニット223は、キーボードのキーの押圧によって、キャプチャ指示の制御信号と、キーに対応した場所情報の信号を、システムコントローラ204を介して生成する。
また、選択場所の選択と、選択場所の決定及びキャプチャ指示は、ボタンやキーの他に、フットスイッチ等の単一のスイッチを持つユーザインターフェース、トグルスイッチやトグルボタンで場所情報を切り替えて1つの選択場所を選択するユーザインターフェース、操作パネル208あるいはモニタ300に表示されたスライダやホイール等を用いてマウスやタッチパネル等により入力操作するユーザインターフェース、あるいは、スマートフォンで用いられるフリック入力のように操作パネル上でユーザの指の動く方向を検知することにより操作内容が選択できるユーザインターフェース等を組み合わせて用いることができる。
100 電子スコープ102 LCB
104 配光レンズ
106 対物レンズ
108 固体撮像素子
108a IRカットフィルタ
108b カラーフィルタ
112 ドライバ信号処理回路
114 メモリ
200 電子内視鏡用プロセッサ
208a,208b,208c,208d,208e ボタン
209 キーボード
220 画像処理ユニット
220a 画像処理本体部
220b 静止画取得部
220c 対応付け処理部
220c1 対応付け処理本体部
220c2 情報修正部
220d 病変評価部
220d1 画像評価部
220d2 広がり評価部
220d3 管腔評価部
222 UI制御ユニット
223 表示制御ユニット
230 光源部
300 モニタ
400 プリンタ
Claims (11)
- 管腔内で撮像した生体組織の動画から静止画を取得するように構成された電子内視鏡システムであって、
管腔内における生体組織の画像を動画として撮像するように構成された電子内視鏡と、
撮像された前記生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、前記静止画を記録するように構成された記録部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付けるように構成された対応付け処理部と、を備えるプロセッサと、
前記動画及び前記静止画を表示するように構成されたモニタと、
予め設定された前記管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、前記動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信するように構成された入力操作デバイスと、
を備え、
前記入力操作デバイスは、前記管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、前記ボタンの1つの押圧によって前記選択場所を決定し、前記ボタンの1つの押圧を前記キャプチャ指示の送信のトリガとするように構成されている、ことを特徴とする電子内視鏡システム。 - 前記ボタンそれぞれには、前記管腔内の場所の名称、前記管腔の開口端からの距離、あるいは、前記管腔の場所を特定した識別情報が、前記管腔内の場所の情報として設定されている、請求項1に記載の電子内視鏡システム。
- 前記入力操作デバイスは、キーボードであり、
前記ボタンは、前記キーボードのキーであり、
前記プロセッサは、前記キーに設定される前記管腔内の場所の情報を、前記キーに設定されている番号、文字、あるいは記号と対応させた情報を前記モニタに表示させるように制御するように構成された表示制御ユニットを備える、請求項1又は2に記載の電子内視鏡システム。 - 前記ボタンは、前記管腔内の場所の名称、前記管腔の開口端からの距離情報、あるいは、前記識別情報が、前記管腔内の場所の情報として、タッチパネルに表示されたボタンである、請求項2に記載の電子内視鏡システム。
- 前記入力操作デバイスは、前記選択場所を選択するように構成された選択操作デバイスと、選択した前記選択場所を決定するように構成された決定操作デバイスと、を備え、前記決定操作デバイスによる決定の操作をトリガとして、決定した前記選択場所の情報を前記対応付け処理部に送信し、前記キャプチャ指示を前記静止画取得部に送信するように構成されている、請求項1に記載の電子内視鏡システム。
- 前記対応付け処理部は、前記撮像場所に関する場所情報を、前記静止画に書き込むように構成されている、請求項1~5のいずれか1項に記載の電子内視鏡システム。
- 前記プロセッサは、前記撮像場所に関する場所情報が誤った情報として対応付けられた静止画に対して、前記動画の撮像の期間外において、予め設定されている前記管腔内の複数の場所の中から選択される1つの場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成された情報修正部を備える、請求項1~6のいずれか1項に記載の電子内視鏡システム。
- 前記入力操作デバイスは、前記管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、
前記情報修正部は、前記入力操作デバイスの前記ボタンの1つの押圧によって、押圧したボタンに付与されている前記管腔内の場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成されている、請求項7に記載の電子内視鏡システム。 - 前記静止画は、前記管腔内の異なる複数の場所それぞれで取得された画像であり、
前記プロセッサは、
前記静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価部と、
前記管腔内の複数の場所それぞれにおける前記静止画と対応付けられた前記撮像場所に関する場所情報と、前記管腔内の複数の場所それぞれにおける前記静止画の前記画像評価値とを用いて、前記管腔内の奥行き方向における前記病変の広がり情報を求めるように構成された広がり評価部と、
前記管腔内の複数の場所それぞれにおける前記画像評価値と前記病変の広がり情報とに基づいて、前記管腔内における病変の重症度を評価するように構成された管腔評価部と、を備える、請求項1~8のいずれか1項に記載の電子内視鏡システム。 - 管腔内で撮像した生体組織の動画から静止画を取得するように構成された電子内視鏡システムであって、
管腔内における生体組織の画像を動画として撮像するように構成された電子内視鏡と、
撮像された前記生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、前記静止画を記録するように構成された記録部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付けるように構成された対応付け処理部と、を備えるプロセッサと、
前記動画及び前記静止画を表示するように構成されたモニタと、
予め設定された前記管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、前記動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信するように構成された入力操作デバイスと、
を備え、
前記プロセッサは、前記撮像場所に関する場所情報が誤った情報として対応付けられた静止画に対して、前記動画の撮像の期間外において、予め設定されている前記管腔内の複数の場所の中から選択される1つの場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成された情報修正部を備える、ことを特徴とする電子内視鏡システム。 - 管腔内で撮像した生体組織の動画から静止画を取得するように構成された電子内視鏡システムであって、
管腔内における生体組織の画像を動画として撮像するように構成された電子内視鏡と、
撮像された前記生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、前記静止画を記録するように構成された記録部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付けるように構成された対応付け処理部と、を備えるプロセッサと、
前記動画及び前記静止画を表示するように構成されたモニタと、
予め設定された前記管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、前記動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信するように構成された入力操作デバイスと、
を備え、
前記静止画は、前記管腔内の異なる複数の場所それぞれで取得された画像であり、
前記プロセッサは、
前記静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価部と、
前記管腔内の複数の場所それぞれにおける前記静止画と対応付けられた前記撮像場所に関する場所情報と、前記管腔内の複数の場所それぞれにおける前記静止画の前記画像評価値とを用いて、前記管腔内の奥行き方向における前記病変の広がり情報を求めるように構成された広がり評価部と、
前記管腔内の複数の場所それぞれにおける前記画像評価値と前記病変の広がり情報とに基づいて、前記管腔内における病変の重症度を評価するように構成された管腔評価部と、を備える、ことを特徴とする電子内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019180236 | 2019-09-30 | ||
JP2019180236 | 2019-09-30 | ||
PCT/JP2020/032939 WO2021065286A1 (ja) | 2019-09-30 | 2020-08-31 | 電子内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021065286A1 JPWO2021065286A1 (ja) | 2021-04-08 |
JP7182014B2 true JP7182014B2 (ja) | 2022-12-01 |
Family
ID=75337863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021550452A Active JP7182014B2 (ja) | 2019-09-30 | 2020-08-31 | 電子内視鏡システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US12108929B2 (ja) |
JP (1) | JP7182014B2 (ja) |
CN (1) | CN113747825B (ja) |
DE (1) | DE112020004678T5 (ja) |
WO (1) | WO2021065286A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005013514A (ja) | 2003-06-26 | 2005-01-20 | Olympus Corp | 光イメージング装置 |
JP2013202138A (ja) | 2012-03-28 | 2013-10-07 | Hoya Corp | 画像処理システム |
JP2018047067A (ja) | 2016-09-21 | 2018-03-29 | 富士通株式会社 | 画像処理プログラム、画像処理方法および画像処理装置 |
WO2020070818A1 (ja) | 2018-10-03 | 2020-04-09 | オリンパス株式会社 | 内視鏡装置及び観察時間計測方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5368668B2 (ja) * | 2006-06-01 | 2013-12-18 | 富士フイルム株式会社 | 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法 |
US7853058B2 (en) * | 2006-11-22 | 2010-12-14 | Toshiba Medical Visualization Systems Europe, Limited | Determining a viewpoint for navigating a virtual camera through a biological object with a lumen |
JP2012070937A (ja) * | 2010-09-28 | 2012-04-12 | Fujifilm Corp | 内視鏡システム |
JP6027803B2 (ja) | 2012-07-17 | 2016-11-16 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
EP3216380A4 (en) * | 2014-12-10 | 2018-10-03 | Olympus Corporation | Assist tool and endoscope system |
CN107072509B (zh) | 2015-09-30 | 2019-03-19 | Hoya株式会社 | 内窥镜系统以及评价值计算装置 |
JP6688243B2 (ja) * | 2017-02-28 | 2020-04-28 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
DE112019004863T5 (de) | 2018-09-27 | 2021-06-10 | Hoya Corporation | Elektronisches endoskopsystem und datenverarbeitungsvorrichtung |
US12029385B2 (en) | 2018-09-27 | 2024-07-09 | Hoya Corporation | Electronic endoscope system |
-
2020
- 2020-08-31 JP JP2021550452A patent/JP7182014B2/ja active Active
- 2020-08-31 CN CN202080032237.1A patent/CN113747825B/zh active Active
- 2020-08-31 US US17/604,918 patent/US12108929B2/en active Active
- 2020-08-31 DE DE112020004678.8T patent/DE112020004678T5/de active Pending
- 2020-08-31 WO PCT/JP2020/032939 patent/WO2021065286A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005013514A (ja) | 2003-06-26 | 2005-01-20 | Olympus Corp | 光イメージング装置 |
JP2013202138A (ja) | 2012-03-28 | 2013-10-07 | Hoya Corp | 画像処理システム |
JP2018047067A (ja) | 2016-09-21 | 2018-03-29 | 富士通株式会社 | 画像処理プログラム、画像処理方法および画像処理装置 |
WO2020070818A1 (ja) | 2018-10-03 | 2020-04-09 | オリンパス株式会社 | 内視鏡装置及び観察時間計測方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021065286A1 (ja) | 2021-04-08 |
JPWO2021065286A1 (ja) | 2021-04-08 |
DE112020004678T5 (de) | 2022-06-15 |
US20220211250A1 (en) | 2022-07-07 |
CN113747825B (zh) | 2023-09-08 |
US12108929B2 (en) | 2024-10-08 |
CN113747825A (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11701032B2 (en) | Electronic endoscope processor and electronic endoscopic system | |
JP6067264B2 (ja) | 画像処理装置及び内視鏡装置 | |
JP6027803B2 (ja) | 画像処理装置及び内視鏡装置 | |
US12029385B2 (en) | Electronic endoscope system | |
US11179024B2 (en) | Endoscope system capable of correcting image, processor device, and method for operating endoscope system | |
CN112351723B (zh) | 电子内窥镜系统与数据处理装置 | |
US11571108B2 (en) | Evaluation value calculation device and electronic endoscope system | |
CN112469323B (zh) | 内窥镜系统 | |
JP6877672B2 (ja) | 電子内視鏡システム及びデータ処理装置 | |
JP6270967B2 (ja) | 画像処理装置及び内視鏡装置 | |
JPWO2017183339A1 (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
CN112930136B (zh) | 电子内窥镜系统与数据处理装置 | |
JP7455716B2 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
JP7182014B2 (ja) | 電子内視鏡システム | |
JP7076535B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7182014 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |