JP7182014B2 - 電子内視鏡システム - Google Patents

電子内視鏡システム Download PDF

Info

Publication number
JP7182014B2
JP7182014B2 JP2021550452A JP2021550452A JP7182014B2 JP 7182014 B2 JP7182014 B2 JP 7182014B2 JP 2021550452 A JP2021550452 A JP 2021550452A JP 2021550452 A JP2021550452 A JP 2021550452A JP 7182014 B2 JP7182014 B2 JP 7182014B2
Authority
JP
Japan
Prior art keywords
location
lumen
image
still image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021550452A
Other languages
English (en)
Other versions
JPWO2021065286A1 (ja
Inventor
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of JPWO2021065286A1 publication Critical patent/JPWO2021065286A1/ja
Application granted granted Critical
Publication of JP7182014B2 publication Critical patent/JP7182014B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、器官内における生体組織の動画から静止画を取得する電子内視鏡システムに関する。
生体組織における病変部は、生体組織の粘膜層が薄くなって赤色を呈する炎症から、粘膜層及びその下層まで部分的に欠落する潰瘍まで、種々のレベルの重症度が存在する。例えば、潰瘍性大腸炎(UC:Ulcerative Colitis)の病変の潰瘍部では、白苔や膿様粘液を含んで白色になり、また、炎症部では、浮腫が生じ易出血性が生じて赤色を帯びる。このような病変部を、内視鏡システムで撮像して観察、検査することができる。
内視鏡システムでは、動画を撮像するため、術者の指示に従って動画から静止画が取得され、メモリ等に記録保存されるが、静止画が器官内のどの場所で撮像した画像なのか不明である場合、器官内の病変の場所を特定することができない場合が多い。このため、静止画と撮影場所の情報を対応付けることが好ましい。
例えば、カラー内視鏡画像を撮像した位置の情報を取得するための光センサが挿入部の外周に等間隔で設けられた電子内視鏡が知られている(特許文献1)。
この光センサは、電子内視鏡の挿入部に等間隔に設けられるので、挿入部の器官(消化管)内に挿入され部分に設けられた光センサは外光を検出せず、器官(消化管)内に挿入されていない部分に設けられた光センサは外光を検出するので、光を検出していない光センサの分布長を器官(消化管)内に挿入された挿入部の長さと判定することで、電子内視鏡先端部の位置(挿入長)の情報を取得することができる。
特開2014-18333号公報
このように、上記技術では、電子内視鏡の挿入部に位置検出のための専用のセンサを別途設けるので、装置構成が煩雑になる他、専用のセンサを設けるので、電子内視鏡の挿入部の外径が太くなり、被験者に大きな負担を強いるため好ましくない。このため、専用のセンサを用いることなく、既存のシステムで効率よく撮像場所の情報を取得することが好ましい。
そこで、本発明は、管腔内で撮像した生体組織の動画から静止画を取得する際、専用のセンサを電子内視鏡に設けることなく、効率よく静止画の撮像場所の情報を得て、この情報を静止画と対応付けることができる電子内視鏡システムを提供することを目的とする。
本発明の一態様は、管腔内で撮像した生体組織の動画から静止画を取得するように構成された電子内視鏡システムである。当該電子内視鏡システムは、
管腔内における生体組織の画像を動画として撮像するように構成された電子内視鏡と、
撮像された前記生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、前記静止画を記録するように構成された記録部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付けるように構成された対応付け処理部と、を備えるプロセッサと、
前記動画及び前記静止画を表示するように構成されたモニタと、
予め設定された前記管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、前記動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信するように構成された入力操作デバイスと、
を備える。
前記入力操作デバイスは、前記管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、前記ボタンの1つの押圧によって前記選択場所を決定し、前記ボタンの1つの押圧を前記キャプチャ指示の送信のトリガとするように構成されている、ことが好ましい。
前記ボタンそれぞれには、前記管腔内の場所の名称、前記管腔の開口端からの距離、あるいは、前記管腔の場所を特定した識別情報が、前記管腔内の場所の情報として設定されている、ことが好ましい。
前記入力操作デバイスは、キーボードであり、
前記ボタンは、前記キーボードのキーであり、
前記プロセッサは、前記キーに設定される前記管腔内の場所の情報を、前記キーに設定されている番号、文字、あるいは記号と対応させた情報を前記モニタに表示させるように制御するように構成された表示制御ユニットを備える、ことが好ましい。
前記ボタンは、前記管腔内の場所の名称、前記管腔の開口端からの距離情報、あるいは、前記識別情報が、前記管腔内の場所の情報として、タッチパネルに表示されたボタンである、ことが好ましい。
前記入力操作デバイスは、前記選択場所を選択するように構成された選択操作デバイスと、選択した前記選択場所を決定するように構成された決定操作デバイスと、を備え、前記決定操作デバイスによる決定の操作をトリガとして前記キャプチャ指示を前記静止画取得部に送信するように構成されている、ことが好ましい。
前記対応付け処理部は、前記撮像場所に関する場所情報を、前記静止画に書き込むように構成されている、ことが好ましい。
前記プロセッサは、前記撮像場所に関する場所情報が誤った情報として対応付けられた静止画に対して、前記動画の撮像の期間外において、予め設定されている前記管腔内の複数の場所の中から選択される1つの場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成された情報修正部を備える、ことが好ましい。
前記入力操作デバイスは、前記管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、
前記情報修正部は、前記入力操作デバイスの前記ボタンの1つの押圧によって、押圧したボタンに付与されている前記管腔内の場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成されている、ことが好ましい。
前記静止画は、前記管腔内の異なる複数の場所それぞれで取得された画像であり、
前記プロセッサは、
前記静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価部と、
前記管腔内の複数の場所それぞれにおける前記静止画と対応付けられた前記撮像場所に関する場所情報と、前記管腔内の複数の場所それぞれにおける前記静止画の前記画像評価値とを用いて、前記管腔内の奥行き方向における前記病変の広がり情報を求めるように構成された広がり評価部と、
前記管腔内の複数の場所それぞれにおける前記画像評価値と前記病変の広がり情報とに基づいて、前記管腔内における病変の重症度を評価するように構成された管腔評価部と、を備える、ことが好ましい。
上述の電子内視鏡システムによれば、専用のセンサを電子内視鏡に設けることなく、効率よく静止画の撮像場所の情報を得て、この情報を静止画と対応付けることができる。
一実施形態の電子内視鏡システムの構成例を示すブロック図である。 一実施形態の電子内視鏡システムの画像処理ユニットの構成例を示す図である。 一実施形態の電子内視鏡システムが行う処理の例を説明する図である。 (a)~(c)は、一実施形態の電子内視鏡システムの操作パネルに表示されるボタンの例を示す図である。 一実施形態の電子内視鏡システムの、図1と異なる別の構成例を示す図である。 (a),(b)は、一実施形態の電子内視鏡システムのキーボードのキーの割付内容と、モニタに表示されるキーの割付内容の表示の例を示す図である。 一実施形態の電子内視鏡システムの対応付け処理部の構成の一例を示す図である。 一実施形態の電子内視鏡システムの情報修正部を機能させた時のモニタの表示画面の一例を示す図である。 一実施形態の電子内視鏡システムの病変評価部の構成の一例を示す図である。 一実施形態の電子内視鏡システムを用いて行う撮影場所に関する場所情報の取得とそれに伴って行う重症度の計算のフローの一例を示す図である。
以下、実施形態の電子内視鏡システムについて図面を参照しながら説明する。
(静止画の撮像場所に関する場所情報とキャプチャ指示)
以下説明する実施形態の電子内視鏡システムのプロセッサは、電子内視鏡で撮像した器官内における生体組織の動画から静止画を取得する。この静止画は、例えば、管腔内における病変の程度を評価するために用いられる。器官内の生体組織を動画として撮像する場合、例えば、管状の器官の開口端から器官内部の奥行き方向の撮像対象とする最深部の位置まで電子内視鏡(以降、電子スコープという)を挿入し、そこから、器官の開口端に向かって略連続的に移動しながら、器官内部の生体組織を撮像する。奥行き方向は、開口端から最深部の側に進む方向、及び最深部の側から開口端の側に進む方向の双方を含む。
生体組織の撮像される画像はモニタに表示され、術者が好ましいと思う動画のフレーム画像はキャプチャ指示により静止画として取得される。ここで、電子スコープを管腔内で移動させる場合、電子スコープの移動速度を必ずしも一定にする必要はなく、また、電子スコープが通過した場所に戻って撮像する、すなわち移動方向を部分的に逆方向にすることもできる。一実施形態では、動画の場合、電子スコープを略同じ移動速度で略同じ方向に移動しながら撮像する。
取得した静止画は、管腔内のどの撮像場所の画像であるのか、撮像場所に関する場所情報と対応付けられることが好ましい。
そこで、実施形態によれば、電子内視鏡システムのプロセッサは、撮像された生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、管腔内の生体組織の撮像場所に関する場所情報と静止画とを対応付けるように構成された対応付け処理部と、取得した静止画及び撮影場所に関する場所情報を記録するように構成された記録部とを備える。また、電子内視鏡システムの入力操作デバイスは、予め設定された管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をする。入力操作デバイスは、この操作をトリガとして、動画から静止画を取得するキャプチャ指示を静止画取得部に送信し、さらに、動画の撮像の期間中、複数のボタンの1つの押圧によって、押圧したボタンに付与されている管腔内の場所の情報を撮像場所に関する場所情報として、上記対応付け処理部に送信するように構成される。これにより、静止画の取得の指示と、撮像場所に関する場所情報と静止画との対応付けとを同時に行うことができる。したがって、従来のように、専用のセンサを電子内視鏡に設けることなく、効率よく静止画像の撮像場所の情報を得て、この情報を静止画像と対応付けることができる。
一実施形態によれば、入力操作デバイスは、管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備える。入力操作デバイスは、これらのボタンの1つの押圧によって選択場所を決定し、これらのボタンの1つの押圧をキャプチャ指示の送信のトリガとするように構成される。また、別の一実施形態によれば、入力操作デバイスは、選択場所を選択するように構成された選択操作デバイスと、選択した選択場所を決定するように構成された決定操作デバイスと、を備える。決定操作デバイスによる決定の操作をトリガとしてキャプチャ指示を静止画取得部に送信するように入力操作デバイスは構成される。
(電子内視鏡システムの説明)
図1は、一実施形態の電子内視鏡システム1の構成例を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、電子内視鏡用プロセッサ200、モニタ300及びプリンタ400を備えている。
電子内視鏡用プロセッサ200は、システムコントローラ202及びタイミングコントローラ206を備えている。システムコントローラ202は、メモリ204に記憶された各種プログラムを実行し、電子内視鏡システム1の全体を統括的に制御する。また、システムコントローラ202は、操作パネル208に入力されるユーザ(術者又は補助者)による指示に応じて電子内視鏡システム1の各種設定を変更する。タイミングコントローラ206は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
電子内視鏡用プロセッサ200は、電子スコープ100に照明光を供給する光源部230を備えている。光源部230は、図示されないが、例えば、ランプ電源から駆動電力の供給を受けることにより白色の照明光を放射する高輝度ランプ、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプを備える。高輝度ランプから出射した照明光は、図示されない集光レンズにより集光された後、図示されない調光装置を介して電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。
あるいは、光源部230は、所定の色の波長帯域の光を出射する複数の発光ダイオードを備える。発光ダイオードから出射した光はダイクロイックミラー等の光学素子を用いて合成され、合成した光は照明光として、図示されない集光レンズにより集光された後、電子スコープ100のLCB(Light Carrying Bundle)102の入射端に入射されるように光源部230は構成される。発光ダイオードに代えてレーザーダイオードを用いることもできる。発光ダイオード及びレーザーダイオードは、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることにより、画像評価値の精度を向上させることができる。
なお、図1に示す例では、光源部230は、電子内視鏡用プロセッサ200に内蔵して設けられるが、電子内視鏡用プロセッサ200とは別体の装置として電子内視鏡システム1に設けられてもよい。また、光源部230は、後述する電子スコープ100の先端部に設けられてもよい。この場合、照明光を導光するLCB102は不要である。
入射端よりLCB102内に入射した照明光は、LCB102内を伝播して電子スコープ100の先端部内に配置されたLCB102の端より射出され、配光レンズ104を介して被写体である器官内部の生体組織に照射される。生体組織からの反射光は、対物レンズ106を介して撮像素子108の受光面上で光学像を結ぶ。
撮像素子108は、例えば、IR(Infrared)カットフィルタ108a、ベイヤ配列のカラーフィルタ108bの各種フィルタが受光面に配置された単板式カラーCCD(Charge-Coupled Device)イメージセンサであり、受光面上で結像した光学像に応じたR(Red)、G(Green)、B(Blue)の各原色信号を生成する。単板式カラーCCDイメージセンサの代わりに、単板式カラーCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いることもできる。CMOSイメージセンサは、一般に、CCDイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、以下説明する病変の程度の評価を行う数値化処理における、画像の明るさによる病変部の病変の重症度の変動を抑えることができるという有利な効果は、CMOSイメージセンサを用いる場合においてより顕著である。このように、電子スコープ100は、撮像素子108を用いて、器官内部の生体組織を撮像し、動画を生成する。
電子スコープ100の、プロセッサ200との接続部の内部には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112は、撮像素子108より入力される原色信号に対して色補間、マトリックス演算等の所定の信号処理を施して画像信号(輝度信号Y、色差信号Cb、Cr)を生成し、生成された画像信号を電子内視鏡用プロセッサ200の画像処理ユニット220に出力する。また、ドライバ信号処理回路112は、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
システムコントローラ202は、メモリ204に記憶された情報及び電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、電子内視鏡用プロセッサ200に接続中の電子スコープ100に適した処理がなされるように電子内視鏡用プロセッサ200内の各回路の動作やタイミングを制御する。
タイミングコントローラ206は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112、画像処理ユニット220、及び光源部230にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ206から供給されるクロックパルスに従って、撮像素子108を電子内視鏡用プロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
図2は、一実施形態の電子内視鏡システム1の画像処理ユニットの構成例を示す図である。
画像処理ユニット220は、画像処理本体部220aと、静止画像取得部220bと、対応付け処理部220cと、病変評価部220dと、を備える。
画像処理本体部220aは、あらかじめ設定された処理を、ドライバ信号処理回路112から送られる画像信号に施すとともに、モニタ300に動画として画像を再現するための動画信号を生成する。また、モニタ300は、動画を画面表示する他、動画の1フレーム画像を静止画として取得した場合、この静止画も画像表示を行う。
静止画取得部220bは、後述するタッチパネルである操作パネル208からのキャプチャ指示により、モニタ300に画像表示されている動画の1フレーム画像を静止画として取得する。取得した静止画が、メモリ204に記録保持される。
対応付け処理部220cは、静止画取得部220bが静止画を取得した時、この静止画を、操作パネル208から送られる撮影した場所に関する場所情報と対応付けを行う。対応付けについては、静止画に対して撮影場所に関する場所情報が特定できれば、対応付けの方法は制限されない。例えば、静止画の取得の順番と、場所情報の選択した順番が対応している対応付けでもよく、静止画を取得した時刻と、場所情報を設定した時刻を一致させる対応付けでもよい。
病変評価部220dは、取得した静止画を用いて病変の評価を行う。
例えば、潰瘍性大腸炎における炎症部分は、正常な部分に比べて粘膜が薄く、赤色を呈するので、白色光を照明光としたときの静止画の各画素の赤色成分の画素値の、他の色成分、例えばG成分の画素値に対する比率を用いて赤色の程度(以降、単に赤色度という)を数値化することができる。この赤色度により、各画素に対応する微小領域における炎症の程度を表わすことができる。このような画素毎の赤色度を、静止画全体で積算した積算値あるいは平均値等を用いて、静止画内の病変の強さ(病変の進行具合を表わす)を評価することができる。このような赤色度を用いた病変の強さについては、例えば、国際公開第2017/057680号に具体的に記載されている。具体的には、少なくとも3つ以上の色成分を含むカラー画像のうちの少なくとも2つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び取得されたカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、病変に相関を有する基準軸と、がなす角度に基づいて各画素の病変の強さに関する評価をする。
病変評価部220dは、対応付け処理部220bによる対応付けにより、評価対象の静止画と撮影場所に関する場所情報が対応付けられているので、複数の静止画毎の病変の強さを用いて管腔内の奥行き方向の病変の強さの分布を知ることができ、病変の管腔内の奥行き方向の広がりを知ることができる。
静止画取得部220bが取得する静止画は、モニタ300に表示された動画をユーザが見ながら、操作パネル208に表示されたボタンを押圧することにより、動画の1フレーム画像として取得される。このとき、操作パネル208には、管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンが表示されている。このボタンの1つを押圧することによって、押圧したボタンに付与されている管腔内の場所の情報が、撮像場所に関する場所情報として選択され、この場所情報が対応付け処理部220cに送信される。
すなわち、操作パネル208は、予め設定された管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をし、この操作をトリガとして、動画から静止画を取得するキャプチャ指示を静止画取得部220bに送信し、さらに、動画の撮像の期間中、選択場所の情報を撮像場所に関する場所情報として対応付け処理部220cに送る入力操作デバイスである。
キャプチャ指示及び撮影場所に関する場所情報の選択、決定の操作は、入力操作デバイスであるボタンにより行われるが、これらの操作の制御は、プロセッサ200に設けられたUI(ユーザインターフェース)制御部222で行われる。すなわち、UI制御ユニット222は、操作パネル208に複数のボタンを表示させるとともに、ユーザが複数のボタンの1つを選択して押圧することによって選択場所を決定するように制御し、さらに、キャプチャ指示の制御信号及び撮影場所に関する場所情報の制御信号を生成する。この場合、撮影場所に関する場所情報の制御信号には、操作パネル208上の押圧されたボタンに付与された場所(選択場所)の情報が含まれる。これらの制御信号は、システムコントローラ202を経由して画像処理ユニット220に送られる。
図3は、大腸内を検査する場合の、一実施形態の電子内視鏡システムが行う処理の例を説明する図である。操作パネル208には、「直腸キャプチャ」、「S字結腸キャプチャ」等がボタン上に表示される。すなわち、ボタンには、管腔内の異なる場所の情報が互いに識別可能に付与されている。
ボタンの1つを押す操作をトリガとして静止画のキャプチャ指示が静止画取得部220bに送られるため、動画から静止画が取得される。さらに、「直腸キャプチャ」、「S字結腸キャプチャ」等が表示されたボタンを選択して押圧することにより、選択場所が決定され、この選択場所の情報、例えば「直腸」、「S字結腸」等の場所情報が、対応付け処理部220cに送られる。対応付け処理部220cは、取得した静止画と、「直腸」、「S字結腸」等の場所情報とが、対応付けられる。取得した静止画及び場所情報は、メモリ204に記録保持される。
図4(a)~(c)は、操作パネル208に表示されるボタンの例を示す図である。図4(a)~(c)に示すボタン208a~208eには、大腸の異なる場所の名称が表示されており、互いに識別可能になっている。ボタン208aには“Rectum”(直腸)、ボタン208bには“Sigmoid”(S字結腸)、ボタン208cには“Descending”(下行結腸)、ボタン208dには“Transverse”(横行結腸)、ボタン208eには“Asecnding”(上行結腸)が表示されており、ボタン208a~208eの1つを押圧することにより、押圧したボタンに対応する表示内容が選択場所情報として決定され、この選択場所情報が撮影場所に関する場所情報として、対応付け処理部220cに送られる。
ボタン208a~208eの配置は、図4(a)に示すように、横方向一列に配置してもよいし、図4(b)に示すように、複数段に分けて配置してもよく、また、図4(c)に示すように、大腸の形状を表示すると共に、この形状の各場所に対応する名称を表示したボタンを配置してもよい。
図4(a)~(c)に示すボタン208a~208eは、管腔内の場所の名称が付与されている例であるが、このほかに、ボタン208a~208eには管腔の開口端からの距離情報を付与してもよい。例えば、「~10cm」、「~20cm」、「~30cm」等の距離情報を選択場所情報としてボタン208a~208eに付与してもよい。このような距離情報は、ユーザ(術者または補助者)が電子スコープ100の可撓管を管腔内に手作業で挿入した後、引き抜きながら管腔内を検査するので、ユーザは、電子スコープ100の先端部の撮像素子108が撮像する場所に関する開口端からの距離情報を概略把握しているので、「~10cm」、「~20cm」、「~30cm」等の距離情報を選択場所の情報として付与したボタン208a~208eであってもユーザにとって不都合はない。
また、開口端からの距離情報に代えて、管腔内の奥行き方向に沿った各場所に番号(識別情報)を振り、この番号(識別情報)を選択場所の情報としてボタン208a~208eに付与してもよい。このような番号(識別情報)を振った管腔内の奥行き方向の位置を、ユーザは選択場所の情報として予め把握しておき、ユーザが電子スコープ100の可撓管を管腔内に手作業で挿入した後、引き抜きながら管腔内を検査するので、ユーザは、電子スコープ100の先端部の撮像素子108が撮像する場所を把握しているので、番号(識別情報)を付与したボタン208a~208eであってもユーザにとって不都合はない。
このように、管腔内の場所の名称、管腔の開口端からの距離、あるいは、管腔の場所を特定した識別情報が、管腔内の選択場所の情報として設定されているので、ユーザはボタン208a~208eから適切なボタンを選択して、静止画のキャプチャ指示を行い、さらに、取得した静止画と正しい場所情報との間の対応付けを行うことができる。
なお、図4(a)~(c)に示す例では、管腔内の場所を5つに分けているが、5つに限定されない。場所を6以上に分けてもよく、7個、9個、15個等に分けてもよい。
このように、ボタンは、管腔内の場所の名称、管腔の開口端からの距離情報、あるいは、識別情報が、管腔内の選択場所の情報として、タッチパネルに表示されたボタンであるので、ユーザは、所望のボタンを押圧する操作をトリガとして、キャプチャ指示と、選択、決定した撮影場所に関する場所情報を同時に画像処理ユニット220に送信させることができる。したがって、ユーザーフレンドリーに優れる。
図1に示す電子内視鏡システム1の例では、操作パネル208を入力操作デバイスとして用いて、操作パネル208に表示されるボタンの押圧によって、キャプチャ指示と撮影場所に関する場所情報が画像処理ユニット220に送信されるが、入力操作デバイスはキーボードであり、ボタンは、このキーボードのキーであってもよい。図5は、一実施形態の電子内視鏡システム1の、図1に示す構成とは別の構成例を示す図である。図5に示す電子スコープ100、モニタ300及びプリンタ400は、図1に示す電子スコープ100、モニタ300及びプリンタ400と同じであるので、これらの装置の説明は省略する。
図5に示す電子内視鏡用プロセッサ200は、図1に示す電子内視鏡用プロセッサ200のUI制御ユニット222の代わりに、キーボード209と接続した表示制御ユニット223が設けられている。これ以外の構成は、図1に示すプロセッサ200の構成と同じであるので、その説明は省略する。
表示制御ユニット223は、キーボード209の各キーに、以下説明する機能の割付けを行ない、キーの割付内容をモニタ300に表示させるようにシステムコントローラ202を介して制御する。
具体的には、表示制御ユニット223は、キーボード209のキーに選択場所の情報として設定される管腔内の場所の情報を、キーに設定されている番号、文字、あるいは記号と対応させた情報をモニタ300に表示させるように制御する。キーの1つを選択して押圧することにより、この押圧をトリガとしてキーに割り付けられているキャプチャ指示が画像処理ユニット220に送信され、さらに、押圧によって決定された選択場所の情報が撮影場所に関する場所情報として画像処理ユニット220に送信される。
図6(a),(b)は、キーボード209のキーの割付内容と、モニタ300に表示されるキーの割付内容の表示の例を示す図である。
図6(a)に示す例では、モニタ300の画面において、現在の動画と、キャプチャ指示のためのキーの番号が選択場所の情報とが表示されている。図6(a)では、“Rectum”(直腸)の撮影場所におけるキャプチャ指示には、キー番号“7”が割り付けられ、“Sigmoid”(S字結腸)の撮影場所におけるキャプチャ指示には、キー番号“8”が割り付けられ、“Descending”(下行結腸)の撮影場所におけるキャプチャ指示には、キー番号“9”が割り付けられ、“Transverse”(横行結腸)の撮影場所におけるキャプチャ指示には、キー番号“4”が割り付けられ、“Ascending”(上行結腸)の撮影場所におけるキャプチャ指示には、キー番号“5”が割り付けられていることを示している。したがって、例えば、キー番号“7”を押圧することにより、この押圧をトリガとして直腸が選択場所として決定され、さらに、静止画のキャプチャ指示が生成される。
図6(b)に示す例では、モニタ300の画面において、現在の動画と、大腸の各場所を
Figure 0007182014000001
で示した情報が表示されている。この
Figure 0007182014000002
は、キーボード209のキーの番号“1”~“9”に対応して割り付けられていることを示している。したがって、例えば番号“1”のキーを押圧することにより、この押圧をトリガとして大腸の
Figure 0007182014000003
の場所が選択場所として決定され、情報と、キャプチャ指示が生成され、選択場所の情報とキャプチャ指示が、画像処理ユニット220に送信される。
このように、モニタ300に動画の表示と共に、キーボード209の各キーへの割付内容が表示されるので、ユーザは、モニタ300をみながら、所望のキーを押圧することにより、キャプチャ指示と、撮影場所に関する場所情報を同時に画像処理ユニット220に送信させることができる。したがって、ユーザーフレンドリーに優れる。
上述の実施形態で用いる入力操作デバイスは、管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、これらの複数のボタンの1つの押圧をトリガとして選択場所を決定し、さらに上記ボタンの1つの押圧をキャプチャ指示の送信のトリガとするが、複数のボタンの代わりに、操作パネル208あるいはモニタ300に表示されたスライダやホイール等を利用し、タッチパネル上での入力操作やマウス等からの入力操作により、スライダやホイールに表示された場所の情報を選択し(選択場所を選択し)、選択場所を決定することができる。選択場所の決定は、例えば、スライダやホイール等への入力操作が一定時間行われない場合に実行される。これらの入力操作の制御は、UI制御ユニット222あるいは表示制御ユニット223で実質的に行われる。
操作パネル208がタッチパネルの場合、タッチパネルは、スマートフォンで用いられるフリック入力のように操作パネル208上でユーザの指の動く方向を検知することにより操作の内容が選択できるように構成し、タッチパネル上での指の動きの方向が検知されることにより、検知した方向に対応した場所の情報を選択場所の情報とし(選択場所を選択し)、選択場所を決定するように構成することもできる。選択場所の決定は、例えば、ユーザの指の動く方向を一定時間検知しない場合に実行される。これらの操作の制御は、UI制御ユニット222あるいは表示制御ユニット223により実質的に行われる。
上述の実施形態では、選択場所の選択と決定が1つの操作により行われるが、他の一実施形態では、選択場所の選択と決定とが別々の操作で行われるように構成することもできる。この場合、入力操作デバイスは、複数の場所から1つの選択場所を選択するように構成された選択操作デバイスと、選択した選択場所を決定するように構成された決定操作デバイスと、を備えてもよい。この場合、決定操作デバイスによる決定の操作をトリガとして、決定した選択場所の情報を対応付け処理部220cに送信し、キャプチャ指示を静止画取得部220bに送信するように構成されていることが好ましい。
上記決定操作デバイスは、例えば、電子スコープ100の操作部に設けられる操作ボタン、あるいはプロセッサ200に接続されている図示されないフットスイッチ等の単一のスイッチを持つユーザインターフェースを挙げることができる。この場合、選択場所を選択する上記選択操作デバイスとして、例えば、トグルスイッチやトグルボタンで場所情報を切り替えて1つの選択場所を選択するユーザインターフェースを用いることができる。
また、選択場所を選択するユーザインターフェースとして、操作パネル208あるいはモニタ300に表示された上述のスライダやホイール等のユーザインターフェースを利用する形態、あるいは、スマートフォンで用いられるフリック入力のように操作パネル208上でユーザの指の動く方向を検知することにより操作内容が選択できるユーザインターフェースを利用する形態を用いることができる。勿論、選択操作デバイスとして上述した複数のボタンを用いることもできる。この場合、ボタンの1つを選択して押圧することで、ボタンに対応した場所を選択場所として選択してもよい。また、複数のボタンに限られず、1つのボタンの押圧を繰り返すたびに場所の情報が切り替わり、目標の選択場所の情報に切り替わるまで、押圧を繰り返し続行するようにしてもよい。このボタンの押圧を数秒間維持し続けることで、押圧時の場所の情報を選択場所の情報として選択されるように選択操作デバイスを構成することもできる。この場合、ボタンの押圧によって切り替わる場所の情報は、モニタ300に表示される。
なお、一実施形態によれば、対応付け処理部220cは、撮影場所に関する場所情報を、キャプチャ指示により得られた静止画に書き込むことが好ましい。これにより、静止画と場所情報の対応付けを確実にすることができる。
一実施形態によれば、プロセッサ200の対応付け処理部220cは、図7に示すように、上述した静止画の取得時に静止画と撮影場所に関する場所情報との対応付け処理を行う対応付け処理本体部220c1と、情報修正部220c2と、を備えることが好ましい。情報修正部220c2は、撮像場所に関する場所情報が誤った情報として対応付けられた静止画に対して、動画の撮像の期間外において、予め設定されている管腔内の複数の場所の中から選択される1つの場所を撮像場所に関する場所情報として、静止画と既に対応付けられている撮像場所に関する場所情報に上書きする機能を備える。一実施形態によれば、操作パネル208あるいはキーボード209等の入力操作デバイスのボタンの1つの押圧によって、押圧したボタンに付与されている管腔内の場所の情報を撮像場所に関する場所情報として、静止画と既に対応付けられている撮像場所に関する場所情報に上書きする機能を備える。図7は、一実施形態のプロセッサ200の対応付け処理部220cの構成の一例を示す図である。
図8は、一実施形態の電子内視教養プロセッサ200の情報修正部220c2を機能させた時のモニタ300の表示画面の一例を示す図である。図8に示す例では、静止画がモニタ300に表示され、静止画に対応付けられた場所情報が、誤って設定された“Transverse“(横行結腸)であることを示している。この場合、“On ”ボタン302をクリックすることにより、場所情報の修正モードに入る。この修正モードでは、静止画に下側に配置された”Rectum“,“Sigmoid”等のボタンをクリックすることにより、”Transverse“が正しい場所情報によって上書きされる。この場合、取得した静止画に対応する場所情報が上書きされて変更される。表示画面中の静止画の両側に設けられた三角矢印をクリックすることにより、取得した静止画の1つ前の静止画あるいは1つ後の静止画がモニタ300に画面表示されるように、情報修正部220c2はモニタ300を制御する。
一実施形態によれば、プロセッサ200の病変評価部220d(図2参照)は、図9に示すように、画像評価部220d1と、広がり評価部220d2と、管腔評価部220d3と、を備える。図9は、一実施形態のプロセッサ200の病変評価部220dの構成の一例を示す図である。
画像評価部220d1は、静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成される。画像評価部220d1で評価を行う静止画は、管腔内の異なる複数の場所それぞれで取得された画像である。
広がり評価部220d2は、管腔内の複数の場所それぞれにおける静止画と対応付けられた撮像場所に関する場所情報と、管腔内の複数の場所それぞれにおける静止画の画像評価値とを用いて、管腔内の奥行き方向における前記病変の広がり情報を求めるように構成される。
管腔評価部220d3は、管腔内の複数の場所それぞれにおける画像評価値と病変の広がり情報とに基づいて、管腔内における病変の重症度を評価するように構成される。
画像評価部220d1は、まず、静止画における生体組織の赤色の程度を画素毎に数値化した生体組織の赤色度を画素評価値とし、画像の各画素における画素評価値に対して、例えば積算処理あるいは平均処理をすることにより1つの数値に纏めた値を画像評価値として算出する。すなわち、生体組織の炎症の程度を、生体組織の赤色の程度を利用して評価する。以下、炎症の強さを示す生体組織赤色度を計算する形態を一例として説明する。
生体組織赤色度を計算する前の前処理では、RGB変換、色変換、基準軸の設定、及び色補正の各処理を行う。
画像処理ユニット220には、ドライバ信号処理回路112より輝度信号Y、色差信号Cb、Crが入力されるので、所定のマトリックス係数を用いて画像色成分(R、G、B)に変換する。前処理として、さらに、画像色成分に変換された画像データをRG平面に正射影する色変換を行う。具体的には、RGB3原色で定義されるRGB色空間の各画素の画像色成分がRGの画像色成分に変換される。概念的には、RGB色空間の各画素の画像色成分が、R、G成分の画素値に応じてRG平面内(例えば、R成分の画素値=0~255、G成分の画素値=0~255の値を取るRG平面内の区画)にプロットされる。以下、説明の便宜上、RGB色空間の各画素の画像色成分の点及びRG色空間内にプロットされた画像色成分の点を「画素対応点」と記す。RGB色空間のRGBそれぞれの画像色成分は、順番に、例えば、波長620~750nm、波長495~570nm、及び波長450~495nmの色成分である。なお、色成分は、色空間(色平面も含む。)を構成するものである。色相及び彩度は、「色成分」から除かれる。
さらに、画像評価部220d1は、生体組織赤色度を評価するために必要なRG平面内の基準軸を設定する。RG平面内において、例えば、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、例えば、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。前者の基準軸は「ヘモグロビン変化軸」であり、後者の基準軸は「粘膜変化軸」である。「ヘモグロビン変化軸」上のR成分及びG成分の画素値は、照明光の強弱に係らず、ヘモグロビンのR成分及びG成分の値を有し、炎症が最も進行して赤色を呈する状態を示す軸である。一方、「粘膜変化軸」上のR成分及びG成分の画素値は、照明光の強弱に係らず、粘膜で覆われた正常部分のR成分及びG成分の値を有し、炎症が全くない状態を示す軸である。したがって、静止画の各画素のR成分及びG成分の値をRG平面内にプロットし、このプロットした点と、上記2つの基準軸の交点とを結んだ直線の、「ヘモグロビン変化軸」あるいは「粘膜変化軸」からのずれ角度により、各画素における病変の強さを数値化することができる。例えば、「ヘモグロビン変化軸」と「粘膜変化軸」との間の角度を100として、プロットした点と上記交点とを結んだ直線の「粘膜変化軸」との間のずれ角度を0~100の値で数値化することにより、各画素における病変の強さを示すことができる。この数値を各画素の画素評価値という。
画像評価部220d1は、各画素の画素評価値から1つの画像評価値を算出する。画像評価部220d1は、例えば、静止画の中の全画素の画素評価値の積算値あるいは平均値を1つの画像評価値として算出してもよく、また、静止画の中で、評価対象とする生体組織の像を表す画素を、取捨選択し、選択した画素の画素評価値の積算値あるいは平均値を、1つの画像評価値として算出してもよい。あるいは、例えば、画素毎のRGBの色成分あるいは画素の輝度成分のうち、所定の範囲にある色成分あるいは輝度成分に基づいて評価対象の画素を抽出し、抽出した画素の画素評価値の平均値を求めることにより、あるいは所定の重み付け係数を用いた重み付け平均値を求めることにより、あるいは積算処理をすることにより、画像評価部220d1は、1つの画像評価値を算出してもよい。
このようにして求めた画像評価値は、静止画内の生体組織の病変の進行の程度を示す病変の強さである。
上述したように、静止画は、撮影場所に関する場所情報が対応付けられているので、静止画を介して、撮像場所に関する場所情報に対する病変の強さを把握することができる。すなわち、広がり評価部220d2は、病変の強さの、管腔内の奥行き方向における分布を得ることができる。例えば、広がり評価部220d2は、横軸に管腔内の開口端からの奥行き方向に沿った場所を、縦軸に静止画における病変の強さを取って、グラフ化することにより、病変の広がりの情報を得ることができる。例えば、病変の強さが所定の閾値以上の場合、病変部ありと判断する。これにより、広がり評価部220d2は、病変の有無と、病変の奥行き方向に沿った広がり情報を得ることができる。
管腔評価部220d3は、上述の病変の強さと、上述病変の広がり情報とを基づいて、管腔内の病変の重症度を評価する。広がり情報の値として病変の長さを用い、病変の強さについては画像評価値を用いることにより、あるいは、略同じ場所に複数の静止画を取得して複数の画像評価値がある場合は、その代表値を用いることにより、管腔内の病変の重症度を総合的に評価することができる。管腔評価部220d3は、例えば、病変の強さと病変の長さの組み合わせを複数のレベルに分け、評価しようとする管腔内の対象部分が、この分類したレベルのうちのどのレベルに位置するかによって、病変の重症度をレベルで評価してもよい。
また、管腔評価部220d3は、病変サンプルの静止画像群に関して、Mayoスコアのように医師により評価された評価レベルと、その静止画から得られる病変の強さ及び病変の長さの組み合わせのデータとを学習データとして、病変の強さ及び病変の長さと、評価レベルとの関係を機械学習させた予測モデルを用いて、評価対象の管腔内の生体組織を病変の程度を評価レベルで予測し、この評価レベルを病変の重症度としてもよい。
このように、管腔評価部220d3は、病変の強さだけではなく、病変の広がりも考慮して、病変の重症度を精度よく評価することができる。
図10は、一実施形態の電子内視鏡システムを用いて行う撮影場所に関する場所情報の取得とそれに伴って行う重症度の計算のフローの一例を示す図である。
まず、電子内視鏡システム1を立ち上げて、ユーザ(術者または補助者)は、管腔内の生体組織の観察、検査を行うモードを設定する。これにより、操作パネル208には、UI制御ユニット222の制御によって、図4(a)~(c)に示すように、設定されているキャプチャ指示用のボタン群が表示される(ステップS10)。
ユーザは、電子スコープ100で撮像しモニタ300に表示された管腔内の生体組織の画像を見ながら、表示された画像に対応した撮影場所に関する場所情報が付与されているボタンを選択して押圧する。
UI制御ユニット222は、ボタンの押圧により画像のキャプチャ指示が出されたか否かを判定し(ステップS12)、キャプチャ指示が出された場合、モニタ300に表示された動画の現フレームの画像を取得するためのキャプチャ指示の制御信号を作成し、画像処理ユニット220に送信する。これにより、画像処理ユニット220の静止画取得部220bは、キャプチャ指示を受け、モニタ300に表示された現フレームの動画から静止画を取得する(ステップS14)。
さらに、画像処理ユニット220の対応付け処理部220cは、UI制御ユニット222から撮影場所に関する場所情報を受け、場所情報を取得する(ステップS16)。
この後、病変評価部220dは、静止画取得部220bが取得した静止画から、各画素の病変の強さを示す画素評価値を算出して静止画内の生体組織の病変の強さを示す画像評価値を算出する(ステップS18)。
これと同時に、対応付け処理部220cは、場所情報をメモリ204に記録保持し、画像評価値をメモリ204に記録保持する(ステップS20,S22)。場所情報をメモリ204に記録保持する場合、場所情報は、静止画のみならず、画像評価値と対応付けて記録保持される。
次に、システムコントローラ202は、画像のキャプチャ指示が出されない場合、管腔内の生体組織の検査が終了したか否かを判定する(ステップS24)。検査の終了か否かは、操作パネル208に検査終了ボタンがあり、この検査終了ボタンの押圧によって判定される。なお、上記ステップS12の判定でキャプチャ指示(ボタンの押圧)がない場合、ステップS12からステップS24に進む。このように、動画による検査が終了するまで、ステップS12~S22が繰り返し行われる。
この後、病変評価部220dは、場所情報及びこの場所情報に対応付けられた画像評価値から病変の広がりと病変の強さを求め、この病変の広がりと病変の強さに基づいて、病変の重症度を計算する(ステップS26)。
最後に、システムコントローラ202の制御により、モニタ300は計算した重症度の数値を画面表示し、あるいはプリンタ400は、重症度の値をプリント出力する(ステップS28)。
このように、予め設定された管腔内の複数の場所の中の1つの場所を選択場所として決定する操作(ボタンの押圧)をトリガとして、静止画を取得するキャプチャ指示及び静止画の撮影場所に関する場所情報を得ることができるので、ユーザにとって使い勝手のよい電子内視鏡システム1を提供することができる。
なお、図10に示すフローでは、操作パネル208に表示されたボタンの押圧によって静止画を取得するキャプチャ指示及び静止画の撮影場所に関する場所情報を得るが、操作パネル208に表示されたボタンに代えて、図6(a),(b)に示すようなキーボード209のキーを用いてもよい。この場合、ステップS10の動作に代えて、図5に示す表示制御ユニット223が、場所情報とキーボード209の各キーとを対応させた情報をモニタ300に画面表示させる動作に変更される。また、表示制御ユニット223は、キーボードのキーの押圧によって、キャプチャ指示の制御信号と、キーに対応した場所情報の信号を、システムコントローラ204を介して生成する。
また上述したように、選択場所の選択と、選択場所の決定及びキャプチャ指示が別々の操作で行われるようにすることもできる。
また、選択場所の選択と、選択場所の決定及びキャプチャ指示は、ボタンやキーの他に、フットスイッチ等の単一のスイッチを持つユーザインターフェース、トグルスイッチやトグルボタンで場所情報を切り替えて1つの選択場所を選択するユーザインターフェース、操作パネル208あるいはモニタ300に表示されたスライダやホイール等を用いてマウスやタッチパネル等により入力操作するユーザインターフェース、あるいは、スマートフォンで用いられるフリック入力のように操作パネル上でユーザの指の動く方向を検知することにより操作内容が選択できるユーザインターフェース等を組み合わせて用いることができる。
以上、本発明の電子内視鏡システムについて詳細に説明したが、本発明の電子内視鏡システムは上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
1 電子内視鏡システム
100 電子スコープ102 LCB
104 配光レンズ
106 対物レンズ
108 固体撮像素子
108a IRカットフィルタ
108b カラーフィルタ
112 ドライバ信号処理回路
114 メモリ
200 電子内視鏡用プロセッサ
208a,208b,208c,208d,208e ボタン
209 キーボード
220 画像処理ユニット
220a 画像処理本体部
220b 静止画取得部
220c 対応付け処理部
220c1 対応付け処理本体部
220c2 情報修正部
220d 病変評価部
220d1 画像評価部
220d2 広がり評価部
220d3 管腔評価部
222 UI制御ユニット
223 表示制御ユニット
230 光源部
300 モニタ
400 プリンタ

Claims (11)

  1. 管腔内で撮像した生体組織の動画から静止画を取得するように構成された電子内視鏡システムであって、
    管腔内における生体組織の画像を動画として撮像するように構成された電子内視鏡と、
    撮像された前記生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、前記静止画を記録するように構成された記録部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付けるように構成された対応付け処理部と、を備えるプロセッサと、
    前記動画及び前記静止画を表示するように構成されたモニタと、
    予め設定された前記管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、前記動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信するように構成された入力操作デバイスと、
    を備え
    前記入力操作デバイスは、前記管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、前記ボタンの1つの押圧によって前記選択場所を決定し、前記ボタンの1つの押圧を前記キャプチャ指示の送信のトリガとするように構成されている、ことを特徴とする電子内視鏡システム。
  2. 前記ボタンそれぞれには、前記管腔内の場所の名称、前記管腔の開口端からの距離、あるいは、前記管腔の場所を特定した識別情報が、前記管腔内の場所の情報として設定されている、請求項1に記載の電子内視鏡システム。
  3. 前記入力操作デバイスは、キーボードであり、
    前記ボタンは、前記キーボードのキーであり、
    前記プロセッサは、前記キーに設定される前記管腔内の場所の情報を、前記キーに設定されている番号、文字、あるいは記号と対応させた情報を前記モニタに表示させるように制御するように構成された表示制御ユニットを備える、請求項1又は2に記載の電子内視鏡システム。
  4. 前記ボタンは、前記管腔内の場所の名称、前記管腔の開口端からの距離情報、あるいは、前記識別情報が、前記管腔内の場所の情報として、タッチパネルに表示されたボタンである、請求項2に記載の電子内視鏡システム。
  5. 前記入力操作デバイスは、前記選択場所を選択するように構成された選択操作デバイスと、選択した前記選択場所を決定するように構成された決定操作デバイスと、を備え、前記決定操作デバイスによる決定の操作をトリガとして、決定した前記選択場所の情報を前記対応付け処理部に送信し、前記キャプチャ指示を前記静止画取得部に送信するように構成されている、請求項1に記載の電子内視鏡システム。
  6. 前記対応付け処理部は、前記撮像場所に関する場所情報を、前記静止画に書き込むように構成されている、請求項1~5のいずれか1項に記載の電子内視鏡システム。
  7. 前記プロセッサは、前記撮像場所に関する場所情報が誤った情報として対応付けられた静止画に対して、前記動画の撮像の期間外において、予め設定されている前記管腔内の複数の場所の中から選択される1つの場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成された情報修正部を備える、請求項1~6のいずれか1項に記載の電子内視鏡システム。
  8. 前記入力操作デバイスは、前記管腔内の異なる場所の情報が互いに識別可能に付与された複数のボタンを備え、
    前記情報修正部は、前記入力操作デバイスの前記ボタンの1つの押圧によって、押圧したボタンに付与されている前記管腔内の場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成されている、請求項7に記載の電子内視鏡システム。
  9. 前記静止画は、前記管腔内の異なる複数の場所それぞれで取得された画像であり、
    前記プロセッサは、
    前記静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価部と、
    前記管腔内の複数の場所それぞれにおける前記静止画と対応付けられた前記撮像場所に関する場所情報と、前記管腔内の複数の場所それぞれにおける前記静止画の前記画像評価値とを用いて、前記管腔内の奥行き方向における前記病変の広がり情報を求めるように構成された広がり評価部と、
    前記管腔内の複数の場所それぞれにおける前記画像評価値と前記病変の広がり情報とに基づいて、前記管腔内における病変の重症度を評価するように構成された管腔評価部と、を備える、請求項1~8のいずれか1項に記載の電子内視鏡システム。
  10. 管腔内で撮像した生体組織の動画から静止画を取得するように構成された電子内視鏡システムであって、
    管腔内における生体組織の画像を動画として撮像するように構成された電子内視鏡と、
    撮像された前記生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、前記静止画を記録するように構成された記録部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付けるように構成された対応付け処理部と、を備えるプロセッサと、
    前記動画及び前記静止画を表示するように構成されたモニタと、
    予め設定された前記管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、前記動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信するように構成された入力操作デバイスと、
    を備え、
    前記プロセッサは、前記撮像場所に関する場所情報が誤った情報として対応付けられた静止画に対して、前記動画の撮像の期間外において、予め設定されている前記管腔内の複数の場所の中から選択される1つの場所の情報を前記撮像場所に関する場所情報として、前記静止画と既に対応付けられている前記撮像場所に関する場所情報に上書きするように構成された情報修正部を備える、ことを特徴とする電子内視鏡システム。
  11. 管腔内で撮像した生体組織の動画から静止画を取得するように構成された電子内視鏡システムであって、
    管腔内における生体組織の画像を動画として撮像するように構成された電子内視鏡と、
    撮像された前記生体組織の動画の一部を、指示により静止画として取得するように構成された静止画取得部と、前記静止画を記録するように構成された記録部と、前記管腔内の生体組織の撮像場所に関する場所情報と前記静止画とを対応付けるように構成された対応付け処理部と、を備えるプロセッサと、
    前記動画及び前記静止画を表示するように構成されたモニタと、
    予め設定された前記管腔内の複数の場所の中の1つの場所を選択場所として決定する操作をトリガとして、前記動画から前記静止画を取得するキャプチャ指示を前記静止画取得部に送信し、さらに、前記動画の撮像の期間中、前記選択場所の情報を前記撮像場所に関する場所情報として前記対応付け処理部に送信するように構成された入力操作デバイスと、
    を備え、
    前記静止画は、前記管腔内の異なる複数の場所それぞれで取得された画像であり、
    前記プロセッサは、
    前記静止画の画素値に基づいて、前記静止画内における前記生体組織の病変の強さを示す画像評価値を算出するように構成された画像評価部と、
    前記管腔内の複数の場所それぞれにおける前記静止画と対応付けられた前記撮像場所に関する場所情報と、前記管腔内の複数の場所それぞれにおける前記静止画の前記画像評価値とを用いて、前記管腔内の奥行き方向における前記病変の広がり情報を求めるように構成された広がり評価部と、
    前記管腔内の複数の場所それぞれにおける前記画像評価値と前記病変の広がり情報とに基づいて、前記管腔内における病変の重症度を評価するように構成された管腔評価部と、を備える、ことを特徴とする電子内視鏡システム。
JP2021550452A 2019-09-30 2020-08-31 電子内視鏡システム Active JP7182014B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019180236 2019-09-30
JP2019180236 2019-09-30
PCT/JP2020/032939 WO2021065286A1 (ja) 2019-09-30 2020-08-31 電子内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2021065286A1 JPWO2021065286A1 (ja) 2021-04-08
JP7182014B2 true JP7182014B2 (ja) 2022-12-01

Family

ID=75337863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021550452A Active JP7182014B2 (ja) 2019-09-30 2020-08-31 電子内視鏡システム

Country Status (5)

Country Link
US (1) US12108929B2 (ja)
JP (1) JP7182014B2 (ja)
CN (1) CN113747825B (ja)
DE (1) DE112020004678T5 (ja)
WO (1) WO2021065286A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005013514A (ja) 2003-06-26 2005-01-20 Olympus Corp 光イメージング装置
JP2013202138A (ja) 2012-03-28 2013-10-07 Hoya Corp 画像処理システム
JP2018047067A (ja) 2016-09-21 2018-03-29 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
WO2020070818A1 (ja) 2018-10-03 2020-04-09 オリンパス株式会社 内視鏡装置及び観察時間計測方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5368668B2 (ja) * 2006-06-01 2013-12-18 富士フイルム株式会社 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法
US7853058B2 (en) * 2006-11-22 2010-12-14 Toshiba Medical Visualization Systems Europe, Limited Determining a viewpoint for navigating a virtual camera through a biological object with a lumen
JP2012070937A (ja) * 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡システム
JP6027803B2 (ja) 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
EP3216380A4 (en) * 2014-12-10 2018-10-03 Olympus Corporation Assist tool and endoscope system
CN107072509B (zh) 2015-09-30 2019-03-19 Hoya株式会社 内窥镜系统以及评价值计算装置
JP6688243B2 (ja) * 2017-02-28 2020-04-28 富士フイルム株式会社 内視鏡システム及びその作動方法
DE112019004863T5 (de) 2018-09-27 2021-06-10 Hoya Corporation Elektronisches endoskopsystem und datenverarbeitungsvorrichtung
US12029385B2 (en) 2018-09-27 2024-07-09 Hoya Corporation Electronic endoscope system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005013514A (ja) 2003-06-26 2005-01-20 Olympus Corp 光イメージング装置
JP2013202138A (ja) 2012-03-28 2013-10-07 Hoya Corp 画像処理システム
JP2018047067A (ja) 2016-09-21 2018-03-29 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
WO2020070818A1 (ja) 2018-10-03 2020-04-09 オリンパス株式会社 内視鏡装置及び観察時間計測方法

Also Published As

Publication number Publication date
WO2021065286A1 (ja) 2021-04-08
JPWO2021065286A1 (ja) 2021-04-08
DE112020004678T5 (de) 2022-06-15
US20220211250A1 (en) 2022-07-07
CN113747825B (zh) 2023-09-08
US12108929B2 (en) 2024-10-08
CN113747825A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US11701032B2 (en) Electronic endoscope processor and electronic endoscopic system
JP6067264B2 (ja) 画像処理装置及び内視鏡装置
JP6027803B2 (ja) 画像処理装置及び内視鏡装置
US12029385B2 (en) Electronic endoscope system
US11179024B2 (en) Endoscope system capable of correcting image, processor device, and method for operating endoscope system
CN112351723B (zh) 电子内窥镜系统与数据处理装置
US11571108B2 (en) Evaluation value calculation device and electronic endoscope system
CN112469323B (zh) 内窥镜系统
JP6877672B2 (ja) 電子内視鏡システム及びデータ処理装置
JP6270967B2 (ja) 画像処理装置及び内視鏡装置
JPWO2017183339A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN112930136B (zh) 电子内窥镜系统与数据处理装置
JP7455716B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP7182014B2 (ja) 電子内視鏡システム
JP7076535B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221118

R150 Certificate of patent or registration of utility model

Ref document number: 7182014

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150