JP6125740B1 - 内視鏡システム及び評価値計算装置 - Google Patents

内視鏡システム及び評価値計算装置 Download PDF

Info

Publication number
JP6125740B1
JP6125740B1 JP2017503972A JP2017503972A JP6125740B1 JP 6125740 B1 JP6125740 B1 JP 6125740B1 JP 2017503972 A JP2017503972 A JP 2017503972A JP 2017503972 A JP2017503972 A JP 2017503972A JP 6125740 B1 JP6125740 B1 JP 6125740B1
Authority
JP
Japan
Prior art keywords
axis
color
pixel
image
severity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017503972A
Other languages
English (en)
Other versions
JPWO2017057680A1 (ja
Inventor
貴雄 牧野
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Application granted granted Critical
Publication of JP6125740B1 publication Critical patent/JP6125740B1/ja
Publication of JPWO2017057680A1 publication Critical patent/JPWO2017057680A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

内視鏡システムを、被写体に向けて照明光を照射する光源装置と、被写体からの反射光を撮像素子により撮像し、少なくとも3つ以上の色成分を含むカラー画像を取得する画像取得部と、少なくとも3つ以上の色成分のうちの少なくとも2つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価結果を求める評価部と、を備え、基準軸は所定の基準点を通るように設定される構成とする。

Description

本発明は、所定の評価値を計算する内視鏡システム及び評価値計算装置に関する。
病変部は、一般に、正常な粘膜組織とは異なる色を呈する。近年、カラー内視鏡装置の性能の向上に伴い、正常組織に対して僅かに色の異なる病変部を術者が把握して診断することが可能になっている。しかし、術者が内視鏡による撮影画像上の僅かな色の違いによって正常組織から病変部を正確に把握して診断できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても、僅かな色の違いから病変部を把握して診断することは容易ではなく、慎重な作業が要求される。
そこで、例えば特開2014−18332号公報(以下、「特許文献1」と記す。)に、術者による病変部の診断を補助するため、撮影画像に写る病変部をスコアリングする装置が記載されている。具体的には、特許文献1に記載の装置は、内視鏡による撮影画像を構成する各画素について、非線形な利得を画素値に与えるトーン強調処理を行って、病変部と判定される画素値の領域の境界近傍のダイナミックレンジを拡げた後、RGB3原色で定義されるRGB空間のトーン強調された画素データをHSI色空間、HSV色空間等の所定の色空間に変換して色相と彩度の情報を取得し、取得された色相と彩度の情報に基づいて病変部の画素であるか否かを判定し、判定された画素の数に基づいて評価値(病変指数)を計算する。
しかし、トーン強調処理等の非線形な計算処理や色空間の変換処理は負荷が重いため、処理の実行には多量のハードウェアリソースが必要になるという問題が指摘される。また、トーン強調処理を行った結果、画像の明るさに影響する撮影条件(例えば照射光の当たり具合等)に依存して撮影画像の評価値が変動してしまうという問題も指摘される。
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能な内視鏡システム及び評価値計算装置を提供することである。
本発明の一実施形態によって提供される内視鏡システムは、被写体に向けて照明光を照射する光源装置と、被写体からの反射光を撮像素子により撮像し、少なくとも3つ以上の色成分を含むカラー画像を取得する画像取得部と、少なくとも3つ以上の色成分のうちの少なくとも2つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価結果を求める評価部と、を備える。基準軸は、所定の基準点を通るように設定される。
上記構成によれば、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能となる。
基準軸は、色平面内において重症度が所定値以下の対象疾患と相関を有する軸及び重症度が所定値以上である対象疾患と相関を有する軸の少なくとも一方であっても良い。
基準軸は、色平面内において対象疾患のうち重症度が所定以上である高重症度疾患と相関を有する第1の軸と、色平面内において高重症度疾患よりも重症度が低くかつ重症度が所定以下である低重症度疾患と相関を有する第2軸と、を少なくとも含んでいても良い。この場合、評価部は、第1の軸及び第2の軸の少なくとも一方と、上述の線分と、がなす角度に基づいて評価結果を求める。
基準点は、一例として、第1の軸と第2の軸の交点であっても良い。
評価部は、上述の線分と第1の軸とがなす角度がゼロのときに最大値を取り、上述の線分と第1の軸とがなす角度が第1の軸と第2の軸との間の角度と等しいときに最小値を取るように、上述の線分と第1の軸とがなす角度を正規化し、正規化された各画素に対応する角度に基づいて対象疾患に関する評価結果を求めても良い。
内視鏡システムは、評価結果を、画像取得部により取得される通常画像に重ねて表示する表示部を更に備えていても良い。
評価結果は、一例として、炎症の重症度についての評価結果であっても良い。
第1の軸は、一例として、体腔内の他の構成物質と比較して、ヘモグロビン色素と相関の高い軸であっても良い。
第2の軸は、一例として、体腔内の他の構成物質と比較して、体腔内の粘膜の色味と相関の高い軸であっても良い。
内視鏡システムは、評価結果を、画像取得部により取得される通常画像に重ねて表示する表示部を更に備えていても良い。この場合、評価部は、複数の対象疾患に関する評価結果を夫々求め、色平面と、基準点と、基準軸とは、複数の対象疾患毎に設定されても良い。また、この場合、表示部は、複数の評価結果を識別可能に通常画像に重ねて表示しても良い。
色成分は、色相及び彩度を除いてもよい。言い換えると、色成分は、色相及び彩度を含まなくてもよい。
本発明の一実施形態に係る評価値計算装置は、R(Red)、G(Green)、B(Blue)の各色成分を持つカラー画像を構成する各画素に対応する画素対応点を、その色成分に応じて、R成分の軸である第一の軸と、該第一の軸と直交するG成分又はB成分の軸である第二の軸とを含む平面内に配置する配置手段と、平面内において重症度の最も高い病変部と相関の高い第三の軸を設定し、各画素について、該第三の軸上に位置する所定の基準点と画素対応点とを結ぶ線分と、該第三の軸とがなす角度を算出する角度算出手段と、算出された各画素に対応する角度に基づいてカラー画像に対する所定の評価値を計算する評価値計算手段と、を備える。
また、本発明の一実施形態において、角度算出手段は、平面内において重症度の最も低い病変部と相関の高い第四の軸を設定し、該第四の軸と第三の軸との交点を基準点として、各画素に対応する角度を算出する構成としてもよい。
また、本発明の一実施形態において、評価値計算手段は、角度算出手段により算出された角度がゼロのときに最大値を取り、該角度が第三の軸と第四の軸との角度と等しいときに最小値を取るように、該角度算出手段により算出された角度を正規化し、正規化された各画素に対応する角度に基づいてカラー画像に対する所定の評価値を計算する構成としてもよい。
また、本発明の一実施形態において、第三の軸は、例えば、体腔内の他の構成物質と比較して、ヘモグロビン色素と相関の高い軸である。
また、本発明の一実施形態において、第四の軸は、例えば、体腔内の他の構成物質と比較して、粘膜の色味と相関の高い軸である。
また、本発明の一実施形態において、所定の評価値は、例えば、体腔内の異常部を数値化して示すものである。
また、本発明の一実施形態に係る評価値計算装置は、電子内視鏡システムに組み込まれる構成としてもよい。
また、本発明の一実施形態に係る評価値計算装置は、R、G、Bの各色成分を持つカラー画像を構成する各画素に対応する画素対応点を、その色成分に応じて、R成分の軸である第一の軸と、該第一の軸と直交するG成分又はB成分の軸である第二の軸とを含む平面内に配置する配置手段と、平面内において重症度の最も低い病変部と相関の高い第三の軸を設定し、各画素について、該第三の軸上に位置する所定の基準点と画素対応点とを結ぶ線分と、該第三の軸とがなす角度を算出する角度算出手段と、算出された各画素に対応する角度に基づいてカラー画像に対する所定の評価値を計算する評価値計算手段と、を備える。
本発明の一実施形態によれば、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能な内視鏡システム及び評価値計算装置が提供される。
本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。 本発明の一実施形態に係るプロセッサに備えられる特殊画像処理回路による特殊画像生成処理のフローチャートを示す図である。 発明の一実施形態において画素対応点がプロットされるRG平面を示す図である。 RG平面内に設定される基準軸について説明する図である。 本発明の一実施形態において特殊モード時にモニタの表示画面に表示される表示画面例を示す図である。
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
[電子内視鏡システム1の構成]
図1は、本発明の一実施形態に係る電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、医療用に特化されたシステムであり、電子スコープ100、プロセッサ200及びモニタ300を備えている。電子スコープ100は、挿入部を有し、挿入部は、先端部及び湾曲部を有する。挿入部内には、LCB(Light Carrying Bundle)102が延設されており、また、先端部には、配光レンズ104、対物レンズ106、固体撮像素子108等が配置される。モニタ300は、本実施形態の電子内視鏡システムが備える表示部の一例である。なお、以下では図1に示す電子内視鏡システムを例に挙げて説明するが、本発明の電子内視鏡システムが図1に示す電子内視鏡システムに限定されるものではない。また、以下では評価値を求める対象疾患として炎症を例に挙げて説明するが、対象疾患は炎症に限定されるものではなく、色成分によって評価可能な疾患であれば本発明を適用可能である。
プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を備えている。システムコントローラ202は、メモリ222に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。また、システムコントローラ202は、操作パネル218に接続されている。システムコントローラ202は、操作パネル218より入力される術者からの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム1の動作モードの切替指示がある。本実施形態では、動作モードとして、通常モードと特殊モードがある。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
電子内視鏡システム1は、光源装置を備える。光源装置としては、例えば、ランプ208、半導体発光素子などが適用可能であるが、その種類は特に限定はされない。図1に示すランプ208は、ランプ電源イグナイタ206による始動後、白色光Lを射出する。ランプ208は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプである。ランプ208より射出された白色光Lは、集光レンズ210によって集光されつつ絞り212を介して適正な光量に制限される。なお、ランプ208は、LD(Laser Diode)やLED(Light Emitting Diode)等の半導体発光素子に置き換えてもよい。なお、半導体発光素子に関しては、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることは、後述する炎症評価値の精度を向上させることにつながる。半導体発光素子は、プロセッサ200に限らず、電子スコープ100に内蔵されてもよい。一例として、半導体発光素子は、電子スコープ100の先端部内に備えられてもよい。
絞り212には、図示省略されたアームやギヤ等の伝達機構を介してモータ214が機械的に連結している。モータ214は例えばDCモータであり、ドライバ216のドライブ制御下で駆動する。絞り212は、モニタ300の表示画面に表示される映像を適正な明るさにするため、モータ214により動作され開度が変えられる。ランプ208より照射された白色光Lの光量は、絞り212の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル218の輝度調節操作に応じて設定変更される。なお、ドライバ216を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。
絞り212を通過した白色光Lは、LCB102の入射端面に集光されてLCB102内に入射される。入射端面よりLCB102内に入射された白色光Lは、LCB102内を伝播する。LCB102内を伝播した白色光Lは、電子スコープ100の先端に配置されたLCB102の射出端面より射出され、配光レンズ104を介して生体組織を照射する。白色光Lにより照射された生体組織からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
固体撮像素子108は、例えばベイヤ型画素配置を有する単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、R(Red)、G(Green)、B(Blue)の画像信号を生成して出力する。以下、固体撮像素子108より順次出力される各画素(各画素アドレス)の画像信号を「画素信号」と記す。なお、固体撮像素子108は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子108は、原色系(RGB)フィルタを搭載したものであっても良く、或いは、補色系フィルタを搭載したものであってもよい。補色系フィルタの一例として、CMYG(シアン、マゼンタ、イエロー、グリーン)フィルタが挙げられる。
原色系(RGB)フィルタは、補色系フィルタと比較して発色性が良い。そのため、原色系フィルタを搭載した撮像素子によるRGB画像信号を評価値の算出に使用すると、評価精度を向上させることができる。また、原色系フィルタを使用することにより、後述の評価値計算の処理において信号の変換を行う必要がない。そのため、評価値計算の処理負荷を抑えることが可能となる。
電子スコープ100の接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112には、白色光Lにより照射された生体組織の画素信号が固体撮像素子108よりフレーム周期で入力される。ドライバ信号処理回路112は、固体撮像素子108より入力される画素信号をプロセッサ200の前段信号処理回路220に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、1/30秒、1/60秒である。
ドライバ信号処理回路112はまた、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープに適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
[通常モード時の動作]
通常モード時のプロセッサ200での信号処理動作を説明する。
前段信号処理回路220は、ドライバ信号処理回路112よりフレーム周期で入力されるR、G、Bの各画素信号に対してデモザイク処理を施す。具体的には、Rの各画素信号についてG、Bの周辺画素による補間処理が施され、Gの各画素信号についてR、Bの周辺画素による補間処理が施され、Bの各画素信号についてR、Gの周辺画素による補間処理が施される。これにより、1つの色成分の情報しか持たなかった画素信号が全て、R、G、Bの3つの色成分の情報を持つ画素データに変換される。なお、本実施形態において、デモザイキング後の画素データは、R、G、Bのそれぞれの色成分について8bit(0〜255)の情報を持つ。
前段信号処理回路220は、デモザイク処理後の画素データにマトリックス演算、ホワイトバランス調整処理、ガンマ補正処理等の所定の信号処理を施して特殊画像処理回路230に出力する。
特殊画像処理回路230は、前段信号処理回路220より入力される画素データを後段信号処理回路240へスルー出力する。
後段信号処理回路240は、特殊画像処理回路230より入力される画素データに所定の信号処理を施してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、生体組織のカラー画像がモニタ300の表示画面に表示される。なお、上記生体組織のカラー画像とは、通常画像である。また、生体組織のカラー画像は少なくとも3つ以上の色成分を含む。
固体撮像素子108によって被写体を撮像し被写体のカラー画像を取得する上述の動作は、画像取得部により行われる。
[特殊モード時の動作]
次に、特殊モード時のプロセッサ200での信号処理動作を説明する。
本実施形態では、生体組織のカラー画像が含む色成分のうちの少なくとも2つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分と、対象疾患に相関を有する基準軸と、がなす角度に基づいて各画素の対象疾患に関する評価結果を求める。以下では、色平面を定義する色成分としてR成分とG成分とを例に挙げ、基準軸として炎症疾患に相関を有する軸を例に挙げて説明するが、本発明はこの実施形態に限定されない。
前段信号処理回路220は、ドライバ信号処理回路112よりフレーム周期で入力される画素信号に対してデモザイク処理、マトリックス演算、ホワイトバランス調整処理、ガンマ補正処理等の所定の信号処理を施して特殊画像処理回路230に出力する。
[特殊画像生成処理]
図2は、特殊画像処理回路230による特殊画像生成処理のフローチャートの例を示す。図2の特殊画像生成処理は、電子内視鏡システム1の動作モードが特殊モードに切り替えられた時点で開始される。
[図2のS11(現フレームの画素データの入力)]
本処理ステップS11では、前段信号処理回路220より現フレームの各画素の画素データが入力される。
[図2のS12(RG平面へのプロット)]
図3に、互いに直交するR軸とG軸とによって定義されるRG平面(より詳細には、R軸、G軸の二軸によって規定されるRG平面内の区画)を示す。なお、R軸は、R成分(Rの画素値)の軸であり、G軸は、G成分(Gの画素値)の軸である。本処理ステップS12では、RGB3原色で定義されるRGB空間の各画素の画素データ(三次元データ)がRGの二次元データに変換されて、図3に示されるように、R、Gの画素値に応じてRG平面内にプロット(正射影)される。以下、説明の便宜上、RG平面内にプロットされた画素データの点を「画素対応点」と記す。なお、図3においては、図面を明瞭化する便宜上、全ての画素の画素対応点を示すのではなく一部の画素の画素対応点のみ示している。
このように、本処理ステップS12では、色空間の画素データ(三次元データ)が色平面に正射影され、該画素データに対応する色空間内の点から色平面に下された垂線の足が画素対応点(二次元データ)となる。
[図2のS13(基準軸の設定)]
本処理ステップS13では、炎症強度を計算するために必要なRG平面内の基準軸が設定される。図4に、基準軸の説明を補助する図を示す。
撮影対象となる患者の体腔内は、ヘモグロビン色素等の影響によりR成分が他の成分(G成分及びB成分)に対して支配的であり、典型的には、炎症が強いほど赤味(R成分)が他の色味(G成分及びB成分)に対して強くなる。しかし、体腔内の撮影画像は、明るさに影響する撮影条件(例えば白色光Lの当たり具合)に応じて色味が変化する。例示的には、白色光Lの届かない陰影部分は黒(無彩色であり、例えば、R、G、Bがゼロ又はゼロに近い値)となり、白色光Lが強く当たって正反射する部分は白(無彩色であり、例えば、R、G、Bが255又は255に近い値)となる。すなわち、炎症が起こっている同じ異常部位を撮影した場合であっても、白色光Lが強く当たるほどその異常部位画像の画素値が大きくなる。そのため、白色光Lの当たり具合によっては、画素値が炎症の強さと相関の無い値を取ることがある。
一般に、炎症が起こっていない体腔内の正常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の異常部位は十分な粘膜で覆われていない。病変部等の異常部位では炎症が強いほど粘膜が薄くなる。粘膜は、基本的には白基調ではあるが、色味としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色味(黄色の色味)が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。
そこで、本処理ステップS13では、図4に示されるように、例えばRG平面内において、(50,0)及び(255,76)を通る直線が基準軸の1つとして設定されると共に、(0,0)及び(255,192)を通る直線が基準軸の1つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸AX1」と記し、後者の基準軸を「粘膜変化軸AX2」と記す。これらヘモグロビン変化軸AX1及び粘膜変化軸AX2の設定データは、例えば、メモリ222等の記憶媒体に予め記憶されていても良い。また、基準軸が通る点として(50,0)及び(255,76)、(0,0)及び(255,192)を例に挙げたが、これに限定されるものではない。上記点は適宜変更可能である。
図4に示されるプロットは、本発明者が体腔内の多数のサンプル画像を解析した結果得たものである。解析に用いられるサンプル画像には、重症度の最も高い炎症画像例や、重症度の最も低い炎症画像例(実質的に正常部位であるとみなされる画像例)など、各段階の炎症画像例が含まれる。なお、図4の例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図4に示されるプロットの数よりも遥かに多い。
上述したように、炎症が強い異常部位ほどR成分が他の成分(G成分及びB成分)に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、G軸よりもR軸に近い方の境界線上の軸、図4の例では、(50,0)及び(255,76)を通る境界線上の軸が、炎症の重症度の最も高い病変部(重症度の最も高い炎症(異常)部位)と相関の高い軸として設定される。この軸がヘモグロビン変化軸AX1である。ヘモグロビン変化軸AX1には、様々な撮影条件(例えば白色光Lの当たり具合)で撮影された重症度の最も高い炎症部位に対応するプロットが重畳される。
一方、正常部位に近いほどG成分(又はB成分)がR成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、R軸よりもG軸に近い方の境界線上の軸、図4の例では、(0,0)及び(255,192)を通る境界線上の軸が、重症度の最も低い病変部(重症度の最も低い炎症(異常)部位であって、実質的に正常部位であるとみなされるもの)と相関の高い軸として設定される。この軸が粘膜変化軸AX2である。粘膜変化軸AX2には、様々な撮影条件(例えば白色光Lの当たり具合)で撮影された重症度の最も低い炎症部位(実質的に正常部位とみなされるもの)に対応するプロットが重畳される。
補足すると、重症度の最も高い炎症部位は、出血を伴う場合がある。一方、重症度の最も低い炎症部位は、実質正常部位であるから、十分な粘膜で覆われている。そのため、図4に示されるRG平面内のプロットは、血液(ヘモグロビン色素)と最も相関の高い軸と、粘膜の色味と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、R軸に近い(R成分が強い)方の境界線が、重症度の最も高い炎症部位を示す軸(ヘモグロビン変化軸AX1)に相当し、G軸に近い(G成分が強い)方の境界線が、重症度の最も低い炎症部位を示す軸(粘膜変化軸AX2)に相当する。
なお、上述では基準軸として重症度の最も高い炎症部位を示す軸と重症度の最も低い炎症部位を示す軸とを設定する例を挙げて説明したが、本発明はこの形態に限定されるものではない。
基準軸は、少なくとも評価対象となる炎症と相関を有する軸であればよい。例えば、色平面内において炎症の重症度が所定値以下である部位を示す画素と相関を有する軸と、炎症の重症度が所定値以上である部位を示す画素と相関を有する軸と、の少なくとも一方を基準軸として設定してもよい。
また、炎症の重症度が所定値以上である部位を高重症度炎症とし、炎症の重症度が所定値以下であり、かつ、高重症度炎症よりも重症度が低い部位を低重症度炎症とした場合、基準軸は、高重症度炎症の部位を示す軸と、低重症度炎症の部位を示す軸として設定されてもよい。
また、基準軸を複数設定する場合、その複数の基準軸同士がなす角が、色平面を定義する色成分が示す軸同士がなす角よりも小さいことが好ましい。基準軸同士がなす角が小さいほど、分解能が向上するため、精度の高い評価値を得ることができる。基準軸同士がなす角は、90度未満であることが好ましく、60度以下であることがより好ましい。
[図2のS14(注目画素の選択)]
本処理ステップS14では、全ての画素の中から所定の順序に従い一つの注目画素が選択される。
[図2のS15(角度の算出)]
本処理ステップS15では、処理ステップS14(注目画素の選択)にて選択された注目画素について炎症強度を計算するための角度が算出される。具体的には、本処理ステップS15では、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点(基準点)O’と注目画素の画素対応点とを結ぶ線分Lと、ヘモグロビン変化軸AX1とがなす角度θが算出される(図3参照)。なお、基準点O’は座標(−150,−75)に位置する。
なお、基準点O’を座標(−150,−75)にする例に挙げたが、これに限定されるものではない。上記基準点O’は適宜変更可能である。
基準点として好適な座標位置は、例えば、明るさの変動による評価結果の誤差を少なくできる位置である。具体的には、基準点は、暗部(輝度が所定値未満)での評価結果と非暗部(輝度が所定値以上)での評価結果との誤差を最小にする点を予め求めることで設定することが好ましい。
また、例えば、基準点O’を座標(−10,−10)から(10,10)の間に設定すると、座標(−150,−75)等を基準点O’と設定した場合と比較して、画素対応点が変化した場合の角度θの変化量が大きくなるため、分解能が向上するため、精度の高い評価結果を得ることができる。
他方、基準点O’を座標(−50,−50)から(−200,−200)の間に設定することで、評価部で求める評価結果のノイズの影響を小さくすることができる。
[図2のS16(正規化処理)]
体腔内の撮影画像の明るさが白色光Lの当たり具合によって変化すると、撮影画像の色味は、個人差、撮影箇所、炎症の状態等の影響があるものの、RG平面内において、概ね、重症度の最も高い炎症部位ではヘモグロビン変化軸AX1上に沿って変化し、重症度の最も低い炎症部位では粘膜変化軸AX2上に沿って変化する。また、中間の重症度の炎症部位の撮影画像の色味も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、白色光Lの当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、白色光Lの当たり具合によって変化すると、角度θが一定のまま移動して基準点O’との距離が変わる。これは、角度θが撮影画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
角度θが小さいほどR成分がG成分に対して強くなり、炎症部位の重症度が高いことを示す。また、角度θが大きいほどG成分がR成分に対して強くなり、炎症部位の重症度が低いことを示す。そこで、本処理ステップS16では、角度θがゼロであるときに値255となり、角度θがθMAXであるときに値ゼロとなるように、角度θを正規化する。なお、θMAXは、ヘモグロビン変化軸AX1と粘膜変化軸AX2とがなす角度と等しい。これにより、注目画素について、0〜255の範囲に収まる炎症強度(8bitの情報)が得られる。
[図2のS17(カラーマップ画像上での表示色の決定)]
本実施形態では、炎症強度に応じた表示色で撮影画像をモザイク化したカラーマップ画像を表示することができる。カラーマップ画像を表示可能とするため、炎症強度の値と所定の表示色とを対応付けたテーブルがメモリ222等の記憶領域に記憶されている。本テーブルでは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、炎症強度の値が0〜5の範囲では黄色が対応付けられており、該値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該値が250〜255の範囲では赤色が対応付けられている。
本処理ステップS17では、処理ステップS14(注目画素の選択)にて選択された注目画素の、カラーマップ画像上での表示色が、上記テーブルに基づき、処理ステップS16(正規化処理)にて得られた注目画素の炎症強度の値に応じた色に決定される。
[図2のS18(全画素に対する処理の実行完了判定)]
本処理ステップS18では、現フレームの全ての画素に対して処理ステップS14〜S17が実行されたか否かが判定される。
処理ステップS14〜S17が未実行の画素が残っている場合(S18:NO)、図2の特殊画像生成処理は、次の注目画素に対して処理ステップS14〜S17を実行するため、処理ステップS14(注目画素の選択)に戻る。
[図2のS19(炎症評価値の計算)]
本処理ステップS19は、処理ステップS18(全画素に対する処理の実行完了判定)において、現フレームの全ての画素に対して処理ステップS14〜S17が実行されたと判定された場合(S18:YES)に実行される。本処理ステップS19では、現フレームの全ての画素の炎症強度を平均化した平均値が撮影画像全体の炎症評価値として計算され、計算された炎症評価値の表示データ(表示データ例:Score:○○)が生成される。対象疾患の評価結果としての上述の炎症評価値を求める動作は、評価部により行われる。
[図2のS20(オーバレイ処理)]
本処理ステップS20では、前段信号処理回路220より入力される画素データ(すなわち、RGBの3つの色成分を持つ画素データ)に基づく通常画像と、処理ステップS17(カラーマップ画像上での表示色の決定)にて所定の表示色に決定された画素データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画素データ(通常の画素データ)と後者の画素データ(カラーマップ用の画素データ)とが加算される。係数の設定は、ユーザ操作により適宜設定変更することが可能である。通常画像の方を濃く表示したい場合は、通常の画素データの係数が高く設定され、カラーマップ画像の方を濃く表示したい場合は、カラーマップ用の画素データの係数が高く設定される。
[図2のS21(終了判定)]
本処理ステップS21では、電子内視鏡システム1の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合(S21:NO)、図2の特殊画像生成処理は、処理ステップS11(現フレームの画素データの入力)に戻る。一方、別のモードに切り替えられたと判定される場合(S21:YES)、図2の特殊画像生成処理は終了する。
[画面表示例]
後段信号処理回路240は、図2の処理ステップS20(オーバレイ処理)にて加算処理された画素データに基づいて通常画像とカラーマップ画像とのオーバレイ画像の表示データを生成すると共にモニタ300の表示画面の周辺領域(画像表示領域の周囲)をマスクするマスキング処理を行い、更に、マスキング処理により生成されるマスク領域に炎症評価値を重畳した、モニタ表示用の画面データを生成する。後段信号処理回路240は、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換して、モニタ300に出力する。
図5に、特殊モード時の画面表示例を示す。図5に例示されるように、モニタ300の表示画面には、その中央領域に体腔内の撮影画像(通常画像とカラーマップ画像とがオーバレイ表示されたオーバレイ画像)が表示されると共に画像表示領域の周囲がマスキングされた画面が表示される。また、マスク領域には炎症評価値(スコア)が表示される。
このように、本実施形態によれば、トーン強調処理等の非線形な計算処理や複雑な色空間変換処理等を行うことなく単純な計算処理を行うだけで、炎症評価値(ここでは撮影部位のヘモグロビン色素の増減に相関のある値)が求まる。すなわち、炎症評価値の計算に必要なハードウェアリソースが大幅に抑えられる。また、体腔内の撮影画像の明るさに影響する撮影条件(例えば照射光の当たり具合等)によって炎症評価値が実質的に変動しないため、術者は、炎症についてより客観的で正確な判断を下すことが可能となる。
また、本実施形態に係る電子内視鏡システムは、当技術分野における次のような効果及び課題の解決をもたらすものである。
第1に、本実施形態に係る電子内視鏡システムは、炎症性疾患を早期に発見するための診断補助となるということである。
第2に、本実施形態の構成によれば、視認し難い軽度炎症を術者が発見できるように、炎症程度を画面表示する、又は、炎症が生じている領域の画像を強調することができる。特に、軽度炎症は正常部との判別が難しいため、軽度炎症の評価に関して本実施形態の構成によりもたらされる効果が顕著となる。
第3に、本実施形態の構成によれば、炎症度の評価として客観的な評価値を術者に提供することができるため、術者間の診断差を低減することができる。特に、経験の浅い術者に対して本実施形態の構成による客観的な評価値を提供できるメリットは大きい。
第4に、本実施形態の構成によれば、画像処理の負荷が軽減されることにより、炎症部を画像としてリアルタイムに表示することができる。そのため、診断精度を向上させることができる。
第5に、本実施形態の構成によれば、上述した背景技術と比較して評価値計算の処理負荷が軽減されるため、遅滞なくカラーマップ画像(炎症度を示した画像)と通常画像とを並べて、又は、合成して表示することができる。そのため、検査時間の延長を伴うことなくカラーマップ画像を表示することが可能となり、ひいては、患者負担が増すことを回避することが可能となる。
本実施形態における観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、十二指腸、子宮等である。本実施形態に係る電子内視鏡システムは、観察対象が大腸である場合に効果がより顕著になると考えられる。これは、具体的には、次のような理由による。
大腸には炎症を基準として評価できる病があり、炎症している箇所を発見するメリットが他の器官と比較して大きいということである。特に、潰瘍性大腸炎に代表される炎症性腸疾患(IBD)の指標として、本実施形態による炎症評価値は有効である。潰瘍性大腸炎は治療法が確立されていないため、本実施形態の構成の電子内視鏡システムの使用により早期に発見して進行を抑える効果は非常に大きい。
大腸は、胃等と比較して細長い器官であり、得られる画像は奥行きがあり、奥ほど暗くなる。本実施形態の構成によれば、画像内の明るさの変化に起因する評価値の変動を抑えることができる。従って、本実施形態に係る電子内視鏡システムを大腸の観察に適用すると、本実施形態による効果が顕著となる。すなわち、本実施形態に係る電子内視鏡システムは、呼吸器用電子内視鏡システム又は消化器用電子内視鏡システムであることが好ましく、大腸用電子内視鏡システムであることがより好ましい。
また、軽度の炎症は一般に診断が難しいが、本実施形態の構成によれば、例えば、炎症度を評価した結果を画面に表示することで、術者が軽度炎症を見逃すことを回避することができる。特に、軽度の炎症に関しては、その判断基準は明瞭なものではないため、術者間の個人差を大きくする要因となっている。この点に関しても、本実施形態の構成によれば、客観的な評価値を術者に提供できるため、個人差による診断のばらつきを低減することができる。
なお、本実施形態の上記構成は、炎症度のみでなく、ガン、ポリープその他の色変化を伴う各種病変の評価値の算出に適用することができ、それらの場合においても、上述と同様の有利な効果をもたらすことができる。つまり、本実施形態の評価値は、色変化を伴う病変の評価値であることが好ましく、炎症度、ガン、ポリープの少なくとも何れかの評価値を含むことが好ましい。
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
上記の実施形態では、各画素に含まれるR成分とG成分を用いて炎症評価値が計算されているが、別の実施形態では、R成分とG成分に代えて、R成分とB成分を用いることにより、上記の実施形態とは別の被検対象に関する評価値を計算することもできる。なお、この場合、例えばサンプル画像のプロットの分布が図4に示される例と異なるため、図2の処理ステップS13(基準軸の設定)にて設定される基準軸も上記の実施形態と異なる。
上記の実施形態では、R、G、Bの原色成分を使用し炎症等の評価値が算出されているが、本発明による評価値算出のための構成は、R、G、Bの原色成分の使用に限定されるものではない。R、G、B原色成分の使用に代えて、例えばC、M、Y、G(シアン、マゼンタ、イエロー、グリーン)の補色系の成分を使用し、上記の実施形態と同様な手法によって炎症等の評価値を算出してもよい。
上記の実施形態では、RGB色空間の画素データがRG平面画素データに変換され、変換された画素データに含まれるR成分とG成分を用いて炎症評価値が計算されているが、別の実施形態では、RGB色空間に代えて、CIE 1976 L*a*b*色空間、CIE LCh色空間、CIE 1976 L*u*v*色空間、HSB色空間、sRGB色空間、CMK色空間、CMYK色空間、CMYG色空間等の他の色空間(n(n≧3)種類の色成分より定義される色空間)の画素データをこれよりも低次の色空間(m(n>m≧2)種類の色成分より定義される色空間)の画素データに変換したものを用いることにより、それぞれの色空間に対応する、上記の実施形態とは別の対象疾患(胃の委縮や大腸腫瘍等)に関する評価値を計算することもできる。
なお、基準軸は使用する色空間、色平面、評価の対象となる疾患の種類等によって適切なものを選択して設定することが好ましい。また、基準軸は色平面の(0,0)を通る軸として設定されてもよい。これにより、実装を単純化することができるという効果がある。
上記の実施形態では、ランプ電源イグナイタ206、ランプ208、集光レンズ210、絞り212、モータ214等を含む光源部が、プロセッサと一体に設けられているが、光源部はプロセッサとは別体の装置として設けられていてもよい。
上記の実施形態において説明した通り、固体撮像素子108としてCCDイメージセンサに代え、CMOSイメージセンサが用いられてもよい。CMOSイメージセンサは、一般に、CCDイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、上記の実施形態の構成による、画像の明るさによる評価値の変動を抑えることができるという有利な効果は、固体撮像素子としてCMOSイメージセンサが用いられ状況においてより顕著に表れる。
診断を精度よく行うためには高精細な画像を得ることが好ましい。従って、診断の精度をより向上させる観点では、画像の解像度は、100万画素以上であることが好ましく、200万画素であることがより好ましく、800万画素以上であることが更に好ましい。画像の解像度が高くなるほど全画素について上述の評価値計算を行うための処理負荷が重くなる。しかし、上記の実施形態の構成によれば、評価値計算の処理負荷を抑えることができるため、高精細な画像を処理する状況において本実施形態の構成による有利な効果が顕著に表れる。
上記の実施形態における特殊画像生成処理では、画像中の全ての画素を処理の対象としているが、例えば、極めて高輝度の画素及び極めて低輝度の画素等は、処理の対象から除外してもよい。具体的には、例えば、予め定められた基準輝度範囲の輝度をもつと判定された画素のみを評価値算出の対象とすることによって評価値の精度を向上させることができる。
上記の実施形態の説明において述べた通り、電子内視鏡システム1に使用される光源としては、様々なタイプの光源を用いることができる。他方、電子内視鏡システム1の観察目的等に依存して、光源のタイプを限定的なものとする形態もあり得る(例えば、光源のタイプとしてレーザを除く等)。
また、評価値算出のために使用する色成分に関しては、色相と彩度を使用して評価値を算出することを除外してもよい。
また、上記の実施形態では、基準点O’と注目画素の画素対応点とを結ぶ線分Lと、ヘモグロビン変化軸AX1とがなす角度θを算出し、算出された角度θに基づいて炎症評価値を計算しているが、本発明はこれに限らない。例えば、線分Lと粘膜変化軸AX2とがなす角度を算出し、算出された角度に基づいて炎症評価値を計算してもよい。この場合、算出角度が小さいほどG成分がR成分に対して強くなり、炎症部位の重症度が低いことを示し、算出角度が大きいほどR成分がG成分に対して強くなり、炎症部位の重症度が高いことを示す。そのため、図2の処理ステップS16(正規化処理)では、算出角度がゼロであるときに値ゼロとなり、算出角度がθMAXであるときに値255となるように、算出角度を正規化する。
つまり、基準軸は、色平面内において重症度が所定値以下の対象疾患と相関を有する軸及び重症度が所定値以上である対象疾患と相関を有する軸の少なくとも一方であって良い。より具体的には、基準軸は、色平面内において対象疾患のうち重症度が所定以上である高重症度疾患と相関を有する第1の軸と、色平面内において高重症度疾患よりも重症度が低くかつ重症度が所定以下である低重症度疾患と相関を有する第2軸と、を少なくとも含んでいても良い。この場合、評価結果を求める評価部は、第1の軸及び第2の軸の少なくとも一方と、上述の線分(生体組織のカラー画像が含む色成分のうちの少なくとも2つの色成分によって定義される色平面内において、色平面内に設定された所定の基準点及び画像取得部で取得されるカラー画像を構成する各画素の色平面内における画素対応点を結ぶ線分)と、がなす角度に基づいて評価結果を求める構成となる。
また、上記の実施形態では、撮影画像の明るさによる炎症評価値への影響を極力抑えるため、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点が基準点O’として設定されているが、本発明はこれに限らない。例えば、粘膜変化軸AX2上に位置するRG平面の原点(0,0)が基準点O’として設定されてもよい。この場合、最低限必要な基準軸が一軸(粘膜変化軸AX2)で足りるため、図2の特殊画像生成処理の負荷が軽くなり、処理速度が向上する。
評価部は、複数の対象疾患に関する評価結果を夫々求めるように構成されていても良い。この場合には、色平面と、基準点と、基準軸とは、複数の対象疾患毎に設定されることになる。また、この場合、表示部を構成するモニタには、複数の評価結果が識別可能に通常画像に重ねて表示されても良い。このような構成によれば、設定等を切り替えることなく、一画面で複数の疾患の可能性がある部位を術者が認識することが可能となる。その結果、患者の負担を増やすことなく、術者の診断補助を行うことが可能となる。
1 電子内視鏡システム
100 電子スコープ
102 LCB
104 配光レンズ
106 対物レンズ
108 固体撮像素子
112 ドライバ信号処理回路
114 メモリ
200 プロセッサ
202 システムコントローラ
204 タイミングコントローラ
206 ランプ電源イグナイタ
208 ランプ
210 集光レンズ
212 絞り
214 モータ
216 ドライバ
218 操作パネル
220 前段信号処理回路
222 メモリ
230 特殊画像処理回路
240 後段信号処理回路

Claims (13)

  1. 被写体に向けて照明光を照射する光源装置と、
    前記被写体からの反射光を撮像素子により撮像し、少なくとも3つ以上の色成分を含むカラー画像を取得する画像取得部と、
    前記少なくとも3つ以上の色成分のうちの少なくとも2つの色成分によって定義される色平面内において、前記色平面内に設定された所定の基準点及び前記画像取得部で取得されるカラー画像を構成する各画素の前記色平面内における画素対応点を結ぶ線分と、前記対象疾患に相関を有する基準軸と、がなす角度に基づいて前記各画素の前記対象疾患に関する評価結果を求める評価部と、を備え、
    前記基準軸は、前記所定の基準点を通るように設定される、内視鏡システム。
  2. 前記基準軸は、前記色平面内において重症度が所定値以下の前記対象疾患と相関を有する軸及び重症度が所定値以上である前記対象疾患と相関を有する軸の少なくとも一方である、請求項1に記載の内視鏡システム。
  3. 前記基準軸は、前記色平面内において前記対象疾患のうち重症度が所定以上である高重症度疾患と相関を有する第1の軸と、前記色平面内において前記高重症度疾患よりも重症度が低くかつ重症度が所定以下である低重症度疾患と相関を有する第2軸と、を少なくとも含み、
    前記評価部は、前記第1の軸及び第2の軸の少なくとも一方と、前記線分と、がなす角度に基づいて前記評価結果を求める、
    請求項1又は請求項2に記載の内視鏡システム。
  4. 前記基準点は、前記第1の軸と前記第2の軸の交点である、
    請求項3に記載の内視鏡システム。
  5. 前記評価部は、
    前記線分と前記第1の軸とがなす角度がゼロのときに最大値を取り、前記線分と前記第1の軸とがなす角度が前記第1の軸と前記第2の軸との間の角度と等しいときに最小値を取るように、前記線分と前記第1の軸とがなす角度を正規化し、正規化された各画素に対応する角度に基づいて前記対象疾患に関する評価結果を求める、
    請求項3又は請求項4に記載の内視鏡システム。
  6. 前記評価結果を、前記画像取得部により取得される通常画像に重ねて表示する表示部を更に備える、
    請求項1から請求項5のいずれか一項に記載の内視鏡システム。
  7. 前記評価結果は、炎症の重症度についての評価結果である、
    請求項1から請求項6のいずれか一項に記載の内視鏡システム。
  8. 前記第1の軸は、ヘモグロビン色素と相関の高い軸である、
    請求項3から請求項5、請求項3を引用する請求項6、請求項3を引用する請求項7、のいずれか一項に記載の内視鏡システム。
  9. 前記第2の軸は、体腔内の粘膜の色味と相関の高い軸である、
    請求項3から請求項5、請求項3を引用する請求項6、請求項3を引用する請求項7、請求項8、のいずれか一項に記載の内視鏡システム。
  10. 前記評価結果を、前記画像取得部により取得される通常画像に重ねて表示する表示部を更に備え、
    前記評価部は、複数の対象疾患に関する評価結果を夫々求め、
    前記色平面と、前記基準点と、前記基準軸とは、前記複数の対象疾患毎に設定され、
    前記表示部は、前記複数の評価結果を識別可能に前記通常画像に重ねて表示する、
    請求項1から請求項6のいずれか一項に記載の内視鏡システム。
  11. R(Red)、G(Green)、B(Blue)の各色成分を持つカラー画像を構成する各画素に対応する画素対応点を、その色成分に応じて、R成分の軸である第一の軸と、該第一の軸と直交するG成分又はB成分の軸である第二の軸とを含む平面内に配置する配置手段と、
    前記平面内において重症度の最も高い病変部と相関の高い第三の軸を設定し、各画素について、該第三の軸上に位置する所定の基準点と前記画素対応点とを結ぶ線分と、該第三の軸とがなす角度を算出する角度算出手段と、
    算出された各画素に対応する角度に基づいて前記カラー画像に対する所定の評価値を計算する評価値計算手段と、
    を備える、
    評価値計算装置。
  12. 前記角度算出手段は、
    前記平面内におい重症度の最も低い病変部と相関の高い第四の軸を設定し、該第四の軸と前記第三の軸との交点を前記基準点として、前記各画素に対応する角度を算出する、
    請求項11に記載の評価値計算装置。
  13. 前記第三の軸は、ヘモグロビン色素と相関の高い軸であり、
    前記第四の軸は、体腔内の粘膜の色味と相関の高い軸である、
    請求項12に記載の評価値計算装置。
JP2017503972A 2015-09-30 2016-09-30 内視鏡システム及び評価値計算装置 Active JP6125740B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015192431 2015-09-30
JP2015192431 2015-09-30
PCT/JP2016/079024 WO2017057680A1 (ja) 2015-09-30 2016-09-30 内視鏡システム及び評価値計算装置

Publications (2)

Publication Number Publication Date
JP6125740B1 true JP6125740B1 (ja) 2017-05-10
JPWO2017057680A1 JPWO2017057680A1 (ja) 2017-10-05

Family

ID=58423695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017503972A Active JP6125740B1 (ja) 2015-09-30 2016-09-30 内視鏡システム及び評価値計算装置

Country Status (5)

Country Link
US (1) US10918270B2 (ja)
JP (1) JP6125740B1 (ja)
CN (1) CN107072509B (ja)
DE (1) DE112016004454B4 (ja)
WO (1) WO2017057680A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11842815B2 (en) 2020-01-07 2023-12-12 Hoya Corporation Endoscope system, processor, diagnostic support method, and computer program

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6850871B2 (ja) 2017-03-31 2021-03-31 Hoya株式会社 電子内視鏡システム
JP6912608B2 (ja) * 2018-02-07 2021-08-04 Hoya株式会社 内視鏡システム
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム
JPWO2020066670A1 (ja) 2018-09-27 2021-06-10 Hoya株式会社 電子内視鏡システム
US11961224B2 (en) * 2019-01-04 2024-04-16 Stella Surgical Device for the qualitative evaluation of human organs
JP7041318B2 (ja) * 2019-03-20 2022-03-23 Hoya株式会社 内視鏡システム
JP2020156903A (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
JP6912688B2 (ja) 2019-04-02 2021-08-04 Hoya株式会社 電子内視鏡システム及びデータ処理装置
DE112020002107T5 (de) 2019-04-26 2022-03-03 Hoya Corporation Elektronisches endoskopsystem und datenverarbeitungsvorrichtung
US20220192470A1 (en) * 2019-09-27 2022-06-23 Hoya Corporation Endoscope system
US20220211250A1 (en) 2019-09-30 2022-07-07 Hoya Corporation Electronic endoscope system
CN111489325B (zh) * 2019-12-16 2023-07-28 杭州电子科技大学 一种甲亢疾病即时鉴定装置及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2014018332A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3716466B2 (ja) * 1995-10-20 2005-11-16 ソニー株式会社 画像処理装置
JP2000330858A (ja) * 1999-05-25 2000-11-30 Fujitsu Ltd 画像処理装置およびプログラム記憶媒体
JP4534340B2 (ja) * 2000-10-31 2010-09-01 ソニー株式会社 色再現補正装置
US7042488B2 (en) * 2001-09-27 2006-05-09 Fujinon Corporation Electronic endoscope for highlighting blood vessel
JP4375781B2 (ja) * 2002-11-29 2009-12-02 株式会社リコー 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP4615963B2 (ja) * 2004-10-29 2011-01-19 オリンパス株式会社 カプセル型内視鏡装置
JP4241643B2 (ja) * 2005-02-28 2009-03-18 村田機械株式会社 色判定装置及び色判定方法
WO2007031946A2 (en) * 2005-09-12 2007-03-22 Dvp Technologies Ltd. Medical image processing
JP5121204B2 (ja) * 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5006759B2 (ja) * 2007-10-29 2012-08-22 Hoya株式会社 電子内視鏡用信号処理装置および電子内視鏡装置
US8406859B2 (en) * 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
JP5380973B2 (ja) * 2008-09-25 2014-01-08 株式会社ニコン 画像処理装置及び画像処理プログラム
EP2384686B8 (en) * 2009-04-21 2013-01-16 Olympus Medical Systems Corp. Fluorescence image device and fluorescence image acquiring method
EP2287807A1 (en) * 2009-07-21 2011-02-23 Nikon Corporation Image processing device, image processing program, and imaging device
JP5721940B2 (ja) * 2009-11-04 2015-05-20 オリンパス株式会社 光スペクトル検出方法
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5303012B2 (ja) * 2010-12-15 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
EP2979618B1 (en) * 2013-03-27 2018-11-28 FUJIFILM Corporation Image processing device for operating endoscope system
JP6140056B2 (ja) * 2013-09-26 2017-05-31 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
WO2015064435A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 画像処理装置及びその作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2014018332A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11842815B2 (en) 2020-01-07 2023-12-12 Hoya Corporation Endoscope system, processor, diagnostic support method, and computer program

Also Published As

Publication number Publication date
WO2017057680A1 (ja) 2017-04-06
CN107072509B (zh) 2019-03-19
CN107072509A (zh) 2017-08-18
DE112016004454T5 (de) 2018-06-14
DE112016004454B4 (de) 2019-04-25
JPWO2017057680A1 (ja) 2017-10-05
US20180279866A1 (en) 2018-10-04
US10918270B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
JP6125740B1 (ja) 内視鏡システム及び評価値計算装置
JP6581730B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6113386B1 (ja) 評価値計算装置及び電子内視鏡システム
JP6427280B2 (ja) 補正データ生成方法及び補正データ生成装置
US20230113382A1 (en) Evaluation value calculation device and electronic endoscope system
JP6591688B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6433634B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6420358B2 (ja) 内視鏡システム及び評価値計算装置
JP6926242B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2018023497A (ja) 色補正用治具及び電子内視鏡システム
JP2018011797A (ja) 補正効果確認方法及び指標

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170405

R150 Certificate of patent or registration of utility model

Ref document number: 6125740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170717

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250