JP7116254B2 - 画像処理装置及びその作動方法 - Google Patents

画像処理装置及びその作動方法 Download PDF

Info

Publication number
JP7116254B2
JP7116254B2 JP2021515923A JP2021515923A JP7116254B2 JP 7116254 B2 JP7116254 B2 JP 7116254B2 JP 2021515923 A JP2021515923 A JP 2021515923A JP 2021515923 A JP2021515923 A JP 2021515923A JP 7116254 B2 JP7116254 B2 JP 7116254B2
Authority
JP
Japan
Prior art keywords
frequency characteristic
light
remission
ulcerative colitis
bleeding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021515923A
Other languages
English (en)
Other versions
JPWO2020217883A1 (ja
Inventor
美沙紀 目黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020217883A1 publication Critical patent/JPWO2020217883A1/ja
Application granted granted Critical
Publication of JP7116254B2 publication Critical patent/JP7116254B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042Determining blood loss or bleeding, e.g. during a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4216Diagnosing or evaluating gastrointestinal ulcers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222Evaluating particular parts, e.g. particular organs
    • A61B5/4255Intestines, colon or appendix
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4842Monitoring progression or stage of a disease
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Description

本発明は、疾患に関連する処理を行う画像処理装置及びその作動方法に関する。
医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像としての内視鏡画像を取得する。内視鏡画像は、モニタに表示され、診断に使用される。
また、近年では、内視鏡画像に基づいて処理を行うことにより、病変部などの異常領域の判定などの診断を支援する情報をユーザーに提供することも行われつつある。例えば、特許文献1では、粘膜領域における血管透見像の血管鮮鋭度が低下した領域である鮮鋭度低下領域を、血管透見像が局所的に消失した異常領域の候補領域として抽出した上で、異常領域の候補領域の形状をもとに、候補領域が異常領域であるか否かを判定する。
特開2016-16185号公報
大腸の疾患の一つとして、潰瘍性大腸炎(UC(Ulcerative Colitis))が知られている。潰瘍性大腸炎が寛解したか、又は非寛解であるかの判断は、今のところ、内視鏡診断後の生検によって行われている。したがって、生検を行うことなく、潰瘍性大腸炎の寛解又は非寛解の判定を行うことなどが求められていた。
本発明は、生検を行うことなく、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行うことができる画像処理装置及びその作動方法を提供することを目的とする。
本発明の画像処理装置は、プロセッサは、観察対象を撮像して得られる医療画像を取得し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行い、粘膜外出血は、空間周波数が粘膜内出血よりも低周波である。
プロセッサは、潰瘍性大腸炎の寛解又は非寛解を判定する場合には、医療画像から得られる周波数特性又は輝度値によって表層血管の密集、粘膜内出血、及び粘膜外出血を分類し、分類に従って潰瘍性大腸炎の寛解又は非寛解を判定することが好ましい。
本発明の画像処理装置は、プロセッサは、観察対象を撮像して得られる医療画像を取得し、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行い、プロセッサが、潰瘍性大腸炎の寛解又は非寛解を判定する場合には、プロセッサは、医療画像から周波数成分空間分布を算出し、周波数成分空間分布に基づいて、第1周波数特性を有する第1周波数特性領域を抽出し、第1周波数特性よりも高い周波数を持つ第2周波数特性を有する第2周波数特性領域を抽出し、第2周波数特性よりも高い周波数を持つ第3周波数特性を有する第3周波数特性領域を抽出し、輝度値を用いる第1領域判別処理を施した第1周波数特性領域、輝度値を用いる第2領域判別処理を施した第2周波数特性領域、及び第3周波数特性領域に基づいて、表層血管の密集、粘膜内出血、及び粘膜外出血を検出し、検出された表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定する。
プロセッサは、周波数成分空間分布に基づいて、第1周波数特性領域を抽出し、周波数成分空間分布に基づいて、第3周波数特性領域を抽出し、医療画像から第1周波数特性領域を除いた解析対象領域を検出し、解析対象領域から第3周波数特性領域を除くことにより、第2周波数特性領域を抽出することが好ましい。
プロセッサは、第1周波数特性領域に対して第1領域判別処理を施すことにより、粘膜外出血を検出し、第2周波数特性領域に対して第2領域判別処理を施すとこにより、粘膜内出血を検出し、第3周波数特性領域を表層血管の密集として検出することが好ましい。
プロセッサは、表層血管の密集があること、粘膜内出血の検出量が粘膜内出血用閾値以上であること、粘膜外出血の検出量が粘膜外出血用閾値以上であること、及び、粘膜内出血の検出量と粘膜外出血の検出量の和が粘膜内外出血用閾値以上であることのいずれかを満たす場合に、潰瘍性大腸炎が非寛解であると判定し、表層血管の密集があること、粘膜内出血の検出量が粘膜内出血用閾値以上であること、粘膜外出血の検出量が粘膜外出血用閾値以上であること、及び、粘膜内出血の検出量と粘膜外出血の検出量の和が粘膜内外出血用閾値以上であることのいずれも満たさない場合に、潰瘍性大腸炎が寛解であると判定することが好ましい。
医療画像は、短波長の光を含む照明光によって照明された観察対象を撮像して得られることが好ましい。照明光は、中心波長又はピーク波長に410nmが含まれる紫色光であることが好ましい。照明光は、短波長の光としての青色狭帯域光と緑色狭帯域光であり、医療画像は、青色狭帯域光と緑色狭帯域光とが交互に照明された観察対象を撮像して得られることが好ましい。照明光は、短波長の光と、励起光を蛍光体に照射して得られる蛍光とを含む疑似白色光であることが好ましい。照明光は、短波長の光としての紫色光と、青色光、緑色光、又は赤色光とを含むことが好ましい。
本発明の画像処理装置の作動方法は、ロセッサが、観察対象を撮像して得られる医療画像を取得する画像取得ステップと、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う判定ステップを備え、粘膜外出血は、空間周波数が粘膜内出血よりも低周波である。
本発明の画像処理装置の作動方法は、プロセッサが、観察対象を撮像して得られる医療画像を取得する画像取得ステップと、医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う判定ステップを備え、判定ステップにおいてプロセッサが潰瘍性大腸炎の寛解又は非寛解を判定する場合には、判定ステップでは、プロセッサが医療画像から周波数成分空間分布を算出するステップと、周波数成分空間分布に基づいて、第1周波数特性を有する第1周波数特性領域を抽出し、第1周波数特性よりも高い周波数を持つ第2周波数特性を有する第2周波数特性領域を抽出し、第2周波数特性よりも高い周波数を持つ第3周波数特性を有する第3周波数特性領域を抽出するステップと、輝度値を用いる第1領域判別処理を施した第1周波数特性領域、輝度値を用いる第2領域判別処理を施した第2周波数特性領域、及び第3周波数特性領域に基づいて、表層血管の密集、粘膜内出血、及び粘膜外出血を検出するステップと、検出された表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定するステップを有する。
本発明によれば、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行うことができる。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rのスペクトルを示すグラフである。 第1実施形態の特殊光のスペクトルを示すグラフである。 紫色光Vのみを含む特殊光のスペクトルを示すグラフである。 潰瘍性大腸炎の重症度によって変化する血管構造のパターンを示す説明図である。 大腸の断面を示す断面図である。 輝度値及び空間周波数によって分類された表層血管の密集、粘膜内出血、及び粘膜外出血を示す説明図である。 疾患関連処理部の機能を示すブロック図である。 第1周波数特性領域、第2周波数特性領域、及び第3周波数特性領域を抽出する一連の流れを示す説明図である。 判定に関する情報を表示するモニタの画像図である。 疾患関連処理モードの一連の流れを示すフローチャートである。 第2実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。 第3実施形態の内視鏡システムの機能を示すブロック図である。 第3実施形態の通常光のスペクトルを示すグラフである。 第3実施形態の特殊光のスペクトルを示すグラフである。 診断支援装置を示すブロック図である。 医療業務支援装置を示すブロック図である。
[第1実施形態]
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12eを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モードの切り替え操作に用いるモード切替SW(モード切替スイッチ)12fと、観察対象の静止画の取得指示に用いられる静止画取得指示部12gとが設けられている。
なお、内視鏡システム10は、通常光モード、特殊光モード、疾患関連処理モードの3つのモードを有している。通常光モードでは、通常光を観察対象に照明して撮像することによって、自然な色合いの通常画像をモニタ18に表示する。特殊光モードでは、通常光と波長帯域が異なる特殊光を観察対象に照明して撮像することによって、特定の構造を強調した特殊光画像をモニタ18に表示する。疾患関連処理モードでは、通常画像又は特殊画像に基づいて、疾患の一つである潰瘍性大腸炎の寛解又は非寛解を判定する。なお、疾患関連処理モードでは、潰瘍性大腸炎のステージに関する指標値を算出すること、又は、潰瘍性大腸炎のステージを判定することを行ってもよい。
なお、本実施形態では、疾患関連処理モードでは、特殊画像(内視鏡画像)を用いるが、通常画像を用いるようにしてもよい。また、疾患関連処理モードで用いる画像としては、医療画像の一つである内視鏡画像としての特殊画像の他、放射線撮影装置で得られる放射線画像、CT(Computed Tomography)で得られるCT画像、MRI(Magnetic Resonance Imaging)で得られるMRI画像などの医療画像を用いてもよい。また、内視鏡12が接続されたプロセッサ装置16内において、疾患関連処理モードを実行するが、その他の方法で疾患関連処理モードを実行するようにしてもよい。例えば、内視鏡システム10とは別の外部の画像処理装置に疾患関連処理部66の機能を設け、医療画像を外部の画像処理装置に入力して疾患関連処理モードを実行し、その実行結果を、外部の画像処理装置に接続された外部のモニタに表示するようにしてもよい。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。コンソール19は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。また、プロセッサ装置16は、本発明の画像処理装置に対応する。
図2において、光源装置14は、光源部20と、光源部20を制御する光源制御部21とを備えている。光源部20は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。なお、紫色光Vは、疾患関連処理モードにて用いる表層血管の密集、粘膜内出血、及び粘膜外出血を検出するために用いられる短波長の光であり、中心波長又はピーク波長に410nmを含めることが好ましい。
光源制御部21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。また、光源制御部21は、通常光モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。
また、光源制御部21は、特殊光モード又は疾患関連処理モード時には、短波長の光としての紫色光Vと、青色光B、緑色光G、及び赤色光Rとの光強度比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED20a~20dを制御する。光強度比Vs:Bs:Gs:Rsは、特殊光は、表層血管などを強調することが好ましい。そのため、第1照明光は、紫色光Vの光強度を青色光Bの光強度よりも大きくすることが好ましい。例えば、図4に示すように、紫色光Vの光強度Vsと青色光Bの光強度Bsとの比率を「4:1」とする。また、図5に示すように、特殊光については、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比を1:0:0:0にして、短波長の光としての紫色光Vのみを発光するようにしてもよい。
なお、本明細書において、光強度比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有するものとする。
各LED20a~20eが発する光は、ミラーやレンズなどで構成される光路結合部23を介して、ライトガイド25に入射される。ライトガイド25は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド25は、光路結合部23からの光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ32を有しており、ライトガイド25によって伝搬した照明光は照明レンズ32を介して観察対象に照射される。撮像光学系30bは、対物レンズ42、撮像センサ44を有している。照明光を照射したことによる観察対象からの光は、対物レンズ42を介して撮像センサ44に入射する。これにより、撮像センサ44に観察対象の像が結像される。
撮像センサ44としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色の撮像センサ44の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(グリーン)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるので、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ44と同様のRGB各色の画像信号を得ることができる。
撮像センサ44は、撮像制御部45によって駆動制御される。撮像制御部45における制御は、各モードによって異なっている。通常光モードでは、撮像制御部45は、通常光で照明された観察対象を撮像するように、撮像センサ44を制御する。これにより、撮像センサ44のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。
特殊光モードでは、撮像制御部45は撮像センサ44を制御して、特殊光で照明された観察対象を撮像するように、撮像センサ44を制御する。これにより、撮像センサ44のB画素からBs画像信号が出力され、G画素からGs画像信号が出力され、R画素からRs画像信号が出力される。
CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ44から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ48により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16は、画像取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理切替部56と、画像処理部58と、映像信号生成部60とを備えている。画像処理部58は、通常画像生成部62と、特殊画像生成部64と、疾患関連処理部66とを備えている。
プロセッサ装置16では、指標値の算出、ステージの判定、潰瘍性大腸炎の寛解又は非寛解の判定など各種処理に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。プロセッサによって構成される中央制御部(図示しない)によって、プログラム用メモリ内のプログラムが動作することによって、画像取得部50と、DSP52と、ノイズ低減部54と、画像処理切替部56と、画像処理部58と、映像信号生成部60との機能が実現する。これに伴い、通常画像生成部62と、特殊画像生成部64と、疾患関連処理部66との機能が実現する。疾患関連処理部66は、周波数成分空間分布算出部70と、周波数特性領域抽出部72と、構造検出部74と、判定部76との機能が実現する(図9参照)。
画像取得部50は、内視鏡12から入力される医療画像の一つである内視鏡画像の画像信号を取得する。取得した画像信号はDSP52に送信される。DSP52は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ44の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。
その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理(等方化処理,同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。DSP52は、デモザイク処理後の各画像信号にYC変換処理を施し、輝度信号Yと色差信号Cb及び色差信号Crをノイズ低減部54に出力する。
ノイズ低減部54は、DSP56でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、画像処理切替部56に入力される。
画像処理切替部56は、設定されているモードによって、ノイズ低減部54からの画像信号の送信先を、通常画像生成部62と、特殊画像生成部64と、疾患関連処理部66のいずれかに切り替える。具体的には、通常光モードにセットされている場合には、ノイズ低減部54からの画像信号を通常画像生成部62に入力する。特殊光モードにセットされている場合には、ノイズ低減部54からの画像信号を特殊画像生成部64に入力する。疾患関連処理モードにセットされている場合には、ノイズ低減部54からの画像信号を疾患関連処理部66に入力する。
通常画像生成部62は、入力した1フレーム分のRc画像信号、Gc画像信号、Bc画像信号に対して、通常画像用画像処理を施す。通常画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。通常画像用画像処理が施されたRc画像信号、Gc画像信号、Bc画像信号は、通常画像として映像信号生成部60に入力される。
特殊画像生成部64は、入力した1フレーム分のRs画像信号、Gs画像信号、Bs画像信号に対して、特殊画像用画像処理を施す。特殊画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT(Look Up Table)処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊画像用画像処理が施されたRs画像信号、Gs画像信号、Bs画像信号は、特殊画像として映像信号生成部60に入力される。
疾患関連処理部66は、特殊画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、潰瘍性大腸炎のステージを判定すること、又は、潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う。判定結果に関する情報は、映像信号生成部60に入力される。疾患関連処理部66の詳細については、後述する。なお、第1~第3実施形態では、疾患関連処理部66が潰瘍性大腸炎の寛解又は非寛解を判定する場合について説明を行う。
映像信号生成部60は、画像処理部58から出力される通常画像、特殊画像、又は判定結果に関する情報を、モニタ18においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はモニタ18に入力される。これにより、モニタ18には通常画像、特殊画像、又は判定結果に関する情報が表示される。
疾患関連処理部66の詳細について、以下説明する。疾患関連処理部66にて判定対象とする潰瘍性大腸炎は、図6(A)~(E)に示すように、重症度が悪化する毎に、血管構造のパターンが変化することを発明者らが見出している。潰瘍性大腸炎が寛解、又は、潰瘍性大腸炎が発生していない場合には、表層血管のパターンが規則的であり(図6(A))、又は、表層血管のパターンの規則性に多少の乱れが生じている程度である(図6(B))。一方、潰瘍性大腸炎が非寛解であり、且つ、重症度が軽症である場合には、表層血管の密集が粗密である(図6(C))。また、潰瘍性大腸炎が非寛解であり、且つ、重症度が中等症である場合には、粘膜内出血が発生している(図6(D))。また、また、潰瘍性大腸炎が非寛解であり、且つ、重症度が中等症~重症である場合には、粘膜外出血が発生している(図6(E))。疾患関連処理部66では、上記の血管構造のパターン変化を利用して、医療画像の一つである特殊画像に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定する。
ここで、「表層血管の密集」とは、表層血管が蛇行し、集まる状態をいい、画像上の見た目では、腸腺嵩(クリプト)(図7参照)の周りを表層血管が何本も囲んでいることをいう。「粘膜内出血」とは、粘膜組織内(図7参照)の出血で内腔への出血との鑑別を要することをいう。「粘膜内出血」とは、画像上の見た目では、粘膜の中、且つ内腔(管腔、ひだの穴)ではない出血を指している。「粘膜外出血」とは、管腔内への少量の血液、管腔内を洗浄した後も内視鏡前方の管腔、又は粘膜からにじみ出て視認可能な血液、又は、出血性粘膜上でにじみを伴った管腔内の血液のことをいう。
疾患関連処理部66は、特殊画像から得られる周波数特性又は輝度値によって表層血管の密集、粘膜内出血、及び粘膜外出血を分類し、分類に従って、潰瘍性大腸炎の寛解又は非寛解を判定する。具体的には、表層血管の密集、粘膜内出血、及び粘膜外出血については、図8に示すように、分類される。表層血管の密集は、輝度値が低輝度で、且つ、周波数特性が高周波で表される。粘膜内出血は、輝度値が中輝度で、且つ、周波数特性が中周波で表される。粘膜外出血は、輝度値が低輝度で、且つ、周波数特性が低周波で表される。なお、特殊画像の各種構造を輝度値及び周波数特性で表した場合には、上記の3つの表層血管の密集、粘膜内出血、及び粘膜外出血の他に、特殊画像のボケ暗部又は内視鏡影(内視鏡の先端部12dを管腔に沿って動かす場合において内視鏡画像の中心部分にできる影)なども含まれる。本実施形態では、上記の分類を利用して、特殊画像から、潰瘍性大腸炎の寛解又は非寛解の判定に必要な表層血管の密集、粘膜内出血、及び粘膜外出血を抽出する。
図9に示すように、疾患関連処理部66は、周波数成分空間分布算出部70と、周波数特性領域抽出部72と、構造検出部74と、判定部76とを備えている。周波数成分空間分布算出部70は、特殊画像に対してラプラシアンフィルタをかけることにより、周波数成分空間分布を算出する。
周波数特性領域抽出部72は、周波数成分空間分布に基づいて、第1周波数特性(低周波)を有する第1周波数特性領域(低周波領域)を抽出し、第1周波数特性よりも高い周波数を持つ第2周波数特性(中周波)を有する第2周波数特性領域(中周波領域)を抽出し、第2周波数特性よりも高い周波数を持つ第3周波数特性(高周波)を有する第3周波数特性領域(高周波領域)を抽出する。
具体的には、周波数特性領域抽出部72は、第1周波数特性領域抽出部72a、第3周波数特性領域抽出部72b、解析対象領域検出部72c、及び、第2周波数特性領域抽出部72dを備えており、図10に示す流れに沿って第1~第3周波数特性領域を抽出する。第1周波数特性領域抽出部72aは、周波数成分空間分布に基づいて、特定画素を含む近傍の9画素の周波数の標準偏差が一定値以下の場合に、特定画素を第1周波数特性に属する画素とする。この特定画素の検出を全画素分行うことによって、第1周波数特性領域を抽出する。第1周波数特性領域は、低周波の領域に相当する。第3周波数特性領域抽出部72bは、周波数成分空間分布に対するヘシアン解析によって、第3周波数特性領域を抽出する。第3周波数特性領域は、高周波の領域に相当する。なお、第1周波数特性領域抽出部72aでは、特定画素を含む近傍の9画素の周波数の標準偏差が一定値以下の場合に、特定画素を第1周波数特性に属する画素としているが、その他の統計量、例えば、近傍の9画素との周波数の最大値又は最小値、平均値が一定値以下の場合に、特定画素を第1周波数特性に属する画素としてもよい。
解析対象領域検出部72cは、特殊画像から第1周波数特性領域を除いた解析対象領域を検出する。第2周波数特性領域抽出部72dは、解析対象領域から、第3周波数特性領域を除くことにより、第2周波数特性領域を抽出する。第2周波数特性領域は、中周波の領域に相当する。
構造検出部74は、輝度値を用いる第1領域判別処理を施した第1周波数特性領域、輝度値を用いる第2領域判別処理を施した第2周波数特性領域、及び第3周波数特性領域に基づいて、表層血管の密集、粘膜内出血、及び粘膜外出血を検出する。具体的には、構造検出部74は、第1周波数特性領域に対して第1領域判別処理を施すことにより、粘膜外出血を検出し、第2周波数特性領域に対して第2領域判別処理を施すとこにより、粘膜内出血を検出し、第3周波数特性領域を前記表層血管の密集として検出する。
低周波の第1周波数特性領域には、低輝度の粘膜外出血の他、中輝度のボケ暗部又は内視鏡影が含まれることから、これらを区別するために、第1領域判別処理が行われる。第1領域判別処理では、特殊画像の第1周波数特性領域うち輝度値が輝度値用閾値以下の領域を、粘膜外出血の領域として検出する。中輝度の粘膜内出血を区別するために第2領域判別処理が行われる。第2領域判別処理では、特殊画像の第2周波数特性領域うち輝度値が輝度値用閾値以上の領域を、粘膜内出血の領域として検出する。なお、低輝度の表層血管の密集を区別するために第3領域判定処理を行うようにしてもよい。第3領域判別処理では、特殊画像の第3周波数特性領域うち輝度値が輝度値用閾値以下の領域を、表層血管が密集する領域として検出する。
判定部76は、表層血管の密集があること、粘膜内出血の検出量が粘膜内出血用閾値以上であること、粘膜外出血の検出量が粘膜外出血用閾値以上であること、及び、粘膜内出血の検出量と粘膜外出血の検出量の和が粘膜内外出血用閾値以上であることのいずれかを満たす場合に、潰瘍性大腸炎が非寛解であると判定する。一方、判定部76は、表層血管の密集があること、粘膜内出血の検出量が粘膜内出血用閾値以上であること、粘膜外出血の検出量が粘膜外出血用閾値以上であること、及び、粘膜内出血の検出量と粘膜外出血の検出量の和が粘膜内外出血用閾値のいずれも満たさない場合に、潰瘍性大腸炎が寛解であると判定する。以上の判定部76での判定に関する情報は、モニタ18上に表示されて、ユーザーによる潰瘍性大腸炎の寛解又は非寛解の判定に用いられる。判定部76において潰瘍性大腸炎が寛解であると判定された場合には、図11に示すように、その旨のメッセージがモニタ18上に表示される。なお、判定に関する情報を表示する際には、判定部76での判定に用いた特殊画像を重畳表示することが好ましい。
なお、判定部76では、粘膜内出血の検出量について、特殊画像のうち第2周波数特性領域が占める割合に基づいて算出することが好ましい。また、判定部76では、粘膜外出血の検出量について、特殊画像のうち低輝度の第1周波数特性領域(第1領域判定処理後の第1周波数特性領域)が占める割合に基づいて算出することが好ましい。また、判定部86では、潰瘍性大腸炎の寛解又は非寛解の判定に加えて又は代えて、潰瘍性大腸炎の重症度を指標化した指標値を求め、指標値に従って潰瘍性大腸炎の寛解又は非寛解の判定を行い、また、指標値を判定結果としてモニタ18に表示するようにしてもよい。
次に、疾患関連処理モードの一連の流れについて、図12に示すフローチャートに沿って説明を行う。疾患関連処理モードに切り替えられると、特殊光が観察対象に照射される。内視鏡12は、特殊光によって照明された観察対象を撮像することにより、内視鏡画像(医療画像)の一つである特殊画像を得る。画像取得部50は、内視鏡12からの特殊画像を取得する。
周波数成分空間分布算出部70は、特殊画像から周波数成分空間分布を算出する。第1周波数特性領域抽出部72aは、周波数成分空間分布に基づいて、低周波の第1周波数特性領域を抽出する。また、第3周波数特性領域抽出部72bは、周波数成分空間分布に基づいて、高周波の第3周波数特性領域を抽出する。解析対象領域検出部72cは、医療画像から第1周波数特性領域を除いた解析対象領域を検出する。第2周波数特性領域抽出部72dは、解析対象領域から第3周波数特性領域を除くことにより、中周波の第2周波数特性領域を抽出する。
構造検出部74において、低周波の第1周波数特性領域に対して、第1領域判別処理を行うことにより、粘膜外出血を検出する。また、構造検出部74において、中周波の第2周波数特性領域に対して、第2領域判別処理を行うことにより、粘膜内出血を検出する。また、構造検出部74では、第3周波数特性領域を、表層血管の密集として検出する。
判定部76は、構造検出部74によって検出された表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎の寛解又は非寛解を判定する。判定部76での判定に関する情報は、モニタ18に表示される。
[第2実施形態]
第2実施形態では、上記第1実施形態で示した4色のLED20a~20eの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ44に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図13に示すように、第2実施形態の内視鏡システム100では、光源装置14において、4色のLED20a~20eに代えて、広帯域光源102、回転フィルタ104、フィルタ切替部105が設けられている。また、撮像光学系30bには、カラーの撮像センサ44の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ106が設けられている。
広帯域光源102はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ104には、内側から順に、通常光モード用フィルタ107と、特殊光モード及び疾患関連処理モード用フィルタ108とが設けられている(図14参照)。フィルタ切替部105は、回転フィルタ104を径方向に移動させるものであり、モード切替SW12fにより通常光モードにセットしたときに、通常光モード用フィルタ107を白色光の光路に挿入し、特殊光モード又は疾患関連処理モードにセットしたときに、特殊光モード及び疾患関連処理モード用フィルタ108を白色光の光路に挿入する。
図14に示すように、通常光モード用フィルタ107には、周方向に沿って、白色光のうち広帯域青色光Bを透過させるBフィルタ107a、白色光のうち広帯域緑色光Gを透過させるGフィルタ107b、及び、白色光のうち広帯域赤色光Rを透過させるRフィルタ107cが設けられている。したがって、通常光モード時には、回転フィルタ104が回転することで、通常光として、広帯域青色光B、広帯域緑色光G、広帯域赤色光Rが交互に観察対象に照射される。
特殊光モード及び疾患関連処理モード用フィルタ108には、周方向に沿って、白色光のうち青色狭帯域光を透過させるBnフィルタ108a、及び、白色光のうち緑色狭帯域光を透過させるGnフィルタ108bが設けられている。したがって、特殊光モード又は疾患関連処理モード時には、回転フィルタ104が回転することで、特殊光として、短波長の光としての青色狭帯域光と緑色狭帯域光が交互に観察対象に照射される。なお、青色狭帯域光の波長帯域は400~450nmであり、緑色狭帯域光の波長帯域は540~560nmであることが好ましい。
内視鏡システム100では、通常光モード時には、広帯域青色光B、広帯域緑色光G、広帯域赤色光Rで観察対象が照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、Bc画像信号、Gc画像信号、Rc画像信号が得られる。そして、それら3色の画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
内視鏡システム100では、特殊光モード又は疾患関連処理モード時には、青色狭帯域光と緑色狭帯域光で観察対象が照明される毎にモノクロの撮像センサ106で観察対象を撮像する。これにより、Bs画像信号、Gs画像信号が得られる。そして、それら2色の画像信号に基づいて、上記第1実施形態と同様の方法で、特殊画像が生成される。
[第3実施形態]
第3実施形態では、上記第1実施形態で示した4色のLED20a~20eの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。以下においては、第1実施形態と異なる部分のみ説明を行い、第1実施形態と略同様の部分については、説明を省略する。
図15に示すように、第3実施形態の内視鏡システム200では、光源装置14の光源部20において、4色のLED20a~20eの代わりに、短波長の光に相当する中心波長405±10nmの紫色レーザ光を発する紫色レーザ光源部203(「405LD」と表記。LDは「Laser Diode」を表す)と、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(「445LD」と表記)204とが設けられている。これら各光源部204、206の半導体発光素子からの発光は、光源制御部208により個別に制御されている。
光源制御部208は、通常光モードの場合には、青色レーザ光源部204を点灯させる。これに対して、特殊光モード又は疾患関連処理モードの場合には、紫色レーザ光源部203と青色レーザ光源部204を同時点灯させる。
なお、紫色レーザ光、青色レーザ光、又は、青緑色レーザ光の半値幅は±10nm程度にすることが好ましい。また、紫色レーザ光源部203、青色レーザ光源部204及び青緑色レーザ光源部206は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ32の他に、ライトガイド25からの青色レーザ光又は青緑色レーザ光が入射する蛍光体210が設けられている。蛍光体210は、青色レーザ光によって励起され、蛍光を発する。したがって、青色レーザ光は励起光に相当する。また、青色レーザ光の一部は、蛍光体210を励起させることなく透過する。青緑色レーザ光は、蛍光体210を励起させることなく透過する。蛍光体210を出射した光は、照明レンズ32を介して、観察対象の体内を照明する。
ここで、通常光モードにおいては、主として青色レーザ光が蛍光体210に入射するため、図16に示すように、青色レーザ光、及び青色レーザ光により蛍光体210から励起発光する蛍光を合波した通常光が観察対象に照明される。この通常光で照明された観察対象を撮像センサ44で撮像することによって、Bc画像信号、Gc画像信号、Rc画像信号からなる通常画像が得られる。
また、特殊光モード又は疾患関連処理モードにおいては、紫色レーザ光及び青色レーザ光が蛍光体210に同時に入射することにより、図17に示すように、紫色レーザ光及び青色レーザ光に加えて、紫色レーザ光及び青色レーザ光によって蛍光体210から励起発光する蛍光を含む疑似白色光が、特殊光として発せられる。この特殊光で照明された観察対象を撮像センサ44で撮像することによって、Bs画像信号、Gs画像信号、Rs画像信号からなる特殊画像が得られる。なお、疑似白色光は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dから発せられる紫色光V、青色光B、緑色光G、及び赤色光を組み合わせた光としてもよい。
なお、蛍光体210は、青色レーザ光の一部を吸収して、緑色~黄色に励起発光する複数種の蛍光体(例えばYKG系蛍光体、或いはBAM(BaMgAl1017)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体210の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
例えば、図18に示すように、診断支援装置600は、医療画像処理システム602などのモダリティやPACS(Picture Archiving and Communication Systems)604を組み合わせて使用される。また、図19に示すように、医療業務支援装置610は、第1医療画像処理システム621、第2医療画像処理システム622、…、第N医療画像処理システム623等の各種検査装置と任意のネットワーク626を介して接続する。医療業務支援装置610は、第1~第N医療画像処理システム621、622・・・、623からの医療画像を受信し、受信した医療画像に基づいて、医療業務の支援を行う。
上記実施形態において、画像処理部58に含まれる通常画像生成部62、特殊画像生成部64、疾患関連処理部66、周波数成分空間分布算出部70、周波数特性領域抽出部72、第1周波数特性領域抽出部72a、第3周波数特性領域抽出部72b、解析対象領域検出部72c、第2周波数特性領域抽出部72d、構造検出部74、及び、判定部76といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f モード切替スイッチ
12g 静止画取得指示部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源制御部
23 光路結合部
25 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
42 対物レンズ
44 撮像センサ
45 撮像制御部
46 CDS/AGC回路
48 A/Dコンバータ
50 画像取得部
52 DSP
54 ノイズ低減部
56 画像処理切替部
58 画像処理部
60 映像信号生成部
62 通常画像生成部
64 特殊画像生成部
66 疾患関連処理部
70 周波数成分空間分布算出部
72 周波数特性領域抽出部
72a 第1周波数特性領域抽出部
72b 第3周波数特性領域抽出部
72c 解析対象領域検出部
72d 第2周波数特性領域抽出部
74 構造検出部
76 判定部
100 内視鏡システム
102 広帯域光源
104 回転フィルタ
105 フィルタ切替部
106 撮像センサ
107 通常光モード用フィルタ
107a Bフィルタ
107b Gフィルタ
107c Rフィルタ
108 特殊光モード及び疾患関連処理モード用フィルタ
108a Bnフィルタ
108b Gnフィルタ
200 内視鏡システム
203 紫色レーザ光源部
204 青色レーザ光源部
208 光源制御部
210 蛍光体
600 診断支援装置
602 医療画像処理システム
604 PACS
610 医療業務支援装置
621 第1医療画像処理システム
622 第2医療画像処理システム
623 第N医療画像処理システム
626 ネットワーク

Claims (13)

  1. プロセッサは、
    観察対象を撮像して得られる医療画像を取得し、
    前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、又は、前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行い、
    前記粘膜外出血は、空間周波数が前記粘膜内出血よりも低周波である画像処理装置。
  2. 前記プロセッサは、前記潰瘍性大腸炎の寛解又は非寛解を判定する場合には、前記医療画像から得られる周波数特性又は輝度値によって前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血を分類し、前記分類に従って前記潰瘍性大腸炎の寛解又は非寛解を判定する請求項1記載の画像処理装置。
  3. プロセッサは、
    観察対象を撮像して得られる医療画像を取得し、
    前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、又は、前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行い、
    前記プロセッサが、前記潰瘍性大腸炎の寛解又は非寛解を判定する場合には、
    前記プロセッサは、
    前記医療画像から周波数成分空間分布を算出し、
    前記周波数成分空間分布に基づいて、第1周波数特性を有する第1周波数特性領域を抽出し、前記第1周波数特性よりも高い周波数を持つ第2周波数特性を有する第2周波数特性領域を抽出し、前記第2周波数特性よりも高い周波数を持つ第3周波数特性を有する第3周波数特性領域を抽出し、
    輝度値を用いる第1領域判別処理を施した前記第1周波数特性領域、輝度値を用いる第2領域判別処理を施した前記第2周波数特性領域、及び前記第3周波数特性領域に基づいて、前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血を検出し、
    検出された前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血に基づいて、前記潰瘍性大腸炎の寛解又は非寛解を判定する像処理装置。
  4. 前記プロセッサは、
    前記周波数成分空間分布に基づいて、前記第1周波数特性領域を抽出し、
    前記周波数成分空間分布に基づいて、前記第3周波数特性領域を抽出し、
    前記医療画像から前記第1周波数特性領域を除いた解析対象領域を検出し、
    前記解析対象領域から前記第3周波数特性領域を除くことにより、前記第2周波数特性領域を抽出する請求項3記載の画像処理装置。
  5. 前記プロセッサは、
    前記第1周波数特性領域に対して前記第1領域判別処理を施すことにより、前記粘膜外出血を検出し、前記第2周波数特性領域に対して前記第2領域判別処理を施すとこにより、前記粘膜内出血を検出し、前記第3周波数特性領域を前記表層血管の密集として検出する請求項3または4記載の画像処理装置。
  6. 前記プロセッサは、前記表層血管の密集があること、前記粘膜内出血の検出量が粘膜内出血用閾値以上であること、前記粘膜外出血の検出量が粘膜外出血用閾値以上であること、及び、前記粘膜内出血の検出量と前記粘膜外出血の検出量の和が粘膜内外出血用閾値以上であることのいずれかを満たす場合に、前記潰瘍性大腸炎が非寛解であると判定し、前記表層血管の密集があること、前記粘膜内出血の検出量が粘膜内出血用閾値以上であること、前記粘膜外出血の検出量が粘膜外出血用閾値以上であること、及び、前記粘膜内出血の検出量と前記粘膜外出血の検出量の和が粘膜内外出血用閾値以上であることのいずれも満たさない場合に、前記潰瘍性大腸炎が寛解であると判定する請求項3ないし5いずれか1項記載の画像処理装置。
  7. 前記医療画像は、短波長の光を含む照明光によって照明された前記観察対象を撮像して得られる請求項1ないし6いずれか1項記載の画像処理装置。
  8. 前記照明光は、中心波長又はピーク波長に410nmが含まれる紫色光である請求項7記載の画像処理装置。
  9. 前記照明光は、前記短波長の光としての青色狭帯域光と緑色狭帯域光であり、
    前記医療画像は、前記青色狭帯域光と前記緑色狭帯域光とが交互に照明された前記観察対象を撮像して得られる請求項7記載の画像処理装置。
  10. 前記照明光は、前記短波長の光と、励起光を蛍光体に照射して得られる蛍光とを含む疑似白色光である請求項7記載の画像処理装置。
  11. 前記照明光は、前記短波長の光としての紫色光と、青色光、緑色光、又は赤色光とを含む請求項7記載の画像処理装置。
  12. ロセッサが、
    観察対象を撮像して得られる医療画像を取得する画像取得ステップと、
    前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、又は、前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う判定ステップを備え、
    前記粘膜外出血は、空間周波数が前記粘膜内出血よりも低周波である画像処理装置の作動方法。
  13. プロセッサが、
    観察対象を撮像して得られる医療画像を取得する画像取得ステップと、
    前記医療画像から得られる表層血管の密集、粘膜内出血、及び粘膜外出血に基づいて、潰瘍性大腸炎のステージに関する指標値を算出すること、前記潰瘍性大腸炎のステージを判定すること、又は、前記潰瘍性大腸炎の寛解又は非寛解を判定することのうち少なくとも1つを行う判定ステップを備え、
    前記判定ステップにおいて前記プロセッサが前記潰瘍性大腸炎の寛解又は非寛解を判定する場合には、
    前記判定ステップでは、
    前記プロセッサが、
    前記医療画像から周波数成分空間分布を算出するステップと、
    前記周波数成分空間分布に基づいて、第1周波数特性を有する第1周波数特性領域を抽出し、前記第1周波数特性よりも高い周波数を持つ第2周波数特性を有する第2周波数特性領域を抽出し、前記第2周波数特性よりも高い周波数を持つ第3周波数特性を有する第3周波数特性領域を抽出するステップと、
    輝度値を用いる第1領域判別処理を施した前記第1周波数特性領域、輝度値を用いる第2領域判別処理を施した前記第2周波数特性領域、及び前記第3周波数特性領域に基づいて、前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血を検出するステップと、
    検出された前記表層血管の密集、前記粘膜内出血、及び前記粘膜外出血に基づいて、前記潰瘍性大腸炎の寛解又は非寛解を判定するステップを有する像処理装置の作動方法。
JP2021515923A 2019-04-23 2020-03-31 画像処理装置及びその作動方法 Active JP7116254B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019082245 2019-04-23
JP2019082245 2019-04-23
PCT/JP2020/014840 WO2020217883A1 (ja) 2019-04-23 2020-03-31 画像処理装置及びその作動方法

Publications (2)

Publication Number Publication Date
JPWO2020217883A1 JPWO2020217883A1 (ja) 2020-10-29
JP7116254B2 true JP7116254B2 (ja) 2022-08-09

Family

ID=72942306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515923A Active JP7116254B2 (ja) 2019-04-23 2020-03-31 画像処理装置及びその作動方法

Country Status (5)

Country Link
US (1) US11957483B2 (ja)
EP (1) EP3960065A4 (ja)
JP (1) JP7116254B2 (ja)
CN (1) CN113784654B (ja)
WO (1) WO2020217883A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021079691A1 (ja) * 2019-10-23 2021-04-29 富士フイルム株式会社 画像処理装置及びその作動方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014023591A (ja) 2012-07-24 2014-02-06 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡画像の表示制御方法
WO2018079217A1 (ja) 2016-10-27 2018-05-03 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2019037688A (ja) 2017-08-29 2019-03-14 富士フイルム株式会社 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP2019042157A (ja) 2017-09-01 2019-03-22 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2427322C1 (ru) * 2010-02-24 2011-08-27 Федеральное государственное учреждение "Нижегородский научно-исследовательский институт детской гастроэнтерологии Федерального агентства по высокотехнологичной медицинской помощи" (ФГУ "ННИИДГ Росмедтехнологии") Способ определения степени активности воспалительного процесса при неспецифическом язвенном колите у детей
JP6371613B2 (ja) 2014-07-09 2018-08-08 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
RU2601116C1 (ru) * 2015-10-26 2016-10-27 государственное бюджетное образовательное учреждение высшего профессионального образования "Пермский государственный медицинский университет имени академика Е.А. Вагнера" Министерства здравоохранения Российской Федерации Способ диагностики степени тяжести атаки у пациентов с язвенным колитом
WO2019195146A1 (en) * 2018-04-03 2019-10-10 Boston Scientific Scimed, Inc. Systems and methods for diagnosing and/or monitoring disease

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014023591A (ja) 2012-07-24 2014-02-06 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡画像の表示制御方法
WO2018079217A1 (ja) 2016-10-27 2018-05-03 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2019037688A (ja) 2017-08-29 2019-03-14 富士フイルム株式会社 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP2019042157A (ja) 2017-09-01 2019-03-22 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石川秀樹,潰瘍性大腸炎の治癒判定に関する問題点,Gastroenterological Endoscopy,日本,日本消化器内視鏡学会,1990年01月20日,Vol.32, No.1,p.262-263

Also Published As

Publication number Publication date
US11957483B2 (en) 2024-04-16
EP3960065A4 (en) 2022-09-14
CN113784654B (zh) 2024-10-11
WO2020217883A1 (ja) 2020-10-29
EP3960065A1 (en) 2022-03-02
US20220039743A1 (en) 2022-02-10
CN113784654A (zh) 2021-12-10
JPWO2020217883A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
JP6285383B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
JP7203477B2 (ja) 内視鏡システム及びその作動方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN110868908B (zh) 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP7196330B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
US20230029239A1 (en) Medical image processing system and method for operating medical image processing system
JP6979510B2 (ja) 内視鏡システム及びその作動方法
US11969152B2 (en) Medical image processing system
JP7116254B2 (ja) 画像処理装置及びその作動方法
WO2018061620A1 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
CN112137564A (zh) 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法
US12051201B2 (en) Image processing device capable of accurately determining ulcerative colitis by using a medical image and method of operating the same
US20220117474A1 (en) Image processing apparatus, endoscope system, and operation method of image processing apparatus
CN111712178A (zh) 内窥镜系统及其工作方法
JP7312843B2 (ja) 内視鏡システム及びその作動方法
CN111683583B (zh) 内窥镜系统及其工作方法
JP7052003B2 (ja) 内視鏡システム
JP7411515B2 (ja) 内視鏡システム及びその作動方法
JP7337190B2 (ja) 内視鏡システム及びその作動方法
JP2016067781A (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法
JP2022160298A (ja) 医用画像処理装置及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220728

R150 Certificate of patent or registration of utility model

Ref document number: 7116254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150