JPWO2016139768A1 - 画像処理装置、生体観察装置および画像処理方法 - Google Patents

画像処理装置、生体観察装置および画像処理方法 Download PDF

Info

Publication number
JPWO2016139768A1
JPWO2016139768A1 JP2017503267A JP2017503267A JPWO2016139768A1 JP WO2016139768 A1 JPWO2016139768 A1 JP WO2016139768A1 JP 2017503267 A JP2017503267 A JP 2017503267A JP 2017503267 A JP2017503267 A JP 2017503267A JP WO2016139768 A1 JPWO2016139768 A1 JP WO2016139768A1
Authority
JP
Japan
Prior art keywords
fat
image
unit
color component
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017503267A
Other languages
English (en)
Other versions
JP6473222B2 (ja
Inventor
恵仁 森田
恵仁 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016139768A1 publication Critical patent/JPWO2016139768A1/ja
Application granted granted Critical
Publication of JP6473222B2 publication Critical patent/JP6473222B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4869Determining body composition
    • A61B5/4872Body fat
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051Details of CCD assembly
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

個人差に関わらず脂肪を安定して見分けることを可能とし、対象臓器を取り囲んでいる神経の損傷を未然に防止することを目的として、生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出部18と、該脂肪画像領域抽出部18により抽出された脂肪画像領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出部23と、該脂肪色成分検出部23により検出された脂肪色成分量に基づいて、脂肪画像領域抽出部18により抽出された脂肪画像領域の信号強度を補正する補正部24とを備える画像処理装置16である。

Description

本発明は、画像処理装置、生体観察装置および画像処理方法に関するものである。
血液に含まれるヘモグロビンに吸収されやすい狭帯域化された波長の照明光を照射し、粘膜表面の毛細血管等を強調表示する狭帯域光観察(NBI)が知られている(例えば、特許文献1参照。)。
この狭帯域光観察は、食道領域の詳細診断や大腸のピットパターン(腺管構造)観察のために広く行われている色素散布の代替観察法として期待され、検査時間や不必要な生検の減少によって、検査の効率化への貢献が期待されている。
しかしながら、狭帯域光観察は、血管の強調表示を行うことはできるが、神経を強調表示することは困難である。
例えば、直腸全摘出手術や前立腺全摘出手術において神経の温存を行う場合は、対象臓器を摘出する際に、対象臓器を取り囲むように分布している神経を傷つけないように対象臓器を露出させて摘出する必要がある。しかし、直径50から300μmの細い神経は、白色あるいは透明であるため、腹腔鏡による拡大観察でも観察することが困難である。このため、医師が経験や勘に頼って手術せざるを得ず、神経を損傷してしまう可能性が高いという不都合がある。
この不都合を解消するために、摘出対象等の対象臓器の表面の組織の構造を見やすくして、対象臓器を取り囲んでいる神経の損傷を未然に防止する生体観察装置が提案されている(例えば、特許文献2参照。)。この特許文献2では、対象臓器を取り囲む神経が脂肪層内に存在していることに着目し、脂肪に含まれるβカロテンと、血液中のヘモグロビンとが、それぞれ異なる波長帯域の吸収特性であるため、対応する波長帯域の照射光を照射して、脂肪を見分け易い画像を取得し、脂肪層内に分布する神経に損傷を与えないように手術を行うことができる。
特開2011−224038号公報 国際公開第2013/115353号パンフレット
ところで、生体内に存在する脂肪の色には、人種や食生活等の違いによる個人差がある。例えば、脂肪に含まれるβカロテンの量が多い人は脂肪の黄色みが強く見え、逆に脂肪に含まれるβカロテンの量が少ない人は脂肪が白っぽく見える。すなわち、手術の際の脂肪の見分け易さは患者毎に相違するため、医師が脂肪を安定して見分けることが困難となる場合がある。
本発明は上述した事情に鑑みてなされたものであって、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる画像処理装置、生体観察装置および画像処理方法を提供することを目的としている。
本発明の一態様は、生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出部と、該脂肪画像領域抽出部により抽出された脂肪画像領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出部と、該脂肪色成分検出部により検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出部により抽出された脂肪画像領域の信号強度を補正する補正部とを備える画像処理装置である。
本態様によれば、脂肪画像領域抽出部により、入力された生体組織画像から脂肪画像領域が抽出され、脂肪色成分検出部により、脂肪の色を決定する脂肪色成分量が検出される。生体内に存在する脂肪の色には、人種や食生活等の違いによる個人差がある。例えば、脂肪に含まれるβカロテンの量が多い人は脂肪の黄色みが強く見え、逆に脂肪に含まれるβカロテンの量が少ない人は脂肪が白っぽく見える。したがって、補正部が、検出された脂肪色成分量に基づいて脂肪画像領域の信号強度を補正することにより、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる。
また、本発明の他の態様は、生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出部と、前記生体組織画像中における脂肪が他の組織に覆われることなく露出している露出脂肪領域を操作者に指定させる露出脂肪領域指定部と、該露出脂肪領域指定部により指定された露出脂肪領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出部と、該脂肪色成分検出部により検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出部により抽出された脂肪画像領域の信号強度を補正する補正部とを備える画像処理装置である。
本態様によれば、脂肪画像領域抽出部により、入力された生体組織画像から脂肪画像領域が抽出され、露出脂肪領域指定部により、入力された生体組織画像中における露出脂肪領域が操作者により指定される。そして、脂肪色成分検出部により、指定された露出脂肪領域から、脂肪の色を決定する脂肪色成分量が検出される。補正部が、検出された脂肪色成分量に基づいて脂肪画像領域の信号強度を補正することにより、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる。脂肪色成分量を露出脂肪領域から検出するので、他の組織の影響を受けることなく安定して脂肪色成分量を検出でき、脂肪を安定して見分けることができる。
上記態様においては、前記脂肪画像領域抽出部により抽出された脂肪画像領域から、脂肪が他の組織に覆われることなく露出している露出脂肪領域を検出する露出脂肪検出部を備え、前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域に基づいて脂肪色成分量を検出してもよい。
このようにすることで、脂肪画像領域抽出部により抽出された脂肪画像領域から露出脂肪領域が自動的に検出され、他の組織の影響を受けることなく安定して脂肪色成分量を検出でき、脂肪を安定して見分けることができる。
また、上記態様においては、前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域から適正露光の画素を抽出し、抽出された適正露光の画素に基づいて脂肪色成分量を検出してもよい。
このようにすることで、露出脂肪検出部により検出された露出脂肪領域の内、適正露光の画素を脂肪色成分量の検出対象とするので、生体画像中の暗部や明部が除かれた露出脂肪領域に基づいて脂肪色成分量を精度よく検出することができる。
また、上記態様においては、前記脂肪色成分量の基準値を記憶する記憶部を備え、前記脂肪色成分検出部が、前記脂肪画像領域における画素毎の前記脂肪色成分量と前記基準値との平均値を出力するとともに、前記平均値によって前記記憶部に記憶されている前記基準値を更新してもよい。
このようにすることで、複数画素からなる脂肪画像領域から画素毎に検出された脂肪色成分量が記憶部に記憶されている基準値とともに平均されて出力される。脂肪色成分量を平均することで、ノイズ成分を除去して安定した脂肪色成分量を算出できるとともに、基準値とともに平均されることで、蓄積された過去のデータを利用して、脂肪色成分量の検出精度を向上することができる。記憶部には、適当な基準値あるいは実験的にあるいは経験的に求められた基準値が初期値として記憶されており、新たな脂肪色成分量が検出される毎に更新されることで、データを蓄積することができる。
また、上記態様においては、前記脂肪色成分量の基準値を記憶する記憶部を備え、前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域が所定の画素数以上の範囲にわたって存在している場合に、前記脂肪画像領域における画素毎の前記脂肪色成分量と前記基準値との平均値を出力するとともに、該平均値によって前記記憶部に記憶されている前記基準値を更新してもよい。
このようにすることで、生体組織画像中に露出脂肪が少ない場合には、検出される脂肪色成分の信頼性が低くなる可能性が高いので、これを除外することにより、信頼性の高い脂肪色成分量を検出することができ、かつ、そのようにして検出された信頼性の高い脂肪色成分量を、次の画像処理時にも利用することができる。
また、上記態様においては、前記生体組織画像が、時間軸方向に配列された複数枚のフレーム画像を備え、前記脂肪色成分検出部が、さらに複数のフレーム画像における前記脂肪色成分量の平均値を出力してもよい。
このようにすることで、時系列に取得された複数のフレーム画像において検出された脂肪色成分量が平均されるので、ノイズ成分をより確実に除去することができる。
また、上記態様においては、前記脂肪色成分検出部により検出された前記脂肪色成分量と前記記憶部に記憶されている基準値との差が所定の閾値より大きい場合には、当該脂肪色成分量を平均値の算出対象から除外してもよい。
このようにすることで、記憶部に記憶されている基準値との差が大きい場合には、基準値との平均値を大きく変動させることになるのでエラー値としてはじくことにより、脂肪成分量を安定的に検出することができる。
また、上記態様においては、前記所定の閾値が、前記平均値の算出回数に応じて漸次小さく設定されてもよい。
このようにすることで、脂肪色成分量を検出する回数が増加するにしたがって、基準値との差が小さくなってもエラー値としてはじかれるものが増加するので、検出される脂肪色成分量の変動を低減して、より安定した検出を行うことができる。
また、上記態様においては、前記脂肪色成分検出部が、脂肪に含まれるカロテン量を検出してもよい。
このようにすることで、脂肪の色を決定する脂肪色成分としてカロテン量が検出され、より確実に、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる。
また、上記態様においては、前記生体組織画像が、450から500nmに含まれる波長帯域の反射光を撮影した特殊光画像であってもよい。
このようにすることで、450から500nmに含まれる青色の波長帯域においては、他の青色の波長帯域と比較して、βカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域である。このため、この波長帯域の反射光を撮影した特殊光画像では、血管による吸収の影響が小さく、脂肪組織による吸収が大きい。したがって、この特殊光画像からカロテン量を精度よく検出することができる。
また、上記態様においては、前記生体組織画像として、白色光画像と、450から500nmに含まれる波長帯域の反射光を撮影した特殊光画像とが入力され、前記脂肪画像領域抽出部が、前記白色光画像に基づいて前記脂肪画像領域を抽出し、前記脂肪色成分検出部が、前記特殊光画像に基づいて、前記脂肪色成分量を検出してもよい。
このようにすることで、生体観察に使用される白色光画像によって、簡易に露出脂肪領域を抽出でき、抽出された露出脂肪領域における脂肪色成分量を特殊光画像に基づいて精度よく検出することができる。
また、上記態様においては、前記補正部により信号強度が補正された脂肪画像領域に対し、周辺組織から区別可能な強調処理を行って前記脂肪画像領域が強調された画像を生成する脂肪強調部を備えていてもよい。
このようにすることで、脂肪強調部により周辺組織から脂肪画像領域を区別し、脂肪の色によらず安定した強調画像を取得することができる。
また、本発明の他の態様は、生体組織に照明光を照射する照射部と、該照射部により照射された照明光が生体組織により反射された反射光の内、βカロテンの吸収特性がヘモグロビンの吸収特性よりも高い波長帯域の反射光を撮影して前記生体組織画像を取得する撮像部と、該撮像部により取得された前記生体組織画像を処理する上記の画像処理装置と、前記脂肪強調部により形成された画像を表示する表示部とを備える生体観察装置である。
本態様によれば、照明光が照射部から生体組織に照射され、生体組織において反射された反射光が撮像部により撮影される。撮像部は、βカロテンの吸収特性がヘモグロビンの吸収特性よりも高い波長帯域の反射光を撮影するので、血管の存在による影響が少なく、脂肪の存在により影響を受けた生体組織画像を取得することができる。そして、このようにして取得された生体組織画像から抽出された脂肪画像領域からカロテン量を精度よく検出することができ、検出されたカロテン量に基づいて、脂肪画像領域の信号強度を補正することができる。これにより、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる。
また、本発明の他の態様は、生体組織に照明光を照射する照射部と、該照射部により照射された照明光が生体組織により反射された反射光を撮影して前記生体組織画像を取得する撮像部と、上記画像処理装置とを備える生体観察装置である。
上記態様においては、前記撮像部が、生体組織の白色光画像と450から500nmに含まれる波長帯域の反射光を撮影した特殊光画像とを取得し、前記露出脂肪領域指定部が、前記白色光画像内において前記露出脂肪領域を操作者に指定させ、前記脂肪色成分検出部が、前記特殊光画像に基づいて、前記脂肪色成分量を検出してもよい。
また、本発明の他の態様は、生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出ステップと、該脂肪画像領域抽出ステップにより抽出された脂肪画像領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出ステップと、該脂肪色成分検出ステップにより検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出ステップにより抽出された脂肪画像領域の信号強度を補正する補正ステップとを含む画像処理方法である。
本発明によれば、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができるという効果を奏する。
本発明の第1の実施形態に係る生体観察装置を示す模式的な全体構成図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図1の生体観察装置のカラーCCDに備えられたカラーフィルタの透過率特性を示す図である。 図1の生体観察装置のキセノンランプの光強度特性を示す図である。 図1の生体観察装置の特殊光観察モードにおいて使用されるフィルタの透過率特性を示す図である。 図1の生体観察装置に備えられる画像処理装置を示すブロック図である。 図1の生体観察装置を用いた画像処理方法を示すフローチャートである。 図4の画像処理方法の脂肪強調処理を詳細に示すフローチャートである。 本発明の第2の実施形態に係る生体観察装置を示す模式的な全体構成図である。 図6の生体観察装置に備えられたフィルタターレットにおける各フィルタの配置を示す正面図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図7の生体観察装置の白色光観察モードにおけるフィルタの透過率特性を示す図である。 図7の生体観察装置の特殊光観察モードにおけるフィルタの透過率特性を示す図である。 図6の生体観察装置の第1の変形例を示す模式的な全体構成図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図9の生体観察装置の白色光観察モードにおいて使用されるLEDの光強度特性を示す図である。 図9の生体観察装置の特殊光観察モードにおいて使用されるLEDの光強度特性を示す図である。 図6の生体観察装置の第2の変形例を示す模式的な全体構成図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図11の生体観察装置の色分解プリズムの分光透過率特性を示す図である。 図11の生体観察装置のキセノンランプの光強度特性を示す図である。 図11の生体観察装置の特殊光観察モードにおいて使用されるフィルタの透過率特性を示す図である。
本発明の第1の実施形態に係る画像処理装置(画像処理部)16およびこれを備える生体観察装置1について、図面を参照して以下に説明する。
まず、本実施形態に係る生体観察装置1は、内視鏡であって、図1に示されるように、生体内に挿入される挿入部2と、該挿入部2に接続された光源部(照射部)3および信号処理部4を備える本体部5と、該信号処理部4により生成された画像を表示する画像表示部(表示部)6と、外部I/F部13とを備えている。
挿入部2は、光源部3から入力された光を被写体に向けて照射する照明光学系7と、被写体からの反射光を撮影する撮影光学系(撮像部)8とを備えている。照明光学系7は、挿入部2の長手方向の全長にわたって配置され、基端側の光源部3から入射されてきた光を先端まで導光するライトガイドケーブルである。
撮影光学系8は、照明光学系7により照射された光の被写体からの反射光を集光する対物レンズ9と、該対物レンズ9により集光された光を撮影する撮像素子10とを備えている。
撮像素子10は、例えば、カラーCCDである。
光源部3は、広い波長帯域の白色光を射出するキセノンランプ11と、該キセノンランプ11から発せられた白色光から所定の波長の光を切り出すために、キセノンランプ11からの光の光軸上に挿脱可能な短波長カットフィルタ21と、後述する制御部17によって制御され該短波長カットフィルタ21を光軸に挿脱する直動機構22とを備えている。
短波長カットフィルタ21は、図2Dに示されるように、450nmより短い波長帯域の光を遮断し450nm以上の波長帯域の光を透過するようになっている。
撮像素子10は、図2Bに示されるように、色毎の透過率を有するカラーフィルタ(図示略)を備えている。
また、キセノンランプ11は、図2Cおよび図12Cに示されるような強度スペクトルを有している。
ここで、図2A、図8A、図10Aおよび図12Aに示されるように、生体組織に含まれるβカロテンは、400から500nmの領域に高い吸収特性を有している。また、血液中の成分であるヘモグロビン(HbO、HbO)は、450nm以下の波長帯域および、500から600nmの波長帯域において高い吸収特性を有している。
すなわち、撮像素子10のカラーフィルタの青色の波長帯域は、ヘモグロビンによる吸収の方がβカロテンによる吸収より大きくなる波長帯域と、βカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域とを含んでいる。そして、短波長カットフィルタ21を光軸上に挿入することにより、青色の波長帯域においてはβカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域の光のみが通過して、被写体に照射されるようになっている。
そして、この光を照射して得られる画像は、血管(ヘモグロビン)による吸収の影響が少なく、脂肪組織(βカロテン)による吸収が多い。一方、短波長カットフィルタ21を光軸上から離脱させることにより、青色の全波長帯域の光が被写体に照射されるので、同時に照射される赤色および緑色の光とともに白色光画像を取得することができるようになっている。
また、緑色の波長帯域においては、βカロテンによる吸収はなく、ヘモグロビンによる吸収が存在する領域であるため、この光を照射して得られる画像中において強度の低い領域は血液の存在する領域、例えば、血管であることを示すものとなる。
さらに、赤色の波長帯域においては、βカロテンおよびヘモグロビンの吸収は共に存在しないので、この光を照射して得られた画像は、生体組織表面の形態的特徴を表したものとなる。
信号処理部4は、撮像素子10により取得された画像信号を処理する補間部15と、該補間部15により処理された画像信号を処理する画像処理部(画像処理装置)16とを備えている。また、信号処理部4には制御部17が設けられている。制御部17は、外部I/F部13からの指示信号に基づいて、撮像素子10による撮影タイミング、短波長カットフィルタ21の挿脱および画像処理部16による画像処理のタイミングを同期させるようになっている。
補間部15は、撮像素子10の各色に対応する画素により取得されたカラー画像を、公知のデモザイキング処理により3チャネル化するようになっている。
画像処理部16は、図3に示されるように、前処理部14と、脂肪画像生成部(脂肪画像領域抽出部)18と、露出脂肪検出部19と、記憶部20と、カロテン量算出部(脂肪色成分検出部)23と、補正部24と、後処理部25と、脂肪強調部26とを備えている。
前処理部14は、補間部15から入力されてきた3チャネルの画像信号に対し、制御部17に予め保存されているOB(Optical Black)クランプ値、ゲイン補正値、WB(White Balance)係数値を用いてOBクランプ処理、ゲイン補正処理、WB補正処理を行うようになっている。
脂肪画像生成部18は、前処理部14により処理された画像信号に基づいて、脂肪画像信号を生成するようになっている。画像信号は、青色、緑色および赤色の3種類の照明光に対する画像信号を含んでいる。脂肪画像生成部18は、この3チャネルの画像信号から1チャネルの脂肪画像信号を生成するようになっている。脂肪画像信号は被写体に含まれるβカロテン量が多いほど、高い信号値になる信号である。
露出脂肪検出部19は、脂肪画像生成部18から送られてきた脂肪画像信号から露出脂肪領域を検出するようになっている。ここで、露出脂肪とは、脂肪の上に血液(ヘモグロビン)や生体組織(筋膜)が載っていない状態のものを指す。露出脂肪領域の検出方法は、予め設定された基準値を超える信号値を有する画素を露出脂肪領域として検出するものである。
具体的には、露出脂肪検出部19は、脂肪画像信号から最大値を検出する。検出された最大値は、予め内部メモリ(図示略)に記憶しておいた露出脂肪値と比較される。比較の結果、最大値が露出脂肪値より大きい場合には、内部メモリ内の露出脂肪値を検出された最大値に書き換えて記憶するようになっている。次に、露出脂肪検出部19は、脂肪画像信号から露出脂肪値より所定の閾値分を減算した値を基準値として、基準値より大きい信号値を有する画素を露出脂肪領域として検出し、その座標を出力するようになっている。
ここで、露出脂肪検出処理は、後述する外部I/F部13から検出処理のオン/オフ指示信号が制御部17を介して入力されることにより実施されるようになっている。オン/オフ指示信号がオンである場合に、露出脂肪検出処理を行い、オン/オフ指示信号がオフの場合には、露出脂肪検出部19は検出処理を行わないようになっている。
記憶部20は、露出脂肪のカロテン量を記憶するようになっている。記憶部20は、制御部17に予め保存されている既知のカロテン量を初期値として保存している。既知のカロテン量は、平均的な脂肪のカロテン量であってもよいし、サーバ上の患者情報データベースから読み出すことにしてもよい。
カロテン量算出部23は、まず、露出脂肪検出部19から送られてきた露出脂肪領域として検出された画素の座標における脂肪画像信号の平均値を算出するようになっている。ここで、平均値を求める画素には、適正露光の画素のみが使用されるようになっている。具体的には、カロテン量算出部23は、前処理部14による画像処理後の画像信号から輝度信号を算出し、暗過ぎずかつ明る過ぎない画素を適正露光画素として抽出するようになっている。
次いで、カロテン量算出部23は、記憶部20に記憶されているカロテン量を読み出し、算出された脂肪画像信号の平均値との間でさらに平均をとるようなっている。そして、算出されたカロテン量の平均値は、記憶部20に送られるようになっている。
ここで、カロテン量算出部23は、記憶部20から読み出したカロテン量と、算出された脂肪画像信号の平均値との差が所定値より大きい場合には、算出された脂肪画像信号の平均値を、記憶部20から読み出したカロテン量との間で平均をとる対象から除外するようになっている。平均値の算出対象から除外された場合には、平均値の算出は行われないので、記憶部20におけるカロテン量の更新も行われない。
所定値は、手術開始時には大きくしておき、露出脂肪の検出回数が増えるに従って緩やかに小さくしていくようになっている。
また、カロテン量算出部23は、平均値の算出に用いる画素数が少ない場合も、算出された脂肪画像信号の平均値を、記憶部20から読み出したカロテン量との間で平均をとる対象から除外するようになっており、記憶部20におけるカロテン量の更新は行われない。
補正部24は、脂肪画像生成部18において生成された脂肪画像信号を記憶部20に記憶されているカロテン量に基づいて補正するようになっている。ここでは、補正部24は、カロテン値とゲインとの対応マップを保持していて、カロテン量が大きいほど脂肪画像信号の信号値に小さいゲインを乗算し、カロテン量が小さいほど脂肪画像信号の信号値に大きいゲインを乗算するようになっている。
後処理部25は、前処理部14から入力されてきた画像信号に対して、制御部17に予め保存されている階調変換係数や色変換係数、輪郭強調係数を用いて、階調変換処理や色処理、輪郭強調処理を行い、画像表示部6に表示するためのカラー画像を生成するようになっている。
脂肪強調部26は、補正部24により補正された露出脂肪画像に基づいて、後処理部25から入力されてきた脂肪画像信号の強調処理を行うようになっている。補正後の脂肪画像信号の信号値が所定の閾値より高い領域に対しては画像信号の色強調を行うようになっている。また、外部I/F部13から制御部17を介して入力された脂肪強調処理のオン/オフ指示信号がオフの場合には、脂肪強調部26は強調処理を行わずに、後処理部25から入力されてきた画像信号をそのまま画像表示部6に送るようになっている。オン/オフ指示信号がオンの場合には、脂肪強調処理後の画像信号を画像表示部6に送るようになっている。
画像表示部6は、動画表示可能な表示装置であり、例えば、CRTや液晶モニタ等により構成されている。
外部I/F部13は、操作者からの入力を行うためのインタフェースであり、脂肪強調処理のオン/オフ指示を行うことができる強調処理ボタン(図示略)を備えている。操作者は、強調処理ボタンを操作することにより、制御部17に対して脂肪強調処理のオン/オフ指示信号を入力することができるようになっている。外部I/F部13には、電源のオン/オフを行う電源スイッチや、撮影モードやその他の各種モードを切り替えるためのモード切替ボタンが備えられている。
このように構成された本実施形態に係る生体観察装置1および画像処理装置16を用いた画像処理方法について、以下に説明する。
本実施形態に係る生体観察装置1を用いて生体を観察するには、図4および図5に示されるように、まず、挿入部2を体腔内に挿入し、挿入部2の先端を観察対象部位に対向させた状態で、制御部17の作動により直動機構22を作動させて短波長カットフィルタ21を光軸上から退避させる。この状態で、キセノンランプ11から発せられた広い波長帯域の白色光を、ライトガイドケーブル7を介して挿入部2の先端に導光し、生体組織に照射させる(照明光照射ステップS1)。
照射された白色光は、生体組織の表面において反射され、対物レンズ9によって集光され、撮像素子10によって撮影される(画像信号取得ステップS2)。カラーCCDからなる撮像素子10は、色毎の透過率を有するカラーフィルタを備えているので、各色に対応する画素により、それぞれ画像信号が取得される。取得された画像信号は、補間部15においてデモザイキング処理を施されて3チャネルの画像信号に変換された後、前処理部14、後処理部25および脂肪強調部26を介して白色光画像として生成され画像表示部6に表示される。
前処理部14においては、補間部15から入力されてきた3チャネルの画像信号に対し、制御部17に予め保存されているOBクランプ値、ゲイン補正値、WB係数値を用いた前処理(例えば、OBクランプ処理、ゲイン補正処理およびWB補正処理等、前処理ステップS3)が行われる。また、後処理部25においては、前処理部14から入力されてきた前処理後の画像信号に対して、制御部17に予め保存されている階調変換係数や色変換係数、輪郭強調係数を用いて、後処理(例えば、階調変換処理や色処理、輪郭強調処理等、後処理ステップS4)が行われ、外部I/F部13からの脂肪強調処理のオン/オフ指示信号を判定し(脂肪強調判定ステップS5)、画像表示部6に表示する(表示ステップS7)ための白色光画像が生成される。
外部I/F部13からの脂肪強調処理のオン/オフ指示信号はオフなので、脂肪強調部26では処理は行われない。この観察モードを白色光観察モードという。
この白色光観察モードにおいては、操作者は、画像表示部6に表示される白色光画像により生体組織の形態を観察することができる。
操作者が、外部I/F部13から脂肪強調処理のオン/オフ指示信号をオンに切り替えると、制御部17が直動機構22を作動させて短波長カットフィルタ21を光軸上に挿入する。
キセノンランプ11から発せられた白色光は、短波長カットフィルタ21を透過することにより、450nm以下の波長帯域がカットされ、ライトガイドケーブル7を介して挿入部2の先端に導光され、生体組織に照射される(照明光照射ステップS1)。照射された照明光は生体組織の表面において反射され、対物レンズ9によって集光され、撮像素子10によって撮影される(画像信号取得ステップS2)。この観察モードを特殊光観察モードという。
撮像素子10の緑色および赤色に対応する画素により取得される画像信号は、白色光観察モードの場合と変わらないが、青色に対応する画素により取得される画像信号は、450nm以下の波長帯域がカットされ、450から500nmに含まれる波長帯域の信号となる。
取得された画像信号は、補間部15においてデモザイキング処理を施されて3チャネルの画像信号に変換された後、画像処理部16において画像処理される。
具体的には、補間部15から画像処理部16に入力された3チャネルの画像信号は、前処理部14において前処理(前処理ステップS3)された後に、後処理部25、脂肪画像生成部18およびカロテン量算出部23に入力される。後処理部25における後処理(後処理ステップS4)は白色光観察モードにおける場合と同様である。脂肪画像生成部18においては、前処理部14において処理された3チャネルの画像信号から1チャネルの脂肪画像信号が生成される。
この特殊光観察モードにおける青色の450から500nmの波長帯域B1は、短波長カットフィルタ21によってカットされた400から450nmの波長帯域B0と比較して、βカロテンの吸収がヘモグロビンの吸収より大きい波長帯域である。したがって、この波長帯域B1の光を照射して得られる画像は、波長帯域B0の光を照射して得られる画像と比べ、血液による吸収の影響が小さく、脂肪による吸収の影響が大きい、つまり、脂肪の分布をより反映した画像を得ることができる。
また、緑色の波長帯域は、βカロテンの吸収はなく、ヘモグロビンの吸収が大きい波長帯域である。したがって、この波長帯域の光を照射して得られる画像において輝度が小さい領域は、脂肪の存在に拘わらず、血液が存在している領域が示されているということができる。つまり、血液や血管など、ヘモグロビンを多く含む組織を明確に表示することができる。
さらに、赤色の波長帯域は、βカロテンにもヘモグロビンにも吸収がない波長帯域である。したがって、この波長帯域の光を照射して得られる画像は、生体表面の形態的特徴に基づく輝度分布が示されているということができる。
そして、後処理部25における後処理(後処理ステップS4)後、処理脂肪強調処理のオン/オフ指示信号を判定し(脂肪強調判定ステップS5)、このとき、指示信号がオンであるため画像強調処理を実行する(画像強調処理ステップS6)。
脂肪画像生成部18においては、特殊光観察モードにおいて取得された3チャネルの画像信号に基づいて、カロテン量が多いほど高くなる1チャネルの脂肪画像信号が生成される(脂肪画像領域抽出ステップS601)。
脂肪画像生成部18において生成された脂肪画像信号は、露出脂肪検出部19、カロテン量算出部23および補正部24に送られる。
露出脂肪検出部19においては、所定の閾値SH1以上の値の脂肪画像信号を有する画素が抽出されることにより、脂肪が他の組織に覆われることなく露出している露出脂肪領域が検出される(露出脂肪領域抽出ステップS602)。
露出脂肪検出部19において検出された露出脂肪領域を構成する各画素の座標は、カロテン量算出部23に送られる。
カロテン量算出部23においては、まず、露出脂肪検出部19から送られてきた露出脂肪領域を構成する画素数が所定の閾値SH1より大きいか否かが判定され(画素数判定ステップS603)、所定の閾値SH1以下の場合には平均値の算出は行われない。露出脂肪領域を構成する画素数が所定の閾値SH1より大きい場合には、前処理部14から送られてきた3チャネルの画像信号から輝度信号が算出され(輝度信号算出ステップS604)、暗過ぎずかつ明る過ぎない画素が適正露光画素として抽出される(適正露光画素抽出ステップS605)。そして、カロテン量算出部23は、脂肪画像生成部18において生成された脂肪画像信号の内、露出脂肪検出部19において露出脂肪領域として検出され、かつ、適正露光画素として抽出された画素の座標における脂肪画像信号の平均値(第1の平均値)を算出する(第1の平均値算出ステップS606)。
これにより、露出脂肪領域が狭くデータ数が少ない場合や、適正露光ではない画素を含む場合に、信頼性の低い第1の平均値が算出されてしまうことを防止して、カロテン量の算出精度を向上することができる。
また、カロテン量算出部23は、記憶部20に記憶されているカロテン量の値を読み出し(カロテン量読出ステップS607)、第1の平均値との間でさらに平均値(第2の平均値)を算出する(第2の平均値算出ステップS610、脂肪色成分検出ステップ)。そして、カロテン量算出部23は、算出された第2の平均値を記憶部20に送り、記憶部20において、記憶されているカロテン量の値が更新される(カロテン量更新ステップS611)。
この場合において、カロテン量算出部23においては、算出された第1の平均値と記憶部20に記憶されているカロテン量との差分値が算出され(差分値算出ステップS608)、差分値が所定の閾値SH2より大きいか否かが判定される(差分値判定ステップS609)。差分値が所定の閾値SH2より大きい場合には、第2の平均値の算出(第2の平均値算出ステップS610)を行わず、また、記憶部20におけるカロテン量の更新(カロテン量更新ステップS611)も行わず、後述する脂肪画像領域抽出ステップS612に移行する。これにより、信頼性の低いデータに基づいて算出されたカロテン量により記憶部20におけるカロテン量が更新されてしまう不都合を防止することができる。
また、上記閾値SH2は、観察開始時には大きく設定されており、算出回数が増加するとともに緩やかに減少させられていくので、観察が進行するに従って、差分値が小さい場合でも第2の平均値の算出対象から除外されることになり、記憶部20に記憶されているカロテン量の変動を抑えることができる。
補正部24においては、脂肪画像生成部18において検出された脂肪画像信号(脂肪画像領域抽出ステップS612)が、記憶部20に記憶されているカロテン量に基づいて補正される(脂肪画像信号補正ステップS614、補正ステップ)。補正部24においては、記憶部20に記憶されているカロテン量が読み出され、カロテン量に対応して記憶されているゲインが読み出され(ゲイン読出ステップS613)、脂肪画像信号に乗算される。
ゲインとしては、カロテン量の値が小さいほど大きく、カロテン量の値が大きいほど小さい値が記憶されているので、脂肪に含有されるカロテン量に個人差があっても、同じ脂肪として同様の脂肪画像信号を出力することができる。
そして、脂肪強調部26においては、後処理部25から出力された3チャネルの画像信号が、補正部24から出力される補正された脂肪画像信号に基づいて強調処理される(強調処理ステップS615)。具体的には、補正された脂肪画像信号の信号値が所定の閾値SH1より高い領域に対して、画像信号の色強調が行われた特殊光画像が生成され、画像表示部6に送られて表示される(表示ステップS7)。
このように、本実施形態に係る画像処理装置16、生体観察装置1および画像処理方法によれば、脂肪に含有されるカロテン量に個人差があっても、同じ脂肪として同様の脂肪画像信号を有する領域に同様の色強調を行うことができ、脂肪の見分けやすさを安定させることができるという利点がある。
すなわち、カロテン量が多く脂肪の黄色みが強い場合には、脂肪強調部26における強調度合いが抑えられる補正が補正部24において行われ、カロテン量が少なく脂肪が白っぽい場合には、脂肪強調部26における強調度合いを高める補正が補正部24において行われる。これにより、脂肪の色によらず安定した強調画像を取得することができ、手術を行う場合には、脂肪層内の神経を損傷せずに済むという利点がある。
なお、本実施形態においては、特殊光観察モードにおいて取得された画像信号から露出脂肪を検出することとしたが、これに変えて、白色光観察モードにおいて取得された画像信号から露出脂肪を検出してもよい。
露出脂肪はβカロテンの吸収特性により、白色光画像において彩度の高い黄色い被写体として観察される。これを利用して露出脂肪検出部19は、露出脂肪の検出処理を行う。
この場合、制御部17は、白色光観察モードと特殊光観察モードとを所定のタイミングで切り替える。制御部17から、前処理後の画像信号が白色光画像であるという指示信号が入力されると、露出脂肪検出部19は、露出脂肪領域の検出処理を開始する。検出処理が開始されると、画像信号が色度座標に変換され、色相が黄色で彩度が所定の閾値SH1より高い画素が露出脂肪領域として検出される。
制御部17から特殊光観察モードであるという指示信号が入力されると、カロテン量算出部23は、特殊光観察モードにおいて取得された画像信号に基づいて生成された脂肪画像信号から、直前の白色光観察モードにおいて検出された露出脂肪領域のカロテン量を算出する。そして、補正部24により脂肪画像信号が補正され、脂肪強調部26において脂肪強調処理が行われる。
また、本実施形態においては、単一のフレーム画像の場合について説明したが、複数枚のフレーム画像の画像処理にも採用することができる。
この場合、フレーム画像が時間軸方向に複数枚配列され、カロテン量算出部23により、各フレーム画像におけるカロテン量の平均値をさらに平均して複数枚のフレーム画像におけるカロテン量の平均値を出力する。
このようにすることで、時系列順に取得された複数枚のフレーム画像において検出されたカロテン量が平均され、ノイズ成分をより確実に除去して信頼性を向上することができる。
また、本実施形態においては露出脂肪検出部19により画像信号中の露出脂肪を自動検出することとしたが、これに代えて、画像表示部6に表示された白色光画像において、操作者が露出脂肪領域を指定する露出脂肪領域指定部(図示略)を備えていてもよい。
また、本実施形態においては、脂肪強調部26における強調処理を色強調として説明したが、これに代えて、明るさや構造の強調処理を行ってもよい。
次に、本発明の第2の実施形態に係る画像処理装置16、生体観察装置30および画像処理方法について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第1の実施形態に係る画像処理装置16、生体観察装置1および画像処理方法と構成を共通とする箇所には同一符号を付して説明を省略する。
第1の実施形態においては、撮像素子10としてカラーCCDを採用し、3チャネルの画像信号を同時に取得することとしたが、本実施形態にこいては、これに代えて、図6に示されるように、撮像素子27としてモノクロCCDを採用し、短波長カットフィルタ21に代えて、キセノンランプ11から発せられた白色光から所定の波長の光を切り出して時分割で順次通過させるフィルタターレット12を配置している。
フィルタターレット12は、例えば、図7に示されるように、回転中心Aを中心として半径方向に同心円状に配置された2種類のフィルタ群を備えている。図中、符号29はモータである。
また、フィルタターレット12は、直動機構22によってキセノンランプ11の光軸に交差する方向に移動可能に設けられている。
これにより、フィルタターレット12は、キセノンランプ11からの白色光の光軸上にいずれかのフィルタ群F1,F2を配置することにより、フィルタ群F1,F2によって選択された光を挿入部2側に射出することができるようになっている。
第1のフィルタ群F1は、図8Cに示されるように、青色、緑色および赤色の波長帯域の内、青色(B1:450から480nm)、緑色(G1:550から570nm)および赤色(R1:620から650nm)に透過率の高いフィルタB1,G1,R1を周方向に配列することにより構成されている。
第2のフィルタ群F2は、図8Bに示されるように、青色(B2:400から490nm)、緑色(G2:500から570nm)および赤色(R2:590から650nm)のほぼ連続する波長帯域の光をそれぞれ透過させるフィルタB2,G2,R2を周方向に配列することにより構成されている。
第1のフィルタ群F1の青色の波長帯域においては、第2のフィルタ群F2の青色の波長帯域と比較して、βカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域であるため、この光を照射して得られる画像は、血管による吸収の影響が小さく、脂肪組織による吸収が多い。一方、第2のフィルタ群F2の各フィルタB2,G2,R2を透過した光の反射光を個別に撮影し、対応する色を付して合成した画像は白色光画像となる。
また、第1のフィルタ群F1の緑色G1の波長帯域においては、βカロテンによる吸収はなく、ヘモグロビンによる吸収が存在する領域であるため、この光を照射して得られる画像中において強度の低い領域は血液の存在する領域、例えば、血管であることを示すものとなる。
さらに、第1のフィルタ群F1の赤色R1の波長帯域においては、βカロテンおよびヘモグロビンの吸収は共に存在しないので、この光を照射して得られた画像は、生体組織表面の形態的特徴を表したものとなる。
信号処理部4は、撮像素子27により取得された画像信号を照射した照明光の波長ごとに記憶するメモリ28を備えている。画像処理部16は、該メモリ28に記憶された画像信号に異なる色を付して合成する画像処理を行うようになっている。
また、制御部17は、撮像素子27による撮影タイミング、フィルタターレット12の回転および画像処理部16による画像処理のタイミングを同期させるようになっている。
このように構成された本実施形態に係る生体観察装置30においては、まず、フィルタターレット12の第2のフィルタ群F2を、キセノンランプ11からの光の光軸上に配置される位置に移動して、青色B2、緑色G2および赤色R2の照明光を順次照射し、各照明光を照射したときの被写体における反射光を撮像素子27で順次撮影する。
各色の照明光に対応する画像情報はメモリ28に順次記憶され、青色B2、緑色G2および赤色R2の3種類の照明光に対応する画像情報が取得された時点で、メモリ28から画像処理部16に送られる。画像処理部16においては、前処理部14および後処理部25において各画像処理が施されるとともに、後処理部25において、各画像情報に対して、該画像情報を撮影した際に照射された照明光の色が付与されて合成される。これにより白色光画像が生成され、生成された白色光画像は、脂肪強調部26を介して画像表示部6に送られて表示される。
白色光画像においては、例えば、血管が存在する領域においては、青色B2および緑色G2の波長帯域において吸収が存在するので、血管は赤色に表示される。また、脂肪が存在する領域においては、青色B2において吸収が存在するので、脂肪は黄色に表示される。しかしながら、脂肪組織が極めて薄い場合には、脂肪組織の裏側にある臓器における血管の色が透過し、脂肪組織の存在がわかりにくくなる。
そこで、このような場合には、フィルタターレット12の第1のフィルタ群F1を、キセノンランプ11からの光の光軸上に配置される位置に移動して、青色B1、緑色G1および赤色R1の照明光を順次照射し、各照明光を照射したときの被写体における反射光を撮像素子27で順次撮影する。
そして、白色光画像撮影時と同様にして、各色の照明光に対応する画像情報がメモリ28に順次記憶され、青色B1、緑色G1および赤色R1の3種類の照明光に対応する画像情報が取得された時点で、3チャネルの画像信号が画像処理部16に送られる。
画像処理部16における画像処理は第1の実施形態と同様である。
このように、モノクロCCD27を用いて3チャネルの画像信号を順次取得する方式であっても、カラーCCD10を用いて3チャネルの画像信号を同時に取得する方式と同様にして、特殊光画像から求めたカロテン量に応じて脂肪画像信号を補正するので、脂肪の色が個人差によって異なる場合でも、脂肪を見分けやすいように表示することができるという利点がある。
なお、本実施形態においては、光源部3が、キセノンランプ11とフィルタターレット12とにより異なる波長帯域の光を順次射出することとしたが、これに代えて、図9に示されるように、異なる波長帯域の光を射出する複数の発光ダイオード(LED)31a,31b,31c,31dからの光をミラー32およびダイクロイックミラー33によって同一のライトガイドケーブル7に入射可能に配置してもよい。
図9に示す例では、400から450nm、450から500nm、520から570nm、600から650nmの波長帯域の4個の発光ダイオード31a,31b,31c,31dを用意している。そして、白色光観察モードでは、図10Bに示されるように青色の照明光として400から500nmの発光ダイオード31a,31b、緑色の照明光として、520から570nmの発光ダイオード31c、赤色の照明光として600から650nmの発行ダイオード31dからの光を使用すればよい。一方、特殊光観察モードでは、図10Cに示されるように、青色の照明光として、450から500nmの発光ダイオード31bを使用すればよい。
また、図11に示されるように、被写体から戻る反射光を波長帯域毎に分光する色分解プリズム34と、各波長帯域の光を撮影する3つのモノクロCCD35a,35b,35cとを備える3CCD方式を採用してもよい。
色分解プリズム34は、被写体からの反射光を図12Bに示される透過率特性に従って波長帯域毎に分光するようになっている。
この場合にも、フィルタターレット12に代えて、直動機構22によりキセノンランプ11からの光の光軸上に挿脱可能なフィルタ36を備えればよい。フィルタ36は図12Dに示されるように、所望の3つの波長帯域の光を透過させ他の波長帯域の光を遮断するようになっている。
そして、白色光観察モードではフィルタ36が光軸上から退避させられ、特殊光観察モードでは、フィルタ36が光軸上に挿入されるようになっている。そして、各モノクロCCD35a,35b,35cにより取得された画像は合成部37において3チャネル化され画像処理部16に入力される。このようにすることで、上記生体観察装置30と同様にして特殊光観察モードでは臓器や結合組織等の他の組織の表面に薄く存在する脂肪も際立たせて表示することができる。
また、観察倍率を切り替える倍率切替部(図示略)を備えていて、観察倍率が高倍率に切り替えられたときには、特殊光観察モードに、低倍率に切り替えられたときには白色光観察モードに切り替えることにしてもよい。高倍率観察時に特殊光観察モードとすることで、他の組織と脂肪との境界を確認しながら精密な処理を行うことができ、低倍率観察時には、白色光観察モードとすることで、処置する部位全体の大まかな観察を行うことができる。
また、本発明に係る生体観察装置1,30は、内視鏡に限定されるものではなく、ロボット手術において用いられる生体観察装置等、広く生体を観察する装置に適用することができる。
1,30 生体観察装置
3 光源部(照射部)
6 画像表示部(表示部)
8 撮影光学系(撮像部)
16 画像処理装置(画像処理部)
18 脂肪画像生成部(脂肪画像領域抽出部)
19 露出脂肪検出部
20 記憶部
23 カロテン量算出部(脂肪色成分検出部)
24 補正部
26 脂肪強調部
S601 脂肪画像領域抽出ステップ
S610 第2の平均値算出ステップ(脂肪色成分検出ステップ)
S614 脂肪画像信号補正ステップ(補正ステップ)

Claims (17)

  1. 生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出部と、
    該脂肪画像領域抽出部により抽出された脂肪画像領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出部と、
    該脂肪色成分検出部により検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出部により抽出された脂肪画像領域の信号強度を補正する補正部とを備える画像処理装置。
  2. 生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出部と、
    生体組織画像中における脂肪が他の組織に覆われることなく露出している露出脂肪領域を操作者に指定させる露出脂肪領域指定部と、
    該露出脂肪領域指定部により指定された露出脂肪領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出部と、
    該脂肪色成分検出部により検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出部により抽出された脂肪画像領域の信号強度を補正する補正部とを備える画像処理装置。
  3. 前記脂肪画像領域抽出部により抽出された脂肪画像領域から、脂肪が他の組織に覆われることなく露出している露出脂肪領域を検出する露出脂肪検出部を備え、
    前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域に基づいて脂肪色成分量を検出する請求項1に記載の画像処理装置。
  4. 前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域から適正露光の画素を抽出し、抽出された適正露光の画素に基づいて脂肪色成分量を検出する請求項3に記載の画像処理装置。
  5. 前記脂肪色成分量の基準値を記憶する記憶部を備え、
    前記脂肪色成分検出部が、前記脂肪画像領域における画素毎の前記脂肪色成分量と前記基準値との平均値を出力するとともに、前記平均値によって前記記憶部に記憶されている前記基準値を更新する請求項1から請求項4のいずれかに記載の画像処理装置。
  6. 前記脂肪色成分量の基準値を記憶する記憶部を備え、
    前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域が所定の画素数以上の範囲にわたって存在している場合に、前記脂肪画像領域における画素毎の前記脂肪色成分量と前記基準値との平均値を出力するとともに、該平均値によって前記記憶部に記憶されている前記基準値を更新する請求項2から請求項4のいずれかに記載の画像処理装置。
  7. 前記生体組織画像が、時間軸方向に配列された複数枚のフレーム画像を備え、
    前記脂肪色成分検出部が、さらに複数のフレーム画像における前記脂肪色成分量の平均値を出力する請求項5または請求項6に記載の画像処理装置。
  8. 前記脂肪色成分検出部により検出された前記脂肪色成分量と前記記憶部に記憶されている基準値との差が所定の閾値より大きい場合には、当該脂肪色成分量を平均値の算出対象から除外する請求項5から請求項7のいずれかに記載の画像処理装置。
  9. 前記所定の閾値が、前記平均値の算出回数に応じて漸次小さく設定される請求項8に記載の画像処理装置。
  10. 前記脂肪色成分検出部が、脂肪に含まれるカロテン量を検出する請求項1から請求項9のいずれかに記載の画像処理装置。
  11. 前記生体組織画像が、450から500nmに含まれる波長帯域の反射光を撮影した特殊光画像である請求項1から請求項9のいずれかに記載の画像処理装置。
  12. 前記生体組織画像として、白色光画像と、450から500nmに含まれる波長帯域の反射光を撮影した特殊光画像とが入力され、
    前記脂肪画像領域抽出部が、前記白色光画像に基づいて前記脂肪画像領域を抽出し、
    前記脂肪色成分検出部が、前記特殊光画像に基づいて、前記脂肪色成分量を検出する請求項1から請求項11のいずれかに記載の画像処理装置。
  13. 前記補正部により信号強度が補正された脂肪画像領域に対し、周辺組織から区別可能な強調処理を行って前記脂肪画像領域が強調された画像を生成する脂肪強調部を備える請求項1から請求項12のいずれかに記載の画像処理装置。
  14. 生体組織に照明光を照射する照射部と、
    該照射部により照射された照明光が生体組織により反射された反射光の内、βカロテンの吸収特性がヘモグロビンの吸収特性よりも高い波長帯域の反射光を撮影して前記生体組織画像を取得する撮像部と、
    該撮像部により取得された前記生体組織画像を処理する請求項13に記載の画像処理装置と、
    前記脂肪強調部により形成された画像を表示する表示部とを備える生体観察装置。
  15. 生体組織に照明光を照射する照射部と、
    該照射部により照射された照明光が生体組織により反射された反射光を撮影して前記生体組織画像を取得する撮像部と、
    請求項2に記載の画像処理装置とを備える生体観察装置。
  16. 前記撮像部が、生体組織の白色光画像と450から500nmに含まれる波長帯域の反射光を撮影した特殊光画像とを取得し、
    前記露出脂肪領域指定部が、前記白色光画像内において前記露出脂肪領域を操作者に指定させ、
    前記脂肪色成分検出部が、前記特殊光画像に基づいて、前記脂肪色成分量を検出する請求項15に記載の生体観察装置。
  17. 生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出ステップと、
    該脂肪画像領域抽出ステップにより抽出された脂肪画像領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出ステップと、
    該脂肪色成分検出ステップにより検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出ステップにより抽出された脂肪画像領域の信号強度を補正する補正ステップとを含む画像処理方法。
JP2017503267A 2015-03-04 2015-03-04 画像処理装置、生体観察装置および画像処理装置の制御方法 Active JP6473222B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/056297 WO2016139768A1 (ja) 2015-03-04 2015-03-04 画像処理装置、生体観察装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2016139768A1 true JPWO2016139768A1 (ja) 2017-12-14
JP6473222B2 JP6473222B2 (ja) 2019-02-20

Family

ID=56849224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017503267A Active JP6473222B2 (ja) 2015-03-04 2015-03-04 画像処理装置、生体観察装置および画像処理装置の制御方法

Country Status (3)

Country Link
US (1) US10856805B2 (ja)
JP (1) JP6473222B2 (ja)
WO (1) WO2016139768A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146079A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
CN110089992A (zh) * 2018-01-30 2019-08-06 北京威斯顿亚太光电仪器有限公司 一种成像光谱内窥镜系统
KR102544670B1 (ko) * 2018-07-27 2023-06-16 삼성전자주식회사 항산화 센서, 항산화 신호 측정 방법 및 항산화 레벨 판단 방법
WO2020166697A1 (ja) * 2019-02-14 2020-08-20 大日本印刷株式会社 医療機器用色修正装置
CN113543689A (zh) * 2019-03-19 2021-10-22 奥林巴斯株式会社 内窥镜装置、内窥镜装置的工作方法以及程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013100030A1 (ja) * 2011-12-28 2013-07-04 オリンパス株式会社 蛍光観察装置、蛍光観察方法および蛍光観察装置の作動方法
WO2013115323A1 (ja) * 2012-01-31 2013-08-08 オリンパス株式会社 生体観察装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK282085D0 (da) 1985-06-21 1985-06-21 Radiometer As Fremgangsmaade og apparat til bestemmelse af blodkomponenter
JP2686089B2 (ja) 1988-02-26 1997-12-08 オリンパス光学工業株式会社 内視鏡用光源装置
US4983019A (en) 1987-05-06 1991-01-08 Olympus Optical Co., Ltd. Endoscope light source apparatus
US20030216795A1 (en) 1999-07-07 2003-11-20 Yoram Harth Apparatus and method for high energy photodynamic therapy of acne vulgaris, seborrhea and other skin disorders
US6452188B1 (en) 1999-08-25 2002-09-17 Charles R. Chubb Spectral reflectance scale method and apparatus
US20070038124A1 (en) 2005-06-02 2007-02-15 Newton Laboratories, Inc. Optical probe for arterial tissue analysis
US20120302892A1 (en) 2005-07-25 2012-11-29 Niyom Lue Portable optical fiber probe-based spectroscopic scanner for rapid cancer diagnosis
AU2007208264A1 (en) 2006-01-24 2007-08-02 Nomir Medical Technologies, Inc. Optical method and device for modulation of biochemical processes in adipose tissue
JP5148071B2 (ja) 2006-04-19 2013-02-20 オリンパスメディカルシステムズ株式会社 内視鏡観察装置
JP5019866B2 (ja) * 2006-12-25 2012-09-05 オリンパス株式会社 蛍光内視鏡及び蛍光内視鏡の作動方法
WO2008089344A2 (en) 2007-01-19 2008-07-24 Joseph Neev Devices and methods for generation of subsurface micro-disruptions for biomedical applications
JP5190944B2 (ja) 2008-06-26 2013-04-24 富士フイルム株式会社 内視鏡装置および内視鏡装置の作動方法
JP2010115341A (ja) 2008-11-13 2010-05-27 Fujifilm Corp 電子内視鏡装置
CN102387736A (zh) 2009-04-09 2012-03-21 奥林巴斯医疗株式会社 内窥镜装置
JP2011218090A (ja) 2010-04-14 2011-11-04 Olympus Corp 画像処理装置、内視鏡システム及びプログラム
JP5597021B2 (ja) 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
WO2012023090A1 (en) 2010-08-17 2012-02-23 Koninklijke Philips Electronics N.V. Surgical lamp for broadband and narrowband illumination
JP5802440B2 (ja) * 2011-06-02 2015-10-28 オリンパス株式会社 蛍光観察装置
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013100030A1 (ja) * 2011-12-28 2013-07-04 オリンパス株式会社 蛍光観察装置、蛍光観察方法および蛍光観察装置の作動方法
WO2013115323A1 (ja) * 2012-01-31 2013-08-08 オリンパス株式会社 生体観察装置

Also Published As

Publication number Publication date
WO2016139768A1 (ja) 2016-09-09
US10856805B2 (en) 2020-12-08
US20170340273A1 (en) 2017-11-30
JP6473222B2 (ja) 2019-02-20

Similar Documents

Publication Publication Date Title
KR102476063B1 (ko) 파장대-선택적 이미징을 사용하는 요관 검출
JP6057921B2 (ja) 生体観察装置
JP6473222B2 (ja) 画像処理装置、生体観察装置および画像処理装置の制御方法
JP6490196B2 (ja) 画像処理装置、生体観察装置および画像処理方法
WO2017154290A1 (ja) 血管情報取得装置、内視鏡システム及び血管情報取得方法
JP5634755B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP4566754B2 (ja) 画像処理装置
JP6581984B2 (ja) 内視鏡システム
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP2015029841A (ja) 撮像装置および撮像方法
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
US20150257635A1 (en) Observation apparatus
JP2010005056A (ja) 画像取得方法および装置
JP2010005095A (ja) 内視鏡装置における距離情報取得方法および内視鏡装置
JP6454359B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
US20200121175A1 (en) Image processing device, endoscope apparatus, and operating method of image processing device
JP2021035549A (ja) 内視鏡システム
WO2018159082A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US8439823B2 (en) Endoscope apparatus and its control method
JP5829568B2 (ja) 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2016151675A1 (ja) 生体観察装置および生体観察方法
JP7163386B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
JP5844447B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP6196599B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法
JP7209557B2 (ja) 画像取得装置及び画像取得方法

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20170821

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190124

R151 Written notification of patent or utility model registration

Ref document number: 6473222

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250