JP6211229B2 - 画像処理装置、及び内視鏡システム - Google Patents

画像処理装置、及び内視鏡システム Download PDF

Info

Publication number
JP6211229B2
JP6211229B2 JP2017504114A JP2017504114A JP6211229B2 JP 6211229 B2 JP6211229 B2 JP 6211229B2 JP 2017504114 A JP2017504114 A JP 2017504114A JP 2017504114 A JP2017504114 A JP 2017504114A JP 6211229 B2 JP6211229 B2 JP 6211229B2
Authority
JP
Japan
Prior art keywords
color
light
component
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017504114A
Other languages
English (en)
Other versions
JPWO2017077882A1 (ja
Inventor
理人 横内
理人 横内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6211229B2 publication Critical patent/JP6211229B2/ja
Publication of JPWO2017077882A1 publication Critical patent/JPWO2017077882A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムに関する。
従来、病変に励起光を照射し、病変からの蛍光を観察する内視鏡システムが知られている。例えば、特許文献１には、病変に対して処置を施す手技を行う際に視認しやすくするため、蛍光を発する病変と、病変以外の背景とを異なる色で強調して表示する画像処理装置が開示されている。
特表２０１５−５０９４０４号公報
特許文献１の画像処理装置のように、手技を行う場合には、病変と背景との双方が表示されている方が、より観察しやすい。一方で、病変を探す場合には、病変のみが強調して表示されている方が、より観察しやすい。そのため、利用シーンに応じた画像処理を行う画像処理装置が求められていた。
本発明は、上記に鑑みてなされたものであって、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、を備えることを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記第１の色調整部と前記第２の色調整部との切り替えを行う切り替え部を備え、前記切り替え部により選択された、前記第１の色調整部と前記第２の色調整部とのいずれか一方が色調を変更する処理を行うことを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記特殊観察光は、赤外光を含み、前記撮像画像の前記赤色成分には、被写体から発光された蛍光を含む赤外光の色成分が含まれることを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記第１の色調整部は、前記撮像画像のうち、前記蛍光を含む赤外光の色成分が含まれる赤色成分のみを抽出して、該赤色成分にｋ倍のゲインをかけるゲイン演算回路と、前記赤色成分を前記緑色成分及び前記青色成分に振り分ける色調整回路と、を有し、前記第２の色調整部は、前記緑色成分及び前記青色成分のゲインは等倍とし、前記赤色成分にｎ倍のゲインをかけるゲイン演算回路と、前記赤色成分を前記緑色成分に変換するとともに、前記緑色成分を前記赤色成分に変換する色調整回路と、を有し、前記第１の色調整部による前記赤色成分のゲインの倍率ｋと、前記第２の色調整部による前記赤色成分のゲインの倍率ｎとの大小関係は、ｋ＞ｎであることを特徴とする。
また、本発明の一態様に係る内視鏡システムは、上記の画像処理装置と、被検体に前記特殊観察光を照射する光源装置と、近赤外域の励起光を反射するフィルタと、赤色光及び赤外光を透過する赤色カラーフィルタ、緑色光を透過する緑色カラーフィルタ、及び青色光を透過する青色カラーフィルタのいずれか１つであるカラーフィルタと、２次元格子状に配列されている複数の画素を有し、各画素が前記カラーフィルタを介して受光した光を光電変換して前記撮像画像を生成する撮像部と、を有する内視鏡と、を備えることを特徴とする。
また、本発明の一態様に係る画像処理方法は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理方法であって、外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替え処理と、前記切り替え処理により選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更処理と、を含むことを特徴とする。
また、本発明の一態様に係る画像処理プログラムは、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して画像処理を行う画像処理プログラムであって、外部からの入力に応じて、前記撮像画像の所定の色成分に対して色調を変更する第１の色調整部と、前記撮像画像の前記所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部と、の一方から他方への切り替えを行う切り替えステップと、前記切り替えステップにより選択された、前記第１の色調整部と前記第２の色調整部とのうちいずれか一方が色調を変更する処理を行う色調変更ステップと、を実行させることを特徴とする。
本発明によれば、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを実現することができる。
図１は、本発明の実施の形態に係る画像処理装置を含む内視鏡システムの構成を示す模式図である。 図２は、光源装置から出力される特殊観察光の色成分を表す図である。 図３は、本発明の実施の形態に係る内視鏡システムが実行する処理の概要を示すフローチャートである。 図４は、カラーモード１が選択された場合に、モニタに表示される画像の一例を示す図である。 図５は、カラーモード２が選択された場合に、モニタに表示される画像の一例を示す図である。 図６は、内視鏡に入射する光の色成分毎の光強度を表す図である。 図７は、撮像部が検出する光の色成分毎の光強度を表す図である。 図８は、カラーモード１における画像処理の様子を説明するための図である。 図９は、カラーモード２における画像処理の様子を説明するための図である。 図１０は、撮像部を３種のイメージセンサとカラーフィルタとで実現する構成を表す図である。 図１１は、撮像部を２種のイメージセンサとカラーフィルタとで実現する構成を表す図である。 図１２は、２種のイメージセンサの構成における撮像部が検出する光の色成分毎の光強度を表す図である。
以下に、図面を参照して本発明に係る画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。以下の実施の形態においては、内視鏡用の画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムを例示して説明するが、本発明は、内視鏡や顕微鏡等の病変を探して手技を行う装置に用いる画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラムの一般に適用することができる。
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
（実施の形態）
図１は、本発明の実施の形態に係る画像処理装置を含む内視鏡システムの構成を示す模式図である。図１に示すように、内視鏡システム１は、被検体の体腔内に先端部を挿入することによって被検体の撮像画像を撮像する撮像装置としての内視鏡２と、内視鏡２が撮像した撮像画像に所定の処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する制御装置３と、内視鏡２の先端から出射する照明光又は励起光を発生する光源である光源装置４と、観察者が所定の操作を入力するタッチパネル５と、制御装置３が画像処理を施した画像データを表示するモニタ６と、を備える。
内視鏡２は、内視鏡２の先端に設けられ、光源装置４からの照明光又は励起光を出力する照明レンズ２１と、集光用の対物光学系２２と、対物光学系２２の結像位置に設けられており、対物光学系２２が集光した光を受光して電気信号に光電変換して所定の信号処理を施した撮像画像として出力する撮像部２３と、を備える。
対物光学系２２は、体腔内の光を集光するレンズと、後述する近赤外域の励起光を反射する硬性鏡フィルタと、所定の波長帯域の光を透過するカラーフィルタと、を有し、所定の波長帯域の光を透過する。カラーフィルタは、赤色（Ｒ）光及び赤外光を透過するＲカラーフィルタと、緑色（Ｇ）光を透過するＧカラーフィルタと、青色（Ｂ）光を透過するＢカラーフィルタとのいずれか１つである。
撮像部２３は、例えばＣＣＤ（Ｃｈａｎｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサで構成される。図１０は、撮像部を３種のイメージセンサとカラーフィルタとで実現する構成を表す図である。図１０に示すように、撮像部２３に入射したＲＧＢ成分を含む光は、プリズム２３１等の光学素子により分割され、各カラーフィルタを介して各イメージセンサにそれぞれ入射する。より具体的には、Ｒカラーフィルタ２３ａａを介してイメージセンサ２３ａｂにＲ光及び赤外光が入射し、Ｇカラーフィルタ２３ｂａを介してイメージセンサ２３ｂｂにＧ光が入射し、Ｂカラーフィルタ２３ｃａを介してイメージセンサ２３ｃｂにＢ光及び赤外光が入射する。各イメージセンサは、２次元格子状に配列されている複数の画素に対応し、各画素が各カラーフィルタを介して、Ｒ光、Ｇ光、Ｂ光のうちいずれか１つの光を受光し、受光した光を光電変換して撮像画像を生成する。
制御装置３は、内視鏡システム１全体の動作を制御する制御部３１と、内視鏡２が撮像した撮像画像に所定の処理を施す画像処理装置としての画像処理部３２と、を有する。
制御部３１は、ＣＰＵ等を用いて構成され、各構成部の駆動制御、及び各構成部に対する情報の入出力制御などを行う。制御部３１は、タッチパネル５に入力された信号を受け付け、入力に応じた制御信号を画像処理部３２に出力する。
画像処理部３２は、制御部からの信号に応じてカラーモードを切り替える切り替え部３３と、撮像画像の所定の色成分に対して色調を変更する第１の色調整部３４ａと、撮像画像の所定の色成分及びその他の色成分に対して色調を変更する第２の色調整部３４ｂと、を備える。さらに、第１の色調整部３４ａは、所定の色成分に対してゲインを調整するゲイン演算回路３５ａと、所定の色成分に対して色調を変換する色調整回路３６ａと、を有する。第２の色調整部３４ｂは、所定の色成分及びその他の色成分に対してゲインを調整するゲイン演算回路３５ｂと、所定の色成分及びその他の色成分に対して色調を変換する色調整回路３６ｂと、を有する。画像処理部３２についてのより詳細な説明は後述する。
光源装置４は、制御部３１からの制御信号に応じて照明光又は励起光を出力する光源部４１を有する。光源部４１は、白色照明光を出力する白色ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）と、特殊観察光を出力する特殊観察光源と、を有する。
図２は、光源装置から出力される特殊観察光の色成分を表す図である。図２において、縦軸は光強度を表し、横軸は波長を表している。図２に示すように、特殊観察光源は、被検体に導入された蛍光物質を励起するための近赤外域の励起光と、背景を撮像するためのＧ光及びＢ光を含む照明光と、を発生する。従って、内視鏡システム１は、ＩＲＩ（赤外光観察：Ｉｎｆｒａｒｅｄ Ｉｍａｇｉｎｇ）で観察する機能を有する。また、近赤外域の励起光の光強度は、Ｇ光、Ｂ光の光強度よりも高い。特殊観察光源が発生する特殊観察光には、Ｒ光は含まれない。なお、特殊観察光源が発生する特殊観察光としては、たとえば血液中のヘモグロビンに吸収されやすくなるように狭帯域化されたＧ光及びＢ光の２種の帯域のＮＢＩ（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）照明光等を発生させてもよい。
タッチパネル５は、カラーモードをカラーモード１に切り替えるボタン５１と、カラーモードをカラーモード２に切り替えるボタン５２と、を有する。観察者がボタン５１又はボタン５２に触れると、タッチパネル５から所定の信号が出力され、制御部３１に入力される。なお、タッチパネル５は、観察者が所望のカラーモードを入力できる構成に代替することができ、例えばキーボードやマウスに代替することができる。
モニタ６は、映像ケーブルを介して制御装置３が生成した画像データを制御装置３から受信して表示する機能を有する。モニタ６は、液晶、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示ディスプレイを有する。
次に、内視鏡システム１を用いて被検体の観察を行う際の処理について説明する。図３は、本発明の実施の形態に係る内視鏡システムが実行する処理の概要を示すフローチャートである。
図３に示すように、観察者は、タッチパネル５のボタン５１又はボタン５２を押すことにより、カラーモード１又はカラーモード２を選択する（選択ステップ：Ｓ１０１）。
タッチパネル５への外部からの入力は、制御装置３の制御部３１に送信され、制御部３１がカラーモードを識別する（識別ステップ：Ｓ１０２）。
制御部３１は、識別したカラーモードに応じた画像処理を行うように画像処理部３２の切り替え部３３に制御信号を出力する。画像処理部３２の切り替え部３３は、制御部３１からの制御信号に基づいて、カラーモード１又はカラーモード２の切り替えを行う（切り替えステップ：Ｓ１０３）。
画像処理部３２は、特殊観察光を用いた観察により取得された、少なくとも、赤色、緑色、青色の各色成分を含む撮像画像に対して、切り替え部３３により選択されたカラーモード１又はカラーモード２に応じた色調変更処理を行う（色調変更ステップ：Ｓ１０４）。
画像処理部３２は、画像処理を施した画像データをモニタ６に出力する。モニタ６は、画像処理部３２からの画像データを表示する（表示ステップ：Ｓ１０５）。
ここで、画像処理部３２でカラーモード１、カラーモード２の場合に行われる色調変更処理について詳細に説明する。カラーモード１は、観察者が病変を探す際に、病変を見つけやすくするためのカラーモードであり、カラーモード２は、観察者が病変に処置を行う場合に処置を行いやすくするためのカラーモードである。
図４は、カラーモード１が選択された場合に、モニタに表示される画像の一例を示す図である。図５は、カラーモード２が選択された場合に、モニタに表示される画像の一例を示す図である。カラーモード１では、図４に示すように、病変Ｌを探すために、病変Ｌのみが観察しやすい色調で表示されるのが好ましい。一方、カラーモード２では、図５に示すように、病変Ｌと背景Ｂとの両方が観察しやすい色調で表示されるのが好ましい。なお、図５では、処置具Ｔもモニタ６に表示されている。
まず、病変Ｌには、近赤外域の励起光が吸収されやすい試薬が注射等により注入されている。そして、病変Ｌ及び背景Ｂを含む観察部位には、図２に示した光の色成分を有する特殊観察光が照射される。すると、試薬が近赤外域の励起光を吸収し、被写体が蛍光自発光を発光する。
図６は、内視鏡に入射する光の色成分毎の光強度を表す図である。図６において、縦軸は光強度を表し、横軸は波長を表している。図６に示すように、内視鏡２に入射する光の色成分は、特殊観察光が被検体の体腔内でそのまま反射された近赤外域の励起光、Ｂ光、Ｇ光と、励起光より波長の長い近赤外域の試薬からの蛍光自発光の色成分である。ここで、図６の破線は、対物光学系２２の硬性鏡フィルタが透過する光の波長帯域を示しており、硬性鏡フィルタは、Ｂ光、Ｇ光、蛍光自発光を透過するが、近赤外域の励起光を透過しない。
図７は、撮像部が検出する光の色成分毎の光強度を表す図である。図７において、縦軸は撮像部２３が検出する光強度を表し、横軸は波長を表している。図７の破線は、Ｒ、Ｇ、Ｂの各カラーフィルタが透過する光の色成分である。換言すると、図７の破線は、撮像部２３のＲ、Ｇ、Ｂの光に対する感度を示している。図７に示すように、撮像部２３は、カラーフィルタにより、Ｇ光、Ｂ光、Ｒ光及び赤外光に感度を有する。特に、撮像部２３は、赤外域において蛍光自発光の領域にまで感度を有し、赤外光の色成分はＲ成分として撮像部２３に検出される。なお、赤外域の感度は、長波長側では弱くなる。
撮像部２３が検出する光の色成分のうち、Ｒ成分として検出される光は、被写体の試薬からの蛍光自発光であるから、病変Ｌの情報を有する。一方、撮像部２３が検出する光の色成分のうち、Ｇ、Ｂ成分として検出される光は、背景Ｂの情報を有する。
図８は、カラーモード１における画像処理の様子を説明するための図である。カラーモード１を選択した場合、第１の色調整部３４ａのゲイン演算回路３５ａは、病変Ｌのみを表示させるために、Ｒ成分のみを抽出して（すなわち、Ｇ、Ｂ成分のゲインをゼロにする）、抽出したＲ成分にｋ倍のゲインをかけるゲイン演算処理を行う。この様子を概略的に図示すると、図７で示した撮像部２３が検出した光の色成分が、図８の上側の図に示す色成分に変換される。
次に、第１の色調整部３４ａの色調整回路３６ａは、図８に示すように、Ｒ成分をＧ、Ｂ成分に振り分ける色調整処理を行う。この様子を概略的に図示すると、図８の上側の図に示す色成分が、図８の下側の図に示す色成分に変換される。この色調整処理により、病変Ｌの僅かな色味の違いでも視認しやすくすることができる。なお、図８には、Ｒ成分をＧ、Ｂ成分に均等に振り分ける色調整処理を図示したが、Ｒ成分をＧ、Ｂ成分に重みをつけて振り分ける、又は、Ｒ成分をＧ、Ｂ成分のいずれか一方に振り分ける色調整処理を行ってもよい。そして、画像処理部３２は、色調整処理を施した画像データをモニタ６に出力し、モニタ６が画像データを表示する。以上説明した画像処理によって、図４に示すように病変Ｌのみを表示させることができる。
図９は、カラーモード２における画像処理の様子を説明するための図である。カラーモード２を選択した場合、第２の色調整部３４ｂのゲイン演算回路３５ｂは、病変Ｌ及び背景Ｂを表示させるために、Ｇ、Ｂ成分のゲインは等倍（増幅せずそのままの値を用いる）とし、Ｒ成分にｎ倍のゲインをかけるゲイン演算処理を行う。この様子を概略的に図示すると、図７で示した撮像部２３が検出した光の色成分が、図９の上側の図に示す色成分に変換される。
次に、第２の色調整部３４ｂの色調整回路３６ｂは、図９に示すように、Ｒ成分をＧ成分に、Ｇ成分をＲ成分にそれぞれ変換する色調整処理を行う。この様子を概略的に図示すると、図９の上側の図に示す色成分が、図９の下側の図に示す色成分に変換される。この色調整処理により、病変Ｌを強調表示して僅かな色味の違いでも視認しやすくするとともに、背景Ｂも視認できるようにすることができる。そして、画像処理部３２は、色調整処理を施した画像データをモニタ６に出力し、モニタ６が画像データを表示する。以上説明した画像処理によって、図５に示すように病変Ｌ及び背景Ｂを表示させることができる。
なお、第２の色調整部３４ｂのゲイン演算回路３５ｂでのゲインの倍率ｎは、第１の色調整部３４ａのゲイン演算回路３５ａでのゲインの倍率ｋよりも小さい値に設定する。第１の色調整部３４ａでは、ゲイン演算回路３５ａから抽出したＲ成分のみから、色調整回路３６ａにてＧ、Ｂ成分を生成する。そのため、Ｒ成分の情報量を増加させてＧ、Ｂ成分へ振り分ける必要があるため、ゲインの倍率ｋは大きい値となる。
一方で、第２の色調整部３４ｂでは、Ｒ、Ｇ、Ｂ成分の情報量から色調整を行うため、第１の色調整部３４ａより小さいゲインの倍率ｎで画像を生成できる。ゲイン演算を行うとノイズ成分が大きくなりノイズが目立つデメリットと、色成分の情報量がクリップしハレーションが発生するデメリットが生じる。第２の色調整部３４ｂでは、このような影響を少なくするためにも、第１の色調整部３４ａのゲインの倍率ｋに比べて、小さいゲインの倍率ｎに設定する。
内視鏡システム１では、観察者の入力により画像処理部３２における画像処理を、病変Ｌのみを強調表示するカラーモード１と、病変Ｌ及び背景Ｂを表示させるカラーモード２とに切り替えることができる。従って、この画像処理部３２は、病変を探す場合と、病変に処置を施す場合との双方において観察しやすい画像データを生成する画像処理装置である。
なお、上述した実施の形態では、特殊観察光の近赤外域の励起光を反射する硬性鏡フィルタを有する硬性鏡について説明したが、これに限られない。上述した画像処理装置を被検体の体腔内に挿入する可撓性を有する挿入部を有する軟性鏡に適応することも可能である。
また、上述した実施の形態では、切り替え部３３がカラーモード１とカラーモード２との切り替えを行う構成について説明したが、これに限られない。例えば、画像処理装置は、常時第１の色調整部３４ａと第２の色調整部３４ｂとの双方が処理を行い、モニタ６は、第１の色調整部３４ａにより生成された画像データと第２の色調整部３４ｂにより生成された画像データとを並べて表示する構成であってよい。この構成では、第１の色調整部３４ａによる病変のみを強調した画像と、第２の色調整部３４ｂによる病変及び背景を表示した画像とを同時に見ることができる。
また、上述した実施の形態では、カラーモード１とカラーモード２との２つのカラーモードで切り替えを行う構成について説明したが、カラーモードの数は３以上の複数であってもよい。
また、上述した実施の形態では、第１の色調整部３４ａがゲイン演算回路３５ａと色調整回路３６ａとを有し、第２の色調整部３４ｂがゲイン演算回路３５ｂと色調整回路３６ｂとを有する構成について説明したが、これに限られない。例えば、第１の色調整部３４ａは、撮像画像に対してゲイン演算処理と色調整処理を一括して行う画像処理回路を有し、第２の色調整部３４ｂは、撮像画像に対してゲイン演算処理と色調整処理とを一括して行う画像処理回路を有する構成であってよい。このように、第１の色調整部３４ａ及び第２の色調整部３４ｂは、１つの回路として構成されていてもよいが、２以上の複数の回路からなる構成であってもよい。
また、画像処理装置の第１の色調整部３４ａと第２の色調整部３４ｂとにおける各色成分に対するゲインの調整や、各色成分の色調整処理は、観察する部位に応じて変更される構成としてもよい。この構成により、色味が違う複数の部位を観察する場合であっても、部位毎により観察しやすい画像データを生成することができる。
また、上述した実施の形態では、図１０に示すように、撮像部２３が３種のイメージセンサで実現される構成について説明したが、ベイヤー配列を有する１つのイメージセンサを有する構成や図１１に示すＲＧＢ用のイメージセンサと蛍光自発光を撮像するイメージセンサとを有する２種のイメージセンサを有する構成であってもよい。
図１１は、撮像部を２種のイメージセンサとカラーフィルタとで実現する構成を表す図である。具体的には、撮像部２３に入射した光がプリズム２３１等の光学素子により、Ｒ光、Ｇ光、Ｂ光の成分と蛍光自発光の成分とに分けられ、Ｒ光、Ｇ光、Ｂ光の成分の光はＲＧＢカラーフィルタ２３ｅａを介してＲ光、Ｇ光、Ｂ光の成分を受光するイメージセンサ２３ｅｂに入射し、蛍光自発光の成分の光は赤外域のカラーフィルタ２３ｄａを介して蛍光自発光の成分の光を受光するイメージセンサ２３ｄｂに入射する。
図１２は、図１１に示す２種のイメージセンサの構成において、撮像部が検出する光の色成分毎の光強度を表す図である。図７と同様に、縦軸は撮像部２３が検出する光強度を表し、横軸は波長を表している。図１２の破線は、Ｒ光、Ｇ光、Ｂ光、蛍光成分の各カラーフィルタが透過する光の色成分であり、換言すると、撮像部２３のＲ光、Ｇ光、Ｂ光及び蛍光自発光に対する感度を示している。このような構成とすることで、イメージセンサの数を少なくすることができ、撮像部２３の構造が小さくなり、内視鏡２を小型化することが可能となる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
１ 内視鏡システム
２ 内視鏡
３ 制御装置
４ 光源装置
５ タッチパネル
６ モニタ
２１ 照明レンズ
２２ 対物光学系
２３ 撮像部
２３ａａ Ｒカラーフィルタ
２３ａｂ、２３ｂｂ、２３ｃｂ、２３ｄｂ、２３ｅｂ イメージセンサ
２３ｂａ Ｇカラーフィルタ
２３ｃａ Ｂカラーフィルタ
２３ｄａ カラーフィルタ
２３ｅａ ＲＧＢカラーフィルタ
３１ 制御部
３２ 画像処理部
３３ 切り替え部
３４ａ 第１の色調整部
３４ｂ 第２の色調整部
３５ａ、３５ｂ ゲイン演算回路
３６ａ、３６ｂ 色調整回路
４１ 光源部
５１、５２ ボタン
２３１ プリズム
Ｂ 背景
Ｌ 病変
Ｔ 処置具

Claims (2)

  1. 特殊観察光を用いた観察により取得された緑色、青色及び被写体から発光された蛍光を含む赤外光の各色成分を含む撮像画像に所定の処理を施す画像処理装置において、
    前記撮像画像のうち、前記赤外光の色成分のみを抽出して所定倍率のゲインをかける第１のゲイン演算回路と、
    前記第１のゲイン演算回路から出力された前記赤外光の色成分を前記緑色成分及び前記青色成分に振り分けて出力する第１の色調整回路と、
    前記撮像画像のうち、前記緑色成分及び前記青色成分のゲインは等倍としつつ、前記赤外光の色成分に対して前記所定倍率より小さい倍率のゲインをかける第２のゲイン演算回路と、
    前記第２のゲイン演算回路から出力された前記赤外光の色成分を前記緑色成分に変換するとともに、前記緑色成分を赤色成分に変換する第２の色調整回路と、
    前記撮像画像を前記第１のゲイン演算回路又は前記第２のゲイン演算回路のいずれか一方に入力させる切り替え処理を行う切り替え部と、
    を備えることを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置と、
    被検体に前記特殊観察光を照射する光源装置と、
    近赤外域の励起光を反射するフィルタと、赤色光及び赤外光を透過する赤色カラーフィルタ、緑色光を透過する緑色カラーフィルタ、及び青色光を透過する青色カラーフィルタのいずれか１つであるカラーフィルタと、２次元格子状に配列されている複数の画素を有し、各画素が前記カラーフィルタを介して受光した光を光電変換して前記撮像画像を生成する撮像部と、を有する内視鏡と、を備えることを特徴とする内視鏡システム。
JP2017504114A 2015-11-04 2016-10-21 画像処理装置、及び内視鏡システム Active JP6211229B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015216958 2015-11-04
JP2015216958 2015-11-04
PCT/JP2016/081267 WO2017077882A1 (ja) 2015-11-04 2016-10-21 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP6211229B2 true JP6211229B2 (ja) 2017-10-11
JPWO2017077882A1 JPWO2017077882A1 (ja) 2017-11-02

Family

ID=58661838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017504114A Active JP6211229B2 (ja) 2015-11-04 2016-10-21 画像処理装置、及び内視鏡システム

Country Status (3)

Country Link
US (1) US10867410B2 (ja)
JP (1) JP6211229B2 (ja)
WO (1) WO2017077882A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018211885A1 (ja) * 2017-05-17 2020-03-19 ソニー株式会社 画像取得システム、制御装置及び画像取得方法
CN107610187B (zh) * 2017-09-19 2021-01-26 海信视像科技股份有限公司 一种用于医疗内窥装置采集图像的控制方法、装置及内窥系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2713837B2 (ja) * 1992-09-30 1998-02-16 オリンパス光学工業株式会社 電子内視鏡装置
JP3392911B2 (ja) * 1992-12-28 2003-03-31 オリンパス光学工業株式会社 電子内視鏡装置
US6293911B1 (en) 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
JP3962122B2 (ja) * 1996-11-20 2007-08-22 オリンパス株式会社 内視鏡装置
US7179222B2 (en) 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
JPH1189789A (ja) * 1997-09-24 1999-04-06 Olympus Optical Co Ltd 蛍光画像装置
US6422994B1 (en) 1997-09-24 2002-07-23 Olympus Optical Co., Ltd. Fluorescent diagnostic system and method providing color discrimination enhancement
JP2001178673A (ja) * 1999-12-24 2001-07-03 Fuji Photo Film Co Ltd 蛍光撮像装置
US7172553B2 (en) 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
JP4242578B2 (ja) * 2001-10-22 2009-03-25 オリンパス株式会社 内視鏡装置
US6960165B2 (en) 2001-05-16 2005-11-01 Olympus Corporation Endoscope with a single image pick-up element for fluorescent and normal-light images
US20060173358A1 (en) 2005-01-11 2006-08-03 Olympus Corporation Fluorescence observation endoscope apparatus and fluorescence observation method
JP5114003B2 (ja) * 2005-11-04 2013-01-09 オリンパス株式会社 蛍光内視鏡装置
JP4637620B2 (ja) * 2005-03-18 2011-02-23 富士フイルム株式会社 内視鏡システム装置
JP4949806B2 (ja) * 2006-11-10 2012-06-13 オンセミコンダクター・トレーディング・リミテッド 撮像装置及び画像信号処理装置
JP5371946B2 (ja) * 2010-12-24 2013-12-18 富士フイルム株式会社 内視鏡診断装置
JP5631764B2 (ja) * 2011-01-25 2014-11-26 富士フイルム株式会社 内視鏡システム及びその作動方法
JP5554253B2 (ja) * 2011-01-27 2014-07-23 富士フイルム株式会社 電子内視鏡システム
JP2012217673A (ja) * 2011-04-11 2012-11-12 Fujifilm Corp 内視鏡診断装置
JP5502812B2 (ja) * 2011-07-14 2014-05-28 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP5303015B2 (ja) * 2011-08-29 2013-10-02 富士フイルム株式会社 内視鏡診断装置
MX2014010163A (es) 2012-02-23 2014-09-16 Smith & Nephew Inc Sistema de video endoscopico.
JP2013186369A (ja) * 2012-03-09 2013-09-19 Seiko Epson Corp 画像表示装置および画像表示方法
JPWO2013161246A1 (ja) * 2012-04-26 2015-12-21 パナソニック株式会社 表示制御システム及び表示装置
JP5789280B2 (ja) * 2013-05-14 2015-10-07 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP6010571B2 (ja) 2014-02-27 2016-10-19 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
CN106132276B (zh) 2014-04-08 2018-08-07 奥林巴斯株式会社 荧光观察内窥镜系统

Also Published As

Publication number Publication date
US10867410B2 (en) 2020-12-15
US20180232911A1 (en) 2018-08-16
JPWO2017077882A1 (ja) 2017-11-02
WO2017077882A1 (ja) 2017-05-11

Similar Documents

Publication Publication Date Title
KR101022585B1 (ko) 생체 관측 장치
WO2017061432A1 (ja) 撮像装置および撮像プログラム
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP5863709B2 (ja) 内視鏡システム
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP6076568B1 (ja) 観察システム
EP3085300A1 (en) Endoscope device
CN111343898B (zh) 内窥镜系统及其工作方法
WO2016110984A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2016084257A1 (ja) 内視鏡装置
US10285631B2 (en) Light source device for endoscope and endoscope system
JP4694310B2 (ja) 電子内視鏡、内視鏡光源装置、内視鏡プロセッサ、および内視鏡システム
US10003774B2 (en) Image processing device and method for operating endoscope system
JP6211229B2 (ja) 画像処理装置、及び内視鏡システム
JPWO2019069414A1 (ja) 内視鏡装置、画像処理方法およびプログラム
JP5997643B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
CN111343899B (zh) 内窥镜系统及其工作方法
JP6616071B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP7068438B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
WO2015194204A1 (ja) 内視鏡装置
CN111683583B (zh) 内窥镜系统及其工作方法
JP2013013589A (ja) 画像信号処理装置、撮像システム、及び電子内視鏡システム
CN111970954A (zh) 医疗图像处理系统
JP5977588B2 (ja) 顕微鏡用撮像装置及び顕微鏡用撮像システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170912

R151 Written notification of patent or utility model registration

Ref document number: 6211229

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250