JPWO2016059977A1 - 信号処理装置及び内視鏡システム - Google Patents

信号処理装置及び内視鏡システム Download PDF

Info

Publication number
JPWO2016059977A1
JPWO2016059977A1 JP2016521375A JP2016521375A JPWO2016059977A1 JP WO2016059977 A1 JPWO2016059977 A1 JP WO2016059977A1 JP 2016521375 A JP2016521375 A JP 2016521375A JP 2016521375 A JP2016521375 A JP 2016521375A JP WO2016059977 A1 JPWO2016059977 A1 JP WO2016059977A1
Authority
JP
Japan
Prior art keywords
image
image data
unit
contour
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016521375A
Other languages
English (en)
Other versions
JP5977909B1 (ja
Inventor
朋也 佐藤
朋也 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP5977909B1 publication Critical patent/JP5977909B1/ja
Publication of JPWO2016059977A1 publication Critical patent/JPWO2016059977A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2446Optical details of the image relay
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

信号処理装置(4)は、被写体の時系列の撮像によって生成される複数の画像データを取得し、取得した複数の画像データから輪郭成分を抽出する輪郭抽出部(441)と、輪郭抽出部で抽出された輪郭成分のズレ量を、各々が所定数の画像データの集まりである画像セットに含まれる画像データ間で比較することにより、各々の画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部(443)と、ズレ量検出部の検出結果に基づいて、画像セットの中から少なくとも1つの画像セットを選択する画像選択部(444)とを備える。

Description

本発明は、内視鏡装置から入力された画像を処理する信号処理装置及びそれを備えた内視鏡システムに関する。
電子内視鏡装置を有する内視鏡システムにおいて、動画表示されている内視鏡画像から静止画像を生成して表示する機能が知られている。このような静止画像は、複数フィールドの画像データを用いて生成されている。したがって、被写体又は内視鏡装置に動きがあるときに、色ずれの大きな静止画像が生成されることがある。このような静止画表示時の色ずれを防止するための提案として、例えば日本国特開2006−149483号公報の提案がなされている。日本国特開2006−149483号公報の電子内視鏡装置は、面順次で得られる複数色の画像データの同一水平ラインの隣接画素間の画素の値の差の符号、すなわち画素の値の変化の仕方から、複数色の画像間のずれである色ずれの程度を判別するようにしている。そして、日本国特開2006−149483号公報の電子内視鏡装置は、色ずれが最小となるように画像データをずらすことにより、色ずれを補正している。
輝度の変化の仕方だけで判断してしまうと、例えばノイズによる画素の値の変化も色ずれとして判別してしまう可能性がある。また、例えば白とびしている画像のような静止画表示するには余り適さないような画像に対して色ずれのない画像と判断してしまう可能性もある。
本発明は、前記の事情に鑑みてなされたもので、内視鏡装置から入力された画像から静止画像を生成する際に、ノイズの影響や被写体自体の明るさの影響を受けずに静止画像を生成できる信号処理装置及びそれを備えた内視鏡システムを提供することを目的とする。
前記の目的を達成するために、本発明の第1の態様の信号処理装置は、被写体の時系列の撮像によって生成される複数の画像データを取得し、取得した複数の画像データから輪郭成分を抽出する輪郭抽出部と、前記輪郭抽出部で抽出された輪郭成分のズレ量を各々が所定数の前記画像データの集まりである複数の画像セットの各々に含まれる画像データ間で比較することにより、各々の前記画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部と、前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも1つの画像セットを選択する画像選択部とを具備する。
前記の目的を達成するために、本発明の第2の態様の内視鏡システムは、被写体の時系列の撮像によって複数の画像データを取得する撮像部と、前記撮像部で取得された複数の画像データから輪郭成分を抽出する輪郭抽出部と、前記輪郭抽出部で抽出された輪郭成分のズレ量を各々が所定数の前記画像データの集まりである複数の画像セットの各々に含まれる画像データ間で比較することにより、各々の前記画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部と、前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも1つの画像セットを選択する画像選択部と、前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも1つの画像セットを選択する画像選択部とを具備する。
本発明によれば、内視鏡装置から入力された画像から静止画像を生成する際に、ノイズの影響や被写体自体の明るさの影響を受けずに静止画像を生成できる信号処理装置及びそれを備えた内視鏡システムを提供することができる。
図1は、本発明の一実施形態に係る信号処理装置を備えた内視鏡システムの構成を示すブロック図である。 図2は、内視鏡システムによる内視鏡画像の表示処理を示すフローチャートである。 図3は、画像セットの選択の処理を示すフローチャートである。 図4は、図3の処理に従った画像セットの選択の例を示す図である。 図5は、変形例の静止画選択部の構成を示す図である。 図6は、変形例の画像セットの選択の処理を示すフローチャートである。
以下、図面を参照して本発明の実施形態を説明する。図1は、本発明の一実施形態に係る信号処理装置を備えた内視鏡システムの構成を示すブロック図である。なお、図1に示す内視鏡システム1は、例えば面順次方式で内視鏡画像を生成するシステムである。面順次方式とは、フィールド毎に異なる色の照明光を被写体である被検体に照射し、撮像素子からフィールド順次で得られる信号を同時化することによってカラー化された内視鏡画像を得る方式である。
内視鏡システム1は、内視鏡装置2と、光源装置3と、信号処理装置4と、モニタ5とを有している。内視鏡装置2は、被写体である被検体の体内を撮像し、被検体に係る画像信号を生成する。光源装置3は、ライトガイド36を介して内視鏡装置2に接続されており、内視鏡装置2に照明光を供給する。信号処理装置4は、内視鏡装置2で生成された画像信号を処理する。モニタ5は、信号処理装置4で処理された画像信号に基づいて、例えば被検体の体内の画像である内視鏡画像を表示する。以下、内視鏡システム1のそれぞれのブロックについて説明する。
内視鏡装置2は、挿入部21と、ケーブル22とを有している。挿入部21は、内視鏡装置2において被検体の体内に挿入される部分である。挿入部21の先端には、対物レンズ211と、撮像素子212とが設けられている。対物レンズ211は、被写体からの像を撮像素子212に結像させるための光学系である。撮像素子212は、2次元状に配置された画素を有している。それぞれの画素は、例えばフォトダイオードであり、対物レンズ211を介して入射した光の量に応じた電気信号(画像信号)を生成する。前述したように、内視鏡システム1は、面順次方式で内視鏡画像を生成する。したがって、撮像素子212は、1フレーム分の内視鏡画像の表示期間の間に複数回の撮像を行う。この複数回の撮像においては、異なる色の照明光が被検体に対して照射される。そして、撮像素子212では、それぞれの撮像に伴って異なる色の情報のみを有する画像信号が生成される。本実施形態の例では、赤色(R)の照明光、緑色(G)の照明光、青色(B)の照明光が順次照射される。そして、Rの照明光が被検体に照射された場合にはRの情報のみを有する画像信号が生成され、Gの照明光が被検体に照射された場合にはGの情報のみを有する画像信号が生成され、Bの照明光が被検体に照射された場合にはBの情報のみを有する画像信号が生成される。
ケーブル22は、図示しないコネクタを介して信号処理装置4に接続されている。このケーブル22の内部には、駆動信号線212a、出力信号線212bが設けられている。駆動信号線212aは、撮像素子212の各画素に接続されている。また、駆動信号線212aは、挿入部21が図示しないコネクタを介して信号処理装置4に接続された際に、信号処理装置4の駆動制御部46に接続されるように構成されている。このとき、撮像素子212は、駆動信号線212aを介して駆動制御部46からの駆動信号に従って被写体の撮像動作を行う。出力信号線212bも、撮像素子212の各画素に接続されている。また、出力信号線212bは、挿入部21が図示しないコネクタを介して信号処理装置4に接続された際に、信号処理装置4の前処理部41に接続されるように構成されている。このとき、撮像素子212は、出力信号線212bを介して前処理部41に対して画像信号を出力する。
光源装置3は、光源31と、導波路32と、光源制御部34と、集光レンズ35と、ライトガイド36とを有している。
光源31は、複数の光源、すなわちRLED31Rと、GLED31Gと、BLED31Bとを有している。RLED31Rは、赤色(R)光を発するLEDである。GLED31Rは、緑色(G)光を発するLEDである。BLED31Bは、青色(B)光を発するLEDである。導波路32は、例えば光ファイバであってRLED31R、GLED31G、BLED31Bのそれぞれに光学的に結合されている。この導波路32は、RLED31R、GLED31G、BLED31Bのそれぞれから照射された照明光を集光レンズ35に導く。光源制御部34は、駆動制御部46の制御による撮像素子212の撮像動作と同期してRLED31R、GLED31G、BLED31Bの動作を制御する。面順次方式の場合、光源制御部34は、RLED31R、GLED31G、BLED31Bの発光がフィールド順次で行われるよう、RLED31R、GLED31G、BLED31Bをフィールド毎に順次に駆動する。集光レンズ35は、導波路32から射出された光を集光してライトガイド36に入射させる。ライトガイド36は、集光レンズ35によって集光された光を内視鏡装置2に入射させる。この光は、内視鏡装置2から射出され、被写体に照射される。この状態で被写体の撮像がされることにより、撮像素子212において、R画像信号、G画像信号、B画像信号のそれぞれが得られる。ここで、光源装置3は、RLED、GLED、BLEDを設けることに代えて、白色光源(ランプ又は白色LED)とRGBの回転フィルタとを設け、当該RGBのフィルタをフィールド毎に順次光路に挿入することによって面順次方式を実現するものであっても良い。なお、光源31は、RLED31R、GLED31G、BLED31Bを同時に発光させたり、白色光源から可視光をそのまま出射させたりすることで白色光の照射も可能である。このような照明方式は、同時式等と呼ばれている。
信号処理装置4は、前処理部41と、記憶部42と、画像処理部43と、静止画選択部44と、表示制御部45と、駆動制御部46と、制御部47と、操作部48とを有している。
前処理部41は、画像信号のアナログゲイン調整、アナログノイズの除去といった種々のアナログ処理を行う。また、前処理部41は、アナログ処理した画像信号をデジタル信号である画像データに変換することも行う。なお、以下の説明においては、撮像素子212の複数回の撮像によって得られる異なる色の画像データの組を画像セットという。画像セットは、1枚のカラーの内視鏡画像を生成するために用いられる複数の画像データの集まりである。本実施形態の例では、画像セットは3枚の画像データによって構成される。すなわち、この3枚の画像データは、赤色(R)の情報のみを有するR画像データ、緑色(G)の情報のみを有するG画像データ、青色(B)の情報のみを有するB画像データである。
また、内視鏡システムの場合、内視鏡装置2と信号処理装置4の間は、絶縁回路によって絶縁されていることが望ましい。この絶縁回路は、例えば前処理部41に設けられている。絶縁回路は、例えばフォトカプラのような無線によって信号を伝送する回路を含む。
記憶部42は、前処理部41によって得られた画像データを一時的に記憶する。記憶部42は、複数の画像セットを記憶できるだけの記憶容量を有している。
画像処理部43は、記憶部42に記憶された画像セットに含まれるそれぞれの画像データに対して画像処理を施す。なお、画像処理部43は、動画表示の際には、入力された画像データに対して動画表示用の画像処理を施し、静止画表示の際には、入力された画像データに対して静止画表示用の画像処理を施す。この画像処理部43は、同時化回路、輝度・色差分離回路、階調補正回路、色補正回路、拡大縮小回路、強調回路等を有している。同時化回路は、面順次方式に従って得られた画像セットに含まれている3枚の画像データを同時化して同時化画像データを生成する。同時化画像データは、複数の色成分の情報を各画素が有している画像データである。階調補正回路は、同時化画像データに対して階調補正を行う。色補正回路は、同時化画像データに対して色調補正を行う。拡大縮小回路は、同時化画像データのサイズをモニタ5の表示サイズに応じて拡大又は縮小して表示用画像データを生成する。強調回路は、表示用画像データの被写体の輪郭を強調したり、例えば被写体が血管である場合において血管の構造を強調したりする処理を行う。
静止画選択部44は、記憶部42に記憶されている画像セットに含まれる画像データを用いて静止画表示のための画像選択を行う。静止画選択部44は、輪郭抽出部441と、輪郭膨張処理部442と、ズレ量検出部443と、画像選択部444とを有している。
輪郭抽出部441は、例えばラプラシアンフィルタやソーベルフィルタのような輪郭抽出フィルタを有し、記憶部42に記憶されている画像セットに含まれるそれぞれの画像データの輪郭成分(所定値以上の高周波成分)を抽出する。なお、輪郭抽出部441による輪郭抽出処理は、フィルタ処理以外の、例えばFFT(フーリエ変換)を用いた周波数空間上での信号処理によって行われても良い。輪郭膨張処理部442は、輪郭抽出部441で抽出された輪郭成分を膨張させる処理を行う。輪郭膨張処理は、例えば抽出された輪郭の線を太くする処理や、ガウシアンフィルタのような平滑化フィルタを用いたぼかし処理によって行われる。なお、輪郭抽出と平滑化とは1つのフィルタによって行われても良い。
ズレ量検出部443は、画像セットに含まれる画像データから抽出された輪郭成分のズレ量を画像セットに含まれる画像データ間のズレ量として検出する。画像選択部444は、ズレ量検出部443で検出されたズレ量に基づいて静止画表示に用いられる画像セットを選択する。すなわち、画像選択部444は、動画表示用の撮像によって得られる複数の画像セットの中で画像データ間のズレ量の最も小さい画像セットを静止画表示用の画像セットとして選択する。画像選択部444で選択された画像セットに含まれる画像データは、記憶部42から画像処理部43によって取得される。
表示制御部45は、画像処理部43において画像処理された画像データ(表示用画像データ)に基づいてカラー化された内視鏡画像をモニタ5に表示させる。この表示制御部45は、例えばデジタル信号である表示用画像データをアナログの映像信号に変換する。さらに、表示制御部45は、制御部47の指示に従って映像信号をモニタ5に入力することにより、モニタ5に内視鏡画像を表示させる。
駆動制御部46は、撮像素子212の撮像動作を制御する。すなわち、駆動制御部46は、撮像素子212の露光開始及び露光終了を制御したり、撮像素子212からの画像信号の読み出しを制御したりする。
制御部47は、信号処理装置4の動作を含む内視鏡システム1の全体の動作を制御する。例えば、制御部47は、光源制御部34による光源31の制御と駆動制御部46による撮像素子212の撮像制御とを同期させる。また、制御部47は、表示制御部45の制御を行う。さらに、制御部47は、操作部48を介した静止画表示指示に応じて静止画表示のための処理を静止画選択部44に実行させる。
操作部48は、使用者が内視鏡システム1の操作をするための操作部材を含む。本実施形態において、操作部48は、内視鏡画像の静止画表示を使用者が指示するための操作部材を含む。この操作部材は、ボタン又はスイッチのような操作部材であっても良いし、タッチパネルのような操作部材であっても良い。
モニタ5は、例えば液晶ディスプレイのようなモニタであって、表示制御部45の制御に従って内視鏡画像等の各種の画像を表示する。
次に、本実施形態に係る内視鏡システム1の動作を説明する。図2は、内視鏡システム1による内視鏡画像の表示処理を示すフローチャートである。図2の処理は、例えば内視鏡システム1の電源がオンされると開始される。
ステップS101において、制御部47は、内視鏡システム1の電源がオフされたか否かを判定する。ステップS101において、内視鏡システム1の電源がオフされたと判定された場合には、図2の処理は終了される。
ステップS101において、内視鏡システム1の電源がオフされていないと判定された場合には、処理はステップS102に進む。ステップS102において、制御部47は、駆動制御部46による撮像素子212の撮像制御を開始させるとともに、撮像素子212の撮像に同期するように光源装置3による照明を開始させる。光源制御部34は、例えば、予め定められたフィールド周期毎に異なる色の光が光源装置3から射出されるように光源31を制御する。一方、駆動制御部46は、予め定められたフィールド周期で撮像が繰り返されるように撮像素子212を制御する。このようにして、画像データが記憶部42に記憶される。
ステップS103において、制御部47は、画像処理部43に、内視鏡画像の動画表示のための画像処理を行わせる。このとき、画像処理部43は、画像データの同時化、階調補正、色補正、拡大・縮小、強調処理といった基本的な動画表示のための処理を行う。
ステップS104において、制御部47は、画像処理部43によって処理された画像データに基づく内視鏡画像の表示を表示制御部45に行わせる。すなわち、表示制御部45は、3フィールド(1フレーム)毎に生成される表示用画像データを映像信号に変換し、この映像信号をモニタ5に入力する。この映像信号に基づいて、モニタ5は内視鏡画像を表示する。モニタ5に表示された内視鏡画像を見ることで、使用者は、例えば被検体の体内を動画像で観察することが可能である。
ステップS105において、制御部47は、使用者の操作部48の操作により、動画表示中の内視鏡画像の静止画表示の指示がされたか否かを判定する。ステップS105において、静止画表示の指示がされていないと判定された場合、処理はステップS101に戻る。この場合、内視鏡画像の動画表示が継続される。
ステップS105において、静止画表示の指示がされたと判定された場合、処理はステップS106に進む。ステップS106において、制御部47は、静止画表示用の画像セットの選択を静止画選択部44に行わせる。以下、画像セットの選択処理を説明する。
図3は、画像セットの選択の処理を示すフローチャートである。図4は、図3の処理に従った画像セットの選択の例を示す図である。ステップS201において、静止画選択部44の輪郭抽出部441は、記憶部42に記憶されている複数の画像セット(R画像データ、G画像データ、B画像データ)を取得する。図4では、画像セットとして入力画像1、入力画像2、入力画像3の3つの画像セットが取得されている。入力画像1は、画像データ間で大きなズレが生じている画像セットである。入力画像2は、画像データ間で中程度のズレが生じている画像セットである。入力画像3は、画像データ間で中程度のズレが生じている画像セットである。
図4では、3つの画像セットを取得する例を示しているが、例えば静止画表示指示のタイミングの500ミリ秒前までの画像セットを取得するといったように、何セットの画像セットを取得するかは適宜に設定され得る。
また、例えば光源装置3から特殊光が照射されている場合、画像セットから生成される表示用画像データにおいては、G画像データとB画像データの影響が支配的になる。したがって、輪郭抽出部441は、画像セット内の特定の色の影響が大きいことが予め分かっている場合に、特定の2色の画像データのみを取得するように構成されていても良い。以下の説明では、輪郭抽出部441は、例えばG画像データとB画像データのみを取得したものとして説明を続ける。
ステップS202において、輪郭抽出部441は、取得したそれぞれの画像セットに含まれるG画像データ、B画像データの輪郭成分を例えばフィルタ処理によって抽出する。図4に示すように、画像データ間の色ズレがない場合、輪郭抽出処理によって抽出される画像データ間の輪郭のズレもない。一方、画像データ間の色ズレがある場合、画像データ間に符号D1又はD2で示すような輪郭のズレが生じる。このため、輪郭のズレ量から画像データ間のずれ量を検出することが可能である。
ステップS203において、輪郭膨張処理部442は、輪郭抽出部441で抽出されたG画像データ、B画像データの輪郭成分に対して輪郭膨張処理を行う。輪郭膨張処理の強度は、画像データ間のズレの許容量に応じて変更され得る。すなわち、画像データ間のズレの許容量を大きくしても良いのであれは、輪郭膨張処理の強度を大きくすることができ、逆に、画像データ間のズレの許容量を小さくする必要があれは、輪郭膨張処理の強度も小さくする必要がある。
ステップS204において、ズレ量検出部443は、輪郭膨張処理部442で輪郭膨張処理がされたR画像データ、G画像データ、B画像データの輪郭成分を規格化する。ズレ量検出部443は、例えば画像データの各画素のデータの取り得る最大値で輪郭成分を規格化する。
ステップS205において、ズレ量検出部443は、同一画像セットに含まれる画像データ間のズレ量を算出する。ズレ量をFとすると、このズレ量Fは、例えば(式1)で示す、画像データの各画素のL2norm(差分二乗和)によって算出される。ここで、(式1)のI1(x,y)は、規格化後のR画像データ、G画像データ、B画像データのうちの1つの画像データI1における位置(x,y)の画素の値であり、I2(x,y)は、規格化後のR画像データ、G画像データ、B画像データのうちの別の1つの画像データI2における位置(x,y)の画素の値である。xは水平位置である。例えばx=1を画像データにおける左端の位置とし、x=Nを画像データにおける右端の位置とする。また、yは垂直位置である。例えばy=1を画像データにおける上端の位置とし、y=Mを画像データにおける下端の位置とする。
Figure 2016059977
輪郭抽出後の画像データに対して(式1)の演算をすることにより、図4に示すように、画像データの色ズレ量を輪郭のズレ量として求めることができる。特に、差分を取るのに先立って輪郭膨張処理をすることにより、画像データ間の色ズレ量が小さい(中程度の)場合には、輪郭に重なり部分E2が生じる。そして、この重なり部分E2は、輪郭膨張処理によって相殺される。したがって、色ズレ量が中程度である場合の(式1)の結果は、色ズレ量が大きい場合の(式1)の結果よりも小さくなる。このように、色ズレ量が大きくなるほど、(式1)の結果は大きくなり、画像データ間の色ズレ量を適切に評価することができる。
ここで、(式1)の演算は、通常、R画像データとG画像データの間、G画像データとB画像データの間、B画像データとR画像データの間で行われる。ただし、特定の2色の画像データのみの輪郭成分が抽出されている場合には、その画像データの間でのみ、(式1)の演算が行われる。
ステップS206において、画像選択部444は、画像セットに含まれる画像データ間のズレ量に応じて静止画表示に用いる画像セットを選択する。(式1)の演算の場合、Fの値が小さいほど、輪郭のズレ量は小さくなる。これから、画像選択部444は、画像データ間のズレ量が最も小さい画像セットを静止画表示用の画像セットとして選択する。図4の例では、画像選択部444は、入力画像3を静止画表示に用いる画像セットとして選択する。このような画像セットの選択の後、図3の処理は終了される。
ここで、図2の説明に戻る。ステップS107において、制御部47は、選択された画像セットを用いての内視鏡画像の静止画表示のための画像処理を行わせる。このとき、画像処理部43は、画像データの同時化、階調補正、色補正、拡大・縮小、強調処理といった基本的な静止画表示のための処理を行う。
ステップS108において、制御部47は、画像処理部43によって処理された画像データに基づく内視鏡画像の表示を表示制御部45に行わせる。すなわち、表示制御部45は、静止画表示のための画像処理により生成される表示用画像データを映像信号に変換し、この映像信号をモニタ5に入力する。この映像信号に基づいて、モニタ5は内視鏡画像を表示する。モニタ5に表示された内視鏡画像を見ることで、使用者は、必要なタイミングの体内の静止画像を観察することが可能である。
ステップS109において、制御部47は、使用者の操作部48の操作により、静止画表示の終了が指示されたか否かを判定する。ステップS109において、静止画表示の終了が指示されていないと判定された場合、処理はステップS108に戻る。この場合、内視鏡画像の静止画表示が継続される。
ステップS109において、静止画表示の終了が指示されたと判定された場合、処理はステップS101に戻る。この場合、内視鏡システム1の電源がオフされていなければ、動画表示が再開される。
以上説明したように本実施形態では、画像セットに含まれる画像データの輪郭成分のズレ量から画像セットに含まれる画像データ間のズレ量を検出するようにしている。白とびしている画像データのような一様に高輝度な画像データからは輪郭成分は抽出されないので、静止画表示に適さない画像セットが選択されてしまう可能性を低減できる。また、ズレ量Fを画素の値のL2normで算出することにより、画素の輝度変化の仕方だけではなく、画素の変化量の総和を評価することで、ノイズに対する耐性を高めることが可能である。
さらに、ズレ量Fを算出するに当たって、輪郭成分に対するぼかし処理を行うことにより、ノイズに対する耐性をさらに高めることが可能である。なお、ぼかし処理は必須の処理ではなく、ズレ量に対する許容量に応じて行われることが望ましい。
ここで、本実施形態では、画像セットは、面順次方式で得られる3枚の画像データを含む例を示している。しかしながら、画像セットは、面順次方式で得られる画像データで構成されるものに限るものではない。例えば、画像セットは、同時式(インターレース方式)のそれぞれのフィールドで得られる画像データで構成されていても良い。インターレース方式では、フィールド毎に露光する画素行を異ならせるので、画像データ間にズレが生じ得る。この画像データ間のズレ量は、本実施形態の手法によって検出することができる。
また、本実施形態では、ズレ量Fを画素の値のL2normで算出している。ズレ量Fは、画素の値のL2norm以外であっても良い。例えば、ズレ量Fは、画素の値のL1norm(差分絶対値和)でも良い。
また、本実施形態では、ズレ量Fに応じて1つの画像セットを選択する例を示している。これに対し、画像選択部444は、ズレ量Fの小さい複数の画像セットを選択するように構成されていても良い。
[変形例]
以下、本実施形態の変形例について説明する。図5は、変形例の静止画選択部44の構成を示す図である。変形例の静止画選択部44は、ノイズ除去部445と、輪郭抽出部441と、縮小処理部446と、輪郭膨張処理部442と、ズレ量検出部443と、画像選択部444とを有している。このうち、輪郭抽出部441と、輪郭膨張処理部442と、ズレ量検出部443と、画像選択部444は、図1で説明したものと同様の構成である。したがって、説明を省略する。
ノイズ除去部445は、輪郭抽出部441の前段に設けられ、記憶部42に記憶されている画像セットに含まれるそれぞれの画像データのノイズ成分(輪郭成分よりも高周波のノイズとみなせる成分)を除去する。輪郭抽出部441による輪郭抽出処理に先立って、ノイズ成分を除去しておくことにより、輪郭抽出処理において輪郭成分を精度良く抽出することが可能である。縮小処理部446は、例えば輪郭膨張処理部の前段に設けられ、輪郭抽出部441で抽出された画像データの輪郭成分に対して縮小処理を行う。縮小処理は、例えば間引き処理や画素加算処理によって行われる。縮小処理を行うことにより、輪郭膨張処理部442における輪郭膨張処理に必要なフィルタサイズを小さくして、輪郭膨張処理の負荷を減らすことができる。なお、縮小処理部446は、輪郭抽出部441の前段に設けられていても良い。この場合、輪郭抽出部441における輪郭抽出処理に必要なフィルタサイズを小さくして、輪郭抽出処理の負荷も減らすことができる。
図6は、変形例における画像セットの選択の処理を示すフローチャートである。なお、図3と共通の部分については簡単に説明する。ステップS301において、静止画選択部44のノイズ除去部445は、記憶部42に記憶されている複数の画像セット(R画像データ、G画像データ、B画像データ)を取得する。
ステップS302において、ノイズ除去部445は、取得したそれぞれの画像セットに含まれるG画像データ、B画像データのノイズを除去する。
ステップS303において、輪郭抽出部441は、ノイズ除去部445でノイズが除去されたG画像データ、B画像データの輪郭成分を例えばフィルタ処理によって抽出する。
ステップS304において、縮小処理部446は、輪郭抽出部441で抽出されたG画像データ、B画像データの輪郭成分に対して輪郭膨張処理を行う。
ステップS305において、輪郭膨張処理部442は、縮小処理部446で縮小処理がされたG画像データ、B画像データの輪郭成分に対して輪郭膨張処理を行う。
ステップS306において、ズレ量検出部443は、輪郭膨張処理部442で輪郭膨張処理がされたR画像データ、G画像データ、B画像データの輪郭成分を規格化する。
ステップS307において、ズレ量検出部443は、同一画像セットに含まれる画像データ間のズレ量を算出する。
ステップS308において、画像選択部444は、画像セットに含まれる画像データ間のズレ量に応じて静止画表示に用いる画像セットを選択する。
以上説明した変形例により、画像データ間のズレ量をより精度良く検出し、静止画表示に適さない画像セットが選択されてしまう可能性をより低減できる。
前記の目的を達成するために、本発明の第1の態様の信号処理装置は、被写体の時系列の撮像によって生成される複数の画像データを取得し、取得した複数の画像データから輪郭成分を抽出する輪郭抽出部と、前記抽出された輪郭成分の膨張処理を行う輪郭膨張処理部と、前記輪郭抽出部で抽出され、前記輪郭膨張処理部で膨張された輪郭成分のズレ量を各々が所定数の前記画像データの集まりである複数の画像セットの各々に含まれる画像データ間で比較することにより、各々の前記画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部と、前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも1つの画像セットを選択する画像選択部とを具備する。
前記の目的を達成するために、本発明の第2の態様の内視鏡システムは、被写体の時系列の撮像によって複数の画像データを取得する撮像部と、前記撮像部で取得された複数の画像データから輪郭成分を抽出する輪郭抽出部と、前記抽出された輪郭成分の膨張処理を行う輪郭膨張処理部と、前記輪郭抽出部で抽出され、前記輪郭膨張処理部で膨張された輪郭成分のズレ量を各々が所定数の前記画像データの集まりである複数の画像セットの各々に含まれる画像データ間で比較することにより、各々の前記画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部と、前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも1つの画像セットを選択する画像選択部と、前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも1つの画像セットを選択する画像選択部とを具備する。

Claims (8)

  1. 被写体の時系列の撮像によって生成される複数の画像データを取得し、取得した複数の画像データから輪郭成分を抽出する輪郭抽出部と、
    前記輪郭抽出部で抽出された輪郭成分のズレ量を各々が所定数の前記画像データの集まりである複数の画像セットの各々に含まれる画像データ間で比較することにより、各々の前記画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部と、
    前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも1つの画像セットを選択する画像選択部と、
    を具備する信号処理装置。
  2. 複数の前記画像セットを記憶する記憶部をさらに具備し、
    前記画像選択部は、静止画生成指示に基づいて、前記記憶部に記憶された複数の前記画像セットの中から、前記ズレ量の最も小さい画像セットを選択する請求項1に記載の信号処理装置。
  3. 前記抽出された輪郭成分の膨張処理を行う輪郭膨張処理部を有する請求項1に記載の信号処理装置。
  4. 前記ズレ量検出部は、前記画像セットに含まれる画像データのうちの2枚の画像データの間で画素毎の差分絶対値を算出し、前記算出した差分絶対値の総和を前記ズレ量として検出する請求項1に記載の信号処理装置。
  5. 前記輪郭抽出部の前段に設けられ、前記画像データのノイズ成分を除去するノイズ除去部をさらに有する請求項1に記載の信号処理装置。
  6. 前記輪郭膨張処理部の前段側に設けられ、前記画像データの縮小処理を行う縮小処理部をさらに有する請求項3に記載の信号処理装置。
  7. 前記縮小処理部は、前記輪郭抽出部の前段側に設けられている請求項6に記載の信号処理装置。
  8. 被写体の時系列の撮像によって複数の画像データを取得する撮像部と、
    前記撮像部で取得された複数の画像データから輪郭成分を抽出する輪郭抽出部と、
    前記輪郭抽出部で抽出された輪郭成分のズレ量を各々が所定数の前記画像データの集まりである複数の画像セットの各々に含まれる画像データ間で比較することにより、各々の前記画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部と、
    前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも1つの画像セットを選択する画像選択部と、
    前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも1つの画像セットを選択する画像選択部と、
    を具備する内視鏡システム。
JP2016521375A 2014-10-15 2015-10-01 信号処理装置及び内視鏡システム Active JP5977909B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014211035 2014-10-15
JP2014211035 2014-10-15
PCT/JP2015/077981 WO2016059977A1 (ja) 2014-10-15 2015-10-01 信号処理装置及び内視鏡システム

Publications (2)

Publication Number Publication Date
JP5977909B1 JP5977909B1 (ja) 2016-08-24
JPWO2016059977A1 true JPWO2016059977A1 (ja) 2017-04-27

Family

ID=55746525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016521375A Active JP5977909B1 (ja) 2014-10-15 2015-10-01 信号処理装置及び内視鏡システム

Country Status (5)

Country Link
US (1) US20170061230A1 (ja)
EP (1) EP3207855A4 (ja)
JP (1) JP5977909B1 (ja)
CN (1) CN106163373B (ja)
WO (1) WO2016059977A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016147366A1 (ja) 2015-03-19 2016-09-22 オリンパス株式会社 内視鏡装置
JP6558935B2 (ja) * 2015-04-24 2019-08-14 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6739542B2 (ja) * 2016-12-02 2020-08-12 オリンパス株式会社 内視鏡用画像処理装置および内視鏡用画像処理方法
JP7446888B2 (ja) 2020-03-30 2024-03-11 日産自動車株式会社 画像生成装置及び画像生成方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744924B2 (ja) * 1988-07-29 1995-05-17 富士写真光機株式会社 電子内視鏡装置
JP3128068B2 (ja) * 1988-10-27 2001-01-29 オリンパス光学工業株式会社 信号処理装置
JP3887453B2 (ja) * 1997-05-23 2007-02-28 オリンパス株式会社 内視鏡装置
JP2002085344A (ja) * 2000-09-20 2002-03-26 Olympus Optical Co Ltd 画像フリーズ処理装置
JP2006074155A (ja) * 2004-08-31 2006-03-16 Mitsubishi Electric Corp 画像処理装置および画像処理方法ならびに画像表示装置
US7312879B2 (en) * 2005-08-23 2007-12-25 University Of Washington Distance determination in a scanned beam image capture device
US9089256B2 (en) * 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US20090177089A1 (en) * 2008-01-04 2009-07-09 Assaf Govari Three-dimensional image reconstruction using doppler ultrasound
JP5220677B2 (ja) * 2009-04-08 2013-06-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5597049B2 (ja) * 2010-07-07 2014-10-01 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
EP2570070B1 (en) * 2010-08-30 2016-10-05 Olympus Corporation Endoscope
JP5729881B2 (ja) * 2012-09-05 2015-06-03 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡画像の画像処理方法

Also Published As

Publication number Publication date
CN106163373A (zh) 2016-11-23
EP3207855A1 (en) 2017-08-23
JP5977909B1 (ja) 2016-08-24
US20170061230A1 (en) 2017-03-02
CN106163373B (zh) 2018-05-01
EP3207855A4 (en) 2018-06-27
WO2016059977A1 (ja) 2016-04-21

Similar Documents

Publication Publication Date Title
JP6198426B2 (ja) 蛍光観察装置及び蛍光観察方法
US20170112356A1 (en) Image processing apparatus, image processing method, computer-readable recording medium, and endoscope system
JP5977909B1 (ja) 信号処理装置及び内視鏡システム
CN106256123B (zh) 处理装置、摄像装置以及内窥镜系统
US10575720B2 (en) Endoscope system
US9635343B2 (en) Stereoscopic endoscopic image processing apparatus
US10966592B2 (en) 3D endoscope apparatus and 3D video processing apparatus
EP3345530A1 (en) Imaging system, processing device, processing method, and processing program
JP6047467B2 (ja) 内視鏡システム及びその作動方法
JP5124102B2 (ja) 内視鏡プロセッサ、画像処理プログラム、および内視鏡システム
US9404866B2 (en) Fluorescent light observation device and fluorescent light observation method
EP2229869B1 (en) Medical image processing device and medical imaging system
JP2012239757A (ja) 医療機器及び医療用プロセッサ
JP6411597B2 (ja) 蛍光観察装置及び蛍光観察方法
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
JP6368886B1 (ja) 内視鏡システム
EP3200450A1 (en) Transmission system and processing device
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
EP3175774A1 (en) Imaging system
US20240087090A1 (en) Processor for electronic endoscope and electronic endoscopic system
JP7134759B2 (ja) 医療用画像処理装置及び医療用観察システム
JP6042798B2 (ja) 画像処理装置及び内視鏡システム
JP2016002374A (ja) 画像処理装置及び画像処理装置の作動方法
JP2006121242A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160722

R151 Written notification of patent or utility model registration

Ref document number: 5977909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250