JP6234632B2 - 内視鏡装置及びビデオプロセッサ - Google Patents

内視鏡装置及びビデオプロセッサ Download PDF

Info

Publication number
JP6234632B2
JP6234632B2 JP2017505598A JP2017505598A JP6234632B2 JP 6234632 B2 JP6234632 B2 JP 6234632B2 JP 2017505598 A JP2017505598 A JP 2017505598A JP 2017505598 A JP2017505598 A JP 2017505598A JP 6234632 B2 JP6234632 B2 JP 6234632B2
Authority
JP
Japan
Prior art keywords
mode
light
period
unit
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017505598A
Other languages
English (en)
Other versions
JPWO2017047113A1 (ja
Inventor
陽一朗 坂上
陽一朗 坂上
雄亮 矢部
雄亮 矢部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017047113A1 publication Critical patent/JPWO2017047113A1/ja
Application granted granted Critical
Publication of JP6234632B2 publication Critical patent/JP6234632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/02—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、内視鏡装置及びビデオプロセッサに関する。
従来より、医療分野及び工業分野で、内視鏡装置が広く用いられている。内視鏡装置は、挿入部が被検体内に挿入され、照明光を検査部位に照射し、検査部位からの反射光を撮像素子で受光して、被検体画像である内視鏡画像を生成する。
近年は撮像素子としてCMOSイメージセンサが用いられる内視鏡装置がある。CMOSイメージセンサでは、ライン毎にタイミングをずらして露光及び読み出しを行うローリングシャッタ方式が採用され、露光から読み出しまでの処理がライン毎に異なるタイミングで行われる。
CMOSイメージセンサの場合、パルス照明をすると、照明光の発光タイミングによっては、露光ムラが発生する場合があるため、日本特許第５４５２７８５号公報に開示のように、映像読み出しのタイミングすなわち映像読み出し期間においては照明光の強度を一定に保ち、映像読み出し期間以外の全ライン同時露光のタイミングすなわち全ライン同時露光期間においてはPWM（Pulse Width Modulation）制御によるパルス照明を行う技術が提案されている。その提案によれば、全ライン同時露光期間におけるPWM制御と、映像読み出し期間における強度一定制御を組合せた照明制御により、露光ムラを無くして画質の低下が防止される。
また、上記提案のような２つの制御の組合せによる照明制御の場合に、照明光量をより低下させるために、映像読み出し期間では強度一定制御を行うと共に全ライン同時露光期間ではPWM制御を行う制御状態から、映像読み出し期間における強度一定制御を停止して、全ライン同時露光期間のみにおいて電流レベル制御とPWM制御を行う制御状態に移行する方法も提案されている（図１５参照）。
そして、その移行の前後において照明光量が連続的に変化するようにするために、移行前の映像読み出し期間の光量と、移行後の全ライン同時露光期間の光量とが同じになるように、移行後の全ライン同時露光期間の電流レベル制御が行われる。
しかし、その提案の場合、移行前における全ライン露光期間において照明がされない状態から、全ライン同時露光期間の電流レベル制御への移行が行われるため、照明光の強度の変化量が大きく、移行時に、出力される画像上の輝度ムラが目立ち易いという問題がある。すなわち、全ライン露光期間に照明光が出射されない状態から、移行時に全ライン露光期間に多くの照明光を出射するという照明タイミングの変更が行われるので、画像の輝度ムラが目立ち易い。
そこで、本発明は、照明タイミングの変更が行われるときに、輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することを目的とする。
本発明の一態様の内視鏡装置は、被検体を照明するための光を発する発光部と、前記発光部から前記光を発するための駆動信号を生成し、前記駆動信号の電流値に応じて前記発光部が発する前記光の光量を変更可能な駆動部と、前記光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子と、前記撮像素子が生成した前記撮像信号から内視鏡画像を生成し、かつ、前記露光期間および前記読み出し期間において前記発光部から前記光を照射するように前記駆動部を制御する第１のモードと、前記露光期間のみにおいて前記発光部から前記光を照射するように前記駆動部を制御する第２のモードとを切り替え制御する制御部であって、前記第１のモードにおいて前記駆動信号の電流値が所定の下限値であり、さらに前記内視鏡画像の明るさを下げる場合に前記第１のモードから前記第２のモードに切り替える制御部と、を有し、前記制御部は、前記撮像素子が、前記露光期間の全ての期間において、前記複数のラインの露光を同時に行うよう前記駆動部を制御すると共に、前記第１のモードから前記第２のモードへの切替の直前のフィールド又はフレームにおける前記読み出し期間における光量の一部を、前記第１のモードから前記第２のモードへの切替の直前のフィールド又はフレームにおける前記露光期間における光量に加算した光量を、前記第１のモードから前記第２のモードへの切替の直後のフィールド又はフレームにおける前記露光期間の光量とするように、前記駆動部を制御する。
本発明の一態様のビデオプロセッサは、被検体を照明するための光を発する発光部の前記光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子からの前記撮像信号が入力されて内視鏡画像を生成するビデオプロセッサであって、前記露光期間および前記読み出し期間において前記発光部から前記光を照射するように、前記発光部から前記光を発するための駆動信号の電流値に応じて前記発光部が発する前記光の光量を変更可能な駆動部を制御する第１のモードと、前記露光期間のみにおいて前記発光部から前記光を照射するように前記駆動部を制御する第２のモードとを切り替え制御する制御部であって、前記第１のモードにおいて前記駆動信号の電流値が所定の下限値であり、さらに前記内視鏡画像の明るさを下げる場合に前記第１のモードから前記第２のモードに切り替える制御部と、
を有し、前記制御部は、前記撮像素子が、前記露光期間の全ての期間において、前記複数のラインの露光を同時に行うよう前記駆動部を制御すると共に、前記第１のモードから前記第２のモードへの切替の直前のフィールド又はフレームにおける前記読み出し期間における光量の一部を、前記第１のモードから前記第２のモードへの切替の直前のフィールド又はフレームにおける前記露光期間における光量に加算した光量を、前記第１のモードから前記第２のモードへの切替の直後のフィールド又はフレームにおける前記露光期間の光量とするように、前記駆動部を制御する。
本発明の実施の形態に係わる内視鏡装置の構成を示すブロック図である。 本発明の実施の形態に係わる、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力との関係を説明するための模式的な図である。 本発明の実施の形態に係わる、照明モードを説明するための図である。 本発明の実施の形態に係わる、照明モードの切替処理の流れの例を示すフローチャートである。 本発明の実施の形態の変形例１に関わる、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力との関係を説明するための模式的な図である。
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本実施の形態に係わる内視鏡装置の構成を示すブロック図である。内視鏡装置１は、内視鏡２と、ビデオプロセッサ３と、光源装置４と、モニタ５とを有している。なお、図１では、本実施の形態の照明タイミングの変更に関連する構成要素のみを示し、その他の構成要素については省略している。
内視鏡２は、撮像素子１１と、アナログフロントエンド部（以下、AFE部という）１２と、発光素子１３とを有して構成されている。
撮像素子１１は、CMOSイメージセンサであり、後述する撮像素子駆動部２３により駆動されて、撮像信号をAFE部１２へ出力する。撮像素子１１は、各ラインが複数の画素を含む複数の水平ラインを有する受光部を有している。撮像素子１１は、水平ライン毎にタイミングをずらして露光と読み出しを行うローリングシャッタ方式により画像を生成する。
AFE部１２は、入力されたアナログ信号である撮像信号に対して、ノイズ低減処理、増幅処理などしてから、デジタル信号に変換して、ビデオプロセッサ３に出力する。
発光素子１３は、例えば白色光を出射する発光ダイオード（LED）であり、後述する発光素子駆動部２４により駆動されて、被検体を照明するための照明光を発する発光部である。
撮像素子１１と発光素子１３は、内視鏡２の挿入部の先端部に配置される。
ビデオプロセッサ３は、制御部２１と、明るさ検出部２２と、撮像素子駆動部２３と、を有して構成されている。
制御部２１は、中央処理装置（CPU）、ROM、RAMなどを含み、内視鏡装置１全体の制御及び各部の制御を行う。具体的には、制御部２１は、撮像素子１１及び発光素子１３の駆動制御、撮像素子１１からの撮像信号に対する各種画像処理を施してモニタ５に表示する画像の生成、図示しないメモリへの画像の記録などを行う。
明るさ検出部２２は、内視鏡２の撮像素子１１からの撮像信号ISに基づいて、所定の範囲、例えばフレーム画像全体範囲に含まれる複数の画素の画素値からの、画像の明るさを算出する回路である。
撮像素子駆動部２３は、制御部２１からの撮像素子制御信号CS1に基づいて駆動信号SCを生成し、撮像素子１１を駆動する回路である。駆動信号SCには、撮像素子１１に対する露光タイミング及び読み出しタイミングを与える同期信号が含まれる。
光源装置４は、発光素子駆動部２４を有して構成されている。
制御部２１は、後述するように、所定のタイミングで発光素子駆動制御信号CS2を出力する。
発光素子駆動部２４は、制御部２１からの発光素子駆動制御信号CS2に基づいて電流信号である駆動信号Iを生成して、発光素子１３を駆動する回路である。発光素子駆動部２４から出力される駆動信号Iの大きさ、すなわち電流値に応じて、発光素子１３の出射する光の強度が変化する。
制御部２１は、後述する２つの照明モードの切替を制御すると共に、各照明モードにおいて、明るさ検出部２２の検出した明るさ信号Bに基づいて、画像の明るさが適切な明るさになるように、発光素子１３が発する照明光の強度を制御する。すなわち、制御部２１は、発光部である発光素子１３が発する光の強度を制御する発光制御部を構成する。
内視鏡２の挿入部の先端部に設けられた発光素子１３からの照明光が被検体の観察部位を照明し、撮像素子１１がその反射光を受光して撮像信号ISが生成される。
モニタ５は、内視鏡画像及びメニュー画像を表示する、液晶表示器などの表示装置である。
以上のように、明るさ検出部２２が、AFE部１２からの撮像信号ISに基づいて、フレーム毎の画像の明るさを検出して、各フレーム画像の明るさを示す明るさ信号Bを制御部２１へ出力する。制御部２１は、受信した撮像信号ISに基づいて表示画像を生成すると共に、受信した明るさ信号Bに基づいて発光素子駆動部２４へ発光素子駆動制御信号CS2を出力する。
よって、制御部２１は、撮像素子駆動部２３を制御して、撮像素子１１を駆動し、ローリングシャッタ方式により生成された画像データから内視鏡画像を生成して、モニタ５に出力して表示する。
図２は、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力との関係を説明するための模式的な図である。
図２において、上段のG1で示す範囲には、撮像素子１１の各ラインの露光期間と読み出し期間のタイミングが模式的に示されている。下段のG2には、発光素子１３に流れる駆動信号Iの変化が示されている。横軸は、時間tの軸である。
撮像素子１１は、CMOSイメージセンサであり、撮像素子１１は、各ラインが複数の画素からなり、ｎ行のラインからなる受光部を有する。撮像素子１１は、ライン毎にタイミングをずらして露光と読み出しを行うローリングシャッタ方式により画像データを生成する。
具体的には、撮像素子１１は、複数のフレームを連続的に撮像する場合、蓄積された電荷の読み出しを１つの水平ライン毎に行う。撮像素子１１の受光部の第１ライン（図２における１行目のライン）から最後ラインである第ｎライン（ｎは自然数であり、図２におけるｎ行目のライン）が、順次読み出しラインとなって、画素信号が読み出される。そのため、１行目のラインとｎ行目のラインとの間には、読み出しタイミングに時間差が生じる。
撮像素子１１の第１ラインの画素データの読み出しの開始後、第ｎラインの画素データの読み出しが終了するまでの期間が、映像読み出し期間IRである。
周期的に発生する映像読み出し期間IR以外の期間であって、全ラインに対して同時に露光を行う期間が、全ライン同時露光期間ALである。図２に示すように、画像の１フィールド又は１フレームの期間T中には、全ライン同時露光期間ALと映像読み出し期間IRが含まれる。
撮像素子１１はローリングシャッタ方式であるため、全ライン同時露光期間ALと映像読み出し期間IRが交互に切り替わる。
なお、１フィールド（又は１フレーム）の期間T、及び、全ライン同時露光期間ALの時間t1は、撮像素子１１の仕様によって決定される。
以上のように、内視鏡の挿入部に設けられた撮像素子１１は、光が照射される被検体からの反射光を受光する複数のラインを有し、複数のラインの露光を同時に行う露光期間ALと、複数のラインから順次各ラインの撮像信号を読み出す読み出し期間IRとを交互に切り替えるローリングシャッタ方式の撮像素子である。
発光素子駆動部２４が出力する駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で変化する。制御部２１は、発光素子駆動制御信号CS2を発光素子駆動部２４に出力する。すなわち、発光素子駆動制御信号CS2は、発光素子駆動部２４が出力する駆動信号Iが所定の最小値Iminと所定の最大値Imaxの間となるような信号である。
内視鏡２の挿入部が被検体内に挿入されて、撮像素子１１により被検体内が撮像されると、制御部２１は、明るさ検出部２２が検出した画像の明るさに応じて、画像が適正な明るさとなる強度で発光素子１３が照明光を出射するような発光素子駆動制御信号CS2を、発光素子駆動部２４に出力する。その結果、モニタ５には、適正な明るさの内視鏡画像が表示される。すなわち、制御部２１は、発光素子１３に流れる駆動信号Iの大きさを調整することによって、調光を行う電流レベル制御を実行する。電流レベル制御は、例えば、PAM（Pulse Amplitude Modulation）制御である。
図２において、発光素子１３に流れる駆動信号Iの電流値の大きさは、期間T2では、期間T1よりも小さくなっている。例えば、挿入部の先端が被検体に近づいたため、明るさ信号Bが大きくなって、照明光の強度を下げる必要になったため、期間T2では、発光素子１３を駆動する駆動信号Iの電流値が低下している。
期間T1とT2の各期間では、全ライン同時露光期間AL及び映像読み出し期間IRにおいて、画像の明るさに応じた一定の強度の照明光を出射する第１照明モードM1で、照明制御が行われている。上述したように、第１照明モードM1では、駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で調整されるが、内視鏡２の挿入部の先端部が被検体に近づき過ぎると、駆動信号Iが最小値Iminであっても画像の明るさが所定の明るさ以上となってしまう。
すなわち、制御部２１は、通常は、適切な明るさの画像を得るために全ライン同時露光期間AL及び映像読み出し期間IRにおいて同じ強度の照明光を出射する第１照明モードM1による照明制御を実行する。
しかし、上述したように、挿入部の先端が被検体に近づいたりして、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射すると照明光の強度が強すぎてしまうときは、制御部２１は、適切な明るさの画像を得るために全ライン同時露光期間ALのみにおいて照明光を出射する第２照明モードM2による照明制御を実行するように照明モードを切り替える。
第２照明モードM2は、全ライン同時露光期間ALにおいてのみ照明光を出射し、映像読み出し期間IRにおいては照明光を出射しないので、必要な光量が少ないときに実行されるモードである。第２照明モードM2では、駆動信号Iの大きさを増減させて光の強度を制御する電流制御と、発光させる時間により照明光量を制御するPWM制御とが併用される。
図２の期間T4とT5では、全ライン同時露光期間ALにおいてのみ照明光が出射される第２照明モードM2で、照明制御が行われている。第２照明モードM2においても、駆動信号Iは、所定の最小値Iminと所定の最大値Imaxの間で調整される。
第１照明モードM1と第２照明モードM2は、画面の明るさLに応じて切り替えられる。
図２は、期間T3から期間T4に移行するときに、第１照明モードM1から第２照明モードM2への照明制御の移行が行われていることを示している。
（作用）
次に、内視鏡装置１の動作について説明する。
上述したように、第１照明モードM1と第２照明モードM2は、画面の明るさLに応じて切り替えられるが、第１照明モードM1と第２照明モードM2の切替処理について説明する。
図３は、照明モードを説明するための図である。図３の縦軸は、明るさLを示している。通常、制御部２１は、明るさ検出部２２の検出した明るさ信号Bに基づいて、画像の明るさが適切な明るさになるように、発光素子１３が発する照明光の強度を制御する。しかし、内視鏡の先端部が検査部位に近づき過ぎたときは、上述した駆動電流Iが最小値Iminになっても、得られる画像の明るさLは適切な明るさにならず、所定の閾値Lth以上となる。
そこで、制御部２１は、明るさ検出部２２からの明るさ信号Bに基づいて算出された画像の明るさLが所定の閾値Lth以上であれば、第２照明モードM2で照明制御を実行し、画像の明るさLが所定の閾値Lth未満であるとき、第１照明モードM1で照明制御を実行する。明るさLが所定の閾値Lth以上になるとき、及び明るさLが所定の閾値Lth未満になるとき、照明モードの切替が行われる。
図４は、照明モードの切替処理の流れの例を示すフローチャートである。図４の処理は、第１照明モードM1と第２照明モードM2で照明制御が実行されているとき、常に実行されている。
制御部２１は、明るさ検出部２２からの明るさ信号Bに基づいて、画像の明るさLが所定の閾値Lth以下であるか否かを判定する（S1）。
画像の明るさLが所定の閾値Lth以下であると（S1:YES）、制御部２１は、現在の照明モードが第１照明モードM1であるかを判定し（S6）、第１照明モードM1であるとき（S6:YES）、処理は何もしない。図２では、期間T1及びT2において第１照明モードM1の照明制御が行われている。
画像の明るさLが所定の閾値Lthを超えると（S1:NO）、制御部２１は、現在の照明モードが第２照明モードM2であるかを判定し（S2）、第２照明モードM2でないとき（S2:NO）、補正演算処理を実行する（S3）。
図２において期間T3までは、第１照明モードM1で照明制御が行われており、期間T3において画像の明るさLが所定の閾値Lth以上となり、次の期間T4からは、第２照明モードM2で照明制御が行われる。
期間T4から第２照明モードM2で照明制御が開始するときに、補正演算処理（S3）が行われ、第２照明モードM2で照明制御を開始するときの最初のフィールド、ここでは期間T4における電流値が決定される。
図２に示すように、期間T3の映像読み出し期間IRにおける駆動信号Iの電流値をI1とし、期間T4の全ライン同時露光期間ALにおける駆動信号Iの電流値をI2とするとき、期間T3における映像読み出し期間IRにおいて読み出される撮像信号に対応する画像の明るさと期間T4における映像読み出し期間IRにおいて読み出される撮像信号に対応する画像の明るさとを一致させるために、電流値I2は、次の式（１）を満たすように決定される。
（T−t1）I1／2 ＝ t1（I2−I1） ・・・ （１）
式（１）の左辺は、図２における斜線領域R1の面積を示す。式（１）の右辺は、図２における斜線領域R2の面積を示す。
よって、第１照明モードM1から第２照明モードM2への移行後の最初のフィールド（図２では期間T4）では、光の強度の増加量、言い換えれば期間T3の電流値I1から期間T4における電流値I2への変化量が小さいので、移行時の光量ムラが目立ち難くなる。
さらに、移行後の期間T5の全ライン同時露光期間ALにおける駆動信号Iの電流値は、最大値Imaxを超えることはできないので、電流値I1とI2は、次の式（２）を満たす必要がある。
2（I2−I1）＋I1 ≦ Imax ・・・（２）
よって、制御部２１は、S2でNOの場合に、上記の式（１）の条件を満たす電流値I2を算出する補正演算処理を実行し（S3）、補正演算の結果が上記の式（２）の条件を満たしているかに基づいて、照明モードの切替が可能かを判定する（S4）。
なお、上述したように、撮像素子１１の１フィールド（又は１フレーム）の期間T、及び、全ライン同時露光期間ALの時間t1は、撮像素子１１の仕様によって決まるので、各照明モードにおける電流値I1とI2は、次の式（３）と（４）を満たす。
Imin≦I1≦（t1／T）Imax ・・・（３）
I2≦（（T＋t1）／2T）Imax ・・・（４）
照明モードの切替が可能であると判定されたとき（S4:YES）、制御部２１は、補正演算処理の結果に基づいて、全ライン同時露光期間ALにおいてのみ照明光が出射される第２照明モードM2で、照明制御を行う（S5）。ここで、照明モードの切替が行われる。
S5では、制御部２１は、S3で決定された電流値I2を発光素子１３に流すように、第１照明モードM1から第２照明モードM2への移行後の最初のフィールド（T4）における照明制御を行う。その後のフィールド（T5以降）では、画像の明るさに応じて、全ライン同時露光期間ALにおいてのみ照明光が出射される第２照明モードM2で、照明制御が行われる。
以上のように、制御部２１は、露光期間である全ライン同時露光期間AL及び読み出し期間である映像読み出し期間IRにおいて発光素子１３からの光を照射する第１照明モードM1と、露光期間である全ライン同時露光期間ALのみにおいて発光素子１３からの光を照射する第２照明モードM2の２つのモードのうち、一方から他方へモードの切替を行うときに、ここでは、第１照明モードM1から第２照明モードM2へのモードの切替後に光の強度が所定の値になるように制御する切替制御部を構成する。
そして、制御部２１は、撮像素子１１が露光されて受ける光量がモードの切替の前後のフィールド又はフレームにおいて等しくなるように発光素子１３が発する光の強度を制御する。しかし、制御部２１は、切替の直後のフィールド又はフレームでは、モードの切替の直前のフィールド又はフレームにおける読み出し期間IRにおける光量の一部、ここでは半分を、モードの切替の直前のフィールド又はフレームにおける露光期間ALにおける光量に加算した光量を、モードの切替の直後のフィールド又はフレームにおける露光期間ALの光量とするように、発光素子１３発する光の強度を制御する。
具体的には、制御部２１は、モードの切替の直前の光の強度（ここでは電流値）をI1とし、モードの切替の直後の光の強度（ここでは電流値）をI2とし、露光期間をt1とし、撮像素子１１における1フィールド又は1フレームの期間をTとしたときに、式（１）の関係を満たすように、発光素子１３を制御する。さらに、制御部２１は、発光素子１３における最大発光強度をImaxとしたときに式（２）の関係を満たすように、発光素子１３を制御する。
照明モードの切替が可能であると判定されないとき（S4:NO）、制御部２１は、処理を何もせず、結果として照明モードの切替を行わない。
なお、制御部２１は、現在の照明モードが第２照明モードM2であるかを判定したときに第２照明モードM2であると（S2:YES）、処理は、何もせず、結果として第２照明モードM2での照明制御が継続する。
また、画像の明るさLが所定の閾値Lth以上であると（S1:NO）、制御部２１は、現在の照明モードが第１照明モードM1であるかを判定し（S6）、第１照明モードM1でないとき（S6:NO）、補正演算処理を実行する（S7）。
S7の補正演算処理では、第２照明モードM2から第１照明モードM1への移行後の最初のフィールドの駆動信号Iの電流値I1が上述した式（１）を満たすように決定される。
すなわち、制御部２１は、S6でNOの場合に、上記の式（１）の条件を満たす電流値I1を算出する補正演算処理を実行し（S7）、補正演算の結果が上記の式（２）の条件を満たしているかに基づいて、照明モードの切替が可能かを判定する（S8）。
照明モードの切替が可能であると判定されたとき（S8:YES）、制御部２１は、補正演算処理の結果に基づいて、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射する第１照明モードM1で、照明制御を行う（S9）。その後は、画像の明るさに応じて、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射する第１照明モードM1で、照明制御を行う。
S9では、制御部２１は、S7で決定された電流値I1を発光素子１３に流すように、第２照明モードM2から第１照明モードM1への移行後の最初のフィールドにおける照明制御を行う。その後のフィールドでは、画像の明るさに応じて、全ライン同時露光期間AL及び映像読み出し期間IRにおいて照明光を出射する第１照明モードM1で、照明制御が行われる。
以上のように、制御部２１は、第２照明モードM2から第１照明モードM1へのモードの切替後に光量が所定の値になるように制御する切替制御部を構成する。
照明モードの切替が可能であると判定されないとき（S8:NO）、制御部２１は、処理を何もせず、結果として照明モードの切替を行わない。
なお、制御部２１は、現在の照明モードが第１照明モードM1であるかを判定したときに第１照明モードM1であると（S6:YES）、上述したように、処理は、何もせず、結果として第１照明モードM1での照明制御が継続する。
以上のように、上述した実施の形態によれば、照明タイミングの変更が行われるときに、輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することができる。
なお、上述した実施の形態では、発光素子１３は白色光を出射するが、RGBなどの複数色に光を出射する複数の発光素子を用いてもよく、その場合は、制御部は、各色の光の出射のタイミングの切替時において、上述したような照明光の強度制御を行う。
さらになお、上述した実施の形態の内視鏡装置では、照明モードは、画像の明るさに基づいて切替が行われるが、切替は、画像の明るさに基づかなくてもよい。例えば、第２照明モードM2への切り替え後の駆動信号IがImaxを越えないようなI1において、任意のときに、第１照明モードM1から第２照明モードM2へ変更してもよい。また、第１照明モードM1への切り替え後の駆動信号IがIminを下回らないようなI2において、任意のときに、第２照明モードM2から第１照明モードM1へ変更してもよい。具体的には、本実施例において上述した式（１）と（２）を満たすときには、任意のときに、照明モードの切替を行うようにしてもよい。
次に、上述した実施の形態の参考例について説明する。
（参考例）
上述した実施の形態では、第１照明モードM1の全ライン露光期間の全体に亘って駆動信号Iが出力されるが、本参考例のように、第１照明モードM1の全ライン露光期間においてPWM制御を行うようにしてもよい。
図５は、本参考例に係る、内視鏡装置１の撮像時における撮像素子１１の露光期間及び読み出し期間と、発光素子１３が出射する照明光の出力との関係を説明するための模式的な図である。図５は、図２と同様の図であるので、共通する部分については説明は省略する。
図５に示すように、本参考例においては、画像の１フィールド又は１フレームの期間T中の全ライン同時露光期間ALにおいて、発光素子１３は、PWM制御により全ライン同時露光期間ALの全てに渡って光を出射していない。
以上のように、本参考例においては、撮像素子１１は、全ライン同時露光期間ALの全ての期間に渡って複数のラインの露光を同時に行うのではなく、全ライン同時露光期間ALの一部の期間において、複数のラインの露光を同時に行う。
なお、本参考例においても、第２照明モードM2への切り替え後の駆動信号IがImaxを越えないようなI1において、任意のときに、第１照明モードM1から第２照明モードM2へ変更してもよい。また、第１照明モードM1への切り替え後の駆動信号IがIminを下回らないようなI2において、任意のときに、第２照明モードM2から第１照明モードM1へ変更してもよい。
さらに、本参考例において、PWM制御により読み出し期間にのみ発光素子13が発光している場合において、映像読み出し期間IRに発光する第１照明モードM1と全ライン同時露光期間ALのみに発光する第２照明モードM2との切り替えてもよい。また、第１照明モードM1と第２照明モードM2の一方から他方へ切り替える際に、モード切り替え前後において画像の明るさが等しくなるように駆動信号Iを制御してもよい。
次に、上述した実施の形態の変形例について説明する。
（変形例）
本変形例においては、モードの切替の直後の画像、例えば上述した第１照明モードM1から第２照明モードM2への移行後の最初のフィールド又はフレーム（図２では期間T4）では、期間T3の映像読み出し期間IRにおける照明の影響を受けて、期間T4で出力される画像には、ライン間の輝度差による輝度ムラがあるので、制御部２１は、第１照明モードM1から第２照明モードM2への移行後の最初のフィールド（図２では期間T4）に得られた画像に対して、その輝度ムラをなくすように補正する画像処理を行う。
すなわち、本変形例においては、制御部２１が補正部としての機能を有し、その補正部が、モードの切替の直後のフィールド又はフレームの画像に対して、モードの切替の直前のフィールド又はフレームにおける映像読み出し期間IRにおける光量の影響による輝度ムラを補正する処理を行う。
以上説明したように、上述した実施の形態及び前記変形例によれば、照明タイミングの変更が行われるときに、輝度ムラが低減される内視鏡装置及びビデオプロセッサを提供することができる。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１５年９月１６日に日本国に出願された特願２０１５−１８３１６８号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (7)

  1. 被検体を照明するための光を発する発光部と、
    前記発光部から前記光を発するための駆動信号を生成し、前記駆動信号の電流値に応じて前記発光部が発する前記光の光量を変更可能な駆動部と、
    前記光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子と、
    前記撮像素子が生成した前記撮像信号から内視鏡画像を生成し、かつ、前記露光期間および前記読み出し期間において前記発光部から前記光を照射するように前記駆動部を制御する第１のモードと、前記露光期間のみにおいて前記発光部から前記光を照射するように前記駆動部を制御する第２のモードとを切り替え制御する制御部であって、前記第１のモードにおいて前記駆動信号の電流値が所定の下限値であり、さらに前記内視鏡画像の明るさを下げる場合に前記第１のモードから前記第２のモードに切り替える制御部と、
    を有し、
    前記制御部は、前記撮像素子が、前記露光期間の全ての期間において、前記複数のラインの露光を同時に行うよう前記駆動部を制御すると共に、前記第１のモードから前記第２のモードへの切替の直前のフィールド又はフレームにおける前記読み出し期間における光量の一部を、前記第１のモードから前記第２のモードへの切替の直前のフィールド又はフレームにおける前記露光期間における光量に加算した光量を、前記第１のモードから前記第２のモードへの切替の直後のフィールド又はフレームにおける前記露光期間の光量とするように、前記駆動部を制御する
    ことを特徴とする内視鏡装置。
  2. 前記制御部は、前記撮像素子が露光されて受ける光量が前記第１のモードから前記第２のモードへの切替の前後のフィールド又はフレームにおいて等しくなるように前記駆動部を制御することを特徴とする請求項１に記載の内視鏡装置。
  3. 前記制御部は、前記第１のモードから前記第２のモードへの切替の直前の前記光の強度をI1とし、前記第１のモードから前記第２のモードへの切替の直後の前記光の強度をI2とし、前記露光期間をt1とし、前記撮像素子における1フィールド又は1フレームの期間をTとしたときに次の式（１）の関係を満たすように、前記駆動部を制御することを特徴とする請求項１に記載の内視鏡装置。
    （T−t1）I1／2＝t1（I2−I1）・・・（１）
  4. さらに、前記制御部は、前記発光部における最大発光強度をImaxとしたときに次の式（２）の関係を満たすように、前記駆動部を制御することを特徴とする請求項３に記載の内視鏡装置。
    2（I2−I1)＋I1≦Imax・・・（２）
  5. 前記第１のモードから前記第２のモードへの切替の直後のフィールド又はフレームの画像に対して、前記第１のモードから前記第２のモードへの切替の直前のフィールド又はフレームにおける前記読み出し期間における光量の影響による輝度ムラを補正する処理を行う補正部を有することを特徴とする請求項１に記載の内視鏡装置。
  6. 前記撮像素子は、CMOSイメージセンサであることを特徴とする請求項１に記載の内視鏡装置。
  7. 被検体を照明するための光を発する発光部の前記光が照射される被検体からの反射光を受光する複数のラインを有し、前記複数のラインの露光を行う露光期間と、前記複数のラインから順次各ラインの撮像信号を読み出す読み出し期間とを交互に切り替えるローリングシャッタ方式の撮像素子からの前記撮像信号が入力されて内視鏡画像を生成するビデオプロセッサであって、
    前記露光期間および前記読み出し期間において前記発光部から前記光を照射するように、前記発光部から前記光を発するための駆動信号の電流値に応じて前記発光部が発する前記光の光量を変更可能な駆動部を制御する第１のモードと、前記露光期間のみにおいて前記発光部から前記光を照射するように前記駆動部を制御する第２のモードとを切り替え制御する制御部であって、前記第１のモードにおいて前記駆動信号の電流値が所定の下限値であり、さらに前記内視鏡画像の明るさを下げる場合に前記第１のモードから前記第２のモードに切り替える制御部と、
    を有し、
    前記制御部は、前記撮像素子が、前記露光期間の全ての期間において、前記複数のラインの露光を同時に行うよう前記駆動部を制御すると共に、前記第１のモードから前記第２のモードへの切替の直前のフィールド又はフレームにおける前記読み出し期間における光量の一部を、前記第１のモードから前記第２のモードへの切替の直前のフィールド又はフレームにおける前記露光期間における光量に加算した光量を、前記第１のモードから前記第２のモードへの切替の直後のフィールド又はフレームにおける前記露光期間の光量とするように、前記駆動部を制御する
    ことを特徴とするビデオプロセッサ。
JP2017505598A 2015-09-16 2016-02-03 内視鏡装置及びビデオプロセッサ Active JP6234632B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015183168 2015-09-16
JP2015183168 2015-09-16
PCT/JP2016/053220 WO2017047113A1 (ja) 2015-09-16 2016-02-03 内視鏡装置及びビデオプロセッサ

Publications (2)

Publication Number Publication Date
JPWO2017047113A1 JPWO2017047113A1 (ja) 2017-09-14
JP6234632B2 true JP6234632B2 (ja) 2017-11-22

Family

ID=58288570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017505598A Active JP6234632B2 (ja) 2015-09-16 2016-02-03 内視鏡装置及びビデオプロセッサ

Country Status (4)

Country Link
US (1) US10624535B2 (ja)
JP (1) JP6234632B2 (ja)
CN (1) CN108024701B (ja)
WO (1) WO2017047113A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3577894B1 (en) * 2017-02-06 2022-01-26 Intuitive Surgical Operations, Inc. System and method for extracting multiple feeds from a rolling-shutter sensor
CN111712178B (zh) * 2018-02-14 2023-08-01 富士胶片株式会社 内窥镜系统及其工作方法
US10638921B2 (en) * 2018-07-20 2020-05-05 Arthrex, Inc. Medical imaging system
CN109171609A (zh) * 2018-09-29 2019-01-11 合肥京东方光电科技有限公司 一种内窥镜系统及其控制方法
DE102018127287B4 (de) * 2018-10-31 2023-01-12 Schölly Fiberoptic GmbH Bildaufnahmeverfahren und Bildaufnahmevorrichtung
US11445123B2 (en) 2020-09-28 2022-09-13 Brompton Technology Ltd. System and method for PWM control of a video display screen
JP2024502815A (ja) 2020-12-30 2024-01-23 ストライカー コーポレイション 医療用撮像におけるアーティファクトを軽減するためのシステム及び方法
US20230146673A1 (en) * 2021-11-09 2023-05-11 Karl Storz Imaging, Inc. Dynamic light source status indication for endoscopic systems

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5850630B2 (ja) * 2011-04-04 2016-02-03 富士フイルム株式会社 内視鏡システム及びその駆動方法
CN104135908B (zh) 2012-03-28 2016-07-06 富士胶片株式会社 摄像装置以及具备其的内窥镜装置
EP2698985B1 (en) * 2012-04-16 2018-05-30 Olympus Corporation Imaging system and imaging method
WO2013175908A1 (ja) * 2012-05-25 2013-11-28 オリンパスメディカルシステムズ株式会社 撮像システム
JP5735478B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡装置及びその作動方法
JP6248491B2 (ja) * 2013-09-17 2017-12-20 株式会社ニコン 撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡装置

Also Published As

Publication number Publication date
CN108024701B (zh) 2019-12-06
JPWO2017047113A1 (ja) 2017-09-14
US10624535B2 (en) 2020-04-21
CN108024701A (zh) 2018-05-11
WO2017047113A1 (ja) 2017-03-23
US20180199805A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
JP6234632B2 (ja) 内視鏡装置及びビデオプロセッサ
US11337593B2 (en) Endoscope apparatus and video processor
WO2013157368A1 (ja) 撮像システム、撮像方法
US8721532B2 (en) Endoscope apparatus and method for controlling fluorescence imaging apparatus
JP5452785B1 (ja) 撮像システム
US9307600B2 (en) Synchronized light source for rolling shutter imagers
JP6360988B1 (ja) 内視鏡および内視鏡システム
US8913115B2 (en) Irradiation time control imaging device and irradiation time control endoscope device
JPWO2016056388A1 (ja) 撮像システム
JPWO2016056476A1 (ja) 撮像システム及び光源装置
WO2017126531A1 (ja) 内視鏡用プロセッサ
US20210208384A1 (en) Light source device, endoscope system, and control method for light source device
CN116113866A (zh) 光源装置和内窥镜系统
US11178340B2 (en) Control device, medical observation system, control method, and computer readable recording medium
JP7224985B2 (ja) 医療用光源装置及び医療用観察システム
JP2016209113A (ja) 撮像システム
WO2017047166A1 (ja) 内視鏡装置及びビデオプロセッサ
JP7235608B2 (ja) 光源制御装置、医療用観察システム、光源制御方法およびプログラム
JP6735586B2 (ja) 電子内視鏡システムおよび電子内視鏡システムの作動方法
JP2021069861A (ja) 電子内視鏡及び電子内視鏡システム
JP2010211047A (ja) 表示制御装置、及び、表示制御方法
JP2017109037A (ja) 撮像システム

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171024

R151 Written notification of patent or utility model registration

Ref document number: 6234632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250