JP5246643B2 - 撮像システムおよびプログラム - Google Patents

撮像システムおよびプログラム Download PDF

Info

Publication number
JP5246643B2
JP5246643B2 JP2007326937A JP2007326937A JP5246643B2 JP 5246643 B2 JP5246643 B2 JP 5246643B2 JP 2007326937 A JP2007326937 A JP 2007326937A JP 2007326937 A JP2007326937 A JP 2007326937A JP 5246643 B2 JP5246643 B2 JP 5246643B2
Authority
JP
Japan
Prior art keywords
light
wavelength region
subject
frequency
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007326937A
Other languages
English (en)
Other versions
JP2009148340A (ja
Inventor
青広 前田
磴  秀康
博司 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007326937A priority Critical patent/JP5246643B2/ja
Priority to US12/336,871 priority patent/US8158919B2/en
Publication of JP2009148340A publication Critical patent/JP2009148340A/ja
Application granted granted Critical
Publication of JP5246643B2 publication Critical patent/JP5246643B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6421Measuring at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4738Diffuse reflection, e.g. also for testing fluids, fibrous materials

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、撮像システム、撮像方法、およびプログラムに関する。本発明は、特に、画像を撮像する撮像システムおよび撮像方法、ならびに撮像システム用のプログラムに関する。
生体における粘膜表層の血管等をコントラスト良く撮像することを可能とする生体観測装置が知られている(例えば、特許文献1参照。)。また、高画質で色再現が十分な可視画像、NBI画像、自家蛍光観察画像をそれぞれ得る電子内視鏡装置が知られている(例えば、特許文献2参照。)。
特開2007―29555号公報 特開2007―50106号公報
人体等の生体、特にその内部を撮像すると、R成分の輝度値が他の色成分の輝度値より極端に大きい画像が得られる場合が多い。一方で、例えば医師による手技等を支援すること等を目的とする観察用の画像としては、被写体の表面におけるB成分あるいはG成分の画像情報が重要となる。しかしながら、上述したようにR成分の輝度値が極端に大きいので、人体の観察に有用なB成分あるいはG成分が示す画像情報が埋もれてしまう。このため、上記特許文献1および2に記載された技術では、人体の観察に有用な波長領域の光による画像情報が失われてしまう。
上記課題を解決するために、本発明の第1の形態によると、撮像システムであって、第1波長領域および第2波長領域の光を受光することができる受光素子を複数備える撮像部と、第1波長領域における分光強度より小さい分光強度を持つ第2波長領域の光を、第1波長領域の光より高い頻度で複数の受光素子のそれぞれに受光させる制御部とを備える。
複数の受光素子が異なるタイミングで受光した第1波長領域の光および第2波長領域の光により画像を生成する画像生成部をさらに備えてよい。制御部は、第1波長領域における被写体の分光反射率より小さい分光反射率の波長領域である第2波長領域の光を、第1波長領域の光より高い頻度で複数の受光素子に受光させてよい。
制御部は、第1波長領域の光を受光させる頻度に対する第2波長領域の光を受光させる頻度の比を、第2波長領域における分光反射率に対する第1波長領域における分光反射率の比に応じて制御してよい。制御部は、第1波長領域の光を受光させる頻度に対する第2波長領域の光を受光させる頻度の比を、第2波長領域における分光反射率に対する第1波長領域における分光反射率の比と略同一に制御してよい。
被写体に光を照射する光照射部をさらに備え、制御部は、第1波長領域の光を受光させる頻度に対する第2波長領域の光を受光させる頻度の比を、第2波長領域における分光反射率と光照射部から被写体に照射される光の分光強度との積に対する、第1波長領域における分光反射率と光照射部から被写体に照射される光の分光強度との積の比と略同一に制御してよい。制御部は、第1波長領域の光を受光させる頻度に対する第2波長領域の光を受光させる頻度の比を、第2波長領域における分光反射率と、光照射部から被写体に照射される光の分光強度と、複数の受光素子の受光感度との積に対する、第1波長領域における分光反射率と、光照射部から被写体に照射される光の分光強度と、複数の受光素子の受光感度との積の比と略同一に制御してよい。
複数の受光素子は、生体からの反射光を受光し、第2波長領域は青の波長領域であり、第1波長領域は赤の波長領域であってよい。なお、複数の受光素子は、人体からの反射光を受光してよい。例えば、複数の受光素子は、血液成分を含む人体からの反射光を受光してよい。複数の受光素子は、生体からの反射光を受光し、第2波長領域は緑の波長領域であり、第1波長領域は赤の波長領域であってよい。
被写体に光を照射する光照射部をさらに備え、複数の受光素子は、光照射部からの光が被写体により反射された光を受光し、制御部は、第1波長領域における被写体の分光反射率より小さい分光反射率の波長領域である第2波長領域の光を、第1波長領域の光より高い頻度で光照射部から被写体に照射させてよい。
複数の受光素子は、第1波長領域および第2波長領域と異なる第3波長領域の光であって、第1波長領域における被写体の分光反射率より小さい分光反射率の波長領域である第3波長領域の光を受光し、制御部は、第3波長領域の光を、第1波長領域の光より高い頻度で複数の受光素子に受光させ、第1波長領域の光を受光させる頻度に対する第3波長領域の光を受光させる頻度の比を、第3波長領域における被写体の分光反射率に対する第1波長領域における分光反射率の比に応じて制御してよい。
本発明の第2の形態によると、撮像方法であって、第1波長領域および第2波長領域の光を受光することができる受光素子により撮像する撮像段階と、第1波長領域における分光強度より小さい分光強度を持つ第2波長領域の光を、第1波長領域の光より高い頻度で複数の受光素子のそれぞれに受光させる制御段階とを備える。
本発明の第3の形態によると、撮像システム用のプログラムであって、撮像システムを、第1波長領域および第2波長領域の光を受光することができる受光素子により撮像する撮像部第1波長領域における分光強度より小さい分光強度を持つ第2波長領域の光を、第1波長領域の光より高い頻度で複数の受光素子のそれぞれに受光させる制御部として機能させる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態の撮像システム10の構成の一例を検体20とともに示す。撮像システム10は、内視鏡100、画像生成部140、出力部180、制御部105、光照射部150、およびICG注入部190を備える。なお、図1において、A部は、内視鏡100の先端部102を拡大して示す。
ICG注入部190は、ルミネッセンス物質であるインドシアニングリーン(ICG)を、被写体の一例である検体20に注入する。なお、本実施形態においてルミネッセンス物質としてICGを例示するが、ルミネッセンス物質として、ICG以外の蛍光物質を用いてもよい。
ICGは、たとえば波長750nmの赤外線に励起されて、810nmを中心とするブロードなスペクトルの蛍光を発する。検体20が生体である場合、ICG注入部190は、静脈注射によってICGを生体の血管内に注入する。撮像システム10は、ICGからのルミネッセンス光により、生体内の血管を撮像する。なお、ルミネッセンス光は、蛍光および燐光を含む。また、被写体からの光の一例であるルミネッセンス光は、励起光等の光による光ルミネッセンスの他に、化学ルミネッセンス、摩擦ルミネッセンス、熱ルミネッセンスによるルミネッセンス光を含む。
なお、ICG注入部190は、例えば制御部105による制御によって、生体内のICG濃度が略一定に維持されるよう、ICGを検体20に注入する。なお、検体20は、たとえば人体等の生体であってよく、撮像システム10が処理する画像の撮像対象となる。なお、検体20の内部には血管等のオブジェクトが存在する。
内視鏡100は、撮像部110、ライトガイド120、および鉗子口130を有する。内視鏡100の先端部102には、撮像部110の一部としてのレンズ112を有する。また先端部102には、ライトガイド120の一部としての出射口124を有する。また、内視鏡100の先端部102は、ノズル138を有する。
鉗子口130には鉗子135が挿入され、鉗子口130は鉗子135を先端部102にガイドする。なお、鉗子135は、各種の先端形状を備えてよい。なお、鉗子口130には、鉗子の他に、生体を処置する種々の処置具が挿入されてよい。ノズル138は、水あるいは空気を送出する。
光照射部150は、内視鏡100の先端部102から照射される光を発生する。光照射部150で発生する光は、検体20の内部に含むルミネッセンス物質を励起してルミネッセンス光を発光させる励起光の一例としての赤外線、および検体20に照射する照射光を含む。照射光には、たとえばR成分、G成分、およびB成分の成分光を含む。
ライトガイド120は、例えば光ファイバで形成される。ライトガイド120は、光照射部150で発生した光を内視鏡100の先端部102にガイドする。ライトガイド120は、先端部102に設けられた出射口124を含むことができる。光照射部150で発生した光は、出射口124から検体20に照射される。
撮像部110は、ルミネッセンス物質が発する光および照射光がオブジェクトで反射する反射光の少なくとも一方を受光する。画像生成部140は、撮像部110から取得した受光データを処理することによって画像を生成する。出力部180は、画像生成部140が生成した画像を出力する。
制御部105は、撮像制御部160および発光制御部170を有する。撮像制御部160は、撮像部110による撮像を制御する。また、発光制御部170は、撮像制御部160からの制御を受けて、光照射部150を制御する。たとえば撮像部110が、赤外線、R成分、G成分、およびB成分の各成分光を時分割で撮像する場合に、発光制御部170は、各成分光の照射のタイミングと撮像のタイミングとを同期させるよう、光照射部150から検体20に照射される光を制御する。
図2は、撮像部110の構成の一例を示す。撮像部110は、レンズ112および撮像デバイス210を有する。撮像デバイス210は、複数の受光素子251(以下、受光素子251と総称する。)を含む。受光素子251は、第1波長領域、第2波長領域、および第3波長領域、および第4波長領域の光を受光することができる。つまり、受光素子251は、第1波長領域、第2波長領域、第3波長領域、および第4波長領域の光に感度を有する。受光素子251は、2次元的に配列されて、受光素子アレイ290を形成する。なお、第1波長領域、第2波長領域、第3波長領域、第4波長領域は互いに異なる波長領域であって、他の波長領域が含まない波長領域を含む。
一例として、第1波長領域はR成分を示す波長領域であり、第2波長領域はB成分を示す波長領域であり、第3波長領域はG成分を示す波長領域であり、第4波長領域はIR成分を示す波長領域であってよい。なお、第4波長領域は、励起光の波長領域であってよい。受光素子251が受光した受光データは、画像生成部140に供給される。
図3は、光照射部150の構成の一例を示す。光照射部150は、発光部410および光源側フィルタ部420を有する。発光部410は、被写体に照射する光を発光する。発光部410は、励起光の波長領域、第1波長領域、第2波長領域、および第3波長領域を含む波長領域の光を発光する。なお、発光部410は、キセノンランプを含んでよい。なお、受光素子251は、発光部410から発光されて被写体により反射された光を受光する。
図4は、光源側フィルタ部420の構成の一例を示す。図4は、発光部410から光源側フィルタ部420に光が導かれる方向に見た場合の構造を示す。光源側フィルタ部420は、光フィルタ部421−426を含む。発光制御部170は、光源側フィルタ部420の中心軸を中心として、発光部410が発光した光が進む方向に略垂直な面内で、光源側フィルタ部420を回転させる。
光フィルタ部421、光フィルタ部422、光フィルタ部423、光フィルタ部424、光フィルタ部425、および光フィルタ部426は、それぞれ第1波長領域、第2波長領域、第3波長領域、第4波長領域、第2波長領域、および第3波長領域の光を透過して、他の波長領域の光をカットする。なお、発光部410からの光は、光源側フィルタ部420の回転中心軸からずれた位置に導かれる。したがって、発光部410からの光が光フィルタ部421に導かれているタイミングでは、発光部410からの光のうち、第1波長領域の光が光フィルタ部421を通過する。したがって、このタイミングでは、第1波長領域の光が被写体に照射される。
また、発光部410からの光が光フィルタ部422または光フィルタ部425に導かれているタイミングでは、発光部410からの光のうち、第2波長領域の光が光フィルタ部422または光フィルタ部425を通過するので、このタイミングでは、第2波長領域の光が被写体に照射される。また、発光部410からの光が光フィルタ部423または光フィルタ部426に導かれているタイミングでは、発光部410からの光のうち、第3波長領域の光が光フィルタ部423または光フィルタ部426を通過するので、このタイミングでは、第3波長領域の光が被写体に照射される。また、発光部410からの光が光フィルタ部424に導かれているタイミングでは、発光部410からの光のうち、第4波長領域の光が光フィルタ部426を通過するので、このタイミングでは、第4波長領域の光が被写体に照射される。
なお、受光素子251は、撮像制御部160の制御により、可視光である第1波長領域の光、第2波長領域の光、または第3波長領域の光が照射されているタイミングで、照射された光を検体20が反射した反射光を受光する。画像生成部140は、受光素子251が受光した光の受光量に基づいて可視光画像を生成することができる。
また、受光素子251は、撮像制御部160の制御により、励起光である第4波長領域の光が照射されているタイミングでは、照射された励起光により検体20の内部のルミネッセンス物質が発したルミネッセンス光を受光する。画像生成部140は、受光素子251が受光した光の受光量に基づいて、ルミネッセンス光画像を生成することができる。
図5は、光照射部150から照射される光の分光強度および被写体の分光反射率の一例を示す。線710は、発光部410の一例としてのキセノンランプが発生する光の分光強度分布を示しており、可視光領域において比較的なだらかな分光強度を示している。
線720は、被写体の一例としての胃の粘膜の分光反射率を示す。本分布から明らかなように、第2波長領域および第3波長領域における分光反射率は、第1波長領域における被写体の分光反射率より小さい。本図に例示した分光反射率および分光強度によると、受光素子251が受光する、第1波長領域、第2波長領域、および第3波長領域の強度は、およそ2:1:1となる。ここで、発光制御部170は、受光素子251によって検出される光の強度に応じて、光照射部150から照射される各波長領域の光の頻度を制御する。
なお、発光制御部170は、一例として光源側フィルタ部420を略一定の角速度で回転させ、撮像制御部160はそれぞれの光フィルタ部421−426に発光部410からの光が通過している期間に受光素子251を受光させる。このように、発光制御部170は、第1波長領域における被写体の分光反射率より小さい分光反射率の波長領域である第2波長領域の光を、第1波長領域の光より高い頻度で発光部410に発光させる。このようにして、制御部105は、第1波長領域における被写体の分光反射率より小さい分光反射率の波長領域である第2波長領域の光を、第1波長領域の光より高い頻度で受光素子251に受光させる。
なお、線710が示すような分光強度の光が光照射部150から照射された場合には、胃の粘膜によって反射された反射光は、第2波長領域において、第1波長領域における分光強度より小さい分光強度を持つ。したがって、制御部105は、第1波長領域における分光強度より小さい分光強度を持つ第2波長領域の光を、第1波長領域の光より高い頻度で受光素子251のそれぞれに受光させることができる。
なお、それぞれの波長領域における分光反射率と発光部410から被写体に照射される光の分光強度との積は、反射光の強度に比例する。したがって、発光制御部170は、第1波長領域の光を受光させる頻度に対する第2波長領域の光を受光させる頻度の比を、第2波長領域における分光反射率と発光部410から被写体に照射される光の分光強度との積に対する、第1波長領域における分光反射率と発光部410から被写体に照射される光の分光強度との積の比と略同一に制御することが望ましい。
なお、発光制御部170は、受光素子251の受光感度をさらに考慮して、受光素子251が被写体からの光を受光して出力することができる各波長領域毎の出力値の大きさに応じて、各波長領域の光を受光素子251に受光させる頻度を制御してもよい。すなわち、発光制御部170は、第1波長領域の光を受光させる頻度に対する第2波長領域の光を受光させる頻度の比を、第2波長領域における分光反射率と、発光部410が被写体に照射する光の分光強度と、受光素子251との受光感度との積に対する、第1波長領域における分光反射率と、発光部410が被写体に照射する光の分光強度と、受光素子251の受光感度との積の比と略同一に制御する。
以上説明したように、発光制御部170は、第1波長領域の光を受光させる頻度に対する第2波長領域の光を受光させる頻度の比を、第2波長領域における分光反射率に対する第1波長領域における分光反射率の比に応じて制御する。具体的には、発光制御部170は、第1波長領域の光を受光させる頻度に対する第2波長領域の光を受光させる頻度の比を、第2波長領域における分光反射率に対する第1波長領域における分光反射率の比と略同一に制御してよい。
なお、発光制御部170は、上記の制御により、第3波長領域の光を、第1波長領域の光より高い頻度で受光素子251に受光させ、第1波長領域の光を受光させる頻度に対する第3波長領域の光を受光させる頻度の比を、第3波長領域における被写体の分光反射率に対する第1波長領域における分光反射率の比に応じて制御することができる。このように、発光制御部170は、第1波長領域、第2波長領域、および第3波長領域の光を受光素子251が受光する頻度を、被写体からの反射光の強度に応じて制御する。
このようにして、発光制御部170は、各波長領域の光を異なるタイミングで被写体に向けて照射させる。それぞれのタイミングにおいて受光素子251が受光した受光データは画像生成部140に供給され、画像生成部140は、受光素子251が異なるタイミングで受光した第1波長領域の光および第2波長領域の光により画像を生成する。例えば、画像生成部140は、受光素子251が異なるタイミングで受光した第1波長領域の光および第2波長領域の光により、一の画像を生成する。
図6は、撮像部110による撮像タイミングおよび画像生成部140が生成した画像の一例を示す。撮像制御部160は、時刻t600、t601、t602、t603、t604、t605、t606・・・において撮像部110に撮像させる。
具体的には、発光制御部170は、撮像制御部160によるタイミング制御に基づいて、例えば光源側フィルタ部420の回転を制御して、発光部410が発光した光を、時刻t600、t601、t602、t603、t604、t605、およびt606においてそれぞれ光フィルタ部422、光フィルタ部423、光フィルタ部421、光フィルタ部425、光フィルタ部426、および光フィルタ部424を通じて被写体に照射させる。これにより、時刻t600、t601、t602、t603、t604、t605、およびt606において、それぞれB成分光、G成分光、R成分光、B成分光、G成分光、および励起光が、被写体に向けて光照射部150から照射される。
そして、撮像制御部160は、それぞれのタイミングで被写体からの反射光を所定の期間、受光素子251に受光させる。そして、撮像制御部160は、受光素子251が受光した受光量を画像生成部140に供給する。なお、時刻t600、t601、t602、t603、t604、t605、およびt606において受光素子251が受光した受光量が示す画像を、説明のための一例として、それぞれ画像620a、画像620b、画像620c、画像620d、画像620e、画像620f、および画像620gに示す。
B成分光による画像620aには、浅い位置に存在する血管の画像である血管像622aが含まれる。なお、B成分光による画像620dおよび620gも、画像620aと同様の血管像を含む。一方、G成分光による画像620bには、血管像622aが示す血管の血管像622bの他に、当該血管より深い、G成分光が到達し得る位置に存在する血管の血管像624bが含まれ得る。なお、G成分光による画像620eも画像620bと同様の血管像を含む。
また、R成分光による画像620cには、血管像622aが示す血管の血管像622cおよび血管像624bが示す血管の血管像624cの他に、それらの血管より深い、R成分光が到達し得る位置に存在する血管の血管像626cが含まれ得る。なお、画像620a−e、および画像620gには、上述の表面下の血管像の他に、表面からの反射光等による表面像が含まれることは言うまでもない。一方、画像620fには、赤外領域の励起光によって、血管像622c、624c、および626cが示す血管からのルミネッセンス光による血管像622f、血管像624f、および血管像626fの他に、R成分光が到達するよりさらに深い位置に存在する血管からのルミネッセンス光による血管像628fが含まれる。
画像生成部140は、時刻t600における受光素子251によるB成分光の受光量、時刻t601における受光素子251によるG成分光の受光量、および時刻t602における受光素子251によるR成分光の受光量に基づいて、一の可視光画像を生成する。このとき、画像生成部140は、画像620a−cからパターンマッチング等によって血管領域を抽出して、抽出した血管像を重ね合わせて当該一の可視光画像を生成してよい。画像620aからは浅い位置の血管の画像が抽出され、画像620cからは深い領域の血管の画像が抽出され、画像620aからはそれらの間の位置の血管の画像が抽出される。したがって、画像生成部140は、見た目と同様の可視光画像でありながら、血管の位置が強調された可視光画像を生成することができる。
なお、画像生成部140は、画像620fから、可視光画像に含まれる血管の画像が示す血管より深い領域の血管の画像を抽出することができる。したがって、撮像システム10によると、可視光画像には含まれない、深層の血管像を得ることができる。なお、画像生成部140は、撮像した時刻に対応づけて、あるいは画像620fが撮像された近傍のタイミングで受光素子251が受光した受光量から生成した可視光画像に対応づけて、画像620fまたは画像620fから抽出した血管の画像を出力してよい。なお、画像生成部140は、画像620fと当該可視光画像を合成して出力してもよい。
なお、撮像部110は、時刻t605においては、R成分光ではなくルミネッセンス光による画像を撮像する。この場合、画像生成部140は、受光素子251が受光した、時刻t603におけるB成分光の光量、時刻t604におけるG成分光の光量、および時刻t602におけるR成分光の光量に基づいて、一の可視光画像を生成する。これにより、画像生成部140は、R成分光に替えて励起光によりルミネッセンス光画像を撮像した場合であっても、擬似的に可視光画像を生成することができる。出力部180は、画像生成部140が生成した可視光画像を連続的に表示する。
検体20が人体のような生体である場合、可視光画像におけるR成分の空間周波数成分は、G成分およびB成分の空間周波数成分より小さい場合が多い。このため、R成分がコマ落ちしたことによる映像の劣化度は、G成分およびB成分がコマ落ちする場合に比べると小さい場合が多い。このため、G成分およびB成分がコマ落ちする場合よりも、映像における見た目のギクシャク感を著しく低減することができる。
本実施形態の撮像システム10を実際のシステムに適用すれば、たとえば医師が出力部180が表示した映像を見つつ手術等を実施するとき、表面観察によっては視認できない内部の血管を医師に認識させることができる場合がある。また、医師は、実質的にコマ落ちのない可視光画像を参照しつつ、手術等を実施できる利点が得られる。
なお、以上の説明においては、発光制御部170が光照射部150から照射される波長領域の頻度を制御する形態について説明した。他にも、撮像制御部160が、受光素子251に受光させる光の波長領域そのものを制御することによって、受光素子251が受光する波長領域の頻度を制御してもよい。例えば、光源側フィルタ部420と同様の透過特性(ただし、光フィルタ部424は、ルミネッセンス光を透過するとする。)を有する光学フィルタを被写体と受光素子251との間の光路に挿入して、撮像制御部160が光源側フィルタ部420と同様に当該光学フィルタを回転させることによって、受光素子251に受光させる光の波長領域の頻度を制御することができる。
なお、上記の説明における頻度は、単位時間あたりに受光素子251に被写体からの光を受光させて被写体の画像を撮像する回数であってよい。また、制御部105は、受光素子251が受光した被写体からの各波長領域の光量に応じて、当該頻度を動的に制御してもよい。
図7は、撮像システム10として機能させるコンピュータ1500のハードウェア構成の一例を示す。本実施形態に係る撮像システム10は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、および表示デバイス1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、およびCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、および入出力チップ1570を有するレガシー入出力部とを備える。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505およびグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510およびRAM1520に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置である通信インターフェイス1530、ハードディスクドライブ1540、CD−ROMドライブ1560を接続する。通信インターフェイス1530は、ネットワークを介して他の装置と通信する。ハードディスクドライブ1540は、撮像システム10内のCPU1505が使用するプログラムおよびデータを格納する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540に提供する。
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、および入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、撮像システム10が起動時に実行するブート・プログラム、撮像システム10のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
RAM1520を介してハードディスクドライブ1540に提供される通信プログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。通信プログラムは、記録媒体から読み出され、RAM1520を介して撮像システム10内のハードディスクドライブ1540にインストールされ、CPU1505において実行される。撮像システム10にインストールされて実行される通信プログラムは、CPU1505等に働きかけて、撮像システム10を、図1から図6にかけて説明した撮像部110、画像生成部140、出力部180、制御部105、および光照射部150等として機能させる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
本実施形態の撮像システム10の構成の一例を検体20とともに示す図である。 撮像部110の構成の一例を示す図である。 光照射部150の構成の一例を示す図である。 光源側フィルタ部420の構成の一例を示す図である。 光照射部150から照射される光の分光強度および被写体の分光反射率の一例を示す図である。 撮像部110による撮像タイミングおよび画像生成部140が生成した画像の一例を示す図である。 撮像システム10として機能させるコンピュータ1500のハードウェア構成の一例を示す図である。
符号の説明
10 撮像システム
20 検体
100 内視鏡
102 先端部
105 制御部
110 撮像部
112 レンズ
120 ライトガイド
124 出射口
130 鉗子口
135 鉗子
138 ノズル
140 画像生成部
150 光照射部
160 撮像制御部
170 発光制御部
180 出力部
190 ICG注入部
210 撮像デバイス
251 受光素子
410 発光部
420 光源側フィルタ部
421 光フィルタ部
422 光フィルタ部
423 光フィルタ部
424 光フィルタ部
425 光フィルタ部
426 光フィルタ部
1505 CPU
1510 ROM
1520 RAM
1530 通信インターフェイス
1540 ハードディスクドライブ
1550 フレキシブルディスク・ドライブ
1560 CD−ROMドライブ
1570 入出力チップ
1575 グラフィック・コントローラ
1580 表示デバイス
1582 ホスト・コントローラ
1584 入出力コントローラ
1590 フレキシブルディスク
1595 CD−ROM

Claims (14)

  1. 第1波長領域および第2波長領域の光を受光することができる受光素子を複数備える撮像部と、
    前記第1波長領域における被写体からの光の分光強度より小さい分光強度を持つ、前記被写体からの光の前記第2波長領域の光を、前記第1波長領域の光より高い頻度で複数の前記受光素子のそれぞれに受光させることにより、前記撮像部に、前記被写体からの前記第1波長領域の光で前記被写体の画像を撮像させる頻度より高い頻度で、前記第2波長領域の光で前記被写体の画像を撮像させる制御部と
    を備え
    前記被写体は生体であり、
    前記第2波長領域は青の波長領域であり、前記第1波長領域は赤の波長領域である
    撮像システム。
  2. 複数の前記受光素子が第1のタイミングで受光した前記第1波長領域の光の受光量と、前記複数の受光素子が第2のタイミングで受光した前記第2波長領域の光の受光量とにより、一の画像を生成する画像生成部
    をさらに備える請求項に記載の撮像システム。
  3. 前記制御部は、前記第1波長領域における前記被写体の分光反射率より小さい分光反射率の波長領域である前記第2波長領域の光を、前記第1波長領域の光より高い頻度で複数の前記受光素子に受光させる
    請求項1または2に記載の撮像システム。
  4. 前記制御部は、前記第1波長領域の光を受光させる頻度に対する前記第2波長領域の光を受光させる頻度の比を、前記第2波長領域における分光反射率に対する前記第1波長領域における分光反射率の比に応じて制御する
    請求項に記載の撮像システム。
  5. 前記制御部は、前記第1波長領域の光を受光させる頻度に対する前記第2波長領域の光を受光させる頻度の比を、前記第2波長領域における分光反射率に対する前記第1波長領域における分光反射率の比と略同一に制御する
    請求項に記載の撮像システム。
  6. 前記被写体に光を照射する光照射部
    をさらに備え、
    前記制御部は、前記第1波長領域の光を受光させる頻度に対する前記第2波長領域の光を受光させる頻度の比を、前記第2波長領域における分光反射率と前記光照射部から前記被写体に照射される光の分光強度との積に対する、前記第1波長領域における分光反射率と前記光照射部から前記被写体に照射される光の分光強度との積の比と略同一に制御する
    請求項に記載の撮像システム。
  7. 前記制御部は、前記第1波長領域の光を受光させる頻度に対する前記第2波長領域の光を受光させる頻度の比を、前記第2波長領域における分光反射率と、前記光照射部から前記被写体に照射される光の分光強度と、複数の前記受光素子の受光感度との積に対する、前記第1波長領域における分光反射率と、前記光照射部から前記被写体に照射される光の分光強度と、複数の前記受光素子の受光感度との積の比と略同一に制御する
    請求項に記載の撮像システム。
  8. 複数の前記受光素子は、前記被写体からの反射光を受光する
    請求項に記載の撮像システム。
  9. 複数の前記受光素子は、人体からの反射光を受光する
    請求項に記載の撮像システム。
  10. 複数の前記受光素子は、血液成分を含む人体からの反射光を受光する
    請求項に記載の撮像システム。
  11. 前記被写体に光を照射する光照射部
    をさらに備え、
    複数の前記受光素子は、前記光照射部からの光が前記被写体により反射された光を受光し、
    前記制御部は、前記第1波長領域における前記被写体の分光反射率より小さい分光反射率の波長領域である前記第2波長領域の光を、前記第1波長領域の光より高い頻度で前記光照射部から前記被写体に照射させる
    請求項からのいずれか一項に記載の撮像システム。
  12. 前記複数の受光素子は、前記第1波長領域および前記第2波長領域とは異なる、第3波長領域および第4波長領域の光を受光し、
    前記制御部は、一定の時間間隔で、前記第1波長領域または前記第4波長領域の光、前記第2波長領域の光、前記第3波長領域の光を、前記複数の受光素子に順次に受光させ、前記第1波長領域または前記第4波長領域を受光させるタイミグにおいて、前記複数の受光素子に受光させる光の波長領域を前記第1波長領域と前記第4波長領域との間で切り替える
    請求項1から11のいずれか一項に記載の撮像システム。
  13. 複数の前記受光素子は、前記第1波長領域および前記第2波長領域と異なる第3波長領域の光であって、前記第1波長領域における前記被写体の分光反射率より小さい分光反射率の波長領域である前記第3波長領域の光を受光し、
    前記制御部は、前記第3波長領域の光を、前記第1波長領域の光より高い頻度で複数の前記受光素子に受光させ、前記第1波長領域の光を受光させる頻度に対する前記第3波長領域の光を受光させる頻度の比を、前記第3波長領域における前記被写体の分光反射率に対する前記第1波長領域における分光反射率の比に応じて制御する
    請求項から10のいずれか一項に記載の撮像システム。
  14. 撮像システム用のプログラムであって、前記撮像システムを、
    第1波長領域および第2波長領域の光を受光することができる受光素子により撮像する撮像部、
    前記第1波長領域における被写体からの光の分光強度より小さい分光強度を持つ、前記被写体からの光の前記第2波長領域の光を、前記第1波長領域の光より高い頻度で複数の前記受光素子のそれぞれに受光させることにより、前記撮像部に、前記被写体からの前記第1波長領域の光で前記被写体の画像を撮像させる頻度より高い頻度で、前記第2波長領域の光で前記被写体の画像を撮像させる制御部
    として機能させ、
    前記被写体は生体であり、
    前記第2波長領域は青の波長領域であり、前記第1波長領域は赤の波長領域である
    プログラム。
JP2007326937A 2007-12-19 2007-12-19 撮像システムおよびプログラム Active JP5246643B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007326937A JP5246643B2 (ja) 2007-12-19 2007-12-19 撮像システムおよびプログラム
US12/336,871 US8158919B2 (en) 2007-12-19 2008-12-17 Image capturing system, image capturing method, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007326937A JP5246643B2 (ja) 2007-12-19 2007-12-19 撮像システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2009148340A JP2009148340A (ja) 2009-07-09
JP5246643B2 true JP5246643B2 (ja) 2013-07-24

Family

ID=40787463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007326937A Active JP5246643B2 (ja) 2007-12-19 2007-12-19 撮像システムおよびプログラム

Country Status (2)

Country Link
US (1) US8158919B2 (ja)
JP (1) JP5246643B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5329177B2 (ja) * 2007-11-07 2013-10-30 富士フイルム株式会社 撮像システムおよびプログラム
US7667180B2 (en) * 2007-11-07 2010-02-23 Fujifilm Corporation Image capturing system, image capturing method, and recording medium
TR201901658T4 (tr) 2008-05-20 2019-02-21 Univ Health Network Floresan bazli görüntüleme ve i̇zleme i̇çi̇n ci̇haz ve metot
JP5393554B2 (ja) * 2010-03-23 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5371920B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
CN106714670A (zh) 2014-07-24 2017-05-24 大学健康网络 用于诊断目的的数据的收集和分析
CN108498079B (zh) * 2018-05-08 2021-04-27 大美医喆(北京)医疗科技有限公司 荧光污染环境中血管、淋巴管及淋巴结的识别方法及设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6161586A (ja) * 1984-08-31 1986-03-29 Olympus Optical Co Ltd カラ−撮像装置の照明装置
JP2810717B2 (ja) * 1989-09-08 1998-10-15 オリンパス光学工業株式会社 蛍光観察用内視鏡
US5251021A (en) * 1990-08-31 1993-10-05 Eastman Kodak Company Color sequential scanner incorporating a synchronized variable exposure shutter
JP2001224015A (ja) * 2000-02-07 2001-08-17 Olympus Optical Co Ltd 内視鏡装置及び光源装置
JP2002051969A (ja) * 2000-08-08 2002-02-19 Asahi Optical Co Ltd 電子内視鏡装置
JP2002253449A (ja) * 2001-03-02 2002-09-10 Sanyo Electric Co Ltd 電気掃除機
JP2003010114A (ja) * 2001-06-29 2003-01-14 Fuji Photo Film Co Ltd 電子内視鏡装置およびその制御方法
US7397758B1 (en) * 2002-08-12 2008-07-08 Cisco Technology, Inc. Channel tracking in a OFDM wireless receiver
JP2004121486A (ja) * 2002-10-01 2004-04-22 Olympus Corp 光源装置
JP4709606B2 (ja) * 2005-07-28 2011-06-22 オリンパスメディカルシステムズ株式会社 生体観測装置
JP4681981B2 (ja) 2005-08-18 2011-05-11 Hoya株式会社 電子内視鏡装置
JP4712505B2 (ja) * 2005-09-30 2011-06-29 富士フイルム株式会社 電子内視鏡装置
JP4951256B2 (ja) * 2006-03-16 2012-06-13 オリンパスメディカルシステムズ株式会社 生体観測装置
JP2008132012A (ja) * 2006-11-27 2008-06-12 Denso Corp 脈波検出装置

Also Published As

Publication number Publication date
US8158919B2 (en) 2012-04-17
US20090159776A1 (en) 2009-06-25
JP2009148340A (ja) 2009-07-09

Similar Documents

Publication Publication Date Title
JP5329177B2 (ja) 撮像システムおよびプログラム
US7667180B2 (en) Image capturing system, image capturing method, and recording medium
JP5376206B2 (ja) 位置特定システムおよびプログラム
JP5257891B2 (ja) 画像処理システムおよびプログラム
JP5246643B2 (ja) 撮像システムおよびプログラム
US8593513B2 (en) Image capturing apparatus having first and second light reception sections, image capturing method, and computer-readable medium
JP5278854B2 (ja) 画像処理システムおよびプログラム
JP5435532B2 (ja) 画像処理システム
US8169471B2 (en) Image capturing system, image capturing method, and computer readable medium
JP5360464B2 (ja) 撮像装置、撮像装置の作動方法、およびプログラム
JP5349899B2 (ja) 撮像システムおよびプログラム
US20090143671A1 (en) Position identifying system, position identifying method, and computer readable medium
JP6203127B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP5087771B2 (ja) 撮像システム、内視鏡システム、およびプログラム
JP5196435B2 (ja) 撮像デバイスおよび撮像システム
JP2009131616A (ja) 撮像システム、撮像方法、およびプログラム
JP5130899B2 (ja) 撮像システムおよびプログラム
JP2009136395A (ja) 位置特定システム、位置特定方法、およびプログラム
JP2009136327A (ja) 位置特定システム、位置特定方法、およびプログラム
JP2009136394A (ja) 位置特定システム、位置特定方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130402

R150 Certificate of patent or registration of utility model

Ref document number: 5246643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250