JP5586108B2 - カプセル内視鏡 - Google Patents

カプセル内視鏡 Download PDF

Info

Publication number
JP5586108B2
JP5586108B2 JP2013506067A JP2013506067A JP5586108B2 JP 5586108 B2 JP5586108 B2 JP 5586108B2 JP 2013506067 A JP2013506067 A JP 2013506067A JP 2013506067 A JP2013506067 A JP 2013506067A JP 5586108 B2 JP5586108 B2 JP 5586108B2
Authority
JP
Japan
Prior art keywords
image sensor
slave
master
sensor means
capsule endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013506067A
Other languages
English (en)
Other versions
JP2013524928A (ja
Inventor
ジョン、ハン
ヒョク キム、ビョン
ウ イ、ヨン
チャ、チョル
フン パク、サン
キ ベク、ボン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I3SYSTEM Inc
Original Assignee
I3SYSTEM Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I3SYSTEM Inc filed Critical I3SYSTEM Inc
Publication of JP2013524928A publication Critical patent/JP2013524928A/ja
Application granted granted Critical
Publication of JP5586108B2 publication Critical patent/JP5586108B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00025—Operational features of endoscopes characterised by power management
    • A61B1/00036—Means for power saving, e.g. sleeping mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Description

本発明は、デュアルモード動作が可能なカプセル内視鏡用イメージセンサーに関する。詳しくは、人体内を撮影するために、等しく設計及び製作された２個のイメージセンサーを利用してマスター(Master)とスレーブ(Slave)で設定して２個のチップが連係動作するデュアルモード(dual mode)動作が可能なカプセル内視鏡用イメージセンサーに関する。
人体内部の多様な医学的情報中の一つである映像情報を収集するために使われる装置及び方法が広く知られているし、このような装置は一般的な有線内視鏡から最近カプセルタイプの内視鏡が開発されて医療現場で多くの疾病たちを診断するのに使われている。
前記カプセルタイプの内視鏡、すなわち、カプセル内視鏡は錠剤のように患者がのむだけで内視鏡のカメラで捕捉された人体内消化器官の映像データが外部の受信装置に送信されてモニターでこれを再現することができる。
人体内の各消化器官は、その特性によって、攝取物の移動速度と動きがそれぞれ異なり、特に食道のように、移動速度が速いか、または、大腸のように、広い所では、逃す部分(missing parts)なしに映像情報を獲得するのが容易ではない。
このような問題点を解決するために、高速の撮影と共に偏方向(１個のイメージセンサー使用)だけでイメージを撮影したことを補って、両方向(２個のイメージセンサー使用)で被検体イメージを撮影することができる感知素子を具備した両方向撮影カプセル内視鏡が開発されている。
前記両方向撮影カプセル内視鏡のために、単純に高速撮影で動作するイメージセンサーを２個使ったら、カプセル内視鏡の電力消耗が２倍で増加するようになり、この場合にはバッテリーの特性によって動作時間が急激に減る問題が発生してイメージセンサーはカプセル内視鏡の全体電力消耗の大部分を占めるから、イメージセンサーの消耗電流増加はカプセル内視鏡が本来意図した目標臓器の撮影を完了することができない問題が発生した。
また、２種(マスターとスレーブ)動作方式のイメージセンサーを設計及び製作するか、または動作を制御するための制御機が加えられなければならないという問題点があった。
そこで、本発明は、前記のような従来の問題を鑑み、両方向撮影カプセル内視鏡のために２個のイメージセンサーの内部回路の動作を交替で遮断することによって、低電力で連係動作するデュアルモード用イメージセンサーを提供することを課題とする。
本発明の他の目的は、２個のイメージセンサーが連係動作及び制御する信号を最小限にして等しく設計及び製作されたイメージセンサーの動作をプログラミング可能になるようにすることによって、マスターとスレーブイメージセンサーの動作設定はもちろん特定時間の間にイメージセンサーの動作速度を変更することができるカプセル内視鏡用イメージセンサーの提供にある。
本発明のまた他の目的は、２個のイメージセンサーの動作をプログラミング可能になるようにして、特定時間の間に１個のイメージセンサーのみを動作(single mode)するか、または、２個のイメージセンサー皆電力供給を遮断するスリープモード(sleep mode)手段を含むタイマー動作機能を持つカプセル内視鏡用イメージセンサーの提供にある。
上記課題を解決するために、本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーは、
人間を含む動物の身体内部を撮影するために構成される２個のレンズと;
等しく設計及び製作された２個のイメージセンサーと;を含んで構成されて２個のイメージセンサーの中でマスターとスレーブ動作設定が可能なカプセル内視鏡用イメージセンサーにおいて、
前記２個のイメージセンサーの中でマスターに設定されて動作するマスターイメージセンサー手段と;
前記２個のイメージセンサーの中でスレーブに設定されて動作するスレーブイメージセンサー手段と;を含んで構成される。
本発明のデュアルモード動作が可能なカプセル内視鏡用イメージセンサーによると、両方向撮影カプセル内視鏡のために２個のイメージセンサーの内部回路の動作を交替で遮断することによって、低電力で連係動作することができてカプセル内視鏡が本来意図した目標臓器の撮影を完了することができる。
また、２個のイメージセンサーが連係動作及び制御する信号を最小限にして等しく設計及び製作されたイメージセンサーの動作をプログラミング可能になるようにすることによって、マスターとスレーブセンサーの動作設定はもちろん特定時間の間に動作速度を変更することができる低電力で長期間動作することができるメカニズムを提供することができる。
さらに、２個のイメージセンサーの動作をプログラミング可能になるようにして特定時間の間に１個のイメージセンサーのみを動作(single mode)するか、または、２個のイメージセンサー皆電力供給を遮断するスリープモード(sleep mode)手段を含むタイマー動作機能を提供することによって、遠隔地(または身体外部)でカプセル制御装置なしに目的によって決まった時間によって撮影速度及び動作を制御することができる。
本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーのブロック図 本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーのデュアルモード動作例を現わした説明図 本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーの動作を示す説明図 本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーのメモリー部を利用したプログラミングの例を現わした表 本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーのデュアルモード動作イメージセンサーの概略的な出力データ構造を現わした説明図
前記課題を果たすための本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーは、
人間を含む動物の身体内部を撮影するために構成される２個のレンズを含んで構成されるカプセル内視鏡用イメージセンサーにおいて、
マスターイメージセンサー手段と繋がれ、クロックを発生させるクロック発生部と;
前記２個のレンズの中でいずれか一つにより撮影されたイメージをエンコードして信号出力するマスターイメージセンサーと、
前記マスターイメージセンサーとスレーブイメージセンサー間のフレーム同期とスレーブイメージセンサー手段の動作を制御するためのマスター制御部と、
スレーブ通信部と通信するためのマスター通信部とを含んで構成されるマスターイメージセンサー手段と;
前記２個のレンズの中で他の一つにより撮影されたイメージをエンコードして信号出力するスレーブイメージセンサーと、
前記マスター制御部の制御によってスレーブイメージセンサーとスレーブ通信部の動作を制御するためのスレーブ制御部と、
マスター通信部と通信するためのスレーブ通信部とを含んで構成されるスレーブイメージセンサー手段と;を含んで構成されることを特徴とする。
また、本発明の他の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーは、
人間を含む動物の身体内部を撮影するために構成される２個のレンズを含んで構成されるカプセル内視鏡用イメージセンサーにおいて、
マスターイメージセンサー手段と繋がれ、クロックを発生させるクロック発生部と;
前記２個のレンズの中でいずれか一つにより撮影されたイメージをエンコードして信号出力するマスターイメージセンサーと、
前記マスターイメージセンサーとスレーブイメージセンサー間のフレーム同期とスレーブイメージセンサー手段の動作を制御するためのマスター制御部と、
スレーブ通信部と通信するためのマスター通信部とを含んで構成されるマスターイメージセンサー手段と;
前記２個のレンズの中で他の一つにより撮影されたイメージをエンコードして信号出力するスレーブイメージセンサーと、
前記マスター制御部の制御によってスレーブイメージセンサーとスレーブ通信部の動作を制御するためのスレーブ制御部と、
マスター通信部と通信するためのスレーブ通信部とを含んで構成されるスレーブイメージセンサー手段と;
マスターイメージセンサー手段とスレーブイメージセンサー手段の中で少なくともいずれか一つ以上により動作するように設定するための動作選択手段と;を含んで構成されることを特徴とする。
この時、前記動作選択手段は、マスターイメージセンサー手段及びスレーブイメージセンサー手段の中でいずれか一つで動作するように設定するための手段動作選択部と、
前記マスターイメージセンサー手段及びスレーブイメージセンサー手段の中でいずれか一つだけ動作するように設定するか、または、同時に動作するように設定するためのモード動作選択部とを含んで構成されることを特徴とする。
この時、前記マスターイメージセンサー手段とスレーブイメージセンサー手段の詳細動作を設定するための情報を保存するメモリー部を更に含んで構成されることを特徴とする。
この時、前記メモリー部に、各ステップ別スリープモード、シングル/デュアルモード、フレームレート、タイマーデュレーション情報を保存しているし、タイマー部を更に含んで構成して時間経過をカウントすることを特徴とする。
この時、前記動作選択手段によって、マスターイメージセンサー手段に設定される場合には、グラウンド(GND)に繋がれ、スレーブイメージセンサー手段に設定される場合には、ブイデ−デ−(VDD)に繋がれることを特徴とする。
この時、前記スレーブイメージセンサー手段は、マスターイメージセンサー手段から発生されたクロックを受けるか、または、マスターイメージセンサー手段と共有してクロックを受けることを特徴とする。
この時、前記モード動作選択部によって、シングルモードに設定されば、マスターイメージセンサー手段のクロック出力及び制御信号出力は、low(０)状態を維持するようになってスレーブイメージセンサー手段では電力を消耗しないことを特徴とする。
この時、前記マスターイメージセンサー手段は、制御信号及びクロック信号だけでスレーブイメージセンサー手段の動作を制御し、電力消耗を最小化させることを特徴とする。
本発明のまた他の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーは、
人間を含む動物の身体内部を撮影するために構成される２個のレンズを含んで構成されるカプセル内視鏡用イメージセンサーにおいて、
マスターイメージセンサー手段と繋がれ、クロックを発生させるクロック発生部と;
前記２個のレンズの中でいずれか一つにより撮影されたイメージをエンコードして信号出力するマスターイメージセンサーと、
前記マスターイメージセンサーとスレーブイメージセンサー間のフレーム同期とスレーブイメージセンサー手段の動作を制御するためのマスター制御部と、
スレーブ通信部と通信するためのマスター通信部とを含んで構成されるマスターイメージセンサー手段と;
前記２個のレンズの中で他の一つにより撮影されたイメージをエンコードして信号出力するスレーブイメージセンサーと、
前記マスター制御部の制御によってスレーブイメージセンサーとスレーブ通信部の動作を制御するためのスレーブ制御部と、
マスター通信部と通信するためのスレーブ通信部とを含んで構成されるスレーブイメージセンサー手段と;
マスターイメージセンサー手段とスレーブイメージセンサー手段の中で少なくともいずれか一つ以上により動作するように設定するための動作選択手段と;
デバイスアイディー、イメージ大きさ、動作速度、動作電流、発光ダイオード明るさ情報を保存するメモリー部と;
前記マスターイメージセンサーとスレーブイメージセンサーによって出力されるイメージデータを受信装置へ出力させるイメージデータ送信手段と;を含んで構成されることを特徴とする。
この時、前記イメージデータ送信手段は、イメージフレームデータの前に情報データ(Information Data)ラインを追加してマスターイメージセンサーとスレーブイメージセンサーの出力を分類することを特徴とする。
この時、前記情報データ(Information
Data) ラインには、Device(Sensor) ID、Frame
Counter、Frame Rate、LED on timeの情報が含まれることを特徴とする。
本発明のまた他の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーは、
人間を含む動物の身体内部を撮影するために構成される２個のレンズと;等しく設計及び製作された２個のイメージセンサーと;を含んで構成されて２個のイメージセンサーの中でマスターとスレーブ動作設定が可能なカプセル内視鏡用イメージセンサーにおいて、
前記２個のイメージセンサーの中でマスターに設定されて動作するマスターイメージセンサー手段と;
前記２個のイメージセンサーの中でスレーブに設定されて動作するスレーブイメージセンサー手段と;を含んで構成されることを特徴とする。
本発明のまた他の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーは、
カプセル内視鏡用イメージセンサーにおいて、
マスターイメージセンサー手段とスレーブイメージセンサー手段の中で少なくともいずれか一つ以上により動作するように設定するための動作選択手段と;
前記動作選択手段の設定によってマスターに設定されて動作するマスターイメージセンサー手段と;
前記動作選択手段の設定によってスレーブに設定されて動作するスレーブイメージセンサー手段と;を含んで構成されることを特徴とする。
本発明のまた他の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーは、
カプセル内視鏡用イメージセンサーにおいて、
マスターイメージセンサー手段とスレーブイメージセンサー手段の中で少なくともいずれか一つ以上により動作するように設定するための動作選択手段と;
前記動作選択手段の設定によってマスターに設定されて動作するマスターイメージセンサー手段と;
前記動作選択手段の設定によってスレーブに設定されて動作するスレーブイメージセンサー手段と;
前記マスターイメージセンサー手段とスレーブイメージセンサー手段の詳細動作を設定するための情報を保存するメモリー部と;を含んで構成されることを特徴とする。
この時、前記マスターイメージセンサー手段は、２個のレンズの中でいずれか一つにより撮影されたイメージをエンコードして信号出力するマスターイメージセンサーと、
前記マスターイメージセンサーとスレーブイメージセンサー間のフレーム同期とスレーブイメージセンサー手段の動作を制御するためのマスター制御部を含んで構成されることを特徴とする。
この時、付加的な様相による前記マスターイメージセンサー手段は、２個のレンズの中でいずれか一つにより撮影されたイメージをエンコードして信号出力するマスターイメージセンサーと、
前記マスターイメージセンサーとスレーブイメージセンサー間のフレーム同期とスレーブイメージセンサー手段の動作を制御するためのマスター制御部と、
スレーブ通信部と通信するためのマスター通信部とを含んで構成されることを特徴とする。
この時、他の付加的な様相による前記マスターイメージセンサー手段は、マスターイメージセンサーによって出力されるイメージデータを受信装置へ出力させるマスターイメージデータ送信部を更に含んで構成されることを特徴とする。
この時、前記スレーブイメージセンサー手段は、２個のレンズの中で他の一つにより撮影されたイメージをエンコードして信号出力するスレーブイメージセンサーと、
マスターイメージセンサー手段の制御によってスレーブイメージセンサーとスレーブ通信部の動作を制御するためのスレーブ制御部とを含んで構成されることを特徴とする。
この時、付加的な様相による前記スレーブイメージセンサー手段は、２個のレンズの中で他の一つにより撮影されたイメージをエンコードして信号出力するスレーブイメージセンサーと、
マスターイメージセンサー手段の制御によってスレーブイメージセンサーとスレーブ通信部の動作を制御するためのスレーブ制御部と、
マスター通信部と通信するためのスレーブ通信部とを含んで構成されることを特徴とする。
この時、他の付加的な様相による前記スレーブイメージセンサー手段は、スレーブイメージセンサーによって出力されるイメージデータを受信装置へ出力させるスレーブイメージデータ送信部を更に含んで構成されることを特徴とする。
この時、前記動作選択手段は、マスターイメージセンサー手段及びスレーブイメージセンサー手段の中でいずれか一つで動作するように設定するための手段動作選択部と、
前記マスターイメージセンサー手段及びスレーブイメージセンサー手段の中でいずれか一つだけ動作するように設定するか、または、同時に動作するように設定するためのモード動作選択部とを含んで構成されることを特徴とする。
以下に、本発明によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーの実施例を通じて詳しく説明する。
図１は、本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーのブロック図である。
図１に示したように、本発明であるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーは、
人間を含む動物の身体内部を撮影するために構成される２個のレンズ;を含んで構成されるカプセル内視鏡用イメージセンサーにおいて、
マスターイメージセンサー手段と繋がれ、クロックを発生させるクロック発生部３００と;
前記２個のレンズの中でいずれか一つにより撮影されたイメージをエンコードして信号出力するマスターイメージセンサー１１０と、
前記マスターイメージセンサーとスレーブイメージセンサー間のフレーム同期とスレーブイメージセンサー手段の動作を制御するためのマスター制御部と、
スレーブ通信部と通信するためのマスター通信部１３０とを含んで構成されるマスターイメージセンサー手段１００と;
前記２個のレンズの中で他の一つにより撮影されたイメージをエンコードして信号出力するスレーブイメージセンサー２１０と、
前記マスター制御部の制御によってスレーブイメージセンサーとスレーブ通信部の動作を制御するためのスレーブ制御部２２０と、
マスター通信部と通信するためのスレーブ通信部２３０を含んで構成されるスレーブイメージセンサー手段２００と;
マスターイメージセンサー手段とスレーブイメージセンサー手段の中で少なくともいずれか一つ以上により動作するように設定するための動作選択手段と(非図示);を含んで構成されることを特徴とする。
この時、前記動作選択手段は、
マスターイメージセンサー手段及びスレーブイメージセンサー手段の中でいずれか一つで動作するように設定するための手段動作選択部４００と、
前記マスターイメージセンサー手段及びスレーブイメージセンサー手段の中でいずれか一つだけ動作するように設定するか、または、同時に動作するように設定するためのモード動作選択部５００とを含んで構成されることを特徴とする。
図１に示したSCLは、Serial Clockの略字であり、SDAはSerial Dataの略字であり、TXは、modulated Serial Outputとして、カプセルから送信される信号を意味する。
すなわち、前記TXは、マスターイメージセンサーとスレーブイメージセンサーによって出力されるイメージデータを受信装置へ出力させるイメージデータ送信手段を意味することであり、マスターイメージセンサーにはマスターイメージデータ送信部(非図示)が、スレーブイメージセンサーにはスレーブイメージデータ送信部(非図示)が構成されるようになる。
一般的な人または動物の身体内部、例えば、消化機関に位置されることができるカプセル型内視鏡は、映像情報または各種情報(例えば、内部の映像、PH、温度または電気的インピーダンスなど)を収集して身体を通じて前記身体表面に位した外部の受信装置へ送る。
このために一般的なカプセル型内視鏡は、少なくとも一つ以上のレンズと、前記レンズによって獲得されるイメージをイメージセンサーによって獲得して獲得されたイメージデータを外部の受信装置から受けて信号処理装置を通じて出力する構成を持っている。
この時、カプセル型内視鏡は、前記身体の内部でどこに位するかによって、すなわち、食道、胃、小腸、そして大腸の中でどこに位するかによって、撮影速度を自ら調節するか、あるいは信号処理装置の制御信号によって撮影速度を調節することができる。
これは、食道のように前記カプセル型内視鏡１００が速く移動する所では高速で撮影をすると、逃す部分(missing parts)がなしに映像情報を獲得することができる一方、小腸のようにゆっくり移動する所では、多くの動きがないから、ゆっくり撮影するのが有利だからである。
それでは、前記受信装置は、前記受信した情報を前記信号処理装置へ伝達する。
この時、前記受信装置は前記信号を一定の時間保存することができる。
すなわち、受信装置は、人間の身体または動物の身体に附着して、前記カプセル型内視鏡から受信される信号を一定の時間間保存することができる。
これによって、前記人間または動物は病院に行かなくても、何時間の間自分の活動を普段のようにしながらも内視鏡検事及び内分泌物の検事ができる。
前記手段動作選択部４００は、マスターイメージセンサー手段及びスレーブイメージセンサー手段の中でいずれか一つで動作するように設定するための機能を担当するようになる。
このために手段動作選択部によってマスターイメージセンサー手段に設定される場合には、グラウンド(GND)と繋がれ、スレーブイメージセンサー手段に設定される場合には、ブイデ−デ−(VDD)に繋がれてイメージセンサー手段の動作モードを設定することができる。
前記クロックを発生させるクロック発生部３００は、マスターイメージセンサー手段と繋がれるが、スレーブイメージセンサー手段は、図１に示したように、マスターイメージセンサー手段から発生されたクロックを受けるか、または、マスターイメージセンサー手段と共有してクロックを受けることを特徴とする。
本発明で説明している制御信号は、マスターイメージセンサー手段とスレーブイメージセンサー手段間のフレーム同期とスレーブイメージセンサー手段の動作制御のための信号である。
前記制御信号は一般的に、入出力(I/O)可能なピンによって遂行され、この時、前記マスターイメージセンサー手段では出力(Output)になり、スレーブイメージセンサー手段では入力(Input)になる。
図１に示したSCL/SDA/TXラインは、マスターイメージセンサー手段とスレーブイメージセンサー手段との間に共有されることができるし、イメージセンサー手段たちの出力であるTXラインが共有される場合には、マスターイメージセンサー手段とスレーブイメージセンサー手段から相互にイメージが出力されなければならないので、適切な時間分割方式が必要である。
もし、モード動作選択部５００でシングルモード(Single Mode)に設定されば、マスターイメージセンサー手段のクロック(clock)出力は、low(０)状態を維持するようになってスレーブイメージセンサー手段のディジタルブロックの電力は消耗しない。
前記制御信号出力もlow(０)状態を維持するようになってスレーブイメージセンサー手段内のすべてのアナログ回路をシャットダウン(shut down)させてスレーブイメージセンサー手段では電力が消耗しなくなる。
本発明の他の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーは、イメージセンサーの詳細動作を設定するための情報を保存するメモリー部;を更に含んで構成されることを特徴とする。
すなわち、デュアルモード動作によるイメージセンサー手段たちの多様なレジスター情報設定は、イメージセンサー手段たちのパッド(PAD)または付加的に繋がれるメモリー部にプログラミングすることによって、詳細的な動作制御が可能である。
外部制御によってカプセル内視鏡の動作の中にオプション変更の必要な部分はPADを利用してオプションを設定し、そうではない部分はメモリー部にオプション情報を保存してイメージセンサー手段が初期起動時にレジスターファイル(Register File) ブロックで読んで初期セッティング(setting)を遂行するようになる。
前記メモリー部に保存されるレジスター情報は、デバイスID、イメージ大きさ、動作速度、動作電流、LEDの明るさなどになることができる。
前記マスターイメージセンサー手段は、制御信号(clock信号を含み)だけでスレーブイメージセンサー手段の動作を制御するのはもちろん電力消耗を最小化することができるから、等しいイメージセンサー２個を利用して簡単なオプション設定でシングルモードとデュアルモード(Master & Slave Operation) 動作及び低電力動作メカニズムを果たすことができる。
前記の意味は、オプション選択によってマスターイメージセンサー手段で動作し、スレーブイメージセンサー手段でも動作するように製作されたイメージセンサー手段を意味し、違うように表現すれば、等しく設計及び製作されたイメージセンサー手段すなわち、等しい製品２個を利用してデュアルモードで動作するということを言う。
図２は、本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーのデュアルモード動作例を現わした例示図である。
マスターイメージセンサー手段とスレーブイメージセンサー手段が連係動作するデュアルモード動作は、マスターフレームとスレーブフレームがインターリーブ(interleave)方式で交替しながら動作する。
例えば、マスターイメージセンサー手段とスレーブイメージセンサー手段それぞれの動作が１０fpsなら、total frame rateは ２０fpsになる。
マスターまたはスレーブイメージセンサー手段は、他の一方のイメージセンサー手段が動作する場合、power-down mode(または power-save mode だと表現する) 状態になって電力の消耗を最小化する。
前記スレーブイメージセンサー手段がpower-save mode状態になる場合には、マスターイメージセンサー手段の制御信号とclock信号の出力が皆low(０)になってスレーブイメージセンサー手段の内部ブロックは電力消耗が発生しない。
しかしながら、マスターイメージセンサー手段がpower-save mode状態になる場合には、マスターイメージセンサー手段のアナログブロックはdisableになり、ディジタルブロックもマスター制御部を除いたすべての信号がdisableになる。
前記マスターイメージセンサー手段がpower-save modeである場合には、マスター制御部だけが動作してマスター制御部の電力消費がほとんど発生しなくなり、スレーブイメージセンサー手段がpower-save modeである場合には、マスターイメージセンサーだけの電力が消費し、スレーブイメージセンサー手段は消費する電力がなくなる。
そのため、２個のイメージセンサー手段がデュアルモードで動作するが、同時に消費する電力が最小化されるので、カプセルの動作時間を進めることができるようになる(イメージセンサーを１個だけ使った場合と消耗電流が類似している)。
マスターイメージセンサー手段とスレーブイメージセンサー手段はフレーム内にそれぞれpower-save mode動作をし、power-save mode状態は交替しながら発生するようにすることによって、電力消費が発生する有效な(active)区間も交替しながら発生するようにして、同時に多い電力が消費しないように制御することができるようになる。
参照的に、カプセル内視鏡に採用される酸化銀バッテリー(Silver-Oxide Battery)は瞬間消耗電力が大きい場合にはバッテリー特性によって急激に動作時間が減る。
具体的に説明すれば、電池用量が７０mAhの場合、消耗電流が０.１mAである時には、７００時間動作するが、消耗電流が１０mAとして、１００倍増加すれば、動作時間は１００倍減って、７時間になり、数分から数十分まで急激に減る特徴がある。
このような理由はカプセルに採用されるバッテリーは非常に小型であり、人体に無害な酸化銀バッテリーを使うからであり、また基本的な消耗電流(Nominal Discharge Current)が非常に小さいからである。
図３は、本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーの動作流れ図である。
図３に示したように、Serial output形態のイメージセンサーの場合には、２個のイメージセンサーの出力を共有するか、または、マスターイメージセンサーでスレーブイメージセンサーの出力を受けて同期信号に合わせて出力ができる。
図３は出力信号を共有した場合の例示であり、マスターイメージセンサーの出力とスレーブイメージセンサーの出力が重ならないようにタイミングを意図的に調整した場合(時分割多重化方式 : time-division multiplexing)である。
出力が発生しないイメージセンサーのTX PADは、ハイインピーダンス(high impedance)状態になって、TX data streamが正義されないように(有效しないように)する。
図４は、本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーのメモリー部を利用したプログラミングの例を現わした例示図である。
このためにメモリー部にはデバイス(センサー)アイディー、イメージ大きさ、動作速度、動作電流、発光ダイオード明るさ情報を保存するだけでなく、各ステップ別スリープモード、シングル/デュアルモード、フレームレート、タイマーデュレーション情報を保存しているようになる。
また、他の付加的な様相によってメモリー部に保存されたタイマーデュレーションに合わせて動作するようにタイマー部(非図示)を更に含んで構成して時間経過をカウントするようになる。
図４に示した各ステップたちに対してその意味を具体的に説明すれば、次の通りである。
B０は、カプセルをのむ前に動作有無を確認(テスト)するためのステップとして、２個のイメージセンサー(マスターイメージセンサー及びスレーブイメージセンサー)がそれぞれ ２.５fpsとして５分間動作するようになる。
b１は、カプセルをのんだ後、食道で高速撮影するためのステップとして、２個のイメージセンサー(マスターイメージセンサー及びスレーブイメージセンサー)がそれぞれ１０fpsとして２０分間動作するようになる。
b２は、動きがほとんどない胃腸で撮影するためのステップとして、Sleep Modeが１時間動作(Power Saving)するようになる。
b３は、狭くてゆっくり動く小腸で撮影するためのステップとして、１個のイメージセンサー(マスターイメージセンサーあるいはスレーブイメージセンサー)が３fpsとして４時間動作するようになる。
b４は、臓器のしわが多くて広い大腸で撮影するためのステップとして、２個のイメージセンサー(マスターイメージセンサー及びスレーブイメージセンサーがそれぞれ５fpsとして７時間動作するようになる。
b５は、カプセルの未排出確認のための準備区間のためのステップとして、Sleep Modeが１０時間動作(Power Saving)するようになる。
b６は、プセルの排出状態を確認するためのステップとして、２個のイメージセンサー(マスターイメージセンサー及びスレーブイメージセンサー)がそれぞれ１fpsとして２時間動作するようになり、これはカプセルが刺さることを解消するための目的である。
前記カプセル内視鏡用イメージセンサーは、プログラミング可能なメモリー部を採用してデュアルモード動作時にそれぞれのイメージセンサーにオプション設定が便利になり、外部PADの数を最小化してカプセル製作の便宜をはかることができるより良い效果を提供することができる。
また、付加的にタイマー動作機能のためにプログラミング可能なメモリー部に各ステップ(Step)別にSleep Mode、Single/Dual Mode、Frame Rate、Timer Durationなどの情報をプログラミング(設定)することによって、消化器官の部位または目的(テストあるいは確認)に当たるようにカプセル内視鏡の撮影速度及び動作を制御することができる。
具体的に、その進行段階を説明すれば、カプセルを経口投入する前に動作可否確認のためのStep０(B０)、カプセルをのんだ後、食道で高速撮影のための Step１(b１)、動きがほとんどない胃腸でカプセルの電力浪費を減らすための Step２(b２)、消化器官が狭くて動きが遅い小腸撮影のためのStep３(b３)、大腸のしわ観察と急激に移動する場合の撮影のためのStep４(b４)、カプセルの排出状態をチェックするために睡眠状態を維持するStep５(b５)、カプセルの排出を確認すると、カプセルが刺さることを解消するためにカプセルの状態を確認するためのStep６(b６)など該当のStepの動作時間を使用者設定によって自動に変更されて動作させる。
図５は、本発明の一実施例によるデュアルモード動作が可能なカプセル内視鏡用イメージセンサーのデュアルモード動作イメージセンサーの概略的な出力データ構造を現わした例示図である。
図５に示したように、イメージデータ送信部はイメージフレームデータの前に情報データ(Information Data)ラインを追加してマスターイメージセンサーとスレーブイメージセンサーの出力を分類することを特徴としているし、前記情報データ(Information Data)ラインにはデバイスアイディー(Device(Sensor)ID)、フレームカウンター(Frame Counter)、フレームレート(Frame Rate)、発光ダイオードオンタイム(LED on time)の情報が含まれることを特徴とする。
前記発光ダイオードは、イメージセンサーがイメージ撮影の時イメージを鮮かに撮影するように一般的にカプセルに設置構成される発光ダイオードを意味する。
具体的に説明すると、イメージセンサーの出力はイメージデータの前にInformation Dataラインを追加してマスターイメージセンサー及びスレーブイメージセンサーの出力を分類する。
フレーデータに加えられるInformation Dataラインには、Device(Sensor)ID、Frame Counter、Frame Rate、LED on timeなどの情報が含まれることができるし、カプセル内視鏡の外部受信装置(非図示)では受信されたフレームデータの中でInformation Dataラインを検索して受信されたフレームがマスターイメージセンサーの出力なのか、スレーブイメージセンサーの出力なのかを区分することができるようになる。
なぜなら、雑音(noise)が多くの場合に特定フレームデータを修復することができなくて消失するから、フレームが順に受信されないこともあるので、Information Dataラインを追加することであり、これを通じて特定フレームデータを修復することができなくて消失する問題点を解決することができるより良い效果を提供することができるようになる。
前記のような構成及び動作を通じて両方向撮影カプセル内視鏡のために２個のイメージセンサーを内部回路の動作を交替で遮断することによって、低電力で連係動作することができて、カプセル内視鏡が本来意図した目標臓器の撮影を完了することができる效果を提供するようになる。
また、２個のイメージセンサーが連係動作及び制御する信号を最小限にして等しく設計及び製作されたイメージセンサーの動作をプログラミング可能になるようにすることによって、マスターとスレーブ動作設定はもちろん特定時間の間にイメージセンサーの動作速度を変更することができるようになって、シングルモードとデュアルモード動作及び低電力動作メカニズムを提供することができるようになる。
さらに、２個のイメージセンサーの動作をプログラミング可能になるようにして特定時間の間に１個のイメージセンサーのみを動作(single mode)するか、２個のイメージセンサー皆電力供給を遮断するスリープモード(sleep mode)手段を含むタイマー動作機能を提供することによって、遠隔地のカプセル制御機なしに目的によって決まった時間によって撮影速度及び動作を制御することができるようになる。
なお、本発明は実施例によって限定されず、本発明の趣旨から逸脱しない範囲で、従来技術を援用して適宜設計変更可能である。
本発明によると、両方向撮影カプセル内視鏡のために２個のイメージセンサーの内部回路の動作を交替で遮断することによって、低電力で連係動作するデュアルモード用イメージセンサーを提供することができるので、内視鏡分野で有用である。
１００ マスターイメージセンサー手段（ｍａｓｔｅｒ ｉｍａｇｅ ｓｅｎｓｏｒ ｄｅｖｉｃｅ）
１１０ マスターイメージセンサー（ｍａｓｔｅｒ ｉｍａｇｅ ｓｅｎｓｏｒ ）
１２０ マスター制御部
１３０ マスター通信部
２００ スレーブイメージセンサー手段（ｓｌａｖｅ ｉｍａｇｅ ｓｅｎｓｏｒ ｄｅｖｉｃｅ）
２１０ スレーブイメージセンサー
２２０ スレーブ制御部
２３０ スレーブ通信部
３００ クロック発生部
４００ 手段動作選択部
５００ モード動作選択部

Claims (10)

  1. 人間を含む動物の身体内部を撮影するために、２個のレンズを含んで構成されるカプセル内視鏡において、
    マスターイメージセンサー手段と繋がれ、クロックを発生させるクロック発生部と；
    前記２個のレンズの中でいずれか一つにより撮影されたイメージを、エンコードして信号出力するマスターイメージセンサーと、
    前記マスターイメージセンサーとスレーブイメージセンサー間のフレーム同期と、スレーブイメージセンサー手段の動作を制御するマスター制御部と、
    スレーブ通信部と通信するマスター通信部とを含み、動作選択手段の設定によってマスターに設定されて動作するマスターイメージセンサー手段と;
    前記２個のレンズの中で他の一つにより撮影されたイメージを、エンコードして信号出力するスレーブイメージセンサーと、
    前記マスター制御部の制御によってスレーブイメージセンサーとスレーブ通信部の動作を制御するスレーブ制御部と、
    マスター通信部と通信するスレーブ通信部とを含み、動作選択手段の設定によってスレーブに設定されて動作するスレーブイメージセンサー手段と;
    マスターイメージセンサー手段とスレーブイメージセンサー手段の中で少なくともいずれか一つ以上により動作するように設定する動作選択手段と;
    を含み、
    前記動作選択手段が、
    マスターイメージセンサー手段及びスレーブイメージセンサー手段の中でいずれか一つで動作するように設定する手段動作選択部と、
    前記マスターイメージセンサー手段及びスレーブイメージセンサー手段の中でいずれか一つだけ動作するシングルモードに設定するか、または、同時に動作するデュアルモードに設定するモード動作選択部とを備える
    ことを特徴とするカプセル内視鏡。
  2. 前記マスターイメージセンサー手段とスレーブイメージセンサー手段の詳細動作を設定するための情報を保存するメモリー部を含む
    請求項１に記載のカプセル内視鏡。
  3. 前記メモリー部に、各ステップ別スリープモード、シングル/デュアルモード、フレームレート、タイマーデュレーション情報を保存し、タイマー部を含んで構成して時間経過をカウントする
    請求項２に記載のカプセル内視鏡。
  4. 前記動作選択手段によって、
    マスターイメージセンサー手段に設定される場合には、クロック発生部がグラウンド(GND)に繋がれ、スレーブイメージセンサー手段に設定される場合には、クロック発生部がブイデ−デ−(VDD)に繋がれる
    請求項１に記載のカプセル内視鏡。
  5. 前記スレーブイメージセンサー手段が、
    マスターイメージセンサー手段から発生されたクロックを受けるか、または、マスターイメージセンサー手段と共有してクロックを受ける
    請求項１に記載のカプセル内視鏡。
  6. 前記モード動作選択部によって、
    シングルモードに設定されば、マスターイメージセンサー手段のクロック出力及び制御信号出力は、low(０)状態を維持して、スレーブイメージセンサー手段では電力を消耗しない
    請求項１に記載のカプセル内視鏡。
  7. 前記マスターイメージセンサー手段が、
    制御信号及びクロック信号だけでスレーブイメージセンサー手段の動作を制御し、電力消耗を最小化させる
    請求項１に記載のカプセル内視鏡。
  8. 前記メモリー部が、
    デバイスアイディー、イメージ大きさ、動作速度、動作電流、発光ダイオード明るさ情報を保存し、
    前記マスターイメージセンサーとスレーブイメージセンサーによって出力されるイメージデータを、受信装置へ出力させるイメージデータ送信手段を含む
    請求項２に記載のカプセル内視鏡。
  9. 前記イメージデータ送信手段が、
    イメージフレームデータの前に情報データ(Information Data)ラインを追加して、マスターイメージセンサーとスレーブイメージセンサーの出力を分類する
    請求項８に記載のカプセル内視鏡。
  10. 前記情報データ(Information Data) ラインに、
    Device(Sensor) ID、Frame Counter、Frame Rate、LED on timeの情報が含まれる
    請求項９に記載のカプセル内視鏡。
JP2013506067A 2010-04-29 2011-04-14 カプセル内視鏡 Expired - Fee Related JP5586108B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020100040270A KR101103127B1 (ko) 2010-04-29 2010-04-29 듀얼모드 동작이 가능한 캡슐내시경용 이미지센서
KR10-2010-0040270 2010-04-29
PCT/KR2011/002654 WO2011136489A2 (ko) 2010-04-29 2011-04-14 듀얼모드 동작이 가능한 캡슐내시경용 이미지센서

Publications (2)

Publication Number Publication Date
JP2013524928A JP2013524928A (ja) 2013-06-20
JP5586108B2 true JP5586108B2 (ja) 2014-09-10

Family

ID=44862002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013506067A Expired - Fee Related JP5586108B2 (ja) 2010-04-29 2011-04-14 カプセル内視鏡

Country Status (5)

Country Link
US (1) US9277854B2 (ja)
EP (1) EP2545842B1 (ja)
JP (1) JP5586108B2 (ja)
KR (1) KR101103127B1 (ja)
WO (1) WO2011136489A2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6249867B2 (ja) * 2014-04-18 2017-12-20 オリンパス株式会社 カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の撮像制御方法、及びプログラム
JP6498288B2 (ja) * 2015-06-16 2019-04-10 オリンパス株式会社 内視鏡システム及びカプセル内視鏡装置
CN115484409A (zh) * 2022-09-09 2022-12-16 成都微光集电科技有限公司 多图像传感器协同工作方法及系统
CN115251807B (zh) * 2022-09-26 2022-12-06 徐州医科大学 胶囊内窥镜系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6358567A (ja) * 1986-08-28 1988-03-14 Nec Corp 直列インタフエ−スバス方式
JP4575260B2 (ja) * 2005-09-09 2010-11-04 オリンパス株式会社 被検体内導入装置
JP4789570B2 (ja) * 2005-10-07 2011-10-12 オリンパス株式会社 被検体内情報取得装置
JP4914600B2 (ja) * 2005-11-10 2012-04-11 オリンパスメディカルシステムズ株式会社 生体内画像取得装置、受信装置および生体内情報取得システム
JP4855771B2 (ja) 2005-12-20 2012-01-18 オリンパスメディカルシステムズ株式会社 体内画像撮影装置および体内画像撮影システム
JP2007208781A (ja) 2006-02-03 2007-08-16 Olympus Corp 撮像装置
JP2009532082A (ja) 2006-03-30 2009-09-10 ギブン イメージング リミテッド 生体内検出デバイス、ならびにイメージャとイメージャのプロセッサとの間の通信方法
JP5019589B2 (ja) 2007-03-28 2012-09-05 富士フイルム株式会社 カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の作動方法
JP5065812B2 (ja) * 2007-08-29 2012-11-07 オリンパスメディカルシステムズ株式会社 生体内画像取得装置および生体内画像取得システム
CN101623196B (zh) * 2008-07-08 2013-04-03 奥林巴斯医疗株式会社 引导系统以及引导方法
US8300091B2 (en) * 2009-04-25 2012-10-30 Capso Vision Inc. Multiple capsule camera apparatus and methods for using the same

Also Published As

Publication number Publication date
US9277854B2 (en) 2016-03-08
KR101103127B1 (ko) 2012-01-04
KR20110120724A (ko) 2011-11-04
EP2545842B1 (en) 2015-06-17
EP2545842A4 (en) 2013-05-01
WO2011136489A3 (ko) 2012-03-01
JP2013524928A (ja) 2013-06-20
EP2545842A2 (en) 2013-01-16
US20130035547A1 (en) 2013-02-07
WO2011136489A2 (ko) 2011-11-03

Similar Documents

Publication Publication Date Title
US10682045B2 (en) Wireless capsule endoscope and power supply control method thereof
KR100876673B1 (ko) 촬영 속도 조절이 가능한 캡슐형 내시경
US20040087832A1 (en) Device and method for blocking activation of an in-vivo sensor
JP2007082664A (ja) カプセル内視鏡
JP5586108B2 (ja) カプセル内視鏡
JP2007208781A (ja) 撮像装置
WO2005082229A1 (fr) Système d'endoscope médical de type à capsule sans fil
JP2003070728A (ja) カプセル式内視鏡
JP2005324037A (ja) 嚥下可能カプセル
JP2013529950A (ja) 生体内カメラの画像取得制御
JP2005193066A (ja) カプセル式内視鏡
US20080103363A1 (en) Device, System, and Method for Programmable In Vivo Imaging
JP4701322B2 (ja) 被検体内導入装置および生体内情報取得システム
JP2008183049A (ja) 撮像装置、カプセル型内視カメラ
Gu et al. A new system design of the multi-view micro-ball endoscopy system
JP4383134B2 (ja) 無線型被検体内情報取得装置
JP6230511B2 (ja) 内視鏡装置
JP2006288831A (ja) 被検体内導入装置
CN202654093U (zh) 体内成像胶囊
US8758226B2 (en) Image sensor for capsule type endoscope having frame puncturing function and method for processing image data thereof
JP3151662U (ja) 起動制御を備えるカプセル内視鏡装置
KR20110055974A (ko) 캡슐 내시경 및 그의 구동방법
JP2005073887A (ja) 無線型被検体内情報取得装置
CN202426490U (zh) 基于图像识别技术的可调节拍摄速率的无线胶囊内窥镜系统
CN107536595A (zh) 胶囊内镜

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140718

R150 Certificate of patent or registration of utility model

Ref document number: 5586108

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees