JP5037731B2 - 内視鏡画像処理装置及び内視鏡システム - Google Patents

内視鏡画像処理装置及び内視鏡システム Download PDF

Info

Publication number
JP5037731B2
JP5037731B2 JP2011554009A JP2011554009A JP5037731B2 JP 5037731 B2 JP5037731 B2 JP 5037731B2 JP 2011554009 A JP2011554009 A JP 2011554009A JP 2011554009 A JP2011554009 A JP 2011554009A JP 5037731 B2 JP5037731 B2 JP 5037731B2
Authority
JP
Japan
Prior art keywords
signal
synchronization signal
unit
endoscope
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011554009A
Other languages
English (en)
Other versions
JPWO2012008259A1 (ja
Inventor
武秀 藤本
清貴 菅野
達彦 鈴木
秀和 信濃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2011554009A priority Critical patent/JP5037731B2/ja
Application granted granted Critical
Publication of JP5037731B2 publication Critical patent/JP5037731B2/ja
Publication of JPWO2012008259A1 publication Critical patent/JPWO2012008259A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Synchronizing For Television (AREA)

Description

本発明は、撮像素子からの内視鏡画像を処理する内視鏡画像処理装置及び内視鏡システムに関する。
近年、内視鏡は医療分野における診断や処置具を用いた治療等に広く用いられるようになった。電荷結合素子(CCD)等の撮像素子を内視鏡挿入部の先端に設け、CCDを用いて撮像した観察像をビデオプロセッサによってテレビモニタに映出する電子内視鏡装置が普及している。
ビデオプロセッサには、駆動回路が設けられ、この駆動回路からの駆動信号を内視鏡先端のCCDに伝送して、CCDを駆動するようになっている。このような駆動回路において、駆動信号に同期信号(VD)を重畳してCCDに供給するものがある。CCDはこの同期信号に同期して、各画素毎の映像信号を出力する。
CCDからの映像信号には、同期信号(VD)が重畳される。ビデオプロセッサは、CCDからの映像信号に含まれる同期信号を抽出し、以後の映像処理に用いるようになっている。なお、日本国特開平4−156072号公報においては、CCDからビデオプロセッサまでの伝送路遅延に拘わらず、位相ずれを補償したヘッド分離型カメラが開示されている。
ビデオプロセッサには、CCDとビデオプロセッサとを接続する伝送路やCCDの種別等が異なる種々の内視鏡が接続可能である。このような種々の内視鏡においては、伝送路特性等が異なり、信号減衰量が比較的大きいものもある。また、CCDの出力特性や伝送路における経時変化の程度も異なり、内視鏡から十分なレベルの映像信号が得られないこともある。更に、内視鏡とビデオプロセッサとを接続する接続部の不良等も考えられる。これらの種々の要因による信号劣化によって、ビデオプロセッサにおいてCCDからの映像信号に重畳された同期信号を検出することができないことがあるという問題があった。ビデオプロセッサにおいて、同期信号を検出することができない場合には、以後の映像処理が不能となり、内視鏡の観察画像を表示することができない等の不具合が生じる。
本発明はかかる問題点に鑑みてなされたものであって、ビデオプロセッサに入力される信号の劣化に拘わらず、確実に同期信号を再生することができる内視鏡画像処理装置及び内視鏡システムを提供することを目的とする。
本発明に係る内視鏡画像処理装置は、内視鏡から該内視鏡に関する情報である内視鏡情報を読み出す内視鏡情報読み出し部と、前記内視鏡から該内視鏡に設けられた撮像素子が出力する同期信号を含む撮像信号が与えられ、前記同期信号の検出処理を行い、前記同期信号を検出できた場合には、検出した前記同期信号を出力し、前記同期信号を検出できなかった場合には、前記内視鏡情報読み出し部が読み出した前記内視鏡情報に基づいて同期信号を生成して出力する同期信号検出部と、前記同期信号検出部から出力される前記同期信号と前記内視鏡の前記撮像素子から出力される前記撮像信号とに基づき、画像信号を生成する画像信号生成部と、を備える。
また、本発明に係る内視鏡システムは、内視鏡と、内視鏡に接続されるビデオプロセッサとを備えた内視鏡システムであって、被写体を撮像し、同期信号を含む撮像信号を出力する撮像素子と、前記内視鏡に関する情報である内視鏡情報を記憶する記憶部と、を備えた内視鏡と、前記内視鏡から前記内視鏡情報を読み出す内視鏡情報読み出し部と、前記内視鏡から前記撮像素子が出力する同期信号を含む撮像信号が与えられ、前記同期信号の検出処理を行い、前記同期信号を検出できた場合には、検出した前記同期信号を出力し、前記同期信号を検出できなかった場合には、前記内視鏡情報読み出し部が読み出した前記内視鏡情報に基づいて同期信号を生成して出力する同期信号検出部と、前記同期信号検出部から出力される前記同期信号と前記内視鏡の前記撮像素子から出力される前記撮像信号とに基づき、画像信号を生成する画像信号生成部と、を備えたビデオプロセッサと、を具備する。
本発明の一実施の形態に係る内視鏡画像処理装置を示すブロック図。 内視鏡画像処理装置が組み込まれた内視鏡システムを示す説明図。 図1中の同期信号処理部14の具体的な構成を示すブロック図。 各伝送路50の具体的な構成を示す回路図。 実施の形態の動作を説明するためのフローチャート。 実施の形態の動作を説明するためのフローチャート。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図1は本発明の一実施の形態に係る内視鏡画像処理装置を示すブロック図である。また、図2は内視鏡画像処理装置が組み込まれた内視鏡システムを示す説明図である。
図2に示す内視鏡システムは、スコープ1とビデオプロセッサ10とがスコープケーブル5によって接続されて構成される。内視鏡であるスコープ1は、可撓性を有する細長の挿入部8を有し、挿入部8の先端側には固体撮像素子としてのCCD2が内蔵されている。また、スコープ1には、スコープ1に関する情報、例えばスコープケーブル長に関する情報等のスコープ情報を記述したROM3が設けられている。なお、ROM3に記憶されるスコープ情報は、スコープ1及びスコープケーブル5のケーブル長の情報を含む。
スコープ1とスコープケーブル5とはコネクタ4によって着脱自在に接続され、スコープケーブル5とビデオプロセッサ10とはコネクタ6,12によって着脱自在に接続される。
図1に示すように、ビデオプロセッサ10は、相互に絶縁された患者回路11と2次回路21とによって構成される。患者回路11には、駆動部13が設けられており、駆動部13は後述するFPGA(フィールドプログラマブルゲートアレイ)17からのタイミング信号等に基づいて、CCD2を駆動するための駆動信号を発生する。また、駆動部13によってスコープ1の電源供給も行われる。
駆動部13は、スコープ1に内蔵されているCCD2の種類に応じた駆動信号を発生する必要があり、ビデオプロセッサ10側でCCD2の種類を把握する必要がある。スコープ1には、このようなCCDの種類を検知するための検知抵抗7が設けられている。スコープケーブル5のコネクタ6とビデオプロセッサ10のコネクタ12とを接続することにより、検知抵抗7の抵抗値に基づくCCD検知信号がFPGA17に供給されるようになっている。FPGA17はCCD検知信号を2次回路21のCPU部22に供給する。
CPU部22は、クロック生成部23を制御して、CCD検知信号に応じた周波数の基準クロック(基準CLK)を生成させる。また、クロック生成部23は、FPGA17にCCD検知をさせるためのコントロールクロック(以下、CTLCLKと略す)及び同期信号を発生させるための同期クロック(以下、VDCLKと略す)を発生して、FPGA17に供給する。
FPGA17は、クロック生成部23からの基準CLKを用いて、CCD2の駆動に必要な各種クロックを含むタイミング信号を生成して駆動部13に与える。また、FPGA17は、クロック生成部23からのVDCLKを駆動部13に与える。駆動部13は、FPGA17からのタイミング信号を用いて、CCD2の駆動信号を生成すると共に、この駆動信号に同期信号(VD)を重畳して出力する。
なお、FPGA17は、CCD検知信号によって、駆動することができないCCDが接続されていることを検出した場合には、駆動部13へのタイミング信号の供給を停止すると共に、駆動部13からスコープ1への電源供給を停止させるようになっている。更に、FPGA17は、駆動することができないCCDが接続されていることを示す判定情報をCPU部22に出力するようになっている。CPU部22は、判定情報をエラー記憶部27に記憶させることができる。
CCD2を駆動するためには、例えば、5,7,10,13,15V等の複数の電圧が必要であり、駆動部13の電源部13aは、電源装置45からの電源電圧を用いて、FPGA17からの電源制御信号に基づく複数の電圧を発生することができるようになっている。
この場合において、FPGA17は、接続されたCCDの種類に応じた電源制御信号を発生することができるようになっている。本実施の形態においては、情報記憶部18は、CCDの種類に応じた電源制御情報を記憶している。FPGA17は、CCD検知信号に基づいて情報記憶部18から対応する電源制御情報を読み出して、読み出した電源制御情報に基づく電源制御信号を発生して、CCDの種類に応じた電圧を、CCDの種類に応じたシーケンスで発生させるようになっている。
また、電源部13aは、発生した電圧をCCD2に供給すると共に、電源監視部19に与える。電源監視部19は、電源部13aが発生した電圧をデジタル信号に変換してFPGA17にフィードバックする。また、電源監視部19は、電源部13aからスコープ1に供給される電流を検出しており、検出結果のデジタル値をFPGA17に出力するようになっている。FPGA17は、電源監視部19の出力によって、電源部13aから電源制御信号によって指定した電圧が指定した順序で正しく発生しているか否かを判定する。電源制御信号によって指定した電圧が指定した順序で正しく発生していない場合には、FPGA17は、電源部13aを制御して、電圧の発生を停止させることができるようになっている。
また、FPGA17は、電源監視部19の出力によって、電源部13aからの電源電流の過電流を検出し、過電流を検出した場合には電源部13aからの電源供給を停止させることができるようになっている。過電流の検出に際して、FPGA17は、突入電流を検知することなく過電流のみを検知するようになっている。
駆動部13からの駆動信号は、スコープケーブル5を介してスコープ1のCCD2に供給される。この駆動信号に基づいて、CCD2は被写体からの光学像を光電変換し、撮像信号をスコープケーブル5を介してビデオプロセッサ10に送出する。即ち、CCD2は、被写体からの光が各画素に入射し、各画素に入射光量に応じた電荷を蓄積し、駆動部13からの駆動信号によって、蓄積した電荷を撮像信号として出力するようになっている。
CCD2からの撮像信号には、同期信号が重畳されている。CCD2は、例えば、同期信号をCCD2の図示しないOB(オプティカルブラック)部に対応するタイミングの撮像信号に重畳するようになっている。CCD2からの撮像信号は、ビデオプロセッサ10内の同期信号処理部14及びプリアンプ部15に供給される。
図3は図1中の同期信号処理部14の具体的な構成を示すブロック図である。CCD2からの撮像信号は、同期信号処理部14のCDS回路(相関2重サンプリング回路)31に供給される。CDS回路31は、撮像信号に含まれるノイズを除去して、増幅部32に出力する。増幅部32は撮像信号を増幅して比較器33に出力する。比較器33には所定の基準電位も供給されており、比較器33は基準電位よりも高いレベルの撮像信号の期間を示すタイミング信号をゲート回路34に出力する。
同期信号はOB部に対応して重畳されており、同期信号のレベルは、OB部内の他の画素位置の撮像信号よりも高いレベルとなるように設定されている。また、駆動部13において、FPGA17からのタイミング信号を用いて駆動信号に同期信号を重畳させていることから、FPGA17は、撮像信号に重畳される同期信号の位置、即ち、OB部に対応する撮像信号の期間を予想することができる。FPGA17は、同期信号が重畳される期間を予想して、その期間近傍の撮像信号について同期信号を分離するためのゲート信号を発生して同期信号処理部14のゲート回路34に与えている。ゲート回路34は、ゲート信号によって規定される期間におけるタイミング信号を出力する。ゲート信号によって規定される期間においては撮像信号のレベルは十分に低く、基準電位を同期信号のレベル以下に設定することにより、比較器33及びゲート回路34によって同期信号を分離することができる。
ラッチ回路35は、比較器33からのタイミング信号をPLL回路36からのクロックタイミングで、同期信号として出力する。同期信号処理部14において分離された同期信号はFPGA17に供給される。
一方、CCD2からの撮像信号はプリアンプ部15にも供給される。プリアンプ部15は、入力された撮像信号を増幅してアナログ処理部16に供給する。アナログ処理部16は、図示しないCDS回路及びA/D変換器等を有しており、入力された撮像信号のノイズを除去した後、デジタル信号に変換してFPGA17に出力する。
FPGA17は、アナログ処理部16から入力された撮像信号をR,G,B映像信号に変換すると共に、R,G,B映像信号に同期信号を多重化して、LVDS(low voltage differential signaling)を採用して、複数の伝送路50を介して2次回路21のR,G,B信号処理部24R,24G,24Bに送信する。
図4は各伝送路50の具体的な構成を示す回路図である。FPGA17には、R,G,B映像信号用の3系統のLVDSドライバ51を有しており、R,G,B信号処理部24R,24G,24Bは、夫々LVDSレシーバ55を有している。
LVDSインターフェースにおける各伝送路50は、互いに逆位相のデータ信号をそれぞれ伝送する2本のラインを1対(ペア)として構成されている。これらの信号ライン上には、パルストランス部53及び終端回路54が設けられる。
本実施の形態においては、LVDSドライバ51に接続された一方の信号ラインと患者回路11の基準電位点61との間にはバリスタ56が接続され、他方の信号ラインと基準電位点61との間にはバリスタ57が接続される。また、LVDSレシーバ55に接続された一方の信号ラインと2次回路21の基準電位点62との間にはバリスタ59が接続され、他方の信号ラインと基準電位点62との間にはバリスタ58が接続される。
患者回路11の各回路は基準電位点61に対して絶縁されており、患者回路11は電気的にフローティング状態である。このため、患者回路11に蓄積された静電気は、患者回路11内で基準電位点61に対して最もインピーダンスが低い部分を介して放電される。この放電路上にデバイスが存在する場合には、このデバイスが放電によって破壊される虞がある。
しかし、本実施の形態においては、各伝送路50において、1対の信号ラインと基準電位点61との間にバリスタ56,57が設けられ、1対の信号ラインと基準電位点62との間にバリスタ58,59が設けられる。従って、患者回路11に蓄積された静電気は、バリスタ56〜59を介して2次回路の基準電位点62に流れる。
即ち、本実施の形態においては、静電気の放電路上には、パルストランス部53しかデバイスは存在せず、静電気の放電によってデバイスが破壊されることを防止することができる。
本実施の形態においては、FPGA17は、同期信号処理部14において正常に同期信号が分離されたか否かを判断し、正常に同期信号が分離された場合には、同期信号処理部14からの同期信号を映像信号に重畳し、正常に分離されない場合には、情報記憶部18に記憶されたデータに基づいて生成した同期信号を映像信号に重畳して出力するようになっている。
CCD2からの撮像信号に重畳される同期信号は、駆動部13が出力した同期信号に基づいており、CCDの種類及びスコープケーブル長に基づく遅延時間に応じたタイミングで撮像信号に重畳されているものと推定することができる。FPGA17はこの推定に基づいて、同期信号を生成する。
本実施の形態においては、情報記憶部18は、CCDの種類及びスコープケーブル長の情報に基づく遅延時間の情報、即ち、同期信号を発生すべき位置の情報をカウント数の情報として記憶する。
スコープ1をスコープケーブル5を介してビデオプロセッサ10に接続することにより、CPU部22は、スコープ1のROM3に記憶されたスコープ情報を読み出すことができるようになっている。CPU部22はROM3から読み出したスコープ情報をFPGA17に出力する。また、FPGA17には、CCD検知信号も入力されており、FPGA17は、スコープ情報及びCCD検知信号に基づいて、CCDの種類及びスコープケーブル長に応じた遅延時間の情報を情報記憶部18から読み出す。FPGA17は、VDCLKに基づいて発生したタイミング信号を基準にして、情報記憶部18から読み出した情報に基づくカウント数だけ基準CLKをカウントすることで、同期信号を発生させることができる。
2次回路21のR,G,B信号処理部24R,24G,24Bは、夫々FPGA17から同期信号が重畳されたR,G,B映像信号を受信する。R,G,B信号処理部24R,24G,24Bは、CPU部22により制御されて、受信したR,G,B映像信号に所定の色信号処理を施した後、マトリクス部25に出力する。マトリクス部25は、CPU部22により制御されて、入力されたR,G,B映像信号に対して所定のマトリクス演算を施してR,G,B映像信号を生成し、画像処理部26に出力する。画像処理部26は、CPU部22により制御されて、入力されたR,G,B映像信号に、夫々γ補正処理及びホワイトバランス調整処理を施した後、モニタ41に出力する。また、画像処理部26はOSD処理部26aを備えており、OSD処理部26aは、CPU部22からの指示に応じたキャラクタをスーパーインポーズさせることができるようになっている。
こうして、モニタ41上において、CCD2によって撮像された内視鏡像を表示することができる。
なお、FPGA17は、同期信号処理部14において正常に同期信号を分離することができなかったと判定した場合には、そのことを示す判定情報をCPU部22に供給するようになっている。CPU部22は、判定情報によって同期信号処理部14において正常に同期信号を分離することができなかったことが示されると、OSD処理部26aを制御して、その旨を示すメッセージを表示させるようになっている。例えば、CPU部22は、「スコープケーブル接点の清掃を行い、再度接続してください。」等のメッセージを表示させる。
次に、このように構成された実施の形態の動作について図5及び図6のフローチャートを参照して説明する。図5は図1中のFPGA17における同期信号生成処理を示している。また、図6はFPGA17による電源制御を示している。
スコープケーブル5のコネクタ4をスコープ1に接続し、コネクタ6をビデオプロセッサ10のコネクタ12に接続する。これにより、CPU部22はスコープ1のROM3に記憶されたスコープ情報を読み出す。スコープ情報は、FPGA17にも与えられる。また、検知抵抗7の抵抗値に基づくCCD検知信号がFPGA17に供給される。FPGA17はCCD検知信号をCPU部22に出力する。
CPU部22は、クロック生成部23を制御してCTLCLKを発生させている。FPGA17は、このCTLCLKを用いてCCD検知信号の受信が可能である。FPGA17は、CCD検知信号によって検知不能、駆動不能、非対応のCCDが接続されたことを検出した場合には、CPU部22にこのようなCCDが接続されていることを示す判定情報を出力すると共に、駆動部13にスコープ1への電源供給を停止させる。なお、この判定情報は、CPU部22によってエラー記憶部27に記憶される。また、CPU部22は、OSD処理部26aを制御して、モニタ41の画面上に、検知不能、駆動不能、非対応のCCDが接続されたことを示すメッセージを表示させる。
これにより、非対応のCCDが接続されていることや、スコープの故障等を確実にユーザに告知することができる。また、スコープへの電源供給を停止させることで、スコープの破壊を防止することができる可能性もある。また、判定情報をエラー記憶部27に記憶させることで、迅速な修理等を可能にすることもできる。
駆動可能なCCDが接続されている場合には、CPU部22は、CCD検知信号によってCCDの種類を把握し、CCD2に適したクロックを生成させるようにクロック生成部23を制御する。これにより、クロック生成部23は、基準CLKを発生してFPGA17に供給する。また、クロック生成部23はVDCLKを発生して、FPGA17に出力する。
FPGA17は、基準クロックに応じて各種クロックを含むタイミング信号を発生して駆動部13に供給すると共に、VDCLKを駆動部13に供給する。駆動部13は、入力されたタイミング信号を用いて駆動信号を生成すると共に、駆動信号にVDCLKに基づく同期信号を重畳する。駆動部13からの駆動信号は、スコープケーブル5を介してスコープ1のCCD2に供給される。
また、FPGA17は、情報記憶部18からCCDの種類に応じた電源制御情報を読み出しており、この電源制御情報に基づく電源制御信号を発生して電源部13aを制御する。例えば、いま、ビデオプロセッサ10にCCDA又はCCDBが接続可能であるものとし、CCDAについては、電圧A,B,Cの順で電源供給を行い、CCDBについては、電圧A,C,Bの順で電源供給を行うことによって正常に動作するものとする。
FPGA17は図6のステップS11において、CCD検知信号に基づく電源制御情報を情報記憶部18から読み出す。例えば、CCD検知信号によってCCD2としてCCDAが接続されていることが示されたものとする。この場合には、FPGA17は、ステップS12から処理をステップS13に移行して、電源制御信号によって電源部13aに電圧Aを発生させる。電源部13aは電圧Aを発生すると共に、この電圧Aは電源監視部19によってデジタル信号に変換されてFPGA17にフィードバックされる。FPGA17は、情報記憶部18の出力に基づく電圧が、電圧Aの下限閾値電圧の範囲内(閾値以内)になっているか否かを判定する(ステップS14)。例えば、下限閾値としては、定格電圧の80%の電圧が設定される。
FPGA17は、電圧Aが下限閾値に到達したと判断すると、次のステップS15において、電圧Bを発生させるための電源制御信号を発生する。以後、同様に、電圧Bが、電圧Bの下限閾値に到達することによって電圧Cが発生し(ステップS16,S17)、電圧Cが下限閾値に到達することによって(ステップS18)、ステップS19に移行する。ステップS19では、全電圧が上限閾値電圧の範囲内(閾値以内)になっているか否かが判定される。例えば、上限閾値としては、定格電圧の120%の電圧が設定される。
同様に、CCD検知信号によってCCD2としてCCDBが接続されていることが示された場合には、FPGA17は、ステップS23〜S28の処理によって、電圧A,C,Bを順次発生させる。ステップS19,29において、各CCDに供給されるべき全ての電圧が下限閾値と上限閾値との間の電圧でないことが示された場合には、処理をステップS30に移行して、電源供給を停止させる。
なお、図6において、各電圧の発生時に、所定の時間以上経過しても下限閾値に到達しない場合には、処理をステップS30に移行して電源供給を停止させてもよい。
このように、本実施の形態においては、FPGA17において、CCDの種類に応じた電圧をCCDの種類に応じたシーケンスで順次発生させることができる。また、FPGA17は、発生した電圧をモニタすることで、異常時における電圧供給を停止させることができる。
また、FPGA17は、電源部13aからの電源電流の過電流も検出するようになっている。電源監視部19は、電源電流をサンプリングしてデジタル値に変換する。FPGA17は、電源監視部19の2回以上のサンプリングによって得られた電流値の平均値に基づいて過電流が発生したか否かを判定する。
例えば、電源監視部19は、電源部13aからCCD2へ供給される電源電流を、200Hzのサンプリング周期でA/D変換する。そして、FPGA17は、電源監視部19のサンプリング毎に、直近の4個のサンプリングされた電流値の移動平均を求める。サンプルされた電流値が150mA以上の場合、電流上限値150mAとして、移動平均を算出する。算出された移動平均値が、検出閾値である130mAを、3回連続で超えた場合、過電流が流れたと判定する。FPGA17は、過電流が流れたと判定した場合には、例えば電源部13aの電源供給を停止させる。
なお、サンプリング周期、移動平均で使用するサンプル数、電流上限値、検出閾値は、ここで示した数値に限らない。
電源が正常に供給されると、CCD2は、被写体光学像を光電変換し、駆動部13からの駆動信号に従って、各画素の蓄積された電荷を撮像信号として出力する。この場合には、CCD2はOB部に対応するタイミングで同期信号を重畳した撮像信号を出力する。CCD2からの撮像信号は、スコープケーブル5を介してビデオプロセッサ10の同期信号処理部14及びプリアンプ部15に供給される。
プリアンプ部15は入力された撮像信号を増幅し、アナログ処理部16は増幅された撮像信号にCDS処理及びA/D変換処理を施して、デジタル撮像信号をFPGA17に出力する。
一方、FPGA17は、CCD検知信号及びスコープ情報に基づいて、情報記憶部18から遅延時間の情報を読み出している。FPGA17は、読み出した情報に基づいて、ゲート信号を生成して同期信号処理部14に出力する。
同期信号処理部14は、入力された撮像信号を基準電位と比較してタイミング信号を発生し、ゲート信号によって規定されるゲート期間におけるタイミング信号を同期信号として出力する。この同期信号はFPGA17に供給される。
本実施の形態においては、FPGA17は、同期信号処理部14からの同期信号が正常であるか否かを判定する。例えば、FPGA17は、所定の判定期間を設定し、この判定期間内に同期信号処理部14が同期信号を何回分離することができたかによって、同期信号が正常であるか否かを判定する。FPGA17は、図5のステップS1において、同期信号処理部14において同期信号を分離することができたことを示す切出し判定OKであるか否かを判定する。切出し判定がOKの場合にのみ、変数OKCNTをインクリメント(ステップS2)する。
FPGA17は、ステップS3において、判定期間が終了したか否かを判定する。ステップS1〜S3が繰り返されて、判定期間中に何回切出し判定がOKとなったかが検出される。次の、ステップS4において、FPGA17は、変数OKCNTが設計値以上となったか否かを判定する(ステップS4)。変数OKCNTが設計値以上の場合には、FPGA17は、次のステップS5において同期信号の分離に成功したものと判断し、ステップS6において、分離した同期信号を採用して、以後の処理を行う。
一方、変数OKCNTが設計値よりも小さい場合には、FPGA17は、次のステップS7において同期信号の分離に失敗したものと判断し、ステップS8において、情報記憶部18から遅延時間の情報を読み出す。FPGA17は、VDCLKを基準に、遅延時間の情報に基づいて基準CLKをカウントすることで、同期信号を生成する(ステップS9)。以後、FPGA17は、生成した同期信号を採用して、以後の処理を行う。
このように、1回の判定ではなく、所定の判定期間中に同期分離に成功した回数が設計値に到達したか否かによって、同期信号処理部14からの同期信号が正常であるか否かを判断しており、誤検知を防止することができる。
FPGA17は、撮像信号をR,G,B映像信号に変換すると共に、分離又は生成した同期信号をR,G,B映像信号に多重化し、LVDSを用いてR,G,B信号処理部24R,24G,24Bに送信する。R,G,B信号処理部24R,24G,24Bは、R,G,B映像信号に対する信号処理を行い、マトリクス部25はR,G,B信号処理部24R,24G,24Bの出力に対するマトリクス処理を行う。マトリクス部25からのR,G,B映像信号は、画像処理部26によってγ補正処理及びホワイトバランス調整処理等が施された後、モニタ41に供給される。こうして、モニタ41の表示画面上において、CCD2の撮像画像に基づく画像表示が行われる。
一方、FPGA17は、同期信号処理部14において正常に同期信号が分離されなかった場合には、そのことを示す判定情報をCPU部22に出力している。CPU部22は、OSD処理部26aを制御して、その旨を示す表示を内視鏡像上にスーパーインポーズ表示させる。例えば、モニタ41の画面上に、同期信号の分離が正常に行われていないことを示す表示や、ケーブルの接触不良を指摘する表示等を表示させることができる。
なお、本実施の形態においては、図5の処理は、電源投入直後の所定期間に行われるが、図5の処理を電源投入直後以外の所定のタイミングで実施しても良い。
このように本実施の形態においては、同期信号が正常に分離することができないと判定された場合には、情報記憶部からの遅延時間の情報を読み出すことで、同期信号を生成して以後の処理に用いるようになっている。これにより、スコープの伝送路特性の不良や、経時変化、接触不良等が生じて、同期信号を分離することができない場合でも、同期信号を生成して映像処理を可能にし、撮像画像を映出することができる。
また、本実施の形態においては、情報記憶部において、CCDの種類及びスコープケーブルの種類に応じたデータを保持しており、ビデオプロセッサにどのような種類のスコープ及びCCDが接続された場合でも、確実に同期信号の生成が可能である。
なお、上記実施の形態においては、CCDは同期信号を重畳した撮像信号を出力し、同期信号処理部において撮像信号に重畳された同期信号を分離する例について説明したが、CCDが同期信号を含む撮像信号を出力し、同期信号処理部において撮像信号に含まれる同期信号を検出する例にも同様に適用可能である。

本出願は、2010年7月12日に日本国に出願された特願2010−158302号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (12)

  1. 内視鏡から該内視鏡に関する情報である内視鏡情報を読み出す内視鏡情報読み出し部と、
    前記内視鏡から該内視鏡に設けられた撮像素子が出力する同期信号を含む撮像信号が与えられ、前記同期信号の検出処理を行い、前記同期信号を検出できた場合には、検出した前記同期信号を出力し、前記同期信号を検出できなかった場合には、前記内視鏡情報読み出し部が読み出した前記内視鏡情報に基づいて同期信号を生成して出力する同期信号検出部と、
    前記同期信号検出部から出力される前記同期信号と前記内視鏡の前記撮像素子から出力される前記撮像信号とに基づき、画像信号を生成する画像信号生成部と、
    を備えたことを特徴とする内視鏡画像処理装置。
  2. 前記同期信号検出部は、
    前記撮像信号に前記同期信号が重畳されている場合には、前記撮像信号から前記同期信号を分離する同期信号分離部によって前記撮像信号に重畳された同期信号を検出する
    ことを特徴とする請求項1に記載の内視鏡画像処理装置。
  3. 前記画像信号生成部が生成した画像信号に対して、画像処理を行う画像処理部を備え、
    前記画像処理部は、前記同期信号検出部において、前記撮像信号に含まれる前記同期信号を検出できなかった場合には、その旨を示す情報を前記画像信号に対して重畳する
    ことを特徴とする請求項1に記載の内視鏡画像処理装置。
  4. 前記同期信号検出部は、所定の判定期間内に前記同期信号を分離可能であった回数によって前記同期信号の検出に成功したか否かを判定する
    ことを特徴とする請求項2に記載の内視鏡画像処理装置。
  5. 前記撮像素子を駆動するための電源及び駆動信号を出力する撮像素子駆動部と、
    前記内視鏡から前記撮像素子に関する情報である撮像素子情報を読み出す撮像素子情報読み出し部と、
    前記撮像素子駆動部において駆動可能な撮像素子についての撮像素子情報を前記撮像素子情報読み出しが読み出すことができない場合には、前記撮像素子駆動部を制御して前記撮像素子への電源及び駆動信号の出力を停止させる制御部と、
    を備えたことを特徴とする請求項1に記載の内視鏡画像処理装置。
  6. 前記画像信号生成部が生成した画像信号に対して、画像処理を行う画像処理部を備え、
    前記画像処理部は、前記撮像素子駆動部において駆動可能な撮像素子についての撮像素子情報を前記撮像素子情報読み出しが読み出すことができない場合には、その旨を示す情報を前記画像信号に対して重畳する
    ことを特徴とする請求項5に記載の内視鏡画像処理装置。
  7. 内視鏡と、内視鏡に接続されるビデオプロセッサとを備えた内視鏡システムであって、
    被写体を撮像し、同期信号を含む撮像信号を出力する撮像素子と、
    前記内視鏡に関する情報である内視鏡情報を記憶する記憶部と、
    を備えた内視鏡と、
    前記内視鏡から前記内視鏡情報を読み出す内視鏡情報読み出し部と、
    前記内視鏡から前記撮像素子が出力する同期信号を含む撮像信号が与えられ、前記同期信号の検出処理を行い、前記同期信号を検出できた場合には、検出した前記同期信号を出力し、前記同期信号を検出できなかった場合には、前記内視鏡情報読み出し部が読み出した前記内視鏡情報に基づいて同期信号を生成して出力する同期信号検出部と、
    前記同期信号検出部から出力される前記同期信号と前記内視鏡の前記撮像素子から出力される前記撮像信号とに基づき、画像信号を生成する画像信号生成部と、
    を備えたビデオプロセッサと、
    を具備したことを特徴とする内視鏡システム。
  8. 前記撮像素子は、前記同期信号を前記撮像信号に重畳して出力し、
    前記同期信号検出部は、
    前記撮像信号から前記同期信号を分離する同期信号分離部によって前記撮像信号に重畳された同期信号を検出する
    ことを特徴とする請求項7に記載の内視鏡システム。
  9. 前記ビデオプロセッサは、
    前記画像信号生成部が生成した画像信号に対して、画像処理を行う画像処理部を備え、
    前記画像処理部は、前記同期信号検出部において、前記撮像信号に含まれる前記同期信号を検出できなかった場合には、その旨を示す情報を前記画像信号に対して重畳する
    ことを特徴とする請求項7に記載の内視鏡システム。
  10. 前記同期信号分離部は、所定の判定期間内に前記同期信号を分離可能であった回数によって前記同期信号の検出に成功したか否かを判定する
    ことを特徴とする請求項8に記載の内視鏡システム。
  11. 前記内視鏡は、前記撮像素子に関する情報である撮像素子情報を記憶する撮像素子記憶部を有し、
    前記ビデオプロセッサは、
    前記撮像素子を駆動するための電源及び駆動信号を出力する撮像素子駆動部と、
    前記内視鏡から前記撮像素子情報を読み出す撮像素子情報読み出し部と、
    前記撮像素子駆動部において駆動可能な撮像素子についての撮像素子情報を前記撮像素子情報読み出しが読み出すことができない場合には、前記撮像素子駆動部を制御して前記撮像素子への電源及び駆動信号の出力を停止させる制御部と、
    を備えたことを特徴とする請求項7に記載の内視鏡システム。
  12. 前記ビデオプロセッサは、
    前記画像信号生成部が生成した画像信号に対して、画像処理を行う画像処理部を備え、
    前記画像処理部は、前記撮像素子駆動部において駆動可能な撮像素子についての撮像素子情報を前記撮像素子情報読み出しが読み出すことができない場合には、その旨を示す情報を前記画像信号に対して重畳する
    ことを特徴とする請求項11に記載の内視鏡システム。
JP2011554009A 2010-07-12 2011-06-15 内視鏡画像処理装置及び内視鏡システム Active JP5037731B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011554009A JP5037731B2 (ja) 2010-07-12 2011-06-15 内視鏡画像処理装置及び内視鏡システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010158302 2010-07-12
JP2010158302 2010-07-12
PCT/JP2011/063696 WO2012008259A1 (ja) 2010-07-12 2011-06-15 内視鏡画像処理装置及び内視鏡システム
JP2011554009A JP5037731B2 (ja) 2010-07-12 2011-06-15 内視鏡画像処理装置及び内視鏡システム

Publications (2)

Publication Number Publication Date
JP5037731B2 true JP5037731B2 (ja) 2012-10-03
JPWO2012008259A1 JPWO2012008259A1 (ja) 2013-09-09

Family

ID=45469269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011554009A Active JP5037731B2 (ja) 2010-07-12 2011-06-15 内視鏡画像処理装置及び内視鏡システム

Country Status (5)

Country Link
US (1) US8449453B2 (ja)
EP (1) EP2520215B1 (ja)
JP (1) JP5037731B2 (ja)
CN (1) CN102781304B (ja)
WO (1) WO2012008259A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5868629B2 (ja) * 2011-08-02 2016-02-24 オリンパス株式会社 光源装置
US10518701B2 (en) * 2012-07-26 2019-12-31 Kyocera Corporation Image monitoring apparatus, movable object, program and failure determining method
JP5865210B2 (ja) * 2012-08-13 2016-02-17 オリンパス株式会社 撮像システム
JP6172738B2 (ja) * 2013-04-16 2017-08-02 Hoya株式会社 電子内視鏡および電子内視鏡システム
CN105188510B (zh) * 2013-08-09 2017-10-31 奥林巴斯株式会社 内窥镜装置
JP6270497B2 (ja) * 2014-01-21 2018-01-31 Hoya株式会社 電子内視鏡用プロセッサおよび電子内視鏡システム
JPWO2016117373A1 (ja) * 2015-01-23 2017-04-27 オリンパス株式会社 医療機器および内視鏡システム
JP6348854B2 (ja) * 2015-02-03 2018-06-27 富士フイルム株式会社 内視鏡用プロセッサ装置、内視鏡システム及び内視鏡システムの非接触給電方法
WO2017006575A1 (ja) 2015-07-06 2017-01-12 オリンパス株式会社 電源制御回路
JP6013673B1 (ja) * 2015-07-06 2016-10-25 オリンパス株式会社 電源制御回路
JP2017064040A (ja) * 2015-09-30 2017-04-06 Hoya株式会社 内視鏡プロセッサ及び内視鏡接続システム
JP6654051B2 (ja) * 2016-01-15 2020-02-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム
JP6639920B2 (ja) * 2016-01-15 2020-02-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用信号処理装置、及び医療用観察システム
CN109310281B (zh) * 2016-08-02 2021-03-12 奥林巴斯株式会社 内窥镜系统和信号处理装置
WO2018193519A1 (ja) * 2017-04-18 2018-10-25 オリンパス株式会社 内視鏡装置及びビデオプロセッサ
WO2018211852A1 (ja) * 2017-05-18 2018-11-22 オリンパス株式会社 内視鏡システム
WO2019064681A1 (ja) * 2017-09-29 2019-04-04 オリンパス株式会社 内視鏡および内視鏡システム
JP2019150466A (ja) * 2018-03-06 2019-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療機器
US11221660B2 (en) * 2019-01-31 2022-01-11 Hewlett Packard Enterprise Development Lp Fault detection based on comparing input current and moving average input current
CN110572544A (zh) * 2019-09-10 2019-12-13 广东实联医疗器械有限公司 一种一体化医用内窥镜电路
CN110769207B (zh) * 2019-11-19 2022-04-01 深圳开立生物医疗科技股份有限公司 一种电子内窥镜信号传输方法、装置和设备及系统
WO2021235468A1 (ja) * 2020-05-19 2021-11-25 ニプロ株式会社 内視鏡システムおよび制御方法
WO2022013953A1 (ja) * 2020-07-14 2022-01-20 オリンパス株式会社 撮像システム、内視鏡および制御装置
CN114666545A (zh) * 2022-03-22 2022-06-24 重庆西山科技股份有限公司 内窥镜影像的同步传输方法、设备与介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001275954A (ja) * 2000-03-30 2001-10-09 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2008036356A (ja) * 2006-08-10 2008-02-21 Olympus Corp 電子内視鏡装置及び電子内視鏡システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4831444A (en) * 1986-11-06 1989-05-16 Olympus Optical Co., Ltd. Video camera device with separate camera head and signal processing circuit
JPH04156072A (ja) 1990-10-19 1992-05-28 Olympus Optical Co Ltd ヘッド分離型カメラ
US5585840A (en) * 1992-06-11 1996-12-17 Olympus Optical Co., Ltd. Endoscope apparatus in which image pickup means and signal control means are connected to each other by signal transmitting means
JP2790948B2 (ja) * 1992-09-25 1998-08-27 富士写真光機株式会社 電子内視鏡装置の信号処理回路
US6975351B2 (en) * 1996-04-26 2005-12-13 Canon Kabushiki Kaisha Apparatus and system for camera head determination in an image sensing system
JPH1042176A (ja) * 1996-07-25 1998-02-13 Canon Inc 撮像装置
US7355625B1 (en) * 1999-03-17 2008-04-08 Olympus Corporation Endoscopic imaging system and endoscope system
JP2001008199A (ja) * 1999-06-24 2001-01-12 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2001223684A (ja) * 2000-02-08 2001-08-17 Sony Corp 同期検出装置、受信装置およびその方法
US7248281B2 (en) * 2002-07-16 2007-07-24 Fujinon Corporation Electronic endoscope apparatus which superimposes signals on power supply
FR2857200B1 (fr) * 2003-07-01 2005-09-30 Tokendo Processeur video pour l'endoscopie
JP2004305373A (ja) * 2003-04-04 2004-11-04 Pentax Corp 電子内視鏡システム
JP4445799B2 (ja) * 2004-05-24 2010-04-07 オリンパス株式会社 被検体内導入装置および医療装置
JP4472585B2 (ja) * 2005-06-14 2010-06-02 オリンパス株式会社 送信装置および被検体内情報取得システム
JP4823618B2 (ja) * 2005-09-09 2011-11-24 オリンパスメディカルシステムズ株式会社 受信装置及び被検体内情報取得システム
JP4511454B2 (ja) * 2005-12-16 2010-07-28 オリンパスメディカルシステムズ株式会社 内視鏡用信号処理装置
JP2009136459A (ja) * 2007-12-05 2009-06-25 Hoya Corp ノイズ除去システム、内視鏡プロセッサ、および内視鏡システム
JP5507087B2 (ja) 2009-01-06 2014-05-28 京楽産業.株式会社 遊技機
JP2011023967A (ja) * 2009-07-15 2011-02-03 Toshiba Corp ヘッド分離型カメラ装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001275954A (ja) * 2000-03-30 2001-10-09 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2008036356A (ja) * 2006-08-10 2008-02-21 Olympus Corp 電子内視鏡装置及び電子内視鏡システム

Also Published As

Publication number Publication date
US20120178992A1 (en) 2012-07-12
EP2520215B1 (en) 2015-07-29
CN102781304B (zh) 2015-01-21
EP2520215A4 (en) 2013-05-22
EP2520215A1 (en) 2012-11-07
CN102781304A (zh) 2012-11-14
US8449453B2 (en) 2013-05-28
WO2012008259A1 (ja) 2012-01-19
JPWO2012008259A1 (ja) 2013-09-09

Similar Documents

Publication Publication Date Title
JP5037731B2 (ja) 内視鏡画像処理装置及び内視鏡システム
EP2094002A2 (en) Electronic communication system and endoscope system
JP5463210B2 (ja) 内視鏡システム
JP6138406B1 (ja) 撮像装置、内視鏡および内視鏡システム
CN110891470B (zh) 内窥镜系统、内窥镜以及控制装置
US9007436B2 (en) Image data receiving apparatus and image data transmission system
JP6087037B1 (ja) 画像データ伝送システム
US20120293676A1 (en) Head-separated camera device
JP2011023967A (ja) ヘッド分離型カメラ装置
JP2010088656A (ja) 内視鏡用プロセッサ装置、内視鏡用プロセッサ装置の電源電圧供給方法、並びに内視鏡システム
JP2013165772A (ja) 内視鏡装置及び内視鏡装置用撮像制御装置
WO2018220940A1 (ja) 撮像装置
JP4676027B2 (ja) ヘッド分離型カメラ装置及びデジタルビデオ信号送信方法
JP6064101B1 (ja) 内視鏡システム
WO2016103878A1 (ja) 内視鏡
JP2006346357A (ja) 内視鏡装置
JP4656842B2 (ja) 内視鏡用コネクタ装置
JP2005103325A (ja) 電子内視鏡装置
JP2010081236A (ja) 内視鏡装置
JP2004121856A (ja) 内視鏡装置
JPWO2017187836A1 (ja) 内視鏡装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5037731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250