JPWO2014002732A1 - 撮像装置および撮像システム - Google Patents

撮像装置および撮像システム Download PDF

Info

Publication number
JPWO2014002732A1
JPWO2014002732A1 JP2014510333A JP2014510333A JPWO2014002732A1 JP WO2014002732 A1 JPWO2014002732 A1 JP WO2014002732A1 JP 2014510333 A JP2014510333 A JP 2014510333A JP 2014510333 A JP2014510333 A JP 2014510333A JP WO2014002732 A1 JPWO2014002732 A1 JP WO2014002732A1
Authority
JP
Japan
Prior art keywords
unit
signal
pixel
output
electrical signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014510333A
Other languages
English (en)
Other versions
JP5620612B2 (ja
Inventor
文行 大河
文行 大河
田中 靖洋
靖洋 田中
泰憲 松井
泰憲 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Application granted granted Critical
Publication of JP5620612B2 publication Critical patent/JP5620612B2/ja
Publication of JPWO2014002732A1 publication Critical patent/JPWO2014002732A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/24Signal processing not specific to the method of recording or reproducing; Circuits therefor for reducing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

撮像装置内における異常箇所を詳細に特定することができる撮像装置および撮像システムを提供すること。各々が受光した光を光電変換して光電変換後の電気信号を生成する複数の画素が設けられた受光部(244f)を有し、受光部(244f)が生成した電気信号を画像情報として読み出し可能なセンサ部(244a)と、各画素が出力する電気信号の出力態様を画素単位で制御して、所定の表示パターンに対応した電気信号を出力させる制御部(244e)と、センサ部(244a)が出力した電気信号の信号処理を行うAFE部(244b)と、AFE部(244b)が処理した信号を外部に送信する送信部(P/S変換部(244c))と、を備えた。

Description

本発明は、例えば、撮像用の複数の画素のうち読み出し対象として任意に指定された画素から光電変換後の電気信号を画像情報として出力可能である撮像装置および撮像システムに関する。
従来から、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば可撓性を有する細長形状をなし、被検体の体腔内に挿入される挿入部と、挿入部の先端に設けられて体内画像を撮像する撮像素子(撮像装置)と、撮像素子が撮像した体内画像を表示可能な表示部とを有する。内視鏡システムを用いて体内画像を取得する際には、被検体の体腔内に挿入部を挿入した後、この挿入部の先端から体腔内の生体組織に白色光等の照明光を照射し、撮像素子が体内画像を撮像する。医師等のユーザは、表示部が表示する体内画像に基づいて被検体の臓器の観察を行う。
図14は、従来の撮像素子 の構成を示す回路図である。なお、以下において、撮像素子が、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを有する場合を説明する。撮像素子は、光学系からの光を光電変換して電気信号を画像情報として出力し、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素P100が2次元マトリックス状に配設された受光部と、受光部の複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を画像情報として読み出す読み出し部(垂直走査回路VC100(行選択回路)および水平走査回路HC100(列選択回路))と、を有する。垂直走査回路VC100および水平走査回路HC100は、各画素P100とそれぞれ接続され、読み出し対象の画素を選択するための回路である。
図15は、従来の受光部の単位画素の構成を示す回路図である。図16は、従来の撮像素子における信号伝送を模式的に示すタイミングチャートである。図15,16に示すように、従来の単位画素は、入射光をその光量に応じた信号電荷量に光電変換して蓄電するフォトダイオードPD100と、フォトダイオードPD100から転送される信号電荷を電圧レベルに変換するコンデンサFD100と、オン期間においてフォトダイオードPD100に対し、蓄電されている信号電荷をコンデンサFD100に転送する転送トランジスタT−TR100と、コンデンサFD100に蓄積された信号電荷を放出してリセットするリセットトランジスタRS−TR100と、この単位画素が含まれる水平ラインが読み出し対象のライン(行)として選択される場合に、オン制御される行選択トランジスタS−TR100と、行選択トランジスタS−TR100がオン状態のときにコンデンサFD100に転送された信号電荷による電圧レベルの変化をソースフォロアで所定の信号線に出力する出力トランジスタSF−TR100と、を備える。なお、各画素P100は、電源Vddと接続している。
上述した構成の画素P100において、リセットパルスφRSPがハイレベルになる(立ち上がる)と、リセットトランジスタRS−TR100がオン制御され、コンデンサFD100がリセットされる。その後、フォトダイオードPD100に対して入射光量に応じた信号電荷が順次蓄電される。ここで、受光部のうち、読み出し対象の単位画素P100において、転送トランジスタT−TR100がオン制御されると(電荷転送パルスφTRが立ち上がると)、フォトダイオードPD100からコンデンサFD100への信号電荷の転送が開始される。また、垂直走査回路VC100(行選択回路)からの行選択パルスφSEにより行選択トランジスタS−TR100がオン状態に制御されることによって、読み出し順に、各ラインの画素情報(フォトダイオードPD100の信号電荷)が画素信号として読み出し部に出力される。また、この画素信号の出力に従って、画素出力電圧Vpoutがリセットレベルから映像レベルに変化する。
このように、各画素P100からの画像信号は、例えば相関二重サンプリング(Correlated Double Sampling)法を用いたノイズの低減等の信号処理が行なわれた後、画像信号が出力電圧Vcoutとして外部に出力される。このとき、信号処理を行なう信号処理部は、最大(max)及び最小(min)の間の電圧レベルで映像信号を出力している(図16参照)。
図17は、従来の受光部における各行の信号伝送を模式的に示すタイミングチャートである。受光部は、垂直走査回路VC100(行選択回路)からの行選択パルスφSEによって、行(m)が選択され、選択された行の画素を列(n)の番号に従って画素信号を順次出力する。例えば、図17(a)に示すように、行としてm=1が選択され、列(n)の番号順に画素信号を各列の画素に出力させる。その後、図17(b)に示すように、選択された行(m=2,・・・,m)について、各列の画素から画素信号を出力させる。
ところで、上述したような撮像素子を有する内視鏡システムにおいて、不具合が生じた場合、故障箇所を特定する必要がある。ここで、表示された画像に異常が生じている場合、上述したような挿入部、撮像装置および表示部のうち、いずれの箇所に故障が生じているかを特定するうえで、各部(挿入部、撮像装置および表示部)の間の故障の判定は、それぞれを別のものに取り替えることで、特定することができる。
また、撮像装置側が異常であることを特定するものとして、撮像装置から、信号の異常等を検出するための信号であるテストパターン信号を発生させて、このテストパターン信号に基づく画像を表示部が表示することにより、故障箇所を特定する技術が開示されている(例えば、特許文献1参照)。また、撮像装置において、デジタル信号データのビット欠けの有無を判別して、撮像装置の異常が、CCD不良によるものか、データのアナログ/デジタル変換等を行うAFE(アナログフロントエンド)の不良によるものであるかを判断する技術が開示されている(例えば、特許文献2参照)。また、テストパターン信号をもとに異常を判定し、異常がある場合、送信されるデータの補正処理を行う技術が開示されている(例えば、特許文献3参照)。
特開2011−206185号公報 特開2009−226169号公報 特開2011−55543号公報
しかしながら、特許文献1〜3が開示する技術では、テストパターン信号およびデータのビット欠けなどのイメージセンサ不良による異常であるのか、AFE不良による異常であるのかを判定できるものの、複数の構成要素を有する撮像装置内の異常箇所をさらに細かく特定できるものではなかった。
本発明は、上記に鑑みてなされたものであって、撮像装置内における異常箇所を詳細に特定することができる撮像装置および撮像システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、各々が受光した光を光電変換して該光電変換後の電気信号を生成する複数の画素が設けられた受光部を有し、該受光部が生成した電気信号を画像情報として読み出し可能なセンサ部と、各画素が出力する電気信号の出力態様を画素単位で制御して、所定の表示パターンに対応した電気信号を出力させる制御部と、前記センサ部が出力した電気信号の信号処理を行う信号処理部と、前記信号処理部が処理した処理信号を外部に送信する送信部と、を備えたことを特徴とする。
また、本発明にかかる撮像装置は、上記の発明において、前記制御部は、前記画素の転送する電荷量を制御することを特徴とする。
また、本発明にかかる撮像装置は、上記の発明において、前記信号処理部は、前記電気信号に含まれるノイズ成分を低減するノイズ低減部と、前記電気信号の増幅率を調整して一定の出力レベルを維持する調整部と、前記調整部を介して出力された前記電気信号をA/D変換するA/D変換部と、を有し、前記制御部は、前記ノイズ低減部、前記調整部、前記A/D変換部および前記送信部のうち1または複数を選択し、該選択した各部に対して前記所定の表示パターンに対応した電気信号を出力させることを特徴とする。
また、本発明にかかる撮像装置は、上記の発明において、前記受光部は、有効画素の周囲に設けられるオプティカルブラック領域を有し、前記オプティカルブラック領域の一部に受光可能な画素を含むことを特徴とする。
また、本発明にかかる撮像システムは、上記の発明にかかる撮像装置と、前記撮像装置と電気的に接続し、前記送信部によって送信された前記処理信号に基づいて画像データを生成する処理装置と、を備えたことを特徴とする。
また、本発明にかかる撮像システムは、上記の発明において、前記撮像装置および前記処理装置と電気的にそれぞれ接続し、前記電気信号を中継する中継処理部をさらに備え、前記処理装置は、前記中継処理部に前記所定の表示パターンに対応した電気信号を出力させることを特徴とする。
本発明によれば、制御部が、各画素が出力する電気信号の出力態様を画素単位で制御して、所定の表示パターンに対応した電気信号(テストパターン信号)を出力させるようにしたので、撮像装置内における異常箇所を詳細に特定することができるという効果を奏する。
図1は、本発明の実施の形態にかかる撮像装置である内視鏡システムの概略構成を示す図である。 図2は、本発明の実施の形態にかかる内視鏡システムの要部の機能構成を示すブロック図である。 図3は、本発明の実施の形態にかかる内視鏡システムの撮像部の構成を示す回路図である。 図4は、本発明の実施の形態にかかる内視鏡システムの撮像部の構成を模式的に示す回路図である。 図5は、本発明の実施の形態にかかる内視鏡システムの受光部の単位画素の構成を示す回路図である。 図6−1は、単位画素の制御によってセンサ部から所定のテストパターンを出力させたときの画像を示す図である。 図6−2は、図6−1における領域を拡大した図である。 図6−3は、図6−1に示す画像に応じたテストパターンを出力させたときの出力態様を示すタイミングチャートである。 図6−4は、従来の撮像画像を出力させたときの出力態様を示すタイミングチャートである。 図7は、本発明の実施の形態にかかる内視鏡システムにおけるテストパターン信号に応じた画像の一例を示す模式図である。 図8は、本発明の実施の形態にかかる内視鏡システムにおけるテストパターン信号に応じた画像の一例を示す模式図である。 図9−1は、本発明の実施の形態にかかるテストパターン信号の使用態様の一例を示す説明図である。 図9−2は、本発明の実施の形態にかかるテストパターン信号の使用態様の一例を示す説明図である。 図9−3は、本発明の実施の形態にかかるテストパターン信号の使用態様の一例を示す説明図である。 図9−4は、本発明の実施の形態にかかるテストパターン信号の使用態様の一例を示す説明図である。 図9−5は、本発明の実施の形態にかかるテストパターン信号の使用態様の一例を示す説明図である。 図10−1は、本発明の実施の形態にかかる信号伝送の使用態様の一例を説明する図である。 図10−2は、本発明の実施の形態にかかる信号伝送の使用態様の一例を説明する図である。 図11は、本発明の実施の形態の変形例1にかかる受光部を示す模式図である。 図12は、本発明の実施の形態の変形例2にかかる受光部を示す模式図である。 図13は、本発明の実施の形態の変形例3にかかる内視鏡システムの要部の機能構成を示すブロック図である。 図14は、従来の撮像素子の構成を示す回路図である。 図15は、従来の受光部の単位画素の構成を示す回路図である。 図16は、従来の撮像素子の単位画素における信号伝送を模式的に示すタイミングチャートである。 図17は、従来の受光部における各行の信号伝送を模式的に示すタイミングチャートである。
以下、本発明を実施するための形態(以下、「実施の形態」という)として、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムを撮像システムの一例として説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。
図1は、本発明の実施の形態にかかる内視鏡システム1の概略構成を示す図である。図2は、内視鏡システム1の要部の機能構成を示すブロック図である。図1に示すように、内視鏡システム1は、被検体の体腔内に先端部を挿入することによって被写体の体内画像を撮像する内視鏡2と、内視鏡2が撮像した体内画像に所定の画像処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する制御装置3(処理装置)と、内視鏡2の先端から出射する照明光を発生する光源装置4と、制御装置3が画像処理を施した体内画像を表示する表示装置5と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、制御装置3および光源装置4と接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、後述する撮像素子を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。
先端部24は、グラスファイバ等を用いて構成されて光源装置4が発生した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像装置としての撮像素子244と、集合ケーブル245と、内視鏡2用の処置具が通る処置具チャンネル(図示せず)と、を有する。光学系243は、1または複数のレンズからなる。
図2を参照して、撮像素子244の構成を説明する。図2に示すように、撮像素子244は、光学系243からの光を光電変換して電気信号を画像情報として出力するセンサ部244a(撮像部)と、センサ部244aが出力した電気信号に対してノイズ除去やA/D変換を行う信号処理部としてのアナログフロントエンド244b(以下、「AFE部244b」という)と、AFE部244bが出力したデジタル信号(処理信号)をパラレル/シリアル変換して外部に送信するP/S変換部244c(送信部)と、センサ部244aの駆動タイミング、AFE部244bおよびP/S変換部244cにおける各種信号処理のパルスを発生するタイミングジェネレータ244dと、撮像素子244の動作を制御する制御部244eと、各種設定情報を記憶する記憶部244kと、を有する。撮像素子244は、CMOSイメージセンサである。タイミングジェネレータ244dは、制御装置3から送信される各種駆動信号を受信する。また、制御部244eは、読み出しモード(画素加算、切り出し、間引きなど)の設定やテストパターン出力の設定などを行なうための信号を制御装置3から受信する。なお、制御装置3から送信される各種駆動信号を受信する受信部を別個設けてもよい。
センサ部244aは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を出力する複数の画素が2次元マトリックス状に配設された受光部244fと、受光部244fの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を画像情報として読み出す読み出し部244gと、を有する。
AFE部244bは、電気信号に含まれるノイズ成分を低減するノイズ低減部244hと、電気信号の増幅率を調整して一定の出力レベルを維持する調整部としてのAGC(Auto Gain Control)部244iと、AGC部244iを介して出力された電気信号をA/D変換するA/D変換部244jと、を有する。ノイズ低減部244hは、たとえば相関二重サンプリング法を用いてノイズの低減を行う。
制御部244eは、制御装置3から受信した設定データにしたがって、先端部24の各種動作を制御する。制御部244eは、CPU(Central Processing Unit)等を用いて構成される。また、制御部244eは、例えば後述する読出アドレス設定部305が設定した読み出し対象の画素のアドレス情報をもとに、受光部244fの各画素が出力する電気信号の出力態様を画素単位で制御して、所定の表示パターン(テストパターン)に対応した電気信号を読み出し部244gに出力させる制御を行う。
記憶部244kは、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現され、制御装置3の識別情報および面順次式または同時式の観察方式を示す観察情報、撮像素子244の撮像速度(フレームレート)、およびセンサ部244aの任意の画素からの画素情報の読み出し速度やシャッタ制御設定等の設定情報、ならびにAFE部244bが読み出した画素情報の伝送制御情報、異常箇所の特定を行うためのテストパターン信号(所定の表示パターンに応じた電気信号)のパターン情報等を記憶する。なお、テストパターン信号には、擬似的な映像信号に応じた電気信号を含む。
操作部22と先端部24との間には、制御装置3との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブル245が接続し、操作部22とコネクタ部27との間には集合ケーブル224が接続している。複数の信号線には、撮像素子244が出力した画像信号を制御装置3へ伝送する信号線および制御装置3が出力する制御信号を撮像素子244へ伝送する信号線等が含まれる。また、電気信号の送受信には、2本の信号線(差動信号線)を用いて一つの信号を伝送する方式(差動伝送)が用いられる。差動信号線間の電圧をそれぞれ正(+)および負(−、位相反転)とすることによって、各線にノイズが混入してもキャンセルできるため、シングルエンド信号に比べてノイズに強く、放射ノイズを抑えたデータの高速伝送が可能となる。なお、上述した差動伝送は、ユニバーサルコード23や可撓管部26の長さが長い場合に用いられることが好ましく、この長さが短い場合は、シングルエンド信号を用いるシングルエンド信号伝送であっても適用可能である。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処理具を挿入する処置具挿入部222と、制御装置3、光源装置4に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネルを経由して開口部から表出する(図示せず)。
ユニバーサルコード23は、ライトガイド241と、集合ケーブル224と、を少なくとも内蔵している。
また、内視鏡2は、ユニバーサルコード23の操作部22に連なる側と異なる側の端部に設けられ、制御装置3および光源装置4にそれぞれ着脱自在なコネクタ部27を備えている。コネクタ部27では、制御装置3および光源装置4にそれぞれ着脱自在なコネクタ部分が、コイル状のコイルケーブルによって電気的に接続されている。コネクタ部27は、内部に内視鏡2の制御を行う制御部271と、FPGA(Field Programmable Gate Array)272と、内視鏡2の各構成部の動作の基準となる基準クロック信号(例えば、68MHzのクロック)を生成する基準クロック生成部273と、FPGA272のコンフィグレーションデータを記録する第1EEPROM274と、撮像情報を含む内視鏡固有データを格納する第2EEPROM275と、を有する。なお、コネクタ部27は、先端部24(撮像素子244)および制御装置3と電気的にそれぞれ接続し、電気信号を中継する中継処理部として機能する。また、電気的に接続可能であれば、コネクタ部27における制御装置3および光源装置4にそれぞれ着脱自在なコネクタ部分間の接続はコイルケーブルに限らない。
つぎに、制御装置3の構成について説明する。制御装置3は、S/P変換部301と、画像処理部302と、明るさ検出部303と、調光部304と、読出アドレス設定部305と、駆動信号生成部306と、入力部307と、記憶部308と、制御部309と、基準クロック生成部310と、を備える。なお、本実施の形態では、制御装置3として面順次の構成を例に説明するが、同時式であっても適用することができる。
S/P変換部301は、先端部24から操作部22およびコネクタ部27を介して受信した画像信号(電気信号)をシリアル/パラレル変換する。
画像処理部302は、S/P変換部301から出力されたパラレル形態の画像信号をもとに、表示装置5が表示する体内画像を生成する。画像処理部302は、同時化部302aと、ホワイトバランス(WB)調整部302bと、ゲイン調整部302cと、γ補正部302dと、D/A変換部302eと、フォーマット変更部302fと、サンプル用メモリ302gと、静止画像用メモリ302hと、を有する。
同時化部302aは、画素情報として入力された画像信号を、画素ごとに設けられた3つのメモリ(図示せず)に入力し、読み出し部244gが読み出した受光部244fの画素のアドレスに対応させて、各メモリの値を順次更新しながら保持するとともに、これら3つのメモリの画像信号をRGB画像信号として同時化する。同時化部302aは、同時化したRGB画像信号をホワイトバランス調整部302bへ順次出力するとともに、一部のRGB画像信号を、明るさ検出などの画像解析用としてサンプル用メモリ302gへ出力する。
ホワイトバランス調整部302bは、RGB画像信号のホワイトバランスを自動的に調整する。具体的には、ホワイトバランス調整部302bは、RGB画像信号に含まれる色温度に基づいて、RGB画像信号のホワイトバランスを自動的に調整する。また、センサ部244aが多線読み出しの場合は、多線間のゲインのバラつきを調整する。
ゲイン調整部302cは、RGB画像信号のゲイン調整を行う。ゲイン調整部302cは、ゲイン調整を行ったRGB信号をγ補正部302dへ出力するとともに、一部のRGB信号を、静止画像表示用、拡大画像表示用または強調画像表示用として静止画像用メモリ302hへ出力する。
γ補正部302dは、表示装置5に対応させてRGB画像信号の階調補正(γ補正)を行う。
D/A変換部302eは、γ補正部302dが出力した階調補正後のRGB画像信号をアナログ信号に変換する。
フォーマット変更部302fは、アナログ信号に変換された画像信号をハイビジョン方式等の動画用のファイルフォーマットに変更して表示装置5に出力する。
明るさ検出部303は、サンプル用メモリ302gが保持するRGB画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを内部に設けられたメモリに記録するとともに制御部309へ出力する。また、明るさ検出部303は、検出した明るさレベルをもとにホワイトバランス調整値、ゲイン調整値および光照射量を算出し、ホワイトバランス調整値をホワイトバランス調整部302bへ、ゲイン調整値をゲイン調整部302cへ出力する一方、光照射量を調光部304へ出力する。
調光部304は、制御部309の制御のもと、明るさ検出部303が算出した光照射量をもとに光源装置4が発生する光の種別、光量、発光タイミング等を設定し、この設定した条件を含む光源同期信号を光源装置4へ送信する。
読出アドレス設定部305は、センサ部244aの受光面における読み出し対象の画素および読み出し順序を、内視鏡2内の制御部271と通信することにより設定する機能を有する。制御部271は、第1EEPROM274に格納されているセンサ部224aの種類情報を読み出し、制御装置3へ送信する。すなわち、読出アドレス設定部305は、AFE部244bが読み出すセンサ部244aの画素のアドレスを設定する機能を有する。また、読出アドレス設定部305は、設定した読み出し対象の画素のアドレス情報を同時化部302aへ出力する。
駆動信号生成部306は、内視鏡2を駆動するための駆動用のタイミング信号(水平同期信号(HD)および垂直同期信号(VD))を生成し、FPGA272、集合ケーブル224,245に含まれる所定の信号線を介してタイミングジェネレータ244d(撮像素子244)へ送信する。このタイミング信号は、読み出し対象の画素のアドレス情報を含み、設定データに重畳させて制御部244e(タイミングジェネレータ244d)に伝送してもよい。
入力部307は、制御装置3のフロントパネルやキーボードにより設定されるフリーズ、レリーズ、各種画像調整(強調、電子拡大、色調など)等、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。
記憶部308は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。記憶部308は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータや、異常箇所の特定を行うためのテストパターン信号(所定の表示パターンに応じた電気信号)のパターン情報等を含むデータを記憶する。また、記憶部308は、制御装置3の識別情報および観察情報を記憶する。ここで、識別情報には、制御装置3の固有情報(ID)、年式、制御部309のスペック情報および伝送レート情報が含まれる。
制御部309は、CPU等を用いて構成され、内視鏡2および光源装置4を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部309は、撮像制御のための設定データや、異常判定の際のテストパターン信号の設定情報等を、コネクタ部27のFPGA272を介し、さらに撮像素子244に必要な信号およびデータを集合ケーブル224,245に含まれる所定の信号線を介して制御部244eへ送信する。なお、テストパターンの設定情報には、撮像素子244のうち、複数のテストパターンがある場合はいずれのテストパターン信号を用いるか、またいずれの部位でそのテストパターン信号を出力させるかなどの情報が含まれる。
基準クロック生成部310は、内視鏡システム1の各構成部の動作の基準となる基準クロック信号を生成し、内視鏡システム1の各構成部に対して生成した基準クロック信号を供給する。なお、先端部24におけるクロックは、基準クロック生成部310および基準クロック生成部273が生成するクロックのいずれを用いるものであってもよい。
つぎに、光源装置4の構成について説明する。光源装置4は、光源41と、光源ドライバ42と、回転フィルタ43と、駆動部44と、駆動ドライバ45と、光源制御部46と、を備える。
光源41は、白色LED(Light Emitting Diode)またはキセノンランプ等を用いて構成され、光源制御部46の制御のもと、白色光を発生する。光源ドライバ42は、光源41に対して光源制御部46の制御のもとで電流を供給することにより、光源41に白色光を発生させる。光源41が発した白色光は、回転フィルタ43および集光レンズ(図示せず)およびライトガイド241を経由して先端部24の先端から照射される。
回転フィルタ43は、光源41が発した白色光の光路上に配置され、回転することにより、光源41が発する白色光を所定の波長帯域を有する光のみを透過させる。具体的には、回転フィルタ43は、赤色光(R)、緑色光(G)および青色光(B)のそれぞれの波長帯域を有する光を透過させる赤色フィルタ431、緑色フィルタ432および青色フィルタ433を有する。回転フィルタ43は、回転することにより、赤、緑および青の波長帯域(例えば、赤:600nm〜700nm、緑:500nm〜600nm、青:400nm〜500nm)を有する光を順次透過させる。これにより、光源41が発する白色光は、狭帯域化した赤色光、緑色光および青色光のいずれかの光を内視鏡2に順次出射することができる。
駆動部44は、ステッピングモータやDCモータ等を用いて構成され、回転フィルタ43を回転動作させる。駆動ドライバ45は、光源制御部46の制御のもと、駆動部44に所定の電流を供給する。
光源制御部46は、調光部304から送信された光源同期信号にしたがって光源41に供給する電流量を制御する。また、光源制御部46は、制御部309の制御のもと、駆動ドライバ45を介して駆動部44を駆動することにより、回転フィルタ43を回転させる。
表示装置5は、映像ケーブルを介して制御装置3が生成した体内画像(動画用の画像や静止画用の画像)を制御装置3から受信して表示する機能を有する。表示装置5は、液晶または有機EL(Electro Luminescence)等を用いて構成される。
以上の構成を有する内視鏡システム1において、内視鏡2から出力された電気信号(画像情報)において、この電気信号に基づく表示画像に異常がある場合、その異常箇所を特定する。この特定する手段として、例えば、制御部244eは、制御部309からのテストパターン信号の設定情報に基づいて、記憶部244kを参照して対象のテストパターン信号を出力し、タイミングジェネレータ244dを介して各部位(センサ部244a、P/S変換部244c、ノイズ低減部244h、AGC部244iおよびA/D変換部244j)のいずれかにテストパターン信号を出力させる方法が挙げられる。このとき、各部位が出力するテストパターン信号は、内視鏡2の画像の伝送と同じ信号線を介して操作部22側へ送信される。このとき、テストパターン信号出力対象部位が複数である場合は、それぞれの部位が個別にテストパターン信号を出力する。
ここで、センサ部244aの画素信号(画像信号)の入出力態様について説明する。図3は、本実施の形態にかかる内視鏡システム1のセンサ部244aの構成を示す回路図である。センサ部244aは、上述したように、光学系からの光を光電変換して電気信号を画像情報として出力し、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素Pが2次元マトリックス状に配設された受光部244fと、受光部の複数の画素Pのうち読み出し対象として任意に設定された画素Pが生成した電気信号を画像情報として読み出す読み出し部244g(垂直走査回路VC(行選択回路)および水平走査回路HC(列選択回路))と、を有する。垂直走査回路VCおよび水平走査回路HCは、各画素Pとそれぞれ接続され、画素を選択するための回路である。また、水平走査回路HCは、各画素Pからの電気信号を外部に出力する。
図4は、本実施の形態にかかる内視鏡システム1のセンサ部244aの構成を模式的に示す回路図である。図5は、本実施の形態にかかる内視鏡システム1の受光部244fの単位画素の構成を示す回路図である。画素Pは、入射光をその光量に応じた信号電荷量に光電変換して蓄電するフォトダイオードPDと、フォトダイオードPDから転送される信号電荷を電圧レベルに変換するコンデンサFDと、オン期間においてフォトダイオードPDに対し、蓄電されている信号電荷をコンデンサFDに転送する転送トランジスタT−TRと、画素Pの列(N;N=1,2,3,・・・,n−1,n)を選択してコンデンサFDに蓄積された信号電荷を放出してリセットする列制御リセットトランジスタR−TRと、この単位画素が含まれる水平ラインが読み出し対象のライン(行、M;M=1,2,3,・・・,m−1,m)として選択される場合に、オン制御される行選択トランジスタS−TRと、行選択トランジスタS−TRおよびフォトダイオードPDに蓄電されている信号電荷をコンデンサFDに転送する転送トランジスタT−TRがオン状態のときにコンデンサFDに転送された信号電荷による電圧レベルを所定の信号線に出力する出力トランジスタSF−TRと、を備える。なお、各画素Pは、電源Vddと接続している。
上述した構成の画素Pにおけるセンサ部244aの動作について、図6−1〜6−4を参照して説明する。図6−1は、単位画素の制御によってセンサ部244aから所定のテストパターンを出力させたときの画像を示す図である。また、図6−2は、図6−1における領域E1を拡大した図である。図6−1に示す画像に応じたテストパターンは、1画素単位で隣接した画素ごとに信号レベルとリセットレベルとを交互に出力するパターンである。なお、図6−2において各画素に付された符号は、例えば画素P1−1の場合、ハイフン前の数字が行(1;1行目)を示し、ハイフン後の数字が列(1;1列目)を示している。図6−2では、3行2列までの画素(P1−1,P1−2,P2−1,P2−2,P3−1,P3−2)を示している。
受光部244fは、垂直走査回路VC(行選択回路)からの行選択パルスφSEによって、行(M)が選択され、選択された行の画素を列(N)の番号に従って画素信号を画素出力電圧Vpoutとして順次出力する。例えば、行としてM=1が選択され、列(N)の番号順に画素出力電圧Vpoutを各画素に出力させる。その後、選択された行(M)について、各画素から画素信号を出力させる。このように、各画素Pからの画像信号は、例えば相関二重サンプリング法を用いてノイズの低減が行なわれた後、画像信号としてセンサ部244aから外部に出力される。このとき、列選択トランジスタR−TRのオンオフ制御により、画素Pから出力される画素信号に、画素情報(フォトダイオードPDの信号電荷)を含むか否かが制御される。
図6−3は、図6−1に示す画像に応じたテストパターンを出力させたときの出力態様を示すタイミングチャートである。また、図6−4は、従来の撮像画像を出力させたときの出力態様を示すタイミングチャートである。図4,5,6−3に示すように、行選択パルスφSEは、行選択トランジスタS−TRに入力され、対象の行が選択されている間は、ハイレベルに固定される。また、リセットパルスφRSSは、列制御リセットトランジスタR−TRに入力され、この入力によって対象の画素Pから信号レベルを読み出すか、リセットレベルを読み出すかが制御される。
まず、画素が信号レベルを読み出す場合の動作について図6−3を参照して説明する。なお、各パルスφに付された数字は、それぞれの行または列を示している。また、以降の動作は、制御部244eの制御のもとで行われる。行選択パルスφSEをハイレベルに切り替えた後、リセットパルスφRSSをハイレベルに切り替えて、コンデンサFDおよび画素出力電圧Vpoutをリセットレベルに切り替える。このとき、電荷転送パルスφTRは、ローレベルに制御されている。
ここで、画素出力電圧Vpoutは、CDS回路(相関二重サンプリング回路)C1に接続され(図4参照)、時間t1におけるサンプルホールドパルスφSHPの立ち上がりによってサンプリングされる。
サンプルホールドパルスφSHPによるリセットレベルのサンプリングが終了した後、リセットパルスφRSSをローレベルに切り替える。リセットパルスφRSSがローレベルに安定した後(時間t2)、電荷転送パルスφTRをハイレベルに切り替えて、フォトダイオードPDに蓄積された信号電荷をコンデンサFDにおいて電圧変換するとともに、出力トランジスタSF−TRで画素信号を画素出力電圧Vpoutとして出力する。
画素出力電圧Vpoutに画素信号が出力された後(時間t3)、サンプルホールドパルスφSHDによって画素信号レベルのサンプリングを行ない、出力パルスφTSの入力により、CDS回路C1によってリセットノイズが除去された画像信号が出力電圧Vcoutとしてセンサ部244aの外部に出力される。なお、CDS回路C1は、列制御リセットトランジスタR−TRを介して水平読み出し線に接続されている。また、期間A1において出力される出力電圧Vcoutにより1フレームを構成する。
つぎに、画素がリセットレベルを読み出す場合の動作について図6−3を参照して説明する。行選択パルスφSEをハイレベルに切り替えた後、リセットパルスφRSSをハイレベルに切り替えて、コンデンサFDおよび画素出力電圧Vpoutをリセットレベルに切り替える。このとき、電荷転送パルスφTRは、ローレベルに制御されている。
ここで、画素出力電圧Vpoutは、時間t1におけるサンプルホールドパルスφSHPの立ち上がりによってサンプリングされる。サンプルホールドパルスφSHPによるリセットレベルのサンプリングが終了した後、リセットパルスφRSSがハイレベルを維持するように制御する。この状態において電荷転送パルスφTRをハイレベルに切り替えて、フォトダイオードPDに蓄積された信号電荷を取り出す。この場合、コンデンサFDがリセットパルスφRSSによってリセットレベルに固定されているため、画素出力電圧Vpoutにはリセットレベルが出力される。その後、サンプルホールドパルスφSHDによって画素出力電圧Vpoutのサンプリングを行なう(時間t3)。
各列においてCDS回路C1から読み出された画素信号およびリセットレベルは、列制御リセットトランジスタR−TRのオンオフを各列順次切り替えることによって1行分の画素出力電圧Vpoutとして得られる。m列までの読み出しが完了すると、行選択パルスφSEをローレベルに切り替え、その行の読み出しを終了する。このように、行選択パルスφSEを、行選択パルスφSE1〜φSEmまで順次オンオフを切り替えることで、1フレームの読み出しを行うことができる。
また、図6−1に示すようなテストパターンを出力させる場合は、リセットパルスφRSSの動作において、画素信号レベルを読み出す動作と、リセットレベルを読み出す動作とを行、列ごとに交互に実施する。図6−1の場合、1行目の奇数列がリセットレベルを読み出す動作、1行目の偶数列が画素信号レベルを読み出す動作を行なうようにし、2行目の奇数列が画素信号レベルを読み出す動作、2行目の偶数列がリセットレベルを読み出す動作を行なうようにリセットパルスφRSSを制御する。
なお、上記の構成とすることで、通常の動作を行わせる場合とテストパターン読み出しを行わせる場合とを、リセットパルスφRSSの動作制御のみで行うことが可能である。
一方、従来の撮像画像を出力させたときの出力態様では、図6−4にも示すように、列ごとの制御ができないため、行のみを選択制御して、出力動作を行うこととなる。
上述したように列制御リセットトランジスタR−TRを列ごとに制御可能な形態とし、各画素Pの列制御リセットトランジスタR−TRの列制御を行うことによって、行(M)および列(N)に配列されている各画素Pの信号の出力態様(画素が転送する電荷量)を画素単位で制御することができる。これにより、従来では、読み出し対象を水平ラインのみ選択していたのに対し、本実施の形態では、選択された水平ラインにおける列も選択できるため、画素Pの出力態様の自由度を向上させることが可能となる。また、本実施の形態によれば、通常の読み出し制御(全画素で画素情報を含む信号の出力)、テストパターンの切り替え制御、およびテストパターンの模様(表示態様)の制御をリセットパルスφRSSの動作制御のみで行うことが可能である。
図7,8は、本実施の形態にかかる内視鏡システム1におけるテストパターン信号に応じた画像の一例をそれぞれ示す模式図である。上述した画素単位の制御により、テストパターン信号において、表示される画像を設定することができる。例えば、上述した図6−1に示すように、画素情報の含有のオンオフを交互に設定することで、格子状の模様を形成するものであってもよい。このとき、図6−1中の網掛けが画素情報を非含有の画素信号に対応している。また、ここで、1画素単位で画素情報の含有および非含有を設定することで、表示される画像において、1画素に応じた領域Epで格子状の模様を形成させることができる。
また、図7のように、列方向において交互に画素情報の含有および非含有を設定するものであってもよいし、図8のように、行方向において交互に画素情報の含有および非含有を設定するものであってもよい。このとき、画素情報の含有および非含有の設定は、1画素に応じた領域Epであってもよいし、数画素単位で設定するものであってもよい。また、このほか、段階的に色調が変化するように設定されていてもよいし、各画素の色が異なるように設定されていてもよい。
このように、行(M)および列(N)に配列されている各画素Pの信号の出力態様を制御することで、センサ部244aの異常特定を行う際に、テストパターン信号によって、センサ部244aとしての異常を特定することができるとともに、画素単位での異常判定を行うことが可能となる。また、センサ部244aの調整用にテストパターンを用いてもよい。
(A/D変換部のサンプリングパルスの位相調整)
上述したテストパターン信号の出力においては、隣接する画素間で明暗のレベルが異なるテストパターンを用いることによって、例えば、A/D変換部244jのパルスの位相調整に用いることも可能である。図9−1〜9−5は、本実施の形態にかかるテストパターン信号の使用態様の一例を示す説明図であって、画素パターンと、アナログ映像信号波形および/またはサンプリングタイミングを決定するパルス(以下、サンプリングパルスという)とを示す図である。なお、図9−1〜9−5では、内視鏡2からアナログ映像信号を出力する形態において、A/D変換部244jでA/D変換を行う際のサンプリングパルスの最適な位相を調整する際に、先端部24からテストパターンを出力するものとして説明するが、先端部24、操作部22、コネクタ部27および制御装置3において、A/D変換する箇所であれば適用可能である。
A/D変換部244jのサンプリングパルスの位相調整は、1画素おきに明暗のレベルを強調したテストパターンを出力することによって、1画素映像信号中の最適なサンプリングパルス位置(位相)を調整するものである。例えば、最適なサンプリングパルス位置は、図9−1に示すように、隣接する画素P10,P11,P20,P21で明暗のレベルの異なる配列において、ローパスフィルタを使用して最大映像信号周波数以上の周波数成分をカットすることで、アナログ映像信号波形における凸の頂点の位置となる。
具体的には、1画素のアナログ映像信号中で最も信号レベルの高いところ(凸の頂点)にサンプリングパルスの位相を合わせるように調整を行う(図9−2)。この調整の方法としては、1画素の映像信号転送期間R内でサンプリングパルスの位相を短いステップで順次変化させ(図中点線矢印または一点鎖線矢印)、各ステップでA/D変換された映像信号のレベルを把握する。FPGA272において映像信号のレベルを検出し、制御装置3へ送信する。送信完了後、制御装置3から位相変更の指示がFPGA272に送信される。これらの動作を1画素の範囲内で繰り返す。なお、位相変化のステップの変更指示は、制御装置3から内視鏡2のFPGA272への通信によって実行される。
映像信号のレベルの検出結果から、最も映像信号のレベルの高いステップのところを最適なサンプリングパルス位置(位相)とし、調整値として第2EEPROM275または記憶部308に記憶し、システム起動時にサンプリングパルスの位相位置を読み出し、設定する。ただし、このサンプリングパルスの調整は、映像信号とは非同期で動作する。
ここで、1画素の映像信号転送期間R内において、サンプリングパルスを1画素の映像信号転送期間Rに比べて十分に短い位相ステップでスイープさせ、各ステップで映像信号レベルを取得する場合、取得された映像信号レベルから最適な位相を検出するには、1画素の映像信号転送期間R内すべてをスキャンするためのステップ数分、時間を要する。つまり、サンプリングの精度向上のためにスキャンステップを細かくしてステップ数を増やす場合や、1画素の映像信号転送期間Rが広いシステムの場合では、長時間を要することになる。
そこで、上述した調整方法では、以下のように適宜変更することも可能である。調整方法としては、A/D変換部244jへの映像信号入力タイミングごとにグルーピングを行ない、そのグルーピングごとにサンプリングパルスのスキャン範囲を、映像信号転送期間Rに比べて短い映像信号転送期間R10に限定することで、調整時間を短縮する方法が挙げられる(図9−3)。グルーピングは、例えば内視鏡2の機種ごとに実施する。なお、ケーブル長、イメージセンサ(撮像素子244)の種類等で、映像信号の遅延量が変化するため、内視鏡2の機種ごとにグルーピングされることが好ましい。また、グルーピングごとのスキャン範囲は、調整パラメータとして内視鏡2内の第2EEPROM275または記憶部308に記憶し、調整実行時にサンプリングパルスのスキャン範囲を読み出し、調整動作を制御して制御装置3のソフトウェアへ設定する。
上述した方法により、グルーピングごとにサンプリングパルスの位相調整におけるスキャン範囲を1画素の映像信号転送期間R10内で最小限に抑えることができ、その結果、調整時間を大幅に短縮することができる。
また、内視鏡2では、人体の使用される部位により挿入部21の長さが異なるため、信号のケーブル伝送距離も異なってくる。例えばA/D変換部がコネクタ部27に搭載される内視鏡においては、上述した理由によって、A/D変換部への映像信号入力タイミングも異なるが、挿入部の最も長いものと、最も短いものとを同じ調整方法で実施しようとすると、映像信号転送期間Rがずれ、得られるサンプリングパルス位置が最適位置とは異なる位置となる場合が生じる(図9−4)。
このような最適位置とは異なるサンプリングパルス位置が取得されることを回避するため、ケーブル伝送距離に応じてスキャン範囲内に最適位置が存在しない種類の内視鏡2では、サンプリングパルスのスキャン範囲を、図9−4に示す映像信号転送期間Rから1画素分前に映像信号転送期間R11を設定して調整を行う(図9−5)。スキャン範囲を1画素分前に設定するか否かのデータは、調整パラメータとして内視鏡2内の第2EEPROM275または記憶部308に記憶し、調整実行時にサンプリングパルスのスキャン範囲を読み出し、調整動作を制御して制御装置3のソフトウェアへ設定する。
なお、上述した方法は、A/D変換部244jのサンプリングパルス位相調整に限ったものではない。例えば、AFE部244b内のノイズ低減部244h、AGC部244iのサンプリングパルスの最適な位相検出に適用することもできる。
(デジタル映像データの補正データフォーマット)
図10−1,10−2は、本発明の実施の形態にかかる信号伝送の使用態様の一例を説明する図であって、各信号(データ)のタイミングチャートを示す図である。本実施の形態における信号伝送において、アナログ映像信号をA/D変換する回路(A/D変換部244j)と、画像処理を行う回路(画像処理部302)との距離が離れている構成の場合、伝送ライン削減のため映像信号をシリアライズして伝送してもよい。また、A/D変換部244jから出力されるデジタル映像信号がパラレル出力の場合、一度FPGA272などでシリアライズしてもよいし、伝送距離が長い場合には、振幅を抑えて伝送することができるLVDS(Low voltage differential signaling)方式で伝送してもよい。
ここで、上述した映像信号の伝送において、撮像素子244における画像の位置や信号に対して、受信側となる画像処理部302で画像の位置ずれや信号の遅延による位相ずれが生じるおそれがある。このずれを補正する方法として、シリアライズされた映像データ内に画像の位置情報や位相調整用情報となる補正用固定データDを重畳するものがある。この補正用固定データを検出して画像の位置および位相のずれを検知して補正する。
しかしながら、補正用固定データを検出する際、映像データが補正用固定データと同じデータパターンとなっている場合(例えば映像データD)、画像処理部302内の補正回路が、映像データDを補正用固定データDと誤認識し、誤った補正を行ってしまう可能性がある(図10−1)。なお、図10−1では、シリアライズされたシリアル映像データに対して、信号が遅れている場合および信号が進んでいる場合の各シリアル映像データをそれぞれ示している。
この誤認識による補正を回避する方法として、まず補正用固定データDが伝送されるタイミングの近辺(補正用固定データ監視期間R20)だけを受信側の補正回路(例えば画像処理部302や制御部309)で監視する(図10−2参照)。それ以外のタイミングでは、補正回路で補正用固定データDを検出しないようにマスク制御する。さらに、補正用固定データDの周辺には、補正回路が誤検出することがないように補正用固定データDのデータパターンとは異なる誤検出防止用固定データDを重畳する。これにより、補正回路が映像データを補正用固定データDとして誤検知することなく、画像位置および位相ずれを確実に検知して補正することができる。なお、誤検出防止用固定データDのデータパターンは、16進表記で「A55A」等のデータパターンでもよいし、単純なクロック信号でもよい。
上述した誤認識による補正を回避する方法は、シリアル映像データを出力するA/D変換部244jと、画像処理部302との間に限るものではなく、例えば2回路間の制御信号通信において、伝送距離の遅延補正および外乱ノイズなどに対する耐性向上の方法として用いられるものであってもよい。
以上説明した本実施の形態によれば、制御部244eが、各画素Pが出力する電気信号の出力態様を画素単位で制御して、所定の表示パターンに対応した電気信号(テストパターン信号)を出力させるようにしたので、内視鏡2内における異常箇所、特にセンサ部244aの異常箇所を詳細に特定することができる。また、制御部244eは、タイミングジェネレータ244dを介して各部位(センサ部244a、P/S変換部244c、ノイズ低減部244h、AGC部244iおよびA/D変換部244j)のいずれかにテストパターン信号を出力させるようにしたので、得られた信号をもとに光学的、電気的な評価を行って、撮像素子244における異常箇所を詳細に特定することができる。
このとき、得られた信号に基づく光学的、電気的な評価は、表示装置に表示された画像等により観察者が行うものであってもよいし、制御装置3側において、内視鏡2側から得られたテストパターン信号と、記憶部308に記憶されているテストパターン信号とを比較して自動で評価を行うようにしてもよい。
また、本実施の形態によれば、各部位からテストパターン信号をパラレルに出力し、画面上に分割して同時に出力することも可能であるため、同時に複数の部位の異常部位特定を行なうことが可能となる。
また、上述した実施の形態において、P/S変換部244cまたは操作部22のバッファの出力をオンオフ制御して、電気信号の出力を制御してもよい。これにより、操作部22および先端部24からそれぞれ出力される電気信号を切り分けることができる。特に、操作部22および先端部24のEMC(Electro-Magnetic Compatibility;電磁両立性)を検討する際に用いることができる。
なお、上述した本実施の形態において、光源装置4が、回転フィルタ43を有する面順次式であるものとして説明したが、撮像素子244側でカラーフィルターを有するものであれば、回転フィルタ43を有さない同時式であるものであってもよい。
図11は、本実施の形態の変形例1にかかる受光部を示す模式図である。変形例1において、受光部の画素配列領域P1には、実際の撮像する際に用いられる画素が配設される有効画素領域PEPと、有効画素領域PEPの周囲に設けられ、ノイズ補正用の画素であって、遮光された画素の領域であるオプティカルブラック領域PEB1とが設けられている。
変形例1では、このオプティカルブラック領域PEB1に、受光可能な(遮光されていない)画素である検査用の3つの検査画素P1,P2,P3が設けられる。3つの検査画素P1,P2,P3は、所定間隔で設けられ、例えばこの所定間隔が1画素に応じた間隔で設けられる。センサ部244aは、通常の読み出し方式でオプティカルブラック領域PEB1の読み出しを行う。
3つの検査画素P1,P2,P3が所定間隔で設けられることによって、クロストークレベルを確認することができる。また、画素間隔が明らかになっているので、光学系によらず、光学的な解像度の確認を行うことができる。また、3つの検査画素のうち、いずれかを有効画素領域の中心位置(矩形の有効画素領域において、一方の辺の中央部)に配置することによって、有効画素領域PEPの中心位置を検出することができる。これにより、一段と詳細な異常個所の特定を行うことが可能となる。
図12は、本実施の形態の変形例2にかかる受光部を示す模式図である。変形例2において、受光部の画素配列領域P2には、上述した有効画素領域PEPと、有効画素領域PEPの周囲に設けられ、ノイズ補正用の画素であって、遮光された画素の領域であるオプティカルブラック領域PEB2とが設けられている。
変形例2では、このオプティカルブラック領域PEB2に、受光可能な(遮光されていない)画素領域である検査用の2つの検査画素領域P1,P2が設けられる。2つの検査画素領域P1,P2は、それぞれ直交する方向に略矩形をなして延びている。
略矩形をなして延びる検査画素領域P1,P2から得られる画像情報を用いることによって、光学的ディストーション(歪み)を確認することができる。また、2つの検査画素領域P1,P2を直交して配置することによって、有効画素領域PEPにおいて直交する2方向の歪みを検出することができる。これにより、一段と詳細な異常個所の特定を行うことが可能となる。
上述した変形例1,2にかかる検査画素P1,P2,P3および検査画素領域P1,P2は、任意に組合せることができる。また、それぞれの配設位置においても、任意に調整可能である。
図13は、本実施の形態の変形例3にかかる内視鏡システムの要部の機能構成を示すブロック図である。上述した実施の形態では、先端部24内部においてテストパターン信号を出力させるものとして説明したが、変形例3のように、操作部からテストパターン信号を出力させるものであってもよい。変形例3にかかる操作部22aは、上述した操作入力部(スイッチ)223と、FPGA225と、FPGA225のコンフィグレーションデータを記録するEEPROM226と、を有する。また、コネクタ部27には、FPGA272のコンフィグレーションデータおよび撮像情報を含む内視鏡固有データを格納するEEPROM276が設けられる。FPGA225は、制御部309の制御のもと、テストパターン信号を出力する。制御装置3は、FPGA225から出力されたテストパターン信号に基づく画像を、表示装置5に表示させる。なお、操作部22aは、先端部24(撮像素子244)および制御装置3と電気的にそれぞれ接続し、電気信号を中継する中継処理部として機能する。また、コネクタ部27のFPGA272からテストパターン信号を出力するものであってもよい。また、FPGA272を、FPGA225にまとめてもよい。
上述した変形例3によれば、上述した実施の形態に加え、操作部における異常の特定を行なうことができる。これにより、一段と詳細な異常個所の特定を行うことが可能となる。なお、操作部のほか、テストパターン信号を出力可能な構成(例えば、コネクタ部27)であれば、その構成部位からテストパターン信号を出力させて、異常の特定を行うことも可能である。
以上のように、本発明にかかる撮像装置および撮像システムは、撮像装置内における異常箇所を詳細に特定することに有用である。
1,1a 内視鏡システム
2 内視鏡
3 制御装置
4 光源装置
5 表示装置
21 挿入部
22,22a 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
27 コネクタ部
41 光源
42 光源ドライバ
43 回転フィルタ
44 駆動部
45 駆動ドライバ
46 光源制御部
221 湾曲ノブ
222 処置具挿入部
223 スイッチ
224,245 集合ケーブル
225,272 FPGA
226,276 EEPROM
241 ライトガイド
242 照明レンズ
243 光学系
244 撮像素子
244a センサ部
244b アナログフロントエンド
244c P/S変換部
244d タイミングジェネレータ
244e,271,309 制御部
244f 受光部
244g 読み出し部
244h ノイズ低減部
244i AGC部
244j A/D変換部
244k,308 記憶部
273,310 基準クロック生成部
274 第1EEPROM
275 第2EEPROM
302 画像処理部
303 明るさ検出部
304 調光部
305 読出アドレス設定部
306 駆動信号生成部
307 入力部

Claims (6)

  1. 各々が受光した光を光電変換して該光電変換後の電気信号を生成する複数の画素が設けられた受光部を有し、該受光部が生成した電気信号を画像情報として読み出し可能なセンサ部と、
    各画素が出力する電気信号の出力態様を画素単位で制御して、所定の表示パターンに対応した電気信号を出力させる制御部と、
    前記センサ部が出力した電気信号の信号処理を行う信号処理部と、
    前記信号処理部が処理した処理信号を外部に送信する送信部と、
    を備えたことを特徴とする撮像装置。
  2. 前記制御部は、前記画素の転送する電荷量を制御することを特徴とする請求項1に記載の撮像装置。
  3. 前記信号処理部は、
    前記電気信号に含まれるノイズ成分を低減するノイズ低減部と、
    前記電気信号の増幅率を調整して一定の出力レベルを維持する調整部と、
    前記調整部を介して出力された前記電気信号をA/D変換するA/D変換部と、
    を有し、
    前記制御部は、前記ノイズ低減部、前記調整部、前記A/D変換部および前記送信部のうち1または複数を選択し、該選択した各部に対して前記所定の表示パターンに対応した電気信号を出力させることを特徴とする請求項1に記載の撮像装置。
  4. 前記受光部は、有効画素の周囲に設けられるオプティカルブラック領域を有し、
    前記オプティカルブラック領域の一部に受光可能な画素を含むことを特徴とする請求項1に記載の撮像装置。
  5. 請求項1に記載の撮像装置と、
    前記撮像装置と電気的に接続し、前記送信部によって送信された前記処理信号に基づいて画像データを生成する処理装置と、
    を備えたことを特徴とする撮像システム。
  6. 前記撮像装置および前記処理装置と電気的にそれぞれ接続し、前記電気信号を中継する中継処理部をさらに備え、
    前記処理装置は、前記中継処理部に前記所定の表示パターンに対応した電気信号を出力させることを特徴とする請求項5に記載の撮像システム。
JP2014510333A 2012-06-27 2013-06-07 撮像装置および撮像システム Active JP5620612B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012144564 2012-06-27
JP2012144564 2012-06-27
PCT/JP2013/065818 WO2014002732A1 (ja) 2012-06-27 2013-06-07 撮像装置および撮像システム

Publications (2)

Publication Number Publication Date
JP5620612B2 JP5620612B2 (ja) 2014-11-05
JPWO2014002732A1 true JPWO2014002732A1 (ja) 2016-05-30

Family

ID=49782897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014510333A Active JP5620612B2 (ja) 2012-06-27 2013-06-07 撮像装置および撮像システム

Country Status (5)

Country Link
US (1) US20140340496A1 (ja)
EP (1) EP2868255B1 (ja)
JP (1) JP5620612B2 (ja)
CN (1) CN104271027B (ja)
WO (1) WO2014002732A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056308A1 (ja) * 2014-10-07 2016-04-14 オリンパス株式会社 撮像装置、駆動信号調整方法および内視鏡装置
EP3138469A4 (en) 2015-03-26 2018-01-24 Olympus Corporation Endoscope system
JP6353810B2 (ja) * 2015-04-24 2018-07-04 富士フイルム株式会社 内視鏡システム
US10548460B2 (en) 2015-04-30 2020-02-04 Sony Olympus Medical Solutions Inc. Signal processing apparatus and medical observation system
US10313629B2 (en) * 2015-04-30 2019-06-04 Sony Olympus Medical Solutions Inc. Medical observation device
US10405733B2 (en) * 2015-04-30 2019-09-10 Sony Olympus Medical Solutions Inc. Medical signal processing device and medical observation system
WO2017013972A1 (ja) * 2015-07-22 2017-01-26 オリンパス株式会社 撮像装置
JP2017060071A (ja) * 2015-09-18 2017-03-23 ルネサスエレクトロニクス株式会社 半導体装置
CN107105982B (zh) * 2015-10-30 2019-05-21 奥林巴斯株式会社 用于内窥镜系统的控制装置、内窥镜系统以及内窥镜系统的控制方法
JP6638058B2 (ja) * 2016-02-25 2020-01-29 オリンパス株式会社 内視鏡システム
WO2018088005A1 (ja) * 2016-11-14 2018-05-17 オリンパス株式会社 撮像素子および内視鏡
US11025846B2 (en) * 2017-02-01 2021-06-01 Sony Semiconductor Solutions Corporation Imaging system, imaging apparatus, and control apparatus
US11160443B2 (en) * 2017-03-30 2021-11-02 Hoya Corporation Electronic endoscope device for changing observation image brightness
WO2018211755A1 (ja) * 2017-05-19 2018-11-22 オリンパス株式会社 撮像装置
CN109222854A (zh) 2018-11-19 2019-01-18 苏州新光维医疗科技有限公司 内窥镜摄像系统及其图像信号传输方法
CN116744138B (zh) * 2023-06-29 2024-05-14 脉冲视觉(北京)科技有限公司 脉冲序列式传感器像素单元、脉冲序列式传感器及设备
CN117848493B (zh) * 2024-02-07 2024-05-24 北京灵汐科技有限公司 信号处理装置、传感器芯片、信号处理方法、设备及介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5432820A (en) * 1990-11-19 1995-07-11 Fujitsu Limited Maximum-likelihood decoding method and device
US5609561A (en) * 1992-06-09 1997-03-11 Olympus Optical Co., Ltd Electronic type endoscope in which image pickup unit is dismounted to execute disinfection/sterilization processing
US5654537A (en) * 1995-06-30 1997-08-05 Symbios Logic Inc. Image sensor array with picture element sensor testability
JP3710274B2 (ja) * 1997-12-12 2005-10-26 キヤノン株式会社 撮像装置、信号処理方法及び記憶媒体
US6615072B1 (en) * 1999-02-04 2003-09-02 Olympus Optical Co., Ltd. Optical imaging device
US6489798B1 (en) * 2000-03-30 2002-12-03 Symagery Microsystems Inc. Method and apparatus for testing image sensing circuit arrays
JP4663083B2 (ja) * 2000-09-11 2011-03-30 オリンパス株式会社 内視鏡装置
JP2003234966A (ja) * 2002-02-08 2003-08-22 Fuji Photo Film Co Ltd 固体撮像素子
JP3912672B2 (ja) * 2002-07-05 2007-05-09 ソニー株式会社 固体撮像装置及びその画素欠陥検査方法
JP4786910B2 (ja) * 2005-02-07 2011-10-05 Hoya株式会社 電子内視鏡
JP5272281B2 (ja) * 2005-09-22 2013-08-28 ソニー株式会社 固体撮像装置およびその製造方法、並びにカメラ
KR20070043314A (ko) * 2005-10-21 2007-04-25 삼성전자주식회사 액정 디스플레이 장치
US20070211839A1 (en) * 2006-03-08 2007-09-13 Pentax Corporation Sampling timing monitoring system and endoscope having the same
JP2008228037A (ja) * 2007-03-14 2008-09-25 Matsushita Electric Ind Co Ltd 位相調整装置、位相調整方法およびデジタルカメラ
JP5028154B2 (ja) * 2007-06-20 2012-09-19 キヤノン株式会社 撮像装置及びその制御方法
JP5219865B2 (ja) * 2008-02-13 2013-06-26 キヤノン株式会社 撮像装置及び焦点制御方法
JP5464815B2 (ja) 2008-03-25 2014-04-09 オリンパスメディカルシステムズ株式会社 撮像システムおよび撮像システムのセルフチェック処理の動作方法
JP2010093498A (ja) * 2008-10-07 2010-04-22 Olympus Corp 固体撮像装置
JP5322633B2 (ja) * 2008-12-26 2013-10-23 オリンパスメディカルシステムズ株式会社 撮像装置
JP5404179B2 (ja) * 2009-05-21 2014-01-29 キヤノン株式会社 撮像装置及びその制御方法、プログラム
JP2011200410A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp キャリブレーション手段を備えた内視鏡システムおよびそのキャリブレーション方法
JP2011206185A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 内視鏡システム及びその故障検出方法
JP4676027B2 (ja) 2010-11-24 2011-04-27 株式会社東芝 ヘッド分離型カメラ装置及びデジタルビデオ信号送信方法
EP2618556B1 (en) * 2010-12-14 2015-05-27 Olympus Medical Systems Corp. Imaging apparatus
KR101989907B1 (ko) * 2012-05-31 2019-06-17 삼성전자주식회사 유기 이미지 센서 및 그 제조방법

Also Published As

Publication number Publication date
JP5620612B2 (ja) 2014-11-05
EP2868255A4 (en) 2016-04-06
EP2868255B1 (en) 2018-10-03
CN104271027B (zh) 2017-06-23
WO2014002732A1 (ja) 2014-01-03
CN104271027A (zh) 2015-01-07
US20140340496A1 (en) 2014-11-20
EP2868255A1 (en) 2015-05-06

Similar Documents

Publication Publication Date Title
JP5620612B2 (ja) 撮像装置および撮像システム
JP5245022B1 (ja) 撮像装置
JP5942053B1 (ja) 内視鏡システム
JP5259882B2 (ja) 撮像装置
US9538108B2 (en) Endoscope system and pixel correction method
US8866893B2 (en) Imaging apparatus
US20130307951A1 (en) Imaging apparatus
WO2013128764A1 (ja) 医療システム
JP5467182B1 (ja) 撮像システム
WO2014171332A1 (ja) 撮像装置および処理装置
WO2015114906A1 (ja) 撮像システムおよび撮像装置
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
JP5847368B1 (ja) 撮像装置および内視鏡装置
JP5926980B2 (ja) 撮像装置および撮像システム
JP6137892B2 (ja) 撮像システム
WO2019155902A1 (ja) 撮像システム
JP5885617B2 (ja) 撮像システム
JP5932191B1 (ja) 伝送システムおよび処理装置
JP5815162B2 (ja) 撮像装置
WO2019003556A1 (ja) 画像処理装置、画像処理システムおよび画像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

R151 Written notification of patent or utility model registration

Ref document number: 5620612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250