JP5463210B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP5463210B2
JP5463210B2 JP2010130220A JP2010130220A JP5463210B2 JP 5463210 B2 JP5463210 B2 JP 5463210B2 JP 2010130220 A JP2010130220 A JP 2010130220A JP 2010130220 A JP2010130220 A JP 2010130220A JP 5463210 B2 JP5463210 B2 JP 5463210B2
Authority
JP
Japan
Prior art keywords
line
signal
endoscope
scanning mode
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010130220A
Other languages
English (en)
Other versions
JP2011254900A (ja
Inventor
浩史 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010130220A priority Critical patent/JP5463210B2/ja
Priority to US13/113,042 priority patent/US8902304B2/en
Priority to EP11168803.2A priority patent/EP2392252B1/en
Priority to CN201110157386.3A priority patent/CN102283625B/zh
Publication of JP2011254900A publication Critical patent/JP2011254900A/ja
Application granted granted Critical
Publication of JP5463210B2 publication Critical patent/JP5463210B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/38—Synchronous or start-stop systems, e.g. for Baudot code
    • H04L25/40—Transmitting circuits; Receiving circuits
    • H04L25/49—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems
    • H04L25/4906—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems using binary codes
    • H04L25/4908—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems using binary codes using mBnB codes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A61B1/0052—Constructional details of control elements, e.g. handles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1492—Probes or electrodes therefor having a flexible, catheter-like structure, e.g. for heart ablation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B2018/1475—Electrodes retractable in or deployable from a housing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Description

本発明は、内視鏡システムに関する。
内視鏡と、この内視鏡が接続される制御装置との間で撮像画像の信号伝送を行う技術として、アナログ伝送による方式が特許文献１に記載されている。この方式によれば、雑音除去装置が、撮像画像の画像情報に基づいて正極性、負極性の各画像信号を生成し、これら画像信号を同期させて制御装置に伝送することで、ノイズによる画質劣化を双方の画像信号の対称性を利用して復元可能にしている。これにより、耐ノイズ性を高めて、画像に大きな破綻を生じさせることなく画像情報を伝送可能にしている。しかし、一般にアナログ伝送を行う場合には、伝送される画像データと、伝送先での最終画像との重み付けが一対一であるため、ノイズによる妨害が弱いときには少ない影響度であるが、ノイズによる妨害が強くなるに従って、伝送された画像への影響度が増大する。そのため、伝送性能を高めるためには、十分に耐ノイズ性を向上する必要がある。
上記の画像情報の伝送に際し、伝送に伴う画質劣化を低減するため、画像情報をデジタル化してシリアル伝送することも提案されている（特許文献２、３参照）。しかし、シリアル化されたデジタル信号の伝送は、重み付けの異なるデータを時系列で送るため、重みの高いビット(上位ビット)がノイズの影響を受けると、受信画像にその影響が大きく現れる。また、シリアルデータ転送時に所定データ毎にエラーチェックコードを付加して誤り訂正を行うことにより、ノイズの除去を行うことができるが、誤り訂正可能なビットに限度があり、バーストエラーが生じた場合には訂正ができず、画像劣化が避けられない。
そのため、画質劣化を低減するべく内視鏡から制御装置に撮像画像信号をシリアル伝送しても、伝送途中で外部からノイズの影響を受けたときには、このノイズによる影響が表示画像に目立って現れてしまう。
特開昭６０−５５９２３号公報 特開２００９−２０１５４０号公報 特開２００８−８０００７号公報
本発明は、内視鏡から制御装置に撮像画像信号をシリアル伝送する場合に、伝送途中で外部からノイズの影響を受けても、このノイズによる影響を目立たなくし、高品位な画像情報を出力可能な内視鏡システムを提供することを目的とする。
本発明は下記構成からなる。
被検体の撮像画像信号を出力する撮像部を備えた内視鏡と、該内視鏡とは別体に構成され前記内視鏡に信号線を介して接続された制御装置とを備え、前記内視鏡と前記制御装置との間で、前記撮像部から出力される撮像画像信号をデジタル画像データとしてシリアル伝送する内視鏡システムであって、
前記撮像部が、２次元配列された複数の受光部と、各受光部にそれぞれ蓄積された電荷信号を読み出す駆動部と、を有し、
前記駆動部が、前記受光部の並び方向である主走査方向のラインに沿って当該ラインに配列された受光部から前記電荷信号を読み出すことを、前記主走査方向に直交する副走査方向に１ラインずつ順次行う第１の走査モードと、
前記副走査方向に所定ライン飛び越しながら順次行うと共に、飛び越されたラインから前記所定ライン飛び越しながら順次行うことで、前記撮像画像を構成する全ラインに対して行う第２の走査モードと、
を切り替え自在に構成され、前記画像データの前記各ラインの出力順序を変更するものであり、
更に、前記シリアル伝送時にエラー発生要因となる外乱を検知する外乱検知手段と、
前記外乱検知手段が外乱の発生を検知したときに、前記駆動部を前記第１の走査モードから前記第２の走査モードに切り替える制御手段と、
を備えた内視鏡システム。
本発明の内視鏡システムによれば、内視鏡から制御装置に撮像画像信号をシリアル伝送する場合に、伝送途中で外部からノイズの影響を受けても、このノイズによる影響を目立たなくし、高品位な画像情報の出力が可能となる。
本発明の実施形態を説明するための図で、内視鏡装置を含む内視鏡システムの全体構成図である。 内視鏡装置の先端部の構成を示す要部拡大断面図である。 高周波処置具の概略構成を示す要部縦断面図である。 図１に示す内視鏡システムの概念的なブロック構成図である。 撮像素子の構成を示す回路図である。 シリアル伝送される送信データの形式を示す模式図である。 通常走査モードにおける撮像素子の露光・読出しタイミングを示すタイミングチャートである。 撮像画像の一例を示す図である。 １ライン飛び越し走査のインターリーブ走査モードによる撮像素子の露光・読出しタイミングを示す図である。 図９に示すインターリーブ走査モードによる電荷信号の読み出し順に従って生成される撮像画像を示す図である。 通常走査モードとインターリーブ走査モードとの切り替え手順を示すフローチャートである。 通常走査モードからインターリーブ走査モードへの切り替えタイミングを示すタイミングチャートである。 図９に示すインターリーブ走査モードによる表示画像の説明図である。 インターリーブ走査モードへの切り替え手順を示すフローチャートである。 内視鏡システムの要部を概念的に示すブロック構成図である。 図１４に示す通常走査モードからインターリーブ走査モードへの切り替えタイミングを示すタイミングチャートである。
以下、本発明の各実施形態について、図面を参照して詳細に説明する。
図１は本発明の実施形態を説明するための図で、内視鏡装置を含む内視鏡システムの全体構成図である。
内視鏡システム２００は、内視鏡装置（以下、内視鏡とも称する）１００と、この内視鏡１００に接続される制御装置１３と、モニタ等の表示部１５と、キーボード等の入力部１７と、処置具７１と、処置具７１を駆動する高周波電源制御部９７と、高周波電源制御部９７に接続される足踏みスイッチ９９とを備える。制御装置１３は、内視鏡１００に照明光を供給する光源部６７と、内視鏡１００からの撮像信号に各種画像処理を施して映像信号に変換するプロセッサ部６９とを有する。
内視鏡１００は、本体操作部２１と、本体操作部２１に連設され体腔内に挿入される内視鏡挿入部２３と、本体操作部２１に接続され、各種管路及び信号ケーブルが内包されたユニバーサルコード２５と、このユニバーサルコード２５の先端に取り付けられ制御装置１３に着脱自在に連結されるコネクタ２７Ａ，２７Ｂと、を含んで構成される。コネクタ２７Ａ，２７Ｂは、制御装置１３の光源部６７及びプロセッサ部６９にそれぞれ個別のコネクタで接続する構成とする他、複合タイプの１個のコネクタとして構成してもよい。
制御装置１３の光源部６７は、コネクタ２７Ａとユニバーサルコード２５を通じて出射光を内視鏡１００に出力し、内視鏡挿入部２３の先端に設けられた照明光学系に照明光を供給する。
内視鏡１００の本体操作部２１には、送気・送水ボタン、吸引ボタン、シャッターボタン、機能切り替えボタン等の各種ボタン２９が並設されるとともに、内視鏡の先端側を湾曲操作させる一対のアングルノブ３１が設けられる。
内視鏡挿入部２３は、本体操作部２１側から順に軟性部３３、湾曲部３５、先端部（内視鏡先端部）３７で構成される。軟性部３３は可撓性を有して湾曲部３５の基端側に連設され、湾曲部３５は、本体操作部２１のアングルノブ３１を回動操作することで内視鏡挿入部２３内に挿設されたワイヤ（図視略）が牽引されて湾曲動作するようになっている。これにより、内視鏡先端部３７を所望の方向に向けることができる。
図２に内視鏡装置の先端部の構成を表す拡大部分断面図を示した。内視鏡挿入部２３の先端に設けられた撮像光学系は、照明光学系で照明された観察部位を撮像する撮像素子５５を有する撮像チップ５１を備え、撮像素子５５から得られる観察像の撮像信号を制御装置１３に出力する。撮像素子５５としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが用いられる。そして、制御装置１３のプロセッサ部６９は、入力された撮像信号を画像処理した画像情報を図１に示す表示部１５に表示する。制御装置１３に接続されたキーボード等の入力部１７は、これら一連の処理の指示が入力可能になっている。
内視鏡先端部３７には、照明窓（図示せず）及び観察窓４５（図２参照）が設けられると共に、処置具挿通孔４７の鉗子口４３が開口する。観察窓４５には、体腔内の被観察部位の画像を取り込むため、複数のレンズからなる対物光学系４９が配設されている。対物光学系４９の光路後方には、対物光学系４９の光軸を直角に曲げて撮像チップ５１に向けて導光するプリズム５３が接続されている。
撮像チップ５１は、上記の撮像素子５５と、撮像素子５５の駆動及び信号の入出力を行う周辺回路５７とが一体形成されたモノリシック半導体（いわゆるＣＭＯＳセンサチップ）であり、基板５９上に実装されている。基板５９の後端には信号線６１が接続され、この信号線６１には、図１に示すユニバーサルコード２５を介してプロセッサ部６９に繋がっており、各種信号を伝達する。つまり、対物光学系４９とプリズム５３は、内視鏡先端部３７側の光学像を撮像チップ５１の撮像素子５５に結像させ、撮像素子５５は、この光学像の出力信号を撮像画像信号として出力する。撮像画像の信号は、内視鏡１００側からユニバーサルコード２５を介して制御装置１３に伝送されるようになっている。
制御装置１３のプロセッサ部６９は、内視鏡１００の本体操作部２１や入力部１７からの指示に基づいて、内視鏡１００から伝送されてくる撮像画像信号を画像処理し、表示用画像を生成して表示部１５へ供給する。
ところで、本体操作部２１と内視鏡挿入部２３との間の連設部３９には、鉗子等の処置具が挿入される鉗子挿入部４１が設けてある。この鉗子挿入部４１には前述の処置具７１が挿入され、内視鏡先端部３７の先端から導出される。処置具７１は、図２に示すように、内視鏡挿入部２３を貫通して形成される処置具挿通孔４７を通じて内視鏡先端部３７に導かれる。この処置具７１は、本構成例においては、並設される信号線にノイズを重畳させる可能性を有する高周波処置具であって、電気コード９５を介して高周波電源制御部９７に接続される。高周波電源制御部９７には、制御装置１３と足踏みスイッチ９９が接続され、高周波処置具７１の駆動を制御する。
次に、上記の高周波処置具７１の構成を説明する。
図３は高周波処置具の概略構成を示す要部縦断面図である。同図に示すように、高周波ナイフである高周波処置具７１は、内視鏡１００の処置具挿通孔４７（図２参照）内に挿通可能な可撓性を有し、密巻きコイル７５ａ、及び密巻きコイル７５ａを被覆するテトラフルオロエチレン材等の絶縁チューブ７５ｂからなるシース７５と、シース７５の基端に設けられた操作部７７と、を備えている。密巻きコイル７５ａの先端には、筒状のストッパ部材７９及びリング状のシース先端絶縁チップ８１が、絶縁チューブ７５ｂで被覆されて配設されている。
シース７５の内部には、導電性の操作ワイヤ８３が軸方向に移動自在に挿通され、操作ワイヤ８３の先端部には、ストッパ部材７９に当接する導電性のストッパ受部８５が装着されている。ストッパ受部８５には、棒状電極部７３ａ及び板状電極部７３ｂからなるナイフ部である高周波電極部７３が電気的に接続されて配設されている。
高周波処置具７１の操作部７７は、操作軸部８９と、操作軸部８９に対してスライド可能なスライダ９１とを備える。スライダ９１には接続コネクタ部９３が設けられ、電気コード９５を介して高周波電源制御部９７に接続されている。高周波電源制御部９７は、足踏みスイッチ等のスイッチ９９が接続されている。
操作ワイヤ８３の基端部は、操作軸部８９に形成された不図示の挿通孔を通って後方に延出され、スライダ９１に連結されている。そして、スライダ９１が軸方向にスライド操作されると、操作ワイヤ８３がシース７５内を軸方向に進退し、高周波電極部７３の棒状電極部７３ａがシース７５の先端から出没する。
次に、上記構成の内視鏡システムの信号処理について説明する。
図４に内視鏡システムの概念的なブロック構成図を示した。同図に示すように内視鏡システム２００は、内視鏡１００とプロセッサ部６９とがユニバーサルコード２５を介して接続されている。内視鏡１００には撮像素子５５と周辺回路５７を有する撮像チップ５１が搭載されている。この撮像チップ５１内の周辺回路５７は、内部クロック信号を生成するＰＬＬ（Phase-Locked Loop）回路１０１と、撮像素子５５に制御データを設定するレジスタ１０３と、撮像素子５５から出力された撮像信号をデジタル化するアナログ／デジタル（Ａ／Ｄ）変換器１０５と、デジタル化された撮像信号に対して８Ｂ１０Ｂ方式のエンコードを行う８Ｂ１０Ｂエンコーダ１０７と、内部クロック信号の周波数を逓倍し、シリアル伝送用のクロック信号を生成するＰＬＬ回路１０９と、エンコードされた撮像信号をシリアル信号に変換して出力するパラレル／シリアル（Ｐ／Ｓ）変換器１１１とを含んで構成されている。
ＰＬＬ回路１０１は、位相比較器、ループフィルタ、電圧制御発信器、及び分周器を備える位相同期回路であり、プロセッサ部６９から入力される安定した基準クロック信号ＢＣＬＫと同期し、かつ基準クロック信号ＢＣＬＫの周波数と所定の比例関係にある周波数（逓倍された周波数）を持つ内部クロック信号ＩＣＬＫを生成する。この内部クロック信号ＩＣＬＫは、周辺回路５７内の各部、及び撮像素子５５に供給される。
レジスタ１０３は、プロセッサ部６９から入力される、撮像素子５５を駆動するための制御データＣＴＬＤを保持し、撮像素子５５に入力する。レジスタ１０３は、シリアル／パラレル変換を行うシフトレジスタであり、シリアル信号形式で入力される制御データＣＴＬＤを、パラレル信号に変換して撮像素子５５に入力する。この制御データＣＴＬＤとしては、画素の走査方式（詳細を後述する通常走査／インターリーブ走査）、走査する画素領域、シャッタ速度（露光時間）等が入力される。撮像素子５５は、制御データＣＴＬＤ及び内部クロック信号ＩＣＬＫに基づいて後述する走査回路を制御する。
Ａ／Ｄ変換器１０５は、撮像素子５５から出力される撮像信号を量子化して８ビット（２５６階調）のデジタル信号に変換し、変換した８ビットのデジタル信号を、８本の配線を用いて、８Ｂ１０Ｂエンコーダ１０７にパラレルに入力する。
８Ｂ１０Ｂエンコーダ１０７は、Ａ／Ｄ変換器１０５から入力された８ビットのデジタル信号に対し、冗長な２ビットのデータを付加して１０ビットのデジタル信号に変換する８Ｂ１０Ｂ方式のエンコーダであり、８ビットから１０ビットへの変換は、規格で定められた変換表を用いて行う。
ＰＬＬ回路１０９は、前述のＰＬＬ回路１０１と同様な構成であり、内部クロック信号ＩＣＬＫの周波数を、例えば１０倍に逓倍したシリアル伝送用クロック信号ＴＣＬＫを生成し、Ｐ／Ｓ変換器１１１に供給する。
Ｐ／Ｓ変換器１１１は、ＰＬＬ回路１０９が生成したシリアル伝送用クロック信号ＴＣＬＫに応じて、８Ｂ１０Ｂエンコーダ１０７から入力されるデジタル信号（１０ビットのパラレルデータ）を１０ビットのシリアルデータに変換する。このとき、ＰＬＬ回路１０９の作用により、変換後のシリアルデータの周波数は、変換前のパラレルデータの周波数の１０倍となる。Ｐ／Ｓ変換器１１１により生成されたシリアルデータは、撮像信号ＳＤＴとしてユニバーサルコード２５中の信号線１１３ａを介してプロセッサ部６９に伝送される。
プロセッサ部６９は、装置全体の制御を行う主制御回路（ＣＰＵ）１１５と、電源電圧ＶＤＤ及び接地電圧ＶＳＳを生成する電源回路１１７と、基準クロック信号ＢＣＬＫを生成する基準クロック発生器１１９と、撮像チップ５１から撮像信号ＳＤＴを受信し、撮像信号ＳＤＴからクロック信号及びデータ信号を再生するクロックデータリカバリ（Clock & Data Recovery：ＣＤＲ）回路１２１と、ＣＤＲ回路１２１により生成されたクロック信号の周波数を逓倍し、撮像チップ５１内の内部クロック信号ＩＣＬＫと同一の周波数を有する信号処理用のクロック信号を生成するＰＬＬ回路１２３と、ＣＤＲ回路１２１により生成されたデータ信号をパラレル信号に変換するシリアル／パラレル（Ｓ／Ｐ）変換器１２５と、パラレル化された撮像信号に対して８Ｂ１０Ｂ方式のデコードを行い、エンコードされる前の撮像信号を生成する８Ｂ１０Ｂデコーダ１２７と、デコードされた撮像信号に対して画像処理を施し、表示部１５に表示するための画像データを生成する画像処理回路１２９と、を有して構成されている。
電源回路１１７は、電源電圧ＶＤＤ及び接地電圧ＶＳＳを、プロセッサ部６９内の各部に供給すると共に、信号線１１３ｂ，１１３ｃを介して撮像チップ５１内の各部に供給する。基準クロック発生器１１９は、周波数が安定した基準クロック信号ＢＣＬＫを生成し、この基準クロック信号ＢＣＬＫを信号線１１３ｄを介して撮像チップ５１内のＰＬＬ回路１０１に入力する。
ＣＰＵ１１５は、プロセッサ部６９内の各部を制御すると共に、前述の制御データＣＴＬＤを生成し、この制御データＣＴＬＤを信号線１１３ｅを介して撮像チップ５１内のレジスタ１０３に入力する。
ＣＤＲ回路１２１は、撮像チップ５１からシリアル伝送される撮像信号ＳＤＴの位相を検出して、この撮像信号ＳＤＴの周波数に同期した抽出クロック信号ＲＣＬＫを発生し、この抽出クロック信号ＲＣＬＫにより撮像信号ＳＤＴをサンプリングすることで、撮像信号ＳＤＴを抽出クロック信号ＲＣＬＫによりリタイミングしたデータ（リタイミングデータ：撮像信号ＲＳＤＴ）を生成する。
ＣＤＲ回路１２１により生成された抽出クロック信号ＲＣＬＫは、ＰＬＬ回路１２３に入力され、再生された撮像信号ＲＳＤＴは、Ｓ／Ｐ変換器１２５に入力される。
ＰＬＬ回路１２３は、前述のＰＬＬ回路１０１と同様な構成であり、抽出クロック信号ＲＣＬＫの周波数を１／１０倍に逓倍し、内部クロック信号ＩＣＬＫと同一の周波数を有する信号処理用のクロック信号ＳＣＬＫを生成する。そして、ＰＬＬ回路１２３は、この生成したクロック信号ＳＣＬＫをＳ／Ｐ変換器１２５、８Ｂ１０Ｂデコーダ１２７、及び画像処理回路１２９に供給する。
Ｓ／Ｐ変換器１２５は、ＰＬＬ回路１２３が生成したクロック信号ＳＣＬＫに応じて、ＣＤＲ回路１２１から入力される撮像信号ＲＳＤＴに対し、パラレル／シリアル変換の逆変換に相当するシリアル／パラレル変換を行い、１０ビットのパラレルデータからなる撮像信号を生成し、８Ｂ１０Ｂデコーダ１２７に入力する。
８Ｂ１０Ｂデコーダ１２７は、８Ｂ１０Ｂ方式の規格で定められた変換表を用い、前述の８Ｂ１０Ｂエンコーダ１０７とは逆の変換を行い、入力された撮像信号を１０ビットから元の８ビットに復元する。８Ｂ１０Ｂデコーダ１２７により復元された８ビットの撮像信号は、画像処理回路１２９に入力される。
画像処理回路１２９は、クロック信号ＳＣＬＫに基づいて撮像信号を内蔵メモリに記録すると共に、ホワイトバランス調整、ゲイン補正、色補間、輪郭強調、ガンマ補正、カラーマトリックス演算等の画像処理を行って出力用の画像データを生成する。また、画像処理回路１２９は、画像データを表示部１５に表示するための信号形式に変換し、表示部１５に画像表示用の信号を出力する。
また、前述したように、高周波電源制御部９７は高周波処置具７１、ＣＰＵ１１５、スイッチ９９に接続されており、スイッチ９９が、足踏み操作されたとき、ＣＰＵ１１５からの指令に基づいて高周波電流を高周波処置具７１に供給する。つまり、図３に示すように、高周波処置具７１のシース７５内に配置された操作ワイヤ８３を通じて高周波電流が高周波電極部７３に供給される。高周波電流の供給時、シース７５が、内視鏡１００の処置具挿通孔４７内に挿通された状態であるために、処置具挿通孔４７に沿って内視鏡挿入部２３（図１参照）内で並設される信号線１１３ａにノイズが重畳しやすくなる。本構成においては、伝送されるシリアルデータにこのノイズによる影響が及んでも、それによる表示画像の画質劣化を、後述する方式により目立たなくすることができる。
次に、撮像素子５５の各画素から電荷信号を取り出して撮像信号を生成する信号処理について説明する。
図５は撮像素子５５の構成を概略的に示す回路図である。同図に示すように、撮像素子５５は、受光部である単位画素１３１が２次元マトリクス状に配置された画素部１３３と、画素部１３３からの出力信号である電荷信号に対してノイズ抑制処理等の処理を行う相関二重サンプリング（ＣＤＳ）回路１３５と、画素部１３３の垂直方向の走査を制御すると共に画素部１３３のリセット動作を制御する垂直走査回路１３７と、水平方向の走査を制御する水平走査回路１３９と、読み出した電荷信号の出力を行う出力回路１４１と、各回路１３５〜１３９に制御信号を与え、垂直・水平走査及びサンプリングのためのタイミング等を制御する制御回路１４３とを有して構成されている。
単位画素１３１は、１個のフォトダイオードＤ１、リセット用トランジスタＭ１、ドライブ用（増幅用）トランジスタＭ２、及び画素選択用トランジスタＭ３とからなる。各単位画素１３１は、垂直走査線（行選択線）Ｌ１及び水平走査線（列選択線）Ｌ２に接続されており、垂直走査回路１３７と水平走査回路１３９によって順次に走査される。
制御回路１４３は、画素部１３３の行及び列を走査するために垂直走査回路１３７及び水平走査回路１３９に入力する制御信号、フォトダイオードＤ１に蓄積された電荷をリセットするために垂直走査回路１３７に入力する制御信号、及び画素部１３３とＣＤＳ回路１３５との接続を制御するためにＣＤＳ回路１３５に入力する制御信号をそれぞれ生成する。
ＣＤＳ回路１３５は、列選択線Ｌ２毎に区分して設けられており、垂直走査回路１３７によって選択された行選択線Ｌ１に接続された各単位画素１３１の電荷信号を、水平走査回路１３９が出力する水平走査信号に従って順次に出力する。水平走査回路１３９は、ＣＤＳ回路１３５と、出力回路１４１に接続された出力バスラインＬ３との間に設けられた列選択用トランジスタＭ４のオン／オフを水平走査信号により制御する。出力回路１４１は、ＣＤＳ回路１３５から出力バスラインＬ３に順次に転送される電荷信号を増幅して出力する。以下では、出力回路１４１から出力される信号を、各単位画素１３１からの電荷信号と区別して撮像信号と称する。
なお、図示は省略するが、撮像素子５５は、複数の色セグメントからなるカラーフィルタ（例えば、ベイヤー配列の原色カラーフィルタ）を備えた単板カラー撮像方式の撮像素子である。
画素部１３３は、垂直方向を列方向、水平方向を行方向としたとき、単位画素１３１が半導体基板表面に行方向及び列方向に格子状に配設された正方配列構造を有する。また、奇数行の単位画素１３１と偶数行の単位画素１３１とが、１／２ピッチずつずらして配列された、所謂、ハニカム画素配列の構成であってもよい。
上記のように構成された内視鏡システム２００により体腔内を観察する際、図４に示すように、撮像素子５５により生成された撮像信号は、Ａ／Ｄ変換器１０５により８ビットのパラレル信号に変換され、８Ｂ１０Ｂエンコーダ１０７で１０ビットのパラレル信号に変換される。この１０ビットのパラレル信号からなる撮像信号は、Ｐ／Ｓ変換器１１１によりシリアル信号に変換された後、信号線１１３ａを介してプロセッサ部６９に伝送される。
プロセッサ部６９は、シリアル伝送された撮像信号をＣＤＲ回路１２１で受け、ＣＤＲ回路１２１により、クロック信号（抽出クロック信号ＲＣＬＫ）と、このクロック信号に位相同期したデータ信号（リタイミングデータＲＳＤＴ）とを生成する。ＣＤＲ回路１２１によりリタイミングデータとして生成された撮像信号ＲＳＤＴは、抽出クロック信号ＲＣＬＫに基づき、Ｓ／Ｐ変換器１２５及び８Ｂ１０Ｂデコーダ１２７により変換が行われ、元の８ビットのパラレル信号に復元される。この８ビットのパラレル信号からなる撮像信号は、画像処理回路１２９により画像データに変換され、表示部１５で撮像画像の表示が行われる。
図６にシリアル伝送される送信データの形式の一例を示した。出力回路１４１から出力された電荷信号は、撮像素子５５の周辺回路５７によって、この形式のシリアルデータに変換されてプロセッサ部６９に伝送される。シリアルデータは、画像情報を含むペイロードの前にヘッダ領域、後に検知データであるＥＣＣ（Error Check and Correct）領域、及びアイドル領域を有する。図６は撮像画像の１ライン分の内訳であり、この１ライン分のデータが複数続けて伝送される。ECCの情報は、伝送誤り検出のために供される。また、検知データは、ライン単位で付帯されるため、ライン単位で伝送エラーの有無が検出でき、エラーを生じたラインの修復が容易となる。
次に、上記構成の撮像素子５５における電荷信号の取り出し方法について図７〜図１０を参照して詳細に説明する。
撮像素子５５は、プロセッサ部６９のＣＰＵ１１５（図４参照）からの指令により通常走査モードと、インターリーブ走査モードとが選択的に設定できる。通常走査モードは、主走査方向に並ぶ単位画素（フォトダイオード）１３１のラインからの電荷信号の走査読み出しを、それぞれ副走査方向に順次行って、各ラインの電荷信号を読み出すモードである。また、インターリーブ走査モードは、単位画素１３１のラインの走査読み出しを、副走査方向に所定ライン飛び越しながら順次行うことを繰り返し、全ライン分を水平走査して電荷信号を読み出すモードである。
＜通常走査モード＞
通常走査モードは、図７に通常走査モードにおける撮像素子の露光・読出しのタイミングチャートを示すように、走査ラインとなるＬｉｎｅ（１）〜Ｌｉｎｅ（ｎ） （ｎは２以上の整数）の各画素行を備えるＣＭＯＳセンサでは、ライン上の各単位画素（０〜ｍ）をリセットした後にフォトダイオードへの露光を開始し、所定の露光時間の経過後に各フォトダイオードに蓄積された電荷を転送し、電荷信号を出力する。そして、このような動作がＬｉｎｅ（１）からＬｉｎｅ（ｎ）に向かって順に遅延して行われる。即ち、主走査方向に並ぶ単位画素のラインの走査読み出しを、それぞれ副走査方向に順次行って、各電荷信号を読み出してｎ行ｍ列の撮像画像を生成するモードである。
撮像画像の内容が「Ａ」の文字であった場合、画像原点Ｐ０から主走査方向に走査し、副走査方向に順次走査することを繰り返すことで出力バスラインＬ３に出力される信号は、これをその出力の順のまま画像データ化すると、図８に示す画像となる。
＜インターリーブ走査モード＞
図９は、インターリーブ走査モードである１ライン飛び越し走査モードにおいて、ローリングシャッタを用いた撮像素子のリセット、露光、読出しの各タイミングの例を示す図である。同図に示すように、Ｌｉｎｅ（１）のリセット用トランジスタＭ１（図５参照）に垂直走査回路１３７からリセット信号を出力して、Ｌｉｎｅ（１）に配置される各フォトダイオードＤ１に蓄積された電荷をリセットし、電荷蓄積（露光）を開始する。その後、垂直方向（副走査方向）に１ライン飛び越してＬｉｎｅ（３）を同様にリセットして電荷蓄積を開始する。更に垂直方向に１ライン飛び越してＬｉｎｅ（５）をリセットして電荷蓄積を開始することを繰り返し行う。
そして、飛び越し先が無くなった時点で再びＬｉｎｅ（２）に戻り、Ｌｉｎｅ（２）をリセットして電荷蓄積を開始した後に、垂直方向に１ライン飛び越してＬｉｎｅ（４）をリセットする。上記のリセット処理をＬｉｎｅ（ｎ）（ｎは全ライン数）まで繰り返す。これにより、各ラインの単位画素１３１それぞれに蓄積された電荷信号を一旦掃き出した状態から電荷蓄積が開始される。
そして、所定の電荷蓄積時間後に、単位画素１３１に蓄積された電荷信号をＣＤＳ回路１３５（図５参照）に出力させるため、行選択線Ｌ１を通じて入力される画素選択用トランジスタＭ３への選択信号と、列選択用トランジスタＭ４から列選択線Ｌ２を通じて入力される読み出し信号とによって、各単位画素１３１の電荷信号が、Ｌｉｎｅ（１）→Ｌｉｎｅ（３）→・・・→Ｌｉｎｅ（ｎ−１）→Ｌｉｎｅ（２）→Ｌｉｎｅ（４）→・・・→Ｌｉｎｅ（ｎ）の順で、出力バスラインＬ３（図５参照）に出力される。
換言すれば、このインターリーブ走査モードとは、未走査の第１のラインを選択して水平走査し、該第１のラインに対応する各受光部から電荷信号を読み出す第１の読み出し走査と、第１のラインから副走査方向に所定ライン飛び越した未走査の第２のラインを選択して水平走査し、該第２のラインに対応する各受光部から電荷信号を読み出す第２の読み出し走査とを、第１のラインと第２のラインとの間隔を前記所定のラインに保持しつつ、副走査方向下端まで繰り返した後、副走査方向上端から未走査のラインを選択して第１の読み出し走査と第２の読み出し走査とを、副走査方向下端まで繰り返すことを、複数回実行するモードである。
この電荷信号の出力順によると、撮像画像の内容が図８に示す「Ａ」の文字であった場合、画像原点Ｐ０から主走査方向に走査し、副走査方向に１ライン飛び越したラインを走査することを繰り返すことで出力バスラインＬ３に出力される信号は、これをその出力の順のまま画像データ化すると、図１０に示すように副走査方向に２分割された画像データとなる。
つまり、通常走査モードでは、出力される信号の時系列順序が、撮像画像の副走査方向に各ラインが順次連続して出力される順となっており、インターリーブ走査モードでは、出力される信号の時系列的な順序が、撮像画像に対するライン毎に不連続な順序となっている。これにより、インターリーブ走査モードにおいては、撮像信号の伝送途中でその一部にエラーが生じても、エラーが生じた領域が画像上では隣接しない不連続のラインとして現れるため、エラーによる画像劣化が目立ちにくくなる。
図１１は通常走査モードとインターリーブ走査モードとの切り替え手順を示すフローチャートである。シリアルデータの伝送途中で、外部からのノイズによる影響が懸念される場合に、通常走査モードからインターリーブ走査モードに切り替える。このモード切り替えタイミングは、高周波処置具７１の作動時に発生するノイズの影響を排除するため、高周波処置具７１の作動に連動させる。即ち、高周波処置具７１は、スイッチ９９がオン操作されている期間中、高周波電流が印加されて作動するので、オン操作中はインターリーブ走査モードに設定する。
図１１において、ステップＳ１で通常走査モードに設定して画像を取り込み、ステップＳ２でスイッチ９９がオン状態（スイッチ操作あり）であるか否かを判別し、オフ状態であれば高周波処置具７１が不作動と判断して通常走査モードを維持する。スイッチ９９がオン状態であると、ステップＳ３で通常走査モードからインターリーブ走査モードに切り換える。そして、インターリーブ走査モードに切り替えた後、ステップＳ４で高周波処置具７１に高周波電流を印加して組織の切開等の処置を行う。次いで、ステップＳ５でスイッチ９９がオフ状態であるか否かを判別し、オン状態の場合にはインターリーブ走査モードを継続する。オフ状態であれば高周波処置具７１による処置が終了したと判断して、ステップＳ６でインターリーブ走査モードから通常走査モードに切り替える。
図１２は図１１に示すように制御された場合の通常走査モードからインターリーブ走査モードへの切り替えタイミングを示すタイミングチャートである。スイッチ９９が操作されてオン状態になると、ＣＰＵ１１５がこれを検出してレジスタ１０３にモード切り替え信号を送信して（図４参照）、通常走査モードからインターリーブ走査モードへ切り替える。モード切り替えが終了した後、高周波電源制御部９７から高周波電流が高周波処置具７１に印加される。このように、高周波処置具７１への高周波電流印加に先だって、通常走査モードからインターリーブ走査モードへ切り替えを完了させることにより、高周波ノイズが表示画像に与える影響をより確実に軽減する。
図１３は上記のインターリーブ走査モードにより表示される画像の説明図である。撮像素子５５により撮像された画像は、フィールドが短時間で奇数フィールドＦ１、偶数フィールドＦ２、奇数フィールドＦ３・・・の順で切り替わって表示部１５（図１、図４参照）に表示される。ここで、説明の簡単化のため、図１３に示すように１フレーム画像を１６ラインで構成し、奇数フィールドＦ１は、Ｌｉｎｅ（１）〜Ｌｉｎｅ（１５）の８ラインで構成され、偶数フィールドＦ２は、Ｌｉｎｅ（２）〜Ｌｉｎｅ（１６）の８ラインで構成されるものとする。
ノイズの影響により、シリアル画像データの伝送途中で発生するエラーは、シリアル画像データの伝送順に見ると連続したタイミングで発生する。伝送される信号がインターリーブ走査されたデータである場合、表示部１５に表示される際には、隣接するラインや時系列的に連続する複数のフィールドに跨ってエラーが表示されることはない。即ち、図１３に示すように、偶数フィールドＦ２のＬｉｎｅ（６）、及びＬｉｎｅ（８）を伝送する途中でエラーが発生した場合、このエラーは、この偶数フィールドＦ２の画面におけるＬｉｎｅ（６）とＬｉｎｅ（８）の画像情報が欠損した画像として現れる。
しかし、偶数フィールドＦ２の画面表示時は、視感的に前フィールドの奇数フィールドＦ１の残像が残るため、Ｌｉｎｅ（６）とＬｉｎｅ（８）の前後には、エラーのないＬｉｎｅ（５）、Ｌｉｎｅ（７）、Ｌｉｎｅ（９）の情報が実質的に表示された状態となる。従って、エラーが生じて欠損しているＬｉｎｅ（６）とＬｉｎｅ（８）は画面上で隣接して（副走査方向に連続する上下ラインとして）表示されることはなく、エラーのないラインに挟まれた状態で表示される。更に、エラーの生じた偶数フィールドＦ２の表示タイミングの次の瞬間には、次の奇数フィールドの画面、更に次の偶数フィールドの画面で置き換わるので、仮にエラーが生じても、時系列的に連続する複数のフィールドに跨って欠損が連続して現れることは希で、フィールド間で連続して表示される場合であっても、画面上の異なる位置に現れるため、エラーが顕著に視認されることはない。これにより、ノイズの影響を受けてデータの一部にエラーが発生しても、視感的に目立たなくすることができる。
（他の制御例）
次に、図１４から図１６を参照して他の内視鏡システムの制御例について説明する。本構成の内視鏡システム２００は、伝送されるシリアルデータにエラーが発生したとき、このエラーを検出して走査モードを通常走査モードからインターリーブ走査モードに切り替える。
図１４はインターリーブ走査モードへの切り替え手順を示すフローチャート、図１５は内視鏡システムの要部を概念的に示すブロック構成図、図１６は通常走査モードからインターリーブ走査モードへの切り替えタイミングを示すタイミングチャートである。図１４のフローチャートに沿って本制御の手順を説明すると、本制御においては、撮像素子５５の制御回路１４３（図５参照）が、主走査方向のラインの走査読み出しを副走査方向に順次行う通常走査モードで行い、図１５に示すように、内視鏡１００から信号線１１３ａを介してプロセッサ部６９に撮像信号ＳＤＴを伝送する。撮像信号ＳＤＴは、前述の図６にデータ形式を示した通りであるが、ここでは、画像情報を含むペイロードの後に設けられたＥＣＣ（Error Check and Correct）領域の情報を利用して伝送エラーの発生を検出する。即ち、データ伝送後の受信側にて、図１５に示すＣＤＲ回路１２１がＥＣＣの情報に基づいて、ペイロードの画像情報の伝送エラー判定を行う（Ｓ１）。エラーが検出された場合には（Ｓ２）、エラー検出信号をＣＰＵ１１５に伝送して、エラー領域の訂正を行う（Ｓ３）。このとき、エラーが検出されたフィールドに対しては、このフィールドに対する走査モードをそのまま変更せずに全ラインの走査を完了する。
画像処理回路１２９は、伝送された画像信号を２次元の画像データに変換して表示部１５に表示させる。表示部１５への画像表示は、エラー発生の有無に係わらず表示され、エラーの生じたラインに対しては、グレー等の同一色で塗りつぶして表示する同一色塗りつぶし方式で表示する。
次いで、エラー領域を含むフィールドの画像表示が終了すると（Ｓ４）、ＣＰＵ１１５がモード切り替え信号を内視鏡１００側のレジスタ１０３に送信して通常走査モードからインターリーブ走査モードに切り替える（Ｓ５）。なお、ステップＳ３におけるエラー領域の訂正は、必要に応じてペイロードの画像情報を修復するものであってもよい。
上記の手順を図１６に示すタイミングチャートを用いて説明する。
撮像素子５５の制御回路１４３が、通常走査モードにより単位画素１３１（図５参照）の電荷信号を読み出し、内視鏡１００は、この電荷信号に基づいて生成された画像信号をプロセッサ部６９にシリアル伝送する。プロセッサ部６９のＣＤＲ回路１２１が、伝送途中の画像信号にエラーを検出した場合、即ち、エラー検出信号ＳｅがＣＰＵ１１５に入力されたとき、ＣＰＵ１１５は、このエラーが検出された領域を含むフィールドＦｉの画像に対しては、そのまま通常走査モードで全ラインの電荷信号を読み出し、シリアル伝送を完了させる。そして、このフィールドＦｉの画像伝送が終了したときに、ＣＰＵ１１５はモード切り替えを行うモード切り替え信号Ｓｍを内視鏡１００に出力し、内視鏡１００の撮像素子５５の制御回路１４３は、このモード切り替え信号Ｓｍに基づいて走査モードを通常走査モードからインターリーブ走査モードに切り替ええる。モードの切り替え後、制御回路１４３はフィールドＦｉ＋１をインターリーブ走査モードで電荷信号の読み出しを行う。
この手順のように、エラーが検出された次のフィールドＦｉ＋１からインターリーブ走査モードに切り替えて電荷信号を読み出すことで、エラー発生後においてノイズによる影響を目立たなくすることができる。
上記のシリアルデータの形式としては、デジタル伝送における耐ノイズ性を向上させるため、伝送誤り検出、訂正、補正機能を付与した構成とすることが好ましい。誤り検出機能としては、前述のＥＣＣの他、巡回冗長検査（Cyclic Redundancy Check, CRC）、不正コード検出(8b-10bのエンコードによる未定義コード検出等)、不正フォーマット検出等の方式が利用可能である。
また、訂正機能としては、ＢＣＨ符号等の前方誤り訂正（Forward Error Correction, FEC)方式が利用可能である。この前方誤り訂正で修正できない誤りに対しては、前述の同一色塗りつぶし方式で書き換える方式の他、同じフレームの前ラインの値を用いて補間する前ライン補間方式、前フレームの同位置のライン値を用いて補間する前フレーム補間方式、前後のラインの値を用いて補間する前後ライン補間方式等、状況に応じて適宜利用することができる。
本発明は上記の実施形態に限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
例えば、上記のシリアルデータは、撮像素子の電荷信号読み出し順を変更したインターリーブ走査モードにより生成しているが、電荷信号の読み出し順を制御することに限らず、他の方式で各ラインの信号の順序を変更することであってもよい。例えば、撮像素子の電荷信号を通常走査モードで読み出して一旦メモリに蓄積しておき、このメモリから前述のインターリーブ走査モードに相当する順序で各ラインの電荷信号を並べ替えて、シリアルデータを生成することでもよい。
更には、上記の各構成例では、インターリーブ走査モードは、１ライン飛び越して走査読み出しするモードとして説明したが、これに限定されず、２ライン以上の飛び越し読み出し、又はランダム読み出しするようにしてもよい。
また、撮像素子はＣＭＯＳイメージセンサとして説明したが、これに限定されず、上記メモリを併用する方式とすれば、ＣＣＤ（Charge Coupled Device）イメージセンサを利用した構成としてもよい。
以上の通り、本明細書には次の事項が開示されている。
（１） 被検体の撮像画像信号を出力する撮像部を備えた内視鏡と、該内視鏡とは別体に構成され前記内視鏡に信号線を介して接続された制御装置とを備え、前記内視鏡と前記制御装置との間で、前記撮像部から出力される撮像画像信号をデジタル画像データとしてシリアル伝送する内視鏡システムであって、
前記撮像部が、２次元配列された複数の受光部と、各受光部にそれぞれ蓄積された電荷信号を読み出す駆動部と、を有し、
前記駆動部は、前記受光部の並び方向である主走査方向のラインに沿って当該ラインに配列された受光部から前記電荷信号を読み出すことを、前記主走査方向に直交する副走査方向に対して複数回繰り返す走査読み出しを行うものであり、
前記駆動部が、前記走査読み出しを、前記副走査方向に所定ライン飛び越しながら順次行うと共に、飛び越されたラインから前記所定ライン飛び越しながら順次行うことで、前記撮像画像を構成する全ラインに対して行い、前記画像データの前記各ラインの出力順序を変更する内視鏡システム。
この内視鏡システムによれば、各ラインの出力順序を変更してシリアル化したデジタル画像データを伝送するため、その伝送途中でノイズの影響を受け、データの一部にエラーが発生した場合であっても、この発生したエラーを視感的に目立たなくすることができる。つまり、駆動部を、副走査方向に所定ライン飛び越して走査読み出しすることを繰り返す走査モードに設定する。この走査モードにより生成された撮像画像信号は、所定ライン飛び越して形成される複数のフィールド画面がシーケンシャルデータとして生成される。このシーケンシャルデータの一部にエラーが生じて、撮像画像信号に欠損が生じた場合、その欠損は、シーケンシャルデータ上で連続する、ある一部分のデータの欠損であり、撮像画像上で隣接するラインや時系列的に連続する複数のフィールド画面に跨って現れることはない。つまり、シーケンシャルデータ中の特定の連続する狭いデータ部分は、撮像画像上で隣接するラインが続けて存在せず、また、時系列的に連続するフィールド画面が続けて存在しないため、視感的に目立ちやすい隣接ラインの欠落や、時系列的に連続してフィールド画面に生じる欠陥が発生しなくなる。従って、シリアル伝送された後のエラーを含む撮像画像信号を表示した場合、データの欠損は、例えばある特定のフィールド画面１枚にのみ現れ、この欠損を有するフィールド画面は直ぐに次のフィールド画面により置き換わる。また、データの欠損は、所定ライン跨いだ位置に現れ、撮像画像上の隣接ラインとして生じることがない。
（２） （１）の内視鏡システムであって、
前記駆動部が、前記走査読み出しを前記副走査方向に１ラインずつ順次行う第１の走査モードと、
前記走査読み出しを、前記副走査方向に所定ライン飛び越しながら順次行うと共に、飛び越されたラインから前記所定ライン飛び越しながら順次行うことで、前記撮像画像を構成する全ラインに対して行う第２の走査モードとを切り替え自在に構成された内視鏡システム。
この内視鏡システムによれば、第１の走査モードと第２の走査モードを切り替え自在にすることで、各走査モードを選択的に行うことができ、必要なタイミングで走査モードに切り替えて、これにより生成される画像データをシリアル伝送させることができる。
（３） （１）又は（２）の内視鏡システムであって、
前記シリアル伝送時にエラー発生要因となる外乱を検知する外乱検知手段と、
前記外乱検知手段が外乱の発生を検知したときに、前記駆動部を前記第１の走査モードから前記第２の走査モードに切り替える制御手段と、を備えた内視鏡システム。
この内視鏡システムによれば、外乱が生じたときに、この外乱によるエラーの影響の少ない画像データの転送方式に切り替えることで、表示画像を高品質に保つことができる。
（４） （３）の内視鏡システムであって、
前記外乱検知手段が、前記内視鏡の挿入部と共に被検体内に挿入され、先端に高周波電極が露出された高周波処置具による高周波電流の印加タイミングを検知するものであり、
前記制御手段が、前記外乱検知手段が検知する高周波電流の印加タイミングに基づいて、前記駆動部を前記第１の走査モードから前記第２の走査モードに切り替える内視鏡システム。
この内視鏡システムによれば、高周波処置具により処置を行う場合、スイッチをオンにするタイミングで信号線にノイズが生じやすくなるが、第１の走査モードから第２の走査モードに切り替えることで、仮にノイズが生じてデータの欠損が生じても、視感的に目立たなくすることができる。これにより、高周波処置具の取り扱い状況によらず、常に良好な撮像画像を提供できる。
（５） （３）又は（４）の内視鏡システムであって、
前記シリアル伝送するデジタル画像データは、前記撮像画像信号が前記ライン単位で区分され、該区分された各ラインのそれぞれに当該ラインの伝送エラーの有無を検出するための検知データが付帯されたものであり、
前記制御手段が、前記検知データを用いて伝送エラーの発生を検出し、該伝送エラーを検出したタイミングに基づいて前記駆動部を前記第１の走査モードから前記第２の走査モードに切り替える内視鏡システム。
この内視鏡システムによれば、検知データがライン単位で付帯されるため、ライン単位で伝送エラーの有無が検出でき、エラーを生じたラインの修復が容易となる。また、伝送エラーの発生を検知したタイミングに基づいて、第１の走査モードから第２の走査モードに切り替えるため、任意のタイミングで発生するエラーに随時対応して、適切なモードに切り替えでき、常に良好な撮像画像を提供できる。
（６） （１）〜（５）のいずれか１つの内視鏡システムであって、
前記所定ラインの飛び越しが、１ラインの飛び越しである内視鏡システム。
この内視鏡システムによれば、１ライン毎に交互に走査読み込みすることで、奇数ラインのフィードと偶数ラインのフィールドとが交互に得られる。これにより、通常のＮＴＳＣ方式の画像表示方式に準じた画像表示を行うことができる
（７） （１）〜（６）のいずれか１つの内視鏡システムであって、
前記シリアル伝送された前記撮像画像信号に基づく画像情報を表示する表示部を備えた内視鏡システム。
この内視鏡システムによれば、得られた撮像画像情報を、表示部からデータの欠損が目立ちにくい状態で表示できる。
＜付記＞
前記制御手段が、前記高周波処置具へ高周波電流を供給する前に、前記駆動部を前記第１の走査モードから前記第２の走査モードに切り替える内視鏡システム。
この内視鏡システムによれば、高周波処置具へ高周波電流を供給する前に、予め駆動部を第２の走査モードに切り替えておくことで、信号線にノイズが生じやすくなり始めるタイミングから、ノイズの発生によるデータの欠損を目立たなくすることができる。このように、良好な撮像画像を常に安定して供給することができる。
前記制御手段が、前記伝送エラーが検出された前記撮像画像全体の読み出し走査を完了した後、前記駆動部を前記第１の走査モードから前記第２の走査モードに切り替える内視鏡システム。
この内視鏡システムによれば、伝送エラーが生じた撮像画像の読み出し走査を完了した後に第２の走査モード切り替えすることで、走査読み出しの処理を複雑化することなく、伝送エラー発生後に伝送される撮像画像に対して、伝送エラーの発生によるデータの欠損を目立たなくすることができる。このように、良好な撮像画像を安定して供給することができる。
被検体の撮像画像信号を出力する撮像部を備えた内視鏡と、該内視鏡とは別体に構成され前記内視鏡に信号線を介して接続された制御装置とを備え、前記内視鏡と前記制御装置との間で前記撮像画像信号を含むデジタル画像データをシリアル伝送する内視鏡システムであって、
前記被検体の撮像画像信号に基づく撮像画像を、該撮像画像の水平ライン単位で、撮像画像の垂直方向に所定ライン飛び越しながら再配列することを順次行い、飛び越された水平ラインから前記所定ライン飛び越しながら再配列することを順次行うことで、前記撮像画像を構成する全水平ラインを再配列したインターリーブ画像データを形成するインターリーブ画像データ形成手段を備えた内視鏡システム。
この内視鏡システムによれば、撮像部からの信号電荷の読み出し順を変更する駆動方式によらず、通常のライン順次の駆動方式としても、撮像画像を伝送エラーの発生によるデータの欠損を目立たなくすることができる。
１３ 制御装置
１５ 表示部
２３ 内視鏡挿入部
５５ 撮像素子（撮像部）
７１ 高周波処置具
７３ 高周波電極部
９７ 高周波電源制御部
９９ スイッチ
１００ 内視鏡
１１５ ＣＰＵ（制御手段）
１２１ ＣＤＲ回路
１３１ 単位画素（受光部）
１４３ 制御回路（駆動部）
２００ 内視鏡システム
ＥＣＣ 検知データ

Claims (5)

  1. 被検体の撮像画像信号を出力する撮像部を備えた内視鏡と、該内視鏡とは別体に構成され前記内視鏡に信号線を介して接続された制御装置とを備え、前記内視鏡と前記制御装置との間で、前記撮像部から出力される撮像画像信号をデジタル画像データとしてシリアル伝送する内視鏡システムであって、
    前記撮像部が、２次元配列された複数の受光部と、各受光部にそれぞれ蓄積された電荷信号を読み出す駆動部と、を有し、
    前記駆動部が、前記受光部の並び方向である主走査方向のラインに沿って当該ラインに配列された受光部から前記電荷信号を読み出すことを、前記主走査方向に直交する副走査方向に１ラインずつ順次行う第１の走査モードと、
    前記副走査方向に所定ライン飛び越しながら順次行うと共に、飛び越されたラインから前記所定ライン飛び越しながら順次行うことで、前記撮像画像を構成する全ラインに対して行う第２の走査モードと、
    を切り替え自在に構成され、前記デジタル画像データの前記各ラインの出力順序を変更するものであり、
    更に、前記シリアル伝送時にエラー発生要因となる外乱を検知する外乱検知手段と、
    前記外乱検知手段が外乱の発生を検知したときに、前記駆動部を前記第１の走査モードから前記第２の走査モードに切り替える制御手段と、
    を備えた内視鏡システム。
  2. 請求項１記載の内視鏡システムであって、
    前記外乱検知手段が、前記内視鏡の挿入部と共に被検体内に挿入され、先端に高周波電極が露出された高周波処置具による高周波電流の印加タイミングを検知するものであり、
    前記制御手段が、前記外乱検知手段が検知する高周波電流の印加タイミングに基づいて、前記駆動部を前記第１の走査モードから前記第２の走査モードに切り替える内視鏡システム。
  3. 請求項１又は請求項２記載の内視鏡システムであって、
    前記シリアル伝送するデジタル画像データは、前記撮像画像信号が前記ライン単位で区分され、該区分された各ラインのそれぞれに当該ラインの伝送エラーの有無を検出するための検知データが付帯されたものであり、
    前記制御手段が、前記検知データを用いて伝送エラーの発生を検出し、該伝送エラーを検出したタイミングに基づいて前記駆動部を前記第１の走査モードから前記第２の走査モードに切り替える内視鏡システム。
  4. 請求項１〜請求項３のいずれか１項記載の内視鏡システムであって、
    前記所定ラインの飛び越しが、１ラインの飛び越しである内視鏡システム。
  5. 請求項１〜請求項４のいずれか１項記載の内視鏡システムであって、
    前記シリアル伝送された前記撮像画像信号に基づく画像情報を表示する表示部を備えた内視鏡システム。
JP2010130220A 2010-06-07 2010-06-07 内視鏡システム Expired - Fee Related JP5463210B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010130220A JP5463210B2 (ja) 2010-06-07 2010-06-07 内視鏡システム
US13/113,042 US8902304B2 (en) 2010-06-07 2011-05-21 Endoscope system
EP11168803.2A EP2392252B1 (en) 2010-06-07 2011-06-06 Endoscope system with interlaced image transmission
CN201110157386.3A CN102283625B (zh) 2010-06-07 2011-06-07 内窥镜系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010130220A JP5463210B2 (ja) 2010-06-07 2010-06-07 内視鏡システム

Publications (2)

Publication Number Publication Date
JP2011254900A JP2011254900A (ja) 2011-12-22
JP5463210B2 true JP5463210B2 (ja) 2014-04-09

Family

ID=44509767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010130220A Expired - Fee Related JP5463210B2 (ja) 2010-06-07 2010-06-07 内視鏡システム

Country Status (4)

Country Link
US (1) US8902304B2 (ja)
EP (1) EP2392252B1 (ja)
JP (1) JP5463210B2 (ja)
CN (1) CN102283625B (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103636000B (zh) 2011-05-12 2017-11-17 德普伊辛迪斯制品公司 具有使公差被最优化的互连的图像传感器
JP2013000452A (ja) * 2011-06-20 2013-01-07 Olympus Corp 電子内視鏡装置
CH705952B1 (de) * 2011-12-23 2017-06-15 Awaiba Consultadoria Desenvolvimento E Comércio De Componentes Microelectrónicos Unipessoal Lda Endoskopanordnung.
IN2015MN00019A (ja) 2012-07-26 2015-10-16 Olive Medical Corp
JP5735477B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡装置及びその作動方法
JP6164836B2 (ja) * 2012-12-25 2017-07-19 Hoya株式会社 内視鏡
EP2967285B1 (en) * 2013-03-15 2023-08-16 DePuy Synthes Products, Inc. Image sensor synchronization without input clock and data transmission clock
CA2906975A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Minimize image sensor i/o and conductor counts in endoscope applications
US9525852B2 (en) * 2013-08-02 2016-12-20 General Electric Company Systems and methods for embedded imaging clocking
JP6389352B2 (ja) * 2013-08-13 2018-09-12 Hoya株式会社 内視鏡システム
WO2015029856A1 (ja) * 2013-08-27 2015-03-05 オリンパスメディカルシステムズ株式会社 処理装置および内視鏡システム
CN103873830B (zh) * 2014-03-20 2017-12-08 郑州赛福特电子设备有限公司 电子内窥镜影像系统及电子内窥镜图像处理方法
JP2015185823A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 固体撮像素子、及び、撮像装置
EP3123925A4 (en) * 2014-03-28 2017-04-12 FUJIFILM Corporation Endoscope system, processor device of endoscope system, and method for operating endoscope system
CN106999018A (zh) * 2014-12-19 2017-08-01 波士顿科学国际有限公司 成像装置及相关方法
WO2019064681A1 (ja) * 2017-09-29 2019-04-04 オリンパス株式会社 内視鏡および内視鏡システム
WO2019181064A1 (ja) * 2018-03-23 2019-09-26 オリンパス株式会社 内視鏡
CN109820471B (zh) * 2019-02-27 2024-01-23 中国科学院苏州生物医学工程技术研究所 一种共聚焦内窥成像错位校正系统及方法
CN110769207B (zh) * 2019-11-19 2022-04-01 深圳开立生物医疗科技股份有限公司 一种电子内窥镜信号传输方法、装置和设备及系统
DE102020104634B4 (de) * 2020-02-21 2023-12-28 Excelitas Pco Gmbh Verfahren zum Auslesen von Bilddaten und zum Erfassen eines Objekts, Bildaufnahmevorrichtung und Lichtscheibenmikroskop
WO2023275177A1 (en) * 2021-06-30 2023-01-05 Ambu A/S Video processing apparatus with noise effect mitigation
CN113274122B (zh) * 2021-07-02 2022-10-28 四川大学华西医院 一种家兔热损伤造模装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58141135A (ja) * 1981-10-20 1983-08-22 富士写真フイルム株式会社 固体イメ−ジセンサを用いた内視鏡の画像伝送方式
JPS6055923A (ja) 1983-09-05 1985-04-01 オリンパス光学工業株式会社 電子スコ−プの雑音防止装置
JP3091211B2 (ja) * 1990-10-15 2000-09-25 オリンパス光学工業株式会社 内視鏡装置
US5708482A (en) * 1994-09-08 1998-01-13 Asahi Kogaku Kogyo Kabushiki Kaisha Image-signal clamping circuit for electronic endoscope
JPH09102865A (ja) * 1995-10-04 1997-04-15 Canon Inc 画像表示装置
JP2001258836A (ja) 2000-03-16 2001-09-25 Fuji Photo Optical Co Ltd 電子内視鏡装置
US6748564B1 (en) * 2000-10-24 2004-06-08 Nptest, Llc Scan stream sequencing for testing integrated circuits
JP2002200035A (ja) * 2001-01-09 2002-07-16 Olympus Optical Co Ltd 内視鏡装置
JP2002209836A (ja) * 2001-01-16 2002-07-30 Olympus Optical Co Ltd 画像処理装置
JP2002209838A (ja) * 2001-01-22 2002-07-30 Olympus Optical Co Ltd 内視鏡撮像装置
JP3715249B2 (ja) * 2001-04-27 2005-11-09 シャープ株式会社 画像処理回路、画像表示装置、並びに画像処理方法
JP2003319408A (ja) * 2002-04-26 2003-11-07 Seiko Epson Corp カラーエリアセンサ及び撮像回路
US7362375B2 (en) * 2003-06-02 2008-04-22 Samsung Electronics Co., Ltd. Scanning conversion apparatus and method
JP4296141B2 (ja) * 2004-09-06 2009-07-15 Ｈｏｙａ株式会社 内視鏡用高周波処置具
WO2006039522A2 (en) 2004-09-30 2006-04-13 Boston Scientific Scimed, Inc. Adapter for use with digital imaging medical device
JP4534715B2 (ja) * 2004-10-22 2010-09-01 株式会社ニコン 撮像装置および画像処理プログラム
US7522468B2 (en) * 2006-06-08 2009-04-21 Unity Semiconductor Corporation Serial memory interface
JP5137372B2 (ja) * 2006-09-28 2013-02-06 オリンパスメディカルシステムズ株式会社 画像処理システム及び内視鏡システム
JP2008110004A (ja) 2006-10-30 2008-05-15 Pentax Corp 電子内視鏡装置
US20080136903A1 (en) * 2006-11-17 2008-06-12 Toshio Takada Endoscope
JP2009201540A (ja) * 2008-02-26 2009-09-10 Fujinon Corp 撮像システム及び内視鏡システム
JP2009213629A (ja) 2008-03-10 2009-09-24 Fujinon Corp 撮像システム及び内視鏡システム
JP2009254736A (ja) 2008-04-21 2009-11-05 Hoya Corp 内視鏡制御ユニットおよび内視鏡システム
JP5489444B2 (ja) * 2008-10-17 2014-05-14 オリンパス株式会社 内視鏡装置の受像機と、その受像機の画像データ表示方法及び画像データ表示プログラム

Also Published As

Publication number Publication date
US20110298908A1 (en) 2011-12-08
EP2392252B1 (en) 2017-08-16
JP2011254900A (ja) 2011-12-22
CN102283625A (zh) 2011-12-21
EP2392252A1 (en) 2011-12-07
US8902304B2 (en) 2014-12-02
CN102283625B (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
JP5463210B2 (ja) 内視鏡システム
JP5588949B2 (ja) 内視鏡システム及び内視鏡の外部制御装置
JP6442144B2 (ja) 放射線撮像装置、放射線撮像システム、放射線撮像方法およびプログラム
US8449453B2 (en) Endoscopic image processing apparatus and endoscope system
EP2094002A2 (en) Electronic communication system and endoscope system
JP2013078377A (ja) 内視鏡システム及び内視鏡の外部制御装置
JP2009201540A (ja) 撮像システム及び内視鏡システム
JP2013075100A (ja) 内視鏡システム及び内視鏡の外部制御装置
JP2009254736A (ja) 内視鏡制御ユニットおよび内視鏡システム
JPWO2014002732A1 (ja) 撮像装置および撮像システム
JP6495564B2 (ja) 撮像装置及び内視鏡システム
JP6602713B2 (ja) 内視鏡装置
US9895047B2 (en) Image pickup apparatus
JP5959331B2 (ja) 内視鏡装置
JP5618624B2 (ja) 内視鏡システム
JP5538067B2 (ja) 内視鏡システム
JP4676027B2 (ja) ヘッド分離型カメラ装置及びデジタルビデオ信号送信方法
JP5322633B2 (ja) 撮像装置
JP2005103325A (ja) 電子内視鏡装置
JP7152490B2 (ja) 撮像システムおよび内視鏡装置
JP2008277894A (ja) 撮像装置、撮像方法および集積回路
JPH11150687A (ja) 撮像装置
JP2002057947A (ja) 撮影装置
JP2004121856A (ja) 内視鏡装置
JPH0993495A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111216

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20121005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R150 Certificate of patent or registration of utility model

Ref document number: 5463210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees