JP4554920B2 - Electronic endoscope device - Google Patents

Electronic endoscope device Download PDF

Info

Publication number
JP4554920B2
JP4554920B2 JP2003426746A JP2003426746A JP4554920B2 JP 4554920 B2 JP4554920 B2 JP 4554920B2 JP 2003426746 A JP2003426746 A JP 2003426746A JP 2003426746 A JP2003426746 A JP 2003426746A JP 4554920 B2 JP4554920 B2 JP 4554920B2
Authority
JP
Japan
Prior art keywords
pixel signals
color
signal
digital pixel
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003426746A
Other languages
Japanese (ja)
Other versions
JP2005185305A (en
Inventor
努 滝沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2003426746A priority Critical patent/JP4554920B2/en
Publication of JP2005185305A publication Critical patent/JP2005185305A/en
Application granted granted Critical
Publication of JP4554920B2 publication Critical patent/JP4554920B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像素子を有するビデオスコープ(電子内視鏡)およびビデオスコープが接続されるプロセッサを備えた電子内視鏡装置に関し、特に、ビデオスコープ先端に設けられた撮像素子から読み出される画素信号に基づいてカラー映像信号を生成する信号処理に関する。   The present invention relates to a videoscope (electronic endoscope) having an image sensor and an electronic endoscope apparatus including a processor to which the videoscope is connected, and in particular, a pixel signal read from an image sensor provided at the tip of the videoscope. The present invention relates to signal processing for generating a color video signal based on the above.

電子内視鏡装置では、ビデオスコープ内で所定のビデオ規格に従ったフォーマット(例えば4:2:2のフォーマット)によるデジタル映像信号(例えば、輝度信号Y、色差信号Cb,Cr)を生成し、デジタル映像信号をプロセッサへ出力する構成が知られている(例えば、特許文献1、2、3参照)。また、伝送されるデータのフォーマットの違いから、ビデオスコープとプロセッサとの間にアダプタを設ける構成が知られている(特許文献4参照)。
特開2000−261821号公報(図1) 特開平5−236480号公報(図1) 特開平5−316513号公報(図1) 特開平5−176886号公報(図1)
The electronic endoscope apparatus generates a digital video signal (for example, luminance signal Y, color difference signals Cb, Cr) in a format (for example, 4: 2: 2 format) according to a predetermined video standard in the video scope, A configuration for outputting a digital video signal to a processor is known (see, for example, Patent Documents 1, 2, and 3). Also, a configuration is known in which an adapter is provided between a video scope and a processor due to a difference in the format of transmitted data (see Patent Document 4).
Japanese Patent Laid-Open No. 2000-261821 (FIG. 1) JP-A-5-236480 (FIG. 1) JP-A-5-316513 (FIG. 1) JP-A-5-176886 (FIG. 1)

ビデオスコープ内でデジタル映像信号を生成する場合、回路構成が複雑になり、製造コストが増大し、スコープサイズのダウンサイジングが困難になる。特に、デジタル映像信号を生成するために多くの乗算回路が必要であるため、必然的に回路構成の複雑化される。また、撮像素子から読み出される画素信号の情報量が大きいほど、信号伝送のレート(周波数)は高くなり、医療機器において電気回路的障害となるノイズ(EMC)を生じさせる。さらに、TV規格等に従ってデジタル映像信号をプロセッサへ出力させる場合、伝送用信号線の本数を低減させることができず、ノイズ発生の起因となっている。また、画質、解像度、色再現性などはすべてビデオスコープ側で決定されてしまうため、色再現性の変更などをプロセッサ側で行う際、制約がある。   When a digital video signal is generated in a video scope, the circuit configuration becomes complicated, the manufacturing cost increases, and downsizing of the scope size becomes difficult. In particular, since a large number of multiplication circuits are required to generate a digital video signal, the circuit configuration is necessarily complicated. Further, the larger the information amount of the pixel signal read out from the image sensor, the higher the signal transmission rate (frequency), which causes noise (EMC) that becomes an electric circuit failure in the medical device. Furthermore, when a digital video signal is output to a processor in accordance with the TV standard or the like, the number of transmission signal lines cannot be reduced, causing noise. Also, since the image quality, resolution, color reproducibility, etc. are all determined on the video scope side, there are restrictions when changing the color reproducibility on the processor side.

本発明に係る電子内視鏡装置は、ビデオスコープ内の回路構成を簡素化できるとともに、ノイズ発生、画質低下を生じさせず、さらにプロセッサへの信号伝送速度を一定に調整できる電子内視鏡装置であり、撮像素子と、信号読み出し手段と、デジタル変換処理手段と、デジタル画素信号出力手段とを有する。このビデオスコープに接続される本発明に係る電子内視鏡装置のプロセッサは、複数の色要素デジタル画素信号に基づき、カラー映像信号を生成する映像信号生成手段を備えたことを特徴とする。   The electronic endoscope apparatus according to the present invention can simplify the circuit configuration in the video scope, can prevent noise generation and image quality degradation, and can adjust the signal transmission speed to the processor to be constant. An image sensor, a signal reading unit, a digital conversion processing unit, and a digital pixel signal output unit. The processor of the electronic endoscope apparatus according to the present invention connected to the video scope includes a video signal generating means for generating a color video signal based on a plurality of color element digital pixel signals.

撮像素子には、カラー映像信号に関連した複数の色要素を画素の位置に応じて規則的に配列することによって構成される色フィルタが配設されており、例えば、原色(R,G,B)フィルタや補色(G,Ye、Cy、Mg)フィルタが配設されている。信号読み出し手段は、複数の色要素に応じた画素信号から構成される一連のアナログ画素信号を、撮像素子から読み出す。例えば、信号読み出し手段は、単板同時式の色差線順次方式に従って一連のデジタル画素信号を読み出す。この場合、補色フィルタは、色差線順次方式に従い、4つの色要素であるシアン、マゼンタ、グリーン、イエローから成るブロックを規則的に配列することにより構成される。デジタル変換手段は、一連のアナログ画素信号を、所定の周波数によるクロックパルス信号に従い、一連のデジタル画素信号に変換する。例えば、各デジタル画素信号は、所定数ビットのデータとして表される。また、デジタル変換時の周波数(サンプリング周波数)は、撮像素子の画素数、読み出し方法に従う。   The image sensor is provided with a color filter configured by regularly arranging a plurality of color elements related to the color video signal according to the position of the pixel. For example, primary colors (R, G, B) are arranged. ) Filters and complementary color (G, Ye, Cy, Mg) filters are provided. The signal reading means reads a series of analog pixel signals composed of pixel signals corresponding to a plurality of color elements from the image sensor. For example, the signal reading means reads a series of digital pixel signals according to a single-plate simultaneous color difference line sequential method. In this case, the complementary color filter is configured by regularly arranging blocks composed of four color elements, cyan, magenta, green, and yellow, in accordance with the color difference line sequential method. The digital conversion means converts the series of analog pixel signals into a series of digital pixel signals according to a clock pulse signal having a predetermined frequency. For example, each digital pixel signal is represented as data of a predetermined number of bits. The frequency (sampling frequency) at the time of digital conversion depends on the number of pixels of the image sensor and the readout method.

本発明のデジタル画素信号出力手段は、デジタルの輝度信号Y、色差信号R−Y、B−Y、あるいは、アナログの画素信号をビデオスコープ外部へ出力するのではなく、デジタル画素信号をそのまま外部へ出力する。すなわち、デジタル画素信号出力手段は、一連のデジタル画素信号に基づき、所定の色要素ごとに画素信号を分離することで複数の色要素対応デジタル画素信号を生成し、所定の周波数より低い周波数によるクロックパルス信号に従い、複数の色要素対応デジタル画素信号を分離した状態でそのまま外部へ出力させる。分離して伝送する系統数は、必要に応じて適宜選択すればよい。例えば、デジタル画素信号出力手段が、一連のデジタル画素信号を、それぞれ同じ数の色要素に応じた画素信号から構成される第1の画素信号と第2の画素信号とに分離し、2つの伝送経路で外部へ出力してもよい。あるいは、色フィルタが4つの色要素からなるブロックから構成されている場合、4系統に分離してデジタル画素信号を出力してもよい。また、デジタル画素信号がパラレル信号である場合、シリアル伝送するため、デジタル画素信号出力手段は、前記複数の色要素対応デジタル画素信号を、パラレル信号からシリアル信号へ変換するパラレル/シリアル変換手段を備えてもよい。   The digital pixel signal output means of the present invention does not output the digital luminance signal Y, the color difference signals RY, BY, or the analog pixel signal to the outside of the video scope, but directly outputs the digital pixel signal to the outside. Output. That is, the digital pixel signal output means generates a plurality of color element-corresponding digital pixel signals by separating the pixel signals for each predetermined color element based on a series of digital pixel signals, and generates a clock having a frequency lower than the predetermined frequency. According to the pulse signal, a plurality of color element-corresponding digital pixel signals are separated and output to the outside as they are. What is necessary is just to select suitably the number of systems which isolate | separate and transmit as needed. For example, the digital pixel signal output means separates a series of digital pixel signals into a first pixel signal and a second pixel signal each composed of pixel signals corresponding to the same number of color elements, and two transmissions It may be output to the outside through a route. Alternatively, when the color filter is composed of blocks composed of four color elements, the digital pixel signal may be output separately in four systems. When the digital pixel signal is a parallel signal, the digital pixel signal output means includes a parallel / serial conversion means for converting the plurality of color element corresponding digital pixel signals from a parallel signal to a serial signal for serial transmission. May be.

輝度、色差信号生成に必要であって回路構成を大型化させる乗算回路を設ける必要がないため、ビデオスコープ内の回路構成が簡素化される。また、外部出力時のクロックパルス周波数が低下されるため、ノイズ発生を抑えることができるとともに、分離する信号線の数を調整することで、撮像素子の画素数に係らず、安定した伝送レートでデジタル画素信号を外部へ出力することが可能となる。また、デジタル映像信号そのものを外部へ出力しないため、画質の調整範囲が広がる。   Since it is not necessary to provide a multiplication circuit that is necessary for generating luminance and color difference signals and that increases the circuit configuration, the circuit configuration in the video scope is simplified. In addition, since the clock pulse frequency at the time of external output is reduced, noise generation can be suppressed, and by adjusting the number of signal lines to be separated, the transmission rate is stable regardless of the number of pixels of the image sensor. It becomes possible to output a digital pixel signal to the outside. In addition, since the digital video signal itself is not output to the outside, the image quality adjustment range is expanded.

一方、本発明の電子内視鏡装置のプロセッサは、上記ビデオスコープに接続されるプロセッサであり、例えば、輝度信号、色差信号を生成するため、複数の色要素対応画素信号から輝度信号を生成する加算処理手段と、複数の色要素対応画素信号から色信号を生成する減算処理手段と、輝度信号、色信号から原色(R、G、B)信号を生成するR,G,B変換回路と、原色信号から輝度、色差信号を生成する輝度、色差変換回路とを備える。   On the other hand, the processor of the electronic endoscope apparatus of the present invention is a processor connected to the video scope. For example, in order to generate a luminance signal and a color difference signal, a luminance signal is generated from a plurality of color element corresponding pixel signals. An addition processing means, a subtraction processing means for generating a color signal from a plurality of color element corresponding pixel signals, an R, G, B conversion circuit for generating a primary color (R, G, B) signal from the luminance signal and the color signal, A luminance and color difference conversion circuit for generating luminance and color difference signals from the primary color signal;

一連のデジタル画素信号を分離して外部へ出力する構成としては、例えば、画素遅延させてダウンサンプリングさせるように構成してもよい。この場合、デジタル画素信号出力手段は、一連のデジタル画素信号を所定画素分だけ遅延させる画素遅延手段と、一連のデジタル画素信号に対してダウンサンプリングする間引き処理手段とを備える。   As a configuration for separating a series of digital pixel signals and outputting them to the outside, for example, a configuration may be adopted in which downsampling is performed with pixel delay. In this case, the digital pixel signal output means includes pixel delay means for delaying a series of digital pixel signals by a predetermined pixel, and thinning processing means for down-sampling the series of digital pixel signals.

本発明の電子内視鏡装置のビデオスコープにおけるデジタル画素信号出力方法は、複数の色要素に応じた画素信号から構成される一連のアナログ画素信号を、カラー映像信号に関連した複数の色要素を画素の位置に応じて規則的に配列することによって構成される色フィルタが配設された撮像素子から読み出し、一連のアナログ画素信号を、所定の周波数によるクロックパルス信号に従い、一連のデジタル画素信号に変換し、一連のデジタル画素信号に基づき、所定の色要素ごとに画素信号を分離することで複数の色要素対応デジタル画素信号を生成し、所定の周波数より低い周波数によるクロックパルス信号に従い、複数の色要素対応デジタル画素信号を分離した状態でそのまま外部へ出力させることを特徴とする。   A digital pixel signal output method in a videoscope of an electronic endoscope apparatus according to the present invention includes a series of analog pixel signals composed of pixel signals corresponding to a plurality of color elements, and a plurality of color elements related to a color video signal. Read out from an image sensor provided with a color filter configured by arranging regularly according to the position of the pixel, a series of analog pixel signals into a series of digital pixel signals according to a clock pulse signal with a predetermined frequency Converting and generating a plurality of color element corresponding digital pixel signals by separating the pixel signals for each predetermined color element based on a series of digital pixel signals, and according to a clock pulse signal having a frequency lower than the predetermined frequency, The digital pixel signal corresponding to the color element is output to the outside as it is in a separated state.

ビデオスコープ内の回路構成を簡素化できるとともに、ノイズ発生、画質低下を抑え、プロセッサへの信号伝送速度を安定化できる。   The circuit configuration in the video scope can be simplified, noise generation and image quality degradation can be suppressed, and the signal transmission speed to the processor can be stabilized.

以下、図面を参照して本発明の実施形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本実施形態である電子内視鏡装置におけるビデオスコープのブロック図である。図2は、電子内視鏡装置におけるプロセッサのブロック図である。   FIG. 1 is a block diagram of a video scope in the electronic endoscope apparatus according to the present embodiment. FIG. 2 is a block diagram of a processor in the electronic endoscope apparatus.

電子内視鏡装置には、CCD(Charge-Coupled Device)12を有するビデオスコープ10と、ビデオスコープ10から送られてくる画像信号を処理するプロセッサ40とが備えられており、被写体像を表示するモニタ70がプロセッサ10に接続される。ビデオスコープ10はプロセッサ40に着脱自在に接続され、検査、手術等が開始されると、ビデオスコープ10の挿入部が体内へ挿入される。   The electronic endoscope apparatus includes a video scope 10 having a CCD (Charge-Coupled Device) 12 and a processor 40 that processes an image signal sent from the video scope 10 and displays a subject image. A monitor 70 is connected to the processor 10. The video scope 10 is detachably connected to the processor 40, and when an examination, surgery, or the like is started, the insertion portion of the video scope 10 is inserted into the body.

プロセッサ40内に設けられたランプ(図示せず)から放射された光は、ビデオスコープ10内に設けられたライトガイド(図示せず)を介してビデオスコープ10の先端部10Aから出射する。これにより、観察部位Sに照明光が照射される。   Light emitted from a lamp (not shown) provided in the processor 40 is emitted from the distal end portion 10 </ b> A of the videoscope 10 via a light guide (not shown) provided in the videoscope 10. Thereby, illumination light is irradiated to the observation region S.

観察部位Sにおいて反射した光は、CCD12の受光領域12Aに到達し、これにより観察部位Sの光学像がCCD12の受光領域12Aに形成される。本実施形態では、カラー撮像方式として単板同時式が適用されており、CCD12の受光領域12A上にはイエロー(Ye)、シアン(Cy)、マゼンタ(Mg)、グリーン(G)の色要素が市松状に並べられた補色カラーフィルタ13が受光領域12Aの各画素位置に対応するよう配置されている。カラーフィルタ13は、色要素Cy、Ye、Mg、GからなるブロックBを1つの単位として規則的に並べることによって構成されている。ここでは、電荷転送方式としてインタライン転送方式が適用されており、受光領域12A上の画素(色要素)はインタライン転送方式に従って配列されている。   The light reflected from the observation region S reaches the light receiving region 12A of the CCD 12, and an optical image of the observation region S is thereby formed in the light receiving region 12A of the CCD 12. In the present embodiment, a single-plate simultaneous type is applied as a color imaging method, and yellow (Ye), cyan (Cy), magenta (Mg), and green (G) color elements are present on the light receiving region 12A of the CCD 12. The complementary color filters 13 arranged in a checkered pattern are arranged so as to correspond to the respective pixel positions of the light receiving region 12A. The color filter 13 is configured by regularly arranging blocks B including color elements Cy, Ye, Mg, and G as one unit. Here, the interline transfer method is applied as the charge transfer method, and the pixels (color elements) on the light receiving region 12A are arranged according to the interline transfer method.

CCD12の受光領域12Aでは、観察部位Sの光学像が補色カラーフィルタ13の各色要素を通る色に応じた複数の画素信号から成る一連のアナログ画素信号に変換され、所定時間間隔ごとに1フレーム/1フィールド分の画像信号が読み出される。本実施形態では、カラーテレビジョン方式としてNTSC方式が適用されており、1/30秒間隔ごとに1フレーム(1/60秒間隔ごとに1フィールド)分の画像信号が順次読み出される。また、同時単板式として色差線順次方式が適用されており、垂直方向に沿った2画素を加算しながら読み出すとともに、奇数フィールドと偶数フィールドにおいて、隣接する走査ラインの組み合わせを交互に代えながら信号を読み出す。これにより、CCD12の垂直方向に沿った隣接する2画素が組み合わされた状態で、一連のアナログ画素信号G1+Y1、Mg1+Cy1、G2+Y2、Mg2+Cy2、・・がCCD12から出力される。CCD駆動回路17は、所定の周波数で一連のアナログが素信号を読み出すため、クロックパルス信号をCCD12へ出力する。   In the light receiving area 12A of the CCD 12, the optical image of the observation site S is converted into a series of analog pixel signals composed of a plurality of pixel signals corresponding to the colors passing through the color elements of the complementary color filter 13, and 1 frame / frame at a predetermined time interval. An image signal for one field is read out. In the present embodiment, the NTSC system is applied as the color television system, and image signals for one frame (one field every 1/60 second interval) are sequentially read out every 1/30 second interval. In addition, a color difference line sequential method is applied as a simultaneous single-plate type, and reading is performed while adding two pixels along the vertical direction, and signals are switched while alternately changing combinations of adjacent scanning lines in odd and even fields. read out. Thus, a series of analog pixel signals G1 + Y1, Mg1 + Cy1, G2 + Y2, Mg2 + Cy2,... Are output from the CCD 12 in a state where two adjacent pixels along the vertical direction of the CCD 12 are combined. The CCD drive circuit 17 outputs a clock pulse signal to the CCD 12 in order to read out a series of analog prime signals at a predetermined frequency.

読み出された一連のアナログ画素信号は、A/D変換回路14へ送られる。そして、周波数f(=14MHz)によるクロックパルス信号に従い、一連のアナログ画素信号が一連のデジタル画素信号に変換される。ここでは、各デジタル画素信号は、10ビットデータとして表される。一連のデジタル画素信号は、信号出力部24へ送られる。   A series of read analog pixel signals is sent to the A / D conversion circuit 14. A series of analog pixel signals are converted into a series of digital pixel signals in accordance with a clock pulse signal having a frequency f (= 14 MHz). Here, each digital pixel signal is represented as 10-bit data. A series of digital pixel signals is sent to the signal output unit 24.

信号出力部24では、A/D変換回路14から出力された一連のデジタル画素信号は2方向に分離され、画素遅延回路16を介してダウンサンプリング回路18へ入力されるとともに、そのままダウンサンプリング回路19へ送られる。画素遅延回路16では、一連のデジタル画素信号(以下では、第1の一連のデジタル画素信号という)に対し、CCD12の2画素分だけ遅延処理が施される。これにより、ダウンサンプリング19に入力された一連のデジタル画素信号(以下では、第2の一連のデジタル画素信号という)に対し、第1の一連のデジタル画素信号は2画素分(G+Y)だけずれている。   In the signal output unit 24, a series of digital pixel signals output from the A / D conversion circuit 14 are separated in two directions, input to the downsampling circuit 18 via the pixel delay circuit 16, and the downsampling circuit 19 as it is. Sent to. In the pixel delay circuit 16, a delay process is performed for two pixels of the CCD 12 with respect to a series of digital pixel signals (hereinafter referred to as a first series of digital pixel signals). As a result, the first series of digital pixel signals is shifted by two pixels (G + Y) with respect to the series of digital pixel signals (hereinafter referred to as the second series of digital pixel signals) input to the downsampling 19. Yes.

ダウンサンプリング回路18、19では、CCD12、A/D変換回路14に対する画素信号の読み出しクロック周波数(=f)に対し半分のクロック周波数(=f/2)に基づき、第1の一連のデジタル画素信号と第2の一連のデジタル画素信号に対してダウンサンプリング処理(間引き処理)が施される。ここでのダウンサンプリング回路18、19に対するサンプリングのタイミングは同期しており、第1の一連のデジタル画像信号は遅延処理回路16により2画素分ずれているため、色要素G,Yのみに応じた画素信号から構成される画素信号(以下では、第1の色要素対応デジタル画素信号(G1+Y1、G2+Y2、・・・)という)がダウンサンプリング回路18から出力される。一方、第2の一連のデジタル画素信号は、色要素Mg、Gのみに応じた画素信号からなる画素信号(以下では、第2の色要素対応デジタル画素信号(Mg1+Cy1、Mg2+Cy2、・・・)という)に変換され、ダウンサンプリング回路19より出力される。   In the downsampling circuits 18 and 19, the first series of digital pixel signals is based on a clock frequency (= f / 2) that is half of the readout clock frequency (= f) of the pixel signals for the CCD 12 and the A / D conversion circuit 14. And downsampling processing (thinning-out processing) is performed on the second series of digital pixel signals. Here, the sampling timings for the downsampling circuits 18 and 19 are synchronized, and the first series of digital image signals are shifted by two pixels by the delay processing circuit 16, so that only the color elements G and Y are used. A pixel signal composed of pixel signals (hereinafter referred to as first color element-corresponding digital pixel signals (G1 + Y1, G2 + Y2,...)) Is output from the downsampling circuit 18. On the other hand, the second series of digital pixel signals is referred to as a pixel signal composed of pixel signals corresponding to only the color elements Mg and G (hereinafter referred to as second color element corresponding digital pixel signals (Mg1 + Cy1, Mg2 + Cy2,...)). ) And output from the downsampling circuit 19.

第1、第2の色要素対応デジタル画素信号は、それぞれシリアル変換回路20、22において、パラレル信号からシリアル信号に変換される。シリアル変換された第1および、第2の画像信号は、それぞれプロセッサ10内のシリアル−パラレル変換回路42、44へ向けてビデオスコープ10から出力される。なお、メモリ15にはビデオスコープ10の特性に関する様々なデータが記憶されており、プロセッサ40に接続されるとデータが読み出される。   The first and second color element-corresponding digital pixel signals are converted from parallel signals to serial signals in serial conversion circuits 20 and 22, respectively. The first and second image signals subjected to serial conversion are output from the video scope 10 toward serial-parallel conversion circuits 42 and 44 in the processor 10, respectively. The memory 15 stores various data relating to the characteristics of the video scope 10, and the data is read out when connected to the processor 40.

プロセッサ40に送られた第1、第2の色要素対応デジタル画素信号は、シリアル−パラレル変換回路42、44において、それぞれシリアル信号からパラレル信号に変換され、それぞれ加算回路46、減算回路48へ送られる。加算回路46では、第1、第2の色要素対応デジタル画素信号が加算されることにより、輝度信号Y(=G+Y+Mg+Cy)が生成される。一方、減算回路48では、第1、第2の色要素対応デジタル画素信号が走査フィールド(偶数フィールド/奇数フィールド)に従って減算される。これにより、赤色(R)に応じたn番目の走査線における色信号Cr(=(Mg+Ye)−(G+Cy))と青色に応じた色信号Cb(=(Mg+Cy)−(G+Ye))とが生成される。   The digital pixel signals corresponding to the first and second color elements sent to the processor 40 are converted from serial signals to parallel signals in the serial-parallel conversion circuits 42 and 44, respectively, and sent to the addition circuit 46 and the subtraction circuit 48, respectively. It is done. In the adding circuit 46, the luminance signal Y (= G + Y + Mg + Cy) is generated by adding the first and second color element corresponding digital pixel signals. On the other hand, in the subtracting circuit 48, the first and second color element corresponding digital pixel signals are subtracted according to the scanning field (even field / odd field). Thereby, the color signal Cr (= (Mg + Ye) − (G + Cy)) and the color signal Cb (= (Mg + Cy) − (G + Ye)) corresponding to blue are generated in the nth scanning line corresponding to red (R). Is done.

色信号Cb、Crは、1ライン遅延回路50を介してRGB変換回路52へ送られるとともに、そのままRGB変換回路52へ送られる。そして、RGB変換回路52では、輝度信号Y、色差信号Cb,Crに基づいて原色信号(R,G,B)が生成される。R,G,B信号はそれぞれR,G,Bメモリ54、56、58へ格納された後、輝度・色差(Y、R−Y、B−Y)変換回路60に送られる。   The color signals Cb and Cr are sent to the RGB conversion circuit 52 through the one-line delay circuit 50 and are sent to the RGB conversion circuit 52 as they are. The RGB conversion circuit 52 generates primary color signals (R, G, B) based on the luminance signal Y and the color difference signals Cb, Cr. The R, G, and B signals are stored in R, G, and B memories 54, 56, and 58, respectively, and then sent to a luminance / color difference (Y, RY, BY) conversion circuit 60.

輝度・色差変換回路60では、送られてきたR,G、B信号に基づいて輝度信号Y、色差信号(R−Y、B−Y)が生成される。そして、輝度、色差信号は、D/A変換回路62においてアナログ信号に変換された後、モニタ70へ出力される。これにより、観察画像がモニタ70に表示される。   In the luminance / color difference conversion circuit 60, a luminance signal Y and color difference signals (RY, BY) are generated based on the transmitted R, G, B signals. The luminance and color difference signals are converted into analog signals by the D / A conversion circuit 62 and then output to the monitor 70. As a result, the observation image is displayed on the monitor 70.

パルスジェネレータ45は、CCD駆動回路17、ダウンサンプリング回路18、19へデジタル画素信号を所定の周波数で読み出すための信号を出力する。   The pulse generator 45 outputs a signal for reading out the digital pixel signal at a predetermined frequency to the CCD driving circuit 17 and the downsampling circuits 18 and 19.

プロセッサ10では、ビデオスコープ10から送られてきたデジタル画素信号に基づき、ホワイトバランスや輪郭強調など色再現性に関する色調整処理が可能であり、ユーザがプロセッサ40に接続されるキーボード(図示せず)を操作することにより、CPU64からR,G,B変換回路52、輝度・色差変換回路60へ制御信号が送られる。R,G,B変換回路52、輝度・色差変換回路60では、生成される原色信号あるいは輝度・色差信号に対し、色調整に関する処理が行われる。   The processor 10 can perform color adjustment processing relating to color reproducibility such as white balance and edge enhancement based on the digital pixel signal sent from the video scope 10, and a keyboard (not shown) connected to the processor 40 by the user. , A control signal is sent from the CPU 64 to the R, G, B conversion circuit 52 and the luminance / color difference conversion circuit 60. In the R, G, B conversion circuit 52 and the luminance / color difference conversion circuit 60, processing relating to color adjustment is performed on the generated primary color signal or luminance / color difference signal.

以上のように本実施形態によれば、色フィルタ13を配設したCCD12を有するビデオスコープ10内に、A/D変換器14、画素遅延回路16、ダウンサンプリング回路18、19を備えた信号出力部24とが備えられている。A/D変換器14から所定の周波数fで出力される一連のデジタル画素信号は、色要素(G+Y)に応じた画素信号から構成される第1の色要素対応デジタル画素信号と、色要素(Mg+Cy)に応じた画素信号から構成される第2の色要素対応デジタル画素信号とに分離され、f/2に応じた伝送レートに従い、分離された状態でそのまま2系統の信号線を介してプロセッサ40へ出力される。   As described above, according to the present embodiment, the signal output including the A / D converter 14, the pixel delay circuit 16, and the downsampling circuits 18 and 19 in the video scope 10 having the CCD 12 provided with the color filter 13. Part 24. A series of digital pixel signals output from the A / D converter 14 at a predetermined frequency f includes a first color element corresponding digital pixel signal composed of pixel signals corresponding to the color element (G + Y), and a color element ( The second color element-corresponding digital pixel signal composed of pixel signals according to (Mg + Cy), and in accordance with the transmission rate according to f / 2, the processor is directly separated via two signal lines. 40.

ビデオスコープ10内には、画素遅延させる回路と、ダウンサンプリング処理回路を設けるだけでよいため、スコープ側の信号処理回路の構成を簡素化することができる。また、プロセッサにおいても画素遅延回路とダウンサンプリング回路を設ける必要がない。   Since it is only necessary to provide a pixel delay circuit and a downsampling processing circuit in the video scope 10, the configuration of the scope-side signal processing circuit can be simplified. Further, it is not necessary to provide a pixel delay circuit and a downsampling circuit in the processor.

プロセッサ40側で色調整ができるため、接続されるビデオスコープの種類が異なる場合においても、好みに応じた色で被写体像を表示することができる。また、アナログ画素信号ではなくデジタル画素信号がプロセッサ40へ出力されるため、画質劣化の生じていない状態で色調整を行うことができる。   Since color adjustment can be performed on the processor 40 side, a subject image can be displayed in a color according to preference even when the types of connected video scopes are different. In addition, since a digital pixel signal, not an analog pixel signal, is output to the processor 40, color adjustment can be performed in a state where no image quality deterioration has occurred.

デジタル画素信号を分離するとともに、伝送レートを下げてデジタル画素信号をプロセッサ40へ出力するため、ノイズ発生を抑えることができる。また、CCD12の画素数に影響を受けることなく、安定した伝送レートでデジタル画素信号を出力することができる。特に、シリアルデータを並列的に転送するため、信号線の減少によってノイズ発生を低下させるとともに、一定の伝送レートでデジタル画素信号を出力することができる。   Since the digital pixel signal is separated and the transmission rate is lowered and the digital pixel signal is output to the processor 40, noise generation can be suppressed. In addition, a digital pixel signal can be output at a stable transmission rate without being affected by the number of pixels of the CCD 12. In particular, since serial data is transferred in parallel, noise generation can be reduced by reducing the number of signal lines, and a digital pixel signal can be output at a constant transmission rate.

本実施形態では、色差線順次方式が適用されているが、それ以外の画素読み出し方法を適用してもよい。また、色フィルタも、補色フィルタの代わりに原色フィルタを適用してもよい。すなわち、複数の色要素が規則的に配列されるフィルタを用いればよい。   In this embodiment, the color difference line sequential method is applied, but other pixel readout methods may be applied. In addition, a primary color filter may be applied to the color filter instead of the complementary color filter. That is, a filter in which a plurality of color elements are regularly arranged may be used.

シリアル伝送せずに、パラレル信号のままプロセッサ40へ出力してもよい。また、画素遅延回路、ダウンサイジング回路以外の構成で、デジタル画素信号を分離、出力タイミング調整を行っても良い。   Instead of serial transmission, the parallel signal may be output to the processor 40. Further, the digital pixel signal may be separated and the output timing adjusted by a configuration other than the pixel delay circuit and the downsizing circuit.

本実施形態である電子内視鏡装置におけるビデオスコープのブロック図である。It is a block diagram of the video scope in the electronic endoscope apparatus which is this embodiment. 電子内視鏡装置におけるプロセッサのブロック図である。It is a block diagram of the processor in an electronic endoscope apparatus.

符号の説明Explanation of symbols

10 ビデオスコープ
12 CCD(撮像素子)
13 カラーフィルタ
14 A/D変換回路(デジタル変換手段)
16 画素遅延回路
17 CCD駆動回路 (信号読み出し手段)
18、19 ダウンサンプリング回路
24 信号出力部(デジタル画素信号出力手段)
40 プロセッサ

10 Videoscope 12 CCD (Image sensor)
13 Color filter 14 A / D conversion circuit (digital conversion means)
16 pixel delay circuit 17 CCD drive circuit (signal readout means)
18, 19 Downsampling circuit 24 Signal output unit (digital pixel signal output means)
40 processor

Claims (8)

カラー映像信号に関連した複数の色要素を画素の位置に応じて規則的に配列することによって構成される色フィルタが配設された撮像素子と、
複数の色要素に応じた画素信号から構成される一連のアナログ画素信号を、前記撮像素子から読み出す信号読み出し手段と、
前記一連のアナログ画素信号を、所定の周波数によるクロックパルス信号に従い、一連のデジタル画素信号に変換するデジタル変換手段と、
前記一連のデジタル画素信号に基づき、所定の色要素ごとに画素信号を分離することで複数の色要素対応デジタル画素信号を生成し、前記所定の周波数より低い周波数によるクロックパルス信号に従い、前記複数の色要素対応デジタル画素信号を分離した状態でそのまま外部へ出力させるデジタル画素信号出力手段と
を備えたことを特徴とする電子内視鏡装置のビデオスコープ。
An image sensor provided with a color filter configured by regularly arranging a plurality of color elements related to a color video signal according to the position of a pixel;
A signal readout means for reading out a series of analog pixel signals composed of pixel signals corresponding to a plurality of color elements from the imaging device;
Digital conversion means for converting the series of analog pixel signals into a series of digital pixel signals according to a clock pulse signal having a predetermined frequency;
Based on the series of digital pixel signals, a plurality of color element corresponding digital pixel signals are generated by separating the pixel signals for each predetermined color element, and the plurality of color element corresponding digital pixel signals are generated according to a clock pulse signal having a frequency lower than the predetermined frequency. A video scope of an electronic endoscope apparatus, comprising: a digital pixel signal output unit that outputs a digital pixel signal corresponding to a color element to the outside in a separated state.
前記デジタル画素信号出力手段が、
前記一連のデジタル画素信号を所定画素分だけ遅延させる画素遅延手段と、
前記一連のデジタル画素信号に対してダウンサンプリングする間引き処理手段と
を備えたことを特徴とする請求項1に記載の電子内視鏡装置のビデオスコープ。
The digital pixel signal output means comprises:
Pixel delay means for delaying the series of digital pixel signals by a predetermined pixel;
The videoscope of the electronic endoscope apparatus according to claim 1, further comprising: a thinning processing unit that downsamples the series of digital pixel signals.
前記一連のデジタル画素信号の各画素信号がパラレル信号であり、
前記デジタル画素信号出力手段が、前記複数の色要素対応デジタル画素信号を、パラレル信号からシリアル信号へ変換するパラレル/シリアル変換手段をさらに有することを特徴とする請求項1に記載の電子内視鏡装置のビデオスコープ。
Each pixel signal of the series of digital pixel signals is a parallel signal,
2. The electronic endoscope according to claim 1, wherein the digital pixel signal output means further includes parallel / serial conversion means for converting the plurality of color element corresponding digital pixel signals from parallel signals to serial signals. Equipment videoscope.
前記信号読み出し手段が、単板同時式の色差線順次方式に従って一連のデジタル画素信号を読み出し、
前記色フィルタが、色差線順次方式に従い、4つの色要素であるシアン、マゼンタ、グリーン、イエローから成るブロックを規則的に配列することにより構成されることを特徴とする請求項1に記載の電子内視鏡装置のビデオスコープ。
The signal reading means reads a series of digital pixel signals according to a single-plate simultaneous color difference line sequential method,
2. The electron according to claim 1, wherein the color filter is configured by regularly arranging blocks composed of four color elements, cyan, magenta, green, and yellow, according to a color difference line sequential method. Endoscope videoscope.
前記デジタル画素信号出力手段が、前記一連のデジタル画素信号を、それぞれ同じ数の色要素に応じた画素信号から構成される第1の画素信号と第2の画素信号とに分離し、2つの伝送経路で外部へ出力することを特徴とする請求項1に記載の電子内視鏡装置のビデオスコープ。   The digital pixel signal output means separates the series of digital pixel signals into a first pixel signal and a second pixel signal each composed of pixel signals corresponding to the same number of color elements, and two transmissions The videoscope of the electronic endoscope apparatus according to claim 1, wherein the videoscope is output to the outside through a route. 前記間引き処理手段が、前記所定の周波数の1/2の周波数に従ってダウンサンプリング処理することを特徴とする請求項2に記載の電子内視鏡装置のビデオスコープ。The video scope of the electronic endoscope apparatus according to claim 2, wherein the thinning-out processing unit performs down-sampling processing according to a half frequency of the predetermined frequency. 電子内視鏡装置のビデオスコープのデジタル画素信号出力動作方法であって、
信号読み出し手段が、複数の色要素に応じた画素信号から構成される一連のアナログ画素信号を、カラー映像信号に関連した複数の色要素を画素の位置に応じて規則的に配列することによって構成される色フィルタが配設された撮像素子から読み出す工程
デジタル変換手段が、前記一連のアナログ画素信号を、所定の周波数によるクロックパルス信号に従い、一連のデジタル画素信号に変換する工程
デジタル画素信号出力手段が、前記一連のデジタル画素信号に基づき、所定の色要素ごとに画素信号を分離することで複数の色要素対応デジタル画素信号を生成し、前記所定の周波数より低い周波数によるクロックパルス信号に従い、前記複数の色要素対応デジタル画素信号を分離した状態でそのまま外部へ出力させる工程、とを含むことを特徴とする電子内視鏡装置のビデオスコープデジタル画素信号出力動作方法。
A digital pixel signal output operation method of a video scope of an electronic endoscope apparatus,
The signal reading means is configured by regularly arranging a plurality of color elements related to the color video signal according to the position of the pixel, a series of analog pixel signals composed of pixel signals corresponding to the plurality of color elements process to read out from the image pickup element color filter is disposed to be,
Step digital conversion means, for converting said series of analog pixel signals in accordance with a clock pulse signal with a predetermined frequency, into a series of digital pixel signals,
A digital pixel signal output means generates a plurality of color element-corresponding digital pixel signals by separating the pixel signals for each predetermined color element based on the series of digital pixel signals, and a clock having a frequency lower than the predetermined frequency. according pulse signal, the step of directly outputted to the outside in a state of separation of the plurality of color elements corresponding digital pixel signals, capital digital pixel signal output operation method videoscope of an electronic endoscope apparatus which comprises a.
ビデオスコープとプロセッサとを備えた電子内視鏡装置であって、
前記ビデオスコープが、
カラー映像信号に関連した複数の色要素を画素の位置に応じて規則的に配列することによって構成される色フィルタが配設された撮像素子と、
複数の色要素に応じた画素信号から構成される一連のアナログ画素信号を、前記撮像素子から読み出す信号読み出し手段と、
前記一連のアナログ画素信号を、所定の周波数によるクロックパルス信号に従い、一連のデジタル画素信号に変換するデジタル変換手段と、
前記一連のデジタル画素信号に基づき、所定の色要素ごとに画素信号を分離することで複数の色要素対応デジタル画素信号を生成し、前記所定の周波数より低い周波数によるクロックパルス信号に従い、前記複数の色要素対応デジタル画素信号を分離した状態でそのまま外部へ出力させるデジタル画素信号出力手段とを備え、
前記プロセッサが、前記複数の色要素デジタル画素信号に基づき、カラー映像信号を生成する映像信号生成手段を備えたことを特徴とする電子内視鏡装置。
An electronic endoscope apparatus having a video scope and a processor,
The video scope is
An image sensor provided with a color filter configured by regularly arranging a plurality of color elements related to a color video signal according to the position of a pixel;
A signal readout means for reading out a series of analog pixel signals composed of pixel signals corresponding to a plurality of color elements from the imaging device;
Digital conversion means for converting the series of analog pixel signals into a series of digital pixel signals according to a clock pulse signal having a predetermined frequency;
Based on the series of digital pixel signals, a plurality of color element corresponding digital pixel signals are generated by separating the pixel signals for each predetermined color element, and the plurality of color element corresponding digital pixel signals are generated according to a clock pulse signal having a frequency lower than the predetermined frequency. Digital pixel signal output means for outputting the color element compatible digital pixel signal to the outside in a separated state, and
An electronic endoscope apparatus, wherein the processor includes video signal generation means for generating a color video signal based on the plurality of color element digital pixel signals.
JP2003426746A 2003-12-24 2003-12-24 Electronic endoscope device Expired - Fee Related JP4554920B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003426746A JP4554920B2 (en) 2003-12-24 2003-12-24 Electronic endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003426746A JP4554920B2 (en) 2003-12-24 2003-12-24 Electronic endoscope device

Publications (2)

Publication Number Publication Date
JP2005185305A JP2005185305A (en) 2005-07-14
JP4554920B2 true JP4554920B2 (en) 2010-09-29

Family

ID=34786191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003426746A Expired - Fee Related JP4554920B2 (en) 2003-12-24 2003-12-24 Electronic endoscope device

Country Status (1)

Country Link
JP (1) JP4554920B2 (en)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62253275A (en) * 1987-03-31 1987-11-05 Olympus Optical Co Ltd Endoscope with built-in solid-state image pickup element
JPH05176886A (en) * 1991-12-27 1993-07-20 Fuji Photo Optical Co Ltd Adaptor for electronic endoscope
JPH05228112A (en) * 1992-02-25 1993-09-07 Fuji Photo Optical Co Ltd Electronic endoscope system
JPH05236480A (en) * 1992-02-21 1993-09-10 Fuji Photo Optical Co Ltd Electronic endoscope device
JPH05316513A (en) * 1992-05-07 1993-11-26 Fuji Photo Optical Co Ltd Signal transmission circuit for electronic endoscope
JPH06315463A (en) * 1993-05-10 1994-11-15 Olympus Optical Co Ltd Electronic endoscope device
JPH08338954A (en) * 1995-06-13 1996-12-24 Fuji Photo Optical Co Ltd Signal processing circuit for image pickup device
JPH1085178A (en) * 1996-09-17 1998-04-07 Fuji Photo Optical Co Ltd Full picture element reading type electronic endoscope system
JP2000261821A (en) * 1999-03-09 2000-09-22 Fuji Photo Optical Co Ltd Electronic endoscope
JP2001215419A (en) * 2000-02-02 2001-08-10 Asahi Optical Co Ltd Electronic endoscope device
JP2002369798A (en) * 2001-06-15 2002-12-24 Pentax Corp Electronic endoscopic equipment performing hue adjusting processing and video scope for electronic endoscopic equipment
JP2003153859A (en) * 2001-11-21 2003-05-27 Pentax Corp Electronic endoscope
JP2005177374A (en) * 2003-12-24 2005-07-07 Pentax Corp Electronic endoscopic apparatus

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62253275A (en) * 1987-03-31 1987-11-05 Olympus Optical Co Ltd Endoscope with built-in solid-state image pickup element
JPH05176886A (en) * 1991-12-27 1993-07-20 Fuji Photo Optical Co Ltd Adaptor for electronic endoscope
JPH05236480A (en) * 1992-02-21 1993-09-10 Fuji Photo Optical Co Ltd Electronic endoscope device
JPH05228112A (en) * 1992-02-25 1993-09-07 Fuji Photo Optical Co Ltd Electronic endoscope system
JPH05316513A (en) * 1992-05-07 1993-11-26 Fuji Photo Optical Co Ltd Signal transmission circuit for electronic endoscope
JPH06315463A (en) * 1993-05-10 1994-11-15 Olympus Optical Co Ltd Electronic endoscope device
JPH08338954A (en) * 1995-06-13 1996-12-24 Fuji Photo Optical Co Ltd Signal processing circuit for image pickup device
JPH1085178A (en) * 1996-09-17 1998-04-07 Fuji Photo Optical Co Ltd Full picture element reading type electronic endoscope system
JP2000261821A (en) * 1999-03-09 2000-09-22 Fuji Photo Optical Co Ltd Electronic endoscope
JP2001215419A (en) * 2000-02-02 2001-08-10 Asahi Optical Co Ltd Electronic endoscope device
JP2002369798A (en) * 2001-06-15 2002-12-24 Pentax Corp Electronic endoscopic equipment performing hue adjusting processing and video scope for electronic endoscopic equipment
JP2003153859A (en) * 2001-11-21 2003-05-27 Pentax Corp Electronic endoscope
JP2005177374A (en) * 2003-12-24 2005-07-07 Pentax Corp Electronic endoscopic apparatus

Also Published As

Publication number Publication date
JP2005185305A (en) 2005-07-14

Similar Documents

Publication Publication Date Title
JP3268891B2 (en) Endoscope imaging device
US20100328485A1 (en) Imaging device, imaging module, electronic still camera, and electronic movie camera
EP2586359A1 (en) Endoscope device
JPH05277065A (en) Electronic endoscope apparatus
WO2006132154A1 (en) Endoscope image processing device
WO2009118799A1 (en) Imaging device, imaging module and imaging system
EP0813343B1 (en) Method for operating an image sensing device and image sensing device adopting the method
JP5362954B2 (en) Image processor
JP4575537B2 (en) Electronic endoscope device
JP5932173B2 (en) Solid-state imaging device and imaging method
US5793923A (en) Device for controlling number of pixels
JP2008199403A (en) Imaging apparatus, imaging method and integrated circuit
JP4475936B2 (en) Electronic endoscope device
US20040263645A1 (en) Sequential scan imaging device
JP4554920B2 (en) Electronic endoscope device
JP2000023046A (en) Image pickup device
JP7022544B2 (en) Image processing equipment and methods, and imaging equipment
JP4398159B2 (en) Imaging device
JP3909930B2 (en) Single plate color solid-state imaging device
CN207785129U (en) Endoscope
US6266101B1 (en) Y/C separator
JP3651477B2 (en) Image signal processing device
US7068314B1 (en) Image pickup apparatus which can eliminate a false color in the spatial frequency band during chromatic signal processing
US8243128B2 (en) Electronic endoscope
JP2008104767A (en) Electronic endoscope apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061115

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100622

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100715

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4554920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees