JP3527859B2 - Electronic endoscope device - Google Patents

Electronic endoscope device

Info

Publication number
JP3527859B2
JP3527859B2 JP00395499A JP395499A JP3527859B2 JP 3527859 B2 JP3527859 B2 JP 3527859B2 JP 00395499 A JP00395499 A JP 00395499A JP 395499 A JP395499 A JP 395499A JP 3527859 B2 JP3527859 B2 JP 3527859B2
Authority
JP
Japan
Prior art keywords
pixel
read
signal
image
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00395499A
Other languages
Japanese (ja)
Other versions
JP2000201889A (en
Inventor
充 樋口
Original Assignee
富士写真光機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士写真光機株式会社 filed Critical 富士写真光機株式会社
Priority to JP00395499A priority Critical patent/JP3527859B2/en
Priority to US09/479,601 priority patent/US6597390B1/en
Publication of JP2000201889A publication Critical patent/JP2000201889A/en
Application granted granted Critical
Publication of JP3527859B2 publication Critical patent/JP3527859B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は電子内視鏡装置、特
に従来の画素混合読出し方式に加え、全画素を読み出す
全画素読出し方式を選択的かつ容易に利用することがで
きる電子内視鏡装置の構成に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an electronic endoscope apparatus, and more particularly to an electronic endoscope apparatus capable of selectively and easily utilizing an all-pixel reading method for reading all pixels in addition to a conventional pixel-mixing reading method. Regarding the configuration of.

【0002】[0002]

【従来の技術】電子内視鏡装置において使用される固体
撮像素子、例えばCCD(Charge Coupled Device)で
は、光電変換素子により画素単位で蓄積される電荷を読
み出すことにより、画像信号(ビデオ信号)が得られる
ようになっている。このようなCCDで、同時式電子内
視鏡装置に使用されるものでは、その上面に画素単位で
Mg(マゼンタ)、Cy(シアン)、G(グリーン)、
Ye(イエロー)の色フィルタが配置され、これによっ
てカラー画像が形成される。
2. Description of the Related Art In a solid-state image pickup device used in an electronic endoscope apparatus, for example, a CCD (Charge Coupled Device), an image signal (video signal) is generated by reading charges accumulated in a pixel unit by a photoelectric conversion element. You can get it. In such a CCD used in a simultaneous electronic endoscope apparatus, Mg (magenta), Cy (cyan), G (green)
A color filter of Ye (yellow) is arranged to form a color image.

【0003】そして、従来の色差線順次混合読出し(画
素混合読出し)方式によれば、CCDから上下水平ライ
ンの画素の蓄積電荷が加算混合されて読み出され、これ
によって奇数フィールドと偶数フィールドのビデオ信号
が例えば1/60秒のタイミングで順次形成される。そ
の後、これらの奇数フィールド信号と偶数フィールド信
号は、インターレース走査されて1フレームの画像とし
て形成され、この画像がモニタ上に動画として表示され
る。更に、このような電子内視鏡装置では、操作部にフ
リーズスイッチが配置されており、このフリーズスイッ
チが押されたときには、そのときの静止画が形成、表示
される。
According to the conventional color-difference line-sequential mixed read (pixel mixed read) system, the accumulated charges of pixels on the upper and lower horizontal lines are added and mixed and read, whereby the video of the odd field and the even field is read. Signals are sequentially formed at a timing of 1/60 seconds, for example. Thereafter, the odd field signal and the even field signal are interlaced-scanned to form one frame image, and this image is displayed as a moving image on the monitor. Further, in such an electronic endoscope apparatus, a freeze switch is arranged in the operation section, and when the freeze switch is pressed, a still image at that time is formed and displayed.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、上記の
画素混合読出し方式においては、1フレーム画像を形成
するための奇数フィールド画像と偶数フィールド画像と
の間(2回の露光の間)に、1/60秒の時間のずれが
あり、この間に内視鏡自体のブレや被観察体の動き等が
あると、画質(解像度、色ずれ等)が低下するという問
題がある。
However, in the above-described pixel mixture read-out method, 1/1 is formed between the odd field image and the even field image for forming one frame image (between two exposures). If there is a time lag of 60 seconds and there is blurring of the endoscope itself, movement of the observed object, etc. during this time, there is a problem that the image quality (resolution, color misregistration, etc.) is degraded.

【0005】また、電子内視鏡装置では、信号の蓄積時
間を変える電子シャッタ機能が多く採用されており、こ
れによれば、近距離で明るい場所等において蓄積時間を
短くすれば画質の向上を図ることができる。しかし、上
記の1/60秒のタイムラグがあるため、静止画等にお
いては、蓄積時間を短くした効果が十分に享受できない
という不都合もある。
In addition, the electronic endoscope apparatus often employs an electronic shutter function for changing the signal accumulation time. According to this, if the accumulation time is shortened in a bright place at a short distance, the image quality is improved. Can be planned. However, since there is a time lag of 1/60 seconds as described above, there is also a disadvantage that the effect of shortening the accumulation time cannot be fully enjoyed in still images and the like.

【0006】本発明は上記問題点に鑑みてなされたもの
であり、その目的は、従来の画素混合読出し方式に代え
て、高画質の画像を得ることができる全画素読出し方式
を提案すると共に、使用者などの状況に応じてこれらの
方式を選択できる電子内視鏡装置を提供することにあ
る。
The present invention has been made in view of the above problems, and an object thereof is to propose an all-pixel reading method capable of obtaining a high-quality image instead of the conventional pixel-mixing reading method. An object of the present invention is to provide an electronic endoscope apparatus that can select one of these methods according to the situation of the user.

【0007】[0007]

【課題を解決するための手段】上記目的を達成するため
に、請求項1の発明に係る電子内視鏡装置は、撮像素子
から画素信号を上下水平ライン間で混合して読み出す画
素混合読出し方式の回路部と、所定の遮光期間を利用し
ながら上記撮像素子から全画素信号を読み出す全画素読
出し方式の回路部とのいずれか一方を標準で装着し、他
方を選択的に取付け可能に構成し、上記の選択的な取付
けが可能な回路部が存在するか否かを判別し、この回路
部の存在が検出された場合は当該回路部の方式の動作を
実行するように制御する制御回路を備えてなることを特
徴とする。請求項2に係る発明は、上記画素混合読出し
方式又は上記全画素読出し方式のいずれの方式が動作中
であるかを示す表示をモニタ画面上に付したことを特徴
とする。
In order to achieve the above object, the electronic endoscope apparatus according to the invention of claim 1 is a pixel mixture read-out method in which a pixel signal is mixed and read from an image sensor between upper and lower horizontal lines. Or a circuit part of an all-pixel readout system that reads out all pixel signals from the image pickup device while utilizing a predetermined light-shielding period, is mounted as standard, and the other can be selectively mounted. , A control circuit that determines whether or not there is a circuit section that can be selectively mounted, and controls the execution of the operation of the method of the circuit section when the presence of this circuit section is detected. It is characterized by being prepared. The invention according to claim 2 is characterized in that a display indicating which one of the pixel mixed read-out method and the all-pixel read-out method is in operation is provided on the monitor screen.

【0008】上記の構成によれば、例えば標準で画素混
合読出し方式回路基板が装着され、他方の全画素読出し
方式回路基板はコネクタ等で取付けが可能な状態とされ
る。そして、この全画素読出し方式回路基板の取付け状
態が制御回路で判別され、当該回路基板の存在が検出さ
れないときは、従来と同様の画素混合読出し方式で固体
撮像素子から2水平ラインの画素混合信号が読み出さ
れ、これに基づいて動画及び静止画が形成される。
According to the above construction, for example, the pixel mixed read-out type circuit board is mounted as a standard, and the other all-pixel read-out type circuit board can be attached by a connector or the like. Then, when the control circuit determines the mounting state of the all-pixels reading method circuit board and the presence of the circuit board is not detected, a pixel mixing signal of two horizontal lines is output from the solid-state image sensor by the pixel mixing reading method similar to the conventional one. Is read out, and a moving image and a still image are formed based on this.

【0009】一方、全画素読出し方式回路基板の存在が
検出されたときには、当該方式により固体撮像素子から
全画素の信号が読み出される。即ち、例えば、1/60
秒毎の期間(垂直同期期間)内での露光(露光時間は任
意)により蓄積された電荷につき、次の遮光期間(遮光
手段で遮光される)で例えば奇数ラインの信号を読み出
し、次の期間(露光期間)で偶数ラインの信号を読み出
すことにより、1回の露光で得られた全画素の信号を抽
出する。
On the other hand, when the presence of the all-pixel readout system circuit board is detected, the signals of all the pixels are read out from the solid-state image pickup device by the system. That is, for example, 1/60
For the charge accumulated by the exposure (exposure time is arbitrary) within the period of every second (vertical synchronization period), for example, an odd line signal is read during the next light-shielding period (shielded by the light-shielding means), and the next period is read. The signals of all the pixels obtained by one exposure are extracted by reading the signals of the even lines in the (exposure period).

【0010】そして、例えば上記の奇数ラインと偶数ラ
インの信号は、後に上下ライン同士で混合され、最終的
には従来と同様の混合信号とされて奇数フィールド及び
偶数フィールドの信号となり、これらの信号から動画が
形成される。一方、フリーズ信号に基づき静止画も表示
されるが、この全画素読出し方式では、1回の露光で得
られた画像データに基づいて静止画が形成されることに
なり、この静止画は上記画素混合読出し方式の場合と比
較して高画質となる。
Then, for example, the above-mentioned signals of the odd line and the even line are later mixed with each other in the upper and lower lines, and finally made into a mixed signal similar to the conventional one to become signals of an odd field and an even field. A video is formed from. On the other hand, although a still image is also displayed based on the freeze signal, in this all-pixel reading method, a still image is formed based on the image data obtained by one exposure, and this still image is the above-mentioned pixel. The image quality is higher than that of the mixed read method.

【0011】請求項の発明によれば、例えば全画素読
出し方式の動作中は”H”、画素混合読出し方式の動作
中は”L”がモニタ画面上に表示され、この文字表示で
動作方式が容易に確認できることになる。
According to the second aspect of the present invention, for example, "H" is displayed on the monitor screen during the operation of the all-pixel reading method, and "L" is displayed during the operation of the pixel-mixing reading method. Can be easily confirmed.

【0012】[0012]

【発明の実施の形態】図1には、実施形態の第1例であ
る電子内視鏡装置の回路構成が示され、図2には固体撮
像素子の色フィルタの構成と画素混合読出し方式及び全
画素読出し方式の両処理が示されている。図1の電子内
視鏡装置は、電子スコープの先端部に色フィルタを備え
たCCD11が設けられており、このCCD11の色フ
ィルタは、図2(A)に示されるように、画素単位で例
えば偶数ラインにMg(マゼンタ)、Cy(シアン)の
フィルタ、奇数ラインにG(グリーン)、Ye(イエロ
ー)のフィルタが交互に配置される。そして、カラー画
像処理においては、これらの色フィルタを介して得られ
た信号を混合演算することによりカラー画像信号が形成
される。
DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 shows a circuit configuration of an electronic endoscope apparatus which is a first example of the embodiment, and FIG. 2 shows a configuration of a color filter of a solid-state image pickup device, a pixel mixture read-out system, and Both processes of the all pixel reading method are shown. The electronic endoscope apparatus of FIG. 1 is provided with a CCD 11 provided with a color filter at the tip of an electronic scope, and the color filter of this CCD 11 is, for example, pixel by pixel as shown in FIG. Mg (magenta) and Cy (cyan) filters are arranged on even-numbered lines, and G (green) and Ye (yellow) filters are alternately arranged on odd-numbered lines. Then, in the color image processing, a color image signal is formed by performing a mixing operation on the signals obtained through these color filters.

【0013】このCCD11には、これを駆動するため
のCCD駆動回路12が接続され、この駆動回路12は
マイコン14によって制御されることにより、画素混合
読出し方式と全画素読出し方式の両方の駆動を行う。例
えば、全画素読出し方式の場合は、1回の露光でCCD
11に蓄積された全画素分の蓄積データを、奇数ライン
と偶数ラインに分けて読み出すための時間がずれた2種
類のパルス(P1,P2)を上記CCD駆動回路12から
供給し、これにより上記奇数ラインの信号と偶数ライン
の信号を別々に順次読み出す。一方、画素混合読出し方
式では1種類の読出しパルスを各ラインに与える。な
お、上記マイコン14は当該装置の統括制御を行うと共
に、上記の両方式で画像処理をするための切換え制御を
実行することになる。
A CCD drive circuit 12 for driving the CCD 11 is connected to the CCD 11. The drive circuit 12 is controlled by a microcomputer 14 to drive both the pixel mixed read system and the all pixel read system. To do. For example, in the case of the all-pixel reading method, the CCD can be exposed with one exposure.
The CCD driving circuit 12 supplies two types of pulses (P1, P2) with different time intervals for reading out the accumulated data for all pixels accumulated in 11 by dividing them into an odd line and an even line. The odd line signal and the even line signal are sequentially read separately. On the other hand, in the pixel mixed read method, one type of read pulse is applied to each line. It should be noted that the microcomputer 14 performs overall control of the apparatus and switching control for performing image processing by both of the above methods.

【0014】一方、上記CCD11には、アナログ信号
をデジタル変換するA/D変換器15が設けられ、この
A/D変換器15の後段に、aルートを介して画素混合
読出しモードと全画素読出しモードを切り換える方式切
換え器16、ビデオ信号に対し所定のカラー画像処理を
実行するデジタルシグナルプロセッサ(DVP)17が
設けられる。このDVP17は、内部にタイミングジェ
ネレータ(TG)を含み、例えばホワイトバランス、ガ
ンマ補正、輪郭補正、像位置の制御、拡大処理等等の各
種の処理を行う。
On the other hand, the CCD 11 is provided with an A / D converter 15 for converting an analog signal into a digital signal, and at the subsequent stage of the A / D converter 15, the pixel mixed read mode and all pixel read are performed via the a route. A mode switch 16 for switching modes and a digital signal processor (DVP) 17 for performing a predetermined color image processing on a video signal are provided. The DVP 17 includes a timing generator (TG) inside and performs various processes such as white balance, gamma correction, contour correction, image position control, and enlargement process.

【0015】このDVP17の後段には、奇数フィール
ドデータ及び偶数フィールドデータを記憶する第4メモ
リ18及び第5メモリ19、そして切替え回路20、D
/A変換器21が設けられる。標準の画素混合読出し方
式では、上記方式切換え器16がaルートを選択してお
り、このaルートを介して入力されるビデオ信号に基づ
き、上記の構成で動画と静止画を形成することになる。
In the subsequent stage of the DVP 17, a fourth memory 18 and a fifth memory 19 for storing odd field data and even field data, and a switching circuit 20, D
A / A converter 21 is provided. In the standard pixel mixed readout system, the system switching unit 16 selects the route a, and a moving image and a still image are formed with the above configuration based on the video signal input via the route a. .

【0016】また、電子内視鏡装置の光源部では、ラン
プ24、絞り25が設けられ、このランプ24の出力光
がライトガイド26によりスコープ先端まで導かれる。
上記ランプ24は、ランプ駆動回路27で点灯駆動さ
れ、上記絞り25は絞り制御回路28で制御されてお
り、この絞り制御回路28は輝度信号に基づき画面の明
るさが一定となるように絞り25の開口量を可変制御す
る。そして、当該例では、全画素読出し方式の処理のた
めに、上記絞り25とライトガイド26の入射端との間
に、例えば半円状板からなる遮光板30が配置され、こ
の遮光板30は遮光板制御回路31で回転駆動される。
この遮光板30と遮光板制御回路31は、全画素読出し
方式の実行時に、1/60秒毎のサイクルとなるフィー
ルドO/E信号の期間において交互に光を遮断し、1回
の露光で得られた全画素を読み出せるようにする。
A lamp 24 and a diaphragm 25 are provided in the light source section of the electronic endoscope apparatus, and the output light of the lamp 24 is guided to the distal end of the scope by a light guide 26.
The lamp 24 is turned on and driven by a lamp driving circuit 27, and the diaphragm 25 is controlled by a diaphragm control circuit 28. The diaphragm control circuit 28 controls the diaphragm 25 so that the brightness of the screen becomes constant based on the luminance signal. Variably control the opening amount of. In this example, a light shield plate 30 made of, for example, a semi-circular plate is arranged between the diaphragm 25 and the incident end of the light guide 26 for the processing of the all-pixel reading method. It is rotationally driven by the light shielding plate control circuit 31.
The shading plate 30 and the shading plate control circuit 31 alternately cut off the light during the period of the field O / E signal, which is a cycle of 1/60 seconds, when executing the all-pixel reading method, and obtains it by one exposure. All the read pixels can be read.

【0017】そうして、当該例では、図示されるように
既に全画素読出し方式回路基板33が取り付けられてい
るが、この回路基板33は、着脱自在となるコネクタ等
の一般的な接続手段により装置の所定の位置に取付け・
接続可能とされ、この取付けは選択的でかつ任意とな
る。この全画素読出し方式回路基板33には、例えば奇
数ラインの画像データを記憶する第1メモリ34、偶数
ラインの画像データを記憶する第2メモリ35、上記第
1メモリ34のデータをそのまま記憶し、読出しのタイ
ミングを1/60秒だけ遅らせるための位相調整用の第
3メモリ36、混合回路37、メモリ制御回路38を実
装する。
Thus, in this example, the all-pixel readout system circuit board 33 is already attached as shown in the figure, but this circuit board 33 is connected by a general connecting means such as a detachable connector. Mounted at a specified position on the device
It is connectable and this mounting is optional and optional. In this all-pixel readout system circuit board 33, for example, a first memory 34 for storing image data of odd lines, a second memory 35 for storing image data of even lines, and data of the first memory 34 are stored as they are, The third memory 36 for phase adjustment for delaying the read timing by 1/60 seconds, the mixing circuit 37, and the memory control circuit 38 are mounted.

【0018】即ち、CCD11で得られた全画素信号
は、奇数ラインのデータと偶数ラインのデータに分けら
れた状態で、それぞれのメモリ34,35に一旦格納さ
れ、第1メモリ34の奇数ラインデータは1/60秒遅
れて第2メモリ35の偶数ラインデータと同一位相にさ
れる。その後、次段の混合回路37では、第3メモリ
の奇数ラインの画素データと第2メモリ35の偶数ラ
インの画素データが加算混合され、上記の画素混合読出
し方式と同様の画素混合信号が形成される。
That is, all pixel signals obtained by the CCD 11 are temporarily stored in the respective memories 34 and 35 in a state of being divided into odd line data and even line data, and the odd line data of the first memory 34 are stored. Is delayed by 1/60 seconds and made to have the same phase as the even line data in the second memory 35. Then, in the mixing circuit 37 in the next stage, the third memory 3
The pixel data of the odd lines of 6 and the pixel data of the even lines of the second memory 35 are added and mixed to form a pixel mixed signal similar to the above-described pixel mixed read method.

【0019】このような全画素読出し方式回路基板33
は、その取付け状態が上記マイコン14により判別され
ることになる。例えば、非接続時におけるコネクタ等の
所定の端子の出力状態をLowとし、当該回路基板33が
取り付けられたとき、LowからHighの状態に切り換わる
ように設定することにより、全画素読出し方式回路基板
33の存在を検出することができる。そして、この回路
基板33の存在を確認した場合は、マイコン14は上記
方式切換え器16により信号ラインをaルートからbル
ートに切り換え(映像信号取込み時)、CCD駆動回路
12や遮光板制御回路31についても全画素読出し方式
の処理に切り換えることになる。なお、この電子内視鏡
装置では、スコープの操作部にフリーズスイッチが設け
られており、このフリーズスイッチからのフリーズ信号
をマイコン14が受け取ることにより、静止画形成動作
が実行される。
Such an all-pixel readout system circuit board 33
Will be discriminated by the microcomputer 14 in its mounting state. For example, by setting the output state of a predetermined terminal such as a connector when not connected to Low and setting the output state to switch from Low to High when the circuit board 33 is attached, the all-pixel readout method circuit board is set. The presence of 33 can be detected. When the presence of the circuit board 33 is confirmed, the microcomputer 14 switches the signal line from the route a to the route b (when the video signal is taken in) by the method switching device 16, and the CCD drive circuit 12 and the light shielding plate control circuit 31 As for the above, the process is switched to the all-pixel reading method. In addition, in this electronic endoscope apparatus, a freeze switch is provided in the operation portion of the scope, and the microcomputer 14 receives a freeze signal from the freeze switch to execute the still image forming operation.

【0020】第1例は以上の構成からなり、まず図2に
より、上記画素混合読出し方式と全画素読出し方式の処
理の相違を説明する。図2(A)に示されるように、画
素単位で色フィルタが設けられたCCD11では、走査
線数に対応して、0ラインからNラインまで水平ライン
が設けられ、この水平ラインの画素データを転送ライン
に転送して読み出すように構成される。そして、画素混
合読出し方式では、図2(B)に示されるように、CC
D11から直接、0ライン+1ライン,2ライン+3ラ
イン,4ライン+5ライン…の加算信号〔o(奇数ライ
ン)+e(偶数ライン)〕と、1ライン+2ライン,3
ライン+4ライン,5ライン+6ライン…の加算信号
〔(o+e)’〕が1期間(1/60秒)毎に交互に読
み出される(この両信号は異なる露光期間で得られ
る)。そして、これらの信号は、図2(D)に示される
ように、奇数(Odd)フィールドデータ及び偶数(E
ven)フィールドデータとして第4及び第5メモリ1
8,19に出力される。
The first example has the above-mentioned structure. First, referring to FIG. 2, the difference between the above-mentioned pixel mixture reading method and the all-pixel reading method will be described. As shown in FIG. 2A, in the CCD 11 provided with a color filter on a pixel-by-pixel basis, horizontal lines from 0 to N lines are provided corresponding to the number of scanning lines. It is configured to be transferred to the transfer line and read out. Then, in the pixel mixture reading method, as shown in FIG.
Directly from D11, an addition signal of 0 line + 1 line, 2 line + 3 line, 4 line + 5 line ... [O (odd line) + e (even line)] and 1 line + 2 line, 3 line
The added signals [(o + e) '] of lines +4 lines, 5 lines +6 lines, ... Are alternately read every one period (1/60 seconds) (these two signals are obtained in different exposure periods). Then, as shown in FIG. 2 (D), these signals have odd (Odd) field data and even (E) field data.
ven) fourth and fifth memories 1 as field data
It is output to 8 and 19.

【0021】一方、全画素読出し方式では、図2(C)
に示されるように、1回の露光で得られた全画素信号に
つき、1,3,5…の奇数ラインの信号(遮光期間)
と、0,2,4…の偶数ラインの信号(次の期間)が読
み出される。その後、混合回路37により、これらの奇
数ラインと偶数ラインの信号同士が図示の実線〔o+
e〕と点線〔(o+e)’〕のように加算され、最終的
には、図2(D)の奇数フィールドデータと偶数フィー
ルドデータとなって第4及び第5メモリ18,19に出
力される。
On the other hand, in the all-pixel reading method, FIG.
As shown in Fig. 5, for all pixel signals obtained by one exposure, signals of odd lines of 1, 3, 5 ... (Light-shielding period)
Then, the signals of the even lines of 0, 2, 4, ... (Next period) are read. Thereafter, the mixing circuit 37 causes the signals on the odd line and the even line to be connected to each other by a solid line [o +
e] and a dotted line [(o + e) '] are added, and finally, the odd field data and the even field data of FIG. 2D are output to the fourth and fifth memories 18 and 19. .

【0022】図3には、上記マイコン14での方式切換
え動作が示されており、図示されるように、ステップ1
01では全画素読出し方式回路基板33が存在するか否
かの判定が行われ、”NO”のときはステップ102に
て画素混合読出し方式の動作を実行し、”YES”のと
きはステップ103にて全画素読出し方式の動作を実行
する。
FIG. 3 shows a method switching operation in the microcomputer 14, and as shown in the figure, step 1
In 01, it is determined whether or not the all-pixel readout system circuit board 33 exists. If "NO", the operation of the pixel mixture readout system is executed in step 102, and if "YES", the process proceeds to step 103. Then, the operation of the all-pixel reading method is executed.

【0023】図4には、上記全画素読出し方式処理が実
行されている場合の黒レベル信号の抽出処理が示されて
おり、当該例では全画素読出し方式のときでも、オプテ
ィカルブラック信号についてはaルートを通して得られ
る黒レベル信号をクランプする。例えば、図4(A)の
ようなCCD11から出力された水平同期したビデオ信
号に対し、図4(B)のオプティカルブラックパルス
(OBP)が与えられるが、このパルスに基づいて図1
の方式切換え回路16を切換え動作させ、図4(C)に
示されるように、信号入力ルートをオプティカルブラッ
ク期間だけaルートに切り換えており、これによって静
止画表示後から動画表示へ戻る際の色再現性の悪化を防
止している。
FIG. 4 shows a black level signal extraction process in the case where the above-mentioned all-pixel reading system process is executed. In this example, even in the all-pixel reading system, the optical black signal is a. Clamp the black level signal obtained through the route. For example, the optical black pulse (OBP) of FIG. 4B is given to the horizontally synchronized video signal output from the CCD 11 as shown in FIG. 4A, and FIG.
4C, the signal input route is switched to the route a only during the optical black period, so that the color when returning from the still image display to the moving image display is displayed. Prevents deterioration of reproducibility.

【0024】即ち、全画素読出し方式における静止画の
形成処理では、第1及び第2メモリ34,35に格納さ
れた画像データを繰り返し読み出すので、次のデータの
書込みが禁止され、後段のDVP17では古いデータ
(数期間前のデータ)に基づいてクランプ処理が実行され
る。このため、静止画から動画へ移行する際に信号の黒
レベルが大きく変化することが生じ得る。当該例では、
カラー処理の基準である黒レベルの信号だけはaルート
を介して最新のものを入力することにより、動画移行時
の黒レベルの変動を抑制し、良好な色再現性が得られる
ようにしている。
That is, since the image data stored in the first and second memories 34 and 35 are repeatedly read in the still image forming process in the all-pixel reading method, the writing of the next data is prohibited, and the DVP 17 in the subsequent stage is prohibited. Old data
Clamp processing is executed based on (data of several years ago). Therefore, the black level of the signal may change significantly when the still image is changed to the moving image. In this example,
Only the black level signal, which is the reference for color processing, is input via the route a to suppress the fluctuation of the black level at the time of moving image to obtain good color reproducibility. .

【0025】次に、各方式での信号処理の動作を説明す
る。図5及び図6には、画素混合読出し方式(A方式)
の画像処理タイミングが示されており、上述したよう
に、上記全画素読出し方式回路基板33の存在が検出さ
れない場合は、画素混合読出し方式が実行される。図5
は、動画形成時の処理タイミングであり、図5(A)に
示されるように、画像処理では例えば1/60秒毎のフ
ィールドO(Odd)/E(Even)信号が用いられ
る。また、図5(B)のように、光源光はライトガイド2
6を介して常に与えられ、図5(C),(D)のよう
に、読出しパルスは同一のものとなる。
Next, the operation of signal processing in each system will be described. 5 and 6, the pixel mixed read-out method (method A) is shown.
The image processing timing is shown, and as described above, when the presence of the all-pixel readout system circuit board 33 is not detected, the pixel mixture readout system is executed. Figure 5
Is a processing timing at the time of forming a moving image, and as shown in FIG. 5A, in the image processing, for example, a field O (Odd) / E (Even) signal is used every 1/60 seconds. Further, as shown in FIG. 5B, the light source light is emitted from the light guide 2.
5 is always given through 6, and the read pulses are the same as shown in FIGS. 5 (C) and 5 (D).

【0026】そして、CCD11からは図2(B)で説
明した画素混合信号がaルートを介して出力され、図5
(E)のように、第4メモリ18には、O1のフィール
ド期間で蓄積された(o+e)1、O2の期間で蓄積され
た(o+e)2、O3の期間で蓄積された(o+e)3
… の混合信号が書き込まれ、第5メモリ19には、E
1のフィールド期間で蓄積された(o+e)1’、E2の
期間で蓄積された(o+e)2’、E3の期間で蓄積され
た(o+e)3’ … の混合信号(組合せラインが異
なるもの)が書き込まれる。その後、これらのビデオ信
号は、図(G),(H)に示されるように、1期間遅れ
て読み出され、これがモニタに出力されることによりモ
ニタ上に動画が表示される。
Then, the pixel mixture signal described in FIG. 2B is output from the CCD 11 through the route a, and
As in (E), in the fourth memory 18, (o + e) 1 accumulated in the field period of O 1 , (o + e) 2 accumulated in the period of O 2 , and (o + e) 3 accumulated in the period of O 3.
The mixed signal of ... Is written in the fifth memory 19 and E
Mixed signal of (o + e) 1 'accumulated during 1 field period, (o + e) 2 ' accumulated during E2 period, (o + e) 3 'accumulated during E3 period (different combination lines) Is written. Thereafter, these video signals are read out with a delay of one period as shown in FIGS. (G) and (H), and are output to the monitor to display a moving image on the monitor.

【0027】図6は、フリーズ信号に基づいて形成され
る静止画のタイミングであり、例えば図6(B)に示さ
れるタイミングでフリーズトリガーを出力したとする
と、図(C)のように、O1期間(図A)の露光で蓄積
された(o+e)1の混合信号が第4メモリ18に書き
込まれ、また、図(D)のように、次のE1期間の露光
で蓄積された(o+e)1’の混合信号が第5メモリ1
9に書き込まれ、その後のこれらのメモリ18,19へ
の書込みが禁止される。そして、これらのビデオ信号は
図(E),(F)に示されるように繰り返し読み出され
ることにより、モニタ上に静止画が表示される。
FIG. 6 shows the timing of a still image formed on the basis of the freeze signal. For example, if a freeze trigger is output at the timing shown in FIG. 6B, as shown in FIG. The (o + e) 1 mixed signal accumulated in the exposure of the period (FIG. A) is written in the fourth memory 18, and is accumulated (o + e) in the exposure of the next E 1 period as shown in FIG. mixing signals 1 'fifth memory 1
9 and the subsequent writing to these memories 18 and 19 is prohibited. Then, these video signals are repeatedly read as shown in FIGS. (E) and (F), so that a still image is displayed on the monitor.

【0028】図7乃至9には、全画素読出し方式(B方
式)の画像処理タイミングが示されており、上記全画素
読出し方式回路基板33の存在が検出された場合に、こ
の全画素読出し方式が上記マイコン14により実行され
る。図7及び図8は、動画形成時の処理タイミングであ
り、この場合は、図7(A)のフィールドO/E信号に
相応して図1の遮光板30が回転駆動されることによ
り、図7(B)のように、例えば奇数フィールド期間
(1/60秒)毎に光が出力される。また、図7(C)の
ような1/30秒毎の読出しパルスP1とこのパルスP1
と1期間ずれた、図7(D)の読出しパルスP2がCCD1
1に与えられる。
FIGS. 7 to 9 show the image processing timing of the all-pixel reading method (B method). When the presence of the all-pixel reading method circuit board 33 is detected, the all-pixel reading method is performed. Is executed by the microcomputer 14. 7 and 8 show processing timings when a moving image is formed. In this case, the light shielding plate 30 of FIG. 1 is rotationally driven according to the field O / E signal of FIG. 7B, light is output, for example, every odd field period (1/60 seconds). Further, as shown in FIG. 7C, a read pulse P1 for every 1/30 second and this pulse P1
The read pulse P2 in FIG.
Given to 1.

【0029】そうすると、CCD11からは図2(C)
で説明した奇数ラインと偶数ラインの信号がbルートを
介して入力され、図7(E)のように、第1メモリ34
には、O1のフィールド期間で蓄積されたo1、O2の期
間で蓄積されたo2、O3の期間で蓄積されたo3
の奇数ライン信号が書き込まれ、第2メモリ35には、
E1のフィールド期間で蓄積されたe1、E2の期間で蓄
積されたe2、E3の期間で蓄積されたe3 … の偶数
ラインの信号が書き込まれる。
Then, from the CCD 11 as shown in FIG.
The signals of the odd line and the even line described in 1) are input through the b route, and as shown in FIG.
, O 1 accumulated in the field period of O 1 , o 2 accumulated in the period of O 2 , o 3 accumulated in the period of O 3, ...
The odd line signal of is written in the second memory 35,
The even-line signals of e 1 accumulated in the field period of E 1 , e 2 accumulated in the period of E 2 , e 3 accumulated in the period of E 3, etc. are written.

【0030】そして、これらの奇数及び偶数ライン信号
は、図8(G),(H)のように2回ずつ読み出される
が、この図8(G)の点線の丸で示した読出し信号につ
いては、第3メモリ36へ書き込まれ、図8(I)のよ
うに、この第3メモリ36のビデオ信号も2回ずつ読み
出される。次に、この図8(H),(I)の信号は、混
合回路37で図2(C)のように画素混合され、図8
(J)のように、第4メモリ18には、o1+e1、o2
+e2、o3+e3 … の信号が書き込まれ、第5メモ
リ19には、(o1+e1)’、(o2+e2)’、(o3
+e3)’ … の信号が書き込まれる。その後、これ
らのビデオ信号は、図(L),(M)に示されるよう
に、1期間遅れて読み出され、これがモニタに出力され
ることによりモニタ上に動画が表示される。
These odd and even line signals are read out twice each as shown in FIGS. 8G and 8H. Regarding the read signal indicated by the dotted circle in FIG. 8G, , Is written in the third memory 36, and the video signal in the third memory 36 is also read twice each as shown in FIG. Next, the signals of FIGS. 8H and 8I are pixel-mixed by the mixing circuit 37 as shown in FIG.
As in (J), in the fourth memory 18, o 1 + e 1 , o 2
The signals + e 2 , o 3 + e 3 ... Are written, and the fifth memory 19 stores (o 1 + e 1 ) ′, (o 2 + e 2 ) ′, (o 3
+ E 3 ) '... signal is written. Thereafter, these video signals are read out with a delay of one period as shown in FIGS. (L) and (M), and are output to the monitor to display a moving image on the monitor.

【0031】図9は、フリーズ信号に基づいて形成され
る静止画のタイミングであり、例えば図9(B)に示さ
れるタイミング(実線位置でも点線位置でもよい)でフ
リーズトリガーを出力したとすると、図9(C)のよう
に、O1期間の露光で蓄積されたo1の信号が第1メモリ
34に書き込まれ、その後の例えば3期間が書込み禁止
とされ、また、図9(D)のように、上記のO1期間の
露光で蓄積されたe1の信号が第2メモリ35に書き込
まれ、その後の例えば3期間が書込み禁止とされる。
FIG. 9 shows the timing of a still image formed based on the freeze signal. For example, if the freeze trigger is output at the timing shown in FIG. 9B (either the solid line position or the dotted line position), As shown in FIG. 9C, the signal o 1 accumulated by the exposure in the O 1 period is written in the first memory 34, and the write is prohibited for the subsequent 3 periods, for example, and as shown in FIG. 9D. Then, the signal of e 1 accumulated by the exposure in the O 1 period is written in the second memory 35, and the writing is prohibited in the subsequent 3 periods, for example.

【0032】そして、これらの信号は、図9(E),
(F),(G)のように、繰り返し読み出され、混合回
路37で加算混合される。次に、図9(H)のように、
第4メモリ18には、o1+e1の信号が書き込まれ、第
5メモリ19には、(o1+e1)’の信号が書き込ま
れ、その後は書込み禁止とされる。次に、これらのビデ
オ信号は、図(J),(K)に示されるように、1期間
遅れて繰り返し読み出されることにより、モニタ上に静
止画が表示される。
Then, these signals are shown in FIG.
As in (F) and (G), the data is repeatedly read and added and mixed in the mixing circuit 37. Next, as shown in FIG.
The signal of o 1 + e 1 is written in the fourth memory 18, the signal of (o 1 + e 1 ) ′ is written in the fifth memory 19, and the writing is prohibited thereafter. Next, as shown in FIGS. (J) and (K), these video signals are repeatedly read out with a delay of one period to display a still image on the monitor.

【0033】このような実施形態例の全画素読出し方式
では、1回の露光で得られた画素信号によって1枚の画
像を形成できるので、高画質となり、特に静止画での観
察において有用となる。また、黒レベル信号はaルート
を介して常に最新のものを入力するので、静止画表示後
であっても色再現性を良好に維持することが可能とな
る。
In the all-pixel reading method of the embodiment as described above, one image can be formed by the pixel signal obtained by one-time exposure, so that the image quality is high, and it is particularly useful in observing a still image. . Further, since the latest black level signal is always input via the route a, it is possible to maintain good color reproducibility even after displaying a still image.

【0034】図10及び11には、現在動作中の処理方
式をモニタ上に表示する第2例の構成が示されている。
この第2例は、上記第1例と同様の構成において図10
に示されるように、DVP17と第4及び第5メモリ1
8,19の間に、キャラクタジェネレータを含む文字混
合回路40を設けており、この文字混合回路40によっ
て、文字画像を映像信号に付加することができる。これ
によれば、図11に示されるように、モニタ41の画面
右上等に方式を示す文字等が表示され、当該例では、例
えば画素混合読出し方式がN、全画素読出し方式がHで
表される。なお、この表示は図柄等でもよい。
FIGS. 10 and 11 show the configuration of a second example in which the processing method currently in operation is displayed on the monitor.
This second example has the same configuration as the first example shown in FIG.
As shown in, the DVP 17 and the fourth and fifth memories 1
A character mixing circuit 40 including a character generator is provided between 8 and 19, and the character mixing circuit 40 can add a character image to a video signal. According to this, as shown in FIG. 11, characters or the like indicating the method are displayed on the upper right or the like of the screen of the monitor 41, and in this example, for example, the pixel mixture reading method is represented by N and the all pixel reading method is represented by H. It The display may be a design or the like.

【0035】上記実施形態例では、全画素読出し方式回
路基板33を選択的に取付け可能としたが、この回路基
板33を標準で装着し、逆に画素混合読出し方式の回路
基板を取付け可能にしてもよい。
In the above embodiment, the all-pixel read-out type circuit board 33 can be selectively attached. However, this circuit board 33 is mounted as a standard and, conversely, a pixel mixed read-out type circuit board can be attached. Good.

【0036】[0036]

【発明の効果】以上説明したように、本発明によれば、
画素混合読出し方式回路部と遮光期間を利用しながら撮
像素子から全画素信号を読み出す全画素読出し方式の回
路部とを選択的に取付け可能に構成すると共に、これら
の回路部が存在するか否かの判別を行い、例えば上記全
画素読出し方式回路部が存在する場合は当該方式の動作
を実行するようにしたので、従来の画素混合読出し方式
に代えて、全画素読出し方式を容易に利用することがで
き、また使用者は各種の状況を考慮して高画質画像を選
択することが可能となる。
As described above, according to the present invention,
The pixel mixture read-out circuit section and the all-pixel read-out circuit section for reading out all pixel signals from the image sensor while utilizing the light-shielding period are selectively attachable, and whether or not these circuit sections exist Therefore, if the above-mentioned all-pixel reading method circuit unit is present, the operation of the method is executed. Therefore, instead of the conventional pixel-mixing reading method, the all-pixel reading method can be easily used. In addition, the user can select a high quality image in consideration of various situations.

【0037】また、請求項2の発明によれば、現在の表
示画像が画素混合読出し方式又は全画素読出し方式のい
ずれの方式で得られたものであるかをモニタ画面上で容
易に確認できるという利点がある。
According to the second aspect of the present invention, it is possible to easily confirm on the monitor screen whether the current display image is obtained by the pixel mixture reading method or the all pixel reading method. There are advantages.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の実施形態の第1例に係る電子内視鏡装
置の回路構成を示すブロック図である。
FIG. 1 is a block diagram showing a circuit configuration of an electronic endoscope apparatus according to a first example of an embodiment of the present invention.

【図2】実施形態例におけるCCDの色フィルタ構造と
画素混合読出し方式及び全画素読出し方式の両処理を示
す説明図である。
FIG. 2 is an explanatory diagram showing a color filter structure of a CCD and both processes of a pixel mixed read system and an all pixel read system in the embodiment.

【図3】実施形態例のマイコンでの動作を示す図であ
る。
FIG. 3 is a diagram showing an operation in the microcomputer of the embodiment.

【図4】実施形態例での黒レベル信号の取込みの動作を
示す波形図である。
FIG. 4 is a waveform diagram showing an operation of capturing a black level signal in the embodiment.

【図5】実施形態例の画素混合読出し方式(A方式)に
おける動画形成時の動作を示す波形図である。
FIG. 5 is a waveform diagram showing an operation at the time of forming a moving image in the pixel mixed read method (method A) of the embodiment.

【図6】上記画素混合読出し方式(A方式)における静
止画形成時の動作を示す波形図である。
FIG. 6 is a waveform chart showing an operation at the time of forming a still image in the pixel mixture reading method (method A).

【図7】実施形態例の全画素読出し方式(B方式)おけ
る動画形成時の動作を示す波形図である。
FIG. 7 is a waveform diagram showing an operation at the time of forming a moving image in the all pixel reading method (B method) of the embodiment.

【図8】上記全画素読出し方式(B方式)の動画形成時
における図7の続きの動作を示す波形図である。
FIG. 8 is a waveform chart showing a continuation of the operation of FIG. 7 when forming a moving image in the all-pixel reading method (B method).

【図9】上記全画素読出し方式(B方式)における静止
画形成時の動作を示す波形図である。
FIG. 9 is a waveform chart showing an operation at the time of forming a still image in the all-pixel reading method (B method).

【図10】実施形態の第2例の回路構成を示すブロック
図である。
FIG. 10 is a block diagram showing a circuit configuration of a second example of the embodiment.

【図11】第2例におけるモニタ上の表示状態を示す図
である。
FIG. 11 is a diagram showing a display state on a monitor in the second example.

【符号の説明】[Explanation of symbols]

11 … CCD、 12 … CCD駆動回路、 14 … マイコン、 16 … 方式切換え回路、 18,19,34,35,36 … メモリ、 30 … 遮光板、 31 … 遮光板制御回路、 33 … 全画素読出し方式回路基板、 37 … 混合回路。 11 ... CCD, 12 ... CCD driving circuit, 14 ... Microcomputer, 16 ... system switching circuit, 18, 19, 34, 35, 36 ... Memory, 30 ... Light shield, 31 ... Light shield control circuit, 33 ... All pixel readout system circuit board, 37 ... Mixing circuit.

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 撮像素子から画素信号を上下水平ライン
間で混合して読み出す画素混合読出し方式の回路部と、 所定の遮光期間を利用しながら上記撮像素子から全画素
信号を読み出す全画素読出し方式の回路部とのいずれか
一方を標準で装着し、他方を選択的に取付け可能に構成
し、 上記の選択的な取付けが可能な回路部が存在するか否か
を判別し、この回路部の存在が検出された場合は当該回
路部の方式の動作を実行するように制御する制御回路を
備えてなる電子内視鏡装置。
1. A circuit unit of a pixel mixed read system for reading pixel signals from an image sensor by mixing them between upper and lower horizontal lines, and an all pixel read system for reading all pixel signals from the image sensor while utilizing a predetermined light-shielding period. One of the circuit parts is attached as a standard, and the other is configured to be selectively attachable, and it is determined whether or not the above-mentioned circuit part that can be selectively attached is present. An electronic endoscope apparatus comprising a control circuit for controlling the operation of the method of the circuit unit when the presence is detected.
【請求項2】 上記画素混合読出し方式又は上記全画素
読出し方式のいずれの方式が動作中であるかを示す表示
をモニタ画面上に付したことを特徴とする上記請求項1
記載の電子内視鏡装置。
2. The monitor screen is provided with a display indicating which one of the pixel mixed read-out method and the all-pixel read-out method is in operation.
The described electronic endoscope apparatus.
JP00395499A 1999-01-11 1999-01-11 Electronic endoscope device Expired - Fee Related JP3527859B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP00395499A JP3527859B2 (en) 1999-01-11 1999-01-11 Electronic endoscope device
US09/479,601 US6597390B1 (en) 1999-01-11 2000-01-07 Electronic endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00395499A JP3527859B2 (en) 1999-01-11 1999-01-11 Electronic endoscope device

Publications (2)

Publication Number Publication Date
JP2000201889A JP2000201889A (en) 2000-07-25
JP3527859B2 true JP3527859B2 (en) 2004-05-17

Family

ID=11571508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00395499A Expired - Fee Related JP3527859B2 (en) 1999-01-11 1999-01-11 Electronic endoscope device

Country Status (1)

Country Link
JP (1) JP3527859B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100916A (en) * 2007-10-23 2009-05-14 Hoya Corp Endoscopic system control unit and endoscopic system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100916A (en) * 2007-10-23 2009-05-14 Hoya Corp Endoscopic system control unit and endoscopic system

Also Published As

Publication number Publication date
JP2000201889A (en) 2000-07-25

Similar Documents

Publication Publication Date Title
US6489987B1 (en) Electronic endoscope apparatus
US6597390B1 (en) Electronic endoscope apparatus
JP2001086391A (en) Image pickup unit
US6734894B1 (en) Electronic-endoscope light quantity controlling apparatus
JP4061645B2 (en) Electronic camera
JP3527859B2 (en) Electronic endoscope device
JP3399454B2 (en) Digital camera, image processing method, and recording medium recording image photographing program
JPH11244232A (en) Electronic endoscope light quantity controller
JP3493127B2 (en) Electronic endoscope light intensity control device
JP3494569B2 (en) Electronic endoscope device
JP3738654B2 (en) Digital camera
JP2000299810A (en) Image pickup device
JP3621840B2 (en) Electronic endoscope device
JP4132435B2 (en) Video camera
JP4953759B2 (en) Electronic endoscope device
JP3836593B2 (en) Electronic endoscope device
JP3944926B2 (en) Camera device
JP3420930B2 (en) Electronic endoscope signal processing circuit
JP3984357B2 (en) Electronic endoscope light source device for setting light shielding period
JP4162288B2 (en) Electronic endoscope light quantity control device
JP3420929B2 (en) Electronic endoscope light intensity control device
JP3380459B2 (en) Electronic endoscope device
JP3678911B2 (en) Electronic endoscope device
JP3420931B2 (en) Electronic endoscope signal processing circuit
JP3678906B2 (en) Electronic endoscope exposure control device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040223

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090227

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110227

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees