JP3965174B2 - Endoscope device - Google Patents

Endoscope device Download PDF

Info

Publication number
JP3965174B2
JP3965174B2 JP2004256141A JP2004256141A JP3965174B2 JP 3965174 B2 JP3965174 B2 JP 3965174B2 JP 2004256141 A JP2004256141 A JP 2004256141A JP 2004256141 A JP2004256141 A JP 2004256141A JP 3965174 B2 JP3965174 B2 JP 3965174B2
Authority
JP
Japan
Prior art keywords
white balance
correction value
light
balance correction
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004256141A
Other languages
Japanese (ja)
Other versions
JP2006068321A (en
Inventor
和弘 後野
健二 山▲崎▼
睦巳 大島
正一 天野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004256141A priority Critical patent/JP3965174B2/en
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to PCT/JP2005/015671 priority patent/WO2006025334A1/en
Priority to CN2005800290535A priority patent/CN101010029B/en
Priority to KR1020087028399A priority patent/KR100961591B1/en
Priority to CN2010101170887A priority patent/CN101822525B/en
Priority to KR1020077004702A priority patent/KR100895160B1/en
Priority to DE602005026825T priority patent/DE602005026825D1/en
Priority to EP05775099A priority patent/EP1787577B1/en
Publication of JP2006068321A publication Critical patent/JP2006068321A/en
Priority to US11/711,846 priority patent/US8531512B2/en
Application granted granted Critical
Publication of JP3965174B2 publication Critical patent/JP3965174B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、生体組織の像を撮像し信号処理する内視鏡装置に関する。   The present invention relates to an endoscope apparatus that captures an image of a living tissue and performs signal processing.

従来より、照明光を照射し体腔内の内視鏡画像を得る内視鏡装置が広く用いられている。この種の内視鏡装置では、光源装置からの照明光を体腔内にライトガイド等を用い導光しその戻り光により被写体を撮像する撮像手段を有する電子内視鏡が用いられ、ビデオプロセッサにより撮像手段からの撮像信号を信号処理することにより観察モニタに内視鏡画像を表示し患部等の観察部位を観察するようになっている。   2. Description of the Related Art Conventionally, endoscope apparatuses that irradiate illumination light and obtain an endoscopic image in a body cavity have been widely used. In this type of endoscope apparatus, an electronic endoscope having an image pickup unit that guides illumination light from a light source device into a body cavity using a light guide or the like and picks up an image of a subject using the return light is used. An image signal from the imaging means is signal-processed to display an endoscopic image on an observation monitor and observe an observation site such as an affected area.

内視鏡装置において通常の生体組織観察を行う場合は、光源装置で可視光領域の白色光を発光し、例えばRGB等の回転フィルタを介することで面順次光を被写体に照射し、この面順次光による戻り光をビデオプロセッサで同時化し画像処理することでカラー画像を得たり、内視鏡の撮像手段の撮像面の前面にカラーチップを配し白色光による戻り光をカラーチップにてRGBに分離することで撮像しビデオプロセッサで画像処理することカラー画像を得ている。   When performing normal biological tissue observation in an endoscopic device, the light source device emits white light in the visible light region, and irradiates the subject with surface sequential light through a rotating filter such as RGB, for example. A color image is obtained by synchronizing and processing the return light from the light with a video processor, or a color chip is arranged in front of the imaging surface of the imaging means of the endoscope, and the return light from the white light is converted to RGB by the color chip. A color image is obtained by picking up an image by separation and processing the image with a video processor.

一方、生体組織では、照射される光の波長により光の吸収特性及び散乱特性が異なるため、例えば特開2002−95635号公報では、可視光領域の照明光を離散的な分光特性の狭帯域なRGB面順次光を生体組織に照射し、生体組織の所望の深部の組織情報を得る狭帯域光内視鏡装置が提案されている。
特開2002−95635号公報
On the other hand, in a living tissue, the light absorption characteristics and the scattering characteristics differ depending on the wavelength of the irradiated light. For example, in Japanese Patent Application Laid-Open No. 2002-95635, illumination light in the visible light region has a narrow spectral bandwidth. A narrow-band optical endoscope apparatus that irradiates a living tissue with RGB sequential light and obtains tissue information of a desired deep portion of the living tissue has been proposed.
JP 2002-95635 A

通常光観察においては、各種光学特性のばらつきを補正するために、ホワイトバランスを取得する。ホワイトバランスでは、R信号およびB信号に乗算する補正値が得られ、白色光観察時のRGB信号出力を揃えられる。これにより、前記ばらつきによる色調再現性への影響を抑える事ができる。   In normal light observation, white balance is acquired in order to correct variations in various optical characteristics. In the white balance, a correction value for multiplying the R signal and the B signal is obtained, and the RGB signal output during white light observation is made uniform. Thereby, the influence on the color tone reproducibility by the variation can be suppressed.

狭帯域光観察(NBI観察)でも、通常光観察同様に、検査開始前に、ホワイトバランスを取得する必要がある。これにより狭帯域光用光学フィルタのばらつきを補正でき、色調再現性が安定する。   In narrow-band light observation (NBI observation), it is necessary to acquire white balance before starting the inspection, as in normal light observation. As a result, variations in the optical filter for narrow band light can be corrected, and color tone reproducibility is stabilized.

従来、ホワイトバランスの取得では、通常光と狭帯域光の両方のホワイトバランス補正値が得られるまで、スコーブ先端をホワイトキャップ内に保持する必要があり、所要時間が長くなるため、操作ミスが生じ、適正な色調再現ができないといった可能性があった。   Conventionally, when acquiring white balance, it is necessary to hold the tip of the scrub in the white cap until the white balance correction values for both normal light and narrowband light are obtained. There was a possibility that proper color reproduction could not be achieved.

本発明は、上記事情に鑑みてなされたものであり、確実かつ短時間に通常光及び狭帯域光でのホワイトバランス処理を行うことのできる内視鏡装置を提供することを目的としている。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an endoscope apparatus capable of performing white balance processing with normal light and narrow band light reliably and in a short time.

本発明の内視鏡装置は、
可視光領域を含む照明光を供給する照明光供給手段と、前記照明光を被写体に照射し戻り光により前記被写体を撮像する撮像手段を有する内視鏡と、前記撮像手段からの撮像信号を信号処理する信号処理手段とを備えた内視鏡装置において、
前記照明光を離散した複数のバンド域の狭帯域光に制限して前記被写体に照射する帯域制限手段と、
前記照明光による前記被写体の撮像信号に対してホワイトバランス処理を行うホワイトバランス手段と
を有し、
前記ホワイトバランス手段は、
前記照明光に対する第1のホワイトバランス補正値を記憶する第1のホワイトバランス補正値記憶手段と、
前記第1のホワイトバランス補正値に基づいた前記狭帯域光に対する第2のホワイトバランス補正値を算出する補正値算出手段と、
前記補正値算出手段が算出した前記第2のホワイトバランス補正値を記憶する第2のホワイトバランス補正値記憶手段と
を備えて構成される。
The endoscope apparatus of the present invention is
An illumination light supply means for supplying illumination light including a visible light region, an endoscope having an imaging means for illuminating the subject with the illumination light and imaging the subject with return light, and an imaging signal from the imaging means In an endoscope apparatus provided with signal processing means for processing,
Band limiting means for limiting the illumination light to narrow band light of a plurality of discrete band areas and irradiating the subject,
White balance means for performing white balance processing on the imaging signal of the subject by the illumination light,
The white balance means is
First white balance correction value storage means for storing a first white balance correction value for the illumination light;
Correction value calculation means for calculating a second white balance correction value for the narrowband light based on the first white balance correction value;
And a second white balance correction value storage means for storing the second white balance correction value calculated by the correction value calculation means.

本発明によれば、確実かつ短時間に通常光及び狭帯域光でのホワイトバランス処理を行うことができるという効果がある。   According to the present invention, there is an effect that white balance processing with normal light and narrowband light can be performed reliably and in a short time.

以下、図面を参照しながら本発明の実施例について述べる。   Embodiments of the present invention will be described below with reference to the drawings.

図1ないし図19は本発明の実施例1に係わり、図1は内視鏡装置の構成を示す構成図、図2は図1の回転フィルタの構成を示す構成図、図3は図2の回転フィルタの第1のフィルタ組の分光特性を示す図、図4は図2の回転フィルタの第2のフィルタ組の分光特性を示す図、図5は図1の内視鏡装置により観察する生体組織の層方向構造を示す図、図6は図1の内視鏡装置からの照明光の生体組織の層方向への到達状態を説明する図、図7は図3の第1のフィルタ組を透過した面順次光による各バンド画像を示す第1の図、図8は図3の第1のフィルタ組を透過した面順次光による各バンド画像を示す第2の図、図9は図3の第1のフィルタ組を透過した面順次光による各バンド画像を示す第3の図、図10は図4の第2のフィルタ組を透過した面順次光による各バンド画像を示す第1の図、図11は図4の第2のフィルタ組を透過した面順次光による各バンド画像を示す第2の図、図12は図4の第2のフィルタ組を透過した面順次光による各バンド画像を示す第3の図、図13は図1のホワイトバランス回路の構成を示すブロック図、図14は図13のホワイトバランス回路の変形例の構成を示すブロック図、図15は図1の内視鏡装置の第1の変形例の構成を示す構成図、図16は図15のホワイトバランス回路の構成を示すブロック図、図17は図1の内視鏡装置の第2の変形例の構成を示す構成図、図18は図17のホワイトバランス回路の構成を示すブロック図、図19は図17のホワイトバランス回路の変形例の構成を示すブロック図である。   1 to 19 relate to the first embodiment of the present invention, FIG. 1 is a configuration diagram showing the configuration of the endoscope apparatus, FIG. 2 is a configuration diagram showing the configuration of the rotary filter of FIG. 1, and FIG. FIG. 4 is a diagram showing the spectral characteristics of the second filter set of the rotary filter of FIG. 2, FIG. 5 is a diagram showing the spectral characteristics of the first filter set of the rotary filter, and FIG. FIG. 6 is a diagram illustrating a layer direction structure of a tissue, FIG. 6 is a diagram illustrating a state in which illumination light from the endoscope apparatus of FIG. 1 reaches a biological tissue in a layer direction, and FIG. FIG. 8 is a second diagram showing each band image by the surface sequential light transmitted through the first filter set in FIG. 3, and FIG. 9 is a diagram in FIG. FIG. 10 is a third view showing each band image by the surface sequential light that has passed through the first filter set, and FIG. 10 shows the second filter set in FIG. FIG. 11 is a second diagram showing each band image by plane sequential light transmitted through the second filter set of FIG. 4, and FIG. 12 is a diagram of FIG. FIG. 13 is a block diagram showing the configuration of the white balance circuit of FIG. 1, and FIG. 14 is a modified example of the white balance circuit of FIG. FIG. 15 is a block diagram showing the configuration of the first modification of the endoscope apparatus of FIG. 1, FIG. 16 is a block diagram showing the configuration of the white balance circuit of FIG. 15, and FIG. FIG. 18 is a block diagram showing the configuration of the white balance circuit of FIG. 17, and FIG. 19 shows the configuration of a modification of the white balance circuit of FIG. It is a block diagram.

図1に示すように、本実施の形態の内視鏡装置1は、体腔内に挿入し体腔内組織を撮像する撮像手段としてCCD2を有する電子内視鏡3と、電子内視鏡3に照明光を供給する光源装置4と、電子内視鏡3のCCD2からの撮像信号を信号処理して内視鏡画像を観察モニタ5に表示したり内視鏡画像を符号化して圧縮画像として画像ファイリング装置6に出力するビデオプロセッサ7とから構成される。   As shown in FIG. 1, an endoscope apparatus 1 according to the present embodiment includes an electronic endoscope 3 having a CCD 2 as an imaging unit that is inserted into a body cavity and images tissue in the body cavity, and illuminates the electronic endoscope 3. Signal processing is performed on the image pickup signal from the light source device 4 that supplies light and the CCD 2 of the electronic endoscope 3 to display an endoscopic image on the observation monitor 5, or the endoscopic image is encoded and image filing as a compressed image. And a video processor 7 for outputting to the apparatus 6.

光源装置4は、照明光を発光するキセノンランプ11と、白色光の熱線を遮断する熱線カットフィルタ12と、熱線カットフィルタ12を介した白色光の光量を制御する絞り装置13と、照明光を面順次光にする回転フィルタ14と、電子内視鏡3内に配設されたライトガイド15の入射面に回転フィルタ14を介した面順次光を集光させる集光レンズ16と、回転フィルタ14の回転を制御する制御回路17とを備えて構成される。   The light source device 4 includes a xenon lamp 11 that emits illumination light, a heat ray cut filter 12 that blocks heat rays of white light, a diaphragm device 13 that controls the amount of white light that passes through the heat ray cut filter 12, and illumination light. A rotation filter 14 for converting the surface sequential light, a condensing lens 16 for condensing the surface sequential light via the rotation filter 14 on the incident surface of the light guide 15 disposed in the electronic endoscope 3, and the rotation filter 14. And a control circuit 17 for controlling the rotation of the motor.

回転フィルタ14は、図2に示すように、円盤状に構成され中心を回転軸とした2重構造となっており、外側の径部分には図3に示すような色再現に適したオーバーラップした分光特性の面順次光を出力するための第1のフィルタ組を構成するR1フィルタ部14r1,G1フィルタ部14g1,B1フィルタ部14b1が配置され、内側の径部分には図4に示すような所望の深層組織情報が抽出可能な離散的な分光特性の狭帯域な面順次光を出力するための第2のフィルタ組を構成するG2フィルタ部14g2,B2フィルタ部14b2、R2フィルタ14r2が配置されている。 As shown in FIG. 2, the rotary filter 14 is formed in a disk shape and has a double structure with the center as a rotation axis, and the outer diameter portion has an overlap suitable for color reproduction as shown in FIG. An R1 filter unit 14r1, a G1 filter unit 14g1, and a B1 filter unit 14b1 constituting a first filter set for outputting the surface sequential light having the spectral characteristics are arranged, and the inner diameter portion is as shown in FIG. A G2 filter unit 14g2, a B2 filter unit 14b2, and an R2 filter 14r2 constituting a second filter set for outputting narrow-band surface-sequential light having discrete spectral characteristics capable of extracting desired deep tissue information are arranged. ing.

そして、回転フィルタ14は、図1に示すように、制御回路17により回転フィルタモータ18の駆動制御がなされ回転され、また径方向の移動(回転フィルタ14の光路に垂直な移動であって、回転フィルタ14の第1のフィルタ組あるいは第2のフィルタ組を選択的に光路上に移動)が後述するビデオプロセッサ7の内のモード切替回路42からの制御信号によりモード切替モータ19によって行われる。   As shown in FIG. 1, the rotary filter 14 is rotated by the drive control of the rotary filter motor 18 by the control circuit 17, and is rotated in the radial direction (the movement perpendicular to the optical path of the rotary filter 14 is rotated. The first filter group or the second filter group of the filter 14 is selectively moved on the optical path) by the mode switching motor 19 in accordance with a control signal from a mode switching circuit 42 in the video processor 7 described later.

なお、キセノンランプ11、絞り装置13、回転フィルタモータ18及びモード切替モータ19には電源部10より電力が供給される。   Note that power is supplied from the power supply unit 10 to the xenon lamp 11, the diaphragm device 13, the rotary filter motor 18, and the mode switching motor 19.

ビデオプロセッサ7は、CCD2を駆動するCCD駆動回路20と、対物光学系21を介してCCD2により体腔内組織を撮像した撮像信号を増幅するアンプ22と、アンプ22を介した撮像信号に対して相関2重サンプリング及びノイズ除去等を行うプロセス回路23と、プロセス回路23を経た撮像信号をデジタル信号の画像データに変換するA/D変換器24と、A/D変換器24からの画像データにホワイトバランス処理を施すホワイトバランス回路(W.B.)25と、回転フィルタ14による面順次光を同時化するためのセレクタ26及び同時化メモリ27、28,29と、同時化メモリ27、28,29に格納された面順次光の各画像データを読み出しガンマ補正処理、輪郭強調処理、色処理等を行う画像処理回路30と、画像処理回路30からの画像データをアナログ信号に変換するD/A回路31,32,33と、画像処理回路30からの画像データを符号化する符号化回路34と、光源装置4の制御回路17からの回転フィルタ14の回転に同期した同期信号を入力し各種タイミング信号を上記各回路に出力するタイミングジェネレータ(T.G.)35とを備えて構成される。   The video processor 7 correlates with a CCD driving circuit 20 that drives the CCD 2, an amplifier 22 that amplifies an imaging signal obtained by imaging the body cavity tissue with the CCD 2 via the objective optical system 21, and an imaging signal that passes through the amplifier 22. A process circuit 23 that performs double sampling, noise removal, and the like, an A / D converter 24 that converts an imaging signal that has passed through the process circuit 23 into image data of a digital signal, and image data from the A / D converter 24 is white. A white balance circuit (WB) 25 that performs balance processing, a selector 26 and synchronization memories 27, 28, and 29 for synchronizing frame sequential light by the rotary filter 14, and synchronization memories 27, 28, and 29 An image processing circuit 30 that reads out each image data of the frame sequential light stored in the image processing unit and performs gamma correction processing, contour enhancement processing, color processing, and the like; From the D / A circuits 31, 32, 33 for converting the image data from the processing circuit 30 into analog signals, the encoding circuit 34 for encoding the image data from the image processing circuit 30, and the control circuit 17 of the light source device 4 And a timing generator (TG) 35 that inputs a synchronization signal synchronized with the rotation of the rotation filter 14 and outputs various timing signals to the circuits.

また、電子内視鏡2には、モード切替スイッチ41が設けられており、このモード切替スイッチ41の出力がビデオプロセッサ7内のモード切替回路42に出力されるようになっている。ビデオプロセッサ7のモード切替回路42は、制御信号をホワイトバランス回路(W.B.)25、調光回路43、調光制御パラメータ切替回路44及び光源装置4のモード切替モータ19に出力するようになっている。調光制御パラメータ切替回路44は、回転フィルタ14の第1のフィルタ組あるいは第2のフィルタ組に応じた調光制御パラメータを調光回路43に出力し、調光回路43はモード切替回路42からの制御信号及び調光制御パラメータ切替回路44からの調光制御パラメータに基づき光源装置4の絞り装置13を制御し適正な明るさ制御を行うようになっている。   Further, the electronic endoscope 2 is provided with a mode change switch 41, and an output of the mode change switch 41 is output to a mode change circuit 42 in the video processor 7. The mode switching circuit 42 of the video processor 7 outputs a control signal to the white balance circuit (WB) 25, the dimming circuit 43, the dimming control parameter switching circuit 44, and the mode switching motor 19 of the light source device 4. It has become. The dimming control parameter switching circuit 44 outputs a dimming control parameter corresponding to the first filter group or the second filter group of the rotary filter 14 to the dimming circuit 43, and the dimming circuit 43 is output from the mode switching circuit 42. Based on the control signal and the dimming control parameter from the dimming control parameter switching circuit 44, the diaphragm device 13 of the light source device 4 is controlled to perform appropriate brightness control.

図5に示すように、体腔内組織51は、例えば深さ方向に異なった血管等の吸収体分布構造を持つ場合が多い。粘膜表層付近には主に毛細血管52が多く分布し、またこの層より深い中層には毛細血管の他に毛細血管より太い血管53が分布し、さらに深層にはさらに太い血管54が分布するようになる。   As shown in FIG. 5, the body cavity tissue 51 often has an absorber distribution structure such as blood vessels that differ in the depth direction. A large number of capillaries 52 are mainly distributed in the vicinity of the mucous membrane surface layer, and blood vessels 53 that are thicker than capillaries are distributed in the middle layer deeper than this layer, and thicker blood vessels 54 are further distributed in the deep layer. become.

一方、光は体腔内組織51に対する光の深さ方向の深達度は、光の波長に依存しており、可視域を含む照明光は、図6に示すように、青(B)色のような波長が短い光の場合、生体組織での吸収特性及び散乱特性により表層付近までしか光は深達せず、そこまでの深さの範囲で吸収、散乱を受け、表面から出た光が観測される。また、青(B)色光より波長が長い、緑(G)色光の場合、青(B)色光が深達する範囲よりさらに深い所まで深達し、その範囲で吸収、散乱を受け、表面から出た光が観測される。さらにまた、緑(G)色光より波長が長い、赤(R)色光は、さらに深い範囲まで光が到達する。   On the other hand, the depth of light in the depth direction with respect to the tissue 51 in the body cavity depends on the wavelength of the light, and the illumination light including the visible range is blue (B) as shown in FIG. In the case of light with such a short wavelength, the light reaches the surface layer only due to the absorption and scattering characteristics in the living tissue, and the light emitted from the surface is observed by being absorbed and scattered in the depth range up to that. Is done. In the case of green (G) light, which has a wavelength longer than that of blue (B) light, it reaches deeper than the range where blue (B) light deepens, absorbs and scatters within that range, and exits from the surface. Light is observed. Still further, red (R) light having a wavelength longer than that of green (G) light reaches a deeper range.

通常観察時には、照明光の光路上に回転フィルタ14の第1のフィルタ組であるR1フィルタ14r1,G1フィルタ14g1,B1フィルタ14b1に位置するようにビデオプロセッサ7の内のモード切替回路が制御信号によりモード切替モータ19を制御する。   During normal observation, the mode switching circuit in the video processor 7 is controlled by a control signal so that it is located on the optical path of the illumination light in the R1 filter 14r1, G1 filter 14g1, and B1 filter 14b1 as the first filter set of the rotary filter 14. The mode switching motor 19 is controlled.

体腔内組織51の通常観察時におけるR1フィルタ部14r1,G1フィルタ部14g1,B1フィルタ14部b1は、図3に示したように各波長域がオーバーラップしているために、
(1)B1フィルタ部14b1によるCCD4で撮像される撮像信号には図7に示すような浅層での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、
(2)また、G1フィルタ14g1によるCCD4で撮像される撮像信号には図8に示すような中層での組織情報を多く含む浅層及び中層組織情報を有するバンド画像が撮像され、
(3)さらにR1フィルタ14r1によるCCD4で撮像される撮像信号には図9に示すような深層での組織情報を多く含む中層及び深層組織情報を有するバンド画像が撮像される。
Since the R1 filter unit 14r1, the G1 filter unit 14g1, and the B1 filter unit 14b1 during normal observation of the tissue 51 in the body cavity overlap each other as shown in FIG.
(1) A band image having shallow layer and middle layer tissue information including a lot of tissue information in the shallow layer as shown in FIG. 7 is captured in the image signal captured by the CCD 4 by the B1 filter unit 14b1.
(2) Further, the image signal picked up by the CCD 4 by the G1 filter 14g1 is picked up by a band image having a shallow layer and medium layer tissue information including a lot of tissue information in the middle layer as shown in FIG.
(3) Further, the image signal picked up by the CCD 4 by the R1 filter 14r1 picks up a band image having middle layer and deep layer tissue information including a lot of deep layer tissue information as shown in FIG.

そしてビデオプロセッサ7により、これらRGB撮像信号を同時化して信号処理することで、内視鏡画像としては所望あるいは自然な色再現の内視鏡画像を得ることが可能となる。   Then, the video processor 7 synchronizes these RGB image signals and performs signal processing, so that an endoscopic image having a desired or natural color reproduction can be obtained as an endoscopic image.

一方、電子内視鏡3のモード切替スイッチ41が押されると、その信号がビデオプロセッサ7のモード切替回路42に入力される。モード切替回路42は、光源装置4のモード切替モータ19に制御信号を出力することで、通常観察時に光路上にあった回転フィルタ14の第1のフィルタ組を移動させ第2のフィルタ組を光路上に配置するように回転フィルタ14を光路に対して駆動する。   On the other hand, when the mode switching switch 41 of the electronic endoscope 3 is pressed, the signal is input to the mode switching circuit 42 of the video processor 7. The mode switching circuit 42 outputs a control signal to the mode switching motor 19 of the light source device 4, thereby moving the first filter set of the rotary filter 14 that was on the optical path during normal observation to light the second filter set. The rotary filter 14 is driven with respect to the optical path so as to be disposed on the path.

第2のフィルタ組による体腔内組織51の狭帯域光観察時におけるG2フィルタ部14g2,B2フィルタ部14b2、R2フィルタ14r2は、照明光を図4に示したように離散的な分光特性の狭帯域な面順次光とし各波長域がオーバーラップしていないために、
(4)B2フィルタ部14b2によるCCD4で撮像される撮像信号には図10に示すような浅層での組織情報を有するバンド画像が撮像され、
(5)また、G2フィルタ部14g2によるCCD4で撮像される撮像信号には図11に示すような中層での組織情報を有するバンド画像が撮像され、
(6)さらに、R2フィルタ14r2によるCCD4で撮像される撮像信号には図12に示すような深層での組織情報を有するバンド画像が撮像される。
The G2 filter unit 14g2, the B2 filter unit 14b2, and the R2 filter 14r2 at the time of the narrow band light observation of the body cavity tissue 51 by the second filter set, the illumination light is a narrow band having discrete spectral characteristics as shown in FIG. Because each wavelength region does not overlap with each other,
(4) A band image having tissue information in a shallow layer as shown in FIG. 10 is captured in the imaging signal captured by the CCD 4 by the B2 filter unit 14b2,
(5) Further, a band image having tissue information in the middle layer as shown in FIG. 11 is picked up on the image pickup signal picked up by the CCD 4 by the G2 filter unit 14g2,
(6) Furthermore, a band image having tissue information in the deep layer as shown in FIG. 12 is picked up on the image pickup signal picked up by the CCD 4 by the R2 filter 14r2.

ホワイトバランス回路25は、図13に示すように、ホワイトバランス補正部80、セレクタ81、通常光用補正値記憶部82、ルックアップテーブル(LUT)83、狭帯域光用補正値記憶部84とから構成される。   As shown in FIG. 13, the white balance circuit 25 includes a white balance correction unit 80, a selector 81, a normal light correction value storage unit 82, a lookup table (LUT) 83, and a narrowband light correction value storage unit 84. Composed.

内視鏡装置1による検査前に、電子内視鏡3の先端にホワイトキャップ(図示せず)を装着して通常光でのホワイトバランスの取得がなされる。   Prior to inspection by the endoscope apparatus 1, a white cap (not shown) is attached to the tip of the electronic endoscope 3 to acquire white balance with normal light.

ホワイトバランス回路25では、ホワイトキャップ装着時のA/D変換器24からの画像データである通常面順次R/G/B信号をホワイトバランス補正部80に入力し、通常面順次R/G/B信号に対してホワイトバランスを行い、ホワイトバランスでの通常光用補正値をセレクタ81を介して通常光用補正値記憶部82に記憶すると共に、ホワイトバランスしたR’/G’/B’信号をセレクタ26に出力する。   In the white balance circuit 25, the normal frame sequential R / G / B signal, which is image data from the A / D converter 24 when the white cap is mounted, is input to the white balance correction unit 80, and the normal frame sequential R / G / B is input. The white balance is performed on the signal, and the normal light correction value in the white balance is stored in the normal light correction value storage unit 82 via the selector 81, and the white balanced R ′ / G ′ / B ′ signal is stored. Output to the selector 26.

このとき、ホワイトバランス回路25において、通常光用補正値に基づいた狭帯域光用補正値をLUT83より読み出し、狭帯域光用補正値記憶部84に格納する。   At this time, in the white balance circuit 25, the narrowband light correction value based on the normal light correction value is read from the LUT 83 and stored in the narrowband light correction value storage unit 84.

詳細には、ホワイトバランス補正部80では、通常面順次R/G/B信号の平均値の比G/R、G/BからRおよびBの補正値を算出し、モード切替回路42で検知した観察モードが通常光モードならば通常光用補正値を通常光用補正値記憶部82に記憶し、狭帯域光モードなら通常光補正値とLUT83から狭帯域光用補正値を求めて狭帯域光用補正値記憶部84に記録する。セレクタ81が検知した観察モードに応じて通常光用補正値記憶部82あるいは狭帯域光用補正値記憶部84からの補正値をホワイトバランス補正部80へ送り、ホワイトバランス補正部80で補正値を乗算してR’、B’'信号を出力する。このときG信号はそのまま出力される。   Specifically, the white balance correction unit 80 calculates the correction values of R and B from the average ratio G / R and G / B of the normal frame sequential R / G / B signal, and the mode switching circuit 42 detects the correction value. If the observation mode is the normal light mode, the normal light correction value is stored in the normal light correction value storage unit 82. If the observation mode is the narrow light mode, the normal light correction value and the correction value for the narrow light are obtained from the LUT 83. Is recorded in the correction value storage unit 84. Depending on the observation mode detected by the selector 81, the correction value from the normal light correction value storage unit 82 or the narrowband light correction value storage unit 84 is sent to the white balance correction unit 80, and the white balance correction unit 80 sets the correction value. Multiply and output R ′ and B ″ signals. At this time, the G signal is output as it is.

なお、LUT83には通常光用補正値に基づいた狭帯域光用補正値を格納した構成としたが、これに限らず、図14に示すように、通常光用補正値に基づいた補正値係数kをLUT83に格納し、狭帯域光用補正値演算部85にて、
狭帯域光用補正値=k×通常光用補正値
より狭帯域光用補正値を演算して、狭帯域光用補正値記憶部84を格納するようにしても良い。なお、kは定数とする。
The LUT 83 is configured to store the correction value for narrowband light based on the correction value for normal light. However, the present invention is not limited to this, and as shown in FIG. 14, the correction value coefficient based on the correction value for normal light is used. k is stored in the LUT 83, and the correction value calculation unit 85 for narrowband light
The narrowband light correction value may be calculated from the narrowband light correction value = k × normal light correction value and stored in the narrowband light correction value storage unit 84. Note that k is a constant.

このように本実施例では通常光用の補正値から狭帯域光用補正値を算出して補正するため、狭帯域光でのホワイトバランス取得が不要となり、操作が簡略でき、操作ミスによる色調再現性の不良を確実に回避できる。   As described above, in this embodiment, the correction value for narrowband light is calculated and corrected from the correction value for normal light, so that it is not necessary to obtain white balance with narrowband light, the operation can be simplified, and color reproduction due to an operation error can be achieved. Sexual defects can be avoided reliably.

なお、上記実施例の内視鏡装置1では、光源装置4が面順次光を供給し、ビデオプロセッサ7で面順次画像情報を同時化して画像化する面順次式内視鏡装置を例として説明したが、これに限らず、同時式内視鏡装置にも適用可能である。   Note that, in the endoscope apparatus 1 of the above-described embodiment, an explanation will be given by taking as an example a frame sequential endoscope apparatus in which the light source device 4 supplies the frame sequential light and the video processor 7 synchronizes the plane sequential image information to form an image. However, the present invention is not limited to this, and can also be applied to a simultaneous endoscope apparatus.

すなわち、図15に示すように、白色光を供給する光源装置4aと、CCD2の撮像面の前面にカラーチップ100を備えた電子内視鏡3aと、電子内視鏡3aから撮像信号を信号処理するビデオプロセッサ7aとからなる同時式内視鏡装置1aにも本実施例を適用することができる。   That is, as shown in FIG. 15, the light source device 4a for supplying white light, the electronic endoscope 3a having the color chip 100 on the front surface of the imaging surface of the CCD 2, and the image signal from the electronic endoscope 3a are processed. The present embodiment can also be applied to the simultaneous endoscope apparatus 1a including the video processor 7a.

光源装置4aでは、熱線カットフィルタ12を介したキセノンランプ11からの白色光が絞り装置13により光量が制御され電子内視鏡3a内に配設されたライトガイド15の入射面に出射される。この白色光の光路上に図4に示したような離散的な分光特性の狭帯域光に変換する狭帯域制限フィルタ14aが挿脱可能に設けられている。   In the light source device 4a, the amount of white light from the xenon lamp 11 via the heat ray cut filter 12 is controlled by the diaphragm device 13 and emitted to the incident surface of the light guide 15 disposed in the electronic endoscope 3a. A narrow band limiting filter 14a for converting into narrow band light having discrete spectral characteristics as shown in FIG. 4 is detachably provided on the white light path.

電子内視鏡3aでは、体腔内組織51の像がカラーチップ100を介してCCD2で撮像される。   In the electronic endoscope 3 a, an image of the body cavity tissue 51 is captured by the CCD 2 via the color chip 100.

ビデオプロセッサ7aでは、A/D変換器24からの画像データがY/C分離回路101により輝度信号Yと色差信号Cr、Cbに分離され、RGBマトリックス回路102によりRGB信号に変換され、ホワイトバランス回路25に出力される。その他の構成及び作用は図1の内視鏡装置と同じである。   In the video processor 7a, the image data from the A / D converter 24 is separated into the luminance signal Y and the color difference signals Cr and Cb by the Y / C separation circuit 101, converted into RGB signals by the RGB matrix circuit 102, and the white balance circuit. 25 is output. Other configurations and operations are the same as those of the endoscope apparatus of FIG.

そして、ホワイトバランス回路25では、図16に示すように、RGBマトリックス回路102からのRGB信号の各信号に対してホワイトバランスを取得する。この際のホワイトバランス取得方法は本実施例と同じである。   Then, the white balance circuit 25 acquires white balance for each signal of the RGB signals from the RGB matrix circuit 102 as shown in FIG. The white balance acquisition method at this time is the same as in this embodiment.

また、図17に示すように、電子内視鏡3内に通常光用補正値を含むスコープの各種情報からなるスコープIDを記憶したスコープID記憶部110を設け、スコープIDにおける通常光用補正値をホワイトバランス回路25に出力することで、図18に示すように、ホワイトバランス回路25において、通常光用補正値記憶部82が通常光用補正値を用いてLUT83から狭帯域光用補正値を読み出し、狭帯域光用補正値演算部85に格納するように構成しても良い。   Further, as shown in FIG. 17, a scope ID storage unit 110 that stores a scope ID including various types of scope information including a normal light correction value is provided in the electronic endoscope 3, and the normal light correction value in the scope ID is provided. 18 to the white balance circuit 25, as shown in FIG. 18, in the white balance circuit 25, the normal light correction value storage unit 82 uses the normal light correction value to obtain the narrowband light correction value from the LUT 83. The reading and narrowband light correction value calculation unit 85 may be configured to be stored.

さらに、図19に示すように、ホワイトバランス回路25に出力したスコープIDにおける通常光用補正値に基づいた補正係数kをLUT83に格納し、狭帯域光用補正値演算部85にて、前述した
狭帯域光用補正値=k×通常光用補正値
より狭帯域光用補正値を演算して、狭帯域光用補正値記憶部84に格納するようにしても良い。なお、kは定数とする。
Further, as shown in FIG. 19, the correction coefficient k based on the normal light correction value in the scope ID output to the white balance circuit 25 is stored in the LUT 83 and the narrowband light correction value calculation unit 85 described above. The narrowband light correction value may be calculated from the narrowband light correction value = k × normal light correction value and stored in the narrowband light correction value storage unit 84. Note that k is a constant.

なお、図17の内視鏡では面順次式内視鏡を例として説明したが、これに限らず、同時式にも適用可能である。   Note that the endoscope in FIG. 17 has been described by taking a frame sequential endoscope as an example, but the present invention is not limited to this and can be applied to a simultaneous type.

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。   The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.

本発明の実施例1に係る内視鏡装置の構成を示す構成図1 is a configuration diagram showing a configuration of an endoscope apparatus according to Embodiment 1 of the present invention. 図1の回転フィルタの構成を示す構成図The block diagram which shows the structure of the rotation filter of FIG. 図2の回転フィルタの第1のフィルタ組の分光特性を示す図The figure which shows the spectral characteristics of the 1st filter set of the rotation filter of FIG. 図2の回転フィルタの第2のフィルタ組の分光特性を示す図The figure which shows the spectral characteristic of the 2nd filter set of the rotation filter of FIG. 図1の内視鏡装置により観察する生体組織の層方向構造を示す図The figure which shows the layer direction structure of the biological tissue observed with the endoscope apparatus of FIG. 図1の内視鏡装置からの照明光の生体組織の層方向への到達状態を説明する図The figure explaining the arrival state to the layer direction of the biological tissue of the illumination light from the endoscope apparatus of FIG. 図3の第1のフィルタ組を透過した面順次光による各バンド画像を示す第1の図FIG. 3 is a first diagram showing each band image by frame sequential light transmitted through the first filter set of FIG. 図3の第1のフィルタ組を透過した面順次光による各バンド画像を示す第2の図2nd figure which shows each band image by the field sequential light which permeate | transmitted the 1st filter set of FIG. 図3の第1のフィルタ組を透過した面順次光による各バンド画像を示す第3の図3rd figure which shows each band image by the field sequential light which permeate | transmitted the 1st filter set of FIG. 図4の第2のフィルタ組を透過した面順次光による各バンド画像を示す第1の図1st figure which shows each band image by the field sequential light which permeate | transmitted the 2nd filter set of FIG. 図4の第2のフィルタ組を透過した面順次光による各バンド画像を示す第2の図2nd figure which shows each band image by the surface sequential light which permeate | transmitted the 2nd filter set of FIG. 図4の第2のフィルタ組を透過した面順次光による各バンド画像を示す第3の図3rd figure which shows each band image by the surface sequential light which permeate | transmitted the 2nd filter set of FIG. 図1のホワイトバランス回路の構成を示すブロック図Block diagram showing the configuration of the white balance circuit of FIG. 図13のホワイトバランス回路の変形例の構成を示すブロック図FIG. 13 is a block diagram showing a configuration of a modified example of the white balance circuit of FIG. 図1の内視鏡装置の第1の変形例の構成を示す構成図The block diagram which shows the structure of the 1st modification of the endoscope apparatus of FIG. 図15のホワイトバランス回路の構成を示すブロック図The block diagram which shows the structure of the white balance circuit of FIG. 図1の内視鏡装置の第2の変形例の構成を示す構成図The block diagram which shows the structure of the 2nd modification of the endoscope apparatus of FIG. 図17のホワイトバランス回路の構成を示すブロック図The block diagram which shows the structure of the white balance circuit of FIG. 図17のホワイトバランス回路の変形例の構成を示すブロック図FIG. 17 is a block diagram showing a configuration of a modification of the white balance circuit of FIG.

符号の説明Explanation of symbols

1…内視鏡装置
2…CCD
3…電子内視鏡
4…光源装置
5…観察モニタ
6…画像ファイリング装置
7…ビデオプロセッサ
10…電源部
11…キセノンランプ
12…熱線カットフィルタ
13…絞り装置
14…回転フィルタ
15…ライトガイド
16…集光レンズ
17…制御回路
18…回転フィルタモータ
19…モード切替モータ19
20…CCD駆動回路
21…対物光学系
22…アンプ
23…プロセス回路
24…A/D変換器
25…ホワイトバランス回路
26…セレクタ
27、28,29…同時化メモリ
30…画像処理回路
31,32,33…D/A回路
34…符号化回路
35…タイミングジェネレータ
41…モード切替スイッチ
42…モード切替回路
43…調光回路
44…調光制御パラメータ切替回路
80…ホワイトバランス補正部
81…セレクタ
82…通常光用補正値記憶部
83…LUT
84…狭帯域光用補正値記憶部
代理人 弁理士 伊藤 進
1 ... Endoscope device 2 ... CCD
DESCRIPTION OF SYMBOLS 3 ... Electronic endoscope 4 ... Light source device 5 ... Observation monitor 6 ... Image filing device 7 ... Video processor 10 ... Power supply part 11 ... Xenon lamp 12 ... Heat ray cut filter 13 ... Diaphragm device 14 ... Rotary filter 15 ... Light guide 16 ... Condensing lens 17 ... Control circuit 18 ... Rotary filter motor 19 ... Mode switching motor 19
DESCRIPTION OF SYMBOLS 20 ... CCD drive circuit 21 ... Objective optical system 22 ... Amplifier 23 ... Process circuit 24 ... A / D converter 25 ... White balance circuit 26 ... Selector 27, 28, 29 ... Synchronization memory 30 ... Image processing circuit 31, 32, 33 ... D / A circuit 34 ... encoding circuit 35 ... timing generator 41 ... mode switching switch 42 ... mode switching circuit 43 ... dimming circuit 44 ... dimming control parameter switching circuit 80 ... white balance correction unit 81 ... selector 82 ... normal Light correction value storage unit 83... LUT
84 ... Correction value memory for narrowband light Attorney Susumu Ito

Claims (4)

可視光領域を含む照明光を供給する照明光供給手段と、前記照明光を被写体に照射し戻り光により前記被写体を撮像する撮像手段を有する内視鏡と、前記撮像手段からの撮像信号を信号処理する信号処理手段とを備えた内視鏡装置において、
前記照明光を離散した複数のバンド域の狭帯域光に制限して前記被写体に照射する帯域制限手段と、
前記照明光による前記被写体の撮像信号に対してホワイトバランス処理を行うホワイトバランス手段と
を有し、
前記ホワイトバランス手段は、
前記照明光に対する第1のホワイトバランス補正値を記憶する第1のホワイトバランス補正値記憶手段と、
前記第1のホワイトバランス補正値に基づいた前記狭帯域光に対する第2のホワイトバランス補正値を算出する補正値算出手段と、
前記補正値算出手段が算出した前記第2のホワイトバランス補正値を記憶する第2のホワイトバランス補正値記憶手段と
を備えたことを特徴とする内視鏡装置。
An illumination light supply means for supplying illumination light including a visible light region, an endoscope having an imaging means for illuminating the subject with the illumination light and imaging the subject with return light, and an imaging signal from the imaging means In an endoscope apparatus provided with signal processing means for processing,
Band limiting means for limiting the illumination light to narrow band light of a plurality of discrete band areas and irradiating the subject,
White balance means for performing white balance processing on the imaging signal of the subject by the illumination light,
The white balance means is
First white balance correction value storage means for storing a first white balance correction value for the illumination light;
Correction value calculation means for calculating a second white balance correction value for the narrowband light based on the first white balance correction value;
An endoscope apparatus comprising: a second white balance correction value storage unit that stores the second white balance correction value calculated by the correction value calculation unit.
前記補正値算出手段は、前記第1のホワイトバランス補正値に対応した複数の前記第2のホワイトバランス補正値を格納したルックアップテーブルである
ことを特徴とする請求項1に記載の内視鏡装置。
The endoscope according to claim 1, wherein the correction value calculation means is a look-up table storing a plurality of the second white balance correction values corresponding to the first white balance correction values. apparatus.
前記補正値算出手段は、
前記第1のホワイトバランス補正値に対応した複数のホワイトバランス補正係数を格納したルックアップテーブルと、前記ホワイトバランス補正係数と前記第1のホワイトバランス補正値とから前記第2のホワイトバランス補正値を演算する補正値演算手段と
を備えたことを特徴とする請求項1に記載の内視鏡装置。
The correction value calculating means includes
The second white balance correction value is obtained from a lookup table storing a plurality of white balance correction coefficients corresponding to the first white balance correction value, the white balance correction coefficient, and the first white balance correction value. The endoscope apparatus according to claim 1, further comprising correction value calculation means for calculating.
前記第1のホワイトバランス補正値記憶手段は、前記内視鏡内部に設けられた、前記内視鏡に関する情報を記憶する内視鏡識別手段である
ことを特徴とする請求項1、2、3に記載の内視鏡装置。
The first white balance correction value storage unit is an endoscope identification unit that is provided inside the endoscope and stores information related to the endoscope. The endoscope apparatus described in 1.
JP2004256141A 2004-08-30 2004-09-02 Endoscope device Expired - Fee Related JP3965174B2 (en)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2004256141A JP3965174B2 (en) 2004-09-02 2004-09-02 Endoscope device
CN2005800290535A CN101010029B (en) 2004-08-30 2005-08-29 Endoscope
KR1020087028399A KR100961591B1 (en) 2004-08-30 2005-08-29 Endoscope
CN2010101170887A CN101822525B (en) 2004-08-30 2005-08-29 Endoscope
PCT/JP2005/015671 WO2006025334A1 (en) 2004-08-30 2005-08-29 Endoscope
KR1020077004702A KR100895160B1 (en) 2004-08-30 2005-08-29 Endoscope
DE602005026825T DE602005026825D1 (en) 2004-08-30 2005-08-29 ENDOSCOPE
EP05775099A EP1787577B1 (en) 2004-08-30 2005-08-29 Endoscope
US11/711,846 US8531512B2 (en) 2004-08-30 2007-02-27 Endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004256141A JP3965174B2 (en) 2004-09-02 2004-09-02 Endoscope device

Publications (2)

Publication Number Publication Date
JP2006068321A JP2006068321A (en) 2006-03-16
JP3965174B2 true JP3965174B2 (en) 2007-08-29

Family

ID=36149535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004256141A Expired - Fee Related JP3965174B2 (en) 2004-08-30 2004-09-02 Endoscope device

Country Status (1)

Country Link
JP (1) JP3965174B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011183099A (en) * 2010-03-11 2011-09-22 Hoya Corp Electronic endoscope apparatus

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007319442A (en) * 2006-06-01 2007-12-13 Fujifilm Corp Capsule endoscope system and image processing unit
WO2012002115A1 (en) 2010-06-28 2012-01-05 オリンパスメディカルシステムズ株式会社 Endoscope device
JP5371921B2 (en) * 2010-09-29 2013-12-18 富士フイルム株式会社 Endoscope device
JP5258869B2 (en) 2010-12-13 2013-08-07 富士フイルム株式会社 Endoscope device
JP5451802B2 (en) * 2011-04-01 2014-03-26 富士フイルム株式会社 Electronic endoscope system and calibration method for electronic endoscope system
JP5850630B2 (en) * 2011-04-04 2016-02-03 富士フイルム株式会社 Endoscope system and driving method thereof
JP6071508B2 (en) * 2012-12-10 2017-02-01 Hoya株式会社 Electronic endoscope system
JP5827720B2 (en) * 2014-04-25 2015-12-02 富士フイルム株式会社 Endoscope system
JP6242474B2 (en) * 2016-12-27 2017-12-06 Hoya株式会社 Endoscope processor and electronic endoscope system
WO2019202847A1 (en) * 2018-04-16 2019-10-24 オリンパス株式会社 Endoscope system and white balance adjusting method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011183099A (en) * 2010-03-11 2011-09-22 Hoya Corp Electronic endoscope apparatus

Also Published As

Publication number Publication date
JP2006068321A (en) 2006-03-16

Similar Documents

Publication Publication Date Title
JP3583731B2 (en) Endoscope device and light source device
JP5259882B2 (en) Imaging device
JP4025764B2 (en) Endoscope device
JP4868976B2 (en) Endoscope device
JP4384626B2 (en) Endoscope device
US8451328B2 (en) Image processing device, imaging device, computer-readable device, and image processing method for processing a fluorescence image
JP5393554B2 (en) Electronic endoscope system
JP3559755B2 (en) Endoscope device
JP5501210B2 (en) Image processing device
JP5637834B2 (en) Endoscope device
JP5431252B2 (en) Electronic endoscope system, processor device for electronic endoscope, and method for operating electronic endoscope system
JP2005198794A (en) Endoscope
JP5485215B2 (en) Endoscope device
JP2015195845A (en) Endoscope system, operation method of endoscope system, processor device, and operation method of processor device
JP3965174B2 (en) Endoscope device
US9554693B2 (en) Image processing device
JP4716673B2 (en) Fluorescence endoscope device
JP2009066147A (en) Living body observing device
JP2010279579A (en) Image obtaining method and endoscopic apparatus
JP4520014B2 (en) Electronic endoscope device
JP4526322B2 (en) Endoscope device
CN110573056B (en) Endoscope system
JP2010042133A (en) Method and device for acquiring image
JP2005342234A (en) Endoscope apparatus
JP5331863B2 (en) Endoscope device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070525

R151 Written notification of patent or utility model registration

Ref document number: 3965174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees