JP5850630B2 - Endoscope system and driving method thereof - Google Patents

Endoscope system and driving method thereof Download PDF

Info

Publication number
JP5850630B2
JP5850630B2 JP2011083110A JP2011083110A JP5850630B2 JP 5850630 B2 JP5850630 B2 JP 5850630B2 JP 2011083110 A JP2011083110 A JP 2011083110A JP 2011083110 A JP2011083110 A JP 2011083110A JP 5850630 B2 JP5850630 B2 JP 5850630B2
Authority
JP
Japan
Prior art keywords
light
light emitting
endoscope system
illumination
emitting element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011083110A
Other languages
Japanese (ja)
Other versions
JP2012217486A (en
JP2012217486A5 (en
Inventor
安土 遠藤
安土 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011083110A priority Critical patent/JP5850630B2/en
Publication of JP2012217486A publication Critical patent/JP2012217486A/en
Publication of JP2012217486A5 publication Critical patent/JP2012217486A5/ja
Application granted granted Critical
Publication of JP5850630B2 publication Critical patent/JP5850630B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、内視鏡先端部に固体撮像素子を搭載した電子内視鏡を備える内視鏡システム及びその駆動方法に関する。   The present invention relates to an endoscope system including an electronic endoscope in which a solid-state imaging device is mounted at a distal end portion of an endoscope, and a driving method thereof.

医療分野において、内視鏡システムを利用した医療診断が盛んに行われている。内視鏡システムは、体腔内に挿入される挿入部を備えた電子内視鏡(スコープ)と、この電子内視鏡が着脱自在に接続される本体装置とで構成される。   In the medical field, medical diagnosis using an endoscope system is actively performed. The endoscope system includes an electronic endoscope (scope) having an insertion portion that is inserted into a body cavity, and a main body device to which the electronic endoscope is detachably connected.

本体装置は、プロセッサ装置と光源装置とを備える。プロセッサ装置は、電子内視鏡の挿入部先端に内蔵された固体撮像素子から出力される撮像信号を受信して画像処理を行い、得られた観察画像をモニタに表示する。光源装置は、電子内視鏡内に挿通されたライトガイドを通して体腔内を照明する光を発生する。   The main device includes a processor device and a light source device. The processor device receives an imaging signal output from a solid-state imaging device built in the distal end of the insertion portion of the electronic endoscope, performs image processing, and displays the obtained observation image on a monitor. The light source device generates light that illuminates the inside of the body cavity through a light guide inserted into the electronic endoscope.

電子内視鏡の挿入部先端に搭載される固体撮像素子としては、特許文献1に記載されている様に、低電圧駆動が可能で多画素化と高速読出化が容易なCMOS(Complementary Metal Oxide Semiconductor)型や、CCD(Charge Coupled Device)型が使われている。   As described in Patent Document 1, as a solid-state imaging device mounted at the distal end of an insertion portion of an electronic endoscope, a CMOS (Complementary Metal Oxide) that can be driven at a low voltage and can easily achieve a large number of pixels and high-speed readout. Semiconductor) type and CCD (Charge Coupled Device) type are used.

電子内視鏡は、一般的なデジタルカメラ等とは異なり、特殊な環境下で使用される。例えば、図8(a)に示す様に、電子内視鏡先端部1を暗所である体腔2内に挿入し、患部3を遠くから撮影したり、図8(b)に示す様に、電子内視鏡先端部1を患部3に近づけて患部3の拡大画像を撮影したりする。図8(a)の撮影状態における照明光の強さで患部3に近づき、図8(b)の撮影状態にすると、照明光が強すぎて患部3の観察画像が白飛びしてしまう。   An electronic endoscope is used in a special environment unlike a general digital camera or the like. For example, as shown in FIG. 8 (a), the distal end portion 1 of the electronic endoscope is inserted into the body cavity 2 which is a dark place, and the affected part 3 is photographed from a distance, or as shown in FIG. 8 (b), An enlarged image of the affected part 3 is taken by bringing the distal end part 1 of the electronic endoscope closer to the affected part 3. When approaching the affected area 3 with the intensity of the illumination light in the imaging state of FIG. 8A and making the imaging state of FIG. 8B, the illumination light is too strong and the observation image of the affected area 3 is overexposed.

そこで、光源装置で発生させる照明光の強さを弱くするのであるが、この比が、電子内視鏡では、例えば2000:1と大きい。つまり、図8(a)の撮影状態にしたときの照明光の強さを、1/2000程度に弱めて図8(b)の撮影状態にする必要がある。   Therefore, although the intensity of the illumination light generated by the light source device is reduced, this ratio is as large as 2000: 1, for example, in an electronic endoscope. That is, it is necessary to reduce the intensity of the illumination light when the shooting state of FIG. 8A is set to about 1/2000 to the shooting state of FIG.

この様に、照明光の強さを大きく変えると、別の問題が発生する。図9は、この問題の一例を説明するグラフである。カラー画像を撮影するために、照明光には、赤(R),緑(G),青(B)の三原色の波長帯域の光が含まれる様にしている。このRGBの照明光に含まれる色成分の割合が、照明光の強さを大きく変えると、変化してしまう。例えば、図9に示す例では、照明光が弱いときに比べて、照明光を強くすると、発光効率の光源固体差が出る等して、R/Gは一定であるのに対し、B/Gが上昇してしまう場合がある。   In this way, another problem occurs when the intensity of the illumination light is greatly changed. FIG. 9 is a graph illustrating an example of this problem. In order to capture a color image, the illumination light includes light in the wavelength bands of the three primary colors of red (R), green (G), and blue (B). The ratio of the color components contained in the RGB illumination light changes when the intensity of the illumination light is greatly changed. For example, in the example shown in FIG. 9, when the illumination light is made stronger than when the illumination light is weak, the R / G is constant, such as a light source difference in light emission efficiency, whereas the B / G is constant. May rise.

この様な場合、同じ患部3の観察画像を電子内視鏡先端部1を患部3に近づけながら観察していた医者は、図8(a)における観察画像と、図8(b)における観察画像とで、色味の違う画像を観察することになり、違和感を感じてしまう。特に、表層血管観察を行う場合、B/Gは一定である必要がある。   In such a case, the doctor who has observed the observation image of the same affected part 3 while bringing the distal end portion 1 of the electronic endoscope close to the affected part 3 has the observation image in FIG. 8A and the observation image in FIG. Then, you will observe images with different colors, and you will feel uncomfortable. In particular, when surface blood vessel observation is performed, B / G needs to be constant.

特開2009−201540号公報JP 2009-201540 A

本発明の目的は、照明光の明るさ(強度)を変化させても観察画像の色味変化を抑制する内視鏡システム及びその駆動方法を提供することにある。   An object of the present invention is to provide an endoscope system that suppresses a change in color of an observation image even when the brightness (intensity) of illumination light is changed, and a driving method thereof.

本発明の内視鏡システムは、先端部に被写体に対して照明光を照射する照明窓が設けられ、該被写体からの光を受光する固体撮像素子を前記先端部に搭載した電子内視鏡と、
発光波長が異なる複数の半導体発光素子を搭載し、該半導体発光素子の発光光を前記電子内視鏡に導入する光源装置と、
前記固体撮像素子から出力される赤色、緑色、及び青色の撮像画像信号に基づいて、観察画像データを生成する画像処理手段と、
前記半導体発光素子の発光量を制御するための駆動量に応じた、前記照明窓からの前記照明光の各色成分の光量を示す特性を記憶したメモリと、を備え、
前記半導体発光素子の駆動量を変更して前記被写体に照射される前記照明光の強度を変更する際、前記画像処理手段は、前記メモリに記憶された特性データに基づいて、前記各色の撮像画像信号を増減させる補正演算処理を行うものである。
また、本発明の内視鏡システムの駆動方法は、先端部に被写体に対して照明光を照射する照明窓が設けられ、該被写体からの光を受光する固体撮像素子を前記先端部に搭載した電子内視鏡と、
発光波長が異なる複数の半導体発光素子を搭載し、該半導体発光素子の発光光を前記電子内視鏡に導入する光源装置と、
前記固体撮像素子から出力される赤色、緑色、及び青色の撮像画像信号に基づいて、観察画像データを生成する画像処理手段と、
前記半導体発光素子の発光量を制御するための駆動量に応じた、前記照明窓からの前記照明光の各色成分の光量を示す特性を記憶したメモリと、
前記固体撮像素子からの撮像画像信号に基づいて、前記照明光の光量変更を指示する光量制御部と、を備える内視鏡システムの駆動方法であって、
前記光量制御部が、前記照明光の光量変更を指示する際、前記画像処理手段に、前記メモリに記憶された特性データに基づいて、前記各色の撮像画像信号を増減させる補正演算処理を行わせるものである。
An endoscope system according to the present invention includes an electronic endoscope in which an illumination window for illuminating a subject with illumination light is provided at a distal end portion, and a solid-state imaging device that receives light from the subject is mounted on the distal end portion. ,
Equipped with different emission wavelengths plurality of semiconductor light emitting elements, a light source device for introducing the light emitted of the semiconductor light emitting element to the electronic endoscope,
Image processing means for generating observation image data based on red, green, and blue captured image signals output from the solid-state imaging device;
A memory storing characteristics indicating light amounts of the respective color components of the illumination light from the illumination window according to a drive amount for controlling the light emission amount of the semiconductor light emitting element ,
When changing the driving amount of the semiconductor light emitting element to change the intensity of the illumination light applied to the subject, the image processing unit is configured to pick up the captured image of each color based on the characteristic data stored in the memory. Correction calculation processing for increasing and decreasing the signal is performed.
Further, in the driving method of the endoscope system of the present invention, an illumination window for irradiating the subject with illumination light is provided at the distal end portion, and a solid-state imaging device that receives light from the subject is mounted on the distal end portion. An electronic endoscope,
Equipped with different emission wavelengths plurality of semiconductor light emitting elements, a light source device for introducing the light emitted of the semiconductor light emitting element to the electronic endoscope,
Image processing means for generating observation image data based on red, green, and blue captured image signals output from the solid-state imaging device;
A memory storing characteristics indicating light amounts of the respective color components of the illumination light from the illumination window according to a drive amount for controlling the light emission amount of the semiconductor light emitting element ;
A driving method of an endoscope system comprising: a light amount control unit that instructs a light amount change of the illumination light based on a captured image signal from the solid-state imaging device ;
When the light amount control unit instructs to change the light amount of the illumination light, the image processing unit is caused to perform a correction calculation process for increasing or decreasing the captured image signal of each color based on the characteristic data stored in the memory. Is.

本発明によれば、遠い被写体の画像と近い被写体の画像で色味変化がなくなり、見易い画像を提供可能となる。   According to the present invention, it is possible to provide an easy-to-see image with no color change between a distant subject image and a close subject image.

本発明の一実施形態に係る内視鏡システムの全体構成図である。1 is an overall configuration diagram of an endoscope system according to an embodiment of the present invention. 図1に示す電子内視鏡の先端部の先端面正面図である。It is a front end surface front view of the front-end | tip part of the electronic endoscope shown in FIG. 図1に示す電子内視鏡の先端部の縦断面図である。It is a longitudinal cross-sectional view of the front-end | tip part of the electronic endoscope shown in FIG. 図1に示す内視鏡システムの制御系のブロック構成図である。It is a block block diagram of the control system of the endoscope system shown in FIG. 図4に代わる実施形態の内視鏡システムの制御系ブロック構成図である。It is a control system block block diagram of the endoscope system of the embodiment which replaces FIG. CMOS型固体撮像素子を用いたときの電子シャッタ制御の説明図である。It is explanatory drawing of electronic shutter control when a CMOS type solid-state image sensor is used. CCD型固体撮像素子を用いたときの電子シャッタ制御の説明図である。It is explanatory drawing of electronic shutter control when using a CCD type solid-state image sensor. 患部を遠くから撮影する場合(a)と患部に近づいて撮影する場合(b)の説明図である。It is explanatory drawing of the case where the affected part is image | photographed from a distance (a), and the case where it approaches and image | photographs the affected part (b). 照明光の明るさに対するB/G,R/Gの変化の一例を示す特性図である。It is a characteristic view which shows an example of the change of B / G and R / G with respect to the brightness of illumination light.

以下、本発明の一実施形態について、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図1は本発明の一実施形態に係る内視鏡システムの概略構成を示した全体構成図である。本実施形態の内視鏡システム10は、電子内視鏡12と、本体装置を構成するプロセッサ装置14及び光源装置16とから構成される。電子内視鏡12は、患者(被検体)の体腔内に挿入される可撓性の挿入部20と、挿入部20の基端部分に連設された操作部22と、プロセッサ装置14及び光源装置16に接続されるユニバーサルコード24とを備えている。   FIG. 1 is an overall configuration diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention. The endoscope system 10 according to the present embodiment includes an electronic endoscope 12, a processor device 14 and a light source device 16 constituting a main body device. The electronic endoscope 12 includes a flexible insertion portion 20 that is inserted into a body cavity of a patient (subject), an operation portion 22 that is connected to a proximal end portion of the insertion portion 20, a processor device 14, and a light source. And a universal cord 24 connected to the device 16.

挿入部20の先端には先端部26が連設され、先端部26内に、体腔内撮影用の撮像チップ(撮像装置)54(図3参照)が内蔵される。先端部26の後方には、複数の湾曲駒を連結した湾曲部28が設けられている。湾曲部28は、操作部22に設けられたアングルノブ30が操作されたとき、挿入部20内に挿設されたワイヤが押し/引きされ、上下左右方向に湾曲動作する。これにより、先端部26が体腔内で所望の方向に向けられる。   A distal end portion 26 is connected to the distal end of the insertion portion 20, and an imaging chip (imaging device) 54 (see FIG. 3) for intra-body cavity imaging is built in the distal end portion 26. Behind the distal end portion 26 is provided a bending portion 28 in which a plurality of bending pieces are connected. When the angle knob 30 provided in the operation section 22 is operated, the bending section 28 is bent / moved in the vertical and horizontal directions by pushing / pulling the wire inserted in the insertion section 20. Thereby, the front-end | tip part 26 is orientated in the desired direction within a body cavity.

ユニバーサルコード24の基端にはコネクタ36が設けられている。コネクタ36は、複合タイプのものであり、プロセッサ装置14に接続される他、光源装置16にも接続される。   A connector 36 is provided at the base end of the universal cord 24. The connector 36 is of a composite type and is connected to the light source device 16 in addition to being connected to the processor device 14.

プロセッサ装置14は、ユニバーサルコード24内に挿通されたケーブル68(図3参照)を介して電子内視鏡12に給電を行い、撮像チップ54の駆動を制御すると共に、撮像チップ54からケーブル68を介して伝送された撮像信号を受信し、受信した撮像信号に各種信号処理を施して画像データに変換する。   The processor device 14 supplies power to the electronic endoscope 12 via a cable 68 (see FIG. 3) inserted into the universal cord 24, controls the driving of the imaging chip 54, and connects the cable 68 from the imaging chip 54. The received image signal is received, and various signal processing is performed on the received image signal to convert it into image data.

プロセッサ装置14で変換された画像データは、プロセッサ装置14にケーブル接続されたモニタ38に内視鏡撮影画像(観察画像)として表示される。また、プロセッサ装置14は、コネクタ36を介して光源装置16とも電気的に接続され、光源装置16を含め内視鏡システム10の動作を統括的に制御する。   The image data converted by the processor device 14 is displayed as an endoscopic image (observation image) on a monitor 38 connected to the processor device 14 by a cable. The processor device 14 is also electrically connected to the light source device 16 via the connector 36, and comprehensively controls the operation of the endoscope system 10 including the light source device 16.

図2は、電子内視鏡12の先端部26の先端面26aを示した正面図である。図2に示すように、先端部26の先端面26aには、観察窓40と、照明窓42と、鉗子出口44と、送気・送水用ノズル46が設けられている。   FIG. 2 is a front view showing the distal end surface 26 a of the distal end portion 26 of the electronic endoscope 12. As shown in FIG. 2, an observation window 40, an illumination window 42, a forceps outlet 44, and an air / water supply nozzle 46 are provided on the distal end surface 26 a of the distal end portion 26.

観察窓40は、先端面26aの中央且つ片側に偏心して配置されている。照明窓42は、観察窓40に関して対称な位置に2個配され、体腔内の被観察部位に光源装置16からの照明光を照射する。   The observation window 40 is arranged eccentric to the center and one side of the distal end surface 26a. Two illumination windows 42 are arranged at symmetrical positions with respect to the observation window 40, and irradiate illumination light from the light source device 16 to a site to be observed in the body cavity.

鉗子出口44は、挿入部20内に配設された鉗子チャンネル70(図3参照)に接続され、操作部22に設けられた鉗子口34(図1参照)に連通している。鉗子口34には、注射針や高周波メスなどが先端に配された各種処置具が挿通され、各種処置具の先端が鉗子出口44から体腔内に出される。   The forceps outlet 44 is connected to a forceps channel 70 (see FIG. 3) disposed in the insertion portion 20 and communicates with a forceps port 34 (see FIG. 1) provided in the operation portion 22. Various treatment tools having an injection needle, a high-frequency knife or the like disposed at the distal end are inserted into the forceps port 34, and the distal ends of the various treatment instruments are ejected from the forceps outlet 44 into the body cavity.

送気・送水用ノズル46は、操作部22に設けられた送気・送水ボタン32(図1参照)の操作に応じて、光源装置16に内蔵された送気・送水装置から供給される洗浄水や空気を、観察窓40や体腔内に向けて噴射する。   The air supply / water supply nozzle 46 is cleaned from the air supply / water supply device built in the light source device 16 in accordance with the operation of the air supply / water supply button 32 (see FIG. 1) provided in the operation unit 22. Water or air is jetted toward the observation window 40 or the body cavity.

図3は電子内視鏡12の先端部26の縦断面図である。図3に示すように、観察窓40の奥には、体腔内の被観察部位の像光を取り込むための対物光学系50を保持する鏡筒52が配設されている。鏡筒52は、挿入部20の中心軸に対物光学系50の光軸が平行となるように取り付けられている。鏡筒52の後端には、対物光学系50を経由した被観察部位の像光を、略直角に曲げて撮像チップ54に向けて導光するプリズム56が接続されている。   FIG. 3 is a longitudinal sectional view of the distal end portion 26 of the electronic endoscope 12. As shown in FIG. 3, a lens barrel 52 that holds an objective optical system 50 for taking in image light of a site to be observed in the body cavity is disposed behind the observation window 40. The lens barrel 52 is attached so that the optical axis of the objective optical system 50 is parallel to the central axis of the insertion portion 20. Connected to the rear end of the lens barrel 52 is a prism 56 that guides the image light of the site to be observed via the objective optical system 50 toward the imaging chip 54 by bending it at a substantially right angle.

撮像チップ54は、本実施形態ではCMOS型の固体撮像素子58と、固体撮像素子58の駆動及び信号の入出力を行う周辺回路60とが一体形成されたモノリシック半導体(いわゆるCMOSセンサチップ)であり、支持基板62上に実装されている。勿論、CCD型の固体撮像素子を使用することもできる。   In this embodiment, the imaging chip 54 is a monolithic semiconductor (so-called CMOS sensor chip) in which a CMOS solid-state imaging device 58 and a peripheral circuit 60 that drives the solid-state imaging device 58 and inputs and outputs signals are integrally formed. And mounted on the support substrate 62. Of course, a CCD type solid-state imaging device can also be used.

固体撮像素子58の撮像面(受光面)58aは、プリズム56の出射面と対向するように配置されている。撮像面58a上には、矩形枠状のスペーサ63を介して矩形板状のカバーガラス64が取り付けられている。撮像チップ54とスペーサ63とカバーガラス64とは、接着剤を介して組み付けられており、これにより、塵埃などの侵入から撮像面58aが保護される。   The imaging surface (light receiving surface) 58 a of the solid-state imaging device 58 is disposed so as to face the emission surface of the prism 56. On the imaging surface 58a, a rectangular plate-like cover glass 64 is attached via a rectangular frame-like spacer 63. The imaging chip 54, the spacer 63, and the cover glass 64 are assembled through an adhesive, and thereby the imaging surface 58a is protected from intrusion of dust and the like.

挿入部20の後端に向けて延設された支持基板62の後端部には、複数の入出力端子62aが支持基板62の幅方向に並べて設けられている。入出力端子62aには、ユニバーサルコード24を介してプロセッサ装置14との各種信号のやり取りを媒介するための信号線66が接合されており、入出力端子62aは、支持基板62に形成された配線やボンディングパッド等(図示せず)を介して撮像チップ54内の周辺回路60と電気的に接続されている。   A plurality of input / output terminals 62 a are arranged in the width direction of the support substrate 62 at the rear end portion of the support substrate 62 extending toward the rear end of the insertion portion 20. The input / output terminal 62a is joined to a signal line 66 for mediating the exchange of various signals with the processor device 14 via the universal cord 24. The input / output terminal 62a is a wiring formed on the support substrate 62. And a peripheral circuit 60 in the imaging chip 54 through a bonding pad or the like (not shown).

信号線66は、可撓性の管状のケーブル68内にまとめて挿通されている。ケーブル68は、挿入部20、操作部22、及びユニバーサルコード24の各内部を挿通し、コネクタ36に接続されている。   The signal lines 66 are collectively inserted into a flexible tubular cable 68. The cable 68 is inserted through each of the insertion unit 20, the operation unit 22, and the universal cord 24 and is connected to the connector 36.

また、図2,図3では図示を省略しているが、照明窓42の奥には、照明部が設けられている。照明部には、光源装置16からの照明光を導くライトガイド120(図4参照)の出射端120aが配されており、本実施形態では、この出射端と照明窓42との間に蛍光体53を設けている。ライトガイド120は、ケーブル68と同様に、挿入部20、操作部22、及びユニバーサルコード24の各内部を挿通し、コネクタ36に入射端が接続されている。   Although not shown in FIGS. 2 and 3, an illumination unit is provided in the back of the illumination window 42. The illumination section is provided with an emission end 120a of a light guide 120 (see FIG. 4) for guiding illumination light from the light source device 16, and in this embodiment, a phosphor is provided between the emission end and the illumination window 42. 53 is provided. Similarly to the cable 68, the light guide 120 is inserted through each of the insertion unit 20, the operation unit 22, and the universal cord 24, and the incident end is connected to the connector 36.

図4は、内視鏡システム10の制御系を示したブロック図である。図4に示すように、電子内視鏡12の先端部26には、固体撮像素子58と、アナログ信号処理回路(AFE:アナログフロントエンド)72と、TG(タイミングジェネレータ)78と、CPU80と、データ書き換え可能な不揮発性メモリ81とが設けられている。   FIG. 4 is a block diagram showing a control system of the endoscope system 10. As shown in FIG. 4, the distal end portion 26 of the electronic endoscope 12 includes a solid-state imaging device 58, an analog signal processing circuit (AFE: analog front end) 72, a TG (timing generator) 78, a CPU 80, A data rewritable nonvolatile memory 81 is provided.

TG78は、CPU80の制御に基づき、固体撮像素子58の駆動パルス(垂直/水平走査パルス、リセットパルス等)とAFE72用の同期パルスとを発生する。固体撮像素子58は、TG78から入力される駆動パルスにより駆動され、対物光学系50を介して撮像面58aに結像された光学像を光電変換して撮像信号として出力する。   The TG 78 generates a driving pulse (vertical / horizontal scanning pulse, reset pulse, etc.) for the solid-state imaging device 58 and a synchronization pulse for the AFE 72 based on the control of the CPU 80. The solid-state imaging device 58 is driven by a driving pulse input from the TG 78, photoelectrically converts an optical image formed on the imaging surface 58a via the objective optical system 50, and outputs it as an imaging signal.

固体撮像素子58の撮像面58aには、多数の画素がマトリクス状に配置されており、各画素にはそれぞれフォトセンサ(光電変換素子)が設けられている。固体撮像素子58の撮像面58aに入射した光は各画素のフォトセンサに電荷として蓄積される。そして、垂直走査回路及び水平走査回路(いずれも不図示)による垂直方向と水平方向の走査によって、各画素のフォトセンサに蓄積された信号電荷量は画素信号として順次読み出され、所定のフレームレートで出力される。   A large number of pixels are arranged in a matrix on the imaging surface 58a of the solid-state imaging element 58, and a photosensor (photoelectric conversion element) is provided for each pixel. Light incident on the imaging surface 58a of the solid-state imaging device 58 is accumulated as a charge in the photosensor of each pixel. The signal charge amount accumulated in the photosensor of each pixel is sequentially read out as a pixel signal by scanning in the vertical and horizontal directions by a vertical scanning circuit and a horizontal scanning circuit (both not shown), and a predetermined frame rate is obtained. Is output.

なお、図示は省略するが、固体撮像素子58は、複数の色セグメントからなるカラーフィルタ(例えば、ベイヤ配列の原色カラーフィルタ)を備えた単板カラー撮像方式の固体撮像素子である。   Although not shown, the solid-state image sensor 58 is a solid-state image sensor of a single plate color imaging system provided with a color filter composed of a plurality of color segments (for example, a primary color filter with a Bayer array).

また、固体撮像素子58の各フォトセンサの蓄積電荷を撮像信号として読み出す信号読出回路の構成は従来周知であり、例えば3トランジスタ構成や4トランジスタ構成などの一般的な構成を適用することが可能であり、ここでは説明を省略する。   The configuration of a signal readout circuit that reads out the accumulated charge of each photosensor of the solid-state imaging device 58 as an imaging signal is well known, and a general configuration such as a 3-transistor configuration or a 4-transistor configuration can be applied. There is no explanation here.

AFE72は、相関二重サンプリング(CDS)回路と、自動ゲイン回路(AGC)と、A/D変換器とにより構成されている。CDS回路は、固体撮像素子58から出力される撮像信号に対して相関二重サンプリング処理を施し、固体撮像素子58で生じるリセット雑音及びアンプ雑音の除去を行う。   The AFE 72 includes a correlated double sampling (CDS) circuit, an automatic gain circuit (AGC), and an A / D converter. The CDS circuit performs correlated double sampling processing on the imaging signal output from the solid-state imaging device 58 to remove reset noise and amplifier noise generated in the solid-state imaging device 58.

AGCは、CDS回路によりノイズ除去が行われた撮像信号を、CPU80から指定されたゲイン(増幅率)で増幅する。A/D変換器は、AGCにより増幅された撮像信号を、所定のビット数のデジタル信号に変換して出力する。AFE72でデジタル化されて出力された撮像信号(デジタル撮像信号)は、信号線66を通してプロセッサ装置14に入力される。   The AGC amplifies the image signal from which noise has been removed by the CDS circuit with a gain (amplification factor) designated by the CPU 80. The A / D converter converts the imaging signal amplified by the AGC into a digital signal having a predetermined number of bits and outputs the digital signal. An imaging signal (digital imaging signal) that is digitized and output by the AFE 72 is input to the processor device 14 through the signal line 66.

このCPU80に接続されるメモリ81に、電子内視鏡12に搭載される蛍光体53の特性データ及び固体撮像素子58の各画素に積層されるカラーフィルタの特性データ等が格納される。精度の高い観察撮像を得る必要がある場合、電子内視鏡12に搭載される蛍光体53や固体撮像素子58の個体差バラツキを考慮した画像処理を行う必要があるためであり、これについては後述する。このメモリ81内の特性データは、後述するプロセッサ装置14のCPU82から要求されたとき、CPU80がCPU82に送信する。   The memory 81 connected to the CPU 80 stores characteristic data of the phosphor 53 mounted on the electronic endoscope 12 and characteristic data of a color filter stacked on each pixel of the solid-state image sensor 58. This is because when it is necessary to obtain observation imaging with high accuracy, it is necessary to perform image processing in consideration of individual differences in the phosphor 53 and the solid-state imaging device 58 mounted on the electronic endoscope 12. It will be described later. The characteristic data in the memory 81 is transmitted from the CPU 80 to the CPU 82 when requested by the CPU 82 of the processor device 14 to be described later.

プロセッサ装置14は、CPU82と、ROM84と、RAM85と、画像処理回路(DSP)86と、表示制御回路88とを備えて構成される。   The processor device 14 includes a CPU 82, a ROM 84, a RAM 85, an image processing circuit (DSP) 86, and a display control circuit 88.

CPU82は、プロセッサ装置14内の各部を制御するとともに、内視鏡システム10の全体を統括的に制御する。ROM84には、プロセッサ装置14の動作を制御するための各種プログラムや制御用データが記憶される。また、RAM85には、CPU82により実行されるプログラムやデータなどが一時記憶される。   The CPU 82 controls each part in the processor device 14 and controls the entire endoscope system 10 in an integrated manner. The ROM 84 stores various programs and control data for controlling the operation of the processor device 14. The RAM 85 temporarily stores programs executed by the CPU 82 and data.

DSP86は、CPU82の制御に基づき、AFE72から入力された撮像信号に対し、色補間,色分離,色バランス調整,ホワイトバランス補正,ガンマ補正,画像強調処理等を施し、画像データを生成する。   The DSP 86 performs color interpolation, color separation, color balance adjustment, white balance correction, gamma correction, image enhancement processing, and the like on the imaging signal input from the AFE 72 based on the control of the CPU 82 to generate image data.

DSP86から出力された画像データは表示制御回路88に入力され、表示制御回路88は、DSP86から入力された画像データを、モニタ38に対応した信号形式に変換しモニタ38の画面に表示させる。   The image data output from the DSP 86 is input to the display control circuit 88, and the display control circuit 88 converts the image data input from the DSP 86 into a signal format corresponding to the monitor 38 and displays it on the screen of the monitor 38.

プロセッサ装置14の操作部90は、固体撮像素子58の動作モードを選択し又は切り替えるためのモード切替ボタンや、その他ユーザの指示入力を受け付ける各種ボタンが設けられている。   The operation unit 90 of the processor device 14 is provided with a mode switching button for selecting or switching the operation mode of the solid-state imaging device 58, and various buttons for receiving other user instruction inputs.

光源装置16は、主光源100と、主光源駆動回路101と、補助光源102と、補助光源駆動回路103と、CPU104と、合波部105とを備えて構成される。CPU104は、プロセッサ装置14のCPU82と通信を行い、主光源駆動回路101,補助光源駆動回路103の制御を行う。   The light source device 16 includes a main light source 100, a main light source driving circuit 101, an auxiliary light source 102, an auxiliary light source driving circuit 103, a CPU 104, and a multiplexing unit 105. The CPU 104 communicates with the CPU 82 of the processor device 14 and controls the main light source driving circuit 101 and the auxiliary light source driving circuit 103.

CPU104の指示によって、主光源駆動回路101は主光源100の主発光量を制御し、CPU104の指示によって補助光源駆動回路103は補助光源102の補助発光量を制御する。合波部105は、主光源100と補助光源102の夫々の出射光を合波してライトガイド120の入射端120bに出射する。   The main light source driving circuit 101 controls the main light emission amount of the main light source 100 according to an instruction from the CPU 104, and the auxiliary light source driving circuit 103 controls the auxiliary light emission amount of the auxiliary light source 102 according to an instruction from the CPU 104. The combining unit 105 combines the emitted lights of the main light source 100 and the auxiliary light source 102 and outputs the combined light to the incident end 120 b of the light guide 120.

主光源100は、本実施形態では波長445nmの青色レーザを発光するレーザダイオード(半導体素子)でなり、主光源駆動回路101によりパルス駆動されて発光量が制御される。補助光源102は、本実施形態では波長405nmの青色レーザを発光するレーザダイオード(半導体素子)でなり、補助光源駆動回路103によりパルス駆動されて発光量が制御される。波長405nmの青色光は、特殊光観察で使用される。各光源100,102の発光比率は、ユーザ指示の観察モードによってCPU82,104により変更される。   In this embodiment, the main light source 100 is a laser diode (semiconductor element) that emits a blue laser having a wavelength of 445 nm. The main light source 100 is pulse-driven by the main light source driving circuit 101 to control the light emission amount. In this embodiment, the auxiliary light source 102 is a laser diode (semiconductor element) that emits a blue laser having a wavelength of 405 nm. The auxiliary light source driving circuit 103 drives the pulse to control the light emission amount. Blue light having a wavelength of 405 nm is used for special light observation. The light emission ratios of the light sources 100 and 102 are changed by the CPUs 82 and 104 depending on the observation mode designated by the user.

ライトガイド120の出射端120aと電子内視鏡12の先端照明窓42との間には、上述した様に蛍光体53が設けられている。ライトガイド120を通った青色レーザ光は蛍光体53に照射され、蛍光体53を励起状態にすると共に、その一部は蛍光体53を透過して青色光として照明窓42から出射される。   As described above, the phosphor 53 is provided between the emission end 120a of the light guide 120 and the front end illumination window 42 of the electronic endoscope 12. The blue laser light that has passed through the light guide 120 is irradiated onto the phosphor 53 to bring the phosphor 53 into an excited state, and part of the phosphor 53 is transmitted through the phosphor 53 and emitted from the illumination window 42 as blue light.

蛍光体53は、主として波長445nmの青色レーザ光で励起され、光の波長帯域でいうと、青色と緑色の境界当たりの波長域から赤色の波長域までの広範囲の光(色としては黄色)を発光する。この黄色の光と蛍光体53を透過する青色光(蛍光体53で発光する青色光も一部含む。)とが混合されて白色光となり、照明窓42を通して被写体を照明することになる。   The phosphor 53 is mainly excited by blue laser light having a wavelength of 445 nm, and in the light wavelength band, a wide range of light (yellow as a color) from the wavelength range per blue / green boundary to the red wavelength range is used. Emits light. The yellow light and the blue light transmitted through the phosphor 53 (including part of the blue light emitted from the phosphor 53) are mixed to become white light, and the subject is illuminated through the illumination window 42.

赤色(R)光と青色(B)光と緑色(G)光を含む白色光で照明された被写体(患部)からの反射光を、RGBの3原色のカラーフィルタを搭載した固体撮像素子58で受光することで、被写体のカラー画像が再現される。   The reflected light from the subject (affected part) illuminated with white light including red (R) light, blue (B) light, and green (G) light is reflected by a solid-state imaging device 58 equipped with color filters of three primary colors of RGB. By receiving light, a color image of the subject is reproduced.

上記のように構成された内視鏡システム10で体腔内を観察する際には、電子内視鏡12と、プロセッサ装置14と、光源装置16と、モニタ38の電源をオンにして、電子内視鏡12の挿入部20を体腔内に挿入し、光源装置16からの照明光で体腔内を照明しながら、固体撮像素子58により撮像される体腔内の画像をモニタ38で観察することになる。   When the inside of the body cavity is observed with the endoscope system 10 configured as described above, the electronic endoscope 12, the processor device 14, the light source device 16, and the monitor 38 are turned on, and the electronic internal The insertion part 20 of the endoscope 12 is inserted into the body cavity, and the image in the body cavity imaged by the solid-state imaging device 58 is observed on the monitor 38 while illuminating the body cavity with the illumination light from the light source device 16. .

プロセッサ装置14のCPU82は、固体撮像素子58から出力される撮像画像信号から照明光の光量制御を行うか否かを判断する。つまり、観察画像が暗い画像の場合には照明光の光量増加を図り、観察画像が明るすぎる場合には照明光の光量減少を図る。   The CPU 82 of the processor device 14 determines whether or not to control the amount of illumination light from the captured image signal output from the solid-state image sensor 58. That is, when the observation image is a dark image, the amount of illumination light is increased, and when the observation image is too bright, the amount of illumination light is decreased.

この照明光の増減制御を行う場合、CPU82はCPU80に指令を出して蛍光体53の特性データを取得し、光源装置16のCPU104に指令を出力し、主光源100の発光量を制御させる。   When performing this illumination light increase / decrease control, the CPU 82 issues a command to the CPU 80 to acquire the characteristic data of the phosphor 53 and outputs a command to the CPU 104 of the light source device 16 to control the light emission amount of the main light source 100.

CPU104からの指示を受けた主光源駆動回路101は、主光源100の発光量制御を行う。主光源100から発光される青色レーザ光(波長445nm)を受けた蛍光体53は、そのレーザ光量に応じた黄色光(緑色G+赤色R)を発光すると共に、入射する波長445nmの青色光のうち所要割合の青色光を透過する。   The main light source drive circuit 101 that has received an instruction from the CPU 104 controls the light emission amount of the main light source 100. The phosphor 53 that has received the blue laser light (wavelength 445 nm) emitted from the main light source 100 emits yellow light (green G + red R) corresponding to the laser light amount, and among the incident blue light having a wavelength of 445 nm. Transmits the required proportion of blue light.

この透過する波長445nmの青色光は、図9の特性データを持つ蛍光体53及び主光源100の場合、発光量が多くなるほど即ち明るくなるほど、蛍光体53を透過する青色光の割合が増え、B/Gが増加してしまう。   In the case of the phosphor 53 having the characteristic data of FIG. 9 and the main light source 100, the transmitted blue light having a wavelength of 445 nm increases as the amount of emitted light increases, that is, as the brightness increases, the proportion of blue light transmitted through the phosphor 53 increases. / G will increase.

そこで、本実施形態では、主光源100の主発光量増加指示がCPU82,104から主光源駆動回路101に出されたとき、CPU82は蛍光体53の特性データに基づいて同時にDSP86に対し補正処理の指示を発行し、DSP86は、この特性データを補正処理のパラメータとして画像処理を行う。この例では、主発光量の増量指示が出されたとき、固体撮像素子58から出力されるRGBの各色撮像画像信号のうち、青色(B)光の割合が他色に対して増えるため、B光の撮像画像信号量を減量補正し、主発光量の増量指示前と観察画像に色味が変化しないようにする。   Therefore, in the present embodiment, when an instruction to increase the main light emission amount of the main light source 100 is issued from the CPUs 82 and 104 to the main light source driving circuit 101, the CPU 82 simultaneously performs correction processing on the DSP 86 based on the characteristic data of the phosphor 53. The DSP 86 issues an instruction, and performs image processing using this characteristic data as a parameter for correction processing. In this example, when an instruction to increase the main light emission amount is issued, the ratio of blue (B) light in the RGB color imaged image signals output from the solid-state image sensor 58 increases with respect to other colors. The picked-up image signal amount of light is reduced and corrected so that the color does not change between before the main light emission amount increase instruction and the observation image.

この様に、本実施形態では、主発光量増量指示と同時にDSP86に青みを減少させる画像処理の指示が出されるため、照明光の色味変化に対して観察画像の色味変化を応答遅れ無しに抑制することが可能となる。   In this way, in this embodiment, since the DSP 86 is instructed to reduce the bluishness simultaneously with the main light emission amount increase instruction, there is no response delay in the color change of the observation image with respect to the color change of the illumination light. Can be suppressed.

本実施形態のDSP86は、上述した色味変化を抑制する画像処理を行うと共に、通常のホワイトバランス補正も行う。ホワイトバランス補正では、観察画像の患部の色がおかしいのか、それとも照明光の色味がおかしいのかの区別ができない。しかし、本実施形態では、ホワイトバランス補正とは別に、照明光の色味変化を抑制する補正を行うため、患部の色に引きずられることなく適正なホワイトバランス補正が可能となる。DSP86がホワイトバランス補正を行うとき、CPU80,CPU82から渡された固体撮像素子58のカラーフィルタの個体差データが用いられる。   The DSP 86 of the present embodiment performs the above-described image processing that suppresses the color change and also performs normal white balance correction. In the white balance correction, it is impossible to distinguish whether the color of the affected part of the observation image is strange or the color of the illumination light is strange. However, in the present embodiment, correction for suppressing the color change of the illumination light is performed separately from the white balance correction, so that appropriate white balance correction can be performed without being dragged by the color of the affected part. When the DSP 86 performs white balance correction, the individual difference data of the color filter of the solid-state image sensor 58 passed from the CPU 80 and CPU 82 is used.

図5は、本発明の別実施形態に係る内視鏡システムの制御系ブロック図である。図4の実施形態と異なる箇所は光源装置16である。図4の実施形態では、蛍光体53を用いたが、本実施形態では蛍光体53を用いずに、光源装置16として3原色夫々のLED光源(半導体素子)を用いている。   FIG. 5 is a control system block diagram of an endoscope system according to another embodiment of the present invention. A difference from the embodiment of FIG. 4 is a light source device 16. In the embodiment of FIG. 4, the phosphor 53 is used, but in this embodiment, the LED light source (semiconductor element) for each of the three primary colors is used as the light source device 16 without using the phosphor 53.

本実施形態の光源装置16は、光源としてのR光発光LED100r,G光発光LED100g,B光発光LED100bと、これら光源100r,100g,100bの夫々を駆動する光源駆動回路112r,112g,112bと、これら光源駆動回路112r,112g,112bに制御指令を出力するCPU114と、各光源100r,100g,100bの出射光を合波してライトガイド120の入射端120bに入射させる合波部115とを備えて構成される。CPU114は、プロセッサ装置14のCPU82と通信を行い、光源駆動回路112r,112g,112bの制御を行う。   The light source device 16 of this embodiment includes an R light emitting LED 100r, a G light emitting LED 100g, and a B light emitting LED 100b as light sources, and light source drive circuits 112r, 112g, and 112b that drive the light sources 100r, 100g, and 100b, respectively. A CPU 114 that outputs a control command to the light source driving circuits 112r, 112g, and 112b, and a multiplexing unit 115 that multiplexes the light emitted from each of the light sources 100r, 100g, and 100b and enters the incident end 120b of the light guide 120. Configured. The CPU 114 communicates with the CPU 82 of the processor device 14 and controls the light source driving circuits 112r, 112g, and 112b.

本実施形態では、光源として発光LED100r,100g,100bを用いたが、各色を発光するレーザダイオードを用いても良い。これら光源100r,100g,100bは、各光源駆動回路112r,112g,112bにより発光強度が制御される。   In the present embodiment, the light emitting LEDs 100r, 100g, and 100b are used as the light source. However, laser diodes that emit each color may be used. The light intensity of these light sources 100r, 100g, and 100b is controlled by the light source driving circuits 112r, 112g, and 112b.

合波部115で合波された光は、被写体照明光として多数本の光ファイバを束ねて構成されるライトガイド120の入射端120bに導入され、出射端120aから照明窓42を通り被写体に向けて出射される。   The light combined by the multiplexing unit 115 is introduced into the incident end 120b of the light guide 120 configured by bundling a plurality of optical fibers as subject illumination light, and is directed from the emission end 120a through the illumination window 42 toward the subject. Are emitted.

赤色(R)光と青色(B)光と緑色(G)光を含む白色光で照明された被写体(患部)からの反射光を、RGBの3原色のカラーフィルタを搭載した固体撮像素子58で受光することで、被写体のカラー画像が再現される。   The reflected light from the subject (affected part) illuminated with white light including red (R) light, blue (B) light, and green (G) light is reflected by a solid-state imaging device 58 equipped with color filters of three primary colors of RGB. By receiving light, a color image of the subject is reproduced.

図8で説明した様に、電子内視鏡12の先端部を患部から遠ざけて観察画像を撮像する場合と、患部に近づけて観察画像を撮像する場合、照明光の明るさ制御を行う。照明光の明るさは、固体撮像素子58の撮像画像信号から判断でき、観察画像が所定の明るさより暗くなったときは照明光の発光量を上げて明るくし、観察画像が所定の明るさより明るくなったときは照明光の発光量を下げて暗くする。   As described with reference to FIG. 8, the brightness of the illumination light is controlled when the observation image is captured by moving the distal end portion of the electronic endoscope 12 away from the affected area, and when the observation image is captured close to the affected area. The brightness of the illumination light can be determined from the captured image signal of the solid-state imaging device 58. When the observation image becomes darker than the predetermined brightness, the light emission amount of the illumination light is increased to make it brighter, and the observation image is brighter than the predetermined brightness. When it becomes dark, lower the amount of illumination light and darken it.

しかし、発光LED100r,100g,100bの通電量を増減制御すると、発光LED100r,100g,100b間の個体差が変化する等し、図9で説明した様に、照明光に含まれるR光,G光,B光の割合が変化することがある。この場合、観察画像の色味が変化したり、B/Gが上昇して表層血管観察に不向きとなる。   However, if the energization amount of the light emitting LEDs 100r, 100g, and 100b is controlled to increase or decrease, the individual difference between the light emitting LEDs 100r, 100g, and 100b changes, and as described with reference to FIG. 9, the R light and G light included in the illumination light. , The ratio of B light may change. In this case, the color of the observation image changes or B / G increases, making it unsuitable for superficial blood vessel observation.

そこで、本実施形態では、観察画像の色味が変化しない様に、固体撮像素子58から出力されるR,G,Bの撮像画像信号に対して補正処理を施し、光源への通電量が変化し照明光の色味が変化しても、常に、図9の例えばA点位置を基準位置とし、このA点位置の色味と同じ色味となるように色バランス調整を行った観察画像データを生成する。   Therefore, in the present embodiment, correction processing is performed on the R, G, and B captured image signals output from the solid-state imaging device 58 so that the color of the observation image does not change, and the amount of current supplied to the light source changes. Even if the color of the illumination light changes, observation image data in which the color balance is adjusted so that the color at the point A in FIG. Is generated.

例えば、光源への通電量制御を行い、図9の例えばB点で示す位置で光源を発光させたとする。このB点位置では、既にA点位置に対してB/Gが上昇している。高精度な表層血管観察を行う場合、色味制御を高精度に行う必要がある。そこで、例えば図9のB/Gの特性データを予め図5のCPU82がROM84内に持っていれば、DSP86に指示し、R,G,Bの撮像画像信号のうちB光の撮像画像信号量を減らして図9のA点位置(基準位置:例えばB/G=1)に合わせた撮像画像を補正演算処理により求め、モニタ38に表示することが可能となる。   For example, it is assumed that the energization amount control to the light source is performed and the light source is caused to emit light at a position indicated by a point B in FIG. At this B point position, B / G has already increased with respect to the A point position. When performing highly accurate surface blood vessel observation, it is necessary to perform color control with high accuracy. Therefore, for example, if the CPU 82 in FIG. 5 has the B / G characteristic data in FIG. 9 in the ROM 84 in advance, the DSP 86 is instructed, and among the R, G, and B captured image signals, the amount of the captured image signal of B light 9 can be reduced and a captured image matched with the point A position in FIG. 9 (reference position: B / G = 1, for example) can be obtained by correction calculation processing and displayed on the monitor 38.

光源100r,100g,100bの特性データは、電子内視鏡12のメモリ81や、光源装置16のCPU114内のROM等に格納しておいても良く、これらメモリに格納しておけば、CPU82は何時でもこれらデータを読み出すことができる。   The characteristic data of the light sources 100r, 100g, and 100b may be stored in the memory 81 of the electronic endoscope 12, the ROM in the CPU 114 of the light source device 16, or the like. These data can be read at any time.

上述した実施形態では、図9に例示した特性を基に説明したが、照明光を強くしたとき、どの色の光量がどの色の光量に対して増減するかは、光源個体差によるため、本発明は図9の特性に限定されるものではない。照明光を強くしたときどの様な各色光量の変化が起きるかは予め調べておくことができ、調べたデータをROM84等にテーブルデータとして保持しておけば、CPU82はDSP86に適切な補正処理を、光量増減指示と同時に指示することができ、制御応答遅れなく、常に基準位置の色味に合わせた観察画像データを得ることができる。   In the above-described embodiment, the description has been made based on the characteristics illustrated in FIG. 9. However, when the illumination light is increased, which color light amount increases or decreases with respect to which color light amount depends on the individual light source difference. The invention is not limited to the characteristics shown in FIG. It is possible to check in advance what kind of change in the amount of light of each color occurs when the illumination light is strengthened. If the checked data is stored as table data in the ROM 84 or the like, the CPU 82 performs appropriate correction processing on the DSP 86. It is possible to instruct simultaneously with the light quantity increase / decrease instruction, and it is possible to obtain observation image data that always matches the color of the reference position without delaying the control response.

ここで、例えば図9の横軸の全て点におけるデータをテーブルデータとして保持しておく必要はなく、離散的な特定位置のデータ(図9の例では明るさ50,100,150,200,…の各位置のデータ)を保持しておき、これらの間のデータは補間演算で求めれば良い。   Here, for example, it is not necessary to store data at all points on the horizontal axis in FIG. 9 as table data, but data at discrete specific positions (in the example of FIG. 9, brightness 50, 100, 150, 200,... Data between these positions) is held, and the data between them may be obtained by interpolation calculation.

図6は、電子シャッタのシャッタ期間(露光期間)を制御することで、1フレーム画像を撮像するときの露光量を一定にする説明図である。CMOS型固体撮像素子58は、基本的にローリングシャッタ駆動で被写体を動画像として撮像しており、各画素行毎に、少しずつ露光期間(ある画素行にリセット信号201を印加するタイミングから、この画素行の画素信号を読み出す読出信号202を印加するタイミングまで)をずらしながら各画素行順に被写体画像の撮像を行っている。   FIG. 6 is an explanatory diagram for making the exposure amount constant when capturing one frame image by controlling the shutter period (exposure period) of the electronic shutter. The CMOS type solid-state imaging device 58 basically images a subject as a moving image by driving a rolling shutter, and for each pixel row, an exposure period (from the timing of applying the reset signal 201 to a certain pixel row) The subject images are picked up in order of each pixel row while shifting (until the timing of applying the readout signal 202 for reading out the pixel signal of the pixel row).

1フレームの被写体画像を、例えば〔1/30〕秒で撮影し、1秒間に30フレームの被写体の動画像を撮影するとする。電子内視鏡先端部を患部から遠い場所から徐々に近い場所に近づける場合、電子内視鏡先端部から出射する照明光の光量が一定であると、患部に近づくほど患部からの反射光量は増え、固体撮像素子58の露光量は増し、観察画像は徐々に明るくなる。そこで、図6(a)→図6(b)に示す様に、画素信号を読み出す読出信号202に対してリセット信号201を近づけ、露光期間を短くしていくと、観察画像の明るさを一定に制御することができる。遠ざけるときの制御は逆となる。   It is assumed that a subject image of one frame is taken in, for example, [1/30] seconds and a moving image of a subject of 30 frames is taken per second. When the tip of the electronic endoscope is gradually approached from a location far from the affected area, if the amount of illumination light emitted from the distal end of the electronic endoscope is constant, the amount of reflected light from the affected area increases as the affected area gets closer. The exposure amount of the solid-state image sensor 58 increases, and the observation image becomes gradually brighter. Therefore, as shown in FIG. 6A → FIG. 6B, the brightness of the observation image becomes constant as the reset signal 201 is brought closer to the readout signal 202 for reading out the pixel signal and the exposure period is shortened. Can be controlled. The control when moving away is reversed.

この電子シャッタ制御では、光源への通電量を固定とし、照明光の光量を一定(つまり、照明光の色味は変化しない。)にした状態でも行うことができる。そこで、この電子シャッタ制御による明るさ一定制御と、上述した図4,図5で説明した実施形態の照明光の光量制御とを併用するのが好ましい。例えば、電子シャッタ制御で明るさ一定制御が可能な場合は電子シャッタ制御だけを行い、照明光の光量を増減する必要が生じたときは、図4,図5で説明した実施形態の発光光量制御に切り替える。あるいは、図4,図5の実施形態の制御時にも電子シャッタ制御を併用しても良い。   This electronic shutter control can be performed even in a state where the energization amount to the light source is fixed and the amount of illumination light is constant (that is, the color of illumination light does not change). Therefore, it is preferable to use the brightness constant control by the electronic shutter control together with the illumination light amount control of the embodiment described with reference to FIGS. For example, when the constant brightness control is possible by the electronic shutter control, only the electronic shutter control is performed, and when it is necessary to increase or decrease the light amount of the illumination light, the light emission light amount control of the embodiment described with reference to FIGS. Switch to. Alternatively, electronic shutter control may be used in combination with the control of the embodiment of FIGS.

図7は、固体撮像素子58がCCD型の場合の電子シャッタ露光制御の例を示す図である。CCD型固体撮像素子の場合、各画素(光電変換素子)と垂直電荷転送路(VCCD)との間に設けたトランスファーゲートに読出信号205を印加することで、撮像画像信号を垂直電荷転送路に読み出す。このとき、トランスファーゲートに印加する読出信号205は定周期で印加するが、各画素の蓄積電荷を基板側に廃棄する電子シャッタパルス206と、次の読出信号205までの期間(=露光期間)を制御することで、露光期間(電荷蓄積時間)の制御が行われる。図示する例では、幅の短い電子シャッタパルス207を印加することで、電子シャッタパルス206を印加したフレームより、露光期間(電荷蓄積時間)は長くなる。   FIG. 7 is a diagram illustrating an example of electronic shutter exposure control when the solid-state imaging device 58 is a CCD type. In the case of a CCD solid-state imaging device, a readout signal 205 is applied to a transfer gate provided between each pixel (photoelectric conversion device) and a vertical charge transfer path (VCCD), whereby the captured image signal is transferred to the vertical charge transfer path. read out. At this time, the readout signal 205 to be applied to the transfer gate is applied at a fixed period, but an electronic shutter pulse 206 for discarding the accumulated charge of each pixel to the substrate side and a period until the next readout signal 205 (= exposure period). By controlling, the exposure period (charge accumulation time) is controlled. In the example shown in the drawing, by applying the electronic shutter pulse 207 having a short width, the exposure period (charge accumulation time) becomes longer than the frame to which the electronic shutter pulse 206 is applied.

なお、図6,図7を用い、電子シャッタ制御を併用する例について述べたが、必ずしも電子シャッタ制御を併用しなければならない訳ではない。また、光源としてレーザダイオードやLED等の半導体素子を用いた例を説明したが、光源種類はこれらに限るものではない。   Although the example using the electronic shutter control in combination has been described with reference to FIGS. 6 and 7, the electronic shutter control is not necessarily used in combination. Moreover, although the example using semiconductor elements, such as a laser diode and LED, was demonstrated as a light source, the kind of light source is not restricted to these.

例えば光源装置16内に光源としてキセノンランプを用意し、キセノンランプとライトガイド120の入射端120bとの間に絞りを設け、絞りの開口量で光源光量を調整することでも良い。キセノンランプからの光を絞りで絞った場合、絞りを通る光の波長分布が変化する可能性、即ち、色味が変化する可能性がある。このため、図4,図5で説明した実施形態でと同様に画像処理で色味が変化しない様にする。例えば、絞りの開口制御に連動してDSP86が色味制御のための画像処理を行う。   For example, a xenon lamp may be prepared as a light source in the light source device 16, a diaphragm may be provided between the xenon lamp and the incident end 120b of the light guide 120, and the light source light amount may be adjusted by the aperture amount of the diaphragm. When the light from the xenon lamp is stopped by the stop, the wavelength distribution of the light passing through the stop may change, that is, the color may change. For this reason, as in the embodiment described with reference to FIGS. 4 and 5, the color is not changed by image processing. For example, the DSP 86 performs image processing for tint control in conjunction with aperture control.

以上述べた実施形態の内視鏡システム及びその駆動方法は、先端部に固体撮像素子が搭載されると共に該固体撮像素子に隣接して照明部が設けられ、被検体の体腔内に前記先端部が挿入されたとき該体腔内の被写体を前記照明部で照明し前記固体撮像素子で該被写体の画像を撮影する電子内視鏡と、
赤色光,緑色光,青色光の3原色光を混合した照明光を生成し、前記照明部から前記被写体に出射する照明手段と
を備える内視鏡システム及びその駆動方法であって、
前記固体撮像素子から出力される赤色光,緑色光,青色光の各色の撮像画像データを処理するに際し、前記照明光の強度を変化させたとき他色の光量に対して少なくなる光量の色の撮像画像データ量を増量補正し、又は、他色の光量に対して多くなる光量の色の撮像画像データを減量補正して画像処理を行う
ことを特徴とする。
In the endoscope system and the driving method thereof according to the embodiments described above, a solid-state imaging device is mounted on the distal end portion, and an illuminating unit is provided adjacent to the solid-state imaging device, and the distal end portion is disposed in the body cavity of the subject. An electronic endoscope that illuminates a subject in the body cavity with the illuminating unit and takes an image of the subject with the solid-state imaging device,
An endoscope system including an illumination unit that generates illumination light in which three primary colors of red light, green light, and blue light are mixed and emits the light from the illumination unit to the subject, and a driving method thereof.
When processing the picked-up image data of each color of red light, green light, and blue light output from the solid-state image sensor, when the intensity of the illumination light is changed, the color of the light quantity that becomes smaller than the light quantity of other colors Image processing is performed by correcting the amount of picked-up image data to be increased or by reducing the amount of picked-up image data of a light amount that is larger than the amount of light of other colors.

また、実施形態の内視鏡システム及びその駆動方法の前記照明手段は、青色光を受光して該青色光の一部で緑色光及び赤色光を発光する蛍光体を備えることを特徴とする。   In addition, the illuminating means of the endoscope system and the driving method thereof according to the embodiment includes a phosphor that receives blue light and emits green light and red light with a part of the blue light.

また、実施形態の内視鏡システム及びその駆動方法は、前記照明手段の光源が半導体素子で形成されることを特徴とする。   In addition, the endoscope system and the driving method thereof according to the embodiment are characterized in that the light source of the illumination unit is formed of a semiconductor element.

また、実施形態の内視鏡システム及びその駆動方法の前記照明手段は発光波長の異なる複数の光源を備え、観察モードによって各光源の発光比率を変更することを特徴とする。   In addition, the illuminating unit of the endoscope system and the driving method thereof according to the embodiment includes a plurality of light sources having different emission wavelengths, and changes a light emission ratio of each light source according to an observation mode.

また、実施形態の内視鏡システム及びその駆動方法は、前記増量補正又は前記減量補正するパラメータを前記電子内視鏡内のメモリに保持することを特徴とする。   In addition, the endoscope system and the driving method thereof according to the embodiment are characterized in that the parameter for the increase correction or the decrease correction is stored in a memory in the electronic endoscope.

また、実施形態の内視鏡システム及びその駆動方法は、前記パラメータを用いた前記画像処理手段の行う前記増量補正又は前記減量補正は、前記照明手段に発行される前記照明光の強度を変化させる指令に基づいて行うことを特徴とする。   In the endoscope system and the driving method thereof according to the embodiment, the increase correction or the decrease correction performed by the image processing unit using the parameter changes the intensity of the illumination light issued to the illumination unit. It is performed based on a command.

以上述べた実施形態によれば、内視鏡先端部を主要被写体に近づけて撮影しても遠ざけて撮影しても観察画像の色味が変化することがなくなり、違和感のない見易い観察画像を提供することが可能となる。   According to the embodiments described above, the color of the observation image does not change even when the endoscope tip is photographed close to or away from the main subject, and an easy-to-see observation image without discomfort is provided. It becomes possible to do.

本発明に係る内視鏡システムは、被写体の近い画像と遠い画像とで色味変化がなくなり、見易い観察画像を提供でき、高品質画像を撮像可能な内視鏡システムとして有用である。   The endoscope system according to the present invention is useful as an endoscope system capable of providing an easy-to-see observation image and capable of capturing a high-quality image because there is no color change between an image close to and far from an object.

10 内視鏡システム
12 電子内視鏡
14 プロセッサ装置
16 光源装置
26 先端部
26a 先端部先端面
40 観察窓
42 照明窓
53 蛍光体
54 撮像素子チップ
58 固体撮像素子
80,82,104,114 CPU
81 データ書き換え可能な不揮発性メモリ
100 主光源(波長445nm)
100r R光発光LED
100g G光発光LED
100b B光発光LED
101 主光源駆動回路
102 補助光源(波長405nm:特殊光観察光源)
103 補助光源駆動回路
105,115 合波部
120 ライトガイド
120a ライトガイド出射端
120b ライトガイド入射端
DESCRIPTION OF SYMBOLS 10 Endoscope system 12 Electronic endoscope 14 Processor apparatus 16 Light source apparatus 26 Front-end | tip part 26a Front-end | tip front end surface 40 Observation window 42 Illumination window 53 Phosphor 54 Image sensor chip 58 Solid-state image sensor 80, 82, 104, 114 CPU
81 Data rewritable nonvolatile memory 100 Main light source (wavelength 445 nm)
100r R light emitting LED
100g G light emitting LED
100b B light emitting LED
101 Main light source drive circuit 102 Auxiliary light source (wavelength 405 nm: special light observation light source)
103 Auxiliary light source drive circuits 105 and 115 Multiplexer 120 Light guide 120a Light guide exit end 120b Light guide entrance end

Claims (9)

先端部に被写体に対して照明光を照射する照明窓が設けられ、該被写体からの光を受光する固体撮像素子を前記先端部に搭載した電子内視鏡と、
発光波長が異なる複数の半導体発光素子を搭載し、該半導体発光素子の発光光を前記電子内視鏡に導入する光源装置と、
前記固体撮像素子から出力される赤色、緑色、及び青色の撮像画像信号に基づいて、観察画像データを生成する画像処理手段と、
前記半導体発光素子の発光量を制御するための駆動量に応じた、前記照明窓からの前記照明光の各色成分の光量を示す特性を記憶したメモリと、を備え、
前記半導体発光素子の駆動量を変更して前記被写体に照射される前記照明光の強度を変更する際、前記画像処理手段は、前記メモリに記憶された特性データに基づいて、前記各色の撮像画像信号を増減させる補正演算処理を行う内視鏡システム。
An electronic endoscope in which an illumination window for illuminating the subject with illumination light is provided at the tip, and a solid-state imaging device that receives light from the subject is mounted on the tip,
Equipped with different emission wavelengths plurality of semiconductor light emitting elements, a light source device for introducing the light emitted of the semiconductor light emitting element to the electronic endoscope,
Image processing means for generating observation image data based on red, green, and blue captured image signals output from the solid-state imaging device;
A memory storing characteristics indicating light amounts of the respective color components of the illumination light from the illumination window according to a drive amount for controlling the light emission amount of the semiconductor light emitting element ,
When changing the driving amount of the semiconductor light emitting element to change the intensity of the illumination light applied to the subject, the image processing unit is configured to pick up the captured image of each color based on the characteristic data stored in the memory. An endoscope system that performs correction calculation processing to increase or decrease signals.
請求項1に記載の内視鏡システムであって、
前記固体撮像素子からの撮像画像信号に基づいて、前記照明光の光量変更を指示する光量制御部を備え、
前記光量制御部は、前記照明光の光量変更を指示する際、前記画像処理手段に対して前記補正演算処理を指示する内視鏡システム。
The endoscope system according to claim 1,
Based on a captured image signal from the solid-state image sensor, comprising a light amount control unit for instructing a light amount change of the illumination light,
The endoscope system in which the light amount control unit instructs the correction processing to the image processing unit when instructing to change the light amount of the illumination light.
請求項1又は請求項2に記載の内視鏡システムであって、
前記半導体発光素子は、青色光を発する1又は複数の半導体発光素子を含み、
前記半導体発光素子からの青色光を導くライトガイドの出射端と前記照明窓との間に設けられ、前記青色光を受光して該青色光の一部で緑色光及び赤色光を発光する蛍光体を備え、
前記照明窓から、前記半導体発光素子からの青色光と、前記蛍光体からの緑色光及び赤色光が混合された白色照明光が出射される内視鏡システム。
The endoscope system according to claim 1 or 2,
The semiconductor light emitting device includes one or more semiconductor light emitting devices that emit blue light,
A phosphor that is provided between an emission end of a light guide that guides blue light from the semiconductor light emitting element and the illumination window and that receives the blue light and emits green light and red light with a part of the blue light With
An endoscope system in which white illumination light in which blue light from the semiconductor light emitting element and green light and red light from the phosphor are mixed is emitted from the illumination window.
請求項1又は請求項2に記載の内視鏡システムであって。
前記半導体発光素子は、赤色光を発光する第1の半導体発光素子と、緑色光を発光する第2の半導体発光素子と、青色光を発光する第3の半導体発光素子とを含む内視鏡システム。
The endoscope system according to claim 1 or 2.
The semiconductor light emitting element includes an endoscope system including a first semiconductor light emitting element that emits red light, a second semiconductor light emitting element that emits green light, and a third semiconductor light emitting element that emits blue light. .
請求項1乃至請求項4のいずれか1項に記載の内視鏡システムであって、
前記光源装置は、観察モードによって前記複数の半導体発光素子の発光比率を変更する内視鏡システム。
The endoscope system according to any one of claims 1 to 4, wherein
The light source device is an endoscope system that changes a light emission ratio of the plurality of semiconductor light emitting elements according to an observation mode.
先端部に被写体に対して照明光を照射する照明窓が設けられ、該被写体からの光を受光する固体撮像素子を前記先端部に搭載した電子内視鏡と、
発光波長が異なる複数の半導体発光素子を搭載し、該半導体発光素子の発光光を前記電子内視鏡に導入する光源装置と、
前記固体撮像素子から出力される赤色、緑色、及び青色の撮像画像信号に基づいて、観察画像データを生成する画像処理手段と、
前記半導体発光素子の発光量を制御するための駆動量に応じた、前記照明窓からの前記照明光の各色成分の光量を示す特性を記憶したメモリと、
前記固体撮像素子からの撮像画像信号に基づいて、前記照明光の光量変更を指示する光量制御部と、を備える内視鏡システムの駆動方法であって、
前記光量制御部が、前記照明光の光量変更を指示する際、前記画像処理手段に、前記メモリに記憶された特性データに基づいて、前記各色の撮像画像信号を増減させる補正演算処理を行わせる内視鏡システムの駆動方法。
An electronic endoscope in which an illumination window for illuminating the subject with illumination light is provided at the tip, and a solid-state imaging device that receives light from the subject is mounted on the tip,
Equipped with different emission wavelengths plurality of semiconductor light emitting elements, a light source device for introducing the light emitted of the semiconductor light emitting element to the electronic endoscope,
Image processing means for generating observation image data based on red, green, and blue captured image signals output from the solid-state imaging device;
A memory storing characteristics indicating light amounts of the respective color components of the illumination light from the illumination window according to a drive amount for controlling the light emission amount of the semiconductor light emitting element ;
A driving method of an endoscope system comprising: a light amount control unit that instructs a light amount change of the illumination light based on a captured image signal from the solid-state imaging device ;
When the light amount control unit instructs to change the light amount of the illumination light, the image processing unit is caused to perform a correction calculation process for increasing or decreasing the captured image signal of each color based on the characteristic data stored in the memory. Driving method of endoscope system.
請求項6に記載の内視鏡システムの駆動方法であって、
前記半導体発光素子は、青色光を発する1又は複数の半導体発光素子を含み、
前記半導体発光素子からの青色光を導くライトガイドの出射端と前記照明窓との間に設けられ、前記青色光を受光して該青色光の一部で緑色光及び赤色光を発光する蛍光体を備え、
前記照明窓から、前記半導体発光素子からの青色光と、前記蛍光体からの緑色光及び赤色光が混合された白色照明光が出射される内視鏡システムの駆動方法。
A driving method of an endoscope system according to claim 6 ,
The semiconductor light emitting device includes one or more semiconductor light emitting devices that emit blue light,
A phosphor that is provided between an emission end of a light guide that guides blue light from the semiconductor light emitting element and the illumination window and that receives the blue light and emits green light and red light with a part of the blue light With
A driving method of an endoscope system in which white illumination light in which blue light from the semiconductor light emitting element and green light and red light from the phosphor are mixed is emitted from the illumination window.
請求項6に記載の内視鏡システムの駆動方法であって。
前記半導体発光素子は、赤色光を発光する第1の半導体発光素子と、緑色光を発光する第2の半導体発光素子と、青色光を発光する第3の半導体発光素子とを含む内視鏡システムの駆動方法。
The driving method of the endoscope system according to claim 6 .
The semiconductor light emitting element includes an endoscope system including a first semiconductor light emitting element that emits red light, a second semiconductor light emitting element that emits green light, and a third semiconductor light emitting element that emits blue light. Driving method.
請求項6乃至請求項8のいずれか1項に記載の内視鏡システムの駆動方法であって、
前記光源装置は、観察モードによって前記複数の半導体発光素子の発光比率を変更する内視鏡システムの駆動方法。
A driving method for an endoscope system according to any one of claims 6 to 8 ,
The driving method of an endoscope system, wherein the light source device changes a light emission ratio of the plurality of semiconductor light emitting elements according to an observation mode .
JP2011083110A 2011-04-04 2011-04-04 Endoscope system and driving method thereof Active JP5850630B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011083110A JP5850630B2 (en) 2011-04-04 2011-04-04 Endoscope system and driving method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011083110A JP5850630B2 (en) 2011-04-04 2011-04-04 Endoscope system and driving method thereof

Publications (3)

Publication Number Publication Date
JP2012217486A JP2012217486A (en) 2012-11-12
JP2012217486A5 JP2012217486A5 (en) 2014-02-20
JP5850630B2 true JP5850630B2 (en) 2016-02-03

Family

ID=47269698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011083110A Active JP5850630B2 (en) 2011-04-04 2011-04-04 Endoscope system and driving method thereof

Country Status (1)

Country Link
JP (1) JP5850630B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6053079B2 (en) * 2013-07-31 2016-12-27 富士フイルム株式会社 Endoscope light source device and endoscope system using the same
JP6099518B2 (en) * 2013-08-21 2017-03-22 富士フイルム株式会社 Endoscope system and method of operation
JP6129731B2 (en) * 2013-12-24 2017-05-17 富士フイルム株式会社 Endoscope system and operating method thereof
WO2015142800A1 (en) * 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Surgical system including a non-white light general illuminator
JP5932186B1 (en) * 2014-08-20 2016-06-08 オリンパス株式会社 Observation device
WO2016103305A1 (en) * 2014-12-26 2016-06-30 オリンパス株式会社 Light source unit, light source device, and endoscope device
CN108024701B (en) * 2015-09-16 2019-12-06 奥林巴斯株式会社 endoscope device and video processor
CN113597275A (en) * 2019-01-22 2021-11-02 奥林巴斯株式会社 Endoscope system and parameter control device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07241270A (en) * 1994-03-04 1995-09-19 Fuji Photo Optical Co Ltd Light source voltage variable electronic endoscope device
JP2000350231A (en) * 1999-06-02 2000-12-15 Olympus Optical Co Ltd Video signal processor
JP2005296200A (en) * 2004-04-08 2005-10-27 Olympus Corp Image processor for endoscope
JP3965174B2 (en) * 2004-09-02 2007-08-29 オリンパス株式会社 Endoscope device
JP2009056248A (en) * 2007-09-03 2009-03-19 Fujifilm Corp Light source unit, drive control method of light source unit and endoscope
JP2010158415A (en) * 2009-01-08 2010-07-22 Hoya Corp Light source apparatus for endoscope
JP5401205B2 (en) * 2009-08-10 2014-01-29 富士フイルム株式会社 Endoscope device

Also Published As

Publication number Publication date
JP2012217486A (en) 2012-11-12

Similar Documents

Publication Publication Date Title
JP5850630B2 (en) Endoscope system and driving method thereof
JP5616664B2 (en) Endoscope system
US9326664B2 (en) Endoscope apparatus
US9029755B2 (en) Imaging system with illumination controller to variably control illumination light
JP5355799B2 (en) Endoscope apparatus and method for operating endoscope apparatus
JP5534997B2 (en) Electronic endoscope system
JP5899172B2 (en) Endoscope device
US8866893B2 (en) Imaging apparatus
EP2433556A1 (en) Electronic endoscope system
US9414739B2 (en) Imaging apparatus for controlling fluorescence imaging in divided imaging surface
JP6129731B2 (en) Endoscope system and operating method thereof
WO2015136963A1 (en) Endoscope system, processor device for endoscope system, and method for operating endoscope system
JP2012143319A (en) Endoscope system and method for driving the same
JP6228833B2 (en) Imaging system and endoscope apparatus
US20140104403A1 (en) Imaging system
JP6355527B2 (en) Endoscope system and operating method thereof
JP6190906B2 (en) Imaging module and endoscope apparatus
JP6355531B2 (en) Endoscope light source device, endoscope system and operating method thereof
JP5734060B2 (en) Endoscope system and driving method thereof
JP6227077B2 (en) Endoscope system and operating method thereof
JP6005794B2 (en) Endoscope system and driving method thereof
JP2019041946A (en) Processor device and operation method thereof, and endoscope system
JP2010184046A (en) Endoscope, endoscope driving method, and endoscope system
JP6277138B2 (en) Endoscope system and operating method thereof
JP6312254B2 (en) Endoscope system and operating method thereof

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20121005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150512

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151201

R150 Certificate of patent or registration of utility model

Ref document number: 5850630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250