JP6116734B2 - Endoscope system - Google Patents
Endoscope system Download PDFInfo
- Publication number
- JP6116734B2 JP6116734B2 JP2016086957A JP2016086957A JP6116734B2 JP 6116734 B2 JP6116734 B2 JP 6116734B2 JP 2016086957 A JP2016086957 A JP 2016086957A JP 2016086957 A JP2016086957 A JP 2016086957A JP 6116734 B2 JP6116734 B2 JP 6116734B2
- Authority
- JP
- Japan
- Prior art keywords
- led
- light
- image signal
- amount
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 41
- 238000005259 measurement Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 94
- 230000008859 change Effects 0.000 description 18
- 239000003086 colorant Substances 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 14
- 239000004065 semiconductor Substances 0.000 description 14
- 230000006866 deterioration Effects 0.000 description 11
- 239000013078 crystal Substances 0.000 description 9
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000000295 emission spectrum Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、LEDなど複数の半導体光源を用いて検体内を照明する内視鏡システムに関する。 The present invention relates to an endoscope system that illuminates a specimen using a plurality of semiconductor light sources such as LEDs.
医療分野においては、光源装置、内視鏡装置、プロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。この内視鏡システムの光源装置としては、これまで、キセノンランプなどの広帯域光源が広く用いられてきたが、LED(Light Emitting Diode)やLD(Laser Diode)などの半導体光源も用いられつつある。 In the medical field, diagnosis using an endoscope system including a light source device, an endoscope device, and a processor device is widely performed. As a light source device of this endoscope system, a broadband light source such as a xenon lamp has been widely used so far, but a semiconductor light source such as an LED (Light Emitting Diode) or an LD (Laser Diode) is also being used.
ここで、半導体光源には、温度変動や経時劣化などによって、出射光の発光量に変動が生ずることが知られている。複数色の半導体光源を組み合せて用いる場合、どのような明るさにおいても各色の半導体光源の発光量の比率を所定の設定比率に合わせておくこと要求されるが、温度変動等により、ある色の半導体光源の発光量が変動ずれてしまうと、発光量の比率が設定比率から外れて、色調が変動してしまうという問題がある。 Here, it is known that the amount of emitted light varies in a semiconductor light source due to temperature variation or deterioration with time. When using a combination of semiconductor light sources of multiple colors, it is required that the ratio of the light emission amounts of the semiconductor light sources of the respective colors be set to a predetermined setting ratio regardless of the brightness. If the light emission amount of the semiconductor light source is fluctuated, there is a problem that the ratio of the light emission amount deviates from the set ratio and the color tone fluctuates.
そこで、特許文献1では、出射光の発光量の変動を防ぐため、出射光の光量を、センサなどの受光部で検出し、その受光部の検出結果に基づいて、出射光の色温度が一定になるように半導体光源を駆動制御している。また、特許文献2では、出射光の発光量の変動を防ぐため、半導体光源の温度を温度センサで検出し、この温度センサの検出結果に応じて、プロセッサ装置内で画像信号に乗じるゲインを変更している。この特許文献2では、ゲインの変更により、出射光の発光量の変動に伴う画像信号の変動が抑えられる(ただし、特許文献2の場合は、経時的な劣化までは検出することができない。)。
Therefore, in
半導体光源には、上記のような発光量の変動の他に、半導体光源に加える電流量に応じて、即ち、発光強度に応じて、温度ドリフト(波長シフト)が発生することが知られている。R-LEDの場合であれば、図18に示すように、発光強度が大きくなる程、波長シフトにより、ピーク波長が長波長側にシフトすることが知られている(図18の「弱」、「中」、「強」は発光強度の大きさを示している。(図20についても同様))。この波長シフトは、内視鏡画像上の色調に変化を及ぼすものであるため、内視鏡観察において様々な影響を与える。 It is known that a temperature drift (wavelength shift) occurs in a semiconductor light source in accordance with the amount of current applied to the semiconductor light source, that is, in accordance with the light emission intensity, in addition to the above-described fluctuation in the light emission amount. . In the case of the R-LED, as shown in FIG. 18, it is known that the peak wavelength shifts to the longer wavelength side due to the wavelength shift as the emission intensity increases (“weak” in FIG. 18, “Medium” and “Strong” indicate the intensity of light emission (the same applies to FIG. 20). Since this wavelength shift changes the color tone on the endoscopic image, it has various effects in endoscopic observation.
例えば、色素を用いた観察において、クリスタルバイオレットを用いる場合、図19に示すように、R-LEDの発光強度が大きくなると、クリスタルバイオレットの出力値(反射光量)がリニアに変化しなくなる。特に、遠景観察時のように、R-LEDの発光量が増える場合は、赤味が強くなる。これは、図20に示すように、発光強度が大きくなる程、R-LEDのピーク波長が長波長側に波長シフトすることに加えて、クリスタルバイオレットの反射率は600nmよりも長波長側で徐々に増加するため、R-LEDの反射光量が多くなり過ぎるためである。このような波長シフトにより、クリスタルバイオレットの部分の赤みが強くなると、ドクターは、クリスタルバイオレットを出血部位と間違える可能性がある。 For example, in the case of using crystal violet in observation using a dye, as shown in FIG. 19, the output value (the amount of reflected light) of crystal violet does not change linearly as the emission intensity of the R-LED increases. In particular, when the amount of light emitted from the R-LED increases, such as when viewing a distant view, the redness becomes stronger. As shown in FIG. 20, as the emission intensity increases, the peak wavelength of the R-LED shifts to the longer wavelength side, and the reflectance of crystal violet gradually increases on the longer wavelength side than 600 nm. This is because the amount of reflected light from the R-LED becomes excessive. If the redness of the crystal violet portion becomes stronger due to such a wavelength shift, the doctor may mistake the crystal violet for the bleeding site.
以上のような、クリスタルバイオレットの色味変化など波長シフトに伴う色調の変化については、波長シフトに合わせて補正する必要があるが、特許文献1のような光源補正や特許文献2のようなゲイン変更では補正することができない。
As described above, the change in color tone due to the wavelength shift such as the color change of crystal violet needs to be corrected according to the wavelength shift, but the light source correction as in
本発明は、半導体光源の波長シフトなどに伴う色調の変化を補正することができる内視鏡システムを提供することを目的とする。 An object of this invention is to provide the endoscope system which can correct | amend the change of the color tone accompanying the wavelength shift etc. of a semiconductor light source.
上記目的を達成するために、本発明の内視鏡システムは、検体を照明するための照明光を発するB−LED、G−LED、R−LEDと、光源制御部とを有する光源装置と、撮像面にRGBフィルタを備えたカラー撮像素子と、照明光で照明中の検体をカラー撮像素子で撮像して、複数の色信号からなる第1カラー画像信号を取得する画像信号取得部と、第1カラー画像信号に基づいて目標光量を算出する光量算出部と、第1カラー画像信号を、第1カラー画像信号と異なる第2カラー画像信号に変換する色変換処理を行う色変換部とを備え、R−LEDは、カラー撮像素子のRフィルタの透過波長範囲にピーク波長を有し、発光強度が大きくなる程、ピーク波長が長波側にシフトする赤色光を発生し、光源制御部は、光量算出部で算出した目標光量に基づいて、B−LED、G−LED、R−LEDに加える駆動量を設定し、色変換部は、B−LED、G−LED、R−LEDに加える駆動量に応じて、色変換処理の内容を変更する。 In order to achieve the above object, an endoscope system of the present invention includes a light source device including a B-LED, a G-LED, an R-LED that emits illumination light for illuminating a specimen, and a light source controller. A color imaging device having an RGB filter on the imaging surface, an image signal acquisition unit that images a specimen illuminated with illumination light with the color imaging device, and acquires a first color image signal composed of a plurality of color signals; A light amount calculation unit that calculates a target light amount based on one color image signal, and a color conversion unit that performs color conversion processing for converting the first color image signal into a second color image signal different from the first color image signal. The R-LED has a peak wavelength in the transmission wavelength range of the R filter of the color image sensor, and generates red light whose peak wavelength shifts to the long wave side as the emission intensity increases. Calculated by the calculation unit Based on the standard light intensity, the drive amount applied to the B-LED, G-LED, and R-LED is set, and the color conversion unit changes the color according to the drive amount applied to the B-LED, G-LED, R-LED. Change the content of the conversion process.
色変換処理は、第1カラー画像信号に対して第1係数を乗算することによって、第2カラー画像信号に変換する処理であり、第1係数は、B−LED、G−LED、R−LEDに加える駆動量に関連づけられていることが好ましい。駆動量は電流量であることが好ましい。光源制御部において、目標光量から、設定光量比に基づいて、B−LEDの目標光量、G−LEDの目標光量、R−LEDの目標光量を算出することが好ましい。 The color conversion process is a process of converting the first color image signal to the second color image signal by multiplying the first coefficient by the first coefficient, and the first coefficient is B-LED, G-LED, R-LED. It is preferable that the driving amount is related to the driving amount applied to. The driving amount is preferably a current amount. In the light source controller, it is preferable to calculate the target light amount of the B-LED, the target light amount of the G-LED, and the target light amount of the R-LED from the target light amount based on the set light amount ratio.
色変換処理は、第1カラー画像信号に対して、第1係数に加えて、第2係数を乗算することにより、第2カラー画像信号に変換する処理であり、第2係数は、カラー撮像素子を有する内視鏡のスコープIDに対応付けて記憶されていることが好ましい。通常観察モードと、特殊観察モードを有し、通常観察モードが選択された場合に、色変換部が、色変換処理の内容の変更を行うことが好ましい。 The color conversion process is a process of converting the first color image signal to the second color image signal by multiplying the first coefficient in addition to the first coefficient, and the second coefficient is a color image sensor. Is preferably stored in association with the scope ID of the endoscope having When the normal observation mode and the special observation mode are selected and the normal observation mode is selected, the color conversion unit preferably changes the content of the color conversion process.
照明光の光量を測定する光量測定センサを有することが好ましい。B−LED,G−LED,R−LEDのうち少なくとも2つのLEDに、それぞれのLEDから発せられた光の光量を測定する光量測定センサが設けられていることが好ましい。 It is preferable to have a light amount measurement sensor that measures the amount of illumination light. It is preferable that at least two LEDs among the B-LED, G-LED, and R-LED are provided with a light amount measurement sensor that measures the amount of light emitted from each LED.
B−LED,G−LED,R−LEDには、それぞれ各LEDから発せられる光の光量を測定する光量測定センサが設けられており、光源制御部は、目標光量から、設定光量比に基づいて、B−LEDの目標光量、G−LEDの目標光量、R−LEDの目標光量を算出し、光量測定センサで測定したB−LED,G−LED,R−LEDの光の光量と、B−LEDの目標光量、G−LEDの目標光量、R−LEDの目標光量との比較に基づいて、B−LED,G−LED,R−LEDの駆動量を設定することが好ましい。 Each of the B-LED, G-LED, and R-LED is provided with a light amount measurement sensor that measures the amount of light emitted from each LED, and the light source control unit is configured based on the set light amount ratio from the target light amount. B-LED target light quantity, G-LED target light quantity, R-LED target light quantity are calculated, and the B-LED, G-LED, R-LED light quantity measured by the light quantity measurement sensor and B- It is preferable to set the drive amounts of the B-LED, G-LED, and R-LED based on comparison with the target light amount of the LED, the target light amount of the G-LED, and the target light amount of the R-LED.
第1カラー画像信号のR画像信号が大きくなる場合に、第2カラー画像信号R画像信号が小さくなるように、第1係数が設定されていることが好ましい。R−LEDへ加える電流量が大きくなって第1カラー画像信号のR画像信号が大きくなる場合に、第2カラー画像信号のR画像信号が小さくなるように、第1係数が設定されていることが好ましい。 It is preferable that the first coefficient is set so that the second color image signal R image signal becomes smaller when the R image signal of the first color image signal becomes larger. The first coefficient is set so that the R image signal of the second color image signal becomes smaller when the amount of current applied to the R-LED becomes larger and the R image signal of the first color image signal becomes larger. Is preferred.
本発明によれば、半導体光源の波長シフトなどに伴う色調の変化を補正することができる。 According to the present invention, it is possible to correct a change in color tone accompanying a wavelength shift of a semiconductor light source.
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。
[First Embodiment]
As shown in FIG. 1, the
また、操作部12bには、アングルノブ12eの他、モード切替SW13aと、フリーズボタン13bが設けられている。モード切替SW13aは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、白色光を用いて通常光画像をモニタ18上に表示するモードであり、特殊観察モードは、表層血管などの特定構造を粘膜とのコントラスト差を付けて強調表示することができる特定波長の光を用いて、モニタ18上に特殊光画像を表示するモードである。
In addition to the
フリーズボタン13bは、プロセッサ装置16にフリーズ信号を送信する。プロセッサ装置16は、フリーズ信号の受信待機中は、動画モードに設定されて、モニタ18に、通常光画像や特殊光画像などの動画を表示する。プロセッサ装置16は、フリーズ信号受信すると、受信してから一定時間の間だけ、動画モードから静止画モードに移行する。この静止画モード中に、現在取得中の画像の中からブレ等が無い高画質な静止画を選択し、選択した静止画を静止画用メモリ(図示省略)に記憶する。
The
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるUI(ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
The
図2に示すように、光源装置14は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20d、これら4色のLEDの駆動を制御する光源制御部21、G-LEDの光路上に挿脱される緑色狭帯域フィルタ22と、4色のLED20a〜20dから発せられる光の光路を結合する光路結合部23と、ガラス板24と、光量測定センサ25とを備えている。
As shown in FIG. 2, the
光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、検体内に照射される。ガラス板24は、R-LED20dからの赤色光Rのうち大部分を光路結合部23に向けて透過させるとともに、一部を光量測定センサ25に向けてフレネル反射させる。なお、緑色狭帯域フィルタ22はフィルタ挿脱部22aにより挿脱される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
The light coupled by the optical path coupling unit 23 is irradiated into the sample through the light guide 41 and the illumination lens 45 inserted into the
V-LED20aは、中心波長405nm、波長範囲380〜440nmの紫色狭帯域光Vnを発生する。B-LED20bは、中心波長460nm、波長範囲420〜500nmの青緑色狭帯域光Bnを発生する。G-LED20cは、波長範囲が480〜600nmに及ぶ正規分布の緑色光Gを発生する。R-LED20dは、中心波長620〜630nmで、波長範囲が600〜650nmに及ぶ赤色光Rを発生する。緑色狭帯域フィルタ22は、G-LED20cから発せられる緑色光Gのうち、530〜550nmの緑色狭帯域光Gnを透過させる。
The V-
光源制御部21は、通常観察モード時には、緑色狭帯域フィルタ22をG-LED20cの光路上から退避させた状態で、V-LED20a、B-LED20b、G-LED20c、R-LED20dを全て点灯する。これにより、図3に示すように、紫色狭帯域光Vn、青緑色狭帯域光Bn、緑色光G、赤色光Rの4色の光が混色することで、通常光が生成される。一方、狭帯域観察モード時には、緑色狭帯域フィルタ22をG-LED20cの光路上に挿入した状態で、V-LED20a、G-LED20cを同時点灯することにより、紫色狭帯域光Vn、緑色狭帯域光Gnを同時に発生する。これにより、図4に示すように、V-LED20aからの紫色狭帯域光Vnと、緑色狭帯域フィルタ22で波長制限された緑色狭帯域光Gnとが同時に生成される。
In the normal observation mode, the
光源制御部21は、V-LED20a、B-LED20b、G-LED20c、R-LED20dに所定の電流量(LEDの駆動量の一種)を加えて、各LED20a〜20dの発光量を制御する。V-LED20a、B-LED20b、G-LED20cに加える電流量については、プロセッサ装置の光量算出部54から出力される目標光量設定信号に応じて決定される。これに対して、R-LED20dに加える電流量については、目標光量設定信号に加えて、光量測定センサ25で測定した赤色光Rの光量に基づいて決定される。なお、本実施形態では、各LED20a〜20dに加える電流量cは、ビット換算値、即ち、0〜1023(10ビット)の間の値で表記される。
The light
図2に示すように、光量測定センサ25は、ガラス板24で反射した赤色光Rを受光するとともに、この受光した赤色光Rの光量に応じた光量測定信号を光源制御部21に出力する。光源制御部21は、光量測定センサ25から出力された光量測定信号とプロセッサ装置内の光量算出部54から出力された目標光量設定信号とを比較し、この比較結果に基づいて、R-LED20dの発光量が目標光量となるように、R-LED20dに加える電流量cを設定する。設定された電流量cは、R-LED20dに出力されるとともに、プロセッサ装置内でR-LED20dの波長シフトによる色調の変化を抑制するマトリックス処理を行うために、プロセッサ装置内の通常用色変換部68及び特殊用色変換部74にも出力される。
As shown in FIG. 2, the light
以上のように、本実施形態では、光量測定センサ25を用いて赤色光Rの発光量をモニタリングし、このモニタリング結果に基づいて、R-LED20dの光量をフィードバック制御することにより、R-LED20dの温度ドリフト(波長シフト)や経時劣化によって発光量に変動したとしても、その変動は、R-LED20dに加える電流量の再設定により是正されるため、R-LED20dの発光量は常に目標光量を維持することができる。
As described above, in the present embodiment, the light
ライトガイド41は、光源装置14と内視鏡12を接続するユニバーサルコード(図示せず)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
The light guide 41 is built in a universal cord (not shown) that connects the
内視鏡12の先端部12dは照明光学系30aと撮像光学系30bを有している。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が検体内に照射される。撮像光学系30bは、撮像レンズ46、撮像センサ48を有している。検体からの反射光は、撮像レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に検体の反射像が結像される。
The
撮像センサ48はカラーの撮像素子であり、検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であることが好ましい。本発明で用いられるイメージセンサは、R(赤)、G(緑)及びB(青)の3色の画像信号を得るためのカラーイメージセンサ、即ち、撮像面にRGBフィルタを備えた、いわゆるRGBイメージセンサである。図5に示すように、RGBイメージセンサのBフィルタは380〜570nmの光を透過させ、Gフィルタは450〜630nmの光を透過させ、Rフィルタは580〜770nmの光を透過させる。 The imaging sensor 48 is a color imaging device, captures a reflected image of the specimen, and outputs an image signal. The imaging sensor 48 is preferably a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, or the like. The image sensor used in the present invention is a color image sensor for obtaining image signals of three colors R (red), G (green), and B (blue), that is, so-called RGB having an RGB filter on the imaging surface. It is an image sensor. As shown in FIG. 5, the B filter of the RGB image sensor transmits light of 380 to 570 nm, the G filter transmits light of 450 to 630 nm, and the R filter transmits light of 580 to 770 nm.
なお、撮像センサ48としては、RGBイメージセンサの代わりに、図6に示すような分光透過率を有するC(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色イメージセンサであっても良い。補色イメージセンサの場合には、CMYGの4色の画像信号から色変換によってRGBの3色の画像信号を得ることができる。この場合には、CMYGの4色の画像信号からRGBの3色の画像信号に色変換する色変換手段を、内視鏡12又はプロセッサ装置16のいずれかに備えている必要がある。
The imaging sensor 48 includes C (cyan), M (magenta), Y (yellow), and G (green) complementary color filters having spectral transmittances as shown in FIG. 6 instead of the RGB image sensor. A so-called complementary color image sensor may also be used. In the case of a complementary color image sensor, RGB three-color image signals can be obtained by color conversion from four CMYG image signals. In this case, it is necessary that either the
図2に示すように、撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/Dコンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
As shown in FIG. 2, the image signal output from the image sensor 48 is transmitted to the CDS /
プロセッサ装置16は、受信部53と、光量算出部54と、DSP56と、ノイズ除去部58と、画像処理切替部60と、通常光画像処理部62と、特殊光画像処理部64と、映像信号生成部66とを備えている。受信部53は内視鏡12からのRGBのデジタル画像信号を受信する。R画像信号は撮像センサ48のR画素(Rフィルタが設けられた画素)から出力される信号に対応し、G画像信号は撮像センサ48のG画素(Gフィルタが設けられた画素)から出力される信号に対応し、B画像信号は撮像センサ48のB画素(Bフィルタが設けられた画素)から出力される信号に対応している。
The
光量算出部54は、受信部53で受信したRGBのデジタル画像信号に基づいて露光量を算出するとともに、この算出された露光量に基づいて、目標光量を算出する。そして、光量算出部54は、算出された目標光量と、V-LED20a、B-LED20b、G-LED20c、R-LED20d間の設定光量比とに基づいて、各V-LED20a〜20dの目標光量を定めた目標光量設定信号を算出する。
The light
例えば、光量算出部54で算出された光量が「P」で、設定光量比が「V-LED:B-LED:G-LED:R-LED=a:b:c:d」である場合、V-LED20aの目標光量は「P×(a/(a+b+c+d))」となり、B-LED20bの目標光量は「P×(b/(a+b+c+d))」となり、G-LED20cの目標光量は「P×(c/(a+b+c+d))」となり、R-LED20dの目標光量は「P×(d/(a+b+c+d))」となる。なお、光量比はコンソール19によって設定され、通常観察モードと特殊観察モードで異なる光量比が設定される。
For example, when the light amount calculated by the light
DSP56は、RGB画像信号に対してガンマ補正、色補正処理を行う。ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、画像処理切替部60に送信される。
The
画像処理切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、RGB画像信号を通常光画像処理部62に送信し、特殊観察モードにセットされている場合には、RGB画像信号を特殊光画像処理部64に送信する。
The image
通常光画像処理部62は、通常用色変換部68と、通常用色彩強調部70と、通常用構造強調部72とを有し、検体内を通常の生体の色調で表現した通常光画像を生成する。通常用色変換部68は、RGB3チャンネルのデジタル画像信号に対して色変換処理を施すことにより、色変換済RGB画像信号を出力する。この通常用色変換部68では、詳しくは後述するように、R-LED20dの波長シフトや経時劣化による色調の変化を抑制するマトリックス処理が行われる。
The normal light image processing unit 62 includes a normal
通常用色変換部68では、更に、色変換済RGB画像信号に対して階調変換処理を行って、階調変換済RGB画像信号を出力する。通常用色彩強調部70は、階調変換済RGB画像信号に対して、各種色彩強調処理を施す。通常用構造強調部72は、色彩強調処理済RGB画像信号に対して、シャープネスや輪郭強調等の構造強調処理を行う。通常用構造強調部72で構造強調処理が施されたRGB画像信号は、映像信号生成部66に入力される。
The
通常用色変換部68は、図7に示すように、3×3のマトリックス回路80と、RGB画像信号入力部82と、RGB画像信号出力部84と、9つのLUT_Mij(i,jは、それぞれ0、1、2のいずれかの値)(本発明の第1テーブルに相当)と、乗算器86a〜86iと、加算器88a〜88fとを有している。各LUT_Mijは、10ビット分のR-LED20dの電流量cに対応する第1マトリックス係数Mij_cを記憶している(cは0又は1〜1023の整数)。この第1マトリックス係数Mij_cは、R-LED20dの波長シフトや経時劣化を補正するためのパラメータである。
As shown in FIG. 7, the
また、各LUT_Mijは、光源装置内の光源制御部21と乗算器86a〜86iとの間に接続されており、光源制御部21からのR-LED20dの電流量cの入力に対して、その入力された電流量cに対応する第1マトリックス係数Mij_cを出力する。出力された第1マトリックス係数Mij_cは、乗算器86a〜86iによって、RGB画像信号入力部82からのRGB画像信号に対して乗算される。
Each LUT_Mij is connected between the light
加算器88aは、第1マトリックス係数M00_cが乗算されたR画像信号と、第1マトリックス係数M01_cが乗算されたG画像信号とを加算する。加算器88bは、加算器88aで加算された画像信号に対して、更に、第1マトリックス係数M02_cが乗算されたB画像信号を加算する。加算器88bを経た画像信号は、下記(1)式で示される色変換済R画像信号として、RGB画像信号出力部84から出力される。
色変換済R画像信号
=M00_c×R画像信号+M01_c×G画像信号+M02_c×B画像信号・・・(1)
The
Color-converted R image signal = M00_c × R image signal + M01_c × G image signal + M02_c × B image signal (1)
上記のように、加算器88c〜88fを用いた演算を行うことで、下記(2)、(3)式で示される色変換済G画像信号及び色変換済B画像信号が、RGB画像信号出力部84から出力される。
色変換済G画像信号
=M10_c×R画像信号+M11_c×G画像信号+M12_c×B画像信号・・・(2)
色変換済B画像信号
=M20_c×R画像信号+M21_c×G画像信号+M22_c×B画像信号・・・(3)
As described above, by performing calculations using the
Color-converted G image signal = M10_c × R image signal + M11_c × G image signal + M12_c × B image signal (2)
Color-converted B image signal = M20_c × R image signal + M21_c × G image signal + M22_c × B image signal (3)
なお、各LUT_Mijに記憶するR-LED20dの電流量cと第1マトリックス係数Mijとの対応関係は、内視鏡出荷時の測定により得られ、以下のようにして定められる。まず、R-LED20dに最小電流量Cminを加えて赤色光Rを発光し、この赤色光Rで照明中の検体を撮像してRGB画像信号を出力する。この出力したRGB画像信号と、目標とするRGB画像信号とに基づいて、第1マトリックス係数Mij_0を決定する。この決定した第1マトリックス係数Mij_0をLUT_Mijに格納する。次に、R-LED20dに加える電流量cを徐々に増加させ、増加させる毎に、同様の手順で、第1マトリックス係数Mij_p(qは1〜1023の間の整数)を算出してLUT_Mijに格納する。
The correspondence relationship between the current amount c of the R-
なお、R-LEDは、発光強度が大きくなる程、即ち、電流量cが大きくなる程、ピーク波長が長波長側にシフトすることから(図18、図20参照)、この波長シフトに伴う色調の変化が補正されるように、第1マトリックス係数Mij_cが定められる。例えば、クリスタルバイオレットを用いた色素観察時には、R-LEDの発光強度が大きくなると赤味が強くなるが、これを補正するためには、電流量cが一定値を超える場合に、色変換済R画像信号が小さくなるように、第1マトリックス係数M00_c,M01_c,M02_cを定めればよい。例えば、R画像信号に乗算されるM00_cを小さくするか、もしくは、G画像信号及びR画像信号に乗算されるM01_c,M02_cを大きくすればよい。 Since the peak wavelength of the R-LED shifts to the longer wavelength side as the emission intensity increases, that is, the current amount c increases (see FIGS. 18 and 20), the color tone associated with this wavelength shift. The first matrix coefficient Mij_c is determined so that the change in is corrected. For example, when observing a dye using crystal violet, redness increases as the emission intensity of the R-LED increases. To correct this, when the amount of current c exceeds a certain value, the color converted R The first matrix coefficients M00_c, M01_c, and M02_c may be determined so that the image signal becomes small. For example, M00_c multiplied by the R image signal may be reduced, or M01_c and M02_c multiplied by the G image signal and the R image signal may be increased.
特殊光画像処理部64は、特殊用色変換部74と、特殊用色彩強調部76と、特殊用構造強調部78とを有し、表層血管など特定構造を強調表示した特殊光画像を生成する。特殊用色変換部74は、RGB3チャンネルのデジタル画像信号に対して色変換処理を施すことにより、色変換済RGB画像信号を出力する。この特殊用色変換部74は、通常用色変換部68と同様の方法で、R-LED20dの波長シフトや経時劣化による色調の変化を抑制することに加えて、特殊光画像を疑似カラー表示するためのマトリックス処理が行われる。
The special light
特殊用色変換部74では、更に、色変換済RGB画像信号に対して階調変換処理を行って、階調変換済RGB画像信号を出力する。特殊用色彩強調部76は、階調変換済RGB画像信号に対して、各種色彩強調処理を施す。特殊用構造強調部78は、色彩強調処理済RGB画像信号に対して、シャープネスや輪郭強調等の構造強調処理を行う。特殊用構造強調部78で構造強調処理が施されたRGB画像信号は、映像信号生成部66に入力される。 The special color conversion unit 74 further performs gradation conversion processing on the color-converted RGB image signal and outputs a gradation-converted RGB image signal. The special color enhancement unit 76 performs various color enhancement processes on the gradation-converted RGB image signal. The special structure emphasizing unit 78 performs structure emphasis processing such as sharpness and contour emphasis on the color enhancement processed RGB image signal. The RGB image signal that has undergone the structure enhancement processing by the special structure enhancement unit 78 is input to the video signal generation unit 66.
映像信号生成部66は、通常光画像処理部62又は特殊光画像処理部64から入力されたRGB画像信号を、モニタ18で表示可能画像として表示するための映像信号に変換する。この変換後の映像信号に基づいて、モニタ18は、通常観察モード時には通常光画像を表示し、特殊光観察モード時には特殊光画像を表示する。
The video signal generation unit 66 converts the RGB image signal input from the normal light image processing unit 62 or the special light
次に、本発明の作用について、図8に示すフローチャートを参照しながら説明する。モード切替SW13aにより通常観察モードに設定されると、V-LED20a、B-LED20b、G-LED20c、R-LED20dが全て点灯する。これにより、紫色狭帯域光Vn、青緑色狭帯域光Bn、緑色光G、赤色光Rがそれぞれ合波した通常光が検体内に発光される。通常光で照明された検体は、撮像センサ48によって撮像される。撮像センサ48からはRGB画像信号が出力される。
Next, the operation of the present invention will be described with reference to the flowchart shown in FIG. When the normal observation mode is set by the
光源装置14内では、R-LED20dから発せられる赤色光Rは、光量測定センサ25で発光量が測定される。光量測定センサ25が測定した光量測定信号は、光源制御部21に出力される。光源制御部21では、光量測定信号とプロセッサ装置内の光量算出部54から出力された目標光量設定信号とを比較し、この比較結果に基づいて、R-LED20dの発光量が目標光量となるように、R-LED20dに加える電流量cを設定する。設定された電流量cは、R-LED20dに出力されるとともに、プロセッサ装置内の通常用色変換部68にも出力される。
In the
光源制御部21から出力されたR-LED20dの電流量cは、通常用色変換部68内の3×3のマトリックス回路80に入力される。3×3のマトリックス回路80では、電流量cが各LUT_Mijに入力される。各LUT_Mijは、入力された電流量cに対応する第1マトリックス係数Mij_cを出力する。この出力された第1マトリックス係数Mij_cに基づくマトリックス処理を、RGB画像信号に対して行う。これにより、色変換済RGB画像信号が得られる。この色変換済RGB画像信号に基づいて通常光画像が生成されて、モニタ18に表示される。通常光画像においては、R-LED20dの波長シフトや経時劣化により生じる色調の変化が抑制されている。
The current amount c of the R-
[第2実施形態]
第1実施形態では、R-LEDの電流量cの全てに対応する第1マトリックス係数Mij_c(i,jは0、1、2いずれかの値、cは0又は1〜1023の整数)をマトリックス回路80内のLUT_Mijに記憶してマトリックス処理を行ったが、この場合には、メモリ量が膨大になるため、第2実施形態では、マトリックス回路80のLUT_Mijとは別の大容量メモリに、R-LEDの電流量cの全てに対応する第1マトリックス係数Mij_cを記憶させておき、必要に応じて、大容量メモリから第1マトリックス係数Mij_cを読み出してマトリックス処理を行う。
[Second Embodiment]
In the first embodiment, the first matrix coefficient Mij_c (i, j is 0, 1 or 2 and c is 0 or an integer from 1 to 1023) corresponding to all the current amount c of the R-LED is matrixed. The matrix processing is performed by storing the data in the LUT_Mij in the
図9に示すように、第2実施形態の通常用色変換部68は、第1実施形態と同様の3×3のマトリックス回路80に加えて、制御部101と、大容量メモリ102と、ビットシフト回路103とを備えている。制御部101は光源制御部21及びフリーズボタン13bに接続されており、光源制御部21からの電流量c及びフリーズボタン13bからのフリーズ信号が入力される。また、制御部101は、ビットシフト回路103を介して、大容量メモリ102に接続されており、ビットシフト回路103は、3×3のマトリックス回路80に接続されている。大容量メモリ102には、図10に示すように、10ビット分のR-LED20dの電流量cに対応する第1マトリックス係数Mij_c(i,jは0、1、2いずれかの値、cは0又は1〜1023の整数)が記憶されている。なお、第2実施形態の特殊用色変換部74についても、上記と同様の構成を有している。
As shown in FIG. 9, the normal
制御部101は、フリーズ信号がプロセッサ装置16に入力されない動画モード時には、大容量メモリ102から一部のマトリックス係数Mijのみを読み出し、その一部の読み出した第1マトリックス係数Mijをマトリックス回路80内のLUT_Mijに記憶させてマトリックス処理を行う。これにより、LUT_Mijに記憶する第1マトリックス係数Mijの数を減らすことができるため、メモリ容量を削減することができる。例えば、図10に示すように、各LUT_Mijに全ての電流量分の第1マトリックス係数を記憶させた場合には、3×3×1024のメモリ容量が必要となるが、7ビット(128)の間隔で間引いた場合には、3×3×8だけのメモリ容量だけで済むようになる。
When the freeze signal is not input to the
これに対して、制御部101は、フリーズ信号がプロセッサ装置16に入力される静止画モード時には、大容量メモリ102から電流量cに対応する第1マトリックス係数Mijを読み出して、この読み出した第1マトリックス係数Mijに基づいてダイレクトにマトリックス処理を行う。そのため、静止画取得時には、マトリックス回路80内のLUT_Mijは用いられない。
On the other hand, the
第1マトリックス係数M00の読出しに関しては、以下のように行われる。動画モード時には、図11に示すように、大容量メモリのM00_0〜M00_1023の中から、ビットシフト回路103により、M00_0, M00_128, M00_256・・・M00_896のように、第1マトリックス係数M00が間引かれて読み出される。この間引かれた第1マトリックス係数M00はLUT_M00に格納される。次に、LUT_M00と乗算器86eとの間が、マトリックス係数切替スイッチ105により接続状態にされる。そして、動画モード中は、LUT_M00に格納された第1マトリックス係数に基づいて、マトリックス処理が行われる。例えば、電流量cが入力されると、LUT_M00に格納された第1マトリックス係数の中から、入力された電流量cにもっとも近い電流量に対応する第1マトリックス係数が選択される。そして、この選択された第1マトリックス係数に基づいて、マトリックス処理が行われる。
The reading of the first matrix coefficient M00 is performed as follows. In the moving image mode, as shown in FIG. 11, the first matrix coefficient M00 is thinned out from M00_0 to M00_1023 of the large capacity memory by the
これに対して、静止画モード時には、図12に示すように、LUT_M00と乗算器86eとの間がマトリックス係数切替スイッチ105により非接続状態となる一方、制御部101と乗算器86eとの間が接続状態になる。次に、大容量メモリ102から電流量cに対応する第1マトリックス係数M00を読み出す。この読み出された第1マトリックス係数M00は、LUT_M00を経由することなく、乗算器86aによってダイレクトにR画像信号に乗算される。第1マトリックス係数M01〜M22の読出しについても、第1マトリックス係数M00の読出しと同様にして行われる。
On the other hand, in the still image mode, as shown in FIG. 12, the LUT_M00 and the
なお、第2実施形態では、静止画モード時には、大容量メモリから電流量cに対応する第1マトリックス係数を読み出してマトリックス処理を行ったが、これに代えて、動画モード時にマトリックス回路80内のLUT_Mijに格納した第1マトリックス係数Mijに基づいて補間処理し、この補間処理により得られる第1マトリックス係数を用いてマトリックス処理を行ってもよい。例えば、LUT_Mij内において、電流量が7ビット(128)の間隔で間引きされた第1マトリックスMijが格納されている場合、電流量cが128〜256の間にある場合の補間処理は、下記(4)式のように行われる。
Mij_c=((c-128)×Mij_256+(256-c)×Mij_128)/128・・・(4)
In the second embodiment, in the still image mode, the first matrix coefficient corresponding to the current amount c is read from the large-capacity memory and the matrix processing is performed. Instead, in the moving image mode, the
Mij_c = ((c-128) × Mij_256 + (256-c) × Mij_128) / 128 (4)
[第3実施形態]
上記第1及び第2実施形態では、R-LEDの波長シフトや経時劣化に伴う色調の変化をマトリックス処理により補正したが、これに加えて、スコープ間の個体差、即ち、撮像センサ48の分光感度のバラツキによる色調の変化をマトリックス処理により行ってもよい。第3実施形態では、内視鏡診断前に事前にキャリブレーションを行って、スコープ間の個体差を吸収するための、即ち、撮像センサ48の分光感度のバラツキを補正するための第2マトリックス係数CMij(i,jは0、1、2いずれかの値)を算出する。そして、下記(5)式のように、第1マトリックス係数Mij_cと第2マトリックス係数CMijを乗算して得られる補正マトリックス係数Mij_c´を用いて、第1及び第2実施形態と同様の方法でマトリックス処理を行う。
Mij_c´=CMij×Mij_c・・・(5)
[Third Embodiment]
In the first and second embodiments, the change in color tone due to the wavelength shift and deterioration with time of the R-LED is corrected by matrix processing. In addition to this, individual differences between scopes, that is, the spectrum of the imaging sensor 48 is corrected. A change in color tone due to sensitivity variations may be performed by matrix processing. In the third embodiment, the second matrix coefficient for performing calibration in advance before endoscopic diagnosis to absorb individual differences between scopes, that is, for correcting variations in spectral sensitivity of the imaging sensor 48. CMij (i, j is 0, 1, or 2) is calculated. Then, using the correction matrix coefficient Mij_c ′ obtained by multiplying the first matrix coefficient Mij_c and the second matrix coefficient CMij as shown in the following equation (5), the matrix is processed in the same manner as in the first and second embodiments. Process.
Mij_c ′ = CMij × Mij_c (5)
キャリブレーションによる第2マトリックス係数(CM00〜CM22の9つの係数)の算出方法は、以下のような手順で行われる。まず、図13に示す白板110に向けて、紫色狭帯域光Vn,青緑色狭帯域光Bn、緑色光G、赤色光Rの4種類の単色光をそれぞれ照射し、照射毎に、撮像センサ48から3色分のR画像信号、G画像信号、B画像信号を出力する。これにより、単色光照射時には、合計で12の画像信号(4種類の光の照射×3色の画像信号)が得られる。
The calculation method of the second matrix coefficients (9 coefficients of CM00 to CM22) by calibration is performed in the following procedure. First, four types of monochromatic light of purple narrow-band light Vn, blue-green narrow-band light Bn, green light G, and red light R are irradiated toward the
次に、紫色狭帯域光Vn,青緑色狭帯域光Bn、緑色光G、赤色光Rの中からそれぞれ2色の光を組み合せた2色混色光、即ち、6種類の混色光をそれぞれ照射し、照射毎に、撮像センサ48から3色分のR画像信号、G画像信号、B画像信号を出力する。これにより、2色混色光照射時には、合計で18の画像信号(6種類の光の照射×3色の画像信号)が得られる。また、紫色狭帯域光Vn,青緑色狭帯域光Bn、緑色光G、赤色光Rの中からそれぞれ3色の光を組み合せた3色混色光、即ち、3種類の混色光をそれぞれ照射し、照射毎に、撮像センサ48から3色分のR画像信号、G画像信号、B画像信号を出力する。これにより、3色混色光照射時には、合計で9の画像信号(3種類の光の照射×3色の画像信号)が得られる。 Next, two-color mixed light in which two colors of light are combined from the purple narrow-band light Vn, blue-green narrow-band light Bn, green light G, and red light R, that is, six types of mixed light are respectively irradiated. For each irradiation, the image sensor 48 outputs an R image signal, a G image signal, and a B image signal for three colors. As a result, a total of 18 image signals (6 types of light irradiation × 3 color image signals) can be obtained when two-color mixed light irradiation is performed. Further, three-color mixed light obtained by combining three colors of light from purple narrow-band light Vn, blue-green narrow-band light Bn, green light G, and red light R, that is, three kinds of mixed light are respectively irradiated. For each irradiation, the image sensor 48 outputs an R image signal, a G image signal, and a B image signal for three colors. As a result, a total of nine image signals (3 types of light irradiation × 3 color image signals) are obtained when the three-color mixed light irradiation is performed.
最後に、各色LEDを全て点灯して通常光を照射し、または、各色LEDを全て消灯してBk光とそれぞれを照射し、照射毎に、撮像センサ48から3色分のR画像信号、G画像信号、B画像信号を出力する。これにより、通常光及びBk光照射時には、合計で6の画像信号(2種類の光の照射×3色の画像信号)が得られる。 Finally, each color LED is turned on to emit normal light, or each color LED is turned off to emit Bk light and each, and for each irradiation, an R image signal for three colors, G Output image signal and B image signal. Thus, a total of 6 image signals (2 types of light irradiation × 3 color image signals) can be obtained during normal light and Bk light irradiation.
以上のように、単色光、2色混色光、3色混色光、通常光、Bk光の照射によって、合計で45の画像信号が得られる。この45の画像信号と、目標とする45の画像信号に基づいて、第2マトリックス係数(CM00〜CM22)を算出する。なお、45色の光を用いて、第2マトリックス係数を算出したが、45色以下の光を用いて、第2マトリックス係数を算出してもよい。 As described above, a total of 45 image signals are obtained by irradiation with monochromatic light, two-color mixed light, three-color mixed light, normal light, and Bk light. Based on the 45 image signals and the targeted 45 image signals, second matrix coefficients (CM00 to CM22) are calculated. Although the second matrix coefficient is calculated using 45 colors of light, the second matrix coefficient may be calculated using light of 45 colors or less.
なお、本実施形態のように、V-LED20a、B-LED20b、G-LED20c、R-LED20dの4色のLEDを備える内視鏡システムの代わりに、R-LED、G-LED、B-LEDの3色のLEDを備える内視鏡システムの場合であれば、以下のようにして、第2マトリックス係数の算出が行われる。まず、白板110(図13参照)に向けて、「R光(R-LEDを点灯)」、「G光(G-LEDを点灯)」、「B光(B-LEDを点灯)」、「C光(B-LED、G-LEDを同時点灯)」、「M光(B-LED、R-LEDを同時点灯)」、「Y光(G-LED、R-LEDを同時点灯)」、「W光(B-LED、G-LED、R-LEDを同時点灯)」、「Bk光(B-LED、G-LED、R-LEDを全て消灯)」をそれぞれ照射し、照射毎に、撮像センサ48から3色分のR画像信号、G画像信号、B画像信号を出力する。これにより、合計で24の画像信号(8種類の光の照射×3色の画像信号)が得られる。この24の画像信号と、目標とする24の画像信号に基づいて、第2マトリックス係数(CM00〜CM22)を算出する。なお、8色の光を用いて、第2マトリックス係数を算出したが、8色以下の光を用いて、第2マトリックス係数を算出してもよい。
As in this embodiment, instead of the endoscope system including four-color LEDs of V-
また、第3実施形態では、キャリブレーションにより第2マトリックス係数を算出したが、内視鏡製造時などに、上記キャリブレーションに相当する処理を行って、第2マトリックス係数を算出し、この算出した第2マトリックス係数と内視鏡のスコープIDとを対応付けてプロセッサ装置内のメモリ(図示省略(本発明の第2メモリに相当))に記憶してもよい。そして、実際の内視鏡使用時には、内視鏡がプロセッサ装置に接続されたときには、プロセッサ装置内のID読み取り部でスコープIDを読み取り、この読み取ったスコープIDに対応する第2マトリックス係数を用いてマトリックス処理を行う。 In the third embodiment, the second matrix coefficient is calculated by calibration. However, when the endoscope is manufactured, the second matrix coefficient is calculated by performing processing corresponding to the calibration. The second matrix coefficient and the scope ID of the endoscope may be associated with each other and stored in a memory (not shown (corresponding to the second memory of the present invention)) in the processor device. When the endoscope is actually used, when the endoscope is connected to the processor device, the scope ID is read by the ID reading unit in the processor device, and the second matrix coefficient corresponding to the read scope ID is used. Perform matrix processing.
なお、上記第1〜第3実施形態では、R-LED20dのみ発光量を測定し、この測定結果に基づいてプロセッサ装置内でマトリックス処理を行ったが、その他の色のV-LED20a、B-LED20b、G-LED20cについても、図14に示すように、発光強度を大きくすると、紫色狭帯域光Vn、青緑色狭帯域光Bn、緑色光Gの中心波長が長波長側にシフトする波長シフトが生ずる。なお、図14では、「Vn(大)」は「Vn(小)」よりも発光強度が大きいことを、「Bn(大)」は「Bn(小)」よりも発光強度が大きいことを、「G(大)」は「G(小)」よりも発光強度が大きいことを、「R(大)」は「R(小)」よりも発光強度が大きいことをそれぞれ示している。
In the first to third embodiments, only the R-
そこで、V-LED20a、B-LED20b、G-LED20cについてもそれぞれ発光量を測定し、その測定結果に基づいてマトリックス処理を行ってもよい。図15に示すように、V-LED20a、B-LED20b、G-LED20cの発光量については、光量測定センサ25と同様に、光量測定センサ120〜122により測定される。光量測定センサ120〜122は、ガラス板125〜127で反射した紫色狭帯域光Vn、青緑色狭帯域光Bn、緑色光Gの発光量を測定する。なお、ガラス板125〜127は、ガラス板25と同様であり、紫色狭帯域光Vn、青緑色狭帯域光Bn、緑色光Gのうち大部分を光路結合部23に向けて透過させ、一部を光量測定センサ120〜122に向けて反射させる。
Therefore, the V-
光源制御部21は、各光量測定センサ25及び120〜122から出力される光量測定信号と、各LED20a〜20dの目標光量設定信号とに基づいて、各LED20a〜20dに加える電流量を設定する。ここで、V-LED20aの電流量をcvとし、B-LED20bの電流量をcbとし、G-LED20cの電流量をcgとし、R-LED20dの電流量をcrとする。設定された電流量は各LED20a〜20dに出力されるとともに、通常用色変換部68及び特殊用色変換部74に出力される。
The
通常用色変換部68及び特殊用色変換部74では、各LED20a〜20dの波長シフト等による色ムラを補正するためのマトリックス処理を行う。そのため、通常用色変換部68及び特殊用色変換部74には、R-LED20dの波長シフトや経時劣化を補正するための第1マトリックス係数Mij_crの他に、V-LED20a、B-LED20b、G-LED20cの波長シフトや経時劣化を補正するための第1マトリックス係数Mij_cv、Mij_cb、Mij_cgを、それぞれ、電流量cv、cb、cg、cgに関連付けて記憶させておく。そして、実際のマトリックス処理時には、光源制御部21で設定された電流量cv、cb、cg、cgに対応する4つの第1マトリックス係数をそれぞれ掛け合わせたMij_cv×Mij_cb×Mij_cg×Mij_crを、RGB画像信号に乗算する。これにより、波長シフト等による色ムラが補正された色変換済RGB画像信号が得られる。
The normal
なお、上記第1〜第3実施形態では、3×3のマトリックス回路80を用いて、R-LED20dの波長シフトや経時劣化に伴う色調の変化を補正したが、これに代えて、3DLUT(3次元ルックアップテーブル(3-Dimesion Look Up Table))(本発明の第2テーブルに相当)を用いて、補正してもよい。図16に示すように、3DLUT130は、RGB画像信号と色変換済RGB画像信号が対応付けて記憶されており、RGB画像信号の入力に対して、色変換済RGB画像信号を出力する。この3DLUT130は、R-LED20dの電流量毎に複数設けられている。
In the first to third embodiments, the 3 × 3
したがって、実際のマトリックス処理時には、複数の3DLUT130の中から、R-LED20dに加える電流量に対応する3DLUTが選択される。この選択された3DLUTにより、RGB画像信号を色変換済RGB画像信号に変換する。なお、3DLUTの作成方法としては、所定の電流量で発光したときのRGB画像信号と色変換済RGB画像信号との関係を、電流量と関連付けて多数記憶しておき、その記憶した電流量、RGB画像信号、色変換済RGB画像信号間の相関関係に基づいて、3DLUTを作成する方法が考えられる。
Accordingly, during actual matrix processing, a 3DLUT corresponding to the amount of current applied to the R-
なお、上記実施形態では、図3に示すような発光スペクトルを有する4色の光を用いたが、発光スペクトルはこれに限られない。例えば、図17に示すように、緑色光G及び赤色光Rについては、図3と同様のスペクトルを有する光にする一方で、紫色狭帯域光Vn*については、中心波長410〜420nmで、図3の紫色狭帯域光Vnよりもやや長波長側に波長範囲を有する光にし、青緑色狭帯域光Bn*については、中心波長445〜460nmで、図3の青緑色狭帯域光Bnよりもやや短波長側に波長範囲を有する光にしてもよい。 In the above embodiment, four colors of light having an emission spectrum as shown in FIG. 3 are used, but the emission spectrum is not limited to this. For example, as shown in FIG. 17, the green light G and the red light R are light having the same spectrum as that in FIG. 3, while the purple narrowband light Vn * is at a center wavelength of 410 to 420 nm. 3 is a light having a wavelength range slightly longer than the purple narrow-band light Vn, and the blue-green narrow-band light Bn * has a central wavelength of 445 to 460 nm and is slightly more than the blue-green narrow-band light Bn of FIG. Light having a wavelength range on the short wavelength side may be used.
10 内視鏡システム
20a〜20d V-LED,B-LED,G-LED,R-LED(半導体光源)
21 光源制御部
25,120〜122 光量測定センサ
48 撮像センサ(画像信号取得手段)
68 通常用色変換部(色変換部)
74 特殊用色変換部(色変換部)
80 3×3マトリックス回路
102 大容量メモリ(第1メモリ)
130 3DLUT(第2テーブル)
10
21 Light
68 Normal color converter (color converter)
74 Special color converter (color converter)
80 3 × 3
130 3DLUT (second table)
Claims (11)
撮像面にRGBフィルタを備えたカラー撮像素子と、
前記照明光で照明中の検体を前記カラー撮像素子で撮像して、複数の色信号からなる第1カラー画像信号を取得する画像信号取得部と、
前記第1カラー画像信号に基づいて目標光量を算出する光量算出部と、
前記第1カラー画像信号を、前記第1カラー画像信号と異なる第2カラー画像信号に変換する色変換処理を行う色変換部とを備え、
前記R−LEDは、前記カラー撮像素子のRフィルタの透過波長範囲にピーク波長を有し、発光強度が大きくなる程、ピーク波長が長波側にシフトする赤色光を発生し、
前記光源制御部は、前記光量算出部で算出した前記目標光量に基づいて、前記B−LED、前記G−LED、前記R−LEDに加える駆動量を設定し、
前記色変換部は、前記B−LED、前記G−LED、前記R−LEDに加える駆動量に応じて、前記色変換処理の内容を変更する内視鏡システム。 A light source device having a B-LED, a G-LED, an R-LED that emits illumination light for illuminating a specimen, and a light source control unit;
A color imaging device having an RGB filter on the imaging surface;
An image signal acquisition unit that captures an image of the specimen illuminated with the illumination light with the color image sensor and acquires a first color image signal composed of a plurality of color signals;
A light amount calculation unit for calculating a target light amount based on the first color image signal;
A color conversion unit that performs a color conversion process for converting the first color image signal into a second color image signal different from the first color image signal;
The R-LED has a peak wavelength in the transmission wavelength range of the R filter of the color image sensor, and generates red light whose peak wavelength shifts to the long wave side as the emission intensity increases.
The light source control unit sets a drive amount to be applied to the B-LED, the G-LED, and the R-LED based on the target light amount calculated by the light amount calculation unit,
The said color conversion part is an endoscope system which changes the content of the said color conversion process according to the drive amount added to the said B-LED, the said G-LED, and the said R-LED.
前記第1係数は、前記B−LED、前記G−LED、前記R−LEDに加える駆動量に関連づけられている請求項1記載の内視鏡システム。 The color conversion process is a process of converting the first color image signal to the second color image signal by multiplying the first color image signal by a first coefficient,
The endoscope system according to claim 1, wherein the first coefficient is related to a driving amount applied to the B-LED, the G-LED, and the R-LED.
前記目標光量から、設定光量比に基づいて、前記B−LEDの目標光量、前記G−LEDの目標光量、前記R−LEDの目標光量を算出する請求項1ないし3いずれか1項記載の内視鏡システム。 In the light source control unit,
The target light amount of the B-LED, the target light amount of the G-LED, and the target light amount of the R-LED are calculated from the target light amount based on a set light amount ratio. Endoscopic system.
前記第2係数は、前記カラー撮像素子を有する内視鏡のスコープIDに対応付けて記憶されている請求項2記載の内視鏡システム。 The color conversion process is a process of converting the first color image signal into the second color image signal by multiplying the first coefficient in addition to the first coefficient.
The endoscope system according to claim 2, wherein the second coefficient is stored in association with a scope ID of an endoscope having the color image sensor.
前記通常観察モードが選択された場合に、前記色変換部が、前記色変換処理の内容の変更を行う請求項1ないし5いずれか1項記載の内視鏡システム。 Has normal observation mode and special observation mode,
The endoscope system according to any one of claims 1 to 5, wherein when the normal observation mode is selected, the color conversion unit changes the content of the color conversion processing.
前記光源制御部は、
前記目標光量から、設定光量比に基づいて、前記B−LEDの目標光量、前記G−LEDの目標光量、前記R−LEDの目標光量を算出し、
前記光量測定センサで測定した前記B−LED,前記G−LED,前記R−LEDの光の光量と、前記B−LEDの目標光量、前記G−LEDの目標光量、前記R−LEDの目標光量との比較に基づいて、前記B−LED,前記G−LED,前記R−LEDの前記駆動量を設定する請求項1ないし3いずれか1項記載の内視鏡システム。 The B-LED, the G-LED, and the R-LED are each provided with a light amount measurement sensor that measures the amount of light emitted from each LED.
The light source controller is
From the target light amount, based on a set light amount ratio, calculate the target light amount of the B-LED, the target light amount of the G-LED, and the target light amount of the R-LED,
The light quantity of the B-LED, G-LED, and R-LED measured by the light quantity measurement sensor, the target light quantity of the B-LED, the target light quantity of the G-LED, and the target light quantity of the R-LED The endoscope system according to any one of claims 1 to 3, wherein the drive amount of the B-LED, the G-LED, and the R-LED is set based on a comparison with the first and second embodiments.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016086957A JP6116734B2 (en) | 2016-04-25 | 2016-04-25 | Endoscope system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016086957A JP6116734B2 (en) | 2016-04-25 | 2016-04-25 | Endoscope system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013196305A Division JP5931031B2 (en) | 2013-09-23 | 2013-09-23 | Endoscope system and method for operating endoscope system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017053936A Division JP6320592B2 (en) | 2017-03-21 | 2017-03-21 | Endoscope system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016174921A JP2016174921A (en) | 2016-10-06 |
JP6116734B2 true JP6116734B2 (en) | 2017-04-19 |
Family
ID=57068909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016086957A Active JP6116734B2 (en) | 2016-04-25 | 2016-04-25 | Endoscope system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6116734B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018230418A1 (en) | 2017-06-14 | 2018-12-20 | 富士フイルム株式会社 | Processor device and method for operating same, endoscope system, and image display device and method and program for operating same |
JP6987980B2 (en) * | 2018-04-23 | 2022-01-05 | 富士フイルム株式会社 | Medical image processing system |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01297041A (en) * | 1988-01-07 | 1989-11-30 | Olympus Optical Co Ltd | Output signal control device for endoscope |
JP3406715B2 (en) * | 1993-12-24 | 2003-05-12 | ペンタックス株式会社 | Electronic endoscope device |
JP2002095634A (en) * | 2000-09-26 | 2002-04-02 | Fuji Photo Film Co Ltd | Endoscope system |
JP4409523B2 (en) * | 2005-05-12 | 2010-02-03 | オリンパスメディカルシステムズ株式会社 | Biological observation device |
JP5111286B2 (en) * | 2008-08-08 | 2013-01-09 | シャープ株式会社 | LED lamp driving method and LED lamp device |
JP2011200410A (en) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | Endoscope system including calibration means, and calibration method thereof |
JP2012223376A (en) * | 2011-04-20 | 2012-11-15 | Hoya Corp | Control circuit and control method of light-emitting diode for lighting, and electronic endoscope apparatus using the same |
JP2013099458A (en) * | 2011-11-09 | 2013-05-23 | Panasonic Corp | Laser light source device |
JP5749633B2 (en) * | 2011-11-28 | 2015-07-15 | 富士フイルム株式会社 | Endoscope light source device |
-
2016
- 2016-04-25 JP JP2016086957A patent/JP6116734B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016174921A (en) | 2016-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5931031B2 (en) | Endoscope system and method for operating endoscope system | |
JP6461739B2 (en) | Image processing apparatus, endoscope system, and method of operating image processing apparatus | |
JP6013382B2 (en) | Endoscope system and operating method thereof | |
US9895054B2 (en) | Endoscope system, light source device, operation method for endoscope system, and operation method for light source device | |
US9675287B2 (en) | Endoscope system, endoscope system processor device, operation method for endoscope system, and operation method for endoscope system processor device | |
US9107268B2 (en) | Calibration method and endoscope system | |
EP2754381B1 (en) | Endoscope system and processor device | |
US9962070B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
US10791915B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
JP6327769B2 (en) | Calibration method and endoscope system | |
US10285631B2 (en) | Light source device for endoscope and endoscope system | |
US10278628B2 (en) | Light source device for endoscope and endoscope system | |
JP2016007355A (en) | Light source device, endoscope system, operation method of light source device, and operation method of endoscope system | |
JP6320592B2 (en) | Endoscope system | |
JP2019136555A (en) | Endoscope light source device, endoscope system, and method of operating endoscope light source device | |
JP6116734B2 (en) | Endoscope system | |
JP2020192007A (en) | Information processing device, operation method thereof, endoscope system, and operation method thereof | |
JP6039605B2 (en) | Endoscope system and operating method thereof | |
JP6276149B2 (en) | Endoscope system and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170321 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6116734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |