JP6650969B2

JP6650969B2 - Endoscope system

Info

Publication number: JP6650969B2
Application number: JP2018131188A
Authority: JP
Inventors: 友輝池田
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2018-07-11
Filing date: 2018-07-11
Publication date: 2020-02-19
Anticipated expiration: 2034-05-16
Also published as: JP2018158159A

Description

本発明は、色変換処理に適用されるマトリクス係数を切り替え可能な映像処理装置および内視鏡システムに関する。 The present invention relates to a video processing device and an endoscope system that can switch matrix coefficients applied to color conversion processing.

人の食道や腸などの管腔内を観察するための内視鏡システムが知られている。この種の内視鏡システムは、電子スコープにより撮像された被写体の各画素の画素信号を処理して映像信号を生成する内視鏡プロセッサを備えている。また、術者にとって管腔内の特定の生体組織の観察映像が見易くなるように、被写体を照明する照明光の波長特性を切り替え可能な内視鏡システムが知られている。 2. Description of the Related Art An endoscope system for observing the inside of a lumen such as a human esophagus and intestine is known. This type of endoscope system includes an endoscope processor that processes a pixel signal of each pixel of a subject captured by an electronic scope and generates a video signal. Also, there is known an endoscope system capable of switching wavelength characteristics of illumination light for illuminating a subject so that an operator can easily view an observation image of a specific living tissue in a lumen.

例えば特許文献１に照明光の波長特性を切り替え可能な内視鏡システムが記載されている。特許文献１に記載の内視鏡システムは、広い波長帯域の照明光を放射する光源と、照明光の波長帯域を制限する複数の光学フィルタとを備えている。術者が内視鏡システムに対してフィルタ切替操作を行うと、適用される光学フィルタが切り替えられる。また、光学フィルタが切り替えられると、映像信号の色変換処理に適用されるマトリクス係数も切り替えられる。このような内視鏡システムを用いることにより、色変換処理に光学フィルタに適したマトリクス係数が使用され、術者にとって見易い観察映像が得られる。 For example, Patent Literature 1 discloses an endoscope system capable of switching wavelength characteristics of illumination light. The endoscope system described in Patent Literature 1 includes a light source that emits illumination light in a wide wavelength band, and a plurality of optical filters that limit the wavelength band of the illumination light. When the operator performs a filter switching operation on the endoscope system, the applied optical filter is switched. When the optical filter is switched, the matrix coefficient applied to the color conversion processing of the video signal is also switched. By using such an endoscope system, a matrix coefficient suitable for an optical filter is used for color conversion processing, and an observation image that is easy for an operator to see is obtained.

特開２０１３−１３５８９号公報JP 2013-13589 A

しかしながら、特許文献１に記載の内視鏡システムでは、術者によってフィルタ切替操作が行われると、マトリクス係数も切替操作に従い即時に切り替えられる。そのため、例えば、内視鏡プロセッサが一枚の画像に対して色変換処理を行っている途中にマトリクス係数が切り替わることがある。この場合、異なるマトリクス係数が適用されることによって画像内で色味の異なる領域が混在し観察映像が一時的に乱れるという不具合が指摘される。 However, in the endoscope system described in Patent Literature 1, when a filter switching operation is performed by an operator, the matrix coefficients are also switched immediately according to the switching operation. Therefore, for example, the matrix coefficients may be switched while the endoscope processor is performing color conversion processing on one image. In this case, a problem is pointed out in that, by applying different matrix coefficients, regions having different colors are mixed in the image and the observed video is temporarily disturbed.

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、ユーザによる指示入力のタイミングに拘わらず、マトリクス係数の切り替わりに起因する観察映像の乱れが発生しない映像処理装置および内視鏡システムを提供することである。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a video processing apparatus and a video processing apparatus in which disturbance of an observed video due to switching of a matrix coefficient does not occur irrespective of a timing of an instruction input by a user. It is to provide an endoscope system.

上記の課題を解決する本発明の実施形態の内視鏡システムは、ユーザによる指示入力であって、夫々異なる波長特性を持つ複数種類の照明光の中で被写体を照明する照明光を変更する指示入力を受け付ける入力受付手段と、指示入力に従って複数種類の照明光の中で被写体を照明する照明光を変更する変更手段と、所定の撮像装置より入力される映像信号に対してマトリクス係数に基づいて色変換処理を行う色変換手段と、入力受付手段が指示入力を受け付けると、撮像装置より入力される垂直同期信号と同期したタイミングで、色変換手段にて用いられるマトリクス係数を、該指示入力に従って変更された後の照明光の波長特性に応じたマトリクス係数に切り替える係数切替手段とを備える。 An endoscope system according to an embodiment of the present invention that solves the above-mentioned problem is an instruction input by a user, which is an instruction to change illumination light for illuminating a subject among a plurality of types of illumination light having different wavelength characteristics. Input receiving means for receiving an input, changing means for changing the illumination light for illuminating the subject among a plurality of types of illumination light in accordance with the instruction input, and a video signal input from a predetermined imaging device based on a matrix coefficient. When the color conversion means for performing the color conversion processing and the input reception means receive the instruction input, the matrix coefficients used in the color conversion means are synchronized with the vertical synchronization signal input from the imaging device in accordance with the instruction input. Coefficient switching means for switching to a matrix coefficient according to the wavelength characteristic of the illumination light after the change.

このような構成によれば、マトリクス係数は、一枚の画像に対して色変換処理を行っている途中では切り替わらず、映像信号の周期に同期したタイミングで切り替わる。そのため、異なるマトリクス係数が適用されることによって画像内で色味の異なる領域が混在し観察映像が一時的に乱れるという不具合が発生しない。 According to such a configuration, the matrix coefficient is not switched during the color conversion processing on one image but is switched at a timing synchronized with the cycle of the video signal. Therefore, there is no problem that regions having different colors are mixed in the image due to the application of different matrix coefficients, and the observed image is temporarily disturbed.

撮像装置は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。 The imaging device is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.

撮像装置は、映像信号をプログレッシブ方式で出力する構成としてもよい。 The imaging device may be configured to output the video signal in a progressive manner.

複数種類の照明光は、例えば、第１の照明光と、該第１の照明光とは異なる波長特性を持つ第２の照明光の、２種類の照明光である。第１の照明光は、例えば白色光である。第２の照明光は、例えば特定波長にピークを持つ狭帯域光である。 The plurality of types of illumination light are, for example, two types of illumination light of a first illumination light and a second illumination light having a wavelength characteristic different from that of the first illumination light. The first illumination light is, for example, white light. The second illumination light is, for example, narrow-band light having a peak at a specific wavelength.

本発明の実施形態によれば、ユーザによる指示入力のタイミングに拘わらず、マトリクス係数の切り替わりに起因する観察映像の乱れが発生しない映像処理装置および内視鏡システムが提供される。 According to the embodiment of the present invention, there is provided an image processing apparatus and an endoscope system in which disturbance of an observation image due to switching of a matrix coefficient does not occur irrespective of the timing of an instruction input by a user.

本発明の実施形態にかかる内視鏡システムの構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of an endoscope system according to an embodiment of the present invention. 本発明の実施形態にかかるフィルタターレットの正面図である。It is a front view of a filter turret concerning an embodiment of the present invention. 本発明の実施形態にかかる光学フィルタの分光特性を示す図である。FIG. 3 is a diagram illustrating spectral characteristics of the optical filter according to the embodiment of the present invention. 本発明の実施形態にかかる撮像素子の受光面の一部を模式的に表した図である。FIG. 2 is a diagram schematically illustrating a part of a light receiving surface of the imaging device according to the embodiment of the present invention. 本発明の実施形態にかかる色変換回路の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of a color conversion circuit according to the embodiment of the present invention. 本発明の実施形態にかかる色変換回路の動作タイミングを示すタイミングチャートである。4 is a timing chart illustrating operation timings of the color conversion circuit according to the embodiment of the present invention.

以下、本発明の実施形態にかかる内視鏡システムについて説明する。 Hereinafter, an endoscope system according to an embodiment of the present invention will be described.

図１は、本実施形態の内視鏡システム１の構成を示すブロック図である。図１に示されるように、内視鏡システム１は、医療用の撮像システムであり、電子スコープ１００、プロセッサ２００およびモニタ３００を有している。 FIG. 1 is a block diagram illustrating a configuration of an endoscope system 1 according to the present embodiment. As shown in FIG. 1, the endoscope system 1 is a medical imaging system, and includes an electronic scope 100, a processor 200, and a monitor 300.

電子スコープ１００は、照明光学系１０１、対物光学系１０２、撮像素子１０３、ＡＦＥ（Analog Front End）１０４、ライトガイド１０５、電気コネクタ１０６および電気コネクタ１０７を備えている。 The electronic scope 100 includes an illumination optical system 101, an objective optical system 102, an image sensor 103, an AFE (Analog Front End) 104, a light guide 105, an electrical connector 106, and an electrical connector 107.

プロセッサ２００は、システムコントローラ２０１、タイミングコントローラ２０２、光源ドライバ２０３、光源２０４、集光レンズ２０５、フィルタターレット２０６、モータドライバ２０７、モータ２０８、フォトインタラプタ２０９、信号処理回路２１０、映像信号生成回路２１１およびフロントパネル２１２を備えている。信号処理回路２１０は、デモザイク処理回路２１０Ａ、色変換回路２１０Ｂ、色補正回路２１０Ｃおよびノイズ除去回路２１０Ｄを含んでいる。 The processor 200 includes a system controller 201, a timing controller 202, a light source driver 203, a light source 204, a condenser lens 205, a filter turret 206, a motor driver 207, a motor 208, a photo interrupter 209, a signal processing circuit 210, a video signal generation circuit 211, A front panel 212 is provided. The signal processing circuit 210 includes a demosaic processing circuit 210A, a color conversion circuit 210B, a color correction circuit 210C, and a noise removal circuit 210D.

システムコントローラ２０１は、内視鏡システム１を構成する各要素を制御する。タイミングコントローラ２０２は、信号の処理タイミングを調整するクロックパルスを内視鏡システム１内の各回路に送信する。また、システムコントローラ２０１はフロントパネル２１２に接続されている。フロントパネル２１２は、術者が内視鏡システム１の各種設定や各種パラメータを変更するためのユーザインターフェースである。システムコントローラ２０１は、術者によるフロントパネル２１２への入力操作に基づいて各要素を制御する。 The system controller 201 controls each element constituting the endoscope system 1. The timing controller 202 transmits a clock pulse for adjusting the processing timing of the signal to each circuit in the endoscope system 1. The system controller 201 is connected to the front panel 212. The front panel 212 is a user interface for an operator to change various settings and various parameters of the endoscope system 1. The system controller 201 controls each element based on an input operation on the front panel 212 by the operator.

光源２０４は、光源ドライバ２０３によって駆動制御され、白色光を放射する。光源２０４には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが用いられる。光源２０４から放射された照明光は、集光レンズ２０５およびフィルタターレット２０６を介してライトガイド１０５に入射される。 The light source 204 is driven and controlled by the light source driver 203 and emits white light. As the light source 204, a high-intensity lamp such as a xenon lamp, a halogen lamp, a mercury lamp, and a metal halide lamp is used. Illumination light emitted from the light source 204 is incident on the light guide 105 via the condenser lens 205 and the filter turret 206.

図２に、フィルタターレット２０６を光源２０４側から見た正面図を示す。フィルタターレット２０６は円盤形状を有している。図２に示されるように、フィルタターレット２０６には、分光特性の異なる第１光学フィルタ２０６ａと第２光学フィルタ２０６ｂとが円周方向に並べて配置されている。フィルタターレット２０６は、モータ２０８によって回転動作することにより、第１光学フィルタ２０６ａと第２光学フィルタ２０６ｂのいずれか一方を照明光の光路中（図２中、点線にて示される領域Ｌ参照）に配置し、波長特性の異なる２種類の照明光の一方を取り出す。 FIG. 2 shows a front view of the filter turret 206 viewed from the light source 204 side. The filter turret 206 has a disk shape. As shown in FIG. 2, a first optical filter 206a and a second optical filter 206b having different spectral characteristics are arranged in the filter turret 206 in a circumferential direction. The filter turret 206 is rotated by the motor 208, so that one of the first optical filter 206a and the second optical filter 206b is placed in the optical path of the illumination light (see a region L indicated by a dotted line in FIG. 2). And one of two types of illumination light having different wavelength characteristics is extracted.

図３に、第１光学フィルタ２０６ａおよび第２光学フィルタ２０６ｂの分光特性を示す。図３の横軸は波長（単位：ｎｍ）を示し、縦軸は透過率（単位：％）を示す。図３に示されるように、第１光学フィルタ２０６ａの透過率Ｔａは、波長が約４００ｎｍから約７００ｎｍまでの可視光帯域の光に対してほぼ１００％である。そのため、第１光学フィルタ２０６ａを透過した照明光は白色光となる。一方、第２光学フィルタ２０６ｂは、波長が４５０ｎｍ近傍の光（青色光）および５５０ｎｍ近傍の光（緑色光）の光に対する透過率Ｔｂが高く、それ以外の波長の光に対する透過率Ｔｂが低い。そのため、第２光学フィルタ２０６ｂを透過した光は、青色光と緑色光とが混ざったシアン色となる。以下、説明の便宜上、第１光学フィルタ２０６ａを透過した照明光を「通常光」と記し、第２光学フィルタ２０６ｂを透過した照明光を「狭帯域光」と記す。 FIG. 3 shows the spectral characteristics of the first optical filter 206a and the second optical filter 206b. The horizontal axis of FIG. 3 indicates the wavelength (unit: nm), and the vertical axis indicates the transmittance (unit:%). As shown in FIG. 3, the transmittance Ta of the first optical filter 206a is almost 100% with respect to light in a visible light band having a wavelength of about 400 nm to about 700 nm. Therefore, the illumination light transmitted through the first optical filter 206a becomes white light. On the other hand, the second optical filter 206b has a high transmittance Tb for light having a wavelength near 450 nm (blue light) and a light near 550 nm (green light), and has a low transmittance Tb for light having other wavelengths. Therefore, the light transmitted through the second optical filter 206b becomes a cyan color in which the blue light and the green light are mixed. Hereinafter, for convenience of explanation, the illumination light transmitted through the first optical filter 206a is referred to as “normal light”, and the illumination light transmitted through the second optical filter 206b is referred to as “narrow band light”.

術者によりフロントパネル２１２に対してフィルタ切替操作が行われると、フィルタターレット２０６が回転し、フィルタ切替操作に応じた光学フィルタが照明光の光路中に配置される。これにより、フィルタターレット２０６にて取り出される照明光（通常光または狭帯域光）が切り替わる。フィルタターレット２０６の回転位置や回転の位相は、フィルタターレット２０６の外周付近に形成された開口（不図示）をフォトインタラプタ２０９によって検出することにより制御される。 When a filter switching operation is performed on the front panel 212 by the operator, the filter turret 206 rotates, and an optical filter according to the filter switching operation is disposed in the optical path of the illumination light. Thereby, the illumination light (normal light or narrow band light) extracted by the filter turret 206 is switched. The rotation position and rotation phase of the filter turret 206 are controlled by detecting an opening (not shown) formed in the vicinity of the outer periphery of the filter turret 206 by the photo interrupter 209.

フィルタターレット２０６を通過した照明光（通常光または狭帯域光）は、ライトガイド１０５内に入射され、電子スコープ１００の先端部に向けてライトガイド１０５内を導波される。ライトガイド１０５内を導波された照明光は、電子スコープ１００の先端部内に配置されたライトガイド１０５の端面より射出される。ライトガイド１０５の端面より射出された照明光は、照明光学系１０１を介して電子スコープ１００から射出され、被写体を照明する。被写体で反射された照明光（反射光）は、対物光学系１０２を介して撮像素子１０３に入射され、撮像素子１０３が備える各画素の受光面上で被写体像を結ぶ。 The illumination light (normal light or narrow-band light) that has passed through the filter turret 206 enters the light guide 105 and is guided through the light guide 105 toward the tip of the electronic scope 100. The illumination light guided in the light guide 105 is emitted from the end face of the light guide 105 disposed in the tip of the electronic scope 100. The illumination light emitted from the end face of the light guide 105 is emitted from the electronic scope 100 via the illumination optical system 101 and illuminates the subject. The illumination light (reflected light) reflected by the subject enters the image sensor 103 via the objective optical system 102 and forms a subject image on the light receiving surface of each pixel included in the image sensor 103.

図４は、撮像素子１０３の受光面の一部を模式的に表したものである。撮像素子１０３は、補色市松型画素配置を有するインターレース方式の単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。図４中、「Ｙｅ」、「Ｃｙ」、「Ｍｇ」、「Ｇ」はそれぞれ、イエロー（Ｙｅ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、グリーン（Ｇ）のカラーフィルタを有する画素を示している。各画素は、結像された被写体像を光量に応じた電荷として蓄積する。蓄積された電荷は、周知の色差線順次のインターレース方式に基づいて読み出される。具体的には、垂直方向において隣接する２つの画素の画素信号が加算された混合信号が順次読み出される。例えば、図４に示される例では、撮像素子１０３の画素の内、ｎ水平走査ラインのＹｅ画素の画素信号およびＹｅ画素に隣接するＭｇ画素の画素信号の混合信号（Ｗｒ_ｉｎ）と、Ｃｙ画素の画素信号およびＣｙ画素に隣接するＧ画素の画素信号の混合信号（Ｇｂ_ｉｎ）とが交互に読み出される。次に、（ｎ＋１）水平走査ラインのＹｅ画素の画素信号およびＹｅ画素に隣接するＧ画素の画素信号の混合信号（Ｇｒ_ｉｎ）と、Ｃｙ画素の画素信号およびＣｙ画素に隣接するＭｇ画素の画素信号の混合信号（Ｗｂ_ｉｎ）とが交互に読み出される。このように、水平走査ラインの混合信号の読み出しが順次行われることにより、一フィールド分の画素信号が読み出される。 FIG. 4 schematically illustrates a part of the light receiving surface of the image sensor 103. The image sensor 103 is an interlaced single-chip color CCD (Charge Coupled Device) image sensor having a complementary color checkerboard pixel arrangement. In FIG. 4, “Ye”, “Cy”, “Mg”, and “G” indicate pixels having yellow (Ye), cyan (Cy), magenta (Mg), and green (G) color filters, respectively. I have. Each pixel accumulates the formed subject image as a charge corresponding to the amount of light. The accumulated charges are read out based on a well-known color difference line-sequential interlace method. Specifically, a mixed signal obtained by adding pixel signals of two pixels adjacent in the vertical direction is sequentially read. For example, in the example shown in FIG. 4, among the pixels of the image sensor 103, a mixed signal (Wr _in ) of the pixel signal of the Ye pixel of the n horizontal scanning lines, the pixel signal of the Mg pixel adjacent to the Ye pixel, and the Cy pixel And the mixed signal (Gb _in ) of the pixel signals of the G pixels adjacent to the Cy pixel are alternately read. Next, a mixed signal (Gr _in ) of the pixel signal of the Ye pixel and the pixel signal of the G pixel adjacent to the Ye pixel on the (n + 1) horizontal scanning line, and the pixel signal of the Cy pixel and the pixel of the Mg pixel adjacent to the Cy pixel The mixed signal (Wb _in ) of the signals is alternately read. Thus, by sequentially reading the mixed signals of the horizontal scanning lines, the pixel signals for one field are read.

ＡＦＥ１０４は、撮像素子１０３から読み出される各混合信号（Ｗｒ_ｉｎ、Ｇｂ_ｉｎ、Ｇｒ_ｉｎ、Ｗｂ_ｉｎ）に対して信号増幅処理やＡ／Ｄ変換処理を施し、これにより得られたデジタルＲＡＷデータを出力する。ＡＦＥ１０４より出力されるデジタルＲＡＷデータは、電気コネクタ１０７を介して信号処理回路２１０に送信される。デモザイク処理回路２１０Ａは、ＡＦＥ１０４から受信したデジタルＲＡＷデータに対して周知のデモザイク処理を施して映像データを生成する。生成された映像データは、色変換回路２１０Ｂに送信される。 AFE104, each mixed signal read from the image sensor _{_{_{103 (Wr in, Gb in,}}} Gr in, Wb in) performs signal amplification processing and A / D conversion processing to output the digital RAW data obtained by this I do. The digital RAW data output from the AFE 104 is transmitted to the signal processing circuit 210 via the electrical connector 107. The demosaic processing circuit 210A performs a well-known demosaic process on the digital RAW data received from the AFE 104 to generate video data. The generated video data is transmitted to the color conversion circuit 210B.

色変換回路２１０Ｂは、デモザイク処理回路２１０Ａから受信した映像データに対して色変換処理を施す。色変換処理では、映像データに含まれる各混合信号（Ｗｒ_ｉｎ、Ｇｂ_ｉｎ、Ｇｒ_ｉｎ、Ｗｂ_ｉｎ）に対して次式に示されるマトリクス演算処理が施され、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色に対応した画像信号（Ｒ_ｏｕｔ、Ｇ_ｏｕｔ、Ｂ_ｏｕｔ）が生成される。

The color conversion circuit 210B performs a color conversion process on the video data received from the demosaic processing circuit 210A. In the color conversion process, each mixed signal included in the video data _{_{_{(Wr in, Gb in, Gr}}} in, Wb in) matrix calculation process shown with respect to the following equation is performed, red (R), green (G) , Blue (B), and image signals (R _out , G _out , B _out ) corresponding to each color.

上記式において、Ｍはマトリクス係数を示す。色変換回路２１０Ｂは、各照明光に対応するマトリクス係数Ｍを保持している。術者によるフロントパネル２１２に対するフィルタ切替操作に従って被写体を照明する照明光が切り替わると、被写体像の色味やコントラストなどが変化する。そのため、色変換回路２１０Ｂは、マトリクス演算処理に適用するマトリクス係数Ｍを、切替後の照明光に対応するマトリクス係数Ｍに切り替える。 In the above equation, M indicates a matrix coefficient. The color conversion circuit 210B holds a matrix coefficient M corresponding to each illumination light. When the illumination light for illuminating the subject is switched according to the filter switching operation performed on the front panel 212 by the operator, the color and contrast of the subject image change. Therefore, the color conversion circuit 210B switches the matrix coefficient M applied to the matrix operation processing to the matrix coefficient M corresponding to the switched illumination light.

色補正回路２１０Ｃは、マトリクス演算処理が施された映像データに対してホワイトバランス調整処理やガンマ補正処理などの色補正処理を施してノイズ除去回路２１０Ｄに送信する。ノイズ除去回路２１０Ｄは、色補正回路２１０Ｃから受信した映像データに対して周知の空間フィルタ処理などによるノイズ除去処理を施し、映像信号生成回路２１１に送信する。 The color correction circuit 210C performs a color correction process such as a white balance adjustment process and a gamma correction process on the video data on which the matrix calculation process has been performed, and transmits the processed data to the noise removal circuit 210D. The noise removal circuit 210D performs a noise removal process such as a well-known spatial filtering process on the video data received from the color correction circuit 210C, and transmits the video data to the video signal generation circuit 211.

映像信号生成回路２１１は、信号処理回路２１０（ノイズ除去回路２１０Ｄ）から受信した映像データを、所定の形式（例えば、ＮＴＳＣ形式）の映像信号に変換してモニタ３００に送信する。モニタ３００は、映像信号生成回路２１１から受信した映像信号に基づいて被写体の観察映像を表示する。 The video signal generation circuit 211 converts video data received from the signal processing circuit 210 (noise removal circuit 210D) into a video signal of a predetermined format (for example, NTSC format) and transmits the video signal to the monitor 300. The monitor 300 displays an observation image of the subject based on the video signal received from the video signal generation circuit 211.

次に、映像データに適用されるマトリクス係数の切り替えについて詳細に説明する。図５は、色変換回路２１０Ｂの構成を示すブロック図である。色変換回路２１０Ｂは、演算部２１０Ｂ１および係数切替部２１０Ｂ２を備えている。演算部２１０Ｂは、映像データにマトリクス係数を適用して色変換処理を施す。係数切替部２１０Ｂ２は、演算部２１０Ｂ１によって映像データに適用されるマトリクス係数を切り替える。 Next, switching of matrix coefficients applied to video data will be described in detail. FIG. 5 is a block diagram showing a configuration of the color conversion circuit 210B. The color conversion circuit 210B includes a calculation unit 210B1 and a coefficient switching unit 210B2. The calculation unit 210B performs a color conversion process by applying a matrix coefficient to the video data. The coefficient switching unit 210B2 switches the matrix coefficient applied to the video data by the calculation unit 210B1.

係数切替部２１０Ｂ２の所定の記憶領域には、照明光が通常光である場合に適用されるマトリクス係数Ｍ１および照明光が狭帯域光である場合に適用されるマトリクス係数Ｍ２が予め記憶されている。術者によりフロントパネル２１２に対してフィルタ切替操作が行われると、使用される光学フィルタを示すフィルタ切替信号が選択部ＳＥＬに送信される。選択部ＳＥＬは、フィルタ切替信号に応じてマトリクス係数（Ｍ１またはＭ２）を読み出し、出力コントローラＣＴＲＬに送信する。出力コントローラＣＴＲＬは、選択部ＳＥＬから受信したマトリクス係数を所定のタイミングで演算部２１０Ｂ１に送信する。演算部２１０Ｂ１は、選択部ＳＥＬからマトリクス係数を受信すると、受信したマトリクス係数を適用したマトリクス演算処理を行う。 In a predetermined storage area of the coefficient switching unit 210B2, a matrix coefficient M1 applied when the illumination light is normal light and a matrix coefficient M2 applied when the illumination light is narrow-band light are stored in advance. . When a filter switching operation is performed on the front panel 212 by the operator, a filter switching signal indicating an optical filter to be used is transmitted to the selection unit SEL. The selection unit SEL reads the matrix coefficient (M1 or M2) according to the filter switching signal and transmits the matrix coefficient (M1 or M2) to the output controller CTRL. The output controller CTRL transmits the matrix coefficient received from the selection unit SEL to the calculation unit 210B1 at a predetermined timing. When receiving the matrix coefficient from the selection unit SEL, the calculation unit 210B1 performs a matrix calculation process using the received matrix coefficient.

出力コントローラＣＴＲＬがマトリクス係数を送信するタイミングは、映像データに含まれる垂直同期信号に同期している。具体的には、垂直同期信号は、撮像素子１０３から一フィールド分の混合信号が読み出される毎に送信される。撮像素子１０３より送信される垂直同期信号は、一フィールド周期で出力コントローラＣＴＲＬにて受信される。出力コントローラＣＴＲＬは、選択部ＳＥＬによって読み出されるマトリクス係数を、垂直同期信号を受信したタイミングで演算部２１０Ｂ１に送信する。 The timing at which the output controller CTRL transmits the matrix coefficient is synchronized with the vertical synchronization signal included in the video data. Specifically, the vertical synchronization signal is transmitted each time a mixed signal for one field is read from the image sensor 103. The vertical synchronization signal transmitted from the image sensor 103 is received by the output controller CTRL in one field cycle. The output controller CTRL transmits the matrix coefficient read by the selection unit SEL to the calculation unit 210B1 at the timing when the vertical synchronization signal is received.

図６は、色変換回路２１０Ｂの動作タイミングを示すタイミングチャートである。図６中、左側から右側に向かって時間が経過している。初期状態または術者によって第１光学フィルタ２０６ａが選択されている場合を考える。この場合、第１光学フィルタ２０６ａが照明光の光路上に配置されている。そのため、選択部ＳＥＬによって通常光に対応したマトリクス係数Ｍ１が読み出され、演算部２１０Ｂ１に送信される。演算部２１０Ｂ１は、マトリクス係数Ｍ１を適用したマトリクス演算処理を実行する。術者によりフロントパネル２１２に対して第１光学フィルタ２０６ａを第２光学フィルタ２０６ｂに切り替える切替操作が行われると（時刻ｔ１）、選択部ＳＥＬはマトリクス係数Ｍ２を読み出し、出力コントローラＣＴＲＬに送信する。出力コントローラＣＴＲＬは、選択部ＳＥＬから受信したマトリクス係数Ｍ２を保持する。出力コントローラＣＴＲＬは、マトリクス係数Ｍ２を保持している間に垂直同期信号を受信すると（時刻ｔ２）、保持しているマトリクス係数Ｍ２を演算部２１０Ｂ１に送信する。演算部２１０Ｂ１は、出力コントローラＣＴＲＬからマトリクス係数Ｍ２を受信すると、マトリクス演算処理に適用するマトリクス係数をマトリクス係数Ｍ２に切り替える。 FIG. 6 is a timing chart showing the operation timing of the color conversion circuit 210B. In FIG. 6, time elapses from the left to the right. It is assumed that the first optical filter 206a is selected in the initial state or by the operator. In this case, the first optical filter 206a is arranged on the optical path of the illumination light. Therefore, the matrix coefficient M1 corresponding to the normal light is read out by the selection unit SEL and transmitted to the calculation unit 210B1. The calculation unit 210B1 executes a matrix calculation process using the matrix coefficient M1. When a switching operation for switching the first optical filter 206a to the second optical filter 206b is performed on the front panel 212 by the operator (time t1), the selection unit SEL reads the matrix coefficient M2 and transmits it to the output controller CTRL. The output controller CTRL holds the matrix coefficient M2 received from the selection unit SEL. When receiving the vertical synchronization signal while holding the matrix coefficient M2 (time t2), the output controller CTRL transmits the held matrix coefficient M2 to the calculation unit 210B1. When receiving the matrix coefficient M2 from the output controller CTRL, the calculation unit 210B1 switches the matrix coefficient applied to the matrix calculation processing to the matrix coefficient M2.

このように、本実施形態では、術者によりフィルタの切替操作が行われると、その操作タイミングに拘わらず、常に、マトリクス演算処理に適用されるマトリクス係数が垂直同期信号と同期したタイミング（フィールドが切り替わるタイミング）で切り替わる。そのため、一フィールド内で異なるマトリクス係数が適用されて画像内で色味の異なる領域が混在することにより観察映像が一時的に乱れるという不具合が発生しない。 As described above, in the present embodiment, when the operator performs a filter switching operation, regardless of the operation timing, the matrix coefficient applied to the matrix calculation processing is always synchronized with the vertical synchronization signal (when the field is changed). Switching timing). For this reason, there is no problem that the observed video is temporarily disturbed due to the fact that different matrix coefficients are applied in one field and areas having different colors are mixed in the image.

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。 The above is the description of the exemplary embodiment of the present invention. The embodiments of the present invention are not limited to those described above, and various modifications are possible within the scope of the technical idea of the present invention. For example, the embodiments of the present application include, for example, embodiments explicitly illustrated in the specification or contents obtained by appropriately combining obvious embodiments and the like.

本実施形態では、マトリクス係数は一フィールド分のマトリクス演算処理が終了するタイミングで切り替わるが、本発明はこれに限定されない。マトリクス係数は、例えば一フレーム分のマトリクス演算処理が終了するタイミングで切り替わってもよい。具体的には、垂直同期信号に代えて、フィールド識別信号が用いられる。フィールド識別信号は、撮像素子１０３より送信されるＲＡＷデータがＯＤＤとＥＶＥＮのどちらのフィールドのＲＡＷデータであるかを示す信号である。出力コントローラＣＴＲＬは、フィールド識別信号に基づいて演算部２１０Ｂ１が一フレーム分のマトリクス演算処理を終了したかどうかを判定する。出力コントローラＣＴＲＬは、演算部２１０Ｂ１の一フレーム分のマトリクス演算処理を終了するタイミングで、マトリクス係数を演算部２１０Ｂ１に送信する。 In the present embodiment, the matrix coefficient is switched at the timing when the matrix operation processing for one field ends, but the present invention is not limited to this. The matrix coefficient may be switched, for example, at the timing when the matrix operation processing for one frame is completed. Specifically, a field identification signal is used instead of the vertical synchronization signal. The field identification signal is a signal indicating which field of the ODD or EVEN the RAW data transmitted from the image sensor 103 is. The output controller CTRL determines whether the arithmetic unit 210B1 has completed the matrix arithmetic processing for one frame based on the field identification signal. The output controller CTRL transmits the matrix coefficient to the arithmetic unit 210B1 at the timing when the matrix arithmetic processing for one frame of the arithmetic unit 210B1 ends.

また、本実施形態では、撮像素子１０３は、補色市松型画素配置を有するＣＣＤイメージセンサであるが、本発明はこれに限定されない。撮像素子１０３は、例えば周知のベイヤ方式のＣＣＤイメージセンサであってもよい。また、撮像素子１０３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであってもよい。 In the present embodiment, the image sensor 103 is a CCD image sensor having a complementary color checkerboard type pixel arrangement, but the present invention is not limited to this. The image sensor 103 may be, for example, a well-known Bayer CCD image sensor. Further, the image sensor 103 may be a complementary metal oxide semiconductor (CMOS) image sensor.

また、本実施形態では、画素信号は撮像素子１０３からインターレース方式に基づいて読み出されるが、本発明はこれに限定されない。画素信号はプログレッシブ方式に基づいて読み出されてもよい。この場合、演算部２１０Ｂ１で適用使用されるマトリクス係数は、一フレーム分のマトリクス演算処理が終了するタイミングで切り替わる。 Further, in the present embodiment, the pixel signal is read from the image sensor 103 based on the interlace method, but the present invention is not limited to this. The pixel signal may be read based on a progressive system. In this case, the matrix coefficient applied and used in the arithmetic unit 210B1 switches at the timing when the matrix arithmetic processing for one frame ends.

また、フィルタターレット２０６は、２つの光学フィルタ２０６ａ、２０６ｂを有しているが、本発明はこれに限定されない。フィルタターレット２０６は、３つ以上の光学フィルタを有してもよい。また、図３に示される第１光学フィルタ２０６ａおよび第２光学フィルタ２０６ｂの分光特性は、本実施形態の一例であって、本発明はこれに限定されない。 Although the filter turret 206 has two optical filters 206a and 206b, the present invention is not limited to this. Filter turret 206 may have more than two optical filters. Further, the spectral characteristics of the first optical filter 206a and the second optical filter 206b shown in FIG. 3 are an example of the present embodiment, and the present invention is not limited to this.

また、本実施形態では、一つの光学フィルタに対して、一つのマトリクス係数が係数切替部２１０Ｂ２に記憶されているが、本発明はこれに限定されない。マトリクス係数は、一つの光学フィルタに対して複数種類が係数切替部２１０Ｂ２に記憶されていてもよい。この場合、術者によりフロントパネル２１２に対してマトリクス係数を切り替える操作が行われると、照明光の光路に配置される光学フィルタは切り替わらずに、演算部２１０Ｂ１で適用されるマトリクス係数のみが垂直同期信号等の同期したタイミングで切り替わる。 Also, in the present embodiment, one matrix coefficient is stored in the coefficient switching unit 210B2 for one optical filter, but the present invention is not limited to this. A plurality of types of matrix coefficients may be stored in the coefficient switching unit 210B2 for one optical filter. In this case, when the operator performs an operation of switching the matrix coefficient on the front panel 212, the optical filter arranged in the optical path of the illumination light is not switched, and only the matrix coefficient applied in the arithmetic unit 210B1 is vertically synchronized. Switching is performed at a synchronized timing of a signal or the like.

１内視鏡システム
１００電子スコープ
１０１対物光学系
１０２照明光学系
１０３撮像素子
１０４ＡＦＥ（Analog Front End）
１０５ライトガイド
１０６電気コネクタ
１０７電気コネクタ
２００プロセッサ
２０１システムコントローラ
２０２タイミングコントローラ
２０３光源ドライバ
２０４光源
２０５集光レンズ
２０６フィルタターレット
２０６ａ第１光学フィルタ
２０６ｂ第２光学フィルタ
２０７モータドライバ
２０８モータ
２０９フォトインタラプタ
２１０信号処理回路
２１０Ａデモザイク処理回路
２１０Ｂ色変換回路
２１０Ｂ１演算部
２１０Ｂ２係数切替部
２１０Ｃ色補正回路
２１０Ｄノイズ除去回路
２１１映像信号生成回路
２１２フロントパネル
３００モニタ 1 Endoscope system 100 Electronic scope 101 Objective optical system 102 Illumination optical system 103 Image sensor 104 AFE (Analog Front End)
105 light guide 106 electric connector 107 electric connector 200 processor 201 system controller 202 timing controller 203 light source driver 204 light source 205 condenser lens 206 filter turret 206a first optical filter 206b second optical filter 207 motor driver 208 motor 209 photo interrupter 210 signal processing Circuit 210A Demosaic processing circuit 210B Color conversion circuit 210B1 Operation unit 210B2 Coefficient switching unit 210C Color correction circuit 210D Noise removal circuit 211 Video signal generation circuit 212 Front panel 300 Monitor

Claims

An input receiving means for receiving an instruction input by a user, the instruction input for changing illumination light for illuminating a subject among a plurality of types of illumination light having different wavelength characteristics,
Changing means for changing the illumination light for illuminating the subject among the plurality of types of illumination light according to the instruction input,
Color conversion means for performing a color conversion process based on a matrix coefficient for a video signal input from a predetermined imaging device,
When the input receiving unit receives the instruction input, at a timing synchronized with a vertical synchronization signal input from the imaging device, the matrix coefficient used in the color conversion unit is changed according to the instruction input. Coefficient switching means for switching to a matrix coefficient according to the wavelength characteristic of the illumination light,
Comprising,
Endoscope system.

The imaging device,
CMOS (Complementary Metal Oxide Semiconductor) image sensor,
The endoscope system according to claim 1.

The imaging device,
Outputting the video signal in a progressive manner,
The endoscope system according to claim 1.

The plurality of types of illumination light,
A first illumination light and a second illumination light having a wavelength characteristic different from that of the first illumination light.
The first illumination light is
White light,
The second illumination light is
Narrow-band light with a peak at a specific wavelength,
The endoscope system according to any one of claims 1 to 3.