JP6272115B2 - Endoscope processor and endoscope system - Google Patents

Endoscope processor and endoscope system Download PDF

Info

Publication number
JP6272115B2
JP6272115B2 JP2014081140A JP2014081140A JP6272115B2 JP 6272115 B2 JP6272115 B2 JP 6272115B2 JP 2014081140 A JP2014081140 A JP 2014081140A JP 2014081140 A JP2014081140 A JP 2014081140A JP 6272115 B2 JP6272115 B2 JP 6272115B2
Authority
JP
Japan
Prior art keywords
pixel
parameter
component
spatial filter
pixel signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014081140A
Other languages
Japanese (ja)
Other versions
JP2015198875A (en
Inventor
貴雄 牧野
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2014081140A priority Critical patent/JP6272115B2/en
Publication of JP2015198875A publication Critical patent/JP2015198875A/en
Application granted granted Critical
Publication of JP6272115B2 publication Critical patent/JP6272115B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)

Description

本発明は、撮像素子により撮像された被写体の各画素の画素信号を処理する内視鏡用画像処理装置および内視鏡システムに関する。   The present invention relates to an endoscope image processing apparatus and an endoscope system that process pixel signals of respective pixels of a subject imaged by an imaging element.

人の食道や腸などの管腔内を観察するための内視鏡システムが知られている。この種の内視鏡システムは、電子スコープにより撮像された被写体の各画素の画素信号を処理する内視鏡プロセッサを備えている。内視鏡プロセッサは、術者にとって見やすい観察画像をモニタに表示させるために、画素信号に対して色変換処理やノイズ低減処理などの画像処理を施す。   An endoscope system for observing the inside of a lumen such as a human esophagus or intestine is known. This type of endoscope system includes an endoscope processor that processes a pixel signal of each pixel of a subject imaged by an electronic scope. The endoscope processor performs image processing such as color conversion processing and noise reduction processing on the pixel signal in order to display an observation image that is easy to see for the operator on the monitor.

例えば特許文献1に、画素信号に対して成分分離を用いたノイズ低減処理を施す画像処理装置が記載されている。特許文献1に記載の画像処理装置では、画像信号がエッジの情報を含む骨格成分とノイズ成分等を含む残差成分の2つの成分に分離され、分離された骨格成分を用いてノイズ低減処理パラメータが設定される。また、注目画素およびその周辺画素に対して画素信号の色成分間の相関係数が計算され、相関係数に基づいてノイズ低減処理パラメータが補正される。この補正されたノイズ低減処理パラメータを用いて残差成分に対するノイズ低減処理が行われる。骨格成分とノイズ低減処理が施された残差成分とを合成することにより、ノイズが低減された画像信号が得られる。   For example, Patent Document 1 describes an image processing apparatus that performs noise reduction processing using component separation on a pixel signal. In the image processing apparatus described in Patent Document 1, an image signal is separated into two components, a skeleton component including edge information and a residual component including a noise component, and noise reduction processing parameters are obtained using the separated skeleton components. Is set. Further, a correlation coefficient between color components of the pixel signal is calculated for the pixel of interest and its surrounding pixels, and the noise reduction processing parameter is corrected based on the correlation coefficient. Using this corrected noise reduction processing parameter, noise reduction processing is performed on the residual component. By synthesizing the skeleton component and the residual component that has been subjected to noise reduction processing, an image signal with reduced noise is obtained.

特開2010−166598号公報JP 2010-166598 A

特許文献1に記載の画像処理装置では、画像信号に対してノイズ低減処理を行うために、画像信号が骨格成分と残差成分とに分離される。画像信号の成分の分離は、計算式が複雑であり計算負荷が大きい。また、ノイズ低減処理パラメータを補正するために、注目画素およびその周辺画素に対して画素信号の色成分間の相関係数が計算される。この相関係数の計算は周辺画素の数が増えるにつれて計算量が著しく増大する。計算式が複雑な成分分離や相関係数を用いたノイズ低減処理をハードウェア上に実装するためには、多くのハードウェアリソースが必要であり、製品化が困難であった。   In the image processing apparatus described in Patent Document 1, in order to perform noise reduction processing on an image signal, the image signal is separated into a skeleton component and a residual component. The separation of the image signal components is complicated in calculation formula and requires a large calculation load. Further, in order to correct the noise reduction processing parameter, a correlation coefficient between the color components of the pixel signal is calculated for the pixel of interest and its surrounding pixels. The calculation amount of the correlation coefficient increases remarkably as the number of surrounding pixels increases. In order to implement noise reduction processing using component separation and correlation coefficients with complicated calculation formulas on hardware, a lot of hardware resources are required, making it difficult to commercialize.

本発明は上記の事情を鑑みてなされたものであり、その目的とするところは、少ないハードウェアリソースで画素信号のノイズを低減(SN比を改善)するのに好適な内視鏡用画像処理装置および内視鏡システムを提供することである。   The present invention has been made in view of the above circumstances, and an object of the present invention is to perform endoscopic image processing suitable for reducing noise (improvement of the SN ratio) of pixel signals with a small amount of hardware resources. An apparatus and an endoscope system are provided.

上記の目的を達成するために、本発明の実施形態の内視鏡用画像処理装置は、所定の撮像素子により撮像された被写体の各画素の画素信号を処理する装置であり、撮像素子内の注目画素の画素信号を輝度成分と色成分とに分離する成分分離手段と、分離された輝度成分および色成分の少なくとも一方に基づいて注目画素に関する所定のパラメータを決定するパラメータ決定手段と、決定されたパラメータに基づいて注目画素に対して所定の空間フィルタ処理を施すことにより、注目画素のノイズを低減するノイズ低減手段とを備える。   In order to achieve the above object, an endoscope image processing apparatus according to an embodiment of the present invention is an apparatus that processes pixel signals of each pixel of a subject imaged by a predetermined imaging element. Component separation means for separating the pixel signal of the target pixel into a luminance component and a color component, and parameter determination means for determining a predetermined parameter relating to the target pixel based on at least one of the separated luminance component and color component. Noise reduction means for reducing the noise of the pixel of interest by applying a predetermined spatial filtering process to the pixel of interest based on the parameters.

このような構成によれば、注目画素の画素信号に基づいて空間フィルタ処理に用いられるパラメータが決定される。そのため、パラメータを決定するために周辺画素を用いた複雑な計算を行う必要がなく、少ないハードウェアリソースで画素信号のノイズを低減(SN比を改善)することができる。   According to such a configuration, the parameter used for the spatial filter processing is determined based on the pixel signal of the target pixel. Therefore, it is not necessary to perform complicated calculation using peripheral pixels to determine the parameters, and the noise of the pixel signal can be reduced (the SN ratio is improved) with less hardware resources.

また、ノイズ低減手段は、パラメータ決定手段により決定されたパラメータに基づいて、注目画素と注目画素の周辺の周辺画素について、色成分ごとに画素信号の加重平均を取ることにより、注目画素の画素信号に対して空間フィルタ処理を施してもよい。   Further, the noise reduction means obtains a pixel signal of the target pixel by taking a weighted average of the pixel signals for each color component for the target pixel and peripheral pixels around the target pixel based on the parameter determined by the parameter determination means. Spatial filter processing may be applied to.

また、パラメータは、画素信号の加重平均が取られる周辺画素の数および周辺画素の注目画素に対する位置を示すサイズパラメータと、加重平均が取られる各画素信号の重みを示す強度パラメータとを含んでもよい。   Further, the parameters may include a size parameter indicating the number of peripheral pixels from which a weighted average of pixel signals is taken and a position of the peripheral pixel with respect to the target pixel, and an intensity parameter indicating a weight of each pixel signal from which the weighted average is taken. .

また、パラメータ決定手段は、色成分ごとに、全ての画素信号の平均値を計算し、計算された平均値に基づいてパラメータを決定してもよい。   The parameter determination unit may calculate an average value of all the pixel signals for each color component and determine the parameter based on the calculated average value.

また、パラメータ決定手段は、各画素について、輝度成分と色成分との差を計算し、計算された差に基づいてパラメータを決定してもよい。   The parameter determining means may calculate the difference between the luminance component and the color component for each pixel, and determine the parameter based on the calculated difference.

また、パラメータ決定手段は、色成分ごとに、全ての画素信号の平均値を計算し、計算された平均値のみに基づいてサイズパラメータと強度パラメータのうちの一方を決定してもよい。   The parameter determining means may calculate an average value of all the pixel signals for each color component, and determine one of the size parameter and the intensity parameter based only on the calculated average value.

このような構成によれば、色成分ごとに、全画素の画素信号の平均値のみに基づいて、空間フィルタ処理に用いられるパラメータのうちの一つが決定される。そのため、パラメータを決定するために周辺画素を用いた複雑な計算を行う必要がなく、少ないハードウェアリソースで画素信号のノイズを低減(SN比を改善)することができる。   According to such a configuration, one of the parameters used for the spatial filter processing is determined for each color component based on only the average value of the pixel signals of all pixels. Therefore, it is not necessary to perform complicated calculation using peripheral pixels to determine the parameters, and the noise of the pixel signal can be reduced (the SN ratio is improved) with less hardware resources.

また、パラメータ決定手段は、各画素について、輝度成分と色成分との差を計算し、計算された差のみに基づいてサイズパラメータと強度パラメータのうちの他方を決定してもよい。   The parameter determination unit may calculate the difference between the luminance component and the color component for each pixel and determine the other of the size parameter and the intensity parameter based only on the calculated difference.

このような構成によれば、各画素について、注目画素の画素信号のみに基づいて空間フィルタ処理に用いられるパラメータのうちの一つが決定される。そのため、パラメータを決定するために周辺画素を用いた複雑な計算を行う必要がなく、少ないハードウェアリソースで画素信号のノイズを低減(SN比を改善)することができる。   According to such a configuration, for each pixel, one of the parameters used for the spatial filter processing is determined based only on the pixel signal of the target pixel. Therefore, it is not necessary to perform complicated calculation using peripheral pixels to determine the parameters, and the noise of the pixel signal can be reduced (the SN ratio is improved) with less hardware resources.

本発明の実施形態の内視鏡システムは、上記の内視鏡用画像処理装置と、所定の撮像素子を有する電子スコープとを備える。   An endoscope system according to an embodiment of the present invention includes the above-described endoscope image processing apparatus and an electronic scope having a predetermined imaging device.

本発明の実施形態によれば、少ないハードウェアリソースで画素信号のノイズを低減(SN比を改善)するのに好適な内視鏡用画像処理装置および内視鏡システムが提供される。   According to the embodiment of the present invention, an endoscopic image processing apparatus and an endoscopic system suitable for reducing noise of a pixel signal (improvement of the SN ratio) with a small amount of hardware resources are provided.

本発明の実施形態にかかる内視鏡システムのブロック図である。1 is a block diagram of an endoscope system according to an embodiment of the present invention. 本発明の実施形態にかかる撮像素子の受光面の一部を模式的に表した図である。It is the figure which represented typically a part of light-receiving surface of the image pick-up element concerning embodiment of this invention. 本発明の実施形態にかかる撮像素子の受光面の一部を模式的に表した図である。It is the figure which represented typically a part of light-receiving surface of the image pick-up element concerning embodiment of this invention. 本発明の実施形態にかかる内視鏡システムの動作フローを示すフローチャートである。It is a flowchart which shows the operation | movement flow of the endoscope system concerning embodiment of this invention. 本発明の実施形態にかかる撮像素子の受光面の一部を模式的に表した図である。It is the figure which represented typically a part of light-receiving surface of the image pick-up element concerning embodiment of this invention.

以下、本発明の実施形態にかかる内視鏡システムについて説明する。   Hereinafter, an endoscope system according to an embodiment of the present invention will be described.

図1は、本実施形態の内視鏡システム1の構成を示すブロック図である。図1に示されるように、内視鏡システム1は、医療用の撮像システムであり、電子スコープ100、内視鏡プロセッサ200およびモニタ300を有している。   FIG. 1 is a block diagram showing a configuration of an endoscope system 1 of the present embodiment. As shown in FIG. 1, the endoscope system 1 is a medical imaging system, and includes an electronic scope 100, an endoscope processor 200, and a monitor 300.

電子スコープ100は、対物光学系101、撮像素子102、撮像素子ドライバ103、AFE(Analog Front End)104、照明光学系105およびライトガイド106を備えている。対物光学系101、撮像素子102および照明光学系105は、電子スコープ100の先端部100a内に設けられている。   The electronic scope 100 includes an objective optical system 101, an image sensor 102, an image sensor driver 103, an AFE (Analog Front End) 104, an illumination optical system 105, and a light guide 106. The objective optical system 101, the image sensor 102, and the illumination optical system 105 are provided in the distal end portion 100 a of the electronic scope 100.

内視鏡プロセッサ200は、内視鏡用の画像処理装置が組み込まれており、システムコントローラ201、タイミングコントローラ202、光源203、光源ドライバ204、画像処理ユニット205、画像メモリ206、映像信号生成回路207およびフロントパネル208を備えている。画像処理ユニット205は、デモザイク処理回路205A、色調整回路205Bおよびノイズ除去回路205Cを含んでいる。内視鏡プロセッサ200は、特定の色成分が支配的となる被写体(例えば赤色が支配的な人の体腔内)を撮影するのに好適に構成されている。   The endoscope processor 200 incorporates an endoscope image processing apparatus, and includes a system controller 201, a timing controller 202, a light source 203, a light source driver 204, an image processing unit 205, an image memory 206, and a video signal generation circuit 207. And a front panel 208. The image processing unit 205 includes a demosaic processing circuit 205A, a color adjustment circuit 205B, and a noise removal circuit 205C. The endoscope processor 200 is preferably configured to photograph a subject in which a specific color component is dominant (for example, a body cavity of a person in which red is dominant).

システムコントローラ201は、内視鏡システム1を構成する各要素を制御する。タイミングコントローラ202は、信号の処理タイミングを調整するクロックパルスを内視鏡システム1内の各回路に送信する。   The system controller 201 controls each element constituting the endoscope system 1. The timing controller 202 transmits a clock pulse for adjusting a signal processing timing to each circuit in the endoscope system 1.

光源203は、光源ドライバ204によって駆動制御され、白色光を放射する。光源203には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが用いられる。光源203から放射された照明光はライトガイド106に入射され、電子スコープ100の先端部100aに向けてライトガイド106内を導波される。   The light source 203 is driven and controlled by the light source driver 204 to emit white light. As the light source 203, a high-intensity lamp such as a xenon lamp, a halogen lamp, a mercury lamp, or a metal halide lamp is used. The illumination light emitted from the light source 203 is incident on the light guide 106 and guided in the light guide 106 toward the distal end portion 100 a of the electronic scope 100.

ライトガイド106内を導波された照明光は、先端部100a内に配置されたライトガイド106の端面より射出される。ライトガイド106の端面より射出された照明光は、照明光学系105を介して先端部100aから射出され、被写体を照明する。被写体で反射された照明光(反射光)は、対物光学系101を介して撮像素子102に入射され、撮像素子102が備える各画素の受光面上で被写体像を結ぶ。   The illumination light guided in the light guide 106 is emitted from the end face of the light guide 106 disposed in the distal end portion 100a. Illumination light emitted from the end face of the light guide 106 is emitted from the distal end portion 100a via the illumination optical system 105 and illuminates the subject. Illumination light (reflected light) reflected by the subject enters the image sensor 102 via the objective optical system 101 and forms a subject image on the light receiving surface of each pixel included in the image sensor 102.

撮像素子102は、それぞれ赤(R)、緑(G)、青(B)のカラーフィルタを有する、R、G、Bの画素を備えている。各画素は、結像した被写体像を光量に応じた電荷として蓄積して、R、G、Bの各色に対応した画素信号(R画素信号、G画素信号、B画素信号)に変換する。変換された各画素信号は、AFE104によって信号増幅処理やA/D変換処理が施されて、内視鏡プロセッサ200の画像処理ユニット205に送信される。撮像素子102には、例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられる。   The image sensor 102 includes R, G, and B pixels having red (R), green (G), and blue (B) color filters, respectively. Each pixel accumulates the formed subject image as a charge corresponding to the amount of light, and converts it into pixel signals (R pixel signal, G pixel signal, B pixel signal) corresponding to each color of R, G, B. Each converted pixel signal is subjected to signal amplification processing and A / D conversion processing by the AFE 104 and transmitted to the image processing unit 205 of the endoscope processor 200. For example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor is used as the image sensor 102.

画像処理ユニット205で受信されたR、G、Bの画素信号は画像メモリ206に記憶される。画像処理ユニット205は、画像メモリ206内のワークスペース上で、各画素信号に対して画像処理を施す。画像処理には、デモザイク処理回路205Aによるデモザイク処理、色調整回路205Bによる色調整処理およびノイズ除去回路205Cによるノイズ除去処理が含まれる。   The R, G, and B pixel signals received by the image processing unit 205 are stored in the image memory 206. The image processing unit 205 performs image processing on each pixel signal on the work space in the image memory 206. The image processing includes demosaic processing by the demosaic processing circuit 205A, color adjustment processing by the color adjustment circuit 205B, and noise removal processing by the noise removal circuit 205C.

デモザイク処理回路205Aは、各画素信号に対してデモザイク処理を施す。デモザイク処理回路205Aに入力される各画素の画素信号は、R、G、Bのうち、いずれか一つの色の情報しか有していない。デモザイク処理では、各画素の画素信号にR、G、Bの全ての色の情報を持たせる処理が行われる。   The demosaic processing circuit 205A performs demosaic processing on each pixel signal. The pixel signal of each pixel input to the demosaic processing circuit 205A has only one color information among R, G, and B. In the demosaic process, a process of giving information on all the colors R, G, and B to the pixel signal of each pixel is performed.

デモザイク処理について、図2を用いて説明する。図2は、撮像素子102の受光面の一部を模式的に表したものである。図2中、「R」、「G」、「B」はそれぞれ、R、G、Bの画素を示す。画素G1に対するデモザイク処理では、画素G1の周囲に配置されたRの画素(例えば、画素R1、画素R2)から出力される画素信号を用いた補間処理が行われる。また、画素G1の周囲に配置されたBの画素(例えば、画素B1、画素B2)から出力される画素信号を用いた補間処理が行われる。この補間処理によって求められたRの画素信号およびBの画素信号が画素G1の画素信号に加えられることにより、画素Gの画素信号にR、G、Bの全ての色の情報を持たせられる。これと同様に、全ての画素について、その周囲の画素の画素信号を用いた補間処理を行うことにより、全ての画素にR、G、Bの全ての色の情報を持たせられる。デモザイク処理が施された画素信号は、色調整回路205Bに送信される。   The demosaic process will be described with reference to FIG. FIG. 2 schematically shows a part of the light receiving surface of the image sensor 102. In FIG. 2, “R”, “G”, and “B” indicate R, G, and B pixels, respectively. In the demosaic process for the pixel G1, an interpolation process using pixel signals output from R pixels (for example, the pixel R1 and the pixel R2) arranged around the pixel G1 is performed. In addition, interpolation processing is performed using pixel signals output from B pixels (for example, pixel B1 and pixel B2) arranged around the pixel G1. By adding the R pixel signal and the B pixel signal obtained by this interpolation processing to the pixel signal of the pixel G1, the pixel signal of the pixel G can have information on all the colors of R, G, and B. Similarly, by performing interpolation processing using the pixel signals of surrounding pixels for all pixels, all the pixels can be provided with information on all colors of R, G, and B. The pixel signal that has been demosaiced is transmitted to the color adjustment circuit 205B.

色調整回路205Bは、デモザイク処理回路205Aから送信された画素信号に対し色調整処理を施す。色調整処理には、例えば、周知のマトリクス演算処理、ホワイトバランス調整処理、ガンマ補正処理などが含まれる。色調整処理が施された画素信号は、ノイズ除去回路205Cに送信される。ノイズ除去回路205Cは、色調整回路205Bから受信した画素信号に対して後述するノイズ除去処理(SN比改善処理)を施す。ノイズ除去処理が施された画素信号は、映像信号生成回路207に送信される。   The color adjustment circuit 205B performs color adjustment processing on the pixel signal transmitted from the demosaic processing circuit 205A. The color adjustment processing includes, for example, known matrix calculation processing, white balance adjustment processing, gamma correction processing, and the like. The pixel signal subjected to the color adjustment processing is transmitted to the noise removal circuit 205C. The noise removal circuit 205C performs a later-described noise removal process (SN ratio improvement process) on the pixel signal received from the color adjustment circuit 205B. The pixel signal that has been subjected to noise removal processing is transmitted to the video signal generation circuit 207.

映像信号生成回路207は、画像処理ユニット205(ノイズ除去回路205C)から受信した画素信号を所定の形式(例えば、NTSC形式)の映像信号に変換し、モニタ300に送信する。モニタ300は、映像信号生成回路207から受信した映像信号に基づいて観察画像を表示する。   The video signal generation circuit 207 converts the pixel signal received from the image processing unit 205 (noise removal circuit 205C) into a video signal of a predetermined format (for example, NTSC format), and transmits the video signal to the monitor 300. The monitor 300 displays an observation image based on the video signal received from the video signal generation circuit 207.

次に、ノイズ除去回路205Cによるノイズ除去処理について詳細に説明する。ノイズ除去処理では、各画素の画素信号に対して空間フィルタ処理が施される。図3は、撮像素子102の受光面の一部を模式的に表したものであり、空間フィルタ処理の一例を説明するための図である。図3において、太実線で囲われた注目画素P1の画素信号に対して空間フィルタ処理を施す場合について説明する。注目画素P1の画素信号に対する空間フィルタ処理では、注目画素P1およびその周辺画素の画素信号の加重平均値が計算される。図3に示される例では、注目画素P1を中心とする3×3の9個の周辺画素の画素信号の加重平均値が計算される。図3の各画素に記載されている数値は、加重平均値における重みを表している。注目画素P1の画素信号の重みが最も大きく、次いで注目画素P1と上下左右のいずれかで接する周辺画素の画素信号の重みが大きい。また、9個の画素のうち、4隅に配置される周辺画素の画素信号の重みが最も小さい。なお、数値が記載されていない画素の画素信号は、加重平均値の計算には使用されない。以下では、説明の便宜上、加重平均値が計算される画素の範囲と各画素の画素信号の重みとを合わせて「空間フィルタ」と記す。注目画素P1の画素信号に対して空間フィルタ処理が施されると、空間フィルタによって規定される画素の範囲および重みに基づいて加重平均値が計算され、注目画素P1の画素信号が加重平均値に置き換えられる。   Next, noise removal processing by the noise removal circuit 205C will be described in detail. In the noise removal process, a spatial filter process is performed on the pixel signal of each pixel. FIG. 3 schematically shows a part of the light receiving surface of the image sensor 102 and is a diagram for explaining an example of the spatial filter processing. In FIG. 3, the case where the spatial filter process is performed on the pixel signal of the target pixel P1 surrounded by the thick solid line will be described. In the spatial filter process for the pixel signal of the target pixel P1, a weighted average value of the pixel signals of the target pixel P1 and its surrounding pixels is calculated. In the example shown in FIG. 3, a weighted average value of pixel signals of 3 × 3 nine surrounding pixels centered on the target pixel P1 is calculated. The numerical value described in each pixel in FIG. 3 represents the weight in the weighted average value. The weight of the pixel signal of the target pixel P1 is the largest, and then the weight of the pixel signal of the peripheral pixels that are in contact with the target pixel P1 either vertically or horizontally is large. Moreover, the weight of the pixel signal of the peripheral pixel arrange | positioned at four corners among nine pixels is the smallest. In addition, the pixel signal of the pixel in which the numerical value is not described is not used for calculation of the weighted average value. Hereinafter, for convenience of explanation, the range of pixels for which the weighted average value is calculated and the weight of the pixel signal of each pixel are collectively referred to as a “spatial filter”. When the spatial filter process is performed on the pixel signal of the target pixel P1, a weighted average value is calculated based on the range and weight of the pixel defined by the spatial filter, and the pixel signal of the target pixel P1 is changed to the weighted average value. Replaced.

各画素の画素信号には、デモザイク処理回路205Aによるデモザイク処理により、3つの色成分(R成分、G成分、B成分)が含まれている。そのため、空間フィルタ処理は、各色成分に対してそれぞれ独立に実行される。また、空間フィルタ処理は、全ての画素の画素信号に対してそれぞれ独立に実行される。   The pixel signal of each pixel includes three color components (R component, G component, and B component) by demosaic processing by the demosaic processing circuit 205A. For this reason, the spatial filter processing is executed independently for each color component. Further, the spatial filter processing is executed independently for the pixel signals of all the pixels.

空間フィルタによって規定される画素の数および配置(以下、「サイズパラメータ」と記す。)と、画素信号の重み(以下、「強度パラメータ」と記す。)は、各注目画素の画素信号に基づいて決定される。図4に、空間フィルタのサイズパラメータおよび強度パラメータを決定するノイズ除去回路205Cの動作フローの一例をフローチャートで示す。   The number and arrangement of pixels defined by the spatial filter (hereinafter referred to as “size parameter”) and the weight of the pixel signal (hereinafter referred to as “intensity parameter”) are based on the pixel signal of each pixel of interest. It is determined. FIG. 4 is a flowchart showing an example of the operation flow of the noise removal circuit 205C that determines the size parameter and the intensity parameter of the spatial filter.

ノイズ除去回路205Cによるノイズ除去処理が開始されると(S101)、全ての画素の画素信号が色成分と輝度成分に分離される(S102)。   When noise removal processing by the noise removal circuit 205C is started (S101), the pixel signals of all the pixels are separated into color components and luminance components (S102).

処理ステップS103では、分離された複数の色成分のうちの一つ(ここでは、R成分とする)について、平均値(全画素の平均値)が計算される。全画素のR成分の平均値が計算されると、予め所定の記憶領域に記憶されている複数のサイズパラメータの中から、平均値に応じたサイズパラメータが選択される(S104)。本実施形態では、R成分の平均値が所定の第1の閾値よりも大きいか否かによって2つのサイズパラメータの中から1つのサイズパラメータが選択される。   In the processing step S103, an average value (average value of all pixels) is calculated for one of the separated color components (here, R component). When the average value of the R components of all the pixels is calculated, a size parameter corresponding to the average value is selected from a plurality of size parameters stored in advance in a predetermined storage area (S104). In the present embodiment, one size parameter is selected from the two size parameters depending on whether or not the average value of the R component is larger than a predetermined first threshold value.

サイズパラメータの選択について具体的に説明する。前提として、画素信号には、受光した光量に応じたレベルを有する信号成分と、信号成分に重畳されるノイズ成分とが含まれる。この種のノイズ成分には、例えば、撮像素子102に搭載されたアンプで生じるランダムノイズや暗電流に起因するショットノイズなどが含まれる。R成分の平均値が所定の第1の閾値よりも大きい場合、ノイズ成分に対してR成分のレベルが相対的に高くなりやすいことから、R成分のSN比は高いものと推定される。一方、R成分の平均値が所定の第1の閾値以下の場合、R成分に対するノイズ成分の割合が(前者よりも)高くなりやすいことから、R成分のSN比は(前者の場合と比べて)低いものと推定される。   The selection of the size parameter will be specifically described. As a premise, the pixel signal includes a signal component having a level corresponding to the received light amount and a noise component superimposed on the signal component. This type of noise component includes, for example, random noise generated by an amplifier mounted on the image sensor 102, shot noise caused by dark current, and the like. When the average value of the R component is larger than the predetermined first threshold value, the level of the R component is likely to be relatively high with respect to the noise component, so that the SN ratio of the R component is estimated to be high. On the other hand, when the average value of the R component is equal to or less than the predetermined first threshold, the ratio of the noise component to the R component is likely to be higher (than the former), and therefore the SN ratio of the R component (compared to the former case) ) Estimated low.

また、空間フィルタ処理では、サイズパラメータが大きいほど、加重平均値が取られる画素の数が増えるためSN比の改善効果は高くなる。しかし、サイズパラメータが大きいほど、空間フィルタ処理が施された画素信号に基づく被写体像のエッジが不鮮明となる。   Also, in the spatial filter processing, the larger the size parameter, the higher the effect of improving the SN ratio because the number of pixels from which the weighted average value is taken increases. However, as the size parameter increases, the edge of the subject image based on the pixel signal subjected to the spatial filter processing becomes blurred.

そこで、処理ステップS104では、R成分の平均値が所定の第1の閾値よりも大きい場合、小さいサイズパラメータが選択される。すなわち、SN比が高いと推定される画素に対しては、被写体像のエッジの低下を抑えるのに適したサイズパラメータが選択される。R成分の平均値が所定の第1の閾値以下の場合は、大きいサイズパラメータが選択される。すなわち、SN比が低いと推定される画素に対しては、SN比の改善効果の高いサイズパラメータが選択される。   Therefore, in processing step S104, when the average value of the R components is larger than the predetermined first threshold, a small size parameter is selected. That is, for a pixel that is estimated to have a high S / N ratio, a size parameter suitable for suppressing a reduction in the edge of the subject image is selected. When the average value of the R component is equal to or smaller than the predetermined first threshold, a large size parameter is selected. That is, a size parameter with a high effect of improving the S / N ratio is selected for a pixel estimated to have a low S / N ratio.

小さいサイズパラメータが選択された場合、例えば、注目画素を中心とした3×3の9個の画素の画素信号に基づいて注目画素の画素信号に対する空間フィルタ処理が施される。また、大きいサイズパラメータが選択された場合、例えば、注目画素を中心とした5×5の25個の画素の画素信号に基づいて注目画素の画素信号に対する空間フィルタ処理が施される。   When a small size parameter is selected, for example, spatial filter processing is performed on the pixel signal of the target pixel based on the pixel signals of nine pixels of 3 × 3 centering on the target pixel. When a large size parameter is selected, for example, a spatial filter process is performed on the pixel signal of the target pixel based on the pixel signals of 25 pixels of 5 × 5 centered on the target pixel.

処理ステップS104において、各画素のR成分に対する空間フィルタのサイズパラメータが選択されると、全ての色成分に対して空間フィルタのサイズパラメータが選択されたか否かが判定される(S105)。サイズパラメータが選択されていない色成分が残っている場合(S105:NO)は、処理ステップS103に戻る。ここでは、R成分に次いで、残りの色成分(B成分、G成分)について、順次、処理ステップS103およびS104が実行される。   When the size parameter of the spatial filter for the R component of each pixel is selected in processing step S104, it is determined whether or not the size parameter of the spatial filter is selected for all color components (S105). If there remains a color component for which no size parameter has been selected (S105: NO), the process returns to step S103. Here, after the R component, the processing steps S103 and S104 are sequentially executed for the remaining color components (B component and G component).

このように、本実施形態の内視鏡システム1では、各注目画素の空間フィルタ処理のサイズパラメータは、画素毎ではなく、全画素の色成分の平均値に基づいて決定される。ここで、内視鏡システム1の主な観察対象は人の管腔内である。人の管腔内の色は、血液の色である赤が支配的であるため、いずれの注目画素においても、画素信号はR成分の割合が比較的大きくなる。また、当然のことながら、全画素のR成分の平均値も他の色成分よりも比較的大きくなる。そのため、各画素の空間フィルタ処理のサイズパラメータが全画素の平均値に基づいて決定されたとしても、色成分ごとに適したサイズパラメータが選択される。このように、全画素の色成分の平均値に基づいてサイズパラメータを決定することにより、サイズパラメータを決定するための計算負荷を小さくすることができる。   As described above, in the endoscope system 1 of the present embodiment, the size parameter of the spatial filter processing of each target pixel is determined based on the average value of the color components of all the pixels, not for each pixel. Here, the main observation target of the endoscope system 1 is in a human lumen. Since the color of the human lumen is predominantly red, which is the color of blood, the pixel signal has a relatively large proportion of the R component in any pixel of interest. As a matter of course, the average value of the R components of all the pixels is also relatively larger than the other color components. Therefore, even if the size parameter of the spatial filter processing of each pixel is determined based on the average value of all the pixels, a size parameter suitable for each color component is selected. Thus, by determining the size parameter based on the average value of the color components of all pixels, the calculation load for determining the size parameter can be reduced.

全ての色成分に対して空間フィルタのサイズパラメータが選択されると(S105:YES)、本フローチャートの処理は、処理ステップS106に進む。処理ステップS106では、複数の画素の内の一つの画素について、画素信号の輝度成分と複数の色成分のうちの一つ(ここでは、R成分とする)との差(以下、「R成分差」と記す。)が計算される。R成分差が計算されると、予め所定の記憶領域に記憶されている複数の強度パラメータの中から、計算されたR成分差に応じた強度パラメータが選択される(S107)。本実施形態では、R成分差が所定の第2の閾値よりも大きいか否かによって2つの強度パラメータの中から1つの強度パラメータが選択される。なお、選択候補となる2つの強度パラメータは、処理ステップS104で選択されたサイズパラメータに応じて適宜変更される。   If the size parameter of the spatial filter is selected for all color components (S105: YES), the process of this flowchart proceeds to process step S106. In the processing step S106, for one pixel among the plurality of pixels, the difference between the luminance component of the pixel signal and one of the plurality of color components (here, R component) (hereinafter referred to as “R component difference”). ").) Is calculated. When the R component difference is calculated, an intensity parameter corresponding to the calculated R component difference is selected from a plurality of intensity parameters stored in advance in a predetermined storage area (S107). In the present embodiment, one intensity parameter is selected from two intensity parameters depending on whether or not the R component difference is larger than a predetermined second threshold. Note that the two intensity parameters that are selection candidates are appropriately changed according to the size parameter selected in processing step S104.

強度パラメータは、サイズパラメータによって定義される画素群(注目画素およびその周辺画素)の各画素信号の重みを示すものである。強度パラメータが小さいほど注目画素の画素信号の重みが大きくなると共に注目画素に近い周辺画素ほど重みが大きくなる。一方、強度パラメータが大きいほど注目画素の画素信号の重みが小さくなり且つ注目画素から遠い周辺画素の重みが大きくなる。これにより、各画素の画素信号間の重みの差が小さくなる。空間フィルタ処理では、強度パラメータが大きいほど周辺画素による補間効果が高くなるため、SN比の改善効果が高い。しかし、強度パラメータが大きいほど、空間フィルタ処理が施された画素信号に基づく被写体像のエッジが不鮮明となる。   The intensity parameter indicates the weight of each pixel signal of the pixel group (target pixel and its surrounding pixels) defined by the size parameter. The smaller the intensity parameter, the greater the weight of the pixel signal of the pixel of interest, and the greater the weight of the peripheral pixels closer to the pixel of interest. On the other hand, as the intensity parameter increases, the weight of the pixel signal of the target pixel decreases and the weight of the surrounding pixels far from the target pixel increases. Thereby, the difference in weight between the pixel signals of each pixel is reduced. In the spatial filter processing, the larger the intensity parameter, the higher the interpolation effect by surrounding pixels, and the higher the S / N ratio improvement effect. However, as the intensity parameter is larger, the edge of the subject image based on the pixel signal subjected to the spatial filter processing becomes blurred.

ここで、輝度成分は、各色成分を所定の割合で足し合わせたものである。そのため、R成分差が大きい場合、画素信号におけるR成分の割合が低い。そこで、処理ステップS107では、R成分差が所定の第2の閾値よりも大きい場合、大きい強度パラメータが選択される。すなわち、画素信号内の割合が低いR成分に対しては、SN比の改善効果の高い強度パラメータが選択される。このとき、R成分の割合が低いことから、R成分に基づく被写体像のエッジが不鮮明となっても、R、G、Bの全ての画素信号に基づく被写体像のエッジの鮮明さに与える影響は小さい。   Here, the luminance component is obtained by adding each color component at a predetermined ratio. Therefore, when the R component difference is large, the ratio of the R component in the pixel signal is low. Therefore, in the processing step S107, when the R component difference is larger than the predetermined second threshold, a large intensity parameter is selected. That is, for the R component having a low ratio in the pixel signal, an intensity parameter having a high effect of improving the SN ratio is selected. At this time, since the ratio of the R component is low, even if the edge of the subject image based on the R component is unclear, the influence on the sharpness of the edge of the subject image based on all the R, G, and B pixel signals is not affected. small.

一方、R成分差が小さい場合、画素信号におけるR成分の割合が高い。そこで、処理ステップS107では、R成分差が所定の第2の閾値以下の場合、小さい強度パラメータが選択される。すなわち、画素信号内の割合が高いR成分に対しては、被写体像のエッジの鮮明さの低下を抑えるのに適した強度パラメータが選択される。   On the other hand, when the R component difference is small, the ratio of the R component in the pixel signal is high. Therefore, in the processing step S107, when the R component difference is equal to or smaller than the predetermined second threshold, a small intensity parameter is selected. That is, for the R component having a high ratio in the pixel signal, an intensity parameter suitable for suppressing a reduction in the sharpness of the edge of the subject image is selected.

図5(a)〜図5(d)は、空間フィルタの具体例を説明するための図である。図5(a)〜図5(d)には、太実線で囲われた注目画素P2に対する空間フィルタが示されている。図5(a)には、サイズパラメータが小さく、強度パラメータが小さい場合の空間フィルタが示されている。図5(b)には、サイズパラメータが小さく、強度パラメータが大きい場合の空間フィルタが示されている。図5(c)には、サイズパラメータが大きく、強度パラメータが小さい場合の空間フィルタが示されている。図5(d)には、サイズパラメータが大きく、強度パラメータが大きい場合の空間フィルタが示されている。   Fig.5 (a)-FIG.5 (d) are the figures for demonstrating the specific example of a spatial filter. 5A to 5D show a spatial filter for the target pixel P2 surrounded by a thick solid line. FIG. 5A shows a spatial filter when the size parameter is small and the intensity parameter is small. FIG. 5B shows a spatial filter when the size parameter is small and the intensity parameter is large. FIG. 5C shows a spatial filter when the size parameter is large and the intensity parameter is small. FIG. 5D shows a spatial filter when the size parameter is large and the intensity parameter is large.

図5(a)〜図5(d)に示されるように、サイズパラメータが大きいほど、画素信号の加重平均値が計算される画素の数が増加する。また、強度パラメータが大きいほど、注目画素P2の画素信号の重みが小さくなり、その周辺画素の画素信号の重みが相対的に大きくなる。また、サイズパラメータが大きくなるほど又は強度パラメータが大きくなるほど、周辺画素による補間効果が高くなるため、SN比が改善される。なお、図5(a)〜図5(d)に示される各画素の画素信号の重みは一例であってこれに限定されない。例えば、各画素の画素信号の重みは周知のガウシアンフィルタを用いて決定されてもよい。   As shown in FIGS. 5A to 5D, the larger the size parameter, the greater the number of pixels for which the weighted average value of the pixel signal is calculated. Further, as the intensity parameter is larger, the weight of the pixel signal of the target pixel P2 is smaller, and the weight of the pixel signal of the surrounding pixels is relatively larger. In addition, the larger the size parameter or the larger the intensity parameter, the higher the interpolation effect by surrounding pixels, so the SN ratio is improved. In addition, the weight of the pixel signal of each pixel shown by Fig.5 (a)-FIG.5 (d) is an example, and is not limited to this. For example, the weight of the pixel signal of each pixel may be determined using a known Gaussian filter.

処理ステップS107において、R成分に対する空間フィルタの強度パラメータが選択されると、全ての色成分に対して空間フィルタの強度パラメータが選択されたか否かが判定される(S108)。強度パラメータが選択されていない色成分が残っている場合(S108:NO)は、処理ステップS106に戻る。ここでは、R成分に次いで、残りの色成分(B成分、G成分)について、順次、処理ステップS106およびS107が実行される。全ての色成分に対して空間フィルタの強度パラメータが選択されると(S108:YES)、全ての画素について強度パラメータが選択されたか否かが判定される(S109)。   When the intensity parameter of the spatial filter for the R component is selected in process step S107, it is determined whether or not the intensity parameter of the spatial filter is selected for all color components (S108). When the color component for which the intensity parameter is not selected remains (S108: NO), the process returns to the processing step S106. Here, the processing steps S106 and S107 are sequentially executed for the remaining color components (B component and G component) after the R component. When the intensity parameter of the spatial filter is selected for all color components (S108: YES), it is determined whether or not the intensity parameter has been selected for all pixels (S109).

強度パラメータが選択されていない画素が残っている場合(S109:NO)は、処理ステップS106に戻り、次の画素に対して処理ステップS106およびS107が実行される。一方、全ての画素について強度パラメータが選択されると(S109:YES)、各画素のR成分、G成分、B成分に対して、選択された空間フィルタ(サイズパラメータおよび強度パラメータ)を用いた空間フィルタ処理が施される(S110)。空間フィルタ処理が施されると、ノイズ除去回路205Cによるノイズ除去処理(SN比改善処理)が終了する。   If there remains a pixel for which the intensity parameter is not selected (S109: NO), the process returns to the processing step S106, and the processing steps S106 and S107 are executed for the next pixel. On the other hand, when the intensity parameter is selected for all the pixels (S109: YES), a space using the selected spatial filter (size parameter and intensity parameter) for the R component, G component, and B component of each pixel. Filter processing is performed (S110). When the spatial filter processing is performed, the noise removal processing (SN ratio improvement processing) by the noise removal circuit 205C ends.

このように、本実施形態では、各画素に対する空間フィルタのサイズパラメータおよび強度パラメータは、その画素の画素信号および全画素の画素信号の平均値のみに基づいて決定(選択)される。   As described above, in the present embodiment, the size parameter and the intensity parameter of the spatial filter for each pixel are determined (selected) based only on the pixel signal of the pixel and the average value of the pixel signals of all the pixels.

本実施形態の内視鏡システム1を用いて人の管腔内を観察する場合、画素信号の各色成分のうち、R成分の平均値は所定の第1の閾値よりも大きくなりやすく、B成分およびG成分の平均値は所定の第1の閾値以下になりやすい。また、R成分差は所定の第2の閾値以下になりやすく、B成分差およびG成分差は所定の第2の閾値よりも大きくなりやすい。そのため、R成分に対しては小さなサイズパラメータおよび小さな強度パラメータが選択され、ノイズ除去処理による画素信号のR成分に基づく被写体像のエッジの鮮明さの低下が抑えられる。また、B成分およびG成分に対しては大きなサイズパラメータおよび大きな強度パラメータが選択され、ノイズ除去処理により画素信号のB成分およびG成分に基づく被写体像のSN比が改善される。これにより、ノイズ除去処理が施された画素信号は、支配的な色(体腔内の場合は赤色)のエッジの鮮明さが維持されると共に、SN比が改善される。   When observing the inside of a human lumen using the endoscope system 1 of the present embodiment, the average value of the R component among the color components of the pixel signal is likely to be larger than the predetermined first threshold, and the B component. And the average value of the G component tends to be equal to or lower than the predetermined first threshold value. In addition, the R component difference tends to be less than or equal to the predetermined second threshold, and the B component difference and the G component difference tend to be larger than the predetermined second threshold. Therefore, a small size parameter and a small intensity parameter are selected for the R component, and a reduction in the sharpness of the edge of the subject image based on the R component of the pixel signal due to the noise removal processing is suppressed. Also, a large size parameter and a large intensity parameter are selected for the B component and the G component, and the SN ratio of the subject image based on the B component and the G component of the pixel signal is improved by the noise removal process. As a result, the pixel signal that has been subjected to the noise removal process maintains the sharpness of the edge of the dominant color (red in the case of the body cavity) and the SN ratio is improved.

また、全画素の平均値の計算は、計算方法が簡素であるため計算負荷が小さい。また、本実施形態では、従来技術のように、計算負荷が比較的大きい画素信号の骨格成分と残差成分への成分分離処理や各画素と周辺画素との相関処理を行っていない。そのため、本実施形態によれば、画素信号に対して少ないハードウェアリソースでノイズ低減処理を実行することができる。   In addition, the calculation of the average value of all pixels has a small calculation load because the calculation method is simple. Further, in the present embodiment, unlike the conventional technique, the component separation process into the skeleton component and the residual component of the pixel signal having a relatively large calculation load and the correlation process between each pixel and the peripheral pixel are not performed. Therefore, according to the present embodiment, it is possible to perform noise reduction processing with few hardware resources on the pixel signal.

以上が本発明の実施形態の説明である。本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲において様々な変形が可能である。   The above is the description of the embodiment of the present invention. The present invention is not limited to the above-described configuration, and various modifications can be made within the scope of the technical idea of the present invention.

例えば、本実施形態では、サイズパラメータ、強度パラメータはそれぞれ、図5(a)〜図5(b)に示されるように、2つのパターンのいずれかから選択されるが、本発明はこれに限定されない。サイズパラメータ、強度パラメータはそれぞれ、3パターン以上の中から選択されてもよい。   For example, in this embodiment, each of the size parameter and the intensity parameter is selected from one of two patterns as shown in FIGS. 5A to 5B, but the present invention is not limited to this. Not. Each of the size parameter and the intensity parameter may be selected from three or more patterns.

また、本実施形態では、サイズパラメータは画素信号の平均値に基づいて選択され、強度パラメータは画素信号の輝度成分と色成分との差に基づいて選択されるが、本発明はこれに限定されない。サイズパラメータは画素信号の輝度成分と色成分との差に基づいて選択されてもよい。また、強度パラメータは画素信号の平均値に基づいて選択されてもよい。また、サイズパラメータは一定で、強度パラメータのみが複数の強度パラメータの中から選択されてもよい。また、強度パラメータは一定で、サイズパラメータのみが複数のサイズパラメータの中から選択されてもよい。   In this embodiment, the size parameter is selected based on the average value of the pixel signal, and the intensity parameter is selected based on the difference between the luminance component and the color component of the pixel signal. However, the present invention is not limited to this. . The size parameter may be selected based on the difference between the luminance component and the color component of the pixel signal. The intensity parameter may be selected based on the average value of the pixel signals. Further, the size parameter may be constant, and only the intensity parameter may be selected from a plurality of intensity parameters. Further, the intensity parameter may be constant and only the size parameter may be selected from a plurality of size parameters.

また、本実施形態では、サイズパラメータおよび強度パラメータは、予め記憶されているが、本発明はこれに限定されない。サイズパラメータは画素信号の平均値を用いた計算によって算出されてもよい。また、強度パラメータは画素信号の輝度成分と色成分との差を用いた計算によって算出されてもよい。   In the present embodiment, the size parameter and the intensity parameter are stored in advance, but the present invention is not limited to this. The size parameter may be calculated by calculation using an average value of pixel signals. The intensity parameter may be calculated by calculation using a difference between the luminance component and the color component of the pixel signal.

また、図4に示されるフローチャートの処理ステップS102では、画素信号は、色成分と輝度成分に分離されるが、本発明はこれに限定されない。例えば、画素信号は、色成分と輝度成分に分離される代わりに、色差成分と輝度成分に分離されてもよい。内視鏡プロセッサ200とモニタ300との間の信号伝送方式によっては、映像信号は色差信号と輝度成分を含む場合がある。この場合、画像処理ユニット205は、ノイズ除去回路205Cでノイズ除去処理が行われる前に、R、G、Bの画素信号を所定の色空間(例えば、YUV色空間、YCbCr色空間など)に従って色差信号と輝度信号とに分離する。空間フィルタのサイズパラメータや強度パラメータは、この色差成分と輝度成分を用いて決定されてもよい。   Further, in the processing step S102 of the flowchart shown in FIG. 4, the pixel signal is separated into a color component and a luminance component, but the present invention is not limited to this. For example, the pixel signal may be separated into a color difference component and a luminance component instead of being separated into a color component and a luminance component. Depending on the signal transmission method between the endoscope processor 200 and the monitor 300, the video signal may include a color difference signal and a luminance component. In this case, the image processing unit 205 uses the color difference in accordance with a predetermined color space (for example, YUV color space, YCbCr color space) before the noise removal processing by the noise removal circuit 205C. The signal and the luminance signal are separated. The size parameter and the intensity parameter of the spatial filter may be determined using the color difference component and the luminance component.

また、撮像素子102は、それぞれ赤(R)、緑(G)、青(B)のカラーフィルタを有する、R、G、Bの画素を備えているが、本発明はこれに限定されない。例えば、撮像素子102は、それぞれ緑(G)、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)のカラーフィルタを有する、G、Cy、Mg、Yeの画素を備えていてもよい。この場合、各画素信号に対してデモザイク処理が施された後、色変換処理が施されてR、G、Bの色の情報を有する画素信号が生成される。   The image sensor 102 includes R, G, and B pixels each having red (R), green (G), and blue (B) color filters, but the present invention is not limited to this. For example, the image sensor 102 may include G, Cy, Mg, and Ye pixels having green (G), cyan (Cy), magenta (Mg), and yellow (Ye) color filters, respectively. In this case, after demosaic processing is performed on each pixel signal, color conversion processing is performed to generate a pixel signal having R, G, and B color information.

1 内視鏡システム
100 電子スコープ
101 対物光学系
102 撮像素子
103 撮像素子ドライバ
104 AFE(Analog Front End)
105 照明光学系
106 ライトガイド
200 内視鏡プロセッサ
201 システムコントローラ
202 タイミングコントローラ
203 光源
204 光源ドライバ
205 画像処理ユニット
205A デモザイク処理回路
205B 色調整回路
205C ノイズ除去回路
206 画像メモリ
207 映像信号生成回路
208 フロントパネル
300 モニタ
DESCRIPTION OF SYMBOLS 1 Endoscope system 100 Electronic scope 101 Objective optical system 102 Image sensor 103 Image sensor driver 104 AFE (Analog Front End)
105 Illumination optical system 106 Light guide 200 Endoscope processor 201 System controller 202 Timing controller 203 Light source 204 Light source driver 205 Image processing unit 205A Demosaic processing circuit 205B Color adjustment circuit 205C Noise removal circuit 206 Image memory 207 Video signal generation circuit 208 Front panel 300 monitors

Claims (8)

所定の撮像素子により撮像された被写体の各画素の画素信号を処理する内視鏡プロセッサであって
前記撮像素子内の注目画素の画素信号を輝度成分と色情報成分とに分離する成分分離手段と、
前記分離された輝度成分および色情報成分の少なくとも一方に基づいて前記注目画素に関する所定の空間フィルタのパラメータを決定するパラメータ決定手段と、
前記決定された所定の空間フィルタのパラメータに基づいて前記注目画素に対して所定の空間フィルタ処理を施すことにより、該注目画素のノイズを低減するノイズ低減手段と、を備え
前記ノイズ低減手段は、
前記パラメータ決定手段により前記決定された所定の空間フィルタのパラメータに基づいて、前記注目画素と該注目画素の周辺の周辺画素について、色情報成分ごとに画素信号の加重平均を取ることにより、該注目画素の画素信号に対して空間フィルタ処理を施す、
内視鏡プロセッサ
An endoscope processor that processes a pixel signal of each pixel of a subject imaged by a predetermined imaging device,
Component separating means for separating a pixel signal of a target pixel in the image sensor into a luminance component and a color information component ;
Parameter determining means for determining a parameter of a predetermined spatial filter related to the target pixel based on at least one of the separated luminance component and color information component ;
By performing a predetermined spatial filtering on the pixel of interest based on a parameter of a predetermined spatial filter the determined comprises a noise reduction means for reducing the noise of the target pixel, and
The noise reduction means includes
Based on the parameter of the predetermined spatial filter determined by the parameter determining means, the weighted average of pixel signals is calculated for each color information component for the target pixel and peripheral pixels around the target pixel. Apply spatial filtering to the pixel signal of the pixel
Endoscopic processor .
前記所定の空間フィルタのパラメータは、
前記画素信号の加重平均が取られる前記周辺画素の数および該周辺画素の前記注目画素に対する位置を示すサイズパラメータと、
前記加重平均が取られる各画素信号の重みを示す強度パラメータと、を含む、
請求項に記載の内視鏡プロセッサ
The parameter of the predetermined spatial filter is:
A size parameter indicating the number of the surrounding pixels from which the weighted average of the pixel signals is taken and the position of the surrounding pixels relative to the pixel of interest;
An intensity parameter indicating the weight of each pixel signal for which the weighted average is taken;
The endoscope processor according to claim 1 .
前記パラメータ決定手段は、
色情報成分ごとに、全ての画素信号の平均値を計算し、計算された平均値に基づいて前記所定の空間フィルタのパラメータを決定する、
請求項1又は請求項2に記載の内視鏡プロセッサ
The parameter determination means includes
For each color information component , calculate an average value of all the pixel signals, and determine a parameter of the predetermined spatial filter based on the calculated average value.
The endoscope processor according to claim 1 or 2 .
前記パラメータ決定手段は、
各画素について、輝度成分と色情報成分との差を計算し、計算された差に基づいて前記所定の空間フィルタのパラメータを決定する、
請求項1から請求項のいずれか一項に記載の内視鏡プロセッサ
The parameter determination means includes
For each pixel, calculate the difference between the luminance component and the color information component, and determine the parameters of the predetermined spatial filter based on the calculated difference.
The endoscope processor according to any one of claims 1 to 3 .
前記パラメータ決定手段は、
色情報成分ごとに、全ての画素信号の平均値を計算し、計算された平均値のみに基づいて前記サイズパラメータと前記強度パラメータのうちの一方を決定する、
請求項に記載の内視鏡プロセッサ
The parameter determination means includes
For each color information component , calculate an average value of all the pixel signals, and determine one of the size parameter and the intensity parameter based only on the calculated average value.
The endoscope processor according to claim 2 .
前記パラメータ決定手段は、
各画素について、輝度成分と色情報成分との差を計算し、計算された差のみに基づいて前記サイズパラメータと前記強度パラメータのうちの他方を決定する、
請求項に記載の内視鏡プロセッサ
The parameter determination means includes
For each pixel, calculate the difference between the luminance component and the color information component, and determine the other of the size parameter and the intensity parameter based only on the calculated difference.
The endoscope processor according to claim 5 .
所定の撮像素子により撮像された被写体の各画素の画素信号を処理する内視鏡プロセッサであって、  An endoscope processor that processes a pixel signal of each pixel of a subject imaged by a predetermined imaging device,
前記撮像素子内の注目画素の画素信号を輝度成分と色情報成分とに分離する成分分離手段と、  Component separating means for separating a pixel signal of a target pixel in the image sensor into a luminance component and a color information component;
前記分離された輝度成分および色情報成分に基づいて、前記注目画素に関する所定の空間フィルタのパラメータを決定するパラメータ決定手段と、  Parameter determining means for determining a parameter of a predetermined spatial filter related to the pixel of interest based on the separated luminance component and color information component;
前記決定された所定の空間フィルタのパラメータに基づいて前記注目画素に対して所定の空間フィルタ処理を施すことにより、該注目画素のノイズを低減するノイズ低減手段と、  Noise reduction means for reducing noise of the target pixel by performing predetermined spatial filter processing on the target pixel based on the determined parameter of the predetermined spatial filter;
を備える、Comprising
内視鏡プロセッサ。Endoscopic processor.
請求項1から請求項7のいずれか一項に記載の内視鏡プロセッサと、
前記所定の撮像素子を有する電子スコープと、を備える、
内視鏡システム。
The endoscope processor according to any one of claims 1 to 7,
An electronic scope having the predetermined imaging device,
Endoscope system.
JP2014081140A 2014-04-10 2014-04-10 Endoscope processor and endoscope system Active JP6272115B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014081140A JP6272115B2 (en) 2014-04-10 2014-04-10 Endoscope processor and endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014081140A JP6272115B2 (en) 2014-04-10 2014-04-10 Endoscope processor and endoscope system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017252833A Division JP6491736B2 (en) 2017-12-28 2017-12-28 Endoscope processor and endoscope system

Publications (2)

Publication Number Publication Date
JP2015198875A JP2015198875A (en) 2015-11-12
JP6272115B2 true JP6272115B2 (en) 2018-01-31

Family

ID=54550753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014081140A Active JP6272115B2 (en) 2014-04-10 2014-04-10 Endoscope processor and endoscope system

Country Status (1)

Country Link
JP (1) JP6272115B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018089387A (en) * 2017-12-28 2018-06-14 Hoya株式会社 Endoscope processor and endoscope system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240941B (en) * 2022-02-25 2022-05-31 浙江华诺康科技有限公司 Endoscope image noise reduction method, device, electronic apparatus, and storage medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3002937B2 (en) * 1993-09-13 2000-01-24 富士写真フイルム株式会社 Energy subtraction image processing method
JP2000209605A (en) * 1999-01-18 2000-07-28 Olympus Optical Co Ltd Video signal processing unit
JP2004201207A (en) * 2002-12-20 2004-07-15 Nikon Corp Noise-reducing device, imaging device, and noise-reducing program
CA2602906A1 (en) * 2005-03-22 2006-09-28 Olympus Corporation Image processor and endoscope apparatus
JP4500207B2 (en) * 2005-05-13 2010-07-14 オリンパスメディカルシステムズ株式会社 Biological observation device
JP2007050110A (en) * 2005-08-18 2007-03-01 Pentax Corp Image processor and electronic endoscope system
CN102934422B (en) * 2010-06-07 2015-05-27 奥林巴斯医疗株式会社 Signal processing device and still image generation method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018089387A (en) * 2017-12-28 2018-06-14 Hoya株式会社 Endoscope processor and endoscope system

Also Published As

Publication number Publication date
JP2015198875A (en) 2015-11-12

Similar Documents

Publication Publication Date Title
US10709310B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP5968944B2 (en) Endoscope system, processor device, light source device, operation method of endoscope system, operation method of processor device, operation method of light source device
JP4895834B2 (en) Image processing device
JP6367683B2 (en) Endoscope system, processor device, operation method of endoscope system, and operation method of processor device
JP2010136748A (en) Endoscope apparatus and control method thereof
JPWO2017183339A1 (en) Endoscope system, processor device, and operation method of endoscope system
JP2009284959A (en) Endoscope
JP6272115B2 (en) Endoscope processor and endoscope system
JP2020005844A (en) Medical image processing apparatus and medical observation apparatus
US10702127B2 (en) Endoscope system and evaluation value calculation device
JP2009273691A (en) Apparatus and method of endoscope image processing
JP6491736B2 (en) Endoscope processor and endoscope system
JP4606838B2 (en) Electronic endoscope device
JP2009219719A (en) Endoscope system
JP2018000644A (en) Image processing apparatus and electronic endoscope system
JP2020116147A (en) Endoscope system
JP5856943B2 (en) Imaging system
JP6650969B2 (en) Endoscope system
JP2009285132A (en) Endoscope image processing device and method
JP2009195461A (en) Endoscope system and image signal processor
WO2017212946A1 (en) Image processing device
JP6370604B2 (en) Endoscope system
JP2010279457A (en) Electronic endoscope, electronic endoscopic system, and color adjusting method
US20230255460A1 (en) Image processing apparatus and image processing method
US20240087090A1 (en) Processor for electronic endoscope and electronic endoscopic system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171228

R150 Certificate of patent or registration of utility model

Ref document number: 6272115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250