JP5123756B2 - Imaging system, image processing method, and image processing program - Google Patents

Imaging system, image processing method, and image processing program Download PDF

Info

Publication number
JP5123756B2
JP5123756B2 JP2008167864A JP2008167864A JP5123756B2 JP 5123756 B2 JP5123756 B2 JP 5123756B2 JP 2008167864 A JP2008167864 A JP 2008167864A JP 2008167864 A JP2008167864 A JP 2008167864A JP 5123756 B2 JP5123756 B2 JP 5123756B2
Authority
JP
Japan
Prior art keywords
noise reduction
unit
noise
local region
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008167864A
Other languages
Japanese (ja)
Other versions
JP2010011072A (en
Inventor
恵仁 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008167864A priority Critical patent/JP5123756B2/en
Priority to US12/487,936 priority patent/US8170345B2/en
Publication of JP2010011072A publication Critical patent/JP2010011072A/en
Application granted granted Critical
Publication of JP5123756B2 publication Critical patent/JP5123756B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

A favorable noise reduction process that is optimized for capturing conditions and that prevents the occurrence of residual image components is enabled. Provided is an imaging system including: a first extraction section that extracts a local region that includes a pixel of interest from an image signal; a second extraction section that extracts, from another image signal captured at a different time, a local region located at almost the same position as said local region; a first noise reduction section that performs a noise reduction process by using the local regions; a noise estimation section that estimates an amount of noise included in the pixel of interest; a residual image detection section that detects a residual image component included in the local region based on the estimated amount of noise; and a second noise reduction section that performs a noise reduction process based on the detected residual image component.

Description

本発明は、時系列に取り込まれた画像信号に対してノイズ成分を低減する撮像システム、画像処理方法および画像処理プログラムに関する。   The present invention relates to an imaging system, an image processing method, and an image processing program that reduce a noise component with respect to an image signal captured in time series.

撮像素子とそれに付随するアナログ回路およびA/Dコンバータから得られるデジタル化された画像信号中には、一般にノイズ成分が含まれている。この画像信号に含まれるノイズ成分を低減し高画質な画像を得るために、ノイズ低減処理があり、例えば、動画像を時間的に連続する画像フレームとして捉え、時間的に相関性のないノイズ成分を低減する3次元ノイズ低減処理が数多く提案されている。   Generally, a noise component is included in a digitized image signal obtained from an image sensor and an accompanying analog circuit and A / D converter. In order to reduce the noise component contained in this image signal and obtain a high-quality image, there is noise reduction processing, for example, a moving image is regarded as a temporally continuous image frame, and the temporally uncorrelated noise component Many three-dimensional noise reduction processes for reducing the above have been proposed.

例えば、3次元ノイズ低減処理は、現在の画像信号と過去の画像信号とを減算して差分信号を取り、このフレーム間の差分にある一定の係数を乗算したものを現在の画像信号に加減算することにより、ノイズ低減処理を行うものである。このような3次元ノイズ低減処理では、ノイズ低減効果が得られる一方で、画像中の動きのある部分においては、差分信号にノイズ成分だけでなく動き成分も含まれることから、残像や尾引き(以下、残像成分と表記)などの画像の劣化が生じる場合がある。   For example, in the three-dimensional noise reduction process, the current image signal and the past image signal are subtracted to obtain a difference signal, and a product obtained by multiplying a difference between the frames by a certain coefficient is added to or subtracted from the current image signal. Thus, noise reduction processing is performed. In such a three-dimensional noise reduction process, a noise reduction effect can be obtained. On the other hand, in a portion where there is a motion in the image, not only a noise component but also a motion component is included in the difference signal. Hereinafter, image degradation such as an afterimage component may occur.

この場合には、差分信号等から得られる動き情報を用いて前記係数を算出し、動きのある部分では係数を小さくすることでノイズ低減の効果を弱くし、残像成分の低減が図られている。
このようなノイズ低減処理には、例えば、特許文献1に示されるように、時間方向、空間方向に入力画素データと相関をもつデータを探してノイズを低減する例が開示されている。この特許文献1においては、入力画素データに近い値を持つ画素には大きい荷重を、入力画素データから遠い値を持つ画素には小さな過重を付けて平均化する非線形フィルタが用いられている。これにより被写体の動きに応じたノイズ低減処理を行っている。
In this case, the coefficient is calculated using motion information obtained from a differential signal or the like, and the effect of noise reduction is weakened by reducing the coefficient in a portion where there is motion, thereby reducing the afterimage component. .
For example, Patent Document 1 discloses an example in which noise is reduced by searching for data having a correlation with input pixel data in the time direction and the spatial direction as disclosed in Patent Document 1. In Patent Document 1, a non-linear filter is used that averages a pixel having a value close to input pixel data with a large load and a pixel having a value far from the input pixel data with a small weight. Thereby, noise reduction processing according to the movement of the subject is performed.

また、他の例として、例えば、特許文献2に示されるように、1フレーム前の信号との間の差分データに対し、所定期間の差分データの最大値と平均値を検出し、検出した最大値と平均値から、補正データ生成時の設定情報とノイズ低減処理のオン/オフを制御する制御信号を生成して精度よくノイズ量を検出し、ノイズ低減する例や、特許文献3に示されるように、複数フレーム間における画素信号の差分を動きの度合いとして検出し、これにより巡回するノイズのゲインを設定して、ノイズ低減を行う例が開示されている。   As another example, for example, as shown in Patent Document 2, the maximum value and the average value of the difference data for a predetermined period are detected for the difference data from the signal one frame before, and the detected maximum From the value and the average value, setting information at the time of generating correction data and a control signal for controlling on / off of noise reduction processing are generated to detect the noise amount with high accuracy, and an example of reducing noise is disclosed in Patent Document 3. As described above, there is disclosed an example in which a difference in pixel signals between a plurality of frames is detected as a degree of motion, and thereby a noise gain to be circulated is set to perform noise reduction.

また、他の例として、特許文献4に示されるように、フレーム差分からの動き検出結果と画像信号のレベルによりノイズの巡回係数を制御することで、画像の明るさに応じたノイズ低減処理を行う装置の例もある。
また、他の例として、特許文献5に示されるに、フレーム間の差分から動き比較を行い、この比較結果を多数決処理回路においてチェックし、比較結果のバラツキを補正し、これを動き信号としてノイズの巡回係数を決定することで、良好に動き検出を行い、ノイズ低減を行う装置の例もある。
As another example, as shown in Patent Document 4, noise reduction processing corresponding to the brightness of an image is performed by controlling a noise cyclic coefficient according to a motion detection result from a frame difference and a level of an image signal. There are also examples of devices to do.
As another example, as shown in Patent Document 5, a motion comparison is performed based on a difference between frames, the comparison result is checked by a majority processing circuit, a variation in the comparison result is corrected, and this is used as a motion signal as noise. There is also an example of an apparatus that performs good motion detection and noise reduction by determining the cyclic coefficient.

特開平6−62283号公報JP-A-6-62283 特開2003−219208号公報JP 2003-219208 A 特開2002−33942号公報JP 2002-33942 A 特開2005−347821号公報JP 2005-347821 A 特開平9−81754号公報JP-A-9-81754

上述したように、従来の3次元ノイズ低減処理においては、現在の画像信号との差分値により、ノイズに対する巡回係数を制御し、画像中に動き成分がある場合の、残像成分を低減していた。
しかしながら、一方では、差分信号には画像間の動き成分による差分と、画像信号に含まれるノイズ成分による差分が含まれている。そのため、動き成分の検出感度を上げると、ノイズ成分による差分の検出感度が下がり、ノイズ成分による差分を動き成分と誤検出して、良好なノイズ低減効果が得られない。一方、動き検出の感度を下げると、動き成分をノイズ成分と誤検出して、本来の動き部分に残像成分が生じるという不都合がある。
As described above, in the conventional three-dimensional noise reduction processing, the cyclic coefficient for noise is controlled by the difference value from the current image signal, and the afterimage component is reduced when there is a motion component in the image. .
However, on the other hand, the difference signal includes a difference due to a motion component between images and a difference due to a noise component included in the image signal. For this reason, if the detection sensitivity of the motion component is increased, the detection sensitivity of the difference due to the noise component decreases, and the difference due to the noise component is erroneously detected as the motion component, so that a good noise reduction effect cannot be obtained. On the other hand, if the sensitivity of motion detection is lowered, there is an inconvenience that a motion component is erroneously detected as a noise component and an afterimage component is generated in the original motion portion.

さらに、例えば、入力画像信号レベルのゲインがアップした場合のようなノイズ成分の値が大きな画像信号が入力されると、ノイズ成分による差分を動き成分と誤検出してしまい、ノイズ低減効果が得られず、良好なノイズ低減を行うことができないという問題がある。   Furthermore, for example, when an image signal with a large noise component value is input, such as when the gain of the input image signal level is increased, a difference due to the noise component is erroneously detected as a motion component, and a noise reduction effect is obtained. Therefore, there is a problem that good noise reduction cannot be performed.

本発明は、上述した課題を解決するためになされたものであり、撮影状況に最適化され、残像成分の発生を抑制した良好なノイズ低減処理を可能とする撮像システム、画像処理方法および画像処理プログラムを提供することを目的とする。   The present invention has been made in order to solve the above-described problems, and is an imaging system, an image processing method, and an image processing that are optimized for shooting conditions and enable good noise reduction processing that suppresses generation of afterimage components. The purpose is to provide a program.

上記課題を解決するために、本発明は以下の手段を提供する。
本発明のある態様は、撮像系を介して時系列に取り込まれた画像信号に対しノイズ低減処理を行う撮像システムであって、処理対象の画像信号から注目画素を包含する局所領域を抽出する第1の抽出部と、前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第2の抽出部と、前記第1の抽出部により抽出された局所領域に対し、前記第2の抽出部により抽出された局所領域を用いてノイズ低減処理を行う第1のノイズ低減部と、該第1のノイズ低減部によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定するノイズ推定部と、該ノイズ推定部により推定されたノイズ量に基づき前記第1のノイズ低減部から出力されたノイズ低減処理を施された局所領域に含まれる残像成分を検出する残像検出部と、該残像検出部により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第2のノイズ低減部とを有する撮像システムを提供する。
In order to solve the above problems, the present invention provides the following means.
An aspect of the present invention is an imaging system that performs noise reduction processing on an image signal captured in time series via an imaging system, and extracts a local region that includes a target pixel from an image signal to be processed. A first extraction unit, a second extraction unit that extracts a local region at substantially the same position as the local region from other image signals acquired at different times with respect to the image signal to be processed, and the first A first noise reduction unit that performs noise reduction processing on the local region extracted by the extraction unit using the local region extracted by the second extraction unit, and noise reduction processing by the first noise reduction unit A noise estimation unit that estimates the amount of noise included in the target pixel based on the local region that has been subjected to noise reduction, and a noise reduction process that is output from the first noise reduction unit based on the noise amount estimated by the noise estimation unit An imaging system comprising: an afterimage detection unit that detects an afterimage component included in the applied local region; and a second noise reduction unit that performs noise reduction processing on the target pixel based on the afterimage component detected by the afterimage detection unit I will provide a.

この態様によれば、記憶部に記憶された異なる時刻に取得された画像信号に基づいて、例えば、信号レベル、ゲインなどの撮影時に動的に変化する要因に対応した輝度信号および色差信号のノイズ量のモデル化が行われ、該モデルに基づきノイズ量が推定される。そして、推定されたノイズ量に基づき、第1のノイズ低減部によりノイズ低減処理を施された局所領域に含まれる残像成分が検出され、該残像成分を低減する第2のノイズ低減処理が施される。これにより、残像成分を抑制したノイズ低減処理を行うことが可能となり、高品位な画像信号が得られる。   According to this aspect, on the basis of image signals acquired at different times stored in the storage unit, for example, luminance signal and color difference signal noise corresponding to factors that dynamically change during shooting, such as signal level and gain, etc. The amount is modeled, and the noise amount is estimated based on the model. Then, based on the estimated amount of noise, an afterimage component included in the local region subjected to the noise reduction process by the first noise reduction unit is detected, and a second noise reduction process for reducing the afterimage component is performed. The Thereby, it is possible to perform a noise reduction process in which an afterimage component is suppressed, and a high-quality image signal can be obtained.

また、本発明の他の態様は、撮像系から時系列に取り込まれた画像信号に対しノイズ低減処理を行う画像処理において、処理対象の画像信号から注目画素を包含する局所領域を抽出する第1のステップと、画像信号を所定量記憶する第2のステップと、前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第3のステップと、前記第1のステップにより抽出された局所領域に対し、前記第3のステップにより抽出された局所領域を用いてノイズ低減処理を行う第4のステップと、該第4のステップによりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第5のステップと、該第5のステップにより推定されたノイズ量に基づき前記第4のステップによりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第6のステップと、該第6のステップにより検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第7のステップとを含む画像処理方法を提供する。   According to another aspect of the present invention, in image processing for performing noise reduction processing on an image signal captured in time series from an imaging system, a first local region including a target pixel is extracted from an image signal to be processed. A second step of storing a predetermined amount of the image signal, and extracting a local region substantially at the same position as the local region from other image signals acquired at different times with respect to the image signal to be processed A third step, a fourth step of performing noise reduction processing on the local region extracted by the first step using the local region extracted by the third step, and the fourth step A fifth step of estimating the amount of noise included in the target pixel based on the local region subjected to the noise reduction processing by the step, and the fifth step based on the amount of noise estimated by the fifth step A sixth step for detecting an afterimage component included in the local region subjected to the noise reduction process in step (7), and a seventh step for performing the noise reduction process on the target pixel based on the afterimage component detected in the sixth step. An image processing method including the following steps is provided.

また、本発明の他の態様は、撮像系から時系列に取り込まれた画像信号に対しノイズ低減処理をコンピュータに実行させるための画像処理プログラムにおいて、処理対象の画像信号から注目画素を包含する局所領域を抽出する第1の処理と、画像信号を所定量記憶する第2の処理と、前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第3の処理と、前記第1の処理により抽出された局所領域に対し、前記第3の処理により抽出された局所領域を用いてノイズ低減処理を行う第4の処理と、該第4の処理によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第5の処理と、該第5の処理により推定されたノイズ量に基づき前記第4の処理によりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第6の処理と、該第6の処理により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第7の処理とをコンピュータに実行させる画像処理プログラムを提供する。   According to another aspect of the present invention, in an image processing program for causing a computer to perform noise reduction processing on an image signal captured in time series from an imaging system, a local pixel including a target pixel from the processing target image signal is provided. A first process for extracting a region, a second process for storing a predetermined amount of an image signal, and approximately the same position as the local region from other image signals acquired at different times with respect to the image signal to be processed A third process for extracting a local region of the second and a fourth process for performing a noise reduction process on the local region extracted by the first process using the local region extracted by the third process; , A fifth process for estimating the amount of noise included in the pixel of interest based on the local region subjected to the noise reduction process by the fourth process, and the fifth process based on the noise amount estimated by the fifth process. A sixth process for detecting an afterimage component included in the local region that has been subjected to the noise reduction process in step (7), and a noise reduction process for the target pixel based on the afterimage component detected by the sixth process. An image processing program for causing a computer to execute the above processing is provided.

本発明によれば、撮影状況に最適化され、残像成分の発生を抑制した、良好なノイズ低減処理を行うことができるという効果を奏する。   According to the present invention, it is possible to perform an excellent noise reduction process that is optimized for a shooting situation and suppresses the generation of an afterimage component.

(第1の実施形態)
本発明の第1の実施形態に係る撮像システムについて、図1〜図8を参照して以下に説明する。
図1は本実施形態に係る撮像システムの全体構成を示す概略構成図、図2は色差線順次補色フィルタの配列と局所領域抽出に関する説明図、図3は図1の撮像システムのノイズ低減部のブロック構成図、図4は信号レベルに対するノイズ量の関係、図5は図1の撮像システムの残像検出部のブロック構成図、図6は図1の撮像システムの第2のノイズ低減部のブロック構成図、図7は図1の撮像システムの処理全体の流れを示すフローチャート、図8は図1の撮像システムのノイズ低減処理の流れを示すフローチャートをそれぞれ示している。
(First embodiment)
An imaging system according to a first embodiment of the present invention will be described below with reference to FIGS.
FIG. 1 is a schematic configuration diagram showing the overall configuration of the imaging system according to the present embodiment, FIG. 2 is an explanatory diagram regarding the arrangement of color difference line sequential complementary filters and local region extraction, and FIG. 3 is a diagram of a noise reduction unit of the imaging system of FIG. FIG. 4 is a block configuration diagram, FIG. 4 is a block diagram of the afterimage detection unit of the imaging system of FIG. 1, and FIG. 6 is a block configuration of a second noise reduction unit of the imaging system of FIG. FIGS. 7 and 7 are flowcharts showing the overall flow of processing of the imaging system of FIG. 1, and FIG. 8 is a flowchart showing the flow of noise reduction processing of the imaging system of FIG.

本実施形態に係る撮像システムは、図1に示されるように、撮像素子(撮像系)101、A/D変換部102、Y/C分離部103、ノイズ低減部104、信号処理部105、出力部106、制御部107および外部I/F部108を備えている。   As shown in FIG. 1, the imaging system according to the present embodiment includes an imaging device (imaging system) 101, an A / D conversion unit 102, a Y / C separation unit 103, a noise reduction unit 104, a signal processing unit 105, and an output. Unit 106, control unit 107, and external I / F unit 108.

撮像素子101は、結像される光学像を光電変換して、アナログの画像信号として出力するための素子である。なお、本実施形態においては、撮像素子101として、図2に示すような色差線順次型の補色カラーフィルタが前面に配置された単板撮像素子を想定している。なお、これに限らず、撮像素子101として、ベイヤー(Bayer)型の原色カラーフィルタが前面に配置された単板撮像素子等を用いても構わない。   The image sensor 101 is an element for photoelectrically converting an optical image to be formed and outputting it as an analog image signal. In the present embodiment, it is assumed that the image sensor 101 is a single-plate image sensor in which a color difference line sequential complementary color filter as shown in FIG. However, the present invention is not limited to this, and a single-plate image sensor or the like in which a Bayer-type primary color filter is disposed in front may be used as the image sensor 101.

図2(a)は、色差線順次型の補色フィルタの構成を示している。この色差線順次方式の補色フィルタは、2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が1画素ずつ配置されている。ただし、MgとGの位置はライン毎に反転するように構成されている。   FIG. 2A shows a configuration of a color difference line sequential type complementary color filter. The color difference line sequential type complementary color filter has 2 × 2 pixels as a basic unit, and cyan (Cy), magenta (Mg), yellow (Ye), and green (G) are arranged one by one. However, the positions of Mg and G are reversed for each line.

撮像素子101からの画像信号は、図2に示されるように上下が加算され、偶数ラインと奇数ラインに分離した2つのフィールド信号から構成される。偶数および奇数フィールド信号を合成することで1枚の画像信号が得られる。以後、連続的に出力される複数の画像信号を映像信号、1枚の画像信号を単に画像信号と表記する。   As shown in FIG. 2, the image signal from the image sensor 101 is composed of two field signals that are added to the top and bottom and separated into even lines and odd lines. One image signal is obtained by combining the even and odd field signals. Hereinafter, a plurality of image signals that are continuously output are referred to as video signals, and one image signal is simply referred to as an image signal.

A/D変換部102は、制御部107の制御に基づき、撮像素子101から出力されたアナログの画像信号を、デジタルの画像信号に変換するものである。撮像素子101を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。前記アナログ信号は、A/D変換部102にてデジタル信号へ変換されてY/C分離部103へ転送される。   The A / D conversion unit 102 converts the analog image signal output from the image sensor 101 into a digital image signal based on the control of the control unit 107. Video signals photographed via the image sensor 101 are continuously output as analog signals at predetermined time intervals. The analog signal is converted into a digital signal by the A / D converter 102 and transferred to the Y / C separator 103.

Y/C分離部103は、制御部107の制御に基づき、偶数および奇数フィールド信号から輝度信号Yと色差信号Cb、Crを次の数1に示すように算出するものである。   Based on the control of the control unit 107, the Y / C separation unit 103 calculates the luminance signal Y and the color difference signals Cb and Cr from the even and odd field signals as shown in the following equation (1).

Figure 0005123756
Figure 0005123756

ノイズ低減部104は、制御部107の制御に基づき、Y/C分離部103からの画像信号を用いてノイズ低減処理を行う。ノイズ低減後の画像信号は信号処理部105へ転送される。
ノイズ低減部104は、例えば、図3に示されるように、第1の領域抽出部(第1の抽出部)201と、第2の領域抽出部(第2の抽出部)202と、第1のノイズ低減部203と、ノイズ推定部204と、残像検出部205と、第2のノイズ低減部206と、フレームメモリ(記憶部)207とを有している。
図3は図1の撮像システムのノイズ低減部のブロック構成図である。
The noise reduction unit 104 performs noise reduction processing using the image signal from the Y / C separation unit 103 based on the control of the control unit 107. The image signal after noise reduction is transferred to the signal processing unit 105.
For example, as illustrated in FIG. 3, the noise reduction unit 104 includes a first region extraction unit (first extraction unit) 201, a second region extraction unit (second extraction unit) 202, Noise reduction unit 203, noise estimation unit 204, afterimage detection unit 205, second noise reduction unit 206, and frame memory (storage unit) 207.
FIG. 3 is a block diagram of the noise reduction unit of the imaging system of FIG.

また、Y/C分離部103は、第1の領域抽出部201と、第1のノイズ低減部203と、第2のノイズ低減部206とを介して、信号処理部105に接続されている。第1の領域抽出部201は、残像検出部205および第2のノイズ低減部206にも接続されている。   The Y / C separation unit 103 is connected to the signal processing unit 105 through the first region extraction unit 201, the first noise reduction unit 203, and the second noise reduction unit 206. The first region extraction unit 201 is also connected to an afterimage detection unit 205 and a second noise reduction unit 206.

第1のノイズ低減部203は、ノイズ推定部204および残像検出部205にも接続されている。ノイズ推定部204は、残像検出部205に接続されている。残像検出部205は、第2のノイズ低減部206に接続されている。第2のノイズ低減部206は、フレームメモリ207にも接続されている。フレームメモリ207は、第2の領域抽出部202を介して、第1のノイズ低減部203に接続されている。   The first noise reduction unit 203 is also connected to the noise estimation unit 204 and the afterimage detection unit 205. The noise estimation unit 204 is connected to the afterimage detection unit 205. The afterimage detection unit 205 is connected to the second noise reduction unit 206. The second noise reduction unit 206 is also connected to the frame memory 207. The frame memory 207 is connected to the first noise reduction unit 203 via the second region extraction unit 202.

信号処理部105は、制御部107の制御に基づき、ノイズ低減部104からノイズ低減処理後の画像信号を読み出し、公知の補間処理、強調処理、圧縮処理などを行い、処理後の信号を出力部106へ転送するものである。
出力部106は、信号処理部105から出力される映像信号を、例えば、メモリーカードなどの記録媒体へ記録して保存するものである。
Based on the control of the control unit 107, the signal processing unit 105 reads the image signal after the noise reduction processing from the noise reduction unit 104, performs known interpolation processing, enhancement processing, compression processing, and the like, and outputs the processed signal to the output unit 106.
The output unit 106 records and stores the video signal output from the signal processing unit 105 in a recording medium such as a memory card.

制御部107は、例えば、マイクロコンピュータなどにより構成されていて、A/D変換部102、Y/C分離部103、ノイズ低減部104、信号処理部105、出力部106および外部I/F部108と双方向に接続されており、これらを含むこの画像処理装置全体を制御するようになっている。
また、制御部107は、第1の領域抽出部201、第2の領域抽出部202、第1のノイズ低減部203、ノイズ推定部204、残像検出部205および第2のノイズ低減部206と双方向に接続されていて、これらを制御するようになっている。
The control unit 107 is constituted by, for example, a microcomputer, and includes an A / D conversion unit 102, a Y / C separation unit 103, a noise reduction unit 104, a signal processing unit 105, an output unit 106, and an external I / F unit 108. Are connected in both directions, and the entire image processing apparatus including them is controlled.
In addition, the control unit 107 includes both the first region extraction unit 201, the second region extraction unit 202, the first noise reduction unit 203, the noise estimation unit 204, the afterimage detection unit 205, and the second noise reduction unit 206. Are connected to each other to control them.

外部I/F部108は、画像処理システムが適用されたこの画像処理装置に対するユーザからの入力等を行うためのインタフェースであり、電源のオン/オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。また、ユーザは、この外部I/F部108を介して、ゲインの設定などを行うことができるようになっている。そして、この外部I/F部108は、入力された情報を、制御部107へ出力するようになっている。   The external I / F unit 108 is an interface for performing input from the user to the image processing apparatus to which the image processing system is applied. The external I / F unit 108 starts a power switch for turning on / off the power and a photographing operation. For example, a shutter button for switching, a mode switching button for switching a shooting mode and various other modes. In addition, the user can set gain and the like via the external I / F unit 108. The external I / F unit 108 outputs input information to the control unit 107.

第1の領域抽出部201は、制御部107の制御に基づき、ノイズ低減処理の対象となる画像信号中の注目画素および該注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出して、第1のノイズ低減部203、残像検出部205および第2のノイズ低減部206に出力するようになっている。   Based on the control of the control unit 107, the first region extraction unit 201 sequentially extracts a local region including a target pixel in an image signal to be subjected to noise reduction processing and a neighboring pixel located in the vicinity of the target pixel. The first noise reduction unit 203, the afterimage detection unit 205, and the second noise reduction unit 206 are output.

本実施形態では、局所領域として図2に示すような5×5画素を想定している。他の例として、これに限らず、局所領域として、任意の範囲の画素を想定してもよい。例えば、局所領域として、3×3画素からなる正方形領域を想定してもよいし、あるいは、7×5画素からなる長方形領域を想定してもよい。   In the present embodiment, 5 × 5 pixels as shown in FIG. 2 are assumed as the local region. As another example, the present invention is not limited to this, and an arbitrary range of pixels may be assumed as the local region. For example, a square area composed of 3 × 3 pixels may be assumed as the local area, or a rectangular area composed of 7 × 5 pixels may be assumed.

また、他の例として、局所領域として、4×4画素からなる正方形領域や、4×6の長方形領域を想定してもよい。この場合、正方形領域の中心部分は一つの画素ではなく、複数の画素で構成されるため、そのうちのいずれか一つが注目画素となる。   As another example, a square area composed of 4 × 4 pixels or a 4 × 6 rectangular area may be assumed as the local area. In this case, since the central portion of the square area is not a single pixel but is composed of a plurality of pixels, one of them is the target pixel.

また、この局所領域の範囲は、ユーザの指示に応じてあらかじめ設定されてもよい。輝度信号は、偶数フィールドにおいては図2(b)に示すように、奇数フィールドにおいては図2(c)に示すように、5×5画素の全てに存在する。これに対して、色差信号は5×5画素の全てには存在しない。すなわち、色差信号Crは、偶数フィールドにおいては図2(b)に示すように5×3画素となり、奇数フィールドにおいては図2(c)に示すように5×2画素となる。また、色差信号Cbは、偶数フィールドにおいては図2(b)に示すように5×2画素となり、奇数フィールドにおいては図2(c)に示すように5×3画素となる。   Further, the range of the local area may be set in advance according to a user instruction. The luminance signal is present in all 5 × 5 pixels as shown in FIG. 2B in the even field and as shown in FIG. 2C in the odd field. On the other hand, the color difference signal does not exist in all 5 × 5 pixels. That is, the color difference signal Cr is 5 × 3 pixels as shown in FIG. 2B in the even field, and 5 × 2 pixels as shown in FIG. 2C in the odd field. Further, the color difference signal Cb becomes 5 × 2 pixels as shown in FIG. 2B in the even field, and becomes 5 × 3 pixels as shown in FIG. 2C in the odd field.

このような局所領域の構成においては、ノイズ低減処理の対象となる注目画素(例えば、局所領域の中心に位置する画素)は、輝度信号Yおよび色差信号Cr(色差信号Cbは処理対象外)の場合、または、輝度信号Yおよび色差信号Cb(色差信号Crは処理対象外)の場合の何れかである。図2に示す例においては、偶数フィールドにおいて前者の場合、奇数フィールドにおいて後者の場合となっているが、注目画素の位置が異なれば、これと逆に、偶数フィールドにおいて後者の場合、奇数フィールドにおいて前者の場合となることもある。   In such a local region configuration, a target pixel (for example, a pixel located at the center of the local region) that is a target of noise reduction processing is a luminance signal Y and a color difference signal Cr (the color difference signal Cb is not a target to be processed). Or the luminance signal Y and the color difference signal Cb (the color difference signal Cr is not subject to processing). In the example shown in FIG. 2, the former case in the even field is the latter case in the odd field, but if the position of the pixel of interest is different, on the contrary, in the latter case in the even field, It may be the former case.

第2の領域抽出部202は、制御部107の制御に基づき、フレームメモリ207に記憶されているノイズ低減処理がなされた過去の画像信号から、上述した注目画素と同一空間位置の画素と該画素の近傍に位置する近傍画素とからなる局所領域を順次抽出して、第1のノイズ低減部203へ出力する。なお、注目画素と同一空間位置の画素のみを抽出してもよく、注目画素と同一空間位置近傍の画素のみを抽出してもよい。   Based on the control of the control unit 107, the second region extraction unit 202 extracts the pixel at the same spatial position as the pixel of interest and the pixel from the past image signal subjected to the noise reduction processing stored in the frame memory 207. Are sequentially extracted and output to the first noise reduction unit 203. Note that only a pixel at the same spatial position as the target pixel may be extracted, or only a pixel near the same spatial position as the target pixel may be extracted.

上述した構成において、ノイズ低減部104により時刻Tに取得された画像信号のノイズ低減処理が行われている時点では、第1の領域抽出部201により抽出される局所領域は時刻Tの画像信号に係るものであり、第2の領域抽出部202により抽出される局所領域は時刻Tよりも過去の画像信号に係るものである。
なお、時刻Tに取得された画像信号を記憶しておき、その後の異なる時刻に取得された他の画像信号に基づいて、記憶されている時刻Tに取得された画像信号にノイズ低減処理を施してもよい。
In the configuration described above, when the noise reduction processing of the image signal acquired at time T by the noise reduction unit 104 is performed, the local region extracted by the first region extraction unit 201 becomes the image signal at time T. Therefore, the local region extracted by the second region extraction unit 202 relates to an image signal in the past from the time T.
In addition, the image signal acquired at time T is stored, and noise reduction processing is performed on the image signal acquired at time T stored based on other image signals acquired at different times thereafter. May be.

第1のノイズ低減部203は、制御部107の制御により、第1の領域抽出部201から転送されてきた時刻Tの局所領域と、第2の領域抽出部202から転送されてきたノイズ低減処理後の時刻Tよりも過去の局所領域とに基づき、3次元ノイズ低減処理を行う。本実施形態においては、注目画素と、時刻Tの近傍画素と、時刻Tよりも過去の近傍画素(注目画素と同一空間位置の画素を含む)とに対して、注目画素に近い値を持つ近傍画素には大きな荷重を付け、注目画素から遠い値を持つ近傍画素には小さな荷重をつけて重み付け加算するような非線形フィルタを想定している。第1のノイズ低減部203は、3次元ノイズ低減処理を行った後の注目画素の輝度信号NRyおよび色差信号NRcb,NRcrをノイズ推定部204へ出力する。   The first noise reduction unit 203 is controlled by the control unit 107, and the noise reduction processing transferred from the local region at time T transferred from the first region extraction unit 201 and transferred from the second region extraction unit 202. A three-dimensional noise reduction process is performed based on the local region in the past from the later time T. In the present embodiment, a neighborhood having a value close to the pixel of interest with respect to the pixel of interest, a neighboring pixel at time T, and neighboring pixels past the time T (including pixels in the same spatial position as the pixel of interest) A non-linear filter is assumed in which a large load is applied to a pixel and a neighboring pixel having a value far from the target pixel is weighted and added with a small load. The first noise reduction unit 203 outputs the luminance signal NRy and the color difference signals NRcb and NRcr of the target pixel after performing the three-dimensional noise reduction process to the noise estimation unit 204.

ノイズ推定部204は、制御部107の制御に基づき、第1のノイズ低減部203から転送されてきた3次元ノイズ低減処理後の注目画素の信号値NRs(s=y,cb,cr)を用いて注目画素のノイズ量Ns(s=y,cb,cr)を推定する。   Based on the control of the control unit 107, the noise estimation unit 204 uses the signal value NRs (s = y, cb, cr) of the target pixel after the three-dimensional noise reduction process transferred from the first noise reduction unit 203. Thus, the noise amount Ns (s = y, cb, cr) of the target pixel is estimated.

ここで、図4を参照して、ノイズ量の推定について説明する。この図4は、信号レベルLに対するノイズ量Ns(s=y,cb,cr)の関係をプロットしたものである。図示のように、ノイズ量Nsは、信号レベルLに対して2次曲線的に増加するものとなっている。そこで、信号レベルLをノイズ低減処理済みの信号値NRs(s=y,cb,cr)とした場合、このようなノイズモデルを2次関数を用いて具体的にモデル化すると、数2が得られる。   Here, the estimation of the noise amount will be described with reference to FIG. FIG. 4 is a plot of the relationship of the noise amount Ns (s = y, cb, cr) to the signal level L. As shown in the figure, the noise amount Ns increases in a quadratic curve with respect to the signal level L. Therefore, when the signal level L is a signal value NRs (s = y, cb, cr) that has been subjected to noise reduction processing, Equation 2 is obtained by specifically modeling such a noise model using a quadratic function. It is done.

Figure 0005123756
Figure 0005123756

ここで、αs、βs、γsは定数項である。ノイズ推定部204は、この数2に示すようなモデルを用いて、3次元ノイズ低減処理後の注目画素の信号値NRs(s=y,cb,cr)からノイズ量Nsを推定する。輝度ノイズ量Nyおよび、色差ノイズ量Ncb,Ncrは残像検出部205へ出力される。   Here, αs, βs, and γs are constant terms. The noise estimation unit 204 estimates the noise amount Ns from the signal value NRs (s = y, cb, cr) of the target pixel after the three-dimensional noise reduction processing using the model as shown in Equation 2. The luminance noise amount Ny and the color difference noise amounts Ncb and Ncr are output to the afterimage detection unit 205.

残像検出部205は、制御部107の制御により、ノイズ推定量Ns(s=y,cb,cr)に基づき3次元ノイズ低減処理済みの信号値NRs(s=y,cb,cr)に含まれる残像成分を検出する。注目画素に残像成分が含まれるか否かの判定結果Ts(s=y,cb,cr)は第2のノイズ低減部206に出力される。判定結果Tsは「残像成分が含まれる」、「残像成分が含まれない」の2通りである。   The afterimage detection unit 205 is included in the signal value NRs (s = y, cb, cr) subjected to the three-dimensional noise reduction processing based on the noise estimation amount Ns (s = y, cb, cr) under the control of the control unit 107. An afterimage component is detected. A determination result Ts (s = y, cb, cr) as to whether or not an afterimage component is included in the target pixel is output to the second noise reduction unit 206. There are two determination results Ts: “afterimage component is included” and “afterimage component is not included”.

第2のノイズ低減部206は、制御部107の制御に基づき、注目画素の輝度信号Yおよび色差信号Cb,Crに、ノイズ低減済み信号NRsおよび残像検出部からの信号Tsを用いてノイズ低減処理を行う。第2のノイズ低減部206は、ノイズ低減処理を行った後の注目画素の輝度信号および色差信号を信号処理部105とフレームメモリ207とへ出力する。   Based on the control of the control unit 107, the second noise reduction unit 206 performs noise reduction processing using the noise-reduced signal NRs and the signal Ts from the afterimage detection unit for the luminance signal Y and the color difference signals Cb and Cr of the target pixel. I do. The second noise reduction unit 206 outputs the luminance signal and color difference signal of the target pixel after the noise reduction processing to the signal processing unit 105 and the frame memory 207.

こうして、フレームメモリ207には、ノイズ低減処理がなされた画像信号が記録されることになり、このノイズ低減処理後の画像信号が、次の画像信号の処理に用いられることになる。   Thus, the image signal subjected to the noise reduction process is recorded in the frame memory 207, and the image signal after the noise reduction process is used for processing the next image signal.

次に、残像検出部205の詳細な構成について図5を参照して説明する。
演算部301は、制御部107の制御に基づき、第1の領域抽出部201から転送されてきた局所領域中の注目画素の輝度信号値Yおよび色差信号値Cb,Crと第1のノイズ低減処理を行った輝度信号値NRyおよび色差信号値NRcb,NRcrのそれぞれの絶対差分値信号Ss(s=y,cb,cr)を求め、判定部303に出力する。絶対差分値信号Ssは、注目画素信号値のノイズ成分または、ノイズ低減処理信号値の残像成分を含んだ信号である。
Next, a detailed configuration of the afterimage detection unit 205 will be described with reference to FIG.
Based on the control of the control unit 107, the calculation unit 301 performs the first noise reduction process with the luminance signal value Y and color difference signal values Cb and Cr of the pixel of interest in the local region transferred from the first region extraction unit 201. The absolute difference value signals Ss (s = y, cb, cr) of the luminance signal value NRy and the color difference signal values NRcb, NRcr that have been subjected to the above are obtained and output to the determination unit 303. The absolute difference value signal Ss is a signal including a noise component of the target pixel signal value or an afterimage component of the noise reduction processing signal value.

調整部302は、制御部107の制御に基づき、ノイズ推定部204から出力されるノイズ推定量Nsを調整し、調整後ノイズ推定量CNs(s=y,cb,cr)を判定部303に出力する。ここで、調整部302は、判定結果記憶部304から注目画素の近傍に位置する画素の判定結果を読み込む。ここで、近傍画素とは隣接する1画素を想定している。他の例として、これに限らず近傍画素として、4近傍画素を想定してもよいし、8近傍画素を想定してもよい。近傍画素の判定結果Tsが「残像成分が含まれる」である場合には、ノイズ推定量Nsを小さくなるよう調整する。   The adjustment unit 302 adjusts the noise estimation amount Ns output from the noise estimation unit 204 based on the control of the control unit 107, and outputs the adjusted noise estimation amount CNs (s = y, cb, cr) to the determination unit 303. To do. Here, the adjustment unit 302 reads the determination result of the pixel located in the vicinity of the target pixel from the determination result storage unit 304. Here, a neighboring pixel is assumed to be one adjacent pixel. As another example, not limited to this, 4 neighboring pixels may be assumed as neighboring pixels, or 8 neighboring pixels may be assumed. When the determination result Ts of the neighboring pixels is “including an afterimage component”, the noise estimation amount Ns is adjusted to be small.

判定部303は、制御部107の制御に基づき、演算部301から出力された絶対差分信号値Ssと、調整部302から出力された調整後ノイズ量CNsを比較することにより、輝度ノイズ低減済み信号NRyおよび色差ノイズ低減済み信号NRcb,NRcrに残像成分が含まれるか否かを判定する。   Based on the control of the control unit 107, the determination unit 303 compares the absolute difference signal value Ss output from the calculation unit 301 with the adjusted noise amount CNs output from the adjustment unit 302, thereby reducing the luminance noise reduced signal. It is determined whether or not afterimage components are included in NRy and color difference noise reduced signals NRcb and NRcr.

ここで、絶対差分信号値Ssが調整後ノイズ推定量CNsより大きい場合には、第1のノイズ低減処理を行った信号NRsには残像成分が含まれると判定し、注目画素に残像成分が含まれるか否かの判定信号Tsを「残像成分が含まれる」とする。逆に、絶対差分信号値Ssが調整後ノイズ推定量CNsより小さい場合には、第1のノイズ低減処理を行った信号NRsには残像成分が含まれないと判定し、判定信号Tsを「残像成分が含まれない」とする。判定信号Tsは第2のノイズ低減部206と判定結果記憶部304とへ出力される。   Here, when the absolute difference signal value Ss is larger than the adjusted noise estimation amount CNs, it is determined that the signal NRs subjected to the first noise reduction processing includes an afterimage component, and the afterimage component is included in the target pixel. It is assumed that the determination signal Ts for determining whether or not the image is “includes an afterimage component”. Conversely, when the absolute difference signal value Ss is smaller than the adjusted noise estimation amount CNs, it is determined that the signal NRs subjected to the first noise reduction processing does not include an afterimage component, and the determination signal Ts is set to “afterimage. "It contains no ingredients." The determination signal Ts is output to the second noise reduction unit 206 and the determination result storage unit 304.

次に、第2のノイズ低減部206の詳細な構成について図6を参照して説明する。
切り替え部401は、制御部107の制御に基づき、第1の領域抽出部201から転送されてきた注目画素の輝度信号Yおよび色差信号Cb,Crを、第1のノイズ低減部204から転送されてきた注目画素の3次元ノイズ低減後の信号値NRsに切り替える処理を行う。
Next, a detailed configuration of the second noise reduction unit 206 will be described with reference to FIG.
Based on the control of the control unit 107, the switching unit 401 has transferred the luminance signal Y and color difference signals Cb and Cr of the target pixel transferred from the first region extraction unit 201 from the first noise reduction unit 204. A process of switching to the signal value NRs after the three-dimensional noise reduction of the target pixel is performed.

すなわち、切り替え部401は、残像検出部205による判定結果Tsが「残像成分が含まれない」である場合には、注目画素の輝度信号値Yおよび色差信号値Cb,Crに、注目画素の3次元ノイズ低減後の信号値NRsを次の数3に示すように代入する処理を行う。   In other words, when the determination result Ts by the afterimage detection unit 205 is “no afterimage component is included”, the switching unit 401 sets the luminance signal value Y and the color difference signal values Cb and Cr of the target pixel to 3 of the target pixel. A process of substituting the signal value NRs after reduction of the dimensional noise as shown in the following Equation 3 is performed.

Figure 0005123756
Figure 0005123756

また、切り替え部401は、残像検出部205による判定結果Tsが「残像成分を含む」である場合には、注目画素の信号値Y,Cb,Crの代入処理を行わない。その後、切り替え部401は、注目画素の輝度信号値Yおよび色差信号値Cb,Crを、2次元ノイズ低減部402へ出力する。   Further, when the determination result Ts by the afterimage detection unit 205 is “including an afterimage component”, the switching unit 401 does not perform the substitution process of the signal values Y, Cb, and Cr of the target pixel. Thereafter, the switching unit 401 outputs the luminance signal value Y and the color difference signal values Cb and Cr of the target pixel to the two-dimensional noise reduction unit 402.

2次元ノイズ低減部402は、制御部107の制御に基づき、切り替え部401から転送された注目画素の画素値と、2次元ノイズ低減部402内に含まれる図示しないラインメモリに蓄えられた注目画素近傍の画素値と、残像検出部からの判定結果Tsとに基づき、2次元ノイズ低減処理を行う。本実施形態においては、注目画素と、近傍画素とに対して、注目画素に空間的に近い近傍画素に対しては大きな荷重を付け、注目画素から空間的に遠い近傍画素に対しては小さな荷重を付けて重み付け加算し、さらに、注目画素に近い値を持つ近傍画素には大きな荷重を付け、注目画素から遠い値を持つ近傍画素には小さな荷重をつけて重み付け加算するような非線形フィルタを想定している。   The two-dimensional noise reduction unit 402 is configured to control the pixel value of the target pixel transferred from the switching unit 401 and the target pixel stored in a line memory (not shown) included in the two-dimensional noise reduction unit 402 based on the control of the control unit 107. Two-dimensional noise reduction processing is performed based on the neighboring pixel values and the determination result Ts from the afterimage detection unit. In the present embodiment, for the target pixel and neighboring pixels, a large load is applied to neighboring pixels spatially close to the target pixel, and a small load is applied to neighboring pixels spatially far from the target pixel. Assuming a non-linear filter that adds weights to neighboring pixels with values close to the target pixel and adds weights to neighboring pixels with values far from the target pixel. doing.

ここで、注目画素における判定結果Tsが「残像成分が含まれる」である場合は、近傍画素の重み荷重を大きく重み付け加算する。2次元ノイズ低減部402は、2次元ノイズ低減処理を行った後の注目画素の輝度信号NR2yおよび色差信号NR2cb,NR2crを、信号処理部105とフレームメモリ207とへ出力する。   Here, when the determination result Ts at the target pixel is “afterimage component is included”, the weighting load of the neighboring pixels is weighted and added. The two-dimensional noise reduction unit 402 outputs the luminance signal NR2y and the color difference signals NR2cb and NR2cr of the target pixel after performing the two-dimensional noise reduction process to the signal processing unit 105 and the frame memory 207.

なお、上述においては、映像信号処理装置として、撮像素子101、A/D変換部102等の撮像部が一体化された撮像装置を例に挙げて説明したが、このような構成に限定される必要はない。例えば、別体の撮像部により撮像された映像信号を未処理の生(Raw)データの形式でメモリーカードなどの記録媒体に記録しておくとともに、さらに撮像条件や撮像時に得られたデータなどの付随情報もヘッダ情報として記録媒体に記録しておき、この記録媒体に記憶された情報を読み出して、映像信号処理装置により処理することも可能である。   In the above description, the image signal processing apparatus has been described by taking the image pickup apparatus in which the image pickup unit such as the image pickup element 101 and the A / D conversion unit 102 are integrated as an example. However, the image signal processing apparatus is limited to such a configuration. There is no need. For example, a video signal captured by a separate imaging unit is recorded on a recording medium such as a memory card in the form of unprocessed raw data, and further, imaging conditions, data obtained at the time of imaging, etc. The accompanying information can also be recorded on the recording medium as header information, and the information stored in the recording medium can be read out and processed by the video signal processing apparatus.

ここに、撮像部が別体となっている映像信号処理装置への情報の伝達は、記録媒体を介して行うに限るものではなく、有線あるいは無線の通信回線等を介して行うようにしても構わないことはもちろんである。   Here, the transmission of information to the video signal processing apparatus having a separate imaging unit is not limited to being performed via a recording medium, but may be performed via a wired or wireless communication line or the like. Of course it doesn't matter.

さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子101からの信号を未処理のままの生(Raw)データとして、制御部107からの撮影時の撮影モード、ゲイン、輝度レベルの変化量などのヘッダ情報と共に出力し、コンピュータにおいて、別途のソフトウェアである映像信号処理プログラムにより処理するように構成することも可能である。   Further, in the above description, processing by hardware is assumed, but the present invention is not limited to such a configuration. For example, a signal from the image sensor 101 is output as raw (raw) data as raw data together with header information such as a shooting mode, a gain, and a change in luminance level at the time of shooting from the control unit 107. It is also possible to configure to process by a video signal processing program which is separate software.

図7を参照して、コンピュータに映像信号処理プログラムを実行させたときの処理の流れを説明する。
この処理を開始すると、まず、映像信号と、ゲインなどのヘッダ情報とが読み込まれる(Step1)。
With reference to FIG. 7, the flow of processing when a computer executes a video signal processing program will be described.
When this process is started, first, a video signal and header information such as a gain are read (Step 1).

次に、読み込まれた映像信号が、画像信号毎に、数1に示したように、輝度信号と色差信号とに分離される(Step2)。
続いて、後で図8を参照して詳細に説明するように、輝度信号および色差信号にノイズ低減処理が行われる(Step3)。
Next, the read video signal is separated into a luminance signal and a color difference signal for each image signal as shown in Equation 1 (Step 2).
Subsequently, as will be described in detail later with reference to FIG. 8, a noise reduction process is performed on the luminance signal and the color difference signal (Step 3).

さらに、ノイズ低減処理が行われた画像信号が出力される(Step4)。
そして、ノイズ低減処理後の画像信号に、公知の階調変換処理、強調処理、圧縮処理などの信号処理が行われる(Step5)。
次に、信号処理が行われた画像信号が出力される(Step6)。
その後、映像信号に含まれる全画像信号の処理が完了したか否かが判定され(Step7)、完了していないと判定された場合にはStep2へ戻って次の画像信号について上述したような処理が繰り返して行われる。
一方、全画像信号の処理が完了していると判定された場合には、この処理が終了される。
Further, the image signal subjected to the noise reduction process is output (Step 4).
Then, signal processing such as known gradation conversion processing, enhancement processing, and compression processing is performed on the image signal after the noise reduction processing (Step 5).
Next, an image signal subjected to signal processing is output (Step 6).
Thereafter, it is determined whether or not the processing of all the image signals included in the video signal has been completed (Step 7). If it is determined that the processing has not been completed, the process returns to Step 2 to perform the processing as described above for the next image signal. Is repeated.
On the other hand, when it is determined that the processing of all the image signals has been completed, this processing is terminated.

次に、図8を参照して、図7のStep3におけるノイズ低減処理の詳細について説明する。
この処理を開始すると、ノイズ低減処理の対象となる画像信号中の、注目画素を含む局所領域が、図2に示したように抽出される(Step11)。
続いて、ノイズ低減処理がなされた過去の画像信号が入力される(Step12)。
さらに、過去の画像信号から、注目画素と同一空間位置の画素を含む局所領域が抽出される(Step13)。
Next, the details of the noise reduction processing in Step 3 of FIG. 7 will be described with reference to FIG.
When this process is started, a local region including the target pixel in the image signal to be subjected to the noise reduction process is extracted as shown in FIG. 2 (Step 11).
Subsequently, a past image signal that has undergone noise reduction processing is input (Step 12).
Further, a local region including a pixel at the same spatial position as the target pixel is extracted from the past image signal (Step 13).

次に、注目画素を含む局所領域と過去の局所領域とに基づいて、3次元ノイズ低減処理が行われる(Step14)。
続いて、3次元ノイズ低減処理後の注目画素の信号値に基づいてノイズ量が数2に示したように推定される(Step15)。
Next, a three-dimensional noise reduction process is performed based on the local region including the target pixel and the past local region (Step 14).
Subsequently, based on the signal value of the target pixel after the three-dimensional noise reduction processing, the amount of noise is estimated as shown in Equation 2 (Step 15).

さらに、注目画素の近傍に位置する近傍画素の判定結果が読み込まれる(Step16)。
その後、近傍画素の判定結果に基づいて、ノイズ量の補正が行われる(Step17)。
次に、Step2において分離された注目画素の信号値と、Step14で算出された3次元ノイズ低減済み画像信号の差分絶対値が算出される(Step18)。
ここで、注目画素の差分絶対値がノイズ推定量より小さいか否かが判定される(Step19)。
Further, the determination result of the neighboring pixels located in the vicinity of the target pixel is read (Step 16).
Thereafter, the noise amount is corrected based on the determination result of the neighboring pixels (Step 17).
Next, the absolute value of the difference between the signal value of the target pixel separated in Step 2 and the three-dimensional noise-reduced image signal calculated in Step 14 is calculated (Step 18).
Here, it is determined whether or not the difference absolute value of the target pixel is smaller than the noise estimation amount (Step 19).

一方、Step19において、注目画素の差分絶対値がノイズ推定量より小さいと判定された場合には、注目画素の信号値に3次元ノイズ低減済み画像信号値が代入される(Step20)。
次に、注目画素を含む局所領域に基づいて、2次元ノイズ低減処理が行われる(Step21)。
On the other hand, if it is determined in Step 19 that the absolute difference value of the target pixel is smaller than the estimated noise amount, the three-dimensional noise-reduced image signal value is substituted for the signal value of the target pixel (Step 20).
Next, a two-dimensional noise reduction process is performed based on the local region including the target pixel (Step 21).

その後、画像信号から抽出し得る全ての局所領域について処理が終了したか否かが判定され(Step22)、完了していないと判定された場合はStep11へ戻って次の局所領域を抽出して上述したような処理が行われる。
一方、Step22において、画像信号から抽出し得る全ての局所領域について処理が終了したと判定された場合には、図7に示した処理にリターンされる。
Thereafter, it is determined whether or not the processing has been completed for all local areas that can be extracted from the image signal (Step 22). If it is determined that the processing has not been completed, the process returns to Step 11 to extract the next local area and The process as described above is performed.
On the other hand, if it is determined in Step 22 that the processing has been completed for all local regions that can be extracted from the image signal, the processing returns to the processing shown in FIG.

なお、上述では、ノイズ低減処理に用いる過去の画像信号の数について特に限定はしていないが、処理対象となっている画像信号の1つ前の画像信号のみを用いても構わないし、処理対象となっている画像信号よりも過去の複数の画像信号を用いるようにしてもよい。ただし、後者の場合には、フレームメモリ207として複数フレームの信号を記憶可能な記憶容量を確保する必要があり、第2の領域抽出部202は処理対象のフレーム数分の処理を行うことになり、第1のノイズ低減部203は複数フレームに対応した処理を行うことになる。   In the above description, the number of past image signals used for noise reduction processing is not particularly limited, but only the image signal immediately before the image signal to be processed may be used. A plurality of past image signals may be used rather than the image signal. However, in the latter case, it is necessary to secure a storage capacity capable of storing signals of a plurality of frames as the frame memory 207, and the second area extraction unit 202 performs processing for the number of frames to be processed. The first noise reduction unit 203 performs processing corresponding to a plurality of frames.

また、上述では、数2における各係数αs、βs、γs(s=y,cb,cr)を単に定数項としたが、画像信号を撮像したときの撮像素子101の温度やゲインなどに依存する定数項とすれば、これらの要因にも対応することが可能となる。   In the above description, the coefficients αs, βs, and γs (s = y, cb, cr) in Equation 2 are simply constant terms, but depend on the temperature and gain of the image sensor 101 when the image signal is captured. If a constant term is used, it is possible to cope with these factors.

このような実施形態によれば、被写体の動きや信号レベル、輝度レベルなどの撮影時に動的に変化する要因に対応してノイズ量を高精度に推定しているために、画面全体における最適なノイズ低減を行うことが可能となる。これにより、高品位な映像信号を得ることができる。
このとき、処理対象の画像信号のノイズ量を、ノイズ成分が除去された過去の画像信号に基づいて推定するようにしているために、ノイズ量の推定精度を向上することができる。
According to such an embodiment, the amount of noise is estimated with high accuracy in response to factors that dynamically change during shooting, such as the movement of the subject, the signal level, and the luminance level. Noise reduction can be performed. Thereby, a high-definition video signal can be obtained.
At this time, since the noise amount of the image signal to be processed is estimated based on the past image signal from which the noise component is removed, the estimation accuracy of the noise amount can be improved.

さらに、輝度ノイズ量と色差ノイズ量とを独立に推定するようにしたために、各々の推定精度を向上することができる。
また、ノイズ量に基づいてノイズ範囲を設定しノイズ低減処理を行うようにしたために、原信号と全く異なる信号値になってしまうことはなく、原信号の保存性に優れるという利点がある。このとき、ノイズ範囲に属すると判定された注目画素については3次元ノイズ低減処理後の画素値を適用し、ノイズ範囲に属さないと判定された注目画素についてはノイズ量に基づく補正処理を行うようにしたために、ノイズ低減処理に伴う不連続性の発生を防止して高品位な信号を得ることができる。
Furthermore, since the luminance noise amount and the color difference noise amount are estimated independently, the estimation accuracy of each can be improved.
Further, since the noise range is set based on the amount of noise and the noise reduction processing is performed, the signal value does not become completely different from the original signal, and there is an advantage that the preservation of the original signal is excellent. At this time, the pixel value after the three-dimensional noise reduction process is applied to the target pixel determined to belong to the noise range, and the correction process based on the noise amount is performed to the target pixel determined not to belong to the noise range. Therefore, it is possible to obtain a high-quality signal by preventing the occurrence of discontinuity associated with the noise reduction process.

そして、ノイズ低減処理後の信号を本来の信号として出力して、その後に各種の信号処理等を行うようにしたために、従来の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる利点がある。
また、色差線順次型の色フィルタ配置に合わせて輝度信号と色差信号とを求めるようにしたために、高速な処理が可能となる。
And, since the signal after noise reduction processing is output as the original signal and then various signal processing etc. are performed, compatibility with conventional processing systems is maintained, and combinations with various systems are possible There are advantages that are possible.
In addition, since the luminance signal and the color difference signal are obtained in accordance with the color difference line sequential type color filter arrangement, high-speed processing becomes possible.

さらに、近傍画素の残像判定結果に基づき、ノイズ推定量Nsを補正するようにしている。つまり、空間的に相関のある残像成分に対して、近傍画素に残像成分が含まれる場合には、ノイズ範囲を狭めて、つまり3次元ノイズ低減処理(数3参照。)を適用する範囲を狭めるようにしたために、3次元ノイズ低減済み画像から高精度に残像成分を除くことが可能となる。一方、近傍画素に残像成分が含まれない場合には、ノイズ範囲は変わらず、動きのない被写体に対しては効果的な3次元ノイズ低減処理を施せるため、高品位な信号を得ることが可能となる。   Further, the estimated noise amount Ns is corrected based on the afterimage determination result of the neighboring pixels. That is, when an afterimage component is included in a neighboring pixel with respect to an afterimage component having a spatial correlation, the noise range is narrowed, that is, the range to which the three-dimensional noise reduction processing (see Equation 3) is applied is narrowed. As a result, afterimage components can be removed from the three-dimensional noise-reduced image with high accuracy. On the other hand, when the afterimage component is not included in the neighboring pixels, the noise range does not change, and an effective three-dimensional noise reduction process can be performed on a non-moving subject, so a high-quality signal can be obtained. It becomes.

また、注目画素の3次元ノイズ低減処理済み画像に残像成分が含まれると判定された場合は、2次元ノイズ低減処理の重み荷重を大きくするように調整することにより、ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号を得ることができる。   Further, when it is determined that the afterimage component is included in the 3D noise reduction processed image of the target pixel, the discontinuity associated with the noise reduction processing is adjusted by increasing the weight load of the 2D noise reduction processing. Generation of high-quality signals can be obtained.

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。   Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined. Thus, it goes without saying that various modifications and applications are possible without departing from the spirit of the invention.

(第2の実施形態)
本発明の第2の実施形態に係る撮像システムついて、図9〜図14を参照して以下に説明する。
この第2の実施形態において、上述の第1の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
(Second Embodiment)
An imaging system according to the second embodiment of the present invention will be described below with reference to FIGS.
In the second embodiment, the same parts as those in the first embodiment described above are denoted by the same reference numerals, description thereof is omitted, and only different points will be mainly described.

図9は第2の実施形態に係る撮像システムの全体構成を示す概略構成図、図10は図9の撮像システムノイズ低減部のブロック構成図、図11はRGBフィルタの配列と局所領域抽出に関する説明図、図12は図9の撮像システムの残像検出部のブロック構成図、図13は図9の撮像システムの第2のノイズ低減部のブロック構成図、図14は残像検出部の算出値に対する重み係数の関係を示している。   FIG. 9 is a schematic configuration diagram showing the overall configuration of the imaging system according to the second embodiment, FIG. 10 is a block configuration diagram of the imaging system noise reduction unit of FIG. 9, and FIG. 11 is an explanation regarding the arrangement of RGB filters and local region extraction. FIG. 12, FIG. 12 is a block diagram of the afterimage detection unit of the imaging system of FIG. 9, FIG. 13 is a block diagram of the second noise reduction unit of the imaging system of FIG. 9, and FIG. 14 is a weight for the calculated value of the afterimage detection unit. The relationship between the coefficients is shown.

まず、図9に示したような本実施形態に係る撮像システムの信号の流れを説明する。
この図9に示す撮像システムは、図1に示された第1の実施形態に係る撮像システムを一部変更したものとなっている。
First, a signal flow of the imaging system according to the present embodiment as illustrated in FIG. 9 will be described.
The imaging system shown in FIG. 9 is obtained by partially changing the imaging system according to the first embodiment shown in FIG.

すなわち、この撮像システムは、図1に示した撮像素子101をR撮像素子501、G撮像素子502およびB撮像素子503に、ノイズ低減部104をノイズ低減部504に、それぞれ置換し、Y/C分離部103を除いた構成になっている。また、R撮像素子501、G撮像素子502およびB撮像素子503には、入射した光束をRGBの3色成分に分離するためのダイクロイックプリズムが設けられている。その他の基本的な構成は第1の実施形態と同様であって、同一の構成には同一の名称と符号を付している。   That is, this imaging system replaces the imaging device 101 shown in FIG. 1 with the R imaging device 501, the G imaging device 502 and the B imaging device 503, and the noise reduction unit 104 with the noise reduction unit 504, respectively. The configuration is such that the separation unit 103 is excluded. The R imaging element 501, the G imaging element 502, and the B imaging element 503 are provided with dichroic prisms for separating the incident light flux into RGB three-color components. Other basic configurations are the same as those in the first embodiment, and the same names and symbols are assigned to the same configurations.

以下、主として異なる部分のみを説明する。R撮像素子501、G撮像素子502およびB撮像素子503は、ダイクロイックプリズムによりRGBの3色に分離されたR成分の光がR撮像素子501へ、G成分の光がG撮像素子502へ、B成分の光がB撮像素子503へそれぞれ導かれることによって、光電変換してアナログの画像信号として出力するようになっている。ここで、R撮像素子501、G撮像素子502およびB撮像素子503は、A/D変換部102にそれぞれ接続されている。   Hereinafter, only different parts will be mainly described. The R imaging element 501, the G imaging element 502, and the B imaging element 503 are configured such that R component light separated into RGB three colors by the dichroic prism is transmitted to the R imaging element 501, G component light is transmitted to the G imaging element 502, B The component light is guided to the B image sensor 503, so that the light is photoelectrically converted and output as an analog image signal. Here, the R imaging element 501, the G imaging element 502, and the B imaging element 503 are connected to the A / D conversion unit 102, respectively.

次に図10を参照してノイズ低減部504の構成の一例について説明する。
この図10に示すノイズ低減部504は、上述した第1の実施形態の図3に示したノイズ低減部104を一部変更したものとなっている。すなわち、このノイズ低減部504は、図3に示したY/C分離部103をA/D変換部102に、図3に示した第1の領域抽出部201を第1の領域抽出部601に、図3に示した第2の領域抽出部202を第2の領域抽出部602に、図3に示した残像検出部205を残像検出部605に、図3に示した第2のノイズ低減部206を第2のノイズ低減部606に、それぞれ置換した構成になっている。その他の基本的な構成は第1の実施形態と同様であって、同一の構成には同一の名称と符号を付している。
Next, an example of the configuration of the noise reduction unit 504 will be described with reference to FIG.
The noise reduction unit 504 illustrated in FIG. 10 is obtained by partially changing the noise reduction unit 104 illustrated in FIG. 3 of the first embodiment described above. That is, the noise reduction unit 504 includes the Y / C separation unit 103 illustrated in FIG. 3 as the A / D conversion unit 102 and the first region extraction unit 201 illustrated in FIG. 3 as the first region extraction unit 601. 3, the second region extraction unit 202 shown in FIG. 3 is used as the second region extraction unit 602, the afterimage detection unit 205 shown in FIG. 3 is used as the afterimage detection unit 605, and the second noise reduction unit shown in FIG. In this configuration, 206 is replaced with the second noise reduction unit 606. Other basic configurations are the same as those in the first embodiment, and the same names and symbols are assigned to the same configurations.

A/D変換部102は、第1の領域抽出部601と、第1のノイズ低減部203と、第2のノイズ低減部606を介して、信号処理部105に接続されている。第1の領域抽出部601は、残像検出部605および第2のノイズ低減部606にも接続されている。第1のノイズ低減部203は、ノイズ推定部204および残像検出部605にも接続されている。   The A / D conversion unit 102 is connected to the signal processing unit 105 via the first region extraction unit 601, the first noise reduction unit 203, and the second noise reduction unit 606. The first region extraction unit 601 is also connected to the afterimage detection unit 605 and the second noise reduction unit 606. The first noise reduction unit 203 is also connected to the noise estimation unit 204 and the afterimage detection unit 605.

ノイズ推定部204は、残像検出部605に接続されている。残像検出部605は、第2のノイズ低減部606に接続されている。第2のノイズ低減部606は、フレームメモリ207にも接続されている。フレームメモリ207は、第2の領域抽出部602を介して、第1のノイズ低減部203に接続されている。   The noise estimation unit 204 is connected to the afterimage detection unit 605. The afterimage detection unit 605 is connected to the second noise reduction unit 606. The second noise reduction unit 606 is also connected to the frame memory 207. The frame memory 207 is connected to the first noise reduction unit 203 via the second region extraction unit 602.

また、制御部107は、第1の領域抽出部601、第2の領域抽出部602、第1のノイズ低減部203、ノイズ推定部204、残像検出部605、第2のノイズ低減部606と双方向に接続されていて、これらを制御するようになっている。   In addition, the control unit 107 includes both the first region extraction unit 601, the second region extraction unit 602, the first noise reduction unit 203, the noise estimation unit 204, the afterimage detection unit 605, and the second noise reduction unit 606. Are connected to each other to control them.

第1の領域抽出部601は、制御部107の制御に基づき、ノイズ低減処理の対象となる画像信号中の注目画素および該注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出して、第1のノイズ低減部203と残像検出部605と第2のノイズ低減部606とへ出力する。   Based on the control of the control unit 107, the first region extraction unit 601 sequentially extracts a local region including a target pixel in an image signal to be subjected to noise reduction processing and a neighboring pixel located in the vicinity of the target pixel. And output to the first noise reduction unit 203, the afterimage detection unit 605, and the second noise reduction unit 606.

本実施形態では、局所領域として図11に示すような5×5画素を想定している。他の例として、これに限らず、局所領域として、任意の範囲の画素を想定してもよい。例えば、局所領域として、3×3画素からなる正方形領域を想定してもよいし、あるいは、7×5画素からなる長方形領域を想定してもよい。   In the present embodiment, 5 × 5 pixels as shown in FIG. 11 are assumed as the local region. As another example, the present invention is not limited to this, and an arbitrary range of pixels may be assumed as the local region. For example, a square area composed of 3 × 3 pixels may be assumed as the local area, or a rectangular area composed of 7 × 5 pixels may be assumed.

また、他の例として、局所領域として、4×4画素からなる正方形領域や、4×6の長方形領域を想定してもよい。この場合、正方形領域の中心部分は一つの画素ではなく、複数の画素で構成されるため、そのうちのいずれか一つが注目画素となる。また、この局所領域の範囲は、ユーザの指示に応じてあらかじめ設定されてもよい。   As another example, a square area composed of 4 × 4 pixels or a 4 × 6 rectangular area may be assumed as the local area. In this case, since the central portion of the square area is not a single pixel but is composed of a plurality of pixels, one of them is the target pixel. Further, the range of the local area may be set in advance according to a user instruction.

第2の領域抽出部202は、制御部107の制御に基づき、フレームメモリ207に記憶されているノイズ低減処理がなされた過去の画像信号から、図11に示した注目画素と同一空間位置の画素と該画素の近傍に位置する近傍画素とからなる局所領域を順次抽出して、第1のノイズ低減部203へ出力する。   Based on the control of the control unit 107, the second region extraction unit 202 uses a past image signal subjected to noise reduction processing stored in the frame memory 207, and a pixel at the same spatial position as the target pixel shown in FIG. And a local region composed of neighboring pixels located in the vicinity of the pixel are sequentially extracted and output to the first noise reduction unit 203.

第2のノイズ低減部606は、制御部107の制御に基づき、第1の領域抽出部601から出力される注目画素のRGB信号値と、第1のノイズ低減部203から出力される注目画素のノイズ低減済みRGB信号と、残像検出部605から出力される算出値とを用いてノイズ低減処理を行う。第2のノイズ低減部606は、ノイズ低減処理を行った後の注目画素のRGB信号値を信号処理部105とフレームメモリ207とへ出力する。   Based on the control of the control unit 107, the second noise reduction unit 606 outputs the RGB signal value of the target pixel output from the first region extraction unit 601 and the target pixel output from the first noise reduction unit 203. Noise reduction processing is performed using the noise-reduced RGB signal and the calculated value output from the afterimage detection unit 605. The second noise reduction unit 606 outputs the RGB signal value of the target pixel after performing the noise reduction processing to the signal processing unit 105 and the frame memory 207.

次に、残像検出部605の詳細な構成について図12を参照して説明する。
この図12に示す残像検出部605は、上述した第1の実施形態の図5に示した残像検出部205を一部変更したものとなっている。すなわち、この残像検出部605は、図5に示した判定部303を判定部703に置換した構成になっている。その他の基本的な構成は第1の実施形態と同様であって、同一の構成には同一の名称と符号を付している。
Next, a detailed configuration of the afterimage detection unit 605 will be described with reference to FIG.
The afterimage detection unit 605 shown in FIG. 12 is obtained by partially changing the afterimage detection unit 205 shown in FIG. 5 of the first embodiment. That is, the afterimage detection unit 605 is configured by replacing the determination unit 303 shown in FIG. 5 with a determination unit 703. Other basic configurations are the same as those in the first embodiment, and the same names and symbols are assigned to the same configurations.

判定部703は、制御部107の制御に基づき、演算部301から出力された絶対差分信号値と、調整部302から出力された調整後ノイズ量を比較することにより、ノイズ低減済みRGB信号に残像成分が含まれるか否かを判定する。ここで、絶対差分信号値と調整後ノイズ推定量の差分値を算出する。絶対差分信号値が調整後ノイズ推定量より大きい場合には、算出値は正の値、絶対差分信号値が調整後ノイズ推定量より小さい場合には、算出値は負の値をとるものとする。   Based on the control of the control unit 107, the determination unit 703 compares the absolute difference signal value output from the calculation unit 301 with the adjusted noise amount output from the adjustment unit 302, thereby creating an afterimage in the noise-reduced RGB signal. It is determined whether or not a component is included. Here, a difference value between the absolute difference signal value and the adjusted noise estimation amount is calculated. When the absolute difference signal value is larger than the adjusted noise estimation amount, the calculated value is a positive value. When the absolute difference signal value is smaller than the adjusted noise estimation amount, the calculated value is a negative value. .

算出値が正の値の場合には、第1のノイズ低減処理を行った信号には残像成分が含まれると判定し、注目画素に残像成分が含まれるか否かの判定信号を「残像成分が含まれる」とする。逆に、算出値が負の値の場合には、第1のノイズ低減処理を行った信号には残像成分が含まれないと判定し、判定信号を「残像成分が含まれない」とする。算出値は第2のノイズ低減部606へ出力される。判定信号は判定結果記憶部304へ出力される。   If the calculated value is a positive value, it is determined that the afterimage component is included in the signal subjected to the first noise reduction processing, and a determination signal indicating whether the afterimage component is included in the target pixel is “afterimage component”. Is included. " On the contrary, when the calculated value is a negative value, it is determined that the afterimage component is not included in the signal subjected to the first noise reduction process, and the determination signal is “not including the afterimage component”. The calculated value is output to the second noise reduction unit 606. The determination signal is output to the determination result storage unit 304.

次に、第2のノイズ低減部606の詳細な構成について図13を参照して説明する。
2次元ノイズ低減部801は、制御部107の制御に基づき、第1の領域抽出部601から転送された注目画素を含む局所領域に基づき、2次元ノイズ低減処理を行う。
Next, a detailed configuration of the second noise reduction unit 606 will be described with reference to FIG.
The two-dimensional noise reduction unit 801 performs a two-dimensional noise reduction process based on the local region including the target pixel transferred from the first region extraction unit 601 based on the control of the control unit 107.

本実施形態においては、注目画素と、近傍画素とに対して、注目画素に空間的に近い近傍画素に対しては大きな荷重を付け、注目画素から空間的に遠い近傍画素に対しては小さな荷重を付けて重み付け加算し、さらに、注目画素に近い値を持つ近傍画素には大きな荷重を付け、注目画素から遠い値を持つ近傍画素には小さな荷重をつけて重み付け加算するような非線形フィルタを想定している。2次元ノイズ低減部801は、2次元ノイズ低減処理を行った後の注目画素のRGB信号NR2s(s=r,g,b)を合成部803に出力する。   In the present embodiment, for the target pixel and neighboring pixels, a large load is applied to neighboring pixels spatially close to the target pixel, and a small load is applied to neighboring pixels spatially far from the target pixel. Assuming a non-linear filter that adds weights to neighboring pixels with values close to the target pixel and adds weights to neighboring pixels with values far from the target pixel. doing. The two-dimensional noise reduction unit 801 outputs the RGB signal NR2s (s = r, g, b) of the target pixel after performing the two-dimensional noise reduction process to the synthesis unit 803.

係数算出部802は、制御部107の制御に基づき、残像検出部605から転送されてきた算出値に基づき、RGB信号の重み付け係数Ks(s=r,g,b)を設定する。
ここで、注目画素の算出値が正の値の場合は、重み係数Ksを大きく設定する。一方、注目画素の算出値が負の値の場合は、重み係数Ksを小さく設定する。算出値と重み係数Ksとの関係を表す例を図14(a)〜(c)に示す。
The coefficient calculation unit 802 sets the weighting coefficient Ks (s = r, g, b) of the RGB signal based on the calculated value transferred from the afterimage detection unit 605 based on the control of the control unit 107.
Here, when the calculated value of the target pixel is a positive value, the weighting coefficient Ks is set large. On the other hand, when the calculated value of the target pixel is a negative value, the weighting coefficient Ks is set small. An example showing the relationship between the calculated value and the weighting coefficient Ks is shown in FIGS.

合成部803は、制御部107の制御に基づき、2次元ノイズ低減部801から転送されてきた注目画素のRGB信号と、第1のノイズ低減部203から転送されてきた注目画素のRGB信号値NRs(s=r,g,b)を、係数算出部802から出力される重み係数Ks(s=r,g,b)に基づき合成処理を行う。出力信号値NR3s(s=r,g,b)は次の数4で表わされる。   Based on the control of the control unit 107, the synthesizing unit 803 and the RGB signal of the target pixel transferred from the two-dimensional noise reduction unit 801 and the RGB signal value NRs of the target pixel transferred from the first noise reduction unit 203. (S = r, g, b) is combined based on the weighting coefficient Ks (s = r, g, b) output from the coefficient calculation unit 802. The output signal value NR3s (s = r, g, b) is expressed by the following equation 4.

Figure 0005123756
Figure 0005123756

なお、上述においては、映像信号処理装置として、R撮像素子501、G撮像素子502、B撮像素子503、A/D変換部102等の撮像部が一体化された撮像装置を例に挙げて説明したが、このような構成に限定される必要はない。例えば、別体の撮像部により撮像された映像信号を未処理の生(Raw)データの形式でメモリーカードなどの記録媒体に記録しておくとともに、さらに撮像条件や撮像時に得られたデータなどの付随情報もヘッダ情報として記録媒体に記録しておき、この記録媒体に記憶された情報を読み出して、映像信号処理装置により処理することも可能である。   In the above description, an image pickup apparatus in which an image pickup unit such as the R image pickup element 501, the G image pickup element 502, the B image pickup element 503, and the A / D conversion unit 102 is integrated is described as an example. However, it is not necessary to be limited to such a configuration. For example, a video signal captured by a separate imaging unit is recorded on a recording medium such as a memory card in the form of unprocessed raw data, and further, imaging conditions, data obtained at the time of imaging, etc. The accompanying information can also be recorded on the recording medium as header information, and the information stored in the recording medium can be read out and processed by the video signal processing apparatus.

ここに、撮像部が別体となっている映像信号処理装置への情報の伝達は、記録媒体を介して行うに限るものではなく、有線あるいは無線の通信回線等を介して行うようにしても構わないことはもちろんである。
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子101からの信号を未処理のままの生(Raw)データとして、制御部107からの撮影時の撮影モード、ゲイン、輝度レベルの変化量などのヘッダ情報と共に出力し、コンピュータにおいて、別途のソフトウェアである映像信号処理プログラムにより処理するように構成することも可能である。
Here, the transmission of information to the video signal processing apparatus having a separate imaging unit is not limited to being performed via a recording medium, but may be performed via a wired or wireless communication line or the like. Of course it doesn't matter.
Further, in the above description, processing by hardware is assumed, but the present invention is not limited to such a configuration. For example, a signal from the image sensor 101 is output as raw (raw) data as raw data together with header information such as a shooting mode, a gain, and a change in luminance level at the time of shooting from the control unit 107. It is also possible to configure to process by a video signal processing program which is separate software.

このような実施形態によれば、注目画素の3次元ノイズ低減処理済み画像に残像成分が含まれると判定された場合は、係数算出部で2次元ノイズ低減処理の重み荷重を大きくするように設定することにより、残像成分を抑制した、ノイズ低減処理に伴う不連続性の発生を防止した高品位な信号を得ることができる。   According to such an embodiment, when it is determined that the afterimage component is included in the 3D noise reduction processed image of the target pixel, the coefficient calculation unit is configured to increase the weight load of the 2D noise reduction processing. By doing so, it is possible to obtain a high-quality signal in which afterimage components are suppressed and discontinuity due to noise reduction processing is prevented.

本発明の第1の実施形態に係る撮像システムの全体構成を示す概略構成図である。1 is a schematic configuration diagram illustrating an overall configuration of an imaging system according to a first embodiment of the present invention. 図1の撮像システムの色差線順次補色フィルタの配列と局所領域抽出に関する説明図である。FIG. 2 is an explanatory diagram regarding an arrangement of color difference line sequential complementary color filters and local region extraction of the imaging system of FIG. 1. 図1の撮像システムのノイズ低減部を示すブロック構成図である。It is a block block diagram which shows the noise reduction part of the imaging system of FIG. 図1の撮像システムの信号レベルに対するノイズ推定量の関係を示すグラフである。3 is a graph showing a relationship of a noise estimation amount with respect to a signal level of the imaging system of FIG. 図1の撮像システムの残像検出部を示すブロック構成図である。It is a block block diagram which shows the afterimage detection part of the imaging system of FIG. 図1の撮像システムの第2のノイズ低減部を示すブロック構成図である。It is a block block diagram which shows the 2nd noise reduction part of the imaging system of FIG. 図1の撮像システムの処理全体の流れを示すフローチャートである。It is a flowchart which shows the flow of the whole process of the imaging system of FIG. 図1の撮像システムのノイズ低減処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the noise reduction process of the imaging system of FIG. 本発明の第2の実施形態に係る撮像システムの全体構成を示す概略構成図である。It is a schematic block diagram which shows the whole structure of the imaging system which concerns on the 2nd Embodiment of this invention. 図9の撮像システムのノイズ低減部を示すブロック構成図である。It is a block block diagram which shows the noise reduction part of the imaging system of FIG. 図9の撮像システムのRGBフィルタの配列と局所領域抽出の関係を説明する説明図である。It is explanatory drawing explaining the relationship between the arrangement | sequence of the RGB filter of the imaging system of FIG. 9, and local region extraction. 図9の撮像システムの残像検出部を示すブロック構成図である。It is a block block diagram which shows the afterimage detection part of the imaging system of FIG. 図9の撮像システムの第2のノイズ低減部を示すブロック構成図である。It is a block block diagram which shows the 2nd noise reduction part of the imaging system of FIG. 図9の撮像システムの残像検出部の算出値に対する重み係数の関係を示すグラフである。10 is a graph showing a relationship of a weighting factor with respect to a calculated value of an afterimage detection unit of the imaging system in FIG. 9.

符号の説明Explanation of symbols

101 撮像素子(撮像系)
201 第1の領域抽出部(第1の抽出部)
202,602 第2の領域抽出部(第2の抽出部)
203 第1のノイズ低減部
204 ノイズ推定部
205,605 残像検出部
206,606 第2のノイズ低減部
207 フレームメモリ(記憶部)
301 演算部
302 調整部
303,703 判定部
304 判定結果記憶部
401 切り替え部(置き換え部)
402,801 2次元ノイズ低減部
802 係数算出部
803 合成部
101 Image sensor (imaging system)
201 first region extraction unit (first extraction unit)
202,602 Second region extraction unit (second extraction unit)
203 1st noise reduction part 204 Noise estimation part 205,605 Afterimage detection part 206,606 2nd noise reduction part 207 Frame memory (memory | storage part)
301 Calculation Unit 302 Adjustment Unit 303,703 Determination Unit 304 Determination Result Storage Unit 401 Switching Unit (Replacement Unit)
402,801 Two-dimensional noise reduction unit 802 Coefficient calculation unit 803 Synthesis unit

Claims (8)

撮像系を介して時系列に取り込まれた画像信号に対しノイズ低減処理を行う撮像システムであって、
処理対象の画像信号から注目画素を包含する局所領域を抽出する第1の抽出部と、
前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第2の抽出部と、
前記第1の抽出部により抽出された局所領域に対し、前記第2の抽出部により抽出された局所領域を用いてノイズ低減処理を行う第1のノイズ低減部と、
該第1のノイズ低減部によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定するノイズ推定部と、
該ノイズ推定部により推定されたノイズ量に基づき前記第1のノイズ低減部から出力されたノイズ低減処理を施された局所領域に含まれる残像成分を検出する残像検出部と、
該残像検出部により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第2のノイズ低減部とを有することを特徴とする撮像システム。
An imaging system that performs noise reduction processing on an image signal captured in time series via an imaging system,
A first extraction unit that extracts a local region including a target pixel from an image signal to be processed;
A second extraction unit for extracting a local region at substantially the same position as the local region from another image signal acquired at a different time with respect to the image signal to be processed;
A first noise reduction unit that performs noise reduction processing on the local region extracted by the first extraction unit using the local region extracted by the second extraction unit;
A noise estimation unit that estimates the amount of noise included in the pixel of interest based on the local region subjected to noise reduction processing by the first noise reduction unit;
An afterimage detection unit that detects an afterimage component included in the local region subjected to the noise reduction process output from the first noise reduction unit based on the amount of noise estimated by the noise estimation unit;
An imaging system comprising: a second noise reduction unit that performs noise reduction processing of the target pixel based on the afterimage component detected by the afterimage detection unit.
前記残像検出部は、前記注目画素と前記第1のノイズ低減部によりノイズ低減処理を施された局所領域との差分の絶対値を算出する演算部と、該演算部により算出された差分の絶対値と前記ノイズ推定部により推定されたノイズ量とを比較し、前記注目画素に残像成分が含まれるか否かを判定する判定部とを有することを特徴とする請求項1に記載の撮像システム。   The afterimage detection unit is configured to calculate an absolute value of a difference between the pixel of interest and a local region subjected to noise reduction processing by the first noise reduction unit; and an absolute value of the difference calculated by the calculation unit The imaging system according to claim 1, further comprising: a determination unit that compares a value with a noise amount estimated by the noise estimation unit and determines whether or not an afterimage component is included in the target pixel. . 前記残像検出部は、前記注目画素近傍の判定結果に基づき前記ノイズ量を調整する調整部を有することを特徴とする請求項2に記載の撮像システム。   The imaging system according to claim 2, wherein the afterimage detection unit includes an adjustment unit that adjusts the amount of noise based on a determination result in the vicinity of the target pixel. 前記調整部は、前記注目画素近傍に残像成分が含まれる場合には、前記推定されたノイズ量が小さくなるように調整することを特徴とする請求項3に記載の撮像システム。   The imaging system according to claim 3, wherein the adjustment unit adjusts the estimated amount of noise to be small when an afterimage component is included in the vicinity of the target pixel. 前記第2のノイズ低減部は、前記残像検出部による検出結果に基づき前記処理対象の画像信号の注目画素を前記第1のノイズ低減部から出力される局所領域に置き換える置き換え部と、該置き換え部により置き換えられた画像信号に対して、前記判定部の判定結果に基づき、注目画素を含む局所領域内でノイズ低減処理を行う2次元ノイズ低減部とを有することを特徴とする請求項2に記載の撮像システム。   The second noise reduction unit includes a replacement unit that replaces a target pixel of the image signal to be processed with a local region output from the first noise reduction unit based on a detection result of the afterimage detection unit, and the replacement unit 3. The image processing apparatus according to claim 2, further comprising: a two-dimensional noise reduction unit that performs noise reduction processing on the image signal replaced by the image signal based on a determination result of the determination unit in a local region including the target pixel. Imaging system. 前記第2のノイズ低減部は、前記第1の抽出部により抽出された局所領域に対して、注目画素を含む局所領域内でノイズ低減処理を行う2次元ノイズ低減部と、前記残像検出部により検出された残像成分に基づき前記処理対象の画像信号および前記第1のノイズ低減部によりノイズ低減処理を施された局所領域の重み係数を算出する係数算出部と、該係数算出部により算出された係数を前記2次元ノイズ低減部によりノイズ低減処理を施された局所領域と前記第1のノイズ低減部によりノイズ低減処理を施された局所領域にそれぞれ乗算して合成する合成部とを有することを特徴とする請求項1に記載の撮像システム。   The second noise reduction unit includes a two-dimensional noise reduction unit that performs noise reduction processing on the local region extracted by the first extraction unit within a local region including a target pixel, and the afterimage detection unit. Based on the detected afterimage component, a coefficient calculation unit that calculates a weighting coefficient of the image signal to be processed and a local region subjected to noise reduction processing by the first noise reduction unit, and calculated by the coefficient calculation unit A local area that has been subjected to noise reduction processing by the two-dimensional noise reduction section, and a synthesis section that multiplies the coefficients by the local area that has been subjected to noise reduction processing by the first noise reduction section. The imaging system according to claim 1. 撮像系から時系列に取り込まれた画像信号に対しノイズ低減処理を行う画像処理において、
処理対象の画像信号から注目画素を包含する局所領域を抽出する第1のステップと、
画像信号を所定量記憶する第2のステップと、
前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第3のステップと、
前記第1のステップにより抽出された局所領域に対し、前記第3のステップにより抽出された局所領域を用いてノイズ低減処理を行う第4のステップと、
該第4のステップによりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第5のステップと、
該第5のステップにより推定されたノイズ量に基づき前記第4のステップによりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第6のステップと、
該第6のステップにより検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第7のステップとを含むことを特徴とする画像処理方法。
In image processing that performs noise reduction processing on image signals captured in time series from the imaging system,
A first step of extracting a local region including a target pixel from an image signal to be processed;
A second step of storing a predetermined amount of image signals;
A third step of extracting a local region at substantially the same position as the local region from other image signals acquired at different times with respect to the image signal to be processed;
A fourth step of performing noise reduction processing on the local region extracted by the first step using the local region extracted by the third step;
A fifth step of estimating the amount of noise included in the pixel of interest based on the local region subjected to noise reduction processing in the fourth step;
A sixth step of detecting an afterimage component included in the local region subjected to the noise reduction processing in the fourth step based on the amount of noise estimated in the fifth step;
And a seventh step of performing noise reduction processing of the pixel of interest based on the afterimage component detected in the sixth step.
撮像系から時系列に取り込まれた画像信号に対しノイズ低減処理をコンピュータに実行させるための画像処理プログラムにおいて、
処理対象の画像信号から注目画素を包含する局所領域を抽出する第1の処理と、
画像信号を所定量記憶する第2の処理と、
前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第3の処理と、
前記第1の処理により抽出された局所領域に対し、前記第3の処理により抽出された局所領域を用いてノイズ低減処理を行う第4の処理と、
該第4の処理によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第5の処理と、
該第5の処理により推定されたノイズ量に基づき前記第4の処理によりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第6の処理と、
該第6の処理により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第7の処理とをコンピュータに実行させることを特徴とする画像処理プログラム。
In an image processing program for causing a computer to execute noise reduction processing on an image signal captured in time series from an imaging system,
A first process for extracting a local region including a target pixel from an image signal to be processed;
A second process for storing a predetermined amount of image signals;
A third process of extracting a local region at substantially the same position as the local region from another image signal acquired at a different time with respect to the image signal to be processed;
A fourth process for performing a noise reduction process on the local area extracted by the first process using the local area extracted by the third process;
A fifth process for estimating the amount of noise included in the target pixel based on the local region subjected to the noise reduction process by the fourth process;
A sixth process for detecting an afterimage component included in the local region subjected to the noise reduction process by the fourth process based on the noise amount estimated by the fifth process;
An image processing program that causes a computer to execute a seventh process for performing a noise reduction process on the target pixel based on an afterimage component detected by the sixth process.
JP2008167864A 2008-06-26 2008-06-26 Imaging system, image processing method, and image processing program Expired - Fee Related JP5123756B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008167864A JP5123756B2 (en) 2008-06-26 2008-06-26 Imaging system, image processing method, and image processing program
US12/487,936 US8170345B2 (en) 2008-06-26 2009-06-19 Imaging system, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008167864A JP5123756B2 (en) 2008-06-26 2008-06-26 Imaging system, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
JP2010011072A JP2010011072A (en) 2010-01-14
JP5123756B2 true JP5123756B2 (en) 2013-01-23

Family

ID=41447527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008167864A Expired - Fee Related JP5123756B2 (en) 2008-06-26 2008-06-26 Imaging system, image processing method, and image processing program

Country Status (2)

Country Link
US (1) US8170345B2 (en)
JP (1) JP5123756B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200808067A (en) * 2006-07-31 2008-02-01 Univ Nat Cheng Kung Prediction module
JP4653059B2 (en) * 2006-11-10 2011-03-16 オリンパス株式会社 Imaging system, image processing program
JP5627215B2 (en) * 2009-11-04 2014-11-19 キヤノン株式会社 Image processing apparatus and control method thereof
US8977049B2 (en) * 2010-01-08 2015-03-10 Nvidia Corporation System and method for estimating signal-dependent noise of an image
EP2690860B1 (en) * 2011-03-24 2016-04-20 Mitsubishi Electric Corporation Image processing device and method
JP5880121B2 (en) * 2012-02-21 2016-03-08 株式会社リコー Image processing device
TWI536319B (en) * 2014-06-24 2016-06-01 瑞昱半導體股份有限公司 De-noising method and image system
CN107206377B (en) 2014-12-09 2020-02-11 伯克利之光生命科技公司 Automated detection of positive assay regions in microfluidic devices
US9996920B2 (en) * 2014-12-09 2018-06-12 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
EP3549099B1 (en) 2016-12-01 2024-08-21 Bruker Cellular Analysis, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
JP7098958B2 (en) * 2018-02-28 2022-07-12 株式会社ニコン Image pickup device, image processing device, and image processing program
TWI827725B (en) * 2018-12-07 2024-01-01 日商索尼半導體解決方案公司 Image processing device and image processing method
CN110691216B (en) * 2019-06-22 2021-11-05 蓝鲸智云智能科技南京有限公司 Running state on-site monitoring mechanism

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6359273A (en) * 1986-08-29 1988-03-15 Nec Home Electronics Ltd Noise reducing device
JP2826018B2 (en) 1992-08-07 1998-11-18 シャープ株式会社 Video signal noise reduction system
JPH07131680A (en) * 1993-11-09 1995-05-19 Hitachi Ltd Noise reeduction circuit
JPH0981754A (en) 1995-09-19 1997-03-28 Matsushita Electric Ind Co Ltd Movement detecting circuit
EP0957367A1 (en) * 1998-04-14 1999-11-17 THOMSON multimedia Method for estimating the noise level in a video sequence
JP2002033942A (en) 2000-07-17 2002-01-31 Sanyo Electric Co Ltd Method for suppressing noise in image signal, and image signal processor using the noise-suppressing method
JP2003219208A (en) 2002-01-18 2003-07-31 Oki Electric Ind Co Ltd Circuit for reducing video noise
JP4069679B2 (en) * 2002-05-24 2008-04-02 松下電器産業株式会社 Image processing method and image processing apparatus
US7295616B2 (en) * 2003-11-17 2007-11-13 Eastman Kodak Company Method and system for video filtering with joint motion and noise estimation
JP4417780B2 (en) 2004-05-31 2010-02-17 株式会社東芝 Noise removal apparatus and image display apparatus
WO2006010275A2 (en) * 2004-07-30 2006-02-02 Algolith Inc. Apparatus and method for adaptive 3d noise reduction
EP1681849B1 (en) * 2005-01-18 2011-10-19 LG Electronics, Inc. Apparatus for removing noise from a video signal
JP2006229749A (en) * 2005-02-18 2006-08-31 Sharp Corp Image processor and image processing method
KR100757392B1 (en) * 2005-07-29 2007-09-10 닛뽕빅터 가부시키가이샤 Noise detecting device and method, and device and method for reducing noise by the same
JP4693546B2 (en) * 2005-08-19 2011-06-01 株式会社東芝 Digital noise reduction apparatus and method, and video signal processing apparatus
JP4653059B2 (en) * 2006-11-10 2011-03-16 オリンパス株式会社 Imaging system, image processing program
US7983501B2 (en) * 2007-03-29 2011-07-19 Intel Corporation Noise detection and estimation techniques for picture enhancement
JP4257382B1 (en) * 2007-12-26 2009-04-22 株式会社東芝 Noise reduction device and noise reduction method

Also Published As

Publication number Publication date
US20090324089A1 (en) 2009-12-31
US8170345B2 (en) 2012-05-01
JP2010011072A (en) 2010-01-14

Similar Documents

Publication Publication Date Title
JP5123756B2 (en) Imaging system, image processing method, and image processing program
US8184181B2 (en) Image capturing system and computer readable recording medium for recording image processing program
JP3762725B2 (en) Imaging system and image processing program
JP4465002B2 (en) Noise reduction system, noise reduction program, and imaging system.
JP4547223B2 (en) Imaging system, noise reduction processing apparatus, and imaging processing program
JP4979595B2 (en) Imaging system, image processing method, and image processing program
US8300120B2 (en) Image processing apparatus and method of processing image for reducing noise of the image
JP4427001B2 (en) Image processing apparatus and image processing program
JP5016255B2 (en) Noise reduction apparatus, control method thereof, control program thereof, imaging apparatus, and digital camera
JP4660342B2 (en) Image processing system and image processing program
JP5143038B2 (en) Image processing apparatus and image processing method
KR20090087811A (en) Imaging device, image processing device, image processing method, program for image processing method, and recording medium having program for image processing method recorded thereon
JP5165300B2 (en) Video processing apparatus and video processing program
JPWO2007049418A1 (en) Image processing system and image processing program
JP5052189B2 (en) Video processing apparatus and video processing program
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
JP2011171842A (en) Image processor and image processing program
JP4980131B2 (en) Noise reduction apparatus and method, and program
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
JP2009171162A (en) Video signal processor, video signal processing program, video signal processing method, electronic device
JP5147577B2 (en) Image processing apparatus and method
JP2009100207A (en) Noise reduction system, noise reduction program, and imaging system
JP2009027615A (en) Video processing device and video processing program
JP2008271101A (en) Video processor and video processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5123756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees