JP5123756B2 - Imaging system, image processing method, and image processing program - Google Patents
Imaging system, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5123756B2 JP5123756B2 JP2008167864A JP2008167864A JP5123756B2 JP 5123756 B2 JP5123756 B2 JP 5123756B2 JP 2008167864 A JP2008167864 A JP 2008167864A JP 2008167864 A JP2008167864 A JP 2008167864A JP 5123756 B2 JP5123756 B2 JP 5123756B2
- Authority
- JP
- Japan
- Prior art keywords
- noise reduction
- unit
- noise
- local region
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 77
- 238000003672 processing method Methods 0.000 title description 4
- 230000009467 reduction Effects 0.000 claims abstract description 175
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 50
- 238000011946 reduction process Methods 0.000 claims abstract description 41
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 121
- 206010047571 Visual impairment Diseases 0.000 claims description 96
- 238000000034 method Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、時系列に取り込まれた画像信号に対してノイズ成分を低減する撮像システム、画像処理方法および画像処理プログラムに関する。 The present invention relates to an imaging system, an image processing method, and an image processing program that reduce a noise component with respect to an image signal captured in time series.
撮像素子とそれに付随するアナログ回路およびA/Dコンバータから得られるデジタル化された画像信号中には、一般にノイズ成分が含まれている。この画像信号に含まれるノイズ成分を低減し高画質な画像を得るために、ノイズ低減処理があり、例えば、動画像を時間的に連続する画像フレームとして捉え、時間的に相関性のないノイズ成分を低減する3次元ノイズ低減処理が数多く提案されている。 Generally, a noise component is included in a digitized image signal obtained from an image sensor and an accompanying analog circuit and A / D converter. In order to reduce the noise component contained in this image signal and obtain a high-quality image, there is noise reduction processing, for example, a moving image is regarded as a temporally continuous image frame, and the temporally uncorrelated noise component Many three-dimensional noise reduction processes for reducing the above have been proposed.
例えば、3次元ノイズ低減処理は、現在の画像信号と過去の画像信号とを減算して差分信号を取り、このフレーム間の差分にある一定の係数を乗算したものを現在の画像信号に加減算することにより、ノイズ低減処理を行うものである。このような3次元ノイズ低減処理では、ノイズ低減効果が得られる一方で、画像中の動きのある部分においては、差分信号にノイズ成分だけでなく動き成分も含まれることから、残像や尾引き(以下、残像成分と表記)などの画像の劣化が生じる場合がある。 For example, in the three-dimensional noise reduction process, the current image signal and the past image signal are subtracted to obtain a difference signal, and a product obtained by multiplying a difference between the frames by a certain coefficient is added to or subtracted from the current image signal. Thus, noise reduction processing is performed. In such a three-dimensional noise reduction process, a noise reduction effect can be obtained. On the other hand, in a portion where there is a motion in the image, not only a noise component but also a motion component is included in the difference signal. Hereinafter, image degradation such as an afterimage component may occur.
この場合には、差分信号等から得られる動き情報を用いて前記係数を算出し、動きのある部分では係数を小さくすることでノイズ低減の効果を弱くし、残像成分の低減が図られている。
このようなノイズ低減処理には、例えば、特許文献1に示されるように、時間方向、空間方向に入力画素データと相関をもつデータを探してノイズを低減する例が開示されている。この特許文献1においては、入力画素データに近い値を持つ画素には大きい荷重を、入力画素データから遠い値を持つ画素には小さな過重を付けて平均化する非線形フィルタが用いられている。これにより被写体の動きに応じたノイズ低減処理を行っている。
In this case, the coefficient is calculated using motion information obtained from a differential signal or the like, and the effect of noise reduction is weakened by reducing the coefficient in a portion where there is motion, thereby reducing the afterimage component. .
For example,
また、他の例として、例えば、特許文献2に示されるように、1フレーム前の信号との間の差分データに対し、所定期間の差分データの最大値と平均値を検出し、検出した最大値と平均値から、補正データ生成時の設定情報とノイズ低減処理のオン/オフを制御する制御信号を生成して精度よくノイズ量を検出し、ノイズ低減する例や、特許文献3に示されるように、複数フレーム間における画素信号の差分を動きの度合いとして検出し、これにより巡回するノイズのゲインを設定して、ノイズ低減を行う例が開示されている。
As another example, for example, as shown in
また、他の例として、特許文献4に示されるように、フレーム差分からの動き検出結果と画像信号のレベルによりノイズの巡回係数を制御することで、画像の明るさに応じたノイズ低減処理を行う装置の例もある。
また、他の例として、特許文献5に示されるに、フレーム間の差分から動き比較を行い、この比較結果を多数決処理回路においてチェックし、比較結果のバラツキを補正し、これを動き信号としてノイズの巡回係数を決定することで、良好に動き検出を行い、ノイズ低減を行う装置の例もある。
As another example, as shown in Patent Document 4, noise reduction processing corresponding to the brightness of an image is performed by controlling a noise cyclic coefficient according to a motion detection result from a frame difference and a level of an image signal. There are also examples of devices to do.
As another example, as shown in Patent Document 5, a motion comparison is performed based on a difference between frames, the comparison result is checked by a majority processing circuit, a variation in the comparison result is corrected, and this is used as a motion signal as noise. There is also an example of an apparatus that performs good motion detection and noise reduction by determining the cyclic coefficient.
上述したように、従来の3次元ノイズ低減処理においては、現在の画像信号との差分値により、ノイズに対する巡回係数を制御し、画像中に動き成分がある場合の、残像成分を低減していた。
しかしながら、一方では、差分信号には画像間の動き成分による差分と、画像信号に含まれるノイズ成分による差分が含まれている。そのため、動き成分の検出感度を上げると、ノイズ成分による差分の検出感度が下がり、ノイズ成分による差分を動き成分と誤検出して、良好なノイズ低減効果が得られない。一方、動き検出の感度を下げると、動き成分をノイズ成分と誤検出して、本来の動き部分に残像成分が生じるという不都合がある。
As described above, in the conventional three-dimensional noise reduction processing, the cyclic coefficient for noise is controlled by the difference value from the current image signal, and the afterimage component is reduced when there is a motion component in the image. .
However, on the other hand, the difference signal includes a difference due to a motion component between images and a difference due to a noise component included in the image signal. For this reason, if the detection sensitivity of the motion component is increased, the detection sensitivity of the difference due to the noise component decreases, and the difference due to the noise component is erroneously detected as the motion component, so that a good noise reduction effect cannot be obtained. On the other hand, if the sensitivity of motion detection is lowered, there is an inconvenience that a motion component is erroneously detected as a noise component and an afterimage component is generated in the original motion portion.
さらに、例えば、入力画像信号レベルのゲインがアップした場合のようなノイズ成分の値が大きな画像信号が入力されると、ノイズ成分による差分を動き成分と誤検出してしまい、ノイズ低減効果が得られず、良好なノイズ低減を行うことができないという問題がある。 Furthermore, for example, when an image signal with a large noise component value is input, such as when the gain of the input image signal level is increased, a difference due to the noise component is erroneously detected as a motion component, and a noise reduction effect is obtained. Therefore, there is a problem that good noise reduction cannot be performed.
本発明は、上述した課題を解決するためになされたものであり、撮影状況に最適化され、残像成分の発生を抑制した良好なノイズ低減処理を可能とする撮像システム、画像処理方法および画像処理プログラムを提供することを目的とする。 The present invention has been made in order to solve the above-described problems, and is an imaging system, an image processing method, and an image processing that are optimized for shooting conditions and enable good noise reduction processing that suppresses generation of afterimage components. The purpose is to provide a program.
上記課題を解決するために、本発明は以下の手段を提供する。
本発明のある態様は、撮像系を介して時系列に取り込まれた画像信号に対しノイズ低減処理を行う撮像システムであって、処理対象の画像信号から注目画素を包含する局所領域を抽出する第1の抽出部と、前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第2の抽出部と、前記第1の抽出部により抽出された局所領域に対し、前記第2の抽出部により抽出された局所領域を用いてノイズ低減処理を行う第1のノイズ低減部と、該第1のノイズ低減部によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定するノイズ推定部と、該ノイズ推定部により推定されたノイズ量に基づき前記第1のノイズ低減部から出力されたノイズ低減処理を施された局所領域に含まれる残像成分を検出する残像検出部と、該残像検出部により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第2のノイズ低減部とを有する撮像システムを提供する。
In order to solve the above problems, the present invention provides the following means.
An aspect of the present invention is an imaging system that performs noise reduction processing on an image signal captured in time series via an imaging system, and extracts a local region that includes a target pixel from an image signal to be processed. A first extraction unit, a second extraction unit that extracts a local region at substantially the same position as the local region from other image signals acquired at different times with respect to the image signal to be processed, and the first A first noise reduction unit that performs noise reduction processing on the local region extracted by the extraction unit using the local region extracted by the second extraction unit, and noise reduction processing by the first noise reduction unit A noise estimation unit that estimates the amount of noise included in the target pixel based on the local region that has been subjected to noise reduction, and a noise reduction process that is output from the first noise reduction unit based on the noise amount estimated by the noise estimation unit An imaging system comprising: an afterimage detection unit that detects an afterimage component included in the applied local region; and a second noise reduction unit that performs noise reduction processing on the target pixel based on the afterimage component detected by the afterimage detection unit I will provide a.
この態様によれば、記憶部に記憶された異なる時刻に取得された画像信号に基づいて、例えば、信号レベル、ゲインなどの撮影時に動的に変化する要因に対応した輝度信号および色差信号のノイズ量のモデル化が行われ、該モデルに基づきノイズ量が推定される。そして、推定されたノイズ量に基づき、第1のノイズ低減部によりノイズ低減処理を施された局所領域に含まれる残像成分が検出され、該残像成分を低減する第2のノイズ低減処理が施される。これにより、残像成分を抑制したノイズ低減処理を行うことが可能となり、高品位な画像信号が得られる。 According to this aspect, on the basis of image signals acquired at different times stored in the storage unit, for example, luminance signal and color difference signal noise corresponding to factors that dynamically change during shooting, such as signal level and gain, etc. The amount is modeled, and the noise amount is estimated based on the model. Then, based on the estimated amount of noise, an afterimage component included in the local region subjected to the noise reduction process by the first noise reduction unit is detected, and a second noise reduction process for reducing the afterimage component is performed. The Thereby, it is possible to perform a noise reduction process in which an afterimage component is suppressed, and a high-quality image signal can be obtained.
また、本発明の他の態様は、撮像系から時系列に取り込まれた画像信号に対しノイズ低減処理を行う画像処理において、処理対象の画像信号から注目画素を包含する局所領域を抽出する第1のステップと、画像信号を所定量記憶する第2のステップと、前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第3のステップと、前記第1のステップにより抽出された局所領域に対し、前記第3のステップにより抽出された局所領域を用いてノイズ低減処理を行う第4のステップと、該第4のステップによりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第5のステップと、該第5のステップにより推定されたノイズ量に基づき前記第4のステップによりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第6のステップと、該第6のステップにより検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第7のステップとを含む画像処理方法を提供する。 According to another aspect of the present invention, in image processing for performing noise reduction processing on an image signal captured in time series from an imaging system, a first local region including a target pixel is extracted from an image signal to be processed. A second step of storing a predetermined amount of the image signal, and extracting a local region substantially at the same position as the local region from other image signals acquired at different times with respect to the image signal to be processed A third step, a fourth step of performing noise reduction processing on the local region extracted by the first step using the local region extracted by the third step, and the fourth step A fifth step of estimating the amount of noise included in the target pixel based on the local region subjected to the noise reduction processing by the step, and the fifth step based on the amount of noise estimated by the fifth step A sixth step for detecting an afterimage component included in the local region subjected to the noise reduction process in step (7), and a seventh step for performing the noise reduction process on the target pixel based on the afterimage component detected in the sixth step. An image processing method including the following steps is provided.
また、本発明の他の態様は、撮像系から時系列に取り込まれた画像信号に対しノイズ低減処理をコンピュータに実行させるための画像処理プログラムにおいて、処理対象の画像信号から注目画素を包含する局所領域を抽出する第1の処理と、画像信号を所定量記憶する第2の処理と、前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第3の処理と、前記第1の処理により抽出された局所領域に対し、前記第3の処理により抽出された局所領域を用いてノイズ低減処理を行う第4の処理と、該第4の処理によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第5の処理と、該第5の処理により推定されたノイズ量に基づき前記第4の処理によりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第6の処理と、該第6の処理により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第7の処理とをコンピュータに実行させる画像処理プログラムを提供する。 According to another aspect of the present invention, in an image processing program for causing a computer to perform noise reduction processing on an image signal captured in time series from an imaging system, a local pixel including a target pixel from the processing target image signal is provided. A first process for extracting a region, a second process for storing a predetermined amount of an image signal, and approximately the same position as the local region from other image signals acquired at different times with respect to the image signal to be processed A third process for extracting a local region of the second and a fourth process for performing a noise reduction process on the local region extracted by the first process using the local region extracted by the third process; , A fifth process for estimating the amount of noise included in the pixel of interest based on the local region subjected to the noise reduction process by the fourth process, and the fifth process based on the noise amount estimated by the fifth process. A sixth process for detecting an afterimage component included in the local region that has been subjected to the noise reduction process in step (7), and a noise reduction process for the target pixel based on the afterimage component detected by the sixth process. An image processing program for causing a computer to execute the above processing is provided.
本発明によれば、撮影状況に最適化され、残像成分の発生を抑制した、良好なノイズ低減処理を行うことができるという効果を奏する。 According to the present invention, it is possible to perform an excellent noise reduction process that is optimized for a shooting situation and suppresses the generation of an afterimage component.
(第1の実施形態)
本発明の第1の実施形態に係る撮像システムについて、図1〜図8を参照して以下に説明する。
図1は本実施形態に係る撮像システムの全体構成を示す概略構成図、図2は色差線順次補色フィルタの配列と局所領域抽出に関する説明図、図3は図1の撮像システムのノイズ低減部のブロック構成図、図4は信号レベルに対するノイズ量の関係、図5は図1の撮像システムの残像検出部のブロック構成図、図6は図1の撮像システムの第2のノイズ低減部のブロック構成図、図7は図1の撮像システムの処理全体の流れを示すフローチャート、図8は図1の撮像システムのノイズ低減処理の流れを示すフローチャートをそれぞれ示している。
(First embodiment)
An imaging system according to a first embodiment of the present invention will be described below with reference to FIGS.
FIG. 1 is a schematic configuration diagram showing the overall configuration of the imaging system according to the present embodiment, FIG. 2 is an explanatory diagram regarding the arrangement of color difference line sequential complementary filters and local region extraction, and FIG. 3 is a diagram of a noise reduction unit of the imaging system of FIG. FIG. 4 is a block configuration diagram, FIG. 4 is a block diagram of the afterimage detection unit of the imaging system of FIG. 1, and FIG. 6 is a block configuration of a second noise reduction unit of the imaging system of FIG. FIGS. 7 and 7 are flowcharts showing the overall flow of processing of the imaging system of FIG. 1, and FIG. 8 is a flowchart showing the flow of noise reduction processing of the imaging system of FIG.
本実施形態に係る撮像システムは、図1に示されるように、撮像素子(撮像系)101、A/D変換部102、Y/C分離部103、ノイズ低減部104、信号処理部105、出力部106、制御部107および外部I/F部108を備えている。
As shown in FIG. 1, the imaging system according to the present embodiment includes an imaging device (imaging system) 101, an A /
撮像素子101は、結像される光学像を光電変換して、アナログの画像信号として出力するための素子である。なお、本実施形態においては、撮像素子101として、図2に示すような色差線順次型の補色カラーフィルタが前面に配置された単板撮像素子を想定している。なお、これに限らず、撮像素子101として、ベイヤー(Bayer)型の原色カラーフィルタが前面に配置された単板撮像素子等を用いても構わない。
The
図2(a)は、色差線順次型の補色フィルタの構成を示している。この色差線順次方式の補色フィルタは、2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が1画素ずつ配置されている。ただし、MgとGの位置はライン毎に反転するように構成されている。 FIG. 2A shows a configuration of a color difference line sequential type complementary color filter. The color difference line sequential type complementary color filter has 2 × 2 pixels as a basic unit, and cyan (Cy), magenta (Mg), yellow (Ye), and green (G) are arranged one by one. However, the positions of Mg and G are reversed for each line.
撮像素子101からの画像信号は、図2に示されるように上下が加算され、偶数ラインと奇数ラインに分離した2つのフィールド信号から構成される。偶数および奇数フィールド信号を合成することで1枚の画像信号が得られる。以後、連続的に出力される複数の画像信号を映像信号、1枚の画像信号を単に画像信号と表記する。
As shown in FIG. 2, the image signal from the
A/D変換部102は、制御部107の制御に基づき、撮像素子101から出力されたアナログの画像信号を、デジタルの画像信号に変換するものである。撮像素子101を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。前記アナログ信号は、A/D変換部102にてデジタル信号へ変換されてY/C分離部103へ転送される。
The A /
Y/C分離部103は、制御部107の制御に基づき、偶数および奇数フィールド信号から輝度信号Yと色差信号Cb、Crを次の数1に示すように算出するものである。
Based on the control of the
ノイズ低減部104は、制御部107の制御に基づき、Y/C分離部103からの画像信号を用いてノイズ低減処理を行う。ノイズ低減後の画像信号は信号処理部105へ転送される。
ノイズ低減部104は、例えば、図3に示されるように、第1の領域抽出部(第1の抽出部)201と、第2の領域抽出部(第2の抽出部)202と、第1のノイズ低減部203と、ノイズ推定部204と、残像検出部205と、第2のノイズ低減部206と、フレームメモリ(記憶部)207とを有している。
図3は図1の撮像システムのノイズ低減部のブロック構成図である。
The
For example, as illustrated in FIG. 3, the
FIG. 3 is a block diagram of the noise reduction unit of the imaging system of FIG.
また、Y/C分離部103は、第1の領域抽出部201と、第1のノイズ低減部203と、第2のノイズ低減部206とを介して、信号処理部105に接続されている。第1の領域抽出部201は、残像検出部205および第2のノイズ低減部206にも接続されている。
The Y /
第1のノイズ低減部203は、ノイズ推定部204および残像検出部205にも接続されている。ノイズ推定部204は、残像検出部205に接続されている。残像検出部205は、第2のノイズ低減部206に接続されている。第2のノイズ低減部206は、フレームメモリ207にも接続されている。フレームメモリ207は、第2の領域抽出部202を介して、第1のノイズ低減部203に接続されている。
The first
信号処理部105は、制御部107の制御に基づき、ノイズ低減部104からノイズ低減処理後の画像信号を読み出し、公知の補間処理、強調処理、圧縮処理などを行い、処理後の信号を出力部106へ転送するものである。
出力部106は、信号処理部105から出力される映像信号を、例えば、メモリーカードなどの記録媒体へ記録して保存するものである。
Based on the control of the
The
制御部107は、例えば、マイクロコンピュータなどにより構成されていて、A/D変換部102、Y/C分離部103、ノイズ低減部104、信号処理部105、出力部106および外部I/F部108と双方向に接続されており、これらを含むこの画像処理装置全体を制御するようになっている。
また、制御部107は、第1の領域抽出部201、第2の領域抽出部202、第1のノイズ低減部203、ノイズ推定部204、残像検出部205および第2のノイズ低減部206と双方向に接続されていて、これらを制御するようになっている。
The
In addition, the
外部I/F部108は、画像処理システムが適用されたこの画像処理装置に対するユーザからの入力等を行うためのインタフェースであり、電源のオン/オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。また、ユーザは、この外部I/F部108を介して、ゲインの設定などを行うことができるようになっている。そして、この外部I/F部108は、入力された情報を、制御部107へ出力するようになっている。
The external I /
第1の領域抽出部201は、制御部107の制御に基づき、ノイズ低減処理の対象となる画像信号中の注目画素および該注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出して、第1のノイズ低減部203、残像検出部205および第2のノイズ低減部206に出力するようになっている。
Based on the control of the
本実施形態では、局所領域として図2に示すような5×5画素を想定している。他の例として、これに限らず、局所領域として、任意の範囲の画素を想定してもよい。例えば、局所領域として、3×3画素からなる正方形領域を想定してもよいし、あるいは、7×5画素からなる長方形領域を想定してもよい。 In the present embodiment, 5 × 5 pixels as shown in FIG. 2 are assumed as the local region. As another example, the present invention is not limited to this, and an arbitrary range of pixels may be assumed as the local region. For example, a square area composed of 3 × 3 pixels may be assumed as the local area, or a rectangular area composed of 7 × 5 pixels may be assumed.
また、他の例として、局所領域として、4×4画素からなる正方形領域や、4×6の長方形領域を想定してもよい。この場合、正方形領域の中心部分は一つの画素ではなく、複数の画素で構成されるため、そのうちのいずれか一つが注目画素となる。 As another example, a square area composed of 4 × 4 pixels or a 4 × 6 rectangular area may be assumed as the local area. In this case, since the central portion of the square area is not a single pixel but is composed of a plurality of pixels, one of them is the target pixel.
また、この局所領域の範囲は、ユーザの指示に応じてあらかじめ設定されてもよい。輝度信号は、偶数フィールドにおいては図2(b)に示すように、奇数フィールドにおいては図2(c)に示すように、5×5画素の全てに存在する。これに対して、色差信号は5×5画素の全てには存在しない。すなわち、色差信号Crは、偶数フィールドにおいては図2(b)に示すように5×3画素となり、奇数フィールドにおいては図2(c)に示すように5×2画素となる。また、色差信号Cbは、偶数フィールドにおいては図2(b)に示すように5×2画素となり、奇数フィールドにおいては図2(c)に示すように5×3画素となる。 Further, the range of the local area may be set in advance according to a user instruction. The luminance signal is present in all 5 × 5 pixels as shown in FIG. 2B in the even field and as shown in FIG. 2C in the odd field. On the other hand, the color difference signal does not exist in all 5 × 5 pixels. That is, the color difference signal Cr is 5 × 3 pixels as shown in FIG. 2B in the even field, and 5 × 2 pixels as shown in FIG. 2C in the odd field. Further, the color difference signal Cb becomes 5 × 2 pixels as shown in FIG. 2B in the even field, and becomes 5 × 3 pixels as shown in FIG. 2C in the odd field.
このような局所領域の構成においては、ノイズ低減処理の対象となる注目画素(例えば、局所領域の中心に位置する画素)は、輝度信号Yおよび色差信号Cr(色差信号Cbは処理対象外)の場合、または、輝度信号Yおよび色差信号Cb(色差信号Crは処理対象外)の場合の何れかである。図2に示す例においては、偶数フィールドにおいて前者の場合、奇数フィールドにおいて後者の場合となっているが、注目画素の位置が異なれば、これと逆に、偶数フィールドにおいて後者の場合、奇数フィールドにおいて前者の場合となることもある。 In such a local region configuration, a target pixel (for example, a pixel located at the center of the local region) that is a target of noise reduction processing is a luminance signal Y and a color difference signal Cr (the color difference signal Cb is not a target to be processed). Or the luminance signal Y and the color difference signal Cb (the color difference signal Cr is not subject to processing). In the example shown in FIG. 2, the former case in the even field is the latter case in the odd field, but if the position of the pixel of interest is different, on the contrary, in the latter case in the even field, It may be the former case.
第2の領域抽出部202は、制御部107の制御に基づき、フレームメモリ207に記憶されているノイズ低減処理がなされた過去の画像信号から、上述した注目画素と同一空間位置の画素と該画素の近傍に位置する近傍画素とからなる局所領域を順次抽出して、第1のノイズ低減部203へ出力する。なお、注目画素と同一空間位置の画素のみを抽出してもよく、注目画素と同一空間位置近傍の画素のみを抽出してもよい。
Based on the control of the
上述した構成において、ノイズ低減部104により時刻Tに取得された画像信号のノイズ低減処理が行われている時点では、第1の領域抽出部201により抽出される局所領域は時刻Tの画像信号に係るものであり、第2の領域抽出部202により抽出される局所領域は時刻Tよりも過去の画像信号に係るものである。
なお、時刻Tに取得された画像信号を記憶しておき、その後の異なる時刻に取得された他の画像信号に基づいて、記憶されている時刻Tに取得された画像信号にノイズ低減処理を施してもよい。
In the configuration described above, when the noise reduction processing of the image signal acquired at time T by the
In addition, the image signal acquired at time T is stored, and noise reduction processing is performed on the image signal acquired at time T stored based on other image signals acquired at different times thereafter. May be.
第1のノイズ低減部203は、制御部107の制御により、第1の領域抽出部201から転送されてきた時刻Tの局所領域と、第2の領域抽出部202から転送されてきたノイズ低減処理後の時刻Tよりも過去の局所領域とに基づき、3次元ノイズ低減処理を行う。本実施形態においては、注目画素と、時刻Tの近傍画素と、時刻Tよりも過去の近傍画素(注目画素と同一空間位置の画素を含む)とに対して、注目画素に近い値を持つ近傍画素には大きな荷重を付け、注目画素から遠い値を持つ近傍画素には小さな荷重をつけて重み付け加算するような非線形フィルタを想定している。第1のノイズ低減部203は、3次元ノイズ低減処理を行った後の注目画素の輝度信号NRyおよび色差信号NRcb,NRcrをノイズ推定部204へ出力する。
The first
ノイズ推定部204は、制御部107の制御に基づき、第1のノイズ低減部203から転送されてきた3次元ノイズ低減処理後の注目画素の信号値NRs(s=y,cb,cr)を用いて注目画素のノイズ量Ns(s=y,cb,cr)を推定する。
Based on the control of the
ここで、図4を参照して、ノイズ量の推定について説明する。この図4は、信号レベルLに対するノイズ量Ns(s=y,cb,cr)の関係をプロットしたものである。図示のように、ノイズ量Nsは、信号レベルLに対して2次曲線的に増加するものとなっている。そこで、信号レベルLをノイズ低減処理済みの信号値NRs(s=y,cb,cr)とした場合、このようなノイズモデルを2次関数を用いて具体的にモデル化すると、数2が得られる。
Here, the estimation of the noise amount will be described with reference to FIG. FIG. 4 is a plot of the relationship of the noise amount Ns (s = y, cb, cr) to the signal level L. As shown in the figure, the noise amount Ns increases in a quadratic curve with respect to the signal level L. Therefore, when the signal level L is a signal value NRs (s = y, cb, cr) that has been subjected to noise reduction processing,
ここで、αs、βs、γsは定数項である。ノイズ推定部204は、この数2に示すようなモデルを用いて、3次元ノイズ低減処理後の注目画素の信号値NRs(s=y,cb,cr)からノイズ量Nsを推定する。輝度ノイズ量Nyおよび、色差ノイズ量Ncb,Ncrは残像検出部205へ出力される。
Here, αs, βs, and γs are constant terms. The
残像検出部205は、制御部107の制御により、ノイズ推定量Ns(s=y,cb,cr)に基づき3次元ノイズ低減処理済みの信号値NRs(s=y,cb,cr)に含まれる残像成分を検出する。注目画素に残像成分が含まれるか否かの判定結果Ts(s=y,cb,cr)は第2のノイズ低減部206に出力される。判定結果Tsは「残像成分が含まれる」、「残像成分が含まれない」の2通りである。
The
第2のノイズ低減部206は、制御部107の制御に基づき、注目画素の輝度信号Yおよび色差信号Cb,Crに、ノイズ低減済み信号NRsおよび残像検出部からの信号Tsを用いてノイズ低減処理を行う。第2のノイズ低減部206は、ノイズ低減処理を行った後の注目画素の輝度信号および色差信号を信号処理部105とフレームメモリ207とへ出力する。
Based on the control of the
こうして、フレームメモリ207には、ノイズ低減処理がなされた画像信号が記録されることになり、このノイズ低減処理後の画像信号が、次の画像信号の処理に用いられることになる。
Thus, the image signal subjected to the noise reduction process is recorded in the
次に、残像検出部205の詳細な構成について図5を参照して説明する。
演算部301は、制御部107の制御に基づき、第1の領域抽出部201から転送されてきた局所領域中の注目画素の輝度信号値Yおよび色差信号値Cb,Crと第1のノイズ低減処理を行った輝度信号値NRyおよび色差信号値NRcb,NRcrのそれぞれの絶対差分値信号Ss(s=y,cb,cr)を求め、判定部303に出力する。絶対差分値信号Ssは、注目画素信号値のノイズ成分または、ノイズ低減処理信号値の残像成分を含んだ信号である。
Next, a detailed configuration of the
Based on the control of the
調整部302は、制御部107の制御に基づき、ノイズ推定部204から出力されるノイズ推定量Nsを調整し、調整後ノイズ推定量CNs(s=y,cb,cr)を判定部303に出力する。ここで、調整部302は、判定結果記憶部304から注目画素の近傍に位置する画素の判定結果を読み込む。ここで、近傍画素とは隣接する1画素を想定している。他の例として、これに限らず近傍画素として、4近傍画素を想定してもよいし、8近傍画素を想定してもよい。近傍画素の判定結果Tsが「残像成分が含まれる」である場合には、ノイズ推定量Nsを小さくなるよう調整する。
The
判定部303は、制御部107の制御に基づき、演算部301から出力された絶対差分信号値Ssと、調整部302から出力された調整後ノイズ量CNsを比較することにより、輝度ノイズ低減済み信号NRyおよび色差ノイズ低減済み信号NRcb,NRcrに残像成分が含まれるか否かを判定する。
Based on the control of the
ここで、絶対差分信号値Ssが調整後ノイズ推定量CNsより大きい場合には、第1のノイズ低減処理を行った信号NRsには残像成分が含まれると判定し、注目画素に残像成分が含まれるか否かの判定信号Tsを「残像成分が含まれる」とする。逆に、絶対差分信号値Ssが調整後ノイズ推定量CNsより小さい場合には、第1のノイズ低減処理を行った信号NRsには残像成分が含まれないと判定し、判定信号Tsを「残像成分が含まれない」とする。判定信号Tsは第2のノイズ低減部206と判定結果記憶部304とへ出力される。
Here, when the absolute difference signal value Ss is larger than the adjusted noise estimation amount CNs, it is determined that the signal NRs subjected to the first noise reduction processing includes an afterimage component, and the afterimage component is included in the target pixel. It is assumed that the determination signal Ts for determining whether or not the image is “includes an afterimage component”. Conversely, when the absolute difference signal value Ss is smaller than the adjusted noise estimation amount CNs, it is determined that the signal NRs subjected to the first noise reduction processing does not include an afterimage component, and the determination signal Ts is set to “afterimage. "It contains no ingredients." The determination signal Ts is output to the second
次に、第2のノイズ低減部206の詳細な構成について図6を参照して説明する。
切り替え部401は、制御部107の制御に基づき、第1の領域抽出部201から転送されてきた注目画素の輝度信号Yおよび色差信号Cb,Crを、第1のノイズ低減部204から転送されてきた注目画素の3次元ノイズ低減後の信号値NRsに切り替える処理を行う。
Next, a detailed configuration of the second
Based on the control of the
すなわち、切り替え部401は、残像検出部205による判定結果Tsが「残像成分が含まれない」である場合には、注目画素の輝度信号値Yおよび色差信号値Cb,Crに、注目画素の3次元ノイズ低減後の信号値NRsを次の数3に示すように代入する処理を行う。
In other words, when the determination result Ts by the
また、切り替え部401は、残像検出部205による判定結果Tsが「残像成分を含む」である場合には、注目画素の信号値Y,Cb,Crの代入処理を行わない。その後、切り替え部401は、注目画素の輝度信号値Yおよび色差信号値Cb,Crを、2次元ノイズ低減部402へ出力する。
Further, when the determination result Ts by the
2次元ノイズ低減部402は、制御部107の制御に基づき、切り替え部401から転送された注目画素の画素値と、2次元ノイズ低減部402内に含まれる図示しないラインメモリに蓄えられた注目画素近傍の画素値と、残像検出部からの判定結果Tsとに基づき、2次元ノイズ低減処理を行う。本実施形態においては、注目画素と、近傍画素とに対して、注目画素に空間的に近い近傍画素に対しては大きな荷重を付け、注目画素から空間的に遠い近傍画素に対しては小さな荷重を付けて重み付け加算し、さらに、注目画素に近い値を持つ近傍画素には大きな荷重を付け、注目画素から遠い値を持つ近傍画素には小さな荷重をつけて重み付け加算するような非線形フィルタを想定している。
The two-dimensional
ここで、注目画素における判定結果Tsが「残像成分が含まれる」である場合は、近傍画素の重み荷重を大きく重み付け加算する。2次元ノイズ低減部402は、2次元ノイズ低減処理を行った後の注目画素の輝度信号NR2yおよび色差信号NR2cb,NR2crを、信号処理部105とフレームメモリ207とへ出力する。
Here, when the determination result Ts at the target pixel is “afterimage component is included”, the weighting load of the neighboring pixels is weighted and added. The two-dimensional
なお、上述においては、映像信号処理装置として、撮像素子101、A/D変換部102等の撮像部が一体化された撮像装置を例に挙げて説明したが、このような構成に限定される必要はない。例えば、別体の撮像部により撮像された映像信号を未処理の生(Raw)データの形式でメモリーカードなどの記録媒体に記録しておくとともに、さらに撮像条件や撮像時に得られたデータなどの付随情報もヘッダ情報として記録媒体に記録しておき、この記録媒体に記憶された情報を読み出して、映像信号処理装置により処理することも可能である。
In the above description, the image signal processing apparatus has been described by taking the image pickup apparatus in which the image pickup unit such as the
ここに、撮像部が別体となっている映像信号処理装置への情報の伝達は、記録媒体を介して行うに限るものではなく、有線あるいは無線の通信回線等を介して行うようにしても構わないことはもちろんである。 Here, the transmission of information to the video signal processing apparatus having a separate imaging unit is not limited to being performed via a recording medium, but may be performed via a wired or wireless communication line or the like. Of course it doesn't matter.
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子101からの信号を未処理のままの生(Raw)データとして、制御部107からの撮影時の撮影モード、ゲイン、輝度レベルの変化量などのヘッダ情報と共に出力し、コンピュータにおいて、別途のソフトウェアである映像信号処理プログラムにより処理するように構成することも可能である。
Further, in the above description, processing by hardware is assumed, but the present invention is not limited to such a configuration. For example, a signal from the
図7を参照して、コンピュータに映像信号処理プログラムを実行させたときの処理の流れを説明する。
この処理を開始すると、まず、映像信号と、ゲインなどのヘッダ情報とが読み込まれる(Step1)。
With reference to FIG. 7, the flow of processing when a computer executes a video signal processing program will be described.
When this process is started, first, a video signal and header information such as a gain are read (Step 1).
次に、読み込まれた映像信号が、画像信号毎に、数1に示したように、輝度信号と色差信号とに分離される(Step2)。
続いて、後で図8を参照して詳細に説明するように、輝度信号および色差信号にノイズ低減処理が行われる(Step3)。
Next, the read video signal is separated into a luminance signal and a color difference signal for each image signal as shown in Equation 1 (Step 2).
Subsequently, as will be described in detail later with reference to FIG. 8, a noise reduction process is performed on the luminance signal and the color difference signal (Step 3).
さらに、ノイズ低減処理が行われた画像信号が出力される(Step4)。
そして、ノイズ低減処理後の画像信号に、公知の階調変換処理、強調処理、圧縮処理などの信号処理が行われる(Step5)。
次に、信号処理が行われた画像信号が出力される(Step6)。
その後、映像信号に含まれる全画像信号の処理が完了したか否かが判定され(Step7)、完了していないと判定された場合にはStep2へ戻って次の画像信号について上述したような処理が繰り返して行われる。
一方、全画像信号の処理が完了していると判定された場合には、この処理が終了される。
Further, the image signal subjected to the noise reduction process is output (Step 4).
Then, signal processing such as known gradation conversion processing, enhancement processing, and compression processing is performed on the image signal after the noise reduction processing (Step 5).
Next, an image signal subjected to signal processing is output (Step 6).
Thereafter, it is determined whether or not the processing of all the image signals included in the video signal has been completed (Step 7). If it is determined that the processing has not been completed, the process returns to Step 2 to perform the processing as described above for the next image signal. Is repeated.
On the other hand, when it is determined that the processing of all the image signals has been completed, this processing is terminated.
次に、図8を参照して、図7のStep3におけるノイズ低減処理の詳細について説明する。
この処理を開始すると、ノイズ低減処理の対象となる画像信号中の、注目画素を含む局所領域が、図2に示したように抽出される(Step11)。
続いて、ノイズ低減処理がなされた過去の画像信号が入力される(Step12)。
さらに、過去の画像信号から、注目画素と同一空間位置の画素を含む局所領域が抽出される(Step13)。
Next, the details of the noise reduction processing in Step 3 of FIG. 7 will be described with reference to FIG.
When this process is started, a local region including the target pixel in the image signal to be subjected to the noise reduction process is extracted as shown in FIG. 2 (Step 11).
Subsequently, a past image signal that has undergone noise reduction processing is input (Step 12).
Further, a local region including a pixel at the same spatial position as the target pixel is extracted from the past image signal (Step 13).
次に、注目画素を含む局所領域と過去の局所領域とに基づいて、3次元ノイズ低減処理が行われる(Step14)。
続いて、3次元ノイズ低減処理後の注目画素の信号値に基づいてノイズ量が数2に示したように推定される(Step15)。
Next, a three-dimensional noise reduction process is performed based on the local region including the target pixel and the past local region (Step 14).
Subsequently, based on the signal value of the target pixel after the three-dimensional noise reduction processing, the amount of noise is estimated as shown in Equation 2 (Step 15).
さらに、注目画素の近傍に位置する近傍画素の判定結果が読み込まれる(Step16)。
その後、近傍画素の判定結果に基づいて、ノイズ量の補正が行われる(Step17)。
次に、Step2において分離された注目画素の信号値と、Step14で算出された3次元ノイズ低減済み画像信号の差分絶対値が算出される(Step18)。
ここで、注目画素の差分絶対値がノイズ推定量より小さいか否かが判定される(Step19)。
Further, the determination result of the neighboring pixels located in the vicinity of the target pixel is read (Step 16).
Thereafter, the noise amount is corrected based on the determination result of the neighboring pixels (Step 17).
Next, the absolute value of the difference between the signal value of the target pixel separated in
Here, it is determined whether or not the difference absolute value of the target pixel is smaller than the noise estimation amount (Step 19).
一方、Step19において、注目画素の差分絶対値がノイズ推定量より小さいと判定された場合には、注目画素の信号値に3次元ノイズ低減済み画像信号値が代入される(Step20)。
次に、注目画素を含む局所領域に基づいて、2次元ノイズ低減処理が行われる(Step21)。
On the other hand, if it is determined in
Next, a two-dimensional noise reduction process is performed based on the local region including the target pixel (Step 21).
その後、画像信号から抽出し得る全ての局所領域について処理が終了したか否かが判定され(Step22)、完了していないと判定された場合はStep11へ戻って次の局所領域を抽出して上述したような処理が行われる。
一方、Step22において、画像信号から抽出し得る全ての局所領域について処理が終了したと判定された場合には、図7に示した処理にリターンされる。
Thereafter, it is determined whether or not the processing has been completed for all local areas that can be extracted from the image signal (Step 22). If it is determined that the processing has not been completed, the process returns to Step 11 to extract the next local area and The process as described above is performed.
On the other hand, if it is determined in Step 22 that the processing has been completed for all local regions that can be extracted from the image signal, the processing returns to the processing shown in FIG.
なお、上述では、ノイズ低減処理に用いる過去の画像信号の数について特に限定はしていないが、処理対象となっている画像信号の1つ前の画像信号のみを用いても構わないし、処理対象となっている画像信号よりも過去の複数の画像信号を用いるようにしてもよい。ただし、後者の場合には、フレームメモリ207として複数フレームの信号を記憶可能な記憶容量を確保する必要があり、第2の領域抽出部202は処理対象のフレーム数分の処理を行うことになり、第1のノイズ低減部203は複数フレームに対応した処理を行うことになる。
In the above description, the number of past image signals used for noise reduction processing is not particularly limited, but only the image signal immediately before the image signal to be processed may be used. A plurality of past image signals may be used rather than the image signal. However, in the latter case, it is necessary to secure a storage capacity capable of storing signals of a plurality of frames as the
また、上述では、数2における各係数αs、βs、γs(s=y,cb,cr)を単に定数項としたが、画像信号を撮像したときの撮像素子101の温度やゲインなどに依存する定数項とすれば、これらの要因にも対応することが可能となる。
In the above description, the coefficients αs, βs, and γs (s = y, cb, cr) in
このような実施形態によれば、被写体の動きや信号レベル、輝度レベルなどの撮影時に動的に変化する要因に対応してノイズ量を高精度に推定しているために、画面全体における最適なノイズ低減を行うことが可能となる。これにより、高品位な映像信号を得ることができる。
このとき、処理対象の画像信号のノイズ量を、ノイズ成分が除去された過去の画像信号に基づいて推定するようにしているために、ノイズ量の推定精度を向上することができる。
According to such an embodiment, the amount of noise is estimated with high accuracy in response to factors that dynamically change during shooting, such as the movement of the subject, the signal level, and the luminance level. Noise reduction can be performed. Thereby, a high-definition video signal can be obtained.
At this time, since the noise amount of the image signal to be processed is estimated based on the past image signal from which the noise component is removed, the estimation accuracy of the noise amount can be improved.
さらに、輝度ノイズ量と色差ノイズ量とを独立に推定するようにしたために、各々の推定精度を向上することができる。
また、ノイズ量に基づいてノイズ範囲を設定しノイズ低減処理を行うようにしたために、原信号と全く異なる信号値になってしまうことはなく、原信号の保存性に優れるという利点がある。このとき、ノイズ範囲に属すると判定された注目画素については3次元ノイズ低減処理後の画素値を適用し、ノイズ範囲に属さないと判定された注目画素についてはノイズ量に基づく補正処理を行うようにしたために、ノイズ低減処理に伴う不連続性の発生を防止して高品位な信号を得ることができる。
Furthermore, since the luminance noise amount and the color difference noise amount are estimated independently, the estimation accuracy of each can be improved.
Further, since the noise range is set based on the amount of noise and the noise reduction processing is performed, the signal value does not become completely different from the original signal, and there is an advantage that the preservation of the original signal is excellent. At this time, the pixel value after the three-dimensional noise reduction process is applied to the target pixel determined to belong to the noise range, and the correction process based on the noise amount is performed to the target pixel determined not to belong to the noise range. Therefore, it is possible to obtain a high-quality signal by preventing the occurrence of discontinuity associated with the noise reduction process.
そして、ノイズ低減処理後の信号を本来の信号として出力して、その後に各種の信号処理等を行うようにしたために、従来の処理系との互換性が維持され、多様なシステムとの組み合わせが可能となる利点がある。
また、色差線順次型の色フィルタ配置に合わせて輝度信号と色差信号とを求めるようにしたために、高速な処理が可能となる。
And, since the signal after noise reduction processing is output as the original signal and then various signal processing etc. are performed, compatibility with conventional processing systems is maintained, and combinations with various systems are possible There are advantages that are possible.
In addition, since the luminance signal and the color difference signal are obtained in accordance with the color difference line sequential type color filter arrangement, high-speed processing becomes possible.
さらに、近傍画素の残像判定結果に基づき、ノイズ推定量Nsを補正するようにしている。つまり、空間的に相関のある残像成分に対して、近傍画素に残像成分が含まれる場合には、ノイズ範囲を狭めて、つまり3次元ノイズ低減処理(数3参照。)を適用する範囲を狭めるようにしたために、3次元ノイズ低減済み画像から高精度に残像成分を除くことが可能となる。一方、近傍画素に残像成分が含まれない場合には、ノイズ範囲は変わらず、動きのない被写体に対しては効果的な3次元ノイズ低減処理を施せるため、高品位な信号を得ることが可能となる。 Further, the estimated noise amount Ns is corrected based on the afterimage determination result of the neighboring pixels. That is, when an afterimage component is included in a neighboring pixel with respect to an afterimage component having a spatial correlation, the noise range is narrowed, that is, the range to which the three-dimensional noise reduction processing (see Equation 3) is applied is narrowed. As a result, afterimage components can be removed from the three-dimensional noise-reduced image with high accuracy. On the other hand, when the afterimage component is not included in the neighboring pixels, the noise range does not change, and an effective three-dimensional noise reduction process can be performed on a non-moving subject, so a high-quality signal can be obtained. It becomes.
また、注目画素の3次元ノイズ低減処理済み画像に残像成分が含まれると判定された場合は、2次元ノイズ低減処理の重み荷重を大きくするように調整することにより、ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号を得ることができる。 Further, when it is determined that the afterimage component is included in the 3D noise reduction processed image of the target pixel, the discontinuity associated with the noise reduction processing is adjusted by increasing the weight load of the 2D noise reduction processing. Generation of high-quality signals can be obtained.
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined. Thus, it goes without saying that various modifications and applications are possible without departing from the spirit of the invention.
(第2の実施形態)
本発明の第2の実施形態に係る撮像システムついて、図9〜図14を参照して以下に説明する。
この第2の実施形態において、上述の第1の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
(Second Embodiment)
An imaging system according to the second embodiment of the present invention will be described below with reference to FIGS.
In the second embodiment, the same parts as those in the first embodiment described above are denoted by the same reference numerals, description thereof is omitted, and only different points will be mainly described.
図9は第2の実施形態に係る撮像システムの全体構成を示す概略構成図、図10は図9の撮像システムノイズ低減部のブロック構成図、図11はRGBフィルタの配列と局所領域抽出に関する説明図、図12は図9の撮像システムの残像検出部のブロック構成図、図13は図9の撮像システムの第2のノイズ低減部のブロック構成図、図14は残像検出部の算出値に対する重み係数の関係を示している。 FIG. 9 is a schematic configuration diagram showing the overall configuration of the imaging system according to the second embodiment, FIG. 10 is a block configuration diagram of the imaging system noise reduction unit of FIG. 9, and FIG. 11 is an explanation regarding the arrangement of RGB filters and local region extraction. FIG. 12, FIG. 12 is a block diagram of the afterimage detection unit of the imaging system of FIG. 9, FIG. 13 is a block diagram of the second noise reduction unit of the imaging system of FIG. 9, and FIG. 14 is a weight for the calculated value of the afterimage detection unit. The relationship between the coefficients is shown.
まず、図9に示したような本実施形態に係る撮像システムの信号の流れを説明する。
この図9に示す撮像システムは、図1に示された第1の実施形態に係る撮像システムを一部変更したものとなっている。
First, a signal flow of the imaging system according to the present embodiment as illustrated in FIG. 9 will be described.
The imaging system shown in FIG. 9 is obtained by partially changing the imaging system according to the first embodiment shown in FIG.
すなわち、この撮像システムは、図1に示した撮像素子101をR撮像素子501、G撮像素子502およびB撮像素子503に、ノイズ低減部104をノイズ低減部504に、それぞれ置換し、Y/C分離部103を除いた構成になっている。また、R撮像素子501、G撮像素子502およびB撮像素子503には、入射した光束をRGBの3色成分に分離するためのダイクロイックプリズムが設けられている。その他の基本的な構成は第1の実施形態と同様であって、同一の構成には同一の名称と符号を付している。
That is, this imaging system replaces the
以下、主として異なる部分のみを説明する。R撮像素子501、G撮像素子502およびB撮像素子503は、ダイクロイックプリズムによりRGBの3色に分離されたR成分の光がR撮像素子501へ、G成分の光がG撮像素子502へ、B成分の光がB撮像素子503へそれぞれ導かれることによって、光電変換してアナログの画像信号として出力するようになっている。ここで、R撮像素子501、G撮像素子502およびB撮像素子503は、A/D変換部102にそれぞれ接続されている。
Hereinafter, only different parts will be mainly described. The
次に図10を参照してノイズ低減部504の構成の一例について説明する。
この図10に示すノイズ低減部504は、上述した第1の実施形態の図3に示したノイズ低減部104を一部変更したものとなっている。すなわち、このノイズ低減部504は、図3に示したY/C分離部103をA/D変換部102に、図3に示した第1の領域抽出部201を第1の領域抽出部601に、図3に示した第2の領域抽出部202を第2の領域抽出部602に、図3に示した残像検出部205を残像検出部605に、図3に示した第2のノイズ低減部206を第2のノイズ低減部606に、それぞれ置換した構成になっている。その他の基本的な構成は第1の実施形態と同様であって、同一の構成には同一の名称と符号を付している。
Next, an example of the configuration of the
The
A/D変換部102は、第1の領域抽出部601と、第1のノイズ低減部203と、第2のノイズ低減部606を介して、信号処理部105に接続されている。第1の領域抽出部601は、残像検出部605および第2のノイズ低減部606にも接続されている。第1のノイズ低減部203は、ノイズ推定部204および残像検出部605にも接続されている。
The A /
ノイズ推定部204は、残像検出部605に接続されている。残像検出部605は、第2のノイズ低減部606に接続されている。第2のノイズ低減部606は、フレームメモリ207にも接続されている。フレームメモリ207は、第2の領域抽出部602を介して、第1のノイズ低減部203に接続されている。
The
また、制御部107は、第1の領域抽出部601、第2の領域抽出部602、第1のノイズ低減部203、ノイズ推定部204、残像検出部605、第2のノイズ低減部606と双方向に接続されていて、これらを制御するようになっている。
In addition, the
第1の領域抽出部601は、制御部107の制御に基づき、ノイズ低減処理の対象となる画像信号中の注目画素および該注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出して、第1のノイズ低減部203と残像検出部605と第2のノイズ低減部606とへ出力する。
Based on the control of the
本実施形態では、局所領域として図11に示すような5×5画素を想定している。他の例として、これに限らず、局所領域として、任意の範囲の画素を想定してもよい。例えば、局所領域として、3×3画素からなる正方形領域を想定してもよいし、あるいは、7×5画素からなる長方形領域を想定してもよい。 In the present embodiment, 5 × 5 pixels as shown in FIG. 11 are assumed as the local region. As another example, the present invention is not limited to this, and an arbitrary range of pixels may be assumed as the local region. For example, a square area composed of 3 × 3 pixels may be assumed as the local area, or a rectangular area composed of 7 × 5 pixels may be assumed.
また、他の例として、局所領域として、4×4画素からなる正方形領域や、4×6の長方形領域を想定してもよい。この場合、正方形領域の中心部分は一つの画素ではなく、複数の画素で構成されるため、そのうちのいずれか一つが注目画素となる。また、この局所領域の範囲は、ユーザの指示に応じてあらかじめ設定されてもよい。 As another example, a square area composed of 4 × 4 pixels or a 4 × 6 rectangular area may be assumed as the local area. In this case, since the central portion of the square area is not a single pixel but is composed of a plurality of pixels, one of them is the target pixel. Further, the range of the local area may be set in advance according to a user instruction.
第2の領域抽出部202は、制御部107の制御に基づき、フレームメモリ207に記憶されているノイズ低減処理がなされた過去の画像信号から、図11に示した注目画素と同一空間位置の画素と該画素の近傍に位置する近傍画素とからなる局所領域を順次抽出して、第1のノイズ低減部203へ出力する。
Based on the control of the
第2のノイズ低減部606は、制御部107の制御に基づき、第1の領域抽出部601から出力される注目画素のRGB信号値と、第1のノイズ低減部203から出力される注目画素のノイズ低減済みRGB信号と、残像検出部605から出力される算出値とを用いてノイズ低減処理を行う。第2のノイズ低減部606は、ノイズ低減処理を行った後の注目画素のRGB信号値を信号処理部105とフレームメモリ207とへ出力する。
Based on the control of the
次に、残像検出部605の詳細な構成について図12を参照して説明する。
この図12に示す残像検出部605は、上述した第1の実施形態の図5に示した残像検出部205を一部変更したものとなっている。すなわち、この残像検出部605は、図5に示した判定部303を判定部703に置換した構成になっている。その他の基本的な構成は第1の実施形態と同様であって、同一の構成には同一の名称と符号を付している。
Next, a detailed configuration of the
The
判定部703は、制御部107の制御に基づき、演算部301から出力された絶対差分信号値と、調整部302から出力された調整後ノイズ量を比較することにより、ノイズ低減済みRGB信号に残像成分が含まれるか否かを判定する。ここで、絶対差分信号値と調整後ノイズ推定量の差分値を算出する。絶対差分信号値が調整後ノイズ推定量より大きい場合には、算出値は正の値、絶対差分信号値が調整後ノイズ推定量より小さい場合には、算出値は負の値をとるものとする。
Based on the control of the
算出値が正の値の場合には、第1のノイズ低減処理を行った信号には残像成分が含まれると判定し、注目画素に残像成分が含まれるか否かの判定信号を「残像成分が含まれる」とする。逆に、算出値が負の値の場合には、第1のノイズ低減処理を行った信号には残像成分が含まれないと判定し、判定信号を「残像成分が含まれない」とする。算出値は第2のノイズ低減部606へ出力される。判定信号は判定結果記憶部304へ出力される。
If the calculated value is a positive value, it is determined that the afterimage component is included in the signal subjected to the first noise reduction processing, and a determination signal indicating whether the afterimage component is included in the target pixel is “afterimage component”. Is included. " On the contrary, when the calculated value is a negative value, it is determined that the afterimage component is not included in the signal subjected to the first noise reduction process, and the determination signal is “not including the afterimage component”. The calculated value is output to the second
次に、第2のノイズ低減部606の詳細な構成について図13を参照して説明する。
2次元ノイズ低減部801は、制御部107の制御に基づき、第1の領域抽出部601から転送された注目画素を含む局所領域に基づき、2次元ノイズ低減処理を行う。
Next, a detailed configuration of the second
The two-dimensional
本実施形態においては、注目画素と、近傍画素とに対して、注目画素に空間的に近い近傍画素に対しては大きな荷重を付け、注目画素から空間的に遠い近傍画素に対しては小さな荷重を付けて重み付け加算し、さらに、注目画素に近い値を持つ近傍画素には大きな荷重を付け、注目画素から遠い値を持つ近傍画素には小さな荷重をつけて重み付け加算するような非線形フィルタを想定している。2次元ノイズ低減部801は、2次元ノイズ低減処理を行った後の注目画素のRGB信号NR2s(s=r,g,b)を合成部803に出力する。
In the present embodiment, for the target pixel and neighboring pixels, a large load is applied to neighboring pixels spatially close to the target pixel, and a small load is applied to neighboring pixels spatially far from the target pixel. Assuming a non-linear filter that adds weights to neighboring pixels with values close to the target pixel and adds weights to neighboring pixels with values far from the target pixel. doing. The two-dimensional
係数算出部802は、制御部107の制御に基づき、残像検出部605から転送されてきた算出値に基づき、RGB信号の重み付け係数Ks(s=r,g,b)を設定する。
ここで、注目画素の算出値が正の値の場合は、重み係数Ksを大きく設定する。一方、注目画素の算出値が負の値の場合は、重み係数Ksを小さく設定する。算出値と重み係数Ksとの関係を表す例を図14(a)〜(c)に示す。
The
Here, when the calculated value of the target pixel is a positive value, the weighting coefficient Ks is set large. On the other hand, when the calculated value of the target pixel is a negative value, the weighting coefficient Ks is set small. An example showing the relationship between the calculated value and the weighting coefficient Ks is shown in FIGS.
合成部803は、制御部107の制御に基づき、2次元ノイズ低減部801から転送されてきた注目画素のRGB信号と、第1のノイズ低減部203から転送されてきた注目画素のRGB信号値NRs(s=r,g,b)を、係数算出部802から出力される重み係数Ks(s=r,g,b)に基づき合成処理を行う。出力信号値NR3s(s=r,g,b)は次の数4で表わされる。
Based on the control of the
なお、上述においては、映像信号処理装置として、R撮像素子501、G撮像素子502、B撮像素子503、A/D変換部102等の撮像部が一体化された撮像装置を例に挙げて説明したが、このような構成に限定される必要はない。例えば、別体の撮像部により撮像された映像信号を未処理の生(Raw)データの形式でメモリーカードなどの記録媒体に記録しておくとともに、さらに撮像条件や撮像時に得られたデータなどの付随情報もヘッダ情報として記録媒体に記録しておき、この記録媒体に記憶された情報を読み出して、映像信号処理装置により処理することも可能である。
In the above description, an image pickup apparatus in which an image pickup unit such as the R
ここに、撮像部が別体となっている映像信号処理装置への情報の伝達は、記録媒体を介して行うに限るものではなく、有線あるいは無線の通信回線等を介して行うようにしても構わないことはもちろんである。
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子101からの信号を未処理のままの生(Raw)データとして、制御部107からの撮影時の撮影モード、ゲイン、輝度レベルの変化量などのヘッダ情報と共に出力し、コンピュータにおいて、別途のソフトウェアである映像信号処理プログラムにより処理するように構成することも可能である。
Here, the transmission of information to the video signal processing apparatus having a separate imaging unit is not limited to being performed via a recording medium, but may be performed via a wired or wireless communication line or the like. Of course it doesn't matter.
Further, in the above description, processing by hardware is assumed, but the present invention is not limited to such a configuration. For example, a signal from the
このような実施形態によれば、注目画素の3次元ノイズ低減処理済み画像に残像成分が含まれると判定された場合は、係数算出部で2次元ノイズ低減処理の重み荷重を大きくするように設定することにより、残像成分を抑制した、ノイズ低減処理に伴う不連続性の発生を防止した高品位な信号を得ることができる。 According to such an embodiment, when it is determined that the afterimage component is included in the 3D noise reduction processed image of the target pixel, the coefficient calculation unit is configured to increase the weight load of the 2D noise reduction processing. By doing so, it is possible to obtain a high-quality signal in which afterimage components are suppressed and discontinuity due to noise reduction processing is prevented.
101 撮像素子(撮像系)
201 第1の領域抽出部(第1の抽出部)
202,602 第2の領域抽出部(第2の抽出部)
203 第1のノイズ低減部
204 ノイズ推定部
205,605 残像検出部
206,606 第2のノイズ低減部
207 フレームメモリ(記憶部)
301 演算部
302 調整部
303,703 判定部
304 判定結果記憶部
401 切り替え部(置き換え部)
402,801 2次元ノイズ低減部
802 係数算出部
803 合成部
101 Image sensor (imaging system)
201 first region extraction unit (first extraction unit)
202,602 Second region extraction unit (second extraction unit)
203 1st
301
402,801 Two-dimensional
Claims (8)
処理対象の画像信号から注目画素を包含する局所領域を抽出する第1の抽出部と、
前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第2の抽出部と、
前記第1の抽出部により抽出された局所領域に対し、前記第2の抽出部により抽出された局所領域を用いてノイズ低減処理を行う第1のノイズ低減部と、
該第1のノイズ低減部によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定するノイズ推定部と、
該ノイズ推定部により推定されたノイズ量に基づき前記第1のノイズ低減部から出力されたノイズ低減処理を施された局所領域に含まれる残像成分を検出する残像検出部と、
該残像検出部により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第2のノイズ低減部とを有することを特徴とする撮像システム。 An imaging system that performs noise reduction processing on an image signal captured in time series via an imaging system,
A first extraction unit that extracts a local region including a target pixel from an image signal to be processed;
A second extraction unit for extracting a local region at substantially the same position as the local region from another image signal acquired at a different time with respect to the image signal to be processed;
A first noise reduction unit that performs noise reduction processing on the local region extracted by the first extraction unit using the local region extracted by the second extraction unit;
A noise estimation unit that estimates the amount of noise included in the pixel of interest based on the local region subjected to noise reduction processing by the first noise reduction unit;
An afterimage detection unit that detects an afterimage component included in the local region subjected to the noise reduction process output from the first noise reduction unit based on the amount of noise estimated by the noise estimation unit;
An imaging system comprising: a second noise reduction unit that performs noise reduction processing of the target pixel based on the afterimage component detected by the afterimage detection unit.
処理対象の画像信号から注目画素を包含する局所領域を抽出する第1のステップと、
画像信号を所定量記憶する第2のステップと、
前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第3のステップと、
前記第1のステップにより抽出された局所領域に対し、前記第3のステップにより抽出された局所領域を用いてノイズ低減処理を行う第4のステップと、
該第4のステップによりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第5のステップと、
該第5のステップにより推定されたノイズ量に基づき前記第4のステップによりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第6のステップと、
該第6のステップにより検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第7のステップとを含むことを特徴とする画像処理方法。 In image processing that performs noise reduction processing on image signals captured in time series from the imaging system,
A first step of extracting a local region including a target pixel from an image signal to be processed;
A second step of storing a predetermined amount of image signals;
A third step of extracting a local region at substantially the same position as the local region from other image signals acquired at different times with respect to the image signal to be processed;
A fourth step of performing noise reduction processing on the local region extracted by the first step using the local region extracted by the third step;
A fifth step of estimating the amount of noise included in the pixel of interest based on the local region subjected to noise reduction processing in the fourth step;
A sixth step of detecting an afterimage component included in the local region subjected to the noise reduction processing in the fourth step based on the amount of noise estimated in the fifth step;
And a seventh step of performing noise reduction processing of the pixel of interest based on the afterimage component detected in the sixth step.
処理対象の画像信号から注目画素を包含する局所領域を抽出する第1の処理と、
画像信号を所定量記憶する第2の処理と、
前記処理対象の画像信号に対して異なる時刻に取得された他の画像信号から前記局所領域と略同位置の局所領域を抽出する第3の処理と、
前記第1の処理により抽出された局所領域に対し、前記第3の処理により抽出された局所領域を用いてノイズ低減処理を行う第4の処理と、
該第4の処理によりノイズ低減処理を施された局所領域に基づき前記注目画素に含まれるノイズ量を推定する第5の処理と、
該第5の処理により推定されたノイズ量に基づき前記第4の処理によりノイズ低減処理を施された局所領域に含まれる残像成分を検出する第6の処理と、
該第6の処理により検出された残像成分に基づき前記注目画素のノイズ低減処理を行う第7の処理とをコンピュータに実行させることを特徴とする画像処理プログラム。 In an image processing program for causing a computer to execute noise reduction processing on an image signal captured in time series from an imaging system,
A first process for extracting a local region including a target pixel from an image signal to be processed;
A second process for storing a predetermined amount of image signals;
A third process of extracting a local region at substantially the same position as the local region from another image signal acquired at a different time with respect to the image signal to be processed;
A fourth process for performing a noise reduction process on the local area extracted by the first process using the local area extracted by the third process;
A fifth process for estimating the amount of noise included in the target pixel based on the local region subjected to the noise reduction process by the fourth process;
A sixth process for detecting an afterimage component included in the local region subjected to the noise reduction process by the fourth process based on the noise amount estimated by the fifth process;
An image processing program that causes a computer to execute a seventh process for performing a noise reduction process on the target pixel based on an afterimage component detected by the sixth process.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008167864A JP5123756B2 (en) | 2008-06-26 | 2008-06-26 | Imaging system, image processing method, and image processing program |
US12/487,936 US8170345B2 (en) | 2008-06-26 | 2009-06-19 | Imaging system, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008167864A JP5123756B2 (en) | 2008-06-26 | 2008-06-26 | Imaging system, image processing method, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010011072A JP2010011072A (en) | 2010-01-14 |
JP5123756B2 true JP5123756B2 (en) | 2013-01-23 |
Family
ID=41447527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008167864A Expired - Fee Related JP5123756B2 (en) | 2008-06-26 | 2008-06-26 | Imaging system, image processing method, and image processing program |
Country Status (2)
Country | Link |
---|---|
US (1) | US8170345B2 (en) |
JP (1) | JP5123756B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200808067A (en) * | 2006-07-31 | 2008-02-01 | Univ Nat Cheng Kung | Prediction module |
JP4653059B2 (en) * | 2006-11-10 | 2011-03-16 | オリンパス株式会社 | Imaging system, image processing program |
JP5627215B2 (en) * | 2009-11-04 | 2014-11-19 | キヤノン株式会社 | Image processing apparatus and control method thereof |
US8977049B2 (en) * | 2010-01-08 | 2015-03-10 | Nvidia Corporation | System and method for estimating signal-dependent noise of an image |
EP2690860B1 (en) * | 2011-03-24 | 2016-04-20 | Mitsubishi Electric Corporation | Image processing device and method |
JP5880121B2 (en) * | 2012-02-21 | 2016-03-08 | 株式会社リコー | Image processing device |
TWI536319B (en) * | 2014-06-24 | 2016-06-01 | 瑞昱半導體股份有限公司 | De-noising method and image system |
CN107206377B (en) | 2014-12-09 | 2020-02-11 | 伯克利之光生命科技公司 | Automated detection of positive assay regions in microfluidic devices |
US9996920B2 (en) * | 2014-12-09 | 2018-06-12 | Berkeley Lights, Inc. | Automated detection and repositioning of micro-objects in microfluidic devices |
EP3549099B1 (en) | 2016-12-01 | 2024-08-21 | Bruker Cellular Analysis, Inc. | Automated detection and repositioning of micro-objects in microfluidic devices |
JP7098958B2 (en) * | 2018-02-28 | 2022-07-12 | 株式会社ニコン | Image pickup device, image processing device, and image processing program |
TWI827725B (en) * | 2018-12-07 | 2024-01-01 | 日商索尼半導體解決方案公司 | Image processing device and image processing method |
CN110691216B (en) * | 2019-06-22 | 2021-11-05 | 蓝鲸智云智能科技南京有限公司 | Running state on-site monitoring mechanism |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6359273A (en) * | 1986-08-29 | 1988-03-15 | Nec Home Electronics Ltd | Noise reducing device |
JP2826018B2 (en) | 1992-08-07 | 1998-11-18 | シャープ株式会社 | Video signal noise reduction system |
JPH07131680A (en) * | 1993-11-09 | 1995-05-19 | Hitachi Ltd | Noise reeduction circuit |
JPH0981754A (en) | 1995-09-19 | 1997-03-28 | Matsushita Electric Ind Co Ltd | Movement detecting circuit |
EP0957367A1 (en) * | 1998-04-14 | 1999-11-17 | THOMSON multimedia | Method for estimating the noise level in a video sequence |
JP2002033942A (en) | 2000-07-17 | 2002-01-31 | Sanyo Electric Co Ltd | Method for suppressing noise in image signal, and image signal processor using the noise-suppressing method |
JP2003219208A (en) | 2002-01-18 | 2003-07-31 | Oki Electric Ind Co Ltd | Circuit for reducing video noise |
JP4069679B2 (en) * | 2002-05-24 | 2008-04-02 | 松下電器産業株式会社 | Image processing method and image processing apparatus |
US7295616B2 (en) * | 2003-11-17 | 2007-11-13 | Eastman Kodak Company | Method and system for video filtering with joint motion and noise estimation |
JP4417780B2 (en) | 2004-05-31 | 2010-02-17 | 株式会社東芝 | Noise removal apparatus and image display apparatus |
WO2006010275A2 (en) * | 2004-07-30 | 2006-02-02 | Algolith Inc. | Apparatus and method for adaptive 3d noise reduction |
EP1681849B1 (en) * | 2005-01-18 | 2011-10-19 | LG Electronics, Inc. | Apparatus for removing noise from a video signal |
JP2006229749A (en) * | 2005-02-18 | 2006-08-31 | Sharp Corp | Image processor and image processing method |
KR100757392B1 (en) * | 2005-07-29 | 2007-09-10 | 닛뽕빅터 가부시키가이샤 | Noise detecting device and method, and device and method for reducing noise by the same |
JP4693546B2 (en) * | 2005-08-19 | 2011-06-01 | 株式会社東芝 | Digital noise reduction apparatus and method, and video signal processing apparatus |
JP4653059B2 (en) * | 2006-11-10 | 2011-03-16 | オリンパス株式会社 | Imaging system, image processing program |
US7983501B2 (en) * | 2007-03-29 | 2011-07-19 | Intel Corporation | Noise detection and estimation techniques for picture enhancement |
JP4257382B1 (en) * | 2007-12-26 | 2009-04-22 | 株式会社東芝 | Noise reduction device and noise reduction method |
-
2008
- 2008-06-26 JP JP2008167864A patent/JP5123756B2/en not_active Expired - Fee Related
-
2009
- 2009-06-19 US US12/487,936 patent/US8170345B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20090324089A1 (en) | 2009-12-31 |
US8170345B2 (en) | 2012-05-01 |
JP2010011072A (en) | 2010-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5123756B2 (en) | Imaging system, image processing method, and image processing program | |
US8184181B2 (en) | Image capturing system and computer readable recording medium for recording image processing program | |
JP3762725B2 (en) | Imaging system and image processing program | |
JP4465002B2 (en) | Noise reduction system, noise reduction program, and imaging system. | |
JP4547223B2 (en) | Imaging system, noise reduction processing apparatus, and imaging processing program | |
JP4979595B2 (en) | Imaging system, image processing method, and image processing program | |
US8300120B2 (en) | Image processing apparatus and method of processing image for reducing noise of the image | |
JP4427001B2 (en) | Image processing apparatus and image processing program | |
JP5016255B2 (en) | Noise reduction apparatus, control method thereof, control program thereof, imaging apparatus, and digital camera | |
JP4660342B2 (en) | Image processing system and image processing program | |
JP5143038B2 (en) | Image processing apparatus and image processing method | |
KR20090087811A (en) | Imaging device, image processing device, image processing method, program for image processing method, and recording medium having program for image processing method recorded thereon | |
JP5165300B2 (en) | Video processing apparatus and video processing program | |
JPWO2007049418A1 (en) | Image processing system and image processing program | |
JP5052189B2 (en) | Video processing apparatus and video processing program | |
US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
JP2011171842A (en) | Image processor and image processing program | |
JP4980131B2 (en) | Noise reduction apparatus and method, and program | |
US9071803B2 (en) | Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program | |
JP2009171162A (en) | Video signal processor, video signal processing program, video signal processing method, electronic device | |
JP5147577B2 (en) | Image processing apparatus and method | |
JP2009100207A (en) | Noise reduction system, noise reduction program, and imaging system | |
JP2009027615A (en) | Video processing device and video processing program | |
JP2008271101A (en) | Video processor and video processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110523 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121026 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5123756 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |