JP4442413B2 - Image processing apparatus, image processing method, program, and recording medium - Google Patents

Image processing apparatus, image processing method, program, and recording medium Download PDF

Info

Publication number
JP4442413B2
JP4442413B2 JP2004371984A JP2004371984A JP4442413B2 JP 4442413 B2 JP4442413 B2 JP 4442413B2 JP 2004371984 A JP2004371984 A JP 2004371984A JP 2004371984 A JP2004371984 A JP 2004371984A JP 4442413 B2 JP4442413 B2 JP 4442413B2
Authority
JP
Japan
Prior art keywords
evaluation value
image
filter
calculating
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004371984A
Other languages
Japanese (ja)
Other versions
JP2006180268A (en
Inventor
肇 保坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004371984A priority Critical patent/JP4442413B2/en
Publication of JP2006180268A publication Critical patent/JP2006180268A/en
Application granted granted Critical
Publication of JP4442413B2 publication Critical patent/JP4442413B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

画像のエッジを保存しつつ画像を平滑化する画像処理装置、画像処理方法、プログラム、及び記録媒体に関する。   The present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium that smooth an image while preserving image edges.

従来、静止画や動画の画質を向上させるためにフィルタが使用されている。このようなフィルタの一つとして、バイラテラルフィルタと呼ばれるフィルタが存在する。バイラテラルフィルタは、エッジ保存フィルタの一種であり、画像のエッジを保存しつつノイズを除去して画像を平滑化させる。   Conventionally, filters are used to improve the quality of still images and moving images. As one of such filters, there is a filter called a bilateral filter. The bilateral filter is a kind of edge preserving filter, and smoothes an image by removing noise while preserving the edge of the image.

図４にバイラテラルフィルタ２０の構成を示す。バイラテラルフィルタ２０は、フィルタ部２２と、フィルタの係数を演算する係数演算部２１とから構成される。フィルタ部２２のタップ数は、２Ｎ＋１である（Ｎは任意の自然数）。バイラテラルフィルタ２０の処理単位は、フィルタ対象領域である。フィルタ対象領域は、図５に示すように、フィルタ対象領域は入力画像ＩＮから座標（Ｘ、Ｙ）の画素を中心とした縦２Ｎ＋１×横２Ｎ＋１のマトリクスを抜き出したものである。バイラテラルフィルタ２０は、フィルタ対象領域の中心の座標（Ｘ、Ｙ）に対応する出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。   FIG. 4 shows the configuration of the bilateral filter 20. The bilateral filter 20 includes a filter unit 22 and a coefficient calculation unit 21 that calculates filter coefficients. The number of taps of the filter unit 22 is 2N + 1 (N is an arbitrary natural number). The processing unit of the bilateral filter 20 is a filter target area. As shown in FIG. 5, the filter target area is a filter target area extracted from the input image IN by a matrix of 2N + 1 × 2N + 1 in the center with the pixel at the coordinates (X, Y) as the center. The bilateral filter 20 calculates an output pixel value OUT (X, Y) corresponding to the center coordinate (X, Y) of the filter target region.

バイラテラルフィルタ２０は、入力画像のフィルタリング処理を１画素づつなめるように繰り返す。バイラテラルフィルタ２０による全ての画素のフィルタリング処理が完了したときに出力画像ＯＵＴが完成する。   The bilateral filter 20 repeats the filtering process of the input image so as to connect one pixel at a time. The output image OUT is completed when filtering of all pixels by the bilateral filter 20 is completed.

係数演算部２１は、距離演算部２３と、エッジ演算部２４と、乗算部とから構成される。距離演算部２３は、以下の式（１）に従い、フィルタ対象領域の中心画素の座標（Ｘ、Ｙ）とフィルタ対象領域を構成する他の画素の座標（ＰＸ、ＰＹ）との距離に依存する値Ｗｓを算出する。式（１）において、σＳは座標（Ｘ、Ｙ）と座標（ＰＸ、ＰＹ）との標準偏差である。 The coefficient calculation unit 21 includes a distance calculation unit 23, an edge calculation unit 24, and a multiplication unit. The distance calculation unit 23 depends on the distance between the coordinates (X, Y) of the center pixel of the filter target area and the coordinates (PX, PY) of other pixels constituting the filter target area according to the following equation (1). The value W s is calculated. In Expression (1), σ S is a standard deviation between coordinates (X, Y) and coordinates (PX, PY).

エッジ演算部２４は、以下の式（２）に従い、ピクセル座標（Ｘ、Ｙ）における画素値とフィルタ対象領域の座標（ＰＸ、ＰＹ）における画素値との差に依存する値Ｗｒを求める。Ｗｒは、エッジの有無を示すエッジ評価値である。式（２）において、Ｅｄｇｅ（Ｘ、Ｙ）は座標（Ｘ、Ｙ）における画素値、Ｅｄｇｅ（ＰＸ、ＰＹ）は座標（ＰＸ、ＰＹ）における画素値、σｒはフィルタ対象領域を構成する画素の画素値の標準偏差である。 The edge calculation unit 24 obtains a value Wr that depends on the difference between the pixel value at the pixel coordinates (X, Y) and the pixel value at the coordinates (PX, PY) of the filter target area according to the following equation (2). Wr is an edge evaluation value indicating the presence or absence of an edge. In Expression (2), Edge (X, Y) is a pixel value at coordinates (X, Y), Edge (PX, PY) is a pixel value at coordinates (PX, PY), and σ r is a pixel constituting the filter target region. Is the standard deviation of the pixel values.

乗算部は、以下の式（３）に従い、ＷｓとＷｒとを乗算して係数Ｗを求める。係数Ｗは、フィルタ部２２に出力される。 The multiplication unit obtains a coefficient W by multiplying W s and W r according to the following equation (3). The coefficient W is output to the filter unit 22.

Figure 0004442413
Figure 0004442413

Figure 0004442413
Figure 0004442413

Figure 0004442413
Figure 0004442413

フィルタ部２２は、フィルタ対象領域の画像データと係数Ｗとを入力して、出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。フィルタ部２２の演算を式（４）に示す。式（４）において、Ｗは係数演算部２１の出力、ＩＮ（Ｘ、Ｙ）は座標（Ｘ、Ｙ）における入力画像ＩＮの画素値である。   The filter unit 22 receives the image data of the filter target region and the coefficient W, and calculates an output pixel value OUT (X, Y). The calculation of the filter unit 22 is shown in Expression (4). In Expression (4), W is an output of the coefficient calculation unit 21, and IN (X, Y) is a pixel value of the input image IN at coordinates (X, Y).

Figure 0004442413
Figure 0004442413

バイラテラルフィルタ２０では、エッジの検出を係数演算部２１で行う。フィルタ部２２は、係数演算部２１で算出した係数と入力画像ＩＮの画素値とを基に出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。   In the bilateral filter 20, edge detection is performed by the coefficient calculation unit 21. The filter unit 22 calculates the output pixel value OUT (X, Y) based on the coefficient calculated by the coefficient calculation unit 21 and the pixel value of the input image IN.

従来のバイラテラルフィルタ２０では、単一の入力画像ＩＮに基づいて係数の演算と出力画像の算出とを行うため、例えば、露出不足の画像に感度向上処理を適用したために強いノイズが含まれるようになった入力画像にフィルタリング処理を施すときなど、エッジの検出が不正確であったり、ノイズが連続している画像がエッジとして検出されて温存されたりすることがある。   Since the conventional bilateral filter 20 performs a coefficient calculation and an output image calculation based on a single input image IN, for example, a strong noise is included because the sensitivity enhancement processing is applied to an underexposed image. In some cases, such as when filtering processing is performed on the input image, the edge detection may be inaccurate, or an image with continuous noise may be detected as an edge and preserved.

また、バイラテラルフィルタ２０のバリエーションとして、クロスバイラテラルフィルタ３０と呼ばれるフィルタが存在する。クロスバイラテラルフィルタ３０は、フィルタを適用させる画像ＩＮと、エッジ評価用の画像Ｅｄｇｅとの２枚の入力画像を利用する。   As a variation of the bilateral filter 20, there is a filter called a cross bilateral filter 30. The cross bilateral filter 30 uses two input images, an image IN to which the filter is applied and an edge evaluation image Edge.

図６にクロスバイラテラルフィルタ３０の構成を示す。クロスバイラテラルフィルタ３０は、係数演算部３１にエッジ評価用の画像Ｅｄｇｅを入力する。係数演算部３１は、画像Ｅｄｇｅから抜き出したフィルタ対象領域を用いて係数Ｗを算出する。フィルタ部３２は、フィルタ適用させる画像ＩＮを入力する。フィルタ部３２は、画像ＩＮから抜き出したフィルタ対象領域と係数Ｗとを用いて出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。   FIG. 6 shows the configuration of the cross bilateral filter 30. The cross bilateral filter 30 inputs the edge evaluation image Edge to the coefficient calculation unit 31. The coefficient calculation unit 31 calculates the coefficient W using the filter target region extracted from the image Edge. The filter unit 32 inputs an image IN to be filtered. The filter unit 32 calculates the output pixel value OUT (X, Y) using the filter target region extracted from the image IN and the coefficient W.

クロスバイラテラルフィルタ３０の構成要素は、バイラテラルフィルタと同じである。クロスバイラテラルフィルタ３０では、係数演算にエッジ評価用画像Ｅｄｇｅを使用するため、式（１）、式（２）における（Ｘ、Ｙ、ＰＸ、ＰＹ）はエッジ評価用画像Ｅｄｇｅ上の値となる。   The components of the cross bilateral filter 30 are the same as those of the bilateral filter. Since the cross bilateral filter 30 uses the edge evaluation image Edge for coefficient calculation, (X, Y, PX, PY) in the equations (1) and (2) are values on the edge evaluation image Edge. .

クロスバイラテラルフィルタ３０は、例えば、フラッシュを用いて撮影した画像と、そうでない画像との２枚の画像とを使用する。フラッシュを用いて撮影した画像は、フラッシュなしで撮影した画像よりもエッジが鮮明であるが色味が単調になるという問題がある。フラッシュなしで撮影した画像は、色味は正確であるがノイズが多くなるという問題がある。クロスバイラテラルフィルタ３０は、フラッシュを用いて撮影した画像をエッジ評価用画像Ｅｄｇｅとし、フラッシュなしで撮影した画像をフィルタ適用のための画像ＩＮとすることにより、エッジが鮮明で色味が正確な画像を生成する（例えば、特許文献１参照）。   The cross bilateral filter 30 uses two images, for example, an image photographed using a flash and an image other than that. An image taken using a flash has a problem that the edge is clearer but the color becomes monotonous than an image taken without a flash. An image taken without a flash has a problem that the color is accurate but noise increases. The cross bilateral filter 30 uses an image photographed with a flash as an edge evaluation image Edge and an image photographed without a flash as an image IN for filter application, so that the edges are clear and the color tone is accurate. An image is generated (see, for example, Patent Document 1).

Ｇｅｏｒｇ Ｐｅｔｓｃｈｎｉｇｇ，Ｍａｎｅｅｓｈ Ａｇａｒａｗａｌａ，Ｈｕｇｕｅｓ Ｈｏｐｐｅ，Ｒｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉ，Ｍｉｃｈｅｌ Ｃｏｈｅｎ，Ａｎｄ Ｋｅｎｔａｒｏ Ｔｏｙａｍａ．“Ｄｉｇｉｔａｌ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ Ｆｌａｓｈ ａｎｄ Ｎｏ−Ｆｌａｓｈ Ｉｍａｇｅ Ｐａｉｒｓ”Georg Petschnigg, Maneesh Agarawala, Hugues Hoppe, Richard Szeliski, Michel Cohen, And Kentaro Toyama. “Digital Photography with Flash and No-Flash Image Pairs”

従来のクロスバイラテラルフィルタ３０では、エッジ評価用画像Ｅｄｇｅでエッジ評価を行う。このクロスバイラテラルフィルタ３０では、エッジ評価用画像Ｅｄｇｅのエッジは評価されるが、フィルタ対象用画像ＩＮのエッジは評価されない。   In the conventional cross bilateral filter 30, edge evaluation is performed using the edge evaluation image Edge. In the cross bilateral filter 30, the edge of the edge evaluation image Edge is evaluated, but the edge of the filter target image IN is not evaluated.

本発明は、上述した課題に鑑みてなされたものであって、複数の画像の何れかにエッジが存在する場合、このエッジを保存したままノイズを低減する画像処理装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。   The present invention has been made in view of the above-described problems, and in the case where an edge exists in any of a plurality of images, an image processing apparatus, an image processing method, a program, and an image processing apparatus that reduce noise while preserving the edge. An object is to provide a recording medium.

上述した目的を達成するために、本発明にかかる画像処理装置は、フィルタ対象画像のエッジを保存しつつ該フィルタ対象画像に対してフィルタリング処理を施す画像処理装置であって、異なる撮像条件のもとで上記フィルタ対象画像と同一の像を同時に撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出手段と、上記エッジ評価値に基づいてフィルタの係数を算出する係数算出手段と、上記係数に基づいて上記フィルタ対象画像にフィルタリング処理を施すフィルタ手段とを備え、上記複数の画像の少なくとも１つは、赤外光画像又は紫外光画像であり、上記フィルタ対象画像の任意の座標の画素に対してフィルタリング処理を施す場合に、上記エッジ評価値算出手段は、上記複数の画像の上記任意の座標の画素値と上記任意の座標の周辺の画素値との差を基にエッジ評価値を算出し、上記任意の座標と、上記任意の座標の周辺の座標との距離に基づいて距離評価値を算出する距離評価値算出手段を備え、上記係数算出手段は、上記エッジ評価値と上記距離評価値とを基にフィルタの係数を算出する。 In order to achieve the above-described object, an image processing apparatus according to the present invention is an image processing apparatus that performs filtering processing on a filter target image while preserving edges of the filter target image, and has different imaging conditions. And an edge evaluation value calculation means for calculating an edge evaluation value based on a plurality of images obtained by simultaneously capturing the same image as the filter target image, and a coefficient calculation means for calculating a filter coefficient based on the edge evaluation value; , and a filter means for performing a filtering process to the filter target image based on the coefficient, at least one of the plurality of images, infrared images or ultraviolet light image der is, any of the filter object image When performing the filtering process on the pixel of the coordinate, the edge evaluation value calculation means and the pixel value of the arbitrary coordinate of the plurality of images The edge evaluation value is calculated based on the difference between the pixel values around the arbitrary coordinates and the edge evaluation value, and the distance evaluation value is calculated based on the distance between the arbitrary coordinates and the coordinates around the arbitrary coordinates. Value calculating means, and the coefficient calculating means calculates a filter coefficient based on the edge evaluation value and the distance evaluation value.

本発明にかかる画像処理方法は、フィルタ対象画像のエッジを保存しつつ該フィルタ対象画像に対してフィルタリング処理を施す画像処理方法であって、上記フィルタ対象画像と同一の像を異なる条件のもとで同時に撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、上記エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、上記係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程とを有し、上記複数の画像の少なくとも１つは、赤外光画像又は紫外光画像であり、上記フィルタ対象画像の任意の座標の画素に対してフィルタリング処理を施す場合に、上記エッジ評価値算出工程では、上記複数の画像の上記任意の座標の画素値と上記任意の座標の周辺の画素値との差を基にエッジ評価値を算出し、上記任意の座標と、上記任意の座標の周辺の座標との距離に基づいて距離評価値を算出する距離評価値算出工程を更に有し、上記フィルタ係数算出工程では、上記エッジ評価値と上記距離評価値とを基にフィルタの係数を算出する。 An image processing method according to the present invention is an image processing method for performing filtering processing on a filter target image while preserving edges of the filter target image, wherein the same image as the filter target image is subjected to different conditions. An edge evaluation value calculating step for calculating an edge evaluation value based on a plurality of images simultaneously picked up in the step, a filter coefficient calculating step for calculating a filter coefficient based on the edge evaluation value, and the filter object using the coefficient and a filter step of performing a filtering process on the image, at least one of the plurality of images, infrared images or ultraviolet light image der is, the filtering process on the pixel of arbitrary coordinates of the filter object image In the edge evaluation value calculation step, the pixel values at the arbitrary coordinates and the pixels around the arbitrary coordinates in the plurality of images A distance evaluation value calculating step of calculating an edge evaluation value based on a difference between the arbitrary coordinate and a distance evaluation value based on a distance between the arbitrary coordinate and a coordinate around the arbitrary coordinate, In the filter coefficient calculation step, a filter coefficient is calculated based on the edge evaluation value and the distance evaluation value.

本発明にかかるプログラムは、フィルタ対象画像のエッジを保存しつつ該フィルタ画像に対するフィルタリング処理をコンピュータに実行させるプログラムにおいて、上記フィルタ対象画像と同一の像を異なる条件のもとで同時に撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、上記エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、上記係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程とを有し、上記複数の画像の少なくとも１つは、赤外光画像又は紫外光画像であり、上記フィルタ対象画像の任意の座標の画素に対してフィルタリング処理を施す場合に、上記エッジ評価値算出工程では、上記複数の画像の上記任意の座標の画素値と上記任意の座標の周辺の画素値との差を基にエッジ評価値を算出し、上記任意の座標と、上記任意の座標の周辺の座標との距離に基づいて距離評価値を算出する距離評価値算出工程を更に有し、上記フィルタ係数算出工程では、上記エッジ評価値と上記距離評価値とを基にフィルタの係数を算出する。 A program according to the present invention is a program that causes a computer to execute filtering processing on a filter image while preserving edges of the filter target image, and a plurality of images obtained by simultaneously capturing the same image as the filter target image under different conditions. An edge evaluation value calculation step for calculating an edge evaluation value based on the image, a filter coefficient calculation step for calculating a filter coefficient based on the edge evaluation value, and a filtering process on the filter target image using the coefficient and a filter step, at least one of the plurality of images, infrared images or ultraviolet light image der is, when performing filtering processing on the pixel of arbitrary coordinates of the filter target image, the In the edge evaluation value calculation step, the pixel values of the arbitrary coordinates and the arbitrary coordinates of the plurality of images A distance evaluation value calculating step of calculating an edge evaluation value based on a difference from surrounding pixel values, and calculating a distance evaluation value based on a distance between the arbitrary coordinates and the peripheral coordinates of the arbitrary coordinates; And the filter coefficient calculation step calculates a filter coefficient based on the edge evaluation value and the distance evaluation value.

本発明にかかる記録媒体は、フィルタ対象画像のエッジを保存しつつ該フィルタ画像に対するフィルタリング処理をコンピュータに実行させるプログラムが記録された記録媒体において、上記フィルタ対象画像と同一の像を異なる条件のもとで同時に撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、上記エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、上記係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程とを有し、上記複数の画像の少なくとも１つは、赤外光画像又は紫外光画像であり、上記フィルタ対象画像の任意の座標の画素に対してフィルタリング処理を施す場合に、上記エッジ評価値算出工程では、上記複数の画像の上記任意の座標の画素値と上記任意の座標の周辺の画素値との差を基にエッジ評価値を算出し、上記任意の座標と、上記任意の座標の周辺の座標との距離に基づいて距離評価値を算出する距離評価値算出工程を更に有し、上記フィルタ係数算出工程では、上記エッジ評価値と上記距離評価値とを基にフィルタの係数を算出するプログラムが記録されている。 According to the present invention, there is provided a recording medium on which a program for causing a computer to execute filtering processing on a filter image while storing an edge of the filter target image is recorded. And an edge evaluation value calculating step for calculating an edge evaluation value based on a plurality of images taken simultaneously, a filter coefficient calculating step for calculating a filter coefficient based on the edge evaluation value, and the filter using the coefficient and a filter step of performing a filtering process to the target image, at least one of the plurality of images, infrared images or ultraviolet light image der is, filtering a pixel of the arbitrary coordinate of the filter object image In the case of performing processing, in the edge evaluation value calculating step, the pixels at the arbitrary coordinates of the plurality of images The distance evaluation value is calculated based on the distance between the arbitrary coordinate and the peripheral coordinates of the arbitrary coordinate, and the edge evaluation value is calculated based on the difference between the pixel value and the peripheral pixel value of the arbitrary coordinate. An evaluation value calculation step is further included, and in the filter coefficient calculation step, a program for calculating a filter coefficient based on the edge evaluation value and the distance evaluation value is recorded.

本発明を適用した画像処理装置は、複数枚の画像をエッジ検出の評価対象とし、入力した画像の少なくとも１枚の画像にエッジが存在する場合、このエッジを保存したままノイズを低減することができる。   The image processing apparatus to which the present invention is applied can evaluate a plurality of images for edge detection evaluation, and if at least one of the input images has an edge, noise can be reduced while the edge is stored. it can.

以下、図面を参照して本発明を適用した撮像装置について説明する。図１は、撮像装置１の構成を示すブロック図である。撮像装置１は、可視光画像を撮像する可視光撮像部２と、赤外光画像を撮像する赤外光撮像部３と、様々な画像処理を行う画像処理部４と、画像を表示する表示部７と、画像を格納するメモリ８と、外部記録装置１０とのデータの送受信を中継するシリアルインターフェース９と、撮像装置１全体を制御するシステムコントローラ６とを備える。   Hereinafter, an imaging apparatus to which the present invention is applied will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus 1. The imaging apparatus 1 includes a visible light imaging unit 2 that captures a visible light image, an infrared light imaging unit 3 that captures an infrared light image, an image processing unit 4 that performs various image processing, and a display that displays an image. A unit 7, a memory 8 for storing images, a serial interface 9 for relaying data transmission / reception with the external recording device 10, and a system controller 6 for controlling the entire imaging device 1.

可視光撮像部２は、可視光に感度のある撮像素子を備え、撮像した可視光画像Ｖｉｓｉｂｌｅを画像処理部４に出力する。赤外光撮像部３は、赤外光に感度のある撮像素子を備え、撮像した赤外光画像Ｉｎｆｒを画像処理部４に出力する。赤外光画像Ｉｎｆｒを撮像する撮像素子と可視光画像Ｖｉｓｉｂｌｅを撮像する撮像素子とは、同画素数、同画角である。赤外光画像Ｉｎｆｒの座標（Ｘ、Ｙ）と可視光画像Ｖｉｓｉｂｌｅの任意の座標（Ｘ、Ｙ）には、同一の被写体が撮像されている。なお、撮像部は、図に示すように可視光用と赤外光用と別々に設けてもよいし、一つの撮像部内で可視光と赤外光とを分光するようにしてもよい。   The visible light imaging unit 2 includes an imaging device that is sensitive to visible light, and outputs a captured visible light image Visible to the image processing unit 4. The infrared light imaging unit 3 includes an imaging device that is sensitive to infrared light, and outputs the captured infrared light image Infr to the image processing unit 4. The image sensor that captures the infrared light image Infr and the image sensor that captures the visible light image Visible have the same number of pixels and the same angle of view. The same subject is imaged at the coordinates (X, Y) of the infrared light image Infr and the arbitrary coordinates (X, Y) of the visible light image Visible. Note that the imaging unit may be provided separately for visible light and infrared light as shown in the figure, or visible light and infrared light may be dispersed in one imaging unit.

画像処理部４は、バイラテラルフィルタ５を備える。図２は、バイラテラルフィルタ５の構成を示している。バイラテラルフィルタ５は、フィルタ部５２と、フィルタの係数を演算する係数演算部５１とから構成される。   The image processing unit 4 includes a bilateral filter 5. FIG. 2 shows the configuration of the bilateral filter 5. The bilateral filter 5 includes a filter unit 52 and a coefficient calculation unit 51 that calculates a filter coefficient.

係数演算部５１は、距離演算部５３と、エッジ演算部５４と、乗算部５５とから構成される。係数演算部５１は、可視光画像Ｖｉｓｉｂｌｅのフィルタ対象領域と、赤外光画像Ｉｎｆｒのフィルタ対象領域とを基に係数を算出する。フィルタ対象領域とは、座標（Ｘ、Ｙ）を中心とした縦２Ｎ＋１×横２Ｎ＋１のマトリクスを抜き出した領域である。   The coefficient calculation unit 51 includes a distance calculation unit 53, an edge calculation unit 54, and a multiplication unit 55. The coefficient calculation unit 51 calculates a coefficient based on the filter target region of the visible light image Visible and the filter target region of the infrared light image Infr. The filter target area is an area obtained by extracting a matrix of 2N + 1 vertical × 2N + 1 horizontal with the coordinates (X, Y) as the center.

距離演算部５３は、以下の式（５）に従い、フィルタ対象領域の中心画素の座標（Ｘ、Ｙ）とフィルタ対象領域を構成する他の画素の座標（ＰＸ、ＰＹ）との距離に依存する値Ｗｓを算出する。式（５）において、σＳは座標（Ｘ、Ｙ）と座標（ＰＸ、ＰＹ）との標準偏差である。式（５）は、従来のバイラテラルフィルタにおける式（１）と同じ式である。 The distance calculation unit 53 depends on the distance between the coordinates (X, Y) of the center pixel of the filter target area and the coordinates (PX, PY) of other pixels constituting the filter target area according to the following equation (5). The value W s is calculated. In Equation (5), σ S is a standard deviation between coordinates (X, Y) and coordinates (PX, PY). Expression (5) is the same expression as Expression (1) in the conventional bilateral filter.

Figure 0004442413
Figure 0004442413

エッジ演算部５４は、以下の式（６）に従い、フィルタ対象領域の中心座標（Ｘ、Ｙ）とその他の座標（ＰＸ、ＰＹ）との画素値の差に依存する値Ｗｒを算出する。値Ｗｒは、エッジの有無を示すエッジ評価値である。式（６）において、Ｖｉｓｉｂｌｅ（Ｘ、Ｙ）は可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域の中心座標（Ｘ、Ｙ）の画素値、Ｖｉｓｉｂｌｅ（ＰＸ、ＰＹ）は可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域の座標（ＰＸ、ＰＹ）における画素値、σｖは可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域を構成する画素の画素値の標準偏差である。また、式（６）において、Ｉｎｆｒ（Ｘ、Ｙ）は赤外光画像Ｉｎｆｒから抜き出したフィルタ対象領域の中心座標（Ｘ、Ｙ）の画素値、Ｉｎｆｒ（ＰＸ、ＰＹ）は赤外光画像Ｉｎｆｒから抜き出したフィルタ対象領域の座標（ＰＸ、ＰＹ）における画素値、σｉは赤外光画像Ｉｎｆｒから抜き出したフィルタ対象領域を構成する画素の画素値の標準偏差である。 The edge calculation unit 54 calculates a value Wr that depends on the difference in pixel value between the center coordinates (X, Y) of the filter target region and other coordinates (PX, PY) according to the following equation (6). The value Wr is an edge evaluation value indicating the presence or absence of an edge. In Expression (6), Visible (X, Y) is the pixel value of the center coordinates (X, Y) of the filter target region extracted from the visible light image Visible, and Visible (PX, PY) is the filter extracted from the visible light image Visible. The pixel value σ v in the coordinates (PX, PY) of the target area is a standard deviation of the pixel values of the pixels constituting the filter target area extracted from the visible light image Visible. In Expression (6), Infr (X, Y) is the pixel value of the center coordinates (X, Y) of the filter target region extracted from the infrared light image Infr, and Infr (PX, PY) is the infrared light image Infr. The pixel value at the coordinates (PX, PY) of the filter target region extracted from σ i , and σ i are standard deviations of the pixel values of the pixels constituting the filter target region extracted from the infrared light image Infr.

エッジ演算部５４は、可視光画像Ｖｉｓｉｂｌｅの画素値と、赤外光画像Ｉｎｆｒの画素値との両方を基に値Ｗｒを算出する。Ｗｒは、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの少なくとも１枚の画像にエッジが存在するとそのエッジを反映して変化する。 Edge calculating unit 54 calculates the pixel value of the visible light image Visible, based on both the pixel values of the infrared image Infr values W r. W r, when at least one image to the edge of the visible light image Visible and an infrared image Infr present changes to reflect that edges.

Figure 0004442413
Figure 0004442413

乗算部５５は、以下の式（７）に従い、ＷｓとＷｒとを乗算して係数Ｗを求める。係数Ｗは、値Ｗｒの影響により、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの少なくとも１枚の画像にエッジが存在するとそのエッジを反映して変化する。 The multiplier 55 multiplies W s and W r according to the following equation (7) to obtain the coefficient W. Coefficient W is due to the influence of the value W r, it varies to reflect that edges the at least one image to the edge of the visible light image Visible and an infrared image Infr present.

Figure 0004442413
Figure 0004442413

フィルタ部５２は、以下の式（８）に従って、可視光画像Ｖｉｓｉｂｌｅの座標（Ｘ、Ｙ）における画素値Ｖｉｓｉｂｌｅ（Ｘ、Ｙ）と係数Ｗとを基に出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。   The filter unit 52 calculates the output pixel value OUT (X, Y) based on the pixel value Visible (X, Y) and the coefficient W at the coordinates (X, Y) of the visible light image Visible according to the following equation (8). calculate.

Figure 0004442413
Figure 0004442413

本発明を適用した撮像装置１では、エッジ演算部５４において可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの両方に含まれるエッジを反映した値Ｗｒを算出することにより、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの何れか一方にしか存在しないエッジであっても検出することができる。 In the imaging apparatus 1 to which the present invention is applied, the edge calculation unit 54 calculates the value W r reflecting the edge included in both the visible light image Visible and the infrared light image Infr, whereby the visible light image Visible and red Even an edge that exists only in one of the external light image Infr can be detected.

自然光の下で撮像した場合、可視光画像Ｖｉｓｉｂｌｅにはエッジがあるが、赤外光画像Ｉｎｆｒにはエッジがない、または、赤外光画像Ｉｎｆｒにはエッジがあるが可視光画像Ｖｉｓｉｂｌｅにはエッジがないということがあり、両方の画像にエッジがあるとは限らない。本発明を適用した撮像装置１は、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの２枚の画像をエッジの評価対象とすることによりエッジの検出漏れを少なくする。   When imaged under natural light, the visible light image Visible has an edge but the infrared light image Infr has no edge, or the infrared light image Infr has an edge but the visible light image Visible has an edge. There are no edges and both images do not always have edges. The imaging apparatus 1 to which the present invention is applied reduces edge detection omission by using two images, a visible light image Visible and an infrared light image Infr, as the evaluation object of the edge.

また、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとは、同時に撮像することができるので撮像時間のずれが発生しない。さらに、赤外光画像Ｉｎｆｒは、自然光で撮像することができるのフラッシュが使えない状況でも撮像することができる。   In addition, since the visible light image Visible and the infrared light image Infr can be captured at the same time, there is no shift in imaging time. Furthermore, the infrared light image Infr can be captured even in a situation where the flash can not be used although it can be captured with natural light.

また、本願発明は、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒ以外にも適用可能である。例えば、赤外光の代わりに紫外光を用いることもできる。波長の長い赤外光と、波長の短い赤外光というように、分光特性を細分化した画像を使用することもできる。   Further, the present invention is applicable to other than the visible light image Visible and the infrared light image Infr. For example, ultraviolet light can be used instead of infrared light. An image obtained by subdividing spectral characteristics, such as infrared light having a long wavelength and infrared light having a short wavelength, can also be used.

次に、変形例として３枚以上の画像をエッジ検出の評価用画像として使用するバイラテラルフィルタ６０について説明する。図３は、３枚の画像をエッジ評価用画像としたときのバイラテラルフィルタ６０の構成を説明する。バイラテラルフィルタ６０は、上述したバイラテラルフィルタ５と同様にフィルタ部６２と、係数演算部６１とを備える。このバイラテラルフィルタ６０には、３枚の画像が入力される。１枚目の画像は可視光画像Ｖｉｓｉｂｌｅ、２枚目の画像は波長の長い赤外光を撮像した長波長画像ＩｎｆｒＬｎｇ、３枚目の画像は波長の短い赤外光を撮像した短波長画像ＩｎｆｒＳｈｔである。   Next, a bilateral filter 60 that uses three or more images as evaluation images for edge detection will be described as a modification. FIG. 3 illustrates the configuration of the bilateral filter 60 when three images are used as edge evaluation images. Similar to the bilateral filter 5 described above, the bilateral filter 60 includes a filter unit 62 and a coefficient calculation unit 61. Three images are input to the bilateral filter 60. The first image is a visible light image Visible, the second image is a long-wavelength image InfrLng obtained by imaging infrared light having a long wavelength, and the third image is a short-wavelength image InfrSht obtained by imaging infrared light having a short wavelength. It is.

係数演算部６１は、３枚の画像Ｖｉｓｉｂｌｅ、ＩｎｆｒＬｎｇ、ＩｎｆｒＳｈｔを入力し、係数Ｗを算出する。係数Ｗは、３枚の画像に含まれるエッジを反映している。エッジは、３枚画像のうち少なくとも１枚の画像に含まれていればよい。   The coefficient calculation unit 61 inputs three images Visible, InfrLng, and InfrSht, and calculates a coefficient W. The coefficient W reflects the edges included in the three images. The edge only needs to be included in at least one of the three images.

係数演算部６１は、距離演算部６３と、エッジ演算部６４と、乗算部６５とから構成される。係数演算部６１は、フィルタ対象領域を処理単位として係数Ｗを算出する。フィルタ対象領域とは、座標（Ｘ、Ｙ）を中心とした縦２Ｎ＋１×横２Ｎ＋１のマトリクスを抜き出した領域である。係数演算部６１は、３枚の画像Ｖｉｓｉｂｌｅ、ＩｎｆｒＬｎｇ、ＩｎｆｒＳｈｔのフィルタ対象領域を処理単位として使用する。   The coefficient calculation unit 61 includes a distance calculation unit 63, an edge calculation unit 64, and a multiplication unit 65. The coefficient calculation unit 61 calculates the coefficient W using the filter target region as a processing unit. The filter target area is an area obtained by extracting a matrix of 2N + 1 vertical × 2N + 1 horizontal with the coordinates (X, Y) as the center. The coefficient calculation unit 61 uses the filter target areas of the three images Visible, InfrLng, and InfrSht as a processing unit.

距離演算部６３は、上述した式（５）に従い、フィルタ対象領域の中心画素の座標（Ｘ、Ｙ）とフィルタ対象領域を構成する他の画素の座標（ＰＸ、ＰＹ）との距離に依存する値Ｗｓを算出する。距離演算部６３の式（５）は、上述した距離演算部５３と同じ式である。 The distance calculation unit 63 depends on the distance between the coordinates (X, Y) of the center pixel of the filter target area and the coordinates (PX, PY) of other pixels constituting the filter target area according to the above-described equation (5). The value W s is calculated. The expression (5) of the distance calculation unit 63 is the same expression as the distance calculation unit 53 described above.

エッジ演算部６４は、以下の式（９）に従って、フィルタ対象領域の中心座標（Ｘ、Ｙ）とその他の座標（ＰＸ、ＰＹ）との画素値の差に依存する値Ｗｒを算出する。式（９）において、Ｖｉｓｉｂｌｅ（Ｘ、Ｙ）は可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域の中心座標（Ｘ、Ｙ）の画素値、Ｖｉｓｉｂｌｅ（ＰＸ、ＰＹ）は可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域の座標（ＰＸ、ＰＹ）における画素値、σｖは可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域を構成する画素の画素値の標準偏差である。式（９）においてＥｄｇｅ１（Ｘ、Ｙ）は長波長画像ＩｎｆｒＬｎｇの座標（Ｘ、Ｙ）における画素値、Ｅｄｇｅ１（ＰＸ、ＰＹ）は長波長画像ＩｎｆｒＬｎｇの座標（ＰＸ、ＰＹ）における画素値、σｒ１は長波長画像ＩｎｆｒＬｎｇから抜き出したフィルタ対象領域を構成する画素の画素値の標準偏差である。式（９）において、Ｅｄｇｅ２（Ｘ、Ｙ）は短波長画像ＩｎｆｒＳｈｔから抜き出したフィルタ対象領域の中心座標（Ｘ、Ｙ）の画素値、Ｅｄｇｅ２（ＰＸ、ＰＹ）は短波長画像ＩｎｆｒＳｈｔから抜き出したフィルタ対象領域の座標（ＰＸ、ＰＹ）における画素値、σｒ２はフィルタ対象領域を構成する画素の画素値の標準偏差である。 The edge calculation unit 64 calculates a value Wr that depends on the difference in pixel value between the center coordinates (X, Y) of the filter target region and other coordinates (PX, PY) according to the following equation (9). In Expression (9), Visible (X, Y) is the pixel value of the center coordinates (X, Y) of the filter target region extracted from the visible light image Visible, and Visible (PX, PY) is the filter extracted from the visible light image Visible. The pixel value σ v in the coordinates (PX, PY) of the target area is a standard deviation of the pixel values of the pixels constituting the filter target area extracted from the visible light image Visible. In Expression (9), Edge 1 (X, Y) is a pixel value at the coordinates (X, Y) of the long wavelength image InfrLng, and Edge 1 (PX, PY) is a pixel value at the coordinates (PX, PY) of the long wavelength image InfrLng. , Σ r1 is the standard deviation of the pixel values of the pixels constituting the filter target region extracted from the long wavelength image InfrLng. In Expression (9), Edge 2 (X, Y) is the pixel value of the center coordinates (X, Y) of the filter target region extracted from the short wavelength image InfrSht, and Edge 2 (PX, PY) is extracted from the short wavelength image InfrSht. The pixel value at the coordinates (PX, PY) of the filter target area, σ r2 is the standard deviation of the pixel values of the pixels constituting the filter target area.

Figure 0004442413
Figure 0004442413

エッジ演算部６４は、可視光画像Ｖｉｓｉｂｌｅと、長波長画像ＩｎｆｒＬｎｇと、短波長画像ＩｎｆｒＳｈｔとの３枚の画像を基に値Ｗｒを算出する。Ｗｒは、可視光画像Ｖｉｓｉｂｌｅと、長波長画像ＩｎｆｒＬｎｇと、短波長画像ＩｎｆｒＳｈｔとの何れかにエッジが含まれている場合それを反映して変化する。 The edge calculator 64 calculates the value W r based on the three images of the visible light image Visible, the long wavelength image InfrLng, and the short wavelength image InfrSht. W r is the visible light image Visible, a long wavelength image InfrLng, if it contains any the edge of the short wavelength image InfrSht changes to reflect it.

乗算部６５は、上述した式（７）に従い、係数Ｗを算出する。係数Ｗは、値Ｗｒの影響により、可視光画像Ｖｉｓｉｂｌｅ、長波長画像ＩｎｆｒＬｎｇ、短波長画像ＩｎｆｒＳｈｔとの何れかに含まれるエッジを反映した値となる。 The multiplication unit 65 calculates the coefficient W according to the above-described equation (7). Coefficient W is due to the influence of the value W r, the visible light image Visible, long wavelength image InfrLng, a value reflecting the edges included in either the short wavelength image InfrSht.

フィルタ部６２は、上述した式（８）に従い、可視光画像Ｖｉｓｉｂｌｅの座標（Ｘ、Ｙ）における画素値ＩＮ（Ｘ、Ｙ）と係数Ｗとを基に出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。   The filter unit 62 calculates the output pixel value OUT (X, Y) based on the pixel value IN (X, Y) and the coefficient W at the coordinates (X, Y) of the visible light image Visible according to the above-described equation (8). calculate.

このように、本発明を適用した撮像装置では、複数のエッジ評価画像をエッジ検出の評価対象とすることができる。また、式（９）を式（１０）のように変形することにより、エッジ検出対象となる画像を増加することができる。式（１０）における変数ｊは、エッジ検出対象となる画像の枚数を示す（ｊは任意の自然数）。エッジ検出対象の画像は、ｊ−１枚の画像にフィルタ対象用の画像１枚を足したｊ枚になる。   Thus, in the imaging apparatus to which the present invention is applied, a plurality of edge evaluation images can be set as evaluation targets for edge detection. Further, by transforming equation (9) into equation (10), it is possible to increase the number of images that are subject to edge detection. A variable j in Expression (10) indicates the number of images to be subjected to edge detection (j is an arbitrary natural number). The number of edge detection target images is j-1 images plus one filter target image.

Figure 0004442413
Figure 0004442413

本発明を適用した撮像装置１は、バイラテラルフィルタ５を備える。バイラテラルフィルタ５は、複数枚の画像をエッジ検出の評価対象とし、入力した画像の少なくとも１枚でエッジが検出されると、このエッジを保存した状態でノイズを低減することができる。   An imaging apparatus 1 to which the present invention is applied includes a bilateral filter 5. The bilateral filter 5 uses a plurality of images as an edge detection evaluation target, and when an edge is detected in at least one of the input images, noise can be reduced while the edge is stored.

また、バイラテラルフィルタ５は、エッジ検出の評価対象として可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとをエッジ検出の評価対象とする。可視光画像と赤外光画像とは同時に撮像することができるため、画像の撮像時間にずれが生じず、動画や動く被写体のノイズを除去することもできる。   Further, the bilateral filter 5 uses the visible light image Visible and the infrared light image Infr as evaluation objects for edge detection as evaluation objects for edge detection. Since the visible light image and the infrared light image can be captured at the same time, there is no shift in the image capturing time, and the moving image and noise of the moving subject can be removed.

なお、本実施の形態では、本発明を撮像装置に適用した例について説明したが、本発明の要旨は、複数の画像のエッジを保存しつつノイズを除去する点であり、撮像部を備えない画像処理装置やパーソナルコンピュータなどの他の電子機器にも適用することができる。   In this embodiment, an example in which the present invention is applied to an imaging apparatus has been described. However, the gist of the present invention is that noise is removed while preserving edges of a plurality of images, and no imaging unit is provided. The present invention can also be applied to other electronic devices such as an image processing apparatus and a personal computer.

また、エッジ検出の評価対象となる画像としては、波長の異なる画像の他に、色相の異なる画像なども使用することもできる。さらに、動画や動く被写体を撮像しない場合には、フラッシュを使用した画像とフラッシュを使用しない画像など撮像時間にずれが生じる画像を使用することもできる。   In addition to images with different wavelengths, images with different hues can also be used as images to be evaluated for edge detection. Furthermore, when a moving image or a moving subject is not imaged, an image with a difference in imaging time such as an image using a flash and an image not using a flash can be used.

画像処理部４におけるフィルタリング処理は、制御プログラムに基づいて実行してもよい。このような制御プログラムは、撮像装置１のファームウェアに記録されている。なお、制御プログラムは、外部記録装置１０が読み取り可能な形式で記録された記録媒体を介して取得してもよい。制御プログラムを記録する記録媒体としては、磁気読取方式の記録媒体（例えば、磁気テープ、フレキシブルディスク、磁気カード）、光学読取方式の記録媒体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ）、半導体メモリ（メモリカード、ＩＣカード）等が考えられる。また、制御プログラムは、いわゆるインターネット等を介して取得してもよい。   The filtering process in the image processing unit 4 may be executed based on a control program. Such a control program is recorded in the firmware of the imaging apparatus 1. The control program may be acquired via a recording medium recorded in a format readable by the external recording device 10. As a recording medium for recording the control program, a magnetic reading type recording medium (for example, magnetic tape, flexible disk, magnetic card), an optical reading type recording medium (for example, CD-ROM, MO, CD-R, DVD) A semiconductor memory (memory card, IC card) or the like can be considered. Further, the control program may be acquired via a so-called Internet or the like.

撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of an imaging device. バイラテラルフィルタの構成を示すブロック図である。It is a block diagram which shows the structure of a bilateral filter. ３枚の画像をエッジ検出の評価対象とするバイラテラルフィルタの構成を示すブロック図である。It is a block diagram which shows the structure of the bilateral filter which makes three images the evaluation object of edge detection. 従来のバイラテラルフィルタの構成を示すブロック図である。It is a block diagram which shows the structure of the conventional bilateral filter. 座標（Ｘ、Ｙ）を中心としたフィルタ対象領域を示す図である。It is a figure which shows the filter object area | region centering on coordinate (X, Y). 従来のクロスバイラテラルフィルタの構成を示すブロック図である。It is a block diagram which shows the structure of the conventional cross bilateral filter.

符号の説明Explanation of symbols

１ 撮像装置、２ 可視光撮像部、３ 赤外光撮像部、４ 画像処理部、５ バイラテラルフィルタ、６ システムコントローラ、５１ 係数演算部、５２ フィルタ部、５３ 距離演算部、５４ エッジ演算部、５５ 乗算部
DESCRIPTION OF SYMBOLS 1 Imaging device, 2 Visible light imaging part, 3 Infrared light imaging part, 4 Image processing part, 5 Bilateral filter, 6 System controller, 51 Coefficient calculating part, 52 Filter part, 53 Distance calculating part, 54 Edge calculating part, 55 Multiplier

Claims (6)

フィルタ対象画像のエッジを保存しつつ該フィルタ対象画像に対してフィルタリング処理を施す画像処理装置であって、
異なる撮像条件のもとで上記フィルタ対象画像と同一の像を同時に撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出手段と、
上記エッジ評価値に基づいてフィルタの係数を算出する係数算出手段と、
上記係数に基づいて上記フィルタ対象画像にフィルタリング処理を施すフィルタ手段とを備え、
上記複数の画像の少なくとも１つは、赤外光画像又は紫外光画像であり、
上記フィルタ対象画像の任意の座標の画素に対してフィルタリング処理を施す場合に、上記エッジ評価値算出手段は、上記複数の画像の上記任意の座標の画素値と上記任意の座標の周辺の画素値との差を基にエッジ評価値を算出し、
上記任意の座標と、上記任意の座標の周辺の座標との距離に基づいて距離評価値を算出する距離評価値算出手段を備え、
上記係数算出手段は、上記エッジ評価値と上記距離評価値とを基にフィルタの係数を算出する
画像処理装置。 An image processing apparatus that performs filtering processing on a filter target image while preserving edges of the filter target image,
Edge evaluation value calculating means for calculating an edge evaluation value based on a plurality of images obtained by simultaneously capturing the same image as the filter target image under different imaging conditions;
Coefficient calculation means for calculating a coefficient of the filter based on the edge evaluation value;
Filter means for performing a filtering process on the filter target image based on the coefficient,
At least one of the plurality of images, Ri infrared light image or ultraviolet light image der,
In a case where filtering processing is performed on pixels at arbitrary coordinates of the filter target image, the edge evaluation value calculation means includes the pixel values of the arbitrary coordinates of the plurality of images and pixel values around the arbitrary coordinates. Edge evaluation value is calculated based on the difference between
A distance evaluation value calculating means for calculating a distance evaluation value based on a distance between the arbitrary coordinate and a coordinate around the arbitrary coordinate;
The coefficient calculation means is an image processing apparatus that calculates a filter coefficient based on the edge evaluation value and the distance evaluation value . 上記赤外光画像は、赤外光に感度のある撮像素子で撮像した画像である請求項１記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the infrared light image is an image captured by an image sensor having sensitivity to infrared light. 上記紫外光画像は、紫外光に感度のある撮像素子で撮像した画像である請求項１記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the ultraviolet light image is an image captured by an imaging device sensitive to ultraviolet light. フィルタ対象画像のエッジを保存しつつ該フィルタ対象画像に対してフィルタリング処理を施す画像処理方法であって、
上記フィルタ対象画像と同一の像を異なる条件のもとで同時に撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、
上記エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、
上記係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程とを有し、
上記複数の画像の少なくとも１つは、赤外光画像又は紫外光画像であり、
上記フィルタ対象画像の任意の座標の画素に対してフィルタリング処理を施す場合に、上記エッジ評価値算出工程では、上記複数の画像の上記任意の座標の画素値と上記任意の座標の周辺の画素値との差を基にエッジ評価値を算出し、
上記任意の座標と、上記任意の座標の周辺の座標との距離に基づいて距離評価値を算出する距離評価値算出工程を更に有し、
上記フィルタ係数算出工程では、上記エッジ評価値と上記距離評価値とを基にフィルタの係数を算出する
画像処理方法。 An image processing method for performing filtering processing on a filter target image while preserving edges of the filter target image,
An edge evaluation value calculating step for calculating an edge evaluation value based on a plurality of images obtained by simultaneously capturing the same image as the filter target image under different conditions;
A filter coefficient calculation step of calculating a filter coefficient based on the edge evaluation value;
A filtering step of performing a filtering process on the filter target image using the coefficient,
At least one of the plurality of images, Ri infrared light image or ultraviolet light image der,
When filtering processing is performed on pixels at arbitrary coordinates of the filter target image, in the edge evaluation value calculation step, the pixel values of the arbitrary coordinates and the pixel values around the arbitrary coordinates of the plurality of images Edge evaluation value is calculated based on the difference between
A distance evaluation value calculating step of calculating a distance evaluation value based on a distance between the arbitrary coordinates and the coordinates around the arbitrary coordinates;
An image processing method for calculating a filter coefficient based on the edge evaluation value and the distance evaluation value in the filter coefficient calculation step . フィルタ対象画像のエッジを保存しつつ該フィルタ画像に対するフィルタリング処理をコンピュータに実行させるプログラムにおいて、
上記フィルタ対象画像と同一の像を異なる条件のもとで同時に撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、
上記エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、
上記係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程とを有し、
上記複数の画像の少なくとも１つは、赤外光画像又は紫外光画像であり、
上記フィルタ対象画像の任意の座標の画素に対してフィルタリング処理を施す場合に、上記エッジ評価値算出工程では、上記複数の画像の上記任意の座標の画素値と上記任意の座標の周辺の画素値との差を基にエッジ評価値を算出し、
上記任意の座標と、上記任意の座標の周辺の座標との距離に基づいて距離評価値を算出する距離評価値算出工程を更に有し、
上記フィルタ係数算出工程では、上記エッジ評価値と上記距離評価値とを基にフィルタの係数を算出する
プログラム。 In a program for causing a computer to execute filtering processing on a filter image while preserving edges of the filter target image,
An edge evaluation value calculating step for calculating an edge evaluation value based on a plurality of images obtained by simultaneously capturing the same image as the filter target image under different conditions;
A filter coefficient calculation step of calculating a filter coefficient based on the edge evaluation value;
A filtering step of performing a filtering process on the filter target image using the coefficient,
At least one of the plurality of images, Ri infrared light image or ultraviolet light image der,
When filtering processing is performed on pixels at arbitrary coordinates of the filter target image, in the edge evaluation value calculation step, the pixel values of the arbitrary coordinates and the pixel values around the arbitrary coordinates of the plurality of images Edge evaluation value is calculated based on the difference between
A distance evaluation value calculating step of calculating a distance evaluation value based on a distance between the arbitrary coordinates and the coordinates around the arbitrary coordinates;
In the filter coefficient calculation step, a program for calculating a filter coefficient based on the edge evaluation value and the distance evaluation value . フィルタ対象画像のエッジを保存しつつ該フィルタ画像に対するフィルタリング処理をコンピュータに実行させるプログラムが記録された記録媒体において、
上記フィルタ対象画像と同一の像を異なる条件のもとで同時に撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、
上記エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、
上記係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程とを有し、
上記複数の画像の少なくとも１つは、赤外光画像又は紫外光画像であり、
上記フィルタ対象画像の任意の座標の画素に対してフィルタリング処理を施す場合に、上記エッジ評価値算出工程では、上記複数の画像の上記任意の座標の画素値と上記任意の座標の周辺の画素値との差を基にエッジ評価値を算出し、
上記任意の座標と、上記任意の座標の周辺の座標との距離に基づいて距離評価値を算出する距離評価値算出工程を更に有し、
上記フィルタ係数算出工程では、上記エッジ評価値と上記距離評価値とを基にフィルタの係数を算出する
プログラムが記録された記録媒体。 In a recording medium on which a program for causing a computer to execute filtering processing on the filter image while storing edges of the filter target image is recorded,
An edge evaluation value calculating step for calculating an edge evaluation value based on a plurality of images obtained by simultaneously capturing the same image as the filter target image under different conditions;
A filter coefficient calculation step of calculating a filter coefficient based on the edge evaluation value;
A filtering step of performing a filtering process on the filter target image using the coefficient,
At least one of the plurality of images, Ri infrared light image or ultraviolet light image der,
When filtering processing is performed on pixels at arbitrary coordinates of the filter target image, in the edge evaluation value calculation step, the pixel values of the arbitrary coordinates and the pixel values around the arbitrary coordinates of the plurality of images Edge evaluation value is calculated based on the difference between
A distance evaluation value calculating step of calculating a distance evaluation value based on a distance between the arbitrary coordinates and the coordinates around the arbitrary coordinates;
In the filter coefficient calculation step, a recording medium on which a program for calculating a filter coefficient based on the edge evaluation value and the distance evaluation value is recorded.
JP2004371984A 2004-12-22 2004-12-22 Image processing apparatus, image processing method, program, and recording medium Expired - Fee Related JP4442413B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004371984A JP4442413B2 (en) 2004-12-22 2004-12-22 Image processing apparatus, image processing method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004371984A JP4442413B2 (en) 2004-12-22 2004-12-22 Image processing apparatus, image processing method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2006180268A JP2006180268A (en) 2006-07-06
JP4442413B2 true JP4442413B2 (en) 2010-03-31

Family

ID=36733937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004371984A Expired - Fee Related JP4442413B2 (en) 2004-12-22 2004-12-22 Image processing apparatus, image processing method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP4442413B2 (en)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180168B2 (en) * 2007-01-16 2012-05-15 Hewlett-Packard Development Company, L.P. One-pass filtering and infrared-visible light decorrelation to reduce noise and distortions
JP4288623B2 (en) 2007-01-18 2009-07-01 ソニー株式会社 Imaging device, noise removal device, noise removal method, noise removal method program, and recording medium recording noise removal method program
WO2009107197A1 (en) * 2008-02-26 2009-09-03 富士通株式会社 Picture processor, picture processing method and picture processing program
JP5034665B2 (en) * 2007-05-11 2012-09-26 ソニー株式会社 Image input processing device, pixel signal processing circuit, and edge detection method
EP2034437A1 (en) * 2007-09-06 2009-03-11 Thomson Licensing Spatial diffusion in images
JP5144202B2 (en) 2007-10-05 2013-02-13 オリンパス株式会社 Image processing apparatus and program
JP2010041697A (en) * 2008-08-08 2010-02-18 Sony Corp Video signal processing apparatus, video signal processing method, and program
JP4727720B2 (en) 2008-12-31 2011-07-20 株式会社モルフォ Image processing method and image processing apparatus
JP2011034226A (en) * 2009-07-30 2011-02-17 Toshiba Corp Image processing apparatus
JP5169997B2 (en) 2009-05-29 2013-03-27 ソニー株式会社 Filter circuit, image processing apparatus, imaging apparatus, image processing method, and program
US8588535B2 (en) 2010-09-15 2013-11-19 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8600188B2 (en) 2010-09-15 2013-12-03 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement
US8175411B2 (en) 2010-09-28 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8538193B2 (en) 2010-09-28 2013-09-17 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement and estimation of compression noise
US8532429B2 (en) * 2010-09-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement involving selection of noise-control parameter
JP5874180B2 (en) * 2011-03-14 2016-03-02 株式会社ニコン Image processing apparatus, imaging apparatus, and image processing program
JP6564421B2 (en) * 2017-05-17 2019-08-21 キヤノン株式会社 Image processing apparatus, imaging apparatus, image processing method, and program
CN108961170B (en) * 2017-05-24 2022-05-03 阿里巴巴集团控股有限公司 Image processing method, device and system

Also Published As

Publication number Publication date
JP2006180268A (en) 2006-07-06

Similar Documents

Publication Publication Date Title
JP4442413B2 (en) Image processing apparatus, image processing method, program, and recording medium
Zhuo et al. Defocus map estimation from a single image
US7589771B2 (en) Image processing apparatus, image processing method, image pickup apparatus, computer program and recording medium
JP4640508B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
JP5291084B2 (en) Edge mapping incorporating panchromatic pixels
TWI441095B (en) Distance evaluation methods and apparatuses, and machine readable medium thereof
US10210643B2 (en) Image processing apparatus, image processing method, and storage medium storing a program that generates an image from a captured image in which an influence of fine particles in an atmosphere has been reduced
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
US20140340515A1 (en) Image processing method and system
JP6693684B2 (en) Abnormality inspection device and abnormality inspection method
JP2010525427A (en) Edge mapping using panchromatic pixels
JP4466015B2 (en) Image processing apparatus and image processing program
JP2003116060A (en) Correcting device for defective picture element
JP6711396B2 (en) Image processing device, imaging device, image processing method, and program
KR20170027301A (en) Image processing apparatus, image processing method, and storage medium
US20100061650A1 (en) Method And Apparatus For Providing A Variable Filter Size For Providing Image Effects
US20170032501A1 (en) Image processing apparatus, image capturing apparatus, and storage medium that stores image processing program
CN102543793A (en) Wafer focusing image quality feedback system and method therefor
JP4438363B2 (en) Image processing apparatus and image processing program
US20220414826A1 (en) Image processing apparatus, image processing method, and medium
JP4466017B2 (en) Image processing apparatus and image processing program
JP5172283B2 (en) Stereo image processing apparatus, stereo image processing method, and program
JP5115297B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP4466016B2 (en) Image processing apparatus and image processing program
US9648232B2 (en) Image processing apparatus, image capturing apparatus, control method and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100104

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees