JP4236642B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4236642B2
JP4236642B2 JP2005048895A JP2005048895A JP4236642B2 JP 4236642 B2 JP4236642 B2 JP 4236642B2 JP 2005048895 A JP2005048895 A JP 2005048895A JP 2005048895 A JP2005048895 A JP 2005048895A JP 4236642 B2 JP4236642 B2 JP 4236642B2
Authority
JP
Japan
Prior art keywords
image
shooting scene
camera shake
edge
edge strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005048895A
Other languages
Japanese (ja)
Other versions
JP2006237985A (en
Inventor
裕 川本
晴雄 畑中
晋平 福本
浩 蚊野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2005048895A priority Critical patent/JP4236642B2/en
Publication of JP2006237985A publication Critical patent/JP2006237985A/en
Application granted granted Critical
Publication of JP4236642B2 publication Critical patent/JP4236642B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

この発明は、手ぶれ補正手段を備えたデジタルカメラ等の撮像装置に関する。   The present invention relates to an imaging apparatus such as a digital camera provided with camera shake correction means.

静止画手ぶれ補正技術は、静止画撮影における手ぶれを軽減する技術であり、手ぶれを検出して、その検出結果に基づいて画像を安定化することで実現される。   The still image stabilization technology is a technology for reducing camera shake in still image shooting, and is realized by detecting camera shake and stabilizing an image based on the detection result.

手ぶれを検出する方法には、手ぶれセンサ(角速度センサ)を用いる方法と、画像を解析して検出する電子式とがある。画像を安定化させる方法には、レンズや撮像素子を安定化させる光学式と、画像処理により手ぶれによるぼけを除去する電子式とがある。   Methods for detecting camera shake include a method using a camera shake sensor (angular velocity sensor) and an electronic method for analyzing and detecting an image. As a method for stabilizing an image, there are an optical method for stabilizing a lens and an image sensor, and an electronic method for removing blur caused by camera shake by image processing.

一方、完全電子式の手ぶれ補正技術、すなわち、撮影された一枚の手ぶれ画像だけを解析・処理することで、手ぶれの除去された画像を生成する技術は、実用レベルに達していない。特に、手ぶれセンサで得られる精度の手ぶれ信号を、一枚の手ぶれ画像を解析することによって求めることは困難である。   On the other hand, a completely electronic camera shake correction technique, that is, a technique for generating an image free from camera shake by analyzing and processing only one photographed camera shake image has not reached a practical level. In particular, it is difficult to obtain an accurate camera shake signal obtained by a camera shake sensor by analyzing a single camera shake image.

したがって、手ぶれセンサを用いて手ぶれを検出し、その手ぶれデータを用いて画像処理により手ぶれぼけを除去することが現実的である。画像処理によるぼけの除去を画像復元と呼ぶ。また、手ぶれセンサと画像復元による手法を、ここでは電子式手ぶれ補正と呼ぶことにする。   Therefore, it is realistic to detect camera shake using a camera shake sensor and remove camera shake blur by image processing using the camera shake data. Deblurring by image processing is called image restoration. In addition, a technique based on a camera shake sensor and image restoration will be referred to as electronic camera shake correction here.

ところで、手ぶれやピンボケなどの画像の劣化過程が明確であるならば、ウィーナフィルタや一般逆フィルタと呼ばれる画像復元フィルタを用いることで、その劣化を軽減することが可能である。しかし、その副作用として、画像のエッジ部の周辺部にリンギングと呼ばれる波状の劣化が発生したり、ノイズが強調されるといったことが起こる。   By the way, if the degradation process of an image such as camera shake or blur is clear, it is possible to reduce the degradation by using an image restoration filter called a Wiener filter or a general inverse filter. However, as a side effect, wavy deterioration called ringing occurs in the periphery of the edge portion of the image, or noise is emphasized.

このような副作用を軽減する方法として、画像復元フィルタで復元を行う前または後ろに平滑化フィルタ(メディアンフィルタ、ガウシアンフィルタ等)を挿入したり、画像復元後の画像に対してリンギング除去またはアンシャープマスキングを行ったりする方法がある。しかしながら、夜景、人物、風景、動作等の撮像シーンによって、副作用が大きく変化するため、全ての撮影シーンにおいて副作用を効率よく低減させることは困難であった。
特開平8−265572号公報 特開2004−88567号公報 特開平11−24122号公報 特開2003−274280号公報
As a method of reducing such side effects, a smoothing filter (median filter, Gaussian filter, etc.) is inserted before or after restoration by the image restoration filter, or ringing is removed or unsharpened from the image after restoration. There is a way to do masking. However, side effects vary greatly depending on imaging scenes such as night views, people, landscapes, and movements, so it is difficult to efficiently reduce side effects in all shooting scenes.
JP-A-8-265572 JP 2004-88567 A Japanese Patent Laid-Open No. 11-24122 JP 2003-274280 A

この発明は、撮影シーンにかかわらず、手ぶれ補正による副作用を効率よく低減させることができる撮像装置を提供することを目的とする。   An object of the present invention is to provide an imaging apparatus capable of efficiently reducing side effects due to camera shake correction regardless of the shooting scene.

請求項1に記載の発明は、撮影シーンを自動的に検出する撮影シーン検出手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに撮影シーン検出手段によって検出された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段を備えていることを特徴とする。   The invention described in claim 1 is based on a shooting scene detection unit that automatically detects a shooting scene, a camera shake correction unit that performs a camera shake correction process on an input image, and a shooting scene detected by the shooting scene detection unit. The image processing apparatus is characterized by comprising control means for controlling the intensity of camera shake correction by the camera shake correction means.

ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御す Shake correction means is to carry out camera shake correction using the inverse filter, the control means based on the photographic scene that is detected by the photographing scene detecting means to control the regularization coefficient used in generating an inverse filter The

請求項に記載の発明は、撮影シーンを自動的に検出する撮影シーン検出手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびに撮影シーン検出手段によって検出された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段を備えていることを特徴とする。 The invention described in claim 2 removes ringing from a restored image obtained by a shooting scene detection unit that automatically detects a shooting scene, a camera shake correction unit that performs a camera shake correction process on an input image, and a camera shake correction unit. And a control means for controlling the intensity of the ringing removal by the ringing removal means based on the shooting scene detected by the shooting scene detection means.

ンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が100%となるような関係にあり、制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、上記閾値を制御す Ringing removal means, the edge strength calculating means for calculating an edge strength of each pixel of the input image before camera shake compensation, the relationship between the edge intensity for each pixel calculated by the edge strength calculating unit, the weighted addition coefficient for the edge strength Based on the above, the coefficient calculation means for obtaining the weighted addition coefficient for each pixel and the weighted addition coefficient obtained for each image are used to weight the input image and the restored image obtained by the camera shake correction means for each pixel. A weighted average means for adding is provided. The edge strength and the weighted addition coefficient are such that when the edge strength is equal to or lower than the threshold value, the weighted ratio of the restored image increases as the edge strength increases. ratio is in the relationship as 100%, the control means based on the photographic scene that is detected by the photographing scene detecting means, controls the threshold value .

請求項に記載の発明は、撮影シーンを自動的に検出する撮影シーン検出手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた第1画像からリンギングを除去するためのリンギング除去手段、リンギング除去手段によって得られた第2画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびに撮影シーン検出手段によって検出された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段を備えていることを特徴とする。 The invention described in claim 3 removes ringing from the first image obtained by the shooting scene detection means for automatically detecting the shooting scene, the camera shake correction means for performing the camera shake correction processing on the input image, and the camera shake correction means. Based on the shooting scene detected by the shooting scene detection means and the unsharp masking processing means for performing edge enhancement processing on the second image obtained by the ringing removal means Control means for controlling at least one of the edge emphasis width and the degree of edge emphasis by the masking processing means is provided.

請求項に記載の発明は、請求項に記載の撮像装置において、アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第2画像の平滑化画像を生成し、第2画像と第2画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第2画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、制御手段は、撮影シーン検出手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする。 According to a fourth aspect of the present invention, in the imaging apparatus according to the third aspect , the unsharp masking processing unit generates a smoothed image of the second image using a Gaussian filter, and the second image and the second image An edge strength image is generated by multiplying the difference from the smoothed image by a correction strength parameter, and an edge strength image is obtained by adding the edge strength image to the second image. Based on the photographic scene detected by the photographic scene detection means, a parameter representing dispersion in a two-dimensional Gaussian function used to generate a smoothed image, and the correction intensity parameter used to generate an edge-enhanced image And at least one of them is controlled.

請求項に記載の発明は、撮影シーンを設定するための撮影シーン設定手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに撮影シーン設定手段によって設定された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段を備えていることを特徴とする。 The invention according to claim 5 is based on the shooting scene setting means for setting the shooting scene, the camera shake correction means for performing the camera shake correction process on the input image, and the shooting scene set by the shooting scene setting means. Control means for controlling the intensity of camera shake correction by the camera shake correction means is provided.

ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御す Shake correction means is to carry out camera shake correction using the inverse filter, the control means on the basis of the photographic scene is set by the photographing scene setting means, to control the regularization coefficient used in generating an inverse filter The

請求項に記載の発明は、撮影シーンを設定するための撮影シーン設定手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびに撮影シーン設定手段によって設定された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段を備えていることを特徴とする。 According to the sixth aspect of the present invention, a shooting scene setting unit for setting a shooting scene, a camera shake correction unit that performs a camera shake correction process on an input image, and a ringing is removed from a restored image obtained by the camera shake correction unit. And a control means for controlling the intensity of the ringing removal by the ringing removal means based on the shooting scene set by the shooting scene setting means.

ンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が100%となるような関係にあり、制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、上記閾値を制御す Ringing removal means, the edge strength calculating means for calculating an edge strength of each pixel of the input image before camera shake compensation, the relationship between the edge intensity for each pixel calculated by the edge strength calculating unit, the weighted addition coefficient for the edge strength Based on the above, the coefficient calculation means for obtaining the weighted addition coefficient for each pixel and the weighted addition coefficient obtained for each image are used to weight the input image and the restored image obtained by the camera shake correction means for each pixel. A weighted average means for adding is provided. The edge strength and the weighted addition coefficient are such that when the edge strength is equal to or lower than the threshold value, the weighted ratio of the restored image increases as the edge strength increases. ratio is in the relationship as 100%, the control means on the basis of the photographic scene is set by the photographing scene setting means, to control the threshold value .

請求項に記載の発明は、撮影シーンを設定するための撮影シーン設定手段、入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、手ぶれ補正手段によって得られた第1画像からリンギングを除去するためのリンギング除去手段、リンギング除去手段によって得られた第2画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびに撮影シーン設定手段によって設定された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段を備えていることを特徴とする。 The invention described in claim 7 removes ringing from the first image obtained by the shooting scene setting means for setting the shooting scene, the camera shake correction means for performing the camera shake correction processing on the input image, and the camera shake correction means. Unsharp masking based on the shooting scene set by the shooting scene setting means and the unsharp masking processing means for performing edge enhancement processing on the second image obtained by the ringing removal means Control means for controlling at least one of an edge emphasis width and an edge emphasis degree by the processing means is provided.

請求項に記載の発明は、請求項に記載の撮像装置において、アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第2画像の平滑化画像を生成し、第2画像と第2画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第2画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、制御手段は、撮影シーン設定手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする。 According to an eighth aspect of the present invention, in the imaging apparatus according to the seventh aspect , the unsharp masking processing unit generates a smoothed image of the second image using a Gaussian filter, and the second image and the second image An edge strength image is generated by multiplying the difference from the smoothed image by a correction strength parameter, and an edge strength image is obtained by adding the edge strength image to the second image. Based on the photographic scene detected by the photographic scene setting means, a parameter representing dispersion in a two-dimensional Gaussian function used to generate a smoothed image, and the correction intensity parameter used to generate an edge enhanced image And at least one of them is controlled.

この発明によれば、撮影シーンにかかわらず、手ぶれ補正による副作用を効率よく低減させることができるようになる。   According to the present invention, side effects due to camera shake correction can be efficiently reduced regardless of the shooting scene.

以下、図面を参照して、この発明をデジタルカメラに適用した場合の実施例について説明する。   Hereinafter, embodiments of the present invention applied to a digital camera will be described with reference to the drawings.

以下、第1実施例について説明する。
〔1〕手ぶれ補正処理回路の構成
図1は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。
The first embodiment will be described below.
[1] Configuration of Camera Shake Correction Processing Circuit FIG. 1 shows a configuration of the camera shake correction processing circuit provided in the digital camera.

1a、1bは、角速度を検出するための角速度センサである。一方の角速度センサ1aはカメラのパン方向の角速度を、他方の角速度センサ1bはカメラのチルト方向の角速度をそれぞれ検出する。2は、角速度センサ1a、1bによって検出された2軸の角速度に基づいて、画像復元フィルタの係数を算出する画像復元フィルタ計算部である。3は、画像復元フィルタ計算部2によって算出された係数に基づいて、撮像画像(手ぶれ画像)に対して画像復元処理を行う画像復元処理部である。   Reference numerals 1a and 1b denote angular velocity sensors for detecting the angular velocity. One angular velocity sensor 1a detects the angular velocity in the pan direction of the camera, and the other angular velocity sensor 1b detects the angular velocity in the tilt direction of the camera. Reference numeral 2 denotes an image restoration filter calculation unit that calculates the coefficient of the image restoration filter based on the biaxial angular velocities detected by the angular velocity sensors 1a and 1b. Reference numeral 3 denotes an image restoration processing unit that performs image restoration processing on a captured image (camera shake image) based on the coefficients calculated by the image restoration filter calculation unit 2.

4は、撮影シーンを自動的に検出する撮影シーン検出部である。5は、撮影シーン検出部4によって検出された撮影シーンに応じて、画像復元フィルタ計算部2で用いられる補正強度パラメータを変更するための補正強度パラメータ制御部である。   Reference numeral 4 denotes a shooting scene detection unit that automatically detects a shooting scene. Reference numeral 5 denotes a correction intensity parameter control unit for changing the correction intensity parameter used in the image restoration filter calculation unit 2 in accordance with the shooting scene detected by the shooting scene detection unit 4.

なお、特許請求の範囲に記載された”手ぶれ補正手段”は、この実施例では、各速度センサ1a、1b、画像復元フィルタ計算部2および画像復元処理部3内のフィルタ処理部31、32から構成されている。つまり、画像復元フィルタ(逆フィルタ)によって復元された復元画像(v _fukugen)が”手ぶれ補正手段”によって得られた画像となる。   In this embodiment, the “camera shake correcting means” described in the claims is based on the speed sensors 1a and 1b, the image restoration filter calculation unit 2, and the filter processing units 31 and 32 in the image restoration processing unit 3. It is configured. That is, the restored image (v_fukugen) restored by the image restoration filter (inverse filter) is an image obtained by the “camera shake correcting unit”.

以下、画像復元フィルタ計算部2、画像復元処理部3、撮影シーン検出部4および補正強度パラメータ制御部5について説明する。   Hereinafter, the image restoration filter calculation unit 2, the image restoration processing unit 3, the shooting scene detection unit 4, and the correction intensity parameter control unit 5 will be described.

〔2〕画像復元フィルタ計算部2の説明
画像復元フィルタ計算部2は、角速度センサ1a,1bによって検出された角速度データ(手ぶれ信号)を動きベクトルに変換する手ぶれ信号/動きベクトル変換処理部21、手ぶれ信号/動きベクトル変換処理部21によって得られた動きベクトルを、画像のボケを表す手ぶれ関数(PSF:Point Spread Function)に変換する動きベクトル/手ぶれ関数変換処理部22および動きベクトル/手ぶれ関数変換処理部22によって得られた手ぶれ関数を一般逆フィルタ(画像復元フィルタ)に変換する手ぶれ関数/一般逆フィルタ変換処理部23を備えている。
[2] Description of Image Restoration Filter Calculation Unit 2 The image restoration filter calculation unit 2 includes a camera shake signal / motion vector conversion processing unit 21 that converts angular velocity data (camera shake signals) detected by the angular velocity sensors 1a and 1b into motion vectors. A motion vector / shake function conversion processing unit 22 and a motion vector / shake function conversion for converting the motion vector obtained by the hand shake signal / motion vector conversion processing unit 21 into a hand shake function (PSF: Point Spread Function) representing blur of an image. A camera shake function / general inverse filter conversion processing unit 23 that converts the camera shake function obtained by the processing unit 22 into a general inverse filter (image restoration filter) is provided.

〔2−1〕手ぶれ信号/動きベクトル変換処理部21についての説明
手ぶれの元データは、撮影開始から撮影終了までの間の角速度センサ1a、1bの出力データである。角速度センサ1a、1bを用いてカメラの露光時期と同期させることで、撮影開始と共に所定のサンプリング間隔dt[sec] でパン方向およびチルト方向の角速度を計測し、撮影終了までのデータを得る。サンプリング間隔dt[sec] は、たとえば、1msecである。
[2-1] Description of Camera Shake Signal / Motion Vector Conversion Processing Unit 21 The original data of camera shake is output data from the angular velocity sensors 1a and 1b from the start of shooting to the end of shooting. By synchronizing with the exposure time of the camera using the angular velocity sensors 1a and 1b, the angular velocity in the pan direction and the tilt direction is measured at a predetermined sampling interval dt [sec] at the start of photographing, and data until the end of photographing is obtained. The sampling interval dt [sec] is, for example, 1 msec.

図2に示すように、例えば、カメラのパン方向の角速度θ’[deg/sec] は、角速度センサ1aによって電圧Vg [mV]に変換された後、アンプ101によって増幅される。アンプ101から出力される電圧Va [mV] はA/D変換器102によってデジタル値DL [step]に変換される。デジタル値として得られたデータを角速度に変換するには、センサ感度S[mV/deg/sec]、アンプ倍率K[ 倍] 、A/D変換係数L[mV/step] を用いて計算する。なお、アンプおよびA/D変換器は、各角速度センサ1a、1b毎に設けられている。これらのアンプおよびA/D変換器は、手ぶれ信号/動きベクトル変換処理部21内に設けられている。 As shown in FIG. 2, for example, the angular velocity θ ′ [deg / sec] in the pan direction of the camera is amplified by the amplifier 101 after being converted into the voltage V g [mV] by the angular velocity sensor 1 a. Voltage V a [mV] output from the amplifier 101 Is converted to a digital value D L [step] by the A / D converter 102. In order to convert the data obtained as a digital value into an angular velocity, calculation is performed using sensor sensitivity S [mV / deg / sec], amplifier magnification K [times], and A / D conversion coefficient L [mV / step]. An amplifier and an A / D converter are provided for each angular velocity sensor 1a, 1b. These amplifiers and A / D converters are provided in the camera shake signal / motion vector conversion processing unit 21.

角速度センサ1aによって得られる電圧値Vg [mV]は、角速度θ’[deg/sec] の値と比例する。このときの比例定数はセンサ感度であるので、Vg [mV]は、次式(1)で表される。 The voltage value V g [mV] obtained by the angular velocity sensor 1a is proportional to the value of the angular velocity θ ′ [deg / sec]. Since the proportionality constant at this time is sensor sensitivity, V g [mV] is expressed by the following equation (1).

g =Sθ’…(1) V g = Sθ ′ (1)

また、アンプ101は電圧値を増幅するだけなので、増幅された電圧Va [mV] は、次式(2)で表される。 Since the amplifier 101 only amplifies the voltage value, the amplified voltage V a [mV] Is represented by the following equation (2).

a =KVg …(2) V a = KV g (2)

アンプ101で増幅された電圧値Va [mV] はA/D変換され、n[step](例えば、−512〜512)のデジタル値DL [step]を使って表現される。A/D変換係数をL[mV/step] とすると、デジタル値DL [step]は、次式(3)で表される。 Voltage value V a [mV] amplified by the amplifier 101 Is A / D converted and expressed using a digital value D L [step] of n [step] (for example, −512 to 512). When the A / D conversion coefficient is L [mV / step], the digital value D L [step] is expressed by the following equation (3).

L =Va /L…(3) D L = V a / L (3)

上記式(1)〜(3)を用いることで、次式(4)に示すように、センサデータから角速度を求めることができる。   By using the above equations (1) to (3), the angular velocity can be obtained from the sensor data as shown in the following equation (4).

θ’=(L/KS)DL …(4) θ ′ = (L / KS) D L (4)

撮影中の角速度データから、撮影された画像上でどれだけのぶれが生じたかを計算することができる。この画像上でのみかけの動きを動きベクトルと呼ぶ。   It is possible to calculate how much blur has occurred on the photographed image from the angular velocity data being photographed. This apparent motion on the image is called a motion vector.

角速度データの1つのサンプル値から次のサンプル値までにカメラに生じた回転量をθ[deg] とする。この間、角速度一定でカメラが回転すると仮定し、サンプリング周波数をf =1/dt[Hz]とすると、θ[deg] は次式(5)で表される。   The rotation amount generated in the camera from one sample value to the next sample value of the angular velocity data is defined as θ [deg]. During this time, assuming that the camera rotates at a constant angular velocity and the sampling frequency is f = 1 / dt [Hz], θ [deg] is expressed by the following equation (5).

θ=θ’/f=(L/KSf)DL …(5) θ = θ ′ / f = (L / KSf) D L (5)

図3に示すように、r[mm]を焦点距離(35[mm]フィルム換算)とすると、カメラの回転量θ[deg] から画面上の移動量d[mm]が次式(6)により求められる。   As shown in FIG. 3, when r [mm] is a focal length (35 [mm] film equivalent), the moving amount d [mm] on the screen is calculated from the rotation amount θ [deg] of the camera by the following equation (6). Desired.

d=rtanθ…(6)   d = rtan θ (6)

ここで求められた移動量d[mm]は、35[mm]フィルム換算時の手ぶれの大きさで、単位は[mm]である。実際に計算処理するときには、画像の大きさをデジタルカメラの画像の大きさの単位[pixel] で考えなければならない。   The amount of movement d [mm] obtained here is the size of camera shake when converted to 35 [mm] film, and its unit is [mm]. In actual calculation processing, the size of the image must be considered in the unit [pixel] of the image size of the digital camera.

35[mm]フィルム換算の画像と、デジタルカメラで撮影した[pixel] 単位の画像は縦横比も異なるので、次のように計算を行う。図4に示すように、35[mm]フィルム換算時は画像サイズの横×縦が36[mm]×24[mm]と決まっている。デジタルカメラで撮影した画像の大きさをX[pixel] ×Y[pixel] とし、水平方向(パン方向)のぶれをx[pixel] 、垂直方向(チルト方向)のぶれをy[pixel] とすると、変換式は次式(7)、(8)となる。   Since the 35 [mm] film equivalent image and the [pixel] unit image taken with the digital camera have different aspect ratios, the calculation is performed as follows. As shown in FIG. 4, at the time of 35 [mm] film conversion, the horizontal size and vertical size of the image size are determined to be 36 [mm] × 24 [mm]. If the size of an image taken with a digital camera is X [pixel] x Y [pixel], the horizontal blur (pan direction) is x [pixel] and the vertical blur (tilt direction) is y [pixel]. The conversion equations are the following equations (7) and (8).

x=dx (X/36)=rtanθx (X/36)…(7)
y=dy (Y/24)=rtanθy (Y/24)…(8)
x = d x (X / 36) = rtan θ x (X / 36) (7)
y = d y (Y / 24) = r tan θ y (Y / 24) (8)

上記式(7)、(8)には、dとθに添字のxとyが使用されているが、添字xは水平方向の値であることを、添字yは垂直方向の値であることを示している。   In the above formulas (7) and (8), the subscripts x and y are used for d and θ. The subscript x is a horizontal value, and the subscript y is a vertical value. Is shown.

上記式(1)〜(8)をまとめると、水平方向(パン方向)のぶれx[pixel] 、垂直方向(チルト方向)のぶれy[pixel] は、次式(9)、(10)で表される。   Summarizing the above formulas (1) to (8), the horizontal direction (pan direction) blur x [pixel] and the vertical direction (tilt direction) blur y [pixel] are expressed by the following formulas (9) and (10). expressed.

x=rtan{(L/KSf)DLx}X/36…(9)
y=rtan{(L/KSf)DLy}Y/24…(10)
x = rtan {(L / KSf) D Lx } X / 36 (9)
y = rtan {(L / KSf) D Ly } Y / 24 (10)

この変換式(9)、(10)を用いることで、デジタル値として得られたカメラの各軸の角速度データから画像のぶれ量(動きベクトル)を求めることができる。   By using the conversion equations (9) and (10), it is possible to determine the amount of motion blur (motion vector) from the angular velocity data of each axis of the camera obtained as a digital value.

撮影中の動きベクトルは、センサから得られた角速度のデータの数だけ(サンプル点の数だけ)得ることができ、それらの始点と終点を順番に結んでいくと、画像上での手ぶれの軌跡になる。また、各ベクトルの大きさを見ることで、その時点での手ぶれの速度がわかる。   Motion vectors during shooting can be obtained by the number of angular velocity data obtained from the sensor (by the number of sample points). When the start point and end point are connected in order, the camera shake trajectory on the image become. Also, by looking at the size of each vector, the speed of camera shake at that time can be determined.

〔2−2〕動きベクトル/手ぶれ関数変換処理部22について
手ぶれを空間フィルタを使って表すことができる。図5の左側の図で示される手ぶれの軌跡(カメラがぶれたときに画像上である一点が描いた軌跡、画像のぶれ量)に合わせて、オペレータの要素に重みを加え空間フィルタ処理を行うと、フィルタリング過程において画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになるので、手ぶれ画像を作成することができる。
[2-2] Motion Vector / Shake Function Conversion Processing Unit 22 Hand shake can be expressed using a spatial filter. A spatial filter process is performed by adding a weight to the operator's element in accordance with the hand movement locus shown in the left diagram of FIG. 5 (the locus drawn by one point on the image when the camera is shaken, the amount of image blur). In the filtering process, since the gray value of the pixel takes into account only the gray value of the neighboring pixel corresponding to the locus of the camera shake, it is possible to create a camera shake image.

この軌跡に合わせて重み付けしたオペレータのことをPoint Spread Function(PSF)と呼び、手ぶれの数学モデルとして使用する。PSFの各要素の重みは、その要素を手ぶれ軌跡が通過する時間に比例した値であって、各要素の重みの総和が1になるように正規化された値でとなる。すなわち、動きベクトルの大きさの逆数に比例した重みとする。手ぶれが画像に与える影響を考えたとき、遅く動いたところの方が画像に大きな影響を与えているからである。   The operator weighted according to this trajectory is called Point Spread Function (PSF) and used as a mathematical model for camera shake. The weight of each element of the PSF is a value proportional to the time during which the hand movement trajectory passes through the element, and is a value normalized so that the sum of the weights of each element is 1. That is, the weight is proportional to the inverse of the magnitude of the motion vector. This is because, when considering the effect of camera shake on the image, the slower moving part has a greater effect on the image.

図5の中央の図は、手ぶれの動きが等速であると仮定した場合のPSFを表し、図5の右側の図は、実際の手ぶれの動きの大きさを考慮した場合のPSFを表している。図5の右側の図においては、PSFの重みの低い(動きベクトルの大きさが大きい)要素を黒く表示し、重みの高い(動きベクトルの大きさが小さい)要素を白く表示している。   The center diagram in FIG. 5 represents the PSF when the motion of the camera shake is assumed to be constant, and the diagram on the right side of FIG. 5 represents the PSF when the magnitude of the motion of the actual camera shake is considered. Yes. In the diagram on the right side of FIG. 5, elements with low PSF weight (large motion vector magnitude) are displayed in black, and elements with high weight (small motion vector magnitude) are displayed in white.

上記〔2−1〕で得られた動きベクトル(画像のぶれ量)は手ぶれの軌跡と、軌跡の速度をデータとして持つ。   The motion vector (image blurring amount) obtained in [2-1] above has a camera shake trajectory and a trajectory speed as data.

PSFを作成するには、まず、手ぶれの軌跡からPSFの重みをかける要素を決定する。そして、手ぶれの速度からPSFの要素にかける重みを決定する。   In order to create a PSF, first, an element to which a PSF weight is applied is determined from the locus of camera shake. Then, the weight applied to the element of the PSF is determined from the speed of camera shake.

上記〔2−1〕で得られた一連の動きベクトルをつなぎ合わせることで折れ線近似された手ぶれの軌跡が得られる。この軌跡は小数点以下の精度を持つが、これを整数化することでPSFにおいて重みをかける要素を決定する。そのために、この実施例では、Bresenham の直線描画アルゴリズムを用いてPSFにおいて重みをかける要素を決定する。Bresenham の直線描画アルゴリズムとは、デジタル画面上で任意の2 点を通る直線を引きたい時に最適なドット位置を選択するアルゴリズムである。   By connecting the series of motion vectors obtained in [2-1] above, a hand movement locus approximated by a polygonal line is obtained. This trajectory has a precision below the decimal point, but by converting it into an integer, an element to be weighted in the PSF is determined. To this end, in this embodiment, elements to be weighted in the PSF are determined using Bresenham's straight line drawing algorithm. Bresenham's straight line drawing algorithm is an algorithm that selects the optimal dot position when it is desired to draw a straight line passing through two arbitrary points on a digital screen.

Bresenham の直線描画アルゴリズムを図6の例を用いて説明する。図6において矢印のついた直線は動きベクトルを示している。   The Bresenham straight line drawing algorithm will be described with reference to the example of FIG. In FIG. 6, a straight line with an arrow indicates a motion vector.

(a)ドット位置の原点(0,0)から出発し、動きベクトルの水平方向の要素を1つ増やす。
(b)動きベクトルの垂直方向の位置を確認し、この垂直方向位置が前のドットの垂直方向位置に比べて1より大きくなった場合にはドット位置の垂直方向を1つ増やす。
(c)再び動きベクトルの水平方向の要素を1つ増やす。
(A) Starting from the origin (0, 0) of the dot position, the horizontal element of the motion vector is increased by one.
(B) The vertical position of the motion vector is confirmed, and when the vertical position is larger than 1 compared to the vertical position of the previous dot, the vertical direction of the dot position is increased by one.
(C) The horizontal element of the motion vector is increased by one again.

このような処理を動きベクトルの終点まで繰り返すことにより、動きベクトルが通る直線をドット位置で表現することができる。   By repeating such processing to the end point of the motion vector, a straight line through which the motion vector passes can be expressed by the dot position.

PSFの要素にかける重みは、動きベトクル毎にベクトルの大きさ(速度成分)が異なることを利用して決定する。重みは動きベクトルの大きさの逆数をとり、各動きベクトルに対応する要素に重みを代入する。ただし、各要素の重みの総和が1になるように、各要素の重みを正規化する。図7に図6の動きベクトルにより得られるPSFを示す。速度の速いところ(動きベクトルの長いところ)は重みが小さくなり、速度の遅いところ(動きベクトルの短いところ)は重みが大きくなる。   The weight applied to the elements of the PSF is determined by utilizing the fact that the vector size (speed component) is different for each motion vector. The weight is the reciprocal of the magnitude of the motion vector, and the weight is substituted into the element corresponding to each motion vector. However, the weights of the elements are normalized so that the sum of the weights of the elements becomes 1. FIG. 7 shows the PSF obtained from the motion vector of FIG. Where the speed is high (where the motion vector is long), the weight is small, and where the speed is low (where the motion vector is short), the weight is large.

〔2−3〕手ぶれ関数/一般逆フィルタ変換処理部23について
画像は水平方向にNx 画素、垂直方向にNy 画素の解像度でデジタル化されているものとする。水平方向にi番目、垂直方向にj番目の位置にある画素の値をp(i,j)で表す。空間フィルタによる画像の変換とは、注目画素の近傍画素の畳み込みによって変換をモデル化するものである。畳み込みの係数をh(l,m)とする。ここで、簡単のため、−n<l,m<nとすると、注目画素の変換は次式(11)によって表現することができる。また、h(l,m)自身を空間フィルタと呼んだり、フィルタ係数と呼んだりする。変換の性質はh(l,m)の係数値によって決まる。
[2-3] Camera Shake Function / General Inverse Filter Conversion Processing Unit 23 It is assumed that an image is digitized with a resolution of N x pixels in the horizontal direction and N y pixels in the vertical direction. The value of the pixel at the i-th position in the horizontal direction and the j-th position in the vertical direction is represented by p (i, j). The image conversion by the spatial filter is to model the conversion by convolution of neighboring pixels of the target pixel. Let the convolution coefficient be h (l, m). Here, for the sake of simplicity, if −n <l and m <n, the conversion of the pixel of interest can be expressed by the following equation (11). Further, h (l, m) itself is called a spatial filter or a filter coefficient. The nature of the conversion is determined by the coefficient value of h (l, m).

Figure 0004236642
Figure 0004236642

デジタルカメラなどの撮像装置で点光源を観察した場合、画像の形成過程に劣化がないと仮定すれば、画像上に観察される像は、ある一点だけが0以外の画素値を持ち、それ以外の画素値は0となる。実際の撮像装置は劣化過程を含むので、点光源を観察しても、その像は一点にならず、広がった像になる。手ぶれが発生した場合、点光源は手ぶれに応じた軌跡を画面上に生成する。   When a point light source is observed with an imaging device such as a digital camera, assuming that there is no deterioration in the image formation process, the image observed on the image has a pixel value other than 0, and other than that, The pixel value of becomes zero. Since an actual imaging device includes a deterioration process, even if a point light source is observed, the image is not a single point but a widened image. When camera shake occurs, the point light source generates a locus on the screen according to the camera shake.

点光源に対する観察画像の画素値に比例した値を係数として持ち、係数値の総和が1になる空間フィルタをPoint Spread Function(PSF 、点広がり関数 )と呼ぶ。この実施例では、PSFとして動きベクトル/手ぶれ関数変換処理部22によって得られたPSFを用いる。   A spatial filter having a coefficient proportional to the pixel value of the observation image with respect to the point light source and the sum of the coefficient values being 1 is called a point spread function (PSF). In this embodiment, the PSF obtained by the motion vector / camera shake function conversion processing unit 22 is used as the PSF.

PSFを縦横(2n+1)×(2n+1)の空間フィルタh(l,m)、−n<l,m<nでモデル化するとき、各画素について、ボケの無い画像の画素値p(i,j)とボケのある画像の画素値p’(i,j)とは、上記式(11)の関係になる。ここで、実際に観察できるのは、ボケた画像の画素値p’(i,j)であり、ボケの無い画像の画素値p(i,j)は何らかの方法で計算する必要がある。   When the PSF is modeled by a vertical and horizontal (2n + 1) × (2n + 1) spatial filter h (l, m), −n <l, m <n, the pixel value p (i, j of the image without blur for each pixel. ) And the pixel value p ′ (i, j) of the blurred image have the relationship of the above equation (11). Here, what can actually be observed is the pixel value p ′ (i, j) of the blurred image, and the pixel value p (i, j) of the image without blur needs to be calculated by some method.

上記式(11)を全ての画素について書き並べると、次式(12)に示すようになる。   When the above equation (11) is written for all the pixels, the following equation (12) is obtained.

Figure 0004236642
Figure 0004236642

これらの式をまとめて行列表現することが可能であり、次式(13)となる。ここで、Pは元画像をラスター走査順に一元化したものである。   These equations can be collectively expressed as a matrix, and the following equation (13) is obtained. Here, P is a unified original image in the raster scan order.

P’=H×P …(13)   P ′ = H × P (13)

Hの逆行列H-1が存在すれば、P=H-1×Pを計算することによって、劣化した画像P’から劣化の無い画像Pを求めることが可能であるが、一般にはHの逆行列は存在しない。逆行列が存在しない行列に対して、一般逆行列ないしは擬似逆行列と呼ばれるものが存在する。次式(14)に一般逆行列の例を示す。 If there is an inverse matrix H −1 of H, it is possible to obtain a non-degraded image P from the degraded image P ′ by calculating P = H −1 × P. There is no matrix. In contrast to a matrix that does not have an inverse matrix, there is a so-called general inverse matrix or pseudo inverse matrix. The following equation (14) shows an example of a general inverse matrix.

* =(Ht ・H+γ・I)-1・Ht …(14) H * = (H t · H + γ · I) −1 · H t (14)

ここでH* はHの一般逆行列、Ht はHの転置行列、γはスカラー、IはHt ・Hと同じサイズの単位行列である。H* を用いて次式(15)を計算することで、観察された手ぶれ画像P’から手ぶれが補正された画像Pを得ることができる。γは補正の強さを調整する正則化係数(補正強度パラメータ)である。γが小さければ強い補正処理となり、γが大きければ弱い補正処理となる。第1実施例では、後述するように、撮像シーンに応じて、補正強度パラメータγの値が決定される。 Here, H * is a general inverse matrix of H, H t is a transposed matrix of H, γ is a scalar, and I is a unit matrix having the same size as H t · H. By calculating the following equation (15) using H * , it is possible to obtain an image P in which camera shake is corrected from the observed camera shake image P ′. γ is a regularization coefficient (correction intensity parameter) for adjusting the intensity of correction. If γ is small, strong correction processing is performed, and if γ is large, weak correction processing is performed. In the first embodiment, as will be described later, the value of the correction intensity parameter γ is determined according to the imaging scene.

P’=H* ×P …(15) P ′ = H * × P (15)

画像サイズを640×480とした場合、上記式(15)のPは307,200×1の行列、H* は307,200×307,200の行列となる。このような非常に大きな行列となるため、上記式(14)、(15)を直接用いることは実用的ではない。そこで、次のような方法で計算に用いる行列のサイズを小さくする。 When the image size is 640 × 480, P in the above equation (15) is a 307,200 × 1 matrix, and H * is a 307,200 × 307,200 matrix. Since such a very large matrix is used, it is not practical to directly use the equations (14) and (15). Therefore, the size of the matrix used for the calculation is reduced by the following method.

まず、上記式(15)において、Pの元になる画像のサイズを63×63など、比較小さなサイズにする。63×63の画像であれば、Pは3969×1の行列、H* は3969×3969の行列となる。H* はボケ画像全体を補正された画像全体に変換する行列であり、H* の各行とPの積は各画素の補正を行う演算に相当する。H* の真ん中の行とPの積は、63×63画素の元画像の、真ん中の画素に対する補正に該当する。Pは元画像をラスター走査順に一元化したものであったから、逆に、H* の真ん中の行を逆ラスター走査により2次元化することで、63×63のサイズの空間フィルタを構成することができる。このように構成した空間フィルタを一般逆フィルタ(以下、画像復元フィルタという)と呼ぶ。 First, in the above equation (15), the size of the image that is the source of P is set to a comparatively small size such as 63 × 63. In the case of a 63 × 63 image, P is a 3969 × 1 matrix and H * is a 3969 × 3969 matrix. H * is a matrix for converting the entire blurred image into the corrected image, and the product of each row of H * and P corresponds to an operation for correcting each pixel. The product of the middle row of H * and P corresponds to the correction of the middle pixel of the original image of 63 × 63 pixels. Since P is an original image that is unified in the order of raster scanning, conversely, a spatial filter having a size of 63 × 63 can be configured by two-dimensionalizing the middle row of H * by reverse raster scanning. . The spatial filter configured in this way is called a general inverse filter (hereinafter referred to as an image restoration filter).

このようにして作成した実用的なサイズの空間フィルタを、大きな画像全体の各画素に順次適用することで、ボケ画像を補正することが可能となる。なお、以上の手順で求めたボケ画像の復元フィルタにも、γであらわされる復元の強度を調整するパラメータが存在する。   The blurred image can be corrected by sequentially applying the spatial filter of the practical size created in this way to each pixel of the entire large image. The blur image restoration filter obtained by the above procedure also has a parameter for adjusting the restoration strength represented by γ.

〔3〕画像復元処理部3について
画像復元処理部3は、図1に示すように、フィルタ処理部31、フィルタ処理部32、リンギング除去処理部33およびアンシャープマスキング処理部34を備えている。フイルタ処理部31はメディアンフィルタを用いてフィルタ処理を行う。フイルタ処理部32は、画像復元フィルタ計算部2によって得られた画像復元フィルタを用いてフィルタ処理を行う。
[3] Image Restoration Processing Unit 3 As shown in FIG. 1, the image restoration processing unit 3 includes a filter processing unit 31, a filter processing unit 32, a ringing removal processing unit 33, and an unsharp masking processing unit 34. The filter processing unit 31 performs filter processing using a median filter. The filter processing unit 32 performs filter processing using the image restoration filter obtained by the image restoration filter calculation unit 2.

カメラによって撮影された手ぶれ画像は、フィルタ処理部31に送られ、メディアンフィルタを用いたフィルタ処理が行われ、ノイズが除去される。フィルタ処理部31によって得られた画像は、フィルタ処理部32に送られる。フィルタ処理部32では、手ぶれ関数/一般逆フィルタ変換処理部23によって生成された画像復元フィルタを用いたフィルタ処理が行われ、手ぶれ画像から手ぶれのない画像が復元される。フィルタ処理部32によって得られた画像は、リンギング除去処理部33に送られ、リンギングが除去される。リンギング除去処理部33によって得られた画像は、アンシャープマスキング処理部34に送られ、エッジを強調するための処理が行われる。   The camera shake image photographed by the camera is sent to the filter processing unit 31, where filter processing using a median filter is performed, and noise is removed. The image obtained by the filter processing unit 31 is sent to the filter processing unit 32. The filter processing unit 32 performs filter processing using the image restoration filter generated by the camera shake function / general inverse filter conversion processing unit 23, and restores an image free from camera shake from the camera shake image. The image obtained by the filter processing unit 32 is sent to the ringing removal processing unit 33, where the ringing is removed. The image obtained by the ringing removal processing unit 33 is sent to the unsharp masking processing unit 34, and processing for enhancing the edges is performed.

〔3−1〕リンギング除去処理部33についての説明
リンギング除去処理部33は、図8に示すように、エッジ強度算出部61、加重平均係数算出部62および加重平均処理部63を備えている。
[3-1] Description of Ringing Removal Processing Unit 33 The ringing removal processing unit 33 includes an edge strength calculation unit 61, a weighted average coefficient calculation unit 62, and a weighted average processing unit 63 as shown in FIG.

カメラによって撮影された手ぶれ画像(v _tebre)は、エッジ強度算出部61に送られ、各画素毎にエッジ強度が算出される。エッジ強度の求め方について説明する。   The camera shake image (v_tebre) photographed by the camera is sent to the edge strength calculation unit 61, and the edge strength is calculated for each pixel. A method for obtaining the edge strength will be described.

図9に示すように、注目画素v22を中心とする3×3の領域を想定する。注目画素v22に対して、水平エッジ成分dhと垂直エッジ成分dvを算出する。エッジ成分の算出には、例えば、図10に示すPrewitt のエッジ抽出オペレータを用いる。図10(a)は水平エッジ抽出オペレータを示し、図10(b)は垂直エッジ抽出オペレータを示している。   As shown in FIG. 9, a 3 × 3 region centered on the target pixel v22 is assumed. A horizontal edge component dh and a vertical edge component dv are calculated for the target pixel v22. For the calculation of the edge component, for example, a Prewitt edge extraction operator shown in FIG. 10 is used. FIG. 10A shows a horizontal edge extraction operator, and FIG. 10B shows a vertical edge extraction operator.

水平エッジ成分dhおよび垂直エッジ成分dvは、次式(16)、(17)によって求められる。   The horizontal edge component dh and the vertical edge component dv are obtained by the following equations (16) and (17).

dh=v11 +v12 +v13 −v31 −v32 −v33 …(16)
dv=v11 +v21 +v31 −v13 −v23 −v33 …(17)
dh = v11 + v12 + v13 −v31 −v32 −v33 (16)
dv = v11 + v21 + v31−v13−v23−v33 (17)

次に、水平エッジ成分dhおよび垂直エッジ成分dvから、注目画素v22のエッジ強度v _edgeを次式(18)に基づいて算出する。   Next, the edge strength v_edge of the target pixel v22 is calculated from the horizontal edge component dh and the vertical edge component dv based on the following equation (18).

v _edge=sqrt(dh ×dh+dv×dv) …(18)   v _edge = sqrt (dh × dh + dv × dv) (18)

なお、注目画素v22のエッジ強度v _edgeとして、abs(dh) +abs(dv) を用いてもよい。また、このようにして得られたエッジ強度画像に対してさらに3×3のノイズ除去フィルタをかけてもよい。   Note that abs (dh) + abs (dv) may be used as the edge strength v_edge of the target pixel v22. Further, a 3 × 3 noise removal filter may be further applied to the edge intensity image obtained in this way.

エッジ強度算出部61によって算出された各画素のエッジ強度v _edgeは、加重平均係数算出部62に与えられる。加重平均係数算出部62は、次式(19)に基づいて、各画素の加重平均係数kを算出する。   The edge strength v_edge of each pixel calculated by the edge strength calculation unit 61 is given to the weighted average coefficient calculation unit 62. The weighted average coefficient calculation unit 62 calculates the weighted average coefficient k of each pixel based on the following equation (19).

If v _edge> th then k=1
If v _edge≦ th then k=v _edge/th …(19)
If v _edge> th then k = 1
If v_edge ≦ th then k = v_edge / th (19)

th は十分に強いエッジであることを判定するための閾値である。つまり、v _edgeと加重平均係数kとの関係は、図11に示すような関係となる。  th is a threshold value for determining that the edge is sufficiently strong. That is, the relationship between v_edge and the weighted average coefficient k is as shown in FIG.

加重平均係数算出部62によって算出された各画素の加重平均係数kは、加重平均処理部63に与えられる。フィルタ処理部32によって得られた復元画像の画素値をv _fukugen とし、カメラによって撮像された手ぶれ画像の画素値をv _tebre とすると、加重平均処理部62は、次式(20)で表される計算を行うことにより、復元画像の画素値v _fukugen と手ぶれ画像の画素値v _tebre とを加重平均する。   The weighted average coefficient k of each pixel calculated by the weighted average coefficient calculating unit 62 is given to the weighted average processing unit 63. When the pixel value of the restored image obtained by the filter processing unit 32 is v_fukugen and the pixel value of the camera shake image captured by the camera is v_tebre, the weighted average processing unit 62 is expressed by the following equation (20). By performing the calculation, the pixel value v_fukugen of the restored image and the pixel value v_tebre of the camera shake image are weighted averaged.

v =k ×v _fukugen +(1−k)×v _tebre …(20)   v = k * v_fukugen + (1-k) * v_tebre (20)

つまり、エッジ強度v _edgeが閾値thより大きな画素については、その位置に対応する復元画像のリンギングが目立たないので、画像復元処理部3によって得られた復元画像の画素値v _fukugen がそのまま出力される。エッジ強度v _edgeが閾値th以下の画素については、エッジ強度v _edgeが小さいほど、復元画像のリンギングが目立つので、復元画像の度合いを弱くし、手ぶれ画像の度合いを強くする。   That is, for the pixel having the edge strength v_edge larger than the threshold value th, the ringing of the restored image corresponding to the position is inconspicuous, and thus the pixel value v_fukugen of the restored image obtained by the image restoration processing unit 3 is output as it is. . For pixels whose edge strength v_edge is less than or equal to the threshold th, the smaller the edge strength v_edge, the more conspicuous the ringing of the restored image, so that the degree of the restored image is weakened and the degree of the camera shake image is increased.

〔3−2〕アンシャープマスキング処理部34についての説明 [3-2] Description of Unsharp Masking Processing Unit 34

アンシャープマスキングとは、エッジ強調を行う画像処理手法である。リンギング除去処理部33からアンシャープマスキング処理部34に送られてくる画像を元画像と呼ぶことにする。アンシャープマスキング処理部34は、まず、ガウシアンフィルタを用いて元画像を平滑化することによって平滑化画像を生成し、元画像と平滑化画像の差分をとり、その差分に補正強度パラメータを乗算することによってエッジ強度画像を得る。そして、元画像にエッジ強度画像を足し合わせることにより、エッジが強調された画像を得る。   Unsharp masking is an image processing technique that performs edge enhancement. An image sent from the ringing removal processing unit 33 to the unsharp masking processing unit 34 is referred to as an original image. The unsharp masking processing unit 34 first generates a smoothed image by smoothing the original image using a Gaussian filter, takes a difference between the original image and the smoothed image, and multiplies the difference by a correction strength parameter. Thus, an edge strength image is obtained. Then, an edge-enhanced image is obtained by adding the edge strength image to the original image.

元画像をIとし、アンシャープマスキング処理によって得られた画像をI’とすると、I’は次式(21)で表される。   If the original image is I and the image obtained by the unsharp masking process is I ′, I ′ is expressed by the following equation (21).

I’=I+K(I−G(I)) …(21)   I '= I + K (IG (I)) (21)

上記式(21)において、G(I)は元画像の平滑化画像であり、Kは補正強度パラメータである。   In the above equation (21), G (I) is a smoothed image of the original image, and K is a correction intensity parameter.

アンシャープマスキング処理を行う時に必要なパラメータは2種類ある。その1つは上記式(21)の補正強度パラメータKであり、エッジ強調の度合いを調整するためのパラメータである。もう1つは、ガウシアンフィルタを用いて平滑化を行う際に用いられるパラメータである。   There are two types of parameters required when performing unsharp masking processing. One of them is the correction intensity parameter K of the above equation (21), which is a parameter for adjusting the degree of edge enhancement. The other is a parameter used when smoothing using a Gaussian filter.

ガウシアンフィルタを用いて平滑化を行った画像G(I)は、元画像I(x,y)に対して、平均を0、分散をσ2 とする次式(22)で示される二次元ガウス関数を畳み込むことによって求められる。 An image G (I) smoothed using a Gaussian filter is a two-dimensional Gaussian expressed by the following equation (22), where the average is 0 and the variance is σ 2 with respect to the original image I (x, y). It is calculated by folding the function.

Figure 0004236642
Figure 0004236642

つまり、G(I)は、次式(23)で表される。   That is, G (I) is expressed by the following equation (23).

Figure 0004236642
Figure 0004236642

上記式(23)において、記号*は畳み込みを表している。分散を表すパラメータσが調整パラメータとなる。   In the above formula (23), the symbol * represents convolution. A parameter σ representing dispersion is an adjustment parameter.

このパラメータσは、エッジの強調幅を示すものである。図12は、σが小さい場合と、σが大きい場合のエッジ強調効果の差異を示している。図12では、わかりやすくするために、1次元の信号を用いている。   This parameter σ indicates the edge enhancement width. FIG. 12 shows the difference in edge enhancement effect when σ is small and when σ is large. In FIG. 12, a one-dimensional signal is used for easy understanding.

Aは、エッジ信号(元の信号)を示している。Bはエッジ信号Aを平滑化した信号を示している。Cは、エッジ信号Aと平滑化信号Bとの差分(A−B) をとることにより得られたエッジ強度信号を示している。Dは、エッジ信号Aにエッジ強度信号Cを足し合わせることにより得られた信号を示している。   A indicates an edge signal (original signal). B indicates a signal obtained by smoothing the edge signal A. C represents an edge intensity signal obtained by taking the difference (A−B) between the edge signal A and the smoothed signal B. D indicates a signal obtained by adding the edge strength signal C to the edge signal A.

σを小さくすると、図12の信号Dに現れるエッジ強調幅aが狭くなる。エッジ強調幅aが狭い場合、エッジ幅の狭い急峻なエッジに対しては、満足な強調効果が得られる。しかしながら、エッジ幅の広い緩やかなエッジに対しては、元信号のエッジ幅に対して強調する幅が足りないので、得られる画像は強調効果が弱い画像となる。   When σ is reduced, the edge enhancement width a appearing in the signal D in FIG. 12 is reduced. When the edge emphasis width a is narrow, a satisfactory emphasis effect can be obtained for a steep edge with a narrow edge width. However, for a gentle edge with a wide edge width, there is not enough width to be emphasized with respect to the edge width of the original signal, so that the obtained image is an image with a weak enhancement effect.

σを大きくすると、エッジ強調幅aが広くなる。エッジ強調幅aが広い場合には、σが小さい場合とは逆に、エッジ幅の広い緩やかなエッジに対しては、満足な強調効果が得られる。しかしながら、エッジ幅の狭い急峻なエッジに対しては、元信号のエッジ幅に対して強調する幅が広いため、得られる画像は不自然な画像となる。   When σ is increased, the edge emphasis width a is increased. When the edge emphasis width a is wide, a satisfactory emphasis effect is obtained for a gentle edge with a wide edge width, contrary to the case where σ is small. However, for a steep edge with a narrow edge width, the width to be emphasized is wide with respect to the edge width of the original signal, and thus the obtained image becomes an unnatural image.

パラメータKは、図12の信号Cに現れるエッジ強調部の高さbを調整するパラメータである。Kを大きくすると、よりエッジが強調されるようになるが、画像に含まれるノイズも強調される。Kを小さくすると、エッジ強調効果が低くなる。   The parameter K is a parameter for adjusting the height b of the edge emphasis portion appearing in the signal C in FIG. When K is increased, the edge is enhanced more, but noise included in the image is also enhanced. When K is decreased, the edge enhancement effect is decreased.

〔4〕撮影シーン検出部4についての説明
撮影シーン検出部4は、撮影シーンを自動的に検出する。撮影シーンを自動的に検出する方法としては、例えば、特開2003−274280号公報に開示された手法を用いることができる。
[4] Description of Shooting Scene Detection Unit 4 The shooting scene detection unit 4 automatically detects a shooting scene. As a method for automatically detecting a photographic scene, for example, a technique disclosed in Japanese Patent Laid-Open No. 2003-274280 can be used.

具体的には、表1に示す判定基準に基づいて、撮影シーンを判別する。   Specifically, the shooting scene is determined based on the determination criteria shown in Table 1.

Figure 0004236642
Figure 0004236642

判別される撮影シーンの種類としては、”ポートレート”、”遠景”、”夜景”、”スポーツ”がある。判定パラメータとしては、被写体距離、焦点距離、輝度、光源および動体がある。被写体距離は、被写体との距離を表しており、オートフォーカスの制御値に基づいて求められる。焦点距離は、ズーム倍率のことであり、ズーム倍率値に基づいて求められる。輝度は画像の明るさを表しており、画像の輝度値に基づいて明るいか暗いかが判別される。光源は光源の色を表しており、ホワイトバランスの評価値に基づいて判別される。動体は、被写体が動いているか静止しているかを表し、特徴点や色の変化(動き)に基づいて判別される。   The types of shooting scenes to be identified include “portrait”, “far view”, “night view”, and “sport”. The determination parameters include subject distance, focal length, luminance, light source, and moving object. The subject distance represents the distance to the subject and is obtained based on the autofocus control value. The focal length is a zoom magnification and is obtained based on the zoom magnification value. The brightness represents the brightness of the image, and it is determined whether the image is bright or dark based on the brightness value of the image. The light source represents the color of the light source and is determined based on the white balance evaluation value. The moving object indicates whether the subject is moving or stationary, and is determined based on a feature point or a color change (movement).

以下、各撮影シーンに対して判定基準が表1のように設定された理由について説明する。   Hereinafter, the reason why the determination criteria are set as shown in Table 1 for each shooting scene will be described.

(1)ポートレート
人物を撮影する場合、他の撮影シーンと比較して被写体距離は短く(近く)なる。さらに、近くの被写体をやや望遠することによって大きく写すことが多いので、撮影の際に焦点距離の設定がやや大きくなる。また、撮影は明るい所で行われる確率が高いとともに、光源は昼光色または室内光(自然光に近い照明光)である確率が高い。また、被写体は止まっていることが多い。
(1) Portrait When shooting a person, the subject distance is shorter (closer) than in other shooting scenes. In addition, since a close subject is often photographed by slightly telephoto, the focal length setting is slightly increased during shooting. In addition, there is a high probability that shooting is performed in a bright place, and there is a high probability that the light source is daylight color or room light (illumination light close to natural light). Also, the subject often stops.

(2)遠景
遠景を撮影する場合、被写体距離は大きく(遠く)なる。さらに、全体を撮影するために広角側で撮影することが多いので、撮影の際に焦点距離の設定は小さくなる。また、撮影は明るい屋外で行われ、光源は昼光色である確率が高い。また、被写体は止まっていることが多い。
(2) Distant view When photographing a distant view, the subject distance becomes large (far). In addition, since the entire image is often shot on the wide-angle side, the focal length setting is reduced during shooting. In addition, photographing is performed outdoors in a bright environment, and there is a high probability that the light source is a daylight color. Also, the subject often stops.

(3)夜景
夜景を撮影する場合、被写体距離は大きく(遠く)なる。さらに、全体を撮影するために広角側で撮影することが多いので、撮影の際に焦点距離の設定は小さくなる。また、撮影は暗い状態で行われ、光源は蛍光灯、ネオン管、ナトリウム管などの器具による照明光が多くなる。
(3) Night view When shooting a night view, the subject distance becomes large (far). In addition, since the entire image is often shot on the wide-angle side, the focal length setting is reduced during shooting. In addition, photographing is performed in a dark state, and the light source has a lot of illumination light from an instrument such as a fluorescent lamp, a neon tube, or a sodium tube.

(4)スポーツ
動いている被写体を撮影する場合、被写体距離は大きく(遠く)なることが多い。さらに、高速で移動している被写体を画面内に収めるために、被写体を遠くから撮影することが多くなるので、撮影の際に焦点距離の設定は大きくなる。また、撮影は明るい所で行われ、光源は昼光色または室内光(自然光に近い照明光)である確率が高い。また、被写体は動いている。
(4) Sports When shooting a moving subject, the subject distance often becomes large (far). Furthermore, since the subject that is moving at high speed is often captured from a distance in order to fit the subject within the screen, the setting of the focal length becomes large at the time of shooting. Further, photographing is performed in a bright place, and there is a high probability that the light source is daylight color or room light (illumination light close to natural light). The subject is moving.

〔5〕補正強度パラメータ制御部5についての説明 [5] Explanation of the correction intensity parameter control unit 5

補正強度パラメータ制御部5は、撮影シーン検出部4によって検出された撮影シーンに応じて、画像復元フィルタ計算部2内の手ぶれ関数/一般逆フィルタ変換処理部23で用いられる補正強度パラメータ(正則化係数)γの値を制御する。上述したように、γが小さければ強い手ぶれ補正処理となり、γが大きければ弱い手ぶれ補正処理となる。   The correction intensity parameter control unit 5 determines a correction intensity parameter (regularization) used in the camera shake function / general inverse filter conversion processing unit 23 in the image restoration filter calculation unit 2 according to the shooting scene detected by the shooting scene detection unit 4. Coefficient) controls the value of γ. As described above, when γ is small, strong camera shake correction processing is performed, and when γ is large, weak camera shake correction processing is performed.

表2は、撮影シーン検出部4によって検出された撮影シーンと、補正強度パラメータ制御部5によって決定される補正強度パラメータγの値との関係を示している。   Table 2 shows the relationship between the shooting scene detected by the shooting scene detection unit 4 and the value of the correction intensity parameter γ determined by the correction intensity parameter control unit 5.

Figure 0004236642
Figure 0004236642

補正強度パラメータ制御部5は、撮影シーン検出部4によって検出された撮影シーンが遠景である場合、γを標準値に設定する。   The correction intensity parameter control unit 5 sets γ to a standard value when the shooting scene detected by the shooting scene detection unit 4 is a distant view.

補正強度パラメータ制御部5は、撮影シーン検出部4によって検出された撮影シーンが夜景である場合、手ぶれ補正を弱くするために、γを標準値より大きな値に設定する。これは、撮影シーンが夜景である場合には、光量が少なくノイズが顕著である画像を撮影する確率が高いため、手ぶれ補正を強くすると副作用が大きくなるので、手ぶれ補正を弱くすることが好ましいからである。   When the shooting scene detected by the shooting scene detection unit 4 is a night scene, the correction intensity parameter control unit 5 sets γ to a value larger than the standard value in order to weaken camera shake correction. This is because, when the shooting scene is a night view, there is a high probability of shooting an image with a small amount of light and significant noise, so increasing the camera shake correction increases the side effects, so it is preferable to reduce the camera shake correction. It is.

補正強度パラメータ制御部5は、撮影シーン検出部4によって検出された撮影シーンがポートレートである場合、手ぶれ補正効果を高くするために、γを標準値より小さな値に設定する。これは、撮影シーンがポートレートである場合には、エッジ成分の少ない被写体を撮影する確率が高いため、手ぶれ補正の強度を高くしても副作用が小さいので、手ぶれ補正効果を高くすることが好ましいからである。   When the shooting scene detected by the shooting scene detection unit 4 is a portrait, the correction strength parameter control unit 5 sets γ to a value smaller than the standard value in order to increase the camera shake correction effect. This is because, when the shooting scene is a portrait, there is a high probability of shooting a subject with few edge components, so even if the camera shake correction intensity is increased, the side effects are small, so it is preferable to increase the camera shake correction effect. Because.

補正強度パラメータ制御部5は、撮影シーン検出部4によって検出された撮影シーンがスポーツである場合、手ぶれと異なる被写体のぶれが発生する確率が高いため、手ぶれ補正を行わない。この場合には、図1において、入力画像(v _tebre)をフィルタ処理部31でフィルタ処理した後、アンシャープマスキング処理部34でアンシャープマスキング処理を行い、得られた画像を復元画像として出力する。   When the shooting scene detected by the shooting scene detection unit 4 is a sport, the correction intensity parameter control unit 5 does not perform camera shake correction because there is a high probability that a subject shake different from camera shake occurs. In this case, in FIG. 1, after the input image (v_tebre) is filtered by the filter processing unit 31, unsharp masking processing is performed by the unsharp masking processing unit 34, and the obtained image is output as a restored image. .

以下、第2実施例について説明する。   The second embodiment will be described below.

図13は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。図13において、図1と同じものには、同じ符号を付してその説明を省略する。   FIG. 13 shows a configuration of a camera shake correction processing circuit provided in the digital camera. In FIG. 13, the same components as those in FIG.

図13の手ぶれ補正処理回路では、図1の手ぶれ補正処理回路の補正強度パラメータ制御部5の代わりに、リンギング除去処理部33内の加重平均係数算出部62で用いられる閾値th(図11参照)を制御するための閾値制御部5Aが用いられている。   In the camera shake correction processing circuit of FIG. 13, the threshold th used in the weighted average coefficient calculation unit 62 in the ringing removal processing unit 33 instead of the correction intensity parameter control unit 5 of the camera shake correction processing circuit of FIG. 1 (see FIG. 11). A threshold control unit 5A for controlling the above is used.

閾値制御部5Aは、撮影シーン検出部4によって検出された撮影シーンに応じて、リンギング除去処理部33内の加重平均係数算出部62で用いられる閾値thを制御する。   The threshold control unit 5A controls the threshold th used by the weighted average coefficient calculation unit 62 in the ringing removal processing unit 33 according to the shooting scene detected by the shooting scene detection unit 4.

図11に示すkは、復元画像の画素値v _fukugen と手ぶれ画像の画素値v _tebre との混合比(加重平均係数)を示している。kが大きいほど、復元画像の画素値v _fukugen の割合が多くなる。kは、エッジ強度v _edgeが閾値th以下である場合には、エッジ強度v _edgeに比例して大きくなる。エッジ強度v _edgeが閾値th以上である場合には、kは1となる。   K shown in FIG. 11 indicates a mixture ratio (weighted average coefficient) between the pixel value v_fukugen of the restored image and the pixel value v_tebre of the camera shake image. As k increases, the ratio of the pixel value v_fukugen of the restored image increases. k increases in proportion to the edge strength v_edge when the edge strength v_edge is less than or equal to the threshold th. K is 1 when the edge strength v_edge is equal to or greater than the threshold th.

エッジ強度v _edgeが閾値thより大きな画素については、その位置に対応する復元画像のリンギングが目立たないので、画像復元処理部3によって得られた復元画像の画素値v _fukugen がそのまま出力される。エッジ強度v _edgeが閾値th以下の画素については、エッジ強度v _edgeが小さいほど、復元画像のリンギングが目立つので、復元画像の度合いを弱くし、手ぶれ画像の度合いを強くする。   For pixels whose edge strength v_edge is greater than the threshold th, ringing of the restored image corresponding to the position is not noticeable, and thus the pixel value v_fukugen of the restored image obtained by the image restoration processing unit 3 is output as it is. For pixels whose edge strength v_edge is less than or equal to the threshold th, the smaller the edge strength v_edge, the more conspicuous the ringing of the restored image, so that the degree of the restored image is weakened and the degree of the camera shake image is increased.

閾値thを大きくすると、手ぶれ画像v _tebre の割合が多くなるので、手ぶれ補正効果は低くなるが、リンギング除去効果は高くなる。また、手ぶれ補正によって増幅されるノイズは低くなる。なお、手ぶれが大きい場合には、リンギングが発生しやすくなるので、リンギング除去効果を高めるために、閾値thを大きくすることが好ましい。   When the threshold th is increased, the ratio of the image blur image v_tebre increases, so that the camera shake correction effect is reduced, but the ringing removal effect is increased. Further, noise amplified by camera shake correction is reduced. Note that when the camera shake is large, ringing is likely to occur. Therefore, it is preferable to increase the threshold th in order to improve the ringing removal effect.

逆に、閾値thを小さくすると、復元画像v _fukugen の割合が多くなるので、手ぶれ補正効果は高くなるが、リンギング除去効果は低くなる。また、手ぶれ補正によって増幅されるノイズは高くなる。   Conversely, when the threshold th is reduced, the ratio of the restored image v_fukugen increases, so that the camera shake correction effect is increased, but the ringing removal effect is decreased. Further, the noise amplified by the camera shake correction becomes high.

表3は、撮影シーン検出部4によって検出された撮影シーンと、閾値制御部5Aによって決定される閾値thの値との関係を示している。   Table 3 shows the relationship between the shooting scene detected by the shooting scene detection unit 4 and the threshold value th determined by the threshold control unit 5A.

Figure 0004236642
Figure 0004236642

閾値制御部5Aは、撮影シーン検出部4によって検出された撮影シーンが夜景である場合、閾値thを標準値より大きな値に設定する。撮影シーンが夜景である場合には、光量が少なくノイズが顕著である画像を撮影する確率が高い。また、光量が少ないため露光時間が長くなるため、手ぶれが大きくなる確率が高い。つまり、手ぶれ補正効果を高めると、リンギングやノイズが発生しやすくなる。そこで、リンギング除去効果とノイズ除去効果を高くするために、閾値thを標準値より大きな値に設定する。   When the shooting scene detected by the shooting scene detection unit 4 is a night scene, the threshold control unit 5A sets the threshold th to a value larger than the standard value. When the shooting scene is a night view, the probability of shooting an image with a small amount of light and significant noise is high. In addition, since the exposure time is long because the amount of light is small, there is a high probability that camera shake will increase. That is, when the camera shake correction effect is enhanced, ringing and noise are likely to occur. Therefore, in order to increase the ringing removal effect and the noise removal effect, the threshold value th is set to a value larger than the standard value.

閾値制御部5Aは、撮影シーン検出部4によって検出された撮影シーンが遠景である場合、閾値thを標準値より小さな値に設定する。撮影シーンが遠景である場合には、大きな手ぶれが発生する確率は低いため、リンギングが発生しにくい。また、明るい所で撮影が行われるので、ノイズも少ないと考えられる。つまり、手ぶれ補正効果を高めても、リンギングやノイズが発生しにくいので、閾値thを標準値より小さな値に設定する。   The threshold value control unit 5A sets the threshold value th to a value smaller than the standard value when the shooting scene detected by the shooting scene detection unit 4 is a distant view. When the shooting scene is a distant view, ringing is unlikely to occur because the probability of large camera shake is low. Also, since shooting is performed in a bright place, it is considered that there is little noise. In other words, even if the camera shake correction effect is enhanced, ringing and noise are less likely to occur, so the threshold th is set to a value smaller than the standard value.

閾値制御部5Aは、撮影シーン検出部4によって検出された撮影シーンがポートレートである場合、閾値thを標準値に設定する。撮影シーンがポートレートである場合には、遠景モードに比べて焦点距離がやや大きくなる(表1参照)。このため、遠景モードに比べて手ぶれが起こりやすくなる。ただし、夜景に比べて手ぶれは発生しにくい。そこで、閾値thを遠景の場合とより大きくかつ夜景の場合より小さな標準値に設定する。   The threshold value control unit 5A sets the threshold value th to a standard value when the shooting scene detected by the shooting scene detection unit 4 is a portrait. When the shooting scene is a portrait, the focal length is slightly larger than in the distant view mode (see Table 1). For this reason, camera shake is more likely to occur than in the distant view mode. However, camera shake is unlikely to occur compared to night views. Therefore, the threshold value th is set to a standard value that is larger than that for a distant view and smaller than that for a night view.

閾値制御部5Aは、撮影シーン検出部4によって検出された撮影シーンがスポーツである場合、手ぶれと異なる被写体のぶれが発生する確率が高いため、手ぶれ補正を行わない。このため、リンギング除去処理も行わない。   When the shooting scene detected by the shooting scene detection unit 4 is a sport, the threshold control unit 5A does not perform camera shake correction because there is a high probability that a subject shake different from camera shake will occur. For this reason, ringing removal processing is not performed.

以下、第3実施例について説明する。   The third embodiment will be described below.

図14は、デジタルカメラに設けられた手ぶれ補正処理回路の構成を示している。図14において、図1と同じものには、同じ符号を付してその説明を省略する。   FIG. 14 shows a configuration of a camera shake correction processing circuit provided in the digital camera. In FIG. 14, the same components as those in FIG.

図14の手ぶれ補正処理回路では、図1の手ぶれ補正処理回路の補正強度パラメータ制御部5の代わりに、アンシャープマスキング処理部34で用いられるパラメータσ、Kを制御するためのパラメータ制御部5Bが用いられている。   In the camera shake correction processing circuit of FIG. 14, a parameter control unit 5B for controlling the parameters σ and K used in the unsharp masking processing unit 34 is provided instead of the correction intensity parameter control unit 5 of the camera shake correction processing circuit of FIG. It is used.

パラメータ制御部5Bは、撮影シーン検出部4によって検出された撮影シーンに応じて、アンシャープマスキング処理部34で用いられるパラメータσ、Kを制御する。   The parameter control unit 5B controls the parameters σ and K used in the unsharp masking processing unit 34 according to the shooting scene detected by the shooting scene detection unit 4.

上述したように、エッジ幅の狭い急峻なエッジに対してはσを小さくすることが好ましく、エッジ幅の広い緩やかなエッジに対してはσを大きくすることが好ましい。また、Kを大きくすると、よりエッジが強調されるようになるが、画像に含まれるノイズが強調され、Kを小さくすると、エッジ強調効果が低くなる。   As described above, it is preferable to decrease σ for steep edges having a narrow edge width, and it is preferable to increase σ for gentle edges having a wide edge width. Further, when K is increased, the edge is enhanced more, but noise included in the image is enhanced, and when K is decreased, the edge enhancement effect is decreased.

表4は、撮影シーン検出部4によって検出された撮影シーンと、パラメータ制御部5Bによって決定されるパラメータσ、Kの値との関係を示している。   Table 4 shows the relationship between the shooting scene detected by the shooting scene detection unit 4 and the values of the parameters σ and K determined by the parameter control unit 5B.

Figure 0004236642
Figure 0004236642

パラメータ制御部5Bは、撮影シーン検出部4によって検出された撮影シーンがポートレートである場合、σを標準値より大きな値に設定するとともにKを標準値より大きな値に設定する。撮影シーンがポートレートである場合には、人物を主に撮影するため、エッジの緩やかな画像を撮影する確率が高いので、σを標準値より大きな値に設定する。また、明るい所での撮影が行われるため、ノイズが発生しにくいので、Kを標準値より大きな値に設定する。   When the photographic scene detected by the photographic scene detection unit 4 is a portrait, the parameter control unit 5B sets σ to a value larger than the standard value and sets K to a value larger than the standard value. When the shooting scene is a portrait, since a person is mainly shot, the probability of shooting an image with a gentle edge is high, so σ is set to a value larger than the standard value. Also, since shooting is performed in a bright place, noise is unlikely to occur, so K is set to a value larger than the standard value.

パラメータ制御部5Bは、撮影シーン検出部4によって検出された撮影シーンが遠景である場合、σを標準値より小さな値に設定するとともにKを標準値より大きな値に設定する。撮影シーンが遠景である場合には、ポートレートに比べて、建物や乗物など比較的エッジが急峻な画像を撮影する確率が高いので、σを標準値より小さな値に設定する。また、明るい所での撮影が行われるため、ノイズが発生しにくいので、Kを標準値より大きな値に設定する。   When the photographic scene detected by the photographic scene detection unit 4 is a distant view, the parameter control unit 5B sets σ to a value smaller than the standard value and sets K to a value larger than the standard value. When the shooting scene is a distant view, σ is set to a value smaller than the standard value because there is a higher probability of shooting an image with a relatively steep edge such as a building or a vehicle compared to a portrait. Also, since shooting is performed in a bright place, noise is unlikely to occur, so K is set to a value larger than the standard value.

パラメータ制御部5Bは、撮影シーン検出部4によって検出された撮影シーンが夜景である場合、σを標準値より小さな値に設定するとともにKを標準値より小さな値に設定する。撮影シーンが夜景である場合には、ポートレートに比べて、建物や乗物など比較的エッジが急峻な画像を撮影する確率が高いので、σを標準値より小さな値に設定する。また、暗い所での撮影が行われるため、ノイズが発生しやすいので、Kを標準値より小さな値に設定する。   When the photographic scene detected by the photographic scene detection unit 4 is a night scene, the parameter control unit 5B sets σ to a value smaller than the standard value and sets K to a value smaller than the standard value. When the shooting scene is a night view, the probability of shooting an image with a relatively steep edge such as a building or a vehicle is higher than that of a portrait, so σ is set to a value smaller than the standard value. Also, since shooting is performed in a dark place, noise is likely to occur, so K is set to a value smaller than the standard value.

パラメータ制御部5Bは、撮影シーン検出部4によって検出された撮影シーンがスポーツである場合、σを標準値に設定するとともにKを標準値より小さな値に設定する。撮影シーンがスポーツである場合には、被写体がぶれて、エッジの急峻なところと、緩やかなところとの両方ができるので、σを標準値に設定する。また、通常、動作している被写体を撮影するため、撮影時にシャッター速度が速い値に設定され、光量が少なくなり、撮影時にノイズが発生しやすくなるので、Kを標準値より小さな値に設定する。   When the photographic scene detected by the photographic scene detection unit 4 is a sport, the parameter control unit 5B sets σ to a standard value and sets K to a value smaller than the standard value. When the shooting scene is a sport, the subject is blurred, and both a sharp edge and a gentle edge can be formed, so σ is set to a standard value. In addition, since the subject is usually photographed, the shutter speed is set to a fast value at the time of photographing, the amount of light is reduced, and noise is likely to occur at the time of photographing. Therefore, K is set to a value smaller than the standard value. .

なお、σとKのうちのいずれか一方のみを制御するようにしてもよい。   Note that only one of σ and K may be controlled.

上記第1〜第3実施例においては、撮影シーンは、撮影シーン検出手段4によって自動的に検出されているが、撮影シーンをユーザに設定させるための設定手段をカメラに設けるようにしてもよい。この場合には、設定手段によって設定された撮影シーンに基づいて、補正強度パラメータγ、閾値th、パラメータσ、Kが制御される。   In the first to third embodiments, the photographic scene is automatically detected by the photographic scene detection means 4, but setting means for allowing the user to set the photographic scene may be provided in the camera. . In this case, the correction intensity parameter γ, the threshold th, and the parameters σ and K are controlled based on the shooting scene set by the setting unit.

第1実施例である手ぶれ補正処理回路の構成を示すブロック図である。1 is a block diagram illustrating a configuration of a camera shake correction processing circuit according to a first embodiment. FIG. 角速度センサ1aの出力を増幅するアンプおよびアンプ出力をデジタル値に変換するA/変換器を示すブロック図である。It is a block diagram which shows the amplifier which amplifies the output of the angular velocity sensor 1a, and the A / converter which converts an amplifier output into a digital value. カメラの回転量θ[deg] と画面上の移動量d[mm]との関係を示す模式図である。It is a schematic diagram which shows the relationship between the rotation amount (theta) [deg] of a camera, and the moving amount d [mm] on a screen. 35[mm]フィルム換算の画像サイズと、デジタルカメラの画像サイズとを示す模式図である。It is a schematic diagram which shows the image size of 35 [mm] film conversion, and the image size of a digital camera. 手ぶれを表現する空間フィルタ(PSF)を示す模式図である。It is a schematic diagram which shows the spatial filter (PSF) expressing camera shake. Bresenham の直線描画アルゴリズムを説明するための模式図である。It is a schematic diagram for demonstrating Bresenham's straight line drawing algorithm. 図6の動きベクトルにより得られるPSFを示す模式図である。It is a schematic diagram which shows PSF obtained by the motion vector of FIG. 図1のリンギング除去処理部33の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of a ringing removal processing unit 33 in FIG. 1. 注目画素v22を中心とする3×3の領域を示す模式図である。It is a schematic diagram which shows the 3 * 3 area | region centering on the attention pixel v22. Prewitt のエッジ抽出オペレータを示す模式図である。It is a schematic diagram which shows the edge extraction operator of Prewitt. エッジ強度v _edgeと加重平均係数kとの関係を示すグラフである。It is a graph which shows the relationship between edge strength v_edge and the weighted average coefficient k. 図12は、σが小さい場合と、σが大きい場合の効果の差異を示すための波形図である。FIG. 12 is a waveform diagram for showing a difference in effect when σ is small and when σ is large. 第2実施例である手ぶれ補正処理回路の構成を示すブロック図である。It is a block diagram which shows the structure of the camera-shake correction process circuit which is 2nd Example. 第3実施例である手ぶれ補正処理回路の構成を示すブロック図である。It is a block diagram which shows the structure of the camera-shake correction process circuit which is 3rd Example.

符号の説明Explanation of symbols

1a、1b 角速度センサ
2 画像復元フィルタ計算部
3 画像復元処理部
4 撮影シーン検出部
5 補正強度パラメータ制御部
5A 閾値制御部
5B パラメータ制御部
21 手ぶれ信号/動きベクトル変換処理部
22 動きベクトル/手ぶれ関数変換処理部
23 手ぶれ関数/一般逆フィルタ変換処理部
31 フィルタ処理部
32 フィルタ処理部
33 リンギング除去処理部
34 アンシャープマスキング処理部
61 エッジ強度算出部
62 加重平均係数算出部
63 加重平均処理部
DESCRIPTION OF SYMBOLS 1a, 1b Angular velocity sensor 2 Image restoration filter calculation part 3 Image restoration process part 4 Shooting scene detection part 5 Correction intensity parameter control part 5A Threshold control part 5B Parameter control part 21 Shake signal / motion vector conversion process part 22 Motion vector / shake function Conversion processing unit 23 Camera shake function / general inverse filter conversion processing unit 31 Filter processing unit 32 Filter processing unit 33 Ringing removal processing unit 34 Unsharp masking processing unit 61 Edge strength calculation unit 62 Weighted average coefficient calculation unit 63 Weighted average processing unit

Claims (8)

撮影シーンを自動的に検出する撮影シーン検出手段、
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびに
撮影シーン検出手段によって検出された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段、
を備え、
手ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御するものであることを特徴とする撮像装置。
Shooting scene detection means for automatically detecting shooting scenes,
Camera shake correction means for performing camera shake correction processing on the input image, and control means for controlling the intensity of camera shake correction by the camera shake correction means based on the shooting scene detected by the shooting scene detection means;
Bei to give a,
The camera shake correction means performs camera shake correction using an inverse filter, and the control means controls a regularization coefficient used when generating the inverse filter based on the shooting scene detected by the shooting scene detection means. imaging device, characterized in that it.
撮影シーンを自動的に検出する撮影シーン検出手段、Shooting scene detection means for automatically detecting shooting scenes,
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、Image stabilization means for performing image stabilization processing on the input image;
手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびにRinging removal means for removing ringing from the restored image obtained by the image stabilization means, and
撮影シーン検出手段によって検出された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段、Control means for controlling the intensity of ringing removal by the ringing removal means based on the shooting scene detected by the shooting scene detection means;
を備え、With
リンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、The ringing removing means includes an edge strength calculating means for calculating edge strength for each pixel of the input image before camera shake correction, a relationship between the edge strength for each pixel calculated by the edge strength calculating means, and a weighted addition coefficient for the edge strength. Based on the above, the coefficient calculation means for obtaining a weighted addition coefficient for each pixel, and the weighted addition coefficient for each pixel using the weighted addition coefficient obtained for each image, the input image and the restored image obtained by the camera shake correction means Weighted average means to
エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が100%となるような関係にあり、The edge strength and the weighted addition coefficient have such a relationship that the weighted ratio of the restored image increases as the edge strength increases when the edge strength is less than or equal to the threshold, and the weighted ratio of the restored image becomes 100% when the edge strength exceeds the threshold. Yes,
制御手段は撮影シーン検出手段によって検出された撮影シーンに基づいて、上記閾値を制御するものであることを特徴とする撮像装置。An image pickup apparatus characterized in that the control means controls the threshold based on the shooting scene detected by the shooting scene detection means.
撮影シーンを自動的に検出する撮影シーン検出手段、Shooting scene detection means for automatically detecting shooting scenes,
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、Image stabilization means for performing image stabilization processing on the input image;
手ぶれ補正手段によって得られた第1画像からリンギングを除去するためのリンギング除去手段、Ringing removal means for removing ringing from the first image obtained by the image stabilization means;
リンギング除去手段によって得られた第2画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびにUnsharp masking processing means for performing edge enhancement processing on the second image obtained by the ringing removal means, and
撮影シーン検出手段によって検出された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段、Control means for controlling at least one of the edge enhancement width and the edge enhancement degree by the unsharp masking processing means based on the photographing scene detected by the photographing scene detection means;
を備えていることを特徴とする撮像装置。An imaging apparatus comprising:
アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第2画像の平滑化画像を生成し、第2画像と第2画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第2画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、The unsharp masking processing means generates a smoothed image of the second image using a Gaussian filter, and multiplies the difference between the smoothed image of the second image and the second image by the correction strength parameter to generate the edge strength image. Generating and adding an edge strength image to the second image to obtain an image with enhanced edges,
制御手段は、撮影シーン検出手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする請求項3に記載の撮像装置。The control means is used to generate a parameter representing dispersion in a two-dimensional Gaussian function used for generating a smoothed image and an edge enhanced image based on the shooting scene detected by the shooting scene detection means. The imaging apparatus according to claim 3, wherein at least one of the correction intensity parameters is controlled.
撮影シーンを設定するための撮影シーン設定手段、Shooting scene setting means for setting a shooting scene;
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、ならびにImage stabilization means for performing image stabilization processing on the input image, and
撮影シーン設定手段によって設定された撮影シーンに基づいて、手ぶれ補正手段による手ぶれ補正の強度を制御する制御手段、Control means for controlling the strength of camera shake correction by the camera shake correction means based on the shooting scene set by the shooting scene setting means;
を備え、With
手ぶれ補正手段は逆フィルタを用いて手ぶれ補正を行うものであり、制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、逆フィルタを生成する際に用いられる正則化係数を制御するものであることを特徴とする撮像装置。The camera shake correction means performs camera shake correction using an inverse filter, and the control means controls a regularization coefficient used when generating the inverse filter based on the shooting scene set by the shooting scene setting means. An imaging device characterized by being:
撮影シーンを設定するための撮影シーン設定手段、Shooting scene setting means for setting a shooting scene;
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、Image stabilization means for performing image stabilization processing on the input image;
手ぶれ補正手段によって得られた復元画像からリンギングを除去するためのリンギング除去手段、ならびにRinging removal means for removing ringing from the restored image obtained by the image stabilization means, and
撮影シーン設定手段によって設定された撮影シーンに基づいて、リンギング除去手段によるリンギング除去の強度を制御する制御手段、Control means for controlling the intensity of ringing removal by the ringing removal means based on the shooting scene set by the shooting scene setting means;
を備え、With
リンギング除去手段は、手ぶれ補正前の入力画像の画素毎のエッジ強度を算出するエッジ強度算出手段、エッジ強度算出手段によって算出された画素毎のエッジ強度と、エッジ強度に対する加重加算係数との関係とに基づいて、画素毎に加重加算係数を求める係数算出手段、および画像毎に求められた加重加算係数を用いて、入力画像と、手ぶれ補正手段によって得られた復元画像とを画素毎に加重加算する加重平均手段を備えており、The ringing removing means includes an edge strength calculating means for calculating edge strength for each pixel of the input image before camera shake correction, a relationship between the edge strength for each pixel calculated by the edge strength calculating means, and a weighted addition coefficient for the edge strength. Based on the above, the coefficient calculation means for obtaining a weighted addition coefficient for each pixel, and the weighted addition coefficient for each pixel using the weighted addition coefficient obtained for each image, the input image and the restored image obtained by the camera shake correction means Weighted average means to
エッジ強度と加重加算係数とは、エッジ強度が閾値以下ではエッジ強度が大きくなるほど復元画像の加重比率が高くなり、エッジ強度が閾値以上になると復元画像の加重比率が100%となるような関係にあり、The edge strength and the weighted addition coefficient have such a relationship that the weighted ratio of the restored image increases as the edge strength increases when the edge strength is less than or equal to the threshold, and the weighted ratio of the restored image becomes 100% when the edge strength exceeds the threshold. Yes,
制御手段は撮影シーン設定手段によって設定された撮影シーンに基づいて、上記閾値を制御するものであることを特徴とする撮像装置。An imaging apparatus characterized in that the control means controls the threshold value based on the shooting scene set by the shooting scene setting means.
撮影シーンを設定するための撮影シーン設定手段、Shooting scene setting means for setting a shooting scene;
入力画像に対して手ぶれ補正処理を行う手ぶれ補正手段、Image stabilization means for performing image stabilization processing on the input image;
手ぶれ補正手段によって得られた第1画像からリンギングを除去するためのリンギング除去手段、Ringing removal means for removing ringing from the first image obtained by the image stabilization means;
リンギング除去手段によって得られた第2画像に対してエッジ強調処理を行うためのアンシャープマスキング処理手段、ならびにUnsharp masking processing means for performing edge enhancement processing on the second image obtained by the ringing removal means, and
撮影シーン設定手段によって設定された撮影シーンに基づいて、アンシャープマスキング処理手段によるエッジ強調幅およびエッジ強調の度合いのうちの少なくとも一方を制御する制御手段、Control means for controlling at least one of the edge enhancement width and the edge enhancement degree by the unsharp masking processing means based on the photographing scene set by the photographing scene setting means;
を備えていることを特徴とする撮像装置。An imaging apparatus comprising:
アンシャープマスキング処理手段は、ガウシアンフィルタを用いて第2画像の平滑化画像を生成し、第2画像と第2画像の平滑化画像との差分に補正強度パラメータを乗算することによってエッジ強度画像を生成し、第2画像にエッジ強度画像を足し合わせることによりエッジが強調された画像を得るものであり、The unsharp masking processing means generates a smoothed image of the second image using a Gaussian filter, and multiplies the difference between the smoothed image of the second image and the second image by the correction strength parameter to generate the edge strength image. Generating and adding an edge strength image to the second image to obtain an image with enhanced edges,
制御手段は、撮影シーン設定手段によって検出された撮影シーンに基づいて、平滑化画像を生成するために用いられる二次元ガウス関数中の分散を表すパラメータと、エッジ強調画像を生成するために用いられる上記補正強度パラメータとのうちの少なくとも一方を制御するものであることを特徴とする請求項7に記載の撮像装置。The control means is used to generate a parameter representing a variance in a two-dimensional Gaussian function used for generating a smoothed image and an edge enhanced image based on the shooting scene detected by the shooting scene setting means. The imaging apparatus according to claim 7, wherein at least one of the correction intensity parameters is controlled.
JP2005048895A 2005-02-24 2005-02-24 Imaging device Expired - Fee Related JP4236642B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005048895A JP4236642B2 (en) 2005-02-24 2005-02-24 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005048895A JP4236642B2 (en) 2005-02-24 2005-02-24 Imaging device

Publications (2)

Publication Number Publication Date
JP2006237985A JP2006237985A (en) 2006-09-07
JP4236642B2 true JP4236642B2 (en) 2009-03-11

Family

ID=37045163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005048895A Expired - Fee Related JP4236642B2 (en) 2005-02-24 2005-02-24 Imaging device

Country Status (1)

Country Link
JP (1) JP4236642B2 (en)

Also Published As

Publication number Publication date
JP2006237985A (en) 2006-09-07

Similar Documents

Publication Publication Date Title
JP4152398B2 (en) Image stabilizer
JP2006129236A (en) Ringing eliminating device and computer readable recording medium with ringing elimination program recorded thereon
JP4487191B2 (en) Image processing apparatus and image processing program
JP5596138B2 (en) Imaging apparatus, image processing apparatus, image processing method, and image processing program
JP4307430B2 (en) Camera shake detection device
JP4454657B2 (en) Blur correction apparatus and method, and imaging apparatus
JP5237978B2 (en) Imaging apparatus and imaging method, and image processing method for the imaging apparatus
JP4145308B2 (en) Image stabilizer
WO2007086378A1 (en) Best-focus detector
JP2012165213A (en) Image processing apparatus
JP4958806B2 (en) Blur detection device, blur correction device, and imaging device
JP2009088935A (en) Image recording apparatus, image correcting apparatus, and image pickup apparatus
JP2007104249A (en) Image correcting apparatus, image correcting method, program and recording medium
JP4383379B2 (en) Image stabilizer
JP4740008B2 (en) Camera shake detection device and digital camera
KR101605769B1 (en) Image processing method and apparatus, and digital photographing apparatus using thereof
JP4236642B2 (en) Imaging device
JP2018181070A (en) Image processing device and image processing method
JP2019016893A (en) Image processing apparatus, control method therefor, and program
JP7346077B2 (en) Image processing device, image processing method and program
JP5561389B2 (en) Image processing program, image processing apparatus, electronic camera, and image processing method
JP6929185B2 (en) Image processing equipment and image processing methods, programs, storage media
JP6858073B2 (en) Image processing device, image processing method, and program
JP7166903B2 (en) IMAGE PROCESSING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM
JP2009088933A (en) Image recording apparatus, image correcting apparatus and image pickup apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121226

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees