JP4043499B2 - 画像補正装置及び画像補正方法 - Google Patents
画像補正装置及び画像補正方法 Download PDFInfo
- Publication number
- JP4043499B2 JP4043499B2 JP2006241262A JP2006241262A JP4043499B2 JP 4043499 B2 JP4043499 B2 JP 4043499B2 JP 2006241262 A JP2006241262 A JP 2006241262A JP 2006241262 A JP2006241262 A JP 2006241262A JP 4043499 B2 JP4043499 B2 JP 4043499B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correlation value
- pixels
- pixel
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 93
- 238000003702 image correction Methods 0.000 title claims description 62
- 230000003044 adaptive effect Effects 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
<1−1.画像補正装置を搭載した携帯端末機器の説明>
図1(a)及び(b)は、本発明の実施の形態1に係る画像補正装置(すなわち、実施の形態1に係る画像補正方法を実施する装置)11を搭載したカメラ付き携帯端末機器1の外観を概略的に示すものであり、同図(a)は正面図、同図(b)は背面図である。また、図2は、携帯端末機器1の構成を示すブロック図である。
図3は、携帯端末機器1によって撮影された手振れ画像の一例を示す図である。被写体と、ユーザが手に持つ携帯端末機器1のいずれもが静止しており、被写体までのフォーカスが完全に合致している場合には、携帯端末機器1のカメラによって取得された撮影画像は手振れのない静止画像になる。しかし、被写体は静止しているが、携帯端末機器1を動かしながら撮影動作を行った場合には、撮影画像21は、ある方向の手振れの影響を受けた画像(以下「ブレ画像」とも言う。)になる。手振れによるカメラの移動方向が2次元平面上の方向である場合には、その撮影画像21は、例えば、図3に示されるようなブレ画像になる。ここで、im及びjmはそれぞれ、手振れを示すベクトル(図3において、矢印P0P1で示す。)のx方向成分(単位:Pixel又は画素)及びy方向成分(単位:Pixel又は画素)である。im及びjmはそれぞれ、x方向のブレ量及びy方向のブレ量とも言う。図3には、被写体画像22からx方向にi画素、y方向にj画素だけずれた位置までの間にブレ画像23が取得される。
図4は、実施の形態1に係る画像補正方法を概略的に示すフローチャートである。図4に示される処理は、ユーザがカメラ撮影することによって取得された画像データに対して、CPU12がROM13内のプログラムにしたがって行う処理である。
次に、画像補正処理の内容を詳細に説明する。図5は、実施の形態1に係る画像補正方法において用いられる差分値決定領域32と窓領域33を示す図である。また、図6は、実施の形態1に係る画像補正方法において求められる窓領域局所差分値Dwを説明するための図である。
xCR≦Xh
yCR≦Yv
であり、例えば、
(1/4)Xh≦xCR≦(3/4)Xh
(1/4)Yv≦yCR≦(3/4)Yv
のように定義される。
D(i,j)=|Y(x,y)−Y(x+i,y+j)| 式1
ここで、i及びjは、以下の範囲内の整数である。
−16≦i≦16
0≦j≦16
Dw(i,j)=MAX(x,y)|Y(x,y)−Y(x+i,y+j)| 式2
ここで、i及びjは、以下の範囲内の整数である。
−16≦i≦16
0≦j≦16
Dmax=MAX(i,j){Dw(i,j)} 式3
ここで、i及びjは、以下の範囲内の整数である。
−16≦i≦16
0≦j≦16
以上で、最大局所差分値Dmaxの決定処理を終了する。
次に、CPU12は、入力画像評価(図4のステップS12)を実施する。入力画像評価においては、以下に示す動作を行うことで、取得した撮像画像データ毎に固有の特性値(評価値)を決定する。式3における最大局所差分値Dmaxは、撮像画像データ毎に差分値決定領域32内の画像特性に対して決定された一つの定数であり、この値は、取得した手振れ撮像画像の性質(最大の差分値)を表している。また、i及びjの範囲は、図8と対応させたものであり、実際は使用する窓領域33の大きさにしたがって他の値をとってもよい。以上の方法によって取得した、ある取得画像データに対応する最大局所差分値Dmaxを用いて、以下の式に示す閾値Dtを決定する。
Dt=k・Dmax 式4
次に、CPU12は、適応フィルタ係数生成(図4のステップS13)を実施する。入力画像評価の動作を行うことで決定した閾値Dtに基づいて、適応フィルタ係数を生成するステップS13においては、撮像画像データに掛ける適応フィルタ係数C(i,j)を以下に示す式5,6又は式7〜9で決定する。基本的に、ここで求めるフィルタ係数領域は、窓領域33の2倍(下半分領域にも拡張)の大きさ(領域)を持つ。
ここで、i及びjは、以下の条件を満たす整数である。
(i,j)≠(0,0)
ここで、i及びjは、以下の範囲内の整数である。
0<i≦16
0<j≦16
ここで、i及びjは、以下の条件を満たす整数である。
Dw(i,j)<Dt
(i,j)≠(0,0)
ここで、i及びjは、以下の条件を満たす整数である。
Dw(i,j)≧Dt
(i,j)≠(0,0)
ここで、i及びjは、以下の範囲内の整数である。
0<i≦16
0<j≦16
適応フィルタ係数生成の処理(図4のステップS13)を行なった後、フィルタ処理の動作(図4のステップS14)として、取得したY,Cb,Crの各データに対して生成された画素毎の適応フィルタ係数を掛ける。この場合、生成されたフィルタ係数を用い、このフィルタ係数を空間領域の線形フィルタ係数として、例えば、2次元FIRフィルタ処理をY,Cb,Crの各データに対して行う。
以上説明したように、実施の形態1に係る画像補正装置11を搭載したカメラ付き携帯端末機器1によれば、手振れ等の補正要因となる物理量を検出するためのセンサを不要とし、かつ、撮影した手振れ画像に対して適応的な補正処理を簡単な構成で行なうことができ、手振れの軽減された良好な画像を得ることができる。
<2−1.実施の形態2の構成>
上記実施の形態1においては、画像補正方法における差分値決定の動作(図4のステップS11)において、その差分値決定領域32を決定する方法として、撮像画像中心部を基準点とし、撮像画像サイズ以内の任意サイズを設定するように構成した。しかし、撮像画像によっては意図的にユーザが被写体を画面端に寄せて撮影する場合があり、このような場合は撮像画像のフォーカスを画面中央位置ではなく、被写体がある画面端に合わせることとなる。このような状況下で撮影された撮影画像に関しては、実施の形態1の動作の場合、画像中央を基準点として差分値決定領域32を求めるため、正確な手振れの判断ができない状況が発生する。そこで、実施の形態2においては、画面中央以外の領域(例えば、画面端)にフォーカスを合わせた場合についての手振れ画像撮影時にも、良好な補正ができるように構成した。
(1)フォーカスロック機能を用いた場合
カメラのフォーカス検出センサ領域が画面中央のみにあり、ユーザは画面中央位置で被写体へのフォーカスを合わせた後、ボタン操作等の何らかの方法でフォーカスをロックし、ロックしたまま被写体を画面内の任意の位置に配置して撮影する方法である。
(2)マルチフォーカス機能を用いた場合
カメラのフォーカス検出センサ領域が、画面中央領域だけでなく、複数の領域にフォーカス検出センサが配置されており、複数のセンサからユーザがフォーカスを合わせたい領域にあるセンサを選択したり、又はカメラが画像処理機能を使用して、自動的に被写体のある領域のセンサを選択することによって、画面中央位置以外の領域にある被写体にフォーカスを合わせて撮影する方法である。
(3)画像処理機能を用いた場合
マルチフォーカス機能のように、予め撮像エリアを分割してあり、その中からユーザがフォーカスを合わせたい領域にある撮像エリアを選択したり、自動的に被写体位置を検出し、分割されたエリアから特定のエリアを選択できる方法である。画像処理機能を用いた場合、フォーカスの検出にはフォーカスロック機能やマルチフォーカス機能のようなセンサを用いず、画像処理によってフォーカス検出を行なう。
以上の動作を、差分値決定処理(図4のステップS11)における差分値決定領域32の決定方法に使用することで、フォーカスが画面中央以外の領域に合致した手振れ画像に対しても、取得画像の適切な差分値を決定することが可能となり、良好な画像補正効果を得ることができる。
Claims (8)
- 入力画像の画面領域の全体または一部からなる領域において、当該領域内の各注目画素と当該注目画素の近傍の画素との間の画像データに関する相関を表す局所相関値を算出する局所画素間相関算出手段と、
前記局所画素間相関算出手段から出力される局所相関値について、前記領域内の各注目画素に対応する局所相関値をそれぞれ算出し、算出された各注目画素に対応する全ての局所相関値から相関の弱い画素間の局所相関値を固有相関値として選択する固有相関値決定手段と、
前記固有相関値決定手段から出力される前記固有相関値に基づいて入力画像の特性を反映した閾値を決定する入力画像評価手段と、
前記閾値を用いて前記入力画像の適応フィルタ係数を生成するフィルタ係数生成手段と、
前記適応フィルタ係数を用いて前記入力画像にフィルタ演算を行なうフィルタ処理手段と
を有する画像補正装置であって、
画像の水平方向および垂直方向にそれぞれ所定の水平画素数および所定の垂直画素数だけ離れた画素間の画像データに関する相関を表す局所相関値について、前記領域内の各注目画素に対応する局所相関値をそれぞれ算出し、前記所定の水平画素数および所定垂直画素数に対応する座標毎に選択した相関の弱い画素間の局所相関値を、窓領域局所相関値と定義した場合、
前記フィルタ係数生成手段による適応フィルタ係数の生成は、
前記窓領域局所相関値が前記閾値よりも小さい前記所定の水平画素数および所定垂直画素数について適応フィルタ係数を算出する処理と、
前記窓領域局所相関値が前記閾値以上の前記所定の水平画素数および所定垂直画素数について適応フィルタ係数を0にする処理と
を含むことを特徴とする画像補正装置。 - 前記局所相関値として、画素間の画像データの差分値を用いることを特徴とする請求項1記載の画像補正装置。
- 前記適応フィルタ係数が0でない領域に基づいて前記フィルタ処理手段によるフィルタ処理を行う有効フィルタ領域を決定することを特徴とする請求項1または2に記載の画像補正装置。
- 前記固有相関値決定手段は、前記入力画像の画面領域の一部をフォーカス位置として指定するフォーカス位置情報に基づいて前記固有相関値決定領域を決定することを特徴とする請求項1乃至3のいずれか1項に記載の画像補正装置。
- 入力画像の画面領域の全体または一部からなる領域において、当該領域内の各注目画素と当該注目画素の近傍の画素との間の画像データに関する相関を表す局所相関値を算出する局所画素間相関算出ステップと、
前記局所画素間相関算出ステップにおいて得られる局所相関値について、前記領域内の各注目画素に対応する局所相関値をそれぞれ算出し、算出された各注目画素に対応する全ての局所相関値から相関の弱い画素間の局所相関値を固有相関値として選択する固有相関値決定ステップと、
前記固有相関値決定ステップにおいて得られる前記固有相関値に基づいて入力画像の特性を反映した閾値を決定する入力画像評価ステップと、
前記閾値を用いて前記入力画像の適応フィルタ係数を生成するフィルタ係数生成ステップと、
前記適応フィルタ係数を用いて前記入力画像にフィルタ演算を行なうフィルタ処理ステップと
を有する画像補正方法であって、
画像の水平方向および垂直方向にそれぞれ所定の水平画素数および所定の垂直画素数だけ離れた画素間の画像データに関する相関を表す局所相関値について、前記領域内の各注目画素に対応する局所相関値をそれぞれ算出し、前記所定の水平画素数および所定垂直画素数に対応する座標毎に選択した相関の弱い画素間の局所相関値を、窓領域局所相関値と定義した場合、
前記フィルタ係数生成ステップにおける適応フィルタ係数の生成は、
前記窓領域局所相関値が前記閾値よりも小さい前記所定の水平画素数および所定垂直画素数について適応フィルタ係数を算出する処理と、
前記窓領域局所相関値が前記閾値以上の前記所定の水平画素数および所定垂直画素数について適応フィルタ係数を0にする処理と
を含むことを特徴とする画像補正方法。 - 前記局所相関値として、画素間の画像データの差分値を用いることを特徴とする請求項5記載の画像補正方法。
- 前記適応フィルタ係数が0でない領域に基づいて前記フィルタ処理ステップにおけるフィルタ処理を行う有効フィルタ領域を決定することを特徴とする請求項5または6に記載の画像補正方法。
- 前記固有相関値決定ステップは、前記入力画像の画面領域の一部をフォーカス位置として指定するフォーカス位置情報に基づいて前記固有相関値決定領域を決定することを特徴とする請求項5乃至7のいずれか1項に記載の画像補正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006241262A JP4043499B2 (ja) | 2006-09-06 | 2006-09-06 | 画像補正装置及び画像補正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006241262A JP4043499B2 (ja) | 2006-09-06 | 2006-09-06 | 画像補正装置及び画像補正方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005290876A Division JP3992720B2 (ja) | 2005-10-04 | 2005-10-04 | 画像補正装置、画像補正方法、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007104649A JP2007104649A (ja) | 2007-04-19 |
JP4043499B2 true JP4043499B2 (ja) | 2008-02-06 |
Family
ID=38031080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006241262A Expired - Fee Related JP4043499B2 (ja) | 2006-09-06 | 2006-09-06 | 画像補正装置及び画像補正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4043499B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9131140B2 (en) | 2007-08-10 | 2015-09-08 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup method |
JP5014241B2 (ja) * | 2007-08-10 | 2012-08-29 | キヤノン株式会社 | 撮像装置、およびその制御方法 |
-
2006
- 2006-09-06 JP JP2006241262A patent/JP4043499B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007104649A (ja) | 2007-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108668093B (zh) | Hdr图像的生成方法及装置 | |
JP4186699B2 (ja) | 撮像装置および画像処理装置 | |
JP5596138B2 (ja) | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム | |
JP4556813B2 (ja) | 画像処理装置、及びプログラム | |
JP5779724B2 (ja) | 画像処理装置、撮像装置、コンピュータ及びプログラム | |
JP3992720B2 (ja) | 画像補正装置、画像補正方法、プログラム、及び記録媒体 | |
EP2219366B1 (en) | Image capturing device, image capturing method, and image capturing program | |
JP7516471B2 (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
JP2009017223A (ja) | 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム | |
JP2018107526A (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
CN105432068A (zh) | 摄像装置、摄像方法及图像处理装置 | |
JP4493416B2 (ja) | 画像処理方法および装置並びにプログラム | |
JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
JP4043499B2 (ja) | 画像補正装置及び画像補正方法 | |
JP4438363B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4942572B2 (ja) | 画像加算装置および方法並びにプログラム | |
JP5673454B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6218520B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4396766B2 (ja) | 画像劣化検出装置、及び画像劣化検出方法、並びに画像劣化検出方法を実行させるプログラム、及び記録媒体 | |
JP4466016B2 (ja) | 画像処理装置および画像処理プログラム | |
JP5181952B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2007288245A (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP6003974B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009088933A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
JP2006287516A (ja) | カメラ装置、撮影方法並びに撮影プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4043499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |