JP4740008B2 - 手ぶれ検出装置およびデジタルカメラ - Google Patents
手ぶれ検出装置およびデジタルカメラ Download PDFInfo
- Publication number
- JP4740008B2 JP4740008B2 JP2006086475A JP2006086475A JP4740008B2 JP 4740008 B2 JP4740008 B2 JP 4740008B2 JP 2006086475 A JP2006086475 A JP 2006086475A JP 2006086475 A JP2006086475 A JP 2006086475A JP 4740008 B2 JP4740008 B2 JP 4740008B2
- Authority
- JP
- Japan
- Prior art keywords
- camera shake
- shake information
- motion vector
- calculating
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
また、請求項6に記載の発明は、静止画撮影の露光期間中において、カメラに設けられた角速度センサのセンサ出力に基づいて第1手ぶれ情報を算出する第1手ぶれ情報算出手段、上記露光期間の前後の動画フレームをそれぞれ1つずつ取得する、又は上記露光期間の終了後の2つの動画フレームを取得する画像取得手段、画像取得手段によって取得された2つの動画フレームに基づいて、第2手ぶれ情報を算出する第2手ぶれ情報算出手段、ならびに第1手ぶれ情報算出手段によって算出された第1手ぶれ情報と、第2手ぶれ情報算出手段によって算出された第2手ぶれ情報とに基づいて、第1手ぶれ情報を補正する手ぶれ情報補正手段を備えていることを特徴とする。
CCD2は、レンズ1を通して入射した光学像を光電変換し、電気信号として出力する。CCD2の出力信号は、A/D変換器3によってデジタル信号に変換される。A/D変換器3の出力データは、画像処理回路4によって所定の画像処理が施された後、画像メモリ5に格納される。画像メモリ5に格納された画像データは、撮影モード時においては、画面表示用スルー画像(動画像)としてモニタ7に表示される。また、シャッタ操作によって撮影された静止画データは、手ぶれ補正処理回路23によって手ぶれ補正が行われた後、メモリカード8に記憶される。なお、画像メモリ5は、メモリ制御回路22によって制御される。
図2は、手ぶれ補正処理回路23の構成を示している。
画像復元フィルタ計算部30は、角速度センサ11、12によって検出された角速度データ(手ぶれ信号)を動きベクトルに変換する手ぶれ信号/動きベクトル変換処理部31、手ぶれ信号/動きベクトル変換処理部31によって得られた動きベクトルを、動きベクトル検出回路9によって検出された動きベクトルに基づいて補正する動きベクトル補正部32、動きベクトル補正部32によって補正された動きベクトルを、画像のボケを表す手ぶれ関数(PSF:Point Spread Function)に変換する動きベクトル/手ぶれ関数変換処理部33、ならびに動きベクトル/手ぶれ関数変換処理部33よって得られた手ぶれ関数(PSF)を一般逆フィルタ(画像復元フィルタ)に変換する手ぶれ関数/一般逆フィルタ変換処理部34を備えている。
手ぶれの元データは、静止画の撮影開始から撮影終了までの間の角速度センサ11、12の出力データである。角速度センサ11、12を用いてカメラの露光時期と同期させることで、撮影開始と共に所定のサンプリング間隔dt[sec] でパン方向およびチルト方向の角速度を計測し、撮影終了までのデータを得る。サンプリング間隔dt[sec] は、たとえば、1msecである。
Sy=dy (Y/24)=rtanθy (Y/24)…(8)
Sy=rtan{(L/KRf)DLy}Y/24…(10)
角速度センサ11、12のセンサ出力に基づいて、静止画撮影中の動きベクトルSn を算出した場合、センサのドリフト成分による検出誤差が発生するという問題がある。また、角速度センサを用いた場合、センサでは検出できないぶれ(例えば、平行移動)が含まれると、実際の画像上のぶれ量を正確に検出できないという問題がある。
上述したように、手ぶれ信号/動きベクトル変換処理部31は、図6に示すように、静止画撮影の露光期間T1中での角速度センサ11、12のセンサ出力に基づいて、静止画撮影中(静止画撮影の露光期間中)の動きベクトルSn (Sxn ,Syn )を単位時間dt(サンプリング間隔)毎に算出している。静止画撮影中の動きベクトルSn (Sxn ,Syn )は、センサから得られた角速度のデータの数だけ(サンプル点の数Nだけ)得ることができる。
まず、静止画撮影中の動きベクトルSn (Sxn ,Syn )を合成することにより、静止画撮影の露光期間に対する手ぶれ情報Q(Qx,Qy)を求める(ステップS1)。動きベクトルQ(Qx,Qy)は、次式(11)で表される。
I’y=Iy×(T1/T2) …(12)
Cy=Qy−I’y …(13)
S’yn =Syn −Cy/N …(14)
Cy=I’y/Qy …(15)
S’yn =Syn ×Cy …(16)
手ぶれ信号/動きベクトル変換処理部31は、図8に示すように、静止画撮影の露光期間T1中での角速度センサ11、12のセンサ出力に基づいて、静止画撮影中(静止画撮影の露光期間中)の動きベクトルSn (Sxn ,Syn )を単位時間dt(サンプリング間隔)毎に算出している。静止画撮影中の動きベクトルSn (Sxn ,Syn )は、センサから得られた角速度のデータの数だけ(サンプル点の数Nだけ)得ることができる。
Cy=Qprev_y−Iprev_y …(18)
S’yn =Syn −Cy/M …(19)
Cy=Iprev_y/Qprev_y …(20)
S’yn =Syn ×Cy …(21)
手ぶれを空間フィルタを使って表すことができる。図10の左側の図で示される手ぶれの軌跡(カメラがぶれたときに画像上である一点が描いた軌跡、画像のぶれ量)に合わせて、オペレータの要素に重みを加え空間フィルタ処理を行うと、フィルタリング過程において画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになるので、手ぶれ画像を作成することができる。
(b)動きベクトルの垂直方向の位置を確認し、この垂直方向位置が前のドットの垂直方向位置に比べて1より大きくなった場合にはドット位置の垂直方向を1つ増やす。
(c)再び動きベクトルの水平方向の要素を1つ増やす。
dv=v11 +v21 +v31 −v13 −v23 −v33 …(28)
If v _edge≦ th then k=v _edge/th …(30)
30 画像復元フィルタ計算部
40 画像復元処理部
50 リンギング除去処理部
31 手ぶれ信号/動きベクトル変換処理部
32 動きベクトル補正部
33 動きベクトル/手ぶれ関数変換処理部
34 手ぶれ関数/一般逆フィルタ変換処理部
Claims (7)
- 静止画撮影の露光期間中において、カメラに設けられた角速度センサのセンサ出力に基づいて手ぶれ情報を算出する手ぶれ情報算出手段、
上記露光期間の前後の動画フレームをそれぞれ1つずつ取得する画像取得手段、
画像取得手段によって取得された2つの動画フレームに基づいて、両動画フレーム間の動きベクトルを算出する動きベクトル算出手段、ならびに
手ぶれ情報算出手段によって算出された手ぶれ情報と、動きベクトル算出手段によって算出された動きベクトルとに基づいて、手ぶれ情報を補正する手ぶれ情報補正手段、
を備えていることを特徴とする手ぶれ検出装置。 - 手ぶれ情報算出手段は、静止画撮影の露光期間中において、角速度センサのセンサ出力を順次サンプリングし、サンプリング毎にセンサ出力に基づいて手ぶれ情報を算出する手段を備えており、
手ぶれ情報補正手段は、
手ぶれ情報算出手段によって算出されたサンプリング毎の手ぶれ情報を合成して、上記露光期間に対する手ぶれ情報を求める手ぶれ情報合成手段、
手ぶれ情報合成手段によって得られた手ぶれ情報と、動きベクトル算出手段によって算出された動きベクトルとに基づいて、サンプリング毎の補正値を算出する補正値算出手段、ならびに
補正値算出手段によって算出されたサンプリング毎の補正値に基づいて、手ぶれ情報算出手段によって算出されたサンプリング毎の手ぶれ情報を補正する補正手段、
を備えていることを特徴とする請求項1に記載の手ぶれ検出装置。 - 動きベクトル算出手段は、画像取得手段によって取得された2つの動画フレームに基づいて、両動画フレーム間の動きベクトルを算出する第1手段、および
上記2つの動画フレームの撮像時間間隔と上記露光期間とに基づいて、第1手段によって算出された2つの動画フレーム間の動きベクトルを上記露光期間に応じた動きベクトルに補正する手段、
を備えていることを特徴とする請求項1または2に記載の手ぶれ検出装置。 - 静止画撮影の露光期間中においてカメラに設けられた角速度センサのセンサ出力に基づいて第1の手ぶれ情報を算出する第1の手ぶれ情報算出手段、
上記露光期間の開始前の2つの動画フレームと、上記露光期間の終了後の2つの動画フレームとを取得する画像取得手段、
画像取得手段によって取得された上記露光期間の開始前の2つの動画フレームに基づいて、両動画フレーム間の動きベクトルを算出する第1の動きベクトル算出手段、
画像取得手段によって取得された上記露光期間の終了後の2つの動画フレームに基づいて、両動画フレーム間の動きベクトルを算出する第2の動きベクトル算出手段、
上記露光期間の開始前の2つの動画フレームの一方が撮像されてから他方が撮像されるまでの期間において角速度センサのセンサ出力をサンプリングし、得られたセンサ出力に基づいて第2の手ぶれ情報を算出する第2の手ぶれ情報算出手段、
上記露光期間の終了後の2つの動画フレームの一方が撮像されてから他方が撮像されるまでの期間において角速度センサのセンサ出力をサンプリングし、得られたセンサ出力に基づいて第3の手ぶれ情報を算出する第3の手ぶれ情報算出手段、ならびに
第2の手ぶれ情報算出手段によって算出された第2の手ぶれ情報と、第3の手ぶれ情報算出手段によって算出された第3の手ぶれ情報と、第1の動きベクトル算出手段によって算出された動きベクトルと、第2の動きベクトル算出手段によって算出された動きベクトルとに基づいて、第1の手ぶれ情報算出手段によって算出された第1の手ぶれ情報を補正する手ぶれ情報補正手段、
を備えていることを特徴とする手ぶれ検出装置。 - 第1の手ぶれ情報算出手段は、静止画撮影の露光期間中において、角速度センサのセンサ出力を順次サンプリングし、サンプリング毎にセンサ出力に基づいて第1の手ぶれ情報を算出する手段を備えており、
第2の手ぶれ情報算出手段は、上記露光期間の開始前の2つの動画フレームの一方が撮像されてから他方が撮像されるまでの期間において、角速度センサのセンサ出力を順次サンプリングし、サンプリング毎にセンサ出力に基づいて第2の手ぶれ情報を算出する手段を備えており、
第3の手ぶれ情報算出手段は、上記露光期間の終了後の2つの動画フレームの一方が撮像されてから他方が撮像されるまでの期間において、角速度センサのセンサ出力を順次サンプリングし、サンプリング毎にセンサ出力に基づいて第2の手ぶれ情報を算出する手段を備えており、
手ぶれ情報補正手段は、
第2の手ぶれ情報算出手段によって算出されたサンプリング毎の第2の手ぶれ情報を合成して、上記露光期間の開始前の2つの動画フレームの一方が撮像されてから他方が撮像されるまでの期間に対する手ぶれ情報を求める第1の手ぶれ情報合成手段、
第3の手ぶれ情報算出手段によって算出されたサンプリング毎の第3の手ぶれ情報を合成して、上記露光期間の終了後の2つの動画フレームの一方が撮像されてから他方が撮像されるまでの期間に対する手ぶれ情報を求める第2の手ぶれ情報合成手段、
第1の手ぶれ情報合成手段によって得られた手ぶれ情報と、第1の動きベクトル算出手段によって算出された動きベクトルと、第2の手ぶれ情報合成手段によって得られた手ぶれ情報と、第2の動きベクトル算出手段によって算出された動きベクトルとに基づいて、サンプリング毎の補正値を算出する補正値算出手段、ならびに
補正値算出手段によって算出されたサンプリング毎の補正値に基づいて、第1の手ぶれ情報算出手段によって算出されたサンプリング毎の第1の手ぶれ情報を補正する補正手段、
を備えていることを特徴とする請求項4に記載の手ぶれ検出装置。 - 静止画撮影の露光期間中において、カメラに設けられた角速度センサのセンサ出力に基づいて第1手ぶれ情報を算出する第1手ぶれ情報算出手段、
上記露光期間の前後の動画フレームをそれぞれ1つずつ取得する、又は上記露光期間の終了後の2つの動画フレームを取得する画像取得手段、
画像取得手段によって取得された2つの動画フレームに基づいて、第2手ぶれ情報を算出する第2手ぶれ情報算出手段、ならびに
第1手ぶれ情報算出手段によって算出された第1手ぶれ情報と、第2手ぶれ情報算出手段によって算出された第2手ぶれ情報とに基づいて、第1手ぶれ情報を補正する手ぶれ情報補正手段、
を備えていることを特徴とする手ぶれ検出装置。 - 手ぶれ検出装置によって算出された手ぶれ情報に基づいて手ぶれ補正を行なう機能を備えたデジタルカメラにおいて、手ぶれ検出装置が請求項1乃至6に記載の手ぶれ検出装置であることを特徴とするデジタルカメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006086475A JP4740008B2 (ja) | 2006-03-27 | 2006-03-27 | 手ぶれ検出装置およびデジタルカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006086475A JP4740008B2 (ja) | 2006-03-27 | 2006-03-27 | 手ぶれ検出装置およびデジタルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007266771A JP2007266771A (ja) | 2007-10-11 |
JP4740008B2 true JP4740008B2 (ja) | 2011-08-03 |
Family
ID=38639361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006086475A Expired - Fee Related JP4740008B2 (ja) | 2006-03-27 | 2006-03-27 | 手ぶれ検出装置およびデジタルカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4740008B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011008322A (ja) * | 2009-06-23 | 2011-01-13 | Univ Of Tokyo | 撮像装置及び画像処理方法 |
JP6299188B2 (ja) * | 2013-11-29 | 2018-03-28 | 株式会社ニコン | ブレ補正装置、レンズ鏡筒及びカメラ |
JP6040338B2 (ja) | 2014-03-25 | 2016-12-07 | 富士フイルム株式会社 | 手ぶれ補正装置、撮像装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005151542A (ja) * | 2003-10-21 | 2005-06-09 | Nikon Corp | ブレ補正装置、およびカメラシステム |
-
2006
- 2006-03-27 JP JP2006086475A patent/JP4740008B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005151542A (ja) * | 2003-10-21 | 2005-06-09 | Nikon Corp | ブレ補正装置、およびカメラシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2007266771A (ja) | 2007-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4152398B2 (ja) | 手ぶれ補正装置 | |
JP2006129236A (ja) | リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP5414405B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP4342493B2 (ja) | 手ぶれ補正装置 | |
JP4487191B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4307430B2 (ja) | 手ぶれ検出装置 | |
US8289405B2 (en) | Image processing apparatus and method thereof | |
JP3770271B2 (ja) | 画像処理装置 | |
JP5367640B2 (ja) | 撮像装置および撮像方法 | |
JP2011029735A5 (ja) | ||
US20080259175A1 (en) | Imaging Device | |
JP4145308B2 (ja) | 手ぶれ補正装置 | |
JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP2000298300A (ja) | 手ぶれ画像補正方法、記録媒体及び撮像装置 | |
JP4958806B2 (ja) | ぶれ検出装置、ぶれ補正装置及び撮像装置 | |
JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
JP4740008B2 (ja) | 手ぶれ検出装置およびデジタルカメラ | |
US20080012964A1 (en) | Image processing apparatus, image restoration method and program | |
JP4383379B2 (ja) | 手ぶれ補正装置 | |
KR20100046544A (ko) | 영상 왜곡 보정 방법 및 장치 | |
JP2007036742A (ja) | 複数画像合成方法及び複数画像合成装置 | |
JP2004186901A (ja) | 撮像装置及び方法、プログラム及び記録媒体 | |
JP2005027046A (ja) | 画像処理装置及び画像処理方法 | |
JP2012085205A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP4236642B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110317 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110428 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |