JP5511403B2 - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP5511403B2 JP5511403B2 JP2010010369A JP2010010369A JP5511403B2 JP 5511403 B2 JP5511403 B2 JP 5511403B2 JP 2010010369 A JP2010010369 A JP 2010010369A JP 2010010369 A JP2010010369 A JP 2010010369A JP 5511403 B2 JP5511403 B2 JP 5511403B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- blur
- exposure condition
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明に係る画像処理装置の第1実施形態として、ぶれ補正部100を例に挙げて以下に説明する。なお、以下の説明では、平行移動(シフト)ぶれ、回転ぶれ、拡大・縮小(拡縮)ぶれおよびその任意の組み合わせを”アフィン変換ぶれ”と呼称することにする。
図1は、第1実施形態に係る画像処理装置(ぶれ補正部100)のブロック図である。101は、撮像装置によって撮影された撮像データを入力する撮像データ入力端子(画像入力手段)である。なお、撮像装置は露光条件を変化させながら撮像を行い当該撮像データを取得する。102は、撮像データ入力端子101から入力された撮像データから画像補正のための初期画像を作成する初期画像作成部である。103は、後述する差分画像生成部200により生成された画像データに基づいて更新画像を修正する画像修正部(補正画像生成手段)である。104はぶれ軌跡情報を入力するぶれ軌跡情報入力端子(ぶれ軌跡取得手段)である。105は露光条件情報を入力する露光条件情報入力端子(露光条件取得手段)である。106は、差分画像生成部200および画像修正部103による処理を予め指定された回数繰り返し行なうことにより得られる画像データ(補正画像データ)を出力する出力端子である。なお、上述の各機能部は、専用のハードウェアにより実現してもよいし、CPUに所定のソフトウェアを実行させることにより実行しても良い。
以下、ぶれ補正部100によるぶれ補正の処理について説明する。
・連立方程式の解法
・連立方程式の解法の手ぶれ補正への応用
一般にアフィン変換ぶれは、時刻tにおけるアフィン変換行列をA(t)、シフトぶれベクトルをs(t)と置くと、時刻tにおけるぶれは基準時刻t=0におけるぶれのない画像を基準として、時刻tに座標x(t)=(x,y)に来る点は、
順ぶれ画像生成部205は、
図3は、画像処理装置(ぶれ補正部100)の動作を示すフローチャートである。
E≡Σ[I’(x,y)−Iblur(x,y)]2
などにより規定される評価値が所定の閾値未満となった場合、つまり、順ぶれ画像データI’と撮像データIblurとの差分に基づいて終了するよう構成してもよい。
第1実施形態では式(23)において、特にf(I)=0の場合について述べたが、第2実施形態では、f(I)=f(x)の場合において画質を調整する例について説明する。
図5は、第2実施形態に係る画像処理装置(ぶれ補正部500)のブロック図である。なお、第1実施形態の同一の参照符号のものは、第1実施形態の対応する機能部と同様であるため説明は省略する。501は、上述の式(23)において、補正画像データIから、拘束項∂f(I)/∂Iを算出する拘束項算出部である。502は、差分画像生成部200および拘束項算出部501により導出された情報を元に更新画像を修正する画像修正部である。
図6は、画像処理装置(ぶれ補正部500)の動作を示すフローチャートである。なお、第1実施形態の同一の参照符号のものは、第1実施形態の対応するステップの動作と同様であるため説明は省略する。
上述のぶれ補正部100(または500)によって補正された画像において、画像端部については、画像情報が欠如しているために正しく補正することができない。そこで、補正処理の途中若しくは補正後の画像において、端部領域をクリッピングし画像中央部分のみを補正画像として採用してもよい。
上述した実施形態の説明においては、画像データ全域に対して繰り返し演算を行う場合について説明した。しかしながら、画像データの各領域におけるぶれ量(移動量)に従って繰り返し演算の回数を制御してもよい。ここで、領域とは1画素領域も含むものとする。まず、画像データを複数の領域に分割し、ぶれ軌跡情報より各領域における移動量を求める。例えば、座標xにおける移動量s(x)は以下の式で定義される。
第5実施形態では、上述の実施形態で説明した画像処理装置を組み込んだ撮像装置について説明する。
第6実施形態では、レンズシフト方式や撮像素子シフト方式など光学防振機能を有する撮像装置における画像処理装置について説明する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (7)
- 露光条件を変化させながら撮像する撮像部により取得された画像データを入力する画像入力手段と、
前記画像データを撮像した際の露光条件を示す露光条件情報を取得する露光条件取得手段と、
前記画像データを撮像した際のぶれの軌跡を示すぶれ軌跡情報を取得するぶれ軌跡取得手段と、
前記露光条件情報と前記ぶれ軌跡情報とに基づいて、前記画像データから該画像データに発生しているぶれと同様のぶれが発生している第1ぶれ画像データを生成する第1ぶれ画像生成手段と、
前記画像データと前記第1ぶれ画像データとの差分である差分画像データを生成する差分画像生成手段と、
前記露光条件情報と前記ぶれ軌跡情報とに基づいて、前記差分画像データから前記画像データに発生しているぶれと逆のぶれが発生している第2ぶれ画像データを生成する第2ぶれ画像生成手段と、
前記画像データから所定の重みを乗じた前記第2ぶれ画像データを減算して得られる補正画像データを生成する補正画像生成手段と、
を含むことを特徴とする画像処理装置。 - 前記補正画像生成手段により生成された補正画像データを前記画像データとして入力し、前記第1ぶれ画像生成手段、前記差分画像生成手段、前記第2ぶれ画像生成手段、前記補正画像生成手段を所定回数だけ繰り返し処理させる繰り返し制御手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
- 前記所定回数は、前記補正画像データと前記第1ぶれ画像データとの差分が所定の閾値未満になる回数として決定されることを特徴とする請求項2に記載の画像処理装置。
- 前記繰り返し制御手段は、前記画像データを複数の領域に分割し、該複数の領域の各々に対して前記繰り返し処理を設定することを特徴とする請求項2に記載の画像処理装置。
- 前記補正画像データの端部をクリッピングするクリッピング手段をさらに備えることを特徴とする請求項1乃至4の何れか一項に記載の画像処理装置。
- 露光条件を変化させながら撮像する撮像部により取得された画像データを入力する画像入力工程と、
前記画像データを撮像した際の露光条件を示す露光条件情報を取得する露光条件取得工程と、
前記画像データを撮像した際のぶれの軌跡を示すぶれ軌跡情報を取得するぶれ軌跡取得工程と、
前記露光条件情報と前記ぶれ軌跡情報とに基づいて、前記画像データから該画像データに発生しているぶれと同様のぶれが発生している第1ぶれ画像データを生成する第1ぶれ画像生成工程と、
前記画像データと前記第1ぶれ画像データとの差分である差分画像データを生成する差分画像生成工程と、
前記露光条件情報と前記ぶれ軌跡情報とに基づいて、前記差分画像データから前記画像データに発生しているぶれと逆のぶれが発生している第2ぶれ画像データを生成する第2ぶれ画像生成工程と、
前記画像データから所定の重みを乗じた前記第2ぶれ画像データを減算して得られる補正画像データを生成する補正画像生成工程と、
を含むことを特徴とする画像処理装置の制御方法。 - コンピュータを請求項1乃至5の何れか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010010369A JP5511403B2 (ja) | 2010-01-20 | 2010-01-20 | 画像処理装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010010369A JP5511403B2 (ja) | 2010-01-20 | 2010-01-20 | 画像処理装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011151556A JP2011151556A (ja) | 2011-08-04 |
JP5511403B2 true JP5511403B2 (ja) | 2014-06-04 |
Family
ID=44538161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010010369A Expired - Fee Related JP5511403B2 (ja) | 2010-01-20 | 2010-01-20 | 画像処理装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5511403B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101804215B1 (ko) * | 2012-03-06 | 2017-12-05 | 삼성전자주식회사 | 강건하게 비균일 모션 블러를 추정하는 방법 및 장치 |
KR101844332B1 (ko) * | 2012-03-13 | 2018-04-03 | 삼성전자주식회사 | 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5005319B2 (ja) * | 2006-11-02 | 2012-08-22 | 日東光学株式会社 | 信号処理装置および信号処理方法 |
JP4799428B2 (ja) * | 2007-01-22 | 2011-10-26 | 株式会社東芝 | 画像処理装置及び方法 |
-
2010
- 2010-01-20 JP JP2010010369A patent/JP5511403B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011151556A (ja) | 2011-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8274570B2 (en) | Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program | |
JP4487191B2 (ja) | 画像処理装置および画像処理プログラム | |
KR101274061B1 (ko) | 화상 처리장치 및 화상 처리방법 | |
JP4926920B2 (ja) | 防振画像処理装置及び防振画像処理方法 | |
US7636106B2 (en) | Image processing apparatus and method, and program used therewith | |
EP2574039B1 (en) | Image pickup device, image processing device, image processing method, and image processing program | |
JP2007072573A (ja) | 画像処理装置及び画像処理方法 | |
WO2013005316A9 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
KR102141290B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
JP2007226643A (ja) | 画像処理装置 | |
JP2006295626A (ja) | 魚眼像処理装置及びその方法並びに魚眼像撮像装置 | |
JP2010200179A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体 | |
JP2014229971A (ja) | ローリングシャッタ歪み補正と映像安定化処理方法 | |
JP2007243335A (ja) | 手振れ補正方法、手振れ補正装置および撮像装置 | |
JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
JP5511403B2 (ja) | 画像処理装置およびその制御方法 | |
CN110692235B (zh) | 图像处理装置、图像处理程序及图像处理方法 | |
JP2010109876A (ja) | 画像防振装置、撮像装置及び画像防振方法 | |
JP2009153046A (ja) | ぶれ補正装置及び方法並びに撮像装置 | |
JP4597073B2 (ja) | 手ブレ補正方法、手ブレ補正装置、および撮像装置 | |
JP4606976B2 (ja) | 画像処理装置 | |
JP5486280B2 (ja) | 画像処理装置およびその制御方法 | |
JP2012124939A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5401696B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP4858908B2 (ja) | 画像処理方法および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140325 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5511403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |