JP4389656B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

画像処理装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4389656B2
JP4389656B2 JP2004141887A JP2004141887A JP4389656B2 JP 4389656 B2 JP4389656 B2 JP 4389656B2 JP 2004141887 A JP2004141887 A JP 2004141887A JP 2004141887 A JP2004141887 A JP 2004141887A JP 4389656 B2 JP4389656 B2 JP 4389656B2
Authority
JP
Japan
Prior art keywords
image
blur
parameter
correcting
original data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004141887A
Other languages
English (en)
Other versions
JP2005328117A (ja
Inventor
哲二郎 近藤
勉 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004141887A priority Critical patent/JP4389656B2/ja
Publication of JP2005328117A publication Critical patent/JP2005328117A/ja
Application granted granted Critical
Publication of JP4389656B2 publication Critical patent/JP4389656B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、ぼけた画像を補正し、効率的に保存することができるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
最近、デジタルカメラ(電子カメラ)が普及し、多くのユーザに使用されている。デジタルカメラで撮像された画像データは、メモリに記憶される。この画像データは、電子的かつデジタル的に記録されているため、ユーザは、撮像された画像の明るさや色調を補正することが可能である。画像データは、音声データなどに比べてデータ量が多いため、補正前の画像データと補正後の画像データの両方をメモリに保持しておくことは、メモリを有効に利用する点において、好ましくない。また、補正後の画像データで補正前の画像データを更新し、保存すると、画像を元に戻せなくなる。そこで、補正前の画像データ(未加工データ)と、画質設定のパラメータを対応付けて、メモリに記憶しておくことが知られている(例えば、特許文献1)。
特開2001−251551号公報
撮像した画像の画質を調整するには、比較的面倒な操作が必要となる。このため、デジタルカメラ自体に、画質調整のための機能が備えられていたとしても、一般ユーザは、その機能を利用しないことが多い。特に画像のぼけを補正する場合、パラメータを設定し、補正する処理を何回も繰り返す必要があり、所望の補正画像(ぼけが充分補正された画像)を得るのに時間がかかる。
本発明は、このような状況に鑑みてなされたものであり、ユーザが、画像のぼけを比較的容易にかつ迅速に補正できるようにするものである。
請求項1の画像処理装置は、画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存手段と、保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第1の補正データを生成する第1の生成手段と、前記第1の補正データに基づく第1の画像の表示を制御する第1の表示制御手段と、前記第1の画像のぼけの補正の指示を判定する第1の判定手段と、前記第1の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値として、保存された前記パラメータを基準としてそれと異なる値を設定する初期値設定手段と、前記初期値に基づいてぼけを補正するように前記元データを補正して第2の補正データを生成する第2の生成手段と、前記第2の補正データに基づく第2の画像の表示を制御する第2の表示制御手段と、前記第2の画像のぼけの補正の指示を判定する第2の判定手段と、前記第2の画像のぼけの補正が指示された場合、前記第2の画像を補正するパラメータを得るために、ユーザより入力されたオフセット値を取得する取得手段と、取得された前記オフセット値から得られる前記パラメータに基づいてぼけを補正するように前記元データを補正して第3の補正データを生成する第3の生成手段と、前記第3の補正データに基づく第3の画像の表示を制御する第3の表示制御手段と、前記第3の画像の保存が指令された場合、前記取得手段により取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータのみを更新する更新手段とを備えることを特徴とする。
前記初期値設定手段は、複数の初期値を設定し、第2の生成手段は、複数の初期値に基づいて、複数の第2の補正データを生成し、第2の表示制御手段は、複数の第2の補正データに基づく複数の第2の画像の表示を制御し、画像処理装置は、複数の第2の画像の1つを選択する選択手段をさらに備え、取得手段は、選択された第2の画像を補正するパラメータを取得するようにすることができる。
前記初期値設定手段は、保存されているパラメータとの差分の総和、差分の絶対値、または差分の2乗の総和が最小となる値を、初期値として設定するようにすることができる。
前記初期値設定手段は、画像が撮影された月日、曜日、または時刻に基づいて、初期値を設定するようにすることができる。
請求項5の画像処理方法は、画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第1の補正データを生成する第1の生成ステップと、前記第1の補正データに基づく第1の画像の表示を制御する第1の表示制御ステップと、前記第1の画像のぼけの補正の指示を判定する第1の判定ステップと、前記第1の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値として、保存された前記パラメータを基準としてそれと異なる値を設定する初期値設定ステップと、前記初期値に基づいてぼけを補正するように前記元データを補正して第2の補正データを生成する第2の生成ステップと、前記第2の補正データに基づく第2の画像の表示を制御する第2の表示制御ステップと、前記第2の画像のぼけの補正の指示を判定する第2の判定ステップと、前記第2の画像のぼけの補正が指示された場合、前記第2の画像を補正するパラメータを得るために、ユーザより入力されたオフセット値を取得する取得ステップと、取得された前記オフセット値から得られる前記パラメータに基づいてぼけを補正するように前記元データを補正して第3の補正データを生成する第3の生成ステップと、前記第3の補正データに基づく第3の画像の表示を制御する第3の表示制御ステップと、前記第3の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータのみを更新する更新ステップとを含むことを特徴とする。
請求項6の記録媒体のプログラムは、画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第1の補正データを生成する第1の生成ステップと、前記第1の補正データに基づく第1の画像の表示を制御する第1の表示制御ステップと、前記第1の画像のぼけの補正の指示を判定する第1の判定ステップと、前記第1の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値として、保存された前記パラメータを基準としてそれと異なる値を設定する初期値設定ステップと、前記初期値に基づいてぼけを補正するように前記元データを補正して第2の補正データを生成する第2の生成ステップと、前記第2の補正データに基づく第2の画像の表示を制御する第2の表示制御ステップと、前記第2の画像のぼけの補正の指示を判定する第2の判定ステップと、前記第2の画像のぼけの補正が指示された場合、前記第2の画像を補正するパラメータを得るために、ユーザより入力されたオフセット値を取得する取得ステップと、取得された前記オフセット値から得られる前記パラメータに基づいてぼけを補正するように前記元データを補正して第3の補正データを生成する第3の生成ステップと、前記第3の補正データに基づく第3の画像の表示を制御する第3の表示制御ステップと、前記第3の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータのみを更新する更新ステップとを含むことを特徴とする。
請求項7のプログラムは、画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第1の補正データを生成する第1の生成ステップと、前記第1の補正データに基づく第1の画像の表示を制御する第1の表示制御ステップと、前記第1の画像のぼけの補正の指示を判定する第1の判定ステップと、前記第1の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値として、保存された前記パラメータを基準としてそれと異なる値を設定する初期値設定ステップと、前記初期値に基づいてぼけを補正するように前記元データを補正して第2の補正データを生成する第2の生成ステップと、前記第2の補正データに基づく第2の画像の表示を制御する第2の表示制御ステップと、前記第2の画像のぼけの補正の指示を判定する第2の判定ステップと、前記第2の画像のぼけの補正が指示された場合、前記第2の画像を補正するパラメータを得るために、ユーザより入力されたオフセット値を取得する取得ステップと、取得された前記オフセット値から得られる前記パラメータに基づいてぼけを補正するように前記元データを補正して第3の補正データを生成する第3の生成ステップと、前記第3の補正データに基づく第3の画像の表示を制御する第3の表示制御ステップと、前記第3の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータのみを更新する更新ステップとをコンピュータに実行させることを特徴とする。
本発明においては、既に保存されているパラメータに基づいて補正された第1の画像が表示された場合に、ぼけの補正が指示されると、初期値として、保存されたパラメータを基準としてそれと異なる値が設定される。そして、初期値に基づいて補正された第2の画素が表示され、これを補正するパラメータを得るために、ユーザより入力されたオフセット値が取得される。保存が指令された場合、取得されたオフセット値から得られるパラメータにより、既に保存されているパラメータのみが更新される。
本発明によれば、画像のぼけを補正することができる。特に、本発明によれば、画像のぼけを簡単、容易、迅速に補正することが可能となる。
以下、図を参照して本発明の実施の形態について説明する。
図1は、本発明を適用した画像処理装置の実施の形態の構成例を表している。この画像処理装置1は、例えば、デジタルカメラ(電子カメラ)として構成される。図1において、CPU(Central Processing Unit)21は、ROM(Read Only Memory)22に記憶されているプログラム、または記憶部29からRAM(Random Access Memory)23にロードされたプログラムに従って各種の処理を実行する。RAM23にはまた、CPU21が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU21、ROM22、およびRAM23は、バス24を介して相互に接続されている。このバス24にはまた、入出力インタフェース25も接続されている。
入出力インタフェース25には、CMOS(Complementary Metal-Oxide Semiconductor)、CCD(Charge Coupled Devices)などの撮像装置からなる撮像部26、キー、スイッチ、ボタンなどよりなる入力部27、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部28、ハードディスクなどより構成される記憶部29、モデムなどより構成される通信部30が接続されている。通信部30は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース25にはまた、必要に応じてドライブ31が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア32が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部29にインストールされる。リムーバブルメディア32には、画像データ、音声データの他、パラメータのテーブル等も記憶される。
図2は、画像処理装置1の機能的構成例を表している。画像処理装置1は、音声データの処理部も有しているが、説明を簡単にするために、図2では、省略されている。撮像部26は、制御部70からの制御に基づいて被写体を撮像し、得られた画像データを記録部61に供給し、記録させる。被写体を1回だけ撮影すれば、静止画(1フレーム分の画像データ)が記録され、連続的に撮影すれば、動画(連続する複数フレームの画像データ)が記録される。
記録部61は、記憶部29あるいはリムーバブルメディア32に対応し、画像データとその画像データを補正するパラメータとが対応して記録される。再生部62は、記録部61に記録された画像データとパラメータとを適宜再生する。キャプチャ部63は、再生部62により、記録部61から再生された動画像の画像データの中から、ユーザが入力部69を操作して、制御部70に対してキャプチャを指令したフレームの画像データをキャプチャする。再生された画像が静止画の画像データである場合には、そのフレームの画像データがそのまま取得される。表示部67は、キャプチャ部63を介して、再生部62より供給された画像データを取得し、対応する画像を表示する。
クラス分類部64は、キャプチャ部63、制御部70より供給されたパラメータを、クラスコードに変換し、予測部65に出力する。
予測部65は、係数記憶部91と積和演算部92とにより構成されている。係数記憶部91は、予測係数をクラスコードごとに予め記憶している。この予測係数は、多くの動きぼけのある画像と動きぼけのない画像との関係を学習することで、動きぼけのある画像を動きぼけのない画像に変換するのに必要な係数として、予め求められたものである。学習のサンプル数を多くすることで、さまざまな種類の動きぼけの画像を動きぼけのない(動きぼけが補正された)画像に変換することが可能な予測係数が得られる。その原理として、例えば、特開2001−250119号公報に開示されているものを用いることができる。その詳細は同公報に開示されているので、その説明は省略するが、この原理においては、動きぼけは、静止した背景の1つの画素の画素値に、移動する物体の移動速度に対応する数(M個)の画素の画素値を混合(加算)した結果であるとするモデルが考えられる。そこで、そのモデルにおいて、1つの画素の画素値が、M個の画素の画素値を重み付け加算した値に等しいとした式を解くことで、動きぼけを補正した画像の画素値が求められる。係数記憶部91は、クラス分類部64より供給されたクラスコードに対応する予測係数を読み出し、積和演算部92に供給する。
積和演算部92は、タップ抽出部66より供給された予測タップ(予測画素)を、係数記憶部91に供給された予測係数とともに、予め用意された線形1次結合式に適応することで、動きぼけが補正された画素を演算する。タップ抽出部66は、クラス分類部64から供給されたクラスコードに基づいて、キャプチャ部63より供給された画素データの中から、所定の予測タップを抽出し、積和演算部92に出力する。
表示部67は、キャプチャ部63より供給された画像データ、積和演算部92より供給された画像データ、または撮像部26より供給された画像データのいずれか1つを、制御部70からの制御に基づいて選択し、入力された画像データに基づく画像を表示する。
パラメータ生成部68は、パラメータ初期値を設定する。このパラメータ生成部68は、動きベクトル検出部101とパラメータ変換部102とにより構成されている。
動きベクトル検出部101は、キャプチャ部63より供給されたフレームの一部であって、制御部70より指定された補正領域(範囲)の動きベクトルを検出し、パラメータ変換部102に出力する。この動きベクトルは、座標値で表現されている。パラメータ変換部102は、座標値で表現されている動きベクトルを、ベクトルとしてのパラメータに変換する。制御部70は、パラメータ変換部102より入力されたベクトル表現されたパラメータに対して、入力部69よりユーザにより入力されたオフセット値を加算し、加算して得られたパラメータ(初期値)をクラス分類部64に出力する。
ユーザは、図1の入力部27に対応する入力部69を操作することで、画像のぼけを補正するパラメータとしてのオフセット値(パラメータを補正する値)を入力する他、各部の制御を制御部70に指令する。制御部70は、入力部69からの指令に基づいて各部を制御し、必要なパラメータ、制御情報などを各部に供給する。
図3は、制御部70のより詳細な機能的構成例を表している。
判定部131は、画像処理装置1が編集処理を行う上において必要な各種の判定処理を行う。領域設定部132は、ユーザの指令に基づいて補正領域を設定する処理を行う。初期値設定部133は、ぼけパラメータの初期値を設定する処理を行う。保存部134は、画像データとそれに対応する動きぼけを補正するぼけパラメータを対応付けて、テーブル上に保存する。更新部135は、保存部134により保存された動きパラメータの更新処理を行う。
選択部136は、表示された複数の補正画像のいずれかを選択する処理を行う。取得部137は、ユーザより入力されたオフセット値を取得する。補正部138は、取得されたオフセット値に基づいて、ぼけパラメータを補正する処理を行う。
第1の生成部139は、既に保存されているぼけパラメータに基づいて、動きぼけを補正した補正画像を表示するための補正画像データを生成する。第2の生成部140は、初期値として設定されたぼけパラメータに基づいて、動きぼけが補正された補正画像のための補正画像データを生成する。第3の生成部141は、ユーザから入力されたオフセット値により補正されたぼけパラメータに基づいて、動きぼけが補正された補正画像のための補正画像データを生成する。
第1の表示制御部142は、第1の生成部139により生成された補正画像データに対応する画像の表示を制御する。第2の表示制御部143は、第1の表示制御部142より生成された補正画像データに対応する画像の表示を制御する。第3の表示制御部144は、第3の生成部141により生成された補正画像データの画像の表示を制御する。
なお、図3の各部は、相互に接続されており、必要に応じて、必要なデータを他の処理部から供給を受けることができる。
次に、画像処理装置1の動作について説明する。ユーザが入力部69を操作して撮像モードを指令すると、制御部70は、撮像部26を制御し、被写体を撮像させる。撮像部26により撮像された被写体の画像データは、表示部67に供給され、画像として表示される。ユーザは、この表示を見て被写体を確認することができる。
また、ユーザが表示部67の画像を見て、記録を指令した場合には、撮像部26により撮像された画像の画像データが記録部61に静止画または動画として記録される。
次に、図4乃至図6のフローチャートを参照して、記録部61に記録された画像データに基づく画像の編集処理について説明する。この処理は、ユーザが入力部69を操作して、編集モードを指令し、制御部70に対して編集処理の開始を指令したとき開始される。
ステップS1において、再生部62は、記録部61に記録されている画像のうち、ユーザにより指定された画像を再生する。すなわち、再生部62は、記録部61に記録されている画像データの中から、ユーザにより指定された画像データ(例えば、動画像データ)を再生し、キャプチャ部63に出力する。キャプチャ部63は、再生部62より供給された画像データを表示部67に出力し、表示させる。これにより、ユーザにより指定された画像であって、記録部61に記録されている画像データに基づく画像が、動画像として表示される。例えば、この画像処理装置1が、ホームセキュリティシステムの一部を構成するような場合、この画像からユーザは侵入者を確認することができる。
ステップS2において、判定部131は、キャプチャが指示されたか否かを判定する。すなわち、ユーザは、表示部67に表示された動画像を見て、確認したい画像が表示されたタイミングにおいて、入力部69を操作することでキャプチャを指令する。キャプチャが指令されていない場合には、ステップS3において、判定部131は終了するか否かを判定する。すなわち、ユーザは、編集処理を終了する場合、入力部69を操作して終了を指令する。終了が指令された場合、編集処理は終了されるが、指令されない場合、処理はステップS1に戻り、それ以降の処理が繰り返し実行される。
ステップS2において、キャプチャが指令されたと判定された場合、ステップS4において、キャプチャ部63は、静止画をキャプチャする。すなわち、再生部62から供給される画像のうち、制御部70からキャプチャが指令されたタイミングにおいて、表示部67に出力し、表示されているフレームの画像がキャプチャされる。これにより、表示部67には、キャプチャした静止画が表示されることになる。
ステップS5において、判定部131は、ぼけパラメータが登録されているか否かを判定する。すなわち、動きぼけを補正する編集処理が過去に一度でも行われたことがある場合、後述する図6のステップS26において、そのぼけパラメータが対応する画像データとともに保存されていることがある。このように、ぼけパラメータが既に登録されている場合には、キャプチャ部63は、キャプチャされたフレームに対応するぼけパラメータを、再生部62より供給される再生データの中から読み出し、これをクラス分類部64に出力する。
ステップS6において、第1の生成部139は、ぼけパラメータに基づいて動きぼけを補正した補正画像データを生成する処理を実行する。すなわち、第1の生成部139は、クラス分類部64と予測部65を制御し、補正画像データを生成する処理を実行させる。具体的には、クラス分類部64は、キャプチャ部63が、キャプチャしているフレームに対応して記録部61に記録されているぼけパラメータを取得し、供給してくるので、供給されたぼけパラメータに対応するクラスコードCの値を次式により演算する。
C=(a+A)×Nmax+(n+N) ・・・(1)
上記式(1)におけるaは、指定された領域における動きベクトルのx座標成分を表し、nは、y座標成分を表す。また、Aは、ユーザより入力されたオフセット値のx座標成分を表し、Nは、y座標成分を表す。画像データに対応して保存されているぼけパラメータは、式(1)における((a+A),(n+N))の値である。従って、クラス分類部64は、このぼけパラメータ((a+A),(n+N))の値を上記式(1)に適用して、クラスコードCを演算する。
式(1)において、Nmaxは、y座標成分のクラス総数を意味する。
係数記憶部91は、クラス分類部64より供給されたクラスコードCに対応する予測係数を読み出し、積和演算部92に出力する。タップ抽出部66は、キャプチャ部63より供給されたフレームの画素データから、クラス分類部64より供給されたクラスコードに対応する予測タップを抽出する。抽出された予測タップは、積和演算部92に供給される。
積和演算部92は、予め用意されている線形1次結合式に、予測係数と予測タップを代入し、積和演算することで、ぼけが補正された補正画像データとしての画素データを生成する。
ステップS7において、表示部67は、ステップS6で生成された補正画像データに対応する画像を表示する。従って、ユーザは、過去に1度でも動きぼけを補正し、補正画像(パラメータ)を保存したことがある場合には、その補正後の画像を見ることができる。
なお、ステップS5において、ぼけパラメータが登録されていないと判定された場合、ステップS6の補正画像データ生成処理はスキップされる。従って、この場合には、ステップS7において、記録部61より再生された画像データ(補正されていない元データ)に対応する画像がそのまま表示されることになる。
ステップS8において、判定部131は、処理を終了するか否かを判定する。ユーザから処理の終了が指示されている場合には、編集処理は終了される。これに対して、終了が指示されていない場合には、ステップS9において、判定部131は、動画再生するか否かを判定する。すなわち、ユーザは、キャプチャし、表示部67に表示された画像を確認し、さらに補正する必要がない場合には、入力部69を操作し、動画再生を指令する。このとき処理はステップS1に戻り、制御部70は、再生部62を制御して、記録部61に記録されている画像データを再び再生させる。これにより、表示部67には、キャプチャしたフレームに続くフレームの画像が動画像として順次表示されることになる。
ステップS9において、動画再生が指示されていないと判定された場合、ステップS10において、判定部131は、補正が指示されたか否かを判定する。補正が指示されていないと判定された場合には、処理はステップS8に戻り、それ以降の処理が繰り返し実行される。
ユーザは、表示部67に表示されている画像を見て、動きぼけを補正したいと思う場合には、入力部69を操作してその旨を指令する。そして、さらにユーザは、入力部69を操作して、表示部67に表示されている画像のうち、どの領域の動きぼけを補正するのかを指示する。領域設定部132は、ステップS11において、ユーザからの指示に基づいて補正領域を設定する。例えば、図7に示されるように、フレームF1乃至フレームF3が順次動画像として表示される場合において、フレームF2が表示されたタイミングにおいて、キャプチャが指令された場合、図8に示されるように、キャプチャされたフレーム画像が静止画像として表示される。ユーザは、この画像を見て、動きぼけを補正したいと思う領域を、入力部69(入力部27を構成する、例えばマウス)により指定する。図8の例においては、人物が図中左方向に移動しているので、その人物の画像に動きぼけが発生している。そこで、ユーザは、その人物の画像を含む領域を補正領域151として指定する。
ステップS12において、初期値設定部133は、初期値設定処理を実行する。すなわち、いまユーザより画像の動きぼけの補正が指示されたのであるが、動きぼけ補正のパラメータを、無設定の状態からユーザに入力させると、動きぼけを完全に補正した画像を実現するのに時間がかかることになる。そこで、これから補正する画像の補正の候補をユーザに呈示し、その呈示された補正候補の画像の中から、所望の画像をユーザに選択させることで、迅速な補正処理を実現可能にする。ユーザは、選択した候補画像を、必要に応じてさらに補正する。
そこで、ステップS12の初期値設定処理では、例えば、図9のフローチャートに示されるように、2つの動きベクトルが検出され、対応するぼけパラメータが生成される。
すなわち、ステップS51において、動きベクトル検出部101は、2つの動きベクトルを検出する。この動きベクトルとしては、ぼけパラメータがまだ保存されていない場合には、設定された補正領域151の画素毎の動きベクトルの中から、各動きベクトルの方向と絶対値を比較し、両者が等しい動きベクトルを同じ動きベクトルとして、最も頻度の大きい2つの動きベクトルが検出される。既にぼけパラメータが保存されている場合には、保存されているパラメータ((a+A),(n+N))のうちの、(a,n)で表される動きベクトル以外の値が検出される。例えば、既に保存されている動きベクトルの値(a,n)が、最も頻度の多い動きベクトルに対応している場合には、第2番目と第3番目の頻度の動きベクトルが検出される。すなわち、既に保存されている動きベクトルの値が、最も頻度が高い動きベクトルであったとしても、ユーザが求める動きぼけの補正量は、その動きベクトルに対応していないのであるから、頻度しては2番目、3番目であっても、ユーザが求める動きぼけを補正するための動きベクトルとしては、その方がより好ましいと考えられる。換言すれば、その方が、より迅速に、ユーザが求める動きぼけ補正処理を完了させることが可能となるからである。
ステップS52において、パラメータ変換部102は、ステップS51で検出された第1の動きベクトルを第1のぼけパラメータに変換する。そして、ステップS53において、パラメータ変換部102は、ステップS51で検出された他の1つの第2の動きベクトルを、第2のぼけパラメータに変換する。
このようにして、2つのぼけパラメータが生成されると、初期値設定部133は、この2つのぼけパラメータを、クラス分類部64とタップ抽出部66に供給する。
図5に戻り、ステップS13において、クラス分類部64は、制御部70の初期値設定部133より供給された初期値として設定されたぼけパラメータに基づいてクラス分類する。すなわち、この処理により、2つのクラスコードが得られる。ステップS14において、第2の生成部140は、ぼけパラメータに基づいて、動きぼけを補正した補正画像データを生成する。すなわち、第2の生成部140は、予測部65を制御し、補正画像データを生成させる。具体的には、係数記憶部91は、クラス分類部64より供給された2つのクラスコードに対応する2組の予測係数を演算し、積和演算部92に出力する。また、タップ抽出部66は、入力された2組のクラスコードに対応する2組の予測タップを、キャプチャされているフレームの画素データの中から抽出し、積和演算部92に出力する。積和演算部92は、第1の予測係数と第1の予測タップを線形1次結合式に適用することで、第1の補正画像データを生成し、第2の予測係数と第2の予測タップを線形1次結合式に適用することで、第2の補正画像データを生成する。
ステップS15において、第2の表示制御部143は、ステップS14の処理で生成された補正画像データの補正画像を表示する処理を実行する。すなわち、表示部67は、第2の表示制御部143により制御され、積和演算部92により供給された第1の補正画像に基づく画像と、第2の補正画像に基づく画像とを、画面上の、例えば左側半分と右側半分に同時に表示させる。あるいはまた、第1の補正画像を画面の全体に表示させ、それが所定時間表示された後、それに代えて第2の補正画像を表示させるようにしてもよい。すなわち、空間を分割するか、または時間を分割することで、複数(いまの場合、2枚の画像)が表示される。
ステップS16において、選択部136は、補正画像を選択する処理を実行する。具体的には、ユーザは、表示された2つの補正画像の一方を、入力部69を操作することで選択する。これにより、既にパラメータが保存されている場合には、その保存されているパラメータを基準として、それと異なるパラメータが初期値として生成され、それに対応してぼけを補正した画像が自動的に(ユーザの操作によらずに)生成されるので、ユーザは、より迅速に動きぼけを補正した補正画像を得ることができる。
次に、ステップS17において、判定部131は、ユーザより補正が指示されたか否かを判定する。すなわち、ユーザは、選択した補正画像を見て、自分自身が希望する状態に動きぼけが充分補正されているか否かを判断し、充分補正がなされていると判断した場合には、補正を指示せずに登録を指示する。この場合には、ステップS17において、補正が指示されていないと判定され、ステップS22において、判定部131により登録が指示されたと判定される。この場合、ステップS26において、保存部134は、ぼけパラメータとキャプチャした静止画の画像データとを対応付けて保存する。
以上の処理が行われた場合には、ユーザは、実質的にぼけパラメータを自ら指定せずに、初期値により設定された値だけで実現することができるため、迅速な編集処理が可能となる。
これに対して、初期値に基づく補正画像を見て、さらに補正が必要であると判定した場合、ユーザは入力部69を操作して補正を指示する。そして、ユーザは、さらに入力部69を操作することにより、補正画像をさらに補正するためのオフセット値を入力する。
そこで、ステップS17において、判定部131により補正が指示されていないと判定された場合、ステップS18において、取得部137は、ユーザより入力されたオフセット値を取得する。具体的には、図10に示されるように、左上の点P(X,Y)と右下の点P(X,Y)で表される補正領域151の中の動きベクトル152が、x成分としての値aと、y成分としての値nのベクトル(a,n)で表されている場合、オフセット値(オフセットパラメータ)は、この動きベクトル152の原点Q(A,N)を指定することで指定される。
ステップS19において、補正部138は、ぼけパラメータを補正する処理を実行する。具体的には、既に得られている動きベクトル(a,n)に、ステップS18で取得されたオフセット値(A,N)を加算することで、ぼけパラメータ((a+A),(n+N))が生成される。
ステップS20において、第3の生成部141は、ステップS19の処理で補正されたぼけパラメータに基づいて、補正画像データを生成する処理を実行する。すなわち、第3の生成部141は、補正後のぼけパラメータ((a+A),(n+N))をクラス分類部64とタップ抽出部66に供給する。クラス分類部64は、入力されたぼけパラメータ((a+A),(n+N))に対応するクラスコードを係数記憶部91とタップ抽出部66に出力する。係数記憶部91は、入力されたクラスコードに対応する予測係数を読み出し、積和演算部92に出力する。タップ抽出部66は、入力されたクラスコードに対応するクラスタップを、キャプチャ部63より供給されるキャプチャされているフレームの画素データから抽出し、その予測タップを積和演算部92に出力する。積和演算部92は、入力された予測係数と予測タップとを線形1次結合式に代入して、動きぼけが補正された補正画像の補正画像データを生成する。
ステップS21において、第3の表示制御部144は、補正画像を表示する。すなわち、第3の表示制御部144は、ステップS20の処理で生成された補正画像データを、積和演算部92から表示部67に供給させ、補正画像として表示させる。
ユーザは、この補正画像を見て、動きぼけが充分補正されているか否かを判断し、さらに補正が必要であると判断した場合には、入力部69を操作して、さらなる補正を指示する。この場合、ステップS22において、判定部131は、登録が指示されていないと判定し、ステップS23において、補正が指示されたと判定する。このため、処理は再びステップS18に戻り、オフセット値取得処理が実行される。すなわち、ユーザは、再び入力部69を操作することで、新たなオフセット値(A,N)を入力する。そして、新たなオフセット値に基づいた補正画像生成処理が、上述した場合と同様に実行され、それに基づく補正画像が、表示部67に出力され、表示される。
ステップS23において、補正が指示されていないと判定された場合、ステップS24において、判定部131は、ユーザからの指示に基づいて、処理を終了するか否かを判定する。すなわち、ユーザは処理を終了する場合には、入力部69を操作してその旨を指令する。ステップS24において、処理の終了が指示されていないと判定された場合、ステップS25において、判定部131は、ユーザの指示に基づいて動画再生するか否かを判定する。すなわち、ユーザは、補正画像を見て登録する必要がないと判定した場合には、登録を指示せずに、動画再生を入力部69を操作することで指示する。動画再生が指示された場合には、処理はステップS1に戻り、それ以降の処理が繰り返し実行される。
ステップS25において、動画再生が指示されていないと判定された場合、判定部131は、ステップS22において、登録が指示されたか否かを判定する。登録が指示されていないと判定された場合には、処理はステップS23に戻り、それ以降の処理が繰り返し実行される。
ユーザは、補正画像を見て、登録すると判断した場合には、入力部69を操作することで登録を指示する。このとき、更新部135は、ステップS26において、ぼけパラメータとキャプチャした静止画の画像データとを、対応付けて保存する処理を実行する。すなわち、ぼけパラメータが既に保存されている場合には、そのぼけパラメータが、新たなぼけパラメータに更新される。画像データそのもの(元データ)は更新されない。従って、必要以上に画像データが増加することが防止される。
ステップS26の処理の後、処理はステップS23に戻り、それ以降の処理が繰り返し実行される。
以上のように、この実施の形態においては、既に保存されているぼけパラメータに基づく補正がなされた画像が表示され、さらにそれとは異なるパラメータが初期値として設定され、それに基づく補正画像が表示されるので、ユーザはその補正画像から、必要に応じてさらに補正すればよく、補正処理が簡単となり、迅速な補正が可能となる。
また、ぼけパラメータとしての初期値を、既に保存されているぼけパラメータとは異なるが、それと同じ基準で設定された値に設定するようにしたので、オフセット値を入力する回数を少なくすることができ、より少ない補正回数で、動きぼけを充分補正した画像を得ることが可能となる。
以上においては、動きぼけに対応する動きベクトルに基づいて、ぼけパラメータの初期値を設定するようにしたが、既に保存されているぼけパラメータを基準として、他の方法により初期値を設定することも可能である。
例えば、記録部61には、図11に示されるように、ぼけパラメータとそれに対応する画像データを識別する番号が、テーブル上に対応付けて記憶されているものとする。この例においては、コンテンツを識別するコンテンツID、そのコンテンツIDで特定されるコンテンツのフレームを特定するフレーム番号、そのフレームに対応するぼけパラメータ、並びにそのフレーム(コンテンツ)を撮像した日時が、対応付けて記録されている。具体的には、コンテンツID「001」に関しては、そのフレーム番号「125」に対してぼけパラメータ「P1」が、フレーム番号「160」に対してぼけパラメータ「P2」が、それぞれ記録されている。そして、このコンテンツIDのコンテンツは、「2003年10月22日」に撮像されたものとされている。
さらに、コンテンツIDが「002」のコンテンツのフレーム番号「295」に対しては、ぼけパラメータ「P21」が記録されている。このコンテンツの撮影日時は「2003年11月15日」とされている。同様に、「003」のコンテンツIDの「330」のフレーム番号のフレームに対しては、「P31」のぼけパラメータが記録されている。このコンテンツの撮影日時は、「2003年12月26日」とされている。
図12は、図11に示されるように予め登録されているぼけパラメータに基づいて、初期値設定を行う場合における初期値設定部133の機能的構成例を表している。同図に示されるように、初期値設定部133は、検出部201、重み付け部202、最小値計算部203、および設定部204により構成されている。
検出部201は、記録部61から再生部62により再生されたテーブル上のデータから、既に保存されているぼけパラメータを検出する。重み付け部202は、検出部201により検出されたぼけパラメータに対して、重み付けを行う。最小値計算部203は、重み付けされたパラメータとの差の総和が最小となる値を計算する。設定部204は、最小値計算部203で計算された最小値を初期値として設定し、クラス分類部64とタップ抽出部66に出力する処理を行う。
次に、図13のフローチャートを参照して、保存されている動きパラメータに基づいて初期値を設定する場合の処理について説明する。
ステップS71において、検出部201は、ぼけパラメータを検出する。具体的には、図11に示されるように、テーブル上に記録されているぼけパラメータP1,P2,P21,P31,・・・が検出される。ステップS72において、重み付け部202は、ステップS71の処理で検出部201により検出されたぼけパラメータを重み付けする処理を実行する。この重み付けの係数は任意であるが、例えば、その総和が1となるように設定される。
ステップS73において、最小値計算部203は、重み付けしたぼけパラメータとの差の総和が最小となる値を計算する。すなわち、ステップS72において、重み付けされたぼけパラメータとの差の総和が最小となる値がここで算出される。ステップS74において、設定部204は、計算した値を初期値とする処理を実行する。すなわち、ステップS73の処理で計算されたぼけパラメータの値が、初期値として設定される。
以上のようにして、設定部204により、設定された初期値が、クラス分類部64に供給され、上述したようにして、クラスコードに変換され、係数記憶部91により対応する予測係数に変換される。タップ抽出部66は、初期値に基づいて抽出した予測タップを積和演算部92に出力する。積和演算部92により予測タップと予測係数との積和演算処理が行われ、表示部67に、この初期値として設定されたぼけパラメータ(保存されているぼけパラメータに重み付けして生成されたぼけパラメータ)に基づく補正画像が表示される。
そして、この補正画像に対して、上述したように、必要に応じてさらにオフセット値が加算され、それに基づいて補正が行われる。
なお、この実施の形態の場合、初期値に基づいて表示される補正画像は1つであるため、図5のステップS16の処理は、実質的にはスルーされる。
もちろん、この場合にも、2つ以上の初期値を設定し、複数の補正画像を表示させるようにしてもよい。
図13の処理では、全てのぼけパラメータを利用するようにしたが、より近似した撮影条件のぼけパラメータだけを基準として初期値を設定することも可能である。この場合、テーブルには、図14に示されるように、日時の情報として、年月日だけではなく、曜日と時刻も各フレームに対応して記憶される。図14の例においては、コンテンツID「001」のフレーム番号「125」の撮影年月日は「2003年10月22日」であり、曜日は「水曜日」とされている。そして、その撮影時刻は「10時05分03秒」とされ、フレーム「185」の撮影時刻は「10時05分05秒」とされている。コンテンツID「002」の日時情報は、「2003年11月15日」、「土曜日」、「15時23分03秒」とされている。コンテンツID「003」の日時情報は、「2003年12月26日」、「金曜日」、「19時55分25秒」とされている。
この場合、初期値設定部133は、図15に示されるように、検出部251、第1の検索部252、第2の検索部253、第3の検索部254、および設定部255により構成される。
検出部251は、記録部61に記録されている画像データの撮影日時を検出する。第1の検索部252は、キャプチャフレームの撮影時刻に最も近い時刻に撮影されているフレームを検索する。第2の検索部253は、キャプチャフレームの撮影日に最も近い曜日のフレームを検索する。第3の検索部254は、キャプチャフレームの撮影年月日に最も近い年月日に撮影されたフレームを検索する。設定部255は、検索されたフレームのぼけパラメータを初期値として設定し、クラス分類部64とタップ抽出部66に出力する処理を行う。
次に図16のフローチャートを参照して、その動作について説明する。ステップS91において、検出部251は、キャプチャフレームの撮影年月日、曜日、時刻を検出する。これらの日時情報も、テーブル上に予め記憶されている(但し、まだ編集処理していないので、ぼけパラメータは登録されていない)。
ステップS92において、第1の検索部252は、ステップS91の処理で検出された、キャプチャフレームの撮影時刻に最も近い時刻に撮影され、かつ、ぼけパラメータが記憶されているフレームを検索する。例えば、キャプチャフレームが、「19時50分03秒」に撮影された画像である場合、その時刻に近い時刻に撮影されたフレームであって、ぼけパラメータが記憶されているフレームが検索される。ステップS93において、第2の検索部253は、キャプチャフレームの撮影日と同じ曜日か最も近い曜日に撮影され、かつ、ぼけパラメータが記憶されているフレームを検索する。例えば、キャプチャフレームが「土曜日」に撮影された場合、「土曜日」に最も近い曜日に撮影され、かつ、ぼけパラメータが記憶されているフレームが検索される。
ステップS94において、第3の検索部254は、キャプチャフレームの撮影年月日と同じか最も近い年月日に撮影され、かつ、ぼけパラメータが記憶されているフレームを検索する。例えば、キャプチャフレームの撮影年月日が、「2003年11月15日」である場合、「2003年11月15日」に最も近い年月日に撮影され、かつ、ぼけパラメータが記憶されているフレームが検索される。
ステップS95において、設定部255は、検索された1つのフレームのぼけパラメータを初期値として設定する。具体的には、ステップS92乃至ステップS94の処理で検索されたフレームの中から、最も誤差の少ないものが1つ選択され、そのフレームのぼけパラメータが初期値とされる。この場合において、例えば、撮影時刻が3時間以上離れている場合には、撮影時刻に最も近い時刻に撮影された他のフレームが存在しないと判定し、曜日でフレームを検索するようにしてもよい。また、例えば、曜日が3日以上離れている場合には、最も近い曜日のフレームが検索されなかったとして、撮影年月日で検索するようにしてもよい。
以上のようにして、設定されたフレームの初期値が、クラス分類部64とタップ抽出部66に供給され、上述した場合と同様にして、初期値に基づく補正画像として表示部67に表示される。
なお、上記した動きぼけには、被写体の移動による動きぼけだけでなく、手ぶれによる動きぼけも含まれる。手ぶれによる場合は、動きぼけがフレーム(画面)の全体にわたって発生するので、補正領域が画面の全体とされる。また、パラメータとしては、各種のものを、各種の形式で用いることが可能である。例えば、動きベクトルに対応するパラメータは、動きベクトルの角度と大きさで表されるようにしてもよい。
以上、本発明は動きぼけを補正する場合について説明したが、本発明は、動きぼけだけではなく、フォーカスぼけを補正する場合にも、適用することが可能である。この場合には、係数記憶部91には、フォーカスぼけを補正するのに必要な予測係数が学習され、記憶されることになる。そして、この場合、パラメータ生成部68は実質的に不要となる。フォーカスぼけを補正する場合には、フォーカスぼけは、σ値を有するガウシアン分布に従って、1つの画素の画素値に、周辺の複数の画素の画素値を混合(加算)した結果であるとするモデルが考えられる。そして、多くのフォーカスぼけの画像とフォーカスぼけしていない画像との関係を学習することで、フォーカスぼけの画像から、それを補正した画像を得るための予測係数が得られる。ユーザは、フォーカスぼけを補正するとき、σ値をパラメータとして設定する。この場合、クラスコードCは、例えば、次のように演算される(従って、この場合、クラス分類部64に画像データが供給される)。
C=σ×ADRCmax+ ADRC ・・・(2)
上記式におけるADRCは、所定のブロック内の画素を閾値(そのブロック内のダイナミックレンジと最小値とで規定される)と比較した結果を表す値であり、ADRCmaxは、そのADRC処理によるクラスコードの総数を表す。
さらにまた、係数記憶部91に動きぼけを補正するためのぼけパラメータと、フォーカスぼけを補正するためのぼけパラメータの両方を記憶しておくことも可能である。そして、初期値として、動きぼけを補正するぼけパラメータに基づいて補正した補正画像と、フォーカスぼけを補正するぼけパラメータを用いて、補正した補正画像を表示部67に表示し、ユーザに選択させるようにしてもよい。このようにすれば、ユーザが、動きぼけとフォーカスぼけのいずれが原因で画像がぼけているのかを正確に認識することができなくても、迅速にぼけ画像を補正することが可能となる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図1に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア32により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM22や、記憶部29に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
本発明は、デジタルカメラに適用することが可能である。
本発明を適用した画像処理装置の構成例を示すブロック図である。 図1の画像処理装置の機能的構成例を示すブロック図である。 図2の制御部の機能的構成例を示すブロック図である。 編集処理を説明するフローチャートである。 編集処理を説明するフローチャートである。 編集処理を説明するフローチャートである。 動画の例を示す図である。 キャプチャ画像を示す図である。 初期値設定処理を説明するフローチャートである。 動きぼけに対応するパラメータを説明する図である。 テーブルの例を示す図である。 初期値設定部の機能的構成例を示すブロック図である。 初期値設定処理を説明するフローチャートである。 テーブルの構成例を示す図である。 初期値設定部の他の機能的構成例を示すブロック図である。 初期値設定処理を示すフローチャートである。
符号の説明
1 画像処理装置, 61 記録部, 62 再生部, 63 キャプチャ部, 64 クラス分類部, 65 予測部, 66 タップ抽出部, 67 表示部, 68 パラメータ生成部, 69 入力部, 70 制御部, 91 係数記憶部, 92 積和演算部, 101 動きベクトル検出部, 102 パラメータ変換部, 131 判定部, 132 領域設定部, 133 初期値設定部, 134 保存部, 135 更新部, 136 選択部, 137 取得部, 138 補正部, 139 第1の生成部, 140 第2の生成部, 141 第3の生成部, 142 第1の表示制御部, 143 第2の表示制御部, 144 第3の表示制御部

Claims (7)

  1. 画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存手段と、
    保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第1の補正データを生成する第1の生成手段と、
    前記第1の補正データに基づく第1の画像の表示を制御する第1の表示制御手段と、
    前記第1の画像のぼけの補正の指示を判定する第1の判定手段と、
    前記第1の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値として、保存された前記パラメータを基準としてそれと異なる値を設定する初期値設定手段と、
    前記初期値に基づいてぼけを補正するように前記元データを補正して第2の補正データを生成する第2の生成手段と、
    前記第2の補正データに基づく第2の画像の表示を制御する第2の表示制御手段と、
    前記第2の画像のぼけの補正の指示を判定する第2の判定手段と、
    前記第2の画像のぼけの補正が指示された場合、前記第2の画像を補正するパラメータを得るために、ユーザより入力されたオフセット値を取得する取得手段と、
    取得された前記オフセット値から得られる前記パラメータに基づいてぼけを補正するように前記元データを補正して第3の補正データを生成する第3の生成手段と、
    前記第3の補正データに基づく第3の画像の表示を制御する第3の表示制御手段と、
    前記第3の画像の保存が指令された場合、前記取得手段により取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータのみを更新する更新手段と
    を備えることを特徴とする画像処理装置。
  2. 前記初期値設定手段は、複数の前記初期値を設定し、
    前記第2の生成手段は、複数の前記初期値に基づいて、複数の前記第2の補正データを生成し、
    前記第2の表示制御手段は、複数の前記第2の補正データに基づく複数の前記第2の画像の表示を制御し、
    前記画像処理装置は、複数の前記第2の画像の1つを選択する選択手段をさらに備え、
    前記取得手段は、選択された前記第2の画像を補正するパラメータを取得する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記初期値設定手段は、保存されている前記パラメータとの差分の総和、差分の絶対値、または差分の2乗の総和が最小となる値を、前記初期値として設定する
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記初期値設定手段は、前記画像が撮影された月日、曜日、または時刻に基づいて、前記初期値を設定する
    ことを特徴とする請求項1に記載の画像処理装置。
  5. 画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、
    保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第1の補正データを生成する第1の生成ステップと、
    前記第1の補正データに基づく第1の画像の表示を制御する第1の表示制御ステップと、
    前記第1の画像のぼけの補正の指示を判定する第1の判定ステップと、
    前記第1の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値として、保存された前記パラメータを基準としてそれと異なる値を設定する初期値設定ステップと、
    前記初期値に基づいてぼけを補正するように前記元データを補正して第2の補正データを生成する第2の生成ステップと、
    前記第2の補正データに基づく第2の画像の表示を制御する第2の表示制御ステップと、
    前記第2の画像のぼけの補正の指示を判定する第2の判定ステップと、
    前記第2の画像のぼけの補正が指示された場合、前記第2の画像を補正するパラメータを得るために、ユーザより入力されたオフセット値を取得する取得ステップと、
    取得された前記オフセット値から得られる前記パラメータに基づいてぼけを補正するように前記元データを補正して第3の補正データを生成する第3の生成ステップと、
    前記第3の補正データに基づく第3の画像の表示を制御する第3の表示制御ステップと、
    前記第3の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータのみを更新する更新ステップと
    を含むことを特徴とする画像処理方法。
  6. 画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、
    保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第1の補正データを生成する第1の生成ステップと、
    前記第1の補正データに基づく第1の画像の表示を制御する第1の表示制御ステップと、
    前記第1の画像のぼけの補正の指示を判定する第1の判定ステップと、
    前記第1の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値として、保存された前記パラメータを基準としてそれと異なる値を設定する初期値設定ステップと、
    前記初期値に基づいてぼけを補正するように前記元データを補正して第2の補正データを生成する第2の生成ステップと、
    前記第2の補正データに基づく第2の画像の表示を制御する第2の表示制御ステップと、
    前記第2の画像のぼけの補正の指示を判定する第2の判定ステップと、
    前記第2の画像のぼけの補正が指示された場合、前記第2の画像を補正するパラメータを得るために、ユーザより入力されたオフセット値を取得する取得ステップと、
    取得された前記オフセット値から得られる前記パラメータに基づいてぼけを補正するように前記元データを補正して第3の補正データを生成する第3の生成ステップと、
    前記第3の補正データに基づく第3の画像の表示を制御する第3の表示制御ステップと、
    前記第3の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータのみを更新する更新ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  7. 画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、
    保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第1の補正データを生成する第1の生成ステップと、
    前記第1の補正データに基づく第1の画像の表示を制御する第1の表示制御ステップと、
    前記第1の画像のぼけの補正の指示を判定する第1の判定ステップと、
    前記第1の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値として、保存された前記パラメータを基準としてそれと異なる値を設定する初期値設定ステップと、
    前記初期値に基づいてぼけを補正するように前記元データを補正して第2の補正データを生成する第2の生成ステップと、
    前記第2の補正データに基づく第2の画像の表示を制御する第2の表示制御ステップと、
    前記第2の画像のぼけの補正の指示を判定する第2の判定ステップと、
    前記第2の画像のぼけの補正が指示された場合、前記第2の画像を補正するパラメータを得るために、ユーザより入力されたオフセット値を取得する取得ステップと、
    取得された前記オフセット値から得られる前記パラメータに基づいてぼけを補正するように前記元データを補正して第3の補正データを生成する第3の生成ステップと、
    前記第3の補正データに基づく第3の画像の表示を制御する第3の表示制御ステップと、
    前記第3の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータのみを更新する更新ステップと
    をコンピュータに実行させることを特徴とするプログラム。
JP2004141887A 2004-05-12 2004-05-12 画像処理装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4389656B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004141887A JP4389656B2 (ja) 2004-05-12 2004-05-12 画像処理装置および方法、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004141887A JP4389656B2 (ja) 2004-05-12 2004-05-12 画像処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2005328117A JP2005328117A (ja) 2005-11-24
JP4389656B2 true JP4389656B2 (ja) 2009-12-24

Family

ID=35474148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004141887A Expired - Fee Related JP4389656B2 (ja) 2004-05-12 2004-05-12 画像処理装置および方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4389656B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215114A (ja) 2006-02-13 2007-08-23 Sony Corp 撮像画像の歪み補正方法、撮像画像の歪み補正装置および撮像装置
JP4924228B2 (ja) * 2007-06-19 2012-04-25 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP6547739B2 (ja) * 2014-05-02 2019-07-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
JP2005328117A (ja) 2005-11-24

Similar Documents

Publication Publication Date Title
US7873221B2 (en) Image processing apparatus, image processing method, program for image processing method, and recording medium which records program for image processing method
JP4489033B2 (ja) フレームレート変換装置、パン・チルト判定装置および映像装置
JP6317577B2 (ja) 映像信号処理装置及びその制御方法
JP4924228B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP2302906A2 (en) Image processing apparatus and method, recording medium, and program
JP2007135057A (ja) 撮像装置、画像処理方法、並びにプログラム
JP2007221570A (ja) 撮像装置及びそのプログラム
JP6304293B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2006101112A1 (ja) 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
JP2007158868A (ja) 画像処理装置および方法
CN104247398A (zh) 摄像设备及其控制方法
JP2005039710A (ja) 撮像装置
JP4389656B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP6032912B2 (ja) 撮像装置、その制御方法及びプログラム
WO2017150238A1 (ja) 表示制御装置、表示制御方法、及び、プログラム
WO2017104102A1 (ja) 撮像装置
US11722788B2 (en) Image processing apparatus and method, and image capturing apparatus
JP6278729B2 (ja) 撮像装置、その制御方法及びプログラム
JP2010239464A (ja) 画像合成装置、画像再生装置及びプログラム
JP2018074523A (ja) 撮像装置、その制御方法、プログラムならびに記録媒体
JP2005277618A (ja) 撮像装置、シェーディング補正装置、及びシェーディング補正方法
JP2010136387A (ja) 静止画生成装置、静止画生成プログラム及び静止画生成方法
JP2020149589A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2007180689A (ja) 撮像装置
JP4942596B2 (ja) 画像処理装置、撮像装置及び表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees