JP4818031B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、超解像処理に適した画像データを簡便に識別するための画像処理装置及び画像処理方法に関するものである。

カメラの手ぶれなどによる制御されない位置ずれをもつ複数の画像から高解像度の画像を作成する超解像処理方法が、例えば、非特許文献１に開示されている。
「複数のデジタル画像データによる超解像処理」（Ｒｉｃｏｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．２４，ＮＯＶＥＭＢＥＲ，１９９８）

しかしながら、上記超解像処理を動画から静止画を抽出する場合に行うと、シーンの変わり目や撮影カメラのＡＥ、ＡＷＢによる変化によって正しく超解像処理が行えない。例えば、測光の検出レベルが変化しているシーンでは、被写体において白飛びや黒沈みしている領域が変化する。このような領域では超解像処理において基準画像からのずれが大きくなり、補間処理に使用するフレーム数が減少し解像度の向上が十分に行われない。特に白飛びは顔の部分で発生しやすく主被写体の部分において解像度の向上が十分に行われない。ホワイトバランスの検出レベルが変化しているシーンでは、同じ被写体でも色相が変化する。このような領域では超解像処理において基準画像からのずれが大きくなり、補間処理に使用するフレーム数が減少し、これによって色解像度の向上や色Ｓ／Ｎの向上が十分に行われない。

従って、超解像処理の効果を十分に発揮するには、使用者が動画像の中から超解像度に適した測光の検出レベルが安定し、ホワイトバランスの検出レベルが安定しているシーンの画像を再生して見ながら探し出す必要がある。しかし、それは、ユーザにとって煩わしく手間がかかる作業である。

そこで、本発明の目的は、超解像処理に適した画像データを簡便に識別することを可能とすることにある。

本発明の画像処理装置は、請求項１に記載のとおり、被写体像を撮像し、画像データを出力する撮像手段と、前記撮像手段による撮像の撮像条件を設定する設定手段と、前記撮像手段で撮像された画像データ毎に、前記設定手段による設定に基づいて画像データ間の類似性に係る条件を満たしているか否かを判定する判定手段と、前記判定手段による判定結果に対応する情報を、前記画像データ毎に判定結果を識別可能に付加する付加手段と、前記付加手段により前記判定結果に対応する情報を付加された画像データをメモリに記録する記録手段と、前記メモリに記憶された連続する画像データの再生時に、ユーザからの操作に応じて、前記メモリに記憶された連続する画像データを前記付加手段により付加された情報に基づいて検索し、前記類似性に係る条件を満たす画像データが前または後に所定数連続する画像を検出する検出手段と、前記検出手段により検出された画像で前記メモリに記憶された連続する前記画像データの一時停止再生を行う一時停止再生手段と、前記検出手段により検出された画像を含めた前記類似性に係る条件を満たす複数の画像データに、合成を伴う超解像処理を行い、処理後の超解像画像データを出力する超解像処理手段と、を有することを特徴とする。

本発明の画像処理装置の制御方法は、請求項９に記載のとおり、被写体像を撮像し、画像データを出力する撮像手段を有する画像処理装置の制御方法であって、設定手段が、前記撮像手段による撮像の撮像条件を設定する設定ステップと、判定手段が、前記撮像手段で撮像された画像データ毎に、前記設定手段による設定に基づいて画像データ間の類似性に係る条件を満たしているか否かを判定する判定ステップと、付加手段が、前記判定手段による判定結果に対応する情報を、前記画像データ毎に判定結果を識別可能に付加する付加ステップと、記録手段が、前記付加手段により前記判定結果に対応する情報を付加された画像データをメモリに記録する記録ステップと、検出手段が、前記メモリに記憶された連続する画像データの再生時に、ユーザからの操作に応じて、前記メモリに記憶された連続する画像データを前記付加手段により付加された情報に基づいて検索し、前記類似性に係る条件を満たす画像データが前または後に所定数連続する画像を検出する検出ステップと、
一時停止再生手段が、前記検出手段により検出された画像で前記メモリに記憶された連続する前記画像データの一時停止再生を行う一時停止再生ステップと、超解像処理手段が、前記検出手段により検出された画像を含めた前記類似性に係る条件を満たす複数の画像データに、合成を伴う超解像処理を行い、処理後の超解像画像データを出力する超解像処理ステップと、を有することを特徴とする。

本発明においては、画像データ毎に、超解像処理に係る撮像条件を満たしているか否かを判定し、その判定結果に対応する情報を各画像データに付加するように構成している。従って、本発明によれば、画像データに付加された情報に基づいて、超解像処理に適した画像データを簡便に識別することが可能となる。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る撮像装置内の動画記録装置の構成を示す図である。図１を参照しながら、本実施形態に係る動画記録装置の構成について説明する。

図１において、ズームレンズ１０１、フォーカスレンズ１０２及び絞り１０３を通じて撮像素子１０４上に結像された被写体像は、例えばＣＣＤである撮像素子１０４によって電気信号に変換された後、Ａ／Ｄ変換器１０５でデジタル映像信号に変換される。このデジタル映像信号は、信号処理回路１０６においてＹ／Ｃ分離、ホワイトバランス調整、アパーチャー処理、ガンマ処理等を施された後に輝度色差信号に変換されて出力される。

信号処理回路１０６の出力は、リサイズ回路１０７において動画像サイズ、例えば水平６４０画素、垂直４８０ラインのＶＧＡサイズ等にリサイズされる。その後、圧縮回路１０８でＭＰＥＧ等の圧縮方式で圧縮され、メモリコントローラ１０９を通じてメモリ１１０に圧縮データとして書き込まれる。この圧縮データはメモリ１１０からメモリコントローラ１０９を通じてシステムコントローラ１１８に読み出され、伸張に必要なヘッダや付加情報を付加される。その後、メディアＩ／Ｆ１２０を通じて着脱可能な記録媒体１２１に動画ファイルとして記録される。

信号処理回路１０６の出力はリサイズ回路１２２にも入力され、リサイズ回路１２２は入力画像をビデオエンコードするのに適した、例えば水平７２０画素、垂直２４０ラインのサイズ等にリサイズした後、出力する。ビデオエンコーダ１２３はリサイズ回路１２２の出力を、例えばＮＴＳＣやＰＡＬ等のビデオ信号にエンコードし、この出力はＣＲＴやＬＣＤパネル等である表示装置１２４に動画記録中の電子ビューファインダ画像として表示される。

Ａ／Ｄ変換器１０５の出力はＡＷＢ回路１１５に入力される。ＡＷＢ回路１１５は予めシステムコントローラ１１８から指示された色バランスになるように信号処理回路１０６にホワイトバランス係数を出力する。その一方で、ＡＷＢ回路１１５は、システムコントローラ１１８にホワイトバランスが所定範囲内で調整がとれている（ＷＢロックされている）か、それともホワイトバランス係数がシーン変化に追従中（ＷＢロックされていない）かを出力する。

また、Ａ／Ｄ変換器１０５の出力はフォーカス検出回路１１６に供給される。フォーカス検出回路１１６はＡ／Ｄ変換器１０５から出力されるデジタル映像信号から被写体像の高周波成分を抽出し、この高周波成分の信号レベルがもっとも大きくなるようにフォーカス制御回路１１２を通じてフォーカスレンズ１０２を移動させる。また、フォーカス検出回路１１６は、フォーカスが所定範囲内であっている（フォーカスロックされている）か否かをシステムコントローラ１１８に出力する。

また、Ａ／Ｄ変換器１０５の出力は調光量検出回路１１７に供給される。調光量検出回路１１７は予めシステムコントローラ１１８から指示されたプログラム線図に従って撮像素子１０４での露出が適正になるように電子シャッター制御回路１１４を通じて撮像素子１０４における露光時間を制御する。また、調光量検出回路１１７は絞り制御回路１１３を通じて絞り１０３を撮像素子１０４の露光量を制御し、露出が所定の範囲で制御されている（ＡＥロックされている）か否かをシステムコントローラ１１８に出力する。

また、信号処理回路１０６の出力はシーン判別回路１２５に供給される。シーン判別回路１２５は、映像信号からシーン変化を検出し、その判定結果をシステムコントローラ１１８に出力する。

システムコントローラ１１８は操作部１１９にあるスイッチの状態を監視し、ズームの移動に対応するボタンが押された場合は、ボタンの検出結果に従ってズーム制御回路１１１を通じてズームレンズ１０１をテレもしくはワイド方向に駆動する。

本実施形態における超解像処理について説明する。超解像処理とは、重なりを持つ複数の低解像画像から高解像画像を生成する処理である。本実施形態の超解像画像とは、撮影により得られた複数の動画像フレームを用いて超解像処理を行うことにより生成した静止画像のことをいう。

図２は、本実施形態における超解像処理を示すフローチャートである。なお本フローチャートの処理は後述する動画再生装置において実行される。

ステップＳ１０１では、選択された複数のフレーム画像データを取得する。例えば、本実施形態では、４つの選択フレーム画像データを取得するものとする。取得された複数のフレーム画像データは、メモリに一時的に記憶される。

なお、フレーム画像データは、ドットマトリクス状の各画素の階調値（以下「画素値」とも呼ぶ）を示す階調データ（以下「画素データ」とも呼ぶ）で構成されている。画素データは、Ｙ（輝度）、Ｃｂ（ブルーの色差）、Ｃｒ（レッドの色差）からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等であり、撮像素子１０４の種別に依存する。

ただし、本実施形態では、超解像処理の説明を明確にするために、フレーム画像データは、後述の図３及び図４に示すような、１色のみの多値の画像データとして示す。画像サイズもＶＧＡサイズではなく、８×８＝６４画素の画像データとして示す。

ステップＳ１０２では、取得した３つのフレーム画像の各フレーム相互のずれ（位置ずれ）を補正するための補正量の推定を実行する。この補正量の推定では、上記４つのフレーム画像のうち、１つのフレーム画像を基準フレームとして設定し、その他の２つのフレーム画像を対象フレームとして設定する。そして、各対象フレームについて、基準フレームに対する位置ずれを補正するための補正量が、それぞれ推定される。なお、本実施形態では、選択フレーム画像の内、最も生成時の早いフレーム画像を基準フレームとして設定し、その他の３つのフレーム画像を対象フレームとして設定することとする。

なお、以下の説明では、取得した４つのフレームの番号（以下「フレーム番号」とも呼ぶ）をｎ（ｎ＝０，１，２，３）とし、フレーム番号ｎのフレームをフレームｎと呼び、フレームｎの画像をフレーム画像Ｆｎと呼ぶこととする。例えば、フレーム番号ｎが０のフレームはフレーム０と呼び、その画像をフレーム画像Ｆ０と呼ぶ。なお、フレーム０を基準フレームとし、フレーム１〜３を対象フレームとする。また、基準フレームのフレーム画像Ｆ０を基準フレーム画像とも呼び、対象フレームのフレーム画像Ｆ１〜Ｆ３を対象フレーム画像とも呼ぶこととする。

画像の位置ずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。ただし、本実施形態では、回転ずれについての説明及び処理は省略する。

図３は超解像処理に用いるフレーム画像と超解像処理後の画像を示す図である。図３では、被写体と、撮影により得られた基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３を示している。被写体を囲む点線矩形は基準フレーム画像Ｆ０を撮影した際の画角を示し、実践矩形は対象フレーム画像Ｆ１〜Ｆ３のそれぞれを撮影した際の画角を示す。

本実施形態では、横方向の並進ずれ量を「ｕｍ」、縦方向の並進ずれ量を「ｖｍ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１〜３）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」と表す。例えば、図３に示すように、対象フレーム画像Ｆ１は、基準フレーム画像Ｆ０に対して、縦方向の並進ずれが生じており、そのずれ量は、ｕｍ１、ｖｍ１と表される。

ここで、各対象フレーム画像（Ｆ１〜Ｆ３）を基準フレーム画像（Ｆ０）と合成するためには、各対象フレーム画像と基準フレーム画像とのずれをなくすように、各対象フレーム画像の各画素の位置ずれを補正することとなる。この補正のために用いられる横方向の並進補正量を「ｕ」、縦方向の並進補正量を「ｖ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１〜３）についてのこれらの補正量を「ｕｎ」、「ｖｎ」と表す。例えば、対象フレーム画像Ｆ１についての補正量は、ｕ１、ｖ１と表される。

ここで、補正とは、対象フレーム画像Ｆｎ（ｎ＝１〜３）の各画素の位置を、横方向にｕｎの移動、縦方向にｖｎの移動を施した位置に移動させることを意味する。従って、対象フレーム画像Ｆｎ（ｎ＝１〜３）についての補正量ｕｎ、ｖｎは、ｕｎ＝−ｕｍｎ、ｖｎ＝−ｖｍｎの関係で表される。例えば、対象フレーム画像Ｆ１についての補正量ｕ１、ｖ１は、ｕ１＝−ｕｍ１、ｖ１＝−ｖｍ１で表される。

以上のことから、補正量ｕ１、ｖ１を用いて、対象フレーム画像Ｆ１の各画素の位置を補正することにより、対象フレーム画像Ｆ１と基準フレーム画像Ｆ０とのずれをなくすことができる。同様に、対象フレーム画像Ｆ２，Ｆ３についても、補正量ｕ２、ｖ２、及び補正量ｕ３、ｖ３、の各値を用いて補正が施される。

ところで、各対象フレーム画像Ｆｎ（ｎ＝１〜３）についての補正量ｕｎ、ｖｎは、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１〜Ｆ３の画像データとに基づき算定される。算定には、例えばパターンマッチ法や勾配法および最小自乗法による所定の算出式が用いられる。そして、算出された補正量ｕｎ、ｖｎは、並進補正量データｕｎ、ｖｎとして、メモリ内の所定の領域に記憶される。

ステップＳ１０３では、基準フレームの画像データと補正した対象フレームの画像データとを合成して解像度の高い静止画像データを生成する。

本実施形態では、図３において明確化のため各対象フレームのずれは１画素単位であるものとして示しているが、実際の撮影においては、１画素間隔以下のずれが生じており、この微少なずれを利用することで高解像度化が可能となる。

したがって、生成する静止画像を構成する各画素（以下「生成画素」とも呼ぶ）のうち、基準フレーム画像および対象フレーム画像のいずれにも存在しない画素が存在する。

このような画素については、その生成画素の周辺に存在する画素の画素値を表す画素データ（階調値を表す階調データ）を用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理を用いることができる。

例えば、バイ・リニア法による補間処理を用いる場合、まず、基準フレーム画像および対象フレーム画像から、生成画素４０１の位置に最も近い距離にある最近傍画素４０２を有するフレーム画像を選出する。そして、図４のように、選択したフレーム画像のうち、生成画素位置を囲む４つの画素を周辺画素４０２〜４０５として決定し、周辺画素のデータ値に所定の重み付けを加えた値を平均して、生成画素のデータ値を得る。

以上の処理を各生成画素位置について繰り返すことにより、例えば、図３に示す解像度が２倍の超解像画像を得ることができる。なお、解像度は２倍に限らず、種々の倍率とすることができる。また、補間処理に複数フレームのデータ値を用いるほど、高精細な超解像画像を得ることができる。

以上、本実施形態における超解像処理を説明したが、撮影状態によって超解像処理に適したフレーム画像、適さないフレーム画像が存在する。超解像処理に適さないフレーム画像について、図５用いて、簡単に説明する。図５の各フレーム画像は、図３の各フレーム画像の撮影位置に対応している。

図５において、対象フレーム画像Ｆ１は、図３の対象フレーム画像Ｆ１に対応する画像であり、測光の検出レベルが変化しているシーンの画像である。このようなシーンでは、被写体において白飛びや黒沈みしている領域が変化する。また、カラー画像の場合、ホワイトバランスの検出レベルが変化しているシーンでは、同一の被写体でも色相が変化するので、図５の対象フレーム画像Ｆ１と似た状態が生じる。

対象フレーム画像Ｆ２は、図３の対象フレーム画像Ｆ２に対応する画像であり、合焦しておらずボケが生じた画像である。

対象フレーム画像Ｆ３は、被写体そのもの（シーン）が変化した画像である。なお、ズーム値を大幅に変更した場合においても図５の対象フレーム画像Ｆ３と似た状態が生じる。

超解像処理に、このようなフレーム画像を使用した場合、基準フレーム画像からのずれが大きくなり、ステップＳ１０２の補正量推定処理の精度が低下する。そして、その結果を使ったステップＳ１０３のフレーム画像の合成処理も精度が低下する。

したがって、超解像処理の効果を十分に発揮するには、フレームのズレ量が適切であるのみでなく、撮像画像そのものに変化を及ぼす各種の撮像動作及び撮像状態の検出レベルが安定しているフレーム画像を識別する必要がある。

本実施形態において、システムコントローラ１１８は、フレーム識別のために、圧縮データに付加情報を付加する際に１フィールド毎の画像に対応して超解像フラグを付加する。

この超解像フラグの値を決定するシーケンスを図６に従って説明する。図６のステップＳ２０１において、対象となるフィールド画像が撮影された時点でＷＢがロックされていたか否かを判定する。

ＷＢがロックされていた場合は、ステップＳ２０２において、対象となるフィールド画像が撮影された時点でＡＥがロックされていたか否かを判定する。

ＡＥがロックされていた場合は、ステップＳ２０３において、対象となるフィールド画像が撮影された時点でフォーカスがロックされていたか否かを判定する。

フォーカスがロックされていた場合は、ステップＳ２０４において、対象となるフィールド画像が撮影された時点でズームレンズが停止していたか否かを判定する。

ズームレンズが停止していた場合は、ステップＳ２０５において、対象となるフィールド画像が撮影された時点でシーンが変化していたか否かを判定する。

シーンに変化がなかった場合は、ステップＳ２０６において、超解像フラグを１にすることを決定する。上記ステップＳ２０１〜ステップＳ２０５において判定結果が否の場合はステップＳ２０７で超解像フラグを０に決定する。

以上のように、再生処理において超解像処理に適したフィールド画像には超解像フラグとして１の付加情報を記録し、再生処理において超解像処理に適してないフィールド画像には超解像フラグとして０の付加情報を記録する。このように本実施形態においては、連続するフィールド画像間の類似性を判定し、その判定結果に対応した超解像フラグを付加している。なお、ここでいう連続するフィールド画像間の類似性とは、連続するフィールド画像間における、ホワイトバランスの変化量、露出の変化量、フォーカスの変化量、ズームレンズの移動量、シーンの変化量である。本実施形態では、これらの類似性を全て判定しているが、一部の類似性のみを判定してもよいし、他の類似性についても判定してもよい。

従って、本実施形態によれば、超解像フラグに基づいて、超解像処理に適したフィールド画像を簡便に識別することが可能となる。

次に、各フィールド画像に超解像フラグが付加情報として記録された動画像を再生する動作を、図７を参照して説明する。図７は、本発明の実施形態に係る撮像装置内の動画再生装置の構成を示す図である。

図７において、着脱可能な記録媒体３０１に記録された動画ファイルはメディアＩ／Ｆ３０２を通じてシステムコントローラ３０３に読み出され、ヘッダ情報と動画データへの分離等の処理が施される。その後、ヘッダ情報と動画データは、メモリコントローラ３０４を通じてメモリ３０５に書き込まれる。

システムコントローラ３０３の指示に従って、メモリ３０５から読み出された動画データは伸張回路３０６において伸張され１枚のフィールド画像となった後、一旦メモリ３０５に書き戻される。このフィールド画像はシステムコントローラ３０３の指示によりメモリ３０５から読み出された後、リサイズ回路３０８でビデオエンコードに適切なサイズ、例えば水平７２０画素、垂直２４０ラインのサイズにリサイズされる。このリサイズ回路３０８の出力はビデオエンコーダ３０９でビデオ信号にエンコードされ、ＣＲＴやＬＣＤパネルなどで構成される表示装置３１０で画像が表示される。

これら一連の動作をシステムコントローラ３０３が動画ファイルの記録フィールド・レートに従って繰り返すことにより、表示装置３１０において動画の再生が行われる。

また、伸張回路３０６における動画データの伸張動作を停止し、最後に作成された、メモリ３０５に残っているフィールド画像を繰り返しリサイズ回路３０８でリサイズする。その後、ビデオエンコーダ３０９でビデオ信号にエンコードし、このビデオ信号を表示装置３１０に表示することを繰り返すことで動画の一時停止再生が行われる。

次に、操作部３１３のボタン押しに対応する動作を説明する。図８は、本実施形態に係る動画再生装置本体の外観概略図である。パネルａは表示装置３１０の画像表示面である。ランプｂはインジケータ３１２である。ボタンｃは動画再生停止ボタンである。ボタンｄは動画再生開始ボタンである。ボタンｅは動画早送りボタンである。ボタンｆは動画早戻しボタンである。ボタンｇは超解像対応シーン前方サーチボタンである。ボタンｈは超画像対応シーン後方サーチボタンである。ボタンｉは超解像処理実行ボタンである。

パネルａには画像が表示され、ランプｂのインジケータ３１２は上記したように動画再生又は一時停止中のフィールド画像に対応する超解像フラグが１のまま所定値以上連続する場合は点灯し、所定値以上連続しない場合は消灯する。

ボタンｃが押されるとシステムコントローラ３０３は動画の再生を停止する。動画再生が停止中にボタンｄが押されるとシステムコントローラ３０３は動画の再生を開始する。動画再生中にボタンｄが押されるとシステムコントローラ３０３は動画の再生を一時停止する。ボタンｅが押されるとシステムコントローラ３０３は動画の早送りをする。ボタンｆが押されるとシステムコントローラ３０３は動画の早戻しをする。ボタンｇが押されるとシステムコントローラ３０３は動画の再生を一時停止して超解像処理に適したシーンの前方サーチを行う。ボタンｈが押されるとシステムコントローラ３０３は動画の再生を一時停止して超解像処理に適したシーンの後方サーチを行う。

超解像処理に適したシーンのサーチ方法について図９を用いて説明する。ステップＳ５０１において表示画像を一時停止する。続くステップＳ５０２において、超解像フラグが０になるまで動画データに対する動画ポインタを移動させる。このとき前方サーチであれば動画ポインタを進め、後方サーチであれば動画ポインタを戻す。

次に、ステップＳ５０３において、超解像フラグが１になるまで動画ポインタを移動させる、このとき前方サーチであれば動画ポインタを進め、後方サーチであれば動画ポインタを戻す。

次に、ステップＳ５０４において、動画ポインタの後に所定フィールド数、例えば２０フィールド連続して超解像フラグが１であるかを判定する。判定結果が否の場合はステップＳ５０２に戻り、超解像フラグが１であるフィールド画像が２０フィールド以上の個所をサーチする。

ステップＳ５０４において、２０フィールド以上、超解像フラグが１であるフィールド画像が連続していた場合は、現在動画ポインタで指定されるフィールド画像を伸張し、動画の一時停止画面として表示する。次にステップＳ５０６でインジケータ３１２を点灯する。

動画再生が一時停止している状態においてボタンｉが押された場合は、現在表示しているフィールド画像の前後２０フィールドに対応する超解像フラグを参照する。そして、前後合わせて超解像フラグが１のフィールド画像が所定値、例えば２０フィールド以上連続しているかを判定する。

超解像フラグが１のフィールド画像が２０フィールド以上連続していない場合は、超解像処理を行わず、ブザー３１４でビープ音を鳴らしたりして使用者に操作が実行されなかったことを知らせる。一方、超解像フラグが１のフィールド画像が２０フィールド以上連続している場合は、超解像処理を行う。

超解像処理は、システムコントローラ３０３が前記連続した２０フィールドに対応する動画ファイルデータを順次記録媒体３０１からメディアＩ／Ｆ３０２を通じて読み出し、ヘッダ部分と動画データ部分を分離する。次に、ヘッダ部分と動画データ部分はメモリコントローラ３０４を通じてメモリ３０５に書き込まれ、書き込まれた動画データは伸張回路３０６で順次伸張され、メモリ３０５に書き込まれる。

次いで、この伸張された２０フィールドのフィールド画像に対して、位置推定、高帯域補間、加重和の処理を施し、超解像処理された画像を作成する。

この画像に対してトリミング回路３１１で画像周辺の不要部分を削除した後、圧縮回路３０７で静止画圧縮処理を施して静止画圧縮データを作成し、メモリ３０５に書き込む。システムコントローラ３０３はメモリ３０５から前記静止画圧縮データを読み出し、ヘッダを付加して、静止画ファイルとして記録媒体３０１に記録する。

このようにｉボタンが押されると動画ファイルから超解像処理によって静止画を作成し、動画ファイルとは独立の静止画ファイルとして記録する。

以上のように本実施形態においては、超解像処理に適した位置を自動的に検索することができる。また、超解像処理に適した位置で一時停止再生を行うため、ユーザは時間的ゆとりをもって再生されている画像に対して超解像処理を行うか否かを判断することができる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム等のコンピュータが記憶媒体からプログラムコードを読み出し実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに接続された機能拡張ユニット等に備わるメモリに書込まれた後、そのプログラムコードの指示に基づきＣＰＵ等が実際の処理を行い、前述した実施形態の機能が実現される場合も含まれる。

本発明の実施形態に係る撮像装置内の動画像記録装置の構成を示す図である。 図２は、本実施形態における超解像処理を示すフローチャートである。 超解像処理に用いるフレーム画像と超解像処理後の画像を示す図１である。 超解像処理における補間処理を示す図である。 超解像処理に用いるフレーム画像と超解像処理後の画像を示す図２である。 超解像フラグの値を決定するための処理を示すフローチャートである。 本発明の実施形態に係る撮像装置内の動画再生装置の構成を示す図である。 本発明の実施形態に係る動画再生装置本体の外観概略図である。 超解像処理に適したシーンのサーチ方法を示すフローチャートである。

符号の説明

１０１ ズームレンズ
１０２ フォーカスレンズ
１０３ 絞り
１０４ 撮像素子
１０５ Ａ／Ｄ変換器
１０６ 信号処理回路
１０７、１２２、３０８ リサイズ回路
１０８ 圧縮回路
１０９、３０４ メモリコントローラ
１１０、３０５ メモリ
１１１ ズーム制御回路
１１２ フォーカス制御回路
１１３ 絞り制御回路
１１４ 電子シャッタ制御回路
１１５ ＡＷＢ回路
１１６ フォーカス検出回路
１１７ 調光検出回路
１１８、３０３ システムコントローラ
１１９、３１３ 操作部
１２０、３０２ メディアＩ／Ｆ
１２１、３０１ 記録媒体
１２３、３０９ ビデオエンコーダ
１２４、３１０ 表示装置
３０６ 伸長回路
３０７ 圧縮回路
３１１ トリミング回路
３１２ インジケータ
３１４ ブザー

Claims (8)

1. 被写体像を撮像し、画像データを出力する撮像手段と、
   前記撮像手段による撮像の撮像条件を設定する設定手段と、
   前記撮像手段で撮像された画像データ毎に、前記設定手段による設定に基づいて画像データ間の類似性に係る条件を満たしているか否かを判定する判定手段と、
   前記判定手段による判定結果に対応する情報を、前記画像データ毎に判定結果を識別可能に付加する付加手段と、
   前記付加手段により前記判定結果に対応する情報を付加された画像データをメモリに記録する記録手段と、
   前記メモリに記憶された連続する画像データの再生時に、ユーザからの操作に応じて、前記メモリに記憶された連続する画像データを前記付加手段により付加された情報に基づいて検索し、前記類似性に係る条件を満たす画像データが前または後に所定数連続する画像を検出する検出手段と、
   前記検出手段により検出された画像で前記メモリに記憶された連続する前記画像データの一時停止再生を行う一時停止再生手段と、
   前記検出手段により検出された画像を含めた前記類似性に係る条件を満たす複数の画像データに、合成を伴う超解像処理を行い、処理後の超解像画像データを出力する超解像処理手段と、を有することを特徴とする画像処理装置。
2. 前記類似性に係る条件は、画像データ間のホワイトバランスの変化量に係る条件及び露出の変化量に係る条件のうちの少なくとも何れか一つを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記類似性に係る条件は、画像データ間のフォーカスの変化量に係る条件及びズームレンズの移動量に係る条件のうちの少なくとも何れか一つを含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記類似性に係る条件は、画像データ間のシーンの変化量に係る条件を含むことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
5. 前記メモリに記憶された連続する画像データに対する前記検出手段の検索方向を指定する指定手段を更に有することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
6. 被写体像を撮像し、画像データを出力する撮像手段を有する画像処理装置の制御方法であって、
   設定手段が、前記撮像手段による撮像の撮像条件を設定する設定ステップと、
   判定手段が、前記撮像手段で撮像された画像データ毎に、前記設定手段による設定に基づいて画像データ間の類似性に係る条件を満たしているか否かを判定する判定ステップと、
   付加手段が、前記判定手段による判定結果に対応する情報を、前記画像データ毎に判定結果を識別可能に付加する付加ステップと、
   記録手段が、前記付加手段により前記判定結果に対応する情報を付加された画像データをメモリに記録する記録ステップと、
   検出手段が、前記メモリに記憶された連続する画像データの再生時に、ユーザからの操作に応じて、前記メモリに記憶された連続する画像データを前記付加手段により付加された情報に基づいて検索し、前記類似性に係る条件を満たす画像データが前または後に所定数連続する画像を検出する検出ステップと、
   一時停止再生手段が、前記検出手段により検出された画像で前記メモリに記憶された連続する前記画像データの一時停止再生を行う一時停止再生ステップと、
   超解像処理手段が、前記検出手段により検出された画像を含めた前記類似性に係る条件を満たす複数の画像データに、合成を伴う超解像処理を行い、処理後の超解像画像データを出力する超解像処理ステップと、を有することを特徴とする画像処理装置の制御方法。
7. 請求項６に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
8. 請求項６に記載の画像処理装置の制御方法の手順が記述されたプログラムが記録された、コンピュータが読み取り可能な記録媒体。

Images