JP4479396B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

この発明は、取得した画像データから、より解像度が高い画像データを生成するための画像処理技術に関する。

従来から、撮影した所定の画像を利用して、より解像度の高い画像を生成する技術が提案されている。例えば、デジタルビデオカメラ等で撮影した動画を構成する複数のフレーム画像の画像データから、より解像度の高い静止画の画像データを合成する方法が知られている。このような高解像度画像を生成する際には、複数のフレーム画像間の対応関係の推定を行なうと共に、推定された対応関係に基づいて、解像度を高める（画像を構成する画素数を増加させる）ための補間演算を行なう（特許文献１参照）。

特開２００４−８８６１６号公報 特開２０００−２４４８５１号公報

しかしながら、このような高解像度画像の生成においては、上記補間演算などの処理を行なっても、実行した処理量に見合った充分な効果が得られない場合があった。例えば、撮影された動画を構成する複数のフレーム画像の中に、ぶれが生じている画像が含まれる場合には、このような画像を用いて解像度を高めるための補間演算を行なっても、生成した新たな画像において、増加させた画素数に見合った充分な高画質化が実現できない場合があった。

このような問題は、デジタルビデオカメラ等で生成した動画の画像データを用いる場合に限らず、デジタルスチルカメラで連続撮影された複数の画像データを用いる場合など、時系列に連続して撮影された複数の画像のデータから、より解像度が高い画像を生成する際に共通する問題であった。

本発明は、上述した従来の課題を解決するためになされたものであり、複数の画像データから解像度がより高い画像データを生成する際に、画質を向上させる効果を高めることを目的とする。

上記目的を達成するために、本発明は、所定の画像生成装置によって時系列に連続して生成された複数の画像データを用いて、より解像度の高い高解像度画像データを生成する画像処理装置であって、
前記複数の画像データを取得する画像データ取得部と、
前記取得した画像データと関連付けられており、該取得した画像データの各々の生成時における前記画像生成装置の動きに関する情報である画像生成時動き情報を、取得する動き情報取得部と、
前記複数の画像データの各々に対応する前記画像生成時動き情報に基づいて、各々の前記画像データが、前記高解像度画像データを生成するために適しているか否かを判定する第１の画像データ判定部と、
前記複数の画像データから、前記第１の画像データ判定部により前記高解像度画像データを生成するために適していないと判定された画像データを除外して、前記高解像度画像データを生成する高解像度画像生成部と
を備えることを要旨とする。

以上のように構成された本発明の画像処理装置によれば、複数の画像データから高解像度画像データを生成する際に、画像生成時動き情報に基づいて、各々の画像データが高解像度画像データを生成するために適しているか否かを判定し、適していないと判定された画像データは、高解像度画像データを生成する処理から除外している。これにより、生成した高解像度画像データが表わす画像の画質を向上させる効果を高めることができる。

本発明の画像処理装置において、前記画像生成時動き情報は、前記画像生成装置に備えられたセンサが検出した情報、または、前記センサが検出した情報に基づいて算出される情報であることとしても良い。このような構成とすれば、画像生成時動き情報を、容易に生成することができる。また、このように、画像生成時動き情報としてセンサが検出した情報を利用することで、高解像度画像データを生成するために適していない画像データを効率良く除外できると共に、高解像度画像データを生成する処理を高速化することが可能となる。

本発明の画像処理装置において、
前記画像生成時動き情報は、前記画像生成装置の向きの変化を示す角変位量、角速度、角加速度のうちの、少なくともいずれかを含むこととしても良い。

生成された画像データが表わす画像に対して、画像生成装置の動きが影響する程度は、画像生成装置が平行移動する場合よりも、画像生成装置が回転移動する場合の方が大きい。そのため、画像生成装置の回転運動に関わる角変位量、角速度、角加速度のうちの少なくともいずれかを、画像生成時動き情報として取得すれば、画像生成装置の動きに起因して高解像度画像生成に適さなくなった画像データを、効率よく排除することができる。ここで、前記画像生成装置の向きの変化は、前記画像生成装置におけるピッチ方向の角度変化と、前記画像生成装置におけるヨー方向の角度変化と、前記画像生成装置におけるロール方向の角度変化とのうちの、少なくとも一つを含むこととしても良い。

本発明の画像処理装置において、
前記第１の画像データ判定部は、所定の画像データの生成時に対応する前記画像生成時動き情報に基づく前記画像生成装置の動き量が、前記所定の画像データが表わす画像と、時系列で１つ前または後の画像データが表わす画像との間で、対応する画素間のずれ量が許容できるずれ量に基づいて定められる所定値を超えるときに、前記所定の画像データは前記高解像度画像データを生成するために適していないと判定することとしても良い。

これにより、ずれ量が大きく高解像度画像生成に適さない画像データを、一定の基準に基づいて排除することができる。

本発明の画像処理装置において、さらに、
前記第１の画像データ判定部が前記高解像度画像データを生成するために適していると判定した画像データについて、該画像データを解析することによって、前記高解像度画像データを生成するために適しているか否かをさらに判定する第２の画像データ判定部を備え、
前記高解像度画像生成部は、第２の画像データ判定部によって前記高解像度画像データを生成するために適していないと判定された画像データを、前記複数の画像データからさらに除外して、前記高解像度画像データを生成することとしても良い。

このような構成とすれば、画像データが表わす画像において、画像生成時動き情報に基づいて検出できないずれが生じている場合にも、このずれを検出し、高解像度画像の生成に適していない画像データをより適切に排除することが可能となる。あるいは、画像生成時動き情報に基づくずれ検出では精度が充分ではない場合に、高解像度画像を生成する精度を向上させることが可能となる。

本発明は、上記以外の種々の形態で実現可能であり、例えば、画像処理方法やコンピュータプログラム、あるいは記録媒体などの形態で実現することが可能である。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．装置の全体構成：
Ｂ．高解像度画像生成処理の概要：
Ｃ．角速度に基づくフレーム画像選択処理：
Ｄ．画像解析によるフレーム画像選択処理：
Ｅ．合成処理：
Ｆ．変形例：

Ａ．装置の全体構成：
Ａ−１．システムの概要：
図１は、本発明の実施例である画像処理装置を含む画像処理システム１０の構成を表わす説明図である。図１に示すように、画像処理システム１０は、画像データを生成する画像生成装置であるデジタルスチルカメラ２０と、画像生成装置が生成した画像データから高解像度の画像データを生成する画像処理装置として機能するパーソナルコンピュータ３０と、画像処理に関する指示をユーザが入力するための操作部４０と、画像データに基づいて画像を出力する出力装置であるカラープリンタ５０と、を備えている。

パーソナルコンピュータ３０は、画像処理プログラムを実行するＣＰＵ３１、ＲＯＭ３２、ＣＰＵ３１による演算結果や画像処理に供する画像データを一時的に格納するＲＡＭ３３、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）３４、および、操作部４０やカラープリンタ５０等の外部機器と情報をやり取りするためのＩ／Ｆ回路３５を備えている。

操作部４０は、ユーザが画像処理に関する指示を入力するためのキーボード４１およびマウス４２を備えている。なお、図１では、ディスプレイ４３を操作部４０として記載しているが、このディスプレイ４３は、さらに、画像処理に関わる画像を表示する出力装置でもある。

Ａ−２．デジタルスチルカメラ２０の構成：
図２は、デジタルスチルカメラ２０の概略構成を表わす説明図である。デジタルスチルカメラ２０は、ＣＣＤやＣＭＯＳ等の撮像デバイスを備え、レンズを通った光の量をこの撮像デバイスによって電気信号に変換して、画像をデジタル信号として取得するカメラである。デジタルスチルカメラ２０は、撮影モードとして静止画撮影モードと動画撮影モードとを有し、静止画像データに加えて、時系列に連続する複数の画像データから成る動画像データを生成する機能を備えている。また、デジタルスチルカメラ２０は、静止画撮影モードとして、さらに連写モードを備え、この連写モードによっても、時系列に連続する複数の画像データを生成することができる。本実施例では、動画撮影モードが選択され、動画像データが生成される場合について説明する。なお、以下の説明では、動画像を構成し、時系列に連続する個々の画像をフレーム画像と呼び、フレーム画像を表わす画像データをフレーム画像データと呼ぶ。

図２に示すように、デジタルスチルカメラ２０は、撮影部１４０、信号変換部１３０、画像処理部１２０、および、３つの角速度センサ１６１，１６２，１６３を備えている。さらにデジタルスチルカメラ２０は、上記各部を制御する制御部１００と、制御部１００に対して画像データの生成に関わるユーザからの指示を入力するためのコントローラ１１０と、画像データを画像ファイルとしてメモリカードＭＣに保存するメモリカードドライブ１５０と、を備えている。なお、本実施例では、画像処理部１２０と制御部１００との機能は、コンピュータプログラムによって実現されている。

撮影部１４０は、複数の受光素子を有し、収集した光情報を受光素子単位で電気信号に変換して出力する撮像デバイス１４４と、撮像デバイス１４４の受光部に光情報を集めるレンズ１４２と、撮像デバイス１４４の受光量を調節する絞り１４６と、を備えている。撮像デバイス１４４が備える受光素子は、縦横等間隔に配置されており、ＲＧＢカラーフィルタを備えている。隣接する受光素子間の中心距離（以下、画素ピッチという）は、図２に示すように、縦方向（図２のＹ方向）、横方向（図２のＸ方向）共に、ｓである。

信号変換部１３０は、撮像デバイス１４４から出力された電気信号であるアナログ画像信号を、デジタル画像信号に変換する。画像処理部１２０は、変換後のデジタル画像信号を用いて、保存用の画像データを生成する。具体的には、デジタル画像信号からＲＧＢ各色の電気信号のみを取り出して１画素ごとに不足の色成分を生成してＲＧＢデータを生成して、保存用の画像データとする。画像データの形式としては、上記以外の形式を用いることとしても良い。このようにして画像処理部１２０では、時系列に並ぶ複数のフレーム画像データが生成される。

３つの角速度センサ１６１，１６２，１６３は、それぞれ、デジタルスチルカメラ２０のＸ軸回り、Ｙ軸回り、Ｚ軸回りの向きの変化を角速度として検出する装置である。図３は、デジタルスチルカメラ２０におけるＸ軸、Ｙ軸、Ｚ軸のそれぞれについての向きの変化を説明する概略図である。Ｘ軸は、撮像デバイス１４４の受光面に平行であってデジタルスチルカメラ２０の左右方向に延びる軸をいい、Ｙ軸は、撮像デバイス１４４の受光面に平行であってデジタルスチルカメラ２０の上下方向に延びる軸をいう。そして、Ｚ軸は、撮像デバイス１４４の受光面に対して垂直な軸をいう。ここで、ＸＹＺの３軸が交わる原点は、撮像デバイス１４４の受光面の中心Ｃｃに位置している。

以下の説明では、角速度センサ１６１，１６２，１６３が検出するＸＹＺ軸回りの角速度をそれぞれ角速度Ｖ_X、Ｖ_Y、Ｖ_Zと表わす。また、後述するように角速度Ｖ_X、Ｖ_Y、Ｖ_Zから求められるデジタルスチルカメラ２０のＸＹＺ軸回りの変位量を、それぞれ、角変位量θ_X、θ_Y、θ_Zと表わす。θ_XおよびＶ_Xは、デジタルスチルカメラ２０で撮影された画像における被写体の上下方向の位置ずれ（いわゆる、ピッチ方向のぶれ）に対応している。また、θ_ZおよびＶ_Zは、デジタルスチルカメラ２０で撮影された画像における被写体の左右方向の位置ずれ（いわゆる、ヨー方向のぶれ）に対応している。また、θ_YおよびＶ_Yは、デジタルスチルカメラ２０で撮影された画像における画像に対して垂直な直線を軸とした被写体の回転方向のずれ（いわゆる、ロール方向のぶれ）に対応している。角速度センサ１６１，１６２，１６３としては、種々のジャイロスコープを用いることができる。例えば、機械式（回転式）ジャイロ、音片・音叉の振動を用いる振動式ジャイロ 、光ファイバ等を利用した光学式ジャイロなどを用いることができる。

制御部１００は、デジタルスチルカメラ２０の各部の制御を行なうが、ここでは画像データの保存に関わる機能について説明する。制御部１００は、メモリカードドライブ１５０を制御して、画像処理部１２０が生成した画像データをメモリカードＭＣに保存させる。画像データの保存の際には、制御部１００は、角速度センサ１６１，１６２，１６３が検出した電気信号から求められる角速度情報（角速度Ｖ_X、Ｖ_Y、Ｖ_Z）を含む付属情報を取得して、画像データに付加する。これによって、互いに関連付けられた画像データと付属情報とを含む画像ファイルが生成される。メモリカードＭＣにおいては、このような画像ファイルの形で保存が行なわれる。保存用に生成された画像ファイルは、上記メモリカードＭＣを介して、あるいは、デジタルスチルカメラ２０が備える所定のインターフェース部およびケーブル（図示せず）を介して、外部の機器（本実施例ではパーソナルコンピュータ３０）に対して供給可能となる。

図４は、デジタルスチルカメラ２０で生成される画像ファイルＧＦの構成を模式的に示す説明図である。画像ファイルＧＦは、動画像データＭＤおよび音声データＡＤを格納する主情報格納領域Ｒ１００と、動画像データＭＤと関連付けられた付属情報を格納する付属情報格納領域Ｒ１１０を備えている。

動画像データＭＤは、時系列に並ぶｎ個のフレーム画像データＧＤ1〜ＧＤnから構成されている。この動画像データＭＤは、既述した画像処理部１２０によって生成された保存用の画像データである。

付属情報に含まれる角速度Ｖ_X、Ｖ_Y、Ｖ_Zとしては、フレーム画像データＧＤ1〜ＧＤnのそれぞれの生成時に対応する角速度Ｖ_X(1)〜Ｖ_X(n)、Ｖ_Y(1)〜Ｖ_Y(n)、Ｖ_Z(1)〜Ｖ_Z(n)が、付属情報格納領域Ｒ１１０に格納されている。なお、角速度Ｖ_X、Ｖ_Y、Ｖ_Zは、上記のように、動画像を構成する各フレーム画像の撮影のタイミングと同時に取得する代わりに、各フレーム画像を撮影する時間間隔よりも短い間隔で取得して、各フレーム画像毎に角速度情報を複数記憶することとしても良い。この場合には、取得された角速度Ｖ_X、Ｖ_Y、Ｖ_Zは、角速度の取得時の直後に生成されたフレーム画像データに対応することになる。さらに、付属情報格納領域Ｒ１１０には、付属情報として、上述した角速度Ｖ_X、Ｖ_Y、Ｖ_Zに加えて、画素ピッチｓと焦点距離ｆと角速度検出周期（角速度センサ１６１，１６２，１６３から角速度情報が取得される時間間隔）Ｔと、が格納されている。あるいは、付属情報として、図４に示した付属情報に加えてさらに、撮影日時やシャッタ速度、あるいは絞り値等の種々の撮影情報を記憶しても良い。

制御部１００は、このように、画像データと付属情報とを関連付けて画像ファイルを作成する。ここで、複数のフレーム画像データと付属情報とが関連付けられているとは、各々のフレーム画像データの生成タイミングと、角速度Ｖ_X、Ｖ_Y、Ｖ_Z等の付属情報の検出タイミングとの、時間軸上における対応関係が認識可能となっていることをいう。

Ｂ．高解像度画像生成処理の概要：
図５は、本実施例に係るパーソナルコンピュータ３０が備えるＣＰＵ３１において実行される高解像度画像生成処理に関する機能ブロック図である。また、図６は、ＣＰＵ３１で実行される高解像度画像生成処理の概要を表わすフローチャートである。これら図５および図６に基づいて、高解像度画像生成処理の概要について説明する。

図５に示すように、ＣＰＵ３１は、画像データ取得部Ｍ３１０と、動き情報取得部Ｍ３２０と、第１の画像データ判定部Ｍ３３０と、第２の画像データ判定部Ｍ３４０と、高解像度画像生成部Ｍ３５０と、を備えている。

本実施例では、デジタルスチルカメラ２０で生成された画像ファイルＧＦは、メモリカードＭＣを介してパーソナルコンピュータ３０のＨＤＤ３４内に記憶され、ＣＰＵ３１で実行される処理において利用可能となる。なお、デジタルスチルカメラ２０で生成された画像ファイルＧＦを、一旦ＨＤＤ３４によって記憶する構成に代えて、パーソナルコンピュータ３０とデジタルスチルカメラ２０とを接続してデジタルスチルカメラ２０から逐次データを取得することとしても良い。図６の高解像度画像生成処理は、例えば、操作部４０からユーザの指示が入力されることにより開始されることとしても良く、パーソナルコンピュータ３０が備えるスロットにメモリカードＭＣが差し込まれることで自動的に開始されることとしても良い。

図６の高解像度画像生成処理を実行する際には、ＣＰＵ３１は、まず、ＨＤＤ３４に記憶した画像ファイルＧＦを読み出し、画像ファイルＧＦに記録された動画像データＭＤを再生する。動画像データＭＤの再生中に、ユーザによってフレーム画像データの取得指示が入力されると、ＣＰＵ３１の画像データ取得部Ｍ３１０は、動画像データＭＤを構成するフレーム画像データＧＤ１〜ＧＤｎの中から、時系列に連続する複数のフレーム画像データを取得する（ステップＳ１００）。本実施例では、画像データ取得部Ｍ３１０は、再生中の動画像データＭＤの内、ユーザーに指示されたタイミングの前後から時系列に連続する４フレーム分のフレーム画像データを、高解像度画像データの生成に利用するために取得している。

図７は、ステップＳ１００において動画像データＭＤから４つのフレーム画像データが取得された様子を表わす説明図である。本実施例では、動画像データＭＤの再生中にユーザが指示を入力したタイミングに相当するフレーム画像データ、すなわちユーザにより選択されたフレーム画像データを、基準フレーム画像データとして取得している。また、基準フレーム画像データと時系列順に連続する２つの画像データ、および、基準フレーム画像データから時系列をさかのぼって１つ前のフレーム画像データ、という３つのフレーム画像データを、調査対象フレーム画像データとして取得している。

以下の説明では、取得した４つのフレーム画像データに対して、時系列順を表わすフレーム番号aを付すこととし、各フレーム画像データをフレーム画像データＦaと呼び、フレーム画像データＦａが表わす画像を画像ｆaと呼ぶこととする。ここで、フレーム番号aは、基準フレーム画像データが０となるように設定している。すなわち、基準フレーム画像データはフレーム画像データＦ0であり、調査対象フレーム画像データは、フレーム画像データＦ-1、Ｆ1、Ｆ2である。ステップＳ１００で上記４つのフレーム画像データが取得される際には、ＣＰＵ３１は、これら４つのフレーム画像データをＲＡＭ３３に一時的に格納する。

ステップＳ１００でフレーム画像データが取得されると、ＣＰＵ３１の動き情報取得部Ｍ３２０は、画像ファイルＧＦから、ステップＳ１００で取得されたフレーム画像データＦ-1〜Ｆ2と関連付けられた付属情報を取得する（ステップＳ１１０）。取得される付属情報には、角速度Ｖ_X、Ｖ_Y、Ｖ_Zと、画素ピッチｓと焦点距離ｆおよび角速度検出周期Ｔが含まれる（図４参照）。以下、フレーム画像データＦaと関連付けられた角速度、すなわち、フレーム画像データＦaの生成時におけるＸＹＺ軸回り角速度を、それぞれＶ_Xa、Ｖ_Ya、Ｖ_Za（a=-1,0,1,2）と呼ぶこととする。なお、本実施例のステップＳ１００およびＳ１１０では、フレーム画像データＦ-1〜Ｆ2に加えて、フレーム画像データＦ-1よりも時系列をさかのぼってさらに１つ前のフレーム画像データＦ-2についても、同様に、フレーム画像データおよび角速度情報がＲＡＭ３３に格納される。フレーム画像データＦ-2については後述する。

その後、第１の画像データ判定部Ｍ３３０は、ステップＳ１１０で取得された付属情報である角速度Ｖ_X、Ｖ_Y、Ｖ_Zに基づいて、ステップＳ１００で取得された３つの調査対象フレーム画像データの各々が、高解像度画像データを生成するために適しているか否かを判定すると共に、適していると判定された調査対象フレーム画像データを、高解像度画像の生成に用いる候補として選択する（ステップＳ１２０）。すなわち、ステップＳ１２０の処理では、角速度Ｖ_X、Ｖ_Y、Ｖ_Zに基づいて、各フレーム画像データの生成時（撮影時）におけるデジタルスチルカメラ２０の動きの大きさを求める。より具体的には、時系列で１つ前のフレーム画像の生成時から、あるフレーム画像データの生成時までの間の、デジタルスチルカメラ２０の動きを表わす動き量を求める。そして、デジタルスチルカメラ２０の動き量が大きいときには、新たに生成されたそのフレーム画像データが表わすフレーム画像にぶれが生じているものと推定して、このフレーム画像データを高解像度画像データを生成するための処理から除外する。ステップＳ１２０の角速度Ｖ_X、Ｖ_Y、Ｖ_Zに基づくフレーム画像選択処理については、後に詳述する。

ステップＳ１２０の次には、第２の画像データ判定部Ｍ３４０が、ステップＳ１２０で選択された各調査対象フレーム画像データについて、高解像度画像データを生成するために適しているか否かを、画像データを解析すること（画像解析）によってさらに判定する。このような判定は、各調査対象フレーム画像について、時系列で１つ前のフレーム画像との間の位置ずれを画像解析により求めて、位置ずれが所定値よりも大きいときには、高解像度画像データを生成するために適しない程度に調査対象フレーム画像においてぶれが生じていると推定することにより行なう。そして、１つ前のフレーム画像との間の位置ずれ量が小さいフレーム画像データは、高解像度画像データを生成するために適していると判定して、適していると判定された調査対象フレーム画像データを、高解像度画像の生成に用いる画像データとして選択する（ステップＳ１３０）。なお、ステップＳ１２０のフレーム画像選択処理で用いている角速度Ｖ_X、Ｖ_Y、Ｖ_Zを検出した角速度センサは、デジタルスチルカメラ２０の動きの内、回転移動は検知できるが、平行移動を検知することはできない。ステップＳ１３０では、画像データを解析することによって、角速度センサでは検知できないデジタルスチルカメラ２０の動きに起因するフレーム画像のずれを検知することが可能となる。

その後、高解像度画像生成部Ｍ３５０が、ステップＳ１３０で選択された調査対象フレーム画像データおよび基準フレーム画像データを合成して、より解像度が高い画像データを新たに生成する（ステップＳ１４０）。なお、ステップＳ１３０の画像解析によるフレーム画像選択処理と、ステップＳ１４０の高解像度画像合成処理については、さらに後に説明する。

Ｃ．角速度に基づくフレーム画像選択処理：
以下、図６のステップＳ１２０である角速度に基づく画像選択処理について説明する。図８は、角速度に基づく画像選択処理の概要を表わすフローチャートである。まず、ＣＰＵ３１は、３つの調査対象フレーム画像ｆ-1、ｆ1、ｆ2から、注目フレーム画像を一つ設定する（ステップＳ２００）。本実施例では、フレーム番号aが小さい順に注目フレーム画像に設定しており、最初は調査対象フレーム画像ｆ-1を注目フレーム画像とする。

次に、ＣＰＵ３１は、設定した注目フレーム画像ｆaの画像データＦaを取得した際のデジタルスチルカメラ２０におけるＸＹＺ軸周りの角変位量θ_Xa、θ_Ya、θ_Zaを算出する（ステップＳ２１０）。既述したように、図８のフレーム画像選択処理は、注目フレーム画像データＦa生成時におけるデジタルスチルカメラ２０の動きの大きさが大きいときに、注目フレーム画像ｆaにぶれが生じていると推定して、そのフレーム画像データＦaを高解像度画像生成処理から除外するための処理である。そのため本実施例では、上記注目フレーム画像データＦa生成時におけるデジタルスチルカメラ２０の動きの大きさとして、１つ前のフレーム画像データＦa-1の生成時から注目フレーム画像データＦaの生成時までの間の、デジタルスチルカメラ２０の動きの大きさを表わす角変位量θ_Xa、θ_Ya、θ_Zaを用いている。注目フレーム画像データＦaの生成時を時刻ｔaとすると、注目フレーム画像データＦaの生成時における角変位量θ_Xa、θ_Ya、θ_Zaは、それぞれ、ＸＹＺ軸周りの角速度Ｖ_X、Ｖ_Y、Ｖ_Zを、時刻ｔa-1から時刻ｔaまで積分した値として与えられる。フレーム画像データＦaの生成時における角変位量θ_Xa、θ_Ya、θ_Zaを表わす式を以下に式（１）、（２）、（３）として示す。

なお、角速度検出周期Ｔが、各フレーム画像間の撮影間隔よりも短い場合には、角速度検出周期Ｔごとに角速度を積分した値を、時刻ｔa-1から時刻ｔaまでの間で足し合わせることによって、各角変位量を求めることができる。このように、角速度検出周期Ｔが短いほど、角変位量θ_Xa、θ_Ya、θ_Zaを、より正確に算出することが可能となる。

角変位量θ_Xa、θ_Ya、θ_Zaを求めると、ＣＰＵ３１は、算出した角変位量が、予め設定した所定の閾値以下であるか否かを判断する（ステップＳ２２０）。以下に、ステップＳ２２０で判断基準とする閾値について説明する。

上記閾値は、１つ前のフレーム画像データ生成時から注目フレーム画像データＦa生成時までの間のデジタルスチルカメラ２０の動きの大きさが、注目フレーム画像ｆaに許容できない程度のぶれを生じ得るものであるか否かを判断するための値である。本実施例では、この閾値を、デジタルスチルカメラ２０が動くことによって１つ前のフレーム画像と注目フレーム画像ｆaとの間に生じる位置ずれ（以下、フレーム間位置ずれともいう）に基づいて設定している。

ここで、フレーム画像間に生じる位置ずれは、並進ずれと、画像の中心を軸とした回転方向のずれ（回転ずれ）との組み合わせとして表わすことができる。図９は、注目フレーム画像ｆaにおけるフレーム間位置ずれを示す説明図である。図９では、図３に示したデジタルスチルカメラ２０におけるＸＹ軸に対応するフレーム画像上でのＸＹ軸を、仮想的に示している。図９に示すように、フレーム間位置ずれは、Ｘ軸方向の並進ずれｕaとＹ軸方向の並進ずれｖaと回転ずれδaとによって表わすことができる。

図１０は、デジタルスチルカメラ２０のＸ軸周りの動きと、撮像デバイス１４４上における被写体の位置ずれとの関係を示す説明図である。図１０は、デジタルスチルカメラ２０がＸ軸周りに角変位量θ_Xだけ動く（ぶれる）ことによって、撮像デバイス１４４およびレンズ１４２に対する被写体の位置が、記号Ｈで示す位置から記号Ｈ’で示す位置へと変化した様子を模式的に示している。このようなデジタルスチルカメラ２０に対する被写体の相対的なずれは、撮像デバイス１４４で生成されるフレーム画像間の位置ずれ（図１０では、Ｙ軸方向のずれｖ）に対応している。したがって、撮像デバイス１４４で生成されるフレーム画像間に生じるフレーム間位置ずれ（ｖ）と、角変位量θ_Xとの間には、一定の関係が成立する。同様に、フレーム間位置ずれ（ｕ）と角変位量θ_Yとの間、および、フレーム間位置ずれ（δ）と角変位量θ_Zとの間にも、一定の関係が成立する。図１０に示すように、撮像デバイス１４４上における１画素分（画素ピッチｓ分）のずれに相当するＸ軸あるいはＹ軸周りの角変位量をθ_pixとし、並進ずれｕa、ｖaは画素単位でのずれを表わすこととすると、フレーム間位置ずれｕa、ｖa、δaは、以下の式（４）〜（６）で表わされる。

ｕa＝θ_Ya／θ_pix …（４）
ｖa＝−θ_Xa／θ_pix …（５）
δa＝−θ_Za …（６）

式（４）〜（６）を変形すると、以下の式（７）〜（９）が得られる。
θ_Xa＝−ｖa×θ_pix …（７）
θ_Ya＝ｕa×θ_pix …（８）
θ_Za＝−δa …（９）

式（７）〜（９）より、高解像度画像を生成するために用いるフレーム画像データＦａの画像ｆaとして許容できるフレーム間位置ずれ（ｕa、ｖa、δa）を適宜設定することで、ステップＳ２２０の判断で用いる閾値の値（θt_Xa、θt_Ya、θt_Za）を設定することができる。なお、θ_pixは、デジタルスチルカメラ２０の焦点距離ｆと、撮像デバイス１４４の画素ピッチｓとを用いて、以下の式（１０）で表わされる。
θ_pix＝ｔａｎ^-1（ｓ／ｆ）≒ｓ／ｆ …（１０）

以下に、具体的な数値を挙げて、閾値の算出を例示する。許容できるフレーム間位置ずれは、要求する画質などに応じて任意の値に設定可能であるが、例えば１６pixel以内とすることができる。すなわち、
｜ｕa｜≦１６ …（１１）
｜ｖa｜≦１６ …（１２）
とすることができる。また、焦点距離ｆ＝５．１ｍｍ、画素ピッチｓ＝７．２μｍの場合には、θ_pixは以下の値となる。
θ_pix≒ｓ／ｆ＝７．２×１０^-3／５．１＝０．００１４（rad） …（１３）
したがって、式（７）、（８）、（１０）〜（１３）より、並進ずれの閾値θt_Xa，θt_Yaは、以下のように設定される。
θt_Xa：｜θt_Xa｜≦１６×０．００１４＝０．０２２４（rad）＝１．２８°…（７'）
θt_Ya：｜θt_Ya｜≦１６×０．００１４＝０．０２２４（rad）＝１．２８°…（８'）

また、回転ずれは、６４０（pixel）×４８０（pixel）のフレーム画像である場合に、中心から横方向に最も遠く（３２０pixel）離れた位置で、１６（pixel）までのずれを許容するならば、
｜δa｜≦１６／３２０＝０．０５（rad）＝２．９° …（１４）
となる。したがって、式（９）および（１４）より、回転ずれの閾値θt_Zaは、
θt_Za：｜θt_Za｜≦２．９° …（９'）
となる。ステップＳ２２０では、式（７'）、（８'）、（９'）のように求めた閾値（θt_Xa，θt_Ya，θt_Za）を用いて、ステップＳ２１０で算出した角変位量θ_Xa、θ_Ya、θ_Zaが閾値以下であるか否かを判断する。

図８に戻り、ステップＳ２２０で角変位量θ_Xa、θ_Ya、θ_Zaが閾値以下と判断されると、ＣＰＵ３１は、現在の注目フレーム画像データＦaを、後の画像合成のための処理対象候補として選択し（ステップＳ２３０）、引き続き、すべての調査対象フレーム画像について角変位量に基づく選択処理を行なったか否かを判断する。なお、ステップＳ２２０において、角変位量θ_Xa、θ_Ya、θ_Zaが閾値を超えていると判断されると、ＣＰＵ３１は、現在の注目フレーム画像データＦaを、後の画像合成のための処理対象候補として選択することなく、ステップＳ２３０の判断を行なう。

既述したように、本実施例では、調査対象フレーム画像ｆ-1、ｆ1、ｆ2から、フレーム番号aが小さい順に注目フレーム画像に設定している。したがって、調査対象フレーム画像ｆ-1を注目フレーム画像としたときには、ステップＳ２４０において、ＣＰＵ３１はすべての調査対象フレーム画像については選択処理を終えていないと判断し、ステップＳ２００に戻って調査対象フレーム画像ｆ1を新たな注目フレーム画像に設定し、ステップＳ２１０以下の処理を行なう。引き続き、調査対象フレーム画像ｆ2を注目フレーム画像とする処理を行なうと、ステップＳ２４０において、ＣＰＵ３１は、すべての調査対象フレーム画像について処理対象候補として選択するか否かの調査を行なったと判断し、図８のフレーム画像選択処理を終了する。

図１１は、図８のフレーム画像選択処理において、各調査対象フレーム画像ｆ-1、ｆ1、ｆ2について角変位量θ_X、θ_Y、θ_Zを算出した様子を表わす説明図である。角変位量θ_X、θ_Y、θ_Zの内、１つでも上記閾値を超える値となる場合には、その調査対象フレーム画像は、処理対象候補とはならない。例示した上記条件下では、図１１に示す調査対象フレーム画像の内、調査対象フレーム画像ｆ1が、処理対象候補から除外されることになる。

Ｄ．画像解析によるフレーム画像選択処理：
以下、図６のステップＳ１３０である画像解析に基づく画像選択処理について説明する。ステップＳ１３０の処理は、既述したように、デジタルスチルカメラ２０の動きに起因するフレーム画像のずれを、画像解析によって検知し、フレーム間位置ずれが小さく、高解像度画像の生成に適したフレーム画像データを選択する処理である。ここでは、ステップＳ１２０で選択された各調査対象フレーム画像データＦaについて、時系列で１つ前のフレーム画像データＦa-1との間の位置ずれを、画像解析により求める。

ステップＳ１３０における位置ずれ検出の様子を、図１２に模式的に示す。例えば、図１１に示したように、調査対象フレーム画像データの内、フレーム画像データＦ-1およびＦ2が、ステップＳ１２０において処理対象候補として選択された場合には、ステップＳ１３０では、フレーム画像データＦ-1およびＦ2を、順次、注目フレーム画像データＦaに設定する。これによって、フレーム画像データＦ-1とＦ-2、および、フレーム画像データＦ2とＦ1との間の位置ずれが順次求められる。図１２では、ずれ量算出が行なわれるフレーム画像間を、実線矢印で示している。

ステップＳ１３０で行なう画像解析の方法は、例えば、フレーム画像データ間の各画素の輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法を用いることができる。以下に、勾配法の概要について説明する。

図９に示したように、２つのフレーム画像間の位置ずれは、Ｘ軸方向の並進ずれｕaとＹ軸方向の並進ずれｖaと回転ずれδaとによって表わすことができる。以下の説明では、表記の簡素化のため、フレーム番号aに対するフレーム番号a-1を、フレーム番号bと表記することとする。図１３は、勾配法によるフレーム間位置ずれの算出方法を示す説明図である。図１３（ａ）は、フレーム画像ｆa、ｆb上の所定の画素における輝度を示しており、図１３（ｂ）は、勾配法の原理を示している。ここで、注目フレーム画像ｆaは、画像中心を原点とし、横方向をＸa軸、縦方向をＹa軸とする直交座標系を有しており、（ｘai，ｙai）は、注目フレーム画像ｆa上の一の画素の座標を表わす。ここで、Ｂa（ｘai，ｙai）は、その画素の輝度を表わしている。また、フレーム画像ｆbは、画像中心を原点とし、横方向をＸb軸、縦方向をＹb軸とする直交座標系を有しており、フレーム画像ｆbにおいても同様に画素の座標およびその輝度を表記している。なお、ここでは、注目フレーム画像ｆa上の座標（ｘai，ｙai）の画素に対応する画素が、フレーム画像ｆb上の座標（ｘbi〜ｘbi+1，ｙbi〜ｙbi+1）の範囲に存在するものとし、その座標を、（ｘbi＋Δｘi，ｙbi＋Δｙi）とする。ここで、iは、各画素を区別する番号である。

図１３（ｂ）に示すように、注目フレーム画像ｆaにおける座標（ｘai，ｙai）の画素に対応する画素が、フレーム画像ｆb上の座標（ｘbi＋Δｘi，ｙbi＋Δｙi）にあるものとし、
ΔＢxi＝Ｂｂ（ｘbi+1，ｙbi）−Ｂb（ｘbi，ｙbi） …（１５）
とすると、
ΔＢxi・Δｘi＝Ｂa（ｘai，ｙai）−Ｂb（ｘbi，ｙbi） …（１６）
が成り立つ。ここで、Ｂa（ｘai，ｙai）およびＢb（ｘbi，ｙbi）を単にＢa，Ｂbと表わすと、
ΔＢxi・Δｘi−（Ｂa−Ｂb）＝０ …（１７）
を満たすΔｘiを求めれば、注目フレーム画像ｆａのＸ軸方向の並進ずれ量を求めることができる。

同様にして、
ΔＢyi＝Ｂｂ（ｘbi，ｙbi+1）−Ｂb（ｘbi，ｙbi） …（１８）
とすると、
ΔＢyi・Δｙi＝Ｂa（ｘai，ｙai）−Ｂb（ｘbi，ｙbi） …（１９）
が成り立つ。ここで、Ｂa（ｘai，ｙai）およびＢb（ｘbi，ｙbi）を単にＢa，Ｂbと表わすと、
ΔＢyi・Δyi−（Ｂa−Ｂb）＝０ …（２０）
を満たすΔyiを求めれば、注目フレーム画像ｆａのＹ軸方向の並進ずれ量を求めることができる。

ここで、式（１７）および式（２０）を満たすΔｘi，Δｙiを求めれば、注目フレーム画像ｆaにおける座標（ｘai，ｙai）の画素に対応する画素の、フレーム画像ｆb上における位置が分かることになる。この考え方を拡張して、注目フレーム画像ｆaを構成する全ての画素について共通するフレーム間位置ずれ（ｕa，ｖa，δa）を求めるには、最小自乗法を用いて以下のＳ²を最小にすればよい。
Ｓ²＝Σ｛ΔＢxi・Δｘi＋ΔＢyi・Δｙi−（Ｂa−Ｂb）｝² …（２１）

ここで、フレーム間位置ずれ（ｕa，ｖa，δa）と、各画素についてのΔｘi、Δｙiとの関係を以下に説明する。図１４は、画素の回転ずれ量を模式的に示す説明図である。フレーム画像ｆbの座標（ｘb，ｙb）の原点Ｏからの距離をｒとし、Ｘb軸からの回転角度をθとすると、ｒ，θは、以下の式で表わされる。
ｒ＝（ｘb²＋ｙb²）^1/2 …（２２）
θ＝tan^-1（ｙb／ｘb） …（２３）

ここで、注目フレーム画像ｆaとフレーム画像ｆbとの間に並進ずれはなく、回転ずれのみが発生しているものとし、注目フレーム画像ｆaにおける座標（ｘa，ｙa）の画素が、フレーム画像ｆb上の座標（ｘb，ｙb）の位置から回転ずれ量δaだけ回転した座標（ｘb’，ｙb’）にあるとする。この回転ずれ量δaによるＸb軸方向の移動量Δｘと、Ｙb軸方向の移動量Δｙとは、以下の式により求められる。なお、回転ずれ量δaは微少量であるとして、cosδa≒１、sinδa≒δの近似式を用いている。
Δｘ＝ｘb’−ｘb≒−ｒ・δa・sinθ＝−δa・ｙb …（２４）
Δｙ＝ｙb’−ｙb≒ｒ・δa・cosθ＝δa・ｘb …（２５）

したがって、式（２１）における各画素についてのΔｘi、Δｙiは、フレーム間位置ずれ（ｕa、ｖa、δa）を用いて、以下の式のように表わすことができる。
Δｘi＝ｕa−δa・ｙbi …（２６）
Δｙi＝va＋δa・ｘbi …（２７）

上記式（２６），（２７）を、上記式（２１）に代入すると、以下の式が得られる。
Ｓ²＝Σ｛ΔＢxi・（ｕa−δa・ｙbi）＋ΔＢyi・（va＋δa・ｘbi）−（Ｂa−Ｂb）｝² …（２８）

すなわち、式（２８）のＳ²を最小にするｕa、ｖa、δaを最小自乗法によって求めることで、フレーム間位置ずれを、精度良く検出することができる。なお、実施例では、図６のステップＳ１３０において、上記した勾配法によりフレーム間位置ずれを算出することとしたが、画素解析によりずれ量を求めることができれば他の手法を用いても良い。

図６のステップＳ１３０では、ステップＳ１２０で選択された各調査対象フレーム画像データＦaについて、フレーム間位置ずれを画像解析により上記のようにして求め、求めたフレーム間位置ずれに基づいて、位置ずれが小さく高解像度画像を生成するために適したフレーム画像を選択する。このような選択処理は、ステップＳ１２０における選択処理と同様に、算出したフレーム間位置ずれ（ｕa，ｖa，δa）と、所定の閾値とを比較して、閾値を超える値を示すフレーム画像を除外することにより行なえばよい。用いる閾値は、ステップＳ１２０と同じ（式（７'）、（８'）、（９'）参照）であっても良く、異なる値としても良い。

Ｅ．合成処理：
ステップＳ１４０では、ステップＳ１２０およびＳ１３０を経て、最終的にステップＳ１３０で選択された調査対象フレーム画像データ（以下、合成用フレーム画像データと呼ぶ）を用いて、高解像度画像データの生成を行なう。高解像度画像を生成する際には、まず、基準フレーム画像ｆ0と、各合成用フレーム画像データが表わす画像（合成用フレーム画像）との間の位置ずれ量を求める。すなわち、ステップＳ１３０では、ステップＳ１２０で選択された調査対象フレーム画像の各々について、時系列で１つ前のフレーム画像との間のずれ量を算出したが、ステップＳ１４０では、改めて、各合成用フレーム画像と基準フレーム画像とのずれ量を算出するのである。ステップＳ１４０で行なわれるずれ量算出の様子を、既述した図１２に併せて示している。図１２では、ステップＳ１２０で調査対象フレーム画像データＦ1が除外され、ステップＳ１３０では、残りのいずれの調査対象フレーム画像データも除外されなかった場合を例示している。この場合には、ステップＳ１４０では、基準フレーム画像ｆ0と調査対象フレーム画像ｆ-1との間のずれ量、および、基準フレーム画像ｆ0と調査対象フレーム画像ｆ2との間のずれ量が算出される。基準フレーム画像ｆ0との間のずれ量は、ステップＳ１３０におけるフレーム間位置ずれの計算と同様にして、画素解析により行なえばよい。

なお、ステップＳ１４０では、ステップＳ１３０において算出したフレーム間位置ずれを利用して、基準フレーム画像ｆ1との間のずれ量を算出可能となる場合がある。例えば、調査対象フレーム画像ｆ1がステップＳ１２０で除外されておらず、ステップＳ１３０では、調査対象フレーム画像ｆ1と基準フレーム画像ｆ0との間のフレーム間位置ずれが算出されたとする。この場合には、ステップＳ１４０で基準フレーム画像ｆ0と調査対象フレーム画像ｆ2との間のずれ量を算出する際には、ステップＳ１３０で算出した調査対象フレーム画像ｆ1におけるフレーム間位置ずれ（画像ｆ0−ｆ1間）と、調査対象フレーム画像ｆ2におけるフレーム間位置ずれ（画像ｆ1−ｆ2間）とを積算すればよい。

図１５，１６は、ずれ量算出に引き続き実行される高解像度画像生成のための処理の様子を示す図である。図１５は、基準フレーム画像ｆ0と、合成用フレーム画像ｆ-1，ｆ2とを、ずれ量を補正して配置した様子を拡大して示している。図１５では、画像合成処理によって生成される高解像度画像データが表わす画像（以下、高解像度画像とよぶ）の各画素が、黒丸で示されていると共に、基準フレーム画像ｆ0の各画素が白抜きの四辺形で示され、合成用フレーム画像ｆ-1，ｆ2の各画素が、ハッチングを付した四辺形で示されている。なお、高解像度画像の画素密度は、基準フレーム画像ｆ0に対して、縦横１．５倍密に設定されるものとする。また、高解像度画像の各画素は、２画素おきに基準フレーム画像ｆ0の各画素に重なる位置にあるものとする。ただし、高解像度画像の画素が、必ずしも基準フレーム画像ｆ0の各画素に重なる位置にある必要はない。例えば、高解像度画像の各画素のすべてが、上記のように基準フレーム画像ｆ0の画素と重なる代わりに、基準フレーム画像ｆ0の画素の中間に位置するなど、重なり具合を任意に変更することが可能である。また、高解像度画像の画素密度も、縦横１．５倍密に限られるものではなく、任意の値に設定可能である。

高解像度画像が有する一の画素である画素Ｇ(j)に注目して説明する。以下、画素(j)を、注目画素と呼ぶ。ここで、変数jは、高解像度画像の全画素を区別する番号を示している。ＣＰＵ３１は、各フレーム画像ｆ-1，ｆ0，ｆ2において、注目画素Ｇ(j)に対して最も近い画素（それぞれ、画素Ｐ(-1)，Ｐ(0)，Ｐ(2)）と、注目画素Ｇ(j)との距離Ｌ-1，Ｌ0，Ｌ2とを算出する。そして、ＣＰＵ３１は、注目画素Ｇ(j)に最も近い距離にある画素（以下、「最近傍画素」と呼ぶ）を決定する。図１５の例では、Ｌ2＜Ｌ0＜Ｌ-1であるので、フレーム画像ｆ2の画素Ｐ(2)が、注目画素Ｇ(j)の最近傍画素として決定される。なお、このように決定された最近傍画素が、合成用フレーム画像ｆ2のi番目の画素であるとして、以下、最近傍画素Ｐ（２，i）と表記する。

ＣＰＵ３１は、高解像度画像を構成するすべての画素を、順次注目画素に設定して、上記した処理を繰り返し実行し、それぞれの画素について最近傍画素を決定する。

ＣＰＵ３１は、注目画素Ｇ(j)の画素値を、決定された最近傍画素を含む画像（図１５に示す例では、フレーム画像ｆ2）において注目画素Ｇ(j)を囲む画素の画素値を用いて、バイ・リニア法などの補間処理によって生成する。図１６は、バイ・リニア法による補間処理について示す説明図である。注目画素Ｇ(j)は、フレーム画像ｆ-1，ｆ0，ｆ2のいずれにも存在しない画素であるので、画素値が存在していない。そこで、ＣＰＵ３１は、最近傍画素Ｐ（２，i）の他、注目画素Ｇ(j)を囲む３つの画素Ｐ（２，i+1）、Ｐ（２，k）、Ｐ（２，k+1）で区画される領域を、上記最近傍画素を含む４つの画素と注目画素Ｇ(j)との位置関係に基づいて４つの区画に分割し、その面積比で対角位置の画素の画素値をそれぞれ重み付けして加算することにより、注目画素Ｇ(j)の画素値を生成する。ただし、kは、i番目の画素にフレーム画像ｆ2の横方向の画素数を加えた画素の番号を示している。

ＣＰＵ３１は、高解像度画像を構成するすべての画素について、上述した処理によって画素値を生成し、高解像度画像を合成する。なお、画素補間処理の方法については、バイ・リニア法の他、バイ・キュービック法やニアレストネイバ法等の種々の補間方法を用いることができる。

以上のように構成された本実施例の画像処理装置によれば、高解像度画像合成処理に先立って、撮影時にデジタルスチルカメラ２０の動きが所定の閾値以上であったフレーム画像データを予め除外し、上記動きが小さかったフレーム画像データだけを選択して用いるため、高画質化に充分に寄与しない画像を用いて合成を行なってしまうことがなく、生成した画像において、充分な高画質化が実現可能となる。その際、角速度センサの検出値から比較的単純な積分計算により算出される角変位量に基づいて上記選択を行なうため、高画質化に充分に寄与しないと判断されるべき画像データに対して、複雑な画素解析を行なう必要がない。このように、高画質化に寄与する可能性の高い画像データに対してだけ画素解析を行なえばよいため、効率よく高解像度画像を生成することができ、高解像度画像を生成する処理を高速化することができる。さらに、本実施例では、デジタルスチルカメラ２０の動き情報に基づいて、高画質化に充分に寄与しないフレーム画像データを処理対象から排除することで、画素解析を伴う処理の対象となるフレーム画像データの数が減るため、画質向上の性能を維持しつつ、さらなる処理の高速化が可能となる。

なお、角速度センサは、一般に、回転移動を検知することはできるが、平行移動を検知することはできない。本実施例では、ステップＳ１２０の角速度に基づくフレーム画像選択処理に引き続き、画素解析によるフレーム画像選択処理を行なっているため、デジタルスチルカメラ２０における角速度センサでは検出できない動きに起因して画像にぶれが生じた場合にも、このような画像を、合成処理の対象から除外すことができる。これにより、高画質化に充分に寄与しないフレーム画像を、精度良く処理対象から排除することができる。

Ｆ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｆ１．変形例１（動き情報に関する変形例）：
実施例では、画像データの生成時におけるデジタルスチルカメラ（画像生成装置）の動きに関する情報（画像生成時動き情報）を、デジタルスチルカメラ２０に搭載した角速度センサによって検出しているが、異なる種類のセンサを用いることとしても良い。例えば、角加速度を検出するセンサや、角変位量を検出するセンサ、あるいは、平行移動を検知する加速度センサを、角速度センサに代えて、あるいはさらに加えて用いることとしても良い。ここで、画像生成装置の動きが撮影された画像に影響する程度は、通常は、画像生成装置が平行移動するときよりも、回転移動するときの方がはるかに大きい。したがって、回転移動を検出可能なセンサ（角速度センサ、角加速度センサ、角変位量センサ等）を少なくとも備えることが望ましい。ＣＰＵ３１は、角加速度が与えられる場合には、角加速度を積分して角速度を算出し、さらにこれを積分して角変位量を求めれば良く、角変位量が与えられる場合には、そのまま閾値と比較して、フレーム画像の選択に用いることが可能となる。なお、等速の回転運動を検出するためには、回転移動を検出可能な上記センサの中でも、角速度センサまたは角変位量センサを用いることとすればよい。いずれのセンサを用いる場合にも、さらにステップＳ１３０に示したような画像解析によるフレーム画像選択処理を行なうならば、センサにより検出できないフレーム画像のずれを検出して、フレーム画像の選択をより適切に行なうことが可能となる。

また、ステップＳ１２０の角速度に基づくフレーム画像選択処理における角変位量の算出に先だって、検出値である角速度だけに基づいて、予めさらなるフレーム選択を行なうこととしても良い。すなわち、角速度の閾値として、角変位量を計算すると閾値を超える可能性が高いと考えられる所定の基準値を定めておき、あるフレーム画像データの生成時に対応する角速度の値が、この基準値を超える値を有するときには、角変位量を算出することなくそのフレーム画像データを処理対象から排除することとしても良い。

Ｆ２．変形例２（フレーム画像選択に関する変形例）：
実施例では、ステップＳ１００でフレーム画像データを取得する際に、基準フレーム画像データと共に、基準フレーム画像データに対して時系列で前１フレームと後２フレームとを調査対象フレーム画像データとして取得したが、後３フレームを取得、あるいは、前２フレームと後１フレームとを取得するなど、異なる取得法としても良い。また、３フレーム以外の複数のフレーム数に相当するフレーム画像データを取得しても良い。

実施例では、処理対象から排除されたフレーム画像データがある場合には、そのまま処理対象のフレーム画像データ数を減らして、全体の処理速度を高速化しているが、処理対象のフレーム画像データ数を一定数確保して、さらなる高画質化を図ることとしても良い。例えば、ステップＳ１００において、調査対象フレーム画像データを、基準フレーム画像データに対して前後５フレーム、計１０フレーム取得して、ステップＳ１２０で算出したフレーム間位置ずれがより小さいフレーム画像データを、時系列で基準フレーム画像データに近い順に所定数選択して処理対象とすることとしても良い。このような処理の具体例を図１７に示す。図１７の例では、角変位量の値が既述した閾値以下である調査対象フレーム画像データの内、時系列で基準フレーム画像データに近い順に、フレーム画像データＦ-2，Ｆ-1，Ｆ1が選択されている。この場合にも、高画質化に充分に寄与しない可能性の高い画像データを用いて画素解析を行なうことがないため、処理の高速化の効果が得られる。

実施例では、ユーザによる指示のタイミングに応じて基準フレーム画像データを設定しているが、異なる方法で基準フレーム画像データを設定しても良い。例えば、ユーザによる指示のタイミングに対応するフレーム画像データの近傍から、画像生成時動き情報に基づいて、フレーム間位置ずれの一番小さいフレーム画像データを、基準フレーム画像データとして設定することとしても良い。これにより、ユーザが指示入力した際の意図に沿いつつ、さらなる高画質化が可能となる。

Ｆ３．変形例３（処理の工程における変形例）：
実施例では、ステップＳ１２０の画像選択処理に加えて、さらにステップＳ１３０の画像解析による画像選択処理を行なうことで、センサでは検知できない画像生成装置の動きがあった場合にも、高画質化を確保可能としているが、画像解析による画像選択処理を行なわないこととしても良い。たとえば、画像生成装置の平行移動はフレーム画像のずれへの影響が少ないため、平行移動を検出できない角速度センサ等のセンサを用いる場合に、ステップＳ１３０の画像解析による画像選択処理を行なわないこととしても良い。この場合には、角速度情報からずれ量を算出し（式（４），（５），（６）参照）、算出したずれ量を用いて合成処理を行なうことで、処理の高速化を図っても良い。この場合にも、画像生成時動き情報に基づいて予め画像選択することで、処理時間を短縮すると共に高画質を確保する効果を得ることができる。

実施例では、焦点距離ｆは一定としたが、ズーム機能を利用して焦点距離を変化させても良い。この場合には、焦点距離の情報も各フレーム画像データと関連づけて記憶されるため、フレーム画像データ毎に対応する焦点距離を用いて、既述した計算を行なえばよい。

Ｆ４．変形例４（装置構成における変形例）：
実施例では、高解像度画像データを生成するために、デジタルスチルカメラ２０の動画撮影モードで生成された動画像データから複数のフレーム画像データを取得しているが、時系列に連続して生成された複数のフレーム画像データを、異なる態様により取得しても良い。例えば、デジタルスチルカメラにおける静止画像撮影モードの連写モードで撮影された複数の画像データを取得しても良く、あるいは、デジタルビデオカメラで撮影された動画像データを取得しても良い。

また、実施例のデジタルスチルカメラ２０では、角速度センサが検出した角速度Ｖ_X，Ｖ_Y，Ｖ_Zを、そのまま画像ファイルＧＦに記憶して、画像処理装置として機能するパーソナルコンピュータ３０に供しているが、デジタルスチルカメラ２０内の制御部１００内で積分処理を実行し、算出した角変位量を出力することとしても良い。このような場合には、角変位量θ_X、θ_Y、θ_Zと画像データとを関連付けて、画像ファイルＧＦを作成すればよい。この場合には、パーソナルコンピュータ３０のＣＰＵ３１は、入力した角変位量θ_X、θ_Y、θ_Zと既述した所定の閾値とを比較することで、直ちにフレーム画像の選択を行なうことができる。

あるいは、実施例では画像処理装置としての機能をパーソナルコンピュータ３０が備えることとしたが、デジタルスチルカメラやデジタルビデオカメラ等の画像生成装置や、プリンタ等の出力装置に、画像処理装置としての機能を備えさせてもよい。

また、実施例では、画像生成装置の動き情報を生成するセンサを、画像生成装置であるデジタルスチルカメラ自身が備えることとしたが、センサと画像生成装置とを別体とする構成も可能である。例えば、デジタルスチルカメラ２０を三脚に固定する際に用いる雲台に角速度センサを設けても良い。このような場合には、例えば、デジタルスチルカメラ２０のメモリカードＭＣとは別の記録媒体に、角速度センサの検出値を、画像データの生成のタイミングと関連付けて記憶しておけばよい。そして、画像処理時に、経時的に連続して生成された複数のフレーム画像データの各々の生成タイミングと、角速度の検出タイミングとの時間軸上での対応関係が認識できればよい。これによって、実施例と同様の処理を行ない、同様の効果を得ることができる。

画像処理システム１０の構成を表わす説明図である。 デジタルスチルカメラ２０の概略構成を表わす説明図である。 デジタルスチルカメラ２０の向きの変化を説明する概略図である。 画像ファイルＧＦの構成を模式的に示す説明図である。 ＣＰＵ３１における高解像度画像生成処理に関する機能ブロック図である。 高解像度画像生成処理の概要を表わすフローチャートである。 動画像データＭＤから４つのフレーム画像データが取得された様子を表わす説明図である。 角速度に基づく画像選択処理の概要を表わすフローチャートである。 注目フレーム画像ｆaにおけるフレーム間位置ずれを示す説明図である。 デジタルスチルカメラ２０のＸ軸周りの動きと、撮像デバイス１４４上における被写体の位置ずれとの関係を示す説明図である。 調査対象フレーム画像ｆ-1、ｆ1、ｆ2について角変位量θ_X、θ_Y、θ_Zを求めた様子を表わす説明図である。 位置ずれ量を求める様子を模式的に表わす説明図である。 勾配法によるフレーム間位置ずれの算出方法を示す説明図である。 画素の回転ずれ量を模式的に示す説明図である。 高解像度画像生成のための処理の様子を示す図である。 高解像度画像生成のための処理の様子を示す図である。 フレーム画像選択に関する変形例を示す説明図である。

符号の説明

１０…画像処理システム
２０…デジタルスチルカメラ
３０…パーソナルコンピュータ
３１…ＣＰＵ
３２…ＲＯＭ
３３…ＲＡＭ
３４…ＨＤＤ
３５…Ｉ／Ｆ回路
４０…操作部
４１…キーボード
４２…マウス
４３…ディスプレイ
５０…カラープリンタ
１００…制御部
１１０…コントローラ
１２０…画像処理部
１３０…信号変換部
１４０…撮影部
１４２…レンズ
１４４…撮像デバイス
１５０…メモリカードドライブ
１６１，１６２，１６３…角速度センサ
Ｍ３１０…画像データ取得部
Ｍ３２０…情報取得部
Ｍ３３０…第１の画像データ判定部
Ｍ３４０…第２の画像データ判定部
Ｍ３５０…高解像度画像生成部
Ｒ１００…主情報格納領域
Ｒ１１０…付属情報格納領域

Claims (4)

1. 画像生成装置によって時系列に連続して生成された、第１の解像度を有する複数の画像データである、動画像データあるいは連写モードにて撮影された複数の静止画像データを用いて、前記第１の解像度より解像度の高い高解像度画像データを生成する画像処理装置であって、
   前記複数の画像データを取得する画像データ取得部と、
   前記取得した画像データと関連付けられており、前記取得した画像データの生成時における前記画像生成装置の回転移動に係る動きに関する画像生成時動き情報として、前記画像生成装置に備えられたセンサが検出した情報、または、前記センサが検出した情報に基づいて算出される情報を取得する動き情報取得部と、
   前記複数の画像データの各々に対応する前記画像生成時動き情報に基づいて、各々の前記画像データが、前記高解像度画像データの生成に適しているか否かを判定する第１の画像データ判定部と、
   前記第１の画像データ判定部が前記高解像度画像データの生成に適していると判定した第１の画像データについて、前記第１の画像データを解析することによって、前記画像データの生成時における前記画像生成装置の平行移動によるずれを含む前記画像データ間のずれに基づいて、前記第１の画像データが前記高解像度画像データの生成に適しているか否かを判定する第２の画像データ判定部と、
   前記複数の画像データの中から、前記第１および第２の画像データ判定部により前記高解像度画像データの生成に適していると判定された選択画像データを用いて、前記選択画像データが有する画素とは重ならない画素の画素値を生成する補間処理を行なうことによって、前記高解像度画像データを生成する高解像度画像生成部と
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像生成時動き情報は、前記画像生成装置の向きの変化を示す角変位量、角速度、角加速度のうちの、少なくともいずれかを含み、
   前記画像生成装置の向きの変化は、前記画像生成装置におけるピッチ方向の角度変化と、前記画像生成装置におけるヨー方向の角度変化と、前記画像生成装置におけるロール方向の角度変化とのうちの、少なくとも一つを含み、
   前記第１の画像データ判定部は、所定の画像データの生成時における前記画像生成時動き情報に基づく前記画像生成装置の動き量が、所定値を超える場合に、前記所定の画像データが前記高解像度画像データの生成に適していないと判定する
   画像処理装置。
3. 画像生成装置によって時系列に連続して生成された、第１の解像度を有する複数の画像データである、動画像データあるいは連写モードにて撮影された複数の静止画像データを用いて、前記第１の解像度より解像度の高い高解像度画像データを生成する、演算手段を有する画像処理装置で実行される画像処理方法であって、
   前記演算手段が、前記複数の画像データを取得する工程と、
   前記演算手段が、前記取得した画像データと関連付けられており、前記取得した画像データの生成時における前記画像生成装置の回転移動に係る動きに関する画像生成時動き情報として、前記画像生成装置に備えられたセンサが検出した情報、または、前記センサが検出した情報に基づいて算出される情報を取得する工程と、
   前記演算手段が、前記複数の画像データの各々に対応する前記画像生成時動き情報に基づいて、各々の前記画像データが、前記高解像度画像データの生成に適しているか否かを判定し、その後さらに、前記画像生成時動き情報に基づいて前記高解像度画像データの生成に適していると一旦判定した画像データについて、該画像データを解析することによって、前記画像データの生成時における前記画像生成装置の平行移動によるずれを含む前記画像データ間のずれに基づいて、前記第１の画像データが前記高解像度画像データの生成に適しているか否かを判定する工程と、
   前記演算手段が、前記複数の画像データの中から、前記判定する工程において前記高解像度画像データの生成に適していると判定された選択画像データを用いて、前記選択画像データが有する画素とは重ならない画素の画素値を生成する補間処理を行なうことによって、前記高解像度画像データを生成する工程と
   を含む画像処理方法。
4. 画像生成装置によって時系列に連続して生成された、第１の解像度を有する複数の画像データである、動画像データあるいは連写モードにて撮影された複数の静止画像データを用いて、前記第１の解像度より解像度の高い高解像度画像データを生成する画像処理を実行するコンピュータプログラムであって、
   前記複数の画像データを取得する画像データ取得機能と、
   前記取得した画像データと関連付けられており、前記取得した画像データの生成時における前記画像生成装置の回転移動に係る動きに関する画像生成時動き情報として、前記画像生成装置に備えられたセンサが検出した情報、または、前記センサが検出した情報に基づいて算出される情報を取得する動き情報取得機能と、
   前記複数の画像データの各々に対応する前記画像生成時動き情報に基づいて、各々の前記画像データが、前記高解像度画像データの生成に適しているか否かを判定する第１の画像データ判定機能と、
   前記第１の画像データ判定機能が前記高解像度画像データの生成に適していると判定した第１の画像データについて、前記第１の画像データを解析することによって、前記画像データの生成時における前記画像生成装置の平行移動によるずれを含む前記画像データ間のずれに基づいて、前記第１の画像データが前記高解像度画像データの生成に適しているか否かを判定する第２の画像データ判定機能と、
   前記複数の画像データの中から、前記第１および第２の画像データ判定機能により前記高解像度画像データの生成に適していると判定された選択画像データを用いて、前記選択画像データが有する画素とは重ならない画素の画素値を生成する補間処理を行なうことによって、前記高解像度画像データを生成する高解像度画像生成機能と
   をコンピュータに実現させるコンピュータプログラム。

Images