JP4886888B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、低解像度の動画像のフレームを超解像処理技術等を用いて高解像度化する技術に関する。

近年、デジタルカメラやデジタルビデオカメラ等の撮像装置において、高速なシャッタスピードで撮影した、フレームレートの高い動画像を撮影する機能を有するものがある。このような高フレームレートの動画像の撮影技術は、被写体ブレが起きるような撮影シーンや、シャッターチャンスを逃したくない撮影シーン等において活用されている。このような高フレームレートの動画像を撮影して記録する際、通常の撮影に比べ、１秒間に撮影されるフレーム数が多いため、記録処理における処理能力の限界に合わせて、フレームレートが高い動画像ほど、画素数を少なくする必要がある。即ち、フレームレートが高い動画像の、１フレームの画像の解像度は低くなる。これは、撮像のフレームレートを高くすることで、ＣＭＯＳセンサ等の撮像素子の読み出し速度や、記録媒体への書き込み速度の制限を越える場合は、記録処理に失敗してしまう可能性が存在するからである。

一方で、テレビ受像機等の表示装置において、デジタルテレビ放送の開始等に合わせて表示解像度は向上している。このため、上述した高フレームレートで低解像度の動画像を、表示解像度が高い表示装置で、表示領域に合わせて拡大して表示する際は、視聴者に画像が不鮮明である印象を与える。特に、動画像を一時停止した際等の、フレームの画像を静止画として表示する場合には、視聴者に画像が不鮮明である印象を与える。

これに対し、高フレームレートの動画像を一時停止した際等に、低解像度の複数フレームの画像を参照して、超解像処理を適用することにより、高解像度の画像を生成して表示装置に表示する技術が知られている。特許文献１には、表示解像度と、高フレームレートの動画像のフレームの解像度との比から、超解像処理で参照するフレーム数を決定する技術が開示されている。

特開２００５−１９７９１０号公報

一般的には、超解像処理を行う際には、参照する低解像度の画像が多いほど、得られる高解像度化された画像の画質は向上する。また、参照する低解像度の画像において、ある程度の被写体の移動によるズレや光源の変化が存在しなければ、高解像度化した際の画素間に生じる補間画素を生成することは困難である。このため従来技術のように、動画像の解像度と、表示解像度の比のみで超解像処理を行う際の参照フレーム数を決定すると、例えばフレームレートが高く、フレーム間で被写体のズレがほとんど存在しないような場合は、高画質な結果を得ることができなかった。

本発明は、上述の問題点に鑑みてなされたものであり、低解像度の動画像のフレームから高解像度な画像を生成する際に、超解像処理（高解像度化処理）において参照するフレーム数を適切に決定できるようにすることを第１の目的とする。
また、低解像度の動画像のフレームから高解像度な画像を生成する際に、超解像処理（高解像度化処理）において参照する所定数のフレームの間隔を適切に決定できるようにすることを第２の目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
動画像のフレームレートを検出する検出手段と、動画像の対象フレームを含む複数のフレームの画像を用いて、対象フレームよりも高解像度の画像を生成する高解像度化手段と、検出手段で検出されたフレームレートに基づいて、高解像度化手段で用いる複数のフレームの画像の枚数を決定する決定手段とを備え、決定手段は、検出手段で検出されたフレームレートが高いほど、高解像度化手段で用いる複数のフレームの画像の枚数を多くすることを特徴とする。

本発明の他の画像処理装置は、以下の構成を備える。
動画像のフレームレートを検出する検出手段と、動画像の対象フレームを含む複数のフレームの画像を用いて、対象フレームよりも高解像度の画像を生成する高解像度化手段と、検出手段で検出されたフレームレートに基づいて、高解像度化手段で用いる複数のフレームの画像の、フレームの間隔を決定する決定手段と、を備え、決定手段は、検出手段で検出されたフレームレートが高いほど、高解像度化手段で用いるフレームの間隔を大きくすることを特徴とする。

このような構成により本発明によれば、低解像度の動画像のフレームから高解像度な画像を生成する際に、動画像のフレームレートに応じて、超解像処理（高解像度化処理）において参照するフレーム数を適切に決定することが可能になる。

また、低解像度の動画像のフレームから高解像度な画像を生成する際に、動画像のフレームレートに応じて、超解像処理（高解像度化処理）において参照する所定数のフレームの間隔を適切に決定することが可能になる。

本発明の実施形態１に係るＰＣの機能構成を示すブロック図。 可変フレームレートの動画像を説明するための図。 実施形態１の超解像画像表示処理のフローチャート。 実施形態１に係る参照フレーム決定処理のフローチャート。 実施形態１に係る超解像画像生成処理のフローチャート。 実施形態１に係る超解像画像生成処理を説明するための図。 実施形態２に係る参照フレーム決定処理のフローチャート。 実施形態２に係る超解像画像生成処理を説明するための図。

（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、フレームレートの高い動画像が再生可能なＰＣに、本発明を適用した例を説明する。しかし、本発明は、フレームレートの高い動画像が再生することが可能な任意の機器に適用可能である。なお、本実施形態において「フレームレート」とは、動画像データを撮像時のシャッタスピードによって定義される値であって、再生時のフレームレートとは必ずしも一致しない。

図１は、本発明の実施形態１に係るＰＣ１００の機能構成を示すブロック図である。
ＣＰＵ１０１は、ＰＣ１００の各ブロックの動作を制御するために、各ブロックのレジスタ設定を行う。ＣＰＵ１０１は、ＰＣ１００の各ブロックの動作プログラムを、例えば後述するＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより、ＰＣ１００の各ブロックの動作を制御する。ＲＯＭ１０２は、読み書き可能な不揮発性メモリであり、ＰＣ１００の各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等の設定を記憶する。ＲＡＭ１０３は、ＰＣ１００が備えるワークメモリであり、例えば動画像の一時的な記憶メモリとして用いられる。

映像入力部１０４は、例えば映像入力ボード等の、ＰＣ１００に接続された外部装置から動画像を受信するブロックであり、入力された動画像をＲＡＭ１０３及びフレームレート検出部１０５に出力する。フレームレート検出部１０５は、入力された動画像のフレームレートを検出し、例えばＲＡＭ１０３に動画像の各フレームのフレームレートの情報を出力する。フレームレートの情報は、例えば動画像の垂直同期信号の計測や、動画像に付加されているフレーム情報から取得することが可能である。

ここで、本実施形態において、映像入力部１０４より入力される動画像のフレーム構成について、図２を用いて説明する。本実施形態の動画像は可変フレームレートの動画像であるものとし、図２は、動画像のフレーム構成を、撮像時のシャッタスピードの概念を加えて、わかりやすく表現した図である。図のように、動画像２００には、通常フレームレート部２０１と、高フレームレート部２０２が存在する。通常フレームレート部２０１は、例えば２４ｆｐｓ、３０ｆｐｓ，６０ｆｐｓ等の動画像再生装置が一般的に対応している再生可能なフレームレートで撮像されたフレームで構成される。また、高フレームレート部２０２は、例えば２４０ｆｐｓ、３００ｆｐｓ、６００ｆｐｓ、１２００ｆｐｓ等の、高いフレームレートで撮像されたフレームで構成されている。フレームレート検出部１０５は、このような構成の全てのフレームについて、撮像時のフレームレートの情報を検出可能である。

フレーム決定部１０６は、例えば動画像の再生を一時停止した際に、ＲＡＭ１０３に記憶されている一時停止したフレームのフレームレートの情報を取得し、超解像画像生成処理で参照するフレームの数と、参照するフレームを決定する。また、フレーム決定部１０６は、決定した参照するフレームの情報を、超解像処理部１０７に伝送する。超解像処理部１０７は、複数の低解像度の画像に対して超解像画像生成処理を適用し、高画質な高解像度の画像を生成するブロックである。超解像処理部１０７は、受信した参照するフレームの情報に対応する、動画像のフレームの画像をＲＡＭ１０３より取得し、超解像画像生成処理を行う。

操作入力部１０９は、ＰＣ１００が備える、ユーザからの入力操作を受信、解析する入力インタフェースであり、入力された操作の内容を、ＣＰＵ１０１に伝える。表示部１１０は、例えばＰＣ１００に接続されるＬＣＤ等の表示装置であり、動画像の表示に用いられる。なお、ＣＰＵ１０１は表示装置接続時等に、表示部１１０の表示領域の表示解像度の情報を取得可能であるものとし、表示解像度の情報を例えばＲＯＭ１０２に記憶する。

（超解像画像表示処理）
このような構成をもつ本実施形態のＰＣ１００の、超解像画像表示処理について、図３のフローチャートをさらに用いて説明する。なお、本超解像画像表示処理は、操作入力部１０９において動画像の再生指示を受信した場合に開始する。

ＣＰＵ１０１は、操作入力部１０９から、動画像の再生指示の入力があったことを受信すると、動画像の、再生開始フレームの画像をＲＡＭ１０３より取得し、表示部１１０に伝送し、表示させる（Ｓ３０１）。Ｓ３０２で、ＣＰＵ１０１は、操作入力部１０９が、動画像の再生の一時停止指示を受信したかを判断する。一時停止指示を受信した場合は、ＣＰＵ１０１は処理をＳ３０３に移し、受信していない場合は、Ｓ３０１に処理を戻す。

Ｓ３０３で、ＣＰＵ１０１は、フレーム決定部１０６に、動画像の一時停止しているフレーム（超解像処理の対象フレーム）におけるフレームレートの情報をＲＡＭ１０３より読み出して伝送する。また、ＣＰＵ１０１は、対象フレームに連続するフレームのうち、対象フレームと同じフレームレートを有するフレームの範囲の情報をＲＡＭ１０３より読み出して伝送する。対象フレームと同じフレームレートを有するフレームの範囲の情報とは、例えば図２において、一時停止しているフレームが２０３であった場合に次の範囲を表す。即ち、図２において、一時停止フレーム２０３と同じフレームレートを有する高フレームレート部２０２であって、一時停止フレーム２０３が含まれるものを表す。そして、ＣＰＵ１０１は、フレーム決定部１０６に参照フレーム決定処理を行わせる。

（参照フレーム決定処理）
ここで、本実施形態の参照フレーム決定処理について、図４のフローチャートを用いて詳細に説明する。

Ｓ４０１において、ＣＰＵ１０１は、例えばＲＯＭ１０２に記憶されているフレームレートの閾値１（Ｐ１）の情報をフレーム決定部１０６に伝送し、フレーム決定部１０６に、一時停止しているフレームにおけるフレームレートの値が閾値１（Ｐ１）以上であるか否かを判断させる。本参照フレーム決定処理において、Ｓ４０１以降のステップにおいても、フレームレートの閾値と、一時停止しているフレームにおけるフレームレートの値を比較する。フレームレートの閾値は、例えば再生している動画像に含まれる全てのフレームレートの情報を取得し、そのうちのいくつかを用いて設定すればよい。例えば、再生する動画像に含まれるフレームレートの情報が、１２００ｆｐｓ、６００ｆｐｓ、２４０ｆｐｓ、６０ｆｐｓの４つである場合は、閾値として前述した６０ｆｐｓ以外の３つのフレームレートを設定してもよい。また、例えば６００ｆｐｓと２４０ｆｐｓのように閾値を設定しても良い。その他、フレームレートの閾値は、再生する動画像によらず、ＰＣ１００において固有に設定された値、又はユーザによって設定可能な値であっても良い。本実施形態では、再生する動画像に３種類のフレームレートの情報が存在し、閾値を２つ設ける場合について説明する。

一時停止しているフレームにおけるフレームレートの値が閾値１（Ｐ１）以上であった場合、ＣＰＵ１０１は、処理をＳ４０２に移し、フレーム決定部１０６に参照するフレームの数（フレーム参照枚数）を１０として設定させる（フレーム数決定）。フレーム参照枚数の値は、例えばフレームレートに対応付けてＰＣ１００に予め設定されている値であり、それぞれのフレームレートにおいて、連続するフレームにおいてある程度の被写体の移動が確認できるようなフレーム数に設定されて良い。例えば、フレームレートの閾値１（Ｐ１）が６００ｆｐｓである場合、被写体の移動が少なくとも０．０１秒の間に確認できるものとして設定すると、フレーム参照枚数は０．０１秒／（１／６００ｆｐｓ）＝６枚より大きい値に設定される。フレーム参照枚数の値は、ユーザが設定可能な値でも良いが、フレームレートが高いほど、フレーム参照枚数の値も多くなるものとする。

なお、フレーム参照枚数の決定方法は、入力される動画像の解像度（入力解像度）及び動画像を表示する表示解像度（出力解像度）、一時停止しているフレームのフレームレート（入力フレームレート）及び表示する際の基準フレームレートの比で決定してもよい。例えば、入力解像度が１００画素、出力解像度が４００画素、入力フレームレートが２４０Ｈｚ、基準フレームレートが６０Ｈｚのとき、フレーム参照枚数は、
フレーム参照枚数
＝（出力解像度／入力解像度）×（入力フレームレート／基準フレームレート）
＝（４００／１００）×（２４０／６０）＝１６
となり、フレーム参照枚数は１６枚となる。

Ｓ４０１で、一時停止しているフレームにおけるフレームレートの値が閾値１（Ｐ１）より小さい場合、ＣＰＵ１０１は処理をＳ４０３に移す。Ｓ４０３で、ＣＰＵ１０１は、フレーム決定部１０６にＲＯＭ１０２に記憶されているフレームレートの閾値２（Ｐ２）の情報を伝送し、フレーム決定部１０６に一時停止しているフレームにおけるフレームレートの値が閾値２（Ｐ２）以上であるか否かを判断させる。一時停止しているフレームにおけるフレームレートの値が閾値２（Ｐ２）以上であった場合、ＣＰＵ１０１は、処理をＳ４０４に移し、フレーム決定部１０６に参照するフレームの数を５として設定させる。また、一時停止しているフレームにおけるフレームレートの値が閾値２（Ｐ２）より小さかった場合、ＣＰＵ１０１は、処理をＳ４０５に移し、フレーム決定部１０６に参照するフレームの数を２として設定させる。閾値２（Ｐ２）は、例えば、閾値１（Ｐ１）の半分の値に設定される。

Ｓ４０６で、ＣＰＵ１０１は、フレーム決定部１０６に、設定した参照するフレームの数の情報と、一時停止しているフレームと同じフレームレートを有するフレームの範囲の情報とから、超解像画像生成処理に用いるフレームを決定させる。具体的には、フレーム決定部１０６は、一時停止しているフレームと同じフレームレートを有するフレームの中から、一時停止しているフレームを含み、一時停止しているフレームと連続する、フレーム参照枚数のフレームの情報を決定する。フレーム決定部１０６は、例えば図２において、フレーム参照枚数が１０であった場合、一時停止フレーム２０３が含まれる高フレームレート部２０２から、一時停止フレーム２０３を含んだ１０枚のフレームが、超解像画像生成処理に用いるフレームとして決定する。なお、超解像画像生成処理に用いるフレームは、一時停止しているフレームを中心とした、前後のフレームから決定しても良いし、一時停止しているフレームの直前、又は直後から決定しても良い。また、フレーム参照枚数が、一時停止しているフレームと同じフレームレートを有するフレームの範囲のフレーム数より多い場合は、例えばフレーム参照枚数に足りない分のフレームは、範囲の先頭フレームを複数用いることで補うとして決定しても良い。ＣＰＵ１０１は、このようにしてフレーム決定部１０６に決定させた、超解像画像生成処理に用いる参照するフレームの情報を、超解像処理部１０７に伝送させ、参照フレーム決定処理を完了する。
そして、Ｓ３０４において、ＣＰＵ１０１は超解像処理部１０７に、超解像画像生成処理を行わせる。

（超解像画像生成処理）
ここで、超解像画像生成処理について、図５のフローチャート及び図６を用いて説明する。
超解像処理部１０７は、ＣＰＵ１０１の制御の下、フレーム決定部１０６から受信した、超解像画像生成処理に用いる参照フレームの情報に従い、該当するフレームの画像をＲＡＭ１０３より取得する。そしてＳ５０１で、ＣＰＵ１０１は、超解像処理部１０７に、超解像画像生成処理に用いる参照フレームの画像のそれぞれにおいて、一時停止しているフレーム（対象フレーム）の画像との相対的な被写体像の位置ずれ量を算出する。

以下、Ｓ５０２からＳ５０４のステップは、フレーム毎の画像について適用する処理であり、超解像画像生成処理に用いる全ての参照フレームについて、繰り返し行う。
Ｓ５０２で、超解像処理部１０７は、対象のフレームについて補間画像を生成する。超解像処理部１０７は、Ｓ５０１で算出した対象のフレームの画像の位置ずれ量を補正し、動画像の解像度の画像から、表示解像度の大きさに高密度化した補間画像を生成する。例えば、バイリニア法を用いて補間画像を生成する場合は、対象のフレームの画像の画素を囲む周辺画素に、所定の重み付けを加えた値を平均することで、補間画素を生成する。

Ｓ５０３で、超解像処理部１０７は、Ｓ５０２で生成した対象のフレームの補間画像について、位置ずれ量とフレーム参照枚数に応じて定められる加重和係数を積算して、超解像画像として生成する画像データに加算する。Ｓ５０４では、全ての参照フレームについて処理が行われたかをＣＰＵ１０１は判断し、全ての参照フレームについて、Ｓ５０２及びＳ５０４の処理が行われるまで超解像処理部１０７に処理を繰り返させる。即ち、Ｓ５０３で超解像処理部１０７は、全ての参照フレームについて位置ずれを補正して生成された補間画像を、位置ずれ量に応じた加重和係数を積算して足し合わせることで、加重和超解像画像を生成する。例えば、図６のように、一時停止している対象フレーム（ｎ番目のフレーム）を基準として、その前後の参照フレーム（・・・，ｎ−２，ｎ−１，ｎ＋１，ｎ＋２，・・・）を用いて超解像画像生成処理を行う場合を考える。このとき、対象フレーム前後の参照フレームの、例えばｎ−１番目のフレームの位置ずれ量は、Δｘ_ｎ−１及びΔｙ_ｎ−１で表され、加重和係数ｋはこの二つの位置ずれ量と、フレーム参照枚数ｍから、
ｋ＝ｆ（Δｘ_ｎ−１，Δｙ_ｎ−１，ｍ）
というような関数で表現される。また、Ｓ５０５で超解像処理部１０７は、Ｓ５０２からＳ５０４の繰り返し処理で得られた加重和超解像画像に対して加重平均することにより、高解像度で高画質な超解像画像を得る。このようにして、高画質な超解像画像が生成されると、ＣＰＵ１０１は超解像画像生成処理を完了する。

そしてＳ３０５で、ＣＰＵ１０１は超解像処理部１０７が生成した高解像度化された超解像画像を表示部１１０に伝送し、表示領域に表示させる。なお、本実施形態において、超解像画像を生成する条件を、動画像が一時停止されたタイミングとしたが、本発明の実施はこれに限らない。例えば動画像の１フレームを表示している際に印刷指示がユーザにより入力されたことをＣＰＵ１０１が判断して、超解像処理部１０７に超解像画像生成処理を行わせ、得られた画像を接続されている印刷機器に伝送する形であっても構わない。

また、処理能力が十分に高ければ、動画像を再生・表示しながらリアルタイムに超解像処理を行う構成であってもよい。つまり、表示される各フレームに対して、フレームレートに応じた数のフレームを用いた超解像処理を行ってもよい。また、ＰＣ１００がアイドル中である場合等に、記録媒体１０８に記憶されている動画像のデータを事前に超解像処理を実行する構成であってもよい。この場合も、記録媒体１０８に記憶されている動画像の各フレームに対して、フレームレートに応じた数のフレームを用いた超解像処理を行う。

なお、本実施形態では、動画像は映像入力部１０４から受信するものとして説明したが、図１に点線で示すような記録媒体１０８に記憶されていても良い。記録媒体１０８は、例えばＰＣ１００が備える内部メモリや、ＰＣ１００に着脱可能に装着されるメモリカードやＨＤＤのような記録装置である。また、超解像画像表示処理において、本実施形態では動画像が一時停止された際に必ず行うものとして説明したが、超解像画像生成処理は、一時停止されたフレーム２０３が高フレームレート部２０２に含まれている場合のみ行うようにしても良い。これは、通常のフレームレートで撮像された動画像である通常フレームレート部２０１の動画像は、撮像解像度を大きくすることが可能であるからである。また、本実施形態は、動画像の撮像時のフレームレートを検出してフレーム参照枚数を決定するものとして説明したが、本発明の実施はこれに限らない。例えばＣＧ映像やフレームレート変換処理が施された動画像等、撮像時のフレームレートの情報が存在しない動画像である場合は、再生時のフレームレートを検出することにより、フレーム参照枚数を決定する構成であってもよい。

また、本実施形態では、低解像度の動画像の連続する複数のフレームの画像を用いて、高解像度の画像を生成する場合を例示したが、連続する複数のフレーム画像を用いることに限定されない。例えば、ＭＰＥＧ（Moving Picture Expert Group）形式の動画像の超解像処理を行う場合に、Ｐ、Ｂフレームの画像を用いずにＩフレームの画像のみを用いて超解像処理を行ってもよい。このような場合は間欠的に構成される複数のＩフレームの画像を用いて超解像処理を行うことになる。

以上説明したように、本実施形態の画像処理装置は、低解像度の動画像のフレームから高解像度な画像を生成する際に、動画像のフレームレートに応じて、超解像処理（高解像度化処理）において参照するフレーム数を適切に決定することが可能である。具体的に、画像処理装置は動画像の一時停止したフレームにおける撮像された時点でのフレームレートを検出し、検出されたフレームレートが高いほど、低解像度の画像を高解像度化する処理で用いる、動画像のフレームの画像の枚数が多くなるよう決定する。そして、超解像処理において、動画像の一時停止したフレームを含む、決定された枚数の参照フレームの画像を用いて、高解像度の画像を生成する。

これにより、動画像を一時停止した際等の、動画像のフレームの画像を静止画として表示した際に、視聴者に対して動画像が不鮮明である印象を与えることなく、高画質な高解像度の画像を提供することが可能である。具体的には、フレームレートが高く、フレーム間で被写体のズレがほとんど存在しないような動画像であっても、多くの枚数の参照フレームの画像を用いて超解像処理を行うことにより、高画質な画像を得ることができる。

（実施形態２）
上述した実施形態１では、低解像度の動画像のフレームから高解像度な画像を生成する際に、動画像のフレームレートに応じて、超解像処理（高解像度化処理）において参照するフレーム数を適切に決定する方法について説明した。本実施形態２では、低解像度の動画像の、所定数のフレームから高解像度な画像を生成する際に、動画像のフレームレートに応じて、超解像処理（高解像度化処理）において参照するフレームの間隔を適切に決定する技術について説明する。なお、本実施形態のＰＣ１００は、上述した実施形態１のＰＣ１００と同様の構成を備えるものとして、ＰＣ１００が備える各ブロックの説明は省略する。

（参照フレーム決定処理）
以下、本実施形態の参照フレーム決定処理について、図７のフローチャートを用いて詳細に説明する。なお、本参照フレーム決定処理において、実施形態１と同様の処理を行うステップについては、同一の参照番号を付して説明を省略し、本実施形態に特徴的なステップの説明に留める。

なお、本実施形態のＰＣ１００で行われる超解像画像表示処理のＳ３０４で実行される超解像画像生成処理では、超解像処理に用いられる低解像度の動画像のフレーム数は予め定められた数であるものとする。即ち、本参照フレーム決定処理では、超解像画像生成処理で用いられる動画像の所定数のフレームを決定するために、当該所定数のフレームの間隔を、動画像のフレームレートに基づいて決定する方法について説明する。なお、超解像画像生成処理に用いられる動画像のフレーム数の情報は、例えばＲＯＭ１０２に記憶されていればよく、本参照フレーム決定処理を実行する際にＣＰＵ１０１がＲＯＭ１０２から読み出せばよい。

一時停止しているフレームにおけるフレームレートの値が閾値１（Ｐ１）以上であった場合、ＣＰＵ１０１はＳ７０１で、フレーム決定部１０６に、参照する所定数のフレームの間隔を２として設定させる。図８（ａ）は、参照する５枚のフレームの間隔が２である場合、超解像画像生成処理には一時停止している対象フレーム（ｎ番目のフレーム）を基準とした、前後の参照フレーム（ｎ−６，ｎ−３，ｎ＋３，ｎ＋６）が用いられることを示している。参照する所定数のフレームの間隔の値は、例えばフレームレートに対応付けてＰＣ１００に予め設定されている値であり、それぞれのフレームレートにおいて、連続するフレームにおいてある程度の被写体の移動が確認できるような間隔に設定されて良い。なお、参照する所定数のフレームの間隔の値は、ユーザが設定可能な値でも良いが、フレームレートが高いほど、フレームの間隔の値も大きくなるものとする。

一時停止しているフレームにおけるフレームレートの値が閾値２（Ｐ２）以上であった場合、ＣＰＵ１０１はＳ７０２で、フレーム決定部１０６に、参照する所定数のフレームの間隔を１として設定させる。図８（ｂ）は、参照する５枚のフレームの間隔が１である場合、超解像画像生成処理には一時停止している対象フレーム（ｎ番目のフレーム）を基準とした、前後の参照フレーム（ｎ−４，ｎ−２，ｎ＋２，ｎ＋４）が用いられることを示している。また、一時停止しているフレームにおけるフレームレートの値が閾値２（Ｐ２）より小さかった場合、ＣＰＵ１０１はＳ７０３で、フレーム決定部１０６に、参照する所定数のフレームの間隔を０として設定させる。閾値２（Ｐ２）は、例えば、閾値１（Ｐ１）の半分の値に設定される。

以上説明したように、本実施形態の画像処理装置は、低解像度の動画像の所定数のフレームから高解像度な画像を生成する際に、動画像のフレームレートに応じて、超解像処理（高解像度化処理）において参照するフレームの間隔を適切に決定することが可能である。具体的に、画像処理装置は動画像の一時停止したフレームにおける撮像された時点でのフレームレートを検出し、検出されたフレームレートが高いほど、低解像度の画像を高解像度化する処理で用いる、動画像のフレームの画像の間隔が大きくなるよう決定する。そして、超解像処理において、動画像の一時停止したフレームを含む、決定された参照フレームの画像を用いて、高解像度の画像を生成する。

これにより、動画像を一時停止した際等の、動画像のフレームの画像を静止画として表示した際に、視聴者に対して動画像が不鮮明である印象を与えることなく、高画質な高解像度の画像を提供することが可能である。具体的には、フレームレートが高く、フレーム間で被写体のズレがほとんど存在しないような動画像であっても、被写体のずれが存在するような、適切な間隔の所定数の参照フレームの画像を用いて超解像処理を行うことにより、高画質な画像を得ることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 動画像のフレームレートを検出する検出手段と、
   前記動画像の対象フレームを含む複数のフレームの画像を用いて、前記対象フレームよりも高解像度の画像を生成する高解像度化手段と、
   前記検出手段で検出されたフレームレートに基づいて、前記高解像度化手段で用いる前記複数のフレームの画像の枚数を決定する決定手段と、を備え、
   前記決定手段は、前記検出手段で検出されたフレームレートが高いほど、前記高解像度化手段で用いる前記複数のフレームの画像の枚数を多くすることを特徴とする画像処理装置。
2. 前記決定手段は、前記検出手段で検出されたフレームレートを予め定められた閾値と比較することにより、前記高解像度化手段で用いる前記複数のフレームの画像の枚数を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記高解像度化手段は、前記検出手段が検出したフレームレートが予め定められた閾値より低い場合は、前記高解像度の画像を生成しないことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記高解像度の画像を表示する表示手段をさらに備え、
   前記決定手段は、前記動画像の解像度に対する前記表示手段の表示解像度の比と、予め定められた基準フレームレートに対する前記検出手段で検出されたフレームレートの比の積によって、前記高解像度化手段で用いる前記複数のフレームの画像の枚数を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記動画像を再生する再生手段をさらに備え、
   前記対象フレームは、前記動画像が一時停止された際のフレームであり、前記検出手段は、前記対象フレームにおけるフレームレートを検出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 動画像のフレームレートを検出する検出手段と、
   前記動画像の対象フレームを含む複数のフレームの画像を用いて、前記対象フレームよりも高解像度の画像を生成する高解像度化手段と、
   前記検出手段で検出されたフレームレートに基づいて、前記高解像度化手段で用いる前記複数のフレームの画像の、フレームの間隔を決定する決定手段と、を備え、
   前記決定手段は、前記検出手段で検出されたフレームレートが高いほど、前記高解像度化手段で用いる前記フレームの間隔を大きくすることを特徴とする画像処理装置。
7. 前記決定手段は、前記検出手段で検出されたフレームレートを予め定められた閾値と比較することにより、前記高解像度化手段で用いる前記フレームの間隔を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記検出手段は、前記対象フレームの撮像時のフレームレートを検出するように構成されていることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 検出手段が、動画像のフレームレートを検出する検出工程と、
   高解像度化手段が、前記動画像の対象フレームを含む複数のフレームの画像を用いて、前記対象フレームよりも高解像度の画像を生成する高解像度化工程と、
   決定手段が、前記検出工程で検出されたフレームレートに基づいて、前記高解像度化工程で用いる前記複数のフレームの画像の枚数を決定する決定工程と、を備え、
   前記決定工程において前記決定手段が、前記検出工程で検出されたフレームレートが高いほど、前記高解像度化工程で用いる前記複数のフレームの画像の枚数を多くすることを特徴とする画像処理装置の制御方法。
10. 検出手段が、動画像のフレームレートを検出する検出工程と、
    高解像度化手段が、前記動画像の対象フレームを含む複数のフレームの画像を用いて、前記対象フレームよりも高解像度の画像を生成する高解像度化工程と、
    決定手段が、前記検出工程で検出されたフレームレートに基づいて、前記高解像度化工程で用いる前記複数のフレームの画像の、フレームの間隔を決定する決定工程と、を備え、
    前記決定工程において前記決定手段が、前記検出工程で検出されたフレームレートが高いほど、前記高解像度化工程で用いる前記フレームの間隔を大きくすることを特徴とする画像処理装置の制御方法。

Images