JP4549260B2 - 記録再生装置、記録再生方法、及びコンピュータプログラム - Google Patents

Description

本発明は、記録再生装置、記録再生方法、及びコンピュータプログラムに関し、画像の記録と再生を行うために用いて好適なものである。

従来から、動画像を撮影する撮像装置では、撮影時に生じた手ぶれを補正し、その手ぶれを補正した動画像を記録媒体に記録することが行われている。
このような動画像の撮影時に生じた手ぶれを補正する方法として、特許文献１に記載されている技術がある。

かかる技術では、撮像装置は、ピッチ方向及びヨー方向の角速度センサーを有し、この角速度センサーにより検出されたピッチ方向及びヨー方向の角速度を積分して角変位を算出する。そして、撮像装置は、算出した角変位、即ち撮像装置の振れ角と撮影レンズの焦点距離とから、手ぶれによって生じた撮像素子上の画素移動分を算出する。その後、撮像装置は、算出した画素移動を相殺するように、撮像素子の撮影面又はフィールドメモリの該当領域から画像信号を読み出し、読み出した画像信号に対して画素補間及びライン補間を施す。このようにすることによって、撮影時に生じた手ぶれを１画素未満の精度で補正することができる。

ところで、前述したような動画像を撮影する撮像装置では、撮影した動画像を記録した後、その記録した動画像を切り出して静止画像として出力することが行われている。このように動画像を静止画像として出力する場合、高解像度化して静止画像を出力するのが好ましい。そこで、非特許文献１に記載されているように、超解像処理という技術が提案されている。
かかる技術では、出力すべき静止画像の前後複数枚の画像を前記静止画像に合成して、前記静止画像が元々持っている解像度よりも高い高解像度の静止画像を形成するようにしている。

特開平１１−２６６３９１号公報 青木伸，「複数のデジタル画像データによる超解像処理」，Ricoh Technical Report No.24，１９９８年１１月，ｐ．１９−２５

しかしながら、前述した従来の技術のように、１画素未満の精度で手ぶれ補正を行って記録した動画像は、補正処理の中で画素補間およびライン補間を施しているため、画像の高周波成分が欠落している。したがって、このように記録された動画像の前後するフレームを複数枚組み合わせて前述した超解像処理を施そうとすると、そもそも１画素未満でフレーム間の相対的なずれが補正されているために、超解像処理に好ましいフレームを得ることが困難である。また得ることができたとしても、各々のフレームの解像感が損なわれているため、良好な静止画像を超解像処理により得ることができない。

以上のように、従来の技術では、撮影した動画像に対して、１画素未満の精度で手ぶれ補正を行うと、その動画像から良好な解像度の静止画像を得ることが困難であるという問題点があった。
本発明はこのような問題点に鑑みてなされたものであり、１画素未満の精度で手ぶれを補正して動画像を再生できるようにすると共に、動画像から良好な解像度の静止画像が得られるようにすることを目的とする。

本発明の記録再生装置は、撮像手段を有する記録再生装置であって、前記記録再生装置の動き量を検出する動き検出手段と、前記撮像手段によって取得される複数の画像の相関に基づいて各画像の一部を選択することで、前記動き検出手段により検出された動き量のうち１画素以上の動き量に対応する振れ補正を行う第１の補正手段と、前記第１の補正手段により補正された前記複数の画像を記録媒体に記録する記録手段と、前記記録媒体に記録された複数の画像を読み出して画素補間処理を行うことで、前記動き検出手段により検出された１画素未満の動き量に対応する補正を行う第２の補正手段とを有することを特徴とする。

本発明の記録再生方法は、撮像ステップを有する記録再生方法であって、記録再生装置の動き量を検出する動き検出ステップと、前記撮像ステップによって取得される複数の画像の相関に基づいて各画像の一部を選択することで、前記動き検出ステップにより検出された動き量のうち１画素以上の動き量に対応する振れ補正を行う第１の補正ステップと、前記第１の補正ステップにより補正された前記複数の画像を記録媒体に記録する記録ステップと、前記記録媒体に記録された複数の画像を読み出して画素補間処理を行うことで、前記動き検出ステップにより検出された１画素未満の動き量に対応する補正を行う第２の補正ステップとを有することを特徴とする。

本発明のコンピュータプログラムは、記録再生装置の動き量を検出する動き検出ステップと、撮像手段によって取得される複数の画像の相関に基づいて各画像の一部を選択することで、前記動き検出ステップにより検出された動き量のうち１画素以上の動き量に対応する振れ補正を行う第１の補正ステップと、前記第１の補正ステップにより補正された前記複数の画像を記録媒体に記録する記録ステップと、前記記録媒体に記録された複数の画像を読み出して画素補間処理を行うことで、前記動き検出ステップにより検出された１画素未満の動き量に対応する補正を行う第２の補正ステップとをコンピュータに実行させることを特徴とする。

本発明によれば、１画素以上の動き量に対応する振れ補正により補正された複数の画像を記録媒体に記録し、記録した複数の画像を読み出して画像処理補間を行うことで１画素未満に対応する補正をするようにしたので、記録した動画像を滑らかに再生することができると共に、記録した動画像から高解像の静止画像を得ることができるようになった。

（第１の実施形態）
図面を参照しながら、本発明の第１の実施形態について説明する。
図１は、本実施形態の記録再生装置の一例であるデジタルビデオカメラの構成の一例を示したブロック図である。
図１において、ＣＰＵ１２０は、記録再生装置を統括制御するものであり、図１の破線で囲まれた各要素および不図示の各要素に対して制御指令を送る。例えば、図示しないＲＯＭに記録されたプログラムを、図示しないＲＡＭをワークエリアとして使用する等して制御を実行する。操作部１２１は、記録再生装置のユーザによって操作されるボタンスイッチや、ダイヤルスイッチ等を備えている。ユーザは、操作部１２１を操作することによって、例えば、記録再生装置の電源投入指示、動画像の撮影指示、動画像の再生指示、及び静止画像の出力指示等を行うことができる。

光学系１０１は、撮影レンズを備え、被写体像を結像する。撮像素子１０２は、例えばＣＣＤ（Charge Coupled Devices）を備え、光学系１０１で結像された被写体像をアナログの電気信号に変換する。Ａ／Ｄ変換器１０３は、撮像素子１０２から出力されたアナログの電気信号をデジタルの電気信号（画像データ）に変換する。

フィールドメモリ１０４は、Ａ／Ｄ変換器１０３でデジタルの電気信号に変換された画像データを一時的に（１フィールド期間）記憶する。このフィールドメモリ１０４に一時的に記憶された画像データは、後述するように、動き検出回路１１０により検出された記録再生装置の動き量に基づいて読み出される。

信号処理回路１０５は、フィールドメモリ１０４から読み出された画像データに対して、ＹＣ分離、ホワイトバランス演算、アパーチャー補正、及びガンマ補正等を施すことにより、前記画像データを輝度色差信号に変換する。

ここで、ＹＣ分離とは、輝度信号と色差信号とを高精度に分離することをいう。アパーチャー補正とは、撮像素子１０２が有している開口（アパーチャー）によって生じるローパス効果（細かい模様のボケが生じることであり、アパーチャー効果ともいう）を補正することをいう。このアパーチャー補正により、信号値の変化が強調される。γ補正とは、入力電圧と出力電圧の比を補正することをいう。このγ補正により、より自然に近い画像が得られる。
以上のようにして信号処理回路１０５は、フィールドメモリ１０４から読み出された画像データを、輝度色差信号に変換する。

リサイズ回路１０６は、信号処理回路１０５により輝度色差信号に変換された画像データのサイズを、所定の動画圧縮フォーマットに従ったサイズに変換する。具体的に説明すると、リサイズ回路１０６は、信号処理回路１０５により輝度色差信号に変換された画像データのサイズを、例えば、水平６４０画素、垂直４８０ラインのＶＧＡサイズ等に変換する。
メモリコントローラ１０７は、メモリ１０８に記憶されている画像データの読み出し位置や、記録媒体１１８に記録されている画像データの読み書し位置や、メモリ１０８に記憶する画像データの書き込み位置等を制御する。スイッチ１０９は、Ａ／Ｄ変換器１０３及び伸長回路１１１のうち、何れかを選択する。具体的には、動画像の記録中（撮影中）にはスイッチ１０９は、Ａ／Ｄ変換器１０３の出力を選択し、動画像の再生中にはスイッチ１０９は、伸長回路１１１の出力を選択する。

動き検出回路１１０には、スイッチ１０９の選択により、動画像の記録中にはＡ／Ｄ変換器１０３でデジタルの電気信号に変換された画像データが入力され、動画像の再生中には伸長回路１１１で伸長された画像データが入力される。そして、入力された画像データと、その画像データの１つ前に入力された画像データとを用いて、動画像を撮影した際に生じた記録再生装置の動き量（所謂手振れの量、以下単に動き量と略称する）を検出する。

ここで、図２を用いて、具体的に前後して入力される画像データ間の動き量について説明する。
図２（Ａ）において、６０１は撮像素子１０２の全撮像領域、６０２は撮像素子１０２の全撮像領域６０１のうち、映像信号として必要な切り出し枠、６０３は撮影者が撮影している被写体である。
このとき切り出し枠６０２によって切り出された画像データを映し出すとすると、図２（Ｃ）に示す映像となる。図２（Ｃ）において、６０４はビデオ信号を再現する表示デバイス１１６上の映像領域を示し、６０３'は表示デバイス１１６の映像領域６０４に再現された被写体である。図２（Ｂ）は、被写体６０３を撮影するユーザが矢印６０５、６０５'、６０５"で示す左下方向に記録再生装置を振ってしまった場合の画像の変化を示したもので、撮像素子１０２の全撮像領域６０１面上で被写体６０３は矢印６０６で示す右上方向に移動してしまう。

この状態で図２（Ａ）の説明のように、切り出し枠６０２と同一位置の切り出し枠６０２'を用いて画像データを切り出した場合、矢印６０６で示すベクトル量だけ被写体６０３が移動した画像データを発生させてしまう。
ここで、記録再生装置の振れ量より求めた画像の変位量６０７、即ち振れ補正目標値を用いて切り出し枠６０２'より破線枠位置６０２"に移動して画像データを切り出せば、図２（Ｃ）に示す映像を得ることが可能である。

すなわち、この場合における画像データ間の動き量は変位量６０７に相当し、具体的には両画像のパターンマッチング等の手法により算出されるベクトルにより表される。したがって、ある画像から次の画像に対しての動き量は、画像データの水平方向の画素単位と垂直方向の画素単位を基本単位として、（＋３．５画素、＋１．２画素）であるとか、（−２．７画素、＋４．３画素）といったように、水平方向の（整数部＋小数部）の画素数、垂直方向の（整数部＋小数部）の画素数で表現される。

次に、図３を用いて、動画像の記録中における、動き検出回路１１０を用いた撮影画像データの切り出しについて説明する。
図３において、７０１はフィールドメモリ１０４に入力された画像データの全体、７０２は画像データの全体７０１を構成する各画素単位である。７０３、７０４は図２の切り出し枠６０２と同様な切り出し枠である。まず、最初の画像としての切り出し枠７０３で画像データを切り出す場合を説明する。なお、この画像データはフィールドメモリ１０４に記憶されている。

初めに画素「Ｓ」より矢印７０４で示す方向に順番に切り捨てる画素を決定していく。そして、画素「Ａ」の１画素手前の画素までを切り捨てる画素として決定しながら走査する。次に、画素「Ａ」から画素「Ｆ」までの画素を切り出す画素として決定しながら走査し、再び画素「Ｆ」の次の画素から画素「Ｇ」の１画素手前までの画素を切り捨てる画素として走査する。これを繰り返すことにより、切り出し枠７０３で囲まれた画素を切り出す画素として決定し、切り出し枠７０３に囲まれた画素のみを残す処理を行う。

次に前記図２で説明したように、記録再生装置の移動により撮像面の移動が生じた場合における切り出し位置の移動について説明する。
フィールドメモリ１０４に前後して入力される画像データは、スイッチ１０９を経由して動き検出回路１１０にも入力されているので、この動き検出回路１１０により前記のように両画像データ間の動き量が検出される。ここでの切り出し処理（動画像の撮影中における切り出し処理）については、検出された動き量のうち１画素未満の動き量を表す小数部については切り捨てる。例えば検出された動き量が（＋３．２画素、＋１．３画素）であったとすると、それぞれの小数部は切り捨てて、整数部のみ残し（＋３画素、＋１画素）とする。

図３においては、矢印７０５が検出された動き量から整数部のみを残したベクトル（＋３画素、＋１画素）を表している。したがって、切り出し枠７０３より切り出し枠７０４に変更すれば、１画素以上の振れ量において被写体の移動（振れ）が伴わない切り出し後の画像データが得られる。
具体的には、切り出し位置を変更するために先の切り出し開始位置を画素「Ａ」から画素「Ｂ」に移動することにより、前記画素「Ａ」からの切り出しと同様に、画像データの全撮像領域７０１から画像の一部を選択的に切り出して切り出し後の画像データとすることができる。

再び図１に戻って各構成を説明する。
リサイズ回路１１４は、メモリコントローラ１０７によりメモリ１０８から読み出された画像データのサイズを、表示に適したサイズに変換する。具体的には、リサイズ回路１１４は、メモリコントローラ１０７によりメモリ１０８から読み出された画像データのサイズを、例えば、水平７２０画素、垂直２４０ラインのサイズに変換する。
ビデオエンコーダ１１５は、リサイズ回路１１４でサイズが変換された画像データを、例えば、ＮＴＳＣやＰＡＬ等のビデオ信号に変換する。
表示デバイス１１６は、例えば、液晶パネル等を備え、ビデオエンコーダ１１５で変換されたビデオ信号を表示する。

圧縮回路１１２は、メモリコントローラ１０７によりメモリ１０８から読み出された画像データを、所定の圧縮フォーマットに従って圧縮する。圧縮回路１１２で圧縮された画像データは、メモリコントローラ１０７によりメモリ１０８に書き込まれる。
メディアＩＦ１１７は、メモリコントローラ１０７と記録媒体１１８とのインタフェースである。圧縮回路１１２で圧縮された画像データは、メモリコントローラ１０７によりメモリ１０８に書き込まれた後、メモリコントローラ１０７により読み出され、メディアＩＦ１１７を経由して記録媒体１１８に出力される。
記録媒体１１８は、例えば、フラッシュメモリを備えたメモリカードであり、メディアＩＦ１１７を経由して出力された画像データを記録する。動画像の記録時には、上述のように、動き量の１画素未満を切り捨てた切り出し処理を行った画像を動画像ファイルとして記録媒体１１８に記録する。すなわち、この動画像ファイルは、動き量の整数部に基づいてシフトされた連続する画像データにより構成されていることになる。

伸長回路１１１は、メモリ１０８や記録媒体１１８に記録された動画像ファイルを再生する場合に、メモリコントローラ１０７によりメモリ１０８や記録媒体１１８から読み出された画像データを伸長する。
伸長回路１１１から出力された画像データは、領域シフト回路１１９に入力されると同時に、スイッチ１０９を介して動き検出回路１１０にも入力される。
動き検出回路１１０は、連続して入力される再生画像データに対し、前後する画像間の動き量を検出する。ただし、再生される画像データは記録時において１画素以上の動き量に関してすでに切り出し処理により補正されているので、ここで検出される動き量は、１画素未満の小数部のみが検出結果として得られることになる。

領域シフト回路１１９は、動き検出回路１１０から得られた動き量に基づいてシフト処理を行う。上述のように、ここでの動き量は１画素未満の小数部のみから成るので、以下のような１画素未満の画素補間処理を行う。
図４は、領域シフト回路１１９の具体的な構成の一例を示す図である。
まず、垂直方向の１画素未満の画素補間処理について説明する。図４において、乗算器１１９ａは、伸長回路１１１で伸長された画像データを係数Ｖｋで乗算する。１Ｈ遅延回路１１９ｂは、伸長回路１１１で伸長された画像データを１ライン分遅延させる。乗算器１１９ｃは、１Ｈ遅延回路１１９ｂから出力された画像データを係数（１−Ｖｋ）で乗算する。加算器１１９ｄは、乗算器１１９ａ、１１９ｃからの出力を加算する。すなわち、加算器１１９ｄの出力は、隣接するライン間の画像データを係数Ｖｋの重みで加重平均したものになる。

このように、乗算器１１９ａ、１１９ｃ、１Ｈ遅延回路１１９ｂ、及び加算器１１９ｄは、係数Ｖｋに応じた量だけラインを垂直方向に移動するライン移動回路を構成する。ここで、係数Ｖｋは０以上、１以下の値を取ることができ、係数Ｖｋが１の場合、加算器３８は、現在のラインの画像データをそのまま出力する。係数Ｖｋを調節することにより、垂直方向で１画素未満の精度で画像データの切出し範囲の変更が可能になる。

図５は、１Ｈ遅延回路１１９ｂと乗算器１１９ａ、１１９ｃおよび加算器１１９ｄによる処理を画像データの水平ライン単位で示した図である。
初めに図５（Ａ）に示す水平ライン単位毎の加算について説明する。水平ラインは画像データの水平方向の配列により構成されており、ｎライン目の垂直方向の中心位置を垂直画素中心１００１とする。同様に、ｎ＋１ライン目の垂直方向の中心位置を垂直画素中心１００２とする。

図５（Ａ）では、ｎライン目とｎ＋１ライン目との中央の位置の画像を得るときの場合の演算を図示的に示しており、ｎライン目を１／２倍して値１００３を取り、ｎ＋１ライン目を１／２倍して値１００４を取り、それぞれ加算することにより、ライン１００５が求められる。すなわち図５における係数Ｖｋが１／２である場合に相当し、このときの動き量に関しては、垂直方向について＋０．５もしくは−０．５の値を有することになる。

同様に、ｎ＋１ライン目を１／２倍し、ｎ＋２ライン目を１／２倍して、それぞれ加算することにより、ｎ＋１ライン目とｎ＋２ライン目との中央の位置の画素データを得ることができる。
次に、図５（Ｂ）に示す画素単位の加算について説明する。図５（Ｂ）は、先の図５（Ａ）と加算比が異なり、７／１０対３／１０の比率の加算を行う場合について示してある。図５（Ｂ）において、先の図５（Ａ）と同様に画像データのｎライン目の垂直画素の中心位置を垂直画素中心１００１とし、ｎ＋１ライン目の垂直方向の中心位置を垂直画素中心１００２とする。このｎライン目とｎ＋１ライン目との７／１０対３／１０の画像データを得る場合には、ｎライン目を７／１０倍した値１００３'と、ｎ＋１ライン目を３／１０倍した値１００４'とをそれぞれ加算することにより、７／１０対３／１０のライン画像データ１００５'が求められる。すなわち図４における係数Ｖｋが７／１０である場合に相当し、このときの動き量に関しては、垂直方向について＋０．７もしくは−０．３の値を有することになる。

同様にｎ＋１ライン目を７／１０倍し、ｎ＋２ライン目を３／１０倍して加算することにより、ｎ＋１ライン目とｎ＋２ライン目との７／１０対３／１０の位置の画素データを得ることができる。
このように、ｎライン目とｎ＋１ライン目の加算比を変えることにより、ラインの垂直方向の１ライン未満の任意の位置のラインデータを得ることができる。
なお、乗算比率を１対０或いは０対１にした場合には加算は行われないので、動き量に関して垂直方向の小数部の値が０のときには、このようなライン間の補間処理は行われないことになる。

図４に戻り水平方向の１画素未満の画素補間処理について説明する。乗算器１１９ｅは、加算器１１９ｄから出力された画像データを係数Ｈｋで乗算する。１クロック遅延回路１１９ｆは、加算器１１９ｄから出力された画像データを１画素分遅延させる。乗算器１１９ｇは、１クロック遅延回路１１９ｆから出力された画像データを係数（１−Ｈｋ）で乗算する。加算機１１９ｈは、乗算器１１９ｅ、１１９ｇからの出力を加算する。すなわち、加算器１１９ｈの出力は、水平方向に隣接する画素値を係数Ｈｋの重みで加重平均したものになる。
このように、乗算器１１９ｅ、１１９ｇ、１クロック遅延回路１１９ｆ、及び加算器１１９ｈは、水平方向の画素補間回路を構成する。ここで、係数Ｈｋは０以上、１以下の値を取ることができる。係数Ｈｋを調節することにより、水平方向で１画素未満の精度で画像データの切出し範囲の変更が可能になる。

図６は１クロック遅延回路１１９ｆと乗算器１１９ｅ、１１９ｇおよび加算器１１９ｈによる処理を画像データの水平方向の１ラインを抜き出して示した図である。
初めに図６（Ａ）に示した画素単位の加算について説明する。画像データの水平方向のｎ画素目の中心位置を水平画素中心９０１とする。同様にｎ＋１画素目の水平方向の中心位置を水平画素中心９０２とする。図６（Ａ）では、ｎ画素目とｎ＋１画素目との仮想的な中央の位置の画素データを得る場合の演算を図式的に示しており、ｎ画素目を１／２倍した値９０３と、ｎ＋１画素目を１／２倍した値９０４とをそれぞれ加算することにより、ｎ画素目とｎ＋１画素目との仮想的な中央の位置の画像９０５が求められる。即ち図２におけるＨｋが１／２である場合に相当し、このときの動き量に関しては、水平方向について＋０．５もしくは−０．５の値を有することになる。

同様にｎ＋１画素目を１／２倍し、ｎ＋２画素目を１／２倍して加算することにより、ｎ＋１画素目とｎ＋２画素目との仮想的な中央の位置の画素データを得ることができる。
次に、図６（Ｂ）に示した画素単位の加算について説明する。図６（Ｂ）は、先の図６（Ａ）とは加算比が異なり、７／１０対３／１０の比率の加算を行う場合について示してある。図６（Ｂ）において、先の図６（Ａ）と同様に画像データのｎ画素目の水平方向の中心位置を水平画素中心９０１とし、ｎ＋１画素目の水平方向の中心位置を水平画素中心９０２とする。このｎ画素目とｎ＋１画素目との７／１０対３／１０の画像を得る場合には、ｎ画素目を７／１０倍した値９０３'と、ｎ＋１画素目を３／１０倍した値９０４'とをそれぞれ加算することにより、７／１０対３／１０の位置の画素データ９０５'が求められる。すなわち図４における係数Ｈｋが７／１０である場合に相当し、このときの動き量に関しては、水平方向について＋０．７もしくは−０．３の値を有することになる。

同様にｎ＋１画素目を７／１０倍し、ｎ＋２画素目を３／１０倍して加算することにより、ｎ＋１画素目とｎ＋２画素目との７／１０対３／１０の位置の画素データを得ることができる。
このように、ｎ画素目とｎ＋１画素目との加算比を変えることにより、画素間の水平方向の１画素未満の任意の位置の画素データを得ることができる。
なお、乗算比率を１対０或いは０対１にした場合には加算は行われないので、動き量に関して水平方向の小数部の値が０のときには、このような画素間の補間処理は行われないことになる。
なお、前記において、係数Ｖｋ、Ｈｋの値は、動き検出回路１１０で得られた動き量が入力されることにより設定される。

前述のように、再生時においては記録されている動画像ファイルを伸長したのち、１画素未満の動き量を検出してこれを補間処理する。そして、リサイズ回路１１４およびビデオエンコーダ１１５を介して表示デバイス１１６で表示するようにしている。これにより、記録されている動画像ファイルが１画素単位（動き量のうち整数部）の切り出し処理のみを行ったものであっても、再生表示においては１画素未満の振れも補間処理された滑らかな動画像表示を実現することができる。

次に、例えば動画像の再生表示中にユーザから静止画生成の指示を受けたときの、超解像処理による静止画生成処理について説明する。
まず初めに、４画像データを用いて１／２画素ずつずらした超解像処理について図７を用いて説明する。
フレーム０（図７（Ａ））は基準となる画像データである。この基準画像に対し、水平方向に１／２画素ずれた画像データであるフレーム１（図７（Ｂ））、垂直方向に１／２画素ずれた画像データであるフレーム３（図７（Ｄ））、水平および垂直方向それぞれに１／２画素ずれた画像データであるフレーム２（図７（Ｃ））が存在すると仮定する。フレーム０のもともと画素データが存在しない位置である（ｎ＋０．５，ｎ）の位置にフレーム１の（ｎ，ｎ）の画素データを、同様にフレーム０の（ｎ，ｎ＋０．５）の位置にフレーム３の（ｎ，ｎ）の画素データを、同様にフレーム０の（ｎ＋０．５，ｎ＋０．５）の位置にフレーム２の（ｎ，ｎ）の画素データを埋め込むようにする。

同様にフレーム０の（ｎ，ｎ＋１）、（ｎ＋１，０）、（ｎ＋１，ｎ＋１）に対しても、フレーム１〜３の画素データ０．５画素ずらして画素データを埋め込むようにする。つまり、フレーム０の１／２画素ずれた位置に、フレーム１〜３の画素データを格子状に埋め込むことにより、図７（Ｅ）に示すような、フレーム１に対して４倍の画素密度を有する静止画像データを得ることが可能になる。以上のようにして合成処理を行うことで、画素データを増やして解像感を増す処理が超解像処理である。

さて、記録媒体１１８に動画像ファイルとして記録されている画像データを、ユーザの指示に基づき静止画像として出力する場合に、超解像処理回路１１３を用いるようにしている。前述したように、動画像の記録時には、動き検出回路１０９で検出された動き量の１画素未満を切り捨てた切り出し処理を行った画像が動画像ファイルとして記録媒体１１８に記録されている。すなわち、この記録画像ファイルは、動き量の整数部に基づいてシフトされた連続する画像データにより構成されている。よって、この画像データを用いて、以下に説明する超解像処理が行われる。

超解像処理回路１１３は、ユーザの指示に応じて、時間的に連続した複数の画像データを記録媒体１１８から読み出し、伸長回路１１１で伸長処理を行った後、その時間的に連続した複数の画像データを入力する。そして、超解像処理回路１１３は、ユーザの指示の時点における画像データを基準とし、その基準とした画像データを含む時間的に連続した複数の画像データに対し超解像処理を行う。この超解像処理は、この基準画像データを含む時間的に連続した所定数の（複数の）画像データを用いて高解像度化する処理である。

ここで、入力した連続する複数の画像データは、ユーザが被写体に対して記録再生装置を構えて撮影したものであり、通常、少なからず手ぶれが生じているものである。動画像の記録中においては、上述のように、１画素未満の動き量を切り捨てたシフト処理を行っているので、ここで入力される連続する複数の画像間には、１画素未満の振れが残っている。

超解像処理では、この残された１画素未満の振れを利用して、高解像の静止画像データを得るようにするものである。

ここで、超解像処理では、ユーザの手振れに起因する１画素未満の振れを利用しているので、ほとんどの場合、このずれ量は、前記で説明したような理想的な画素位置に対応するようなものではない。このように、画素データが必ずしも必要な位置に存在しない画像データを用いる場合には、必要な位置に画像データを生成するために、抽出した複数の画像データのそれぞれについて、画素補間処理を行う。この画素補間処理においては、１画素未満の補間処理となるので、前記再生時における領域シフト回路での処理と同等となる。

具体的には、超解像処理における基準画像に対して、全体的に（＋０．３画素，＋０．１画素）ずれた画像が連続する画像として抽出されたとすると、この画像を基準画像に対して（ｎ＋０．５，ｎ）の画像データとして利用する場合、全体的に（＋０．２画素，−０．１画素）ずれた画像データに補間処理で作成しなおすことになる。なお、基準画像に連続する画像の基準画像に対するずれ量は、動き検出回路１１０によって検出されるものである。
このように、連続する複数の画像のうち、基準画像に対するずれ量が、超解像処理に必要な画素データの位置になるべく近いものを抽出して採用し、それぞれ補間処理した後に合成処理することで、高解像の静止画像データを得ることができる。

超解像処理された静止画像データは、メモリコントローラ１０７により、メモリ１０８に書き込まれる。その後、メモリコントローラ１０７によりメモリ１０８から読み出され、圧縮回路１１２により所定の静止画圧縮フォーマットに従って静止画像ファイルに圧縮される。この静止画像ファイルは、メモリコントローラ１０７によりメモリ１０８に書き込まれた後、メディアＩＦ１１７を通じて記録媒体１１８に記録される。

次に、図８のフローチャートを参照しながら、動画像を撮影して記録する際の記録再生装置における動作の一例を説明する。なお、図８では、ユーザが操作部１０２を操作することにより、動画像の撮影指示がなされる。
まず、ステップＳ１０１において、フィールドメモリ１０４は、撮像素子１０２で電気信号に変換された後に、Ａ／Ｄ変換器１０３でアナログ・デジタル変換された画像データ（動画像）を記憶する。

次に、ステップＳ１０２において、動き検出回路１１９は、Ａ／Ｄ変換器１０３でアナログ・デジタル変換された画像データと、その画像データの１つ前に入力した画像データとを用いて、動き量（移動量）を検出する。
次に、ステップＳ１０３において、動き検出回路１１９は、ステップＳ１０２で検出した動き量の整数部の値から、ステップＳ１０１でフィールドメモリ１０４に記憶された画像データの読み出し開始位置を決定する。そして、動き検出回路１１９は、決定した読み出し開始位置を示す信号をフィールドメモリ１０４に出力する。そうすると、動き検出回路１１９で決定された読み出し開始位置から、フィールドメモリ１０４に記憶された画像データが読み出される。そして、信号処理回路１０５は、読み出された画像データを、輝度色差信号に変換する。

次に、ステップＳ１０４において、リサイズ回路１０６は、ステップＳ１０３で輝度色差信号に変換された画像データのサイズを、所定の動画圧縮フォーマットに従ったサイズに変換する。そして、メモリコントローラ１０７は、リサイズ回路１０６でサイズが変換された画像データをメモリ１０８に書き込む。

次に、ステップＳ１０５において、表示デバイス１１６は、メモリコントローラ１０７によりメモリ１０８から読み出され、リサイズ回路１１４によりサイズが変換され、ビデオエンコーダ１１５でビデオ信号に変換された画像データを表示する。なお、ここではステップＳ１０４でメモリ１０８に書き込まれた画像データが読み出されて表示される。
次に、ステップＳ１０６において、圧縮回路１１２は、メモリコントローラ１０７によりメモリ１０８から読み出された画像データを、所定の圧縮フォーマットに従って圧縮する。その後、メモリコントローラ１０７は、圧縮回路１１２で圧縮された画像データをメモリ１０８に書き込む。

次に、ステップＳ１０７において、ＣＰＵ１２０は、ユーザの操作部１２１の操作内容に基づいて、動画像の撮影を終了するか否かを判定する。この判定の結果、動画像の撮影を終了しない場合には、終了すると判定するまで、ステップＳ１０１〜Ｓ１０７を繰り返し行う。そして、動画像の撮影を終了する場合には、ステップＳ１０８に進み、メモリコントローラ１０７は、ステップＳ１０６でメモリ１０８に書き込んだ画像データを、メディアＩＦ１１７を経由して、動画像ファイルとして記録媒体１１８に書き込む。

次に、図９のフローチャートを参照しながら、記録した動画像を再生する際の記録再生装置における動作の一例を説明する。なお、図４では、ユーザが操作部１０２を操作することにより、動画像の再生指示がなされた後の動作を示している。
まず、ステップＳ２０１において、メモリコントローラ１０７は、記録媒体１１８から、圧縮された動画像データを読み出す。
次に、ステップＳ２０２において、伸長回路１１１は、ステップＳ２０１で読み出された画像データを伸長する。

次に、ステップＳ２０３において、動き検出回路１１０は、ステップＳ２０２で伸長された画像データから動き量を検出する。動画像データの記録時においては、動き量の１画素未満を切り捨てた切り出し処理を行っているので、ここで検出される動き量は１画素未満の振れのみである。
次に、ステップＳ２０４において、領域シフト回路１１９は、ステップＳ２０３で検出された動き量に基づいて、ステップＳ２０２で伸長回路１１１により伸長された画像データの各画素の補間処理を行う。
次に、ステップＳ２０５において、メモリコントローラ１０７は、ステップＳ２０４で補間された画像データをメモリ１０８に書き込む。

ステップＳ２０６において、表示デバイス１１６は、メモリコントローラ１０７によりメモリ１０８から読み出され、リサイズ回路１１４によりサイズが変換され、ビデオエンコーダ１１５でビデオ信号に変換された画像データを表示する。なお、ここではステップＳ２０５でメモリ１０８に書き込まれた画像データが読み出されて表示される。

次に、ステップＳ２０７において、ＣＰＵ１２０は、ユーザの操作部１２１の操作に基づいて、動画像の再生を終了するか否かを判定する。この判定の結果、動画像の再生を終了しない場合には、終了すると判定するまで、ステップＳ２０１〜Ｓ２０７を繰り返し行う。

次に、図１０のフローチャートを参照しながら、記録した動画像データから静止画像データを出力する際の動作の一例を説明する。なお、図１０では、ユーザが操作部１２１を操作することにより、静止画像の出力指示がなされた後の動作を示している。
まず、ステップＳ３０１において、メモリコントローラ１０７は、記録媒体１１８から、圧縮された動画像データを読み出す。
次に、ステップＳ３０２において、伸長回路１１１は、ステップＳ３０１で読み出された画像データを伸長する。

次に、ステップＳ３０３において、ＣＰＵ１２０は、静止画像として出力指示のあった画像を含む時間的に連続した所定数の画像データが、伸長回路１１１により伸長されたか否かを判定する。この判定の結果、所定数の画像データが伸長されていない場合には、伸長されるまでステップＳ３０１〜Ｓ３０３を繰り返し行う。一方、所定数の画像データが伸長されると、ステップＳ３０４に進み、超解像処理回路１１３は、前述した超解像処理を行う。そして、メモリコントローラ１０７は、このようにして超解像処理が行われることにより得られた静止画像の画像データをメモリ１０８に書き込む。

次に、ステップＳ３０５において、圧縮回路１１２は、メモリコントローラ１０７によりメモリ１０８から読み出された静止画像の画像データを圧縮する。そして、メモリコントローラ１０７は、圧縮された画像データをメモリ１０８に書き込む。なお、ここではステップＳ３０４でメモリ１０８に書き込まれた画像データが読み出されて圧縮される。
次に、ステップＳ３０６において、メモリコントローラ１０７は、ステップＳ３０５で書き込んだメモリ１０８を読み出し、静止画ファイルとして記録媒体１１８に書き込む。

以上のように本実施形態では、動画像を記録する際に、領域シフト回路１１１は、動き検出回路１１０で検出された動き量の整数部に基づいて、つまり画素単位で手振れ補正（検出される動き量のうち、１画素未満の切り捨てによるシフト処理）を行う。そして、記録した動画像を静止画像として出力する際に、超解像処理回路１１３は、この画素単位で手振れ補正が行われた画像を用いて超解像処理を行う。また、動画像データを再生する際には、領域シフト回路１１９が、動き検出回路１１０で検出される１画素未満の動き量に基づいて補間処理を行ったうえで、表示を実行する。

以上により、動画像として再生する場合には、１画素未満の動き量で手ぶれ補正を行うので、滑らかな表示を行うことが可能となる。
一方、静止画像として出力する場合には、高周波成分が欠損していない状態での複数枚の画像データに基づいて超解像処理を施すので、高解像の静止画像データを生成することが期待できる。

さらに、検出した動き量の１画素以上の画素に基づく切り出し処理を行った後に動画像ファイルとして記録するようにしているので、余分な画像データを記録する必要がなくなる。これにより、動画像データとしての記録容量を低減させることができる。

なお、本実施形態では、動画像の記録中に表示デバイス１１６に表示させる動画像データを、１画素単位で手振れ補正したものとしたが、１画素未満の単位で補間処理して補正したものでもよい。この場合には、メモリコントローラ１０７とリサイズ回路１１４との間に、領域シフト回路１１９と同じ第２の領域シフト回路を設けるようにすればよい。また、動画像の再生（伸長）と記録（表示デバイス１１６への表示）とが同時に行われることはないので、２つの領域シフト回路のうち、何れか一方だけを設け、その一方の領域シフト回路が、他方の領域シフト回路の役割を兼用するようにしてもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。前述した第１の実施形態では、動画像を記録する際、及び記録した動画像を再生する際に、動き量を検出するようにした。これに対して、本実施形態では、動画像の記録時にのみ動き量を検出し、検出した動き量に基づく情報を、記録する動画像に付加するようにしている。このように、本実施形態と、前述した第１の実施形態とは、動き量を検出するタイミングと、検出した動き量の処理方法の一部とが異なるだけである。よって、前述した第１の実施形態と同一の部分については、図１〜図１０に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１１は、本実施形態の記録再生装置の構成の一例を示したブロック図である。なお、前述したように、本実施形態では、動画像の再生時に動き量を検出する必要がないので、図１に示したスイッチ１０９を設ける必要がない。

まず、動画像の記録時における記録再生装置の動作について説明する。
動き検出回路１１０は、前後する画像データ間の動き量を検出すると、その検出した動き量をメモリコントローラ１０７に出力する。そして、メモリコントローラ１０７は、その動き量をメモリ１０８に書き込む。
また、動き検出回路１１０は、第１の実施形態と同様に、検出した動き量の整数部の値に基づき、フィールドメモリ１０４に記憶された画像データから切り出し処理を行う。

信号処理回路１０５は、その読み出された画像データを、輝度色差信号に変換する。リサイズ回路１０６は、その輝度色差信号に基づく画像データのサイズを、所定の動画圧縮フォーマットに従ったサイズに変換する。メモリコントローラ１０７は、そのサイズが変換された画像データをメモリ１０８に書き込む。

メモリコントローラ１０７は、以上のようにしてメモリ１０８に書き込んだ画像データと、動き量とを読み出して圧縮回路１１２に出力する。このとき、出力される動き量としては、１画素以上の振れに関してはすでに切り出し処理により補正されているので、１画素未満の値、すなわち小数部の値のみが出力されるものとする。
圧縮回路１１２は、入力した画像データを圧縮し、圧縮した画像データに、入力した動き量（１画素未満である小数部のみ）を示す情報を付加する。動き量を付加する場所は、例えば、前記圧縮した画像データの圧縮形式等で定められている所定のデータ記述領域である。

より具体的に説明すると、例えばＭＰＥＧ１の場合は、画像データのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）層内のピクチャ層に含まれるＵＤ（Ｕｓｅｒ Ｄａｔａ）に配置することができる。このように、ユーザが使用できるデータ記述領域が画像データにある場合には、そのデータ記述領域に動き量を示す情報を付加することができる。また、ＭＰＥＧ４の場合は、画像データの各ＶＯＬ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒ）に含まれるスタッフィングバイト（Ｓｔｕｆｆｉｎｇ Ｂｙｔｅ）に配置することができる。このように、データのアライメント（ａｌｉｇｎｍｅｎｔ）を調整するためのデータ記述領域に動き量を示す情報を付加することもできる。ただし、動き量を示す情報を付加する場所は、これらに限定されるものではなく、圧縮画像データのデータ構造に応じて適宜決定することができるということは言うまでもない。

メモリコントローラ１０７は、圧縮回路１１２で圧縮された画像データとその画像データに付加された動き量を示す情報とを読み出し、読み出した画像データと動き量を示す情報とを、動画ファイルとして記録媒体１１８に記録する。
図１２は、記録媒体１１８に記憶される動画ファイルの内容の一例を概念的に示した図である。前述した動き量の付加動作によって動画ファイル７００には、図７に示すように、各フィールド画像の圧縮画像データ７０１と、１画素未満の小数部である動き量７０２とが組になって記録される。

次に、動画像の再生時の記録再生装置の動作について説明する。
付加情報解析回路３０１は、メモリコントローラ１０７により読み出されて伸長回路１１１に出力される動画ファイル７００を入力し、動画ファイル７００に含まれる圧縮画像データ７０１から、動き量７０２を分離して領域シフト回路１１９に出力する。
領域シフト回路１１９は、入力した動き補正量７０２に従って、前述した第１の実施形態と同様に、伸長回路１１１で伸長された画像データの各画素の補間処理を行う。補間処理が行われた画像データは、メモリコントローラ１０７によりメモリ１０８に書き込まれる。その後、表示デバイス１１６は、メモリコントローラ１０７によりメモリ１０８から読み出され、リサイズ回路１１４によりサイズが変換され、ビデオエンコーダ１１５でビデオ信号に変換された画像データを表示する。

次に、超解像処理における処理について説明する。
第１の実施形態では、超解像処理時に連続する画像データ間の動き量を動き検出回路１１０により検出していたが、前述のように、抽出される画像データには動き量が組になって記録されているので、あらためて動き量を検出する必要がない。したがって、本実施の形態における超解像処理においては、前述の超解像処理において動き量検出の処理の代わりに、記録されている圧縮画像データからの動き量データの分離処理が行われることになる。

以上のように本実施形態では、動画像の記録時に、１画素未満の小数部である動き量を示す情報を記録しておき、動画像の再生時および超過像処理時に、記録しておいた動き量を用いるようにした。これにより、前述した第１の実施形態における効果に加え、動き量の検出を動画像の記録時にのみ行えばよくなり、動画再生時における処理がより容易になるという効果が得られる。

（本発明の他の実施形態）
前述した実施形態では、動き検出回路１１０を用いて、画像から動き量を検出するようにしたが、必ずしもこのようにする必要はない。例えば、角速度を検出するジャイロセンサを記録再生装置に設け、このジャイロセンサを用いて連続する画像間の動き量を検出するようにしてもよい。この場合、図１および図１１に示した記録再生装置において、例えば、動き検出回路１１０の代わりに、ジャイロセンサと、ジャイロセンサで検出された角速度から動き量を求める回路とを設けるようにすればよい。
また、上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の第１の実施形態を示し、記録再生装置の構成の一例を示したブロック図である。 本発明の第１の実施形態を示し、前後して入力される画像データ間の動き量の一例を説明する図である。 本発明の第１の実施形態を示し、動画像の記録中における撮影画像データの切り出し方法の一例を説明する図である。 本発明の第１の実施形態を示し、領域シフト回路の具体的な構成の一例を示した図である。 本発明の第１の実施形態を示し、１Ｈ遅延回路、乗算器、及び加算器による処理の一例を画像データの水平ライン単位で説明する図である。 本発明の第１の実施形態を示し、１クロック遅延回路、乗算器、及び加算器による処理の一例を画像データの水平方向の１ラインを抜き出して説明する図である。 本発明の第１の実施形態を示し、超解像処理の一例を説明する図である。 本発明の第１の実施形態を示し、動画像を撮影して記録する際の記録再生装置における動作の一例を説明するフローチャートである。 本発明の第１の実施形態を示し、記録した動画像を再生する際の記録再生装置における動作の一例を説明するフローチャートである。 本発明の第１の実施形態を示し、記録した動画像を静止画像として出力する際の記録再生装置における動作の一例を説明するフローチャートである。 本発明の第１の実施形態を示し、記録再生装置の構成の一例を示したブロック図である。 本発明の第２の実施形態を示し、記憶媒体に記憶される動画ファイルの内容の一例を概念的に示した図である。

符号の説明

１０１ 光学系
１０２ 撮像素子
１０８ メモリ
１１０ 動き検出回路
１１１ 伸長回路
１１３ 超解像処理回路
１１６ 表示デバイス
１１８ 記録媒体
１１９ 領域シフト回路
１２０ ＣＰＵ
１２１ 操作部

Claims (11)

1. 撮像手段を有する記録再生装置であって、
   前記記録再生装置の動き量を検出する動き検出手段と、
   前記撮像手段によって取得される複数の画像の相関に基づいて各画像の一部を選択することで、前記動き検出手段により検出された動き量のうち１画素以上の動き量に対応する振れ補正を行う第１の補正手段と、
   前記第１の補正手段により補正された前記複数の画像を記録媒体に記録する記録手段と、
   前記記録媒体に記録された複数の画像を読み出して画素補間処理を行うことで、前記動き検出手段により検出された１画素未満の動き量に対応する補正を行う第２の補正手段とを有することを特徴とする記録再生装置。
2. 少なくとも前記第２の補正手段によって画素補間処理された画像を用いて１枚の画像を生成する静止画生成手段を更に有することを特徴とする請求項１に記載の記録再生装置。
3. 前記静止画生成手段は、前記複数の画像から抽出される画像を合成して１枚の画像を生成することを特徴とする請求項２に記載の記録再生装置。
4. 前記第２の補正手段によって画素補間処理された画像を表示する表示手段を更に有することを特徴とする請求項１〜３の何れか１項に記載の記録再生装置。
5. 前記記録手段は、前記動き検出手段により検出された動き量のうち１画素未満の動き量を前記複数の画像と共に記録することを特徴とする請求項１〜４の何れか１項に記載の記録再生装置。
6. 撮像ステップを有する記録再生方法であって、
   記録再生装置の動き量を検出する動き検出ステップと、
   前記撮像ステップによって取得される複数の画像の相関に基づいて各画像の一部を選択することで、前記動き検出ステップにより検出された動き量のうち１画素以上の動き量に対応する振れ補正を行う第１の補正ステップと、
   前記第１の補正ステップにより補正された前記複数の画像を記録媒体に記録する記録ステップと、
   前記記録媒体に記録された複数の画像を読み出して画素補間処理を行うことで、前記動き検出ステップにより検出された１画素未満の動き量に対応する補正を行う第２の補正ステップとを有することを特徴とする記録再生方法。
7. 少なくとも前記第２の補正ステップによって画素補間処理された画像を用いて１枚の画像を生成する静止画生成ステップを更に有することを特徴とする請求項６に記載の記録再生方法。
8. 前記静止画生成ステップは、前記複数の画像から抽出される複数の画像を合成して１枚の画像を生成することを特徴とする請求項７に記載の記録再生方法。
9. 前記第２の補正ステップによって画素補間処理された画像を表示する表示ステップを更に有することを特徴とする請求項６〜８の何れか１項に記載の記録再生方法。
10. 前記記録ステップは、前記動き検出ステップにより検出された動き量のうち１画素未満の動き量を前記複数の画像と共に記録することを特徴とする請求項６〜９の何れか１項に記載の記録再生方法。
11. 記録再生装置の動き量を検出する動き検出ステップと、
    撮像手段によって取得される複数の画像の相関に基づいて各画像の一部を選択することで、前記動き検出ステップにより検出された動き量のうち１画素以上の動き量に対応する振れ補正を行う第１の補正ステップと、
    前記第１の補正ステップにより補正された前記複数の画像を記録媒体に記録する記録ステップと、
    前記記録媒体に記録された複数の画像を読み出して画素補間処理を行うことで、前記動き検出ステップにより検出された１画素未満の動き量に対応する補正を行う第２の補正ステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。

Images