JP4769695B2 - 撮像装置及び再生装置 - Google Patents

Description

本発明は撮像装置及び再生装置に関し、特に、動画撮影時に圧縮率を可変できるようにするために用いて好適な技術に関する。

現在、商用カメラにおいては、デジタル・ビデオとデジタル静止画像写真との両方を撮影することができるように構成されている場合が多い。しかしながら、一般に、ビデオ記録モードとデジタル静止画像モードとはそれぞれに別々のパイプラインが設けられており、撮影中にユーザがビデオ記録モードとデジタル静止画像モードとを切り替える必要がある。

また、ビデオ記録モードとデジタル静止画像モードとで別々のパイプラインが設けられている。このため、動画からあるフレームを抜き取り、デジタル静止画像を取得してもビデオ記録モードのパイプラインによって撮影されたフレーム画像では低解像度の画像しか得ることができなかった。

特許文献１においては、デジタル・ビデオ・フレーム及び高解像度静止画像をバースト・モードで同時に処理する方法が公開されており、この技術によって動画撮影中にスナップ写真を撮ることを可能としている。

また、特許文献２では、連続撮影された２枚の画像を合成して、画質や映像効果の高い画像を作成することができるようにした技術が公開されている。
特開２００３−２８３９２１号公報 特開２００２−３００３７２号公報

しかし、特許文献１に記載の処理方法の場合は、動画撮影中にスナップ写真を撮ることに特化しているため、動画再生時に圧縮記録された動画の中からユーザが好みのシーンで高解像度のフレーム画像を抜き出すことはできなかった。

また特許文献２に記載の画像処理装置の場合は、ＭＰＥＧ動画のように高い圧縮率で動画が記録されていると、ＭＰＥＧにおけるＰフレームが連続する区間では、連続する複数のフレームから合成画像を作成しても低解像度の画像しか作れない問題点があった。

上記目的を達成するために、本発明の撮像装置は、請求項１に記載の通り、被写体画像を撮像する撮像手段と、前記撮像手段で撮像された前記被写体画像を圧縮して圧縮被写体画像を生成する圧縮手段と、前記撮像手段が前記被写体画像を撮影する、撮影モードを変更する撮影モード変更手段と、前記圧縮手段が前記圧縮被写体画像を圧縮する圧縮率を変更する圧縮率変更手段と、前記圧縮率に関するヘッダー情報を前記圧縮被写体画像に添付するヘッダー情報書き込み手段と、前記ヘッダー情報が書き込まれた前記圧縮被写体画像を記録媒体に記録する記録手段と、を有し、前記圧縮率変更手段は、前記撮影モード変更手段により、前記撮影モードが非超解像度モードから超解像度モードに変更された場合には、前記撮影モードが前記超解像度モードから前記非超解像度モードに変更された場合に比べて前記圧縮率を低圧縮率に変更し、前記撮影モード変更手段は、低圧縮率の画像データが超解像処理に必要な枚数分以上前記記録手段により記録されたことに応じて、前記撮影モードを超解像度モードから非超解像度モードへと変更することを特徴とする。

また、本発明の再生装置は、請求項７に記載の通り、記録媒体に記録された圧縮被写体画像を伸長して伸長被写体画像を生成する伸長手段と、前記圧縮被写体画像に添付されている圧縮率に関する情報を読み出し、前記圧縮率に関する情報から超解像画像を生成できるか判別するヘッダー判別手段と、連続する複数の前記被写体画像より超解像画像を生成する超解像画像生成手段とを有し、前記超解像画像生成手段は、前記ヘッダー判別手段の判別結果に基づいて、前記超解像画像を生成するのに適しているシーンにおいてフレーム画像を選択し前記超解像画像を生成することを特徴とする。

また、本発明の撮像装置の制御方法は、請求項９に記載の通り、撮像した被写体画像を圧縮して圧縮被写体画像を生成する圧縮工程と、前記被写体画像を撮影する撮影モードを変更する撮影モード変更工程と、前記圧縮工程における圧縮率を変更する圧縮率変更工程と、前記圧縮率に関するヘッダー情報を前記圧縮被写体画像に添付するヘッダー情報書き込み工程と、前記ヘッダー情報が書き込まれた前記圧縮被写体画像を記録媒体に記録する記録工程と、を有し、前記圧縮率変更工程において、前記撮影モード変更工程により、前記撮影モードが非超解像度モードから超解像度モードに変更された場合には、前記撮影モードが前記超解像度モードから前記非超解像度モードに変更された場合に比べて前記圧縮率を低圧縮率に変更し、前記撮影モード変更工程において、低圧縮率の画像データが超解像処理に必要な枚数分以上前記記録手段により記録されたことに応じて、前記撮影モードを超解像度モードから非超解像度モードへと変更することを特徴とする。

また、本発明の再生方法は、請求項１０に記載の通り、記録媒体に記録された圧縮被写体画像を伸長して伸長被写体画像を生成する伸長工程と、前記圧縮被写体画像に添付されている圧縮率に関する情報を読み出し、前記圧縮率に関する情報から超解像画像を生成できるか判別するヘッダー判別工程と、連続する複数の前記被写体画像より超解像画像を生成する超解像画像生成工程とを有し前記超解像画像生成工程は、前記ヘッダー判別工程における判別結果に基づいて、前記超解像画像を生成するのに適しているシーンにおいてフレーム画像を選択し前記超解像画像を生成することを特徴とする。

本発明によれば、撮影モードを非超解像度モードと超解像度モードとを切り替えることで、ユーザは好みのシーンにおいて、超解像処理のための高画質な画像データを得ることができるという効果がある。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態を示し、動画撮影中に圧縮率を変更できる撮像装置の構成を示すブロック図である。また、図５は第１の実施形態において動画撮影時に撮影モードが切り替わる処理手順を示したフローチャートである。

先ず、図１を用いて本実施形態の撮像装置を説明する。図１において、レンズ８００を通って入射した被写体光像をＣＣＤ８０１で電気信号に光電変換する。ＣＣＤ８０１は、タイミングジェネレータ８０７から入力する駆動制御信号に基づいて所定の時間被写体光像を取り込む。

また、同様にタイミングジェネレータ８０７から入力する読み出し制御信号（水平同期信号、垂直同期信号等）により、電気信号となった画像信号をアナログ信号処理部８０２に送る。

タイミングジェネレータ８０７は、タイミング制御部８０８から入力される制御信号に基づいて駆動制御信号と読み出し制御信号を生成する。アナログ信号処理部８０２は、主にＬＰＦ回路、及びＡＧＣ（オートゲインコントロール）回路からなり、ＣＣＤ８０１から出力される画像信号のノイズ低減と信号レベルの調整を行う。

Ａ／Ｄ変換処理部８０３は、アナログ信号処理部８０２から出力される画像信号をデジタル信号（以下、画像データという）に変換する。デジタル信号処理部８０４は、主にＷＢ回路、γ補正回路等からなる。ＷＢ回路は、Ａ／Ｄ変換処理部８０３から出力される画像データの各色成分のレベルを変換して撮影画像のホワイトバランスを調整する。また、γ補正回路は、予め設定された補正テーブルを用いて各画素データのレベルを調整して、画像データのγ特性を補正する。

デジタル信号処理部８０４から出力される画像データは、メモリＩ／Ｆ８０５を介してＶＲＡＭ８０６に一時的に保存される。圧縮部８０９は、ＶＲＡＭ８０６に保存されている画像データを読出し、画像データをＭｏｔｉｏｎ−ＪＰＥＧフォーマット、またはＡＶＩフォーマット等で圧縮する。圧縮された画像データは、メモリＩ／Ｆ８０５を介して記録媒体８２６に記録保存される。

撮像操作部８２２は、動画撮影を開始するボタン、終了するボタン、超解像度モードボタンなどで構成されており、超解像度モードボタンが押されると、ＣＰＵ８２３を介してヘッダー書き込み部８２４や圧縮率制御部８２５に制御信号が入力される。

ヘッダー書き込み部８２４は、ＣＰＵ８２３からの制御信号に基づいて超解像度モードによる撮影か、通常モード（非超解像度モード）による撮影かを示す情報を各フレームのヘッダーに書き込む。また、圧縮率制御部８２５は、ＣＰＵ８２３からの制御信号に基づいて、圧縮部８０９へ圧縮率を制御する信号を出力する。圧縮部８０９は、圧縮率制御部８２５から入力される制御信号に応じて圧縮率を変更する。なお、図１において、８２０はＬＣＤ Ｉ／Ｆであり、８２１はＬＣＤ（液晶表示装置）である。

次に、図５のフローチャートを用いて本実施形態の撮像装置における動画撮影時の処理手順を説明する。ここで、図５のフローチャートは、図１における撮像操作部８２２の動画撮影開始ボタンが押された状態からの処理手順を示している。

図５において、動画撮影開始と同時にステップＳ９０６でｍｏｄｅが０に初期化される。次に、ステップＳ９００に進み、撮像操作部で超解像度モードボタンが押されたか判別する。この判別の結果、超解像度モードボタンが押されていない場合はステップＳ９０４へ移る。

また、ステップＳ９００の判別の結果、超解像度モードボタンが押された場合は、ステップＳ９０１に移り、それまでの撮影モードが通常モードであるかを判別する。本実施形態では、通常モードの場合はｍｏｄｅ＝０、超解像度モードではｍｏｄｅ＝１とする。

ステップＳ９０１の判別の結果、それまでの撮影モードが通常モード、つまりｍｏｄｅ＝０であれば、ステップＳ９０３に移り、ｍｏｄｅに１が代入される。これにより、フレーム画像データを低圧縮率で圧縮するように変更される。

また、ステップＳ９０１の判別の結果、それまでの撮影モードが超解像度モード、つまり、ｍｏｄｅが１であればステップＳ９０２に移りｍｏｄｅに０が代入される。これにより、フレーム画像データを高圧縮率で圧縮するように変更される。

次に、ステップＳ９０４でフレームのヘッダーにｍｏｄｅを書き込む処理を行う。例えば、通常モードであればｍｏｄｅ＝０、超解像度モードであればｍｏｄｅ＝１といった撮影モード情報を書き込む。

次に、ステップＳ９０５に進み、撮像操作部８２２において動画撮影終了ボタンが押されたか判別する。この判別の結果、動画撮影終了ボタンが押されていなければステップＳ９００に戻って前述した処理を繰り返し行う。また、ステップＳ９０５の判別の結果、動画撮影終了ボタンが押されていれば撮影を終了する。

以上により、動画撮影中に超解像度モードボタンを押すことでフレーム画像の圧縮率を変更することができ、通常モードでは圧縮率を高くしてデータサイズを小さくすることができる。一方、超解像度モードでは圧縮率を低くしてフレーム毎の情報をなるべく損なうことなく動画像を記録することが可能となる。

また、各フレームのヘッダーには撮影モードの情報を書き込んでいるので、動画像再生時に通常モードで撮影されたシーンと超解像度モードで撮影されたシーンを容易に判別することができる。

前記の説明では、画像データをＭｏｔｉｏｎ−ＪＰＥＧフォーマット、またはＡＶＩフォーマット等で圧縮記録する例を挙げたが、ＭＰＥＧフォーマットの場合でも圧縮率を変更して記録することも可能である。

例えば、ＭＰＥＧフォーマットによる動画記録の場合は、通常モードでは図５のステップＳ９０３において、フレーム画像データをＩフレーム（フレーム内符号化による圧縮フレーム）とＰ、Ｂフレーム（フレーム間符号化による圧縮フレーム）は高圧縮率で圧縮するように変更される。また、超解像度モードでは図５のステップＳ９０２において、フレーム画像データをＩフレームとＰ、Ｂフレームは低圧縮率で圧縮するように変更される。

以上により、ＭＰＥＧフォーマットによる動画記録においても動画撮影中に超解像度モードボタンを押すことでフレーム画像の圧縮率を変更することができるようになる。これにより、通常モードではＩフレーム及びＰ、Ｂフレームの圧縮率を高くしてデータサイズを小さくすることができる。また、超解像度モードでは、Ｉフレーム及びＰ、Ｂフレームの圧縮率を低くしてフレーム毎の情報をなるべく損なうことなく動画像を記録することが可能となる。また、各フレームのヘッダーには撮影モードの情報を書き込んでいるので、動画像再生時に通常モードで撮影されたシーンと超解像度モードで撮影されたシーンを容易に判別することができる。

（第２の実施形態）
図８に、本発明の第２の実施形態における動画撮影中に圧縮方式を変更できる撮像装置の構成例を説明するブロック図を示す。また、第２の実施形態において動画撮影時に撮影モードが切り替わる際の処理手順を説明するフローチャートを図９に示す。

先ず、図８を用いて本実施形態の撮像装置の構成を説明する。図８において、レンズ１００を通って入射した被写体光像をＣＣＤ１０１で電気信号に光電変換する。

ＣＣＤ１０１は、タイミングジェネレータ１０７から入力する駆動制御信号に基づいて所定の時間被写体光像を取り込む。同様に、タイミングジェネレータ１０７から入力する読み出し制御信号（水平同期信号、垂直同期信号等）により、電気信号となった画像信号をアナログ信号処理部１０２に送る。

タイミングジェネレータ１０７は、タイミング制御部１０８から入力される制御信号に基づいて駆動制御信号と読み出し制御信号を生成する。アナログ信号処理部１０２は、主にＬＰＦ回路、及びＡＧＣ（オートゲインコントロール）回路からなり、ＣＣＤ１０１から出力される画像信号のノイズ低減と信号レベルの調整を行う。

Ａ／Ｄ変換処理部１０３は、アナログ信号処理部１０２から出力される画像信号をデジタル信号（以下、画像データという）に変換する。デジタル信号処理部１０４は、主にＷＢ回路、γ補正回路等から構成されている。ＷＢ回路は、Ａ／Ｄ変換処理部１０３から出力される画像データの各色成分のレベルを変換して撮影画像のホワイトバランスを調整する。

また、γ補正回路では、予め設定された補正テーブルを用いて各画素データのレベルを調整して、画像データのγ特性を補正する。デジタル信号処理部１０４から出力される画像データは、メモリＩ／Ｆ１０５を介してＶＲＡＭ１０６に一時的に保存される。

ＭＰＥＧ圧縮部１０９は、ＶＲＡＭ１０６に保存されている画像データを読出し、画像データをＭＰＥＧフォーマットで圧縮する。圧縮された画像データは、メモリＩ／Ｆ１０５を介して記録媒体１２６に記録保存される。

撮像操作部１２２は、動画撮影を開始するボタン、終了するボタン、超解像度モードボタン等で構成されており、超解像度モードボタンが押されると、ＣＰＵ１２３を介してヘッダー書き込み部１２４や圧縮方式制御部１２５に制御信号が入力される。

ヘッダー書き込み部１２４は、ＣＰＵ１２３から与えられる制御信号に基づいて超解像度モードによる撮影か、通常モードによる撮影か何れかの情報を各フレームのヘッダーに書き込む。また、圧縮方式制御部１２５は、ＣＰＵ１２３から与えられる制御信号に基づいて、ＭＰＥＧ圧縮部１０９へ圧縮方式を制御する信号を出力する。ＭＰＥＧ圧縮部１０９は、圧縮方式制御部１２５から入力される制御信号に応じて、ＭＰＥＧフォーマットの圧縮方式が変更される。

次に、図９のフローチャートを用いて本実施形態の撮像装置における動画撮影時の処理手順を説明する。ここで、図９のフローチャートは図８における撮像操作部１２２の動画撮影開始ボタンが押された状態からの処理手順を示している。

図９において、動画撮影開始と同時にステップＳ５０６でｍｏｄｅが０に初期化される。次に、ステップＳ５００において、撮像操作部１２２で超解像度モードボタンが押されたかを判別する。この判別の結果、超解像度モードボタンが押されていない場合はステップＳ５０４へ移る。

一方、ステップＳ５００の判別の結果、超解像度モードボタンが押されていた場合は、ステップＳ５０１に移り、それまでの撮影モードが通常モードであるかを判別する。本実施形態では、通常モードの場合はｍｏｄｅ＝０、超解像度モードではｍｏｄｅ＝１とする。

ステップＳ５０１の判別の結果、それまでの撮影モードが通常モード、つまりｍｏｄｅが０であれば、ステップＳ５０３に移りｍｏｄｅに１が代入され、ＭＰＥＧ圧縮方式はＩフレームのみで動画像データを圧縮する圧縮方式に変更される。

また、ステップＳ５０１の判別の結果、それまでの撮影モードが超解像度モード、つまりｍｏｄｅが１であればステップＳ５０２に移ってｍｏｄｅに０が代入され、ＭＰＥＧ圧縮方式はＩフレームとＰフレームで動画像データを圧縮する圧縮方式に変更される。

ＭＰＥＧ圧縮方式の変更については、例えば通常モードとは、図３に示したようにＰフレームを含んだ圧縮を行うことを意味している。また、超解像度モードとは図４に示したようモードが切り替わった時点（図４では時刻ｔ’２）からＩフレームのみで画像データを圧縮することを意味している。

次に、ステップＳ５０４に進み、フレームのヘッダーに、例えば通常モードであればｍｏｄｅ＝０、超解像度モードであればｍｏｄｅ＝１といった撮影モード情報を書き込む。次に、ステップＳ５０５に進み、撮像操作部１２２において動画撮影終了ボタンが押されたかを判別し、押されていなければステップＳ５００に戻り、押されていれば撮影を終了する。

以上の処理手順を実行することにより、動画撮影中に超解像度モードボタンを押すことによりＭＰＥＧフォーマットの圧縮方式を変更することができる。これにより、通常モードではＰフレームを含んだ高圧縮方式で、超解像度モードではＩフレームのみの低圧縮方式で動画像を記録することが可能である。

また各フレームのヘッダーには撮影モードの情報を書き込んでいるので、動画像再生時に通常モードで撮影されたシーンと超解像度モードで撮影されたシーンを容易に判別することができる。

（第３の実施形態）
図１０に、動画撮影中にフレーム解像度を変更できる撮像装置の第３の実施形態の構成を説明するブロック図を示す。また、第３の実施形態において動画撮影時に撮影モードが切り替わる処理手順を図１１のフローチャートを参照しながら説明する。

先ず、図１０を用いて本実施形態の撮像装置の構成を説明する。

図１０において、レンズ３００を通って入射した被写体光像をＣＣＤ３０１で電気信号に光電変換する。ＣＣＤ３０１は、タイミングジェネレータ３０７から入力する駆動制御信号に基づいて所定の時間被写体光像を取り込み、同様にタイミングジェネレータ３０７から入力する読み出し制御信号により、電気信号となった画像信号をアナログ信号処理部３０２に送る。

タイミングジェネレータ３０７は、タイミング制御部３０８から入力される制御信号に基づいて駆動制御信号と読み出し制御信号を生成する。アナログ信号処理部３０２は、主にＬＰＦ回路、及びＡＧＣ（オートゲインコントロール）回路からなり、ＣＣＤ３０１から出力される画像信号のノイズ低減と信号レベルの調整を行う。

Ａ／Ｄ変換処理部３０３は、アナログ信号処理部３０２から出力される画像信号をデジタル信号（以下、画像データという）に変換する。デジタル信号処理部３０４は、主にＷＢ回路、γ補正回路等からなる。ＷＢ回路ではＡ／Ｄ変換処理部３０３から出力される画像データの各色成分のレベルを変換して撮影画像のホワイトバランスを調整する。また、γ補正回路は、予め設定された補正テーブルを用いて各画素データのレベルを調整して、画像データのγ特性を補正する。

デジタル信号処理部３０４から出力される画像データは解像度変更部３２５へ送られる。解像度変更部３２５は、ＣＰＵ３２３からの制御信号に応じて記録する画像データの解像度を変更する。解像度変更部３２５から出力される画像データは、メモリＩ／Ｆ３０５を介してＶＲＡＭ３０６に一時的に保存される。

圧縮部３０９は、ＶＲＡＭ３０６に保存されている画像データを読出し、画像データを圧縮する。圧縮された画像データは、メモリＩ／Ｆ３０５を介して記録媒体３２６に記録保存される。

撮像操作部３２２は、動画撮影を開始するボタン、終了するボタン、超解像度モードボタン等で構成されており、超解像度モードボタンが押されると、ＣＰＵ３２３を介してヘッダー書き込み部３２４や解像度変更部３２５に制御信号が入力される。ヘッダー書き込み部３２４は、ＣＰＵ３２３からの制御信号に基づいて超解像度モードによる撮影か、通常モードによる撮影かの情報を各フレームのヘッダーに書き込む。

次に、本実施形態の撮像装置における動画撮影時の処理手順を図１１のフローチャートを参照しながら説明する。ここで、図１１のフローチャートは、図１０における撮像操作部３２２の動画撮影開始ボタンが押された状態からの処理手順を示している。

図１１において、動画撮影開始と同時にステップＳ００６でｍｏｄｅが０に初期化される。次に、ステップＳ０００では撮像操作部３２２で超解像度モードボタンが押されたかを判別する。この判別の結果、超解像度モードボタンが押されていない場合はステップＳ００４へ移る。

また、ステップＳ０００の判別の結果、超解像度モードボタンが押されていた場合は、ステップＳ００１に移り、それまでの撮影モードが通常モードであるかを判別する。本実施形態では、通常モードの場合はｍｏｄｅ＝０、超解像度モードではｍｏｄｅ＝１とする。

ステップＳ００１の判別の結果、それまでの撮影モードが通常モード、つまりｍｏｄｅが０であれば、ステップＳ００３に移りｍｏｄｅに１が代入され、画像データは高い画像解像度に変更する。例えば、ＶＧＡ（６４０×４８０ピクセル）に変更する。

また、ステップＳ００１の判別の結果、それまでの撮影モードが超解像度モード、つまりｍｏｄｅが１であればステップＳ００２に移りｍｏｄｅに０を代入して、画像データを低い画像解像度に変更する。例えば、ＱＶＧＡ（３２０×２４０ピクセル）に変更する。

次に、ステップＳ００４に進んでフレームのヘッダーに、例えば通常モードであればｍｏｄｅ＝０、超解像度モードであればｍｏｄｅ＝１といった撮影モード情報を書き込む。次に、ステップＳ００５に進み、撮像操作部３２２において動画撮影終了ボタンが押されたかを判別する。この判別の結果、動画撮影終了ボタンが押されていなければステップＳ０００に戻り、押されていれば撮影を終了する。

以上の処理手順を実行することにより、動画撮影中に超解像度モードボタンを押すことにより画像データを記録する解像度を変更することができる。これにより、通常モードでは例えばＱＶＧＡのように低い解像度で記録し、超解像度モードでは例えばＶＧＡのように高い解像度で動画像を記録することが可能である。

また、各フレームのヘッダーには撮影モードの情報を書き込んでいるので、動画像再生時に通常モードで撮影されたシーンと超解像度モードで撮影されたシーンを容易に判別することができる。

（第４の実施形態）
図２に、本発明の第４の実施形態における動画再生時に選択されたシーンにおいて超解像度のフレーム画像データを抜き出すことができる再生装置の構成例を説明するブロック図を示す。また、動画再生時に選択されたシーンから超解像度のフレーム画像データを抜き出す処理手順を示したフローチャートを図６に示す。

先ず、図２を用いて本実施形態の再生装置の構成例を説明する。記録媒体２００には前述の撮像装置により圧縮された動画像データが記録されている。伸長部２０２は、メモリＩ／Ｆ２０１を介して記録媒体２００より圧縮動画像データを読み出して伸長する。そして、伸長部２０２は各フレームのヘッダーに書き込まれているヘッダー情報をヘッダー判別部２０３へ出力する。

ヘッダー判別部２０３は、撮影モードが通常モードであるか超解像度モードであるかを判別し、ＣＰＵ２０５を介して伸長部２０２や超解像画像作成部２１１へ制御信号を出力する。伸長部２０２は、ＣＰＵ２０５からの制御信号に応じて通常モードと超解像度モードで伸長方式を変更する。

伸長部２０２で伸長された画像データはメモリＩ／Ｆ２０１を介して第１のＶＲＡＭ２０６へ出力され一時的に画像データが保存される。表示部２０７は、第１のＶＲＡＭ２０６より画像データをメモリＩ／Ｆ２０１より読み出し、内蔵されているＳＳＧで生成される同期信号とでビデオアウト信号が生成され、モニタＩ／Ｆ２０８を介してモニタ２０９に動画像が出力表示される。

ヘッダー情報に書き込まれている撮影モードが、超解像度モードであった場合、超解像画像作成部２１１に第１のＶＲＡＭ２０６から画像データの読み出しを開始するための制御信号が入力される。

また、メッセージ表示部２１５により、モニタに超解像でフレーム画像を抽出できることをメッセージ表示する。ここで、再生操作部２０４は動画再生開始ボタン、動画再生終了ボタン、フレーム選択ボタン、記録ボタン、キャンセルボタン等で構成されている。そして、フレーム選択ボタンが押されるとＣＰＵ２０５を介して超解像画像作成部２１１に超解像画像作成を開始するための制御信号が入力される。この制御信号に応じて超解像画像作成部２１１は時間的に連続する複数の画像データを基に選択されたフレーム画像の超解像画像を作成する。

本実施形態の超解像画像作成部２１１は、カメラ撮影時の手振れにより生じる位置ずれを利用し、フレーム間で微小な位置ずれを持ち且つ時間的に連続したフレーム画像を複数使用して選択されたフレーム画像の高周波成分を復元する。

超解像画像作成部２１１は、選択されたフレームに連続した前後数枚のフレーム画像を読み出すために、選択されたフレーム画像のヘッダー情報をＣＰＵ２０５に戻し、ＣＰＵ２０５は、そのヘッダー情報から時間的に連続するフレーム画像を記録媒体２００から読み出して伸長するように伸長部２０２へ制御信号を出力する。

伸長されたフレーム画像は、メモリＩ／Ｆ２０１を介して超解像画像作成部２１１に送られる。超解像画像作成部２１１は、選択されたフレーム画像を基に時間的に連続するそれぞれのフレーム画像の位置ズレを推定し、その位置ズレに応じた重みを使った加重和をとることで超解像度画像が作成される。

作成された超解像画像はメモリＩ／Ｆ２０１を介して第２のＶＲＡＭ２１０に一時的に保存される。また表示部２０７は再生操作部２０４のフレーム選択ボタンが押されるとＣＰＵ２０５から入力される制御信号に応じて、第２のＶＲＡＭ２１０からメモリＩ／Ｆ２０１を介して画像データを読み出すように切り替わる。これにより、再生操作部２０４でフレーム選択ボタンが押されると、モニタ２０９には、超解像画像作成部２１１で作成された超解像画像が表示される。

また、超解像画像がモニタに表示されるとともに、ＣＰＵ２０５からの制御信号に応じて、表示した超解像画像を記録するか記録しないかを問うメッセージを表示し、再生操作部における記録ボタンかキャンセルボタンを押すようにユーザに促す。

ここで、再生操作部２０４でキャンセルボタンが押されると、画像は記録されずにフレーム画像が更新されて表示部２０７に表示される。また、再生操作部２０４で記録ボタンが押されると、ＣＰＵ２０５を介してＪＰＥＧ圧縮部２１２に圧縮を開始するための制御信号が入力される。

ＪＰＥＧ圧縮部２１２は、ＣＰＵ２０５から与えられる制御信号に応じてメモリＩ／Ｆ２０１を介して第２のＶＲＡＭ２１０から超解像の画像データを読み出す。この読み出された超解像の画像データは、ＪＰＥＧ圧縮部２１２においてＪＰＥＧ圧縮され、メモリＩ／Ｆ２０１を介して記録媒体２００に記録される。

次に、図６のフローチャートを用いて本実施形態の再生装置における動画再生時の処理手順を説明する。ここで図６のフローチャートは、既に動画再生ボタンが押され、動画再生が開始された状態からの処理手順を示している。

図６において、ステップＳ６００では前述した撮像装置で記録された動画において、フレームのヘッダー情報に超解像度モードが選択されているか、または通常モードが選択されているかを判別する。この判別の結果、通常モードが選択されていれば、ステップＳ６０７に移る。ステップＳ６０７では第１のＶＲＡＭ２０６から画像データを読み出し、通常の画像データをモニタに表示する。

一方、ステップＳ６００の判別の結果、撮影モードが超解像度モードであると判別されたら、ステップＳ６０１へ移る。ステップＳ６０１では「超解像フレーム抽出可能！」というメッセージをモニタに表示する。

その後、ステップＳ６０２へ移り、再生操作部２０４においてフレーム選択ボタンが押されているかを判別する。この判別の結果、フレーム選択ボタンが押されていなければ、ステップＳ６０７へ移り、第１のＶＲＡＭ２０６から画像データを読み出し通常の画像をモニタに表示する。

また、ステップＳ６０２の判別の結果、フレーム選択ボタンが押されている場合には、ステップＳ６０３へ移る。そして、選択されたフレームの超解像画像を作成し、作成された超解像画像が保存されている第２のＶＲＡＭ２１０から画像データを読み出すことで超解像画像をモニタに表示する。次に、ステップＳ６０４に進んで記録処理が行われる。記録処理については図７を用いて後に詳細を説明する。

次に、ステップＳ６０５で、動画再生終了ボタンが押されているかいないかを判別する。この判別の結果、押されていなければステップＳ６０６でフレームを更新し、ステップＳ６００に戻る。また、ステップＳ６０５の判別の結果、動画再生終了ボタンが押されていれば、動画再生を終了する。

次に、ステップＳ６０４における記録処理について、図７のフローチャートを参照しながら詳細を説明する。図７のステップＳ７００ではモニタに「記録ｏｒキャンセル」というメッセージを表示し、ユーザに再生操作部２０４における記録ボタンかキャンセルボタンを押すように促す。

次に、ステップＳ７０１に進み、ユーザが再生操作部２０４における記録ボタンかキャンセルボタンを押したかどうかを判別する。この判別の結果、どちらも押していなければステップＳ７００に戻る。

また、ステップＳ７０１の判別の結果、どちらかのボタンが押されていればステップＳ７０２へ移る。ステップＳ７０２では、記録ボタンが押されたかどうかを判別し、もし押されていなければ記録処理を終了する。もしステップＳ７０２で記録ボタンが押されていればステップＳ７０３に移る。ステップＳ７０３では、超解像の画像データをＪＰＥＧ圧縮し、記録媒体に記録する。その後記録処理を終了する。

以上説明した処理手順を実行することにより、記録された動画像において超画像モードで撮影された期間で、ユーザが任意のフレームを選択したとき、選択したフレームと連続する複数の画像データを基に超解像の画像データを作成し記録することが可能となる。

また、前記実施形態では、再生装置では抽出した超解像画像データを記録媒体２００にＪＰＥＧ圧縮し記録するものであったが、その他にも様々な用途に合わせて、抽出した超解像画像データを使用することができる。例えば、図２に示したように第２のＶＲＡＭ２１０より超解像画像データを読み出し、プリンタＩ／Ｆ２１３を介してプリンタ２１４へ画像データを送ることで印刷することも可能である。

また、前述した実施形態では、ヘッダー情報に書き込まれている撮影モードによって超解像画像が生成できるかを判別していたが、ヘッダー情報の判別部として圧縮率に関する情報、または解像度に関する情報はどんな状態であってもかまわない。

（第５の実施形態）
本発明の第５の実施形態は、動画撮影中に静止画撮影する際、静止画撮影ボタンを押すと撮影モードが超解像度モードに変更される。超解像度モードでは、超解像度画像を生成するのに適した期間（数フレーム分）を画像の圧縮率を低くして記録し、その後自動的に動画撮影モードに戻り、画像の圧縮率を高くして動画記録を継続する。本実施形態において、動画撮影中に圧縮率を変更できる撮像装置の構成を示すブロック図は、既に説明した図１に示すものである。

図１２のフローチャートを用いて、動画撮影時に撮影モードが切り替わる際の処理手順を説明する。ここで、図１２のフローチャートは、図１における撮像操作部８２２の動画撮影開始ボタンが押された状態からの処理手順を示している。

図１２において、動画撮影開始と同時にステップＳ１０００でｍｏｄｅが０に、次のステップＳ１００１でＣＮＴが０に初期化される。次に、ステップＳ１００２に進み、撮影モードが通常モードであるかを判別する。本実施形態では、通常モードの場合はｍｏｄｅ＝０、超解像度モードではｍｏｄｅ＝１とする。

ステップＳ１００２の判別の結果、それまでの撮影モードが通常モード、つまりｍｏｄｅ＝０であれば、ステップＳ１００３に移り、超解像度モード、つまりｍｏｄｅ＝１であればステップＳ１００５へ移る。

ステップＳ１００３では撮像操作部で静止画撮影ボタン（超解像度モードボタン）が押されたか判別する。この判別の結果、超解像度モードボタンが押された場合はステップＳ１００４へ移りｍｏｄｅに１を代入し、ステップＳ１００５へ移る。

ステップＳ１００５では、フレーム画像データを低圧縮率で圧縮するように変更され、ステップＳ１００６へ移る。ステップＳ１００６ではフレームのヘッダーにｍｏｄｅを書き込む処理を行う。

次にステップＳ１００７でそれまでのＣＮＴの値に１を足してＣＮＴをインクリメントする。

次にステップＳ１００８でＣＮＴの値がＣＮＴｍａｘと比較され、ＣＮＴ≦ＣＮＴｍａｘであればステップＳ１０１１へ、ＣＮＴ＞ＣＮＴｍａｘであればステップＳ１００９へ移る。

ここでＣＮＴｍａｘの値は予め超解像として必要なフレーム枚数を入力しておく。例えばＣＮＴｍａｘ＝３とすると静止画撮影ボタンが押されてから４枚のフレーム画像が低圧縮率で圧縮されて記録される。

ステップＳ１００８においてＣＮＴ＞ＣＮＴｍａｘ、つまりＣＮＴの値がＣＮＴｍａｘより大きい場合はステップＳ１００９においてｍｏｄｅに０が代入され、次のステップＳ１０１０においてＣＮＴに０が代入される。

次にステップＳ１０１１では、撮像操作部８２２において動画撮影終了ボタンが押されたか判別する。この判別の結果、動画撮影終了ボタンが押されていなければステップＳ１００２に戻って前述した処理を繰り返し行う。また、ステップＳ１０１１の判別の結果、動画撮影終了ボタンが押されていれば撮影を終了する。

以上により、ＣＮＴｍａｘ値にフレーム数を入力しておくことで、ユーザは、動画撮影中に静止画撮影ボタン（超解像度モードボタン）を１度押すのみの操作で良くなる。すなわち、静止画撮影ボタンを１度押すと、超解像度画像を生成するのに必要な期間のみ低い圧縮率で画像データを圧縮記録し、自動的に動画撮影モードに戻り圧縮率を高くして動画記録を再開することが可能となる。

（第６の実施形態）
本発明の第６の実施形態は、撮影モードを超解像度モードに切り替える前の画像から高画質で画像を記録するための画像データの記録方法を特徴としている。本実施形態において、動画撮影中に圧縮率を変更できる撮像装置の構成を示すブロック図は、既に説明した図１に示すものである。

図１３は第６の実施形態において特徴とする画像データの記録方法をイメージ化したものである。図１３の画像データ１３０１は、被写体を撮影することにより得られた画像データであり、現像処理された画像データである。図１３のＶＲＡＭ１３０２は、図１のＶＲＡＭ８０６に記録されている画像データを示し、本実施形態では、現像した複数枚の画像データを記録できる。図１３の記録メディア１３０３は、記録媒体８２６に記録される画像データを示している。図１３の番号（１）〜（６）は、時間経過の順番に対応している。

図１３を用いて本実施形態の記録方法を説明する。図１３の（１）において現像された画像データ（ａ）はＶＲＡＭ８０６に記録される。次に図１３の（２）において現像された画像データ（ｂ）は画像データ（ａ）とは異なるＶＲＡＭ領域に記録される。

同様に図１３の（３）において現像された画像データ（ｃ）は画像データ（ａ）、（ｂ）とは異なるＶＲＡＭ領域に記録される。ここで初めにＶＲＡＭ８０６に記録された画像データ（ａ）は高い圧縮率で圧縮画像データ（Ａ）に変換され記録媒体に記録される。通常モード、つまり動画記録時は以上の工程が繰り返され動画データが記録媒体に記録される。

次に図１３の（４）の時点で超解像度モードボタンが押され、撮影モードが、超解像度モードに変更されたとする。

現像された画像データ（ｄ）は画像データ（ｂ）、（ｃ）とは異なるＶＲＡＭ領域に記録される。ここで画像データ（ａ）は既に読み出されているので画像データ（ａ）が記録されていたＶＲＡＭ領域に画像データ（ｄ）を記録するとＶＲＡＭ容量が小さくてすむ。

ここで超解像度モードでは前に記録された画像データ（ｂ）はＶＲＡＭから読み出された後、低い圧縮率で圧縮画像データ（Ｂ）に変換され記録媒体に記録される。

次に図１３の（５）において現像された画像データ（ｅ）は画像データ（ｃ）、（ｄ）とは異なるＶＲＡＭ領域に記録される。ここで画像データ（ｂ）は既に読み出されているので画像データ（ｂ）が記録されていたＶＲＡＭ領域に画像データ（ｅ）を記録する。

さらに、前に記録した画像データ（ｃ）をＶＲＡＭから読み出し、低い圧縮率で圧縮画像データ（Ｃ）に変換したのち記録媒体に記録する。

同様に図１３の（６）において現像された画像データ（ｆ）は画像データ（ｄ）、（ｅ）とは異なるＶＲＡＭ領域に記録される。ここで画像データ（ｃ）は既に読み出されているので画像データ（ｃ）が記録されていたＶＲＡＭ領域に画像データ（ｆ）を記録する。

さらに、前に記録した画像データ（ｄ）をＶＲＡＭから読み出し、低い圧縮率で圧縮画像データ（Ｄ）に変換したのち記録媒体に記録する。

以上の工程を繰り返すことで、ユーザーが超解像度モードに撮影モードを変更した時点より前の画像から高画質で記録することが可能となる。そして、再生時に超解像度画像データを表示する際、ユーザーが指定した時間の前後の画像データを使用して超解像度画像データを作成することが可能となる。

図１４は、図１、図５、図９のフローチャートの処理手順に対して本実施形態の方法を適用させた場合における、圧縮処理に関係する各ブロックのタイミングチャートである。図１５は、図１２のフローチャートの処理手順に対して本実施形態の方法を適用させた場合における、圧縮処理に関係する各ブロックのタイミングチャートである。

これらの図から明らかなように、各ボタンが押される時刻の画像データＥよりも前の画像データＣ及びＤから低圧縮率の画像を記録することができる。

（第７の実施形態）
本発明の第７の実施形態では、第１〜第６の実施形態において適用される超解像処理について説明する。

図１６は、超解像処理の手順を示すフローチャートである。ステップＳ１６０１では、選択された複数のフレーム画像データを取得する。例えば、本実施形態では、４つの選択フレーム画像データを取得するものとする。取得された複数のフレーム画像データは、メモリに一時的に記憶される。

なお、フレーム画像データは、ドットマトリクス状の各画素の階調値（以下「画素値」とも呼ぶ）を示す階調データ（以下「画素データ」とも呼ぶ）で構成されている。画素データは、Ｙ（輝度）、Ｃｂ（ブルーの色差）、Ｃｒ（レッドの色差）からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等であり、撮像素子の種別に依存する。

ただし、本実施形態では、超解像処理の説明を明確にするために、フレーム画像データは、後述の図１７に示すような、１色のみの多値の画像データとして示す。画像サイズもＶＧＡサイズではなく、８×８＝６４画素の画像データとして示す。

ステップＳ１６０２では、取得した３つのフレーム画像の各フレーム相互のずれ（位置ずれ）を補正するための補正量の推定を実行する。この補正量の推定では、上記４つのフレーム画像のうち、１つのフレーム画像を基準フレームとして設定し、その他の２つのフレーム画像を対象フレームとして設定する。そして、各対象フレームについて、基準フレームに対する位置ずれを補正するための補正量が、それぞれ推定される。なお、本実施形態では、選択フレーム画像の内、最も生成時の早いフレーム画像を基準フレームとして設定し、その他の３つのフレーム画像を対象フレームとして設定することとする。

なお、以下の説明では、取得した４つのフレームの番号（以下「フレーム番号」とも呼ぶ）をｎ（ｎ＝０，１，２，３）とし、フレーム番号ｎのフレームをフレームｎと呼び、フレームｎの画像をフレーム画像Ｆｎと呼ぶこととする。例えば、フレーム番号ｎが０のフレームはフレーム０と呼び、その画像をフレーム画像Ｆ０と呼ぶ。なお、フレーム０を基準フレームとし、フレーム１〜３を対象フレームとする。また、基準フレームのフレーム画像Ｆ０を基準フレーム画像とも呼び、対象フレームのフレーム画像Ｆ１〜Ｆ３を対象フレーム画像とも呼ぶこととする。

画像の位置ずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。ただし、本実施形態では、回転ずれについての説明及び処理は省略する。

図１７は超解像処理に用いるフレーム画像と超解像処理後の画像を示す図である。図１７では、被写体と、撮影により得られた基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ３を示している。被写体を囲む点線矩形は基準フレーム画像Ｆ０を撮影した際の画角を示し、実践矩形は対象フレーム画像Ｆ１〜Ｆ３のそれぞれを撮影した際の画角を示す。

本実施形態では、横方向の並進ずれ量を「ｕｍ」、縦方向の並進ずれ量を「ｖｍ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１〜３）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」と表す。例えば、図３に示すように、対象フレーム画像Ｆ１は、基準フレーム画像Ｆ０に対して、縦方向の並進ずれが生じており、そのずれ量は、ｕｍ１、ｖｍ１と表される。

ここで、各対象フレーム画像（Ｆ１〜Ｆ３）を基準フレーム画像（Ｆ０）と合成するためには、各対象フレーム画像と基準フレーム画像とのずれをなくすように、各対象フレーム画像の各画素の位置ずれを補正することとなる。この補正のために用いられる横方向の並進補正量を「ｕ」、縦方向の並進補正量を「ｖ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１〜３）についてのこれらの補正量を「ｕｎ」、「ｖｎ」と表す。例えば、対象フレーム画像Ｆ１についての補正量は、ｕ１、ｖ１と表される。

ここで、補正とは、対象フレーム画像Ｆｎ（ｎ＝１〜３）の各画素の位置を、横方向にｕｎの移動、縦方向にｖｎの移動を施した位置に移動させることを意味する。従って、対象フレーム画像Ｆｎ（ｎ＝１〜３）についての補正量ｕｎ、ｖｎは、ｕｎ＝−ｕｍｎ、ｖｎ＝−ｖｍｎの関係で表される。例えば、対象フレーム画像Ｆ１についての補正量ｕ１、ｖ１は、ｕ１＝−ｕｍ１、ｖ１＝−ｖｍ１で表される。

以上のことから、補正量ｕ１、ｖ１を用いて、対象フレーム画像Ｆ１の各画素の位置を補正することにより、対象フレーム画像Ｆ１と基準フレーム画像Ｆ０とのずれをなくすことができる。同様に、対象フレーム画像Ｆ２，Ｆ３についても、補正量ｕ２、ｖ２、及び補正量ｕ３、ｖ３、の各値を用いて補正が施される。

ところで、各対象フレーム画像Ｆｎ（ｎ＝１〜３）についての補正量ｕｎ、ｖｎは、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１〜Ｆ３の画像データとに基づき算定される。算定には、例えばパターンマッチ法や勾配法および最小自乗法による所定の算出式が用いられる。そして、算出された補正量ｕｎ、ｖｎは、並進補正量データｕｎ、ｖｎとして、メモリ内の所定の領域に記憶される。

ステップＳ１６０３では、基準フレームの画像データと補正した対象フレームの画像データとを合成して解像度の高い静止画像データを生成する。

本実施形態では、図１７において明確化のため各対象フレームのずれは１画素単位であるものとして示しているが、実際の撮影においては、１画素間隔以下のずれが生じており、この微少なずれを利用することで高解像度化が可能となる。

したがって、生成する静止画像を構成する各画素（以下「生成画素」とも呼ぶ）のうち、基準フレーム画像および対象フレーム画像のいずれにも存在しない画素が存在する。

このような画素については、その生成画素の周辺に存在する画素の画素値を表す画素データ（階調値を表す階調データ）を用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理を用いることができる。

例えば、バイ・リニア法による補間処理を用いる場合、図１８のように、まず、基準フレーム画像および対象フレーム画像から、生成画素１８０１の位置に最も近い距離にある最近傍画素１８０２を有するフレーム画像を選出する。そして、選択したフレーム画像のうち、生成画素位置を囲む４つの画素を周辺画素１８０２〜１８０５として決定し、周辺画素のデータ値に所定の重み付けを加えた値を平均して、生成画素のデータ値を得る。

以上の処理を各生成画素位置について繰り返すことにより、例えば、図１７に示す解像度が２倍の超解像画像を得ることができる。なお、解像度は２倍に限らず、種々の倍率とすることができる。また、補間処理に複数フレームのデータ値を用いるほど、高精細な超解像画像を得ることができる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５〜図７、図９、図１１及び図１２に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接されてもよい。あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現する。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどである。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）なども含む。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのものをダウンロードすることによっても供給できる。もしくは、圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づいて、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、その後、そのプログラムの指示に基づいて、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態における撮像装置の構成を示すブロック図である。 本発明の第４の実施形態における再生装置の構成を示すブロック図である。 一般的なＭＰＥＧ圧縮によるフレーム構成概念図である。 本発明の第２の実施形態における撮像装置によって圧縮方式が変化したＭＰＥＧによるフレーム構成概念図である。 本発明の第１の実施形態における撮像装置におけるＣＰＵでの処理手順を示したフローチャートである。 本発明の第４の実施形態における再生装置におけるＣＰＵでの処理手順を示したフローチャートである。 図６の記録処理におけるＣＰＵでの処理手順を示したフローチャートである。 本発明の第２の実施形態における撮像装置の構成を示すブロック図である。 本発明の第２の実施形態における撮像装置におけるＣＰＵでの処理手順を示したフローチャートである。 本発明の第３の実施形態における撮像装置の構成を示すブロック図である。 本発明の第３の実施形態における撮像装置におけるＣＰＵでの処理手順を示したフローチャートである。 本発明の第５の実施形態における撮像装置におけるＣＰＵでの処理手順を示したフローチャートである。 第６の実施形態の画像データの記録方法をイメージ化した図である。 第６の実施形態の画像データを記録方法を用いた場合のタイミングチャートである。 第６の実施形態の画像データを記録方法を用いた場合のタイミングチャートである。 本発明の実施形態で適用される超解像処理の手順を示すフローチャートである。 超解像処理に用いるフレーム画像と超解像処理後の画像を示す図である。 超解像処理における補間処理を説明するための図である。

符号の説明

８００ レンズ
８０１ ＣＣＤ
８０２ アナログ信号処理部
８０３ Ａ／Ｄ変換処理部
８０４ デジタル信号処理部
８０５ メモリＩ／Ｆ
８０６ ＶＲＡＭ
８０７ タイミングジェネレータ
８０８ タイミング制御部
８０９ 圧縮部
８２０ ＬＣＤ Ｉ／Ｆ
８２１ ＬＣＤ（液晶表示装置）
８２２ 撮像操作部
８２３ ＣＰＵ
８２４ ヘッダー書き込み部
８２５ 圧縮率制御部
８２６ 記録媒体

Claims (13)

1. 被写体画像を撮像する撮像手段と、
   前記撮像手段で撮像された前記被写体画像を圧縮して圧縮被写体画像を生成する圧縮手段と、
   前記撮像手段が前記被写体画像を撮影する、撮影モードを変更する撮影モード変更手段と、
   前記圧縮手段が前記圧縮被写体画像を圧縮する圧縮率を変更する圧縮率変更手段と、
   前記圧縮率に関するヘッダー情報を前記圧縮被写体画像に添付するヘッダー情報書き込
   み手段と、
   前記ヘッダー情報が書き込まれた前記圧縮被写体画像を記録媒体に記録する記録手段と、を有し、
   前記圧縮率変更手段は、前記撮影モード変更手段により、前記撮影モードが非超解像度モードから超解像度モードに変更された場合には、前記撮影モードが前記超解像度モードから前記非超解像度モードに変更された場合に比べて前記圧縮率を低圧縮率に変更し、
   前記撮影モード変更手段は、前記低圧縮率の画像データが超解像処理に必要な枚数以上前記記録手段により記録されたことに応じて、前記撮影モードを超解像度モードから非超解像度モードへと変更することを特徴とする撮像装置。
2. 前記圧縮率変更手段は、前記撮影モードが非超解像度モードから超解像度モードに変更された場合には、フレーム内符号化によって生成される圧縮フレーム及びフレーム間符号化によって生成される圧縮フレームの圧縮率を低圧縮率にして前記圧縮被写体画像を生成し、前記撮影モードが前記超解像度モードから前記非超解像度モードに変更された場合には、フレーム内符号化によって生成される圧縮フレーム及びフレーム間符号化によって生成される圧縮フレームの圧縮率を高圧縮率にして前記圧縮被写体画像を生成する、ように前記圧縮手段の圧縮率を変更することを特徴とする請求項１に記載の撮像装置。
3. 前記圧縮率変更手段は、前記撮影モードが非超解像度モードから超解像度モードに変更された場合には、フレーム内符号化によって生成される圧縮フレームのみで前記被写体画像を圧縮し、前記撮影モードが前記超解像度モードから前記非超解像度モードに変更された場合には、フレーム内符号化によって生成される圧縮フレーム及びフレーム間符号化によって生成される圧縮フレームの両方で前記被写体画像を圧縮するように、前記圧縮手段の圧縮率を変更することを特徴とする請求項１に記載の撮像装置。
4. 記録媒体に記録する被写体画像のフレームの解像度を変更するフレーム解像度変更手段を有し、
   前記ヘッダー情報書き込み手段は、前記解像度に関するヘッダー情報を前記被写体画像に添付ヘッダー情報書き込みし、
   前記フレーム解像度変更手段は、前記撮影モードが非超解像度モードから超解像度モードに変更された場合には、前記被写体画像を高解像度で圧縮した圧縮被写体画像で記録し、前記撮影モードが超解像度モードから非超解像度モードに変更された場合には、前記被写体画像を低解像度で圧縮した圧縮被写体画像で記録する、ように前記フレームの解像度を変更することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記フレーム解像度変更手段は、前記撮影モードが非超解像度モードから超解像度モードに変更された場合には、前記被写体画像を高解像度で記録し、
   前記撮影モードが超解像度モードから非超解像度モードに変更された場合には、前記被写体画像を低解像度で記録する、ように前記フレームの解像度を変更し、
   前記ヘッダー情報書き込み手段は、前記解像度に関するヘッダー情報を前記圧縮被写体画像に添付することを特徴とする請求項４に記載の撮像装置。
6. 前記撮像手段より得られた前記被写体画像を一時的に保持する一時記憶手段をさらに有し、
   前記圧縮手段は、前記撮影モード変更手段により撮影モードが前記超解像度モードに変更された場合、前記超解像度モードに変更された時刻に対応する未圧縮画像よりも前の時刻に前記撮像手段より得られ、前記一時記憶手段に保持されている未圧縮画像データを、前記低圧縮率で圧縮することを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 記録媒体に記録された圧縮被写体画像を伸長して伸長被写体画像を生成する伸長手段と、
   前記圧縮被写体画像に添付されている圧縮率に関する情報を読み出し、前記圧縮率に関する情報から超解像画像を生成できるか判別するヘッダー判別手段と、
   連続する複数の前記伸長被写体画像より超解像画像を生成する超解像画像生成手段とを有し、
   前記超解像画像生成手段は、前記ヘッダー判別手段の判別結果に基づいて、前記超解像画像を生成するのに適しているシーンにおいてフレーム画像を選択し前記超解像画像を生成することを特徴とする再生装置。
8. 前記ヘッダー判別手段は、前記被写体画像に添付されている解像度に関する情報を読み出し、前記解像度に関する情報から超解像画像が生成できるか判別することを特徴とする請求項７に記載の再生装置。
9. 撮像した被写体画像を圧縮して圧縮被写体画像を生成する圧縮工程と、
   前記被写体画像を撮影する撮影モードを変更する撮影モード変更工程と、
   前記圧縮工程における圧縮率を変更する圧縮率変更工程と、
   前記圧縮率に関するヘッダー情報を前記圧縮被写体画像に添付するヘッダー情報書き込み工程と、
   前記ヘッダー情報が書き込まれた前記圧縮被写体画像を記録媒体に記録する記録工程と、を有し、
   前記圧縮率変更工程において、前記撮影モード変更工程により、前記撮影モードが非超解像度モードから超解像度モードに変更された場合には、前記撮影モードが前記超解像度モードから前記非超解像度モードに変更された場合に比べて前記圧縮率を低圧縮率に変更し、
   前記撮影モード変更工程において、前記低圧縮率の画像データが超解像処理に必要な枚数分以上前記記録手段により記録されたことに応じて、前記撮影モードを超解像度モードから非超解像度モードへと変更することを特徴とする撮像装置の制御方法。
10. 記録媒体に記録された圧縮被写体画像を伸長して伸長被写体画像を生成する伸長工程と、
    前記圧縮被写体画像に添付されている圧縮率に関する情報を読み出し、前記圧縮率に関する情報から超解像画像を生成できるか判別するヘッダー判別工程と、
    連続する複数の前記被写体画像より超解像画像を生成する超解像画像生成工程とを有し、
    前記超解像画像生成工程は、前記ヘッダー判別工程における判別結果に基づいて、前記超解像画像を生成するのに適しているシーンにおいてフレーム画像が選択されると前記超解像画像を生成することを特徴とする再生方法。
11. 請求項９に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
12. 請求項１０に記載の再生方法をコンピュータに実行させるためのプログラム。
13. 前記請求項１２に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images