JP5463782B2 - 電子カメラ - Google Patents

Description

本発明は、複数の解像度で撮影可能な電子カメラに関する。

従来の電子カメラにおいて、所定間隔で撮影された動画をスロー再生する場合、フレーム間の画像がないため動きが不自然になるという問題があった。そこで、時間的に前後するフレームの画像を補間してフレーム間の画像を生成する技術が考えられていた（例えば、特許文献１参照）。

特開２００８−１４１７７２号公報

ところが、前後のフレームの画像から補間画像を生成する従来技術の場合、フレーム間で突然出現した被写体や変化の激しいシーンなどには対応できず、不自然な補間画像が得られるという問題があった。

本発明の目的は、前のフレーム画像の撮影終了から次のフレーム画像の撮影開始までのアイドル時間内に異なる解像度の予備画像を取得できる電子カメラを提供することである。

本発明に係る電子カメラは、指定された複数の解像度で被写体画像を撮像する撮像手段と、前記撮像手段が撮像した画像を記憶する記憶手段と、前記複数の解像度のうち予め設定された第１解像度を前記撮像手段に指定して前記撮像手段から前記第１解像度の原画像を前記記憶手段に取り込む原画像取得手段と、前記原画像取得手段が取り込む第１の原画像の取り込み終了時点から次の第２の原画像の取り込み開始時点までのアイドル時間内に前記撮像手段から取り込み可能な前記第１解像度とは異なる予備画像の解像度を決定する解像度決定手段と、前記解像度決定手段が決定した解像度を前記撮像手段に指定して前記予備画像を前記記憶手段に取り込む予備画像取得手段とを有する。

そして、前記解像度決定手段は、前記アイドル時間内に前記第１解像度とは異なる複数の予備画像の解像度を決定し、前記予備画像取得手段は、前記解像度決定手段が決定した解像度を前記撮像手段に指定して前記複数の予備画像を前記記憶手段に取り込むことを特徴とする。

また、好ましくは、前記予備画像の取得前に前記撮像手段が撮影する複数画像間の類似度を求める類似度判定手段を更に設け、前記解像度決定手段は、前記撮像手段から取り込む前記予備画像の解像度を決定する際に、前記類似度判定手段が求めた類似度が低い場合は前記予備画像の解像度を高くし、前記類似度判定手段が求めた類似度が高い場合は前記予備画像の解像度を低くすることを特徴とする。

また、好ましくは、前記類似度は、主要被写体の形状変化，明るさ，色相，輪郭成分，周波数成分，動きベクトルの少なくとも１つであることを特徴とする。

また、好ましくは、前記撮像手段とは別に前記撮像手段と同画角の画像を撮像する第２の撮像手段を更に設け、前記類似度判定手段は、前記第２の撮像手段が撮像する複数画像の類似度を求めて前記撮像手段から取り込む前記予備画像の解像度を決定することを特徴とする。
また、本発明に係る電子カメラは、指定された複数の解像度で被写体画像を撮像する撮像手段と、前記撮像手段が撮像した画像を記憶する記憶手段と、前記複数の解像度のうち予め設定された第１解像度を前記撮像手段に指定して前記撮像手段から前記第１解像度の原画像を前記記憶手段に取り込む原画像取得手段と、前記原画像取得手段が取り込む第１の原画像の取り込み終了時点から次の第２の原画像の取り込み開始時点までのアイドル時間内に前記撮像手段から取り込み可能な前記第１解像度とは異なる予備画像の解像度を予備画像の前に撮影される画像に基づいて決定する解像度決定手段と、前記解像度決定手段が決定した解像度を前記撮像手段に指定して前記予備画像を前記記憶手段に取り込む予備画像取得手段とを有することを特徴とする。

本発明に係る電子カメラは、前のフレーム画像の撮影終了から次のフレーム画像の撮影開始までのアイドル時間内に異なる解像度の予備画像を取得することができる。

本実施形態に係る電子カメラ１０１の構成を示すブロック図である。 多重解像度の様子を示す説明図である。 解像度とデータ量との関係を示す説明図である。 スロー再生用の予備画像の解像度の例を示す説明図である。 複数の予備画像を撮影する例を示す説明図である。 動画撮影中の静止画撮影時の予備画像の解像度の例を示す説明図である。 静止画撮影時の予備画像の解像度の例を示す説明図である。 類似度と予備画像の解像度の関係を示す説明図である。 類似度に応じて予備画像の解像度を決定する例を示す説明図である。 本実施形態の変形例の電子カメラ１０１ａの構成を示すブロック図である。 電子カメラ１０１ａの動作例を示す説明図である。

以下、本発明に係る電子カメラ１０１の実施形態について説明する。図１は、本実施形態に係る電子カメラ１０１の構成を示すブロック図である。図１において、電子カメラ１０１は、撮像部１０２と、画像バッファ１０３と、画像処理部１０４と、記憶部１０５と、制御部１０６と、操作部１０７とで基本的に構成される。尚、図１において、各部はシステムバス１０８で相互に接続されて、制御信号や画像データなどを入出力できる。また、図１の電子カメラ１０１に撮影中の画像や撮影済みの画像を再生できるように表示部１０９を設けても構わない。或いは、記憶部１０５をメモリカードで構成して、撮影済みの画像をパソコンなどで読み出して再生するようにしても構わない。

図１において、撮像部１０２は、光学系２０１と、ＣＣＤ型またはＣＭＯＳ型の固体撮像素子２０２と、ＡＦＥ（アナログフロントエンド）２０３と、ＴＧ（タイミングジェネレータ）２０４とで構成される。

ここで、固体撮像素子２０２は、撮影した画像を指定された複数の解像度で読み出すことができる多重解像度データの出力機能を備えた撮像素子である。解像度の指定は制御部１０６が行い、制御部１０６は撮像部１０２のＴＧ２０４に対して固体撮像素子２０２から読み出す画像の解像度を指示する。ＴＧ２０４は、制御部１０６から指示された解像度の画像になるように行読み出しタイミング信号や列読み出しタイミング信号を固体撮像素子２０２およびＡＦＥ２０３に出力し、指示された解像度の画像データを画像バッファ１０３に取り込む。

尚、固体撮像素子２０２がＣＭＯＳ型の固体撮像素子である場合は、アドレッシング機能によって二次元行列状に配置された画素の読み出す行と列の位置を指定できるので所望の解像度の画像を直接得ることができるが、固体撮像素子２０２がＣＣＤ型の固体撮像素子である場合は、読み出す画素の列位置を指定できないので、行の位置のみを指定して読み出した後で所望の解像度になるように不要な列の画像データを削除する必要がある。本実施形態の説明では、分かり易いように、固体撮像素子２０２は、ＣＭＯＳ型の固体撮像素子とする。そして、図２において、全画素読み出しの解像度を１とした場合、１／４，１／１６，１／６４，１／２５６，１／１０２４のように１／４ずつの解像度で読み出すことができるものとするが、１／８や１／１０など他の解像度で読み出すようにしても構わない。また、全画素読み出しの解像度を基準にする必要はなく、例えば１／４の解像度の画像を基準にしても構わない。

図１において、制御部１０６は、原画像取得処理部１５１と、解像度決定処理部１５２と、予備画像取得処理部１５３と、類似度判定処理部１５４とで構成される。原画像取得処理部１５１は、通常の電子カメラと同様に、静止画撮影や所定フレームレートで動画撮影を行う。ここで、静止画撮影される画像および所定フレーム間隔で動画撮影される画像を原画像と定義し、原画像以外に撮影される画像を予備画像と定義する。解像度決定処理部１５２は、予備画像の解像度を決定する処理を行う。予備画像取得処理部１５３は、原画像の撮影の合間に解像度決定処理部１５２が決定した解像度で予備画像を撮影する処理を行う。類似度判定処理部１５４は、予備画像や原画像の間の類似度を判定する処理を行う。尚、各部の処理については、後で詳しく説明する。

図１において、被写体からの光は光学系２０１によって、固体撮像素子２０２の受光面に結像される。固体撮像素子２０２の受光面には光電変換部が二次元状に配置されており、各光電変換部は受光量に応じた大きさのアナログ信号に変換してＡＦＥ２０３に出力する。ＡＦＥ２０３は、固体撮像素子２０２が出力するアナログ信号のノイズ除去や増幅などを行い、デジタルの画像データにＡ／Ｄ変換して画像バッファ１０３に一時的に記憶する。そして、画像バッファ１０３に一時的に記憶された画像データは、画像処理部１０４によって所定の画像処理（例えば、色補間処理，ホワイトバランス処理，輪郭処理，ガンマ変換処理など）が施される。尚、画像処理部１０４は、静止画撮影の場合は例えばＪＰＥＧ規格に準拠した画像圧縮処理を行い、動画撮影の場合は例えばＭＰＥＧ規格に準拠した画像圧縮処理を行う。そして、画像圧縮処理後の画像データは記憶部１０５に撮影画像として保存される。ここで、制御部１０６は予め内部に記憶されたプログラムに従って動作し、操作部１０７の操作内容に応じて電子カメラ１０１全体の動作を制御する。操作部１０７は、電源ボタン，レリーズボタン，動画撮影ボタン，モード切替ダイヤルなどの操作部材で構成され、ユーザはこれらの操作部材を操作して電子カメラ１０１を使用する。例えば、電源ボタンで電子カメラ１０１の電源オン／オフを操作し、レリーズボタンで静止画の撮影を行い、動画撮影ボタンで動画撮影の開始／終了を操作する。また、モード切替ダイヤルで撮影モードと再生モードを切り替えることができる。撮影モードでは、静止画単写モード（１枚の静止画を撮影するモード）、静止画連写モード、動画撮影モード、動画／静止画撮影モード（動画撮影中に静止画撮影ができるモード）などを選択することができる。また、再生モードでは、撮影済みの静止画の表示または動画再生を選択することができ、特に動画再生においてはスロー再生，コマ送り再生，早送り再生などの特殊再生モードを選択することができる。

ここで、本実施形態の説明において、通常の電子カメラと同様に所定のフレームレートで撮影される動画やレリーズボタン押下時に撮影される静止画を原画像（または本画像）と定義し、原画像とは別に補助的に撮影される画像を予備画像と定義する。本実施形態に係る電子カメラ１０１は、原画像だけでなく予備画像を撮影する機能を有している。例えば動画撮影時の予備画像は、動画をスロー再生する際に原画像のフレーム間の補間画像として利用する。また、静止画撮影時の予備画像は、例えば撮影された静止画を高画質化したり、印刷時に高解像度化する処理などに利用する。尚、予備画像は原画像と同じ解像度の画像であっても構わないが、本実施形態では原画像より低い解像度で撮影し、複数の予備画像を撮影する場合は各予備画像の解像度は異なっていても構わない。特に本実施形態に係る電子カメラ１０１は、予備画像の前に撮影される画像間の類似度（特徴量の差）に応じて予備画像の解像度を可変するようになっている。

ここで、予備画像の解像度は、図２の例の場合、固体撮像素子２０２の原画像の解像度を１として、１／４，１／１６，１／６４，１／２５６，１／１０２４のように１／４ずつの解像度に対応する。尚、原画像の解像度は、必ずしも固体撮像素子２０２の全画素読み出しに対応する解像度である必要はなく、例えば固体撮像素子２０２の全画素の１／４の解像度で動画撮影を行っても構わない。

次に、原画像および予備画像の解像度と撮影時に画像バッファ１０３に取り込むデータ量（またはデータ取得時間）との関係について図３を用いて説明する。図３は、時間的に前後する２枚の原画像の間の期間（時間）を示した図で、動画撮影モードの場合はフレーム間隔に相当し、静止画連写撮影モードの場合は連写間隔に相当する。尚、静止画単写撮影モードの場合でも次に撮影可能になるまでの時間に対応させることができる。

図３において、横軸は時間ｔを示し、最初の原画像の取得をタイミングＴ１で開始し、次の原画像の取得をタイミングＴ３で開始する。動画撮影モードの場合は、タイミングＴ１からタイミングＴ３までの期間（Ｔ＿ｃａｐ）がフレーム取得可能期間となり、例えばフレームレートが３０フレーム／秒の場合はタイミングＴ１からタイミングＴ３までの期間は１／３０秒（ｓｅｃ）となる。ところが、実際の処理では、１枚の原画像を取得する時間は期間Ｔ＿ｃａｐより短く、実質的な原画像取得時間はタイミングＴ１からタイミングＴ２までの期間（Ｔ＿ｂａｓｅ）となり、タイミングＴ２からタイミングＴ３までの期間は画像の取得処理を行っていないアイドル期間（Ｔ＿ｉｄｌｅ）となる。例えば、分かり易いように、フレーム取得可能期間Ｔ＿ｃａｐ＝１．２５ｓｅｃ、原画像取得時間Ｔ＿ｂａｓｅ＝１ｓｅｃとした場合、アイドル期間Ｔ＿ｉｄｌｅ＝０．２５ｓｅｃとなる。つまり、アイドル期間Ｔ＿ｉｄｌｅ（０．２５ｓｅｃ）は、原画像の１／４の解像度の画像を撮影して画像バッファ１０３に取り込み可能な時間に相当する。従って、１の解像度の原画像を撮影する間に、更に１／４の解像度の画像（予備画像）を撮影することができる。

尚、電子カメラ１０１の回路構成によっては、画像の取り込みだけではなく撮影時に別の処理を行わなければならない電子カメラもあるので、上記の説明のように単純にアイドル期間Ｔ＿ｉｄｌｅ全てを予備画像の撮影に利用できない場合もあるが、１／４の解像度より小さい解像度の画像の取り込みは可能である。尚、本実施形態の説明においては、分かり易いように、フレーム取得可能期間Ｔ＿ｃａｐ＝原画像取得期間Ｔ＿ｂａｓｅ＋アイドル期間Ｔ＿ｉｄｌｅの関係が成り立つものとして説明する。また、実際には撮影する画像の解像度に依らない画像取得に必要な共通の処理時間が含まれる場合があるので、必ずしも解像度が１／ｋ（ｋは自然数）になれば画像取得時間が１／ｋになるとは限らないが、本実施形態の説明では解像度比＝画像取得時間比として説明する。

例えば図３において、原画像取得時間Ｔ＿ｂａｓｅ＝１ｓｅｃ、アイドル期間Ｔ＿ｉｄｌｅ＝０．２５ｓｅｃの場合は、アイドル期間Ｔ＿ｉｄｌｅに原画像の１／４の解像度の予備画像を１枚撮影することができる。また、原画像の１／１６の解像度の予備画像であれば４枚の撮影が可能であり、原画像の１／６４の解像度の予備画像であれば１６枚の撮影が可能である。同様に、原画像の１／２５６の解像度の予備画像であれば６４枚、原画像の１／１０２４の解像度の予備画像であれば２５６枚の予備画像がそれぞれ撮影可能である。

ここで、アイドル期間Ｔ＿ｉｄｌｅに撮影する予備画像の枚数は、この期間内に撮影可能な最大解像度の予備画像を１枚だけ撮影するようにしても構わないし、小さな解像度の複数枚の予備画像を組み合わせて撮影しても構わない。この場合、複数の予備画像の解像度は同じ解像度であっても構わないし、異なる解像度であっても構わない。例えば、図３の例において、アイドル期間Ｔ＿ｉｄｌｅ＝０．２５ｓｅｃの場合、原画像の１／４の解像度の予備画像を１枚だけ撮影するのではなく、原画像の１／１６の解像度の予備画像を２枚と、原画像の１／６４の解像度の予備画像を４枚と、原画像の１／２５６の解像度の予備画像を１６枚とを組み合わせて撮影するようにしても構わない。

このように、本実施形態に係る電子カメラ１０１は、制御部１０６の指令によって、原画像を撮影する間のアイドル期間Ｔ＿ｉｄｌｅに少なくとも１枚の予備画像を撮影して画像バッファ１０３に取り込むことができるようになっている。
［スロー再生用の予備画像を撮影する場合の例］
次に、動画撮影時にスロー再生用の予備画像を取り込む場合の例について図４を用いて説明する。本実施例では、撮影した動画をスロー再生する際に、原画像のフレーム間に撮影された予備画像を補間画像として利用することによって、実質的なフレームレートが高くなるので、従来の補間画像を用いる方法に比べて、スムーズで自然なスロー再生を行うことができる。

図４は制御部１０６の処理例を示し、原画像取得処理部１５１が所定のフレームレート（所定のフレーム間隔）で撮影する動画の原画像間に、予備画像取得処理部１５３が撮影する予備画像の解像度を解像度決定処理部１５２が決定する。尚、図４（ａ）および図４（ｂ）において、縦軸は原画像および予備画像の解像度を示し、横軸はフレーム番号の時間的な流れを示す。ここで、図４（ａ）は、フレーム（ｎ−３）からフレーム（ｎ＋３）までの動画の原画像が解像度１／１で所定のフレーム間隔で撮影される様子を示している。また、図４（ｂ）は、図４（ａ）のフレーム（ｎ−１）とフレーム（ｎ）の間で撮影される予備画像の位置と解像度の例を示した図である。

図４（ｂ）の例において、制御部１０６の解像度決定処理部１５２は、フレーム（ｎ−１）またはフレーム（ｎ）の原画像に時間的に近い位置にある予備画像を低い解像度に決定し、フレーム（ｎ−１）またはフレーム（ｎ）の原画像に時間的に遠い位置にある予備画像を高い解像度に決定する。そして、制御部１０６の予備画像取得処理部１５３は、決定された解像度でそれぞれの予備画像を撮影する。ここで、各予備画像の撮影間隔を示すΔｆは必ずしも等間隔である必要はないが、図４（ｂ）ではわかり易いようにフレーム間隔を１／６した時の時間間隔をΔｆとして描いてある。例えば予備画像３０１は、フレーム（ｎ）の原画像から時間Δｆ前の位置で撮影される予備画像（フレーム番号を（ｎ−Δｆ）と記す）である。また、予備画像３０２は、フレーム（ｎ）の原画像から時間（２・Δｆ）前の位置で撮影される予備画像（フレーム番号を（ｎ−２・Δｆ）と記す）である。ここで、２・Δｆは時間Δｆの２倍の時間であることを示している。同様に、予備画像３０３はフレーム（ｎ）の原画像から時間（３・Δｆ）前の位置で撮影される予備画像（フレーム番号（ｎ−３・Δｆ））であり、予備画像３０４はフレーム（ｎ）の原画像から時間（４・Δｆ）前の位置で撮影される予備画像（フレーム番号（ｎ−４・Δｆ））であり、予備画像３０５はフレーム（ｎ）の原画像から時間（５・Δｆ）前の位置で撮影される予備画像（フレーム番号（ｎ−５・Δｆ））である。

ここで、解像度決定処理部１５２は、予備画像３０３がフレーム（ｎ）とフレーム（ｎ−１）の中間に位置し、他の予備画像よりも両方のフレームから遠い位置にあるので、予備画像３０３をできるだけ高い解像度（原画像の１／４の解像度）に決定する。また、予備画像３０１と予備画像３０５はそれぞれフレーム（ｎ）またはフレーム（ｎ−１）に近い位置なので、低い解像度（原画像の１／６４の解像度）に決定する。さらに、予備画像３０２と予備画像３０４はそれぞれ予備画像３０１（または予備画像３０５）と予備画像３０３の中間に位置するので、予備画像３０１（または予備画像３０５）の解像度と予備画像３０３の解像度との中間の解像度（原画像の１／１６の解像度）に決定する。そして、制御部１０６の予備画像取得処理部１５３は、決定された解像度でそれぞれの予備画像を撮影する。

尚、図４（ｂ）は、解像度決定処理部１５２が予備画像の解像度の決定する一例を説明するための図であり、実際には、動画撮影のフレーム間で撮影する少なくとも１枚の予備画像を取り込むために必要な時間の総和は、図３で説明したアイドル期間Ｔ＿ｉｄｌｅを超えてはならない。例えば、図４（ｂ）は、実際には図５（ａ）に示すように、原画像のフレーム（ｎ−１）を画像バッファ１０３に取り込むタイミングＴ２までの時間Ｔ＿ｂａｓｅ後のアイドル期間Ｔ＿ｉｄｌｅに取り込み可能な予備画像（例えば図４（ｂ）の予備画像３０１と予備画像３０２の２つの予備画像）を撮影する。或いは、アイドル期間Ｔ＿ｉｄｌｅに予備画像３０２だけしか撮影する時間がない場合は、図５（ｂ）に示すように、予備画像３０２だけを撮影するようにしても構わないし、予備画像３０２よりも低い解像度の予備画像３０１を撮影するようにしても構わない。

このように、動画撮影モードにおいて、アイドル期間Ｔ＿ｉｄｌｅ内に複数の予備画像を撮影可能な場合は、前後するフレームの原画像から近い位置にある予備画像の解像度を原画像から遠い位置にある予備画像の解像度よりも低くすることにより、限られたアイドル期間Ｔ＿ｉｄｌｅ内にできるだけ多くの予備画像を撮影することができる。これは、原画像に近い位置にある予備画像は遠い位置にある予備画像よりも原画像に類似している可能性が高いので、低い解像度で撮影しても十分に原画像の補間画像として利用できるからである。この結果、撮影した動画をスロー再生する場合に、品質の高い補間画像を生成することができ、スムーズで自然なスロー再生を行うことができる。尚、類似度については後で詳しく説明する。
［動画撮影中に静止画撮影をする場合の例］
次に、動画撮影中に操作部１０７のレリーズボタンを押下して静止画を撮影する撮影モードにおいて、撮影した静止画を高画質化するための予備画像を撮影する例について図６を用いて説明する。

図６（ａ）は、先に説明した図４（ａ）に相当する図で、制御部１０６の原画像取得処理部１５１がフレーム（ｎ−３）からフレーム（ｎ＋３）までの動画の原画像（解像度１／１）を所定のフレーム間隔で撮影する様子を示している。また、図６（ｂ）は、図６（ａ）のフレーム（ｎ）のタイミングで操作部１０７のレリーズボタンが押下された時に、制御部１０６の原画像取得処理部１５１がフレーム（ｎ）を静止画（原画像）として撮影する場合の様子を示している。この時、制御部１０６の予備画像取得処理部１５３がフレーム（ｎ）の原画像を高画質化するためにフレーム（ｎ）前後で撮影する予備画像の位置と解像度の例を示した図である。尚、図４と同様に、図６（ａ）および図６（ｂ）において、縦軸は原画像および予備画像の解像度を示し、横軸はフレーム番号の時間的な流れを示す。

図６（ｂ）において、制御部１０６の解像度決定処理部１５２は、フレーム（ｎ）の原画像に時間的に近い位置にある予備画像を低い解像度に決定し、フレーム（ｎ）の原画像に時間的に遠い位置にある予備画像を高い解像度に決定する。そして、制御部１０６の予備画像取得処理部１５３は、決定された解像度でそれぞれの予備画像を撮影する。ここで、Δｆは、図４（ｂ）と同様に、フレーム間隔を１／６した時の時間間隔を示しているが、Δｆは必ずしも等間隔である必要はない。例えば予備画像４０１は、フレーム（ｎ）の原画像から時間Δｆ後の位置で撮影される予備画像（フレーム番号を（ｎ＋Δｆ）と記す）である。また、予備画像４０２は、フレーム（ｎ）の原画像から時間（２・Δｆ）後の位置で撮影される予備画像（フレーム番号を（ｎ＋２・Δｆ）と記す）である。ここで、２・Δｆは、図４（ｂ）と同様に、時間Δｆの２倍の時間であることを示している。以下、同様に、予備画像４０３はフレーム（ｎ）の原画像から時間（３・Δｆ）後の位置で撮影される予備画像（フレーム番号（ｎ＋３・Δｆ））であり、予備画像４０４はフレーム（ｎ）の原画像から時間（Δｆ）前の位置で撮影される予備画像（フレーム番号（ｎ−Δｆ））であり、予備画像４０５はフレーム（ｎ）の原画像から時間（２・Δｆ）前の位置で撮影される予備画像（フレーム番号（ｎ−２・Δｆ））であり、予備画像４０６はフレーム（ｎ）の原画像から時間（３・Δｆ）前の位置で撮影される予備画像（フレーム番号（ｎ−３・Δｆ））である。

ここで、制御部１０６の解像度決定処理部１５２は、予備画像４０１と予備画像４０４はフレーム（ｎ）に一番近い位置にあるので低い解像度（原画像の１／６４の解像度）に決定し、予備画像４０３と予備画像４０６はフレーム（ｎ）に一番遠い位置にあるので高い解像度（原画像の１／４の解像度）に決定する。また、予備画像４０２と予備画像４０５は、予備画像４０１および予備画像４０４と予備画像４０３および予備画像４０６との中間に位置するのでこれらの解像度の中間の解像度（原画像の１／１６の解像度）に決定する。そして、制御部１０６の予備画像取得処理部１５３は、決定された解像度でそれぞれの予備画像を撮影する。

尚、図６（ｂ）は、解像度決定処理部１５２が動画撮影中に行われる静止画を高解像度化するために撮影される予備画像の解像度を決定する一例を説明するための図であり、実際には、動画撮影のフレーム間で撮影する少なくとも１枚の予備画像を取り込むために必要な時間の総和は、図３で説明したアイドル期間Ｔ＿ｉｄｌｅを超えてはならない。例えば、アイドル期間Ｔ＿ｉｄｌｅの間に取り込み可能な予備画像が１／１６の解像度の予備画像１枚と１／６４の解像度の予備画像１枚である場合は、図６（ｂ）において、フレーム（ｎ）の前では予備画像４０４と予備画像４０５の２枚だけを撮影し、フレーム（ｎ）の後では予備画像４０１と予備画像４０２の２枚だけを撮影する。これにより、動画撮影に影響を与えることなく、撮影した静止画像を高画質化するための予備画像を撮影することができる。尚、高画質化は、例えば画素数を増やして超空間解像度化する手法などを用いることができ、フレーム（ｎ）の解像度１の静止画を予備画像４０１と予備画像４０２の画像データで補間して例えば２倍の解像度（解像度２）に高解像度化することができる。

ここで、図６（ｂ）において、予備画像４０４，予備画像４０５および予備画像４０６は、レリーズボタンが押下される前（フレーム（ｎ）の原画像の撮影前）なので実際には予備画像の取得が難しいが、例えばレリーズボタンの半押し時点（一般的な電子カメラでは、レリーズボタンの半押しで焦点検出や測光などを行うようになっている）からリングバッファに予備画像を繰り返し取り込むようにして、レリーズボタンの全押し時点（静止画の撮影時点）でリングバッファへの予備画像の取り込みを終了することで、静止画撮影前の予備画像の取り込みが可能になる。尚、この場合のリングバッファの記憶容量は、アイドル期間Ｔ＿ｉｄｌｅで取り込み可能な最大解像度の予備画像のデータ量があれば十分である。

このように、動画撮影中に静止画撮影を行う撮影モードにおいて、アイドル期間Ｔ＿ｉｄｌｅ内に複数の予備画像を撮影可能な場合は、原画像（静止画像）から近い位置にある予備画像の解像度を原画像から遠い位置にある予備画像の解像度よりも低くすることにより、限られたアイドル期間Ｔ＿ｉｄｌｅ内にできるだけ多くの予備画像を撮影することができ、静止画像を精度良く高画質化することができる。これは、先の実施例で説明したように、原画像に近い位置にある予備画像は遠い位置にある予備画像よりも原画像に類似している可能性が高いので、低い解像度で撮影しても十分に原画像の補間画像として利用できるからである。
［静止画撮影をする場合の例］
次に、ユーザがレリーズボタンを押下する毎に１枚の静止画を撮影する静止画単写撮影モードにおいて、予備画像を撮影する例について図７を用いて説明する。尚、本実施例は、図６で説明した動画撮影中の静止画撮影と同様に、撮影した静止画像を高画質化するために予備画像を撮影する。

図７の例では、ユーザが操作部１０７のレリーズボタンを押下（全押し）すると、制御部１０６の原画像取得処理部１５１は静止画像（原画像）５０１を撮影する。尚、通常の電子カメラでは、静止画像５０１が画像バッファ１０３に取り込まれるだけであるが、本実施例では制御部１０６の予備画像取得処理部１５３が静止画像５０１の前後に予備画像を撮影する。例えば、予備画像取得処理部１５３は、静止画像５０１の撮影後、ユーザが再びレリーズボタンを押下して次の静止画像５０２を撮影するまでのアイドル期間Ｔ＿ｉｄｌｅに撮影可能な予備画像５０３や予備画像５０４を撮影する。ここで、静止画像５０１および静止画像５０２の解像度を１とした場合、制御部１０６の解像度決定処理部１５２は、例えば静止画像５０１に一番近い位置にある予備画像５０３の解像度を低めの１／６４にし、予備画像５０３より遠い位置にある予備画像５０４の解像度を高めの１／１６のように決定する。尚、予備画像取得処理部１５３は、アイドル期間Ｔ＿ｉｄｌｅに撮影可能な予備画像が予備画像５０３だけの場合は予備画像５０３のみを撮影する。また、レリーズボタンが押下される前の予備画像５０５や予備画像５０６を取り込む場合は、図６の実施例で説明したように、例えばレリーズボタンの半押し時点からリングバッファに予備画像を繰り返し取り込むようにすれば、静止画撮影前の予備画像の取り込みが可能である。

このように、１枚の静止画像５０１を撮影する静止画単写撮影モードにおいても、ユーザが再びレリーズボタンを押下して次の静止画像５０２を撮影するまでのアイドル期間Ｔ＿ｉｄｌｅに予備画像を撮影することができる。特に、アイドル期間Ｔ＿ｉｄｌｅ内に複数の予備画像を撮影できる場合は、原画像（静止画像）から近い位置にある予備画像の解像度を原画像から遠い位置にある予備画像の解像度よりも低くすることにより、限られたアイドル期間Ｔ＿ｉｄｌｅ内にできるだけ多くの予備画像を撮影することができ、静止画像を精度良く高画質化することができる。これは、先の実施例で説明したように、原画像に近い位置にある予備画像は遠い位置にある予備画像よりも原画像に類似している可能性が高いので、低い解像度で撮影しても十分に原画像の補間画像として利用できるからである。次に、予備画像の解像度と類似度について詳しく説明する。
［予備画像の解像度と類似度との関係］
上記の各実施例において、制御部１０６の解像度決定処理部１５２が予備画像の解像度を決定する際に、予備画像の撮影位置が原画像に近い位置にあるか遠い位置にあるかによって判断し、原画像に近い位置にある予備画像の解像度を原画像から遠い位置にある予備画像より低い解像度になるようにして、限られたアイドル期間Ｔ＿ｉｄｌｅ内にできるだけ多くの予備画像を撮影できるようにしていた。これは、各実施例で説明したように、原画像により近い位置（撮影時間の差が小さい）にある予備画像ほど原画像との類似度が大きいので、低い解像度の予備画像でもスロー再生時の補間画像の作成や静止画像の補足データとしては十分だからである。とつまり、原画像から遠い位置にある予備画像は、撮影時間差が大きいので、画像の特徴量（主要被写体の形状，明るさ，色相，輪郭成分，周波数成分，動きベクトルなど）が大きく変化している可能性が高い。このため、原画像と予備画像との差が大きいので、撮影する予備画像はできるだけ高解像度の画像であることが望ましい。

ここで、類似度は、上記の特徴量の差の逆数としても定義できる。例えば、主要被写体の形状が変化しない場合は、特徴量の差が小さいので類似度は大きくなる。同様に、明るさが変化しない場合，色相が変化しない場合も特徴量の差が小さいので類似度は大きくなる。或いは、輪郭成分はエッジの量に相当し、構造物が多い画像では輪郭成分が多くなるので、例えば建築物の画像から空や雲などの画像に変化する場合、特徴量の差が大きくなって類似度は小さくなる。高周波成分についても同じである。また、特徴量が動きベクトルである場合は、主要被写体の動きベクトルが変化すれば特徴量の差が大きくなって類似度は小さくなる。例えば、同じ明るさ，同じ色相，同じ輪郭成分および同じ主要被写体の形状であっても主要被写体が画面内で移動した場合は動きベクトルだけが変化する場合がある。このような場合でも、動きベクトルの変化で類似度を判断することによって、最適な予備画像の解像度を決定することができる。尚、このような類似度の判定処理は、図１の制御部１０６の類似度判定処理部１５４によって行われる。

ここで、予備画像の解像度と類似度の関係を図８に示す。尚、図８において、横軸は類似度，縦軸は予備画像の解像度を示す。例えば、類似度として明るさ（ＨＳＶ空間のＶ（Ｖａｌｕｅ）データ画面平均差分など）をパラメータとして用いる場合、同じ明るさの画像であれば類似度は大きくなり、明るさが異なるほど類似度は小さくなる。尚、図８において、予備画像の解像度と類似度の関係は、特性６０１のような直線的な反比例の関係であっても構わないし、撮影可能な予備画像の数に比較的余裕がある場合は特性６０２のようにして、少しの誤差（特徴量の差）でも高い解像度で撮影するようにしても構わない。或いは、撮影可能な予備画像の数に余裕がない場合は特性６０３のようにして、できるだけ低い解像度で撮影するようにしても構わない。ここで、実際にはこれから取得しようとする予備画像と原画像または他の予備画像との類似度を求めることができないので、類似度判定処理部１５４は１つ前の予備画像および１つ前の原画像などを用いて類似度を求める。尚、この点については次の例で詳しく説明する。
［類似度に応じて予備画像の解像度を決定する例］
次に、制御部１０６の類似度判定処理部１５４が求めた類似度に応じて予備画像の解像度を決定する例について図９を用いて説明する。図９は、図６で説明した動画撮影中に静止画撮影をする場合の例に対応する図で、図９（ａ）は図６（ａ）と全く同じである。従って、図９（ｂ）は、図９（ａ）のフレーム（ｎ）のタイミングでユーザが操作部１０７のレリーズボタンが押下した時に、制御部１０６の原画像取得処理部１５１が撮影するフレーム（ｎ）の静止画（原画像）と、その前後で予備画像取得処理部１５３が撮影する予備画像の位置と解像度の例を示した図である。尚、図４と同様に、図９（ａ）および図９（ｂ）において、縦軸は原画像および予備画像の解像度を示し、横軸はフレーム番号の時間的な流れを示す。

図９（ｂ）においても、図６（ｂ）と同様にΔｆの間隔で予備画像を撮影するものとするが、実際には各予備画像を取得可能な時間を確保できればよいので必ずしも等間隔である必要はない。

図９（ｂ）において、制御部１０６の解像度決定処理部１５２は、フレーム（ｎ）の原画像７００の前後に撮影する予備画像７０１，予備画像７０２，予備画像７０３，予備画像７０４，予備画像７０５および予備画像７０６の解像度を決定する。この時、制御部１０６の類似度判定処理部１５４は、各予備画像と原画像（フレーム（ｎ））との類似度を求める。

ここで、先の説明では、分かり易いように、制御部１０６の類似度判定処理部１５４は、原画像と予備画像の類似度に応じて予備画像の解像度を決定するとしたが、実際にはこれから取得しようとする予備画像との類似度を求めることができないので、類似度判定処理部１５４は、１つ前の予備画像および１つ前の原画像などを用いて類似度を求め、次に取得する予備画像の解像度を決定する。例えば、図９（ｂ）において、類似度判定処理部１５４は、これから撮影しようとする予備画像７０１の解像度は、予備画像７０２と原画像（フレーム（ｎ−１））との類似度を求めて決定するか、予備画像７０２と予備画像７０３との類似度を求めて決定する。或いは、原画像（フレーム（ｎ−１））とさらに１つ前の原画像（フレーム（ｎ−２））との類似度を求めて決定しても構わない。いずれにしても、できるだけ時間的に近い位置にある画像との類似度を求めるのが望ましい。図９（ｂ）において、類似度判定処理部１５４が予備画像７０１，予備画像７０２，予備画像７０３および原画像（フレーム（ｎ−１））の類似度が大きいと判定した場合、特徴量の変化が少ない画像なので、解像度決定処理部１５２は比較的低い解像度（原画像の１／６４の解像度）に決定し、予備画像取得処理部１５３は、決定された解像度でこれらの予備画像の撮影を行う。

また、静止画の原画像（フレーム（ｎ））の撮影後に撮影される予備画像７０４の解像度は、類似度判定処理部１５４が原画像（フレーム（ｎ））と予備画像７０１との類似度または原画像（フレーム（ｎ））と原画像（フレーム（ｎ−１））との類似度を求め、その類似度に応じて解像度決定処理部１５２によって決定される。例えば、類似度判定処理部１５４が原画像（フレーム（ｎ））と予備画像７０１との類似度が大きいと判定した場合、解像度決定処理部１５２は比較的低い解像度（原画像の１／６４の解像度）に決定し、予備画像取得処理部１５３は決定された解像度で予備画像７０４の撮影を行う。

同様に、予備画像７０５の解像度は、類似度判定処理部１５４が原画像（フレーム（ｎ））と予備画像７０４との類似度を求め、その類似度に応じて解像度決定処理部１５２によって決定される。例えば、類似度判定処理部１５４が原画像（フレーム（ｎ））と予備画像７０４との類似度が直前の類似度に比べて少し小さいと判定した場合、解像度決定処理部１５２は直前に決定した解像度（原画像の１／６４の解像度）よりも少し高い解像度（原画像の１／１６の解像度）に決定し、予備画像取得処理部１５３は決定された解像度で予備画像７０５の撮影を行う。

さらに、予備画像７０６の解像度は、類似度判定処理部１５４が予備画像７０５と予備画像７０４との類似度または原画像（フレーム（ｎ））と予備画像７０４との類似度を求め、その類似度に応じて解像度決定処理部１５２によって決定される。例えば、類似度判定処理部１５４が予備画像７０５と予備画像７０４との類似度が直前の類似度に比べて小さいと判定した場合、解像度決定処理部１５２は直前に決定した解像度（原画像の１／１６の解像度）よりも高い解像度（原画像の１／４の解像度）に決定し、予備画像取得処理部１５３は決定された解像度で予備画像７０６の撮影を行う。

ここで、図９（ｂ）において、図６（ｂ）の場合と同様に、予備画像７０１，予備画像７０２および予備画像７０３は、レリーズボタンが押下される前（フレーム（ｎ）の原画像の撮影前）なので実際には予備画像の取得が難しいが、例えばレリーズボタンの半押し時点からリングバッファに予備画像を繰り返し取り込むようにして実現することができる。

このようにして、類似度が大きい場合は低い解像度で予備画像を撮影し、類似度が小さい場合は高い解像度で予備画像を撮影することにより、限られたアイドル期間Ｔ＿ｉｄｌｅ内にできるだけ多くの予備画像を撮影することができ、静止画像を精度良く高画質化することができる。尚、動画撮影の場合についても同様に類似度を用いて予備画像の解像度を決定することができ、静止画の場合と同様の効果が得られる。
（電子カメラ１０１の変形例）
次に、電子カメラ１０１の変形例について図１０を用いて説明する。図１０は、図１で説明した電子カメラ１０１の変形例である電子カメラ１０１ａの構成を示すブロック図である。尚、図１０において、図１と同符号のものは同じものを示す。図１０が図１と異なるのは、第２の撮像部１１０が設けられていることである。第２の撮像部は類似度判定用の画像を固定解像度で撮影する。

図１０において、第２の撮像部１１０は、撮像部１０２の撮影処理とは無関係に撮像部１０２と同じ画角の被写体画像を撮影することができる。例えば、第２の撮像部１１０は、例えば測光センサと兼用しても構わない。また、第２の撮像部１１０は、制御部１０６に直接接続されているが、システムバス１０８を介して接続されていても構わない。

制御部１０６は、撮像部１０２で原画像や予備画像を撮影する処理とは別に第２の撮像部１１０で被写体画像を撮像する。この様子を図１１に示す。図１１は、図９（ｂ）の原画像（フレーム（ｎ））と予備画像７０１から予備画像７０６に対応させて、第２の撮像部１１０で類似度判定用画像８０１から類似度判定用画像８１４を撮像する場合の例を示した図である。

図１１の例では、類似度判定用画像８００から類似度判定用画像８０７は、原画像（フレーム（ｎ））と予備画像７０１から予備画像７０６を撮影する直前で撮影される。これにより、例えば制御部１０６の解像度決定処理部１５２が予備画像７０３を撮影する際の解像度を決定する時に、類似度判定処理部１５４は第２の撮像部１１０が撮影した類似度判定用画像８００と類似度判定用画像８０１とを用いて類似度を求める。ここで、類似度判定用画像８００は原画像（フレーム（ｎ−１））の直前に第２の撮影部１１０によって撮影された画像で、類似度判定用画像８０１は予備画像７０１の直前に撮影された画像である。尚、第２の撮像部１１０は、固定解像度なので類似度の判定を迅速且つ安定して精度良く行うことができる。以降の処理は、図９の場合と同様に行われ、類似度判定処理部１５４が求めた類似度に応じて解像度決定処理部１５２が予備画像７０３を撮影する際の解像度を決定し、予備画像撮影処理部１５３が予備画像７０３を撮影する。

また、予備画像７０２の解像度を決定する時は、類似度判定処理部１５４が１つ前の予備画像７０１の直前の類似度判定用画像８０１と次に撮影しようとする予備画像７０２の直前の類似度判定用画像８０２とを用いて類似度を求め、類似度に応じた解像度で予備画像７０２を撮影する。同様に、予備画像７０３の解像度を決定する時は、類似度判定処理部１５４が１つ前の予備画像７０２の直前の類似度判定用画像８０２と次に撮影しようとする予備画像７０３の直前の類似度判定用画像８０３とを用いて類似度を求め、予備画像７０４，予備画像７０５および予備画像７０６についてもそれぞれ直前の類似度判定用画像と１つ前の予備画像の類似度判定用画像とを用いて類似度を求め、類似度に応じた解像度でそれぞれの予備画像を撮影する。

尚、図１１の例では、類似度判定用画像を原画像または各予備画像の撮影前に１枚ずつ撮影するようにしたが、不定期に類似度判定用画像を撮影する必要はない。例えば、類似度判定処理部１５４は、原画像または各予備画像の撮影間に複数枚の類似度判定用画像を撮影するのに十分な短い固定フレームレートで第２の撮像部１１０で常時撮影を行うようにして、１つ前の予備画像や原画像の撮影タイミングに近い類似度判定用画像と次に撮影しようとする予備画像の直前の類似度判定用画像との類似度を求め、この類似度を用いて解像度決定処理部１５２が次に撮影しようとする予備画像の解像度を決定するようにしても構わない。

以上、様々な実施形態について説明してきたが、本実施形態に係る電子カメラ１０１または電子カメラ１０１ａは、原画像の撮影に利用していないアイドル期間（Ｔ＿ｉｄｌｅ）に解像度の異なる予備画像を撮影することによって、動画のスロー再生時のフレーム補間画像として利用して高品質なスロー再生を実現でき、また静止画の高解像度化などの用途にも利用することができる。特に、撮影する予備画像の解像度を当該予備画像の撮影前の画像の類似度に応じて決定するので、効率よく適切な予備画像を取得することができる。

尚、撮影した予備画像は、時系列に原画像と一緒に記憶部１０５に保存するようにしても構わないし、原画像とは別のファイルで記憶部１０５に保存するようにしても構わない。尚、別のファイルで予備画像を保存する場合は、同じファイル名で属性を変えるようにしたり、ヘッダ情報に関連するファイルであることを示す情報を記載するものとする。

以上、本発明に係る電子カメラについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１，１０１ａ・・・電子カメラ １０２・・・撮像部
１０３・・・画像バッファ １０４・・・画像処理部
１０５・・・記憶部 １０６・・・制御部
１０７・・・操作部 １０８・・・システムバス
１０９・・・表示部 １１０・・・第２の撮像部
２０１・・・光学系 ２０２・・・固体撮像素子
２０３・・・ＡＦＥ ２０４・・・ＴＧ
１５１・・・原画像取得処理部 １５２・・・解像度決定処理部
１５３・・・予備画像取得処理部 １５４・・・類似度判定処理部

Claims (5)

1. 指定された複数の解像度で被写体画像を撮像する撮像手段と、
   前記撮像手段が撮像した画像を記憶する記憶手段と、
   前記複数の解像度のうち予め設定された第１解像度を前記撮像手段に指定して前記撮像手段から前記第１解像度の原画像を前記記憶手段に取り込む原画像取得手段と、
   前記原画像取得手段が取り込む第１の原画像の取り込み終了時点から次の第２の原画像の取り込み開始時点までのアイドル時間内に前記撮像手段から取り込み可能な前記第１解像度とは異なる予備画像の解像度を決定する解像度決定手段と、
   前記解像度決定手段が決定した解像度を前記撮像手段に指定して前記予備画像を前記記憶手段に取り込む予備画像取得手段と
   を有し、
   前記解像度決定手段は、前記アイドル時間内に前記第１解像度とは異なる複数の予備画像の解像度を決定し、
   前記予備画像取得手段は、前記解像度決定手段が決定した解像度を前記撮像手段に指定して前記複数の予備画像を前記記憶手段に取り込む
   ことを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記予備画像の取得前に前記撮像手段が撮影する複数画像間の類似度を求める類似度判定手段を更に設け、
   前記解像度決定手段は、前記撮像手段から取り込む前記予備画像の解像度を決定する際に、前記類似度判定手段が求めた類似度が低い場合は前記予備画像の解像度を高くし、前記類似度判定手段が求めた類似度が高い場合は前記予備画像の解像度を低くする
   ことを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラにおいて、
   前記類似度は、主要被写体の形状変化，明るさ，色相，輪郭成分，周波数成分，動きベクトルの少なくとも１つであることを特徴とする電子カメラ。
4. 請求項２または３に記載の電子カメラにおいて、
   前記撮像手段とは別に前記撮像手段と同画角の画像を撮像する第２の撮像手段を更に設け、
   前記類似度判定手段は、前記第２の撮像手段が撮像する複数画像の類似度を求めて前記撮像手段から取り込む前記予備画像の解像度を決定することを特徴とする電子カメラ。
5. 指定された複数の解像度で被写体画像を撮像する撮像手段と、
   前記撮像手段が撮像した画像を記憶する記憶手段と、
   前記複数の解像度のうち予め設定された第１解像度を前記撮像手段に指定して前記撮像手段から前記第１解像度の原画像を前記記憶手段に取り込む原画像取得手段と、
   前記原画像取得手段が取り込む第１の原画像の取り込み終了時点から次の第２の原画像の取り込み開始時点までのアイドル時間内に前記撮像手段から取り込み可能な前記第１解像度とは異なる予備画像の解像度を予備画像の前に撮影される画像に基づいて決定する解像度決定手段と、
   前記解像度決定手段が決定した解像度を前記撮像手段に指定して前記予備画像を前記記憶手段に取り込む予備画像取得手段と
   を有することを特徴とする電子カメラ。

Images