JP5287636B2 - 画像データ記録装置及び画像データ記録プログラム - Google Patents

Description

本発明は、画像データ記録装置及び画像データ記録プログラムに関する。

この種の技術として、例えば特許文献１には、撮影時間がＴｓ［ｓ］であるスナップ動画撮影処理の終了後において、所定の延長スイッチが押されることにより動画撮影の延長要求があった場合、スナップ動画撮影の終了直後におけるＴｂ［ｓ］の時間分だけ延長して動画撮影処理を実行するカメラ付き動画記録装置が開示されている。

特開２００４−１８０１９１号公報

しかし、特許文献１に記載されたカメラ付き動画記録装置は、ユーザの操作によって動画撮影処理の延長を行うために、ユーザにとって装置の使い勝手が悪かった。これは、動画撮影処理を連写撮影処理とした場合でも同様である。

本発明は、このような点に鑑みてなされたものであり、その目的とするところは、ユーザにとって使い勝手の良い、画像データ記録装置及び画像データ記録プログラムを提供することにある。

上記課題を解決するために、本発明の第１の観点に係る画像データ記録装置は、
撮像素子が撮像した画像を表す画像データを取得し、取得した前記画像データを記憶部に一時記録する処理を順次行う一時記録処理を行う一時記録手段と、
前記一時記録手段が前記記憶部に一時記録した前記画像データを所定のデータ形式で記憶媒体へ保存する保存処理を行う画像保存手段と、を備え、
前記画像保存手段が前記保存処理を行うときに、前記一時記録手段は、前記一時記録処理で前記記憶部に記録した複数の前記画像データのうちの少なくとも一部の複数の前記画像データを用いて、これら画像データの前記画像間の被写体像の変化を検出し、検出した前記被写体像の変化に基づいて前記一時記録処理を続行する。

また、本発明の第２の観点に係る画像データ記録プログラムは、
コンピュータを
撮像素子が撮像した画像を表す画像データを取得し、取得した前記画像データを記憶部に一時記録する処理を順次行う一時記録処理を行う一時記録手段と、
前記一時記録手段が前記記憶部に一時記録した前記画像データを所定のデータ形式で記憶媒体へ保存する保存処理を行う画像保存手段と、を備え、
前記画像保存手段が前記保存処理を行うときに、前記一時記録手段は、前記一時記録処理で前記記憶部に記録した複数の前記画像データのうちの少なくとも一部の複数の前記画像データを用いて、これら画像データの前記画像間の被写体像の変化を検出し、検出した前記被写体像の変化に基づいて前記一時記録処理を続行する、
装置として機能させる。

本発明に係る画像データ記録装置及び画像データ記録プログラムによれば、ユーザにとって使い勝手が良くなる。

本発明の一実施形態に係る画像データ記録装置の構成を示したブロック図である。 本発明の一実施形態に係る画像データ記録装置のハードウェア構成を示したブロック図である。 本発明の一実施形態に係る画像データ記録装置が行う画像データ記録処理のフローチャートである。 本発明の一実施形態に係る画像データ記録装置の記憶部内の所定の記憶領域を説明するための図である。 本発明の一実施形態に係る画像データ記録装置が使用するための延長撮影条件テーブルの内容を示す図である。 本発明の一実施形態に係る画像データ記録装置の記憶部内の所定の記憶領域を説明するための図である。 本発明の一実施形態に係る画像データ記録装置の記憶部内の所定の記憶領域を説明するための図である。

本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。下記の実施形態及び図面に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、重要でない公知の技術的事項の説明を適宜省略する。

本実施形態に係る画像データ記録装置１００は、デジタルカメラ等の撮影装置（コンピュータ）である。画像データ記録装置１００は、撮影モードとして一般的な、動画撮影モード及び連写撮影モード等を有する。

画像データ記録装置１００は、図１のように、制御部１１０と、入力部１２０と、撮像部１３０と、表示部１４０と、記憶部１５０とを備える。

制御部１１０は、画像データ記録装置１００全体を制御する。制御部１１０は、一時記録部１１０ａ、画像保存部１１０ｂを備える。一時記録部１１０ａと画像保存部１１０ｂとは、特に後述の画像データ記録処理を行う。一時記録部１１０ａは、撮像部１３０からの撮像信号を受け取り、受け取った撮像信号を所定の画像データに変換し、変換した画像データを記憶部１５０に一時記録する。画像保存部１１０ｂは、記憶部１５０に記録した画像データを所定のデータ形式で記憶媒体１６０に保存する。制御部１１０は、記憶媒体１６０に保存された画像データを読み出し、読み出した画像データを用いて、この画像データの画像（デジタル写真、デジタル動画）を表示部１４０に表示する。

入力部１２０は、ユーザからの操作入力を受け付けて、受け付けた操作入力に応じた操作入力信号を制御部１１０に対して供給する。

撮像部１３０は、制御部１１０の制御のもと、例えば、ユーザの撮影操作により取り込まれる画像（つまり、撮像画像）を表す撮像信号を生成し、生成した撮像信号を制御部１１０に供給する。

表示部１４０は、制御部１１０の制御のもと、画像データ記録装置１００を操作するために必要なメニュー画面、設定画面、撮像された画像等を表示する。

記憶部１５０は、制御部１１０の制御のもと、後述の画像データ記録処理に使用されるデータ、後述の画像データ等を記憶する。特に、記憶部１５０は、後述の画像データ記録処理において、画像データを記憶する。また、記憶部１５０は、制御部１１０のワーキングメモリとしても機能する。記憶部１５０は、制御部１１０が直接アクセスできる記憶装置であれば良く、例えば、画像データ記録装置１００の内部メモリによって構成される。

画像データ記録装置１００には、記憶媒体１６０が取り付けられる。記憶媒体１６０は、制御部１１０（画像保存部１１０ｂ）の制御のもと、上記の画像データを記憶する。記憶媒体１６０は、メモリーカード等によって構成される。

次に、図２を用いて、本実施形態に係る画像データ記録装置１００のハードウェア構成を説明する。

画像データ記録装置１００は、ＣＰＵ（Central Processing Unit）１１１と、ＲＯＭ（Read Only Memory）１１２と、画像データ記録プログラム１１３、ＴＧ（Timing Generator）１１４と、ドライバ１１５と、ＡＦＥ（Analog Front End）１１６と、メディアコントローラ１１７と、操作キー群１２１と、撮像素子１３１と、撮像レンズ群１３３と、撮像駆動部１３５と、ディスプレイ１４１と、ＲＡＭ（Random Access Memory）１５１とを備える。画像データ記録装置１００の各構成要素のうちの一部は適宜、バス１９９によって接続される。また、画像データ記録装置１００が備える各構成要素は、必要に応じて、ＴＧ１１４、又は、それ以外の図示しないタイミングジェネレータによって、同期が取られるものとする。

制御部１１０は、画像データ記録プログラム１１３によって処理を実行するＣＰＵ１１１と、ＲＯＭ１１２と、ＴＧ１１４と、ドライバ１１５と、ＡＦＥ１１６と、メディアコントローラ１１７とを含む。一時記録部１１０ａは、画像データ記録プログラム１１３によって処理を実行するＣＰＵ１１１と、ＲＯＭ１１２と、ＴＧ１１４と、ドライバ１１５と、ＡＦＥ１１６とを含む。画像保存部１１０ｂは、画像データ記録プログラム１１３によって処理を実行するＣＰＵ１１１と、メディアコントローラ１１７とを含む。また、記憶部１５０は、ＲＡＭ１５１を含む。

ＣＰＵ１１１は、画像データ記録装置１００の各構成要素の動作を制御する。つまり、ＣＰＵ１１１は、各部を制御するための制御データを生成し、生成した制御データを構成要素に供給することによって各構成要素を制御する。特に、ＣＰＵ１１１は、入力部１２０から供給される操作入力信号（入力データの一例）及びＲＯＭ１１２に記録されている画像データ記録プログラム１１３に従い、さらに、ＲＯＭ１１２に記録されている各種データを用いて、各構成要素を制御し、後述の画像データ記録処理を実行する。

なお、ＣＰＵ１１１に供給されるデータは、例えば、ＲＡＭ１５１（つまり、記憶部１５０、以下同じ）を介して供給される。また、ＣＰＵ１１１は、例えば、ＲＡＭ１５１を介して各構成要素にデータを供給する。また、ＣＰＵ１１１の機能の少なくとも一部は、各種専用回路によって実現されてもよい。つまり、制御部１１０の少なくとも一部を各種専用回路によって構成してもよい。各種専用回路としては、例えば、ＤＳＰ（Digital Signal Processor）、各種エンコーダ、各種デコーダ等がある。

ＲＯＭ１１２は、適宜の半導体記憶装置によって構成される。ＲＯＭ１１２には、画像データ記録プログラム１１３等の各種プログラム、及び、ＣＰＵ１１１が使用する各種データ等が記憶されている。これらのプログラム及びデータは、ＣＰＵ１１１によって直接読み出されるか、ＲＡＭ１５１に一度記録される。なお、ＲＯＭ１１２は、書き換え等が可能な他の記憶装置に変更してもよい。

ＲＡＭ１５１は、適宜の半導体記憶装置（特に一次記憶装置）によって構成される。ＲＡＭ１５１は、ＣＰＵ１１１のワーキングメモリとして機能する他、画像データ等の各種データを一時記憶する。なお、ＲＡＭ１５１の機能の一部を、画像データ記録装置１００が備える又は画像データ記録装置１００の外部に形成される他の記憶装置に持たせてもよい。この場合、画像データ記録装置１００が備える他の記憶装置も記憶部１５０を構成する。

なお、画像データ記録プログラム１１３は、ＯＳ（Operation System）と協働してＣＰＵ１１１に後述の画像データ記録処理を行わせるものであってもよい。また、画像データ記録プログラム１１３は、持ち運び可能な記録媒体（ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、又は、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等）に記録され、画像データ記録装置１００に供給されてもよい。また、画像データ記録プログラム１１３は、ネットワークを介して画像データ記録装置１００に供給されてもよい。画像データ記録プログラム１１３が記録されたＲＯＭ１１２、ＲＡＭ１５１、又は、持ち運び可能な記録媒体は、コンピュータが読み取り可能なプログラム製品になる。画像データ記録プログラム１１３は、機能の少なくとも一部が専用回路によって実現されたコンピュータを動作させるものであってもよい。つまり、コンピュータは、全体として、後述の画像データ記録処理を行うものであればよく、画像データ記録プログラム１１３は、そのようなコンピュータを動作させるものであればよい。

ＴＧ１１４は、ＣＰＵ１１１の制御のもと、ドライバ１１５を動作させるためのパルス信号を生成し、ドライバ１１５に供給する。つまり、後述の撮像素子１３１から１フレーム分（つまり、１画像分）の撮像信号が供給される間隔（シャッタースピード）は、ＴＧ１１４からドライバ１１５に供給されるパルス信号に依存する。また、ＴＧ１１４は、ＣＰＵ１１１の制御のもと、ＡＦＥ１１６にも同様のパルス信号を供給する。ＴＧ１１４は、パルス信号の供給によって、ＡＦＥ１１６とドライバ１１５との動作タイミングの同期を図る。つまり、ＡＦＥ１１６とドライバ１１５とは、ＴＧ１１４を介してＣＰＵ１１１によって制御される。

ドライバ１１５は、ＴＧ１１４からのパルス信号に従い、後述の撮像素子１３１に駆動信号を供給する駆動回路である。

ＡＦＥ１１６は、撮像素子１３１から供給される撮像信号に所定の処理（処理Ａ）を行い、撮像素子１３１が撮像した画像を表すデジタルデータ（画像元データ、以下同じ）を生成して出力する。ＡＦＥ１１６は、例えば、ＯＢ（Optical Black）クランプ部、ＣＤＳ（Correlated Double Sampling）回路、ＡＧＣ（Automatic Gain Control）回路、Ａ／Ｄ（Analog/digital）変換器等（図示しない）を備え、これらによって処理Ａを行う。

ＯＢクランプ部は、撮像素子１３１から供給される撮像信号を受け取り、クランプ処理を行い、クランプ後信号としてＣＤＳ回路に供給する。ＣＤＳ回路は、ＯＢクランプ部から供給されたクランプ後信号に対して、相関二重サンプリングを行い、相関二重サンプリング後の信号をサンプリング後信号としてＡＧＣ回路に供給する。ＡＧＣ回路は、ＣＤＳ回路から供給されたサンプリング後信号に対して、自動利得調整を行い、自動利得調整後の信号を調整後信号として、Ａ／Ｄ変換器に供給する。ＡＧＣ回路のゲインは、ＣＰＵ１１１が制御することもできる。Ａ／Ｄ変換器は、ＡＧＣ回路から供給されたアナログ信号である調整後信号をデジタル信号に変換し、変換後のデジタル信号を画像元データとして、ＲＡＭ１５１に記録する。

ここで、画像元データは、撮像素子１３１の各有効画素（ＯＢ等を除いた画像の再生に寄与する画素）の画素値を含む、１フレーム分の静止画像を表すデータである。画像元データは、例えば、ＲＧＢ（Red-Green-Blue）データである。

ＣＰＵ１１１は、適宜、ＲＡＭ１５１に記録された画像元データを読み出す。つまり、ＣＰＵ１１１は、ＡＦＥ１１６から供給された画像元データを取得する。ＣＰＵ１１１は、必要に応じて、取得した画像元データに対して各種処理（処理Ｂ）を行い、ＹＵＶ（輝度・色差）データ（画像データの一例）への変換を行う。処理Ｂは、輪郭強調、オートホワイトバランス、オートアイリス等の画質を向上させる処理を含む。また、処理Ｂは、必要に応じて画像データ（ＹＵＶデータ）が表現する画像のサイズ及び解像度等を変更する処理を含む。ＣＰＵ１１１は、処理Ｂによって変換した１画像分の画像データをＲＡＭ１５１に記録する。この画像データは静止画像の画像データである。

なお、制御部１１０（一時記録部１１０ａ）がＤＳＰを含む場合、ＤＳＰは、ＡＦＥ１１６から画像元データを受け取って、受け取った画像元データを処理Ｂによって画像データ（ＹＵＶデータ）に変換し、変換した画像データをＲＡＭ１５１に記録する。

ＣＰＵ１１１は、適宜、ＲＡＭ１５１に記録した画像元データ又は画像データを表示用データに変換し、ＲＡＭ１５１に記録する。ＣＰＵ１１１は、ＲＡＭ１５１に記録した表示用データをディスプレイ１４１に供給する。表示用データは、例えばＲＧＢデータである。

ＣＰＵ１１１は、適宜、ＲＡＭ１５１に記録された１以上の画像データを圧縮し、圧縮した圧縮データをＲＡＭ１５１に記録する。制御部１１０がエンコーダを含む場合、このエンコーダが圧縮を行っても良い。ＣＰＵ１１１は、適宜、ＲＡＭ１５１に記録した圧縮データをメディアコントローラ１１７に供給する。圧縮データは、例えば、ＭＰＥＧ形式のデータ又はＪＰＥＧ形式のデータである。

メディアコントローラ１１７は、ＣＰＵ１１１の制御のもと、圧縮データを受け取って記録媒体５０に保存（記録）する。

ＣＰＵ１１１とメディアコントローラ１１７とは、画像データを所定のデータ形式で記憶媒体１６０に保存する。なお、ＣＰＵ１１１は、上記圧縮処理を行わずに、画像データをデータ形式を変更せずにメディアコントローラ１１７に供給してもよい。つまり、所定のデータ形式は、ＲＡＭ１５１に一時記録した画像データのデータ形式であってもよい。

また、メディアコントローラ１１７は、適宜、ＣＰＵ１１１の制御のもと、記録媒体１６０に保存（記録）した所定形式の画像データを読み出し、読み出した画像データをＲＡＭ１５１に記録する。ＣＰＵ１１１は、ＲＡＭ１５１に記録した画像データを表示用データに変換し、ＲＡＭ１５１に記録する。ＣＰＵ１１１は、ＲＡＭ１５１に記録した表示用データをディスプレイ１４１に供給する。

入力部１２０は、操作キー群１２１を含んで構成される。操作キー群１２１は、半押し全押しの二段階操作可能なシャッターキー、モード切り替えキー、十字キー、ズームキー、及び、メニューキー、セットキー、電源キー等の複数の操作キーを含む。

撮像部１３０は、撮像素子１３１、撮像レンズ群１３３、撮像駆動部１３５によって構成される。

撮像レンズ群１３３は、フォーカスレンズ及びズームレンズ等から構成されるレンズ群からなる。レンズ群を構成する複数のレンズは、それぞれ、撮像駆動部１３５が備えるレンズ駆動部によって駆動される。レンズ駆動部は、撮像レンズ群１３３を光軸方向にそれぞれ移動させるモータと、このモータを駆動するモータドライバとから構成される。レンズ駆動部は、ＣＰＵ１１１の制御のもと、モータドライバによってモータを駆動させ、撮像レンズ群１３３を光軸方向にそれぞれ移動させる。

さらに、撮像駆動部１３５は、絞り兼用シャッター部を備える。この絞り兼用シャッター部は、絞り兼用シャッターと、駆動回路とを含む。駆動回路はＣＰＵ１１１の制御のもと、絞り兼用シャッターを動作させる。この絞り兼用シャッターは、絞りとシャッターとして機能する。絞りとは、撮像レンズ群１３３を介して入射する光の量を制御する機構のことをいい、シャッターとは、撮像素子１３１に光を当てる時間、つまり、受光素子が受光する時間を制御する機構のことをいう。

撮像素子１３１は、例えば、ベイヤー配列の色フィルタを有する各種ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサーによって構成される。撮像素子１３１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等、他のイメージセンサーであってもよい。撮像素子１３１は、ＣＰＵ１１１の制御のもと、ドライバ１１５から供給される駆動信号に従い、撮像レンズ群１３３を介して入射する光による画像を取り込んで画素毎に光電変換し、光電変換により発生した画素毎の電荷をアンプにより増幅し、増幅した信号を撮像信号としてＡＦＥ１１６に供給する。つまり、撮像素子１３１は、ＣＰＵ１１１の制御のもと、撮像信号をＡＦＥ１１６に供給する。

図１の表示部１４０は、ディスプレイ１４１によって構成される。ディスプレイ１４１は、表示画面と表示コントローラとを備える。表示コントローラには、ＣＰＵ１１１の制御のもと、ＲＡＭ１５１が記憶する表示用データ（例えば、ＲＧＢデータ）が供給される。表示コントローラは、供給されたＲＧＢデータをアナログ信号に変換し、変換したアナログ信号に基づいて表示画面に画像を表示する。つまりディスプレイ１４１は、供給された画像データに基づいて、この画像データが表現する画像を表示する。

次に、本実施形態に係る画像データ記録装置１００が行う画像データ記録処理について、図３等を参照して説明する。なお、以下では、動画撮影モードにおける画像データ記録処理について説明する。

例えば、ユーザは、電源投入後に表示部１４０（ディスプレイ１４１）に表示されるメニュー画面から動画撮影モードを選択する操作を、入力部１２０（操作キー群のキー）を用いて行う。これにより、入力部１２０は、動画撮影モードの選択操作の入力に応じた操作入力信号を制御部１１０に対して供給する。制御部１１０は、入力部１２０からの操作入力信号を受け取ると、画像データ記録処理をスタートする。具体的には、例えば、ＣＰＵ１１１は、画像データ記録プログラム１１３に従って画像データ記録装置１００の制御を行い、画像データ記録処理を行う。なお、ユーザが入力部１２０を用いて他の操作をすることによって、画像データ記録処理は適宜終了する。

画像データ記録処理のスタート後、一時記録部１１０ａ（ＣＰＵ１１１、ＴＧ１１４、ドライバ１１５、ＡＦＥ１１６）は一つの画像を表示部１４０に表示する（ステップＳ３０１）。

具体的には、例えば、一時記録部１１０ａ（ＣＰＵ１１１、ＴＧ１１４、ドライバ１１５）は、予め設定されたシャッタースピードにより撮像部１３０の駆動制御を行う。一時記録部１１０ａ（ＣＰＵ１１１、ＡＦＥ１１６）は、撮像部１３０から供給される撮像信号に対して、所定の処理（例えば処理Ａ及びＢ）を行い、１フレーム分の画像データ（ＹＵＶデータ）を取得（生成）する。画像データ記録処理において、この画像データが撮像部１３０が撮像した画像を表す画像データになる。一時記録部１１０ａ（ＣＰＵ１１１）は、取得した画像データを表示用データに変換し、変換した表示用データを表示部１４０に供給する。なお、一時記録部１１０ａ（ＣＰＵ１１１、ＡＦＥ１１６）は、例えば、画像元データを表示用データに変換し、変換した表示用データを表示部１４０に供給してもよい。表示部１４０は、供給された表示用データに基づいて画像を表示１４０に表示する。

一時記録部１１０ａ（ＣＰＵ１１１）は、入力部１２０に撮影指示があったかを判断する（ステップＳ３０２）。

具体的には、例えば、ユーザが入力部１２０に撮影指示を入力すると、入力部１２０は撮影指示に応じた入力信号（入力データ）を、記憶部１５０（ＲＡＭ１５１）に記録する。ここで、撮影指示とは、動画撮影を開始する指示であって、例えばシャッターキーを押下することによって入力される指示である。一時記録部１１０ａは、ステップＳ３０２において、撮影指示が入力されていると認識すると（記憶部１５０に撮影指示が記録されていると判断すると）、入力部１２０に撮影指示があったと判断する。また、一時記録部１１０ａは、ステップＳ３０２において、撮影指示が入力されていないと認識すると（例えば記憶部１５０に撮影指示が記録されていないと判断すると）、まだ入力部１２０に撮影指示が入力されていないと判断する。

一時記録部１１０ａは、入力部１２０に撮影指示がないと判断すると（ステップＳ３０２；Ｎｏ）、ステップＳ３０１の処理を再び行う。このように、一時記録部１１０ａは、入力部１２０に撮影指示があったと判断するまで、ステップＳ３０１の処理を繰り返し行う。これによって、一時記録部１１０ａは、表示部１４０に所謂ライブビュー画像を表示する。ユーザは、表示部１４０に表示されたライブビュー画像を確認して動画撮影の開始タイミングを見極め、所望のタイミングで撮影指示を入力する。

入力部１２０に撮影指示があると判断すると（ステップＳ３０２；Ｙｅｓ）、一時記録部１１０ａ（ＣＰＵ１１１、ＴＧ１１４、ドライバ１１５、ＡＦＥ１１６）は、撮像部１３０が撮影した一つの画像を表示部１４０に表示するとともにこの画像を表す画像データを記憶部１５０に一時記録する（ステップＳ３０３）。

具体的には、ステップＳ３０１と同様に、一時記録部１１０ａは、撮像部１３０の駆動制御を行い、撮像部１３０からの撮像信号を取得し、取得した撮像信号を用いて１フレーム分の画像データ（ＹＵＶデータ）を取得する。一時記録部１１０ａは、取得した画像データを表示用データに変換し、変換した表示用データを表示部１４０に供給する。なお、一時記録部１１０ａ（ＣＰＵ１１１）は、例えば、画像元データを表示用データに変換し、変換した表示用データを表示部１４０に供給するか、画像元データをそのまま表示用データとして表示部１４０に供給するとともに、この表示用データを上記と同様に画像元データに基づいて画像データを生成してもよい。表示部１４０は、供給された表示用データに基づいて画像を表示１４０に表示する。

また、一時記録部１１０ａ（ＣＰＵ１１１）は、取得した画像データを記憶部１５０（ＲＡＭ１５１）の所定の記憶領域に一時記録する。一時記録部１１０ａは、撮影終了の時期が到来するまで、繰り返しステップＳ３０３の処理を行う。このようにして、一時記録部１１０ａは、撮影終了の時期が到来するまで、表示部１４０にライブビュー画像を表示するとともに、撮像部１３０が撮像した画像を表す画像データを取得し、取得した画像データを記憶部１５０に一時記録する処理を順次行う一時記録処理を行う。一時記録部１１０ａは、画像データを記憶部１５０に時系列に沿って順次一時記録する。例えば、図４のように、一時記録部１１０ａは画像データの新旧が分かるように、所定の記憶領域１５０ａ内に順次画像データを記録する（図４では、上から順に記録する）。このようにして、一時記録部１１０ａは記憶部１５０の所定の記憶領域１５０ａ内の記憶領域１５０ａａに、画像データを時系列に沿って順次一時記録していく。画像データを時系列に沿って順次一時記録するとは、例えば、画像データをリアルタイムで一時記録するとともに、画像データの取得の時系列が分かるように記憶領域１５０ａａを順次指定して画像データを記録することである。

次に、一時記録部１１０ａ（ＣＰＵ１１１）は撮影終了時期であるかを判断する（ステップＳ３０４）。

具体的には、例えば、一時記録部１１０ａは、前記の所定の記憶領域１５０ａに空きがない場合に、撮影終了時期であると判断する。また、一時記録部１１０ａは、前記の所定の記憶領域１５０ａに空きがある場合に、撮影終了時期でないと判断する。

また、例えば、一時記録部１１０ａは、ユーザが撮影終了の指示を入力部１２０を介して入力している場合に、撮影終了時期であると判断する。また、一時記録部１１０ａは、ユーザが撮影終了の指示を入力部１２０を介して入力していない場合に、撮影終了時期でないと判断する。ユーザが入力部１２０に撮影終了を入力すると、入力部１２０は撮影終了に応じた入力信号を、記憶部１５０（ＲＡＭ１５１）に記録する。ここで、撮影終了とは、動画撮影を終了する指示であって、例えばシャッターキーを再度押下することによって入力される指示である。一時記録部１１０ａは、ステップＳ３０４において、撮影終了が入力されていると認識すると（例えば記憶部１５０に撮影終了が記録されていると判断すると）、撮影終了時期であると判断する。また、一時記録部１１０ａは、ステップＳ３０４において、撮影終了が入力されていないと認識すると（例えば記憶部１５０に撮影終了が記録されていないと判断すると）、まだ撮影終了時期でないと判断する。

一時記録部１１０ａは、撮影終了時期でないと判断すると（ステップＳ３０４；Ｎｏ）、ステップＳ３０３の処理を再び行う。このように、一時記録部１１０ａは、撮影終了時期であると判断するまで、ステップＳ３０３の処理を繰り返し行う。これによって、一時記録部１１０ａは、上述のように、撮影終了の時期が到来するまで、表示部１４０にライブビュー画像を表示するとともに、画像データを記憶部１５０に時系列に沿って順次一時記録する。ユーザは、表示部１４０に表示されたライブビュー画像を確認して動画撮影の終了タイミングを見極めることができる。

一時記録部１１０ａ（ＣＰＵ１１１）は、撮影終了時期であると判断する（つまり、撮影終了時期を検出する）と（ステップＳ３０４；Ｙｅｓ）、記憶部１５０に一時記録した複数の画像データを用いて、これら画像データが表す画像間の被写体像の変化を検出する（ステップＳ３０５）。

上記ステップＳ３０３は、通常複数回行われる。このため、複数の画像データが記憶部１５０の所定の記憶領域１５０ａに一時記録される。一時記録部１１０ａは、ステップＳ３０３において一時記録した複数の画像データを用いて、画像間の被写体像の変化を検出する。例えば、一時記録部１１０ａは、現在（撮影終了時期、後述の延長撮影終了時期等）から遡った所定期間内に記憶部１５０の所定の記憶領域１５０ａに一時記録された複数の画像データを用いて、画像間の被写体像の変化を検出する。この複数の画像データは、現在から所定期間逆のぼった期間に記録された画像データである。この所定期間は、例えば、現在から遡った一秒間である。このような期間は、フレームレートから算出できる。また、所定期間内は、例えば、十枚分の画像データ等、画像データの数で規定してもよい。一時記録部１１０ａは、記憶部１５０の所定の記憶領域１５０ａに記録した画像データを全て用いてもよい。

画像間の被写体像の変化は、例えば、動きベクトル、差分絶対値和（Sum of Absolute Differences: SAD）、差分自乗和（Sum of Squared Differences: SSD）等を用いて求められる値である。どれを用いて画像間の被写体像の変化を求めるかは予め設定される。一時記録部１１０ａは、いずれか少なくとも一つを用いて画像間の被写体像の変化を検出する。

画像間の被写体像の変化を動きベクトルを用いて求める場合、一時記録部１１０ａは、例えば、検出に用いる複数の画像データを用いて、画像を分割したマクロブロック毎の、最古の画像から最新の画像までの動きベクトルの大きさを検出する。一時記録部１１０ａは、検出した、各マクロブロックにおける動きベクトルの大きさの総和、平均、最小値、最大値等を算出する。この算出した値が画像間の被写体像の変化となる。このようにして、一時記録部１１０ａは、画像間の被写体像の変化を検出する。

画像間の被写体像の変化を差分絶対値和又は差分自乗和を用いて求める場合、一時記録部１１０ａは、例えば、検出に用いる複数の画像データそれぞれについて、時間的に隣接する画像データ同士についての差分絶対値和又は差分自乗和の値を検出する。一時記録部１１０ａは、検出した差分絶対値和又は差分自乗和の値それぞれを用いて、検出に用いる複数の画像データについての最新の画像から最古の画像にかけての差分絶対値和又は差分自乗和の値の総和、平均、最小値、最大値等を算出する。この算出した値が画像間の被写体像の変化となる。このようにして、一時記録部１１０ａは、画像間の被写体像の変化を検出する。

なお、一時記録部１１０ａは、検出に用いる複数の画像データのうちの、最古の画像データと最新の画像データ等、検出に用いる複数の画像データのうちの予め設定された二つ以上の画像データを選択し、選択した二つ以上の画像データに用いて画像間の被写体像の変化を検出してもよい。

一時記録部１１０ａ（ＣＰＵ１１１）は、画像間の被写体像の変化が大きいか（具体的には、所定の基準を満たすか）を判断する（ステップＳ３０６）。具体的には、例えば、一時記録部１１０ａは、ステップＳ３０５の処理で検出した画像間の被写体像の変化（Ｘ）が閾値Ｘ１（このデータは、例えば予めＲＯＭ１１２に記録されている。）以上であるかを判断する。閾値Ｘ１は、予め設定されている値であり、画像間の被写体像の変化がこの値以上である場合に、画像の変化が大きくなるような値である。画像間の被写体像の変化（Ｘ）が閾値Ｘ１以上となる場合、一時記録部１１０ａは、画像間の被写体像の変化が大きいと判断する。画像間の被写体像の変化（Ｘ）が閾値Ｘ１未満である場合、一時記録部１１０ａは、画像間の被写体像の変化が大きくないと判断する。

画像間の被写体像の変化が大きい場合、画像の変化が大きくなっているので、検出対象の複数の画像データによって表現される動画像（画像データの静止画像の連続）はユーザの興味を引く動画像である可能性が高い。さらに、この画像間の被写体像の変化は、例えば動画像の終盤（現在から遡った所定期間内の動画像）において検出されたものであり、現在以降でもこの変化が続く可能性が高い。つまり、現在以降でも、ユーザの興味を引く被写体の動きが撮影対象のシーン内で展開される可能性が高い。

一時記録部１１０ａ（ＣＰＵ１１１）が画像間の被写体像の変化が大きくない（所定の基準を満たさない）と判断すると（ステップＳ３０６；Ｎｏ）、画像保存部１１０ｂ（ＣＰＵ１１１、メディアコントローラ１１７）は、複数の画像データを所定のデータ形式で記憶媒体１６０に保存し（ステップＳ３１１）、画像データ記録装置１００は、画像データ記録処理を終了する。

具体的には、例えば、画像保存部１１０ｂは、記憶部１５０の所定の記憶領域１５０ａに一時記録している複数の画像データを所定のデータ形式の画像データ（ここでは、例えば、ｍｐｅｇ形式の動画像データ）に変換（圧縮）し、変換後の変換後データを記憶媒体１６０に保存する（ステップＳ３１１）。画像間の被写体像の変化が大きくない場合、画像の変化が小さいので、現在以降においても画像の変化が小さい可能性が高く、ユーザの興味のあるシーンは終了している可能性が高い。このため、一時記録部１１０ａは、一時記録処理を終了し、画像保存部１１０ｂは、画像データを所定のデータ形式で記憶媒体１６０に保存する。なお、記憶媒体１６０に保存した画像データは、記憶部１５０から削除される。

一時記録部１１０ａ（ＣＰＵ１１１、ＲＯＭ１１２）は、画像間の被写体像の変化が大きい（所定の基準を満たす）と判断すると（ステップＳ３０６；Ｙｅｓ）、ステップＳ３０５で検出した画像間の被写体像の変化に基づいて、延長撮影処理の処理条件（つまり、続行する一時記録処理の処理条件）を特定する。

具体的には、例えば、一時記録部１１０ａは、画像間の被写体像の変化の値と処理条件とを対応付けた延長撮影条件テーブル（図５参照、このテーブルは例えばＲＯＭ１１２に記録されている。）を参照し、ステップＳ３０５で検出した画像間の被写体像の変化（Ｘ）の値に対応する延長撮影処理の処理条件を特定する。例えば、画像間の被写体像の変化（Ｘ）が所定値Ｘ２以上でＸ３未満である場合、一時記録部１１０ａは、処理条件のうちの、延長撮影処理の期間（一時記録処理の続行期間）を３秒間、フレームレート（画像データの取得間隔）を３０ｆｐｓ（frame per second）として処理条件を特定する。なお、延長撮影処理の期間（一時記録する画像データの数等によって制御できる）、フレームレート（シャッタースピード等によって制御できる）等は、固定であっても良い。また、処理条件は、解像度（例えば、画像データへの変換時における解像度）等を含んでも良い。

一時記録部１１０ａ（ＣＰＵ１１１、ＴＧ１１４、ドライバ１１５、ＡＦＥ１１６）は、延長撮影処理の処理条件（つまり、続行する一時記録処理の処理条件）を特定すると、この処理条件でステップＳ３０３と同様の処理を行う（ステップＳ３０８）。次に、一時記録部１１０ａ（ＣＰＵ１１１）は、記憶部１５０の所定の記憶領域１５０ａに画像データが記録されていない空き領域が存在するか判断し（ステップＳ３０９）、空き領域が存在すると（ステップＳ３０９；Ｙｅｓ）、延長撮影処理の期間（一時記録処理の続行期間）の終了時期が到来しているか判断する（ステップＳ３１０）。この判断は、例えば、記録した画像データの数によって行われる。フレームレートが決まっているので、画像データの数で期間が算出できる。延長撮影処理の期間（処理条件に含まれる）の終了時期が到来していなければ（ステップＳ３１０；Ｎｏ）、一時記録部１１０ａ（ＣＰＵ１１１、ＴＧ１１４、ドライバ１１５、ＡＦＥ１１６）は、ステップＳ３０８の処理を再び行う。

上記のように、一時記録部１１０ａは、所定の記憶領域１５０ａに画像データが記録されていない空き領域が存在する限り、延長撮影処理の期間が経過するまで、延長撮影処理の処理条件に従って、ステップＳ３０８の処理を繰り返し行う（延長撮影）。つまり、一時記録部１１０ａは、ステップＳ３０７で特定した処理条件に従って、一時記録処理を続行する。

上記で説明した延長撮影について図６を参照して説明すると、一時記録部１１０ａは、撮影終了時期から遡った所定期間内に取得した画像データをもとに画像間の被写体像の変化を検出し、この変化に応じて撮影終了時期から第１回延長撮影の処理（第１回延長撮影）、つまり、一時記録処理の続行を行う。

上記のように、一時記録部１１０ａは、検出した画像間の変化に基づいて一時記録処理の処理条件を特定し、特定した処理条件に基づいて一時記録処理を続行する。これによって、画像間の被写体像の変化に応じて適切に一時記録処理を続行できる。

例えば、画像間の被写体像の変化が小さければ、ユーザの興味のあるシーンがすぐに終了する可能性があるので、一時記録処理の続行期間を短くしてもよい。このため、画像間の被写体像の変化が小さければ、一時記録処理の続行期間を短くできるので、画像データ記録装置１００の処理負担の軽減を図ることができる。

また、例えば、画像間の被写体像の変化が小さければ、フレームレートを落としても動画の画質等にそれほど影響が出なくなる場合がある。このため、画像間の被写体像の変化が小さければ、フレームレートを落とすことができる。これによって、画像データ記録装置１００の処理負担の軽減を図ることができる。

また、例えば、画像間の被写体像の変化が小さければ、解像度を落としても動画の画質等にそれほど影響が出なくなる場合がある。このため、画像間の被写体像の変化が小さければ、解像度を落とすことができる。これによって、画像データ記録装置１００の処理負担の軽減を図ることができる。

なお、ステップＳ３０９において、一時記録部１１０ａが記憶部１５０の所定の記憶領域１５０ａに画像データが記録されていない空き領域が存在しないと判断すると（ステップＳ３０９；Ｎｏ）、画像データをさらに一時記録できないので、画像保存部１１０ｂ（ＣＰＵ１１１、メディアコントローラ１１７）は、ステップＳ３１１の処理を行う。

また、ステップＳ３１０において、一時記録部１１０ａ（ＣＰＵ１１１）は、延長撮影処理の期間（一時記録処理の続行期間）の終了時期（延長撮影終了時期）が到来している判断すると（ステップＳ３１０；Ｙｅｓ）、ステップＳ３０５の処理を再び行う。このとき、一時記録部１１０ａは、上記の現在は延長撮影終了時期になる。このようにして、一時記録部１１０ａは、記憶部１５０の所定の記憶領域１５０ａに空きの領域がある限り、また、画像間の被写体像の変化が大きい限り、延長撮影処理を繰り返し行う（一時記録処理を繰り返し続行する）。

この延長撮影の繰り返しについて図７を参照して説明すると、一時記録部１１０ａは、第１回延長撮影の延長撮影終了時期から遡った所定期間内に取得した画像データをもとに画像間の被写体像の変化を検出し、この変化に応じて延長撮影終了時期から第２回延長撮影の処理（第２回延長撮影）、つまり、一時記録処理の再続行を行う。もちろん、一時記録部１１０ａは、第３回目以降の延長撮影を適宜行っても良い。

なお、画像データ記録装置１００は、画像データ記録処理を連写撮影モードにおいても実行できる。この場合、画像保存部１１０ｂは、一時記録した複数の画像データそれぞれ、又は、一時記録した複数の画像データのうちの一部を、例えば、ｊｐｅｇ形式に変換して記憶媒体１６０に保存する。

また、上記では、一時記録する画像データはＹＵＶデータであるとして画像データ記録処理を説明したが、画像データは撮像部１３０が撮像した画像を表現可能なデータであれば、そのデータ形式は問わない。つまり、画像データは、例えば、画像元データ（例えばＲＧＢデータ）のデータ形式、ｊｐｅｇのデータ形式、ｍｐｅｇデータ形式等のデータであってもよく、解像度、画像サイズ等が変更された画像データであってもよい。この場合、画像データ記録装置１００（一時記録部１１０ａ等）は、適宜画像データを所望のデータ形式に変換（圧縮等も含む）して、画像データ記録処理に用いる。

また、延長撮影の際の処理条件は固定であってもよい。この場合、ステップＳ３０７は不要になる。

また、画像データ記録装置１００は、撮像部１３０、表示部１４０等を備えていないパーソナルコンピュータの本体であってもよい。この場合、撮像部１３０、表示部１４０は、画像データ記録装置１００と外部接続される。

上記で説明したように、本実施形態に係る画像データ記録装置１００は、撮像素子１３１が撮像した画像を表す画像データを取得し、取得した画像データを記憶部１５０に一時記録する処理を順次行う（順次実行する）一時記録処理を行う（実行する）一時記録部１１０ａと、一時記録部１１０ａが記憶部１５０に一時記録した画像データを所定のデータ形式で記憶媒体１６０へ保存する保存処理を行う（実行する）画像保存部１１０ｂと、を備える。そして、画像保存部１１０ｂが保存処理を行うときに、一時記録部１１０ａは、一時記録処理で記憶部１５０に記録した複数の画像データのうちの少なくとも一部の複数の画像データを用いて、これら画像データの画像間の被写体像の変化を検出し、検出した被写体像の変化に基づいて一時記録処理を続行する。これによって、本実施形態に係る画像データ記録装置１００は、被写体像の変化に基づいて（所定の基準を満たす場合に）延長撮影を自動で続行する。そして、ユーザが撮影終了を指示した後にユーザが撮影したいシーンが生じても、この延長撮影によってこのシーンを撮り逃す可能性が低くなる。そして、この延長撮影が自動で続行されるため、画像データ記録装置１００はユーザにとって使い勝手が良い。

また、一時記録部１１０ａは、一時記録処理を続行しているときに記憶部１５０に記録した複数の画像データのうちの少なくとも一部の複数の画像データを用いて、これら画像データの画像間の被写体像の変化を検出し、検出した被写体像の変化に基づいて一時記録処理を再度続行するので、繰り返し延長撮影が続行され、上記で説明したシーンの撮り逃しを効率良く防止又は軽減できる。

１００・・・画像データ記録装置、１１０・・・制御部、１１０ａ・・・一時記録部、１１０ｂ・・・画像保存部、１１１・・・ＣＰＵ、１１２・・・ＲＯＭ、１１３・・・画像データ記録プログラム、１１４・・・ＴＧ、１１５・・・ドライバ、１１６・・・ＡＦＥ、１１７・・・メディアコントローラ、１２０・・・入力部、１２１・・・操作キー群、１３０・・・撮像部、１３１・・・撮像素子、１３３・・・撮像レンズ群、１３５・・・撮像駆動部、１４０・・・表示部、１４１・・・ディスプレイ、１５０・・・記憶部、１５０ａ・・・所定の記憶領域、１５０ａａ・・・記憶領域、１５１・・・ＲＡＭ、１９９・・・バス

Claims (7)

1. 撮像素子が撮像した画像を表す画像データを取得し、取得した前記画像データを記憶部に一時記録する処理を順次行う一時記録処理を行う一時記録手段と、
   前記一時記録手段が前記記憶部に一時記録した前記画像データを所定のデータ形式で記憶媒体へ保存する保存処理を行う画像保存手段と、を備え、
   前記画像保存手段が前記保存処理を行うときに、前記一時記録手段は、前記一時記録処理で前記記憶部に記録した複数の前記画像データのうちの少なくとも一部の複数の前記画像データを用いて、これら画像データの前記画像間の被写体像の変化を検出し、検出した前記被写体像の変化に基づいて前記一時記録処理を続行する、
   ことを特徴とする画像データ記録装置。
2. 前記一時記録手段は、前記一時記録処理を続行しているときに前記記憶部に記録した複数の前記画像データのうちの少なくとも一部の複数の前記画像データを用いて、これら画像データの前記画像間の被写体像の変化を検出し、検出した前記被写体像の変化に基づいて前記一時記録処理を再度続行する、
   ことを特徴とする請求項１に記載の画像データ記録装置。
3. 前記一時記録手段は、検出した前記画像間の変化に基づいて前記一時記録処理の処理条件を特定し、特定した前記処理条件に基づいて前記一時記録処理を続行することを特徴とする請求項１又は２に記載の画像データ記録装置。
4. 前記処理条件は、前記一時記録処理の続行期間を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像データ記録装置。
5. 前記処理条件は、複数の前記画像データの取得間隔を含むことを特徴とする請求項１乃至４のいずれか１項に記載の画像データ記録装置。
6. 撮影の終了を判定する撮影終了判定手段と、
   前記一時記録処理で前記記憶部に記録した複数の前記画像データのうちの少なくとも一部の複数の前記画像データを用いて、これら画像データの前記画像間の被写体像の変化を検出し、検出した前記被写体像の変化が所定量より大きいか否かを判定する変化量判定手段をさらに備え、
   前記撮影終了判定手段が撮影終了と判定したときに、前記一時記録手段は、前記変化量判定手段が前記被写体像の変化が所定量より小さいと判定した場合は、前記一時記録処理を中止し、前記変化量判定手段が前記被写体像の変化が所定量より大きいと判定した場合は、前記一時記録処理を続行する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像データ記録装置。
7. コンピュータを
   撮像素子が撮像した画像を表す画像データを取得し、取得した前記画像データを記憶部に一時記録する処理を順次行う一時記録処理を行う一時記録手段と、
   前記一時記録手段が前記記憶部に一時記録した前記画像データを所定のデータ形式で記憶媒体へ保存する保存処理を行う画像保存手段と、を備え、
   前記画像保存手段が前記保存処理を行うときに、前記一時記録手段は、前記一時記録処理で前記記憶部に記録した複数の前記画像データのうちの少なくとも一部の複数の前記画像データを用いて、これら画像データの前記画像間の被写体像の変化を検出し、検出した前記被写体像の変化に基づいて前記一時記録処理を続行する、
   装置として機能させることを特徴とする画像データ記録プログラム。

Images