JP4352236B2 - 撮影装置及びそのプログラム - Google Patents

Description

本発明は、撮影装置及びそのプログラムに係り、詳しくは、ワーキングメモリの容量が少なくても２以上の画像データから１つの画像データを生成することができる撮影装置及びそのプログラムに関する。

近年、デジタルカメラの普及により様々な機能がついたデジタルカメラが登場してきた。例えば、２つの画像データを合成処理して１つの画像データを生成するというデジタルカメラがある。
また、ＣＣＤを搭載したデジタルカメラでは、露光時間が長くなるとノイズレベルが高くなり、画像の画質劣化を招いていた。従って、本撮影後にシャッターを閉じた状態で同じ露光時間だけの撮影（ダークフレーム撮影）を行い、本撮影の画像データからダークフレーム撮影の画像データを減算する処理を行い１つの画像データを生成することにより、撮影画像の画質の劣化を防ぐという技術も存在している。

また、下記特許公開公報には、撮影装置及びその信号処理方法なる発明が開示されている。詳しくは、γ補正回路におけるγ補正処理を禁止した状態で、ＣＣＤへの入射光路を開状態に保持して第１の画像データを生成する。そして、ＣＣＤへの入射光路を閉状態に保持して第２の画像データを生成し、第１の画像データから第２の画像データを減算処理して、第１の画像データに含まれる暗出力成分を除去する補正を行うことにより良好な画像データを得ることができる撮影装置及びその信号処理方法なるものが記載されている。

公開特許公報 特開平２０００−３５００９１（段落「００３６」〜段落「００６１」参照）

しかしながら、従来のデジタルカメラ等にあっては、ワーキングメモリの容量が少ないために、２つの画像データを同時に記憶することができない場合には、本撮影の画像データとダークフレーム撮影の画像データ等の２以上の画像データを同時に記憶することができないため、長い露光時間の撮影に伴う画像データのノイズを無くすことができないという問題点があった。また、２つの画像データを演算合成して１つの画像データを生成することができないという問題点もあった。
また、このような問題点は、上記した特許文献に記載の技術でも解決することができるというものではなかった。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、ワーキングメモリの容量が少なくても複数の画像データから１つの画像データを生成することができる撮影装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による撮影装置は、被写体を撮影して画像データを出力する撮影手段と、
前記撮影手段により撮影出力された画像データを記憶するものであり、１枚分の画像データよりも大きな容量で、且つ２枚分の画像データよりも小さな容量を有するバッファ手段と、
前記バッファ手段に記憶されている画像データを記録する記録手段と、
前記撮影手段にて撮影出力された１枚の画像データと他の１枚の画像データの一部分とを前記バッファ手段に記憶させるとともに、前記他の１枚の画像データの残りの部分を前記バッファ手段を介して前記記録手段に記録させる制御手段と、
前記バッファ手段に記憶されている前記他の１枚の画像データの一部分と前記バッファ手段に記憶されている前記１枚の画像データの対応する一部分とに基づいて新たな一部分画像データを生成するとともに、前記記録手段に記録されている前記他の１枚の画像データの残り部分と前記バッファ手段に記憶されている前記１枚の画像データの対応する残り部分とに基づいて新たな残り部分画像データを生成し、当該生成した前記一部分画像データと前記残り部分画像データとから新たな１枚の画像データを生成する生成手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、前記制御手段は、前記撮影手段にて撮影出力された１枚目の画像データを前記バッファ手段に記憶させた後、前記撮影手段にて撮影出力される２枚目の画像データを前記バッファ手段に記憶できるように、前記１枚目の画像データの残りの部分を前記記録手段へ転送記録させ、この後で前記２枚目の画像データを前記バッファ手段に記憶させるようにしてもよい。

また、例えば、請求項３に記載されているように、前記制御手段は、前記生成手段にて生成された一部分画像データを、当該生成の基となった２枚分の一部分の画像データに代えて前記バッファ手段に記憶させ、この後で前記記録手段に記録されている前記他の１枚の画像データの残りの部分を前記バッファ手段の空き領域へ転送記憶させ、この後で前記生成手段にて生成された残り部分画像データを、当該生成の基となった２枚分の残り部分の画像データに代えて前記バッファ手段に記憶させ、この後で前記生成手段にて生成された新たな１枚の画像データを前記記録手段に記録させるようにしてもよい。

上記目的達成のため、請求項５記載の発明によるプログラムは、被写体を撮影する撮影処理と、
前記撮影処理により撮影された１枚の画像データと他の１枚の画像データの一部分とを、１枚分の画像データよりも大きな容量で、且つ２枚分の画像データよりも小さな容量を有するバッファ手段に記憶するとともに、前記他の１枚の画像データの残りの部分を前記バッファ手段を介して記録手段に記録する制御処理と、
前記バッファ手段に記憶されている前記他の１枚の画像データの一部分と前記バッファ手段に記憶されている前記１枚の画像データの対応する一部分とに基づいて新たな一部分画像データを生成するとともに、前記記録手段に記録されている前記他の１枚の画像データの残り部分と前記バッファ手段に記憶されている前記１枚の画像データの対応する残り部分とに基づいて新たな残り部分画像データを生成し、当該生成した前記一部分画像データと前記残り部分画像データとから新たな１枚の画像データを生成する生成処理と、
をコンピュータで実行させることを特徴とする。

本発明によれば、ワーキングメモリ（バッファ手段）の記憶容量が少なくても容易に複数の画像データから１つの画像データを生成することができる。

以下、本実施の形態について、図面を参照して詳細に説明する。
[第１の実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮影装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、ＣＣＤ２、絞り兼用シャッター３、ＤＳＰ／ＣＰＵ４、ＴＧ（timing generator）５、ユニット回路６、ＤＲＡＭ７、フラッシュメモリ８、ＲＯＭ９、画像表示部１０、キー入力部１１、カードＩ／Ｆ１２を備えており、カードＩ／Ｆ１２には、図示しないデジタルカメラ１本体のカードスロットに着脱自在に装着されたメモリ・カード１３が接続されている。

絞り兼用シャッター３は図示しない駆動回路を含み、駆動回路はＣＰＵ７から送られる制御信号に従って絞り兼用シャッターを動作させる。
絞りとは、レンズから入ってくる光の量を制限する機構のことをいい、シャッタースピードとは、時間によってＣＣＤ３に当たる光の量を制限する機構のことをいう。

ＣＣＤ２は、投影された被写体を光電変換し、撮像信号としてユニット回路６に出力する。また、ＣＣＤ２はＴＧ５によって生成された所定周波数のタイミング信号に従って駆動される。ＴＧ５にはユニット回路６が接続されている。ユニット回路６は、ＣＣＤ２から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double sampling）回路、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅後の撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ２の出力信号はユニット回路６を経てデジタル信号としてＤＳＰ／ＣＰＵ４に送られる。

画像表示部１０はカラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体をとしてスルー画像として表示し、記録画像の再生時には、保存用メモリ・カード１３から読み出され伸張された記録画像を表示する。
キー入力部１１は、シャッターボタン、実行キー、キャンセルキー、カーソルキー、モードキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＤＳＰ／ＣＰＵ４に出力する。
ＤＲＡＭ７は、ＣＣＤ２によって撮像された後、デジタル化された被写体の画像データを一時記憶するバッファメモリとして使用されるとともに、ＤＳＰ／ＣＰＵ４のワーキングメモリとしても使用される。ここでは、ＤＲＡＭ７の容量は１つの画像データと半分の画像データ、つまり、１．５画像分の画像データしか記憶することができない容量とする。ＤＲＡＭ７は、本発明の記憶手段に相当する。

ＤＳＰ／ＣＰＵ４は、画像ファイルの圧縮・伸張の処理を含む各種のデジタル信号処理機能を有するとともにデジタルカメラ１の各部を制御するワンチップマイコンである。
特に、ＤＳＰ／ＣＰＵ４は、夜景撮影モードに設定されると、ＣＣＤ２による撮像を開始して、撮像された被写体をスルー画像として画像表示部１０に表示させる。そして、ユーザによりシャッターボタンが押下されたか否かを判断する。このシャッターボタン押下の判断は、シャッターボタン押下に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。

そして、ＤＳＰ／ＣＰＵ４はシャッターボタンが押下されたと判断すると、静止画撮影処理の指示がされたと判断し、ＡＥ・ＡＦ処理を開始し撮影条件の設定を行う。このＡＥ処理とは、自動的に絞りやシャッタースピードを変更して適正な露光設定を行うことである。露光とは、ＣＣＤ３に当てる光の量のことをいう。また、シャッタースピードによって露光する時間（露光時間）が定められる。
また、ＡＦ処理とは、自動的に被写体に対してピントを合わせることをいう。ＡＦ処理として代表的なものに、コントラスト検出方式というものがある。コントラスト検出方式とは、図示しないフォーカスレンズを端から端まで動かし、そのときのＣＣＤのコントラストを電気信号に変換し、その波形を解析して、つまり、高周波成分が最も大きくなるレンズ位置にフォーカスレンズを移動させてピントを合わせるというものである。

そして、ＤＳＰ／ＣＰＵ４は、設定された撮影条件で静止画撮影処理を開始する。つまり、ＣＣＤ２による露光を開始した後、絞り兼用シャッター３を閉じて露光を終了し、ＣＣＤ２により得られた画像データを取り込む。この画像データの取り込みは、１画面中の偶数ラインの画素信号と、奇数ラインの画素信号を順に出力させて、全画素分のデータ（画像データ）をバッファメモリ（ＤＲＡＭ７）に取り込む。そして取り込んだ画像データの一部分をメモリ・カード１３に記録する。この機能は、本発明の制御手段に相当する。

ここで、メモリ・カード１３に記録する画像データの１部分のデータの量は、後述するダークフレーム撮影により得られる画像データをバッファメモリに記憶するのに足りない容量分のデータ量となる。つまり、バッファメモリに１つの画像データを記憶することができる容量を確保することができるようなデータ量となる。例えば、バッファメモリに記憶することができるデータ量が１．５画像分の画像データである場合には、１つの画像データを記憶する容量を確保するために、撮影した画像データの０．５画像分、つまり、半分の画像データをメモリ・カード１３（記録手段）に記録する。また、バッファメモリに記憶することができるデータ量が１．８画像分の画像データの場合には、１つの画像データを記憶する容量を確保するために、撮影した画像データの０．２画像分、つまり５分の１の画像データをメモリ・カード１３に記録する。

なお、バッファメモリの容量はデジタルカメラ毎に予め決まっているので、メモリ・カード１３に記録する一部分のデータの量を予め定めてもよい。例えば、画像データの２分の１又は３分の２の量をメモリ・カード１３に自動的に記録するようにする。ここでは説明の便宜上、撮影した画像データの半分の量をメモリ・カード１３に記録するものとする。

そして、ＤＳＰ／ＣＰＵ４は、撮影した画像データの一部分をメモリ・カード１３に記録するとダークフレーム撮影処理を開始する。ダークフレーム撮影とは、絞り兼用シャッターを閉じた状態（シャッターが閉まった状態）での撮影をいう。つまり、本撮影画像データを撮影したときから絞り兼用シャッター３は閉じたままである。したがって、撮影した画像は真っ暗な画像となる。そして、撮影した画像データをバッファメモリ（ＤＲＡＭ７）に取り込む（制御手段）。バッファメモリには、１つの画像データが記憶することができる容量だけ確保してあるので、２回目に撮影した画像データをバッファメモリに記憶することができる。これにより、バッファメモリの容量が少なくても連続して２つの画像データを記憶することが可能となる。
ここで便宜上、１回目に撮影した画像データ（被写体を撮影した画像データ）を本撮影画像データと呼び、２回目に撮影した画像データ（ダークフレーム撮影で撮影した画像データ）をダーク撮影画像データと呼ぶ。

そして、ＤＳＰ／ＣＰＵ４は、本撮影画像データとダーク撮影画像データとを用いて演算処理を行う。具体的には、バッファメモリに記憶されている本撮影画像データの残り半分の画像データからバッファメモリに記憶されているダーク撮影画像データの半分の画像データ（本撮影画像データの残り半分の画像データに対応する画像データ）を減算する処理を行い半分の生成画像データ１を生成する。そして、メモリ・カード１３に記録してある本撮影画像データの半分の画像データを読み出してバッファメモリに記憶し、該記憶された本撮影画像データの半分の画像データから、ダーク撮影画像データの残りの半分の画像データ（本撮影画像データの半分の画像データに対応する画像データ）を減算する処理を行い残りの半分の生成画像データ２を生成して最終的に１つの撮影画像データ（半分の画像データ１と残り半分の画像データ２を合わせた画像データ）を生成する。この機能は、本発明の生成手段に相当する。
そして、ＤＳＰ／ＣＰＵ４は、最終的に生成された画像データをカードＩ／Ｆ１２を介してバッファメモリからメモリ・カード１３に記録する。この機能は、本発明の制御手段に相当する。

フラッシュメモリ８、ＲＯＭ９には、ＤＳＰ／ＣＰＵ４の各部に必要な制御プログラム、つまり、ＡＥやＡＦ等を含む各種の制御に必要なプログラム、及び必要なデータが記録されており、ＤＳＰ／ＣＰＵ４は、前記プログラムに従い動作することにより本発明の制御手段、生成手段として機能する。
また、ＣＣＤ２、絞り兼用シャッター３、ＤＳＰ／ＣＰＵ４、ＴＧ５、ユニット回路６、フラッシュメモリ８、ＲＯＭ９は本発明の撮影手段に相当する。
以下、以上の構成からなるデジタルカメラ１における動作を説明する。

Ｂ．デジタルカメラ１の動作
通常の静止画撮影モードについて
第１の実施の形態におけるデジタルカメラ１の動作を説明する前に、通常の静止画撮影モードについて簡単に説明する。
ユーザのキー入力部１１の操作により静止画撮影モードに設定すると、ＣＣＤ２による撮像を開始し、被写体のスルー画像を画像表示部１０に表示させる。そして、ユーザによりシャッターボタンが押下されるとＡＥ・ＡＦ処理を行い、ＣＣＤ２による露光を開始する。そして、絞り兼用シャッター３を閉じて露光を終了してから、ＣＣＤ２により得られた画像データを取り込み、バッファメモリに記憶する。そして、該記憶した画像データをメモリ・カード１３に記録する。

本発明の夜景撮影モードについて
第１の実施の形態におけるデジタルカメラ１の動作を図２のフローチャート及び演算処理におけるＤＲＡＭ７、メモリ・カード１３の態様を示した図３を用いて説明する。
ユーザのキー入力部１１の操作により夜景撮影モードに設定されると、ステップＳ１でＣＣＤ２による撮像を開始して、被写体のスルー画像を画像表示部１０に表示させる。

次いで、ステップＳ２に進み、ユーザによりシャッターボタンが押下されたか否かを判断する。押下された場合にはステップＳ３に進み、押下されていない場合は押下されるまでステップＳ２に留まり、被写体のスルー画像の表示を継続する。
ステップＳ３に進むと、ＡＥ・ＡＦ処理を行う。このＡＥ処理とは、自動的に絞りやシャッタースピードを変更して適正な露光設定を行うことである。露光とは、ＣＣＤ３に当てる光の量のことをいう。
また、ＡＦ処理とは、自動的に被写体に対してピントを合わせることをいう。ここでは、コントラスト検出方式を採用する。
そして、ＡＥ・ＡＦ処理を行ってからＣＣＤ２による露光を開始する。ここで、夜景撮影モードでの露光時間は通常の静止画撮影モードでの露光時間より長い。露光時間が長いのは、夜景撮影モードでは通常撮影する場所が暗いため、ＣＣＤ２に十分な光を当てて、暗い画像の撮影を防止するためである。

ＡＥ・ＡＦ処理が完了するとステップＳ４に進み、静止画撮影処理を行う。つまり、ＣＣＤ２による露光の開始後、絞り兼用シャッター３を閉じて露光を終了してから、ＣＣＤ２により得られた画像データ（本撮影画像データ）を取り込む。この画像データの取り込みは、１画面中の偶数ラインの画素信号と、奇数ラインの画素信号とを順に出力し、全画素分のデータをバッファメモリ（ＤＲＡＭ７）に取り込む。このとき、バッファメモリに記憶される本撮影画像データはベイヤーデータである。このときのＤＲＡＭ７の態様は図３（ａ）に示すような構造となる。つまり、ＤＲＡＭ７は、本撮影画像データが記憶されており、空き容量が少し残っている。この空き容量は図を見てわかるとおり、１画像データ分を記憶することができない容量である。なお、本撮影画像データ１と本撮影画像データ２とを合わせた１つの画像データが本撮影画像データであり、本撮影画像データ１及び本撮影画像データ２は、それぞれ本撮影画像データの半分の画像データである。

次いで、ステップＳ５に進み、撮影した本撮影画像データの一部分のデータ（本撮影画像データ１）をカードＩ／Ｆ１２を介して、ＤＲＡＭ７からメモリ・カード１３に記録する。このとき、メモリ・カード１３に記録される撮影画像データ１はベイヤーデータである。ここでは、本撮影画像データの予め定められた一定の画像データを自動的にメモリ・カード１３に記録することとする。ここでは予め定められた一定の画像データとは本撮影画像データの半分の画像データである。このときのＤＲＡＭ７及びメモリ・カード１３の態様は図３（ｂ）、（ｃ）に示すような構造となる。つまり、ＤＲＡＭ７には、本撮影画像データの半分の画像データである本撮影画像データ２が記憶されており、メモリ・カード１３には、本撮影画像データの残り半分の画像データある本撮影画像データ１が記録されている。

なお、メモリ・カード１３に記録する画像データの量（画像データの２分の１等）を予め定めておく必要はなく、バッファメモリに１画像データを記憶する空き容量を確保することができればよい。つまり、バッファメモリの容量が大きければ、本撮影画像データの２分の１の画像データをメモリ・カード１３に記録する必要はなく、また、バッファメモリの容量が少なければ、本撮影画像データの２分の１以上の画像データをメモリ・カード１３に記録しなければならないこととなる。

次いで、ステップＳ６に進み、ダークフレーム撮影処理を行う。ダークフレーム撮影処理とは、絞り兼用シャッターを閉じた状態で静止画撮影を行うことである。つまり、本撮影画像データを撮影したときから絞り兼用シャッター３は閉じたままである。したがって、ダークフレーム撮影処理により撮影された画像は真っ暗な画像となる。また、ダークフレーム撮影の撮影条件（露光時間等）は、ステップＳ３で設定された撮影条件と同様である。そして、ダークフレーム撮影処理で得られた画像データ（ダーク撮影画像データ）はＤＲＡＭ７に記憶される。このときのＤＲＡＭ７の態様は図３（ｄ）に示すような構造となる。つまり、ＤＲＡＭ７には、本撮影画像データ２（本撮影画像データの半分のデータ）とダーク撮影画像データとが記憶されている。なお、ダーク撮影画像データ１とダーク撮影画像データ２とを合わせた１つの画像データがダーク撮影画像データであり、ダーク撮影画像データ１及びダーク撮影画像データ２は、それぞれダーク撮影画像データの半分の画像データである。このとき、バッファメモリに記憶されたダーク撮影画像データはベイヤーデータである。

次いで、ステップＳ７に進み、本撮影画像データとダーク撮影画像データとを用いて演算処理を行う。具体的には、まず、図３に示すように本撮影画像データ２からダーク撮影画像データの半分の画像データであるダーク撮影画像データ２を減算する処理を行い新たな生成画像データ２を生成する（図３（ｅ）参照）。なお、ダーク撮影画像データ２は本撮影画像データ２に対応する部分の画像データある。そして、メモリ・カード１３から本撮影画像データ１を読み出してＤＲＡＭ７に記憶する（図３（ｆ）参照）。このとき、本撮影画像データ１を読み出した直後に該本撮影画像データ１をメモリ・カード１３から消去する。

そして、本撮影画像データ１からダーク撮影画像データの残りの半分の画像データであるダーク撮影画像データ１を減算する処理を行い新たな生成画像データ１を生成して（図３（ｇ）参照）、ステップ８に進み、図３（ｈ）に示すような最終的な撮影画像データを生成する。なお、生成画像データ１と生成画像データ２を合わせた１つの画像データが最終的な撮影画像データとなる。結果的に、本撮影画像データからダーク撮影画像データを減算する処理を行うので、露光時間の長大に伴う画質の劣化を防ぐことが可能となる。このとき、ＤＲＡＭ７には、生成された撮影画像データが記憶されており、空き容量が少し残っている状態となる。
撮影画像データを生成するとステップＳ９に進み、ＤＲＡＭ７に記憶されている画像データ（最終的に生成された撮影画像データ）に対して補間、輝度・色差変換、ＪＰＥＧ圧縮等の処理を行ってからカードＩ／Ｆ１２を介してメモリ・カード１３に記録する。

Ｃ．このように、本発明の静止画撮影処理が開始されると、被写体の撮影を行い撮影により得られた本撮影画像データをバッファメモリに記憶する。そして、本撮影画像データの一部分の画像データ（ダーク撮影画像データをバッファメモリに記憶するのに足りない容量分のデータ）をメモリ・カード１３に記録する。そして、ダークフレーム撮影を行い、撮影により得られたダーク撮影画像データをバッファメモリに記憶する。そして、バッファメモリに記憶されている本撮影画像データの残りの画像データ及びメモリ・カード１３に記録されている本撮影画像データの一部の画像データからダーク撮影画像データを減算する処理を行い最終的に生成された１つの撮影画像データを生成する。そして、該生成された撮影画像データをカードＩ／Ｆ１２を介してメモリ・カード１３に記録する。

Ｄ．以上のように、第１の実施の形態においては、本撮影画像データの一部のデータをメモリ・カード１３に記録して、ダークフレーム撮影を行うので、バッファメモリの容量が少なくても、ダークフレーム撮影を行うことができ、長い露光時間の撮影に伴う画像データのノイズを無くすことができ、良好な静止画像を撮影することができる。
なお、第１の実施の形態では、通常の静止画撮影モードと夜景撮影モードというものを設けたが、静止画撮影モードのみでもよい。この場合は、露光時間が長いときは、本発明の撮影画像データとダークフレーム撮影画像データとから１つの撮影画像データを生成する撮影処理を行い、露光時間が短いときは通常の静止画撮影処理を行うようにする。

［第２の実施の形態］
次に、第２の実施の形態について説明する。
第２の実施の形態は、被写体を撮像して得られた本撮影画像データをバッファメモリに記憶した後に継続してシャッターボタンが押下されていた場合には、連続して撮影（合成用撮影）を行ない、本撮影画像データと合成用撮影により得られた合成用画像データを合成して１つの合成画像データを生成するというものである。

Ｅ．デジタルカメラ１の構成
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮影装置を実現する。
第２の実施の形態におけるデジタルカメラ１は、第１の実施の形態と以下の点で構成の機能が多少異なる。
ＤＳＰ／ＣＰＵ４は、連写合成撮影モードに設定され、一回目（最初）の静止画撮影により得られた画像データ（第１の画像データ）をＤＲＡＭ７に記憶すると（制御手段）、ユーザがシャッターボタンを継続して押下しているか否かを判別する。この判別は、シャッターボタン押下に対応する操作信号がキー入力部１１から継続して送られてきたか否かにより判別する。この機能は、判別手段に相当する。

シャッターボタン押下に対応する操作信号が送られてこない場合には、ＤＲＡＭ７に記憶されている第１の画像データをメモリ・カード１３（記録手段）に記録する。この機能は、本発明の制御手段に相当する。
一方、シャッターボタン押下に対応する操作信号が送られてきた場合には、ＤＲＡＭ７に記憶している第１の画像データの一部分の画像データをメモリ・カード１３に記録する。ここでは、第１の画像データの半分の画像データをメモリ・カード１３に記録する（制御手段）。
なお、第１の実施の形態で述べたように、この一部分の画像データは、次の静止画撮影により得られる画像データ（第２の画像データ）をバッファメモリに記憶するに足りない容量分のデータであればよい。つまり、バッファメモリに１つの画像データを記憶することができる容量を確保することができるようなデータ量となる。

そして、ＤＳＰ／ＣＰＵ４は、ＡＥ・ＡＦ処理を行い、静止画撮影処理を開始し、静止画撮影処理に得られた画像データ（第２の画像データ）をＤＲＡＭ７に記憶する（制御手段）。
そして、ＤＳＰ／ＣＰＵ４は、第１の画像データと第２の画像データとを用いて演算処理を行う。具体的には、バッファメモリに記憶されている第１の画像データの残り半分の画像データとバッファメモリに記憶されている第２の画像データの半分の画像データ（第１の画像データの残り半分の画像データに対応する画像データ）とを合成する処理を行い半分の画像データ１を生成する。そして、メモリ・カード１３に記録してある第１の画像データの半分の画像データを読み出してバッファメモリに記憶し、該記憶された第１の画像データの半分の画像データと第２の画像データの残りの半分の画像データとを合成する処理を行い残りの半分の画像データ２を生成して最終的に１つの合成画像データ（生成された半分の画像データ１と生成された残り半分の画像データ２を合わせた画像データ）を生成する。この機能は、本発明の生成手段に相当する。この機能は、本発明の生成手段に相当する。

そして、シャッターボタンが継続して押下されているか否かを判断する。シャッターボタンが継続して押下されていない場合には、ＤＲＡＭ７に記憶されている合成画像データをカードＩ／Ｆ１２を介してメモリ・カード１３に記録し（制御手段）、シャッターボタンが継続して押下されている場合には、上記した動作を繰り返す。つまり、ＤＲＡＭ７に記憶している合成画像データの一部分の画像データをメモリ・カード１３に記録した後、ＡＥ・ＡＦ処理を行ってから撮影を開始し、該撮影された画像データ（第３の画像データ）と合成画像データとを更に合成する処理を行なう。この合成処理は、シャッターボタンの押下が解除されるまでこの動作を繰り返す。

Ｆ．デジタルカメラ１の動作
次に、第２の実施の形態におけるデジタルカメラ１の動作を図４のフローチャート及び演算処理におけるＤＲＡＭ７、メモリ・カード１３の態様を示した図５、６を用いて説明する。
ユーザのキー入力部１１の操作により連写合成撮影モードに設定されると、ステップＳ２１で、ＣＣＤ２による撮像を開始して、撮像された被写体をスルー画像として画像表示部１０に表示させる。
次いで、ステップＳ２２で、ユーザのキー入力部１１の操作によりシャッターが押下されたか否かを判断する。シャッターが押下された場合はステップＳ２３に進み、押下されていない場合には押下されるまで、ステップＳ２２に留まりスルー画像表示を継続する。

ステップＳ２３に進むと、ＡＥ・ＡＦ処理を行い、ステップＳ２４に進んで、静止画撮影処理を行う。つまり、ＣＣＤ２に比較的長い出力タイミングで１画面中の偶数ラインの画素信号と、奇数ラインの画素信号を順に出力させて、全画素分のデータ（第１の画像データ）をバッファメモリ（ＤＲＡＭ７）に取り込む。また、バッファメモリに記憶される画像データはベイヤーデータである。このときのＤＲＡＭ７の態様は図５（ｉ）に示すような構造となる。つまり、ＤＲＡＭ７は、第１の画像データが記憶されており、空き容量が少し残っている。この空き容量は、図を見てわかるとおり１画像データ分を記憶することができない容量である。なお、第１の画像データ１と第１の画像データ２とを合わせた１つの画像データが第１の画像データであり、第１の画像データ１及び第１の画像データ２は、それぞれ第１の画像データの半分の画像データである。

次いで、ステップＳ２５に進み、ユーザがシャッターボタンの押下を継続して行っているか否かを判断する。この判断は、シャッターボタン押下に対応する操作信号がキー入力部１１から継続して送られてきたか否かにより判断する。
シャッターボタンが押下されていないと判断すると、ステップＳ３１に進み、撮影した第１の画像データに対して補間、輝度・色差変換、ＪＰＥＧ圧縮等の処理を行ってからカードＩ／Ｆ１２を介してＤＲＡＭ７からメモリ・カード１３に記録する。
一方、シャッターボタンが継続して押下されていると判断するとステップ２６に進み、ＤＲＡＭ７に記憶されている第１の画像データの一部の画像データをメモリ・カード１３に記録する。ここでは、第１の画像データの半分の画像データをメモリ・カード１３に記録するものとする。このとき、メモリ・カード１３に記録される第１の画像データの半分の画像データはベイヤーデータである。

このときのＤＲＡＭ７及びメモリ・カード１３の態様は図５（ｊ）、（ｋ）に示すような構造となる。つまり、ＤＲＡＭ７には、第１の画像データの半分の画像データである第１の画像データ２が記憶されており、メモリ・カード１３には、第１の画像データの残り半分の画像データある第１の画像データ１が記録されている。
次いで、ステップＳ２７に進み、ＡＥ・ＡＦ処理を行う。

ステップＳ２７で、ＡＥ・ＡＦ処理を行うと、ステップＳ２８に進み、静止画撮影処理を行う。つまり、ＣＣＤ２に比較的長い出力タイミングで１画面中の偶数ラインの画素信号と、奇数ラインの画素信号を順に出力させて、全画素分のデータ（第２の画像データ）をバッファメモリ（ＤＲＡＭ７）に取り込む。このときのＤＲＡＭ７の態様は図５（ｌ）に示すような構造となる。つまり、ＤＲＡＭ７には、第１の画像データの半分の画像データである第１の画像データ２と第２の画像データとが記憶されている。なお、第２の画像データ１と第２の画像データ２とを合わせた１つの画像データが第２の画像データであり、第２の画像データ１及び第２の画像データ２は、それぞれ第２の画像データの半分の画像データである。

次いで、ステップＳ２９に進み、第１の画像データと第２の画像データとを用いて合成処理を行う。具体的には、まず、図５に示すように第１の画像データ２と第２の画像データの半分の画像データである第２の画像データ２を合成する処理を行い新たな生成画像データ２を生成する（図５（ｍ）参照）。このとき、第２の画像データ２は第１の画像データ２に対応する画像データである。そして、メモリ・カード１３から第１の画像データ１を読み出してＤＲＡＭ７に記憶する（図５（ｎ）参照）。このとき、第１の画像データ１を読み出した直後に該第１の画像データ１をメモリ・カード１３から消去する。

そして、該記憶された第１の画像データ１と第２の画像データ１とを合成する処理を行い、新たな生成画像データ１を生成して（図５（ｏ）参照）、ステップ３０に進み、図５（ｐ）に示すような１つの合成画像データ（第１の合成画像データ）を生成する。なお、生成画像データ１と生成画像データ２を合わせた１つの画像データが第１の合成画像データとなる。このとき、ＤＲＡＭ７には、生成された第１の合成画像データが記憶されており、空き容量が少し残っている状態となる。

次いで、ステップＳ２５に戻り、シャッターボタンの押下が継続して行われているか否かを判断する。シャッターボタンが押下されていないと判断すると、ステップＳ３１に進み、ＤＲＡＭ７に記憶されている画像データ（第１の合成画像データ）に対して補間、輝度・色差変換、ＪＰＥＧ圧縮等の処理を行ってからメモリ・カード１３に記録する。
一方、シャッターボタンの押下が継続して行われていると判断すると、ＤＲＡＭ７に記憶されている第１の合成画像データ（第１の合成画像データは、第１の合成画像データ１と第１の合成画像データ２を合わせた画像データ（図６（ｐ）参照））の一部の画像データ、ここでは半分の画像データ（第１の合成画像データ２）をメモリ・カード１３に記録する（ステップＳ２６）。このとき、メモリ・カード１３に記録される第１の合成画像データ２はベイヤーデータである。
また、このときのＤＲＡＭ７及びメモリ・カード１３の態様は図６（ｑ）、（ｒ）に示すような構造となる。つまり、ＤＲＡＭ７には、第１の合成画像データの半分の画像データである第１の合成画像データ１が記憶されており、メモリ・カード１３には、第１の合成画像データの残り半分の画像データある第１の合成画像データ２が記録されている。

そして、ＡＥ・ＡＦ処理を行ってから（ステップＳ２７）、静止画撮影処理を開始する（ステップ２８）。つまり、ＣＣＤ２に比較的長い出力タイミングで１画面中の偶数ラインの画素信号と、奇数ラインの画素信号を順に出力させて、全画素分のデータ（第３の画像データ）をバッファメモリ（ＤＲＡＭ７）に取り込む。このときのＤＲＡＭ７の態様は図６（ｓ）に示すような構造となる。つまり、ＤＲＡＭ７には、第１の合成画像データの半分の画像データである第１の合成画像データ１と第３の画像データとが記憶されている。なお、第３の画像データ１と第３の画像データ２とを合わせた１つの画像データが第３の画像データであり、第３の画像データ１及び第３の画像データ２は、それぞれ第３の合成画像データの半分の画像データである。

そして、第１の合成画像データと第３の画像データとを用いて合成処理を行う（ステップＳ２９）。具体的には、まず、図６に示すように第１の合成画像データ１と第３の画像データの半分の画像データである第３の画像データ１を合成する処理を行い新たな生成画像データ１を生成する（図６（ｔ）参照）。ここで、第３の画像データ１は第１の合成画像データ１に対応する画像データである。
そして、メモリ・カード１３から第１の合成画像データ２を読み出してＤＲＡＭ７に記憶する（図６（ｕ）参照）。このとき、第１の合成画像データ２を読み出した直後に該第１の合成画像データ２をメモリ・カード１３から消去する。
そして、該記憶された第１の合成画像データ２と第３の画像データ２を合成する処理を行い、新たな生成画像データ２を生成して（図６（ｖ）参照）、ステップ３０に進み、図６（ｗ）に示すような１つの合成画像データ（第２の合成画像データ）を生成する。なお、生成画像データ１と生成画像データ２を合わせた１つの画像データが第２の合成画像データとなる。このとき、ＤＲＡＭ７には、生成された第２の合成画像データが記憶されており、空き容量が少し残っている状態となる。

そして、ステップＳ２５に戻り、シャッターボタンの押下が継続して行われているか否かを判断し、行われていない場合にはステップＳ３１に進み、ＤＲＡＭ７に記憶されている画像データ（第２の合成画像データ）に対して補間、輝度・色差変換、ＪＰＥＧ圧縮等の処理を行ってからメモリ・カード１３に記録する。
なお、第１の画像データ１、第１の合成画像データ２等を読み出した直後に該第１の画像データ１等をメモリ・カード１３から消去するようにしたが、最終的に画像データをメモリ・カード１３に記録する時（記録した後）に、メモリ・カード１３に記録されている画像データの一部の画像データ（第１の画像データ１、第１の合成画像データ２等）がある場合には、該画像データを消去するようにしてもよい。
一方、シャッターボタンが継続して押下されている場合には、上記した動作を繰り返す。

Ｇ．このように、本発明の連写合成撮影処理が開始されると、被写体の撮影を行い撮影により得られた画像データ（第１の画像データ）をバッファメモリに記憶する。そして、ユーザがシャッターボタンを継続して押下しているか否かを判断し、シャッターボタンを押下していると判断した場合には、バッファメモリに記憶されている第１の画像データの一部の画像データをメモリ・カード１３に記録して、ＡＥ・ＡＦ処理を行ってから静止画撮影処理を行う。この静止画撮影処理により得られた画像データ（第２の画像データ）をバッファメモリに記憶する。

そして、バッファメモリに記憶されている第１の画像データの残りの画像データ及びメモリ・カード１３に記録されている第１の画像データの一部の画像データと第２の画像データとを合成する処理を行い１つの合成画像データを生成する。
そして、ユーザがシャッターボタンの押下を継続して行っているか否かを判断し、ユーザがシャッターボタンを押下している場合には、上記した動作を繰り返す。つまり、合成画像データの一部の画像データをメモリ・カード１３に記録し、第３の画像データをバッファメモリに記憶して合成処理を行う。
この合成処理をシャッターボタンの押下が解除されるまで行い、シャッターボタンの押下が解除された場合は、バッファメモリに記憶されている画像データ（合成画像データ等）をメモリ・カード１３に記録する。

Ｈ．以上のように第２の実施の形態においては、最初に撮影により得られた画像データの一部の画像データをメモリ・カード１３に記録して、合成用撮影を行なうので、バッファメモリの容量が少なくても複数の画像データを用いて１つの合成画像を生成することができる。

なお、上記各実施の形態における撮影装置は、上記の実施の形態に限定されるものではなく、カメラ付き携帯電話、ＰＤＡ、パソコン等、又はデジタルビデオカメラ等でもよく、要は画像データを撮影することができる機器であれば何でもよい。
また、バッファメモリに記憶されている画像データのうちの一部の画像データのみメモリ・カードに記録するようにしたが、バッファメモリに記憶されている画像データを全てメモリ・カードに記録した後、メモリ・カードに記録した画像データを分割して読み出してバッファメモリに記憶することにより生成（合成）処理を実行するようにしてもよい。

また、第２の実施の形態において、図６のステップＳ２５でシャッターボタンの押下が継続していると判断した場合はステップＳ２６に進み、ステップＳ２４の静止画撮影処理により得られた第１の画像データの一部の画像データやステップＳ３０で生成された合成画像データの一部の画像データをメモリ・カード１３に記録することとしたが、第１の画像データの一部の画像データや合成画像データの一部の画像データをメモリ・カード１３に記録する際には、該第１の画像データや該合成画像データをも共に記録するようにしてもよい。このとき、メモリ・カード１３には、例えば、第１の画像データの一部の画像データ及び第１の画像データが記録される。また、メモリ・カード１３に記録される画像データ（合成画像データも含む）の一部の画像データはベイヤーデータであり、画像データ（合成画像データも含む）は補間、輝度・色差変換、ＪＰＥＧ圧縮等されたデータである。これにより、メモリ・カード１３には、最終的に１つに合成された合成画像データのみならず、最初に撮影された画像データ（第１の画像データ）、合成された合成画像データ（第２の合成画像データ）、更に合成された合成画像データ（第３の合成画像データ）等が記録されるので、最終的に１つに合成された画像の合成されていった過程を見ることができ、ユーザの興趣を高めることができる。また、ユーザは最終的に１つに合成された画像があまり気に入らない場合でも、合成の過程において生成された複数の画像が記録されているので、ユーザは一番気に入った画像を使用することができる。

本発明の実施の形態のデジタルカメラのブロック図である。 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。 撮影処理及び演算処理におけるＤＲＡＭ７、メモリ・カード１３の態様を示した図である。 第２の実施の形態のデジタルカメラの動作を示すフローチャートである。 撮影処理及び演算処理におけるＤＲＡＭ７、メモリ・カード１３の態様を示した図である。 撮影処理及び演算処理におけるＤＲＡＭ７、メモリ・カード１３の態様を示した図である。

符号の説明

１ デジタルカメラ
２ ＣＣＤ
３ 絞り兼用シャッター
４ ＤＳＰ／ＣＰＵ
５ ＴＧ
６ ユニット回路
７ ＤＲＡＭ
８ フラッシュメモリ
９ ＲＯＭ
１０ 画像表示部
１１ キー入力部
１２ カードＩ／Ｆ
１３ メモリ・カード

Claims (4)

1. 被写体を撮影して画像データを出力する撮影手段と、
   前記撮影手段により撮影出力された画像データを記憶するものであり、１枚分の画像データよりも大きな容量で、且つ２枚分の画像データよりも小さな容量を有するバッファ手段と、
   前記バッファ手段に記憶されている画像データを記録する記録手段と、
   前記撮影手段にて撮影出力された１枚の画像データと他の１枚の画像データの一部分とを前記バッファ手段に記憶させるとともに、前記他の１枚の画像データの残りの部分を前記バッファ手段を介して前記記録手段に記録させる制御手段と、
   前記バッファ手段に記憶されている前記他の１枚の画像データの一部分と前記バッファ手段に記憶されている前記１枚の画像データの対応する一部分とに基づいて新たな一部分画像データを生成するとともに、前記記録手段に記録されている前記他の１枚の画像データの残り部分と前記バッファ手段に記憶されている前記１枚の画像データの対応する残り部分とに基づいて新たな残り部分画像データを生成し、当該生成した前記一部分画像データと前記残り部分画像データとから新たな１枚の画像データを生成する生成手段と、
   を備えたことを特徴とする撮影装置。
2. 前記制御手段は、前記撮影手段にて撮影出力された１枚目の画像データを前記バッファ手段に記憶させた後、前記撮影手段にて撮影出力される２枚目の画像データを前記バッファ手段に記憶できるように、前記１枚目の画像データの残りの部分を前記記録手段へ転送記録させ、この後で前記２枚目の画像データを前記バッファ手段に記憶させることを特徴とする請求項１記載の撮影装置。
3. 前記制御手段は、前記生成手段にて生成された一部分画像データを、当該生成の基となった２枚分の一部分の画像データに代えて前記バッファ手段に記憶させ、この後で前記記録手段に記録されている前記他の１枚の画像データの残りの部分を前記バッファ手段の空き領域へ転送記憶させ、この後で前記生成手段にて生成された残り部分画像データを、当該生成の基となった２枚分の残り部分の画像データに代えて前記バッファ手段に記憶させ、この後で前記生成手段にて生成された新たな１枚の画像データを前記記録手段に記録させることを特徴とする請求項１記載の撮影装置。
4. 被写体を撮影する撮影処理と、
   前記撮影処理により撮影された１枚の画像データと他の１枚の画像データの一部分とを、１枚分の画像データよりも大きな容量で、且つ２枚分の画像データよりも小さな容量を有するバッファ手段に記憶するとともに、前記他の１枚の画像データの残りの部分を前記バッファ手段を介して記録手段に記録する制御処理と、
   前記バッファ手段に記憶されている前記他の１枚の画像データの一部分と前記バッファ手段に記憶されている前記１枚の画像データの対応する一部分とに基づいて新たな一部分画像データを生成するとともに、前記記録手段に記録されている前記他の１枚の画像データの残り部分と前記バッファ手段に記憶されている前記１枚の画像データの対応する残り部分とに基づいて新たな残り部分画像データを生成し、当該生成した前記一部分画像データと前記残り部分画像データとから新たな１枚の画像データを生成する生成処理と、
   をコンピュータで実行させることを特徴とするプログラム。
   

Images