JP5338293B2

JP5338293B2 - 撮像装置、及び撮像方法、撮像制御プログラム

Info

Publication number: JP5338293B2
Application number: JP2008317170A
Authority: JP
Inventors: 博之星野; 英里奈市川; 淳村木; 博清水
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2008-12-12
Filing date: 2008-12-12
Publication date: 2013-11-13
Anticipated expiration: 2028-12-12
Also published as: JP2010141710A

Description

本発明は、デジタルカメラに用いて好適な撮像装置、及び撮像方法、撮像制御プログラムに関するものである。

従来、固体撮像素子から出力された画像データを圧縮し、圧縮後の画像データを静止画データとして各種の記録媒体へ記録する構成を有するデジタルカメラ等の撮像装置においては、撮像素子から出力された画像データをバッファメモリ内の第１のメモリ領域へ格納する撮影処理と、第１のメモリ領域に置かれた画像データに現像圧縮処理を施しバッファメモリ内の第２のメモリ領域へ格納する第２の処理とを並行して行うものが下記特許文献１等に記載されている。係る撮像装置においては、撮影処理と現像圧縮処理といった一連の処理を並行して実行することにより、これら２つの処理に要する合計の処理時間を短縮することができ、その結果、一定時間内における画像の撮影枚数を増加させることができる。
特開２００２−１９９３２８号公報

しかしながら、上記撮像装置においては、一般的な撮像装置と同様、複数の画像データに対して、バッファメモリを使用した各種処理（現像圧縮処理や記録媒体への書き込み処理）は並行して実行できない。そのため一定時間内における撮影枚数が多くなる場合であっても、固体撮像素子から順次出力された複数の画像データに対する上記各種処理は、バッファメモリに記憶した順に従い逐次行われる。係ることから短時間の間に複数回の撮影が連続して行われるとき実施可能な最小の撮影時間間隔、つまり次の撮影までの待ち時間は、個々の撮像装置が有するデータ処理能力や、撮像素子から出力された画像データを一時記憶するバッファメモリの容量に依存しており、連続撮影時における撮影間隔の短縮化を図るためには装置がコスト高となるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、装置のデータ処理能力や、撮像素子から出力された画像データを一時記憶するバッファメモリの容量に依存することなく、連続撮影時における撮影間隔の短縮化を図ることが可能な撮像装置、及びその撮像方法と、それらの実現に使用される撮像制御プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る撮像装置にあっては、撮像動作に際し、撮像素子から撮像信号を読み出し、読み出した撮像信号に基づく画像データを一時記憶手段に一時記憶する撮像装置において、撮像動作に先立ち、直前の一定時間内における撮像動作の回数の判断により直前の一定時間内における撮像動作の頻度を判断する判断手段と、前記一時記憶手段に記憶する前記画像データのデータ量を、前記判断手段により判断された頻度に反して減少させる撮像動作制御手段とを備えたことを特徴とする。

また、請求項２記載の発明に係る撮像装置にあっては、前記判断手段は、使用者の撮影指示に応答した撮像動作に先立ち、直前の一定時間内における撮像動作の回数の判断により直前の一定時間内における撮像動作の頻度を判断することを特徴とする。
また、請求項３記載の発明に係る撮像装置にあっては、前記撮像動作制御手段は、前記一時記憶手段に記憶する前記画像データのデータ量を、前記判断手段により判断された頻度に反比例して減少させることを特徴とする。

また、請求項４記載の発明に係る撮像装置にあっては、前記判断手段は、撮像動作に先立ち、直前の一定時間内における撮像動作の回数の判断により直前の一定時間内における撮像動作の頻度を複数段階に分けて判断し、前記撮像動作制御手段は、前記一時記憶手段に記憶する前記画像データのデータ量を、前記判断手段により判断された頻度に反比例して段階的に減少させることを特徴とする。

また、請求項５記載の発明に係る撮像装置にあっては、複数の読み出しモードに応じた異なる読み出し動作によって、前記撮像素子から各々の読み出しモードに応じた所定の画素数の画素情報からなる撮像信号を読み出す読み出し手段を備え、前記撮像動作制御手段は、前記読み出し手段が撮像信号を読み出す際の読み出しモードを前記判断手段により判断された頻度に応じて制御することによって、前記一時記憶手段に記憶する前記画像データのデータ量を、前記判断手段により判断された頻度に反比例して減少させることを特徴とする。

また、請求項６記載の発明に係る撮像装置にあっては、前記読み出し手段は、前記撮像素子から垂直方向及び／又は水平方向に所定の画素数分の信号電荷が加算された撮像信号を読み出す画素加算読み出しモードに対応し、前記撮像動作制御手段は、前記読み出し手段が撮像信号を読み出す際の読み出しモードを必要に応じて前記画素加算読み出しモードに制御することを特徴とする。

また、請求項７記載の発明に係る撮像装置にあっては、前記撮像動作制御手段は、前記読み出し手段が撮像信号を読み出す際の読み出しモードを、必要に応じ、信号電荷を加算する画素数が互いに異なる複数の画素加算読み出しモードのいずれかの画素加算読み出しモードに制御することを特徴とする。

また、請求項８記載の発明に係る撮像方法にあっては、撮像動作に際し、撮像素子から撮像信号を読み出し、読み出した撮像信号に基づく画像データを一時記憶手段に一時記憶する撮像方法において、撮像動作に先立ち、直前の一定時間内における撮像動作の回数の判断により直前の一定時間内における撮像動作の頻度を判断する工程と、前記一時記憶手段に記憶する前記画像データのデータ量を、判断した頻度に反して減少させる工程とを含むことを特徴とする。

また、請求項９記載の発明に係る撮像制御プログラムにあっては、撮像動作に際し、撮像素子から撮像信号を読み出し、読み出した撮像信号に基づく画像データを一時記憶手段に一時記憶する撮影装置が有するコンピュータを、撮像動作に先立ち、直前の一定時間内における撮像動作の回数の判断により直前の一定時間内における撮像動作の頻度を判断する判断手段と、前記一時記憶手段に記憶する前記画像データのデータ量を、前記判断手段により判断された頻度に反して減少させる撮像動作制御手段として機能させることを特徴とする。

本発明によれば、装置のデータ処理能力や、撮像素子から出力された画像データを一時記憶するバッファメモリの容量に依存することなく、連続撮影時における撮影間隔の短縮化を図ることが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。

（実施形態１）
図１は、本発明の撮像装置であるデジタルカメラの電気的構成の概略を示とともに、以下に述べる各実施形態に共通するブロック図である。なお、図示しないが本実施形態のデジタルカメラは図示しないが光学ファインダを備えている。

図示したように本実施形態のデジタルカメラは固体撮像素子としてＣＣＤ１を有している。ＣＣＤ１は、図示しない光学系によって被写体の光学像が結像される感光面にベイヤー配列の原色フィルターが設けられたものであり、ＣＰＵ２の命令に従いＴＧ（タイミング発生器）３が生成するタイミング信号に基づき垂直／水平ドライバ４により駆動され、被写体の光学像に応じたアナログの撮像信号をＡＦＥ（アナログ・フロント・エンド）回路５へ出力する。

前記ＣＣＤ１は、信号電荷を読み出す際の読み出しモードとして、全画素読み出しモードと、２画素加算読み出しモードと、４画素加算読み出しモードとの３種類に対応しており、前記ＴＧ３はＣＰＵ２の命令に従い所定のタイミング信号を生成することにより、前記垂直／水平ドライバ４によって上記３種類の読み出しモードのいずれかに対応する駆動モードでＣＣＤ１を駆動する。すなわちＴＧ３及び垂直／水平ドライバ４とが本発明の読み出し手段に相当する。ここで、全画素読み出しモードは、通常の駆動モードであって全画素の信号電荷を個別に読み出すモードである。また、２画素加算読み出しモードは、同色の画素の信号電荷を縦（垂直）方向に２画素ずつ加算して読み出すモードであり、４画素加算読み出しモードは、同色の画素の信号電荷を縦（垂直）方向と縦（垂直）方向に４画素ずつ加算して読み出すモードである。なお、２画素加算読み出しモードや、４画素加算読み出しモードでの信号電荷の具体的な加算方法については任意であり、公知の方法を適宜使用するものとする。

前記ＡＦＥ回路５は相関二重サンプリング回路やＡ／Ｄ変換器を含み、入力した撮像信号をデジタル信号に変換しカメラＩ／Ｆ６に出力する。カメラＩ／Ｆ６は入力したデジタル信号を決められたビット幅のベイヤーデータ（撮影画像データ）に変換し、変換後の撮影画像データは、ＤＲＡＭ等からなるバッファメモリ７に順に格納される。

バッファメモリ７は本発明の一時記憶手段であり、バッファメモリ７に格納された（一時記憶された）１フレーム分の撮影画像データは、ＹＵＶ変換部８において画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）にいったん変換され、さらに輝度（Ｙ）及び色差（ＵＶ）データからなるＹＵＶデータに変換された後、画像処理部９においてホワイトバランス調整や輪郭強調等の画質に関する種々の処理（現像処理）を施される。係る現像処理後のＹＵＶデータは表示制御部１０によって読み出されビデオ信号に変換され、係るビデオ信号がＬＣＤ（液晶表示器）１１に送出されることによって、撮影モードでの撮影準備（待機）期間には、撮像された画像がＬＣＤ１１にスルー画像として表示される。

また、撮影モードにおいて撮影指示に応じた撮像動作に伴いバッファメモリ７に格納されるとともに、現像処理を施されたＹＵＶデータは、拡大・縮小回路１２によって読み出されるとともに、必要に応じて拡大又は縮小され、予めユーザによって設定されている規定の画像サイズを確保された後、ＣＯＤＥＣ１３においてＪＰＥＧ方式によって圧縮符号化される。そして、圧縮後の画像データはＣＰＵ２によって所定の属性情報が付加され、最終的にはメモリカード制御部１４により静止画ファイルとしてメモリカード１５に記録される。なお、以下の説明では、撮影モードにおいて撮影指示に応じてバッファメモリ７に格納された撮影画像データ（ベイヤーデータ）に対する前述した現像処理、拡大又は縮小処理、及びメモリカード１５への記録までの一連の処理を記録処理という。

また、上述したようにメモリカード１５に記録された静止画ファイルは、再生モードにおいてユーザのキー操作に応じてメモリカード制御部１４により選択的に読み出され、ＣＰＵ２において符号化データ部分が取り出された後、前記ＣＯＤＥＣ１３へ送られるとともに、そこで復号されてバッファメモリ７にＹＵＶデータとして展開された後、表示制御部１０によりビデオ信号に変換され、ＬＣＤ１１において静止画像として表示される。

ＣＰＵ２は、プログラムメモリ１６に記憶されている所定のプログラムに従い上述した各部を制御するとともに、各種の操作キーからなるキー入力部１７におけるキー操作状態を逐次検出し、所定のキー操作に応じた制御を行う。なお、ＣＰＵ２には内部のクロック信号に基づき現在時刻をカウントするためのレジスタが含まれており、時計としても機能する。キー入力部１７には、ユーザが、デジタルカメラを撮影モードと再生モードとに切り替えるモード切替キーや、撮影指示に使用されるシャッタキー等の種々の操作キーにより構成される。

前記プログラムメモリ１６はフラッシュメモリ等の書き換え可能な不揮発性メモリであって、前述した所定のプログラム、すなわちＡＥ制御ＡＷＢ制御等を行わせるプログラム、及びそれらの制御に際して使用される各種データが格納されている。特に、プログラムメモリ１６には、撮影モードにおいてＣＰＵ２に後述する処理を実行させるとともに、ＣＰＵ２を本発明の判断手段、撮像動作制御手段として機能させるためのプログラムが格納されている。なお、プログラムメモリ１６には、前記各種データ以外にもユーザにより設定、又は変更された装置の各機能に関する他の設定データ、例えば記録画像の画素サイズ等が記憶されている。

次に、以上の構成からなるデジタルカメラにおいて動作モードとして撮影モードが設定されたときのＣＰＵ２の処理内容を図２のフローチャートに従い説明する。

撮影モードが設定されるとＣＰＵ２は、直ちにプログラムメモリ１６に記憶されているプログラムに従い動作を開始する。動作開始当初においては、前述した記録処理が行われていないため（ステップＳＡ１でＮＯ）、直ちにＣＣＤ１により所定のフレームレート（例えば３０ｆｐｓ）で駆動するとともに、周期的に取り込んだ画像すなわちバッファメモリ７に格納された画像データ（以後、撮影画像データという。）に基づく被写体画像をＣＬＤ１１にスルー画像として逐次表示させるライブビューを開始し撮影待機状態に入る（ステップＳＡ２）。

以後、撮影待機状態においてはユーザにおけるシャッタキーの操作による撮影指示の有無を逐次検出するとともに、いずれかの時点でユーザによりシャッタキーが操作され撮影指示を検出したら（ステップＳＡ３でＹＥＳ）、直ちにＡＥ処理を行い被写体の明るさに応じた撮影条件を決定するとともに（ステップ４）、その時点の現在時刻を取得し、それを撮影時刻として内部メモリに記憶する（ステップＳＡ５）。さらに、それ以前にステップＳＡ５において記憶しておいた１又は複数の撮影時刻（撮影時刻情報）に基づいて、今回の撮影を除いた過去（直近）２秒間の撮影回数を確認する（ステップＳＡ６）。

引き続き、ＣＰＵ２は、上記撮影回数に応じてＣＣＤ１の駆動モードを以下のように設定する。例えば撮影モードが設定されてから最初に撮影指示があったときのように上記撮影回数が０回であれば（ステップＳＡ７で「０回」）、全画素読み出しモードに設定し（ステップＳＡ８）、また上記撮影回数が１回であれば（ステップＳＡ７で「１回」）、２画素加算読み出しモードに設定し（ステップＳＡ９）、また撮影回数が２回以上であれば（ステップＳＡ８で「２回以上」）、４画素加算読み出しモードに設定する（ステップＳＡ１０）。

次に、ＣＰＵ２は、バッファメモリ７に、上記のように設定した駆動モードに応じた空き容量であって、ＣＣＤ１の出力データ（撮影画像データ）の書き込みと、現像及び圧縮処理に必要な空き容量があるか否かを確認する（ステップＳＡ１１）。すなわち駆動モードが全画素読み出しモードであったときには、空き容量としてＣＣＤ１の有効画素数に応じたサイズの撮影画像データの処理に必要な容量（以下、最大容量という。）があるか否かを確認し、駆動モードが２画素加算読み出しモードであれば上記最大容量の１／２に相当する空き容量があるか否かを確認し、駆動モードが４画素加算読み出しモードであれば上記最大容量の１／４に相当する空き容量があるか否かを確認する。

そして、バッファメモリ７に上記空き容量があれば（ステップＳＡ１１でＹＥＳ）、先に設定した駆動モードでＣＣＤ１を駆動して撮影画像データを取得（バッファメモリ７に格納）した後（ステップＳＡ１２）、取得した撮影画像データの記録処理（現像、圧縮、メモリカード１５ヘの記録）を開始し（ステップＳＡ１３）、ステップＳＡ１へ戻る。

また、バッファメモリ７に上記空き容量がなかったときには（ステップＳＡ１１でＮＯ）、直前のステップＳＡ５で記憶した今回の撮影時刻を削除し（ステップＳＡ１４）、さらに撮影不可を報知する処理（例えばＬＣＤ１１における所定のメッセージの表示）を行った後（ステップＳＡ１５）、ステップＳＡ１へ戻る。

以後、ステップＳＡ１３で開始した記録処理が完了するまでの間は（ステップＳＡ１でＹＥＳ）、ライブビューを中止したまま撮影待機状態となって撮影指示の検出を繰り返し、その間に撮影指示を検出したら（ステップＳＡ３でＹＥＳ）、ステップＳＡ４以降の処理を繰り返す。また、上記撮影待機状態にある間にステップＳＡ１３で開始した記録処理が完了したら（ステップＳＡ１でＮＯ）、その時点でライブビューを再開した後（ステップＳＡ２）、撮影指示の検出を繰り返し（ステップＳＡ３）、その後、撮影指示を検出したら（ステップＳＡ３でＹＥＳ）、ステップＳＡ４以降の処理を繰り返す。

以上のように撮影モードにおいては、ユーザからの撮影指示があったときには、今回の撮影を除いた過去（直近）２秒間の撮影回数に応じてＣＣＤ１の駆動モード（ＣＣＤ１から撮像信号を読み出す際の読み出しモード）を変化させることにより、バッファメモリ７に一時記憶する撮影画像データのデータ量を、直前の一定時間内における撮像動作の頻度に反比例して減少させる。

ここで、撮影モードでの動作中には、ＣＣＤ１からバッファメモリ７への撮影画像データの読み出し時間（データ書き込み時間）はＣＣＤ１の駆動モードに関係なく一定であるが、上記撮影画像データのデータ量が駆動モードに応じて変化するため、現像、圧縮、メモリカード１５ヘの記録に要する記録処理時間は以下のように変化する。

図３は、ＣＣＤ１からの撮影画像データの読み出し時間と、ＣＣＤ１の駆動モードに対応する撮影画像データ量、及び記録処理時間の例を示した図である。同図において撮影画像データ量は、ＣＣＤ１の駆動モードが「全画素読み出し」のときのデータ量（１Ｍ）を基準としたときの相対的なデータ量である（「Ｍ」は便宜上の単位）。図示したように撮影画像データの読み出し時間は０．３秒で各駆動モードに共通であり、記録処理時間は、通常時の駆動モードである「全画素読み出し」のとき２．０秒である場合には、「２画素読み出し」では撮影画像データ量が２分の１（０．５Ｍ）となるため１．０秒となり、かつ「４画素読み出し」では撮影画像データ量が４分の１（０．２５Ｍ）となるため０．５秒となる。

図４は、上記の処理時間等を前提とするとともに、前記バッファメモリ７に、撮影時に使用可能なメモリ領域、すなわちＣＣＤ１から読み出した撮影画像データの一時記憶、及びその撮影画像データの記録処理に使用可能なメモリ領域として最大で１．７５Ｍの撮影画像データを記憶した状態での記録処理が可能なメモリ領域が確保されている場合における、前述した撮影モードでの動作中におけるバッファメモリ７の撮影画像データのデータ量の変化と処理時間との関係、及びユーザがシャッタキーを押して連続撮影を行うとき実施可能な最小間隔での撮影タイミングを示した図である。なお、同図に丸付き数字（１〜６）で示した範囲は、連続撮影に際して各回（１回目から６回目）の撮影時に一時記憶される撮影画像データを模式的に示したものであって、縦軸方向がデータ量、横軸方向が記録処理時間、及び記録処理の待ち時間である。

この場合、例えば撮影モードが設定された直後のようにバッファメモリ７に撮影画像データが記録されていなければ、１回目の撮影から３回目の撮影までは、ＣＣＤ１からの撮影画像データの読み出し時間に相当する０．３秒間隔での連続撮影が可能である。なお、その間における駆動モードが、１回目の撮影時は「全画素読み出し」であり、続く２回目の撮影時には、１回目の撮影からの経過時間が０．３秒であってステップＳＡ６で確認される今回の撮影を除いた過去（直近）２秒間の撮影回数が１回となるため「２画素加算読み出し」に変化し、さらに３回目の撮影時には、１回目の撮影からの経過時間が０．６秒であってステップＳＡ６で確認される撮影回数が２回となるため「４画素加算読み出し」に変化することとなる。

一方、その間においては、撮影画像データの記録処理が並行して順次行われ、１回目の撮影タイミングから２．３秒後、すなわち１回目の撮像動作に伴う撮影画像データの読み出し時間（０．３秒）と、その撮影画像データに対する記録処理時間（２．０秒）とが経過した時点で１回目の撮影で記憶（取得）された撮影画像データの記録処理が終了し、その１秒後に２回目の撮影時の撮影画像データの記録処理が終了し、さらに０．５秒後に３回目の撮影時の撮影画像データの記録処理が終了する。

その後、１回目の撮影時の撮影画像データの記録処理が終了した時点であって、最初の撮影タイミングから２．３秒が経過した時点では、ステップＳＡ６で確認されるステップＳＡ６で確認される今回の撮影を除いた過去（直近）２秒間の撮影回数が１回となり、係る撮影回数に応じて設定される駆動モードに応じた空き容量、すなわちＣＣＤ１から２画素加算読み出しで読み出される撮影画像データの書き込みと、現像及び圧縮処理に必要な空き容量がバッファメモリ７に生じるため（ステップＳＡ１１でＹＥＳとなるため）、その時点で４回目の撮影が可能となる。

引き続き、４回目の撮影時の撮影画像データの読み込み時間が経過した０．３秒後には、ステップＳＡ６で確認される撮影回数が１回となり、かつそれに応じた空き容量がバッファメモリ７に残存しているため、５回目の撮影が可能となる。さらに、２回目の撮影時の撮影画像データの記録処理が終了した０．７秒後には、ステップＳＡ６で確認される撮影回数が２回となり、かつそれに応じた空き容量がバッファメモリ７に生じるため、６回目の撮影が可能となる。なお、５回目の撮影時における駆動モードは２画素加算読み出しとなり、６回目の撮影時における駆動モードは４画素加算読み出しとなる。

以上のように本実施形態においては、バッファメモリ７に、ＣＣＤ１から読み出した撮影画像データの一時記憶、及びその撮影画像データの記録処理に使用可能なメモリ領域として１．７５Ｍ分の撮影画像データに相当するメモリ領域を確保しておくだけで、上記のように極めて短い時間間隔での連続撮影を行うことができる。

すなわち、シャッタキーを１回押す毎に１回の撮影を行う撮影モード（単写撮影モード）においては、一定時間内における撮影枚数はユーザの意思に左右される。例えば、ユーザが風景等をじっくりと撮影しようとした場合には、一定時間内にシャッタキーを操作する回数（撮影回数）が少ないが、ユーザが決定的瞬間の画像を数多く撮影しようとした場合には、一定時間内にシャッタキーを操作する回数（撮影回数）が多くなる。これに対し、本実施形態においては、ユーザによりシャッタキーの操作がなされる都度、過去一定時間内の撮影回数を特定するようにした。したがって、ユーザの手動による連続撮影がなされる際に、ユーザの気分次第で一定時間内の撮影回数（シャッタ操作回数）が不規則に変化しても、その都度特定した一定時間内の撮影回数に応じて、バッファに新たに格納する画像データのデータ量を調整することができ、一定時間内の撮影回数が不規則に変化した場合に備えてバッファメモリ７に多くのメモリ領域を確保する必要がない。

よって、記録処理等の撮影画像データの処理能力を上げたり、ＣＣＤ１の出力データ（撮影画像データ）の書き込み、及び現像及び圧縮処理を行うためにバッファメモリ７に多大な領域を確保せずとも、より短い撮影間隔での連続撮影が可能である。その結果、コスト増を招くことなく、連続撮影時における撮影間隔の短縮化を図ることができる。

（実施形態２）
次に、本発明の第２の実施形態について説明する。本実施形態は、図１に示した構成において、前記ＣＣＤ１が複数の駆動モードに対応したものでなく駆動時には常に全画素の信号電荷を出力し、かつ前記カメラＩ／Ｆ６が前記ＡＦＥ回路５から入力したデジタル信号をＣＰＵ２の命令に応じて異なるビット幅のベイヤーデータ（撮影画像データ）に変換する、つまり本発明のビット幅調整手段として機能する構成である一方、プログラムメモリ１６に、撮影モードにおいてＣＰＵ２に後述する処理を実行させるためのプログラムが格納されたデジタルカメラに関するものである。

図５は、本実施形態において撮影モードが設定されたときのＣＰＵ２の処理内容を示したフローチャートである。図から明らかなようにステップＳＢ１〜ＳＢ７は、図２のステップＳＡ１〜ＳＡ７と同一であり、第１の実施形態においては、ＣＰＵ２が今回の撮影を除いた過去（直近）２秒間の撮影回数に応じてＣＣＤ１の駆動モードを設定したが、本実施形態においてＣＰＵ２は、上記撮影回数を確認した後（ステップＳＢ６）、その撮影回数に応じて撮影画像データのビット幅、つまりカメラＩ／Ｆ６が、ＣＣＤ１から出力された後、デジタル信号に変換された撮像信号をベイヤーデータに変換するときのビット幅（階調幅）を以下のように設定する（ステップＳＢ７〜ＳＢ１０）。

すなわち撮影画像データのビット幅を、上記撮影回数が０回であれば（ステップＳＢ７で「０回」）、１６ビットに設定し（ステップＳＢ８）、また上記撮影回数が１回であれば（ステップＳＢ７で「１回」）、８ビットに設定し（ステップＳＢ９）、また撮影回数が２回以上であれば（ステップＳＢ８で「２回以上」）、４ビットに設定する（ステップＳＢ１０）。

しかる後、ＣＰＵ２は、バッファメモリ７に、上記のように設定したビット幅に応じた空き容量であって、ＣＣＤ１の出力データ（撮影画像データ）の書き込みと、現像及び圧縮処理に必要な容量があるか否かを確認する（ステップＳＢ１１）。すなわちビット幅が１６ビットであったときには、空き容量として１６ビットの撮影画像データの処理に必要な容量（以下、最大容量という。）があるか否かを確認し、ビット幅が８ビットであれば上記最大容量の１／２に相当する空き容量があるか否かを確認し、ビット幅が４ビットであれば上記最大容量の１／４に相当する空き容量があるか否かを確認する。

そして、バッファメモリ７に上記空き容量があれば（ステップＳＢ１１でＹＥＳ）、ＣＣＤ１を駆動して設定したビット幅の撮影画像データを取得し（ステップＳＢ１２）、取得した撮影画像データの記録処理を開始し（ステップＳＢ１３）、ステップＳＢ１へ戻る。また、バッファメモリ７に上記空き容量がなかったときには（ステップＳＢ１１でＮＯ）、直前のステップＳＢ５で記憶した今回の撮影時刻を削除し（ステップＳＢ１４）、さらに撮影不可を報知する処理を行った後（ステップＳＢ１５）、ステップＳＢ１へ戻る。

以上のように本実施形態においては、ユーザからの撮影指示があったときには、今回の撮影を除いた過去（直近）２秒間の撮影回数に応じて撮影画像データのビット幅を変化させることにより、バッファメモリ７に一時記憶する撮影画像データのデータ量を、直前の一定時間内における撮像動作の頻度に反比例して減少させる。

ここで撮影モードでの動作中においては、ＣＣＤ１からバッファメモリ７への撮影画像データの読み出し時間（データ書き込み時間）は一定であるが、そのデータ量は前述したビット幅に応じて変化するため、現像、圧縮、メモリカード１５ヘの記録に要する記録処理時間は以下のように変化する。

図６は、ＣＣＤ１からの撮影画像データの読み出し時間と、撮影画像データのビット幅に対応する撮影画像データ量、及び記録処理時間の例を示した図である。同図において撮影画像データ量は、ビット幅が最大の「１６ビット」のときのデータ量（１Ｍ）を基準としたときの相対的なデータ量である（「Ｍ」は便宜上の単位）。また、図示したように撮影画像データの読み出し時間は０．３秒でビット幅に関係なく共通であり、記録処理時間は、撮影画像データ量が通常の「１６ビット」のとき２．０秒である場合には、「８ビット」では撮影画像データ量が２分の１（０．５Ｍ）となるため１．０秒となり、かつ「４ビット」では撮影画像データ量が４分の１（０．２５Ｍ）となるため０．５秒となる。

このため、上記の処理時間等を前提とするとともに、前記バッファメモリ７に、撮影時に使用可能なメモリ領域として最大で１．７５Ｍの撮影画像データを記憶した状態での記録処理が可能なメモリ領域が確保されている場合には、本実施形態においても、前述した撮影モードにおけるバッファメモリ７における撮影画像データ量と処理時間との関係、及びユーザがシャッタキーを押して連続撮影を行うとき実施可能な最小間隔での撮影タイミングは、第１の実施形態と同様となる（図４参照）。

すなわち、１回目の撮影から３回目の撮影までは０．３秒間隔での連続撮影が可能であり、その後、４回目の撮影は、１回目の撮影時の撮影画像データの記録処理が終了した直後、すなわち最初の撮影タイミングから２．３秒が経過した時点で可能となり、引き続き、０．３秒後には５回目の撮影が、さらに、０．７秒後には５回目の撮影が可能となる。なお、各撮影時における撮影画像データのビット幅は、１回目が１６ビット、２回目が８ビット、３回目が４ビットであり、４回目及び５回目の撮影時が８ビット、６回目の撮影時が４ビットである。

つまり本実施形態においてもバッファメモリ７に、ＣＣＤ１から読み出した撮影画像データの一時記憶、及びその撮影画像データの記録処理に使用可能なメモリ領域として１．７５Ｍ分の撮影画像データに相当するメモリ領域を確保しておくだけで、上記のように極めて短い時間間隔での連続撮影を行うことができる。

したがって、本実施形態においても、第１の実施形態と同様、記録処理等の撮影画像データの処理能力を上げたり、ＣＣＤ１の出力データ（撮影画像データ）の書き込み、及び現像及び圧縮処理を行うためにバッファメモリ７に多大な領域を確保せずとも、より短い撮影間隔での連続撮影が可能である。その結果、コスト増を招くことなく、連続撮影時における撮影間隔の短縮化を図ることができる。

（実施形態３）
次に、本発明の第３の実施形態について説明する。本実施形態は第１の実施形態と同様にＣＣＤ１が信号電荷を読み出す際の読み出しモードとして３種類の読み出しモード（全画素読み出しモード、２画素加算読み出しモード、４画素加算読み出しモード）に対応した構成であるとともに、プログラムメモリ１６に、撮影モードにおいてＣＰＵ２に後述する処理を実行させるためのプログラムが格納されたデジタルカメラに関するものである。

図７は、本実施形態において撮影モードが設定されたときのＣＰＵ２の処理内容を示したフローチャートである。図から明らかなようにステップＳＣ１〜ＳＣ４は図２のステップＳＡ１〜ＳＡ４と同一であるが、本実施形態においてＣＰＵ２は、撮影指示の検出に伴いＡＥ処理によって撮影条件を決定した後には（ステップＳＣ４）、その時点で、バッファメモリ７の空き容量を確認する（ステップＳＣ５）。

そして、バッファメモリ７の空き容量が、ＣＣＤ１を４画素読み出しモードで駆動したときの撮影画像データ量である０．２５Ｍ（「Ｍ」は前述した便宜上の単位）以上であるか否かを確認し、空き容量が０．２５Ｍ未満であったときには（ステップＳＣ６でＮＯ）、撮影不可を報知する処理（例えばＬＣＤ１１における所定のメッセージの表示）を行った後（ステップＳＣ７）、直ちにステップＳＣ１へ戻る。

一方、例えば撮影モードが設定されてから最初に撮影指示があったときのように、バッファメモリ７の空き容量Ａが０．２５Ｍ以上であったとき（ステップＳＣ６でＹＥＳ）、ＣＰＵ２は空き容量に応じてＣＣＤ１の駆動モードを以下のように設定する。すなわち空き容量Ａが１Ｍ以上であれば（ステップＳＣ８で「１Ｍ≦Ａ」）、全画素読み出しモードに設定し（ステップＳＣ９）、また空き容量Ａが０．５Ｍ以上で１Ｍ未満であれば（ステップＳＣ８で「０．５Ｍ≦Ａ＜１Ｍ」）、２画素加算読み出しモードに設定し（ステップＳＣ１０）、また空き容量Ａが０．２５Ｍ以上で０．５Ｍ未満であれば（ステップＳＣ８で「０．２５Ｍ≦Ａ＜０．５Ｍ」）、４画素加算読み出しモードに設定する（ステップＳＣ１１）。

そして、設定した駆動モードでＣＣＤ１を駆動して被写体の撮影画像データを取得した後（ステップＳＣ１２）、取得した撮影画像データの記録処理を開始し（ステップＳＣ１３）、ステップＳＣ１へ戻る。以後、ステップＳＣ１３で開始した記録処理が完了するまでの間は（ステップＳＣ１でＹＥＳ）、ライブビューを中止したまま撮影待機状態となって撮影指示の検出を繰り返し、その間に撮影指示を検出したら（ステップＳＣ３でＹＥＳ）、ステップＳＣ４以降の処理を繰り返す。また、上記撮影待機状態にある間にステップＳＣ１３で開始した記録処理が完了したら（ステップＳＣ１でＮＯ）、その時点でライブビューを再開した後（ステップＳＣ２）、撮影指示の検出を繰り返し（ステップＳＣ３）、その後、撮影指示を検出したら（ステップＳＣ３でＹＥＳ）、ステップＳＣ４以降の処理を繰り返す。

以上のように本実施形態においては、ユーザからの撮影指示があったときには、その時点におけるバッファメモリ７の空き容量から、直前の一定時間内における撮像動作の頻度を間接的に判断し、その頻度に応じてＣＣＤ１の駆動モード（ＣＣＤ１から撮像信号を読み出す際の読み出しモード）を変化させることにより、バッファメモリ７に一時記憶する撮影画像データのデータ量を、直前の一定時間内における撮像動作の頻度に反比例して減少させる。

また、撮影モードでの動作中においては、第１の実施形態と同様、ＣＣＤ１からバッファメモリ７への撮影画像データの読み出し時間（データ書き込み時間）はＣＣＤ１の駆動モードに関係なく一定であるが、上記撮影画像データ量が駆動モードに応じて変化するため、現像、圧縮、メモリカード１５ヘの記録に要する記録処理時間は変化する。また、ＣＣＤ１からの撮影画像データの読み出し時間と、ＣＣＤ１の駆動モードに対応する撮影画像データ量、及び記録処理時間は、例えば図３に示したようになる。

図８は、図４に対応する図であって、上記の処理時間等を前提とするとともに、前記バッファメモリ７に、撮影時に使用可能なメモリ領域、すなわちＣＣＤ１から読み出した撮影画像データの一時記憶、及びその撮影画像データの記録処理に使用可能なメモリ領域として最大で１．７５Ｍの撮影画像データを記憶した状態での記録処理が可能なメモリ領域が確保されている場合における、前述した撮影モードにおけるバッファメモリ７における撮影画像データ量と処理時間との関係、及びユーザがシャッタキーを押して連続撮影を行うとき実施可能な最小間隔での撮影タイミングを示した図である。

すなわち、第１の実施形態と同様に、例えば撮影モードが設定された直後のようにバッファメモリ７に撮影画像データが記録されていなければ、１回目の撮影から３回目の撮影までは、ＣＣＤ１からの撮影画像データの読み出し時間に相当する０．３秒間隔での連続撮影が可能である。なお、その間における駆動モードが、１回目の撮影時は「全画素読み出し」であり、続く２回目の撮影時には、ステップＳＣ５で確認されるバッファメモリ７の空き容量Ａが「０．５Ｍ≦Ａ＜１Ｍ」となるため「２画素加算読み出し」に変化し、さらに３回目の撮影時には、ステップＳＣ５で確認されるバッファメモリ７の空き容量Ａが「０．２５Ｍ≦Ａ＜０．５Ｍ」となるため「４画素加算読み出し」に変化することとなる。

その後、１回目の撮影時の撮影画像データの記録処理が終了した時点であって、最初の撮影タイミングから２．３秒が経過した時点では、ステップＳＣ５で確認されるバッファメモリ７の空き容量Ａが「１Ｍ≦Ａ」となるため（ステップＳＣ６でＹＥＳとなるため）、その時点で４回目の撮影が可能となる。但し、第１の実施形態とは異なり４回目の撮影時の駆動モードは全画素読み出しとなる。

これに伴い、５回目の撮影は、２回目の撮影時に取得した撮影画像データの記録処理が終了し、ステップＳＣ５で確認されるバッファメモリ７の空き容量Ａが「０．２５Ｍ≦Ａ」で、かつ「０．５Ｍ≦Ａ＜１Ｍ」となる時点であって、４回目の撮影タイミングから１秒が経過した時点（１回目の撮影タイミングから３．３秒後）において可能となる。さらに０．５秒後であって、３回目の撮影時に取得した撮影画像データの記録処理が終了する時点には、ステップＳＣ５で確認されるバッファメモリ７の空き容量Ａが「０．２５Ｍ≦Ａ」で、かつ「０．２５Ｍ≦Ａ＜０．５Ｍ」となるため、６回目の撮影が可能となる。なお、５回目の撮影時の駆動モードは２画素加算読み出しとなり、かつ６回目の撮影時の駆動モードは４画素加算読み出しとなる。

以上のように本実施形態においてもバッファメモリ７に、ＣＣＤ１から読み出した撮影画像データの一時記憶、及びその撮影画像データの記録処理に使用可能なメモリ領域として１．７５Ｍ分の撮影画像データに相当するメモリ領域を確保しておくだけで、上記のように極めて短い時間間隔での連続撮影を行うことができる。

すなわち、既に述べたようにシャッタキーを１回押す毎に１回の撮影を行う撮影モード（単写撮影モード）においては、一定時間内における撮影枚数はユーザの意思に左右され、ユーザが決定的瞬間の画像を数多く撮影しようとした場合には、一定時間内にシャッタキーを操作する回数（撮影回数）が多くなるが、本実施形態においては、ユーザのシャッタ操作がなされる都度、バッファメモリ７の空き容量を検知するようにした。したがって、ユーザの手動による連続撮影がなされる際に、ユーザの気分次第で一定時間内の撮影回数（シャッタ操作回数）が不規則に変化しても、その都度検知したバッファメモリ７の空き容量に応じて、バッファに新たに格納する画像データのデータ量を調整することができ、一定時間内の撮影回数が不規則に変化した場合に備えてバッファメモリ７に多くのメモリ領域を確保する必要がない。

よって、第１及び第２の実施形態と同様、記録処理等の画像データの処理能力を上げたり、ＣＣＤ１の出力データ（撮影画像データ）の書き込み、及び現像及び圧縮処理を行うためにバッファメモリ７に多大な領域を確保せずとも、より短い撮影間隔での連続撮影が可能である。その結果、コスト増を招くことなく、連続撮影時における撮影間隔の短縮化を図ることができる。

（実施形態４）
次に、本発明の第４の実施形態について説明する。本実施形態は、図１に示した構成において、第２の実施形態と同様に前記ＣＣＤ１が複数の駆動モードに対応したものでなく駆動時には常に全画素の信号電荷を出力し、また、前記カメラＩ／Ｆ６が、前記ＡＦＥ回路５から入力したデジタル信号をＣＰＵ２の命令に応じて異なるビット幅のベイヤーデータ（撮影画像データ）に変換する機能を有する一方、プログラムメモリ１６に、撮影モードにおいてＣＰＵ２に後述する処理を実行させるためのプログラムが格納されたデジタルカメラに関するものである。

図９は、本実施形態において撮影モードが設定されたときのＣＰＵ２の処理内容を示したフローチャートである。図から明らかなように、ステップＳＤ１〜ＳＤ８は、図７のステップＳＣ１〜ＳＣ８と同一であり、第３の実施形態においては、ＣＰＵ２がバッファメモリ７の空き容量Ａに応じてＣＣＤ１の駆動モードを設定したが、本実施形態においてＣＰＵ２は、上記空き容量Ａに応じて撮影画像データのビット幅、つまりカメラＩ／Ｆ６が、ＣＣＤ１から出力された後、デジタル信号に変換された撮像信号をベイヤーデータに変換するときのビット幅（階調幅）を以下のように設定する（ステップＳＤ９〜ＳＤ１１）。

すなわち撮影画像データのビット幅を、上記空き容量Ａが１Ｍ以上であれば（ステップＳＤ８で「１Ｍ≦Ａ」）、１６ビットに設定し（ステップＳＤ９）、また空き容量Ａが０．５Ｍ以上で１Ｍ未満であれば（ステップＳＤ８で「０．５Ｍ≦Ａ＜１Ｍ」）、８ビットに設定し（ステップＳＤ１０）、また空き容量Ａが０．２５Ｍ以上で０．５Ｍ未満であれば（ステップＳＤ８で「０．２５Ｍ≦Ａ＜０．５Ｍ」）、４ビットに設定する（ステップＳＤ１１）。

しかる後、ＣＰＵ２は、ＣＣＤ１を駆動して設定したビット幅の撮影画像データを取得し（ステップＳＤ１２）、取得した撮影画像データの記録処理を開始し（ステップＳＤ１３）、ステップＳＤ１へ戻る。以後、ステップＳＤ１３で開始した記録処理が完了するまでの間は（ステップＳＤ１でＹＥＳ）、ライブビューを中止したまま撮影待機状態となって撮影指示の検出を繰り返し、その間に撮影指示を検出したら（ステップＳＣＤでＹＥＳ）、ステップＳＤ４以降の処理を繰り返す。また、上記撮影待機状態にある間にステップＳＤ１３で開始した記録処理が完了したら（ステップＳＤ１でＮＯ）、その時点でライブビューを再開した後（ステップＳＤ２）、撮影指示の検出を繰り返し（ステップＳＤ３）、その後、撮影指示を検出したら（ステップＳＤ３でＹＥＳ）、ステップＳＤ４以降の処理を繰り返す。

以上のように本実施形態においては、ユーザからの撮影指示があったときには、その時点におけるバッファメモリ７の空き容量から、直前の一定時間内における撮像動作の頻度を間接的に判断し、その頻度に応じて撮影画像データのビット幅を変化させることにより、バッファメモリ７に一時記憶する撮影画像データのデータ量を、直前の一定時間内における撮像動作の頻度に反比例して減少させる。

また、撮影モードでの動作中においては、第２の実施形態と同様、ＣＣＤ１からバッファメモリ７への撮影画像データの読み出し時間（データ書き込み時間）は一定であるが、そのデータ量は前述したビット幅に応じて変化するため、現像、圧縮、メモリカード１５ヘの記録に要する記録処理時間は、例えば図６に示したようになる。

このため、上記の処理時間等を前提とするとともに、前記バッファメモリ７に、撮影時に使用可能なメモリ領域として最大で１．７５Ｍの画像データを記憶した状態での記録処理が可能なメモリ領域が確保されている場合には、本実施形態においても、前述した撮影モードにおけるバッファメモリ７における画像データ量と処理時間との関係、及びユーザがシャッタキーを押して連続撮影を行うとき実施可能な最小間隔での撮影タイミングは、第３の実施形態と同様となる（図８参照）。

すなわち、１回目の撮影から３回目の撮影までは０．３秒間隔での連続撮影が可能であり、その後、４回目の撮影は、１回目の撮影時の画像データの記録処理が終了した直後、すなわち最初の撮影タイミングから２．３秒が経過した時点で可能となる。引き続き、１．０秒後には５回目の撮影が、さらに、０．３秒後には６回目の撮影が可能となる。なお、各撮影時における撮影画像データのビット幅は、１回目の撮影時が１６ビット、２回目の撮影時が８ビット、３回目の撮影時が４ビットとなり、また４回目の撮影時が１６ビット、５回目の撮影時が８ビット、６回目の撮影時が４ビットとなる。

したがって、第１〜第３の実施形態と同様、記録処理等の画像データの処理能力を上げたり、ＣＣＤ１の出力データ（撮影画像データ）の書き込み、及び現像及び圧縮処理を行うためにバッファメモリ７に多大な領域を確保せずとも、より短い撮影間隔での連続撮影が可能である。その結果、コスト増を招くことなく、連続撮影時における撮影間隔の短縮化を図ることができる。

（他の実施形態）
ここで、上述した第１〜第４の実施形態においては、本発明を光学ファインダを備えたデジタルカメラに適用するとともに、撮影画像データ（ＣＣＤ１の出力データ）のバッファメモリ７への書き込み後、撮影画像データの記録処理（現像、圧縮、メモリカード１５ヘの記録）が終了するまでの間にライブビュー動作を停止するものについて説明したが、本発明は、光学ファインダを有していないデジタルカメラにも適用することができる。また、その場合には、例えば撮影画像データの記録処理中にも所定のフレームレートでＣＣＤ１を駆動して、新たな撮影画像データを逐次取得するとともに、それに基づくライブビュー動作を行わせるようにしてもよい。

また、本発明は、前述したような一般的なデジタルカメラに限らず、例えば静止画撮影機能を有するデジタルビデオカメラや、携帯電話端末に内蔵されたデジタルカメラ等の他の撮像装置にも適用することができる。

本発明に係るデジタルカメラの各実施形態に共通するブロック図である。第１の実施形態における撮影モードでの処理内容を示すフローチャートである。ＣＣＤの駆動モードに対応する画像データ量、及び画像データの処理時間の例を示した図である。バッファメモリにおける画像データ量と処理時間との関係、及び連続撮影時における最小間隔での撮影タイミングを示した図である。第２の実施形態における撮影モードでの処理内容を示すフローチャートである。画像データの階調ビット幅に対応する画像データ量、及び撮影画像データの処理時間の例を示した図である。第３の実施形態における撮影モードでの処理内容を示すフローチャートである。バッファメモリにおける画像データ量と処理時間との関係、及び連続撮影時における最小間隔での撮影タイミングを示した図である。第４の実施形態における撮影モードでの処理内容を示すフローチャートである。

符号の説明

１ＣＣＤ
２ＣＰＵ
３ＴＧ
４垂直／水平ドライバ
５ＡＦＥ回路
６カメラＩ／Ｆ
７バッファメモリ
８ＹＵＶ変換部
９画像処理部
１０表示制御部
１１ＬＣＤ
１２縮小回路
１３ＣＯＤＥＣ
１４メモリカード制御部
１５メモリカード
１６プログラムメモリ
１７キー入力部

Claims

撮像動作に際し、撮像素子から撮像信号を読み出し、読み出した撮像信号に基づく画像データを一時記憶手段に一時記憶する撮像装置において、
撮像動作に先立ち、直前の一定時間内における撮像動作の回数の判断により直前の一定時間内における撮像動作の頻度を判断する判断手段と、
前記一時記憶手段に記憶する前記画像データのデータ量を、前記判断手段により判断された頻度に反して減少させる撮像動作制御手段と
を備えたことを特徴とする撮像装置。
前記判断手段は、使用者の撮影指示に応答した撮像動作に先立ち、直前の一定時間内における撮像動作の回数の判断により直前の一定時間内における撮像動作の頻度を判断することを特徴とする請求項１記載の撮像装置。
前記撮像動作制御手段は、前記一時記憶手段に記憶する前記画像データのデータ量を、前記判断手段により判断された頻度に反比例して減少させることを特徴とする請求項１又は２記載の撮像装置。
前記判断手段は、撮像動作に先立ち、直前の一定時間内における撮像動作の回数の判断により直前の一定時間内における撮像動作の頻度を複数段階に分けて判断し、
前記撮像動作制御手段は、前記一時記憶手段に記憶する前記画像データのデータ量を、前記判断手段により判断された頻度に反比例して段階的に減少させることを特徴とする請求項３記載の撮像装置。
複数の読み出しモードに応じた異なる読み出し動作によって、前記撮像素子から各々の読み出しモードに応じた所定の画素数の画素情報からなる撮像信号を読み出す読み出し手段を備え、
前記撮像動作制御手段は、前記読み出し手段が撮像信号を読み出す際の読み出しモードを前記判断手段により判断された頻度に応じて制御することによって、前記一時記憶手段に記憶する前記画像データのデータ量を、前記判断手段により判断された頻度に反比例して減少させる
ことを特徴とする請求項１記載の撮像装置。
前記読み出し手段は、前記撮像素子から垂直方向及び／又は水平方向に所定の画素数分の信号電荷が加算された撮像信号を読み出す画素加算読み出しモードに対応し、
前記撮像動作制御手段は、前記読み出し手段が撮像信号を読み出す際の読み出しモードを必要に応じて前記画素加算読み出しモードに制御する
ことを特徴とする請求項５記載の撮像装置。
前記撮像動作制御手段は、前記読み出し手段が撮像信号を読み出す際の読み出しモードを、必要に応じ、信号電荷を加算する画素数が互いに異なる複数の画素加算読み出しモードのいずれかの画素加算読み出しモードに制御する
ことを特徴とする請求項６記載の撮像装置。
撮像動作に際し、撮像素子から撮像信号を読み出し、読み出した撮像信号に基づく画像データを一時記憶手段に一時記憶する撮像方法において、
撮像動作に先立ち、直前の一定時間内における撮像動作の回数の判断により直前の一定時間内における撮像動作の頻度を判断する工程と、
前記一時記憶手段に記憶する前記画像データのデータ量を、判断した頻度に反して減少させる工程と
を含むことを特徴とする撮像方法。
撮像動作に際し、撮像素子から撮像信号を読み出し、読み出した撮像信号に基づく画像データを一時記憶手段に一時記憶する撮影装置が有するコンピュータを、
撮像動作に先立ち、直前の一定時間内における撮像動作の回数の判断により直前の一定時間内における撮像動作の頻度を判断する判断手段と、
前記一時記憶手段に記憶する前記画像データのデータ量を、前記判断手段により判断された頻度に反して減少させる撮像動作制御手段と
して機能させることを特徴とする撮像制御プログラム。