WO2009104776A1

WO2009104776A1 - 撮像装置、撮像方法及びプログラム

Info

Publication number: WO2009104776A1
Application number: PCT/JP2009/053110
Authority: WO
Inventors: 細川知志
Original assignee: 日本電気株式会社
Priority date: 2008-02-20
Filing date: 2009-02-16
Publication date: 2009-08-27
Also published as: JP5234831B2; EP2249557A4; CN101953151A; CN101953151B; US20100289917A1; JPWO2009104776A1; EP2249557A1; EP2249557B1; US8373770B2

Abstract

撮像装置において、連写動作が不規則に停止する等、安定した連写動作が実現できないという課題を解決するために、撮像装置は、画像データを生成する撮像手段と、画像データを蓄積する第１のバッファと、撮像手段による撮影間隔を、第１のバッファの残量に対して一定もしくは単調に減少する連続関数にしたがって制御する制御手段とを備える。

Description

明細書

撮像装置、撮像方法及びプログラム技術分野 _

本発明は、撮像装置、撮像方法及びプログラムに関し、特に連写撮影機能を備えた撮像装置、およびそれによる撮像方法 >プログラムに関する。背景技術

連写撮影機能を備える撮像装置に関して、以下のような技術が知られている。すなわち、撮像装置は、撮像素子からの出力データを一旦バッファメモリへ取り a.み、そのデータに対して圧縮処理等を施した後、再度バッファメモリへ格納する。その後、撮像装置は、バッファメモリに格納されたデータを、取り外し可能な記録媒体等へ書き込む。このような技術力《、例えば特開 2002— 1 99328号公報、特開 2003— 8761 9号公報および特開平 03— 252282号公報等に開示される。

特開 2002— 1 9932,8号公報に記載の撮像装置は、撮影素子の出力データを第 1 のメモリ領域へ格納する第 1の処理機能と、第 1のメモリ領域に格納されたデータに対して圧縮処理を施したのち、第 2のメモリ領域に格納する第 2の処理機能を備える。また、この撮像装置は、第 2のメモリ領域に格納されたデータを格納する記録媒体を備える。この撮像装置は、第 2のメモリ領域の圧縮処理済の画像データに、新たに処理された画像データを上書きしないように、第 2のメモリ領域の空き領域が処理後のデータの容量より大きいかどうかを調べる。処理後のデータを格納できる空き領域がなければ、撮像装置は、第 2のメモリ領域へのデータの書き込みを止める。そして、撮像装置は、第 2のメモリ領域に格納されるデータを、記録媒体に書き込むことによって、第 2のメモリ領域の空き領域を確保する。そのあと、撮像装置は、第 2のメモリ領域書き込む画像データの圧縮処理を開始する。

また、特開 2003— 8761 9号公報には、未処理画像データ用の RAWバッファ領域と、処理済画像データ用の圧縮画像バッファ領域と記録媒体とを備えた撮像装置が開示される。この撮像装置ば、 RAWバッファのデータの圧縮処理の後、圧縮画像バッファが満杯になっているか否かを検査する。圧縮画像バッファが満杯になっている場合は、撮像装置は、バッファへの書き込みを中止する。そして、撮像装置は、既にバッファにたまっている圧縮画像データを、古い順に記録媒体へ書き込む。その後、撮像装置は、圧縮画像バッファの空きが発生したら、中断した圧縮等の処理を再開する。

また、特開 2007— 221 21 4号公報には、以下のようなカメラが開示される。すなわち、このカメラの制御回路が、撮影した未処理のままのデジタル画像をバッファメモリに書き込みを行うことと並行して、前記デジタル画像の処理を行う。そして、制御回路は、，処理が行われたデジタル画像をバッファメモリから読み出して、それを恒久的なメモリに書き込みを行う。制御回路は、あらかじめ、連写中のバッファメモリの未処理画像の処理時間を判定し、連写コマ速をどのくらいにすれば、一定間隔で連続撮影をできるのかを算出しておく。制御回路は、未処理画像を格納するバッファメモリが、画像データによりあふれそうになったことを検出したときに、上記算出した一定間隔の連写コマ速に切り替える。発明の開示

発明が解決しょうとする課題

上述したように特開 2002 1 99328号公報および特開 2003— 8761 9号公報に記載のカメラは、圧縮等の処理後のデータを格納するバッファメモリに空きがなくなるまで連写撮影を連続して行い、処理後のデータをバッファメモリに書き込む。そして、カメラは、空きがなくなると前記バッファメモリへの書き込みを中止する。そして、カメラは、前記バッファメモリから記録媒体へ、処理後のデータを書き込むことによって、前記バッファメモリに空き領域を造る。その後、カメラは撮影処理を再開する。

また、特開 2007— 221 21 4号公報に記載のカメラは、連写中のバ '；)ファメモリの未処理画像の処理時間に基づいて、あらかじめ低速度の寧写コマ速度を算出しておく。カメラは、バッファメ ΐリの空きが少なくなつた後、連写コマ速度を、不連続に、一定速度（時間的に等間隔）での連写撮影に切り替える。 ,

特開 2002— 1 99328号公報および特開 2003— 8761 9号公報記載のカメラ Iま、ノくッファメモリの空きがある間は連写速度が向上するものの、空きがなくなると連写撮影及び処理が直ちに停止する。したがって、記録媒体側の書き込み速度が、予測不可能であったリ、一定速度レ上であることが保証できなかったりする場合には、連写動作が不規則に停止する等、安定した連写動作が実現できないという問題点がある。また、特開 2007— 221 21 4号公報記載のカメラは、バッファメモリが画像データであふれそうになると、連写速度が急に低速度に切り替わる。したがって、やはり安定した連写動作が実現できないという問題点がある。

本発明の目的は、上記課題を解決する撮像装置、撮像方法及びプログラムを提供することにある。課題を解決するための手段 .. "

本発明の第 1の撮像装置は、画像データを生成する撮像手段と、画像データを蓄積する第 1のバッファと、撮像手段による撮影間隔を、第 1のバッファの残量に対して一定もしくは単調に減少する連続関数にしたがって制御する制御手段とを備える。

本発明の第 1の撮像方法は、画像データを生成し、画像データを第 1のバッファに蓄積し、画像データが生成される撮影間隔を、第 1のバッファの残量に対して一定もしくは単調に減少する連続関数にしたがって制御する。

本発明の第 1のプログラムは、画像データを生成する処 aと、画像データを第 1のバッファに蓄積する処 ¾と、画像データが生成される撮影間隔を、第 1のバッファの残量に対して一定もしくは単調に減少する連続関数にしたがって制御する処理とを、コンビュ一タに実行させる。発明効果

本発明によれば、撮像装置において、安定した連写動作を実現できる効果が得られる。図面の簡単な説明

図 1は、本発明の実施形態 1に係る撮像装置の構成を示すブロック図である。

図 2は、実施形態 1に係る撮像装置のバッファ量監視部の動作を示すグラフである。図 3A、 Bは、実施形態 1に係る撮像装置の基本的な動作を示すタイムチャートである。

図 4は、実施形態 1に係る撮像装置による連写の撮影間隔を説明するタイムチャートである。

図 5は、実施形態 1に係る撮像装置の動作を示すフローチャートである。

図 6は、本発明の実施形態 2に係る撮像装置の構成を示すブロック図である。図 7は、実施形態 2に係る撮像装置の蓄積バッファへのデータの書き込み動作を示すフローチャートである。ノ

図 8は、実施形態に係る撮像装置のファイルシステムへの書き込み動作を示すフロ —チヤ一卜である。

図 9は、本発明の実施形態 3に係る撮像装置 ( 構成を示すブロック図である。

符号の説明

1、 32 カメラモジュール

2、 22 中間バッファ

3、 23 画像エンコーダ

4、 24、 31 蓄積バッファ

5、 25 ファイルシステム

6 反復タイマ

7 バッファ量監視部

1 0、 20、 30 撮像装置

26 制御部（CPU )

27 操作部

28 ROM

32 制御手段発明を実施するための最良の形態

実施形態 1 .

図 1は本発明の実施形態 1に係る撮像装置 1 0の構成を示すブロック図である。図 1 に示すように、撮像装置 1 0は、カメラモジュール 1、中間バッファ（第 2のバッファ） 2、画像エンコーダ 3、蓄積バッファ（第 1のバッファ） 4、ファイルシステム 5、反復タイマ 6、およびバッファ量監視部 7を備える。各部の機能は次のとおりである。

カメラモジュール 1は、被写体を静止画として撮影し、画像データ（デジタルデータ）を生成する。連写撮影時には、カメラモジュール 1は、反復タイマ 6からの指示に応答して、個々の撮影動作を開始する。

中間バッファ 2は、カメラモジュール 1が生成した画像データを一時的に格納するメモリである。中間バッファ 2は、 2枚のメモリを有する。 2枚のメモリが、連続する画像データを交互に格納することが可能である。

画像エンコーダ 3は、中間バッファ 2に格納されている画像データを所定のコ一デックによりエンコードし、それを圧縮ストリームとして出力する。コ一デックの符号化方式としては、 J PEG (Joint Photographic Experts Group)などが使用可能である。画像ェンコ —ダ 3も、反復タイマ 6からの指示に応じて個々のエンコード動作を開始する。

蓄積バッファ 4は、画像ェンコ一ダ 3から出力された画像データの圧縮ストリームを格納する。蓄積バッファ 4は、先入れ先出し（FIFO : First In First Out)式によりデータを格納する。般に圧縮ストり一ムはサイズが一定ではないので、蓄積バッファ 4はリングバッファを実装すると好適である。 ' ファイルシステム 5は、蓄積バッファ 4に蓄積されている圧縮ストリームを、ファイルとして外部記憶装置等に順次格納する。ファイルシステム 5は、蓄積バッファ 4に圧縮ストリームが格納されることにより、動作を開始する。

反復タイマ 6は、設定されたタイムアウト値まクロック等のカウント動作を行うことにより、カメラモジュール 1及画像エンコーダ 3に対する所定の間隔（連写間隔）の処理タイミングを生成する。ここで、タイムアウト値とは、カメラモジュール 1が連写撮影を行う際の連写間隔を意味する。反復タイマ 6は、カメラモジュール 1及び画像エンコーダ 3に対し、タイムアウト値に対応する間隔で、各処理を開始する指示信号を出力する。バッファ量監視部 7は、蓄積バッファ 4に蓄積されている圧縮ストリームのデータ量を監視し、蓄積バッファ 4の残量、すなわち残バッファ量に応じて、反復タイマ 6が生成する信号の出力タイミングを一意に決定するタイムアウト値を生成する。バッファ量監視部 7は、前記残バッファ量に対するしきい値を予め保持する。バッファ量監視部 7は、蓄積バッファ 4のデ一タ量を常時監視し、蓄積バッファ 4の残バッファ量と前記しきい値とを比較する。比較の結果、前記残バッファ量が前記しきい値未満となると、バッファ量監視部 7は、前記残バッファ量の減少に応じて、 ϋ加させたタイムアウト値を反復タイマ 6に設定する。

また、バッファ量監視部 7は、画像 1枚分の圧縮ストリームのうち最大データ量、すわなち、最大符号量を予め保持する。バッファ量監視部 7は、蓄積バッファ 4の残バッファ量と前記最大符号量とを比較する。比較の結果、前記残バッファ量が前記最大符号量未満となると、バッファ量監視部 7は、反復タイマ 6のタイマ動作を停止させる（タイムアウト値∞)。そして、前記残バッファ量が前記最大符号量以上となると、バッファ量監視部 7は、前記最大符号量に対応するタイムアウト値を反復タイマ 6に供給して、反復タイマ 6のタイマ動作を再開するように制御する。なお、反復タイマ 6とバッファ量監視部 7は、カメラモジュール 1からファイルシステム 5までを制御する本発明の主要制御機能を実現するものである。

図 2は本実施形態のバッファ量監視部 7の制御動作を示すグラフである。図 2に示すグラフにおいて、横軸は各時刻における残バッファ量、縦軸は残バッファ量に応じて決められるタイムアウト値である。

タイムアウト値は、ユーザが設定した目標間隔、すなわち最高速度の連写間隔が下限値であり、あらかじめ決められた最大間隔、すなわち、最低速度の連写間隔が上限値である。残バッファ量の最大値は、バッファ容量である。

バッファ量監視部 7は、残バッファ量に対する任意のしきい値を予め保持する。このしきい値は、バッファ容量より小さく、 1枚の画像の最大符号量より大きい値である。図 2 に示すように、バッファ量萆視部 7は、残バッファ量がしきい値以上である期間は、タイムァゥ卜値を一定の値、すなわち、目標間隔に設定する。一方、バッファ量監視部 7は、残バッファ量がしきい値未満である期間は、タイムアウト値を目標間隔以上の値に設定する。つまり、タイムアウト値は、残バッファ量の減少に伴って連続的に増加するという連写間隔の制御特性を有する。

蓄積バッファ 4の残バッファ量がしきい値以上の場合は、ファイルシステム 5による書き込み速度は、蓄積バッファ 4へのデータの蓄積速度を十分に上回っていると考えられる。したがって、連写速度を落とす必要はないので、バッファ量監視部 7は、目標間隔を維持するようにタイムアウト値を設定す'る。

—^、蓄積バッファ 4の残バッファ量がしきい値未満になった場合、ファイルシステム 5の書き込み速度が、簧積バッファ 4へのデータの蓄積速度を下回っていると考えられる。したがって、バッファ量監視部 7は、残バッファ量が少なくなることに伴って、徐々に連写間隔を大きくする。

さらに、残バッファ量が 1枚の画像の最大符号量を下回った場合、更に 1枚の画像でも追加されればバッファが枯渴する恐れがある。したがって、この場合、バッファ量監視部 7は反復タイマ 6の動作を停止する。

次に、本実施形態の撮像装置の動作を説明する。

最初に、蓄積バッファ 4に充分な残量がある場合の撮像装置 1 0による連写動作について説明する。

図 3は本実施形態の基本的な動作を示すタイムチャートである。図 1、図 3A、図 B を参照して連写動作を説明する。

図 3Aには、反復タイマ 6による撮影指示の各タイミングと、カメラモジュール 1による撮影動作から、画像エンコーダ 3によるエンコード動作までが示されている。

反復タイマ 6は、一定の間隔、すなわち目標間隔でカメラモジュール 1に対して撮影開始を指示する信号を供給するとともに、画像エンコーダ 3に対して符号化処理の開始を指示する信号を供給する。これらの信号に応答して、カメラモジュール 1と画像ェンコーダ 3は、同時に動作を開始する。カメラモジュール 1は、静止画を撮影して、画像デ —タを生成する。そして、カメラモジュール 1は、中間バッファ 2が有する中間バッファ ( 1 )と中間バッファ（2)のうちの空いている一方に画像データを書き込む。画像ェンコーダ 3は、その時点で、他方の中間バッファ 2に格納済みの画像データを読み出して、それに対してエンコードする。両者は同時に動作を開始する。そのため、画像ェンコ一ダ 3は必ず 1回前に撮影された画像データに対してエンコードする。

このように、撮像装置 1 0は、撮影処理とエンコード処理とを平行して行う、すなわち両処理をパイプライン化する。この動作により、撮像装置 1 0は、通常は撮影に要する時間とエンコードに要する時間の合計値以下には短縮できない連写間隔を、どちらか長い方の処理時間まで短縮することができる。

画像エンコーダ 3は、エンコードした画像デタ、すなわち圧縮ストリームを蓄積バッファ 4に格納する。図 3 Bには、画像エンコーダ 3により生成された圧縮ストリームが、蓄積バッファ 4およびファイルシステム 5に書き込まれる動作が示されている。

画像エンコーダ 3は、生成した圧縮ストリームを蓄積バッファ 4に書き込む。ファイルシステム 5は、蓄積バッファ 4に 1枚でも圧縮スト¹ J—ムが格納されると、それをファイルとして外部記憶装置に格納する動作を開始する。ファイルシステム 5は、蓄積バッファ 4 に圧縮ストリームが残っている間は連続的に動作する。なお、撮影動作中、バッファ量監視部 7は、蓄積バッファ 4の残バッファ量を常時監視し、反復タイマ 6に対するタイムアウト値を制御している。

図 3 Bに示す蓄積バッファ 4に関するグラフにおいて、縦軸はデータ量を示す。実線 5 1は、蓄積バッファ 4のバッファ容量を示す。図 3 Bは、生成された圧縮ストリームが蓄積バッファ 4に格納されてから、ファイルシステム 5に書き込まれ、その後蓄積バッファ 4 から消去されるまでの動作を示す。

図 3 Bに示す例では、圧縮ストリームの蓄積量が蓄積バッファ 4のバッファ容量に充分収まっている。よって、バッファ量監視部 7は、タイムアウト値を変更することなく、 - 定の間隔、すなわち目標間隔をタイムアウト値として反復タイマ 6に供給している。カメラモジュール 1は、この目標間隔で連写動作を行う。 '

次に、本実施形態の図 2に示す制御特性が実現される動作を説明する。

図 4は連写速度が変化する場合の動作を示すタイムチャートである。図 4は、蓄積バッファ 4の残バッファ量とバッファ量監視部 7の動作について説明している。

図 4に示すグラフは、縦軸が残バッファ量を示し、横軸が時間を示す。図 4は、時刻 t 1以降に、蓄積バッファ 4へ圧縮ストリームが書き込まれる様子と、蓄積バッファ 4に格納された圧縮ストリームがファイルシステム 5へ書き込まれる様子を示す。また図 4は、蓄積バッファ 4から寄き込み済みの圧縮ストリームが消去される様子を示す残バッファ量の推移も示す。

但し、図 4は、蓄積バッファ 4に書き込まれた圧縮ストリームが書き込み直後から減少することを示す鋸状の残バッファ量の推移を示す。ファイルシステム 5への書き込み済みの圧縮ストリームに関する蓄積バッファ 4の消去動作が、 1画像分の書き込み終了毎に行われる場合 I 、残バッファ量の推移は図 3と同様に階段状となる。

また、図 4に示す例では、ファイルシステム 5の書き込み動作の速度が、一定でなく、時刻 t5の前後で変化することを想定している。すなわち、ファイルシステム 5の書き込み動作の速度は、期間 pでは低《期間 qでは高いことを想定している。書き込み動作の速度が、右下がりの傾斜（及び細線の傾斜）により表されている。

図 5は、この実施形態に係る撮像装置 1の動作を示すフローチャートである。図 4、図 5を参照して、撮像装置 1の動作について説明する。

蓄積バッファ 4の残バッファ量が最大の状態（時刻 tO— 11 )である時刻 tlに、ユーザ力《カメラモジュール 1の連写ポタンを押下した場合 Iこついて説明する（ステップ S "l 00)。この押下に応答して、バッファ量監視部 7は、残バッファ量がしきい値以上であるか否かを判定する（ステップ S 1 01 )。ここでは、残バッファ量はしきい値以上であるため、バッファ量監視部 7は、タイムアウト値に目標間隔である最高速度での連写間隔を設定し（ステップ S 1 02)、それを反復タイマ 6に供給する（ステップ S 1 03 )。

反復タイマ 6は、撮影を指示する信号とェンコ一ドを指示する信号を、目標間隔で、それぞれカメラモジュール 1と画像エンコーダ 3に供給する（ステップ S 1 04)。上記信号に応答して、カメラモジュール 1は、高速連写の動作を開始し、生成した画像データを中間バッファ 2に格納する（ステップ S 1 05)。また、画像エンコーダ 3は、上記信号に応答して、中間バッファ 2に格納されている画像データをエンコードし、それを圧縮ストリームとして出力する（ステップ S 1 05)。出力された圧縮ストリームは、蓄積バッファ 4に格納される（ステップ S 1 06)。ファイルシステム 5は、蓄積バッファ 4に庄縮ストリームが格納されると、それを読み出してそれを外部記憶装置に格納する（ステップ S 1 07)。ユーザから連写撮影の終了指示があれば（ステップ S 1 08)、カメラモジュール 1は連写動作を終了する（ステップ S 1 09)。連写撮影の終了指示がなければ、ステップ S 1 01に戻る。図 4に示す例では、時刻 t1から時刻 t2まで、カメラモジュール 1は、目標間隔、すなわち本来の速度で、連写を行う。 ' ここで、ファイルシステム 5による書き込み速度は低速である。よって、蓄積バッファ 4 の圧縮ストリームの蓄積量が次第に増加し、残バッファ量は次第に減少する。そして、残バッファ量は、時刻 t2においてしき Ϊ 値を下回る。

バッファ量監視部 7は、残バッファ量を前記しきい値に基づいて監視している。バッファ量監視部 7は、ステップ S 1 01で残バッファ量が前記しきい値を下回ったことを検出すると、続いて、残バッファ量が 1枚の画像の最大符号量を下回ったか否かを調べる (ステップ S 1 1 0)。ここでは、残バッファ量は 1枚の画像の最大符号量を下回っていない。また、上述したように、ここでは残バッファ量は減少している（ステップ S 1 1 1 )。したがって、バッファ量監視部 7は、その時点の残バッファ量等応じてタイムアウト値を增加させ（ステップ S 1 1 2)、増加させたタイムアウト値を反復タイマ 6に供給する（ステップ S 1 03 )。バッファ量監視部 7は、図 2に示す制御特性にしたがって増加量を決定してもよい。反復タイマ 6は、増加されたタイムアウト値にしたがって、カメラモジュール 1に撮影を指示する信号を供給するとともに、画像エンコーダ 3に符号化処理を指示する信号を供給する（ステップ S 1 04)。カメラモジュール 1は、上記信号に応答して、連写動作を継続する。

図 4に示す例では、時刻 t2以降も残バッファ量が減少している。この間、バッファ量監視部 7は、各時点での残バッファ量に応じて、順次タイムアウト値を増加し、増加したタィムアウト値を反復タイマ 6に供給する。反復タイマ 6は、増加されたタイムアウト値にしたがって、カメラモジュール 1に撮影を指示する信号を供給する。カメラモジュール 1は、上記信号に応答して、連写動作を継続する。連写速度は、連続的に低下することになる。矢印 Aで示す期間は、残バッファ量の減少に伴って、撮影間隔が大きくなつていることを示す。

続いて、時刻 t3では、圧縮ストリームの書き込みにより、蓄積バッファ 4の残バッファ量が、 1枚の画像の最大符号量を下回っている。バッファ量監視部 7は、 1枚の画像の最大符号量未満であることを検出して（ステップ S 1 1 0で Yes)、最大符号量未満の期間、すなわち時刻 t3から時刻 t4までの期間、反復タイマ 6を停止する（タイムアウト値 oo) (ステップ S 1 1 4)。時刻 t3以降、蓄積バッファ 4への圧縮ストリームの書き込みが停止されるとともに、蓄積バッファ 4から圧縮ストリームがファイルシステム 5に書き込まれる。したがって、徐々に蓄積バッファ 4の残バッファ量が増加する。そして、時刻 t4の B時点において、残バッファ量として最大符号量が確保される。バッファ量監視部 7は、時刻 t4において、残バッファ量として最大符号量が確保されたことを検出し（ステップ S 1 1 5)、反復タイマ 6の動作を再開させる（ステップ S 1 1 6)。ここで反復タイマ 6を再開させた時のタイムアウト値は、前記最大符号量に対応する値である

バッファ量監視部 7は、時刻 t4以降も残バッファ量を監視する。バッファ量監視部 7は、蓄積バッファ 4の残バッファ量が、しきい値未満である期間、すなわちタイムアウト値の連続的な制御を行う期間では、各時点の残バッファ量に応じたタイムアウト値を反復タイマ 6に設定する。このように、変更されるタイムアウト値にしたがって、カメラモジュール 1は、連写動作を継続する。

ここで、反復タイマ 6が再開した後の時刻以降、期間 qにおいて、ファイルシステム 5による書き込み動作が高速化している。このため、蓄稹バッファ 4の残バッファ量が次第に増加に転じている。

したがって、ステップ S 1 1 1において、バッファ量監視部 7は、蓄積バッファ 4の残バッファ量が増加していることを検出し、反復タイマ 6のタイムアウト値を減少させる（ステツプ S 1 1 3)。これにより、'矢印 Cで示す期間は、連写間隔は次第に減少し、連写速度は連続的に増加する。時刻 t1から時刻 t6までの期間は、残バッファ量がしきい値を下回つているため、カメラモジュール 1は、目標間隔よりも大きい間隔、すなわち最高速度よリも低い速度で連写を行うことになる。

そして、時刻 t6では残バッファ量がしきい値以上となる（ステップ S 1 01で Yes)。バッファ量監視部 7は、.反復タイマ 6のタイムアウト値を目標間隔に設定す,る。これにより、カメラモジュール 1は、本来の高速連写に復帰する。

上記動作により、バッファ量監視部 7はタイムアウト値を制御する。

以上のように、この実施形態 1による撮像装置 1 0では、バッファ量監視部 7が、蓄積バッファ 4の残バッファ量を常時監視し、残バッファ量に応じて撮影間隔を少なくとも一部連続的に制御する。すなわち、残バッファ量がしきい値以上の場合は、バッファ量監視部 7は、タイムアウト値を変更せず、最高速度、すなわち目標間隔に設定する。これ ' により、カメラモジュール 1は、目標間隔で連写を行うことが可能である。これは、蓄積バッファ 4からファイルシステム 5へのデータの書き込み速度が一定値以下であることが保証できないような低い場合や、書き込み速度を予測できない場合でも、実現できる。

また、残バッファ量がしきい値未満の場合は、バッファ量監視部 7は、残バッファ量の減少または増加に応じて、タイムアウト値を変更する。すなわち、バッファ量監視部 7は、最高速度から、最低速度の間で、連写間隔を連続的に増加させたり減少させたりする。これにより、カメラモジュール 1は、安定した連写動作を行うことができる。 .

更に、蓄積/ ッファ 4の残バッファ量が 1.枚の画像の最大符号量未満となった場合、ノくッファ量監視部 7は、この期間は、反復タイマ 6のタイマ ¾作を停止する。これにより、蓄積バッファ 4への圧縮ストリームの蓄積も停止するので、残バッファ量が増加する。したがって、残バッファ量が 1枚の画像の最大符号量以上となったとき以降、カラモジュ —ル 1は、引き続き連写動作を行うことができる。ノ

このように、蓄積バッファ 4の残バッファ量に応じて、連写間隔が高速から連続的に低速まで自然に変化し、撮像装置 1 0において、安定した連写動作を実現できる効果が得られる。

また、上記制御により、ファイルシステム 5の性能が低い場合、バッファ量監視部 7が連写間隔を大きくすることにより、ファイルシステム 5の書き込み速度と連写間隔とが釣リ合い、連写動作を安定させることができる。また、瞬間的にファイルシステム 5の書き込み速度が落ちた場合でも、バッファ量監視部 7が一時的に当該速度に応じて連写間隔を大きくし、書き込み速度が戻れば連写間隔を元に戻すことができるので、同様に連写動作を安定させることができる。

このように、ファイルシステムの動作が低速になると連写速度も低下させ、ファイルシステムの動作が高速になると連写速度も増加させるという制御が実現できる。これによリ、蓄積バッファ 4に ¾納されるデータを外部憶装置等に書き込むファイルシステム⁵ 及び.外部記憶装置等に要求される動作速度を低減することも可能になる。

ここで、近年の撮像装置に対する機能の増加に伴い、撮影可能な画像サイズは増加の一途を迪つている。これにより、撮影、エンコード、およびファイルへの書き込みの速度低下している。このため、撮像装置が、連写機能を実現するにあたっては、極めて大容量のメモリを搭載するか、各部を高速な部品により構成する必要があった。これらはいずれも高価であり、実現にあたっては大きな課題を持っていた。本実施形態に係る撮像装置 1 0は、一般的に処理時間が安定しないファイルシステム処理と画像処理とを分離し、これらの間に設けた蓄積バッフ T4の残量に応じて撮影間隔を可変に、連続的に制御する。この構成により、撮像装置に高価な部品を用いなくても、高速で安定した連写を実現することが可能である。、

また、撮像装置 1 0は、 2枚のメモリを含む中間バッファ 4を備え、連続する画像データを交互に格納する。そして、この中間バッファ 4を使用することにより、カメラモジュール 1と画像エンコーダ 3は、それぞれ撮像処理と符号化処理を同時に開始することができる。この構成により、通常は撮影に要する時間とエンコードに要する時間の合計値以下には短縮できない連写間隔を、撮像装置 1 0は、どちらか長い方の処理時間まで短縮することができる。したがって、撮像装置 1 0は、上述したバッファ量監視部 7によるタィムアウト値の制御に加えて、撮影処理とエンコード処理とをパイプライン化することによって、それぞれを構成する部品の性能が低い場合であっても、短い連写間隔で安定した'連写動作を行ゔことが可能である。

さらに、撮像装置 1 0は、蓄積バッファ 4が圧縮ストリームを格納する構成を有するので、非圧縮の画像データを蓄積バッファ 4が保持する場合に比べて、該バッファ用のメモリに低容量のメモリを用いることが可能となる。実施形態 2.

前述の実施形態 1で示した各機能ブロック及び処理動作は、前述のようなハードゥエァにより構成できるとともに、 CPU (Central Processing Unit :中央処理装置）、 ROM ( Read Only. Memory)及び RAM ( Random Access Memory)等を用いてコンピュータ制御により実現可能である。

図 6はかかるコンピュータ制御による撮像装置 20の構成を示すブロック図である。撮像装置 20は、カメラモジュール 21、中間バッファ 22、画像エンコーダ 23、蓄積バッファ 24、ファイルシステム 25、制御部（CPU ) 26、操作部 27および ROM 28を備える。力メラモジュール 21は、連写機能を有する。中間バッファ 22および蓄積バッファ 24は、それぞれ RAMの記憶領域等により構成可能である。画像エンコーダ 23は、画像データを圧縮する。ファイルシステム 25は、外部記憶装置等に対して圧縮ストリームフアイルとして書き込む。制御部（CPU ) 2 は、各部を制御する。操作部 27は、ユーザからの撮影操作等を^け付ける。 ROM28は、制御プログラム等を格納する。

本実施形態においては、制御部（CPU) 26 liROM28に格納された制御プログラムを読み込み、読み込んだプログラムに基づいて制御されるとともに、各部を制御する。制御部（CPU ) 26は、図 1に示す実施形態 1のバッファ量監視部 7及び反復タイマ 6に関連して説明した各制御機能及び図 2に示すグラフの制御特性を、前記プログラムにしたがって実現する。

次に本実施形態に係る撮像装置 20の処理手順を説明する。

図 7は蓄積バッファ 24に対するデータの書き込み動作を示すフローチャートである。制御部（CPU ) 26は、カメラモジュール 21の連写撮影による画像デ一タを一旦中間バッファ 22に書き込む制御を行う（ステップ S201 )。また、直前に書き込んだ画像デ一タを読み出して、それを画像エンコーダ 23により:；ンコードする制御を行う（ステップ S20 2)。そして、エンコードした画像データを、蓄積バッファ 24に書き込む制御を行う（ステップ S203 )。次に、制御部（CPU ) 26は、カメラモジュール 21による撮影動作が連写の継続か否かを判断する（ステップ S204)。連写継続であれば、制御部（CPU ) 26は、蓄積バッファ 24の画像データの蓄積による残バッファ量を監視し、残バッファ量に応じて図 2に示すグラフにしたがって、撮影間隔を少なくとも一部連続的に制御する（ステツプ S205)。

図 8はファイルシステム 25による書き込み動作を示すフローチャートである。制御部 (CPL 26は、蓄積バッファ 24に画像処理後の画像データが書き込まれると（ステップ

5301 )、ファイルシステム 25にその画像データを画像データ単位で書き込む（ステップ

5302)。次に、蓄積バッファ 24に画像データが有るか否かを判断し（ステップ S303)、画像データがあれば、ステップ S301 Iこ戻り、ファイルシステム 25への書き込みき繰り返す。この書き込み動作速度はファイルシステム 25やファイルシステム 25が扱う外部記憶装置の特性等に依存する。以上のように、本実施形態 2に係る撮像装置 20も、上記実施形態 1に係る撮像装置 1 0と同様に、中間バッファ 22、画像エンコーダ 23を含む画像処理部と、ファイルシステム 25とを分離する。そして、それらの間に設けた蓄積バッファ 24め残バッファ量に応じて、制御部（CPU ) 26が撮影間隔を連続的に制御する。この構成により、撮像装置 20は、ファイルシステム 25の書き込み速度が一定速度以上であることが保証できないような低い場合、または予測できない場合であっても、安定した連写動作を実現できる。、実施形態 3.

図 9は、本発明の実施形態 3に係る撮像装置 30の構成を示すブロック図である。図 9に示すように、実施形態 3に係る撮像装置 30は、蓄積バッファ 31と制御手段 32とを '備える。 . . .

蓄積バッファ 31は、データを蓄積する。制御手段 32は、蓄積バッファ 31の残量に応じて、撮影間隔を少なくとも一部連続的に制御する。

この構成により、撮像装置 30において、安定した連写動作を実現できる効果が得られる。

以上の各実施形態では、連写間隔を制御するために残バッファ量を監視するバッファとして、画像処理済みの画像データを格納するバッファを対象とした構成例を示したが、この構成に限らない。すなわち、本発明の他の実施形態として、圧縮処理前である未処理の画像データを蓄積するバッファを、監視対象とするように構成を変更してもよい。 '

この場合、図 1に示す実施形態の中間バッファ 2を、カメラモジュール 1から出力する所望数の画像データを蓄積可能な蓄積バッファとして用い、該蓄積バッゥァの残バッファ量をバッファ量監視部 7が監視するように構成を変更する。また、ファイルシステム 5 が、前記蓄積バッファの出力を画像ェンコ一ダ 3、および必要に応じて蓄積バッファ 4を介して、画像処理後の画像データを外部記憶装置等に書き込むように構成する。

この実施形態においても、連写間隔の制御動作を図 1に示す実施形態で説明した動作と同様の手順で行うことにより、図 2に示すグラフのように、連写間隔を連続的に変更する制御を行うことが可能である。

更に、以上の各実施形態の撮像装置は、図 2に示すグラフのように、残バッファ量の最大値、すなわちバファ容量と 1枚の画像の最大符号量との間の任意のしきい値を保持する。そして、バッファ量監視部 7が、残バッファ量がしきい値と 1枚の画像の最大符号量との間となる期間は、前記残バッファ量の減少にしたがって連続的に増加するように連写間隔を制御することを想定しているが、これに限らない。すなわち、図 2に示すグラフは一例であり、本発明の残バッファ量とタイムアウト値との関係は図 2と異な ό ていてもよい。例えば、図 2のグラフのしきい値を、バッファ容量に限りなく近づけてもよい。また、バッファ容量からしきい値までは固定値でもよいし、僅かに増加するようにしてもよい。また、残バッファ量の減少にしたがって連写間隔が連続的に増加する特性は、所望の曲線を描くように任意に設定されてもよい。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。産業上の利用可能性

本発明は、ファイルシステムの前段に設けたバッファのデータの残量に応じて撮影間隔を制御するものであり、書き込み津度が低い又は書き込み速度が予測できない等のファイルシステムへの適用が可能である。したがって、本発明は、カメラ、カメラ付き携帯端末等、カメラ機能を備える各種の電子機器に適用可能である。この出願は、 2008年 2月 20日に出願された日本出願特願 2008— 03941 6を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

請求の範囲

1 . 画像データを生成する撮像手段と、

前記画像データを蓄積する第 1のバッファと、

前記撮像手段による撮影間隔を、前記第 1のバッファの残量に対して一定もしくは単調に減少する連続関数にしたがって諷御する制御手段と

を備^ることを特徴とする撮像装置。

2. 前記制御手段は、前記残量がしきい値未満である期間は、前記撮影間隔を前記残量の減少にしたがって増加するように制御することを特徴とする請求の範囲第 1填記載の撮像装置。

3. 前記制御手段は、前記残量が 1画像の最大データ量未満である期間は、前記撮影間隔を «限,大とし、前記残量が 1画像の最大データ量以上となったときに、前記撮影間隔を前記最大データ量に対応する値に設定するよう^：制御することを特徴とする請求の範囲第 1項または第 2項に記載の撮像装置。

4. 前記撮像手段が生成し画傲データを順次交互に格納する複数の第 2のバッファと、

前記複数の第 2のバッファが格納した順に、前記画像データを読み出して、該画像デ —タを符号化し、該符号化した画像データを前記第 1のバッファに蓄積する画像処理手段と

を備えたことを特徴とする請求の範囲第 1項ないし第 3項のいずれか 1項記載の撮像装置。

_

5. 前記制御手段は、前記撮像手段による処理と、前記画像処理手段による処理とを同時に開始するように制御することを特徴とする請求の範囲第 4項記載の撮像装置。

6. 画像データを生成し、前記画像データを第 1のバッファに蓄積し、

前記画像データが生成される撮影間隔を、前記第 1のバッファの残量に対して一定もしくは単調に減少する連続関数にしたがって制御することを特徴とする撮像方法。

7. 前記残量がしきい値未満である期間は、前記撮影間隔を前記残量の減少にしたがって増加するように制御することを特徴とする請求の範囲第 6項記載の撮像方法。

8. 前記残量が 1画像の最大データ量未満である期間は、前記撮影間隔を無限大とし、前記残量が 1画像の最大データ量以上となったときに、前記撮影間隔を俞記最大データ量に対応する値に設定するように制御することを特徴とする請求の範囲第 6項または第 7項記載の撮像方法。

9. 前記生成した画像データを順次交互に複数の第 2のバッファに格納し、前記複数の第 2のバッファが格納した順に、前記画像データをみ出して、該画像デ —タを符号化し、該符号化した画像データを前記第 1のバッファに蓄積することを^徵とする請求の範囲第 6項ないし第 8項のいずれか 1項記載の撮像方法。

1 0. 前記画像データを生成することと、前記複数の第 2のバッファが格納した順に、前記画像データを読み出して、該画像データを符号化し、該符号化した画像データを前記第 1のバッファに蓄積することとを、同時に開始するように制御することを特徴とする請求の範困第 9項記載の撮像方法。

1 1 . 画像データを生成する処理と、

前記画像データを第 1のバッファに蓄積する処理と、

前記画像データが生成される撮影間隔を、前記第 1のバッファの残量に対して一定もしくは単調に減少する連続関数にしたがって制御する処理とを、コンピュータに実行させることを特徴とする撮像プログラム。

1 2. 前記残量がしきい値未満である期間は、前記撮影間隔を前記残量の減少にしたがって増加するように制御する処理を含むことを特徴とする請求の範囲第 1 1項記載の撮像プログラム。

1 3. 前記残量が 1画像の最大データ量未満である期間は、前記撮影間隔を無限大とし、前記残量が 1画像の最大データ量以上となったときに、前記撮影間隔を前記最

5 大データ量に対応する値に設定するように制御する処理を含むことを特徴とする請求の範囲第 1 1項または第 1 2項記載の撮像プログラム。

1 4. 前記生成した画像データを順次交互に複数の第 2のバッファに格納する処理

· ' . と、

10 前記複数の第 2のバッファが格納した順に、前記画像データを読み出して、該画像デ —タを符号化し、該符号化した画像デ，タを前記第 1のバッファに蓄積する処理とを含むことを特徴とする請求の範囲第 1 1項ないし第 1 3項のいずれか 1項記載の撮像プログラム。

15 1 5. 前記画像データを生成することと、前記複数の第 2のバッファが格納した順に；前記画像データを読み出して、該画像データを符号化し、該符号化した画像データを前記第 1のバッファに蓄積することとを、同時に開始するように制御する処理を含むことを特徴とする請求の範囲第 1 4項記載の撮像プログラム。