JP4923043B2 - 引き続く画像取得の間の遅延を減らすデジタルスチルカメラ・アーキテクチャ - Google Patents

Description

発明の分野
本発明は一般にデジタルカメラに関し、特に性能が向上したデジタルカメラのアーキテクチャに関する。

発明の背景
デジタルカメラは、人気の高い消費者向け電子装置である。従来のカメラとは異なり、デジタルカメラは「画像センサ」と呼ばれる電子素子を用いて画像を取得する。画像センサにより取得された画像は、次いでデジタル化されてメモリ素子にロードされる。デジタルカメラは、メモリ素子内のデジタル画像に対し、例えばノイズ抑制、色補正等の各種の画像処理技術を適用する。最後に、処理済み画像は特定の形式を有するファイルに圧縮されて、パソコン（ＰＣ）、携帯情報端末（ＰＤＡ）、またはプリンタ等の他の電子装置により後で利用すべく、不揮発性記憶装置に保存される。

デジタルカメラの性能評価に用いるパラメータとしてクリック間隔（ｃｌｉｃｋ−ｔｏ−ｃｌｉｃｋ ｔｉｍｅ）があり、これはデジタルカメラのシャッターボタンを２回連続的に押下する間に要する最短の時間の長さを測定することである。クリック間隔が短いほど、一定時間内により多くの画像をデジタルカメラが撮影することができる。クリック間隔が短いデジタルカメラは、ハイエンドのモーター付フィルム・カメラの動作と同様に、一連の画像を素早く連続的に撮影することができる。デジタルカメラのクリック間隔に影響を及ぼす要因には、自身のメモリのサイズおよびカメラの画像センサにより取得された画像に対し実行される各種の画像データ処理手順の速度が含まれる。本発明の目的の一つは、クリック間隔が短縮され、従って性能が向上したデジタルカメラを提供することである。

概要
一連の画像の第１の画像を、当該第１画像の部分をデジタルカメラの統一メモリ空間内へ第１の順番で（in a first order）ロードして、これらの部分を第２の順番で（in a second order）処理することにより、取得するデジタルカメラを提供する。第１画像の処理が完了する前に、デジタルカメラは第２画像の取得を開始して、統合メモリ空間内の第１の画像の少なくとも処理済み部分を第２画像の画像データで上書きする。

いくつかの実施形態において、デジタルカメラは第１画像および第２画像を画像センサで取得する。第１および第２画像の画像データは、デジタルカメラ内の統合メモリ空間に保存される。詳細には、デジタルカメラは、第１画像の処理を完了する前に第２画像の画像データを統合メモリ空間内に保存する。従って、第２画像の画像データは、統合メモリ空間内の第１画像の画像データを少なくとも部分的に上書きする。

いくつかの実施形態において、デジタルカメラは画像センサにより第１画像を取得し、画像センサから第１画像の画像データをデジタルカメラ内のメモリへ読み込んで、第１画像の画像データをデジタルカメラ出力形式に変換する。デジタルカメラは、第１画像を処理しながら同時に画像センサにより第２画像を取得し始める。その結果、クリック間隔は、画像センサから画像の画像データを読み出すための読み出し時間（readout time interval）と、画像の画像データをデジタルカメラ出力形式に変換するための変換時間との合計より短い。デジタルカメラが動作中のあらゆる時点において、メモリに保存されている画像データの最大量は、第１および第２画像に関連付けられた画像データの合計量より少ない。

図面の複数の図にわたって同一番号は対応部材を指す。

実施形態の説明
図１Ａは、先行技術のデジタルカメラの動作を示すデータフロー図である。ユーザーがシャッターボタンを押したならば、光がカメラのレンズを通って入射され、画像センサ１１０に到達する。露光時間が終了した後で、画像センサ１１０においてロー画像（raw image）が形成される。画像センサ１１０において形成されたロー画像は通常、ＲＧＢカラー領域にある。ＲＧＢカラー領域からＹＵＶカラー領域へ画像を変換するために後続の画像処理手順を必要とする。ＹＵＶ画像データに対して通常は画像処理および圧縮動作が実行されるため、画像センサからのＲＧＢ画像データをＹＵＶ画像データに変換する必要がある。

画像前処理ユニットＩＰＰ１２０が、画像センサ１１０からロー画像データを読み出して、当該データを画像データバッファ１４０に保存する。いくつかの実施形態において、統合メモリ空間（画像データバッファ１４０およびＪＰＥＧバッファ１５０を含む）を収容する（host）メモリ１３０は、単一の電子デバイス（例：３２ＭＢのＤＲＡＭ）である。他のいくつかの実施形態において、メモリ１３０は複数のデバイスを含んでいる。いずれの場合も、メモリ１３０を統合メモリ空間として扱うことができる。下記でより詳述するように、統合メモリ空間はまた、もう１つのＹＵＶバッファおよびＪＰＥＧバッファのように、デジタルカメラ内の他のバッファを実装するためにも用いる。

画像データバッファ１４０へのロー画像データの保存が完了した後で、画像処理ユニットＩＰＵ１６０はロー画像データを、保存および表示に適したデジタルカメラ出力形式に変換すべく一連の処理手順を適用し始める。処理手順は、デジタルカメラ設計に熟練した技術者には公知である。説明の便宜上、以下の説明はＲＧＢカラー領域からＹＵＶカラー領域に画像データを変換する手順に限定する。しかし、当業者には本発明がデジタルカメラに実装される特定の画像処理手順に依存していないことが理解されよう。デジタルカメラ出力形式は、デジタルカメラに関連付けられた不揮発性記憶装置に保存される処理済みデジタル画像のデータ形式である。デジタルカメラ出力形式の例としてＪＰＥＧ画像標準がある。しかし、権利保護されたものを含む他の画像形式を用いてもよい。不揮発性記憶装置は、フラッシュロム、光、磁気または他の任意の種類のデジタル記憶媒体の形式であってよい。不揮発性記憶装置は、メモリカードやスティック等、着脱可能なメモリ素子であっても、あるいはデジタルカメラと一体化された部分であってもよい。

理想的には、巨大な画像データバッファの方がデジタルカメラの性能を向上させることができる。しかし、画像データバッファ１４０のサイズには実際的な限度がある。例えば、画像センサにより生成された画像が８Ｍピクセルを有して各ピクセルが２バイトに対応している場合、画像データバッファのサイズは少なくとも１６ＭＢである。他の目的で予約されているメモリ空間を除外した後で、３２ＭＢＤＲＡＭに残った空きスペースは１個の画像しか収容することができない。より大きい容量、例えば６４ＭＢＤＲＡＭのメモリ素子を用いて、このスペース制約を解決することは技術的には可能であるにもかかわらず、そのようなメモリ素子のコストが高いことは経済的に魅力を欠いている。従って、ＹＵＶカラー領域内の処理済み画像は、ＲＧＢカラー領域のロー画像を上書きして画像データバッファに保存する必要がある。図１Ｂとの関連で以下に明らかになるように、この要件はクリック間隔の短縮にとって重大な障壁となる。

画像を処理した後で、デジタルカメラは通常、画像圧縮ユニットＣＭＰ（圧縮プロセッサとも呼ばれる）１７０を用いて処理済み画像を圧縮して、不揮発性記憶装置１９０、例えばフラッシュメモリカード上での自身のサイズを縮める。関連技術領域には多くのよく知られた画像圧縮技術がある。これらは、画質をほとんど損なうことなくデジタル画像のサイズを大幅に縮めることができる。以下の記述では説明の便宜上ＪＰＥＧスキームを用いる。しかし、本発明があらゆる特定のデータ圧縮技術に依存しないことは当業者に理解されよう。

画像を圧縮するには、ＣＭＰ１７０は画像データバッファ１４０から処理済み画像を取り出して、ＪＰＥＧ形式のファイルに変換し、当該ファイルをＪＰＥＧバッファ１５０に保存する。ある種のデジタルカメラは固定画像圧縮比（例えば４：１）を有し、ＪＰＥＧバッファのサイズは従って固定値である。しかし、他のデジタルカメラでは、異なる画像に対して異なる圧縮比をユーザーが選択できるようにする。この場合、ＪＰＥＧバッファのサイズはユーザーが選択した圧縮比に応じて動的な値である。

最後に、ＪＰＥＧ形式ファイルの形式で圧縮された画像は、インターフェース１８０を介して記憶装置１９０に保存される。後で、当該デジタルカメラをＰＣ等、他の装置に接続することができ、ＪＰＥＧ形式ファイルは次いで、デジタルカメラから当該装置へ転送することができる。

図１Ｂは、先行技術のデジタルカメラの動作を異なる視点から示す時系列図である。ＩＰＰ１２０は、画像センサ１１０から一連のロー画像を取得し、１個ずつ画像データバッファにロードする。２個の画像ＮおよびＮ＋１が必ずしも画像センサにより取得された連続する２個の画像とは限らない点に注意されたい。むしろ画像ＮおよびＮ＋１は、ＩＰＵ１６０により連続的に処理される２個の画像を表わす。画像ＮおよびＮ＋１を取得するための画像取得間隔（the image acquisition interval）の開始時刻間の時間間隔をデジタルカメラのクリック間隔として定義する。画像取得の時間間隔は更に、画像露光時間と、それに続く画像センサから画像データバッファへの画像読み出し時間に分割することができる。

図１Ｂに示すように、ＩＰＵ１６０は、画像データバッファへのロードが完了した後で画像Ｎの処理を始める。当該処理は、ロー画像をＲＧＢカラー領域からＹＵＶカラー領域に変換するものである。画像データバッファがロー画像および処理済み画像の両方を同時に収容するのに十分なスペースを有していないため、処理済み画像はロー画像が占有していたのと同じスペース（または同じスペースの少なくとも一部）を占有する。

次に、ＣＭＰ１７０は１セクションずつ新規の画像Ｎを圧縮して、各々の圧縮されたセクションをＪＰＥＧバッファに移動することを始める。画像圧縮の終了時点で、デジタルカメラ内に共存する画像Ｎの２個の複製、画像データバッファ内の圧縮されていない複製、およびＪＰＥＧバッファ内の圧縮された複製が存在している。画像圧縮が完了された後でのみ、ユーザーはデジタルカメラのシャッターボタンを押下して画像Ｎ＋１を再び取得することができる。換言すれば、先行技術のデジタルカメラのクリック間隔は概ね、画像Ｎを取得するための時間間隔、画像Ｎを処理するための時間間隔、および画像Ｎを圧縮するための時間間隔の合計である。

画像センサにより取得された画像は、数百または数千もの画像ラインを含み得る。説明の便宜上、図１Ｃに示すロー画像は、８本の画像ライン、すなわちライン０〜ライン７のみを含んでいる。８本の画像ラインは通常、２個のフィールドに分類され、例えば４本の偶数ラインが１個のフィールドに対応し、４本の奇数ラインが他のフィールドに対応している。プログレッシブな順番で（in a progressive order）ロー画像ラインを読み出すべく設計された画像センサもあるが、現在利用可能な多くの画像センサは、インターレースされた順番で（in a interlaced order）ロー画像ラインを読み出すべく設計されている。換言すれば、最初に偶数画像ライン０、２、４、６が読み出されて画像データバッファ内のライン０、２、４、６にロードされ、次いで奇数画像ライン１、３、５、７が読み出されて各々画像データバッファ内のライン１、３、５、７にロードされる。その結果、ロー画像の８本の画像ラインは、物理的にプログレッシブな順番で画像データバッファに保存される。本構成の利点は、後続の画像処理および画像圧縮手順の多くがプログレッシブな順番で進む必要があるため、これらが容易に行なえる点である。

画像センサは、理想的な記憶装置ではない。ロー画像が画像センサにより取得されたならば、情報の喪失を避けるべく所定時間内に画像データバッファにロードされなければならない。デジタルカメラが同時に２個以上のロー画像を収容できるマルチ画像データバッファを有する場合、ロー画像を処理してデジタルカメラ出力形式に変換する動作を、画像センサからロー画像を取得して読み出す動作から分離することができる。その際に、以前に取得された画像がまだ処理中である状態で、後で取得したロー画像を同じ画像データバッファ内に保存することができる。上述のように、このマルチ画像データバッファは、デジタルカメラのコストを大幅に上昇させる恐れがある。このため、多くのデジタルカメラは、１個のロー画像しか収容できない画像データバッファを含み、従ってクリック間隔は長いものとなる。

再び図１Ｃを参照すると、先行技術のデジタルカメラの限界の原因を、ロー画像の画像ラインが物理的にプログレッシブな順番で画像データバッファに保存されるのが最適であるとする不必要な仮定に帰することができる。実際には、画像ラインは時間的にインターレースされた順番で（in a temporally interlaced order）画像データバッファにロードされる一方、画像データバッファ内の画像ラインは物理的にプログレッシブな順番で処理される（すなわち、画像ラインはそれらが処理されるのと同じ順番で画像バッファ内において物理的に順番付けられている）。従って、画像Ｎ＋１の第１の奇数ライン（ライン１）を配置する前に、画像Ｎ＋１の全ての偶数ライン（０、２、４、６）は、画像データバッファ内でそれらの対応する位置に配置されていなければならない。しかし、画像バッファの画像Ｎの最後の偶数ラインが処理されてデジタルカメラ出力形式に変換され、従って上書き可能になるまで、画像バッファには画像Ｎ＋１の最後の偶数ラインのためのスペースが無い。その結果、ユーザーは、画像データバッファ内の画像Ｎの全ての画像ラインの処理および圧縮が完了するまで、次の画像の撮影することができない。後述するように、画像処理ユニットが、画像データバッファ内のロー画像の画像ラインが物理的にプログレッシブな順番で保存されていなくても、それらをプログレッシブな順番で見つけられる位置を認識していれば、対応するデジタルカメラのクリック間隔を短縮することができる。

図２Ａ〜２Ｄに、本発明の第１実施形態によるデジタルカメラの動作を示す。特に、図２Ａはデジタルカメラのデータフロー図を表す。図１Ａのデータフローと比べて大きく異なるのは、画像データバッファ１４０が２個の構成要素、すなわちローデータバッファ２４０およびＹＵＶバッファ２４２に分けられる点である。ＩＰＰ２２０は、画像センサ２１０からロー画像を読み込んで、１フィールドずつ、且つ１ラインずつインターレースされた順番でローデータバッファ２４０にロードする。図１Ａとは異なり、ロー画像ラインは物理的にプログレッシブな順番でローデータバッファに保存する必要がない。むしろ、各々のロー画像ラインは、所定のメモリ割当てアルゴリズムに従ってローデータバッファの特定の位置に保存される。同じアルゴリズムがＩＰＵ２６０にも実装されていて、ローデータバッファ２４０内でロー画像のラインを見つけられる位置を認識しており、それらを論理的にプログレッシブな順番で（すなわち、ローデータバッファ２４０内におけるそれらの画像ラインの物理的な保存位置とは無関係に、画像の第１画像ラインから最終ラインへ）処理する。

更に、処理済み画像がロー画像を上書きする先行技術のデジタルカメラとは異なり、第１実施形態によるデジタルカメラは、処理済み画像をＹＵＶバッファ２４２に保存する。ＣＭＰ２７０は、ＹＵＶバッファ２４２から処理済み画像を取り出してＪＰＥＧ形式ファイルに圧縮し、当該ファイルをＪＰＥＧバッファ２５０に保存する。ＹＵＶバッファがメモリ２３０内の動的オブジェクトである点に注意されたい。その位置およびサイズは、メモリ２３０の総容量、ローデータバッファ２４０のサイズ（画像センサの画像サイズの関数である）、およびＪＰＥＧバッファのサイズ（画像圧縮比の関数である）に依存する。説明の便宜上、以下の議論ではメモリ２３０が３２ＭＢＤＲＡＭ、画像センサの画像サイズは７Ｍピクセルであって、各ピクセルは２バイトに対応するものと仮定する。従ってロー画像のサイズは約１４ＭＢである。

図２Ｂは、画像圧縮比が２対１の場合での利用に適した３２ＭＢ ＤＲＡＭのメモリ空間割当て図の例である。特に、約４ＭＢのメモリ空間は、各種のソフトウェア２６０（画像処理手順を含むがこれに限定されない）を収容すべく予約されている。ローデータバッファ２４０は、１個のロー画像を収容するために、約１４ＭＢである。画像圧縮比が２：１であるため、ＪＰＥＧバッファは約７ＭＢである。いくつかの実施形態において、７ＭＢのメモリ空間は、性能を向上させるべく２個の部分ＡおよびＢに区切られていて、各部分が約３．５ＭＢのメモリ空間を有する。ＤＲＡＭ内の残りの空きスペースは約７ＭＢであり、これが２個のＹＵＶバッファＡおよびＢに区切られていて、各々が約３．５ＭＢのメモリ空間を有する。

図２Ｃは、本発明の第１実施形態に従い、デジタルカメラの異なる構成要素が並列に動作する様子を示す時系列図である。ＩＰＵ２６０は、ローデータバッファへのロードが完了した直後に画像Ｎの処理を開始する。同様に、圧縮画像は、ＪＰＥＧバッファへのロードが完了した直後にインターフェース２８０を介して記憶装置へ送られる。しかし、図２Ｃに示すデジタルカメラと、図１Ｂに示す先行技術のデジタルカメラとの間にはいくつかの顕著な違いがある。

画像センサが、ＣＭＰ２７０が画像Ｎの圧縮を完了するまで、画像Ｎ＋１を取得する前に待たなくてよい点を図２Ｃが示すことに注意すべきである。これに関して、画像センサはＩＰＵ２６０が画像Ｎの処理を完了するまで待つ必要すらない。二つの時間遅延２４３、２４５は、ＩＰＵ２６０が処理画像Ｎを開始した直後、更にはＣＭＰ２７０が画像Ｎの圧縮を開始する前に、画像センサが画像Ｎ＋１の取得を開始することを示す。時間遅延２４３は、画像センサからの画像読み出しの終了と次の画像取得動作の開始までの期間を表わす。時間遅延２４５は、画像センサからの画像読み出しの終了と画像圧縮の開始までの、画像処理時間の部分を表わす。その結果、図２Ｃに示すクリック間隔は、画像Ｎを取得するための時間間隔、画像Ｎを処理するための時間間隔、および画像Ｎを圧縮するための時間間隔の合計より大幅に短い。いくつかの実施形態において、時間遅延２４３は非常に短く、クリック間隔は画像Ｎを取得するための時間間隔の１０５％を超えない。他の実施形態において、クリック間隔は画像Ｎを取得するための時間間隔の１１０％を超えず、また別の実施形態においてクリック間隔は画像Ｎを取得するための時間間隔の１２０％を超えない。従って、図２Ｃに示すデジタルカメラは、図１Ｂに示すデジタルカメラよりも優れたクリック間隔性能を有する。

画像センサが画像Ｎ＋１を取得するのに、画像Ｎの処理の完了を待たなくてもよい理由が、少なくとも二つ存在する。第１に、本発明の第１実施形態によるデジタルカメラは、ロー画像の画像ラインがローデータバッファ内で物理的にプログレッシブな順番で保存されることを必要としない。図４Ａとの関連において以下に示すように、異なるロー画像の同一画像ラインが、ローデータバッファ内の異なるライン（すなわち記憶場所）に保存することができる。第２に、処理済み画像ラインはローデータバッファではなく、別個のＹＵＶバッファに保存される。ローデータバッファ内のＲＧＢ形式の画像ラインをＹＵＶバッファ内のＹＵＶ形式の画像ラインに変換した後で、ＩＰＵ２６０は直ちに、ＲＧＢ形式の画像ラインがＩＰＰ２２０のために占有していたスペースを、画像Ｎ＋１に関連付けられた次に入来する画像ラインをロードすべく開放する。その間、ＩＰＵ２６０はローデータバッファ内のロー画像ラインの空間的な順番（the spatial order）を認識し、従って、論理的にプログレッシブな順番で取りだして処理する仕方を認識する。図２Ｃはまた、ＩＰＵ２６０が画像Ｎの処理を終える前に、ＣＭＰ２７０が画像Ｎの圧縮を開始できることを示唆する。より具体的には、ＹＵＶバッファ内に十分な数の処理済み画像ラインがある場合はいつでも、ＣＭＰ２７０が画像の圧縮を開始する。

図２Ｄは、本発明の第１実施形態によるデジタルカメラのメモリ使用の概念図またはスナップショット２９５である。ロー画像Ｎの画像ラインがローデータバッファ２４０内である程度のメモリ空間を占有し、ロー画像Ｎ＋１の画像ラインがローデータバッファ２４０内の別のメモリ空間を占有する点に注意されたい。ロー画像Ｎおよびロー画像Ｎ＋１のいずれもローデータバッファ２４０の連続する領域を占有しない。ローデータバッファ２４０の容量が２個の完全な画像を収容するのに十分大きくないため、ローデータバッファ２４０内の画像ラインは、ロー画像ＮおよびＮ＋１の各々の部分を構成するに過ぎない。ロー画像Ｎと共存するために、ロー画像Ｎ＋１の画像ラインは、ロー画像Ｎの処理済み画像ラインのいくつかを上書きする必要がある。従って、デジタルカメラが動作中であるときはいつでも、ローデータバッファ２４０に保存されている画像データの最大量は、（Ａ）ロー画像Ｎに関連付けられた画像センサからの画像データの量、および（Ｂ）ロー画像Ｎ＋１に関連付けられた画像センサからの画像データの量、のうち大きい方の量を超えない。

ＩＰＰ２２０は、画像Ｎ＋１のインターレースされた画像ラインを、所定のメモリ割当てアルゴリズムに従いローデータバッファの特定の領域にロードする。同時に、ＩＰＵ２６０は、同じアルゴリズムに従い、画像Ｎの画像ラインをローデータバッファから論理的にプログレッシブな順番で取り出し、次いで画像Ｎの処理済み画像ラインをＹＵＶバッファＢへ転送し、ＣＭＰ２７０はＹＵＶバッファＡ内の画像Ｎの処理済み画像ラインを圧縮し、圧縮されたバージョンをＪＰＥＧバッファに保存する。

上述のように、メモリ内のＹＵＶバッファの存在およびその正確なサイズに影響を及ぼす複数の要因がある。画像センサの画像サイズが大き過ぎるか、または画像圧縮比が小さ過ぎる場合、デジタルカメラ内のメモリはＹＵＶバッファ用の空きスペースを全く有していない場合がある。上述のように、別個のＹＵＶバッファは、第１実施形態によるデジタルカメラの性能を向上させる理由の一つに過ぎない。メモリ内に別個のＹＵＶバッファが存在しない場合でも、デジタルカメラのクリック間隔を短縮させることは依然として可能である。図３Ａ〜３Ｃに、本発明の第２の実施形態によるそのようなデジタルカメラの動作を示す。

メモリ３３０が依然として３２ＭＢＤＲＡＭであり、画像センサの画像サイズは依然として７Ｍピクセルであって、従って各ピクセルが２バイトに対応する場合は１４ＭＢである、と仮定する。しかし、画像圧縮比は、今回は１：１である。換言すれば、処理済み画像は最適な解像度を実現するために本実施形態に従って圧縮されていない。従って、メモリ３３０内には別個のＹＵＶバッファ用の空きスペースが存在しない。ＹＵＶバッファおよびローデータバッファは、メモリ３３０内の１個のバッファ３４０に統合される（３Ａ図および３Ｂ）。その結果、本実施形態におけるＩＰＵ３６０は、ＩＰＵ３６０によりＹＵＶデータが生成されるにつれてロー画像データをＹＵＶデータで上書きすべく構成されている。

本構成は、一点において図１Ａに示す先行技術のデジタルカメラに類似している。すなわち、画像センサが次の画像を取得する前に、処理済み画像の少なくとも一部がＪＰＥＧバッファに移動されるのを待つ必要がある。この理由は、処理済み画像ラインが、対応するロー画像ラインが以前に占有していたバッファ３４０の同じ位置に保存されるためである。しかし、図３Ｃ、Ｄとの関連で以下に示すように、画像センサは次の画像を取得する前に、ＪＰＥＧバッファへの画像Ｎの移動が完了するのを待つ必要はない。その結果、本発明の第２の実施形態によるデジタルカメラのクリック間隔もまた、画像Ｎを取得するための時間間隔、画像Ｎを処理するための時間間隔、および画像Ｎを圧縮するための時間間隔の合計より短い。

図３Ｃに示すように、画像Ｎの処理開始時点および画像Ｎの圧縮開始時点からの時間遅延３４５が存在する。この時間遅延は、ＩＰＵ３６０が、ＣＭＰ３７０の動作を可能にすべく十分な数の処理済み画像ラインをバッファ３４０に蓄積するために必要である。同様に、画像Ｎの圧縮開始時点と画像Ｎ＋１の取得開始時点との間に時間遅延３４３が存在する。この時間遅延は、ＣＭＰ３７０が十分な数の画像ラインを圧縮してＪＰＥＧバッファに移動させて、その後に、画像センサが次の画像Ｎ＋１のロードを開始するのに十分な空間がバッファ３４０にあるようにするために必要である。次の画像のロードを開始する前に圧縮する必要がある画像ラインの数は、利用する圧縮方法により決定することができ（例えば、圧縮ユニットＣＭＰ３７０は一度に８、１６または３２ラインの画像データのストリップを圧縮することができる）、画像ラインのこの組は画像ラインのストリップまたはブロックと呼ばれる場合がある。いくつかの実施形態において、時間遅延３４３、３４５は極めて短く、クリック間隔は画像Ｎを取得するための時間間隔の１１５％を超えない。

図３Ｄに示すスナップショット３９５は、本発明の第２の実施形態によるデジタルカメラの動作をより直観的に示す。バッファ３４０内に３種類の画像データ、すなわちロー画像Ｎ＋１、ロー画像Ｎ、および処理済み画像Ｎ（図３Ｄに「ＹＵＶ Ｎ」で表わす）が存在する点に注意されたい。ＩＰＵ３６０がロー画像Ｎの画像ラインを連続的に処理してそれらをＲＧＢカラー領域からＹＵＶカラー領域に変換する間、ＣＭＰ３７０は画像Ｎの以前に処理されたＹＵＶ形式画像ラインをバッファ３４０からＪＰＥＧバッファへ転送する。同時に、ＩＰＰ３２０は、ロー画像Ｎ＋１の画像ラインをバッファ３４０へロードして、バッファ３４０から既に取り出された画像Ｎの以前に処理された画像ラインのいくつかを上書きする。３個の構成要素、ＩＰＰ３２０、ＩＰＵ３６０、およびＣＭＰ３７０が互いに並列に動作可能である理由は、それらが全て所定のメモリ割当てアルゴリズムに従っているため、バッファ３４０内で次の画像ラインを取り出すおよび／または上書きする位置を認識しているためである。デジタルカメラのこれらの異なる構成要素は、バッファ３４０の利用を最適化すべく所定の仕方で速度調整されている（paced）。

上述のように、ＩＰＰ３２０は画像センサからのロー画像を読み出してインターレースされた順番でローデータバッファにロードし、ＩＰＵ３６０はロー画像を処理して論理的にプログレッシブな順番でＲＧＢカラー領域からＹＵＶカラー領域に変換する。デジタルカメラのクリック間隔を短縮するために、ＩＰＰ３２０およびＩＰＵ３６０の両方とも同じ所定のメモリ割当てアルゴリズムに従っている必要があり、それによって、ＩＰＰ３２０がローデータバッファ内で次の空きバッファラインが存在する位置を認識し、ＩＰＵ３６０が処理すべき次のロー画像ラインを取りだす位置を認識する。

図４Ａおよび４Ｂに、本発明のいくつかの実施形態による画像前処理ユニットおよび画像処理ユニットの並列動作を可能にするメモリ割当てアルゴリズムの例を合わせて示す。この特定のケースにおいて、デジタルカメラ内にＹＵＶバッファとローデータバッファが別々にあると仮定する。更に、画像センサにより取得された各々のロー画像には説明の便宜上８本の画像ラインしか存在せず、当該８本の画像ラインは２つのフィールドすなわち偶数フィールド（ライン０、２、４、６を含む）と奇数フィールド（ライン１、３、５、７を含む）に分けられていると仮定する。

本アルゴリズムによれば、ローデータバッファ内の１個の特定のバッファラインが現在ロー画像Ｎの画像ラインＬ_Ｎを収容している前提で、ローデータバッファ内の同じバッファラインにより既に収容されているロー画像Ｎ−１の画像ラインＬ_Ｎ−１は次式で定義される。
Ｌ_Ｎ−１＝（Ｌ_Ｎ％ＦｉｅＩｄ＿Ｎｕｍ）＊Ｆｉｅｌｄ＿Ｓｉｚｅ＋Ｌ_Ｎ／Ｆｉｅｌｄ＿Ｎｕｍ
ここに、
・Ｆｉｅｌｄ＿Ｎｕｍはロー画像が有するフィールドの数に対応し、
・Ｆｉｅｌｄ＿Ｓｉｚｅは各フィールドが有するラインの数に対応し、
・％はモジュロ関数を表わし、
・除算は、商の分数部分を切り捨てる整数除算動作、例えば７／２＝３である。

図４Ａ、４Ｂに示す例において、パラメータＦｉｅｌｄ＿Ｎｕｍは２に等しく、パラメータＦｉｅｌｄ＿Ｓｉｚｅは４に等しい。従って、上式は次式に簡約される。
Ｌ_Ｎ−１＝（Ｌ_Ｎ％２）＊４＋Ｌ_Ｎ／２

当式に基づいて、ローデータバッファに正に到着しようとする新規のロー画像を時間的にインターレースされた順番でどこに保存すべきかをＩＰＰが決定し、ローデータバッファ内の既存のロー画像を論理的にプログレッシブな順番でどのように処理するかをＩＰＵが決定することが、直接的に行なえる。便宜上、下記の表１は、上式に基づくローデータバッファ内における４個の連続的に取得されたロー画像の物理的順番のリストを示す。ロー画像Ｎ＋３の物理的順番がロー画像Ｎの順番と同様である点に留意されたい。これは、ロー画像の物理的順番が周期的に変化することを意味し、本特定の例における周期は３である。また、画像ライン２が、先行画像内のライン１と同じバッファラインスロットを占有し、画像ライン４が、先行画像内のライン２と同じバッファラインスロットを占有し、以下同様である点に留意されたい。このパターンは、先行画像の画像ラインの論理的順番に従ってバッファラインに保存される現行画像の画像ラインの時系列として記述することができる。別の観点から、３個の連続的な画像のシーケンス内の各画像は、当該シーケンス内の他の画像とは異なる画像ライン対メモリ位置マッピング（image line to memory location mapping）を有する。更に、画像センサからローデータバッファへ別々に読み出される３個以上フィールドを有する画像センサを用いるデジタルカメラにおいて、Ｆがフィールドの数を表わすとして、一連の連続的な画像に対する異なる画像ライン対メモリ位置のマッピングの数はＦ＋１である。

図４Ａに、ＩＰＰ２２０およびＩＰＵ２６０（図２Ａ）が同時にローデータバッファと相互作用する様子を更に示す。例えば、ＩＰＰ２２０は最初にロー画像１の８個のインターレースされた画像ラインをローデータバッファにロードする。ローデータバッファ内の８本のラインの物理的順番を図４Ｂのブロック図Ａにより示す。次に、ＩＰＵ２６０はローデータバッファ内８本の画像ラインをプログレッシブな順番で処理を開始する。ＩＰＵ２６０が特定の数（例えば２本）の画像ラインを処理して、それらを別個のＹＵＶバッファへ転送した後で、ＩＰＰ２２０はロー画像２のローデータバッファへのロードを開始する。この時点で、ローデータバッファ内のバッファライン０および１だけが新規の画像ラインを受け入れる準備ができている。その結果、最初の２本の画像ライン０、２は各々ローデータバッファのバッファライン０、１に保存される。

ＩＰＵ２６０がロー画像１の最後の画像ライン７を処理し終わった後で、ＩＰＰ２６０は引き続きロー画像２の８本の画像ラインの残りをローデータバッファにロードする。ローデータバッファ内のロー画像２の８本のラインの完全な物理的順番を図４ＢのブロックＢに示す。２個の連続的に取得された画像が、たとえそれらが時間的にインターレースされた順番でローデータバッファに到着して、論理的にプログレッシブな順番でバッファから出る場合でも、ローデータバッファ内で異なる物理的順番を有する点に留意されたい。

上述のメモリ割当てアルゴリズムが説明の便宜上単純化されていることは当業者には明らかであろう。画像センサにより取得された現実の画像は数百あるいは数千本もの画像ラインを有する場合があり、各画像は３個以上のフィールドを含んでいる場合がある。しかし、本発明の原理、すなわち図４Ａ、４Ｂとの関連で上述したメモリ空間の利用の最適化は、本質的に変更することなく依然として適用可能である。

上述の実施形態に共通の特徴は、デジタルカメラのメモリが、各々特定の目的のために予約されている複数の領域に区分されている点である。第１実施形態において、第１の領域はロー画像データの保存のみを行なうローデータバッファであり、第２の領域は処理済み画像データの収容のみ行なうＹＵＶバッファであり、第３の領域は圧縮画像データのキャッシュのみを行なうＪＰＥＧバッファである。この区分化スキームに付随する短所は、１個の領域内のメモリ空間は、たとえ現在本来の目的に使用されていなくても、異なる目的に使用することができない点である。この問題は、先行技術のデジタルカメラに付随する問題にある程度類似している。従って、この問題を解決すればデジタルカメラの性能を更に向上させることができる。

図５に、本発明のそのような代替的な実施形態を示す。本実施形態によれば、デジタルカメラのメモリ（例えば３２ＭＢＤＲＡＭ）は物理メモリ空間として扱われる。物理メモリ空間内の固定領域（約４ＭＢ）は、ソフトウェアを保存するために予約されている。物理メモリ空間の残りは、多くの小さいメモリ・ページに分割されている。ページ・サイズの選択は基本的に、二つの競合する目的の間のトレードオフである。一方では、ページ・サイズが小さいほど、メモリ利用の効率が高い。他方、ページ・サイズが小さいほど管理が必要なメモリ・ページが多く、システム管理のオーバーヘッドが大きい。いくつかの実施形態において、ページ・サイズは８ＫＢである。各メモリ・ページには固定された目的はない。ある時点にはロー画像の一部を保存するために用いられ、別の時点には圧縮されたＪＰＥＧファイルの一部を保存するために用いることができる。

静的な物理メモリ空間に加え、巨大な動的仮想メモリ空間がある。仮想メモリ空間は通常、物理空間より大きい。例えば、仮想空間はローデータバッファ（約１６ＭＢ）、ＹＵＶバッファ（約１６ＭＢ）、ＪＰＥＧ読み出しバッファおよびＪＰＥＧ書き込みバッファ等を含んでいる。仮想空間内の各々の位置を物理メモリ空間内の特定のメモリ・ページにリンクまたはマッピングするページテーブルまたはビットマップ等がある。二つの空間同士のリンクが動的である点に注意されたい。デジタルカメラの動作中に、仮想空間内の異なる位置が、異なる時点における物理空間の同一メモリ・ページを占有することができる。デジタルカメラの１個以上プロセッサが仮想メモリ・アドレスを用いて自身の動作を実行し、これらのアドレスは次いでページテーブルにより物理アドレスに変換されて、プロセッサが使用するデータへのアクセスを可能にする。プロセッサが、現在物理メモリ位置にマッピングされていない仮想メモリ・アドレスを利用しようと試みたために、メモリエラーが生じた場合、メモリ・アロケータがメモリの利用可能な物理ページを識別し、これをメモリエラーを引き起こした仮想メモリ・アドレスに関連付けられた仮想記憶ページに割当てて、適宜ページテーブルを更新する。次いでプロセッサの動作が再開される。

本実施形態によれば、ＩＰＰ２０２、ＩＰＵ２０６、およびＣＭＰ２７０等のデジタルカメラの構成要素は、物理メモリ空間ではなく、仮想メモリ空間内のバッファと相互作用する。各バッファは次いで、物理メモリ空間内のメモリ・ページのユニークな組にマッピングされる。より具体的には、現在使用中であるページテーブルのエントリは、デジタルカメラのプロセッサ内の、トランスレーション・ルックアサイド・バッファ（the translation look-aside buffer）（ＴＬＢ）とも呼ばれるページテーブル・キャッシュに保存することができる。ＴＬＢ内のページテーブル・エントリは、仮想記憶ページを物理メモリ空間の物理ページ（物理ページフレームとも呼ばれる）にマッピングする。仮想記憶ページを物理メモリ・ページに動的に割当てた結果、２個の画像バッファが各々仮想メモリ空間の全く別々の領域を占有するにもかかわらず、これら２個の画像バッファに関連付けられたメモリ・ページを物理メモリ空間内に混在した状態で分散させることができる。

個々の構成要素、例えばＩＰＰ２２０またはＩＰＵ２６０が、ローデータバッファ内における画像の物理的順番を認識している必要がある上述の実施形態とは異なり、メモリ・アロケータだけが物理的順番を認識していればよい。例えば、構成要素が動作を終えて、仮想空間内の特定のバッファの一部を解放する都度、メモリ・アロケータが適宜ページテーブルを更新して、他の構成要素が物理メモリ空間内で新たに解放されたメモリ・ページを要求できるようにする。同様に、構成要素がある量の空きスペースを必要とする都度、メモリ・アロケータはページテーブルを走査して、物理空間内で所定の数の空きメモリ・ページを確保する。メモリ・アロケータが特定の動作のために十分な空きスペースを見つけられなかった場合、必要な量のメモリ空間が利用可能になるまで当該動作は待たされる。本実施形態によれば、デジタルカメラ内の各構成要素が最適なモードで動作する。全体として、デジタルカメラは先行技術のデジタルカメラより優れた性能を実現することができる。

先の記述は、特定の実施形態に関して説明目的で述べてきた。しかし、上記の説明は、網羅的でなく、また本発明を開示された態様そのものに限定することを目的としない。上の教示から多くの修正や変更を行なうことが可能である。

先行技術のデジタルカメラの動作を示すデータフロー図である。 先行技術のデジタルカメラの動作を示す時系列図である。 先行技術のデジタルカメラによる画像の取得に関連付けられた二つの異なる順番を示すブロック図である。 本発明の第１実施形態によるデジタルカメラのデータフロー図である。 本発明の第１実施形態によるデジタルカメラ内のメモリの空間割当て図である。 本発明の第１実施形態によるデジタルカメラの時系列図である。 本発明の第１実施形態によるデジタルカメラのメモリ使用のスナップショット図である。 本発明の第２実施形態によるデジタルカメラのデータフロー図である。 本発明の第２実施形態によるデジタルカメラ内のメモリの空間割当て図である。 本発明の第２実施形態によるデジタルカメラの時系列図である。 本発明の第２実施形態によるデジタルカメラのメモリ使用のスナップショット図である。 本発明のいくつかの実施形態によるデジタルカメラの異なる構成要素の並列動作を可能にする所定のメモリ割当てアルゴリズムの例を示す。 本発明のいくつかの実施形態によるデジタルカメラの異なる構成要素の並列動作を可能にする所定のメモリ割当てアルゴリズムの例を示す。 本発明の別の実施形態を示すブロック図である。

Claims (16)

1. デジタルカメラ内で一連の画像を処理する方法であって、
   前記一連の画像内の第１画像を処理するステップであって、前記第１画像を前記デジタルカメラの統合メモリ空間に第１の順番でロードして、第２の順番で処理するステップと、
   前記第１画像の処理が完了する前に、前記統合メモリ空間内の前記第１画像の少なくとも一部を、前記一連の画像内の第２画像の画像データで上書きするステップとを含み、
   前記第１および第２画像は前記デジタルカメラにより連続的に取得され、
   前記第１画像の画像ラインが、所定のメモリ割当てアルゴリズムに従い前記第２画像の画像ラインとは異なる仕方で前記統合メモリ空間に分散される、方法。
2. 前記第１および第２画像の各々が複数の画像ラインを含み、前記画像が時間的にインターレースされた順番で前記統合メモリ空間にロードされて、論理的にプログレッシブな順番で処理される、請求項１に記載の方法。
3. 前記第１画像の所定の数の画像ラインを論理的にプログレッシブな順番で処理するステップと、
   前記第２画像の画像ラインを時間的にインターレースされた順番で前記統合メモリ空間にロードして、前記第１画像の処理済み画像ラインを上書きするステップと、
   前記処理ステップおよびロードするステップを、前記第２画像の処理が完了するまで繰り返すステップとを更に含む、請求項１に記載の方法。
4. デジタルカメラ内で一連の画像を処理する方法であって、前記デジタルカメラが画像センサを有し、前記方法が、
   前記画像センサにより第１画像および第２画像を取得するステップであって、前記第１および第２画像は前記画像センサにより連続的に取得されるステップと、
   前記第１画像の画像データおよび前記第２画像の画像データを前記デジタルカメラ内の統合メモリ空間に保存するステップであって、前記第１画像の処理を完了する前に前記統合メモリ空間への前記第２画像の画像データの保存を開始して、前記統合メモリ空間内の前記第１画像の画像データを前記第２画像の画像データにより少なくとも部分的に上書きすることを含むステップと、
   前記画像の画像データに対し少なくとも所定の動作を実行することにより各々の画像を処理するステップであって、前記第２画像により上書きされる前に、前記第１画像の画像データに対し前記所定の動作を実行することを含むステップとを含み、
   各々の画像の画像データが、前記統合メモリ空間の利用スキームに関連付けられた非連続的な順番で前記統合メモリ空間に保存され、各々の画像の画像データが、前記所定の動作を実行する際に前記統合メモリ空間から異なる順番で取り出される、方法。
5. 前記利用スキームが、
   画像の画像ラインを時間的にインターレースされた順番で前記統合メモリ空間に保存するステップと、
   前記画像の画像ラインを論理的にプログレッシブな順番で処理するステップとを含み、
   前記統合メモリ空間内の画像ラインが所定のメモリ割当てアルゴリズムに従い配置されている、請求項４に記載の方法。
6. 前記第１画像の画像ラインが、前記所定のメモリ割当てアルゴリズムに従い、前記第２画像の画像ラインとは異なる仕方で前記統合メモリ空間内に分散されている、請求項５に記載の方法。
7. デジタルカメラ内で一連の画像を処理する方法であって、前記デジタルカメラが画像センサを有し、前記方法が、
   前記画像センサにより第１画像を取得するステップと、
   前記第１画像の画像データを前記デジタルカメラ内の統合メモリ空間に書き出すステップと、
   前記第１画像の画像データに対し第１の処理動作を実行して、前記統合メモリ空間に保存された処理済み画像データを生成するステップと、
   前記画像センサにより第２画像を取得するステップと、
   前記統合メモリ空間に保存された前記第１画像の処理済み画像データに対し第２の処理動作を実行するステップとを含み、
   前記第１および第２画像を取得する間の取得時間間隔が、前記画像の画像データを前記画像センサから前記統合メモリ空間に書き出すための時間と、前記画像の画像データに対し前記第１および第２の処理動作を実行するための第１および第２の処理時間との合計より短く、前記統合メモリ空間に保存されている前記画像センサからの画像データの最大量が、前記第１および第２画像に関連付けられている前記画像センサからの画像データの合計量より少なく、
   前記第１画像の画像ラインが、所定のメモリ割当てアルゴリズムに従い前記第２画像の画像ラインとは異なる仕方で前記統合メモリ空間に分散される、方法。
8. 前記第１および第２画像が、前記画像センサにより取得された一連の画像の連続的な画像である、請求項７に記載の方法。
9. 前記第１および第２の画像を取得する間の取得時間間隔が、前記読み出し時間と、前記第１画像の画像データに対し前記第１の処理動作を実行するための部分的な処理時間との合計より短い、請求項７に記載の方法。
10. 前記第１画像の処理済み画像データに対する前記第２の処理動作が完了する前に、前記統合メモリ空間内の前記第１画像の画像データの一部を前記第２画像の画像データにより上書きするステップを更に含む、請求項７に記載の方法。
11. 一連の画像を処理する方法であって、
    第１画像の画像データをデジタルカメラ内のメモリに保存するステップであって、前記第１画像のラインが第１の画像ライン対メモリ位置マッピングに従い前記メモリに保存されるステップと、
    前記メモリからの前記第１画像の画像データを処理して処理済み画像データを生成するステップと、
    前記第１画像の画像データの処理ステップに重なる時間中に、第２画像の画像データにより前記メモリ内の前記第１画像の画像データを上書きすることにより、前記第２画像の画像データを前記メモリに保存するステップであって、前記第１の画像ライン対メモリ位置マッピングとは異なる、第２の画像ライン対メモリ位置マッピングに従い前記第２画像のラインが前記メモリに保存されるステップとを含み、
    前記時間中に、前記第１および第２画像の画像ラインは前記メモリ内に混在するように分散される、方法。
12. 前記メモリに保存されている画像データの最大量が、前記第１および第２画像に関連付けられている画像データの合計量より少ない、請求項１１に記載の方法。
13. 統合メモリ空間を収容する１個以上のメモリ素子と、
    前記統合メモリ空間に第１画像の画像データを第１の順番でロードする画像前処理ユニットと、
    前記統合メモリ空間内の前記第１画像の画像データを第２の順番で処理する画像処理ユニットとを含み、
    前記画像処理ユニットが前記第１画像の画像データの処理を完了する前に、前記画像前処理ユニットが、前記統合メモリ空間に第２画像の画像データをロードして、前記第２画像の画像データにより前記統合メモリ空間内の前記第１画像の少なくとも一部を上書きすべく構成されており、
    前記画像前処理ユニットが、第１の画像ライン対メモリ位置マッピングに従い、前記第１画像のラインを前記統合メモリ空間にロードし、前記第１の画像ライン対メモリ位置マッピングとは異なる第２の画像ライン対メモリ位置マッピングに従い、前記第２画像のラインを前記統合メモリ空間にロードすべく構成されている、デジタル画像プロセッサ。
14. 前記第１画像の画像データを処理する間、前記統合メモリ空間に保存された画像データの最大量が、前記第１および第２画像に関連付けられた画像データの合計量より少ない、請求項１３に記載のデジタル画像プロセッサ。
15. ロー画像を取得する画像センサと、
    処理済み画像をデジタルカメラ出力形式で保存する不揮発性記憶装置と、
    前記ロー画像を処理して前記デジタルカメラ出力形式の処理済み画像に変換するデジタル画像プロセッサとを含み、
    前記画像プロセッサが更に、
    統合メモリ空間を収容する１個以上のメモリ素子と、
    第１のロー画像の画像データを第１の順番で前記統合メモリ空間にロードする画像前処理ユニットと、
    前記統合メモリ空間内で前記第１画像の画像データを第２の順番で処理する画像処理ユニットとを含み、
    前記画像処理ユニットが前記第１画像の画像データの処理を完了する前に、前記画像前処理ユニットが、前記統合メモリ空間に第２画像の画像データをロードし、前記第２画像の画像データにより前記統合メモリ空間内の前記第１画像の少なくとも一部を上書きすべく構成されており、
    前記画像前処理ユニットが、第１の画像ライン対メモリ位置マッピングに従い、前記第１画像のラインを前記統合メモリ空間にロードし、前記第１の画像ライン対メモリ位置マッピングとは異なる第２の画像ライン対メモリ位置マッピングに従い、前記第２画像のラインを前記統合メモリ空間にロードすべく構成されている、デジタルカメラ。
16. 前記デジタル画像プロセッサの動作中のあらゆる時点において、前記統合メモリ空間に保存された画像データの最大量が、前記第１および第２画像に関連付けられた画像データの合計量より少ない、請求項１５に記載のデジタルカメラ。

Images