JP5695080B2 - 圧縮画像データの解像度ベースのフォーマット - Google Patents

Description

関連出願の相互参照

本願は、２００９年１２月１６日に出願された米国仮特許出願第６１／２８７，１２０号に基づくもので、その優先権を主張するものであり、この特許の内容全体を参照によって本願明細書に引用したものとする。

本開示は、デジタルカメラで検出された画像データなどの静止画又は動画の画像データを圧縮、解凍、又は再構成するための装置に関する。

デジタルカメラは、センサの各々の画像素子（又は画素）が色に対応するように、カラー・フィルタ・アレイを有するセンサを使用して光学的画像を検出することができる。例えば、Ｂａｙｅｒパターンのカラー・フィルタ・アレイを有するセンサは、緑波長の光を検出するいくつかのセンサ素子と、青波長の光を検出するいくつかのセンサ素子と、赤波長の光を検出するいくつかのセンサ素子とを有する。フルカラー画像は、センサ素子から取得された測定値を使用して再構成される。

フルカラー画像を再構成するのに、さまざまなアルゴリズムを使用してもよい。一部のアルゴリズムは、速いが再構成画像に最適品質を提供するものではない。他のアルゴリズムは、より良い画質を提供するが遅い。静止画又は動画を撮るようなデジタルカメラは多量のデータを生成し、フル解像度の画像を再構成することにより、アクセスしなければならないデータ量が増加する。

デジタルカメラ上で動作する圧縮アルゴリズムは、画像成分を色ごとに圧縮することができる。その後、圧縮された測定値はカメラなしで解凍され、使用者はフルカラー画像を再構成するために適切なアルゴリズムを選択することができる。圧縮画像からの再構成画像の解像度は制限される場合がある。例えば、データインタフェースの帯域幅は、データがデータインタフェースを介して送信される速度を制限する場合がある。ディスプレイ媒体の解像度は、圧縮画像の解像度未満の場合がある。ディスプレイ媒体は、所望の速度でフル解像度の画像を表示するのに十分な処理能力を持たない場合がある。画像に含まれるいくつかのデータはビューアでは認識できない場合もあり、使用者が低い解像度がふさわしいと判断する場合もある。上述の理由及び他の理由から、圧縮アルゴリズムはさまざまな解像度の表示を提供することができる。

ハードウェアを含み、及び／又は画像データを処理する方法を実行するように構成されたシステムを示すブロック図の例である。

圧縮画像の準備及びフォーマットを示すフローチャートの例である。

画像の圧縮を示すフローチャートの例である。

画像の解凍を示すフローチャートの例である。

ウェーブレット変換に対応するサブバンドの例を示す図である。 ウェーブレット変換に対応するサブバンドの例を示す図である。 ウェーブレット変換に対応するサブバンドの例を示す図である。

画像を圧縮する際に使用されるデータ成分の例を示す図である。

固定レート圧縮アルゴリズムの空間割り当ての例を示す図である。 可変レート圧縮アルゴリズムの空間割り当ての例を示す図である。 固定レート圧縮アルゴリズムの空間割り当ての例を示す図である。 可変レートの圧縮アルゴリズムの空間割り当ての例を示す図である。

カラー・フィルタ・アレイの繰り返しパターンを示す図である。

圧縮画像の再構成を示すフローチャートの例である。

図１は、光データを検出して、検出されたデータを圧縮する例示的な装置のコンポーネントのブロック図である。光学モジュール１０は、画像センサ１２に画像の焦点を合わせる。センサとしては、例えば、ＣＣＤ（電荷結合素子）アレイ又はアクティブピクセルセンサのようなＣＭＯＳ（相補型金属酸化膜半導体）センサが挙げられる。このような画像センサは、一般に、シリコンチップ上に形成され、何百万もの画像センサセルを含むことができる。各々のセンサセルは、その表面に到達する光を検出して、検出された光の強度に相当する信号を出力する。その後、検出された光はデジタル化される。

これらの画像センサは光の波長の広帯域のスペクトルに対して感度を有するので、カラー・フィルタ・アレイは、該センサの感光面全体にわたって配置される。１つのタイプのカラー・フィルタ・アレイは、選択的にセンサ素子に赤色、青色、緑色の波長を通過させるＢａｙｅｒパターンのカラー・フィルタ・アレイである。しかし、該センサの出力はモザイク画像である。このモザイク画像は、赤色画素、緑色画素、及び青色画素のマトリクスを重ねることによって形成される。その後、モザイク画像は、通常、各々の画像素子がフルセットのカラー画像データを有するようにデモザイク処理される。カラー画像データは、ＲＧＢカラーフォーマット又は任意の他のカラーフォーマットで表すことができる。

本明細書で開示されている実施形態のいくつかは、Ｂａｙｅｒパターンフィルタを有する１つのセンサ装置を備えるビデオカメラに関して説明されている。しかし、本明細書の実施形態は、異なる画像フォーマットタイプで動作し、静止画及び／又は動画用に構成された、他のタイプの画像センサ（例えば、ＣＭＹ Ｂａｙｅｒ及び他のＢａｙｅｒでないパターン）、他の数の画像センサを有するカメラにも適用可能である。本明細書で開示されている実施形態は単なる例であって非限定的な実施形態であり、本明細書で開示されている本発明は開示されている例示的な実施形態に限定されないことは理解されたい。

図１に戻ると、光学ハードウェア１０は、画像センサ１２に入力画像の焦点を合わせるように構成された少なくとも１つのレンズを有するレンズ系の形にすることができる。光学ハードウェア１０は、任意で、可変ズーム、可変アパーチャ、及び可変フォーカス機能のマルチレンズ系の形にすることができる。更に、光学ハードウェア１０は、カメラ筐体に支持され、複数の異なるタイプのレンズ系を受承するように構成されたレンズソケットの形にすることができる。例えば、光学ハードウェア１０として、種々のサイズのレンズ系、例えば、５０〜１００ｍｍ（Ｆ２．８）ズームレンズ、１８〜５０ｍｍ（Ｆ２．８）ズームレンズ、３００ｍｍ（Ｆ２．８）レンズ、１５ｍｍ（Ｆ２．８）レンズ、２５ｍｍ（Ｆ１．９）レンズ、３５ｍｍ（Ｆ１．９）レンズ、５０ｍｍ（Ｆ１．９）レンズ、８５ｍｍ（Ｆ１．９）レンズ、及び／又は他のレンズ（これらに限定されない）を含むレンズ系を受承するように構成されたソケットが挙げられる。上述したように、光学ハードウェア１０は、取り付けられるレンズに関係なく、画像の焦点が画像センサ１２の感光面に合わせられるように構成される。

画像センサ１２は、任意のタイプの画像検知装置とすることができる。例えば、ＣＣＤ、ＣＭＯＳ、Ｆｏｖｅｏｎ（登録商標）センサなどの垂直積層ＣＭＯＳ素子、又はプリズムを使用してセンサ間で光を分割するマルチセンサアレイが挙げられるが、これらに限定されない。いくつかの実施形態では、画像センサ１２は、約１２００万個のフォトセルを有するＣＭＯＳ素子を含むことができる。しかし、他のサイズのセンサも使用することができる。いくつかの構成では、カメラ１０は、水平解像度「４．５ｋ」（例えば、４，５２０×２５４０）、「４ｋ」（例えば、４，０９６×２，５４０画素）、「２ｋ」（例えば、２０４８×１１５２画素）又は他の解像度でビデオを出力するように構成される。本明細書で使用される時、ｘｋのフォーマット（例えば、上述した２ｋ及び４ｋ）で表現される用語において、「ｘ」の数は、おおよその水平解像度を指す。例えば、「４ｋ」解像度は約４０００以上の水平画素に相当し、「２ｋ」は約２０００以上の水平画素に相当する。

また、カメラは、センサ１２の出力をダウンサンプルし、その後処理して、２Ｋ、１０８０ｐ、７２０ｐ、又は任意の他の解像度のビデオ出力を生成するように構成される。例えば、センサ１２からの画像データを「ウインドウ表示」にすることができ、それにより、出力画像のサイズを縮小して、読み出し速度を速くすることができる。しかし、他のサイズのセンサを使用することもできる。また、カメラは、センサ１２の出力をアップサンプルして、より高解像度のビデオ出力を生成するように構成することもできる。

センサ１２の出力は、メモリ１６に記憶されてもよい。欠陥のあるセンサ素子であるか、出力が不正確なセンサ素子である場合もある。例えば、センサ素子のセンサ値がセンサ素子に到達する光の量に関係なく一定のままである場合もあれば、センサ値がセンサ素子に到達する光の量を正確に反映していない場合もある。また、カラー・フィルタ・アレイに欠陥がある場合もある。これらの場合に、画像センサ補正モジュール１４は、欠陥のあるセンサ素子からのデータを他のセンサ素子からのデータと置き換えることができる。例えば、緑色フィルタに対応するセンサ素子に欠陥がある場合、欠陥のあるセンサ素子の出力を、欠陥のある素子の近くの緑色センサ素子の平均値と置き換えることができる。また、センサから取得されたデータの列のゲインに変動がある場合もある。画像センサ補正モジュール１４は、これらの変動を補償するために検出値を調節することができる。画像センサ補正モジュール１４は、例えば、メモリ１６に記憶されているデータ上で動作してもよいし、画像センサ１２から受信した時にデータ上で動作してもよい。

図１を参照すると、画像データは、圧縮準備モジュール１８で圧縮の準備が行われる。いくつかの実施形態では、圧縮準備モジュール１８は、センサデータを色ごとに分離するように構成される。例えば、Ｂａｙｅｒカラー・フィルタ・アレイでは、画像データは、赤色画像データ、青色画像データ、及び緑色画像データに分離される。

いくつかのカラー・フィルタ・アレイのパターンでは、各々の色に関連付けられるセンサ素子の数はさまざまである。例えば、Ｂａｙｅｒカラー・フィルタ・アレイは、赤色素子及び青色素子の２倍の数の緑色素子を有する。色ごとに分割する上に、色の画像データは、更に小さいグループに分割される。Ｂａｙｅｒカラー・フィルタ・アレイを使用したいくつかの実施形態では、画像データは、圧縮の準備の段階で、赤色画像データ、青色画像データ、第１の緑色画像データ、及び第２の緑色画像データに分離される場合もある。いくつかの実施形態では、カラー画像データが圧縮の前に別の色空間に変換される場合もある。例えば、ＲＧＢ色空間におけるカラー画像データは、ＹＵＶ色空間、ＹＣｂＣｒ色空間、又はカスタム色空間のような多くの異なる色空間の１つに変換される場合がある。

いくつかの圧縮アルゴリズム又はチップは、ガンマ符号化データ用に最適化される。従って、圧縮の前にガンマ関数又は指数対数曲線が施されてもよい。それぞれの画像素子に対して複雑な計算をするのを避けるために、ガンマ関数をルックアップテーブル内で符号化することができる。いくつかの実施形態では、圧縮される１つ又は複数のチャネル、例えば、緑色データチャネル又はＹデータチャネルのようなチャネルに対して任意のルックアップテーブルが使用される。他の実施形態では、圧縮されるチャネルの全てに対してルックアップテーブルが使用される。異なるチャネルに対して同じルックアップテーブルが使用されてもよいし、各々のチャネルが固有のルックアップテーブルを有してもよい。

いくつかの実施形態では、プリエンファシス曲線は、ｙ＝ｘ^ａ＋ｂと同様の関係を使用する。ここで、例えば、ａ＝０．５ということもあり得るし、例えば、ｂ＝０ということもあり得る。いくつかの実施形態では、画像データが、例えば、０〜１の正規化範囲内の浮動小数点データである場合（これに限定されない）に、プリエンファシス曲線を使用することができる。他の実施形態では、例えば、画像データが１２ビットデータである場合、画像は、関係ｙ＝（ｘ／４０９５）^１／２を使用して処理され、１２ビットデータが０〜１の範囲になるように正規化される。更に、画像データは、他の曲線、例えば、ｙ＝ａｘ^ｂ＋ｃを使用して処理することができる。ここで、０．０＜ｂ＜１であり、ｃはオフセットであり、いくつかの実施形態では０である場合もある。また、対数曲線が使用されてもよい。例えば、ｙ＝Ａ^＊ｌｏｇ（Ｂ^＊ｘ＋Ｃ）の形の曲線で、Ａ、Ｂ、及びＣは、所望の結果が得られるように選択された定数である。更に、上述の曲線と処理は、Ｒｅｃ７０９ガンマ曲線で使用した技術と同様に、黒色の近くでより線形の領域が得られるように修正される場合がある。これらの処理を画像データに施す際に、同じ処理が画像データの全てに施されるか、又は異なる処理が画像データの異なる色に施される。しかし、これらは、画像データを処理するのに使用できる曲線の単なる例であり、他の曲線又は変換も使用できる。更に、これらの処理技術は、上述したような数学関数を使用して、又はＬＵＴ（ルックアップテーブル）と共に適用される。ルックアップテーブルに記憶されている曲線は、上述した曲線と異なる場合がある。更に、曲線は、入力データの範囲に対して異なる方程式を使用してもよい。例えば、曲線の低い位置の範囲をｙ＝ａｘ^ｂ＋ｃで表し、曲線の高い位置の範囲をｙ＝ｄｘ＋ｅで表すことができる。更に、異なるタイプの画像データに対して異なる処理、技術、又は変換を使用することができ、画像データ、温度（ノイズレベルに影響を及ぼす可能性のある）などを記録する際に異なるＩＳＯ設定を使用することができる。

データの圧縮の準備がされると、圧縮準備モジュール１８は、例えば、準備されたデータをメモリ１６に記憶する、又は圧縮モジュール２０にデータを提供することができる。

圧縮準備モジュール１８は、画像データを別々に圧縮されるタイルに分割することができる。タイルは任意のサイズにすることができ、画像全体が１つのタイルと見なされる。画像をタイルに分割することは、圧縮に必須というわけではない。

次に、圧縮モジュール２０が、圧縮準備モジュール１８からのデータを圧縮する。いくつかの実施形態では、圧縮モジュール２０は、圧縮を実行するのに、例えば、汎用プロセッサ、ＤＳＰ，又は画像処理専用プロセッサなどのプロセッサを使用する。他の実施形態では、圧縮モジュール２０は、圧縮を実行するのに圧縮チップを使用する。例えば、圧縮モジュール２０は、例えば、ＡＳＩＣ若しくはＦＰＧＡカスタムチップ、又は多くの市販圧縮チップ若しくはチップセットの１つのような、１つ又は複数のカスタムチップを使用することができる。圧縮モジュール２０は、画像データの並列圧縮を可能にするサブコンポーネントを含んでもよい。例えば、圧縮モジュール２０は、第１のプロセッサ若しくは圧縮チップを使用してカラー・フィルタ・アレイ（例えば、赤色、緑色、又は青色）の第１の波長に対応する画像素子を圧縮し、第２のプロセッサ若しくは圧縮チップを使用してカラー・フィルタ・アレイの第２の波長に対応する画像素子を圧縮することができる。

いくつかの実施形態では、圧縮モジュール２０は、１つ又は複数のＪＰＥＧ２０００圧縮チップを備える。いくつかの実施形態では、圧縮モジュール２０は、Ａｎａｌｏｇ Ｄｅｖｉｃｅｓ社製の１つ又は複数のＡＤＶ２０２若しくはＡＤＶ２１２ ＪＰＥＧ２０００ Ｖｉｄｅｏ Ｃｏｄｅｃチップを備える。いくつかの実施形態では、圧縮モジュール２０は、ＱｕＶＩＳ社製の１つ又は複数のＱｕＶＩＳ Ｄｉｇｉｔａｌ Ｍａｓｔｅｒｉｎｇ Ｃｏｄｅｃｓを備える。いくつかの実施形態では、圧縮モジュール２０は、リコー社製の１つ又は複数のＲＢ５Ｃ６３５ ＪＰＥＧ２０００ Ｃｏｄｅｒｓを備える。

圧縮後、データ・フォーマット・モジュール２２は、データインタフェース２４を介して送信するために圧縮データを準備する。データ・フォーマット・モジュール２２は、データがＪＰＥＧ２０００のような標準フォーマットに準拠するように準備することができる、又は非標準フォーマットを使用してデータを準備する。データ・フォーマット・モジュール２２は、圧縮データの一部を最終画像用のデータに含めるために選択することができる。例えば、データ・フォーマット・モジュール２２は、画像の出来上がりのサイズが撮られたサイズ未満になるように、圧縮データの一部のみを使用することができる。

次に、フォーマットされたデータは、データインタフェース２４を介して送信される。データインタフェース２４は、例えば、データを、ハードドライブ、コンパクト・フラッシュ・カード、又は半導体ドライブに送信することができる。データは、１つ又は複数のデータ通信リンクを介して送信されてもよい。通信プロトコルの例として、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＵＳＢ２、ＵＳＢ３、ＩＥＥＥ１３９４（ＦｉｒｅＷｉｒｅ４００、ＦｉｒｅＷｉｒｅ８００、ＦｉｒｅＷｉｒｅ Ｓ３２００、ＦｉｒｅＷｉｒｅ Ｓ８００Ｔ、ｉ．ＬＩＮＫ、ＤＶを含むが、これらに限定されない）、ＳＡＴＡ，ＳＣＳＩが挙げられる。データインタフェース２４を介して記録速度を上げるために、複数の記憶装置又は通信リンクが同時に使用されてもよい。

図２は、画像データを圧縮するための例示的な実施形態を示すフローチャートである。ステップ３０で、画像センサ１２は画像データを検出する。ステップ３２で、検出された画像センサデータは、任意で、センサ測定値の欠陥又は誤りに対して補正がなされる。補正の例として、故障したセンサ素子からのデータをその周囲の素子からのデータと置き換えること、又はセンサから得られたデータ列のゲインの変動を調節することが挙げられる。

ステップ３４で、画像データは、圧縮の準備がなされる。いくつかの実施形態では、センサデータは、色ごとに分類される。例えば、Ｂａｙｅｒカラー・フィルタ・アレイを使用して、画像データは、１つ又は複数の赤色画像データ群、１つ又は複数の青色画像データ群、１つ又は複数の緑色画像データ群に分離される。いくつかの実施形態では、カラー画像データは、圧縮前に別の色空間に変換される場合もある。例えば、ＲＧＢ色空間のカラー画像データは、ＹＵＶ色空間、ＹＣｂＣｒ色空間、又はカスタム色空間のような多くの異なる色空間の１つに変換される場合がある。例示的なカスタム色空間は、赤色データと緑色データとの色差に対して第１のチャネルを使用し、青色データと緑色データとの色差に対して第２のチャネルを使用することができる。いくつかの実施形態では、デモザイク処理が色空間変換処理の一部である場合がある。画像データは、別々に圧縮されるタイルに分割される。タイルは任意のサイズにすることができ、画像全体が１つのタイルと見なされる。画像をタイルに分割することは、圧縮に必須というわけではない。

ステップ３６で、画像データが圧縮される。複数の圧縮コンポーネントを使用して同時にデータを圧縮してもよいし、１つの圧縮コンポーネントを使用して連続してデータを圧縮してもよい。画像データは、圧縮するためにチャネルに分離される場合がある。例えば、圧縮されるデータがＲＧＢ色空間にある場合、チャネルは、１つ又は複数の赤色画像データチャネルと、１つ又は複数の青色画像データチャネルと、１つ又は複数の緑色画像データチャネルとを備えることができる。圧縮されるデータがＹＵＶ色空間にある場合、チャネルは、１つ又は複数のＹ画像データチャネルと、１つ又は複数のＵ画像データチャネルと、１つ又は複数のＶ画像データチャネルとを備えることができる。いくつかの実施形態では、色空間は、１つ又は複数の緑色画像データチャネルと、赤色画像データと緑色画像データとの色差から得られた１つ又は複数のチャネルと、青色画像データと緑色画像データとの色差から得られた１つ又は複数のチャネルとを含む場合がある。いくつかの実施形態では、第１の圧縮コンポーネントは第１の緑色画像データチャネルを圧縮し、第２の圧縮コンポーネントは第２の緑色画像データチャネルを圧縮し、第３の圧縮コンポーネントは赤色画像データと緑色画像データとの色差から得られたチャネルを圧縮し、第４の圧縮コンポーネントは青色画像データと緑色画像データとの色差から得られたチャネルを圧縮する。

いくつかの実施形態では、チャネルのデータは、拡張可能な圧縮アルゴリズムを使用して圧縮される。拡張可能な圧縮アルゴリズムのタイプとして、例えば、レイヤプログレッシブ方式アルゴリズム、解像度プログレッシブ方式アルゴリズム、成分プログレッシブ方式アルゴリズムが挙げられる。

いくつかの実施形態では、チャネルのデータは、ＪＰＥＧ２０００のような拡張可能な圧縮アルゴリズムを使用して圧縮される。例示的なＪＰＥＧ２０００の実装は、（９／７）浮動小数点ウェーブレット変換、又は（５／３）整数ウェーブレット変換のようなウェーブレット変換を使用することができる。圧縮アルゴリズムにより、量子化ファクタ、コード・ブロック・サイズ、変換レベルの数、可逆的若しくは非可逆的圧縮、可変ビットレート出力での所望の圧縮率、可変圧縮率での所望の固定ビットレート出力、進行順、出力フォーマット、又は視覚的重みなどの圧縮パラメータのカスタマイズが可能になる。

拡張可能な圧縮アルゴリズムの出力は、所望の圧縮率又はビットレート出力を得るように修正されてもよい。例えば、複数の変換レベルを有する拡張可能な圧縮アルゴリズムを使用して、アルゴリズムから出力された変換レベルのいくつかを落としてもよい。いくつかの実施形態では、所望の圧縮率が達成されるように変換レベルを落としてもよい。他の実施形態では、所望の固定ビットレート出力を超えないように変換レベルを落としてもよい。

いくつかの実施形態では、圧縮アルゴリズムは、異なるチャネルのデータ上で同時に動作する。例えば、圧縮されるデータがＹＵＶ色空間にある場合、チャネルは、１つ又は複数のＹ画像データチャネルと、１つ又は複数のＵ画像データチャネルと、１つ又は複数のＶ画像データチャネルとを備えることができる。第１の圧縮コンポーネントはＵチャネルを圧縮し、第２の圧縮コンポーネントはＶチャネルを圧縮し、第３及び第４の圧縮コンポーネントはＹチャネルを圧縮することができる。別の例では、色空間は、１つ又は複数の緑色画像データチャネルと、赤色画像データと緑色画像データとの色差から得られた１つ又は複数チャネルと、青色画像データと緑色画像データとの色差から得られた１つ又は複数のチャネルとを含むことができる。第１及び第２の圧縮コンポーネントは緑色画像データチャネル（単数又は複数）を圧縮し、第３の圧縮コンポーネントは赤色画像データと緑色画像データとの色差から得られたチャネルを圧縮し、第４の圧縮コンポーネントは青色画像データと緑色画像データとの色差から得られたチャネルを圧縮することができる。

種々のチャネルの圧縮は、各々のチャネルの異なるパラメータを設定することにより制御することができる。上述の例における個々の圧縮コンポーネントは個々のチャネルの圧縮レベルを制御するためのパラメータを有するが、更にビット割り当てを決定するために圧縮された出力を調べることにより、更に利益を得ることができる。いくつかの実施形態では、種々の圧縮コンポーネントが圧縮レベルを調整するために互いに通信していない場合がある、又は全体的なシステムアーキテクチャが圧縮コンポーネントの調整を容易にするものでない場合がある。

ステップ３８で、ステップ４６からの圧縮された出力が、圧縮データを更に修正すべきであるか否かを決定するために調べられる。いくつかの実施形態では、１つ又は複数のチャネルからの変換レベルは、全体の圧縮率が達成されるように１つ又は複数のチャネルからの変換レベルを落としてもよい。他の実施形態では、全てのチャネルの全体のビットレート出力が超えないように１つ又は複数のチャネルからの変換レベルを落としてもよい。

ステップ４０で、圧縮データがフォーマットされる。いくつかの実施形態では、データがすでに所望のフォーマットである場合もあり、その場合は追加の操作は必要でない。いくつかの実施形態では、データが、ＪＰＥＧ２０００のような標準プロトコルに適合するようにフォーマットされる。いくつかの実施形態では、データは暗号化される。

図３は、画像のエントロピーを使用して画像データを圧縮するプロセスを示した図である。ステップ４２で、ソース画像データの圧縮の準備がなされる。いくつかの実施形態では、各々のチャネルの圧縮は別々に行われる。いくつかの実施形態では、別個に処理されるチャネルは１つ又は複数のタイルを有する場合がある。

いくつかの実施形態では、ステップ４４で、ソース画像データに変換が施される。例えば、圧縮の準備の時に、ＤＣＴ若しくはウェーブレット変換を使用して画像データ（例えば、ＲＧＢ、ＹＵＶ、ＹＣｒＣｂ、又は他のフォーマットの画像データ）を変換してもよい。いくつかの実施形態では、Ｙチャネルデータ、Ｕチャネルデータ、Ｖチャネルデータのそれぞれに２進ウェーブレット変換が施される。他の実施形態では、Ｇチャネルデータ、ＲチャネルとＧチャネルとの色差データ、及びＢチャネルとＧチャネルとの色差データのそれぞれに２進ウェーブレット変換が施される。

変換されたデータは、次に、ステップ４６で量子化される。いくつかの実施形態では、量子化が省略される場合もあり、また量子化ステップサイズは、量子化されない１．０に設定される場合もある。異なるチャネルが、異なる量子化ステップサイズを有する場合もある。更に、異なる変換レベルが、異なる量子化ステップサイズを有する場合もある。いくつかの実施形態では、量子化ステップサイズは、「品質」の一定レベルを達成することができる。いくつかの実施形態では、量子化ステップサイズは、おそらく、反復プロセスによって、固定レートを達成することができる。

量子化されたデータは、次に、ステップ４８で、エントロピー符号化がなされ、その結果、ステップ５０で、圧縮画像データが得られる。

図４は、画像のエントロピーを使用して圧縮された画像データを解凍するための同様のプロセスを示す図である。ステップ５２の圧縮画像データが、ステップ５４でエントロピーデコーダに提供される。復号化された画像データは、ステップ４６で行われた量子化に従ってリスケールされる。ステップ５８で、リスケールされた画像データに逆変換が施され、その結果、ステップ６０で、図３のステップ４２の画像ソースデータに相当する出力画像データが得られる。圧縮が可逆である場合、出力画像データは、入力画像データと同じになる。圧縮が非可逆である場合、出力画像データは入力画像データと異なるものになる。いくつかの非可逆圧縮の実施形態では、再構成された出力画像と元の入力画像との差は目で確認できない程度である。

図５Ａ〜図５Ｃは、二次元ウェーブレット変換を施して、各々が多数のサブバンドを含む一連のレベルにタイルを解凍する一例を示した図である。これらのサブバンドは、レベルの水平特性及び垂直特性の高周波成分及び低周波成分を指す。例えば、図５Ａは、水平方向及び垂直方向の低周波数成分から成る象限１ＬＬと、水平方向の低周波数成分と垂直方向の高周波数成分とから成る象限１ＨＬと、水平方向の高周波数成分と垂直方向の低周波数成分とから成る象限１ＬＨと、水平方向及び垂直方向の高周波数成分から成る象限１ＨＨとを示している。図５Ａに示されている象限１ＬＬ、１ＨＬ、１ＬＨ、及び１ＨＨのそれぞれは、それぞれの方向に元の解像度の２分の１の解像度を有する。従って、それぞれの象限の画素は、原画像の４分の１である。

図５Ｂは、図５Ａの象限１ＬＬに更にウェーブレット変換を施した結果、新しい象限１ＬＬ、１ＨＬ、１ＬＨ、及び１ＨＨが得られた図である。新しい象限のそれぞれは、図５Ａの象限１ＬＬのそれぞれの方向に２分の１の解像度を有する。図５Ｂの象限２ＨＬは図５Ａの象限１ＨＬに相当し、図５Ｂの象限２ＬＨは図５Ａの象限１ＬＨに相当し、図５Ｂの象限２ＨＨは図５Ａの象限１ＨＨに相当する。

図５Ｃは、図５Ｂの象限１ＬＬに更に変換を施すプロセスを示している。低周波数象限１ＬＬに変換を施すプロセスを継続して、それぞれの変換により徐々に細かい解像度レベルが得られるようにすることができる。いくつかの実施形態では、プロセスを繰り返して、例えば、解像度レベル５まで上げることができる。他の実施形態では、プロセスを繰り返して、１０、１２、又はそれ以上の解像度レベルにすることができる。可能な解像度レベルの最大数は原画像のサイズによってのみ制限されるが、解像度レベルが大きすぎると利益が得られなくなる場合がある。

変換されたデータは、さまざまな方法で記憶することができる。例えば、変換データを、チャネル（例えば、赤色、青色、緑色１、又は緑色２）ごとに、解像度（例えば、１ＬＬ、２ＬＬ、３ＬＬなど）ごとに、フレームごとに、又はこれらの手法を組み合わせて記憶することができる。

時には、高解像度で撮られた画像が低解像度で見られる場合がある。例えば、ビデオカメラからのデータは、ネットワーク接続を介して、撮られたデータの解像度よりも低い解像度を有する視覚装置に送信される場合がある。低解像度の視覚装置で使用される高解像度の情報を送信する必要はなく、低解像度情報のみを送信することがネットワーク上の帯域幅の問題を避けることにつながる場合がある。いくつかの実施形態では、画像データは個々の解像度レベルのデータにアクセスできるフォーマットで記憶されて、低解像度情報を見るために高解像度情報を処理する必要がないようにする。

いくつかのカラー・フィルタ・アレイは、重複する色要素を含む。例えば、Ｂａｙｅｒパターンは、一般に、赤色要素又は青色要素のそれぞれに対する２つの緑色要素を含む。２つの緑色チャネルが取り込まれても、画像を再構成するのに１つの緑色チャネルだけが使用される場合もある。画像データは、赤色、青色、及び第１の緑色チャネルにアクセスできるフォーマットで記憶されて、第２の緑色チャネルにアクセスしなくてもよい場合もある。従って、いくつかの低帯域幅のアプリケーションでは、４色のチャネルのうちの３色のチャネルのみを再構成のために使用して、第４のチャネルを送信する必要がなくなる場合がある。

さまざまな解像度及び／又はチャネルの開始位置を決めるのに、オフセットアレイ（array of offsets；オフセット配列）を使用することができる。いくつかの実施形態では、オフセットが正確に位置を特定することができる。例えば、オフセット値は、ファイルの最初から測定された特定の位置を指し示すことができる。他の実施形態では、オフセットは、前のオフセット値の累積オフセットとすることができる。例えば、画像データの各々のフレームは、関連オフセットを有する場合がある。いくつかの実施形態では、ビデオデータのフレームは複数のタイルを備え、タイルピースがまとまってフレームを形成している。各々のタイルは、オフセットに関連付けられる場合がある。ビデオデータのフレーム及び／又はタイルでは、ビデオデータのフレーム又はタイルの最初から測定される追加のオフセットを更に有し、例えば、ビデオデータのそのフレームに関係するコンポーネントを指し示すことができる。

いくつかの実施形態では、オフセットは、オフセットがデータのブロックを示すようにビットシフトされる場合がある。ファイルフォーマットは、シフトできるビット数を設定することができ、これは最大ファイルサイズに相当する。例として、オフセットが１２ビットだけビットシフトされて４ＫＢアライメントにする場合、３２ビットオフセットは１６テラバイト（２^{３２＋１２}＝１７，５９２，１８６，０４４，４１６＝１６テラバイト）の最大オフセットを示すことができる。同様にして、１４ビットだけビットシフトされたオフセットで１６ＫＢアライメントにする場合、３２ビットオフセットは６４テラバイトの最大オフセットを示すことができる。

特定の解像度及び／又は色チャネルのためにオフセットを設定することができる、又は解像度及び／又は色チャネルのグループ化のためにオフセットを設定することができる。下に示す例１は、それぞれの解像度レベルのオフセットを示しており、緑色１チャネル、青色チャネル、及び赤色チャネルはまとめてグループ化され、緑色２チャネルは別にグループ化されている。この例は、Ｍ＋１個の解像度レベルとＮ個のタイルがあることを前提としている。第１のオフセットは、第１のタイルと、緑色１チャネル、青色チャネル、及び赤色チャネルの最低解像度レベルとを示している。第２のオフセットは、２番目に低い解像度レベルを示し、プロセスは最高解像度レベルＭ＋１まで継続される。第２のタイルに対する同様のオフセットは、第１のタイルに対するオフセットの後に続く。プロセスは、Ｎ個のタイル全てに対して継続される。緑色１チャネル、青色チャネル、及び赤色チャネルがＭ＋１個の解像度レベル及びＮ個のタイルに対して処理された後、緑色２チャネルがＭ＋１個の解像度レベル及びＮ個のタイルに対して処理される。
例１：

例１は、情報（例えば、緑色１ １ＬＬ、青色 １ＬＬ、赤色 １ＬＬ）をグループ化して、同じオフセットを共有している。情報の各々は、固有のオフセットを有することもできる。このことにより、オフセットの総数は増えることになるが、特定の情報にアクセスする柔軟性を高めることにもなる。

例１は、タイルの各々に対して緑色１チャネル、青色チャネル、及び赤色チャネルが最初に順序付けられ、その後にタイルの各々に対して緑色２チャネルが続くように情報を順序付けしている。緑色１チャネル、青色チャネル、及び赤色チャネルの処理の必要があるとすれば、このように隣接する必要データを順序付けすることで、記憶装置が新しい位置を探さなければならない回数が減ることになる。更に、あるオフセットに対するデータの最後と次のオフセットの始まりとの間にスペースがある場合がある。データをまとめてグループ化して使用されるオフセットの数を減らすということは、オフセット間の無駄なスペースがなくなるということでもある。

図６は、圧縮するために画像を分解するための例示的な階層を示す図である。図６に示されている要素は全てが必須というわけではなく、いくつかの実施形態では要素が階層から外される場合もあることは理解されたい。検出画像は、例えば、Ｙチャネル、Ｕチャネル、及びＶチャネル；赤色チャネル、緑色チャネル、及び青色チャネル；又は緑色チャネル、赤色・緑色の色差チャネル、及び青色・緑色の色差チャネルのような１つ又は複数のチャネルに分離することができる。

チャネルは、１つ又は複数のタイルに分割することができる。タイルは、１つ又は複数のサブバンドに変換することができる。例えば、ウェーブレット変換は、タイルを図５に示されるようなサブバンドに変換することができる。サブバンドは、プレシンクト又はパケット分割位置に分割することができる。いくつかの実施形態では、１つのサブバンドにおけるプレシンクト又はパケット分割位置は、他のサブバンドにおけるプレシンクト又はパケット分割位置と空間相関関係があり、サブバンドからの対応するプレシンクト又はパケット分割位置は一緒に処理される。プレシンクト又はパケット分割位置は、ブロックに分割することができる。

それぞれのブロックは、複数の変換値及び／又は量子化値を有することができる。ブロック内の値は、グループとしてエントロピー符号化することができる。

エントロピー符号化は、ビットレベルで動作することができる。例えば、ブロック内のそれぞれの値のＭＳＢ（最上位ビット）は、まとめてエントロピー符号化される。同様に、それぞれの値の次のＭＳＢも、まとめてエントロピー符号化される。更に、ビットのエントロピー符号化は、他のビットプレーンの評価を考慮することもできる。

図６に示されているような１つ又は複数のデータ成分は、空間的位置のさまざまな画質増分又は解像度レベルを提供するために組み合わされる、又は使用される。いくつかの実施形態では、データ成分は、空間的位置における１つの解像度レベルに対して１つの画質増分を提供するパケットにグループ化される。フル解像度での１つの画質増分を提供するパケット群は、まとめられて１つのレイヤになる。例えば、レイヤは、フル解像度の画像のチャネルの画質増分に対応することができる。追加のレイヤは、追加の画質増分を提供する。

図７Ａは、Ｙチャネル、Ｕチャネル、及びＶチャネルの９個のレイヤの空間割り当てを示す図である。図示されるように、各々のレイヤは、一定の空間が割り当てられている。この図は、圧縮アルゴリズムのレートが制限されたアプリケーションに相当する。

図７Ｂも、同様に、Ｙチャネル、Ｕチャネル、及びＶチャネルの９個のレイヤの空間割り当てを示す図である。この図では、レイヤによって使用される空間は可変である。十分に圧縮するチャネルによって使用される空間は、同じように圧縮しないチャネルによって使用される空間より小さい。この例では、Ｙチャネルによって使用される空間は、Ｕチャネル及びＶチャネルによって使用される空間より大きい。チャネル内のそれぞれのレイヤも同様に、可変空間を使用する。例えば、Ｙチャネルのレイヤ１及びレイヤ８の空間は、レイヤ４及びレイヤ６の空間よりも大きい。

図示されているように、図７Ｂのレイヤの組み合わせにより使用される空間は、図７Ａのレイヤの組み合わせにより使用される空間よりも大きい。レイヤに対して可変ビットレート符号化を使用するアプリケーションの中には、総ビットレートを超えないものがある。各々のチャネルは、一定の空間が割り当てられ、総空間制限値を超えるレイヤは破棄される。例えば、図７Ｂでは、Ｙチャネルのレイヤ７、レイヤ８、及びレイヤ９は、Ｙチャネルの総空間制限値を超えないように破棄される。又は、全てのチャネルがまとめて一定に空間が割り当てられ、１つ又は複数のチャネルのレイヤは総空間制限値になるまで必要に応じて破棄される。例えば、Ｙチャネルのレイヤ９及びＵチャネル及びＶチャネルのレイヤ８及びレイヤ９は、全てのチャネルの総空間制限値を満たすように破棄される。

いくつかの実施形態では、各々のチャネルの得られた画質レベルはほぼ同じである。例えば、Ｙチャネルのレイヤ９及びＵチャネル及びＶチャネルのレイヤ８及びレイヤ９を破棄するということは、チャネルが互いに１つの画質レベル内にあるという意味である。いくつかの実施形態では、いくつかのチャネルが他のチャネルと同じ画質レベル又は他のチャネルより高い画質レベルを有するようにレイヤが破棄される。例えば、Ｙチャネルは、視覚的にロスレスな再構成画像を得るためにより重要である場合がある。例として、Ｙチャネルのいずれのレイヤも破棄されないが、空間の総制限値を満たすためにＵチャネル及びＶチャネルのレイヤ７、レイヤ８、及びレイヤ９は破棄される。

別の例として、チャネル間の画質増分の差は１より大きいが、一定の数未満である。例えば、画質増分の許容差が３である場合、１つのチャネルはレイヤ１〜レイヤ８を使用するが、他のチャネルはレイヤ１〜レイヤ５のみを使用する可能性がある。

図７Ｃ及び図７Ｄは、それぞれ図７Ａ及び図７Ｂと同様の図であり、上述のアルゴリズムを他の色空間に施した図である。図７Ｃ及び図７Ｄに示されているように、アルゴリズムは、緑色チャネルデータ、赤色・緑色の色差チャネルデータ、及び青色・緑色の色差チャネルデータを有する画像に施される。図７Ａ〜図７Ｄはそれぞれの色空間インデックスに対して１つのチャネルを示しているが、複数のチャネルを使用してもよいことは理解されたい。例えば、図７Ａ〜図７ＢのＹ画像データが２つ以上のチャネルに分割されてもよい。別の例では、図７Ｃ〜図７Ｄの緑色画像データが２つ以上のチャネルに分割されてもよい。

いくつかの実施形態では、圧縮は、十分に再構成されていないセンサからの画像データ上で行われる。例えば、画像センサは、カラー・フィルタ・アレイを使用して、センサ素子での光の選択された波長を検出することができる。カラー・フィルタ・アレイは、図８に示されるような繰り返しパターン２６を含むことができる。

いくつかの実施形態では、センサからのデータは、データの一部又は全てを別の色空間に変換せずに圧縮される。例えば、Ｂａｙｅｒパターンのカラー・フィルタ・アレイを使用するセンサは、圧縮のために赤色データ及び青色データを赤色・緑色の色差データ及び青色・緑色の色差データに変換するが、緑色データは別の色空間に変換されずに圧縮される。別の例として、カラー・フィルタ・アレイを使用するセンサは、圧縮のために緑色チャネル（又は白色チャネル）、白色・緑色の色差チャネル、赤色・緑色の色差チャネル、及び青色・緑色の色差データを使用することができる。いくつかの実施形態では、センサからのデータは、別の色空間への変換後に圧縮される。例えば、Ｂａｙｅｒパターンのカラー・フィルタ・アレイを使用するセンサは、赤色データ、緑色データ及び青色データをＹデータ、Ｕデータ、及びＶデータに変換することができる。

いくつかの実施形態では、色差値は、２つの隣接する値の差を求めることによって求められる。例えば、赤色・緑色の色差値又は青色・緑色の色差値は、緑色値と隣接する赤色値又は青色値との差を決定することによって求められる。いくつかの実施形態では、色差値を求めるのに平均値が使用される。例えば、２、３、４又はそれ以上の緑色画像データ値の平均値が算出されて、緑色画像素子の近くの赤色画像素子又は青色画像素子から減算されるが、これに限定されない。

２００９年４月１３日に出願された米国特許出願第１２／４２２，５０７号明細書は、画像データを処理するためのさらなる実施形態を開示している。この特許の内容全体を参照によって本願明細書に引用したものとする。

上述したように、カラー・フィルタ・アレイには、赤色素子及び青色素子の２倍の数の緑色素子を有するものがある。すなわち、赤色素子及び青色素子はそれぞれ、カラー・フィルタ・アレイ全体の２５％を構成し、緑色素子はカラー・フィルタ・アレイ全体の５０％を構成する。従って、いくつかの実施形態では、緑色画像データの全てが確保される場合、追加の緑色データ画像処理モジュールを使用することができる。例えば、第１の緑色データ画像処理モジュールが緑色素子の半分を処理し、第２の緑色データ画像処理モジュールが残りの緑色素子を処理することができる。しかし、他のタイプのパターン、例えば、ＣＭＹ及びＲＧＢＷのパターン（これに限定されない）と共に実施形態を使用してもよい。

上述したように、圧縮モジュール２０は、任意のタイプの圧縮プロセスを実行するように構成される。いくつかの実施形態では、圧縮モジュール２０は、圧縮準備モジュール１８によって行われた技術によって利益が得られる圧縮技術を実行する。例えば、上述したように、圧縮準備モジュール１８は、赤色データ及び青色データに対する緑色の色差値を決定して、その結果、より彩度に近いデータを得ることができるように構成されている。従って、圧縮モジュール２０によって実行される圧縮技術は、圧縮モジュール２０からの圧縮データ出力のサイズを低減するために、彩度データがあることで利益が得られるタイプの圧縮技術であると言える。

更に、圧縮モジュール２０は、画像処理モジュール２０からの画像データを圧縮して、視覚的にロスレスな出力を得ることができるように構成される。例えば、まず、圧縮モジュールは、任意の周知の圧縮技術、例えば、限定的ではないが、Ｈ．２６４、ＭＰＥＧ４、Ｈｕｆｆｍａｎ、ＪＰＥＧ、ＪＰＥＧ２０００、ＭｏｔｉｏｎＪＰＥＧ、ＤＣＴベースのコーデック、ウェーブレットベースのコーデック、画像データを圧縮するために設計された他のコーデック、又は他の技術を施すように構成される。

使用される圧縮技術のタイプに応じて、視覚的にロスレスな出力を得るために、圧縮技術の種々のパラメータを設定することができる。例えば、上述した多くの圧縮技術は、さまざまな圧縮率に調整することができる。解凍した時に、得られる画像は、低圧縮率に対して高画質、高圧縮率に対して低画質になる。従って、圧縮モジュールは、視覚的にロスレスな出力を得ることができる方法で画像データを圧縮するように構成することができる、又は使用者が視覚的にロスレスな出力を得るために種々のパラメータを調整することができるように構成することができる。

本明細書で使用する時、用語「視覚的にロスレス」は、同じ表示装置上で原画像データの再構成と並べて比較した時に、当業者が画像の目視検査のみで妥当なレベルの正確度でもって、どちらの画像再構成が原画像の再構成であるかを判断できないような処理画像データの再構成を含むものとする。

圧縮データは、記憶装置に記憶することができる。記憶装置は、任意のタイプのデジタル記憶装置の形にすることができる。例えば、ハードドライブ、半導体ドライブ、フラッシュメモリ、光ディスク、又は任意のタイプのメモリ素子が挙げられるが、これらに限定されない。いくつかの実施形態では、記憶装置のサイズは、圧縮モジュール２０からの画像データを記憶するのに十分な容量であり、１２メガピクセル解像度のビデオが少なくとも約３０分、１２ビット色解像度、及び６０フレーム／秒に相当する。しかし、記憶装置は任意のサイズにしてもよい。

いくつかの実施形態では、記憶装置は、カメラ筐体の外側に取り付けられる。また、いくつかの実施形態では、記憶装置は、標準通信ポート若しくはカスタム通信ポートを介して他のコンポーネントに接続されてもよい。通信ポートとしては、例えば、Ｅｔｈｅｒｎｅｔ、ＵＳＢ、ＵＳＢ２、ＵＳＢ３、ＩＥＥＥ１３９４（ＦｉｒｅＷｉｒｅ ４００、ＦｉｒｅＷｉｒｅ ８００、ＦｉｒｅＷｉｒｅ Ｓ３２００、ＦｉｒｅＷｉｒｅ Ｓ８００Ｔ、ｉ．ＬＩＮＫ、ＤＶが含まれるが、これらに限定されない）、ＳＡＴＡ、及びＳＣＳＩが挙げられるが、これらに限定されない。更に、いくつかの実施形態では、記憶装置は、ＲＡＩＤプロトコルに従って動作するような複数のハードドライブを備えることができる。しかし、任意のタイプの記憶装置を使用することができる。

いくつかの実施形態では、本明細書で開示されているアルゴリズムは、メモリ素子に記憶されているルーチンとして実装することができる。更に、プロセッサは、制御ルーチンを実行するように構成することができる。いくつかの実施形態では、カスタム回路を使用することができる。

上述の技術は、１つの静止画像又は複数の画像の処理に適用することができる。更に、上述したプロセスは、例えば、１０フレーム／秒、２０フレーム／秒、２４フレーム／秒、３０フレーム／秒、６０フレーム／秒、１２０フレーム／秒又は任意の他のフレームレートの連続ビデオ画像の処理にも適用できる。

本明細書で示されている方法で画像データを処理することによって、画像センサ１２からの画像データを圧縮率６対１又はそれ以上の圧縮率で圧縮して視覚的ロスレスな状態を維持することができる。更に、画像データを（色差値を求めることによって）変換しても、最終使用者は原画像データを利用することができる。例えば、一定のプロセスを逆にすることで、全て又はほぼ全ての原画像データを抽出することができ、使用者が望む任意のプロセスを使用して、更に処理を施し、フィルタ処理し、及び／又はデモザイク処理することができる。例えば、記憶装置に記憶されているデータを解凍し、デモザイク処理することができる。

図９は、圧縮画像の再構成を示すフローチャートの例である。ブロック６２で、画像データが解凍される。上述したように、画像データはチャネルに従って圧縮された可能性がある。いくつかの実施形態では、画像の再構成のために、全てのチャネルが解凍されるわけではない。例えば、圧縮画像は、緑色画像素子に対応する２つのチャネルを有する場合がある。しかし、画像を再構成するために、緑色チャネルの１つのみを解凍する必要がある場合がある。１つのチャネルのみを解凍することで、画像再構成がより速くなる。

いくつかの実施形態では、画像の再構成のために画質レベルの全てが使用されるわけではない。上述したように、圧縮チャネルは、同じ値の画質レベルでない場合がある。例えば、再構成時に、より速く画像を再構成できるように、チャネルに対して低い画質レベルが選択される場合がある。いくつかの実施形態では、それぞれの解凍チャネルがほぼ同じ画質レベルを有するように解凍される。

ブロック６４で、解凍チャネルにガンマ関数又は指数対数曲線が施される。例えば、上述のプリエンファシス曲線又はガンマ曲線のいずれかの逆関数又は他の関数が画像データに施されてもよい。いくつかの実施形態では、適用される関数は恒等関数とすることができる、つまり、出力が入力と同じである、又は補正関数が全く適用されないということである。

ブロック６６の動作で、画像は圧縮データから再構成される。いくつかの実施形態では、１つ又は複数の緑色チャネルがデモザイクされ、次に、デモザイクされた緑色チャネルが他のチャネルを再構成するのに使用される。例えば、デモザイクされた緑色値を使用して、デモザイクされた緑色値と同じ位置にある赤色・緑色の色差値又は青色・緑色の色差値から赤色値又は青色値を再構成することができる。いくつかの実施形態では、緑色チャネルを最初にデモザイクせずに、他のチャネルがデモザイクされる場合がある。例えば、解凍されているがデモザイクされていない緑色値を使用して、解凍された緑色値の近くにある赤色・緑色の色差値又は青色・緑色の色差値から赤色値又は青色値を再構成することができる。更に別の例として、解凍されているがデモザイクされていない緑色値の平均値を使用して、解凍された平均緑色値の近くにある赤色・緑色の色差値又は青色・緑色の色差値から赤色値又は青色値を再構成することができる。平均値は、圧縮で使用するのと同じ値にすることができる、又は任意の他の緑色の平均値にすることができる。赤色値及び青色値は、任意の適切なアルゴリズムを使用してデモザイクされる。

デモザイクされた、又は再構成された画像データを更に処理することができる。例えば、ノイズ低減技術、アンチエイリアシング技術、又は任意の他の画像処理技術を画像データに施すことができるが、これらに限定されない。

Claims (6)

1. カラー画像データをフォーマットする方法であって、
   フィルタ素子波長域に従って繰り返しパターンで配置された複数のフィルタ素子を有するカラー・フィルタ・アレイを使用して、光をフィルタリングするステップと、
   前記カラー・フィルタ・アレイを通過する光に関する複数のデータチャネルに対応する画像データを備える複数の画像フレームを取得するステップと、
   前記複数のデータチャネルそれぞれに対して複数の解像度レベルを提供するアルゴリズムを使用して、前記画像データを圧縮するステップと、
   前記複数の画像フレームの中の少なくともいくつかの前記画像フレームの圧縮画像データに対しては、
   各々の解像度レベルに対し、前記複数のデータチャネルのうち２つ以上のデータチャネルの前記圧縮画像データが１つの群にまとめられたフォーマットで、前記圧縮画像データを記憶するステップと、
   前記対応する画像フレーム内の各々の解像度レベルに対する少なくとも１つのオフセットを含むオフセットアレイを有するインデックスを作成して、高い解像度レベルを有するデータにアクセスしなくてもそれぞれの解像度レベルのデータにアクセスできるようにするステップとを含み、各々の解像度レベルの前記少なくとも１つのオフセットは、その解像度レベルに対応する前記群の参照であり、
   前記記憶するステップは、記憶装置に圧縮画像データの前記群をまとめて記憶するステップを更に含み、
   前記少なくとも１つのオフセットは、前記複数のデータチャネルのうちの前記群に含まれないデータチャネルの圧縮画像データへの参照を更に含み、
   前記群に含まれない前記データチャネルの前記圧縮画像データは、前記群とは別に記憶される、方法。
2. 前記少なくとも１つのオフセットは、前記対応する画像フレームの前記圧縮画像データと共に前記記憶装置に記憶される、請求項１に記載の方法。
3. 第１の緑色データチャネルと、第２の緑色データチャネルと、赤色・緑色の色差データチャネルと、青色・緑色の色差データチャネルとを含むカラー画像データを解凍する方法であって、
   前記第１の緑色データチャネル用のオフセット値を求めるためのオフセットアレイを有するインデックスにアクセスするステップと、
   前記第１の緑色データチャネル用の前記オフセット値を使用して、高い解像度レベルを有するデータにアクセスしなくても特定の解像度レベルの前記第１の緑色データチャネル内のデータにアクセスするステップと、
   前記赤色・緑色の色差データチャネル用のオフセット値を求めるためのオフセットアレイを有するインデックスにアクセスするステップと、
   前記赤色・緑色の色差データチャネル用の前記オフセット値を使用して、高い解像度レベルを有するデータにアクセスしなくても前記特定の解像度レベルの前記赤色・緑色の色差データチャネル内のデータにアクセスするステップと、
   前記青色・緑色の色差データチャネル用のオフセット値を求めるためのオフセットアレイを有するインデックスにアクセスするステップと、
   前記青色・緑色の色差データチャネル用の前記オフセット値を使用して、高い解像度レベルを有するデータにアクセスしなくても前記特定の解像度レベルの前記青色・緑色の色差データチャネル内のデータにアクセスするステップと、
   前記第１の緑色データチャネルと前記赤色・緑色の色差データチャネルとから再構成赤色データチャネルを生成するステップと、
   前記第１の緑色データチャネルと前記青色・緑色の色差データチャネルとから再構成青色データチャネルを生成するステップと、
   前記第１の緑色データチャネルと、前記再構成赤色データチャネルと、前記再構成青色データチャネルとを使用して、再構成画像を生成するステップと、
   前記オフセットアレイを有するインデックスを使用して、前記第２の緑色データチャネル用のオフセット値を求めるステップと、
   前記第２の緑色データチャネル用の前記オフセット値を使用して、高い解像度レベルを有するデータにアクセスしなくても前記特定の解像度レベルの前記第２の緑色データチャネル内のデータにアクセスできるようにするステップと、を含み、
   前記第２の緑色データチャネル内の前記アクセスされたデータは、第１の緑色データチャネル、前記赤色・緑色の色差データチャネル、及び前記青色・緑色の色差データチャネル内の前記アクセスされたデータとは別に記憶されており、
   前記第１の緑色データチャネル、前記赤色・緑色の色差データチャネル、及び前記青色・緑色の色差データチャネル内の前記アクセスされたデータがまとめてグループ化されたフォーマットで、前記カラー画像データが記憶される、方法。
4. 前記赤色・緑色の色差データチャネル用の前記オフセット値を使用して、前記第１の緑色データチャネル内のデータにアクセスできるようにするステップと、
   前記青色・緑色の色差データチャネル用の前記オフセット値を使用して、前記第１の緑色データチャネル内のデータにアクセスできるようにするステップとを更に含む、請求項３に記載の方法。
5. 光をフィルタリングし、フィルタ素子波長域に従って繰り返しパターンで配置された複数のフィルタ素子を有する、カラー・フィルタ・アレイと、
   前記カラー・フィルタ・アレイを通過する光に関する複数のデータチャネルに対応する画像データを備える複数の画像フレームを、動画ビデオ画像シーケンスにおいて取得できる少なくとも１つの画像センサと、
   前記複数のデータチャネルの各々に対して複数の解像度レベルを提供するアルゴリズムを使用して、前記画像データを圧縮する圧縮モジュールと、
   前記複数画像フレームの個々の画像フレームの前記圧縮画像データに対して、
   前記複数のデータチャネルのうち２つ以上のデータチャネルの前記圧縮画像データが１つの群にまとめられたフォーマットで、前記個々の画像フレームの各々の解像度レベルに対して、前記圧縮画像データを記憶し、
   各々の解像度レベルに対する少なくとも１つのオフセットを含むオフセットアレイを有する前記個々の画像フレーム用のインデックスを作成して、高い解像度レベルを有するデータにアクセスしなくてもそれぞれの解像度レベルのデータにアクセスできるフォーマット・モジュールであって、各々の解像度レベルの前記少なくとも１つのオフセットは、その解像度レベルに対応する該群の参照を含む、フォーマット・モジュールと、
   記憶装置と、を含み、
   前記フォーマット・モジュールは、前記記憶装置に、前記群をまとめて、更に記憶し、
   前記少なくとも１つのオフセットが、前記対応する画像フレームの前記圧縮画像データと共に前記記憶装置に記憶されており、
   前記少なくとも１つのオフセットが、前記複数のデータチャネルのうちの前記群に含まれないデータチャネルの圧縮画像データへの参照を更に含み、
   前記群に含まれない前記データチャネルの前記圧縮画像データは、前記群とは別に記憶される、画像装置。
6. 前記複数のデータチャネルが異なる色チャネルに対応する、請求項５に記載の画像装置。

Images