JP5087554B2 - 生データと処理済みデータを提供する画像ファイル - Google Patents

Description

本発明は、一般に電子写真の分野、特に標準フォーマットファイルを生成するタイプの電子イメージングシステムに関する。

一般的なデジタルカメラは、単独のカラーイメージセンサを使って、あるシーンの表現を、その光景の色表現を含めて取得する。色はカラーフィルタアレイ（ＣＦＡ）により分離されるが、このＣＦＡはセンサを覆い、各画素をＣＦＡの特定の色パターンに応じて特定の色に関連付ける。たとえば、ベイヤＣＦＡ（米国特許第３，９７１，０６５号に記載）によれば、緑の画素部をチェス盤状に配したＲＧＢパターンが得られる。したがって、各画素の一次ＣＦＡ画像信号は１色のみ、つまり赤、緑または青（ベイヤＣＦＡの場合）のいずれかに関する。ＣＦＡ画像が取得された後、各画素部の残りの（取得されていない）色は各画素について、たとえば周辺画素から補間され、各画像のフル解像度の補間された記録が生成される。そのため、補間された記録の中の各画素がＲＧＢ値のセットを有する。

長年にわたり、たとえば１９９５年に発売されたコダックＤＣ５０カメラをはじめとするいくつかの種類のデジタルカメラは、ＣＦＡ画像データを「生（ＲＡＷ）」ＴＩＦＦ画像ファイルとして取り外し可能なメモリカードに保存していた。このファイルが「生（ＲＡＷ）ファイル」と呼ばれるのは、画像を表示または印刷する前にＣＦＡ補間を含めた重要な画像処理を行う必要があるからである。よく知られているＴＩＦＦ（Ｔａｇ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）により、ＣＦＡ画像データを含む各種の画像データは、標準画像ファイルラッパを使って保存することができる。Electronic still-picture imaging ？ Removable memory ？ Part2: TIFF/EP image data formatのＩＳＯ １２２３４−２：２００１は、ＣＦＡ画像データおよび、ＣＦＡの色配列を特定するメタデータタグをＴＩＦＦファイル内に保存することのできる方法を標準化している。しかしながら、上記のような「生（ＲＡＷ）」ファイルを表示または印刷するには、これを補間し、ｓＲＧＢカラー画像データ等の標準カラー画像データに変換しなければならない。この標準カラー画像データは、たとえばＪＰＥＧファイルフォーマット、ＪＰＥＧ ２０００ファイルフォーマットあるいはＦｌａｓｈＰｉｘファイルフォーマット等の標準ファイルフォーマットを使って、表示または印刷し、あるいは圧縮して保存することが可能である。

画像を標準ファイルフォーマットに変換し、標準フォーマットを印刷し、編集する工程を図１に示す。取得ステップ１０において、ＣＦＡ画像がカメラによって取得される。接続ステップ１２でカメラまたはメモリがホストコンピュータに接続されると、ダウンロードステップ１４で画像がカメラまたはメモリカードからダウンロードされ、処理ステップ１６で処理され、ファイルフォーマット化ステップ１８で標準ファイルフォーマットにより保存される。処理ステップ１６では、ＣＦＡ画像はそのインポート時に、周知のＣＦＡ補間、色補正および鮮鋭化技術を使ってＣＦＡ補間され、標準サイズの「仕上がり」ＲＧＢ画像ファイルが作られる。このように、仕上がりＲＧＢ画像ファイルには、原画像と同じ総画素数のＣＦＡ補間画像が含まれる。しかしながら、原画像と異なり、ＣＦＡ補間画像では各画素について完全なＲＧＢデータがある。

標準ファイルフォーマットを使用する利点は、さまざまな画像ソフトウェアプログラム、フォトプリンタ、街頭のフォトキオスク、各社が提供するインターネットベースのプリントサービスがその画像を使用できる点である。このために、現在のデジタルカメラのほとんどが、ＪＰＥＧ画像ファイル等の標準画像ファイルを生成し、保存するモードを備えている。これらの画像ファイルは、画像が取得されるとデジタルカメラの中で生成される。

多種多様な標準的画像ファイルフォーマットが知られており、本発明に利用することができる。このような標準画像ファイルの一例がＦｌａｓｈＰｉｘファイルである。図２は、ＦｌａｓｈＰｉｘファイルに保存された主要情報を示す簡略図である。ＦｌａｓｈＰｉｘ画像フォーマット（ＦｌａｓｈＰｉｘフォーマット仕様書バージョン１．１（デジタル・イメージング・グループ、１９９７年７月１０日）で定義）が、デバイス（カメラ等）とアプリケーション（コンピュータの画像編集パッケージ等）の間の「交換(interchange)」フォーマットおよび画像を容易かつ迅速に編集できる画像編集用「ネイティブ」フォーマットの両方の役割を果たすように開発された。これは、「構造化保存」ファイル内の階層ファイル画像表現を使って実現される。図２において、ＦｌａｓｈＰｉｘファイルは完全な画像データ２４と、同じファイル内に複数のより低解像度のコピーの階層（図２においては、低解像度の画像データ一式２５が示されている）を含む。

各解像度の画像は長方形のタイル（正方形等）にも分割され、これによって、画像データの処理量を最小限するためのアプリケーションがシーンのコンテンツの一部にアクセスし、これを表示または印刷することができる。ＦｌａｓｈＰｉｘにより、サムネイル画像データ２３および任意の「補助的」プロパティセットデータ２１，２２を画像データとともに同じ構造化保存ファイルの中に保存できる。この補助的データとは、デジタル音声記録および、その写真が撮影された日時、カメラのズーム位置および焦点距離、シーンの照明レベル、カメラのカリブレーションデータ、画像の著作権所有者等のパラメータ等である。ＦｌａｓｈＰｉｘ画像フォーマットに関する詳細は、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂのhttp://www.i3a.orgに掲載され、参照によって本願に援用される上記のＦｌａｓｈＰｉｘフォーマット仕様書バージョン１．１（デジタル・イメージング・グループ、１９９７年７月１０日）を参照のこと。

仕上がりデータをＦｌａｓｈＰｉｘファイルに保存する前に画像を「仕上げる」ために使用される画像処理には、ＣＦＡ補間、色補正、画像鮮鋭化等の作業がある。出力画像は通常、ＦｌａｓｈＰｉｘ画像フォーマットによりサポートされるＲＧＢ空間等の標準的色空間に保存される。画像ファイル生成の結果として、当初のカメラデータは廃棄される（ステップ２６）。画像を利用ステップ２８で印刷または送信しようとする場合、まず編集ステップ２７で標準ファイルフォーマットを編集する。

最終的な印刷画像を作るために、仕上がり画像ファイルは、ユーザによって所望の大きさの最終的な出力画像を作るように画像処理プログラムを通じて調整されることがあり、この最終的な出力画像とは、カメラが取得した画像から「矩形抽出(crop)」され、色調整された部分だけかもしれないし、あるいは、たとえば「モンタージュ」の中の複数の画像であるかもしれない。より詳しくは、適正なサイズの出力画像を提供するために、画像処理プログラムはまず、７５０×５００ＲＧＢ ＣＦＡ補間画像データを矩形抽出し、次に、編集ステップ２７で、別の補間アルゴリズムを使って「仕上がり」ＲＧＢ画像ファイルの矩形抽出バージョンから最終的な所望の出力画像に変換する。

この先行技術による方式では、２回の補間ステップ、つまり７５０×５００画素のデータアレイを保持しながらイメージセンサからの「失われた」ＲＧＢデータを保管するステップ（ステップ１６）と、選択された抽出部から、所望の出力サイズを提供する画素データアレイに保管する第二のステップ（ステップ２７）を用いる。したがって、ユーザは最終的なプリントサイズ（たとえば、８”×１０”）を選択し、画像が補間されてそのプリンタにとって適当なサイズの画像データ記録が生成される。たとえば、出力デバイスが１インチ２００画素で印刷した場合、画像データはコンピュータまたはププリンタによって１６００×２０００画素まで補間され、（さらに任意で鮮鋭化されて）所望の画像サイズを生成する。これに加え、この周知の方法はしばしば２回の別々の鮮鋭化作業を用い、１回はＣＦＡ補間ステップ１６の後に７５０×５００画素のＣＦＡ補間画像データについて行われ、もう１回は印刷直前に補間された１６００×２０００画素画像データについて行われる。

先行技術による手法には数多くの問題がある。第一に、画像をＣＦＡ画像データ（たとえば、１つのカラーデータにつき１２ビットを生成する）から１色８ビット（１画素２４ビット）の色空間に変換する工程では、取得された画像の色域とダイナミックレンジを縮小するため、特定の画像の品質が制限される。第二に、２回の補間ステップ（標準サイズの画像を生成するＣＦＡ補間と所望のプリントサイズを生成するためのコンピュータまたはプリンタ内での補間）により、センサのＣＦＡデータをプリンタに送られる出力画像データに直接補間するという補間ステップが１回のみの場合より多くの補間アーチファクトが発生する。最後に、２回の別々の鮮鋭化ステップを用いることによってもアーチファクトが発生する。

そこで求められるのは、標準的な「仕上がり」画像ファイルフォーマットを使用し、多くのアプリケーションがその画像を使用できるという利点を保ちながら、さらに、画像編集ソフトウェアを含む特定のタイプのデバイスが、生のカメラデータにアクセスし、画像の編集、印刷時に改善された画像品質を提供することができるようなデジタルカメラとデジタルイメージングシステムである。

米国特許第３，９７１，０６５号

本発明は、上記の問題のひとつまたはいくつかを克服することに関する。要約すれば、本発明の１つの態様によると、カラー画像を取得するための電子カメラは、カラーフィルタアレイ（ＣＦＡ）パターンで覆われ、ＣＦＡパターンに対応するセンサカラー画像データを生成するための個別の感光画像素子を有するイメージセンサと、センサカラー画像データから未補間のデジタルＣＦＡ画像データを生成するためのＡ／Ｄコンバータと、未補間のデジタルＣＦＡ画像データを処理して補間済み画像データを生成し、未補間のＣＦＡ画像データと補間済み画像データの両方を含むＴＩＦＦ画像ファイルを形成するためのプロセッサと、ＴＩＦＦ画像ファイルを保存するためのメモリとを備える。

本発明の別の態様によれば、カラーフィルタアレイ（ＣＦＡ）パターンで覆われ、ＣＦＡパターンに対応する未補間のＣＦＡ画像データを生成するためのイメージセンサを有するカラー画像取得デバイスから得られた画像を保存するための単独画像ファイルが提供され、ＣＦＡ画像データはさらに処理されて、補間、圧縮済み画像データを形成し、単独画像ファイルは、未補間のＣＦＡ画像データを保存するための第一のファイル領域と、補間、圧縮済みデータをＪＰＥＧ画像データとして単独画像ファイル内に保存するための第二のファイル領域と、補間、圧縮済み画像データを生成するために使用された第一の画像処理パラメータを保存するための第三のファイル領域を備える。

本発明のさらに別の態様によれば、カラー画像を取得し、処理する方法であって、この方法は、
（ａ）デジタル画像取得デバイスにおいて、カラーフィルタアレイ（ＣＦＡ）を通じて画像要素のアレイを取得し、ＣＦＡパターンに対応するカラー画像データであるＣＦＡ画像データを生成するステップと、
（ｂ）デジタル画像取得デバイスに保存された画像処理パラメータを使ってＣＦＡ画像データを処理し、補間済み画像データを生成するステップと、
（ｃ）ＣＦＡ画像データと補間済み画像データと画像処理パラメータを含む単独画像ファイルをデジタル画像取得デバイスのメモリに保存するステップと、
（ｄ）単独画像ファイルを第二のデバイスに転送するステップと、
（ｅ）第二のデバイスがＣＦＡ画像データを処理することができるか否かを判断するステップと、
（ｆ）第二のデバイスがＣＦＡ画像データを処理できる場合、単独画像ファイル内のＣＦＡ画像データと画像処理パラメータにアクセスするステップと、
を含む。

本発明の利点は、他の生ファイルのように生の画像の編集が可能なアプリケーションソフトウェアによって使用／編集可能な生のＴＩＦＦ画像ファイルが、他の標準画像ファイルと同様に、ＴＩＦＦファイルから抽出され、すぐに表示するために使用されることのできる標準仕上がりファイル画像も含む点である。

本発明の上記およびその他の態様、目的、利点は、好ましい実施例に関する以下の詳細な説明と付属の特許請求範囲を読み、添付の図面を参照することによってより明確に理解される。

電子センサを利用したデジタルカメラと、得られた画像データの電子的な処理と保存はよく知られているため、本明細書では、特に本発明による装置の一部を構成する、あるいはこれとより直接的に協働する要素を説明する。本明細書中で具体的に示されていない、あるいは説明されていない要素は、当業界で周知の要素から選択することができる。以下に説明する実施例の特定の態様は、ソフトウェアで実現されるかもしれない。以下に説明するシステムを用いた場合、本発明を実施するためのこのようなソフトウェアはすべて従来のもので、当業界の一般的技術によるものである。

まず図３を見ると、システムのブロック図はカメラ３０とホストコンピュータ３２を示している。カメラ３０は、画像光(image light)をイメージセンサ３６に当てるため光学部３４を備え、イメージセンサ３６は一般的に電荷結合素子（ＣＣＤ）等の単独のイメージセンサである。イメージセンサ３６は、たとえば７５０×５００画素の個別の感光画像要素のアレイをカラーフィルタアレイ（ＣＦＡ）パターンに重ねて備え、ＣＦＡパターンに対応するカラー画像データを生成する。光学部は、イメージセンサ３６の画像光への露出を調整するレンズ３８とシャッタ絞りデバイス４０を備える。クロック発生器・ドライバ回路４２は、イメージセンサ３６からのカラー画像データを生成するのに必要な波形を供給し、出力データはアナログ信号処理（ＡＳＰ）および１２ビットアナログ／デジタル（Ａ／Ｄ）変換部４４に印加され、Ａ／Ｄ変換部がカラー画像データからデジタルＣＦＡデータを生成する。

上記の結果として得られたデジタルデータは、デジタル信号プロセッサ４６に印加され、デジタル信号プロセッサはたとえば、ＤＰＣＭコーディング等を用いる数値的にロスレス(lossless)または視覚的にロスレスの圧縮技術を使って画像データを圧縮するか、あるいはその他の方法で画像データを保存のために処理する。処理されたデジタルＣＦＡデータは、出力インタフェース４８を通じて取り外し可能メモリ５０に供給される。動作中、ＣＦＡ画像データは固定サイズの画像を表し、これは通常、イメージセンサ３６の実際の大きさに略対応する画像である。その結果、メモリ５０は、この固定された画像サイズに対応する固定数の画像要素からのデジタルＣＦＡ画像データを保存する。さらに、メモリ５０に保存されたデジタルＣＦＡ画像データは、イメージセンサに使用されたカラーフィルタアレイパターンのタイプも説明する画像ファイルのほか、取得された画像の低解像度のサムネイルバージョンの中に含められることがある。

出力インタフェース４８は、たとえば１９９７年３月にカリフォルニア州サニーベールのパーソナル・コンピュータ・メモリ・カード・インタナショナル・アソシエーョンにより発表されたＰＣカード規格に記載されているＰＣＭＣＩＡカード等の従来のカードインタフェース規格に合わせたメモリカードインタフェース４８ａである。したがって、取り外し可能メモリ５０は、Ｆｌａｓｈ ＥＰＲＯＭメモリ等のソリッドステートメモリを含む不揮発性ＰＣＭＣＩＡメモリカード、あるいは小型ハードドライブ（ＰＣＭＣＩＡカードインタフェース規格でＰＣＭＣＩＡ−ＡＴＡタイプIIIハードドライブに分類される）である。その他のカードインタフェース規格にはＤＯＳファイルフォーマットのＣｏｍｐａｃｔＦｌａｓｈ ＡＴＡがある。また、フロッピー（登録商標）ディスク磁気媒体または光記憶装置等、別の不揮発性記憶デバイスも使用できる（この場合、たとえば磁気または光読取／書込みヘッド等の適当なインタフェースや従来の読取／書込み装置をカメラ３０に内蔵させる）。

上記に加え、カメラは、たとえば取得された画像に対応するデジタルＣＦＡデータをダウンロードするためにカメラ３０をホストコンピュータ３２に直接接続するホストコンピュータインタフェースドライバ５２を備える。（この工程において、取り外し可能メモリ５０がバッファメモリとして機能するか、あるいは別のバッファメモリ（図示せず）を設ける。）カメラ３０はさらに、（ａ）クロック発生器・ドライバ回路４２と、（ｂ）ＡＳＰおよびＡ／Ｄ部４４、デジタル信号プロセッサ４６および出力インタフェース４８を備えるデジタル信号処理チェーンと、（ｃ）インタフェースドライバ５２を制御するための制御プロセッサ５４も備える。インタフェースドライバ５２は、ＳＣＳＩ，ＩＥＥＥ−１３９４，ＵＳＢ，ＦｉｒｅｗｉｒｅまたはＲＳ−２３２インタフェース等の従来のコンピュータインタフェースを提供する。したがって、カメラ３０からのデジタルＣＦＡデータはホストコンピュータ３２と、インタフェースドライバ５２または、取り外し可能メモリ５０を受けるカードリーダ５６を通じてインタフェースする。

出力画像を生成するために、ホストコンピュータ３２は、取得された画像を処理し、ディスプレイ５８上でソフトコピー、またはプリンタ６０（またはたとえばフィルムライタその他の）上でハードコピーを生成するためのアプリケーションプログラムを備える。たとえば、アプリケーションプログラム（図示せず）は、ＣＦＡ補間と同時に直接画素マッピング／矩形抽出を適用するアルゴリズム部を含む。コンピュータはさらに、カメラにより提供された固定画像サイズから一部の画素を使用する出力画像サイズに矩形抽出するための、ユーザが操作する手段となるユーザインタフェース（図示せず）を備える。アプリケーションプログラムは次に、矩形抽出された画像要素から出力画像の各画像要素に関するフルカラーデータを補間し、選択された出力画像サイズの補間済み出力画像を生成する。ホストコンピュータ３２はさらに、伝送リンク７０（インターネット等）を通じてリモートコンピュータ７２やハードコピープリンタ等のリモート出力デバイス７４に接続されている場合もある。

本発明によるイメージングシステムの動作を図４のフローチャートに示し、本発明で使用される画像フォーマットの表現を図５に示す。図１に関して説明したとおり、ユーザは取得ステップ１０においてカメラを操作して写真を撮り、次に接続ステップ１２でカメラまたはカードをホストコンピュータに接続する。ユーザはダウンロードステップ１４で、処理され、ＦｌａｓｈＰｉｘフォーマット等の仕上がりファイルフォーマットに変換されるべき画像を選択する。仕上がり画像データを生成するために、図１に示される処理ステップ１６に関連して述べたように、カメラからの７５０×５００ベイヤパターンＣＦＡ画像データが解凍、補間され、ＣＦＡ補間、色補正されたｓＲＧＢ画像データが生成され、これは後に、ファイルフォーマット化ステップ１８において、タイル状の階層的ＦｌａｓｈＰｉｘファイルの完全画像フィールド２４および低解像度画像フィールド２５に保存することができる。

本発明によれば、ファイルフォーマット拡張ステップ８０が設けられ、このステップにでは元の１２ビット圧縮ＣＦＡ画像も同じＦｌａｓｈＰｉｘファイル内にタイル状画像データとして、ただし、拡張プロパティセット２２の中のＣＦＡ画像データフィールド９４内に保存される。より詳しくは（図５を参照すると）、拡張プロパティセットには、ＣＦＡパターンと圧縮方法データ９２、ＣＦＡ画像データ９４、カメラＩＣＣプロファイル９６、サムネイル画像データ９８および上級編集項目(advanced edits)リスト１００がある。したがって、拡張データは、イメージセンサ３６で用いられるＣＦＡパターンとデジタル信号プロセッサ４６によって使用される圧縮データを提供するメタデータを含んでいてもよく、これらはＣＦＡパターンと圧縮方法データ９２の中に保存される。カメラＭＴＦ（変調送信関数）値はＭＴＦデータ９５の中に表として保存される。拡張プロパティセット２２に保存されるＣＦＡデータの色を特徴付けるＩＣＣ（インタナショナル・カラー・コンソーシアム）プロファイルは、ＩＣＣプロファイル９６に保存されることがある。これは、ＦｌａｓｈＰｉｘ画像ファイルの中でｓＲＧＢ色データを説明するために使用される任意のプロファイルとは異なるＩＣＣプロファイルである点に留意されたい。ＦｌａｓｈＰｉｘフォーマットの標準的な使用において、編集ステップ８２において標準ファイルフォーマットを編集すべき場合、簡単な変更(modification)（回転、矩形抽出、鮮鋭化等）では画像データ２４，２５は変更されない。変更されずに、変更リストがビューイングパラメータセット２０の中に記録され、標準サムネイルデータ２３も変更される。赤目修正等のより複雑な変更には、画像データのその部分を変更することが必要となる。これらの変更を記録して、後にＣＦＡ画像データ９４に適用できるようにするために、メタデータはこの編集データを上級編集項目リスト１００の中にリストアップし、標準ＦｌａｓｈＰｉｘビューイングパラメータの変更のほかにアプリケーションプログラムが行う編集を表す。さらに、メタデータはサムネイル画像データ９８の中に未変更のサムネイル画像を含んでいてもよく、これを変更されたサムネイル画像データ２３と比較して、その後の画像編集アプリケーションによって原画像データに何らかの変更が加えられたか否かを判断することができる。

前述のように、画像ファイルがアプリケーションによって、たとえば矩形抽出または画像の色もしくは明るさの調整等で変更されると、ＣＦＡ画像データ９４は編集された画像を適正に表現するものではなくなる。ＦｌａｓｈＰｉｘ画像フォーマットにおいて、アプリケーションがＦｌａｓｈＰｉｘファイル内の拡張プロパティセットに記憶された補助的データ（ＣＦＡ画像データ９４等）の有効性を判断することができるようなメカニズムが指定される。このような拡張セットについては、本願の譲受人に譲渡された１９９９年１１月９日発行の米国特許第５，９８３，２２９号にさらに詳しく説明されている。この特許によれば、拡張部は拡張永続プロパティを示すためのフィールドを含む。拡張永続プロパティは、ファイルのコア要素が変更されるか否かに応じた拡張データの有効性を示す。拡張永続プロパティに関する数値と各々に対応する意味は次のとおり。

拡張プロパティセット２２の拡張永続値は、本発明によれば、０×２に設定され、拡張データ（ＣＦＡ画像データ９４等）がファイルのコア要素の変更により無効となる可能性があることを示す。したがって、拡張プロパティセット２２は、拡張を理解するアプリケーションがその拡張は有効か無効かを判断できるまで、ＦｌａｓｈＰｉｘファイル内に残る。

すると、この拡張データを含むＦｌａｓｈＰｉｘファイルは、拡張プロパティセット２２の中のデータの意味を理解しないアプリケーションも含め、どのＦｌａｓｈＰｉｘイネーブルアプリケーションもこれを使用することができる。より詳しくは、図４において、拡張データを含むファイルはローカルリンケージ８６またはリモートリンケージ８８を通じて印刷ステージ（ステップ８４）に転送されることがあり、この場合、拡張データはファイルから分離され（ステップ９０）、印刷ステージに送られる（ステップ８４）。画像はさまざまな方法で変更可能であり、たとえば、矩形抽出、明るさ調整(lighten)、赤目修正のための処理等が行われる。場合により（たとえば、矩形抽出や明るさ調整）、このような変更は、画像データ２４，２５を変更するというより、ＦｌａｓｈＰｉｘファイルのビューイングパラメータ２０を調整することによって行うことができる。しかしながら、いずれの場合も、アプリケーションプログラムは標準ＦｌａｓｈＰｉｘサムネイル画像データ２３を変更し、画像変更を正確に反映させる。

画像データが、拡張プロパティセット２２の意味を理解しない「古い」プリンタにより印刷される場合、標準ＦｌａｓｈＰｉｘ画像データは先行技術におけるものと同じ方法で印刷される。しかしながら、拡張プロパティセット２２を理解する印刷アプリケーションであれば、通常、拡張部に保存されたＣＦＡ画像データを処理して、印刷されるべきデータを供給する。これは、２００３年１１月１８日発行の米国特許第６，６５０，３６６号に記載されているように行われる。本願において、「原」画像データ（任意で数値的ロスレスまたは視覚的ロスレス技術を使って圧縮される）は、デジタルメモリ上でデジタル画像ファイル内に保存され、ホストコンピュータに転送される。この画像ファイルは、最終的にレンダリングされる画像が作成されるまで保持される。画像の「ソフトコピー」品質バージョンがユーザに対して表示され、ユーザはこの画像を矩形抽出し、印刷用、他の文書への組み込み用等のあらゆるサイズの出力画像を作成するよう決定できる。利点はここにある。つまり、最終的な高品質画像を作るために、原画像データの抽出部分を１つの段階で直接補間し（、また任意で鮮鋭化し）、適正な出力画像サイズを作ることである。入力画素を、ＣＦＡ補間を含む１つのステージで所望の出力画素に直接マッピングすることにより、補間によるアーチファクトが最小限に抑えられる。さらに、この段階で画像を鮮鋭化すると、複数の鮮鋭化ステージを経ることで発生するアーチファクトによる劣化が発生せず、出力画像の鮮鋭さが改善される。

したがって、カメラから得られた７５０×５００のベイヤパターンデジタルＣＦＡ画像データは、ユーザの指定に従って解凍、矩形抽出され、たとえば画像の２５６×２５６の正方形部分が使用される。その後、ＣＦＡ補間と空間処理は、米国特許第６，６５０，３６６号に詳細に記載されているように１つの処理ステップにまとめられ、より大きな正方形の画像、たとえば１０２４×１０２４画素の画像等、最終的な出力画像データが生成される。ＣＦＡ補間ステップは、多数の周知の補間技術のいずれを使って実行してもよい。たとえば、以下の特許による補間技術を利用できる。米国特許第５，３７３，３２２号、米国特許第５，３８２，９７６号、米国特許第５，５０６，６１９号、米国特許第５，６２９，７３４号。これらの特許の各々は、参照することによって本願に援用される。

最終的なサイズの画像記録の補間後、画像は１つの鮮鋭化ステップで鮮鋭化される。この鮮鋭化には、参照によって本願に援用される米国特許第５，６９６，８５０号に記載された技術を利用できる。この特許では、カメラからの変調送信関数（ＭＴＦ）カリブレーションデータ９５とプリンタＭＴＦデータ（図示せず）を使って、電子カメラで撮影されたあらゆるサイズのデジタル再現物を最適に鮮鋭化するにはどの鮮鋭化フィルタが適当かを決定する。画像データは最終的にハードコピーの形態でハードコピープリンタ６０またはリモートプリンタ７４（図３）によって印刷される。

ファイル内の画像データが画像処理アプリケーションによって改変されていないこと（たとえば、「赤目」修正またはその他が行なわれた可能性がある）を確認するために、拡張プロパティセット２２の中の原サムネイル画像データ９８は、ＦｌａｓｈＰｉｘファイルに含まれるビューイングパラメータ２０のいずれか（または拡張プロパティセット２２に含まれる上級編集項目１００のいずれか）を適用し、その結果を同じファイル内の標準サムネイル画像２３と比較することによって処理される。２つの画像が異なれば、原画像データが何らかの不明な方法で変更されており、ＣＦＡ画像データ９４を使って出力印刷画像を作るべきではないことを意味する。この場合、出力印刷は、「古い」プリンタが拡張データを認識しない場合と同様に、標準ＦｌａｓｈＰｉｘ画像データ２４を使って行われる。

多くのアプリケーションは、参照によって本願に援用されるＩＳＯ／ＩＥＣ １０９１８−１のベースラインＤＣＴ（ＪＰＥＧ）バージョンにより定義される「ＪＰＥＧ交換用フォーマット」（ＪＥＦ）ファイルに保存された画像を開くことができる。この規格により、「アプリケーションセグメント」をＪＩＦビットストリームに含めることができる。アプリケーションセグメント内のデータは、アプリケーションセグメント内のデータの意味がわからないアプリケーションによって無視される。補助データと低解像度の「サムネイル」画像を保存するために１つのアプリケーションセグメントを使用する画像ファイルフォーマットが多数開発されている。このような画像フォーマットには、Ｃ−キューブ・マイクロシステムズによる１９９２年９月１日の"JPEG File Interchange Format Version 1.02"において定義されているＪＦＩＦ、ＪＥＩＤＡ／エレクトロニック・スティル・カメラ・ワーキング・グループによる１９９５年３月４日の"Digital Still Camera Image File Format Proposal (Exif) Version 1.0"に記載されているＥｘｉｆ（交換可能画像フォーマット）のＪＰＥＧ圧縮版、"ITU-T Rec. T.84, Annex F？Still Picture Interchange File Format, 1995"において定義されているＳＰＩＦＦがあり、上記文献の各々を参照によって本願に援用する。

図６に示す第二の実施例では、ＪＰＥＧ交換用フォーマットファイルが使用される。ファイルには、ＩＳＯ ＪＰＥＧ規格（ＩＳＯ／ＩＥＣ １０９１８−１）により有効な完全ＪＰＥＧデータストリームが含まれている。図６に示されるフィールドは、以下のように識別される。
ＳＯＩ＝画像の開始
ＡＰＰ＝アプリケーションセグメント
ＤＱＴ＝量子化テーブルを定義
ＤＨＴ＝ハフマンテーブルを定義
ＳＯＦ＝フレームの開始
ＳＯＳ＝スキャンの開始
ＥＯＩ＝画像の終了
より詳しくは、ＪＰＥＧデータストリームは、図５に関連して述べたように、ＦｌａｓｈＰｉｘ拡張プロパティセット２２に保存されているものと同じ種類の情報を含むアプリケーションセグメント１０２（この例ではアプリケーションセグメント７（ＡＰＰ７））も含む。

図７から図１０は、本発明のさらに別の実施例に関する。この実施例において、イメージセンサ３６からの未補間の画像データが、ＴＩＦＦ画像フォーマットを使って、いわゆる「生（ＲＡＷ）」カメラデータとして保存される。このＴＩＦＦ画像ファイルは、スイスのジュネーブにおける国際標準化組織から入手可能なＩＳＯ １２２３４−２：２００１に定義されているＴＩＦＦ−ＥＰ規格に完全に適合する。

通常のＴＩＦＦ−ＥＰの生ファイルを使用する場合のひとつの問題は、どのアプリケーションでも、表示または印刷前に生データを補間データに変換するのに必要な処理を行わなければならないことである。デジタルカメラの種類によって実行する補間処理のタイプも異なるため、画像表示アプリケーション、画像編集アプリケーションまたはデジタルプリンタ内に、上記のようなカメラすべてのための処理を提供することは困難である。

ＴＩＦＦファイルは１つのファイル内の複数の画像をサポートできるため、本発明の発明者は、「仕上がり」処理され、圧縮されたＪＰＥＧ画像をＴＩＦＦ−ＥＰファイルの中に入れ、その一方でＴＩＦＦ−ＥＰ規格との適合性を維持することが可能であることに気づいた。ＴＩＦＦファイル内のＪＰＥＧ画像データは、「生（ＲＡＷ）」カメラファイルを処理することができないデバイス（コンピュータソフトウェアアプリケーションや家庭用フォトプリンタ等）との両立を可能にするために使用できる。生画像データには、画像エディタよって変更されるべき画像のみがアクセスすればよい。

図７は、本発明による電子イメージングシステムの他の実施例のブロック図である。電子イメージングシステムは、画像を取得し、取り外し可能メモリカード５０Ａに保存するカメラ３０Ａを備える。図３に関して前述したように、デジタルカメラ３０Ａは、イメージセンサ３６、好ましくは電荷結合デバイス（ＣＣＤ）またはＣＭＯＳイメージセンサ等の１つのカラーイメージセンサに画像光を当てる光学部(optical section)３４を備える。イメージセンサ３６は、カラーフィルタアレイ（ＣＦＡ）パターンに重ねられた個別の感光画像要素のアレイを備え、ＣＦＡパターンに対応するカラー画像データを生成する。イメージセンサ３６は、たとえば４：３の画像アスペクト比と合計３．１有効メガピクセル（百万画素）を有し、有効列２０４８の画素と有効行１５３６の画素を有し得る。イメージセンサ３６は、１／２”型光学フォーマットを使用し、各画素は高さ約３．１ミクロン、幅約３．１ミクロンとすることができる。

光学部３４は、イメージセンサ３６の画像光への露出を調整するためのズームレンズ３８Ａとシャッタ絞りデバイス４０を備える。クロック発生器・ドライバ回路４２は、センサ出力データを供給するためにイメージセンサ３６からカラー画像データを生成し、これを転送するために必要な波形を供給し、このセンサ出力データはアナログ信号処理（ＡＳＰ）および１２ビットアナログ／デジタル（Ａ／Ｄ）変換部４４に印加され、これがカラー画像データからデジタルＣＦＡデータを生成する。クロック発生器・ドライバ回路４２はまた、外光が不十分なときにシーンを照明するためのフラッシュユニット（図示せず）も制御する。イメージセンサ３６がＣＭＯＳイメージセンサである場合、ＡＳＰおよびＡ／Ｄ ４４とクロック発生器・ドライバ４２は、同じ集積回路でイメージセンサ３６と一緒に装備することができる。

ＡＳＰおよびＡ／Ｄ ４４から得られるデジタルデータは一時的にＤＲＡＭバッファメモリ４５に保存され、その後、デジタル信号プロセッサ４６に印加される。デジタル信号プロセッサ４６によって行われる処理は、たとえばフラッシュＥＰＲＯＭメモリであるファームウェアメモリ１２８に記憶されるファームウェアによって制御される。デジタル信号プロセッサ４６は、一般的にプログラマブル画像プロセッサであるが、ハードワイヤ接続されたカスタム集積回路（ＩＣ）プロセッサ、汎用マイクロプロセッサあるいはハードワイヤ接続されたカスタムＩＣとプログラマブルプロセッサの組み合わせでもよい。

デジタル信号プロセッサ４６はまた、ユーザコントロール１３４とインタフェースし、カラー信号をカラーディスプレイ１３２に供給する。カラーディスプレイ１３２に表示されるグラフィカルユーザインタフェースは、ユーザコントロール１３４によって制御される。取得された画像は、カラーディスプレイ１３２上で、ＤＲＡＭ １２２に保存されたサムネイルまたはスクリーンネイル画像データを使って閲覧できる。ユーザコントロール１３４により、ユーザはホワイトバランス設定、色設定、鮮鋭さレベル設定、圧縮品質設定等、各種のカメラパラメータを設定できる。

ユーザコントロール１３４は、ズームレンズ３８Ａの焦点距離設定を制御するズームコントロール（図示せず）を備えていてもよい。最大望遠ズーム設定に到達すると、デジタル信号プロセッサ４６はイメージセンサ３６により供給された画像データを矩形抽出、リサンプルして「デジタルズーム」を提供することができ、これについては、図８を参照しながら後述する。

カメラ３０Ａはまた、重力方向センサ(gravitational orientation sensor)１４０を備えていてもよい。重力方向センサ１４０は、デジタル画像取得時にカメラが正常な水平の「横長方向」であるか、第一の（時計回り方向に９０度回転させた）縦の「縦長方向」であるか、あるいは第二の（反時計周り方向に９０度回転させた）縦の「縦長」方向であるかを判断するために使用される。重力方向センサ１４０からの信号は、参照によってその開示が本願に援用される、本願と同じ譲受人に譲渡された米国特許第５，９００，９０９号に記載されているように、デジタル信号プロセッサ４６が取得された画像を自動的に適正な「直立」方向にすべきか否かを判断するために使用できる。

ある実施例において、カメラ３０Ａはまた「パノラマ」モードを有していてもよく、このモードでは、イメージセンサ３６からの画素の中央の行だけを用いて上下の行を廃棄することによって幅広いアスペクト比の画像が提供される。これは、参照によってその開示を本願に援用する、ラバジエヴィッチ(Labaziewicz)らによる２００５年２月１８日出願の米国特許出願第１１／０６２，１７４号に記載されているように行われる。

デジタル信号プロセッサは取得されたＣＦＡ画像データを処理し、図８に関して後述するように、デジタル画像ファイル４５０（図８に示す）を生成する。デジタル画像ファイル４５０はメモリカードインタフェース４８Ａに供給され、メモリカードインタフェースはデジタル画像ファイル４５０を取り外し可能メモリカード５０Ａに保存する。取り外し可能メモリカード５０Ａは一種の取り外し可能デジタル画像保存媒体であり、何種類かの物理的フォーマットで入手できる。たとえば、取り外し可能メモリカード５０Ａは、（以下に限定されないが）Ｃｏｍｐａｃｔ Ｆｌａｓｈ，ＳｍａｒｔＭｅｄｉａ（登録商標），ＭｅｍｏｒｙＳｔｉｃｋ，ＭＭＣ，ＳＤまたはＸＤメモリカードフォーマット等の周知のフォーマットに適合するメモリカードとすることができる。これ以外にも、磁気ハードドライブ、磁気テープまたは光ディスク等の取り外し可能デジタル画像保存媒体も、上記の代わりにデジタル静止画および動画の保存に使用できる。あるいは、デジタルカメラ３０Ａは、内部フラッシュＥＰＲＯＭメモリ等の内部不揮発性メモリ（図示せず）を処理済みのデジタル画像ファイルの保存に使用してもよい。このような実施例では、メモリカードインタフェース４８Ａと取り外し可能メモリカード５０Ａは不要となる。

カメラ３０Ａは、カメラ３０Ａをドック／充電器３６４に接続するためのドックインタフェース１６２を備え、ドック／充電器３６４はコンピュータ３２Ａに接続される。ドック／充電器３６４は、カメラ３０Ａに電源供給するためのバッテリ（図示せず）を充電することができる。ドックインタフェース１６２とドック／充電器３６４は、ＵＳＢまたはＩＥＥＥ−１３９４インタフェース等の従来のコンピュータインタフェースを使って通信する。その結果、デジタルカメラ３０Ａによって提供されたデジタル画像ファイル４５０は、ドック／充電器３６４またはメモリカードリーダ５６Ａのいずれかを通じ、取り外し可能メモリカード５０Ａを使ってコンピュータ３２Ａに転送できる。

出力画像を生成するために、ホストコンピュータ３２Ａは、転送された画像ファイルを処理し、ディスプレイ５８Ａ上に表示されるソフトコピーか、プリンタ６０Ａで印刷されるハードコピーを生成するためのアプリケーションプログラムを備える。アプリケーションプログラム（図示せず）は、画像ファイルからの生画像データを処理し、図８に関して後述するように、ユーザが各種の画像処理パラメータを調整できるようにする。たとえば、ディスプレイ５８Ａに表示されるグラフィックユーザインタフェースは、カメラにより提供される固定の画像サイズから一部の画素を使用する出力画像サイズに抽出するためのユーザ操作手段を提供するユーザコントロールを備えることができる。次に、アプリケーションプログラムは、矩形抽出された画像要素から出力画像の各画像要素についてフルカラーデータを補間し、選択された出力画像サイズの補間済み出力画像を生成する。グラフィックユーザインタフェースにより、ユーザは諧調再現、色再現、ホワイトバランス、ノイズクリーニング設定、画像の鮮鋭さを調整することもできる。

コンピュータ３２Ａはさらに、図８に関して前述したように、転送リンク７０（インターネット等）を通じてリモートコンピュータ７や、ハードコピープリンタ等のリモート出力デバイス７４に接続してもよい。取り外し可能メモリカード５０Ａはまた、家庭用フォトプリンタ３５８および小売店用フォトプリンタ３６０のメモリカードスロット（図示せず）に挿入することもできる。

図８は、デジタルカメラ３０Ａの中のデジタル信号プロセッサ４６が、生および圧縮画像データを提供する画像ファイル４５０を生成すために実行できる画像処理作業の例を示すブロック図である。図９Ａ，９Ｂは、２枚合わせてデジタル画像ファイル４５０の構造例を示す。

図８のブロック４０２において、ＤＲＡＭバッファメモリ４５（図７参照）に保存されたセンサＣＦＡデータ４００が処理され、センサの欠陥が修正される。これは、ファームウェアメモリ１２８に保存されたリストを使って欠陥のある画素を特定し（これは、カメラ３０Ａの製造時にプログラムされる）、欠陥のある画素値を、同じ色の最も近い、欠陥のない画素の平均値と等しい修正画素値に置換することによって行われる。

ブロック４０４において、欠陥修正済みＣＦＡセンサデータがリサンプルされ、たとえばベイヤパターン画素データで６４０列×４８０行の「小サイズの」生ＣＦＡデータが生成される。リサイジングは、同じ色の隣接する画素を平均することによって行うことができる。

ブロック４０６において、欠陥修正済みフルサイズＣＦＡセンサデータと小サイズＣＦＡセンサデータが、図９に示されるデジタル画像ファイル４５０、好ましい実施例においてはＴＩＦＦ／ＥＦファイル内に保存できるようにフォーマット化される。このＴＩＦＦ／ＥＰファイルは、参照によって本願に援用されるElectronic still-picture imaging--Removable memory--Part 2: TIFF/EP image data formatのＩＳＯ １２２３４−２：２００１に適合する。

図９Ａ，９Ｂを参照すると、デジタル画像ファル４５０にはＴＩＦＦヘッダ５０２と、デジタルファイル画像ファイル４５０の中のメインＥｘｉｆ／ＪＰＥＧデータ５１０の保存に使用される部分を指すＪＰＥＧ交換用フォーマットのタグ５０６を含む画像ファイルディレクトリＯ（ＩＦＤ０）５０４が含まれる。このメインＥｘｉｆ／ＪＰＥＧデータ５１０は、メインＪＰＥＧ圧縮画像５１２、ＪＰＥＧ圧縮スクリーンネイル画像５１４、ＪＰＥＧ圧縮サムネイル画像５１６を含む。これらのＪＰＥＧ圧縮画像の生成に用いられる工程については、ブロック４０８−４２４に関して後述する。

ＩＦＤ０ ５０４にはＥｘｉｆＩＦＤポインタ５２０も含まれ、これはＥｘｉｆＩＦＤ ５２２に保存される標準Ｅｘｉｆメタデータを指す。ＩＦＤ０ ５０４には画像処理パラメータＩＦＤポインタ５２４も含まれ、これはメインＥｘｉｆ／ＪＰＥＧデータ５１０の生成に使用された画像処理パラメータを保存するＩＰ ＰａｒａｍＩＦＤ ５２６を指す。

ＩＦＤ０ ５０４には、メインＣＦＡデータ５３６を指すＳｔｒｉｐＯｆｆｓｅｔポインタ５３２を含むＣｈｉｌｄ ０ｔｈ ＳｕｂＩＦＤ ５３０のポインタを含むＳｕｂＩＦＤポインタ５２８も含まれる。このメインＣＦＡデータ５３６は、図８のブロック４０２からのセンサ欠陥修正済みＣＦＡデータである。

ＳｕｂＩＦＤポインタ５２８には、小サイズＣＦＡ ５４４のデータを指すＳｔｒｉｐＯｆｆｓｅｔポインタ５４２を含むＣｈｉｌｄ １ｓｔ ＳｕｂＩＦＤ ５４０のポインタも含まれる。この小サイズＣＦＡ ５４４データは、図８のブロック４０４からのＣＦＡ画像リサンプルデータである。デジタル画像ファイル４５０が後にコンピュータ３２によって処理される際、この小サイズの生ＣＦＡデータ５４４は、コンピュータ３２Ａがディスプレイ５８Ａ上にディスプレイサイズの処理済画像をより迅速に生成することができるようにするために用いられる。なぜなら、これはコンピュータ３２ＡがフルサイズＣＦＡ画像データを処理する場合と比較して、処理する画素数がずっと少ないからである。

デジタル画像ファイル４５０がコンピュータ３２上で変更されると（図１０に関して後述するように）、ＩＦＤ０ ５０４はまた、さらに別の変更されたＪＰＥＧ画像５７０のポインタを含むことになり、これらは、デジタル画像ファイル４５０が変更済み画像ファイルとして保存される際に追加される。たとえば、画像が初めて変更されると、ＮｅｘｔＩＦＤポインタ５５０は、ＩＦＤ １（メイン画像変更済みＪＰＥＧ）５５２を指し、これはメインＥｘｉｆ／ＪＰＥＧデータ５５８（変調済み画像である）のほか、変更済みメインＥｘｉｆ？ＪＰＥＧデータ５５８を生成するために使用される画像処理設定を含むＩＰＰａｒａｍＩＦＤ ５５４へのポインタを含む。

次に画像ファルが変更され、保存されると、ＩＦＤ ２（メイン画像変更済みＪＰＥＧ）５６２は、第二の変更済み主要Ｅｘｉｆ／ＪＰＥＧデータ５６８を保存するために使用され、この第二の変調済みの主要Ｅｘｉｆ／ＪＰＥＧデータ５６８を生成するために使用された画像処理設定を含むＩＰＰａｒａｍＩＦＤ ５６４がデジタル画像ファイル４５０に追加される。さらに、ＬａｓｔＩＦＤポインタ５６０がＩＦＤ０ ５４０に追加され、ＮｅｘｔＩＦＤ ５５６ポインタがＩＦＤ１ ５５２に追加され、これらは両方とも直接ＩＦＤ２ ５６２を指す。

デジタル画像ファイル４５０がその後変更、保存されるたびに、追加のＩＦＤ（ＩＦＤ３，ＩＦＤ４等）をデジタル画像ファイル４５０に追加することができ、ＬａｓｔＩＦＤポインタ５６０は新しいＩＦＤを指すように更新できる。

図８に戻ると、ブロック４０８において、ユーザによってデジタルズーム機能またはパノラマ機能がイネーブルされていれば、画像データはユーザコントロール１３４を使って矩形抽出される。この矩形抽出は、デジタルズーム／パン設定４２８を用いる。

ブロック４１０において、回転された／矩形抽出されたＣＦＡデータはノイズクリーニングされる。このノイズクリーニングには、画像処理パラメータ４４４の一部として提供されたノイズクリーニング設定４３０が用いられる。この処理は、参照によってその開示が本願に援用される、本願と同じ譲受人に譲渡されたアダムズらの米国特許第６，６２５，３２５号に記載されたノイズクリーニング方法を使用することができる。

カラーセンサデモザイクブロック４１２において、ノイズフィルタ済みＣＦＡデータが色補間されてフル解像度のＲＧＢ画像データが提供される。この処理は、回転／リサンプル設定４３２を使用する。ＣＦＡ画像データは、必要に応じて、重力方向センサ１４０が、デジタルカメラ３０Ａが画像取得時に縦方向に保持されていることを示していれば、回転される。また、ＣＦＡ画像データがブロック４０８において矩形抽出され、デジタルズーミングされた場合、画像はブロック４１２においてリサンプルされ、フルサイズの画像ファイルが生成される。これは、参照によってその開示が本願に援用される、本願と同じ譲受人に譲渡されたパラルスキー(Parulski)らの米国特許第６，６５０，３６６号に記載された方法で行われる。

ブロック４１４において、フル解像度ＲＧＢデータは、ホワイトバランス設定４３４を使ってホワイトバランスが行われる。ホワイトバランス設定４３４は、特定の光源（日光、タングステン等）または自動ホワイトバランスモードを示すことができる。

ブロック４１６において、ホワイトバランスが行われたＲＧＢデータは色調スケールおよび色設定４３６を使用し、これは複数の色マトリクスと色調変調曲線のひとつを特定することができる。この処理には、参照によって本願に援用される、フロリダ州ボカラトンのＣＲＣ Ｐｒｅｓｓ ＬＬＣにより２００３年に発表されたDigital Color Imaging Handbookの１２．６章「色調スケール／色処理」に記載されている方法を使用できる。特に、色処理には、たとえば、参照によってその開示が本願に援用される、本願と同じ譲受人に譲渡されたパラルスキーらの米国特許第５，１８９，５１１号の図３に示されている３×３の線形空間色補正マトリクス２０を使用することができる。

ブロック４１８において、処理済みのＲＧＢ画像データが、鮮鋭化設定４３８を使って鮮鋭化される。画像鮮鋭化処理には、参照によってその開示が本願に援用される、本願と同じ譲受人に譲渡されたヒッバードらの米国特許第４，９６２，４１９号に記載された方法を利用することができる。たとえば、鮮鋭化設定は、画像を鮮鋭化するのに使用される「詳細」信号を異なる量だけ増幅する複数のコアリングルックアップテーブルのひとつを特定することができる。

ブロック４２０において、鮮鋭化された画像データは、圧縮品質設定を含む圧縮設定４４０を使って、ＪＰＥＧ圧縮される。画像圧縮には、参照によってその開示が本願に援用される、本願と同じ譲受人に譲渡されたダリーらの米国特許第４，７７４，５７４号に記載されている方法を使用することができる。圧縮品質設定は、‘５７４号特許の図１の量子化ブロック２６のための、たとえば３つの異なるテーブルである複数の量子化テーブルのひとつを特定することができる。これらのテーブルには、ＪＰＥＧ圧縮画像ファイルについての異なる品質レベルと平均ファイルサイズが示される。

ブロック４２４において、鮮鋭化画像データがリサンプルされ、２つのより小さなサイズの画像を生成する。このリサンプリングは、参照によってその開示が本願に援用される、本願と同じ譲受人に譲渡されたクフタらの米国特許第５，１６４，８３１号に記載されている方法で実現される。これらには、たとえば１６０行×１２０列のサムネイルサイズの画像と、たとえば６４０行×４８０行のスクリーンネイルサイズの画像が含まれる。ブロック４２６において、サムネイルとスクリーンネイル画像がＪＰＥＧ圧縮される。

ブロック４２２において、ＪＰＥＧ圧縮されたフル解像度の「メイン」画像、ＪＰＥＧ圧縮サムネイル画像およびＪＰＥＧ圧縮スクリーンネイル画像は、日本の東京の日本電子工業振興協会（ＪＥＩＤＡ）による１９９８年７月の「デジタル静止カメラ画像ファイルフォーマット（Ｅｘｉｆ）」バージョン２．１に定義されているＥｘｉｆ／ＪＰＥＧ画像ファイルの中に一緒にフォーマット化される。このフォーマットには、画像が取得された日時のほかレンズｆ／番号およびその他のカメラ設定を含めた特定の画像メタデータを保存するＥｘｉｆアプリケーション部を含む。その結果、図９のメインＥｘｉｆ／ＪＰＥＧデータ５１０が得られる。

デジタルズーム／パン設定４２８、ノイズクリーニング設定４３０、ホワイトバランス設定４３４、色調および色設定４３６、鮮鋭化設定４３８および圧縮設定４４０はすべて、画像処理パラメータ４４４に含まれる。ブロック４４８において、これらのパラメータは、図９の画像処理パラメータＩＦＤ ５２６内に記憶されるＴＩＦＦタグとしてフォーマット化される。

図１０は、図７のシステムを使って本発明を実現する方法を示すブロック図である。

図１０のブロック２００において、ユーザはカメラ３０Ａに関するカメラ撮影および画像処理パラメータ４４４（図８に示す）を選択する。これは、図７に関して前述したように、ユーザコントロール１３４を使って行われる。これらの設定の一部または全部は、カメラ３０Ａのファームウェアメモリ１２８に保存されたデフォルト設定とすることができる。

ブロック２０２において、ユーザはカラーディスプレイ１３２またはデジタルカメラ３０Ａ上の光学ビューファインダ（図示せず）を使って画像の構図を決定する。

ブロック２０４において、センサＣＦＡ画像データが取得され、ＤＲＡＭバッファメモリ４５に一時的に保存される。

ブロック２０６において、ＣＦＡイメージセンサデータは、デジタル信号プロセッサ４６によって処理され、図８のブロック４０８から４１８に関して前述したように、画像処理パラメータ４４４を使って処理済みＲＧＢ画像データが生成される。

ブロック２０８において、デジタル信号プロセッサ４６は、図８のブロック４２４に関して前述したよう、スクリーンネイルおよびサムネイルサイズの処理済み画像を作成する。

ブロック２１０において、メイン、スクリーンネイルおよびサムネイル画像は、図８のブロック４２０，４２４に関して前述したように、ＪＰＥＧ圧縮される。

ブロック２１２において、図８のブロック４４８に関して前述したように、図９のＩＰＰａｒａｍＩＦＤ ５２６に保存されたＴＩＦＦタグを画像処理パラメータ４４４でポピュレートする。

ブロック２１４において、図９のデジタル画像ファイル４５０は、メインＣＦＡ画像データ５３６、小サイズＣＦＡ画像データ５４４、メイン画像データ５１２、スクリーンネイル画像データ５１４、サムネイル画像データ５１６および画像処理パラメータ４４４（ＩＰＰａｒａｍＩＦＤ ５２６に保存）を含み、デジタル信号プロセッサ４６により作成される。

ブロック２１６において、デジタル画像ファイル４５０は、取り外し可能メモリカード５０Ａまたはその他のメモリデバイスに保存される。

ブロック２２０において、デジタル画像ファイル４５０は、図７に関して前述したように、カメラ３０Ａからコンピュータ３２Ａ、小売店用フォトプリンタ３６０または家庭用フォトプリンタ３５８等の他のデバイスに転送される。

ブロック２２２において、転送されたデジタル画像ファイル４５０を受け取ったデバイスは、それがＣＦＡ画像データを処理することが可能か否かを判断する。

ブロック２２４において、そのデバイスがＣＦＡ画像データを処理できない場合（ブロック２２２に対する答えがノー）、デバイスはデジタル画像ファイル４５０内からＪＰＥＧ／Ｅｘｉｆフォーマット画像データ５１０にアクセスする。これにより、それが標準ＪＰＥＧ／Ｅｘｉｆ画像ファイルであるかのようにその画像を使用することができる。すると、このＪＰＥＧ／Ｅｘｉｆ画像データはそのデバイスによって表示、印刷、記録または送信される。

ブロック２２６において、このデバイスは、ＣＦＡ画像データ（ブロック２２２に対する答えがイエス）、デバイスはデジタル画像ファイル４５０内からメインＣＦＡ画像データ５３６にアクセスする。デバイスはまた、小サイズＣＦＡ画像データ５４４にアクセスし、ユーザが対話的に変更可能な可視的画像を迅速に生成できる。

ブロック２２８において、デバイスのユーザは、希望に応じて画像処理パラメータ４４４を変更できる。したがって、ユーザはより多くの（または少ない）矩形抽出を行うようにデジタルズーム／パン設定を変更できる。たとえば、図８のブロック４０８において、パノラマ設定が上下の行を削ることによって幅広いアスペクト比の画像を提供した場合、これらの行の一部または全部を変更済みの画像に含めることができる。別の例として、ノイズクリーニング閾値４３０と鮮鋭化設定４３８を変更し、ノイズ抑制と画像鮮鋭さのバランスをよりよくすることができる。また別の例として、画像が光源として選択されたタングステンを用いて取得されたが、光源が実際には昼光である場合、ＣＦＡ画像は、当初から昼光が選択されたかのように処理することができる。露光とフレアもまた、色調および色設定４３６を変更することによって調整できる。

ある実施例において、ユーザはまた、デジタルカメラに含められていないその他のコントロール手段も利用できる。たとえば、そのようなコントロール手段により、ユーザは独立して撮影された画像のシャドウにおけるシーン照明、中間調およびハイライトを個別に調整することができる。これらの調整は、小サイズＣＦＡデータ５４４を使ってプレビューし、ユーザが自分の好む画像処理設定を対話的に決定するのに必要な計算時間を短縮できる。

ブロック２３０において、メインＣＦＡ画像データ５３６は、ユーザが変更する設定を使って再処理される。これは、異なる画像処理パラメータ４４４を使って、図８のブロック４０８から４１８を繰り返すことと同様である。

ブロック２３２において、変更された設定と追加の処理済みＪＰＥＧファイルがデジタル画像ファイル４５０内に保存される。これらのＪＰＥＧファイルを提供するために、ブロック２３０からの再処理された画像データがリサンプルされ、変更後の画像のサムネイルおよびスクリーンネイル画像が生成され、メイン、サムネイルおよびスクリーンネイル画像がＪＰＥＧ圧縮され、図９Ａ，９Ｂに関して前述したＩＦＤ １（メイン画像変更ＪＰＥＧ）５５２に含められる。さらに、変更された画像を生成するために使用される画像処理パラメータは、ＩＰＰａｒａｍＩＦＤ ５６４の中に保存される。

別の実施例において、画像変更の際にＩＦＤ１ ５５２とＩＰＰａｒａｍＩＦＤ ５５４をデジタル画像ファイル４５０に追加する代わりに、メインＥｘｉｆ／ＪＰＥＧデータ５１０を変更後のＪＰＥＧ画像データに置き換えることができ、またＩＰＰａｒａｍＩＦＤ ５２６パラメータを変更後のパラメータに置き換えることができる。

ブロック２３４において、変更、処理されたＣＦＡ画像データは、たとえばディスプレイ５８Ａを使って表示され、あるいは、たとえばプリンタ６０Ａを使って印刷される。

画像データを取得し、処理するための周知の手法のフローチャートである。 周知のＦｌａｓｈＰｉｘファイルフォーマットを示す図である。 本発明による、処理済みおよび未処理画像データを保存し、選択的に転送できる電子イメージングシステムのブロック図である。 本発明による、処理済みおよび未処理画像データの保存と選択的な転送および処理を示すフローチャートである。 本発明による、拡張データを取り入れたＦｌａｓｈＰｉｘファイルフォーマットを示す図である。 本発明による、拡張データを取り入れたＪＰＥＧ交換用ファイルフォーマットを示す図である。 本発明の別の実施例を示す電子イメージングシステムのブロック図である。 生画像データおよび圧縮画像データを提供する画像ファイルを生成するために実行できる画像処理作業の一例を示すブロック図である。 ２枚合わせて、生画像データ、ＪＰＥＧ圧縮画像データ、画像処理パラメータメタデータを含むＴＩＦＦ画像ファイルを示す図である。 ２枚合わせて、生画像データ、ＪＰＥＧ圧縮画像データ、画像処理パラメータメタデータを含むＴＩＦＦ画像ファイルを示す図である。 図７のシステムを使用して本発明を実施する方法を示すフローチャートである。

符号の説明

１０ 取得ステップ
１２ 接続ステップ
１４ ダウンロードステップ
１６ 処理ステップ
１８ ファイルフォーマット化ステップ
１９ ヘッダ
２０ ビューイングパラメータ
２１ プロパティセットデータ
２２ 拡張プロパティセットデータ
２３ サムネイル画像データ
２４ 完全画像データ
２５ 低解像度画像データ
２６ 廃棄ステップ
２７ 編集ステップ
２８ アプリケーションステップ
３０ カメラ
３０Ａ カメラ
３２ ホストコンピュータ
３２Ａ ホストコンピュータ
３４ 光学部
３６ イメージセンサ
３８ レンズ
３８Ａ ズームレンズ
４０ シャッタ絞りデバイス
４２ クロック発生器・ドライバ回路
４４ ＡＳＰおよびＡ／Ｄ部
４５ ＤＲＡＭバッファメモリ
４６ デジタル信号プロセッサ
４８ 出力インタフェース
４８ａ メモリカードインタフェース
５０ 取り外し可能メモリ
５０Ａ 取り外し可能メモリ
５２ インタフェースドライバ
５４ コントロールプロセッサ
５６ カードリーダ
５６Ａ メモリカードリーダ
５８ ディスプレイ
５８Ａ ディスプレイ
６０ ハードコピープリンタ
６０Ａ プリンタ
７０ 送信リンク
７２ リモートコンピュータ
７４ リモート出力デバイス
８０ ファイルフォーマット拡張ステップ
８２ 編集ステップ
８４ 印刷ステップ
８６ ローカルリンケージ
８８ リモートリンケージ
９０ 分離ステップ
９２ ＣＦＡパターンと圧縮方法データ
９４ ＣＦＡ画像データ
９５ カメラＭＴＦカリブレーションデータ
９６ カメラＩＣＣプロファイル
９８ サムネイル画像データ
１００ 上級編集項目リスト
１０２ アプリケーションセグメント
１２２ ＤＲＡＭバッファメモリ
１２８ ファームウェアメモリ
１３０ フラッシュ
１３２ カラーディスプレイ
１３４ ユーザコントロール
１４０ 重力方向センサ
１６２ ドックインタフェース
２００ ブロック
２０２ ブロック
２０４ ブロック
２０６ ブロック
２０８ ブロック
２１０ ブロック
２１２ ブロック
２１４ ブロック
２１６ ブロック
２２０ ブロック
２２２ ブロック
２２４ ブロック
２２６ ブロック
２２８ ブロック
２３０ ブロック
２３２ ブロック
２３４ ブロック
３５８ 家庭用フォトプリンタ
３６０ 小売店用フォトプリンタ
３６４ ドック／充電器
４００ センサＣＦＡデータ
４０２ センサ欠陥修正
４０４ ＣＦＡ画像リサンプリング
４０６ ＴＩＦＦ生ファイルフォーマット化
４０８ ＣＦＡデータ矩形抽出
４１０ センサノイズクリーニング
４１２ カラーセンサデモザイク
４１４ ホワイトバランス
４１６ 色調スケール／色処理
４１８ 鮮鋭化
４２０ ＪＰＥＧ圧縮
４２２ Ｅｘｉｆファイルフォーマット化
４２４ サムネイルおよびスクリーンネイルリサンプリング
４２６ ＪＰＥＧ圧縮
４２８ デジタルズーム／パン設定
４３０ ノイズクリーニング閾値
４３２ 回転／リサンプル設定
４３４ ホワイトバランス設定
４３６ 色調および色設定
４３８ 鮮鋭化設定
４４０ 圧縮設定
４４４ 画像処理パラメータ
４４８ ＴＩＦＦタグフォーマット化
４５０ デジタル画像ファイル
５０２ ＴＩＦＦヘッダ
５０４ ＩＦＤ０
５０６ ＪＰＥＧ交換用フォーマットポインタ
５１０ メインＥｘｉｆ／ＪＰＥＧデータ
５１２ メイン画像
５１４ スクリーンネイル画像
５１６ サムネイル画像
５２０ ＥｘｉｆＩＦＤポインタ
５２２ ＥｘｉｆＩＦＤ
５２４ ＩＰＰａｒａｍＩＦＤポインタ
５２６ ＩＰＰａｒａｍＩＦＤ
５２８ ＳｕｂＩＦＤポインタ
５３０ Ｃｈｉｌｄ ０ｔｈ ＳｕｂＩＦＤ
５３２ ストリップオフセット
５３６ メインＣＦＡデータ
５４０ Ｃｈｉｌｄ １ｓｔ ＳｕｂＩＦＤ
５４２ ストリップオフセット
５４４ 小サイズＣＦＡデータ
５５０ ＮｅｘｔＩＦＤ
５５２ ＩＦＤ１
５５４ ＩＰＰａｒａｍＩＦＤ
５５６ ＮｅｘｔＩＦＤ
５５８ メインＥｘｉｆ／ＪＰＥＧデータ
５６０ 最終ＩＦＤポインタ
５６２ ＩＦＤ２
５６４ ＩＰＰａｒａｍＩＦＤ
５６８ メインＥｘｉｆ／ＪＰＥＧデータ
５７０ 追加の変更済みＪＰＥＧ画像

Claims (3)

1. カラー画像を取得するための電子画像取得デバイスであって、
   カラーフィルタアレイ（ＣＦＡ）パターンに覆われた、前記ＣＦＡパターンに対応するセンサカラー画像データを生成するための個別の感光画像要素を有する画像センサと、
   前記カラー画像データから未補間のデジタルＣＦＡ画像データを生成するためのＡ／Ｄコンバータと、
   前記未補間のデジタルＣＦＡ画像データを処理して補間済み画像データを生成し、前記未補間のＣＦＡ画像データと前記補間済み画像データの両方と、前記未補間のＣＦＡ画像データのサムネイル画像及び前記補間済み画像データのサムネイル画像と、を含むＴＩＦＦ画像ファイルを形成するためのプロセッサと、
   前記ＴＩＦＦ画像ファイルを保存するためのメモリと、
   を備えることを特徴とする画像取得デバイス。
2. カラーフィルタアレイ（ＣＦＡ）パターンで覆われ、前記ＣＦＡパターンに対応する未補間のＣＦＡ画像データを生成するイメージセンサを有するカラー画像取得デバイスから得られた画像を保存する画像ファイル保存方法であって、
   前記ＣＦＡ画像データはさらに処理され、補間、圧縮済み画像データが形成され、
   単独画像ファイルは、前記未補間のＣＦＡ画像データを保存するための第一のファイル領域と、前記補間、圧縮済み画像データを前記単独イメージファイル内にＪＰＥＧ画像データとして保存するための第二のファイル領域と、前記未補間のＣＦＡ画像データのサムネイル画像を保存するための第三のファイル領域と、前記ＪＰＥＧ画像データのサムネイル画像を保存するための第四のファイル領域と、を有する単独画像ファイル、を保存する方法。
3. カラー画像を取得し、処理する方法であって、
   （ａ）デジタル画像取得デバイスにおいて、カラーフィルタアレイ（ＣＦＡ）を通じて画像要素のアレイを取得し、ＣＦＡ画像データを生成するステップで、カラー画像データが前記ＣＦＡパターンに対応するようなステップと、
   （ｂ）前記デジタル画像取得デバイスに保存された画像処理パラメータを使って前記ＣＦＡ画像データを処理し、補間済み画像データを生成するステップと、
   （ｃ）前記デジタル画像取得デバイスのメモリに単独画像ファイルを保存するステップで、前記単独画像ファイルには前記ＣＦＡ画像データ、前記補間済み画像データ、前記ＣＦＡ画像データのサムネイル画像および前記補間済み画像データのサムネイル画像が含まれるようなステップと、
   （ｄ）前記単独画像ファイルを第二のデバイスに転送するステップと、
   （ｅ）前記ＣＦＡ画像データのサムネイル画像と前記補間済み画像データのサムネイル画像とを比較し、前記補間済み画像データに変更が加えられたか否かを判断するステップと、
   を含むことを特徴とする方法。

Images