JP3824005B2

JP3824005B2 - 画像信号伝達方法及び画像情報処理装置

Info

Publication number: JP3824005B2
Application number: JP2005063074A
Authority: JP
Inventors: 達也出口; 直哉加藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-03-07
Filing date: 2005-03-07
Publication date: 2006-09-20
Anticipated expiration: 2021-11-08
Also published as: JP2005260943A

Description

本発明は、カラー画像を出力するための画像信号伝達方法及び画像情報処理装置に関する。

デジタルカメラで撮影されたカラー画像データは、主に、様々なフラッシュメモリに、ＤＣＦ（Design rule for Camera File Format）Version1.0［JEIDA-49-2‐1998］に準拠したフォーマットで記録されている。このフォーマットでは、パーソナルコンピュータ用ＣＲＴモニタの階調特性や色域（色再現範囲）等の色特性を規定した標準的な色空間であるｓＲＧＢ色空間を採用している。この背景には、デジタルカメラで撮像された画像が、圧倒的に、ＰＣモニタで表示されることが多いことを前提としている。しかし、昨今、デジタルカメラの普及が進み、カラー画像が家庭のパソコンを通じて、あるいはダイレクトにＰＣモニタだけではなく、家庭用ＴＶに表示されたり、カラープリンタに出力されたりする機会が増えてきている。

ＤＣＦフォーマットでは、次の表１にファイル構造を示すように、圧縮にＪＰＥＧが採用され、ｓＲＧＢ色空間が採用されている。

また、ＤＣＦフォーマットは、そのディレクトリ構造を図１に示してあるように、ＤＣＦイメージルートディレクトリＤＣＩＭがルート直下に置かれ、このＤＣＦイメージルートディレクトリＤＣＩＭに、８文字で示されるディレクトリ番号が与えられるＤＣＦディレクトリが置かれる。ディレクトリ番号を示す８文字は、先頭３文字は重複しない１００〜９９９の番号で、残り５文字は自由文字である。ディレクトリ番号には欠番があってもよく、ＤＣＦイメージルートディレクトリＤＣＩＭには、最大９００ディレクトリ記録可能である。また、上記ＤＣＦイメージルートディレクトリＤＣＩＭは、ＤＣＦディレクトリ以外のディレクトリがあってもよい。

画像データのフォーマットとしては、上記ＤＣＦでも採用されているＪＰＥＧフォーマット（ＲＧＢデータのビット深さ：各８ビット）を拡張したＪＰＥＧ２０００［ITU-T Rec.T.801］や、入間が知覚可能な色再現範囲をよりカバーできるような色空間が検討されている。それらの中でも、実シーンの光の量にリニアなデータを保持できるようなｓｃＲＧＢ色空間（シーン参照色空間）［IEC61966-2.2］や、このデータを出力あるいは表示デバイスに適した色補正が施された色空間（アウトプット参照色空間）、拡張ｓＲＧＢ色空間（e-sRGB :IEC61966-2.1Annex G/Annex F）等が、国際標準化されようとしている。

画像データフォーマットとして、今後、これまでのモニタベースのＲＧＢ８ビットのｓＲＧＢ色空間だけではなく、１６ビットのｓｃ−ＲＧＢ色空間や拡張ｓＲＧＢ（ｅ−ｓＲＧＢ）等が使用されるようになってくると、画像データを蓄積するメディアの容量の拡張も望まれる。これに対しては、デジタルカメラ画像の高画質化の一旦を担っている画像の高解像度が激化により、画像データサイズが増大し、これに追従するようにフラッシュメモリの容量も増加してきており、今後も、フラッシュメモリ等のメディア容量の拡張は十分予想される。

ところで、デジタルカメラで撮像された画像は、既に記述したＤＣＦフォーマットに準拠したファイル構造で、カメラ内部で各社のノウハウにより色補正された画像が、輝度色度分離空間であるＹＣＣにて保存される場合が多く、ｓＲＧＢ色域外の色を含んだＹＣＣ値を持つ場合もある。一方、家庭用ＴＶや液晶モニタ、各種カラープリンタの色域は、ｓＲＧＢ色域とは異なる場合が多い。特に、カラープリンタの場合、ｓＲＧＢ色空間の基準となっている自己発光型デバイス（光源色デバイス）のＣＲＴモニタと、根本的に色表現方式（反射色による色表現）が異なり、暗い領域での色域はモニタより広いが、明るい領域では狭くなっている。従って、プリンタ出力が前提とされる場合は、その色域を考慮した色補正を行った方が良い。このようにデジタルスチルカメラのようなアプリケーションでは出力が多種多様となると、ある機器を想定されて色補正された画像を他の機器で出力あるいは表示した場合は領域によっては階調潰れ等々が発生するといった問題がある。このような問題は、前述したように、現在のデジタルカメラで撮影された画像が、基本的にｓＲＧＢ色空間のようなＣＲＴモニタベースで観察されることを前提とした処理が行われ、最終的にＤＣＦフォーマットに準拠したＪＰＥＧＹＣＣフォーマットで蓄積されているため、この画像データをカラープリンタや家庭用ＴＶ等、ＣＲＴモニタ以外の色彩画像機器に出力する場合に生じる。既存のシステムでは、例えば、デジタルカメラで撮影されたＪＰＥＧＹＣＣデータやＣＲＴモニタで表示されたｓＲＧＢデータをプリンタに出力する際、プリンタドライバ等がプリンタの色域を考慮した色データに色変換し、出力するといったことがなされている。

上述の如き従来の実状に鑑み、本発明の目的は、標準色空間で符号化された画像データを多様な目的に利用する場合に、同一コンテンツに対して、目的に適した色特性に変換された画像データ群を効率的に管理する手法を提供することにある。

本発明では、例えば、ｓｃＲＧＢ、ｅ−ｓＲＧＢ等の拡張色空間を用い、デジタルカメラの撮影画像を各機器向けに同時に保存することにより、１つのシーンに対するデジタルカメラの撮影画像について、各色彩画像機器向けに処理された画像を保存する。

すなわち、本発明に係る画像情報伝達方法は、標準色空間において符号化された画像データが多様な色彩画像機器の各々に対して最適な色特性に変換された画像データ群を、データ群の１つを標準データとし、その他のデータ群については、前記標準データとの差分データを保持することにより、画像伝達を行うことを特徴とする。

本発明に係る画像情報伝達方法では、例えば、色彩画像データを保持し、上記画像データ群を、機器毎に用意された異なるフォルダを使用して読み出し・書き込みを行う。

また、本発明に係る画像情報伝達方法では、例えば、色彩画像データを保持し、上記画像データ群を、機器毎に用意された異なるファイル拡張子を使用して、読み出し・書き込みを行う。

さらに、本発明に係る画像情報伝達方法では、例えば、色彩画像データを保持し、上記画像データ群を、機器毎に用意された異なるフォルダとファイル拡張子を併用して、読み出し・書き込みを行う。

本発明に係る画像情報伝達装置は、標準色空間において符号化された画像データを出力すべき画像機器に適合したデータに変換する画像情報処理装置であって、標準色空間において符号化された画像データが多様な色彩画像機器の各々に対して最適な色特性に変換された画像データ群を、データ群の１つを標準データとし、その他のデータ群については、前記標準データとの差分データを記憶手段に保存する画像処理部を備えることを特徴とする。

本発明に係る画像情報伝達装置において、上記画像処理部は、例えば、上記記憶手段に色彩画像データを保存し、上記画像データ群を、機器毎に用意された異なるフォルダを使用して保存する。

また、本発明に係る画像情報伝達装置において、上記画像処理部は、例えば、上記記憶手段に色彩画像データを保存し、上記画像データ群を、機器毎に用意された異なるファイル拡張子を使用して、保存することを特徴とする。

さらに、本発明に係る画像情報伝達装置において、上記画像処理部は、例えば、上記記憶手段に色彩画像データを保存し、上記画像データ群を、機器毎に用意された異なるフォルダとファイル拡張子を併用して保存する。

以上のように、カメラ撮影画像データを出力機器に適した色補正を行う際、従来は限られた色域（ｓＲＧＢ色空間ベースのＪＰＥＧＹＣＣの色域）のＤＣＦ碁本ファイルを使用して、出力機器向けの色補正を行わなければならなかったが、本発明では、より広い色域情報を持つ、カメラ内部のＣＣＤイメージセンサ１０からの生データに近いデータを使用することで、より適正な色補正を行うことができる。

また、本発明によれば、撮影時に、ある程度想定される出力画像機器向けのデータを保存しておくことで、出力機器のドライバの色補正や、ＰＣ上でのアプリケーションによる色補正を行うことなく、直接、出力機器に、より適正な色の画像を出力することができる。

また、本発明では、ＤＣＦフオーマット規定内での、ファイル保存手法により、本発明のファイル保存手法に対応していない出力機器においても、従来手法による出力が可能である。

さらに、本発明では、撮影データが、既に出力機器向けの補正が行われているデータである事の識別により、出力機器側のドライバ等による色補正の重機を避けることができ、所望のカラー画像を出力することができる。

従って、本発明によれば、標準色空間で符号化された画像データを多様な目的に利用する場合に、同一コンテンツに対して、目的に適した色特性に変換された画像データ群を効率的に管理することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

以下に説明する実施の形態では、デジタルカメラが、撮影されたカラー画像を従来のＤＣＦフォーマットに従ったＪＰＥＧＹＣＣデータ（ＤＣＦ基本ファイル）だけではなく、カラープリンタやＬＣＤ等、他の色彩画像機器に適した画像に変換したデータ、あるいは、ＣＣＤイメージセンサからのデータをホワイトバランス補正した生データを、同時にフラッシュメモリ等に記録する場合を想定する。

先ず、本発明を適用したデジタルカメラにおけるＤＣＦ基本ファイルの作成と保存について図２を参照して説明する。

このデジタルカメラ１００は、ＣＣＤイメージセンサ１０により得られる３原色の画像データＲ，Ｇ，Ｂが供給されるホワイトバランス処理部２０、このホワイトバランス処理部２０によりホワイトバランス調整処理が施された画像データＲ’，Ｇ’，Ｂ’が供給される第１及び第２の画像処理部３０，４０、上記第１又は第２の画像処理部３０，４０により上記画像データＲ’，Ｇ’，Ｂ’に処理を施したデータを保存するフラッシュメモリ５０などからなる。

このデジタルカメラ１００において、ホワイトバランス処理部２０は、ＣＣＤイメージセンサ１０により得られた３原色の画像データＲ，Ｇ，Ｂにホワイトバランス調整処理を施し、このホワイトバランス調整処理済みの画像データＲ’，Ｇ’，Ｂ’を第１及び第２の画像処理部３０，４０に供給する。

そして、第１の画像処理部３０は、上記ホワイトバランス調整処理済みの画像データＲ’，Ｇ’，Ｂ’に対して従来と同様の処理を施してＤＣＦ基本ファイルを作成してフラッシュメモリ５０に保存するためのものであって、ガンマ処理部３１、ＲＧＢ／ＹＣＣ変換部３２及びＤａｔａ保存処理部３３からなる。

この第１の画像処理部３０において、ガンマ処理部３１は、上記ホワイトバランス処理済みの画像データＲ’，Ｇ’，Ｂ’に対してガンマ補正処理を施し、ガンマ補正処理済みの画像データＲ”，Ｇ”，Ｂ”をＲＧＢ／ＹＣＣ変換部３２に供給する。このＲＧＢ／ＹＣＣ変換部３２は、上記ガンマ補正処理済みの画像データＲ”，Ｇ”，Ｂ”を輝度データＹと色差データＣｒ，Ｃｂで示す画像データＹＣＣに変換して、上記ＤＣＦ基本ファイルを作成する。

さらに、Ｄａｔａ保存処理部３３は、フラッシュメモリ５０内にＤＣＩＭディレクトリを作成し、さらに、上記ＤＣＩＭディレクトリの下にＤＣＦ基本ファイル保存用のディレクトリ、例えば１００ＭＳＤＣＦディレクトリを作成して、上記ＤＣＦ基本ファイルを上記ディレクトリ内に保存する。

また、第２の画像処理部４０は、上記ホワイトバランス調整処理済みの画像データＲ’，Ｇ’，Ｂ’から各色彩画像機器用データを作成してフラッシュメモリ５０に保存するためのものであって、色彩画像機器補正処理部４１及びＤａｔａ保存処理部４２からなる。

この第２の画像処理部４０において、色彩画像機器補正処理部４１は、保存したいデータ、すなわち、どのような色彩画像機器に出力したいか、あるいは、生データを保存したいかに応じて、上記ホワイトバランス処理済みの画像データＲ’，Ｇ’，Ｂ’に対して各デバイス向けの色補正を行う。例えば、インクジェット向けの色補正を行う場合は、現在、主流となっているプリンタを包括するような仮想色域（バーチャルガミュート）をターゲット色域として色補正を行う等、出力デバイスの色域を含む色特性を考慮した色補正を行う。そして、各出力デバイス向けに補正されたデータは、ｅ−ｓＲＧＢやｅ−ｓＹＣＣ等のアウトプット参照色空間データに変換する。また、生データは、ｓｃＲＧＢ１６ビットリニアやｓｃＲＧＢ１２ビットリニアやｓｃＹＣＣに変換する。

さらに、Ｄａｔａ保存処理部４２は、図３のフローチャートに示す手順に従って、フラッシュメモリ５０内にディレクトリを作成し、作成したディレクトリに各画像機器向けに補正されたデータ、あるいは、ホワイトバランス処理済みの画像データを作成したディレクトリに保存する。

すなわち、上記Ｄａｔａ保存処理部４２は、先ずステップＳ１において、他のデバイス向けにデータを保存するか否かを判定する。そして、このステップＳ１における判定結果がＹＥＳすなわち他のデバイス向けにデータを保存する場合には次のステップＳ２に進み、また、判定結果がＮＯすなわち他のデバイス向けにデータを保存しない場合にはステップＳ３に進んで、既存のＤＣＦ対応フォーマットで保存する。

ステップＳ２では、ＤＣＦフォーマットに準拠するか否かの判定を行い、その判定結果がＹＥＳすなわちＤＣＦフォーマットに準拠する場合にはステップＳ４に進み、また、その判定結果がＮＯすなわちＤＣＦフォーマットに準拠しない場合にはステップＳ７に進む。

ステップＳ４では、ＤＣＦフォーマットに準拠したディレクトリを作成するか否かの判定を行う。そして、このステップＳ４における判定結果がＹＥＳすなわちＤＣＦフォーマットに準拠したディレクトリを作成する場合にはステップＳ５に進み、また、判定結果がＮＯすなわちＤＣＦフォーマットに準拠したディレクトリを作成しない場合にはステップＳ６に進む。

ステップＳ５では、図４に示すように、ＤＣＦフォーマットの枠組み内でディレクトリ名で識別可能なディレクトリをフラッシュメモリ５０内に作成してデータを保存する。すなわち、このステップＳ５では、デジタルカメラ１００内の色彩画像機器補正処理部により作成された各画像機器向けのデータ、あるいは、ホワイトバランス処理後のデータを保存するためのディレクトリをＤＣＩＭディレクトリの下に作成する。作成するディレクトリ名は、次の表２に示すように作成された画像の用途別のものを使用する。これらのディレクトリ名は、ＤＣＦフォーマットの規定にあるように、１００〜９９９番までの３つの数字と５文字からなる。そして、作成された各ディレクトリに、各画像機器向けに補正されたデータ、若しくは、ホワイトバランス調整後のデータを保存する。

また、ステップＳ６では、図５に示すように、ＤＣＦフォーマットの枠組み内で、ファイル拡張子により識別可能なデータファイルとしてデータを保存する。すなわち、このステップＳ６では、デジタルカメラ１００内の色彩画像機器補正処理部により作成された各画像機器向けのデータ、あるいは、ホワイトバランス調整後のデータを、データの種類により異なるファイル拡張子を使用して、フラッシュメモリ５０内のＤＣＦ基本ファイルが保存されているディレクトリと同様なディレクトリに保存する。ここで、使用されるファイル拡張子は、次の表３に示すものを使用する。

さらに、ステップＳ７では、画像機器毎のディレクトリを作成するか否かの判定を行う。そして、このステップＳ７における判定結果がＹＥＳすなわち画像機器毎のディレクトリを作成する場合にはステップＳ８に進み、また、判定結果がＮＯすなわち画像機器毎のディレクトリを作成しない場合にはステップＳ９に進む。

ステップＳ８では、図６に示すように、ＤＣＦフォーマットの枠組み外でディレクトリ名で識別可能なディレクトリをフラッシュメモリ５０内に作成してデータを保存する。すなわち、このステップＳ８では、デジタルカメラ１００内の色彩画像機器補正処理部により作成された各画像機器向けのデータあるいは、ホワイトバランス調整後のデータを保存するためのディレクトリをフラッシュメモリ５０内に作成する。作成するディレクトリ名は、次の表４に示したように、作成された画像の用途別のものを使用する。そして、作成された各ディレクトリに、各画像機器向けに補正されたデータ若しくは、ホワイトバランス調整後のデータを保存する。

ステップＳ９では、図７に示すように、ＤＣＦフォーマットの枠組み外で、ファイル拡張子により識別可能なデータファイルとしてデータを保存する。すなわち、このステップＳ９では、フラッシュメモリ５０内にＯＰＴＩＯＮディレクトリを作成する。そして、デジタルカメラ１００内の色彩画像機器補正処理部により作成された各画像機器向けのデータあるいは、ホワイトバランス調整後のデータを、データの種類により異なる表３に示したファイル拡張子を使用して、フラッシュメモリ５０内のＯＰＴＩＯＮディレクトリに保存する。

ここで、上記ステップＳ５では、図８に示すように、ＤＣＦフォーマットの枠組み内で、差分データを使用して各画像機器用データを保存することもできる。すなわち、色彩画像機器補正処理部において、作成した色彩画像機器用データとＤＣＦ基本ファイルとの差分データを作成する。作成されたデータ群は、アウトプット参照色空間であるｅ−ｓＲＧＢないし、ｅ−ｓＹＣＣフォーマットである。作成された各データの拡張子は、次の表５に示すものを使用する。作成された各データは、フラッシュメモリ５０内のＤＣＦ基本ファイルが保存されているディレクトリと同様なディレクトリに保存する。

次に、このデジタルカメラ１００によりフラッシュメモリ５０に取り込んだデータの読み出しについて図９を参照して説明する。

すなわち、出力機器側では、各機器が有するドライバ、若しくは、パーソナルコンピュータ（ＰＣ）を介して処理する場合は、ＰＣ上のアプリケーションが、図９のフローチャートに示す手順に従い画像出力・表示を行う。

出力機器側では、先ずステップＳ１０において、ドライバ、若しくは、パーソナルコンピュータ（ＰＣ）での色補正処理を行う場合か否かを判定する。そして、このステップＳ１０における判定結果がＹＥＳすなわちドライバ・アプリケーションでの色補正処理を行う場合には次のステップＳ１１へ進み、また、判定結果がＮＯすなわちドライバ／アプリケーションでの色補正処理を行わない場合にはステップＳ１５へ進む。

ステップＳ１１では、フラッシュメモリ５０内にシーン参照色空間フォーマット（ｓｃＲＧＢ１６ビットリニア、ｓｃＲＧＢ１２ビットリニア、ｓｃＹＣＣ）のデータが存在するかどうかを、上述のディレクトリ名ないしファイル拡張子名の情報を使用して検索する。

そして、次のステップＳ１２では、ドライバ・アプリケーションが所望のデータを検索できたか否かを判定する。このステップＳ１２におけるＹＥＳすなわちドライバ・アプリケーションが所望のデータを検索できた場合は、ステップＳ１３へ進んで所望の色補正処理を行い、次のステップＳ１４で色補正処理済みの画像データを出力機器に出力する。また、上記ステップＳ１２におけるＮＯすなわちドライバ・アプリケーションが所望のデータを検索できなかった場合は、ステップＳ１８へ進んでＤＣＦ基本ファイルを使用して既存のＤＣＦ対応のＪＰＥＧＹＣＣデータの処理を行い、次のステップＳ１９で処理済みの画像データを出力する。

また、ステップＳ１５では、フラッシュメモリ５０内に、出力機器に適したアウトプット参照色空間データが存在するかどうかを、ディレクトリ名ないしファイル拡張子名の情報を使用して検索する。

そして、次のステップＳ１６では、ドライバ・アプリケーションが所望のデータを検索できたか否かを判定する。このステップＳ１６におけるＹＥＳすなわちドライバ・アプリケーションが所望のデータを検索できた場合は、ステップＳ７３へ進んで、色補正処理は行わず、出力機器へのデータフォーマット変換のみを行い、出力する。ただし、検索されたデータが差分データの場合は、ＤＣＦ基本ファイルと検索された差分データを基に、出力機器に適した画像データを作成し、色補正処理は行わず、出力機器へのデータフォーマット変換のみを行い、出力する。また、上記ステップＳ１６におけるＮＯすなわちドライバ・アプリケーションが所望のデータを検索できなかった場合は、ステップＳ１８へ進んでＤＣＦ基本ファイルを使用して既存のＤＣＦ対応のＪＰＥＧＹＣＣデータの処理を行い、次のステップＳ１９で処理済みの画像データを出力する。

ＤＣＦフォーマットのディレクトリ構造を模式的に示す図である。本発明を適用したデジタルカメラの要部構成を示すブロック図である。上記デジタルカメラにおけるファイル保存処理の手順を示すフローチャートである。上記デジタルカメラにおいてＤＣＦフォーマットの枠組み内でフォルダ名で識別可能にデータを保存する場合のディレクトリ構造を模式的に示す図である。上記デジタルカメラにおいてＤＣＦフォーマットの枠組み内でファイル拡張子で識別可能にデータを保存する場合のディレクトリ構造を模式的に示す図である。上記デジタルカメラにおいてＤＣＦフォーマットの枠組み外でフォルダ名で識別可能にデータを保存する場合のディレクトリ構造を模式的に示す図である。上記デジタルカメラにおいてＤＣＦフォーマットの枠組み外でファイル拡張子で識別可能にデータを保存する場合のディレクトリ構造を模式的に示す図である。上記デジタルカメラにおいて基本データに対する差分データで保存する例を模式的に示す図である。出力機器側の画像読み込み処理の手順を示すフローチャートである。

符号の説明

１０ＣＣＤイメージセンサ、２０ホワイトバランス処理部、３０，４０第１及び第２の画像処理部、３１ガンマ処理部、３２ＲＧＢ／ＹＣＣ変換部、３３Ｄａｔａ保存処理部、４１色彩画像機器補正処理部、４２Ｄａｔａ保存処理部、５０フラッシュメモリ、１００デジタルカメラ

Claims

標準色空間において符号化された画像データが多様な色彩画像機器の各々に対して最適な色特性に変換された画像データ群を、データ群の１つを標準データとし、その他のデータ群については、前記標準データとの差分データを保持することにより、画像伝達を行うことを特徴とする画像情報伝達方法。
色彩画像データを保持し、上記画像データ群を、機器毎に用意された異なるフォルダを使用して読み出し・書き込みを行うことを特徴とする請求項１記載の画像情報伝達方法。
色彩画像データを保持し、上記画像データ群を、機器毎に用意された異なるファイル拡張子を使用して、読み出し・書き込みを行うことを特徴とする請求項１記載の画像情報伝達方法。
色彩画像データを保持し、上記画像データ群を、機器毎に用意された異なるフォルダとファイル拡張子を併用して、読み出し・書き込みを行うことを特徴とする請求項１記載の画像情報伝達方法。
標準色空間において符号化された画像データを出力すべき画像機器に適合したデータに変換する画像情報処理装置であって、標準色空間において符号化された画像データが多様な色彩画像機器の各々に対して最適な色特性に変換された画像データ群を、データ群の１つを標準データとし、その他のデータ群については、前記標準データとの差分データを記憶手段に保存する画像処理部を備えることを特徴とする画像情報処理装置。
上記画像処理部は、上記記憶手段に色彩画像データを保存し、上記画像データ群を、機器毎に用意された異なるフォルダを使用して保存することを特徴とする請求項５記載の画像情報処理装置。
上記画像処理部は、上記記憶手段に色彩画像データを保存し、上記画像データ群を、機器毎に用意された異なるファイル拡張子を使用して、保存することを特徴とする請求項５記載の画像情報処理装置。
上記画像処理部は、上記記憶手段に色彩画像データを保存し、上記画像データ群を、機器毎に用意された異なるフォルダとファイル拡張子を併用して保存することを特徴とする請求項５記載の画像情報処理装置。