JP4455110B2

JP4455110B2 - 画像処理装置、画像処理システム、及び画像処理方法

Info

Publication number: JP4455110B2
Application number: JP2004077631A
Authority: JP
Inventors: 哲也豊田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-03-18
Filing date: 2004-03-18
Publication date: 2010-04-21
Anticipated expiration: 2024-03-18
Also published as: EP1578110A3; CN100426857C; EP1578110B1; EP1578110A2; CN1671201A; DE602005025954D1; JP2005269144A

Description

本発明は、画像処理装置、画像処理システム、及び画像処理方法に関する。

従来のデジタルカメラにおいては、画像処理を施す前の画像データ（以下、ＲＡＷデータと称する）を直接記録媒体などに記録する機能を備えたものが知られている。ＲＡＷデータは、言わば撮像素子の出力をそのままデジタル画像に変換したものである。したがって、ＲＡＷデータのままでは、画像として鑑賞したり印刷したりすることができない。その意味で、ＲＡＷデータは専用の画像処理装置や画像処理機能を有するＰＣアプリケーションにおいて画像処理を施されることを前提としている。

通常、デジタルカメラで画像処理を行う際の画質に関わる要素（例えば、画像の階調特性、色再現、ホワイトバランス等）は撮影時に決定される。ＲＡＷデータから画像処理後の画像データへの変換は不可逆であり、画像処理後に再び階調特性やホワイトバランス等を変更することは、ＲＡＷデータに直接、階調変換やホワイトバランス処理を施す場合に比較して画質の劣化を招くおそれがある。一方、ＲＡＷデータを撮影後に画像処理する場合には、画質に関わる要素を画質の劣化なしに自由に変更することが可能であり、それがＲＡＷデータの利用価値として認知されている。

また、画像の露出については通常撮影時に決定されるが、ＲＡＷデータの現像時に撮影時に撮影時の露出補正と同等の効果を出す機能を搭載したものが提案されている。具体的には、撮影されたＲＡＷデータを所定のゲインで増幅することで、撮影時の露出補正をシミュレートする手法が一般的である。

露出補正は、一般的に２のべき乗で表現され、以下の式により各画素における露出補正後のＲＡＷデータが算出される。

ＲＡＷデータ（露出補正後）＝ＲＡＷデータ（露出補正前）×２^{（露出補正値）}
露出補正をシミュレートしたＲＡＷデータに、階調変換を含む所定の画像処理を施すことで、撮影時に露出補正した画像に近い画像を得ることができる。

また、上記式のように、ＲＡＷデータに所定のゲインをかけるのではなく、階調変換特性（より具体的には階調変換テーブル）を変えることで、見かけの露出を変化させる手法や複数の階調変換テーブルを予め画像処理装置に記憶させておく手法、ＲＡＷデータに複数の階調変換テーブルを付随させて画像処理装置に伝達する手法もある。例えば、特許文献１には、画像記録装置側で画像データとその付帯情報（ＲＡＷデータ情報、デジタル露出補正処理情報等）とを１つのファイルとして作成し、情報処理装置側では、読み出した情報に基づいて画像データに対する処理を変更する提案がなされている。
特開２００３−２４２１６３号公報

しかし、階調変換の前にＲＡＷデータに所定のゲインをかけて露出補正をシミュレートする手法は、露出の＋（プラス）補正時には飽和付近のデータがビットレンジを超え、補正前のＲＡＷデータには存在した飽和付近の階調情報が失われてしまうおそれがある。また、露出の−（マイナス）補正時には飽和していたデータ値が下がるため、出力レンジをフルに活用できず、飽和付近で白い被写体がグレーになったり、色づいてしまったりするおそれがある。

また、階調変換特性を変えることで見かけの露出を変化させる手法は、手動で階調変換テーブルを作成するのが一般的であるが、露出補正値に応じた正確な露出の変化をシミュレートし、かつ飽和付近の階調を再現するための階調変換テーブルを作成するには非常に手間がかかる。

更に、複数の階調変換テーブルを予め画像処理装置に記憶させておく手法は、処理すべきＲＡＷデータが撮影された際の露出の基準が分かっていることが前提となる。しかし、一般に、適正露出レベルの考え方は、カメラの機種やメーカの設計思想等によって異なるので、階調変換テーブルも機種やメーカ毎に異なるものが使用されることになる。したがって、予めそれぞれのカメラに対応した階調変換テーブルを記憶させておく必要があり、階調変換テーブル記憶のためのメモリの容量が増大してしまう。また、画像処理装置の発売後に開発されたカメラに対する階調変換テーブルが記憶されていない場合には、画像処理ができない。このような機種やメーカの設計思想等によらずに露出補正を行うこと手法については、特許文献１においては述べられていない。

また、画像データに階調変換テーブルを付随させて画像処理装置に転送する手法では、付随データ分だけデータ容量が増加するので、画像データの転送速度に影響が出てしまう。更に、付随させた階調変換テーブルを用いて画像処理することで実現される階調特性以外のＲＡＷデータの利用価値が損なわれてしまう。

本発明は、上記の事情に鑑みてなされたもので、任意の露出基準に従って撮影されたＲＡＷデータに対して、適切な階調特性の階調変換処理を施すことができ、かつ使用者の好みに応じて適切に画像の露出を変更することができる画像処理装置、画像処理システム、及び画像処理方法を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による画像処理装置は、画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って少なくとも階調変換処理が施される前の画像データを入力する画像入力手段と、上記露出基準値を入力する露出基準値入力手段と、画像の露出を補正するための露出補正値を指示する指示手段と、上記指示手段によって指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更手段と、複数の露出基準値に対応した階調変換テーブルを記憶する階調変換テーブル記憶手段と、上記露出基準値変更手段によって変更された露出基準値に対応する階調変換テーブルを、上記階調変換テーブル記憶手段に記憶された複数の階調変換テーブルの中から選択する階調変換テーブル選択手段と、上記階調変換テーブル選択手段によって選択された階調変換テーブルに基づいて上記画像入力手段によって入力された画像データに階調変換処理を施す階調変換処理手段とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様による画像処理装置は、画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って少なくとも階調変換処理が施される前の画像データを入力する画像入力手段と、上記露出基準値を入力する露出基準値入力手段と、複数の露出基準値に対応した階調変換テーブルを記憶する階調変換テーブル記憶手段と、上記露出基準値入力手段によって入力された露出基準値に対応する階調変換テーブルを、上記階調変換テーブル記憶手段に記憶された複数の階調変換テーブルの中から選択する階調変換テーブル選択手段と、画像の露出を補正するための露出補正値を指示する指示手段と、上記指示手段によって指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更手段と、上記露出基準値変更手段によって変更された露出基準値に応じて上記選択された階調変換テーブルを修正する階調変換テーブル修正手段と、上記階調変換テーブル修正手段によって修正された階調変換テーブルに基づいて上記画像入力手段によって入力された画像データに階調変換処理を施す階調変換処理手段とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第３の態様による画像処理システムは、画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って被写体を撮像して少なくとも上記露出基準値に従った階調変換処理が施される前の画像データを得る画像取得手段と、上記露出基準値を記憶する露出基準値記憶手段と、上記画像取得手段によって得た上記画像データを、上記露出基準値記憶手段に記憶された上記露出基準値と共に出力する画像出力手段と、を具備する撮像装置と、上記画像出力手段によって出力された上記画像データ及び上記露出基準値を入力する入力手段と、画像の露出を補正するための露出補正値を指示する指示手段と、上記指示手段によって指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更手段と、複数の露出基準値に対応した階調変換テーブルを記憶する階調変換テーブル記憶手段と、上記露出基準値変更手段によって変更された露出基準値に対応する階調変換テーブルを、上記階調変換テーブル記憶手段に記憶された複数の階調変換テーブルの中から選択する階調変換テーブル選択手段と、上記階調変換テーブル選択手段によって選択された階調変換テーブルに基づいて上記画像入力手段によって入力された画像データに階調変換処理を施す階調変換処理手段とを具備する画像処理装置を備えることを特徴とする。

また、上記の目的を達成するために、本発明の第４の態様による画像処理システムは、画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って被写体を撮像して少なくとも上記露出基準値に従った階調変換処理が施される前の画像データを得る画像取得手段と、上記露出基準値を記憶する露出基準値記憶手段と、上記画像取得手段によって得た上記画像データを、上記露出基準値記憶手段に記憶された上記露出基準値と共に出力する画像出力手段と、を具備する撮像装置と、上記画像出力手段によって出力された上記画像データ及び上記露出基準値を入力する入力手段と、複数の露出基準値に対応した階調変換テーブルを記憶する階調変換テーブル記憶手段と、上記露出基準値入力手段によって入力された露出基準値に対応する階調変換テーブルを、上記階調変換テーブル記憶手段に記憶された複数の階調変換テーブルの中から選択する階調変換テーブル選択手段と、画像の露出を補正するための露出補正値を指示する指示手段と、上記指示手段によって指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更手段と、上記露出基準値変更手段によって変更された露出基準値に応じて上記選択された階調変換テーブルを修正する階調変換テーブル修正手段と、上記階調変換テーブル修正手段によって修正された階調変換テーブルに基づいて上記画像入力手段によって入力された画像データに階調変換処理を施す階調変換処理手段と、を具備する画像処理装置とを備えることを特徴とする。

また、上記の目的を達成するために、本発明の第５の態様による画像処理方法は、画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って被写体を撮像して少なくとも上記露出基準値に従った階調変換処理が施される前の画像データを得る画像取得工程と、上記画像取得工程において得られた上記画像データと上記露出基準値とを出力する出力工程と、画像の露出を補正するための露出補正値を指示する指示工程と、上記指示工程において指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更工程と、上記露出基準値変更工程において変更された露出基準値に対応する階調変換テーブルを複数の階調変換テーブルの中から選択する階調変換テーブル選択工程と、上記階調変換テーブル選択工程において選択された階調変換テーブルに基づいて上記出力工程において出力された画像データに階調変換処理を施す階調変換処理工程とを備えることを特徴とする。

また、上記の目的を達成するために、本発明の第６の態様による画像処理方法は、画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って被写体を撮像して少なくとも上記露出基準値に従った階調変換処理が施される前の画像データを得る画像取得工程と、上記画像取得工程において得られた上記画像データと上記露出基準値とを出力する出力工程と、画像の露出を補正するための露出補正値を指示する指示工程と、上記指示工程において指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更工程と、上記出力工程において出力された露出基準値に対応する階調変換テーブルを複数の階調変換テーブルの中から選択する階調変換テーブル選択工程と、上記露出基準値変更工程において変更された露出基準値に応じて上記選択された階調変換テーブルを修正する階調変換テーブル修正工程と、上記階調変換テーブル修正工程において修正された階調変換テーブルに基づいて上記出力工程において出力された画像データに階調変換処理を施す階調変換処理工程とを備えることを特徴とする。

これら、第１〜第６の態様によれば、露出基準値を用いて、階調特性を修正することにより、適切な露出補正を行うことができる。

本発明によれば、任意の露出基準に従って撮影されたＲＡＷデータに対して、適切な階調特性の階調変換処理を施すことができ、かつ使用者の好みに応じて適切に画像の露出を変更することができる画像処理装置、画像処理システム、及び画像処理方法を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理システムの概念的な構成について説明するためのブロック図である。即ち、本画像処理システムは、撮像装置１と画像処理装置２１とから構成されている。

まず、撮像装置１について説明する。撮像装置１は、露出基準値記憶部２と、撮像部３と、記録媒体４とから構成されている。
撮像部３では、露出基準値記憶部２に記憶された露出基準値（詳細は後で述べる）に従って図示しない被写体の撮像が行われて画像データが取得される。その後、必要に応じて取得された画像データに対する画像処理が行われる。

撮像部３で画像データが取得された後、取得された画像データのヘッダ情報として上記露出基準値が付加されて画像ファイル５が生成され、この生成された画像ファイル５が記録媒体４に記録される。

次に、画像処理装置２１について説明する。画像処理装置２１は階調変換処理及び逆階調変換に相当する処理が可能な画像処理装置であり、階調変換テーブル選択部２２と、階調変換テーブル修正部２３と、階調変換／逆階調変換処理部２４と、階調変換テーブル記憶部２５とから構成されている。ここで、階調変換の逆階調変換処理に相当する処理とは、階調変換処理が施された画像データを、階調変換が施される前の光量にほぼリニアな画像データに変換する処理である。なお、この処理では、必ずしも階調変換前の画像データとは一致しないが、このような変換を行うことで、画像処理後の画像データに対して再びホワイトバランスンス補正等の処理を行う場合でも、より適正な処理を行うことができる。なお、以後の説明では、階調変換の逆変換に相当する処理を、単に逆階調変換処理と称する。

撮像装置１において生成された画像ファイル５は画像処理装置２１に入力される。なお、本一実施形態では、撮像装置１において画像ファイル５を生成することなく、露出基準値記憶部２に記憶されている露出基準値と撮像部３で取得した画像データを直接、画像処理装置２１に入力することも可能である。

その後、ユーザによって画像の階調変換処理が指示された場合に、階調変換テーブル選択部２２では、入力された露出基準値に従って階調変換テーブルが選択される。ここで、図１に示すように、階調変換テーブル記憶部２５には、複数の露出基準値に対応した複数の階調変換テーブルが記憶されており、入力された露出基準値に対応する階調変換テーブルが階調変換テーブル選択部２２によって選択される。

その後、ユーザから階調変換テーブル修正の指示があった場合等には、階調変換テーブル修正部２３によって階調変換テーブルの修正が行われる。

以後は、撮像部３で取得された画像データに対して画像処理（階調変換処理）が施されているか否かに応じて異なる処理が行われる。

入力された画像データに対して階調変換処理が施されていない場合には、階調変換テーブル選択部２２によって選択され階調変換テーブル修正部２３によって修正された階調変換テーブルに基づいて、入力された画像データに対する階調変換処理が、階調変換／逆階調変換処理部２４によって行われる。一方、入力された画像データに対して階調変換処理が施されている場合には、階調変換テーブル選択部２２によって選択され階調変換テーブル修正部２３によって修正された階調変換テーブルに基づいて、入力された画像データに対する逆階調変換処理が階調変換／逆階調変換処理部２４によって行われる。

図１の画像処理システムについて更に詳しく説明する。
図２は、図１の撮像装置１の一例としてのデジタルカメラ１００の構成を示すブロック図である。図２のデジタルカメラ１００は、撮像部１０１と、Ａ／Ｄ変換部１０２と、バスライン１０３と、ＲＡＭ１０４と、マイクロコンピュータ（マイコン）１０５と、画像処理部１０６と、露出基準値記憶手段としてのＲＯＭ１０７と、記録媒体１０８とから構成されている。

撮像部１０１は撮影光学系や撮像素子（ＣＣＤ）等から構成されている。即ち、撮像部１０１では、図示しない被写体からの光束が、撮影光学系を介して撮像素子上に結像され、撮像素子において電気信号に変換される。Ａ／Ｄ変換部１０２では、撮像部１０１から出力されたアナログの画像信号がデジタルの画像データに変換される。この画像データは、バスライン１０３を介してＲＡＭ１０４に一時的に記憶される。なお、ＲＡＭ１０４は、画像データが一時記憶される他に、測距演算や測光演算等の各種演算時における各種データの一時記憶も行われる。以後、Ａ／Ｄ変換部１０２から出力された画像処理が行われる前の画像データのことをＲＡＷデータと称する。

その後は、画質モードがＪＰＥＧモード（画像処理を行う画質モード）に設定されているか、ＲＡＷモード（画像処理を行わない画質モード）に設定されているかに応じて異なる処理が行われる。

即ち、画質モードがＪＰＥＧモードに設定されている場合には、ＲＡＭ１０４に記憶されたＲＡＷデータが、バスライン１０３を介して画像処理部１０６に入力される。画像処理部１０６は、ホワイトバランス（ＷＢ）補正部１０６ａ、同時化部１０６ｂ、色変換部１０６ｃ、階調変換部１０６ｄ、ＪＰＥＧ圧縮部１０６ｅから構成されており、入力されたＲＡＷデータに対して画像処理を施す。ＷＢ補正部１０６ａでは、画像中のＲＧＢゲインを調整するホワイトバランス補正処理が行われる。同時化部１０６ｂではベイヤデータを同時化する同時化処理が行われる。色変換部１０６ｃはＲＧＢデータを標準化するための色マトリクス演算が行われる。更に、階調変換部１０６ｄでは、ＲＯＭ１０７に記憶された露出基準値と階調変換テーブルとに基づいて階調変換処理が行われる。

ここで、露出基準値について説明する。露出基準値とは、撮影時における露出の基準となる値であり、本一実施形態では、露出基準値として、露出制御の目標となる値（ＬＶ０）及びＬＶ０を階調変換した値（ＬＶ１）を用いる。より具体的に説明すると、ＬＶ０は自動露出制御で均一面を撮影した場合に得られるＲＡＷデータ（即ち、Ａ／Ｄ変換部１０２からの出力）の画素値であり、ＬＶ１はＬＶ０をＲＯＭ１０７に格納された階調変換テーブルに従って階調変化した後の画素値である。

以上のようにして処理された画像データは、ＪＰＥＧ圧縮部１０６ｅに入力される。ＪＰＥＧ圧縮部１０６ｅでは、入力された画像データがＪＰＥＧ圧縮される。以後、この圧縮された画像データをＪＰＥＧデータと称する。その後、ＪＰＥＧデータにヘッダ情報が付加されてＪＰＥＧファイルが生成される。なお、ヘッダ情報には、ホワイトバランス補正処理時のホワイトバランスゲイン、色変換処理時の色変換マトリクス、撮影時の画質モード等に加えて、露出基準値ＬＶ０及びＬＶ１が記録される。

次に、マイクロコンピュータ１０５は、このようにして画像処理部１０６にて生成されたＪＰＥＧファイルを記録媒体１０８に記録する。ここで、マイクロコンピュータ１０５は、デジタルカメラ１００全体の制御を司る制御部であり、ここでの記録制御の他に、撮像部１０１内の撮影光学系の焦点制御や撮像素子の駆動制御、測距演算や測光演算等の演算制御等も行う。また、記録媒体１０８にはメモリカード等の着脱式のもの記録媒体を想定しているが、デジタルカメラ１００と画像処理装置との間でデータの授受を可能にしておけば、記録媒体１０８を内蔵式のものとしても良い。

また、画質モードがＲＡＷモードに設定されている場合には、Ａ／Ｄ変換部１０２から出力されたＲＡＷデータに、上記と同様のヘッダ情報が付加されてＲＡＷファイルが生成される。マイクロコンピュータ１０５は、このようにして生成されたＲＡＷファイルを記録媒体１０８に記録する。

図３（ａ）は、図１の画像処理装置２１の一例としてのＰＣ２００の構成を示すブロック図である。図３（ａ）のＰＣ２００は、入力手段としてのファイルインターフェイス（Ｉ／Ｆ）２０１と、階調変換テーブル選択部２０２と、階調変換テーブル記憶部２０３と、階調変換テーブル修正部２０４と、指示手段としてのユーザインターフェイス（Ｉ／Ｆ）２０５と、画像処理部２０６とから構成されている。なお、これらの構成のうちの一部は、ＰＣ内のアプリケーションソフトウェアによって実現されるものである。

画像ファイル５がファイルＩ／Ｆ２０１を介してＰＣ２００に入力された場合、階調変換テーブル選択部２０２では、画像ファイル５に記録された露出基準値ＬＶ０及びＬＶ１が読み出され、このＬＶ０及びＬＶ１に対応する階調変換テーブルが階調変換テーブル記憶部２０３から選択される。図３（ｂ）に階調変換テーブル記憶部２０３に記憶されている階調変換テーブルのテーブルを示す。即ち、階調変換テーブル記憶部２０３には、複数組のＬＶ０とＬＶ１に対応する複数の階調変換テーブル（図３（ｂ）ではTable1〜Table9の９個）が記憶されており、階調変換テーブル選択部２０２では、読み出したＬＶ０、ＬＶ１の組に最も近い階調変換テーブルが選択される。また、図４に階調変換テーブルの例を示す。即ち、階調変換時には、図４に示す階調変換テーブルに従って、Ａ／Ｄ変換部１０２からの入力（０〜４０９５の１２ビットで表される画素値）が、０〜２５５の８ビットの画素値に変換される。

次に、キーボードやポインティングデバイスなどのユーザＩ／Ｆ２０５を介して階調変換テーブルの修正指示がなされた場合に、階調変換テーブル修正部２０４では階調変換テーブルの修正が行われる。この階調変換テーブルの修正は、ユーザによって画像のコントラストの変更が指示された場合と、ユーザによって画像の露出補正が指示された場合に行われるものである。なお、ここでの露出補正は、デジタルカメラ１００で行われるものではなく、ＰＣ２００の後処理として行われる露出補正のことである。

まず、コントラスト変更指示による階調変換テーブルの修正について説明する。図５（ａ）は、コントラスト変更による階調変換テーブルの修正例について示した図であり、図５（ｂ）は図５（ａ）の階調変換特性曲線を示す図である。

例えば、ユーザによって画像のコントラストを高くするように指示された場合には、図５（ａ）に示す階調変換テーブル（補正前）を階調変換テーブル（コントラストＨｉ）に修正する。一方、ユーザによって画像のコントラストを低くするように指示された場合には、階調変換テーブル（補正前）を階調変換テーブル（コントラストＬｏｗ）に修正する。ここで、本一実施形態では、階調変換テーブルを修正する場合には、図５（ａ）に示す（ＬＶ０，ＬＶ１）の座標を通過するように階調変換テーブルを修正する。この修正は、ユーザによって指示されたコントラストに応じて新たに階調変換テーブルを生成するようにしても良いし、階調変換テーブル記憶部２０３に、階調変換テーブルのコントラスト変化に対応する複数の階調変換テーブルを更に記憶させるようにしておき、ユーザによって指示されたコントラストに応じて階調変換テーブル記憶部２０３の中から階調変換テーブルを選択できるようにしても良い。また、ユーザによって指示されたコントラストに対応する階調変換テーブルが記憶されていない場合には、近くの階調変換テーブルから、補間演算によって新たな階調変換テーブルを生成するようにしても良い。

このように本一実施形態では、画像ファイル生成時に、画像データと同時に露出基準値ＬＶ０、ＬＶ１を記録するようにしているので、ＰＣ２００側においても（ＬＶ０，ＬＶ１）の座標を通過するような階調変換テーブルを容易に生成することができる。ここで、上記したように、ＬＶ０とＬＶ１は撮影時の露出の基準となる値であるので、これらの値を変えないように階調変換テーブルを修正することにより、適正な露出を維持したまま、画像のコントラストのみを変えることができる。

なお、図５（ａ）の階調変換テーブルをあらわすと、５（ｂ）のようになる。ここで、図５（ｂ）においては、横軸がｌｏｇ_２（入力値／ＬＶ０）となっているので、横軸が０（入力値＝ＬＶ０）のときに縦軸がＬＶ１となる。図５（ｂ）のような階調特性曲線では、補正前の曲線及びコントラスト変更後の曲線は、共に（０，ＬＶ１）を通過する曲線であり、中間調の特性のみがそれぞれ異なる曲線となる。

次に、露出補正指示による階調変換テーブルの修正について説明する。図６（ａ）は、露出補正による階調変換テーブルの修正について示した図であり、図６（ｂ）は図６（ａ）の階調特性曲線を示す図である。更に、図６（ｃ）は図６（ｂ）の階調特性曲線の飽和領域付近の拡大図である。

例えば、ユーザによって露出を＋側に補正するように指示された場合には、図６（ａ）に示す階調変換テーブル（補正前）を階調変換テーブル（露出補正＋）に修正する。一方、ユーザに露出を−側に補正するように指示された場合には、階調変換テーブルを階調変換テーブル（露出補正−）に修正する。即ち、露出補正の場合には、ＬＶ０を、
ＬＶ０（露出補正後）＝ＬＶ０（露出補正前）×２^{（−露出補正値）} （式１）
の式に基づいて変更し、このＬＶ０（露出補正後）とＬＶ１とを通過するように階調変換テーブルを修正する。なお、ここでのＬＶ１はＬＶ０（露出補正後）を階調変換した値ではなく、露出補正前のＬＶ１である。この場合には、基準となる露出を変えずに画像全体の露出を変更することができる。また、露出補正値とは、どの程度の露出の補正を行うのか、即ちＲＡＷデータをどの程度のゲインで増幅するのかを示す値であり、ユーザによって指定されるものである。

即ち、本一実施形態では、ＬＶ０とＬＶ１を画像ファイル５に記録するようにしているので、図６（ｃ）の破線で示すように出力が飽和したり、出力が飽和レベル（画素値２５５）に達しないというような不適正な露出補正が行われることがなく、またデジタルカメラ側の特性を考慮した適正な露出補正を行うことができる。

必要に応じて階調変換テーブルの修正が行われた後は、その階調テーブルに基づいて画像データの階調変換処理又は逆変換処理を行う。

次に、以上のようなデジタルカメラ１００とＰＣ２００から構成される画像処理システムによって行われる画像処理方法についてフローチャートを参照して更に詳しく説明する。

図７は、デジタルカメラ１００側の制御について説明するフローチャートである。即ち、図示しないレリーズボタンがオンされると図７の制御が開始される。まず、撮像部１０１で取得されている画像の明るさに基づいて測光を行う（ステップＳ１）。次に、ＲＯＭ１０７に記憶された露出基準値ＬＶ０及びＬＶ１を読み出す（ステップＳ２露出基準値読出工程）。その後、ステップＳ１の測光の結果やステップＳ２で読み出した露出基準値に基づいて露出時間等を演算する。これは、画像全体の明るさの平均値に基づいて行っても良いし、画像の中央部分等の画像内の一部分の明るさに基づいて行っても良い。

その後、演算された露出時間等に基づいて露出制御を行い、得られた信号を増幅したり、デジタル変換したりするなどの撮像処理を行う（ステップＳ３、ステップＳ４画像取得工程）。

次に、画質モードがＪＰＥＧモードであるか否かの判定を行う（ステップＳ５）。このステップＳ５の判定において画質モードがＪＰＥＧモードであると判定した場合には、上記ホワイトバランス補正処理、同時化処理、色変換処理、階調変換処理、及びＪＰＥＧ圧縮処理を行う（ステップＳ６〜ステップＳ１０）。

その後、画像ファイルのヘッダ情報を作成して（ステップＳ１１）、作成したヘッダ情報と画像データとをマージして画像ファイル（ＪＰＥＧファイル）を生成する（ステップＳ１２）。そして、生成したＪＰＥＧファイルを記録媒体１０８に記録する（ステップＳ１３）。

一方、ステップＳ５の判定において画質モードがＪＰＥＧモードでない、即ちＲＡＷモードであると判定した場合には、ステップＳ５からステップＳ１１に移行する。そして、ＪＰＥＧファイルのときと同様にして画像ファイル（ＲＡＷファイル）を生成し、生成したＲＡＷファイルを記録媒体１０８に記録する。

画像ファイルの記録が終了した後、記録媒体１０８に記録された画像ファイルをＰＣ２００に出力する（ステップＳ１４出力工程）。

図８は、ＰＣ２００側の制御について説明するフローチャートである。即ち、画像ファイルが入力され、ユーザによってこの画像ファイルが開かれると（ステップＳ２１）、ヘッダ情報及び画像データ（ステップＳ２２、ステップＳ２３）を読み出す。次に、画像ファイルのヘッダ情報として記録された露出基準値ＬＶ０及びＬＶ１に基づいて階調変換テーブルの選択を行う（ステップＳ２４階調変換テーブル選択工程）。

次に画像ファイルのヘッダ情報から、画像データの画質モードがＪＰＥＧモードであるか否かを判定する（ステップＳ２５）。このステップＳ２５の判定において画質モードがＪＰＥＧモードでない、即ちＲＡＷモードであると判定した場合には、デジタルカメラ１００側で行ったのと同様にして、ホワイトバランス補正処理、同時化処理、色変換処理を行う（ステップＳ２６〜ステップＳ２８）、更にステップＳ２４において選択した階調変換テーブルに基づいて階調変換処理を行う（ステップＳ２９階調変換処理工程）。一方、ステップＳ２５の判定において画質モードがＪＰＥＧモードであると判定した場合には、ＪＰＥＧデータを伸長する（ステップＳ３０）。

以上のような処理の後、図示しないディスプレイ上に画像を表示する（ステップＳ３１）。次に、ユーザによって階調変更の指示がなされたか否かを判定する（ステップＳ３２）。

ステップＳ３２の判定において、階調変更の指示がなされていると判定した場合には、画質モードがＲＡＷモードであるか又はＪＰＥＧモードであるかに応じて異なる処理を行う。画質モードがＲＡＷモードの場合には、図５（ａ）で説明したようにして階調変換テーブルの修正を行った後（ステップＳ３３）、ステップＳ２６に移行して画像処理を行う。一方、画質モードがＪＰＥＧモードの場合には、ＪＰＥＧ伸長データに対して逆階調変換処理を行って（ステップＳ３４）、階調変換前の被写体の光量にほぼリニアな画像データを生成する。その後、階調変換テーブルの修正を行った後（ステップＳ３５）、修正した階調変換テーブルに基づいた階調変換処理を行う（ステップＳ３６）。

このように、本一実施形態では、画質モードがＪＰＥＧモードであると判定した場合には、階調の変更を行う前に逆階調変換処理を行うようにしている。これにより、ＪＰＥＧデータの階調を直接変更するのに比べて、よりもとの撮影時の画像データに近い画像データで階調の変更を行うことができる。なお、ステップＳ３４の逆階調変換処理の後に、ホワイトバランス補正等を行うようにしても良い。

また、ステップＳ３２の判定において、階調変更の指示がなされていないと判定した場合には、露出補正の指示がなされているか、即ちユーザによって露出補正値が指定されたか否かを判定する（ステップＳ３７指示工程）。このステップＳ３７の判定において、露出補正の指示がなされており、かつ画質モードがＲＡＷモードであると判定した場合には、上記（式１）に従ってＬＶ０を修正した後（ステップＳ３８露出基準値変更工程）、それに応じて階調変換テーブルの修正を行って（ステップＳ３９）、ステップＳ２６に戻る。一方、ステップＳ３７の判定において、露出補正の指示がなされており、かつ画質モードがＪＰＥＧモードであると判定した場合には、上記（式１）に従ってＬＶ０を修正した後（ステップＳ４０）、それに応じて階調変換テーブルの修正を行って（ステップＳ４１）、ステップＳ３４に戻る。

また、ステップＳ３７の判定において、露出補正の指示がなされていない場合には、処理を終了する。

以上説明したように、本一実施形態によれば、ＲＡＷファイルの取得時に露出基準値ＬＶ０、ＬＶ１をヘッダ情報として記録するようにしているので、カメラの機種やメーカの設計思想等によらずに、ＲＡＷデータに対して適切な階調変換処理を施すことができる。また、ヘッダ情報として記録する情報も少ないので、画像ファイルの転送速度が低下するようなこともない。

また、本一実施形態では、画質モードがＪＰＥＧモードであると判定した場合には、画像データの逆階調変換処理を行うようにしているので、ＪＰＥＧデータの階調等を直接変更するのに比べて、適正な階調の変更を行うことができる。

また、本一実施形態では、画像ファイルに露出基準値を記録しておくことにより、手動で行うよりも、容易にかつ適切に階調変換テーブルを修正して露出補正を行うことができる。

なお、本一実施形態では露出基準値としてＬＶ０、ＬＶ１の両方を画像データと共に記録するようにしているが、一方を固定値として他方のみを記録するようにしても良い。例えば、露出基準値としてＩＳＯ感度の測定基準となる値（ＬＶ１＝１１８（８ビット））となるＬＶ０のみを記述するようにしても良い。また、本一実施形態ではＬＶ０とＬＶ１のビット精度をそれぞれ１２ビット、８ビットとしたが、これに限るものではない。例えば、ＬＶ０、ＬＶ１を飽和レベルに対するパーセンテージで表すようにしても良い。

また、本一実施形態では露出基準値ＬＶ０、ＬＶ１を露出基準値記憶部２から読み出した値としているが、図９のような露出基準値修正部６を設けておき、露出基準値記憶部２から読み出した露出基準値が修正されるようにしても良い。この露出基準値修正部６では、測光結果等によって決定される、ストロボ発光の有無などの条件によって露出基準値が修正される。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る画像処理システムの構成を示すブロック図である。撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。画像処理装置の一例としてのＰＣの構成を示す図であって、図３（ａ）はＰＣのブロック図であり、図３（ｂ）は階調変換テーブルのテーブルについて示す図である。階調変換テーブルの例について示す図である。図５（ａ）はコントラスト補正による階調変換テーブルの修正について示した図であり、図５（ｂ）は図５（ａ）の階調特性曲線を示す図である。図６（ａ）は露出補正による階調変換テーブルの修正について示した図であり、図６（ｂ）は図６（ａ）の階調特性曲線を示す図であり、図６（ｃ）は図６（ｂ）の飽和領域付近の拡大図である。本発明の一実施形態に係る画像処理方法について説明するための、デジタルカメラ側の処理について示すフローチャートである。本発明の一実施形態に係る画像処理方法について説明するための、画像処理装置側の処理について示すフローチャートである。本発明の変形例について示すブロック図である。

符号の説明

１…撮像装置、２…露出基準値記憶部、３，１０１…撮像部、４，１０８…記録媒体、５…画像ファイル、６…露出基準値修正部、２１…画像処理装置、２２…階調変換テーブル選択部、２３…階調変換テーブル修正部、２４…階調変換／逆階調変換処理部、２５…階調変換テーブル記憶部、１００…デジタルカメラ、１０２…Ａ／Ｄ変換部、１０３…バスライン、１０４…ＲＡＭ、１０５…マイクロコンピュータ、１０６，２０６…画像処理部、１０６ａ…ホワイトバランス（ＷＢ）補正部、１０６ｂ…同時化部、１０６ｃ…色変換部、１０６ｄ…階調変換部、１０６ｅ…ＪＰＥＧ圧縮部、１０７…ＲＯＭ、２００…ＰＣ、２０１…ファイルインターフェイス（Ｉ／Ｆ）、２０２…階調変換テーブル選択部、２０３…階調変換テーブル記憶部、２０４…階調変換テーブル修正部、２０５…ユーザインターフェイス（Ｉ／Ｆ）、２０６…画像処理部

Claims

画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って少なくとも階調変換処理が施される前の画像データを入力する画像入力手段と、
上記露出基準値を入力する露出基準値入力手段と、
画像の露出を補正するための露出補正値を指示する指示手段と、
上記指示手段によって指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更手段と、
複数の露出基準値に対応した階調変換テーブルを記憶する階調変換テーブル記憶手段と、
上記露出基準値変更手段によって変更された露出基準値に対応する階調変換テーブルを、上記階調変換テーブル記憶手段に記憶された複数の階調変換テーブルの中から選択する階調変換テーブル選択手段と、
上記階調変換テーブル選択手段によって選択された階調変換テーブルに基づいて上記画像入力手段によって入力された画像データに階調変換処理を施す階調変換処理手段と、
を具備することを特徴とする画像処理装置。
画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って少なくとも階調変換処理が施される前の画像データを入力する画像入力手段と、
上記露出基準値を入力する露出基準値入力手段と、
複数の露出基準値に対応した階調変換テーブルを記憶する階調変換テーブル記憶手段と、
上記露出基準値入力手段によって入力された露出基準値に対応する階調変換テーブルを、上記階調変換テーブル記憶手段に記憶された複数の階調変換テーブルの中から選択する階調変換テーブル選択手段と、
画像の露出を補正するための露出補正値を指示する指示手段と、
上記指示手段によって指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更手段と、
上記露出基準値変更手段によって変更された露出基準値に応じて上記選択された階調変換テーブルを修正する階調変換テーブル修正手段と、
上記階調変換テーブル修正手段によって修正された階調変換テーブルに基づいて上記画像入力手段によって入力された画像データに階調変換処理を施す階調変換処理手段と、
を具備することを特徴とする画像処理装置。
上記露出基準値変更手段は、上記露出基準値のうちの上記露出制御目標値を変更し、
上記階調変換テーブル記憶手段には、上記階調変換テーブルに加えて、この階調変換テーブルの上記露出制御目標値の変化に対応する複数の階調変換テーブルが更に記憶されており、
上記階調変換テーブル選択手段は、上記階調変換テーブル記憶手段に記憶された複数の階調変換テーブルの中から、上記変更された露出制御目標値に対応する階調変換テーブルを選択することを更に行うことを特徴とする請求項１に記載の画像処理装置。
上記露出基準値変更手段は、上記露出基準値のうちの上記露出制御目標値を変更し、
上記階調変換テーブル修正手段は、上記階調変換テーブルの修正を行う際に、上記階調変換処理を施したときの値を変化させないように上記階調変換テーブルを修正することを特徴とする請求項２に記載の画像処理装置。
画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って被写体を撮像して少なくとも上記露出基準値に従った階調変換処理が施される前の画像データを得る画像取得手段と、上記露出基準値を記憶する露出基準値記憶手段と、上記画像取得手段によって得た上記画像データを、上記露出基準値記憶手段に記憶された上記露出基準値と共に出力する画像出力手段と、を具備する撮像装置と、
上記画像出力手段によって出力された上記画像データ及び上記露出基準値を入力する入力手段と、画像の露出を補正するための露出補正値を指示する指示手段と、上記指示手段によって指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更手段と、複数の露出基準値に対応した階調変換テーブルを記憶する階調変換テーブル記憶手段と、上記露出基準値変更手段によって変更された露出基準値に対応する階調変換テーブルを、上記階調変換テーブル記憶手段に記憶された複数の階調変換テーブルの中から選択する階調変換テーブル選択手段と、上記階調変換テーブル選択手段によって選択された階調変換テーブルに基づいて上記画像入力手段によって入力された画像データに階調変換処理を施す階調変換処理手段とを具備する画像処理装置と、
を備えることを特徴とする画像処理システム。
画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って被写体を撮像して少なくとも上記露出基準値に従った階調変換処理が施される前の画像データを得る画像取得手段と、上記露出基準値を記憶する露出基準値記憶手段と、上記画像取得手段によって得た上記画像データを、上記露出基準値記憶手段に記憶された上記露出基準値と共に出力する画像出力手段と、を具備する撮像装置と、
上記画像出力手段によって出力された上記画像データ及び上記露出基準値を入力する入力手段と、複数の露出基準値に対応した階調変換テーブルを記憶する階調変換テーブル記憶手段と、上記露出基準値入力手段によって入力された露出基準値に対応する階調変換テーブルを、上記階調変換テーブル記憶手段に記憶された複数の階調変換テーブルの中から選択する階調変換テーブル選択手段と、画像の露出を補正するための露出補正値を指示する指示手段と、上記指示手段によって指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更手段と、上記露出基準値変更手段によって変更された露出基準値に応じて上記選択された階調変換テーブルを修正する階調変換テーブル修正手段と、上記階調変換テーブル修正手段によって修正された階調変換テーブルに基づいて上記画像入力手段によって入力された画像データに階調変換処理を施す階調変換処理手段と、を具備する画像処理装置と、
を備えることを特徴とする画像処理システム。
画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って被写体を撮像して少なくとも上記露出基準値に従った階調変換処理が施される前の画像データを得る画像取得工程と、
上記画像取得工程において得られた上記画像データと上記露出基準値とを出力する出力工程と、
画像の露出を補正するための露出補正値を指示する指示工程と、
上記指示工程において指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更工程と、
上記露出基準値変更工程において変更された露出基準値に対応する階調変換テーブルを複数の階調変換テーブルの中から選択する階調変換テーブル選択工程と、
上記階調変換テーブル選択工程において選択された階調変換テーブルに基づいて上記出力工程において出力された画像データに階調変換処理を施す階調変換処理工程と、
を備えることを特徴とする画像処理方法。
画像データが撮像された際の露出の基準であり、自動露出制御で均一面を撮像した際の撮像出力値に相当する露出制御目標値と該露出制御目標値に対して階調変換処理を施したときの値との両方を含む露出基準値に従って被写体を撮像して少なくとも上記露出基準値に従った階調変換処理が施される前の画像データを得る画像取得工程と、
上記画像取得工程において得られた上記画像データと上記露出基準値とを出力する出力工程と、
画像の露出を補正するための露出補正値を指示する指示工程と、
上記指示工程において指示された露出補正値に基づいて上記露出基準値を変更する露出基準値変更工程と、
上記出力工程において出力された露出基準値に対応する階調変換テーブルを複数の階調変換テーブルの中から選択する階調変換テーブル選択工程と、
上記露出基準値変更工程において変更された露出基準値に応じて上記選択された階調変換テーブルを修正する階調変換テーブル修正工程と、
上記階調変換テーブル修正工程において修正された階調変換テーブルに基づいて上記出力工程において出力された画像データに階調変換処理を施す階調変換処理工程と、
を備えることを特徴とする画像処理方法。