JP4426009B2

JP4426009B2 - Image processing method and apparatus, and recording medium

Info

Publication number: JP4426009B2
Application number: JP06165199A
Authority: JP
Inventors: 英之境田; 渡伊藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1999-03-09
Filing date: 1999-03-09
Publication date: 2010-03-03
Anticipated expiration: 2019-03-09
Also published as: JP2000261719A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影時の輝度を考慮して撮影により取得された画像データに対して画像処理を施す画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
デジタル電子スチルカメラ（以下デジタルカメラとする）において取得したデジタル画像データや、フイルムに記録された画像を読み取ることにより得られたデジタル画像データを、プリント等のハードコピーとしてあるいはディスプレイ上にソフトコピーとして再現することが行われている。このように、デジタル画像データを再現する場合においては、ネガフイルムからプリントされた写真と同様の高品位な画質を有するものとすることが期待されている。
【０００３】
一方、デジタルカメラにおいて得られた画像データを記録媒体に記録するに際し、カメラのガンマ特性、レンズの焦点距離、レンズのＦ値、カメラ内にて行われたＡＥ処理の内容等の撮影条件を記録媒体に記録するようにした方法が提案されている（特開平１０−１９１２４６号）。この方法によれば、画像データをプリントするに際して、記録媒体に記録された撮影条件を参照して画像データの画質を高めるための処理を施すことができ、これにより良好な仕上がりのプリントを得ることができる。
【０００４】
ところで、デジタルカメラの場合はカメラ自体に自動露出（ＡＥ）機能が設けられており、このＡＥ機能により画像データの階調や周波数特性を調整することにより露出補正処理が行われる。また、フイルムから画像を読み取る場合は、ラボにおいて同様の露出補正処理が行われる。このように露出補正処理を行うことにより、撮影時の輝度が１００倍も異なるような日向のシーンと日陰のシーンであっても、プリント出力された画像においては、画像が真っ白になったり真っ黒になったりすることなく、撮影時のシーンを再現することができる。
【０００５】
【発明が解決しようとする課題】
このようなＡＥ機能によって露出補正処理を施すことにより、どのような輝度のシーンであっても、明るさが極端に変更することなく画像を再現することができる。しかしながら、このようなＡＥ機能は撮影したシーンの輝度に拘わらず一律の明るさとなるように露出補正処理を施すものであるため、例えば真夏の砂浜のように非常に明るくぎらぎらしたシーンであっても、ＡＥ機能による一律の露出補正により、撮影時のぎらぎらした印象が損なわれてしまう。
【０００６】
本発明は上記事情に鑑みなされたものであり、撮影時の印象を損なうことなく画像データに対して画像処理を施すことができる画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
本発明による画像処理方法は、撮影により取得された画像を表す画像データに対して画像処理を施す画像処理方法において、
撮影時におけるシーンの絶対輝度に関する絶対輝度情報を取得し、
該絶対輝度情報に基づいて、前記画像データに対して階調および／または周波数特性を変更する画像処理を施して処理済み画像データを得ることを特徴とするものである。
【０００８】
なお、前記画像処理は、前記処理済み画像データにより表される画像が、撮影時において知覚される階調および／または周波数特性に近づくように、前記画像データの階調および／または周波数特性を変更する処理であることが好ましい。
【０００９】
ここで、「絶対輝度情報」は、カメラに輝度計を設けこの輝度計により撮影時の輝度を測定することにより取得してもよく、撮影により取得された画像データが露出補正を施したものでない場合には、画像データや撮影時の絞り値等の情報から得るようにしてもよい。また、カメラが輝度計を有するデジタルカメラの場合には、画像データを記録する記録メディアに絶対輝度情報を記録して出力を行うラボに受け渡せばよく、磁気情報を記録可能ないわゆるＡＰＳフイルムを使用するカメラの場合には、ＡＰＳフイルムの磁気記録部に絶対輝度情報を記録してラボに受け渡せばよい。また、絶対輝度情報ＫをＦＤ等の記録媒体に記録してラボに受け渡してもよい。また、「絶対輝度情報」としては撮影時におけるシーンの絶対輝度を数値で表したもののみならず、下記の表１に示すように、絶対輝度の範囲の代表値や、絶対輝度の範囲を記号で表したものであってもよい。
【００１０】
【表１】

【００１１】
本発明による画像処理装置は、撮影により取得された画像を表す画像データに対して画像処理を施す画像処理装置において、
撮影時におけるシーンの絶対輝度に関する絶対輝度情報を取得する輝度情報取得手段と、
該絶対輝度情報に基づいて、前記画像データに対して階調および／または周波数特性を変更する画像処理を施して処理済み画像データを得る処理手段とを備えたことを特徴とするものである。
【００１２】
なお、前記処理手段は、前記処理済み画像データにより表される画像が、撮影時において知覚される階調および／または周波数特性に近づくように、前記画像データの階調および／または周波数特性を変更する処理を行う手段であることが好ましい。
【００１３】
なお、本発明による画像処理方法を、コンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００１４】
【発明の効果】
本発明によれば、撮影時におけるシーンの絶対輝度に関する絶対輝度情報に基づいて、画像データに対して階調および／または周波数特性を変更する処理を施すようにしたため、撮影時のシーンの輝度を反映した画像を表す処理済み画像データを得ることができ、処理済み画像データを再生することにより、撮影時の輝度の印象に応じた画像を得ることができる。
【００１５】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図である。図１に示すように、第１の実施形態による画像出力システムは、デジタルカメラ１において取得された画像データＳ０を記録メディア２に記録し、この記録メディア２をラボ３に受け渡してここでプリント出力を行うものである。
【００１６】
デジタルカメラ１は、ＣＣＤ、撮影に必要な光学系、オートフォーカス機能等を有する撮像手段４と、撮像手段４において取得された原画像データＳ′に対して自動露出補正処理を施して画像データＳ０を得る自動露出補正（ＡＥ）手段５と、撮影時のシーンの輝度を測定する輝度計６とを有する。ＡＥ手段５は、撮影時のシーンの輝度に拘わらず、画像が真っ白になったり真っ黒になったりしないように、原画像データＳ′の露出を補正して画像データＳ０を得るものである。したがって、デジタルカメラ１において取得されて記録メディア２に記録される画像データＳ０は、すでに露出補正がなされているものである。なお、輝度計６による輝度の測定結果は絶対輝度情報Ｋとして記録メディア２に記録される。
【００１７】
記録メディア２は、スマートメディア、コンパクトフラッシュ、メモリスティック等の画像データＳ０および絶対輝度情報Ｋを記録するデジタルメディアである。
【００１８】
ラボ３は、記録メディア２に記録された画像データＳ０および絶対輝度情報Ｋを読み出す読出手段７と、絶対輝度情報Ｋに基づいて画像データＳ０のコントラストを調節して処理済み画像データＳ１を得る階調処理手段８と、処理済み画像データＳ１をプリント出力するプリンタ等の出力手段９とを備える。
【００１９】
階調処理手段８は以下のようにして画像データＳ０のコントラストを調節する。図２は輝度と輝度に対する見かけの明るさとの関係を表すグラフ、図３は図２において輝度のコントラストを表す部分のみを示すグラフである。図２に示すように、撮影時のシーンおいては輝度が高くなるほど白いものはより明るく、黒いものはより暗く見えるようになる。このため、図３に示すように室内のように暗い所ではコントラストが低く、晴天の屋外のように明るい所ではコントラストが高く感じられる。したがって、階調処理手段８においては、撮影時の絶対輝度情報Ｋに基づいて、絶対輝度が高い場合にはコントラストをより高くし、絶対輝度が低い場合にはコントラストをより低くするように、画像データＳ０のコントラストを調節して処理済み画像データＳ１を得るものである。なお、この場合のコントラストはグレーのコントラストのみならず、ＲＧＢ各成分に関するコントラストも含まれるものである。また、階調処理手段８においては、プリントを観察する観察光源や出力手段９の色再現範囲等を考慮した色変換処理を施してもよい。
【００２０】
次いで、本実施形態の動作について説明する。図４は第１の実施形態の動作を示すフローチャートである。まず、デジタルカメラ１により撮影を行い（ステップＳ１）、撮影により取得された原画像データＳ′に対してＡＥ手段４において露出補正を施して画像データＳ０を得る（ステップＳ２）。また、輝度計により撮影時の輝度が測定され（ステップＳ３）、この輝度を表す絶対輝度情報Ｋおよび得られた画像データＳ０が記録メディア２に記録される（ステップＳ４）。以上がデジタルカメラ１において行われる処理である。
【００２１】
記録メディア２はラボ３に受け渡され、読出手段７において絶対輝度情報Ｋおよび画像データＳ０が記録メディア２から読み出される（ステップＳ５）。そして、階調処理手段８において、読み出された絶対輝度情報Ｋに基づいて画像データＳ０のコントラストを調節する階調処理が施されて処理済み画像データＳ１が得られる（ステップＳ６）。処理済み画像データＳ１は出力手段９においてプリント出力されて（ステップＳ７）、処理を終了する。
【００２２】
このように、本実施形態によれば、撮影時におけるシーンの絶対輝度に関する絶対輝度情報Ｋに基づいて、画像データに対してコントラストを調節する階調処理を施すようにしたため、撮影時の輝度が大きいほどよりコントラストが高くなり、撮影時のシーンの輝度を反映した画像を表す処理済み画像データＳ１を得ることができる。したがって、処理済み画像データＳ１を再生することにより、撮影時の輝度の印象に応じた画像を得ることができる。
【００２３】
次いで、本発明の第２の実施形態について説明する。図５は本発明の第２の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図である。なお、第２の実施形態においては、デジタルカメラ１の構成、ラボ３における読出手段７および出力手段９は第１の実施形態におけるデジタルカメラ１、読出手段７および出力手段９と同一であるため、詳細な説明は省略する。第２の実施形態においては、ラボ３において絶対輝度情報Ｋに基づいて画像データＳ０に対して周波数処理を施すものであり、絶対輝度情報Ｋに基づいてデータベース１２を参照して周波数処理を行う際の強調度を算出する強調度算出手段１１と、強調度算出手段１１において算出された強調度に基づいて画像データＳ０に対して周波数処理を施して処理済み画像データＳ１を得る周波数処理手段１３とを備える。
【００２４】
図６は輝度別の空間周波数と目の感度すなわち目の周波数応答特性との関係を表すグラフである。なお、図６に示す複数の曲線は下側が低輝度のものであり、上側が高輝度のものである。図６に示すように、撮影時のシーンにおいては、輝度が低いほど低周波数成分に対する感度が相対的に高くなり、輝度が高いほど１０cycle/mm付近の中間周波数成分に対する感度が相対的に高くなる。しかしながら、デジタルカメラ１に設けられたＡＥ手段５においては、撮影時のシーンの輝度に拘わらず原画像データＳ′に対して一律の明るさの画像が得られるように露出補正が施されるものである。このため、真夏の砂浜のようなぎらぎらした印象のシーン（目の周波数応答特性は例えば図６の曲線１に対応する）を撮影したものであっても、露出補正がなされた画像データＳ０をプリント出力したものを室内（目の周波数応答特性は図６の曲線２に対応する）において観察すると、低周波数成分が他の周波数成分と比較して強調されて見えるものとなり、撮影時の印象が損なわれてしまう。第２の実施形態においては、撮影時の絶対輝度情報Ｋに基づいて、撮影時の印象を損なわないように画像データＳ０に対して周波数処理を施すようにしたものである。以下、その具体的な方法について説明する。
【００２５】
データベース１２には図６に示す輝度別の目の周波数応答特性を表すデータが記憶されている。強調度算出手段１１は、記録メディア２から読み出した絶対輝度情報Ｋ、画像データＳ０およびデータベース１２のデータに基づいて、周波数処理の際を強調度を算出する。具体的には以下のようにして行う。まず、絶対輝度情報Ｋにより表される輝度すなわち撮影時の輝度に基づく目の周波数応答特性が図６の曲線１であり、画像データＳ０のプリント画像を室内において観察する際の輝度に基づく目の周波数応答特性が図６の曲線２である場合、図７（ａ）に示すように、各曲線１，２を全周波数帯域に亘って値を有するものと仮定し、曲線２を上方へ移動して０点の位置を合わせる（図７（ｂ））。そして、曲線１と曲線２とにおける周波数応答特性の差を（斜線部分）を補完すべく、画像データＳ０のある限られた周波数帯域毎に、その周波数帯域における曲線１の周波数応答特性を曲線２の周波数応答特性により除した値を強調度として求める。
【００２６】
周波数処理手段１３においては強調度算出手段１１において算出された強調度に基づいて、画像データＳ０に対して周波数強調処理を施して処理済み画像データＳ１を得る。この周波数強調処理としては、例えば特開平１０−７５３９５号に記載された周波数処理方法を用いることができる。この方法は、画像データＳ０に基づいてまず鮮鋭度の異なる、すなわち周波数特性の異なる複数のボケ画像信号を作成し、そのボケ画像信号および画像データＳ０の中の２つの信号の差分を求めることにより、画像データＳ０のある限られた周波数帯域の周波数成分を表す複数の帯域制限画像信号（以下バンドパス信号とする）を作成し、さらにそのバンドパス信号を強調度算出手段１１において算出された強調度によって変換してから、その複数のバンドパス信号を積算することにより加算信号を作成し、この加算信号を画像データＳ０に加算して処理済み画像データＳ１を得るものである。この処理は例えば下記の式（１）により表すことができる。
【００２７】
Ｓ１＝Ｓ０＋β（Ｓ０）×Ｆusm（Ｓ０,Ｓus1,Ｓus2,…ＳusN）
Ｆusm（Ｓ０,Ｓus1,Ｓus2,…ＳusN）
＝ｆ₁(Ｓ０−Ｓus1)＋ｆ₂(Ｓus1−Ｓus2)＋…
＋ｆ_k(Ｓusk-1−Ｓusk)＋…＋ｆ_N(ＳusN-1−ＳusN) …（１）
（但し、Ｓusk(k=1〜N）：ボケ画像信号
ｆ_k(k=1〜N）：各バンドパス信号を変換する強調度
β（Ｓ０）：画像データＳ０に基づいて定められる強調係数）
このように、強調度算出手段１１において算出された強調度に基づいて周波数処理を行うことにより、撮影時のシーンが曲線１で示すように高輝度である場合には、１０cycle/mm付近の中間周波数成分が他の周波数成分と比較して強調されることとなるため、処理済み画像データＳ１を再生することにより得られる画像は、撮影時の高輝度のシーンの印象を表すものとなる。
【００２８】
次いで、第２の実施形態の動作について説明する。図８は第２の実施形態の動作を示すフローチャートである。なお、図８におけるステップＳ１１からステップＳ１５までの処理は、上記第１の実施形態におけるステップＳ１からステップＳ５までの処理と同一であるため、ここでは詳細な説明は省略し、ステップＳ１６以降の処理についてのみ説明する。強調度算出手段１１において、読出手段７にて読み出された絶対輝度情報Ｋおよび画像データＳ０、さらにはデータベース１２に記憶されたデータに基づいて、周波数処理を行う際の強調度が算出され（ステップＳ１６）、周波数処理手段１３に入力される。周波数処理手段１３においては、強調度算出手段１１において算出された強調度に基づいて、上記式（１）で示す周波数処理が行われ処理済み画像データＳ１が得られる（ステップＳ１７）。処理済み画像データＳ１は出力手段９においてプリント出力されて（ステップＳ１８）、処理を終了する。
【００２９】
このように、第２の実施形態においては、撮影時におけるシーンの絶対輝度に関する絶対輝度情報Ｋに基づいて、画像データに対して周波数処理を施すようにしたため、撮影時の輝度に応じた周波数成分が強調されることとなり、撮影時のシーンの輝度を反映した画像を表す処理済み画像データＳ１を得ることができる。したがって、処理済み画像データＳ１を再生することにより、撮影時の輝度の印象に応じた画像を得ることができる。
【００３０】
なお、上記第１の実施形態においては階調処理を、第２の実施形態においては周波数処理を行うことにより、撮影時の輝度を反映した処理済み画像データＳ１を得ているが、階調処理および周波数処理の双方を行うことにより処理済み画像データＳ１を得るようにしてもよい。
【００３１】
また、上記各実施形態においては、デジタルカメラ１に輝度計６を設けて撮影時の輝度を測定し、これを絶対輝度情報Ｋとしているが、撮像手段４において取得された露出補正前の原画像データＳ′に基づいて、撮像手段４に用いられているＣＣＤの特性、絞りの値等を考慮して撮影時の輝度を求め、これを絶対輝度情報Ｋとしてもよい。また、ＡＥ手段５を有さないデジタルカメラ１の場合は、撮像手段４において得られた原画像データＳ′が記録メディア２に記録されてラボ３に受け渡されるが、この場合にＣＣＤの特性や絞り値に関する情報を記録メディア２に記録し、ラボ３においてこれらの情報および原画像データＳ′に基づいて撮影時の輝度を求め、これを絶対輝度情報Ｋとしてもよい。具体的には以下のようにして求めることができる。ＣＣＤにおける露光量をＥ、絞り値（Ｆナンバー）をＦ、シーンの絶対輝度をＩとすると、これらの関係は下記の式（２）で表すことができる。なお、式（２）においてｋは定数である。
【００３２】
Ｅ＝ｋ・Ｉ／Ｆ² （２）
また、ＣＣＤにおける露光量とＣＣＤからの出力値すなわち画素値との関係はＣＣＤの特性により決まっており、ＣＣＤからの出力値をＱとすると下記の式（３）で表すことができる。
【００３３】
Ｑ＝ｆ（Ｅ）（３）
したがって、式（２）および（３）より絶対輝度Ｉは、絞り値ＦおよびＣＣＤからの出力値Ｑにより下記の式（４）のように表すことができ、このようにして求められた絶対輝度Ｉを絶対輝度情報Ｋとすればよい。
【００３４】
Ｉ＝Ｆ²・ｆ^-1（Ｑ）／ｋ（４）
さらに、上記各実施形態においては、デジタルカメラ１により取得された画像データＳ０に対して処理を行っているが、フイルムに記録された画像を読み取ることにより得られた画像データに対しても、上記と同様に絶対輝度情報Ｋに基づいて、階調処理および／または周波数処理を施すことができる。この場合、画像データはラボ３において露出補正を施したものであってもよく、露出補正を施さないものであってもよい。さらにこの場合、絶対輝度情報ＫはＦＤ等の記録媒体に記録してラボ３に受け渡せばよい。また、フイルムが磁気情報を記録可能ないわゆるＡＰＳフイルムである場合には、ＡＰＳフイルムの磁気記録部に絶対輝度情報Ｋを記録してもよい。さらに、撮影時の絞り値等の情報をラボ３に受け渡し、ラボ３において得られた画像データとこれらの情報とに基づいて撮影時の輝度を求め、これを絶対輝度情報Ｋとしてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図
【図２】輝度と輝度に対する見かけの明るさとの関係を表すグラフ
【図３】図２において輝度のコントラストを表す部分のみを示すグラフ
【図４】第１の実施形態の動作を示すフローチャート
【図５】本発明の第２の実施形態による画像処理装置を適用した画像出力システムの構成を示す概略ブロック図
【図６】輝度別の空間周波数と目の周波数応答特性との関係を表すグラフ
【図７】強調度の算出を説明するための図
【図８】第２の実施形態の動作を示すフローチャート
【符号の説明】
１デジタルカメラ
２記録メディア
３ラボ
４撮像手段
５ＡＥ手段
６輝度計
７読出手段
８階調処理手段
９出力手段
１１強調度算出手段
１２データベース
１３周波数処理手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and apparatus for performing image processing on image data obtained by photographing in consideration of luminance at the time of photographing, and a computer-readable recording program for causing a computer to execute the image processing method. The present invention relates to a recording medium.
[0002]
[Prior art]
Digital image data obtained by a digital electronic still camera (hereinafter referred to as a digital camera) or digital image data obtained by reading an image recorded on a film as a hard copy such as a print or as a soft copy on a display It has been reproduced. Thus, when reproducing digital image data, it is expected to have a high quality image similar to a photo printed from a negative film.
[0003]
On the other hand, when recording image data obtained by a digital camera on a recording medium, recording conditions such as the gamma characteristic of the camera, the focal length of the lens, the F value of the lens, and the contents of the AE processing performed in the camera are recorded. A method of recording on a medium has been proposed (Japanese Patent Laid-Open No. 10-191246). According to this method, when printing image data, it is possible to perform processing for enhancing the image quality of the image data with reference to the shooting conditions recorded on the recording medium, thereby obtaining a print with a good finish. Can do.
[0004]
By the way, in the case of a digital camera, an automatic exposure (AE) function is provided in the camera itself, and exposure correction processing is performed by adjusting the gradation and frequency characteristics of image data by this AE function. When reading an image from a film, a similar exposure correction process is performed in a laboratory. By performing the exposure correction process in this way, even in a sunny scene and a shaded scene where the brightness at the time of shooting differs by a factor of 100, in a printed image, the image becomes white or black. The scene at the time of photography can be reproduced without becoming.
[0005]
[Problems to be solved by the invention]
By performing exposure correction processing using such an AE function, it is possible to reproduce an image without any extreme change in brightness, regardless of the brightness of the scene. However, since such an AE function performs exposure correction processing so that the brightness is uniform regardless of the brightness of the photographed scene, for example, even a very bright and glimmering scene such as a sandy beach in midsummer. Because of the uniform exposure correction by the AE function, the glaring impression at the time of shooting is lost.
[0006]
The present invention has been made in view of the above circumstances, and an image processing method and apparatus capable of performing image processing on image data without impairing the impression at the time of shooting, and a program for causing a computer to execute the image processing method It is an object of the present invention to provide a computer-readable recording medium on which is recorded.
[0007]
[Means for Solving the Problems]
An image processing method according to the present invention is an image processing method for performing image processing on image data representing an image acquired by photographing.
Obtain absolute luminance information about the absolute luminance of the scene at the time of shooting,
Based on the absolute luminance information, the image data is subjected to image processing for changing gradation and / or frequency characteristics to obtain processed image data.
[0008]
The image processing changes the gradation and / or frequency characteristics of the image data so that the image represented by the processed image data approaches the gradation and / or frequency characteristics perceived at the time of shooting. It is preferable that it is the process to perform.
[0009]
Here, the “absolute luminance information” may be obtained by providing a luminance meter in the camera and measuring the luminance at the time of photographing with this luminance meter, and the image data obtained by photographing is not subjected to exposure correction. In this case, it may be obtained from information such as image data or an aperture value at the time of shooting. If the camera is a digital camera having a luminance meter, the absolute luminance information may be recorded on a recording medium for recording image data and delivered to a lab for output. A so-called APS film capable of recording magnetic information may be used. In the case of a camera to be used, absolute luminance information may be recorded in the magnetic recording part of the APS film and delivered to the laboratory. Further, the absolute luminance information K may be recorded on a recording medium such as an FD and delivered to a laboratory. The “absolute luminance information” includes not only the numerical value of the absolute luminance of the scene at the time of shooting, but also a representative value of the absolute luminance range and the absolute luminance range as shown in Table 1 below. It may be represented by
[0010]
[Table 1]

[0011]
An image processing apparatus according to the present invention is an image processing apparatus that performs image processing on image data representing an image acquired by photographing.
Luminance information acquisition means for acquiring absolute luminance information relating to the absolute luminance of the scene at the time of shooting;
And processing means for performing processed image processing for changing the gradation and / or frequency characteristics on the image data based on the absolute luminance information to obtain processed image data.
[0012]
The processing means changes the gradation and / or frequency characteristics of the image data so that the image represented by the processed image data approaches the gradation and / or frequency characteristics perceived at the time of shooting. It is preferable that it is a means to perform the process to perform.
[0013]
The image processing method according to the present invention may be provided by being recorded on a computer-readable recording medium as a program for causing a computer to execute the image processing method.
[0014]
【The invention's effect】
According to the present invention, since the processing for changing the gradation and / or frequency characteristics is performed on the image data based on the absolute luminance information related to the absolute luminance of the scene at the time of shooting, the luminance of the scene at the time of shooting is reduced. Processed image data representing the reflected image can be obtained, and by reproducing the processed image data, an image corresponding to the impression of luminance at the time of shooting can be obtained.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing a configuration of an image output system to which an image processing apparatus according to a first embodiment of the present invention is applied. As shown in FIG. 1, the image output system according to the first embodiment records the image data S0 acquired by the digital camera 1 on a recording medium 2, transfers the recording medium 2 to a laboratory 3, and prints it here. Is to do.
[0016]
The digital camera 1 performs an automatic exposure correction process on the image data S0 obtained by the CCD, an image pickup means 4 having an optical system necessary for photographing, an autofocus function, and the like, and the original image data S ′ obtained by the image pickup means 4. And an automatic exposure correction (AE) means 5 for obtaining a brightness meter 6 for measuring the brightness of the scene at the time of shooting. The AE means 5 obtains the image data S0 by correcting the exposure of the original image data S 'so that the image does not become white or black regardless of the brightness of the scene at the time of shooting. Therefore, the image data S0 acquired by the digital camera 1 and recorded on the recording medium 2 has already been subjected to exposure correction. Note that the luminance measurement result by the luminance meter 6 is recorded on the recording medium 2 as absolute luminance information K.
[0017]
The recording medium 2 is a digital medium that records image data S0 and absolute luminance information K such as smart media, compact flash, and memory stick.
[0018]
The lab 3 reads the image data S0 and the absolute luminance information K recorded on the recording medium 2, and adjusts the contrast of the image data S0 based on the absolute luminance information K to obtain the processed image data S1. A tone processing unit 8 and an output unit 9 such as a printer for printing out the processed image data S1.
[0019]
The gradation processing means 8 adjusts the contrast of the image data S0 as follows. FIG. 2 is a graph showing the relationship between luminance and apparent brightness with respect to luminance, and FIG. 3 is a graph showing only the portion representing luminance contrast in FIG. As shown in FIG. 2, in the scene at the time of shooting, the higher the luminance, the brighter the white one and the darker the black one. For this reason, as shown in FIG. 3, the contrast is low in a dark place such as indoors, and the contrast is high in a bright place such as outdoors on a sunny day. Therefore, in the gradation processing unit 8, based on the absolute luminance information K at the time of photographing, the image is set so that the contrast is higher when the absolute luminance is high and the contrast is lower when the absolute luminance is low. The processed image data S1 is obtained by adjusting the contrast of the data S0. The contrast in this case includes not only the gray contrast but also the contrast for each of the RGB components. Further, the gradation processing unit 8 may perform color conversion processing in consideration of the observation light source for observing the print, the color reproduction range of the output unit 9, and the like.
[0020]
Next, the operation of this embodiment will be described. FIG. 4 is a flowchart showing the operation of the first embodiment. First, photographing is performed by the digital camera 1 (step S1), and the AE unit 4 performs exposure correction on the original image data S ′ obtained by photographing to obtain image data S0 (step S2). The luminance at the time of photographing is measured by a luminance meter (step S3), and absolute luminance information K representing this luminance and the obtained image data S0 are recorded on the recording medium 2 (step S4). The above is the process performed in the digital camera 1.
[0021]
The recording medium 2 is delivered to the lab 3, and the absolute luminance information K and the image data S0 are read from the recording medium 2 by the reading means 7 (step S5). Then, the gradation processing unit 8 performs gradation processing for adjusting the contrast of the image data S0 based on the read absolute luminance information K to obtain processed image data S1 (step S6). The processed image data S1 is printed out by the output means 9 (step S7), and the process is terminated.
[0022]
As described above, according to the present embodiment, since the gradation processing for adjusting the contrast is performed on the image data based on the absolute luminance information K related to the absolute luminance of the scene at the time of shooting, the luminance at the time of shooting is reduced. The larger the value, the higher the contrast, and it is possible to obtain processed image data S1 representing an image reflecting the brightness of the scene at the time of shooting. Therefore, by reproducing the processed image data S1, it is possible to obtain an image corresponding to the impression of brightness at the time of shooting.
[0023]
Next, a second embodiment of the present invention will be described. FIG. 5 is a schematic block diagram showing a configuration of an image output system to which an image processing apparatus according to the second embodiment of the present invention is applied. In the second embodiment, the configuration of the digital camera 1, the reading means 7 and the output means 9 in the lab 3 are the same as the digital camera 1, the reading means 7 and the output means 9 in the first embodiment. Detailed description is omitted. In the second embodiment, the frequency processing is performed on the image data S0 based on the absolute luminance information K in the laboratory 3, and the frequency processing is performed with reference to the database 12 based on the absolute luminance information K. An enhancement degree calculating means 11 for calculating the enhancement degree of the image data, and a frequency processing means 13 for performing frequency processing on the image data S0 based on the enhancement degree calculated by the enhancement degree calculating means 11 to obtain processed image data S1. Is provided.
[0024]
FIG. 6 is a graph showing the relationship between the spatial frequency for each luminance and the eye sensitivity, that is, the frequency response characteristic of the eye. Note that the plurality of curves shown in FIG. 6 have low luminance on the lower side and high luminance on the upper side. As shown in FIG. 6, in the scene at the time of shooting, the sensitivity to the low frequency component is relatively high as the luminance is low, and the sensitivity to the intermediate frequency component near 10 cycle / mm is relatively high as the luminance is high. . However, in the AE unit 5 provided in the digital camera 1, exposure correction is performed so that an image with uniform brightness can be obtained with respect to the original image data S ′ regardless of the luminance of the scene at the time of shooting. It is. For this reason, even if a scene of a glimmering impression like a sandy beach in midsummer (the frequency response characteristic of the eye corresponds to, for example, the curve 1 in FIG. 6) is taken, the image data S0 with exposure correction is printed. When the output is observed indoors (the frequency response characteristic of the eye corresponds to curve 2 in FIG. 6), the low frequency component appears to be emphasized compared with other frequency components, and the impression at the time of shooting is impaired. It will be. In the second embodiment, based on the absolute luminance information K at the time of shooting, frequency processing is performed on the image data S0 so as not to impair the impression at the time of shooting. The specific method will be described below.
[0025]
The database 12 stores data representing the frequency response characteristics of each eye shown in FIG. The enhancement degree calculation means 11 calculates the enhancement degree during frequency processing based on the absolute luminance information K read from the recording medium 2, the image data S 0 and the data in the database 12. Specifically, it is performed as follows. First, the frequency response characteristic of the eye based on the luminance represented by the absolute luminance information K, that is, the luminance at the time of photographing is the curve 1 in FIG. 6, and the eye based on the luminance when the print image of the image data S0 is observed indoors. When the frequency response characteristic is the curve 2 in FIG. 6, as shown in FIG. 7A, it is assumed that the

curves

1 and 2 have values over the entire frequency band, and the curve 2 is moved upward. The position of the 0 point is adjusted (FIG. 7B). Then, in order to complement the difference in the frequency response characteristics between the curve 1 and the curve 2 (shaded portion), the frequency response characteristic of the curve 1 in the frequency band for each limited frequency band of the image data S0 is the curve 2 The value divided by the frequency response characteristic is obtained as the enhancement degree.
[0026]
The frequency processing unit 13 performs frequency enhancement processing on the image data S0 based on the enhancement degree calculated by the enhancement degree calculation unit 11 to obtain processed image data S1. As this frequency enhancement processing, for example, a frequency processing method described in JP-A-10-75395 can be used. In this method, first, a plurality of blurred image signals having different sharpness, that is, different frequency characteristics are generated based on the image data S0, and a difference between the blurred image signal and two signals in the image data S0 is obtained. A plurality of band-limited image signals (hereinafter referred to as band-pass signals) representing frequency components in a limited frequency band of the image data S0 are created, and the band-pass signals are further calculated by the enhancement degree calculation means 11 After conversion according to the degree, an added signal is created by integrating the plurality of bandpass signals, and this added signal is added to the image data S0 to obtain processed image data S1. This processing can be expressed by, for example, the following formula (1).
[0027]
S1 = S0 + β (S0) × Fusm (S0, Sus1, Sus2,... SusN)
Fusm (S0, Sus1, Sus2, ... SusN)
= F ₁ (S0−Sus1) + f ₂ (Sus1−Sus2) +
+ F _k (Susk-1−Susk) +... + F _N (SusN−1−SusN) (1)
(Where Susk (k = 1 to N): blurred image signal f _k (k = 1 to N): degree of enhancement β (S0) for converting each bandpass signal: enhancement coefficient determined based on image data S0)
In this way, by performing frequency processing based on the enhancement degree calculated by the enhancement degree calculation means 11, when the scene at the time of shooting has a high luminance as shown by the curve 1, an intermediate point around 10 cycle / mm is obtained. Since the frequency component is emphasized as compared with the other frequency components, the image obtained by reproducing the processed image data S1 represents an impression of a high brightness scene at the time of shooting.
[0028]
Next, the operation of the second embodiment will be described. FIG. 8 is a flowchart showing the operation of the second embodiment. Note that the processing from step S11 to step S15 in FIG. 8 is the same as the processing from step S1 to step S5 in the first embodiment, so detailed description thereof will be omitted here, and the processing after step S16 will be omitted. Only will be described. The enhancement degree calculating means 11 calculates the enhancement degree when performing the frequency processing based on the absolute luminance information K and the image data S0 read by the reading means 7 and the data stored in the database 12. In step S16), the signal is input to the frequency processing means 13. In the frequency processing means 13, the frequency processing shown in the above formula (1) is performed based on the enhancement degree calculated in the enhancement degree calculation means 11, and processed image data S1 is obtained (step S17). The processed image data S1 is printed out by the output means 9 (step S18), and the process is terminated.
[0029]
As described above, in the second embodiment, since the frequency processing is performed on the image data based on the absolute luminance information K related to the absolute luminance of the scene at the time of shooting, the frequency component corresponding to the luminance at the time of shooting. Is emphasized, and processed image data S1 representing an image reflecting the brightness of the scene at the time of shooting can be obtained. Therefore, by reproducing the processed image data S1, it is possible to obtain an image corresponding to the impression of brightness at the time of shooting.
[0030]
The processed image data S1 reflecting the luminance at the time of photographing is obtained by performing gradation processing in the first embodiment and frequency processing in the second embodiment. The processed image data S1 may be obtained by performing both the frequency processing and the frequency processing.
[0031]
Further, in each of the above embodiments, the luminance meter 6 is provided in the digital camera 1 to measure the luminance at the time of photographing, and this is used as the absolute luminance information K, but the original image before exposure correction acquired by the imaging unit 4 Based on the data S ′, the luminance at the time of photographing may be obtained in consideration of the characteristics of the CCD used in the imaging means 4, the aperture value, etc., and this may be used as the absolute luminance information K. In the case of the digital camera 1 that does not have the AE means 5, the original image data S 'obtained by the imaging means 4 is recorded on the recording medium 2 and delivered to the laboratory 3. In this case, the characteristics of the CCD are as follows. Alternatively, information regarding the aperture value may be recorded on the recording medium 2, and the luminance at the time of photographing may be obtained based on the information and the original image data S ′ in the laboratory 3, and this may be used as absolute luminance information K. Specifically, it can be obtained as follows. When the exposure amount in the CCD is E, the aperture value (F number) is F, and the absolute luminance of the scene is I, these relationships can be expressed by the following equation (2). In Equation (2), k is a constant.
[0032]
E = k · I / F ² (2)
Further, the relationship between the exposure amount in the CCD and the output value from the CCD, that is, the pixel value is determined by the characteristics of the CCD, and when the output value from the CCD is Q, it can be expressed by the following equation (3).
[0033]
Q = f (E) (3)
Therefore, the absolute luminance I can be expressed by the following formula (4) from the aperture value F and the output value Q from the CCD from the formulas (2) and (3). I may be absolute luminance information K.
[0034]
I = F ² · f ⁻¹ (Q) / k (4)
Furthermore, in each of the embodiments described above, the image data S0 acquired by the digital camera 1 is processed, but the image data obtained by reading the image recorded on the film is also described above. Similarly to the above, gradation processing and / or frequency processing can be performed based on the absolute luminance information K. In this case, the image data may be subjected to exposure correction in the laboratory 3 or may not be subjected to exposure correction. In this case, the absolute luminance information K may be recorded on a recording medium such as an FD and transferred to the laboratory 3. When the film is a so-called APS film capable of recording magnetic information, the absolute luminance information K may be recorded in the magnetic recording portion of the APS film. Further, information such as an aperture value at the time of photographing is transferred to the lab 3, luminance at the time of photographing is obtained based on the image data obtained at the lab 3 and the information, and this may be used as absolute luminance information K.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a configuration of an image output system to which an image processing apparatus according to a first embodiment of the present invention is applied. FIG. 2 is a graph showing a relationship between luminance and apparent brightness with respect to luminance. FIG. 4 is a graph showing only a portion representing luminance contrast. FIG. 4 is a flowchart showing an operation of the first embodiment. FIG. 5 is an image output system to which an image processing apparatus according to the second embodiment of the invention is applied. Fig. 6 is a schematic block diagram showing the configuration. Fig. 6 is a graph showing the relationship between the spatial frequency for each luminance and the frequency response characteristic of the eye. Fig. 7 is a diagram for explaining the calculation of the degree of emphasis. Flowchart showing the operation of the [Description of symbols]
DESCRIPTION OF SYMBOLS 1 Digital camera 2 Recording medium 3 Lab 4 Imaging means 5 AE means 6 Luminance meter 7 Reading means 8 Tone processing means 9 Output means 11 Enhancement degree calculating means 12 Database 13 Frequency processing means

Claims

An image processing method for obtaining processed image data by facilities image processing on image data representing the acquired image by photography,
Obtain absolute luminance information about the absolute luminance of the scene at the time of shooting,
An image that changes the frequency characteristics of the image data by emphasizing the frequency component according to the absolute luminance information so that the image represented by the processed image data approximates the frequency characteristics perceived at the time of shooting. image processing method characterized by obtaining the processed image data processing and facilities on the image data.

An image processing apparatus for obtaining facilities to the processed image data to the image processing on the image data representing an image obtained by photography,
Luminance information acquisition means for acquiring absolute luminance information relating to the absolute luminance of the scene at the time of shooting;
An image that changes the frequency characteristics of the image data by emphasizing the frequency component according to the absolute luminance information so that the image represented by the processed image data approximates the frequency characteristics perceived at the time of shooting. the image processing apparatus characterized by comprising a processing means for obtaining the processed image data processing and facilities on the image data.

In computer-readable recording medium storing a program for executing an image processing method for obtaining processed image data to facilities the image processing computer for the image data representing the acquired image by photography,
The program obtains absolute luminance information related to the absolute luminance of the scene at the time of shooting, and
An image that changes the frequency characteristics of the image data by emphasizing the frequency component according to the absolute luminance information so that the image represented by the processed image data approximates the frequency characteristics perceived at the time of shooting. computer readable recording medium characterized by having a step of obtaining the processed image data to facilities processing on the image data.