JP3848267B2

JP3848267B2 - Image processing method and apparatus

Info

Publication number: JP3848267B2
Application number: JP2003018963A
Authority: JP
Inventors: 由美子日高; 敬信白岩; 利幸水野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-01-28
Filing date: 2003-01-28
Publication date: 2006-11-22
Anticipated expiration: 2015-10-05
Also published as: JP2003250055A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の光源の混合からなる周囲光下において、入力画像と表示画像の色みが合うように、周囲光に応じた変換処理を行う画像処理技術に関する。
【０００２】
【従来の技術】
近年の画像処理装置における技術向上に伴って、カラー画像処理機能を備えた装置が安価に提供されるようになった。これに伴い、ＣＧ(Computer Graphics)を用いたデザイン作成等の特殊な分野のみでなく、一般的なオフィスにおいてもカラー画像を手軽に扱えるようになった。
【０００３】
このような状況において、ＣＲＴ等のモニタ上で作成したカラー画像をプリンタ等により記録媒体上に出力した場合に、操作者にはこれら２つの画像（表示画像及び印刷画像）の色が異なって見えてしまうという問題が発生していた。従って、この問題を解決するために、カラーマネジメントシステムが注目されている。
【０００４】
カラーマネジメントシステムとは、複数のデバイスにおいて共通の色空間を用いてカラー画像を表現することにより、デバイス毎に画像の色が異なって見えるのを回避するものである。これは即ち、ある色空間において同じ座標値で表される２色は、人間の目で同じ色に見えるという基本概念に基づいて、画像内の全ての色を一つの色空間で表現することにより、デバイス毎における画像の色の見え方を一致させようとしている。現在のカラーマネジメントシステムにおいては、その色空間としてＸＹＺ三刺激値を用いることによって、デバイス毎の色の見え方の違いを補正する方法が提案されている。
【０００５】
ここで、図１０を参照して、従来の画像を観察する環境について説明する。図１０は、モニタ２０３上に印刷物２０１と同じ画像２０２を表示した場合を示している。また、２０４は、画像を観察している時の周囲光であり、例えば蛍光燈の発光等である。２０５はついたてであり、モニタ２０３の発光が印刷物２０１の観察に影響を及ぼすことを避けるために設置されている。このような環境下において、印刷物２０１と、モニタ２０３上の画像２０２とについてそれぞれ測色（色度座標の測定）を行う。この両者の測色値が一致することが、カラーマネジメントシステムにおいて最も理想とする結果である。
【０００６】
【発明が解決しようとする課題】
しかしながら、図１０に示したような観察環境下において、周囲光２０４は状況によって様々に変化しうるため、印刷物２０１とモニタ２０３上の画像２０２は、常に一定の環境下で観察されるものではない。従って、ある周囲光２０４のもとでカラーマネジメントにより色空間上における等色が得られたとしても、周囲光２０４を変化させてしまうと、今まで等しい色に見えていた画像同士が全く異なる色に見えてしまうことになる。
【０００７】
本発明は上述した問題点を解決するためになされたものであり、あらゆる観察環境においても最適なカラーマネジメントが可能となる画像処理装置及びその方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した目的を達成するために、本発明の画像処理方法は以下の構成を備える。すなわち、複数の光源の混合からなる周囲光下において、入力画像と表示画像の色みが合うように、周囲光に応じた変換処理を行う画像処理方法であって、周囲光を構成する複数の光源の種類および混合比を取得する取得工程と、表示装置の白色情報、前記複数の光源の情報および前記混合比から基準白色点を算出する算出工程と、前記算出された基準白色点を用いて、前記入力画像を示す画像信号を変換する変換工程と、を有することを特徴とする。
【０００９】
ここで、前記算出工程は、前記複数の光源のそれぞれについて、該光源の情報と前記表示装置の白色情報とから白色点を求める工程と、前記取得工程で取得された前記混合比に基づき、前記複数の光源のそれぞれについて求められた白色点から前記基準白色点を求める工程と、を含むことが好ましい。
【００１０】
また、あらかじめ光源の情報と表示装置の白色情報の組み合わせに対応させて順応比率を保持しておき、前記白色点を求める工程は、前記あらかじめ保持されている順応比率から、前記光源の情報と前記表示装置の白色情報との組み合わせに対応した順応比率を選択し、該選択された順応比率に基づいて前記白色点を求めることが好ましい。
【００１１】
さらに、周囲光が単一光源であるか複数の光源の混合からなるのかを判定する判定工程を有することが好ましい。
【００１２】
上述した目的を達成するために、本発明の画像処理装置は以下の構成を備える。すなわち、複数の光源の混合からなる周囲光下において、入力画像と表示画像の色みが合うように、周囲光に応じた変換処理を行う画像処理装置であって、周囲光を構成する複数の光源の種類および混合比を取得する取得手段と、表示装置の白色情報、前記複数の光源の情報および前記混合比から基準白色点を算出する算出手段と、前記算出された基準白色点を用いて、前記入力画像を示す画像信号を変換する変換手段と、
を有することを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００１４】
＜第１実施形態＞
図１に、本実施形態における観察環境を示す。図１において、上述した従来例で示した図１０と同様の構成については同一番号を付し、説明を省略する。図１において、２０６は周囲光センサであり、モニタ２０３や不図示のプリンタ上に設置され、周囲光２０４を検知するように構成されている。以下、印刷物２０１とモニタ２０３上の表示画像２０２を観察する場合について説明する。尚、本実施形態ニおけるモニタ２０３は、ＣＲＴディスプレイに限らず、液晶ディスプレイ等も含む。
【００１５】
図１に示す環境下において、印刷画像２０１と表示画像２０２とが操作者により同じ色として見えるためには、まず、以下のような方法が考えられる。
【００１６】
周囲光２０４の情報を周囲光センサ２０６で検知し、該周囲光情報に基づいて、画像を構成する各色が出力先のデバイスにおいてどのような色度値（例えばＸＹＺ）で表されるかを予測する。そして、その予測された色度値を、各デバイス毎の特性プロファイルを参照してできる限り忠実に再現することで、等色を得ることができる。この周囲光の値とは、周囲光センサ２０６で検出された光より算出されるもので、光源の色度値そのものでも良いし、その周囲光下での紙を測定した時の色度値でも良い。
【００１７】
このような処理を実現する構成を図２に示し、以下説明する。
【００１８】
図２において、１０１はＣＣＤセンサ等を備えたスキャナ、１０２はスキャナ１０１によって読み込まれたＲＧＢ値をＸＹＺ値に変換するスキャナ色変換部、１０３はスキャナ色変換部１０２における色変換特性を保持するスキャナプロファイルである。１０４は色信号変換部であり、センサ１０９によって読み込まれた周囲光情報１０８に従って、ＸＹＺ値を現在の観察環境に最適な値に補正する。また、１０５はＸＹＺ値をＣＲＴ等のモニタ１０７に表示するＲＧＢ値に変換するモニタ色変換部であり、１０６はモニタ色変換部１０５における色変換特性を保持するモニタプロファイルである。
【００１９】
まず、スキャナ１０１で入力画像（印刷物２０１）を読み込み、スキャナ色変換部１０２において、スキャナ特性データが予め格納されているスキャナプロファイル１０３を参照して、スキャナ１０１から得られるＲ1Ｇ1Ｂ1値を、デバイスに依存しない色信号であるＸ1Ｙ1Ｚ1値に変換する。そして、色信号変換部１０４においては、周囲光を感知するセンサ１０９から得られた周囲光情報１０８に基づいて、色信号値Ｘ1Ｙ1Ｚ1の示す色を、該周囲光の環境下で測色した場合に得られるであろう信号値Ｘ2Ｙ2Ｚ2に変換する。そして、モニタ色変換部１０５において、モニタ特性データが予め格納されているモニタプロファイル１０６を参照して該Ｘ2Ｙ2Ｚ2値に対応するモニタ１０７への入力値であるＲ2Ｇ2Ｂ2を算出する。
【００２０】
以上説明したような構成においてカラーマネジメントを施すことにより、読み込まれた画像信号はＸＹＺ色空間上において、現在の周囲光情報１０８に応じたＸ2Ｙ2Ｚ2で表現されることになる。
【００２１】
このように周囲光を考慮した色変換を行うことにより、より適切なカラーマネジメントが実現されるはずである。
【００２２】
しかしながら上述した例において、操作者が認識する印刷画像２０１及び表示画像２０２の色は、印刷画像２０１においては記録媒体上の反射光色（物体色）であり、表示画像２０２においては光源の発光色（光源色）である。即ち、両者においては発色のモードが異なっているため、たとえ同一色空間上において同一値で表現される色であっても、操作者には同じ色として認識されない場合が多い。
【００２３】
そこで、発色モードが異なる画像においても、同一色空間上の同一値で示される色は、人間が目視で観察した際に同じ色として知覚できるようにすることを目的として、以下の様なカラーマネジメント方法が考えられる。
【００２４】
人間が色を観察する際には、ある白色を基準として、該白色との比較により全ての色を認識していると考えられている。ここで、ある周囲光の下におかれたモニタ表示画像と印刷画像を観察する場合を例として考える。すると、当該環境下には、モニタ上の白色，環境光の白色，環境光で照らされた印刷画像の白色（紙の下地白色）等、人間が色を認識する際の基準になりうる多くの白色が存在している。そして人間は、それら複数の白色に対して所定の割合で順応した白色を基準として、色を観察しているといえる。
【００２５】
従って、人間が色を観察する際の基準となる白色（以下、基準白色と称する）を算出し、該基準白色に基づいて画像を構成する全ての色を変換することにより、より適切なカラーマネジメントが可能となる。
【００２６】
より具体的な方法としては、基準白色を算出する際に、まず、該基準白色の蛍光灯下におけるモニタ上の白色と周囲光の白色ヘの順応比率を予め１つ決定しておく。そして、該順応比率を用いて基準白色を算出し、該基準白色に基づいて色変換を行うことにより、より適切なカラーマネジメントが実現される。
【００２７】
しかしながら、このようなカラーマネジメントにおいては、基準白色の算出の際に、観察環境に関らず、順応比率が固定となってしまう。実際に画像が観察される際の周囲光としては、蛍光灯だけでなく、様々な光が存在する。それら異なる周囲光によって、基準白色の各白色への順応比率は異なってくるため、順応比率を１つに固定化した場合には、あらゆる観察環境に応じた最適な基準白色を算出することは望めない。また、周囲光において、蛍光灯以外の光が混在している場合にも、やはり最適な基準白色を算出することはできない。
【００２８】
従って本実施形態においては、あらゆる観察環境において最適な基準白色を算出することにより、最適なカラーマネジメントを可能とすることを特徴とする。
【００２９】
図３に、本実施例における画像処理装置のブロック構成図を示す。図３において、１０は記録媒体上の画像データをＣＣＤ等の撮像素子により光学的に読み取って入力するスキャナ、１１は本実施例の特徴である色変換処理を含む各種画像処理を行う画像処理部、１２はＣＲＴ等、画像データを表示するモニタである。また、１３は一般通信回線を介して画像データの送受信を行う通信部、１４は記録媒体上に画像データを印刷出力するプリンタ、１５は操作パネル等、操作者によるコマンド入力や、操作者へ画像処理装置の状態報知等を行う操作部である。また、１６は周囲光センサであり、後述する様に、現在の環境下における周囲光を検知するものである。
【００３０】
本実施形態においては、どのような環境下においても、スキャナ１０で読み取った原稿画像の色と該画像をモニタ１２に表示した際の色とが同じ色として認識できる様に、画像処理部１１において適切な色変換処理を施すことを特徴とする。
【００３１】
図４のブロック図に、本実施形態の特徴である色変換処理を特に行う構成を抽出して示す。図４は、スキャナ１０において読み取った画像データに対して、画像処理部１１において色変換を施し、モニタ１２に表示するための構成を示す。図４において、３０２はスキャナ色変換部、３０３はスキャナプロファイル、３０４は色信号変換部、３０５はモニタ色変換部、３０６はモニタプロファイルである。また、３１０はＣＰＵであり、ＲＯＭ３１１に格納された、例えば後述するフローチャートに示される処理等を含む制御プログラムに従って、画像処理部１１の各構成を統括的に制御する。３１２はＲＡＭであり、ＣＰＵ３１０の作業領域として動作する。尚、図４で示される画像処理部１１の詳細構成は、色変換処理に関する部分のみを示しており、他の画像処理に関する構成については省略する。また、スキャナ１０から入力されたアナログの画像信号をデジタルに変換するＡ／Ｄ変換部等、通常の画像処理において必須である構成についても省略する。
【００３２】
以下、本実施形態におけるカラーマネジメント処理について、図４に示す構成及び図５のフローチャートを参照して説明する。
【００３３】
図５において、まずＳ１０１で、記録媒体上に出力された画像を原稿としてスキャナ１０で読み込み、Ｒ1Ｇ1Ｂ1の画像信号を得る。ここで該原稿画像の色は、反射光として認識される所謂物体色である。
【００３４】
次にステップＳ１０２に進み画像処理部１１において、スキャナ１０で得られた、スキャナ１０に依存するＲ1Ｇ1Ｂ1データは、画像処理部１１内のスキャナ色変換部３０２に入力され、スキャナプロファイル３０３の情報を参照して、デバイスに依存しないＸＹＺ色空間上の値Ｘ1Ｙ1Ｚ1に変換される。
【００３５】
ここで、スキャナプロファイル３０３には、スキャナ１０における色特性等に関する情報が予め格納されており、例えば、スキャナ依存のＲＧＢ値をデバイス非依存のＸＹＺ値に変換するための色変換マトリクスや、ルックアップテーブル（ＬＵＴ）等が格納されている。そして次にステップＳ１０３に進み、周囲光センサ１６からの周囲光情報３０９を入力する。そしてステップＳ１０４に進み、色信号変換部３０４において、ステップＳ１０２で変換されたＸ1Ｙ1Ｚ1信号は、周囲光センサ１６から得られた周囲光情報３０９と、モニタプロファイル３０６から得られたモニタ白色情報３０８とに基づいて、周囲光及び物体色／光源色における発色モード補正等を考慮したＸ2Ｙ2Ｚ2信号に変換される。尚、ステップＳ１０４における色信号変換処理（色信号変換部３０４における変換処理）の詳細については、後述する。
【００３６】
次にステップＳ１０５において、ステップＳ１０４で変換されたＸ2Ｙ2Ｚ2信号はモニタ色変換部３０５に入力され、モニタプロファイル３０６の情報を参照して、モニタ１２に依存するＲ2Ｇ2Ｂ2値に変換される。
【００３７】
ここで、モニタプロファイル３０６には、モニタ１２の色特性等に関する情報が予め格納されており、例えば、モニタ白色情報の他、モニタ１２の色温度，発光輝度，蛍光体の色度値等のモニタ白色情報や、標準色空間の信号からデバイス依存の色空間信号への色変換特性情報等が格納されている。
【００３８】
そして最後にステップＳ１０６において、ステップＳ１０１でスキャナ１０により読み取られた原稿画像が、モニタ１２上に表示される。
【００３９】
次に、上述したステップＳ１０４における色信号変換処理（色信号変換部３０４における変換処理）について詳細に説明する。
【００４０】
まず図６を参照して、色信号変換部３０４における変換処理の概要について説明する。図６は、現在の環境下において人間の色知覚の基準となる基準白色の、所定色空間における位置の算出方法を示す図である。
【００４１】
本実施形態のようにモニタ１２に表示された画像を観察する場合、人間はモニタ１２上の白色のみに完全順応して全ての色を認識しているのでなく、モニタ１２の白色と環境光との両方に、ある割合で順応していると考えられる。従って、色を見る際の基準となっている基準白色点は、図６の（ａ）に示す様に、モニタ１２の白色と環境光との間に、所定の順応比（ｓ：１−ｓ）をもって位置することになる。
【００４２】
ここで、色信号変換部４０２の詳細ブロック構成を図７に示し、説明する。
【００４３】
図７において、４０１は複数の順応比率を予め保持する順応比率格納部、４０２は適切な順応比率を決定する順応比率決定部、４０３は基準白色算出部、４０４は実際の色信号を変換する信号変換部である。順応比率決定部４０２及び基準白色算出部４０３には、周囲光センサ１６によって検出された周囲光情報３０９、及びモニタプロファイル３０６に保持されているモニタ白色情報３０８が入力される。
【００４４】
以下、図７に示す色信号変換部３０４における処理を、図８のフローチャートを参照して詳細に説明する。
【００４５】
まず、上述した図５に示すステップＳ１０３において、周囲光センサ１６から、該センサ１６の周囲の光源により得られる光（周囲光）の情報として、周囲光情報３０９が得られている。周囲光情報３０９は、本実施形態の画像処理装置の現在の動作環境を示す。尚、周囲光情報３０９は分光データでも、ＸＹＺ色空間やＲＧＢ色空間等における色信号でも良い。又、画像処理装置において周囲光センサ１６を直接接続せず、周囲光情報３０９に相当する色信号等を、操作部１５から操作者がマニュアル入力する様に構成することも可能である。また、この周囲光情報３０９は、図６の（ａ）において基準光源Ｌに相当する。またこの時、モニタプロファイル３０６から、画像を表示するモニタ白色の温度や発光輝度，色度値等のモニタ白色情報３０８も既に得られている。このモニタ白色情報３０８は、図６の（ａ）においてモニタ白色点Ｍに相当する。
【００４６】
ここで、順応比率格納部４０１は、周囲光が所定の基準光源によるものであると仮定した場合の対応する順応比率を、複数の基準光源について、それぞれモニタ白色点毎に例えばＬＵＴ等の形式により予め保持している。尚、本実施形態における基準光源としては、例えばＪＩＳ規格によって定義された光源Ａ，Ｃ，Ｄ９３，Ｄ６５，Ｄ５０，Ｆ等を用いる。
【００４７】
図８のステップＳ２０１において、順応比率決定部４０２では、周囲光情報３０９を参照して、周囲光が上述した基準光源のいずれかによる単一基準光源であるかを判定する。ここで、周囲光が単一基準光源であると判定されると、処理はステップＳ２０２に進む。
【００４８】
ステップＳ２０２においては、順応比率決定部４０２で、周囲光情報３０９とモニタ白色情報３０８とにより、順応比率格納部４０１から対応する順応比率を選択する。選択された順応比率は次に基準白色算出部４０３に入力され、ステップＳ２０３において、順応比率決定部４０２に入力されたのと同様の周囲光情報３０９とモニタ白色情報３０８により、現在の観察環境に適した基準白色情報を算出する。
【００４９】
以下、基準白色算出部４０３における基準白色情報の算出方法について具体的に説明する。
【００５０】
例えば、ＸＹＺ色空間座標上において、基準白色点（知覚基準白色点）Ｗがモニタ白色点Ｍに順応する割合をｓとすると、基準光源点Ｌに順応する割合は、図６の（ａ）に示す様に１−ｓで表される。また、周囲光情報３０９に対応する基準光源点Ｌの三刺激値及び色度値をそれぞれＸw1，Ｙw1，Ｚw1，ｘw1，ｙw1とし、また、モニタ白色情報３０８に対応するモニタ白色点Ｍについても同様にＸw2，Ｙw2，Ｚw2，ｘw2，ｙw2とする。すると、基準白色信号の三刺激値Ｘw，Ｙw，Ｚw，及び色度値ｘw，ｙwは、以下に示す（式１）及び（式２）によって求められる。
【００５１】
●三刺激値
Ｘw ＝ (１−ｓ)・Ｘw1 ＋ｓ・Ｘw2
Ｙw ＝ (１−ｓ)・Ｙw1 ＋ｓ・Ｙw2
Ｚw ＝ (１−ｓ)・Ｚw1 ＋ｓ・Ｚw2 ・・・（式１）
●色度値
ｘw ＝ (１−ｓ)・ｘw1 ＋ｓ・ｘw2
ｙw ＝ (１−ｓ)・ｙw1 ＋ｓ・ｙw2 ・・・（式２）
ここで、画像観察時の周囲光（基準光源）に応じて、基準白色点Ｗのモニタ白色点Ｍと基準光源Ｌへの順応比率は異なるため、即ち上述した（式１）及び（式２）における順応比率ｓの値は周囲光に応じて変化し、それに伴い基準白色点Ｍも周囲光（基準光源）に応じて変化する。
【００５２】
例えば、モニタ１２の色温度が６５００Ｋで、周囲光に対応する基準光源がＤ６５光源（相関色温度６５０４Ｋ）である場合には、周囲光とモニタ白色との差はほとんどなく、従って、図６の（ａ）に示される３点（Ｍ，Ｗ，Ｌ）はほぼ１つの点として表わされる。
【００５３】
また、モニタ１２の色温度が６５００Ｋで，周囲光が蛍光灯のＦ光源である場合には、人間はモニタ白色と周囲光との両方に、ある割合で順応する。その順応比率はモニタ白色点Ｍに約５割から４割、周囲光（基準光源点Ｆ）に約５割から６割となる。この様子を、図６の（ｂ）に示す。図６の（ｂ）において、Ｗ(Ｆ)がＦ光源下での基準白色点である。
【００５４】
また、モニタ１２の色温度が６５００Ｋで、周囲光がＡ光源である場合には、蛍光灯の場合と同様に、人間はモニタ白色と周囲光との両方に順応する。その順応比率は周囲光側にかなり傾いており、モニタ白色点Ｍに２割から１割、周囲光（基準光源Ｌ）に約８割から９割程度となる。この様子を、図６の（ｃ）に示す。図６の（ｃ）において、Ｗ(Ａ)がＡ光源下での基準白色点である。
【００５５】
従って本実施形態においては、周囲光に応じて最適な順応比率を決定することにより、最適な基準白色点を算出することができる。
【００５６】
以上、周囲光がいずれかの基準光源であった場合の基準白色点の算出方法について説明した。次に、ステップＳ２０１において、周囲光が単一基準光源ではなく、複数の基準光源の混合からなると判定された場合について説明する。
【００５７】
この場合、処理はステップＳ２０４に進み、順応比率決定部４０２において、周囲光情報３０９に基づいて、現在の周囲光がどのような基準光源のどのような混合比になっているかを判定する。
【００５８】
そしてステップＳ２０５において順応比率を算出するが、この場合、周囲光が基準光源である場合の順応比率は予め順応比率格納部４０１に格納されているため、任意の基準光源の混合からなる周囲光における順応比率は、これら基準光源の順応比率の混合として算出することができる。
【００５９】
ここで図９を参照して、ステップＳ２０５における、基準光源が混合された周囲光に対する順応比率の算出方法について具体的に説明する。
【００６０】
図９は、周囲光情報３０９として得られた周囲光Ｓが基準光源Ａと基準光源Ｂとの混合であり、その混合比がａ：ｂである場合を示している。ここで、順応比率格納部４０１において、基準光源Ａを周囲光として画像を観察する場合の、モニタ白色情報３０８に対応する順応比率はモニタ白色点Ｍ側にａ１（周囲光Ａ側に１−ａ１）の割合として格納されおり、同様に、基準光源Ｂを周囲光として画像を観察する場合のモニタ白色情報３０８に対応する順応比率はモニタ白色点Ｍ側にｂ１（周囲光Ｂ側に１−ｂ１）の割合として格納されているとする。
【００６１】
順応比率決定部４０２では、周囲光Ｓが基準光源Ａ及びＢの混合であると判断すると、基準光源Ａ及びＢのモニタ白色情報３０８に対応する順応比率ａ1及びｂ1を順応比率格納部４０１から抽出し、周囲光Ｓにおける基準光源Ａ及びＢの混合比率ａ：ｂの情報と共に、基準白色算出部４０３に出力する。
【００６２】
次に処理はステップＳ２０６に進み、基準白色を算出する。ここまでの処理により、図９に示すようなＸＹＺ色空間座標上において、モニタ白色点Ｍと周囲光Ｓ、及び基準光源Ａ及びＢの座標値が既知となっている。基準白色算出部４０３では、まず、基準光源Ａ及びＢのモニタ白色点Ｍに対する基準白色点Ｗａ及びＷｂを算出する。そして、周囲光Ｓにおける基準光源Ａ及びＢの混合比がａ：ｂであるため、周囲光Ｓ下における基準白色点Ｗは、基準光源Ａ下の基準白色点Ｗａと、基準光源Ｂ下の基準白色点Ｗｂのａ：ｂの混合として算出する。この計算式を（式３）に示す。
【００６３】
Ｗａ＝ (１−ａ1)・Ａ＋ａ1・Ｍ
Ｗｂ＝ (１−ｂ1)・Ｂ＋ｂ1・Ｍ
Ｗ＝ａ・Ｗａ＋ｂ・Ｗｂ・・・（式３）
基準白色算出部４０３においては、上述した（式３）に従って周囲光Ｓの基準白色点Ｗを算出するが、例えば、以下に示す方法でも、同様に基準白色点Ｗを算出することができる。
【００６４】
勿論、基準白色算出部４０３における基準白色点Ｗの算出方法は上述した例に限定されるものではなく、例えば、予想される所定基準光源の混合からなる周囲光について対応する順応比率を予め算出して、ＬＵＴ等の形式で順応比率格納部４０１に格納しておくようにしても良い。この場合、順応比率決定部４０２では、周囲光情報３０９に基づいて、より近い周囲光に対応する順応比率を１つ抽出し、以降は該順応比率に従って基準白色点を算出すればよいため、精度は劣るものの演算量が少なくてすみ、処理速度も向上する。
【００６５】
以上説明した様にして、ステップＳ２０３又はステップＳ２０６において、周囲光に対応した基準白色点が求まる。
【００６６】
次に処理はステップＳ２０７に進み、基準白色算出部４０３において算出された基準白色点信号に基づいて、信号変換部４０４において画像全体の色変換を行う。
【００６７】
モニタ１２に表示された画像は、上述した様にして算出された基準白色に基づいて観察され、一方、スキャナ１０から読み込まれた原稿画像等の印刷物は、記録媒体（紙）の下地としての白色、及び周囲光の白色に順応して観察される。
【００６８】
ここで、ＸＹＺ色空間において、基準白色点をＸw，Ｙw，Ｚw、周囲光をＸs，Ｙs，Ｚsとすると、スキャナ１０において読み込まれた画像信号Ｘ1，Ｙ1，Ｚ1は、以下に示すフォンクリース(vonKreis)の式の変形である（式５）を用いて、モニタ１２に表示する際の画像信号Ｘ2，Ｙ2，Ｚ2に変換することができる
【００６９】
【数１】

【００７０】
また、信号変換部４０４においては、人間の視覚特性を考慮した画像のコントラスト変換も含めた変換、即ちガンマ特性を考慮した変換を行うことも可能である。以下の（式６）に、該変換式を示す。
【００７１】
【数２】

【００７２】
以上説明した様にして、色信号変換部３０４においては入力された画像信号Ｘ1Ｙ1Ｚ1を、現在の観察環境に応じた画像信号Ｘ2Ｙ2Ｚ2に変換する。
【００７３】
このように、図８のフローチャートに示す色信号変換処理により得られた画像信号Ｘ2Ｙ2Ｚ2は、モニタ色変換部３０５において、モニタプロファイル３０６を参照してモニタ入力信号であるＲ2Ｇ2Ｂ2信号に変換され、該Ｒ2Ｇ2Ｂ2信号に基づいて、モニタ１２上にカラーマネジメントが施された画像が表示される。
【００７４】
尚、順応比率決定部４０２において、周囲光情報３０９（周囲光Ｓ）が示す色温度が５０００Ｋよりも低い場合には、実際の５０００Ｋにおける順応比率において、周囲光Ｓ側に順応する割合をより多くした順応比率を設定することが望ましい。こうすることにより、より視認し易くなることが経験的に分かっているためである。
【００７５】
尚、本実施形態においてはＸＹＺ色空間を共通色空間として説明を行ったが、これはＸＹＺ色空間に限らず、デバイスの違いを吸収可能な色空間であれば、Ｌ*ａ*ｂ*色空間やＬ*ｕ*ｖ*色空間等、どのような色空間を使用してもよい。
【００７６】
また、説明の簡便上、周囲光センサ１６を独立した構成として説明を行ったが、例えばモニタ１２表面やプリンタ１４上面等、観察環境が測定可能な場所であれば、他の構成に含まれていても良い。
【００７７】
また、本実施形態においては、順応比率を周囲光情報３０９及びモニタ白色情報３０８に応じて決定する例について説明したが、例えば周囲光情報３０９のみや、又はモニタ白色情報のみに応じて決定することももちろん可能である。
【００７８】
以上説明した様に本実施形態によれば、現在の周囲光情報に基づいてモニタに表示される画像における知覚基準白色を算出し、該知覚基準白色に基づいて入力画像信号を変換することにより、操作者は、印刷物である原稿画像の色（物体色）とモニタ上の表示画像の色（光源色）とを同じ色として観察することができる。即ち、観察環境に応じた適切なカラーマネジメント処理を実現することができる。
【００７９】
尚、本実施形態においては基準白色を算出するために、モニタ白色と周囲光の白色との２つの白色に対する順応比率を設定する例について説明したが、環境条件に応じて、３つ以上の白色に対する順応比率を設定するようにしても、本発明と同様の思想で同様の効果を得ることができる。
【００８０】
また、本実施形態ではモニタ白色と周囲光の白色との２つの白色より順応比率を設定する例について説明したが、前記順応比率はこの２つの要因のみならず、モニタ色温度、背景色、順応時間、モニタ表面反射量等の視環境に対応して順応比率を設定する様にしても、同様の効果が得られる。
【００８１】
尚、本実施形態において説明した色変換方法は、記録媒体上にプリント出力しようとする画像を予めモニタに表示して、操作者が確認可能とする機能を具備した、所謂プレビューワー機能付きの複写機やプリンタ等において適用することが可能である。
【００８２】
更に、上述した色変換方法は、カラーマネージメントシステムを実現するために、異なるデバイス間において色信号変換を行う装置であれば、あらゆる画像処理装置に適用可能である。
【００８３】
また、本発明は、ホストコンピュータ、インタフェース、プリンタ等の複数の機器から構成されるシステムに適用しても、複写機等の１つの機器からなる装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって実施される場合にも適用できることは言うまでもない。この場合、本発明に係るプログラムを格納した記憶媒体が本発明を構成することになる。そして、該記憶媒体からそのプログラムをシステム或は装置に読み出すことによって、そのシステム或は装置が、予め定められた仕方で動作する。
【００８４】
【発明の効果】
以上説明したように本発明によれば、複数の光源の混合からなる周囲光下において、入力画像と表示画像の色みを高精度に合わせることができる。
【００８５】
【図面の簡単な説明】
【図１】本発明に係る一実施形態における画像の観察環境を示す図である。
【図２】本実施形態における色変換処理方法を説明するための図である。
【図３】本実施形態の画像処理装置の構成を示すブロック図である。
【図４】本実施形態における画像処理部の構成を示すブロック図である。
【図５】本実施形態におけるカラーマネジメント処理手順を示すフローチャートである。
【図６】周囲光が基準光源である場合の、基準白色の算出方法を説明するための図である。
【図７】本実施形態における色信号変換部の詳細構成を示すブロック図である。
【図８】本実施形態における色信号変換処理手順を示すフローチャートである。
【図９】周囲光が基準光源の混色である場合の、基準白色の算出方法を説明するための図である。
【図１０】従来の画像の観察環境を示す図である。
【符号の説明】
１０スキャナ
１１画像処理部
１２モニタ
１６周囲光センサ
３０２スキャナ色変換部
３０３スキャナプロファイル
３０４色信号変換部
３０５モニタ色変換部
３０６モニタプロファイル
４０１順応比率格納部
４０２順応比率決定部
４０３基準白色算出部
４０４信号変換部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing technique for performing conversion processing according to ambient light so that an input image and a display image match each other under ambient light including a mixture of a plurality of light sources.
[0002]
[Prior art]
With recent technical improvements in image processing apparatuses, apparatuses having a color image processing function have been provided at low cost. Accordingly, color images can be easily handled not only in special fields such as design creation using CG (Computer Graphics) but also in general offices.
[0003]
In such a situation, when a color image created on a monitor such as a CRT is output on a recording medium by a printer or the like, the colors of the two images (display image and print image) appear different to the operator. There was a problem. Therefore, in order to solve this problem, a color management system has attracted attention.
[0004]
The color management system is to avoid color images appearing differently for each device by expressing a color image using a common color space in a plurality of devices. In other words, based on the basic concept that two colors represented by the same coordinate value in a certain color space look the same color to the human eye, all colors in the image are expressed in one color space. This is trying to match the color appearance of the image for each device. In the current color management system, a method of correcting the difference in color appearance for each device by using XYZ tristimulus values as the color space has been proposed.
[0005]
Here, a conventional environment for observing an image will be described with reference to FIG. FIG. 10 shows a case where the same image 202 as the printed material 201 is displayed on the monitor 203. Reference numeral 204 denotes ambient light when an image is observed, for example, emission of a fluorescent lamp. Reference numeral 205 denotes a screen that is installed to prevent the light emitted from the monitor 203 from affecting the observation of the printed matter 201. Under such an environment, color measurement (measurement of chromaticity coordinates) is performed for each of the printed matter 201 and the image 202 on the monitor 203. It is the most ideal result in the color management system that these two colorimetric values match.
[0006]
[Problems to be solved by the invention]
However, in the observation environment as shown in FIG. 10, the ambient light 204 can change variously depending on the situation. Therefore, the printed matter 201 and the image 202 on the monitor 203 are not always observed in a certain environment. . Therefore, even if the same color in the color space is obtained by color management under a certain ambient light 204, if the ambient light 204 is changed, the images that have been seen to be the same color until now are completely different colors. It will be visible.
[0007]
The present invention has been made to solve the above-described problems, and an object thereof is to provide an image processing apparatus and method capable of optimal color management in any viewing environment.
[0008]
[Means for Solving the Problems]
In order to achieve the above-described object, the image processing method of the present invention comprises the following arrangement. That is, an image processing method that performs conversion processing according to ambient light so that the input image and the display image match each other under ambient light composed of a mixture of a plurality of light sources. Using the acquisition step of acquiring the type and mixing ratio of the light sources, the white information of the display device, the calculation step of calculating the reference white point from the information of the plurality of light sources and the mixing ratio, and the calculated reference white point And a conversion step of converting an image signal indicating the input image.
[0009]
Here, the calculation step includes, for each of the plurality of light sources, a step of obtaining a white point from information on the light source and white information of the display device, and the mixing ratio acquired in the acquisition step. Preferably, the step of obtaining the reference white point from the white point obtained for each of the plurality of light sources.
[0010]
Further, the adaptation ratio is held in advance corresponding to the combination of the information on the light source and the white information on the display device, and the step of obtaining the white point includes the information on the light source and the information on the basis of the adaptation ratio held in advance. It is preferable to select an adaptation ratio corresponding to the combination with the white information of the display device, and obtain the white point based on the selected adaptation ratio.
[0011]
Furthermore, it is preferable to have a determination step of determining whether the ambient light is a single light source or a mixture of a plurality of light sources.
[0012]
In order to achieve the above-described object, the image processing apparatus of the present invention has the following configuration. That is, an image processing apparatus that performs conversion processing according to ambient light so that an input image and a display image match each other under ambient light including a mixture of a plurality of light sources. Using acquisition means for acquiring the type and mixing ratio of the light source, white information of the display device, calculation means for calculating a reference white point from the information of the plurality of light sources and the mixing ratio, and the calculated reference white point Conversion means for converting an image signal indicating the input image;
It is characterized by having.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment according to the present invention will be described in detail with reference to the drawings.
[0014]
<First Embodiment>
FIG. 1 shows an observation environment in the present embodiment. In FIG. 1, the same components as those in FIG. 10 shown in the conventional example are given the same reference numerals, and the description thereof is omitted. In FIG. 1, reference numeral 206 denotes an ambient light sensor, which is installed on a monitor 203 or a printer (not shown) and configured to detect the ambient light 204. Hereinafter, a case where the printed matter 201 and the display image 202 on the monitor 203 are observed will be described. The monitor 203 in this embodiment includes not only a CRT display but also a liquid crystal display.
[0015]
In order for the print image 201 and the display image 202 to be seen as the same color by the operator in the environment shown in FIG.
[0016]
Information on the ambient light 204 is detected by the ambient light sensor 206, and based on the ambient light information, a prediction is made as to what chromaticity value (for example, XYZ) each color constituting the image is represented in the output destination device. To do. Then, by reproducing the predicted chromaticity value as faithfully as possible with reference to the characteristic profile for each device, it is possible to obtain the same color. The ambient light value is calculated from the light detected by the ambient light sensor 206, and may be the chromaticity value of the light source itself or the chromaticity value when the paper is measured under the ambient light. good.
[0017]
A configuration for realizing such processing is shown in FIG. 2 and will be described below.
[0018]
In FIG. 2, reference numeral 101 denotes a scanner including a CCD sensor, 102 denotes a scanner color conversion unit that converts RGB values read by the scanner 101 into XYZ values, and 103 denotes a scanner that holds color conversion characteristics in the scanner color conversion unit 102. It is a profile. A color signal conversion unit 104 corrects the XYZ values to values optimal for the current observation environment according to the ambient light information 108 read by the sensor 109. Reference numeral 105 denotes a monitor color conversion unit that converts XYZ values into RGB values to be displayed on a monitor 107 such as a CRT. Reference numeral 106 denotes a monitor profile that holds color conversion characteristics in the monitor color conversion unit 105.
[0019]
First, an input image (printed material 201) is read by the scanner 101, and the scanner color conversion unit 102 refers to the scanner profile 103 in which scanner characteristic data is stored in advance, and the R1G1B1 value obtained from the scanner 101 depends on the device. It is converted to an X1Y1Z1 value which is a color signal not to be processed. In the color signal conversion unit 104, when the color indicated by the color signal value X1Y1Z1 is measured under the ambient light environment based on the ambient light information 108 obtained from the sensor 109 that senses ambient light. Convert to the signal value X2Y2Z2 that would be obtained. Then, the monitor color conversion unit 105 calculates R2G2B2 which is an input value to the monitor 107 corresponding to the X2Y2Z2 value with reference to the monitor profile 106 in which monitor characteristic data is stored in advance.
[0020]
By performing color management in the configuration as described above, the read image signal is expressed in X2Y2Z2 corresponding to the current ambient light information 108 in the XYZ color space.
[0021]
By performing color conversion in consideration of ambient light in this way, more appropriate color management should be realized.
[0022]
However, in the example described above, the colors of the print image 201 and the display image 202 recognized by the operator are the reflected light color (object color) on the recording medium in the print image 201, and the emission color of the light source in the display image 202. (Light source color). That is, since the color development modes are different between the two, even if the colors are expressed by the same value in the same color space, they are often not recognized as the same color by the operator.
[0023]
Therefore, even in images with different color development modes, the following color management is used for the purpose of allowing the color indicated by the same value in the same color space to be perceived as the same color by human observation. A method is conceivable.
[0024]
When a human observes a color, it is considered that all colors are recognized by comparing with a white color as a reference. Here, a case where a monitor display image and a print image placed under a certain ambient light are observed is considered as an example. Then, in that environment, there are many standards that humans can recognize colors, such as the white color on the monitor, the white color of the ambient light, and the white color of the printed image illuminated by the ambient light (the white background of the paper). White is present. And it can be said that humans are observing colors based on the white color adapted to the plurality of white colors at a predetermined ratio.
[0025]
Therefore, more appropriate color management is achieved by calculating a white color (hereinafter referred to as a reference white color) that is used when a human observes a color and converting all the colors constituting the image based on the reference white color. Is possible.
[0026]
As a more specific method, when calculating the reference white, first, one adaptation ratio between the white on the monitor and the white of the ambient light under the reference white fluorescent lamp is determined in advance. Then, by calculating the reference white using the adaptation ratio and performing color conversion based on the reference white, more appropriate color management is realized.
[0027]
However, in such color management, the adaptation ratio is fixed regardless of the observation environment when calculating the reference white color. As the ambient light when the image is actually observed, there are various lights in addition to the fluorescent lamp. Since the adaptation ratio of the reference white to each white varies depending on the different ambient light, if the adaptation ratio is fixed to one, it is hoped that the optimal reference white can be calculated according to any observation environment. Absent. Even in the case where ambient light includes light other than fluorescent lamps, the optimum reference white color cannot be calculated.
[0028]
Therefore, the present embodiment is characterized in that optimum color management is possible by calculating an optimum reference white color in any observation environment.
[0029]
FIG. 3 is a block diagram of the image processing apparatus according to this embodiment. In FIG. 3, 10 is a scanner that optically reads and inputs image data on a recording medium by an image sensor such as a CCD, and 11 is an image processing unit that performs various image processing including color conversion processing, which is a feature of this embodiment. , 12 is a monitor such as a CRT for displaying image data. Also, 13 is a communication unit that transmits and receives image data via a general communication line, 14 is a printer that prints out image data on a recording medium, 15 is an operation panel or the like command input by the operator, and image to the operator It is an operation part which performs the status alerting of a processing apparatus. Reference numeral 16 denotes an ambient light sensor, which detects ambient light under the current environment as will be described later.
[0030]
In this embodiment, the image processing unit 11 can recognize the color of the original image read by the scanner 10 and the color when the image is displayed on the monitor 12 as the same color under any environment. An appropriate color conversion process is performed.
[0031]
In the block diagram of FIG. 4, a configuration that particularly performs the color conversion process that is a feature of the present embodiment is extracted and shown. FIG. 4 shows a configuration for performing color conversion on the image data read by the scanner 10 and displaying it on the monitor 12. 4, 302 is a scanner color conversion unit, 303 is a scanner profile, 304 is a color signal conversion unit, 305 is a monitor color conversion unit, and 306 is a monitor profile. Reference numeral 310 denotes a CPU that comprehensively controls each component of the image processing unit 11 in accordance with a control program stored in the ROM 311 and including, for example, processing shown in a flowchart described later. Reference numeral 312 denotes a RAM which operates as a work area for the CPU 310. Note that the detailed configuration of the image processing unit 11 shown in FIG. 4 shows only the portion related to color conversion processing, and the configuration related to other image processing is omitted. Also, a configuration that is essential in normal image processing, such as an A / D conversion unit that converts an analog image signal input from the scanner 10 to digital, is omitted.
[0032]
Hereinafter, the color management processing in the present embodiment will be described with reference to the configuration shown in FIG. 4 and the flowchart of FIG.
[0033]
In FIG. 5, first, in S101, an image output on a recording medium is read as a document by the scanner 10 to obtain an R1G1B1 image signal. Here, the color of the original image is a so-called object color recognized as reflected light.
[0034]
In step S102, R1G1B1 data depending on the scanner 10 obtained by the scanner 10 in the image processing unit 11 is input to the scanner color conversion unit 302 in the image processing unit 11, and the information of the scanner profile 303 is referred to. Thus, the value is converted to a value X1Y1Z1 in the XYZ color space that does not depend on the device.
[0035]
Here, the scanner profile 303 stores information about color characteristics and the like in the scanner 10 in advance. For example, a color conversion matrix for converting scanner-dependent RGB values into device-independent XYZ values, a lookup, and the like. A table (LUT) or the like is stored. In step S103, ambient light information 309 from the ambient light sensor 16 is input. In step S104, the color signal conversion unit 304 converts the X1Y1Z1 signal converted in step S102 into the ambient light information 309 obtained from the ambient light sensor 16 and the monitor white information 308 obtained from the monitor profile 306. Based on this, it is converted into an X2Y2Z2 signal that takes into account color development mode correction in ambient light and object color / light source color. The details of the color signal conversion process in step S104 (the conversion process in the color signal conversion unit 304) will be described later.
[0036]
In step S105, the X2Y2Z2 signal converted in step S104 is input to the monitor color conversion unit 305, and is converted into an R2G2B2 value depending on the monitor 12 with reference to the information of the monitor profile 306.
[0037]
Here, the monitor profile 306 stores information related to the color characteristics and the like of the monitor 12 in advance. For example, in addition to the monitor white information, a monitor such as the monitor 12 color temperature, light emission luminance, phosphor chromaticity value, and the like. Stored are white information, color conversion characteristic information from a standard color space signal to a device-dependent color space signal, and the like.
[0038]
Finally, in step S106, the document image read by the scanner 10 in step S101 is displayed on the monitor 12.
[0039]
Next, the color signal conversion process in step S104 described above (the conversion process in the color signal conversion unit 304) will be described in detail.
[0040]
First, an overview of the conversion processing in the color signal conversion unit 304 will be described with reference to FIG. FIG. 6 is a diagram illustrating a method for calculating the position of the reference white that is the reference for human color perception in the current environment in a predetermined color space.
[0041]
When observing the image displayed on the monitor 12 as in the present embodiment, the human does not fully recognize only the white color on the monitor 12 and recognizes all the colors. Both are considered to have adapted to a certain percentage. Therefore, as shown in FIG. 6A, the reference white point that is a reference for viewing the color is a predetermined adaptation ratio (s: 1-s) between the white color of the monitor 12 and the ambient light. ).
[0042]
Here, the detailed block configuration of the color signal converter 402 is shown in FIG. 7 and will be described.
[0043]
In FIG. 7, 401 is an adaptation ratio storage unit that holds a plurality of adaptation ratios in advance, 402 is an adaptation ratio determination unit that determines an appropriate adaptation ratio, 403 is a reference white color calculation unit, and 404 is a signal that converts an actual color signal. It is a conversion unit. The adaptation ratio determination unit 402 and the reference white color calculation unit 403 receive the ambient light information 309 detected by the ambient light sensor 16 and the monitor white information 308 held in the monitor profile 306.
[0044]
Hereinafter, the processing in the color signal conversion unit 304 shown in FIG. 7 will be described in detail with reference to the flowchart of FIG.
[0045]
First, in step S103 shown in FIG. 5 described above, ambient light information 309 is obtained from the ambient light sensor 16 as light (ambient light) information obtained by the light source around the sensor 16. Ambient light information 309 indicates the current operating environment of the image processing apparatus of the present embodiment. The ambient light information 309 may be spectral data or a color signal in an XYZ color space, an RGB color space, or the like. In addition, the image processing apparatus may be configured such that the operator manually inputs a color signal or the like corresponding to the ambient light information 309 from the operation unit 15 without directly connecting the ambient light sensor 16. The ambient light information 309 corresponds to the reference light source L in FIG. At this time, monitor white information 308 such as the temperature, light emission luminance, and chromaticity value of the monitor white for displaying the image is already obtained from the monitor profile 306. The monitor white information 308 corresponds to the monitor white point M in FIG.
[0046]
Here, the adaptation ratio storage unit 401 indicates the corresponding adaptation ratio when it is assumed that the ambient light is from a predetermined reference light source, for each of the plurality of reference light sources, in a format such as LUT for each monitor white point. Pre-held. As the reference light source in this embodiment, for example, light sources A, C, D93, D65, D50, and F defined by the JIS standard are used.
[0047]
In step S201 of FIG. 8, the adaptation ratio determination unit 402 refers to the ambient light information 309 to determine whether the ambient light is a single reference light source by any of the above-described reference light sources. Here, if it is determined that the ambient light is a single reference light source, the process proceeds to step S202.
[0048]
In step S202, the adaptation ratio determination unit 402 selects a corresponding adaptation ratio from the adaptation ratio storage unit 401 based on the ambient light information 309 and the monitor white information 308. The selected adaptation ratio is then input to the reference white color calculation unit 403. In step S203, the ambient light information 309 and the monitor white information 308 similar to those input to the adaptation ratio determination unit 402 are used to obtain the current observation environment. Calculate suitable reference white information.
[0049]
Hereinafter, the reference white information calculation method in the reference white calculation unit 403 will be specifically described.
[0050]
For example, when the ratio of the reference white point (perceived reference white point) W to the monitor white point M on the XYZ color space coordinates is s, the ratio to the reference light source point L is shown in FIG. As shown, it is represented by 1-s. Further, the tristimulus values and chromaticity values of the reference light source point L corresponding to the ambient light information 309 are Xw1, Yw1, Zw1, xw1, and yw1, respectively, and the same applies to the monitor white point M corresponding to the monitor white information 308. Xw2, Yw2, Zw2, xw2, and yw2. Then, the tristimulus values Xw, Yw, Zw and the chromaticity values xw, yw of the reference white signal are obtained by (Expression 1) and (Expression 2) shown below.
[0051]
● Tristimulus values
Xw = (1-s) .Xw1 + s.Xw2
Yw = (1-s) .Yw1 + s.Yw2
Zw = (1-s) .Zw1 + s.Zw2 (Formula 1)
● Chromaticity value
xw = (1-s) .xw1 + s.xw2
yw = (1-s) .yw1 + s.yw2 (Formula 2)
Here, since the adaptation ratio of the reference white point W to the monitor white point M and the reference light source L differs depending on the ambient light (reference light source) at the time of image observation, that is, (Equation 1) and (Equation 2) described above. The value of the adaptation ratio s in FIG. 4 changes according to the ambient light, and accordingly, the reference white point M also changes according to the ambient light (reference light source).
[0052]
For example, when the color temperature of the monitor 12 is 6500K and the reference light source corresponding to the ambient light is the D65 light source (correlated color temperature 6504K), there is almost no difference between the ambient light and the monitor white color. Three points (M, W, L) shown in (a) are represented as almost one point.
[0053]
Further, when the color temperature of the monitor 12 is 6500K and the ambient light is an F light source of a fluorescent lamp, the person adapts to both the monitor white color and the ambient light at a certain ratio. The adaptation ratio is about 50% to 40% for the monitor white point M, and about 50% to 60% for the ambient light (reference light source point F). This state is shown in FIG. In FIG. 6B, W (F) is the reference white point under the F light source.
[0054]
Further, when the color temperature of the monitor 12 is 6500K and the ambient light is the A light source, the person adapts to both the monitor white color and the ambient light as in the case of the fluorescent lamp. The adaptation ratio is considerably inclined toward the ambient light side, and is about 20% to 10% for the monitor white point M, and about 80% to 90% for the ambient light (reference light source L). This situation is shown in FIG. In FIG. 6C, W (A) is the reference white point under the A light source.
[0055]
Therefore, in the present embodiment, the optimum reference white point can be calculated by determining the optimum adaptation ratio according to the ambient light.
[0056]
The method for calculating the reference white point when the ambient light is one of the reference light sources has been described above. Next, a case will be described in which it is determined in step S201 that the ambient light is not a single reference light source but a mixture of a plurality of reference light sources.
[0057]
In this case, the process proceeds to step S204, and the adaptation ratio determination unit 402 determines, based on the ambient light information 309, what mixing ratio of what reference light source is the current ambient light.
[0058]
In step S205, the adaptation ratio is calculated. In this case, since the adaptation ratio in the case where the ambient light is the reference light source is stored in the adaptation ratio storage unit 401 in advance, in the ambient light composed of a mixture of arbitrary reference light sources. The adaptation ratio can be calculated as a mixture of the adaptation ratios of these reference light sources.
[0059]
Here, with reference to FIG. 9, the calculation method of the adaptation ratio with respect to the ambient light mixed with the reference | standard light source in step S205 is demonstrated concretely.
[0060]
FIG. 9 shows a case where the ambient light S obtained as the ambient light information 309 is a mixture of the reference light source A and the reference light source B, and the mixing ratio is a: b. Here, in the adaptation ratio storage unit 401, when an image is observed with the reference light source A as the ambient light, the adaptation ratio corresponding to the monitor white information 308 is a1 on the monitor white point M side (1-a1 on the ambient light A side). Similarly, the adaptation ratio corresponding to the monitor white information 308 when observing an image with the reference light source B as ambient light is b1 on the monitor white point M side (1-b1 on the ambient light B side). ) As a percentage.
[0061]
When the adaptation ratio determining unit 402 determines that the ambient light S is a mixture of the reference light sources A and B, the adaptation ratios a 1 and b 1 corresponding to the monitor white information 308 of the reference light sources A and B are extracted from the adaptation ratio storage unit 401. Then, together with information on the mixing ratio a: b of the reference light sources A and B in the ambient light S, it is output to the reference white calculation unit 403.
[0062]
Next, the process proceeds to step S206 to calculate a reference white color. By the processing so far, the coordinate values of the monitor white point M, the ambient light S, and the reference light sources A and B are known on the XYZ color space coordinates as shown in FIG. The reference white calculation unit 403 first calculates reference white points Wa and Wb for the monitor white point M of the reference light sources A and B. Since the mixing ratio of the reference light sources A and B in the ambient light S is a: b, the reference white point W under the ambient light S is the reference white point Wa under the reference light source A and the reference under the reference light source B. It is calculated as a mixture of a: b of the white point Wb. This calculation formula is shown in (Formula 3).
[0063]
Wa = (1-a1) · A + a1 · M
Wb = (1-b1) · B + b1 · M
W = a · Wa + b · Wb (Formula 3)
In the reference white calculation unit 403, the reference white point W of the ambient light S is calculated according to the above-described (Equation 3). For example, the reference white point W can be calculated in the same manner by the following method.
[0064]
Of course, the calculation method of the reference white point W in the reference white calculation unit 403 is not limited to the above-described example. For example, a corresponding adaptation ratio is calculated in advance for ambient light composed of a mixture of expected predetermined reference light sources. Thus, it may be stored in the adaptation ratio storage unit 401 in a format such as LUT. In this case, the adaptation ratio determination unit 402 extracts one adaptation ratio corresponding to the closer ambient light based on the ambient light information 309, and thereafter calculates the reference white point according to the adaptation ratio. Is inferior, but requires less computation and improves processing speed.
[0065]
As described above, the reference white point corresponding to the ambient light is obtained in step S203 or step S206.
[0066]
Next, the process proceeds to step S207, and based on the reference white point signal calculated by the reference white calculation unit 403, the signal conversion unit 404 performs color conversion of the entire image.
[0067]
The image displayed on the monitor 12 is observed based on the reference white color calculated as described above. On the other hand, the printed material such as the original image read from the scanner 10 is white as the background of the recording medium (paper). , And the white light of the ambient light is observed.
[0068]
Here, in the XYZ color space, if the reference white point is Xw, Yw, Zw and the ambient light is Xs, Ys, Zs, the image signals X1, Y1, Z1 read by the scanner 10 are von Klees ( (Formula 5), which is a modification of the equation of von Kreis), can be converted into image signals X2, Y2, and Z2 for display on the monitor 12.
[0069]
[Expression 1]

[0070]
Further, the signal conversion unit 404 can also perform conversion including image contrast conversion considering human visual characteristics, that is, conversion considering gamma characteristics. The conversion formula is shown below (Formula 6).
[0071]
[Expression 2]

[0072]
As described above, the color signal converter 304 converts the input image signal X1Y1Z1 into an image signal X2Y2Z2 corresponding to the current observation environment.
[0073]
As described above, the image signal X2Y2Z2 obtained by the color signal conversion processing shown in the flowchart of FIG. 8 is converted into the R2G2B2 signal which is the monitor input signal by referring to the monitor profile 306 in the monitor color conversion unit 305, and the R2G2B2 Based on the signal, an image subjected to color management is displayed on the monitor 12.
[0074]
In the adaptation ratio determining unit 402, when the color temperature indicated by the ambient light information 309 (ambient light S) is lower than 5000K, the ratio of adaptation to the ambient light S side is increased in the actual adaptation ratio at 5000K. It is desirable to set the adaptation ratio. This is because it is empirically known that this makes it easier to visually recognize.
[0075]
In the present embodiment, the XYZ color space has been described as a common color space. However, this is not limited to the XYZ color space, and any color space that can absorb device differences can be used as an L * a * b * color. Any color space, such as space or L * u * v * color space, may be used.
[0076]
In addition, for convenience of explanation, the ambient light sensor 16 has been described as an independent configuration. However, any location where the observation environment can be measured, such as the surface of the monitor 12 or the upper surface of the printer 14, is included in other configurations. May be.
[0077]
In this embodiment, the example in which the adaptation ratio is determined according to the ambient light information 309 and the monitor white information 308 has been described. However, for example, the adaptation ratio is determined only according to the ambient light information 309 or only the monitor white information. Of course it is possible.
[0078]
As described above, according to the present embodiment, by calculating the perceptual reference white in the image displayed on the monitor based on the current ambient light information, and converting the input image signal based on the perceptual reference white, The operator can observe the color of the original image (object color) as a printed matter and the color of the display image (light source color) on the monitor as the same color. That is, it is possible to realize appropriate color management processing according to the observation environment.
[0079]
In the present embodiment, an example in which the adaptation ratio of the monitor white and the ambient light white to the two whites is set to calculate the reference white has been described. However, three or more whites are used depending on the environmental conditions. Even if the adaptation ratio is set, the same effect can be obtained with the same idea as the present invention.
[0080]
In this embodiment, the example in which the adaptation ratio is set based on the two white colors of the monitor white color and the ambient light white color has been described. However, the adaptation ratio is not limited to these two factors, but also the monitor color temperature, the background color, the adaptation color. Even if the adaptation ratio is set in accordance with the visual environment such as time and the amount of reflection on the monitor surface, the same effect can be obtained.
[0081]
Note that the color conversion method described in the present embodiment is a copy with a so-called previewer function, which has a function of displaying an image to be printed on a recording medium in advance on a monitor so that the operator can check it. It can be applied to a machine or a printer.
[0082]
Furthermore, the color conversion method described above can be applied to any image processing apparatus as long as it is an apparatus that performs color signal conversion between different devices in order to realize a color management system.
[0083]
Further, the present invention may be applied to a system composed of a plurality of devices such as a host computer, an interface, and a printer, or to an apparatus composed of a single device such as a copying machine. Needless to say, the present invention can also be applied to a case where the present invention is implemented by supplying a program to a system or apparatus. In this case, the storage medium storing the program according to the present invention constitutes the present invention. Then, by reading the program from the storage medium to the system or apparatus, the system or apparatus operates in a predetermined manner.
[0084]
【The invention's effect】
As described above, according to the present invention, the color of the input image and the display image can be matched with high accuracy under ambient light composed of a mixture of a plurality of light sources.
[0085]
[Brief description of the drawings]
FIG. 1 is a diagram showing an image observation environment in an embodiment according to the present invention.
FIG. 2 is a diagram for explaining a color conversion processing method in the present embodiment.
FIG. 3 is a block diagram illustrating a configuration of an image processing apparatus according to the present exemplary embodiment.
FIG. 4 is a block diagram illustrating a configuration of an image processing unit in the present embodiment.
FIG. 5 is a flowchart showing a color management processing procedure in the present embodiment.
FIG. 6 is a diagram for explaining a method for calculating a reference white color when ambient light is a reference light source.
FIG. 7 is a block diagram showing a detailed configuration of a color signal conversion unit in the present embodiment.
FIG. 8 is a flowchart illustrating a color signal conversion processing procedure in the present embodiment.
FIG. 9 is a diagram for describing a reference white calculation method when ambient light is a mixed color of reference light sources.
FIG. 10 is a diagram illustrating a conventional image viewing environment.
[Explanation of symbols]
10 Scanner
11 Image processing unit
12 Monitor
16 Ambient light sensor
302 Scanner color converter
303 Scanner profile
304 color signal converter
305 Monitor color converter
306 Monitor profile
401 Adaptation ratio storage
402 Adaptation ratio determination unit
403 Reference white color calculation unit
404 Signal converter

Claims

An image processing method for performing conversion processing according to ambient light so that an input image and a display image match each other under ambient light including a mixture of a plurality of light sources,
An acquisition process in which an operator manually inputs information indicating types of a plurality of light sources constituting the ambient light and a mixture ratio of the plurality of light sources, and
A calculation step of calculating a reference white point from the white information of the display device, the information of the plurality of light sources, and the mixing ratio;
A conversion step of converting an image signal indicating the input image using the calculated reference white point;
An image processing method comprising:

The calculation step includes
For each of the plurality of light sources, obtaining a white point from information on the light source and white information on the display device;
Obtaining the reference white point from the white point obtained for each of the plurality of light sources based on the mixing ratio obtained in the obtaining step;
The image processing method according to claim 1, further comprising:

The adaptation ratio is held in advance corresponding to the combination of the light source information and the white information of the display device,
The step of obtaining the white point selects an adaptation ratio corresponding to a combination of the information on the light source and the white information on the display device from the adaptation ratio stored in advance, and based on the selected adaptation ratio 3. The image processing method according to claim 2, wherein the white point is obtained from information on the light source and white information on the display device.

An image processing apparatus that performs conversion processing according to ambient light so that an input image and a display image match each other under ambient light including a mixture of a plurality of light sources,
An acquisition means for acquiring information indicating a type of a plurality of light sources constituting ambient light and a mixture ratio of the plurality of light sources by an operator manually inputting information;
Calculating means for calculating a reference white point from white information of the display device, information of the plurality of light sources and the mixing ratio;
Conversion means for converting an image signal indicating the input image using the calculated reference white point;
An image processing apparatus comprising: