JP4150876B2

JP4150876B2 - Image display system, image processing method, program, and information storage medium

Info

Publication number: JP4150876B2
Application number: JP2001043095A
Authority: JP
Inventors: 修和田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-02-20
Filing date: 2001-02-20
Publication date: 2008-09-17
Anticipated expiration: 2021-02-20
Also published as: JP2002247401A

Description

【０００１】
【発明の属する技術分野】
本発明は、目標とする画像を再現するために色変換後にガンマ処理を行う画像表示システム、画像処理方法、プログラムおよび情報記憶媒体に関する。
【０００２】
【背景技術および発明が解決しようとする課題】
画像の見え方を統一するため、ＣＭＳ（Color Management System）等の色変換システムが提案されている。
【０００３】
しかし、実際の望ましい画像の見え方は、個人や地域によって異なる場合がある。
【０００４】
例えば、日本における画像の標準的な表示方式はＮＴＳＣであるが、ヨーロッパにおける画像の標準的な表示方式はＰＡＬである。
【０００５】
したがって、例えば、日本でＮＴＳＣを前提として生成した画像をヨーロッパでヨーロッパ人向けに表示した場合、ヨーロッパ人が望ましいと考えている画像の見え方と異なる事態も発生しうる。
【０００６】
このため、単に画像信号（ＲＧＢ信号、ＣＭＹＫ信号等）を入力するだけでなく、ユーザーによって選択された表示方式等の画像特性に合わせて画像信号を３次元的に変換して入力する必要がある。
【０００７】
また、画像の見え方は、環境光等の影響を受けるため、視環境を把握し、その視環境を考慮して画像信号を３次元的に変換する必要がある。
【０００８】
このように、画像表示方式や視環境に適合した色変換を行う場合、元の画像信号を複数種使用する必要がある。なぜなら色変換を行う際に色域圧縮等を行うからである。
【０００９】
具体的には、例えば、ＲＧＢ信号の場合、色変換を行わないで赤色を再現する場合はＲ信号だけで再現できるが、色変換を行って赤色を再現する場合はＲ信号だけでなくＧ信号やＢ信号も用いなければ適切に赤色を再現することができない。
【００１０】
従来の画像処理においては、画像の色を再現するための色変換後に、画像の明るさを再現するためのガンマ処理を行う際に、元の画像信号を複数種使用するということが考慮されていない。
【００１１】
このため、色変換時には各画像信号の比率、例えば、ＲＧＢ信号の場合、Ｒ信号の出力値：Ｇ信号の出力値：Ｂ信号の出力値の比率は適切な値となっているが、ガンマ処理を行うことによって各信号の比率が変化してしまう場合があった。
【００１２】
このような場合、当初意図した比率とは異なった比率となってしまい、目標とする画像を適切に再現できない。
【００１３】
本発明は、上記の課題に鑑みなされたものであり、その目的は、目標とする画像を再現するために、色変換後にガンマ処理を行う場合に、より適切な画像を再現できる画像表示システム、画像処理方法、プログラムおよび情報記憶媒体を提供することにある。
【００１４】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像表示システムは、画像の被表示領域における視環境を把握する視環境把握手段による環境情報およびユーザーによって選択された画像特性の少なくとも一方に基づき、前記視環境および前記画像特性の少なくとも一方に適合した画像が表示されるように、画像を表示するために用いられる複数種の画像信号を変換して画像を表示する画像表示システムにおいて、
前記適合した画像の色を再現するために、前記複数種の画像信号を変換する色変換手段と、
前記適合した画像の明るさを再現するために、前記変換された複数種の画像信号をガンマ処理するガンマ処理手段と、
ガンマ処理された複数種の画像信号に基づき、画像を表示する画像表示手段と、
を含み、
前記ガンマ処理手段は、前記複数種の画像信号の出力値の種別間の比に基づき、前記変換された複数種の画像信号をガンマ処理することを特徴とする。
【００１５】
また、本発明に係る画像処理方法は、画像の被表示領域における視環境を把握する視環境把握手段による環境情報およびユーザーによって選択された画像特性の少なくとも一方に基づき、前記視環境および前記画像特性の少なくとも一方に適合した画像が表示されるように、画像を表示するために用いられる複数種の画像信号を変換する画像処理方法において、
前記適合した画像の色を再現するために、前記複数種の画像信号を変換する色変換工程と、
前記適合した画像の明るさを再現するために、前記変換された複数種の画像信号をガンマ処理するガンマ処理工程と、
を含み、
前記ガンマ処理工程では、前記複数種の画像信号の出力値の種別間の比に基づき、前記変換された複数種の画像信号をガンマ処理することを特徴とする。
【００１６】
また、本発明に係るプログラムは、画像の被表示領域における視環境を把握する視環境把握手段による環境情報およびユーザーによって選択された画像特性の少なくとも一方に基づき、前記視環境および前記画像特性の少なくとも一方に適合した画像が表示されるように、画像を表示するために用いられる複数種の画像信号を変換して画像を表示するためのプログラムであり、かつ、コンピュータにより使用可能なプログラムであって、
前記適合した画像の色を再現するために、前記複数種の画像信号を変換する色変換手段と、
前記適合した画像の明るさを再現するために、前記変換された複数種の画像信号をガンマ処理するガンマ処理手段と、
ガンマ処理された複数種の画像信号に基づき、画像を表示する画像表示手段と、
をコンピュータに実現させ、
前記ガンマ処理手段は、前記複数種の画像信号の出力値の種別間の比に基づき、前記変換された複数種の画像信号をガンマ処理することを特徴とする。
【００１７】
また、本発明に係る情報記憶媒体は、コンピュータにより使用可能な情報記憶媒体であって、上記手段をコンピュータに実現させるためのプログラムを含むことを特徴とする。
【００１８】
本発明によれば、複数種の画像信号の出力値の種別間の比に基づき、変換後の複数種の画像信号をガンマ処理することにより、各画像信号の出力値の比率を適切な値に保つことができる。
【００１９】
したがって、目標とする画像を再現するために、色変換後にガンマ処理を行う場合に、より適切な画像を再現できる。
【００２０】
なお、前記複数種の画像信号としては、例えば、ＲＧＢ信号、ＣＭＹＫ信号等が該当する。また、前記画像特性としては、例えば、画像表示方式に基づくもの、画像種別に基づくもの等が該当する。なお、ここで、画像表示方式としては、例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等が該当する。また、画像種別としては、例えば、ＲＧＢ、ｓＲＧＢ等が該当する。さらに、色変換手段としては、例えば、変換用マトリクスを用いて色変換を行う手段、ルックアップテーブル（以下「ＬＵＴ」という。）を用いて色変換を行う手段等を適用できる。
【００２１】
また、前記画像表示システム、前記プログラムおよび前記情報記憶媒体において、前記ガンマ処理手段は、各画像信号に対するガンマ処理として、前記変換された画像信号の出力値を前記変換された複数種の画像信号のうちの最大出力値で割った値と、画像信号の最大出力値と、前記変換された複数種の画像信号のうちの最大値を画像信号の最大出力値で割った値をガンマ回掛け合わせた値と、の積を求める処理を行うことが好ましい。
【００２２】
また、前記画像処理方法において、前記ガンマ処理工程では、各画像信号に対するガンマ処理として、前記変換された画像信号の出力値を前記変換された複数種の画像信号のうちの最大出力値で割った値と、画像信号の最大出力値と、前記変換された複数種の画像信号のうちの最大値を画像信号の最大出力値で割った値をガンマ回掛け合わせた値と、の積を求める処理を行うことが好ましい。
【００２３】
これによれば、通常は前記変換された画像信号の出力値をガンマ回掛け合わせた値を求める処理を行っているガンマ処理を上記のように処理することにより、各画像信号の出力値の比率を適切な値に保つことができる。
【００２４】
例えば、ＲＧＢ信号のうちのＲ信号、Ｇ信号およびＢ信号を処理する場合、求める値をＲ’、Ｇ’、Ｂ’前記変換された画像信号の出力値をＲ０、Ｇ０、Ｂ０前記変換された複数種の画像信号のうちの最大出力値であるＭＡＸ（Ｒ０、Ｇ０、Ｂ０）をＭＸＲＧＢ、画像信号の最大出力値をＭＸ、積の記号を＊、累乗の記号を＊＊、ガンマ値をγとすると、以下の数式で表せる。
【００２５】
Ｒ’＝Ｒ０／ＭＸＲＧＢ＊ＭＸ＊（ＭＸＲＧＢ／ＭＸ）＊＊γ
Ｇ’＝Ｇ０／ＭＸＲＧＢ＊ＭＸ＊（ＭＸＲＧＢ／ＭＸ）＊＊γ
Ｂ’＝Ｂ０／ＭＸＲＧＢ＊ＭＸ＊（ＭＸＲＧＢ／ＭＸ）＊＊γ
なお、従来の方式では、上記数式は、それぞれ、Ｒ’＝ＭＸ＊(Ｒ０／ＭＸ)＊＊γ、Ｇ’＝ＭＸ＊(Ｇ０／ＭＸ)＊＊γ、Ｂ’＝ＭＸ＊(Ｂ０／ＭＸ)＊＊γである。
【００２６】
また、前記画像表示システム、前記プログラムおよび前記情報記憶媒体において、前記色変換手段は、
前記適合した画像が表示されるように、変換用マトリクスを生成するマトリクス生成手段と、
生成された変換用マトリクスに基づき、前記複数種の画像信号を変換するマトリクス変換手段と、
を含むことが好ましい。
【００２７】
また、前記画像処理方法において、前記色変換工程は、
前記適合した画像が表示されるように、変換用マトリクスを生成するマトリクス生成工程と、
生成された変換用マトリクスに基づき、前記複数種の画像信号を変換するマトリクス変換工程と、
を含むことが好ましい。
【００２８】
これによれば、色変換を行う場合に、変換用マトリクスを用いて画像信号を変換することにより、ＬＵＴを用いて変換する場合と比べ、より高速に変換でき、かつ、変換用情報による記憶領域の占有量を低減させることができる。
【００２９】
また、前記画像表示システム、前記プログラムおよび前記情報記憶媒体において、前記環境情報および前記画像特性に基づき、前記視環境および前記画像特性に適合した画像を表示する場合に、前記画像特性に基づく色域である目標色域を演算するとともに、前記環境情報に基づき、前記視環境において前記画像表示手段で表示可能な色域である表示可能色域を演算する色域演算手段を含み、
前記マトリクス生成手段は、前記表示可能色域が、前記目標色域より広い場合、前記目標色域より狭い場合、前記目標色域と一致する場合、前記目標色域と重なる部分と重ならない部分とがある場合のそれぞれの場合において、異なる変換用マトリクスを生成することが好ましい。
【００３０】
また、前記画像処理方法において、前記マトリクス生成工程は、前記環境情報および前記画像特性に基づき、前記視環境および前記画像特性に適合した画像を表示する場合に、前記画像特性に基づく色域である目標色域を演算するとともに、前記環境情報に基づき、前記視環境において前記画像表示手段で表示可能な色域である表示可能色域を演算する工程を含み、
前記マトリクス生成工程では、前記表示可能色域が、前記目標色域より広い場合、前記目標色域より狭い場合、前記目標色域と一致する場合、前記目標色域と重なる部分と重ならない部分とがある場合のそれぞれの場合において、異なる変換用マトリクスを生成することが好ましい。
【００３１】
視環境や画像特性により、画像特性に基づく色域と、前記画像表示手段で表示可能な色域との関係は異なる。このため、単独の変換用マトリクスのみを用いて画像信号を変換する手法では画像を適切に再現できない。
【００３２】
本発明によれば、上記の４つに場合分けして、それぞれの場合に応じた変換用マトリクスを生成することにより、画像をより適切に再現することができる。
【００３３】
また、前記画像表示システム、前記プログラムおよび前記情報記憶媒体において、前記マトリクス生成手段は、前記表示可能色域が、前記目標色域より狭い場合および前記目標色域と重なる部分と重ならない部分とがある場合、色相の再現性または色域の再現性を重視した変換用マトリクスを生成することが好ましい。
【００３４】
また、前記画像処理方法において、前記マトリクス生成工程では、前記表示可能色域が、前記目標色域より狭い場合および前記目標色域と重なる部分と重ならない部分とがある場合、色相の再現性または色域の再現性を重視した変換用マトリクスを生成することが好ましい。
【００３５】
これによれば、色相や色域の再現性を重視した変換用マトリクスを生成することにより、より適切に画像を再現できる。
【００３６】
また、前記画像表示システムは、前記色域演算手段と、
前記マトリクス生成手段と、
前記マトリクス変換手段と、
前記ガンマ処理手段と、
前記画像表示手段と、
校正用画像を生成する手段と、
を有する投写型表示装置を含み、
前記画像表示手段は、生成された校正用画像を前記被表示領域に投写表示し、前記視環境把握手段は、前記校正用画像の表示された被表示領域における視環境を把握することが好ましい。
【００３７】
これによれば、校正用画像を投写型表示装置の内部で生成するため、ＰＣ等の外部入力装置から校正用画像を投写型表示装置に入力することなく、投写型表示装置単体でキャリブレーション（校正）を行うことができる。
【００３８】
また、前記画像処理方法において、前記画像信号の補正に先立って、校正用画像を生成する工程と、
生成された校正用画像を前記被表示領域に表示する工程と、
前記校正用画像の表示された被表示領域における視環境を把握し、前記環境情報を生成する工程と、
を含むことが好ましい。
【００３９】
これによれば、校正用画像を用いて、視環境の把握を行うことにより、より適切に視環境を把握することができる。したがって、画像の見え方をより適切に再現することができる。
【００４０】
【発明の実施の形態】
以下、本発明を、液晶プロジェクタを用いた画像表示システムに適用した場合を例に採り、図面を参照しつつ説明する。
【００４１】
（システム全体の説明）
図１は、本実施の形態の一例に係る画像表示システムの概略説明図である。
【００４２】
スクリーン１０のほぼ正面に設けられた投写型表示装置の一種であるプロジェクタ２０から、所定のプレゼンテーション用の画像が投写される。プレゼンター３０は、スクリーン１０上の被表示領域である画像表示領域１２の画像の所望の位置をレーザーポインタ５０から投射したスポット光７０で指し示しながら、第三者に対するプレゼンテーションを行う。
【００４３】
このようなプレゼンテーションを行う場合、スクリーン１０の種別や、環境光８０によって画像表示領域１２の画像の見え方は大きく異なってしまう。例えば、同じ白を表示する場合であっても、スクリーン１０の種別によっては、黄色がかった白に見えたり、青色がかった白に見えたりする。また、同じ白を表示する場合であっても、環境光８０が異なれば、明るい白に見えたり、暗い白に見えたりする。
【００４４】
また、近年、プロジェクタ２０は小型化が進み、持ち運びも容易になっている。このため、例えば、客先においてプレゼンテーションを行う場合もあり得るが、客先の環境に合わせて色を事前に調整することは困難であり、客先で色を手動で調整するには時間がかかりすぎる。
【００４５】
従来のプロジェクタでは、プロジェクタ固有の入出力特性を示す入出力用プロファイルに基づき、色の変換を行っているだけであり、画像の投写表示される視環境は考慮されていない。なお、プロファイルとは、特性データという意味である。
【００４６】
しかし、上述したように、視環境を考慮しなければ、画像の色の見え方を統一することは困難である。色の見え方は、光、対象の光の反射または透過、視覚の３つの要因で決定する。
【００４７】
本実施の形態では、光および対象の光の反射または透過を反映した視環境を把握することにより、適切な画像の色を再現できる画像表示システムを実現している。
【００４８】
ところで、適切な画像の色を再現することを目的とする場合、ユーザーや、色を再現する地域によって適切な画像の色が異なる場合がある。
【００４９】
例えば、日本でプロジェクタ２０を使用する場合、ユーザーはＮＴＳＣ方式で画像の色を再現することを望むものと考えられるが、ヨーロッパでプロジェクタ２０を使用する場合、ユーザーはＰＡＬ方式で画像の色を再現することを望むものと考えられる。
【００５０】
このような場合、プロジェクタ２０が用いられる地域によらずに、ユーザーが望む画像の色を再現することが必要である。
【００５１】
本実施の形態では、ユーザーの画像表示方式等の選択に基づいて画像の色を調整できるようにプロジェクタ２０を構成している。
【００５２】
具体的には、図１に示すように、視環境を把握する視環境把握手段として機能する色光センサー６０を設け、色光センサー６０からの環境情報をプロジェクタ２０に入力する。色光センサー６０は、具体的には、スクリーン１０内の画像表示領域１２の環境情報（より具体的にはＲＧＢまたはＸＹＺの三刺激値）を計測する。
【００５３】
プロジェクタ２０には、色光センサー６０からの環境情報、ユーザーの画像表示方式等の選択情報等に基づき、変換用マトリクスを生成し、当該変換用マトリクスを用いて、画像表示に用いられる画像信号を変換する変換手段が設けられている。
【００５４】
環境情報に基づいて視環境を把握し、選択情報に基づいてユーザーの好みを把握することにより、ユーザーの好みに適合した、適切な画像の色を再現できる画像表示システムを実現している。
【００５５】
さらに、本実施の形態では、プレゼンテーション実行時の視環境下でプロジェクタ２０で表示可能な表示可能色域を演算するとともに、ユーザーによって選択された画像表示方式での目標色域を演算して求めている。そして、求めた表示可能色域と目標色域とを比較して目標色域にできるだけ近い色をプロジェクタ２０で表示できるように画像処理を行っている。
【００５６】
（色域の説明）
図２は、目標色域と表示可能色域を示す模式図であり、図２（Ａ）は、目標色域と表示可能色域とが一致する場合を示し、図２（Ｂ）は、目標色域より表示可能色域のほうが広い場合を示す模式図である。また、図３は、目標色域と表示可能色域を示す模式図であり、図３（Ａ）は、目標色域より表示可能色域のほうが狭い場合を示し、図３（Ｂ）は、目標色域が表示可能色域と重なる部分と重ならない部分とがある場合を示す模式図である。
【００５７】
図２（Ａ）〜図３（Ｂ）において、実線が目標色域を示し、破線が表示可能色域を示す。また、三角形状の各色域の各頂点から三角形の中心部に向かっている線の交点は白色点である。
【００５８】
画像特性と視環境という２つの変動要因があるため、目標色域と表示可能色域との関係は固定的なものではなく、図２（Ａ）〜図３（Ｂ）に示す４つのパターンに大別される変動的なものである。
【００５９】
この４つのパターンのうちどれに該当するかで画像信号の変換の手法が若干異なる。例えば、図２（Ａ）および図２（Ｂ）に示す場合のように、表示可能色域が目標色域の全部をカバーしている場合、通常の変換手法を用いた場合でも、目標とされる画像を適切に再現できる。
【００６０】
しかし、図３（Ａ）および図３（Ｂ）に示す場合のように、表示可能色域が目標色域の全部をカバーしていない場合、通常の変換手法では、目標とされる画像を適切に再現できない。
【００６１】
このような場合、表示可能色域外部の目標色域の色を目標色域内部の色と対応付ける色域マッピング（色域圧縮という場合もある。）を行う必要がある。
【００６２】
本実施の形態では、色域マッピングの手法として、色域を優先させる手法と、色相を優先させる手法のどちらか一方を用いる。
【００６３】
図４は、色域マッピング後の色域（マッピング色域）を示す模式図であり、図４（Ａ）は、色域優先時のマッピング色域を示し、図４（Ｂ）は、色相優先時のマッピング色域を示す模式図である。
【００６４】
図４（Ａ）および図４（Ｂ）において、破線が表示可能色域を示し、２点鎖線が目標色域を示す。また、図４（Ａ）および図４（Ｂ）は、図３（Ｂ）に示す目標色域と表示可能色域とが一部重なる場合での色域マッピングの例を示す。
【００６５】
例えば、図４（Ａ）に示すように、目標色域の頂点Ｄは、表示可能色域ＡＢＣの内部にあるが、目標色域の頂点Ｅおよび頂点Ｆは、表示可能色域ＡＢＣの外部にある。このため、頂点Ｅおよび頂点Ｆ近辺の色はこのままでは再現できないことになる。
【００６６】
そこで、再現できない色の表示要求があった場合にできるだけ近い色で再現するため、色域マッピングが行われる。
【００６７】
本実施の形態では、色域または色相を優先して色域マッピングを行う。
【００６８】
例えば、色域を優先する場合、図４（Ａ）に示すように、三角形ＤＥＦと三角形ＡＢＣの交点のうち、頂点Ｅにできるだけ近い点Ｈと、頂点Ｆにできるだけ近い点Ｉを求める。なお、頂点Ｄは、三角形ＡＢＣ内部にあるので、新たな色域の頂点Ｇとしてそのまま適用できる。
【００６９】
このようにして求められた三角形ＧＨＩが色域を優先した場合、すなわち、できるだけマッピング色域が広くなるように考慮した場合のマッピング色域となる。
【００７０】
また、例えば、色相を優先する場合、図４（Ｂ）に示すように、三角形ＤＥＦの頂点から白色点Ｙに向かう線分と、三角形ＡＢＣの各辺との交点Ｋ、Ｌを求める。なお、頂点Ｄは、三角形ＡＢＣ内部にあるので、新たな色域の頂点Ｊとしてそのまま適用できる。
【００７１】
このようにして求められた三角形ＪＫＬが色相を優先した場合、すなわち、できるだけ正確に色相を再現できるように考慮した場合のマッピング色域となる。色には、明度、彩度、色相という三属性がある。このうち、人間の目は、色相を最も敏感に感じる。したがって、色相を優先してマッピング色域を求めることにより、より目標色域に近い色をプロジェクタ２０を用いて再現することができる。
【００７２】
また、図２（Ａ）および図２（Ｂ）に示す場合のマッピング色域は、目標色域をそのまま適用できる。
【００７３】
本実施の形態では、以上のようにして決定されたマッピング色域を再現できるように画像信号を変換するための変換用マトリクスを生成し、生成した変換用マトリクスを用いて画像信号を変換する。
【００７４】
また、本実施の形態では、画像の色を再現するために色変換された画像信号（ここではＲＧＢ信号）をガンマ処理する際に複数種の画像信号の種別間の出力比を考慮してガンマ処理を行う。次に、画像信号の種別間の出力比を考慮する必要性とその効果について説明する。
【００７５】
（ＲＧＢの各信号の出力比に関する説明）
図５は、色変換後の画像信号の変化を示す模式図である。また、図６は、色変換後の画像信号の種別間の出力比（Ｒ信号の出力を１とした場合のＲ信号の出力と、Ｇ信号の出力と、Ｂ信号の出力との比）を示す模式図である。
【００７６】
図５に示す入力信号および出力信号は８ビットを用いて出力値を表現したものであり、各信号は１０進表現した場合には０〜２５５の値をとることになる。図６以降も同様である。
【００７７】
図５および図６に示すように、画像信号の種別間の出力比は一定となっている。
【００７８】
しかし、目標とする画像の色を再現するために色変換された画像信号を単純にガンマ処理してしまうと各画像信号の種別間の出力比が、色変換時のものと異なってしまい、画像の色を正確に再現できない。
【００７９】
図７は、従来のガンマ処理およびホワイトバランス調整後の画像信号の変化を示す模式図である。また、図８は、従来のガンマ処理およびホワイトバランス調整後の画像信号の種別間の出力比（Ｒ信号の出力を１とした場合のＲ信号の出力と、Ｇ信号の出力と、Ｂ信号の出力との比）を示す模式図である。
【００８０】
例えば、ＲＧＢ信号のうちのＲ信号、Ｇ信号およびＢ信号を処理する場合、求める値をＲ’、Ｇ’、Ｂ’、前記変換された画像信号の出力値をＲ０、Ｇ０、Ｂ０、画像信号の最大出力値をＭＸ、累乗の記号を＊＊、ガンマ値をγとすると、従来の処理方式は以下の式で表せる。
【００８１】
Ｒ’＝ＭＸ＊(Ｒ０／ＭＸ)＊＊γ
Ｇ’＝ＭＸ＊(Ｇ０／ＭＸ)＊＊γ
Ｂ’＝ＭＸ＊(Ｂ０／ＭＸ)＊＊γ
【００８２】
すなわち、従来のガンマ処理では画像信号の種別間の出力比が考慮されていないため、図６と図８を比較すれば分かるように、色変換後ガンマ処理前の出力比とガンマ処理後の出力比とが異なったものとなってしまう。このため、再現される画像の色も意図したものとは異なってしまう。
【００８３】
本実施の形態では、画像信号の種別間の出力比を考慮してガンマ処理を行っている。
【００８４】
具体的には、上記のＲ信号、Ｇ信号およびＢ信号を処理する場合に、色変換された複数種の画像信号のうちの最大出力値であるＭＡＸ（Ｒ０、Ｇ０、Ｂ０）をＭＸＲＧＢ、画像信号の最大出力値をＭＸ、積の記号を＊とすると、本実施形態の処理方式は以下の式で表せる。
【００８５】
Ｒ’＝Ｒ０／ＭＸＲＧＢ＊ＭＸ＊（ＭＸＲＧＢ／ＭＸ）＊＊γ
Ｇ’＝Ｇ０／ＭＸＲＧＢ＊ＭＸ＊（ＭＸＲＧＢ／ＭＸ）＊＊γ
Ｂ’＝Ｂ０／ＭＸＲＧＢ＊ＭＸ＊（ＭＸＲＧＢ／ＭＸ）＊＊γ
【００８６】
本方式によれば、通常は前記変換された画像信号の出力値をガンマ回掛け合わせた値を求める処理を行っているガンマ処理を上記のように処理することにより、各画像信号の出力値の比率を適切な値に保つことができる。
【００８７】
図９は、本実施形態でのガンマ処理後の画像信号の変化を示す模式図である。
【００８８】
図５と図９を比較すれば分かるように、本実施形態のガンマ処理を行った場合、各画像信号の間隔は色変換時の画像信号の間隔とほぼ等しいものとなる。したがって、ガンマ処理後の画像信号の種別間の出力比は、図６に示す色変換時のものとほぼ同様になる。
【００８９】
したがって、ガンマ処理後も色変換時の画像信号の種別間の出力比を保つことができ、目標とする画像の色を正確に再現することができる。
【００９０】
（機能ブロックの説明）
次に、上述したマトリクス生成手段や上述したガンマ処理を行う手段等を含むプロジェクタ２０の画像処理部の機能ブロックについて説明する。
【００９１】
図１０は、本実施形態の一例に係るプロジェクタ２０内の画像処理部１００の機能ブロック図である。
【００９２】
プロジェクタ２０では、ＰＣ等から送られるアナログ形式のＲＧＢ信号を構成するＲ１信号、Ｇ１信号、Ｂ１信号をＡ／Ｄ変換部１１０に入力し、デジタル形式のＲ２信号、Ｇ２信号、Ｂ２信号を、ＣＰＵ２００によって制御されるプロジェクタ画像処理部１００で色変換およびガンマ処理を行っている。
【００９３】
そして、色変換されたＲ３信号、Ｇ３信号、Ｂ３信号をガンマ処理してＲ４信号、Ｇ４信号、Ｂ４信号となった各信号をＤ／Ａ変換部１８０に入力し、アナログ変換されたＲ５信号、Ｇ５信号、Ｂ５信号を、画像表示手段の一部であるＬ／Ｖ（ライトバルブ）駆動部１９０に入力し、液晶ライトバルブを駆動して画像の投写表示を行っている。
【００９４】
プロジェクタ画像処理部１００は、プロジェクタ色変換部１２０と、ガンマ処理部１７０と、色域演算部１６０と、キャリブレーション信号発生部１５０とを含んで構成されている。
【００９５】
キャリブレーション信号発生部１５０は、キャリブレーション（校正用）画像信号を生成する。このキャリブレーション画像信号は、Ａ／Ｄ変換部１１０から出力される信号と同様に、デジタル形式のＲ２信号、Ｇ２信号、Ｂ２信号としてプロジェクタ色変換部１２０に入力される。
【００９６】
このように、キャリブレーション画像信号をプロジェクタ２０の内部で生成するため、ＰＣ等の外部入力装置からキャリブレーション画像信号をプロジェクタ２０に入力することなく、プロジェクタ２０単体でキャリブレーションを行うことができる。
【００９７】
プロジェクタ色変換部１２０は、キャリブレーション信号発生部１５０からのＲＧＢの各デジタル信号（Ｒ２信号、Ｇ２信号、Ｂ２信号）を、プロジェクタプロファイル記憶部１６４が管理しているプロジェクタプロファイルを参照し、プロジェクタ出力に適したＲＧＢデジタル信号（Ｒ３信号、Ｇ３信号、Ｂ３信号）に変換する。
【００９８】
また、プロジェクタ色変換部１２０は、画像信号である各デジタル信号（Ｒ２信号、Ｇ２信号、Ｂ２信号）を変換するための変換用マトリクスを生成するマトリクス生成部１２２と、生成された変換用マトリクスを用いて画像信号を変換するマトリクス変換部１２４とを含んで構成されている。
【００９９】
マトリクス生成部１２２は、より具体的には、色域演算部１６０で演算されたマッピング色域を再現できるように変換用マトリクスを生成する。
【０１００】
次に、色域演算部１６０について説明する。
【０１０１】
また、色域演算部１６０は、目標プロファイル記憶部１６２と、プロジェクタプロファイル記憶部１６４とを含んで構成されている。より具体的には、色域演算部１６０は、ユーザーによって選択された目標プロファイル、色光センサー６０からの環境情報、プロジェクタプロファイルに基づき、ユーザーが選択した好みの色であって、かつ、視環境に適合した画像の色の見え方になるように、図２〜図４を用いて説明したマッピング色域を演算する。
【０１０２】
なお、ここで、目標プロファイルとは、目標とすべき色の入出力特性データの一種である。目標プロファイルとして、ユーザーが選択可能な複数種の画像特性に対応して複数種のプロファイルが設けられる。また、プロジェクタプロファイルとは、プロジェクタ２０の機種に対応した入出力特性データの一種である。
【０１０３】
また、ガンマ処理部１７０は、プロジェクタ色変換部１２０によって色変換された各画像信号（Ｒ３信号、Ｇ３信号、Ｂ３信号）に対して上述した出力比を考慮したガンマ処理を行う。
【０１０４】
（画像処理の流れの説明）
次に、これら各部を用いた画像処理の流れについてフローチャートを用いて説明する。
【０１０５】
図１１は、本実施形態の一例に係る画像処理の手順を示すフローチャートである。
【０１０６】
まず、プレゼンテーションが行われる前に、プロジェクタ２０のユーザーは、プロジェクタ２０の操作ボタンに割り当てられた複数種の画像特性から１つの画像特性を選択する。具体的には、例えば、プロジェクタ２０の外面にＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等の画像特性の選択用ボタンを設け、ユーザーに選択用ボタンを押させ、１つの画像特性を選択させる。
【０１０７】
この選択情報は、プロジェクタ画像処理部１００に送信される。プロジェクタ画像処理部１００は、当該選択情報に基づき、目標プロファイル記憶部１６２の複数の目標プロファイルから選択された目標プロファイルのフラグをＯＮにする。
【０１０８】
このようにして、プロジェクタ画像処理部１００は、ユーザーの選択に応じて目標プロファイルを選択する（ステップＳ２）。
【０１０９】
ユーザーの選択に応じて目標プロファイルが選択された後、プロジェクタ２０は、キャリブレーション信号発生部１５０からキャリブレーション信号（Ｒ２、Ｇ２、Ｂ２）を発生させる。
【０１１０】
キャリブレーション信号発生部１５０は、当該キャリブレーション信号をプロジェクタ色変換部１２０に出力する。
【０１１１】
プロジェクタ色変換部１２０は、デフォルト（初期状態）の変換用マトリクスを用いて、キャリブレーション信号を変換してＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）として出力する。
【０１１２】
そして、ガンマ処理部１７０は、各ＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）に対してガンマ処理を行ってＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）として出力する。
【０１１３】
そして、Ｄ／Ａ変換部１８０は、当該デジタル形式のＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）をアナログ形式のＲＧＢ信号（Ｒ５、Ｇ５、Ｂ５）に変換する。そして、Ｌ／Ｖ駆動部１９０は、アナログＲＧＢ信号（Ｒ５、Ｇ５、Ｂ５）に基づき、液晶ライトバルブを駆動する。そして、プロジェクタ２０は、キャリブレーション画像を画像表示領域１２に投写表示する（ステップＳ４）。
【０１１４】
画像表示領域１２にキャリブレーション画像が表示された状態で、色光センサー６０は、視環境を把握するために三刺激値の検出を行う（ステップＳ６）。
【０１１５】
このように、キャリブレーション画像を用いて、視環境の把握を行うことにより、より適切に視環境を把握することができる。したがって、画像の見え方をより適切に再現することができる。
【０１１６】
そして、プロジェクタ色変換部１２０は、把握された視環境に基づき、変換用マトリクスを生成し、当該変換用マトリクスを用いて画像信号を変換する（ステップＳ８）。
【０１１７】
ここで、このマトリクス生成変換処理（ステップＳ８）についてより具体的に説明する。
【０１１８】
図１２は、本実施形態の一例に係るマトリクス生成変換処理の手順を示すフローチャートである。
【０１１９】
色域演算部１６０は、目標プロファイル記憶部１６２から選択された目標プロファイルに基づき、目標色域を演算して求める。また、色域演算部１６０は、プロジェクタプロファイル記憶部１６４に記憶されたプロジェクタプロファイルおよび色光センサー６０で検出された三刺激値に基づき、プロジェクタ２０の表示可能色域を演算して求める（ステップＳ１２）。
【０１２０】
そして、色域演算部１６０は、表示可能色域を目標色域と比較する。
【０１２１】
まず、表示可能色域が目標色域と一致する場合、すなわち、図２（Ｂ）に示す場合（ステップＳ１４）、マトリクス生成部１２２は、図２（Ｂ）の実線の三角形のマッピング色域を再現できるように、変換用マトリクスを生成する（ステップＳ１６）。
【０１２２】
また、表示可能色域が目標色域より広い場合、すなわち、図２（Ａ）に示す場合（ステップＳ１８）、マトリクス生成部１２２は、図２（Ａ）の実線の三角形のマッピング色域を再現できるように、変換用マトリクスを生成する（ステップＳ２０）。
【０１２３】
また、表示可能色域が目標色域より狭い場合、すなわち、図３（Ａ）に示す場合（ステップＳ２２）、マトリクス生成部１２２は、図４（Ａ）または図４（Ｂ）に示す色域や色相の再現を優先したマッピング色域を再現できるように、変換用マトリクスを生成する（ステップＳ２４）。
【０１２４】
また、上記の３パターン（ステップＳ１４、Ｓ１８、Ｓ２２）以外の場合は、表示可能色域が目標色域と重なる部分と重ならない部分がある場合、すなわち、図３（Ｂ）に示す場合である。この場合、マトリクス生成部１２２は、図４（Ａ）または図４（Ｂ）に示す色域や色相の再現を優先したマッピング色域を再現できるように、変換用マトリクスを生成する（ステップＳ２６）。
【０１２５】
なお、マトリクス生成（ステップＳ１６、Ｓ２０、Ｓ２４、Ｓ２６）で生成される変換用マトリクスはすべて異なるものである。
【０１２６】
そして、マトリクス変換部１２４は、マトリクス生成部１２２によって生成された変換用マトリクスを用いて色変換（画像信号の変換）を行う（ステップＳ２８）。より具体的には、マトリクス変換部１２４は、３行３列の変換用マトリクスを用いてデジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）を変換し、デジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）として出力する。
【０１２７】
これを数式で表すと、（Ｒ３、Ｇ３、Ｂ３）＝Ｍ（Ｒ２、Ｇ２、Ｂ２）となる。ここで、Ｍは、変換用マトリクスである。
【０１２８】
プロジェクタ２０は、色変換されたデジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）をガンマ処理部１７０を用いてガンマ処理してデジタルＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）として出力する（ステップＳ９）。なお、ガンマ処理部１７０は、上述した出力比を考慮した演算式を用いてガンマ処理を行う。
【０１２９】
これにより、デジタルＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）の出力比は、デジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）の出力比と変わらないものとなる。これにより、目標とする画像の色を正確に再現することができる。
【０１３０】
そして、ガンマ処理後のデジタルＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）を、Ｄ／Ａ変換部１８０を用いてＤ／Ａ変換し、変換されたアナログＲＧＢ信号（Ｒ５、Ｇ５、Ｂ５）を用いて実際のプレゼンテーション画像を表示する（ステップＳ１０）。
【０１３１】
以上のように、本実施の形態によれば、ＲＧＢの各画像信号の出力値の種別間の比に基づき、変換後のＲＧＢの各画像信号をガンマ処理することにより、各画像信号の出力値の比率を適切な値に保つことができる。これにより、目標とする画像を再現するために、色変換後にガンマ処理を行う場合に、より適切な画像を再現できる。
【０１３２】
また、本実施の形態によれば、ユーザーが選択した画像特性とに適合した画像を表示できるように、変換用マトリクスを用いて画像信号を変換する。
【０１３３】
これにより、ユーザーの好みに適合した画像を表示できる画像表示システムを実現することができる。
【０１３４】
また、本実施の形態では、色光センサー６０を用いて視環境を把握することにより、視環境を考慮して画像を投写表示している。
【０１３５】
これにより、画像表示時の視環境に適応して画像を表示することができ、表示環境の差を吸収して適用される環境によらずに同一の画像を表示することができる。したがって、複数の異なる場所において、ほぼ同一の色を短時間で再現することができる。
【０１３６】
さらに、本実施の形態では、ＬＵＴではなく、変換用マトリクスを用いて画像信号を変換することにより、より高速に画像信号を変換することができ、かつ、記憶領域の占有量も少なくて済む。
【０１３７】
また、本実施の形態では、変換用マトリクスを生成する際に、表示可能色域と目標色域との関係によって４パターンに場合分けして、それぞれの場合に応じた変換用マトリクスを生成している。
【０１３８】
プロジェクタ２０が適用される環境や、ユーザーによる画像特性の選択によって表示可能色域と目標色域との関係は異なる。このため、表示可能色域と目標色域との関係に応じた適切な変換用マトリクスを生成する必要がある。
【０１３９】
本実施の形態では、想定される４パターンに応じた変換用マトリクスを生成することにより、適切な変換用マトリクスを生成することができる。
【０１４０】
なお、図２（Ａ）および図２（Ｂ）に示すパターンの場合、目標色域をほぼそのままマッピング色域として適用できるため、図３（Ａ）および図３（Ｂ）に示す色域マッピングが必要な場合と比べ、高速に変換用マトリクスを生成することができる。
【０１４１】
また、図３（Ａ）および図３（Ｂ）に示す色域マッピングが必要な場合、色相の再現性または色域の再現性を重視した変換用マトリクスを用いることにより、明度や彩度の再現性を重視した変換用マトリクスを用いる場合と比べ、より適切に画像を再現できる。
【０１４２】
（ハードウェアの説明）
なお、上述した各部に用いるハードウェアとしては、例えば、以下のものを適用できる。
【０１４３】
例えば、Ａ／Ｄ変換部１１０としては、例えばＡ／Ｄコンバーター等、Ｄ／Ａ変換部１８０としては、例えばＤ／Ａコンバーター等、Ｌ／Ｖ駆動部１９０としては、例えば液晶ライトバルブ駆動ドライバ等、プロジェクタ色変換部１２０およびガンマ処理部１７０としては、例えば画像処理回路やＡＳＩＣ等、色域演算部１６０としては、例えばＣＰＵやＲＡＭ等を用いて実現できる。なお、これら各部は回路のようにハードウェア的に実現してもよいし、ドライバのようにソフトウェア的に実現してもよい。
【０１４４】
また、図１０に示すように、これら各部の機能を情報記憶媒体３００からプログラムを読み取って実現してもよい。情報記憶媒体３００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、その情報の読み取り方式は接触方式であっても、非接触方式であってもよい。
【０１４５】
また、情報記憶媒体３００に代えて、上述した各機能を実現するためのプログラムを、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。すなわち、上述した各機能を実現するための情報は、搬送波に具現化されるものであってもよい。
【０１４６】
さらに、色光センサー６０については以下のハードウェアを適用できる。
【０１４７】
例えば、各刺激値を選択的に透過するカラーフィルターおよびフォトダイオード、フォトダイオードからのアナログ信号をデジタル信号に変換するＡ／Ｄコンバーターおよび当該デジタル信号を増幅するＯＰアンプ等を適用できる。
【０１４８】
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【０１４９】
（変形例）
例えば、上述した目標プロファイルとしては、ＮＴＳＣ等の画像表示方式以外にも、例えば、ＲＧＢ、ｓＲＧＢ等の画像種別等の画像特性を適用してもよい。
【０１５０】
また、上述した実施例では画像信号としてＲＧＢ信号を用いたが、ＣＭＹＫ信号等を処理する場合にも本発明を適用できる。
【０１５１】
さらに、上述した実施例では、色光センサー６０からの環境情報とユーザーの選択による画像特性の両方を考慮した画像を再現する場合を例に採り説明したが、環境情報のみを考慮した画像を再現する場合や、画像特性のみを考慮した画像を再現する場合にも本発明は有効である。
【０１５２】
また、視環境把握手段としては、色光センサー６０以外にも、例えば、ＣＣＤカメラ、ＣＭＯＳカメラ等の撮像手段を適用することも可能である。
【０１５３】
なお、上述したスクリーン１０は、反射型のものであったが、透過型のものであってもよい。
【０１５４】
さらに、上述した変換用マトリクスは単独のマトリクスであったが、複数のマトリクスを組み合わせて色変換を行ってもよい。例えば、出力装置に応じた逆変換マトリクスと、環境情報を反映した環境補正マトリクスとを組み合わせて色変換を行ってもよい。
【０１５５】
また、変換用マトリクスを用いて色変換を行う場合だけでなく、３Ｄ−ＬＵＴ等を用いて色変換を行う場合にも、本発明のガンマ処理方式は有効である。
【０１５６】
また、上述したプロジェクタのような投写型画像表示装置以外の表示手段で画像表示を行ってプレゼンテーション等を行う場合にも本発明を適用できる。このような表示手段としては、例えば、液晶プロジェクタのほか、ＤＭＤ（ＤｉｇｉｔａｌＭｉｃｒｏｍｉｒｒｏｒＤｅｖｉｃｅ）を用いたプロジェクタや、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、ＰＤＰ（ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌ）、ＦＥＤ（ＦｉｅｌｄＥｍｉｓｓｉｏｎＤｉｓｐｌａｙ）、ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）、直視型液晶表示装置等のディスプレイ装置等が該当する。なお、ＤＭＤは、米国テキサスインスツルメンツ社の商標である。また、プロジェクタは前面投写型のものだけでなく、背面投写型のものであってもよい。
【０１５７】
また、プレゼンテーション以外にも、ミーティング、医療、デザイン・ファッション分野、営業活動、コマーシャル、教育、さらには映画、ＴＶ、ビデオ、ゲーム等の一般映像等における画像表示を行う場合にも本発明は有効である。
【０１５８】
なお、上述したプロジェクタ２０のプロジェクタ画像処理部１００の機能は、単体の画像表示装置（例えば、プロジェクタ２０）で実現してもよいし、複数の処理装置で分散して（例えば、プロジェクタ２０とＰＣとで分散処理）実現してもよい。
【図面の簡単な説明】
【図１】本実施形態の一例に係る画像表示システムの概略説明図である。
【図２】目標色域と表示可能色域を示す模式図であり、図２（Ａ）は、目標色域と表示可能色域とが一致する場合を示し、図２（Ｂ）は、目標色域より表示可能色域のほうが広い場合を示す模式図である。
【図３】図３は、目標色域と表示可能色域を示す模式図であり、図３（Ａ）は、目標色域より表示可能色域のほうが狭い場合を示し、図３（Ｂ）は、目標色域が表示可能色域と重なる部分と重ならない部分とがある場合を示す模式図である。
【図４】色域マッピング後の色域を示す模式図であり、図４（Ａ）は、色域優先時の色域を示し、図４（Ｂ）は、色相優先時の色域を示す模式図である。
【図５】色変換後の画像信号の変化を示す模式図である。
【図６】色変換後の画像信号の種別間の出力比を示す模式図である。
【図７】従来のガンマ処理後の画像信号の変化を示す模式図である。
【図８】従来のガンマ処理後の画像信号の種別間の出力比を示す模式図である。
【図９】本実施形態でのガンマ処理後の画像信号の変化を示す模式図である。
【図１０】本実施形態の一例に係るプロジェクタ内の画像処理部の機能ブロック図である。
【図１１】本実施形態の一例に係る画像処理の手順を示すフローチャートである。
【図１２】本実施形態の一例に係るマトリクス生成変換処理の手順を示すフローチャートである。
【符号の説明】
２０プロジェクタ
５０レーザーポインタ
６０色光センサー
８０環境光
１２０プロジェクタ色変換部
１２２マトリクス生成部
１２４マトリクス変換部
１５０キャリブレーション信号発生部
１６０色域演算部
１６２目標プロファイル記憶部
１６４プロジェクタプロファイル記憶部
１７０ガンマ処理部
３００情報記憶媒体[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image display system, an image processing method, a program, and an information storage medium that perform gamma processing after color conversion to reproduce a target image.
[0002]
[Background Art and Problems to be Solved by the Invention]
In order to unify the appearance of images, color conversion systems such as CMS (Color Management System) have been proposed.
[0003]
However, the actual appearance of the desired image may vary depending on the individual or the region.
[0004]
For example, the standard image display method in Japan is NTSC, but the standard image display method in Europe is PAL.
[0005]
Therefore, for example, when an image generated on the premise of NTSC in Japan is displayed for Europeans in Europe, a situation different from the appearance of an image that Europeans consider desirable may occur.
[0006]
For this reason, it is necessary not only to input an image signal (RGB signal, CMYK signal, etc.) but also to input the image signal after three-dimensional conversion in accordance with the image characteristics such as the display method selected by the user. .
[0007]
Further, since the appearance of the image is affected by ambient light or the like, it is necessary to grasp the visual environment and to convert the image signal three-dimensionally in consideration of the visual environment.
[0008]
Thus, when performing color conversion suitable for an image display method and a visual environment, it is necessary to use a plurality of types of original image signals. This is because color gamut compression or the like is performed when performing color conversion.
[0009]
Specifically, for example, in the case of an RGB signal, when red is reproduced without performing color conversion, it can be reproduced only by the R signal. However, when red is reproduced by performing color conversion, not only the R signal but also the G signal is reproduced. If neither the B signal nor the B signal is used, red cannot be appropriately reproduced.
[0010]
In conventional image processing, it is considered that a plurality of types of original image signals are used when performing gamma processing for reproducing the brightness of an image after color conversion for reproducing the color of the image. Absent.
[0011]
For this reason, at the time of color conversion, the ratio of each image signal, for example, in the case of an RGB signal, the ratio of the output value of the R signal: the output value of the G signal: the output value of the B signal is an appropriate value. In some cases, the ratio of each signal may be changed.
[0012]
In such a case, the ratio is different from the originally intended ratio, and the target image cannot be reproduced appropriately.
[0013]
The present invention has been made in view of the above problems, and an object thereof is to provide an image display system capable of reproducing a more appropriate image when performing gamma processing after color conversion in order to reproduce a target image. An object is to provide an image processing method, a program, and an information storage medium.
[0014]
[Means for Solving the Problems]
In order to solve the above problems, an image display system according to the present invention is based on at least one of environmental information by a visual environment grasping means for grasping a visual environment in a display area of an image and image characteristics selected by a user. In an image display system for displaying an image by converting a plurality of types of image signals used for displaying an image so that an image suitable for at least one of the environment and the image characteristics is displayed.
In order to reproduce the color of the adapted image, color conversion means for converting the plurality of types of image signals;
Gamma processing means for performing gamma processing on the plurality of types of converted image signals in order to reproduce the brightness of the adapted image;
Image display means for displaying an image based on a plurality of types of image signals subjected to gamma processing;
Including
The gamma processing means performs gamma processing on the converted plural types of image signals based on a ratio between the types of output values of the plural types of image signals.
[0015]
Further, the image processing method according to the present invention is based on at least one of the environment information by the visual environment grasping means for grasping the visual environment in the display area of the image and the image characteristic selected by the user. In an image processing method for converting a plurality of types of image signals used for displaying an image so that an image suitable for at least one of the above is displayed,
A color conversion step of converting the plurality of types of image signals to reproduce the color of the adapted image;
A gamma processing step for gamma processing the plurality of types of converted image signals in order to reproduce brightness of the adapted image;
Including
In the gamma processing step, the converted plural kinds of image signals are gamma-processed based on a ratio between kinds of output values of the plural kinds of image signals.
[0016]
Further, the program according to the present invention is based on at least one of the environmental information by the visual environment grasping means for grasping the visual environment in the display area of the image and the image characteristic selected by the user. A program for displaying an image by converting a plurality of types of image signals used to display an image so that an image suitable for one is displayed, and a program usable by a computer, ,
In order to reproduce the color of the adapted image, color conversion means for converting the plurality of types of image signals;
Gamma processing means for performing gamma processing on the plurality of types of converted image signals in order to reproduce the brightness of the adapted image;
Image display means for displaying an image based on a plurality of types of image signals subjected to gamma processing;
Is realized on a computer,
The gamma processing means performs gamma processing on the converted plural types of image signals based on a ratio between the types of output values of the plural types of image signals.
[0017]
The information storage medium according to the present invention is an information storage medium that can be used by a computer, and includes a program for causing the computer to realize the above means.
[0018]
According to the present invention, the ratio of the output values of each image signal is set to an appropriate value by performing gamma processing on the plurality of types of converted image signals based on the ratio between the output values of the plurality of types of image signals. Can keep.
[0019]
Therefore, when performing gamma processing after color conversion to reproduce a target image, a more appropriate image can be reproduced.
[0020]
Note that examples of the plurality of types of image signals include RGB signals, CMYK signals, and the like. Further, the image characteristics include, for example, those based on an image display method, those based on an image type, and the like. Here, as the image display method, for example, NTSC, PAL, SECAM, and the like are applicable. In addition, for example, RGB, sRGB, and the like correspond to the image type. Further, as the color conversion means, for example, means for performing color conversion using a conversion matrix, means for performing color conversion using a lookup table (hereinafter referred to as “LUT”), and the like can be applied.
[0021]
In the image display system, the program, and the information storage medium, the gamma processing unit may convert the output value of the converted image signal to a plurality of types of converted image signals as gamma processing for each image signal. The value obtained by dividing the maximum output value of the image signal, the maximum output value of the image signal, and the value obtained by dividing the maximum value of the plurality of converted image signals by the maximum output value of the image signal are multiplied by gamma times. It is preferable to perform a process of obtaining a product of the value.
[0022]
In the image processing method, in the gamma processing step, as the gamma processing for each image signal, the output value of the converted image signal is divided by the maximum output value of the plurality of types of converted image signals. Processing for obtaining a product of a value, a maximum output value of the image signal, and a value obtained by multiplying a value obtained by dividing the maximum value of the plurality of types of converted image signals by the maximum output value of the image signal by gamma times It is preferable to carry out.
[0023]
According to this, the ratio of the output value of each image signal is obtained by processing the gamma processing, which normally performs processing for obtaining a value obtained by multiplying the output value of the converted image signal by gamma times as described above. Can be kept at an appropriate value.
[0024]
For example, when processing R signal, G signal, and B signal of RGB signals, R ′, G ′, B ′ are obtained values, and R0, G0, B0 are output values of the converted image signal. MAX (R0, G0, B0), which is the maximum output value among multiple types of image signals, is MXRGB, the maximum output value of the image signal is MX, the product symbol is *, the power symbol is **, and the gamma value is γ Then, it can be expressed by the following formula.
[0025]
R ′ = R0 / MXRGB * MX * (MXRGB / MX) ** γ
G ′ = G0 / MXRGB * MX * (MXRGB / MX) ** γ
B ′ = B0 / MXRGB * MX * (MXRGB / MX) ** γ
In the conventional method, the above formulas are R ′ = MX * (R0 / MX) ** γ, G ′ = MX * (G0 / MX) ** γ, and B ′ = MX * (B0 / MX, respectively). ) ** γ.
[0026]
In the image display system, the program, and the information storage medium, the color conversion unit includes:
Matrix generating means for generating a conversion matrix so that the adapted image is displayed;
Matrix conversion means for converting the plurality of types of image signals based on the generated conversion matrix;
It is preferable to contain.
[0027]
In the image processing method, the color conversion step includes
A matrix generating step for generating a conversion matrix so that the adapted image is displayed;
A matrix conversion step of converting the plurality of types of image signals based on the generated conversion matrix;
It is preferable to contain.
[0028]
According to this, when color conversion is performed, the image signal is converted using the conversion matrix, so that the conversion can be performed faster than the case where the conversion is performed using the LUT, and the storage area based on the conversion information is used. Can be reduced.
[0029]
In the image display system, the program, and the information storage medium, a color gamut based on the image characteristics is displayed when an image suitable for the viewing environment and the image characteristics is displayed based on the environment information and the image characteristics. A color gamut computing means for computing a displayable color gamut that is a color gamut that can be displayed by the image display means in the visual environment based on the environment information,
The matrix generating means, when the displayable color gamut is wider than the target color gamut, when narrower than the target color gamut, when coincident with the target color gamut, and a portion that does not overlap with the target color gamut; In each case, it is preferable to generate a different conversion matrix.
[0030]
In the image processing method, the matrix generation step is a color gamut based on the image characteristics when displaying an image suitable for the visual environment and the image characteristics based on the environment information and the image characteristics. Calculating a target color gamut, and calculating a displayable color gamut that is a color gamut that can be displayed by the image display means in the visual environment based on the environment information,
In the matrix generation step, when the displayable color gamut is wider than the target color gamut, narrower than the target color gamut, or coincident with the target color gamut, a portion that does not overlap with the target color gamut, In each case, it is preferable to generate a different conversion matrix.
[0031]
Depending on the viewing environment and image characteristics, the relationship between the color gamut based on the image characteristics and the color gamut that can be displayed by the image display means is different. For this reason, an image cannot be appropriately reproduced by a method of converting an image signal using only a single conversion matrix.
[0032]
According to the present invention, an image can be reproduced more appropriately by dividing the above four cases and generating a conversion matrix corresponding to each case.
[0033]
Further, in the image display system, the program, and the information storage medium, the matrix generation unit may include a portion where the displayable color gamut is narrower than the target color gamut and a portion that does not overlap the portion overlapping the target color gamut. In some cases, it is preferable to generate a conversion matrix that emphasizes hue reproducibility or color gamut reproducibility.
[0034]
In the image processing method, in the matrix generation step, when the displayable color gamut is narrower than the target color gamut and when there is a part that does not overlap with the part that overlaps the target color gamut, It is preferable to generate a conversion matrix that emphasizes color gamut reproducibility.
[0035]
According to this, an image can be reproduced more appropriately by generating a conversion matrix that emphasizes the reproducibility of the hue and the color gamut.
[0036]
In addition, the image display system includes the color gamut calculation unit,
The matrix generating means;
The matrix conversion means;
The gamma processing means;
The image display means;
Means for generating a calibration image;
A projection display device having
Preferably, the image display means projects and displays the generated calibration image on the display area, and the visual environment grasping means grasps the visual environment in the display area where the calibration image is displayed.
[0037]
According to this, since the calibration image is generated inside the projection display device, the projection display device itself can be calibrated without inputting the calibration image to the projection display device from an external input device such as a PC ( Calibration).
[0038]
In the image processing method, prior to correcting the image signal, generating a calibration image;
Displaying the generated calibration image in the display area;
Grasping the visual environment in the display area where the calibration image is displayed, and generating the environmental information;
It is preferable to contain.
[0039]
According to this, it is possible to grasp the visual environment more appropriately by grasping the visual environment using the calibration image. Therefore, the appearance of the image can be reproduced more appropriately.
[0040]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a case where the present invention is applied to an image display system using a liquid crystal projector will be described as an example with reference to the drawings.
[0041]
(Description of the entire system)
FIG. 1 is a schematic explanatory diagram of an image display system according to an example of the present embodiment.
[0042]
A predetermined presentation image is projected from a projector 20 which is a kind of projection display device provided almost in front of the screen 10. The presenter 30 makes a presentation to a third party while pointing a desired position of the image in the image display area 12 that is a display area on the screen 10 with the spot light 70 projected from the laser pointer 50.
[0043]
When such a presentation is performed, the appearance of the image in the image display area 12 varies greatly depending on the type of the screen 10 and the ambient light 80. For example, even if the same white is displayed, it may appear yellowish white or blueish white depending on the type of the screen 10. Even when the same white is displayed, if the ambient light 80 is different, it may appear bright white or dark white.
[0044]
In recent years, the projector 20 has been reduced in size and is easily carried. For this reason, for example, there may be a presentation at the customer, but it is difficult to adjust the color in advance according to the customer's environment, and it takes time to manually adjust the color at the customer. Too much.
[0045]
In a conventional projector, only color conversion is performed based on an input / output profile indicating input / output characteristics unique to the projector, and a viewing environment in which an image is projected and displayed is not taken into consideration. A profile means characteristic data.
[0046]
However, as described above, it is difficult to unify the appearance of the colors of an image without considering the visual environment. The color appearance is determined by three factors: light, reflection or transmission of light of the object, and vision.
[0047]
In the present embodiment, an image display system capable of reproducing an appropriate color of an image is realized by grasping a visual environment that reflects reflection or transmission of light and target light.
[0048]
By the way, when aiming at reproducing the color of an appropriate image, the color of the appropriate image may differ depending on the user or the area where the color is reproduced.
[0049]
For example, when using the projector 20 in Japan, it is considered that the user wants to reproduce the image color by the NTSC method. However, when using the projector 20 in Europe, the user reproduces the image color by the PAL method. It is thought that it wants to do.
[0050]
In such a case, it is necessary to reproduce the color of the image desired by the user regardless of the area where the projector 20 is used.
[0051]
In the present embodiment, the projector 20 is configured so that the color of an image can be adjusted based on the user's selection of an image display method or the like.
[0052]
Specifically, as shown in FIG. 1, a color light sensor 60 that functions as visual environment grasping means for grasping the visual environment is provided, and environment information from the color light sensor 60 is input to the projector 20. Specifically, the color light sensor 60 measures environmental information (more specifically, tristimulus values of RGB or XYZ) of the image display area 12 in the screen 10.
[0053]
The projector 20 generates a conversion matrix based on environment information from the color light sensor 60, selection information such as a user's image display method, and converts an image signal used for image display using the conversion matrix. Conversion means is provided.
[0054]
By grasping the visual environment based on the environment information and grasping the user's preference based on the selection information, an image display system capable of reproducing an appropriate image color suitable for the user's preference is realized.
[0055]
Furthermore, in the present embodiment, the displayable color gamut that can be displayed by the projector 20 in the viewing environment at the time of presentation is calculated, and the target color gamut in the image display method selected by the user is calculated and obtained. Yes. Then, image processing is performed so that the projector 20 can display a color as close as possible to the target color gamut by comparing the obtained displayable color gamut and the target color gamut.
[0056]
(Description of color gamut)
FIG. 2 is a schematic diagram showing the target color gamut and the displayable color gamut. FIG. 2A shows the case where the target color gamut and the displayable color gamut match, and FIG. 2B shows the target color gamut. It is a schematic diagram which shows the case where the displayable color gamut is wider than the color gamut. FIG. 3 is a schematic diagram showing the target color gamut and the displayable color gamut. FIG. 3A shows a case where the displayable color gamut is narrower than the target color gamut, and FIG. FIG. 10 is a schematic diagram illustrating a case where a target color gamut includes a portion that overlaps a displayable color gamut and a portion that does not overlap.
[0057]
2A to 3B, the solid line indicates the target color gamut, and the broken line indicates the displayable color gamut. Further, the intersection of the lines from each vertex of each triangular color gamut toward the center of the triangle is a white point.
[0058]
Since there are two fluctuation factors, image characteristics and visual environment, the relationship between the target color gamut and the displayable color gamut is not fixed, and there are four patterns shown in FIGS. 2 (A) to 3 (B). It is a fluctuating type that can be roughly classified.
[0059]
The image signal conversion method is slightly different depending on which of these four patterns is applicable. For example, as shown in FIGS. 2A and 2B, when the displayable color gamut covers the entire target color gamut, even if a normal conversion method is used, the target color gamut is targeted. Image can be reproduced properly.
[0060]
However, when the displayable color gamut does not cover the entire target color gamut, as in the case shown in FIGS. 3A and 3B, the target image is appropriately selected in the normal conversion method. Cannot be reproduced.
[0061]
In such a case, it is necessary to perform color gamut mapping (sometimes referred to as color gamut compression) that associates colors in the target color gamut outside the displayable color gamut with colors inside the target color gamut.
[0062]
In the present embodiment, as a color gamut mapping method, one of a method for prioritizing the color gamut and a method for prioritizing the hue is used.
[0063]
4 is a schematic diagram showing a color gamut (mapping color gamut) after color gamut mapping, FIG. 4 (A) shows a mapping color gamut when the color gamut is prioritized, and FIG. 4 (B) is a hue priority. It is a schematic diagram which shows the mapping color gamut at the time.
[0064]
4A and 4B, a broken line indicates a displayable color gamut, and a two-dot chain line indicates a target color gamut. 4A and 4B show examples of color gamut mapping when the target color gamut and the displayable color gamut shown in FIG. 3B partially overlap.
[0065]
For example, as shown in FIG. 4A, the vertex D of the target color gamut is inside the displayable color gamut ABC, but the vertex E and vertex F of the target color gamut are outside the displayable color gamut ABC. is there. For this reason, the colors near the vertex E and the vertex F cannot be reproduced as they are.
[0066]
Therefore, color gamut mapping is performed in order to reproduce the closest possible color when there is a display request for a color that cannot be reproduced.
[0067]
In this embodiment, color gamut mapping is performed with priority given to the color gamut or hue.
[0068]
For example, when priority is given to the color gamut, as shown in FIG. 4A, a point H as close as possible to the vertex E and a point I as close as possible to the vertex F are obtained from the intersections of the triangle DEF and the triangle ABC. Since the vertex D is inside the triangle ABC, it can be directly applied as the vertex G of the new color gamut.
[0069]
The triangle GHI obtained in this way is a mapping color gamut when priority is given to the color gamut, that is, when the mapping color gamut is considered as wide as possible.
[0070]
For example, when priority is given to the hue, as shown in FIG. 4B, intersections K and L between the line segment from the vertex of the triangle DEF to the white point Y and each side of the triangle ABC are obtained. Since the vertex D is inside the triangle ABC, it can be applied as it is as the vertex J of the new color gamut.
[0071]
The triangle JKL obtained in this way is a mapping color gamut when priority is given to the hue, that is, when consideration is given so that the hue can be reproduced as accurately as possible. Color has three attributes: brightness, saturation, and hue. Among these, the human eye feels the hue most sensitively. Therefore, by obtaining the mapping color gamut with priority on the hue, a color closer to the target color gamut can be reproduced using the projector 20.
[0072]
Further, the target color gamut can be applied as it is to the mapping color gamut in the case shown in FIGS. 2 (A) and 2 (B).
[0073]
In the present embodiment, a conversion matrix for converting the image signal is generated so that the mapping color gamut determined as described above can be reproduced, and the image signal is converted using the generated conversion matrix.
[0074]
In the present embodiment, when gamma processing is performed on an image signal (in this case, an RGB signal) that has undergone color conversion in order to reproduce the color of the image, the output ratio between the multiple types of image signals is taken into consideration. Process. Next, the necessity and the effect of considering the output ratio between image signal types will be described.
[0075]
(Explanation regarding the output ratio of each signal of RGB)
FIG. 5 is a schematic diagram showing changes in the image signal after color conversion. FIG. 6 shows the output ratio between the types of image signals after color conversion (the ratio of the R signal output, the G signal output, and the B signal output when the R signal output is 1). It is a schematic diagram shown.
[0076]
The input signal and output signal shown in FIG. 5 express output values using 8 bits, and each signal takes a value of 0 to 255 when expressed in decimal. The same applies to FIG.
[0077]
As shown in FIGS. 5 and 6, the output ratio between the types of image signals is constant.
[0078]
However, if the color-converted image signal is simply gamma-processed to reproduce the target image color, the output ratio between the types of each image signal will be different from that at the time of color conversion. The color cannot be accurately reproduced.
[0079]
FIG. 7 is a schematic diagram showing changes in image signals after conventional gamma processing and white balance adjustment. Further, FIG. 8 shows an output ratio between types of image signals after conventional gamma processing and white balance adjustment (output of the R signal when the output of the R signal is 1, output of the G signal, and output of the B signal. It is a schematic diagram which shows a ratio with an output.
[0080]
For example, when processing an R signal, a G signal, and a B signal among RGB signals, R ′, G ′, B ′ are obtained values, and R0, G0, B0, an image signal are output values of the converted image signal. Assuming that the maximum output value is MX, the power symbol is **, and the gamma value is γ, the conventional processing method can be expressed by the following equation.
[0081]
R ′ = MX * (R0 / MX) ** γ
G ′ = MX * (G0 / MX) ** γ
B ′ = MX * (B0 / MX) ** γ
[0082]
That is, in the conventional gamma processing, the output ratio between the types of image signals is not taken into consideration, and as can be seen from a comparison between FIGS. 6 and 8, the output ratio after the color conversion and before the gamma processing and the output after the gamma processing. The ratio will be different. For this reason, the color of the reproduced image is different from the intended one.
[0083]
In this embodiment, gamma processing is performed in consideration of the output ratio between image signal types.
[0084]
Specifically, when processing the above R signal, G signal, and B signal, MAX (R0, G0, B0), which is the maximum output value among a plurality of types of color-converted image signals, is converted to MXRGB, When the maximum signal output value is MX and the product symbol is *, the processing method of this embodiment can be expressed by the following equation.
[0085]
R ′ = R0 / MXRGB * MX * (MXRGB / MX) ** γ
G ′ = G0 / MXRGB * MX * (MXRGB / MX) ** γ
B ′ = B0 / MXRGB * MX * (MXRGB / MX) ** γ
[0086]
According to this method, the output value of each image signal is processed by performing the gamma processing, which normally performs processing for obtaining a value obtained by multiplying the output value of the converted image signal by gamma times as described above. The ratio can be kept at an appropriate value.
[0087]
FIG. 9 is a schematic diagram showing changes in the image signal after the gamma processing in the present embodiment.
[0088]
As can be seen by comparing FIG. 5 and FIG. 9, when the gamma processing of this embodiment is performed, the interval between the image signals is substantially equal to the interval between the image signals at the time of color conversion. Therefore, the output ratio between the types of image signals after gamma processing is substantially the same as that at the time of color conversion shown in FIG.
[0089]
Therefore, the output ratio between the types of image signals at the time of color conversion can be maintained even after gamma processing, and the target image color can be accurately reproduced.
[0090]
(Description of functional block)
Next, functional blocks of the image processing unit of the projector 20 including the above-described matrix generation unit and the above-described gamma processing unit will be described.
[0091]
FIG. 10 is a functional block diagram of the image processing unit 100 in the projector 20 according to an example of the present embodiment.
[0092]
In the projector 20, R1 signal, G1 signal, and B1 signal constituting an analog RGB signal sent from a PC or the like are input to the A / D converter 110, and the digital R2 signal, G2 signal, and B2 signal are input to the CPU 200. The projector image processing unit 100 controlled by the above performs color conversion and gamma processing.
[0093]
The R3 signal, the G3 signal, and the B3 signal that have undergone color conversion are subjected to gamma processing, and the R4 signal, the G4 signal, and the B4 signal are input to the D / A conversion unit 180, and the analog-converted R5 signal, The G5 signal and the B5 signal are input to an L / V (light valve) drive unit 190 that is a part of the image display means, and the liquid crystal light valve is driven to perform image projection display.
[0094]
The projector image processing unit 100 includes a projector color conversion unit 120, a gamma processing unit 170, a color gamut calculation unit 160, and a calibration signal generation unit 150.
[0095]
The calibration signal generator 150 generates a calibration (calibration) image signal. The calibration image signal is input to the projector color conversion unit 120 as a digital R2 signal, G2 signal, and B2 signal in the same manner as the signal output from the A / D conversion unit 110.
[0096]
Thus, since the calibration image signal is generated inside the projector 20, the calibration can be performed by the projector 20 alone without inputting the calibration image signal to the projector 20 from an external input device such as a PC.
[0097]
The projector color converting unit 120 refers to the RGB digital signals (R2 signal, G2 signal, B2 signal) from the calibration signal generating unit 150 with reference to the projector profile managed by the projector profile storage unit 164, and outputs the projector output. Are converted into RGB digital signals (R3 signal, G3 signal, B3 signal) suitable for.
[0098]
Further, the projector color conversion unit 120 generates a conversion matrix for converting each digital signal (R2 signal, G2 signal, B2 signal) that is an image signal, and the generated conversion matrix. And a matrix conversion unit 124 that converts the image signal by using it.
[0099]
More specifically, the matrix generation unit 122 generates a conversion matrix so that the mapping color gamut calculated by the color gamut calculation unit 160 can be reproduced.
[0100]
Next, the color gamut calculation unit 160 will be described.
[0101]
In addition, the color gamut calculation unit 160 includes a target profile storage unit 162 and a projector profile storage unit 164. More specifically, the color gamut calculation unit 160 is a favorite color selected by the user based on the target profile selected by the user, the environment information from the color light sensor 60, and the projector profile, and the viewing environment. The mapping color gamut described with reference to FIGS. 2 to 4 is calculated so that the color of the adapted image can be seen.
[0102]
Here, the target profile is a kind of input / output characteristic data of a color to be targeted. A plurality of types of profiles corresponding to a plurality of types of image characteristics that can be selected by the user are provided as target profiles. The projector profile is a kind of input / output characteristic data corresponding to the model of the projector 20.
[0103]
Further, the gamma processing unit 170 performs gamma processing in consideration of the output ratio described above on each image signal (R3 signal, G3 signal, B3 signal) color-converted by the projector color conversion unit 120.
[0104]
(Description of the flow of image processing)
Next, the flow of image processing using these units will be described using a flowchart.
[0105]
FIG. 11 is a flowchart illustrating a procedure of image processing according to an example of the present embodiment.
[0106]
First, before the presentation is performed, the user of the projector 20 selects one image characteristic from a plurality of types of image characteristics assigned to the operation buttons of the projector 20. Specifically, for example, buttons for selecting image characteristics such as NTSC, PAL, and SECAM are provided on the outer surface of the projector 20, and the user presses the selection button to select one image characteristic.
[0107]
This selection information is transmitted to the projector image processing unit 100. The projector image processing unit 100 turns on the flag of the target profile selected from the plurality of target profiles in the target profile storage unit 162 based on the selection information.
[0108]
In this way, the projector image processing unit 100 selects a target profile according to the user's selection (step S2).
[0109]
After the target profile is selected according to the user's selection, the projector 20 generates a calibration signal (R2, G2, B2) from the calibration signal generator 150.
[0110]
The calibration signal generation unit 150 outputs the calibration signal to the projector color conversion unit 120.
[0111]
The projector color conversion unit 120 converts the calibration signal using the default (initial state) conversion matrix and outputs it as RGB signals (R3, G3, B3).
[0112]
The gamma processing unit 170 performs gamma processing on each of the RGB signals (R3, G3, B3) and outputs the RGB signals (R4, G4, B4).
[0113]
Then, the D / A converter 180 converts the digital RGB signals (R4, G4, B4) into analog RGB signals (R5, G5, B5). Then, the L / V driving unit 190 drives the liquid crystal light valve based on the analog RGB signals (R5, G5, B5). Then, the projector 20 projects and displays the calibration image on the image display area 12 (step S4).
[0114]
In a state where the calibration image is displayed in the image display area 12, the color light sensor 60 detects tristimulus values in order to grasp the visual environment (step S6).
[0115]
As described above, the visual environment can be grasped more appropriately by grasping the visual environment using the calibration image. Therefore, the appearance of the image can be reproduced more appropriately.
[0116]
Then, the projector color conversion unit 120 generates a conversion matrix based on the grasped visual environment, and converts the image signal using the conversion matrix (step S8).
[0117]
Here, the matrix generation conversion process (step S8) will be described more specifically.
[0118]
FIG. 12 is a flowchart illustrating a procedure of matrix generation conversion processing according to an example of the present embodiment.
[0119]
The color gamut calculation unit 160 calculates and obtains the target color gamut based on the target profile selected from the target profile storage unit 162. Further, the color gamut calculation unit 160 calculates and obtains the displayable color gamut of the projector 20 based on the projector profile stored in the projector profile storage unit 164 and the tristimulus values detected by the color light sensor 60 (step S12). .
[0120]
Then, the color gamut computing unit 160 compares the displayable color gamut with the target color gamut.
[0121]
First, when the displayable color gamut matches the target color gamut, that is, in the case shown in FIG. 2B (step S14), the matrix generation unit 122 sets the solid color triangle mapping color gamut in FIG. A conversion matrix is generated so that it can be reproduced (step S16).
[0122]
When the displayable color gamut is wider than the target color gamut, that is, when shown in FIG. 2A (step S18), the matrix generation unit 122 reproduces the solid color triangle mapping color gamut of FIG. A conversion matrix is generated so that it is possible (step S20).
[0123]
When the displayable color gamut is narrower than the target color gamut, that is, when shown in FIG. 3A (step S22), the matrix generation unit 122 displays the color gamut shown in FIG. 4A or FIG. A conversion matrix is generated so that a mapping color gamut giving priority to reproduction of hue and hue can be reproduced (step S24).
[0124]
In addition to the above three patterns (steps S14, S18, and S22), there is a portion where the displayable color gamut does not overlap with the portion overlapping the target color gamut, that is, the case shown in FIG. . In this case, the matrix generation unit 122 generates a conversion matrix so that the mapping color gamut prioritizing the reproduction of the color gamut and hue shown in FIG. 4A or 4B can be reproduced (step S26). .
[0125]
Note that the conversion matrices generated in the matrix generation (steps S16, S20, S24, and S26) are all different.
[0126]
Then, the matrix conversion unit 124 performs color conversion (image signal conversion) using the conversion matrix generated by the matrix generation unit 122 (step S28). More specifically, the matrix conversion unit 124 converts the digital RGB signal (R2, G2, B2) using a 3 × 3 conversion matrix and outputs the digital RGB signal (R3, G3, B3). .
[0127]
This can be expressed by mathematical formulas (R3, G3, B3) = M (R2, G2, B2). Here, M is a conversion matrix.
[0128]
The projector 20 performs gamma processing on the color-converted digital RGB signals (R3, G3, B3) using the gamma processing unit 170, and outputs them as digital RGB signals (R4, G4, B4) (step S9). Note that the gamma processing unit 170 performs gamma processing using an arithmetic expression that considers the output ratio described above.
[0129]
As a result, the output ratio of the digital RGB signals (R4, G4, B4) is not different from the output ratio of the digital RGB signals (R3, G3, B3). Thereby, the color of the target image can be accurately reproduced.
[0130]
Then, the digital RGB signals (R4, G4, B4) after the gamma processing are D / A converted using the D / A conversion unit 180, and the converted RGB RGB signals (R5, G5, B5) are actually used. The presentation image is displayed (step S10).
[0131]
As described above, according to the present embodiment, the output value of each image signal is obtained by performing gamma processing on each RGB image signal after conversion based on the ratio between the output value types of each RGB image signal. Can be kept at an appropriate value. Thus, a more appropriate image can be reproduced when performing gamma processing after color conversion in order to reproduce a target image.
[0132]
Further, according to the present embodiment, the image signal is converted using the conversion matrix so that an image suitable for the image characteristic selected by the user can be displayed.
[0133]
Thereby, an image display system capable of displaying an image suitable for the user's preference can be realized.
[0134]
Further, in the present embodiment, by grasping the viewing environment using the color light sensor 60, an image is projected and displayed in consideration of the viewing environment.
[0135]
As a result, it is possible to display an image in accordance with the viewing environment at the time of image display, and it is possible to display the same image regardless of the environment applied by absorbing the difference in display environment. Therefore, substantially the same color can be reproduced in a short time at a plurality of different locations.
[0136]
Furthermore, in this embodiment, by converting an image signal using a conversion matrix instead of an LUT, the image signal can be converted at a higher speed, and the occupation amount of the storage area can be reduced.
[0137]
In this embodiment, when generating the conversion matrix, the four patterns are classified according to the relationship between the displayable color gamut and the target color gamut, and the conversion matrix corresponding to each case is generated. Yes.
[0138]
The relationship between the displayable color gamut and the target color gamut differs depending on the environment to which the projector 20 is applied and the selection of image characteristics by the user. For this reason, it is necessary to generate an appropriate conversion matrix according to the relationship between the displayable color gamut and the target color gamut.
[0139]
In the present embodiment, an appropriate conversion matrix can be generated by generating a conversion matrix corresponding to four assumed patterns.
[0140]
In the case of the patterns shown in FIGS. 2A and 2B, the target color gamut can be applied almost as it is as the mapping color gamut, so that the color gamut mapping shown in FIGS. 3A and 3B is performed. A conversion matrix can be generated at a higher speed than necessary.
[0141]
When the color gamut mapping shown in FIGS. 3A and 3B is necessary, reproduction of lightness and saturation is achieved by using a conversion matrix that emphasizes hue reproducibility or color gamut reproducibility. Compared with the case of using a conversion matrix that emphasizes performance, an image can be reproduced more appropriately.
[0142]
(Hardware description)
In addition, as hardware used for each part mentioned above, the following can be applied, for example.
[0143]
For example, the A / D conversion unit 110 is, for example, an A / D converter, the D / A conversion unit 180 is, for example, a D / A converter, and the L / V drive unit 190 is, for example, a liquid crystal light valve drive driver or the like. The projector color conversion unit 120 and the gamma processing unit 170 can be realized by using, for example, an image processing circuit or an ASIC, and the color gamut calculation unit 160 can be realized by using, for example, a CPU or a RAM. Each of these units may be realized by hardware like a circuit, or may be realized by software like a driver.
[0144]
Further, as shown in FIG. 10, the functions of these units may be realized by reading a program from the information storage medium 300. As the information storage medium 300, for example, a CD-ROM, DVD-ROM, ROM, RAM, HDD or the like can be applied, and the information reading method may be a contact method or a non-contact method.
[0145]
Further, instead of the information storage medium 300, it is also possible to realize each function described above by downloading a program for realizing each function described above from a host device or the like via a transmission path. That is, the information for realizing each function described above may be embodied in a carrier wave.
[0146]
Further, the following hardware can be applied to the color light sensor 60.
[0147]
For example, a color filter and a photodiode that selectively transmit each stimulus value, an A / D converter that converts an analog signal from the photodiode into a digital signal, an OP amplifier that amplifies the digital signal, and the like can be applied.
[0148]
The preferred embodiments to which the present invention is applied have been described above, but the application of the present invention is not limited to the above-described examples.
[0149]
(Modification)
For example, as the target profile described above, image characteristics such as image types such as RGB and sRGB may be applied in addition to an image display method such as NTSC.
[0150]
In the above-described embodiments, RGB signals are used as image signals. However, the present invention can also be applied to processing CMYK signals and the like.
[0151]
Furthermore, in the above-described embodiment, the case where an image in which both the environment information from the color light sensor 60 and the image characteristics selected by the user are taken into consideration is taken as an example. However, the image in which only the environment information is considered is reproduced. The present invention is also effective when reproducing an image in consideration of only image characteristics.
[0152]
In addition to the color light sensor 60, for example, an imaging means such as a CCD camera or a CMOS camera can be applied as the visual environment grasping means.
[0153]
The screen 10 described above is a reflective type, but may be a transmissive type.
[0154]
Further, although the above-described conversion matrix is a single matrix, color conversion may be performed by combining a plurality of matrices. For example, color conversion may be performed by combining an inverse conversion matrix corresponding to an output device and an environment correction matrix reflecting environment information.
[0155]
The gamma processing method of the present invention is effective not only when color conversion is performed using a conversion matrix but also when color conversion is performed using a 3D-LUT or the like.
[0156]
The present invention can also be applied to a case where an image is displayed by a display unit other than the projection type image display device such as the projector described above to give a presentation. Such display means include, for example, a liquid crystal projector, a projector using a DMD (Digital Micromirror Device), a CRT (Cathode Ray Tube), a PDP (Plasma Display Panel), an FED (Field Emission Display), and FED (Field Emission Display). Electro Luminescence), display devices such as direct-view liquid crystal display devices, and the like are applicable. DMD is a trademark of Texas Instruments Incorporated. Further, the projector may be not only a front projection type but also a rear projection type.
[0157]
In addition to presentations, the present invention is also effective when displaying images in meetings, medical care, design / fashion fields, sales activities, commercials, education, and general images such as movies, TV, videos, and games. is there.
[0158]
Note that the function of the projector image processing unit 100 of the projector 20 described above may be realized by a single image display device (for example, the projector 20) or distributed by a plurality of processing devices (for example, the projector 20 and the PC). And distributed processing).
[Brief description of the drawings]
FIG. 1 is a schematic explanatory diagram of an image display system according to an example of an embodiment.
FIG. 2 is a schematic diagram illustrating a target color gamut and a displayable color gamut. FIG. 2A illustrates a case where the target color gamut and the displayable color gamut match, and FIG. 2B illustrates a target color gamut. It is a schematic diagram which shows the case where the displayable color gamut is wider than the color gamut.
FIG. 3 is a schematic diagram showing a target color gamut and a displayable color gamut. FIG. 3A shows a case where the displayable color gamut is narrower than the target color gamut, and FIG. FIG. 5 is a schematic diagram illustrating a case where a target color gamut includes a portion that overlaps a displayable color gamut and a portion that does not overlap.
4A and 4B are schematic diagrams showing a color gamut after color gamut mapping. FIG. 4A shows a color gamut when the color gamut is prioritized, and FIG. 4B shows a color gamut when the hue is given priority. It is a schematic diagram.
FIG. 5 is a schematic diagram illustrating a change in an image signal after color conversion.
FIG. 6 is a schematic diagram showing an output ratio between types of image signals after color conversion.
FIG. 7 is a schematic diagram showing a change in an image signal after conventional gamma processing.
FIG. 8 is a schematic diagram showing an output ratio between types of image signals after conventional gamma processing.
FIG. 9 is a schematic diagram showing a change in an image signal after gamma processing in the present embodiment.
FIG. 10 is a functional block diagram of an image processing unit in a projector according to an example of the present embodiment.
FIG. 11 is a flowchart illustrating a procedure of image processing according to an example of the present embodiment.
FIG. 12 is a flowchart illustrating a procedure of matrix generation conversion processing according to an example of the present embodiment.
[Explanation of symbols]
20 Projector
50 Laser pointer
60 color light sensor
80 Ambient light
120 Projector color converter
122 Matrix generator
124 Matrix converter
150 Calibration signal generator
160 Color gamut calculation unit
162 Target profile storage unit
164 Projector profile storage unit
170 Gamma processing unit
300 Information storage medium

Claims

Based on at least one of the environmental information by the visual environment grasping means for grasping the visual environment in the display area of the image and the image characteristic selected by the user, an image suitable for at least one of the visual environment and the image characteristic is displayed. As described above, in an image display system that displays an image by converting a plurality of types of image signals used for displaying an image,
In order to reproduce the color of the adapted image, color conversion means for converting the plurality of types of image signals;
Gamma processing means for performing gamma processing on the plurality of types of converted image signals in order to reproduce the brightness of the adapted image;
Image display means for displaying an image based on a plurality of types of image signals subjected to gamma processing;
Including
The gamma processing means, a value obtained by dividing the maximum value of the plurality of types of image signals output values are the conversion of the converted image signal, an output enable maximum value of the image signal, which is the converted There rows and the values obtained by multiplying the gamma times, the process for obtaining the product of a value obtained by dividing the maximum value at the maximum output value of the image signal among the plurality of kinds of image signals,
The maximum outputable value is a constant value of 255 when expressed in 8 bits .

In claim 1,
The color conversion means includes
Matrix generating means for generating a conversion matrix so that the adapted image is displayed;
Matrix conversion means for converting the plurality of types of image signals based on the generated conversion matrix;
An image display system comprising:

In claim 2,
Based on the environment information and the image characteristics, when displaying an image suitable for the visual environment and the image characteristics, a target color gamut that is a color gamut based on the image characteristics is calculated, and based on the environment information, A color gamut computing means for computing a displayable color gamut that is a color gamut that can be displayed by the image display means in the visual environment;
The matrix generating means, when the displayable color gamut is wider than the target color gamut, when narrower than the target color gamut, when coincident with the target color gamut, and a portion that does not overlap with the target color gamut; An image display system that generates a different conversion matrix in each case.

In claim 3,
The matrix generating unit places importance on hue reproducibility or color gamut reproducibility when the displayable color gamut is narrower than the target color gamut and when there is a portion that overlaps the target color gamut and a portion that does not overlap. An image display system characterized by generating a conversion matrix.

In any one of Claims 2-4,
The color gamut computing means;
The matrix generating means;
The matrix conversion means;
The gamma processing means;
The image display means;
Means for generating a calibration image;
A projection display device having
The image display means projects and displays the generated calibration image on the display area,
The image display system, wherein the visual environment grasping means grasps a visual environment in a display area where the calibration image is displayed.

Based on at least one of the environmental information by the visual environment grasping means for grasping the visual environment in the display area of the image and the image characteristic selected by the user, an image suitable for at least one of the visual environment and the image characteristic is displayed. As described above, in an image processing method for converting a plurality of types of image signals used for displaying an image,
A color conversion step of converting the plurality of types of image signals to reproduce the color of the adapted image;
To reproduce the brightness of the image the adaptation, the output maximum possible of the value obtained by dividing the maximum value of the converted image signal the converted plurality of kinds of image signals output values of the image signal A gamma processing step for performing a process for obtaining a product of a value and a value obtained by multiplying a value obtained by dividing the maximum value of the plurality of types of converted image signals by the maximum output value of the image signal, and gamma times;
Only including,
The maximum outputable value is a constant value of 255 when expressed in 8 bits .

In claim 6,
The color conversion step includes
A matrix generating step for generating a conversion matrix so that the adapted image is displayed;
A matrix conversion step of converting the plurality of types of image signals based on the generated conversion matrix;
An image processing method comprising:

In claim 7,
The matrix generating step calculates a target color gamut, which is a color gamut based on the image characteristics, when displaying an image suitable for the visual environment and the image characteristics based on the environment information and the image characteristics, Calculating a displayable color gamut that is a color gamut that can be displayed by the image display means in the visual environment based on the environment information;
In the matrix generation step, when the displayable color gamut is wider than the target color gamut, narrower than the target color gamut, or coincident with the target color gamut, a portion that does not overlap with the target color gamut, An image processing method characterized by generating a different conversion matrix in each case.

In claim 8,
In the matrix generation step, when the displayable color gamut is narrower than the target color gamut and when there are a part that overlaps the target color gamut and a part that does not overlap, importance is given to the reproducibility of the hue or the color gamut. An image processing method characterized by generating a conversion matrix.

In any one of Claims 6-9,
Prior to the color conversion step, generating a calibration image;
Displaying the generated calibration image in the display area;
Grasping the visual environment in the display area where the calibration image is displayed, and generating the environmental information;
An image processing method comprising:

Based on at least one of the environmental information by the visual environment grasping means for grasping the visual environment in the display area of the image and the image characteristic selected by the user, an image suitable for at least one of the visual environment and the image characteristic is displayed. A program for displaying an image by converting a plurality of types of image signals used for displaying an image, and a program readable by a computer,
The computer,
In order to reproduce the color of the adapted image, color conversion means for converting the plurality of types of image signals;
Gamma processing means for performing gamma processing on the plurality of types of converted image signals in order to reproduce the brightness of the adapted image;
Based on a plurality of types of image signals that have been subjected to gamma processing, it functions as an image display means for displaying an image,
The gamma processing means, a value obtained by dividing the maximum value of the plurality of types of image signals output values are the conversion of the converted image signal, an output enable maximum value of the image signal, which is the converted There rows and the values obtained by multiplying the gamma times, the process for obtaining the product of a value obtained by dividing the maximum value at the maximum output value of the image signal among the plurality of kinds of image signals,
The maximum outputable value is a constant value of 255 when expressed in 8 bits .

In claim 11,
The color conversion means includes
Matrix generating means for generating a conversion matrix so that the adapted image is displayed;
Matrix conversion means for converting the plurality of types of image signals based on the generated conversion matrix;
The program characterized by including.

In claim 12,
When the computer displays an image suitable for the viewing environment and the image characteristics based on the environment information and the image characteristics, the computer calculates a target color gamut that is a color gamut based on the image characteristics, and the environment Based on the information, function as a color gamut computing unit that computes a displayable color gamut that is a color gamut that can be displayed by the image display unit in the visual environment,
The matrix generating means, when the displayable color gamut is wider than the target color gamut, when narrower than the target color gamut, when coincident with the target color gamut, and a portion that does not overlap with the target color gamut; A program characterized by generating a different conversion matrix in each case.

In claim 13,
The matrix generating unit places importance on hue reproducibility or color gamut reproducibility when the displayable color gamut is narrower than the target color gamut and when there is a portion that overlaps the target color gamut and a portion that does not overlap. A program characterized by generating a conversion matrix.

An information storage medium readable by a computer, the information storage medium storing the program according to claim 11.