JP3731666B2 - Image processing system, projector, program, information storage medium, and image processing method - Google Patents

Image processing system, projector, program, information storage medium, and image processing method Download PDF

Info

Publication number
JP3731666B2
JP3731666B2 JP2003138173A JP2003138173A JP3731666B2 JP 3731666 B2 JP3731666 B2 JP 3731666B2 JP 2003138173 A JP2003138173 A JP 2003138173A JP 2003138173 A JP2003138173 A JP 2003138173A JP 3731666 B2 JP3731666 B2 JP 3731666B2
Authority
JP
Japan
Prior art keywords
image
value
calibration
calibration image
external light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003138173A
Other languages
Japanese (ja)
Other versions
JP2004341269A (en
Inventor
秀樹 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003138173A priority Critical patent/JP3731666B2/en
Priority to TW093112512A priority patent/TWI249959B/en
Priority to US10/843,530 priority patent/US7061506B2/en
Priority to DE602004032580T priority patent/DE602004032580D1/en
Priority to CNB2004100383185A priority patent/CN100426325C/en
Priority to EP07075180A priority patent/EP1791370B1/en
Priority to DE602004026958T priority patent/DE602004026958D1/en
Priority to EP04252819A priority patent/EP1478192B1/en
Priority to KR1020040034460A priority patent/KR100600228B1/en
Priority to CN2007101692546A priority patent/CN101155312B/en
Publication of JP2004341269A publication Critical patent/JP2004341269A/en
Application granted granted Critical
Publication of JP3731666B2 publication Critical patent/JP3731666B2/en
Priority to US11/372,262 priority patent/US7245307B2/en
Priority to US11/802,398 priority patent/US7417643B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Processing Of Color Television Signals (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、外光の影響を把握して入力画像信号を補正する画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。
【0002】
【背景技術】
長期間、プロジェクタ等の画像表示装置で画像を表示していると画像に色むら(輝度むらによる色むらも含む。)が発生し、画像が徐々に劣化していく。
【0003】
例えば、店舗や展示場等においては、長期間にわたってプロジェクタを用いてスクリーンに画像を連続的に表示する場合がある。このような場合、長期にわたる投影により早期に液晶パネルや偏光板等が劣化して画像の色むら等が発生することにより、本来の表示効果が損なわれてしまう。
【0004】
また、例えば、特許文献1に記載された色むら補正手段を有するプロジェクタでは、このような経時劣化による色むらを補正するための構成とはなっていない。
【0005】
このような問題点に鑑み、例えば、特許文献2では、色むら補正を行うためのキャリブレーション画像として、R、G、Bの原色の単色(画像全体が均一の色)画像を用い、当該単色画像の撮像情報に基づいて投写領域を抽出し、当該撮像情報における投写領域内の輝度値に基づいて経時劣化による色むらをより適切に補正する画像処理システムが提案されている。
【0006】
【特許文献1】
特開2002−90880号公報
【特許文献2】
特願2003−014666号公報
【0007】
【発明が解決しようとする課題】
しかし、経時劣化による色むらが発生する原因としては、例えば、液晶ライトバルブや偏光板の経時劣化によって抜け光が発生することがある。例えば、抜け光が生じることにより、本来黒で表示されるべき画像が青になってしまうことがある。
【0008】
このような状況で、特許文献2等の手法のように、プロジェクタが例えばRの原色画像を投写した場合、Rの色にG、Bの色の成分も含まれてしまい、撮像したデータにR以外の色の影響が含まれてしまう可能性があった。
【0009】
また、従来は、目的とする画像の見えを再現するため、照明光等の環境光の影響を除去する場合、白の単色キャリブレーション画像の撮像情報と黒の単色キャリブレーション画像の撮像情報との差分値に基づいて画像の色を補正していた。
【0010】
しかし、黒の単色キャリブレーション画像自体にも色むらが発生している場合、上記差分値が正確な値とはならず、適切な色補正が行えない可能性があった。
【0011】
さらに、実際に画像を表示する場合、照明光や日光等の外光の影響を受けることにより、画像の見えは変化してしまう。このため、適切な画像の色再現を行うためには画像処理によって外光の影響を低減する必要がある。
【0012】
本発明は、上記の課題に鑑みなされたものであり、その目的は、外光と経時劣化の影響を低減して適切に画像の色再現を行うことが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにあり、特に、長期間使用する場合であっても適切に画像の色再現を行うことが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。
【0013】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、白色のキャリブレーション画像を表示するためのキャリブレーション信号と、白色から白色を構成する複数種の原色のうち1つの原色を所定階調値分減少させた原色減少色のキャリブレーション画像とを表示するためのキャリブレーション信号を生成するキャリブレーション信号生成手段と、
当該キャリブレーション信号に基づいて各キャリブレーション画像をそれぞれ異なる時点において表示する画像表示手段と、
表示された各キャリブレーション画像を撮像して撮像信号値を生成する撮像手段と、
前記白色のキャリブレーション画像の撮像信号値と、前記原色減少色のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値と、当該原色減少色の原色の階調特性情報とに基づき、前記所定階調値分減少させた原色の最高階調値の画像であって、かつ、外光の影響を受けていない画像の推測撮像信号値を前記原色の種別ごとに演算する原色量情報生成手段と、
前記複数種の原色の最高階調値の推測撮像信号値の合計値と、前記白色のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値を、外光量を示す外光量情報として生成する外光量情報生成手段と、
当該外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行う補正手段と、
を含み、
前記キャリブレーション信号生成手段は、前記複数種の各原色についてそれぞれ所定階調値分減少させた原色減少色のキャリブレーション画像用のキャリブレーション信号を発生し、
前記画像表示手段は、前記補正手段によって補正された画像信号に基づき、画像を表示することを特徴とする。
【0014】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
白色のキャリブレーション画像を表示するためのキャリブレーション信号と、白色から白色を構成する複数種の原色のうち1つの原色を所定階調値分減少させた原色減少色のキャリブレーション画像とを表示するためのキャリブレーション信号を生成するキャリブレーション信号生成手段と、
当該キャリブレーション信号に基づいて各キャリブレーション画像をそれぞれ異なる時点において表示する画像表示手段と、
表示された各キャリブレーション画像を撮像して撮像信号値を生成する撮像手段と、
前記白色のキャリブレーション画像の撮像信号値と、前記原色減少色のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値と、当該原色減少色の原色の階調特性情報とに基づき、前記所定階調値分減少させた原色の最高階調値の画像であって、かつ、外光の影響を受けていない画像の推測撮像信号値を前記原色の種別ごとに演算する原色量情報生成手段と、
前記複数種の原色の最高階調値の推測撮像信号値の合計値と、前記白色のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値を、外光量を示す外光量情報として生成する外光量情報生成手段と、
当該外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行う補正手段として機能させ、
前記キャリブレーション信号生成手段は、前記複数種の各原色についてそれぞれ所定階調値分減少させた原色減少色のキャリブレーション画像用のキャリブレーション信号を発生し、
前記画像表示手段は、前記補正手段によって補正された画像信号に基づき、画像を表示することを特徴とする。
【0015】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。
【0016】
また、本発明に係る画像処理方法は、白色のキャリブレーション画像を表示し、
当該白色のキャリブレーション画像を撮像して撮像信号値を生成し、
白色から白色を構成する複数種の原色のうち1つの原色を所定階調値分減少させた原色減少色のキャリブレーション画像を表示する処理と、当該原色減少色のキャリブレーション画像を撮像して撮像信号値を生成する処理を各原色に対して繰り返し実行し、
前記白色のキャリブレーション画像の撮像信号値と、前記原色減少色のキャリブレーション画像の撮像信号値との差分値を演算し、
当該差分値と、当該原色減少色の原色の階調特性情報とに基づき、前記所定階調値分減少させた原色の最高階調値の画像であって、かつ、外光の影響を受けていない画像の推測撮像信号値を前記原色の種別ごとに演算し、
前記複数種の原色の最高階調値の推測撮像信号値の合計値と、前記白色のキャリブレーション画像の撮像信号値との差分値を演算し、
当該差分値を、外光量を示す外光量情報として生成し、
当該外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行うことを特徴とする。
【0017】
本発明によれば、画像処理システム等は、黒以外の色のキャリブレーション画像を使用して外光量等を把握することができるため、完全には補正できない色むらの影響を受けることなく外光量を求めることができる。すなわち、本発明によれば、画像処理システム等は、経時劣化等によって黒のキャリブレーション画像を用いた場合には色むらの影響を受けてしまうような場合であっても、黒以外のキャリブレーション画像を用いて外光量を求めることができる。
【0018】
そして、画像処理システム等は、当該外光量に基づいて外光の影響を低減するように入力画像信号を補正することにより、外光の影響を低減できる上、経時劣化の影響も低減することができるため、より適切に画像の色再現を行うことが可能となる。
【0019】
また、本発明に係る画像処理システムおよびプロジェクタは、第1のキャリブレーション画像を表示するためのキャリブレーション信号と、色を規定する複数種の原色の割合が第1のキャリブレーション画像と同一であり、かつ、第1のキャリブレーション画像とは異なる色である第2のキャリブレーション画像を表示するためのキャリブレーション信号を生成するキャリブレーション信号生成手段と、
各キャリブレーション信号に基づいて各キャリブレーション画像をそれぞれ異なる時点において表示する画像表示手段と、
表示された各キャリブレーション画像を撮像して撮像信号値を生成する撮像手段と、
前記第1のキャリブレーション画像の撮像信号値と、前記第2のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値と、第1のキャリブレーション画像の階調値と第2のキャリブレーション画像の階調値との差分値と、前記複数種の原色の階調特性情報とに基づき、外光の影響を受けていない前記第1のキャリブレーション画像の推測撮像信号値または外光の影響を受けていない前記第2のキャリブレーション画像の推測撮像信号値を生成する表示色情報生成手段と、
前記撮像手段からの第1または第2のキャリブレーション画像の撮像信号値と、前記表示色情報生成手段からの第1または第2のキャリブレーション画像の推測撮像信号値との差分値を演算し、当該差分値を、外光量を示す外光量情報として生成する外光量情報生成手段と、
当該外光量情報に基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行う補正手段と、
を含み、
前記画像表示手段は、前記補正手段によって補正された画像信号に基づき、画像を表示することを特徴とする。
【0020】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第1のキャリブレーション画像を表示するためのキャリブレーション信号と、色を規定する複数種の原色の割合が第1のキャリブレーション画像と同一であり、かつ、第1のキャリブレーション画像とは異なる色である第2のキャリブレーション画像を表示するためのキャリブレーション信号を生成するキャリブレーション信号生成手段と、
各キャリブレーション信号に基づいて各キャリブレーション画像をそれぞれ異なる時点において表示する画像表示手段と、
表示された各キャリブレーション画像を撮像して撮像信号値を生成する撮像手段と、
前記第1のキャリブレーション画像の撮像信号値と、前記第2のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値と、第1のキャリブレーション画像の階調値と第2のキャリブレーション画像の階調値との差分値と、前記複数種の原色の階調特性情報とに基づき、外光の影響を受けていない前記第1のキャリブレーション画像の推測撮像信号値または外光の影響を受けていない前記第2のキャリブレーション画像の推測撮像信号値を生成する表示色情報生成手段と、
前記撮像手段からの第1または第2のキャリブレーション画像の撮像信号値と、前記表示色情報生成手段からの第1または第2のキャリブレーション画像の推測撮像信号値との差分値を演算し、当該差分値を、外光量を示す外光量情報として生成する外光量情報生成手段と、
当該外光量情報に基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行う補正手段として機能させ、
前記画像表示手段は、前記補正手段によって補正された画像信号に基づき、画像を表示することを特徴とする。
【0021】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、上記プログラムを記憶したことを特徴とする。
【0022】
また、本発明に係る画像処理方法は、第1のキャリブレーション画像を表示し、
表示した第1のキャリブレーション画像を撮像して撮像信号値を生成し、
色を規定する複数種の原色の割合が第1のキャリブレーション画像と同一であり、かつ、第1のキャリブレーション画像とは異なる色である第2のキャリブレーション画像を表示し、
表示した第2のキャリブレーション画像を撮像して撮像信号値を生成し、
前記第1のキャリブレーション画像の撮像信号値と、前記第2のキャリブレーション画像の撮像信号値との差分値を演算し、
当該差分値と、第1のキャリブレーション画像の階調値と第2のキャリブレーション画像の階調値との差分値と、前記複数種の原色の階調特性情報とに基づき、外光の影響を受けていない前記第1のキャリブレーション画像の推測撮像信号値または外光の影響を受けていない前記第2のキャリブレーション画像の推測撮像信号値を生成し、
第1または第2のキャリブレーション画像の撮像信号値と、第1または第2のキャリブレーション画像の推測撮像信号値との差分値を演算し、当該差分値を、外光量を示す外光量情報として生成し、
当該外光量情報に基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行うことを特徴とする。
【0023】
本発明によれば、画像処理システム等は、黒以外の色のキャリブレーション画像を使用して外光量等を把握することができるため、完全には補正できない色むらの影響を受けることなく外光量を求めることができる。そして、画像処理システム等は、当該外光量を用いて画像信号を補正することにより、より適切に画像の色再現を行うことが可能となる。
【0024】
なお、上記所定の補正の手法としては、例えば、入力画像信号を直接的に補正する手法、入力画像信号を補正するための補正用情報(例えば、ルックアップテーブル、関数、パラメーター等)を補正することによって入力画像信号を間接的に補正する手法等が該当する。
【0025】
また、前記画像処理システムおよび前記プロジェクタは、前記表示色情報生成手段からの第1または第2のキャリブレーション画像の推測撮像信号値に基づき、外光の影響を受けていない前記複数種の原色の最高階調値の推測撮像信号値を演算する原色量情報生成手段を含み、
前記補正手段は、前記外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、入力画像信号に対して所定の補正を行ってもよい。
【0026】
また、前記画像処理システムおよび前記プロジェクタは、前記表示色情報生成手段からの第1または第2のキャリブレーション画像の推測撮像信号値に基づき、外光の影響を受けていない前記複数種の原色の最高階調値の推測撮像信号値を演算する原色量情報生成手段を含み、
前記補正手段は、前記外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、入力画像信号に対して所定の補正を行ってもよい。
【0027】
また、前記プログラムおよび前記情報記憶媒体は、前記表示色情報生成手段からの第1または第2のキャリブレーション画像の推測撮像信号値に基づき、外光の影響を受けていない前記複数種の原色の最高階調値の推測撮像信号値を演算する原色量情報生成手段としてコンピュータを機能させ、
前記補正手段は、前記外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、入力画像信号に対して所定の補正を行ってもよい。
【0028】
また、前記画像処理方法は、前記表示色情報生成手段からの第1または第2のキャリブレーション画像の推測撮像信号値に基づき、外光の影響を受けていない前記複数種の原色の最高階調値の推測撮像信号値を演算し、
前記外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、入力画像信号に対して所定の補正を行ってもよい。
【0029】
これによれば、画像処理システム等は、複数種の原色の推測撮像信号値に基づく補正を行うことができるため、外光量のみに基づく補正だけを行う場合と比べ、より多種類の補正を行うことができる。
【0030】
【発明の実施の形態】
以下、本発明を、画像処理システムを有するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【0031】
(システム全体の説明)
図1は、本実施形態の一例に係る画像投写状況を示す概略図である。
【0032】
プロジェクタ20は、スクリーン10へ向け画像を投写する。これにより、スクリーン10には、画像表示領域である投写領域12が形成される。
【0033】
このように、プロジェクタ20等の画像表示装置を用いて長期間画像を表示していると、光学系等の経時劣化により次第に画像に色むら(輝度むらによる色むらも含む。)が発生する。
【0034】
その上、日光や照明光等の外光80によっても投写領域12における画像の見えは変化する。すなわち、経時劣化だけでなく、実際の表示状況によっても画像の見えは変化する。
【0035】
このような画像の色むら等を補正するため、本実施形態のプロジェクタ20は、撮像手段であるセンサー60を有する。センサー60は、投写領域12を含む領域を撮像する。
【0036】
また、本実施の形態では、プロジェクタ20は、白色のキャリブレーション画像と、白色を構成する複数種の原色の一種であるRGB値のうち所定の原色をRGBごとに所定階調値分減少させた3色の原色減少色のキャリブレーション画像を投写する。
【0037】
そして、プロジェクタ20は、センサー60を用いて各キャリブレーション画像を撮像し、センサー60から出力される撮像情報(撮像信号値)に基づき、撮像画像内の投写領域を抽出する。そして、プロジェクタ20は、当該投写領域を複数の画素ブロックに区分し、画素ブロック内の全画素の画像信号値の平均値を画素ブロックごとに演算し、各画素ブロックの当該平均値に基づいて画素ブロックごとの補正量を演算し、当該補正量に基づいて画像の色むら等を補正する。
【0038】
このように、プロジェクタ20は、白色のキャリブレーション画像を表示するためのキャリブレーション信号と、白色を構成する複数種の原色の一種であるRGB値のうち所定の原色をRGBごとに所定階調値分減少させた3色の原色減少色のキャリブレーション画像を用いて色むら補正等を行うことができ、黒以外の色のキャリブレーション画像を使用して外光量等を把握することができるため、完全には補正できない色むらの影響を受けることなく外光量を求めることができる。
【0039】
そして、プロジェクタ20は、当該外光量を用いて画像信号を補正することにより、より適切に画像の色再現等を行うことができる。
【0040】
次に、このような機能を実装するためのプロジェクタ20の機能ブロックについて説明する。
【0041】
図2は、本実施形態の一例に係るプロジェクタ20の機能ブロック図である。
【0042】
プロジェクタ20は、センサー60を含む撮像部180と、撮像情報を処理する撮像情報処理部150と、キャリブレーション情報を処理するキャリブレーション情報処理部160と、種々の補正情報を生成する補正情報生成部170とを含んで構成されている。
【0043】
また、撮像情報処理部150は、撮像情報記憶部158と、投写領域抽出部152と、画素ブロック画像情報生成部156とを含んで構成されている。
【0044】
また、キャリブレーション情報処理部160は、白色のキャリブレーション画像を表示するためのキャリブレーション信号と、白色を構成する複数種の原色の一種であるRGBのうち1つの原色について所定階調値分減少させた3色の原色減少色のキャリブレーション画像を表示するためのキャリブレーション信号を生成するキャリブレーション信号生成部161と、白色のキャリブレーション画像の撮像信号値と、原色減少色のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値に基づき、RGBの最高階調値の推測撮像信号値を演算する原色量情報生成部163と、白色キャリブレーション画像の撮像信号値と、最高階調値の画像の推測撮像信号値との差分値を演算し、当該差分値に基づき外光量を示す外光量情報を生成する外光量情報生成部164とを含んで構成されている。
【0045】
また、撮像情報処理部150は、撮像部180による撮像信号値を記憶する撮像情報記憶部158と、撮影画像における投写領域(画像表示領域)を抽出する投写領域抽出部152と、当該投写領域を複数の画素ブロックに区分するとともに、所定のキャリブレーション画像の撮像信号値に基づき、各画素ブロックを構成する全画素の画像信号値の平均値を示す画素ブロック画像情報を生成する画素ブロック画像情報生成部156とを含んで構成されている。
【0046】
なお、撮像信号値と画像信号値は同じ種別のもの(例えば、撮像信号値がRGB値で画像信号値もRGB値等)であってもよいし、画像信号値が撮像信号値を変換したもの(例えば、撮像信号値がXYZ値で画像信号値がRGB値等)であってもよい。なお、ここで、XYZとは、CIE(国際照明委員会)で規定されている機器独立色の一種である。
【0047】
また、プロジェクタ20は、スクリーン10に投写されたキャリブレーション画像を撮像するセンサー60を有する撮像部180を含んで構成されている。
【0048】
また、プロジェクタ20は、PC等から入力されるアナログRGB信号(R1,G1,B1)をデジタルRGB信号(R2,G2,B2)に変換する入力信号処理部110と、当該デジタルRGB信号(R2,G2,B2)に対して色変換や階調変換を行ってデジタルRGB信号(R3,G3,B3)を出力する色補正部120と、当該デジタルRGB信号(R3,G3,B3)に対して色むらを補正してデジタルRGB信号(R4,G4,B4)を出力する色むら補正部130と、当該デジタルRGB信号(R4,G4,B4)をアナログRGB信号(R5,G5,B5)に変換する出力信号処理部140と、当該アナログRGB信号(R5,G5,B5)に基づき、画像を投写する画像表示手段の一種である画像投写部190とを含んで構成されている。
【0049】
また、プロジェクタ20は、RGBの各色の最高階調値の画像信号値と、外光量とに基づき、外光の影響を低減して画像を表示するために、画像信号に対して所定の補正を行う補正手段を含む。プロジェクタ20は、この補正手段として、色補正部120、色むら補正部130、補正情報生成部170を含む。また、色むら補正部130は、補正記憶部132を含む。なお、ここで、最高階調値は、例えば、8ビットで階調を表現する場合は255である。
【0050】
また、画像投写部190は、空間光変調器192と、空間光変調器192を駆動する駆動部194と、光源196と、レンズ198とを含んで構成されている。
【0051】
駆動部194は、出力信号処理部140からのアナログRGB信号に基づき、空間光変調器192を駆動する。そして、画像投写部190は、光源196からの光を、空間光変調器192およびレンズ198を介して投写する。
【0052】
また、上述したプロジェクタ20の各部を実装するためのハードウェアとしては、例えば、以下のものを適用できる。
【0053】
図3は、本実施形態の一例に係るプロジェクタ20のハードウェアブロック図である。
【0054】
例えば、入力信号処理部110としては、例えばA/Dコンバーター930等、補正記憶部132、撮像情報記憶部158としては、例えばRAM950等、色むら補正部130、キャリブレーション信号生成部161、投写領域抽出部152、画素ブロック画像情報生成部156、原色量情報生成部163、外光量情報生成部164としては、例えばCPU910、画像処理回路970等、補正情報生成部170としては、例えば画像処理回路970、RAM950、CPU910等、出力信号処理部140としては、例えばD/Aコンバーター940等、空間光変調器192としては、例えば液晶パネル920等、駆動部194としては、例えば液晶パネル920を駆動する液晶ライトバルブ駆動ドライバを記憶するROM960等を用いて実装できる。
【0055】
なお、これらの各部はシステムバス980を介して相互に情報をやりとりすることが可能である。
【0056】
また、これらの各部は回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。
【0057】
さらに、キャリブレーション信号生成部161等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体900からプログラムを読み取ってキャリブレーション信号生成部161等の機能をコンピュータに実装させてもよい。
【0058】
このような情報記憶媒体900としては、例えば、CD−ROM、DVD−ROM、ROM、RAM、HDD等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【0059】
また、情報記憶媒体900に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。
【0060】
(画像処理の流れの説明)
次に、これらの各部を用いた画像処理の流れについて説明する。
【0061】
図4は、本実施形態の一例に係る色むら補正処理の流れを示すフローチャートである。
【0062】
キャリブレーション信号生成部161は、白色のキャリブレーション画像を表示するためのキャリブレーション信号と、白色を構成する複数種の原色の一種であるRGB値のうち所定の原色をRGBごとに所定階調値分減少させた3色の原色減少色のキャリブレーション画像を表示するためのキャリブレーション信号を順次生成し、画像投写部190は、各キャリブレーション画像を順次投写する。なお、各キャリブレーション画像は、単色(画像全体が均一の色)で構成されている。
【0063】
また、撮像部180は、スクリーン10上の各キャリブレーション画像を撮像して撮像信号値を生成し、撮像情報記憶部158は、各キャリブレーション画像の撮像信号値を記憶する(ステップS1)。
【0064】
なお、本実施例では、センサー60は、撮像信号値としてセンサー60の画素ごとのL値(長波長値、R値)、M値(中波長値、G値)、S値(短波長値、B値)を出力する。この場合、センサー60としては、例えば、RGBセンサー等を適用してもよい。
【0065】
なお、スクリーン10は任意のスクリーンでよく、色や材質を問わない。また、投写領域12の画像に歪みが生じていてもよい。もちろん、撮像信号値として、XYZ値等を用いてもよい。
【0066】
投写領域抽出部152は、白色キャリブレーション画像の画素ごとの撮像信号値(例えば、R値、G値、B値、L値、M値、S値、輝度値等)と、当該画素と対応する白以外のキャリブレーション画像の画素ごとの撮像信号値との比率を演算して比率の違いに基づいて撮影画像における投写領域を抽出する(ステップS2)。
【0067】
なお、投写領域の画素の上記比率は大きく(例えば2以上)、非投写領域の上記比率は小さい(例えば1)。このため、投写領域抽出部152は、上記比率に基づいて撮影画像内の投写領域を抽出することができる。
【0068】
画素ブロック画像情報生成部156は、投写領域抽出部152が抽出した投写領域の4隅を空間光変調器192の画像領域の4隅に対応づける(ステップS3)。
【0069】
そして、画素ブロック画像情報生成部156は、この対応づけを示す情報に基づき、撮影画像の投写領域をc*dの格子状の画素ブロックに区分する(ステップS4)。なお、ここで、c、dは、任意の正の整数である。
【0070】
また、画素ブロック画像情報生成部156は、区分した画素ブロックと、原色量情報生成部163で必要となるキャリブレーション画像の撮像信号値に基づき、画素ブロックごとの画像信号値(撮像信号値)の平均値を演算する(ステップS5)。なお、ここでは、画像信号値および撮像信号値として、L値、M値およびS値を適用する。
【0071】
そして、原色量情報生成部163は、各画素ブロックにおいて、白色のキャリブレーション画像の撮像信号値と、R、G、Bの各原色を減少させた原色減少色のキャリブレーション画像の撮像信号値との差分値を演算する(ステップS6)。
【0072】
なお、白色はRGB値=(255、255、255)であり、RGBの全原色の要素を含んでいる。例えば、白色からR色の要素を減少させた原色減少色のRGB値=(240、255、255)である場合、白色の測定値から当該原色減少色の測定値を引いた差分値は、RGB値=(15、0、0)のR値だけの要素の測定値として取り扱われることができる。また、各撮像信号値は外光80の影響を含んでいるため、2つの撮像信号値の差分値は外光80の影響を含まない値となる。
【0073】
原色量情報生成部163は、当該差分値と、各原色の階調特性情報に基づき、RGBの各色の最高階調値の画像信号値(原色量情報)を演算する(ステップS7)。より具体的には、階調特性情報は例えばガンマ曲線として表されるものであるため、原色量情報生成部163は、例えば、上記例におけるR色の階調値=15の場合の当該差分値と、R色のガンマ曲線との関係から比の演算により、R色の最高階調値=255の場合の画像信号値を演算により求めることができる。原色量情報生成部163は、同様の手法でG色の最高階調値の画像信号値、B色の最高階調値の画像信号値も求めることができ、結果として、外光の影響を受けていない場合の白色の画像信号値を、各原色の最高階調値画像の推測撮像信号値の合計値として生成することができる。
【0074】
そして、外光量情報生成部164は、白色キャリブレーション画像の撮像信号値と、推測撮像信号値の合計値との差分値を演算し、当該差分値に基づき外光量を示す外光量情報を生成する(ステップS8)。すなわち、白色キャリブレーション画像の撮像信号値は外光の影響を受けており、推測撮像信号値の合計値との差分値は外光の影響を受けていない白色キャリブレーション画像の撮像信号値であるため、外光量情報生成部164は、両者の差分値を演算することにより、外光の影響だけを外光量情報として生成することができる。
【0075】
補正情報生成部170は、外光量情報(LMSの各値)に基づき、外光の影響を低減して画像を表示するために、画像信号に対して所定の補正を行うための補正情報を生成する(ステップS9)。
【0076】
より具体的には、例えば、色むらを補正する場合、補正情報生成部170は、外光量情報に基づいて外光80による影響の程度を把握し、当該影響の程度に応じて色むら補正情報を生成し、色むら補正部130に出力する。
【0077】
色むら補正部130は、当該色むら補正情報に基づき、色むら補正用データ(例えば、R、G、Bの原色ごとの1次元ルックアップテーブル等)を更新し、当該色むら補正用データを用いて入力画像信号(R3、G3、B3)を補正する。
【0078】
そして、画像投写部190は、色むら補正部130によって色むらが補正された画像信号に基づき、画像を投写する(ステップS10)。
【0079】
以上のように、本実施形態によれば、プロジェクタ20は、黒以外の色のキャリブレーション画像を使用して外光量等を把握することができるため、完全には補正できない色むらの影響を受けることなく外光量を求めることができる。すなわち、本発明によれば、画像処理システム等は、経時劣化等によって黒のキャリブレーション画像を用いた場合には色むらの影響を受けてしまうような場合であっても、黒以外のキャリブレーション画像を用いて外光量を求めることができる。
【0080】
そして、プロジェクタ20は、当該外光量に基づいて外光の影響を低減するように入力画像信号を補正することにより、外光の影響を低減できる上、経時劣化の影響も低減することができるため、より適切に画像の色再現を行うことが可能となる。
【0081】
また、プロジェクタ20は、撮像信号値としてLMS値を用いることが可能であるため、XYZ値等を用いる場合と比べ、簡易かつ高速に色むらを補正することができる。
【0082】
(変形例)
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【0083】
次に、上述した実施例とは別の手法によって黒色のキャリブレーション画像を使用しないで外光量を求める手法について説明する。
【0084】
図5は、本実施形態の他の一例に係るプロジェクタの機能ブロック図である。
【0085】
本実施例におけるプロジェクタ内のキャリブレーション情報処理部260は、第1のキャリブレーション画像を表示するためのキャリブレーション信号と、第1のキャリブレーション画像のRGB値と同一比率のRGB値である第2のキャリブレーション画像を表示するためのキャリブレーション信号を生成するキャリブレーション信号生成部261を含んで構成されている。
【0086】
また、キャリブレーション情報処理部260は、第1のキャリブレーション画像の撮像信号値と、第2のキャリブレーション画像の撮像信号値との差分画像信号値と、前記第1のキャリブレーション画像の階調値と前記第2のキャリブレーション画像の階調値との差分階調値を演算し、差分画像信号値と、差分階調値と、階調特性情報とに基づき、外光の影響を受けていない第1のキャリブレーション画像の画像信号値(または外光の影響を受けていない第2のキャリブレーション画像の画像信号値)を生成する表示色情報生成部263を含んで構成されている。
【0087】
なお、上記差分階調値をメモリに記憶しておき、表示色情報生成部263が当該メモリから差分階調値を読み取って使用する手法を採用する場合、上記差分階調値の演算は不要である。
【0088】
また、キャリブレーション情報処理部260は、撮像情報記憶部158からの外光の影響を受けている第1のキャリブレーション画像(または第2のキャリブレーション画像)の画像信号値と、表示色情報生成部からの外光の影響を受けていない第1または第2のキャリブレーション画像の画像信号値との差分値を演算することにより外光量を示す外光量情報を生成する外光量情報生成部264と、表示色情報生成部263からの外光の影響を受けていない第1または第2のキャリブレーション画像の画像信号値に基づき、RGBの各色の最高階調値の画像信号値を演算する原色量情報生成部265とを含んで構成されている。
【0089】
次に、これらの各部を用いた色むら補正処理の流れについて説明する。
【0090】
図6は、本実施形態の他の一例に係る色むら補正処理の流れを示すフローチャートである。
【0091】
画素ブロック画像情報生成までは図4を用いて説明した処理とほぼ同様である。ただし、撮像情報記憶部158は、第1のキャリブレーション画像(例えば、RGB値=(255、255、255)の白色キャリブレーション画像等)の撮像信号値と、第1のキャリブレーション画像のRGB値と同一比率のRGB値である第2のキャリブレーション画像(例えば、RGB値=(250、250、250)のグレー色キャリブレーション画像等)の撮像信号値を記憶する(ステップS11)。なお、本実施例では、スクリーン10は、白色均一であるものが好ましい。
【0092】
そして、プロジェクタは、投写領域の抽出(ステップS12)、対応づけ(ステップS13)、画素ブロックの区分(ステップS14)、画素ブロックごとの画像信号値の平均値の演算(ステップS15)を行う。
【0093】
表示色情報生成部263は、第1のキャリブレーション画像の撮像信号値と、前記第2のキャリブレーション画像の撮像信号値との差分画像信号値と、第1のキャリブレーション画像の階調値(例えば、上記例では255)と第2のキャリブレーション画像の階調値(例えば、上記例では250)との差分階調値(例えば、上記例では5)を演算する(ステップS16)。なお、各キャリブレーション画像の階調値が固定である場合は、あらかじめ差分階調値を示す情報をメモリに記憶しておき、表示色情報生成部263は、メモリに記憶された差分階調値を示す情報を用いてもよい。
【0094】
そして、表示色情報生成部263は、差分画像信号値と、差分階調値と、階調特性情報に基づき、外光の影響を受けていない第1のキャリブレーション画像(第2のキャリブレーション画像でもよい。)の推測撮像信号値(例えば、LMS値等)を生成する(ステップS17)。
【0095】
そして、外光量情報生成部264は、画素ブロック画像情報生成部156からの外光の影響を受けている所定画素ブロックのLMS値(撮像信号値)から表示色情報生成部263によって求められた当該画素ブロックの外光の影響を受けていないLMS値(推測撮像信号値)を減算することにより、外光量情報を生成する(ステップS18)。
【0096】
原色量情報生成部265は、表示色情報生成部263からの外光の影響を受けていない第1または第2のキャリブレーション画像のLMS値(推測撮像信号値)のうちの1つの値(例えばM値等)と、原色量を生成する1次元ルックアップテーブル等とに基づき、RGBの各色の最高階調値の画像信号値、すなわち、外光の影響のない原色量を演算する(ステップS19)。
【0097】
これ以降の原色量と外光量を用いた処理については、図4を用いて説明したとおりである。画像投写部190は、外光量情報に基づいて補正された画像信号に基づき、画像を投写する(ステップS20)。
【0098】
このような手法によっても、プロジェクタ20は、黒色を用いないで画像の色むら等を適切に補正することができる。
【0099】
また、上述した実施例では、外光80等の使用状況による影響を低減することについて説明したが、空間光変調器192等の光学系の経時劣化については使用時間に依存し、使用状況にはほとんど依存しない。
【0100】
したがって、プロジェクタ20は、あらかじめ光学系の経時劣化による影響を低減するための補正を行っておき、この補正を行ったかどうかを示す補正履歴情報を補正記憶部132に記憶しておいてもよい。
【0101】
そして、実際に使用された時点で、プロジェクタ20は、補正記憶部132内の補正履歴情報に基づき、上記補正を行っている場合には、外光80等の影響を低減するための補正を行い、上記補正を行っていない場合には、光学系の劣化に対する補正と、外光80等の影響を低減するための補正を行ってもよい。
【0102】
これによれば、プロジェクタ20は、経時劣化による影響を低減することができる上、実際に使用される時点での補正時間を短縮することができる。
【0103】
また、例えば、上述した実施例では、色むら補正を例に採り説明したが、色補正(色合いおよび明るさの補正)や投写領域12における色や明るさの違いに基づく画像歪み補正等を行う場合にも本発明は有効である。
【0104】
また、上述した実施例では、原色としてRGBを用いたが、例えば、XYZやCMY等のRGB以外の表色系を採用してもよい。
【0105】
また、例えば、上述した実施例では、画像処理システムをプロジェクタ20に実装した例について説明したが、プロジェクタ20以外にもCRT(Cathode Ray Tube)等の種々の画像表示装置に実装してもよい。また、プロジェクタ20としては、液晶プロジェクタ以外にも、例えば、DMD(Digital Micromirror Device)を用いたプロジェクタ等を用いてもよい。なお、DMDは米国テキサスインスツルメンツ社の商標である。
【0106】
また、上述したプロジェクタ20の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して(例えば、プロジェクタとPCとで分散処理)実装してもよい。
【図面の簡単な説明】
【図1】 本実施形態の一例に係る画像投写状況を示す概略図である。
【図2】 本実施形態の一例に係るプロジェクタの機能ブロック図である。
【図3】 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。
【図4】 本実施形態の一例に係る色むら補正処理の流れを示すフローチャートである。
【図5】 本実施形態の他の一例に係るプロジェクタの機能ブロック図である。
【図6】 本実施形態の他の一例に係る色むら補正処理の流れを示すフローチャートである。
【符号の説明】
20 プロジェクタ、60 センサー(撮像手段)、120 色補正部(補正手段)、130 色むら補正部(補正手段)、132 補正記憶部(補正手段)、152 投写領域抽出部(画像表示領域抽出手段)、156 画素ブロック画像情報生成部、158 撮像情報記憶部、161、261 キャリブレーション信号生成部、163、265 原色量情報生成部、164、264 外光量情報生成部、170 補正情報生成部(補正手段)、190 画像投写部(画像表示手段)、263 表示色情報生成部、900 情報記憶媒体
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing system, a projector, a program, an information storage medium, and an image processing method for recognizing an influence of external light and correcting an input image signal.
[0002]
[Background]
When an image is displayed on an image display device such as a projector for a long time, color unevenness (including color unevenness due to brightness unevenness) occurs in the image, and the image gradually deteriorates.
[0003]
For example, in a store or an exhibition hall, there are cases where images are continuously displayed on a screen using a projector for a long period of time. In such a case, the liquid crystal panel, the polarizing plate, and the like are deteriorated at an early stage due to the projection over a long period, and the color unevenness of the image is generated, so that the original display effect is impaired.
[0004]
For example, a projector having color unevenness correction means described in Patent Document 1 is not configured to correct such color unevenness due to deterioration with time.
[0005]
In view of such a problem, for example, in Patent Document 2, as a calibration image for performing color unevenness correction, a single-color image of R, G, and B primary colors (a color with a uniform image as a whole) is used. There has been proposed an image processing system that extracts a projection area based on imaging information of an image and more appropriately corrects color unevenness due to deterioration with time based on a luminance value in the projection area in the imaging information.
[0006]
[Patent Document 1]
JP 2002-90880 A
[Patent Document 2]
Japanese Patent Application No. 2003-014666
[0007]
[Problems to be solved by the invention]
However, as a cause of color unevenness due to deterioration over time, for example, light leakage may occur due to deterioration over time of a liquid crystal light valve or a polarizing plate. For example, when light is lost, an image that should originally be displayed in black may turn blue.
[0008]
In such a situation, when the projector projects, for example, an R primary color image as in the method of Patent Document 2, the G color component is also included in the R color, and the captured data includes R. There was a possibility that the influence of other colors would be included.
[0009]
Conventionally, in order to reproduce the appearance of the target image, when removing the influence of ambient light such as illumination light, the imaging information of the white monochrome calibration image and the imaging information of the black monochrome calibration image are The color of the image was corrected based on the difference value.
[0010]
However, if the black single color calibration image itself has uneven color, the difference value is not an accurate value, and there is a possibility that appropriate color correction cannot be performed.
[0011]
Furthermore, when an image is actually displayed, the appearance of the image changes due to the influence of external light such as illumination light and sunlight. For this reason, in order to perform color reproduction of an appropriate image, it is necessary to reduce the influence of external light by image processing.
[0012]
The present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing system, a projector, a program, and an image processing system that can appropriately perform color reproduction of an image by reducing the influence of external light and deterioration over time. An information storage medium and an image processing method are provided, and in particular, an image processing system, a projector, a program, an information storage medium, and an image capable of appropriately reproducing an image even when used for a long period of time It is to provide a processing method.
[0013]
[Means for Solving the Problems]
In order to solve the above-described problems, an image processing system and a projector according to the present invention are provided with a calibration signal for displaying a white calibration image and one primary color among a plurality of primary colors constituting white to white. Calibration signal generating means for generating a calibration signal for displaying a calibration image of a primary color reduced color reduced by a gradation value;
Image display means for displaying each calibration image at different time points based on the calibration signal;
Imaging means for imaging each displayed calibration image to generate an imaging signal value;
The difference value between the imaging signal value of the white calibration image and the imaging signal value of the calibration image of the primary color reduction color is calculated, and the difference value and the gradation characteristic information of the primary color of the primary color reduction color are calculated. Based on the primary color amount for calculating the estimated imaging signal value of the image of the highest gradation value of the primary color reduced by the predetermined gradation value and not affected by external light for each type of the primary color Information generating means;
The difference value between the total value of the estimated imaging signal values of the highest gradation values of the plurality of primary colors and the imaging signal value of the white calibration image is calculated, and the difference value is used as the outside light amount information indicating the outside light amount. External light quantity information generating means to generate as
Correction means for performing a predetermined correction on the input image signal in order to display an image with reduced influence of external light based on the external light amount information and the estimated imaging signal values of the plurality of primary colors;
Including
The calibration signal generating means generates a calibration signal for a calibration image of a primary color reduced color reduced by a predetermined gradation value for each of the plurality of primary colors.
The image display means displays an image based on the image signal corrected by the correction means.
[0014]
The program according to the present invention is a computer-readable program,
Computer
A calibration signal for displaying a white calibration image, and a calibration image of a primary color reduced color obtained by reducing one primary color among a plurality of primary colors constituting white to white by a predetermined gradation value are displayed. Calibration signal generating means for generating a calibration signal for
Image display means for displaying each calibration image at different time points based on the calibration signal;
Imaging means for imaging each displayed calibration image to generate an imaging signal value;
The difference value between the imaging signal value of the white calibration image and the imaging signal value of the calibration image of the primary color reduction color is calculated, and the difference value and the gradation characteristic information of the primary color of the primary color reduction color are calculated. Based on the primary color amount for calculating the estimated imaging signal value of the image of the highest gradation value of the primary color reduced by the predetermined gradation value and not affected by external light for each type of the primary color Information generating means;
The difference value between the total value of the estimated imaging signal values of the highest gradation values of the plurality of primary colors and the imaging signal value of the white calibration image is calculated, and the difference value is used as the outside light amount information indicating the outside light amount. External light quantity information generating means to generate as
Based on the external light amount information and the estimated imaging signal values of the plurality of primary colors, function as a correction unit that performs predetermined correction on the input image signal in order to display an image with reduced influence of external light Let
The calibration signal generating means generates a calibration signal for a calibration image of a primary color reduced color reduced by a predetermined gradation value for each of the plurality of primary colors.
The image display means displays an image based on the image signal corrected by the correction means.
[0015]
An information storage medium according to the present invention is an information storage medium storing a computer-readable program, and stores the program.
[0016]
The image processing method according to the present invention displays a white calibration image,
Capture the white calibration image to generate the imaging signal value,
Processing to display a calibration image of a primary color reduced color obtained by reducing one primary color of a plurality of primary colors constituting white to white by a predetermined gradation value, and imaging the calibration image of the primary color reduced color Repeat the process of generating signal values for each primary color,
Calculating a difference value between the imaging signal value of the white calibration image and the imaging signal value of the calibration image of the primary color reduction color;
Based on the difference value and the gradation characteristic information of the primary color of the primary color reduced color, the image has the maximum gradation value of the primary color reduced by the predetermined gradation value and is affected by external light. Calculate the estimated imaging signal value of no image for each primary color type,
Calculating a difference value between a total value of estimated imaging signal values of the highest gradation values of the plurality of primary colors and an imaging signal value of the white calibration image;
The difference value is generated as external light amount information indicating the external light amount,
Based on the external light amount information and the estimated imaging signal values of the plurality of primary colors, a predetermined correction is performed on the input image signal in order to display an image while reducing the influence of external light. To do.
[0017]
According to the present invention, the image processing system or the like can grasp the external light amount by using a calibration image of a color other than black, so that the external light amount is not affected by uneven color that cannot be completely corrected. Can be requested. In other words, according to the present invention, the image processing system or the like can calibrate other than black even when it is affected by color unevenness when a black calibration image is used due to deterioration over time or the like. The amount of external light can be obtained using an image.
[0018]
Then, the image processing system or the like can reduce the influence of external light and reduce the influence of deterioration over time by correcting the input image signal so as to reduce the influence of external light based on the external light amount. Therefore, it is possible to perform color reproduction of the image more appropriately.
[0019]
In the image processing system and the projector according to the present invention, the calibration signal for displaying the first calibration image and the ratio of the plurality of primary colors defining the color are the same as those of the first calibration image. And calibration signal generation means for generating a calibration signal for displaying a second calibration image having a color different from that of the first calibration image;
Image display means for displaying each calibration image at different time points based on each calibration signal;
Imaging means for imaging each displayed calibration image to generate an imaging signal value;
The difference value between the imaging signal value of the first calibration image and the imaging signal value of the second calibration image is calculated, and the difference value, the gradation value of the first calibration image, and the second value are calculated. Based on the difference value between the gradation value of the first calibration image and the gradation characteristic information of the plurality of primary colors, the estimated imaging signal value of the first calibration image that is not affected by external light or outside Display color information generating means for generating an estimated imaging signal value of the second calibration image not affected by light;
Calculating a difference value between the imaging signal value of the first or second calibration image from the imaging unit and the estimated imaging signal value of the first or second calibration image from the display color information generation unit; External light quantity information generating means for generating the difference value as external light quantity information indicating the external light quantity;
Correction means for performing a predetermined correction on the input image signal in order to display an image with reduced influence of external light based on the external light amount information
Including
The image display means displays an image based on the image signal corrected by the correction means.
[0020]
The program according to the present invention is a computer-readable program,
Computer
The calibration signal for displaying the first calibration image and the ratio of the plurality of primary colors that define the color are the same as those in the first calibration image, and are different from the first calibration image. Calibration signal generating means for generating a calibration signal for displaying the second calibration image,
Image display means for displaying each calibration image at different time points based on each calibration signal;
Imaging means for imaging each displayed calibration image to generate an imaging signal value;
The difference value between the imaging signal value of the first calibration image and the imaging signal value of the second calibration image is calculated, and the difference value, the gradation value of the first calibration image, and the second value are calculated. Based on the difference value between the gradation value of the first calibration image and the gradation characteristic information of the plurality of primary colors, the estimated imaging signal value of the first calibration image that is not affected by external light or outside Display color information generating means for generating an estimated imaging signal value of the second calibration image not affected by light;
Calculating a difference value between the imaging signal value of the first or second calibration image from the imaging unit and the estimated imaging signal value of the first or second calibration image from the display color information generation unit; External light quantity information generating means for generating the difference value as external light quantity information indicating the external light quantity;
Based on the external light amount information, in order to display an image with reduced influence of external light, function as a correction unit that performs a predetermined correction on the input image signal,
The image display means displays an image based on the image signal corrected by the correction means.
[0021]
An information storage medium according to the present invention is an information storage medium storing a computer-readable program, and stores the program.
[0022]
The image processing method according to the present invention displays a first calibration image,
Imaging the displayed first calibration image to generate an imaging signal value;
Displaying a second calibration image in which the ratio of the primary colors defining the colors is the same as that of the first calibration image and is different from the first calibration image;
Imaging the displayed second calibration image to generate an imaging signal value,
Calculating a difference value between the imaging signal value of the first calibration image and the imaging signal value of the second calibration image;
The influence of external light is based on the difference value, the difference value between the gradation value of the first calibration image and the gradation value of the second calibration image, and the gradation characteristic information of the plurality of primary colors. Generating an estimated imaging signal value of the first calibration image that has not been received or an estimated imaging signal value of the second calibration image that has not been affected by external light,
A difference value between the imaging signal value of the first or second calibration image and the estimated imaging signal value of the first or second calibration image is calculated, and the difference value is used as external light amount information indicating the external light amount. Generate
Based on the external light quantity information, a predetermined correction is performed on the input image signal in order to reduce the influence of external light and display an image.
[0023]
According to the present invention, the image processing system or the like can grasp the external light amount by using a calibration image of a color other than black, so that the external light amount is not affected by uneven color that cannot be completely corrected. Can be requested. Then, the image processing system or the like can perform color reproduction of the image more appropriately by correcting the image signal using the external light amount.
[0024]
As the predetermined correction method, for example, a method of directly correcting an input image signal, correction information (for example, a lookup table, a function, a parameter, etc.) for correcting the input image signal is corrected. Thus, a method of indirectly correcting the input image signal is applicable.
[0025]
In addition, the image processing system and the projector may include the plurality of primary colors that are not affected by external light based on the estimated imaging signal value of the first or second calibration image from the display color information generation unit. Including primary color amount information generating means for calculating an estimated imaging signal value of the highest gradation value,
The correction unit may perform a predetermined correction on the input image signal based on the external light amount information and the estimated imaging signal values of the plurality of primary colors.
[0026]
In addition, the image processing system and the projector may include the plurality of primary colors that are not affected by external light based on the estimated imaging signal value of the first or second calibration image from the display color information generation unit. Including primary color amount information generating means for calculating an estimated imaging signal value of the highest gradation value,
The correction unit may perform a predetermined correction on the input image signal based on the external light amount information and the estimated imaging signal values of the plurality of primary colors.
[0027]
In addition, the program and the information storage medium may include the plurality of types of primary colors that are not affected by external light based on the estimated imaging signal value of the first or second calibration image from the display color information generation unit. Causing the computer to function as primary color amount information generating means for calculating the estimated image signal value of the highest gradation value,
The correction unit may perform a predetermined correction on the input image signal based on the external light amount information and the estimated imaging signal values of the plurality of primary colors.
[0028]
In addition, the image processing method is based on the estimated imaging signal value of the first or second calibration image from the display color information generating unit, and the highest gradations of the plurality of primary colors not affected by external light Calculate the estimated imaging signal value of the value,
A predetermined correction may be performed on the input image signal based on the external light amount information and the estimated image signal values of the plurality of primary colors.
[0029]
According to this, the image processing system or the like can perform correction based on the estimated imaging signal values of a plurality of types of primary colors, and therefore performs more types of correction than when performing correction based only on the external light amount. be able to.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a case where the present invention is applied to a projector having an image processing system will be described as an example with reference to the drawings. In addition, the embodiment shown below does not limit the content of the invention described in the claim at all. In addition, all of the configurations shown in the following embodiments are not necessarily essential as means for solving the problems described in the claims.
[0031]
(Description of the entire system)
FIG. 1 is a schematic diagram illustrating an image projection state according to an example of the present embodiment.
[0032]
The projector 20 projects an image onto the screen 10. As a result, a projection area 12 that is an image display area is formed on the screen 10.
[0033]
As described above, when an image is displayed for a long time using an image display device such as the projector 20, color unevenness (including color unevenness due to luminance unevenness) gradually occurs due to deterioration with time of the optical system or the like.
[0034]
In addition, the appearance of the image in the projection region 12 also changes due to external light 80 such as sunlight or illumination light. That is, the appearance of the image changes depending on not only the deterioration with time but also the actual display state.
[0035]
In order to correct such color unevenness of the image, the projector 20 of the present embodiment includes a sensor 60 that is an imaging unit. The sensor 60 images an area including the projection area 12.
[0036]
Further, in the present embodiment, the projector 20 reduces the predetermined primary color by a predetermined gradation value for each RGB among the white calibration image and the RGB value which is one of a plurality of primary colors constituting the white. A calibration image of three primary color reduction colors is projected.
[0037]
Then, the projector 20 captures each calibration image using the sensor 60 and extracts a projection area in the captured image based on the imaging information (imaging signal value) output from the sensor 60. Then, the projector 20 divides the projection area into a plurality of pixel blocks, calculates an average value of the image signal values of all the pixels in the pixel block for each pixel block, and calculates a pixel based on the average value of each pixel block. A correction amount for each block is calculated, and color unevenness of the image is corrected based on the correction amount.
[0038]
As described above, the projector 20 uses a calibration signal for displaying a white calibration image and a predetermined primary color for each RGB with a predetermined primary color among RGB values that are one of a plurality of primary colors constituting the white. Color unevenness correction and the like can be performed using the calibration images of the three primary color reduction colors reduced by a minute amount, and the external light amount and the like can be grasped using the calibration images of colors other than black. The amount of external light can be obtained without being affected by uneven color that cannot be completely corrected.
[0039]
Then, the projector 20 can perform color reproduction of the image more appropriately by correcting the image signal using the external light amount.
[0040]
Next, functional blocks of the projector 20 for implementing such functions will be described.
[0041]
FIG. 2 is a functional block diagram of the projector 20 according to an example of the present embodiment.
[0042]
The projector 20 includes an imaging unit 180 including a sensor 60, an imaging information processing unit 150 that processes imaging information, a calibration information processing unit 160 that processes calibration information, and a correction information generation unit that generates various correction information. 170.
[0043]
The imaging information processing unit 150 includes an imaging information storage unit 158, a projection area extraction unit 152, and a pixel block image information generation unit 156.
[0044]
In addition, the calibration information processing unit 160 reduces the calibration signal for displaying the white calibration image and one primary color among RGB, which is one of a plurality of primary colors constituting white, by a predetermined gradation value. A calibration signal generation unit 161 that generates a calibration signal for displaying the calibration images of the three primary-color-reduced colors, the imaging signal value of the white calibration image, and the calibration image of the primary-color-reduced color A primary color amount information generation unit 163 that calculates a difference value with the imaging signal value and calculates an estimated imaging signal value of the highest RGB gradation value based on the difference value, an imaging signal value of the white calibration image, and a maximum Calculates the difference value between the estimated imaging signal value of the image of the gradation value and external light amount information indicating the external light amount based on the difference value. It is configured to include an outer light amount information generation section 164 that formed.
[0045]
In addition, the imaging information processing unit 150 includes an imaging information storage unit 158 that stores an imaging signal value obtained by the imaging unit 180, a projection area extraction unit 152 that extracts a projection area (image display area) in a captured image, and the projection area. Pixel block image information generation that divides into a plurality of pixel blocks and generates pixel block image information indicating an average value of image signal values of all pixels constituting each pixel block based on an imaging signal value of a predetermined calibration image Part 156.
[0046]
The imaging signal value and the image signal value may be of the same type (for example, the imaging signal value is an RGB value and the image signal value is also an RGB value, etc.), or the image signal value is obtained by converting the imaging signal value. (For example, the imaging signal value may be an XYZ value and the image signal value may be an RGB value or the like). Here, XYZ is a kind of device independent color defined by CIE (International Lighting Commission).
[0047]
The projector 20 includes an imaging unit 180 having a sensor 60 that captures a calibration image projected on the screen 10.
[0048]
The projector 20 includes an input signal processing unit 110 that converts analog RGB signals (R1, G1, B1) input from a PC or the like into digital RGB signals (R2, G2, B2), and the digital RGB signals (R2, R2, G2, B2). Color correction unit 120 that performs color conversion and gradation conversion on G2, B2) and outputs digital RGB signals (R3, G3, B3), and color on the digital RGB signals (R3, G3, B3). A color unevenness correction unit 130 that corrects unevenness and outputs digital RGB signals (R4, G4, B4), and converts the digital RGB signals (R4, G4, B4) into analog RGB signals (R5, G5, B5). An output signal processing unit 140 and an image projection unit 190 which is a kind of image display means for projecting an image based on the analog RGB signals (R5, G5, B5). It has been made.
[0049]
Further, the projector 20 performs a predetermined correction on the image signal in order to reduce the influence of external light and display an image based on the image signal value of the highest gradation value of each color of RGB and the external light amount. Correction means to perform. The projector 20 includes a color correction unit 120, a color unevenness correction unit 130, and a correction information generation unit 170 as the correction unit. In addition, the color unevenness correction unit 130 includes a correction storage unit 132. Here, the maximum gradation value is, for example, 255 when the gradation is expressed by 8 bits.
[0050]
The image projection unit 190 includes a spatial light modulator 192, a drive unit 194 that drives the spatial light modulator 192, a light source 196, and a lens 198.
[0051]
The driving unit 194 drives the spatial light modulator 192 based on the analog RGB signal from the output signal processing unit 140. Then, the image projection unit 190 projects the light from the light source 196 via the spatial light modulator 192 and the lens 198.
[0052]
Further, as hardware for mounting each unit of the projector 20 described above, for example, the following can be applied.
[0053]
FIG. 3 is a hardware block diagram of the projector 20 according to an example of the present embodiment.
[0054]
For example, the input signal processing unit 110 includes, for example, an A / D converter 930, a correction storage unit 132, and the imaging information storage unit 158 includes, for example, a RAM 950, a color unevenness correction unit 130, a calibration signal generation unit 161, a projection area, and the like. The extraction unit 152, the pixel block image information generation unit 156, the primary color amount information generation unit 163, and the external light amount information generation unit 164 include, for example, the CPU 910 and the image processing circuit 970. The correction information generation unit 170 includes, for example, the image processing circuit 970. The RAM 950, the CPU 910, etc., the output signal processing unit 140, for example, a D / A converter 940, the spatial light modulator 192, for example, a liquid crystal panel 920, and the driving unit 194, for example, a liquid crystal that drives the liquid crystal panel 920. Uses ROM 960 etc. for storing light valve drive driver It can be implemented Te.
[0055]
Note that these units can exchange information with each other via the system bus 980.
[0056]
Each of these units may be implemented in hardware like a circuit, or may be implemented in software like a driver.
[0057]
Furthermore, the function of the calibration signal generation unit 161 or the like may be implemented in the computer by reading the program from the information storage medium 900 that stores the program for causing the computer to function as the calibration signal generation unit 161 or the like.
[0058]
As such an information storage medium 900, for example, a CD-ROM, a DVD-ROM, a ROM, a RAM, an HDD, or the like can be applied, and the program reading method may be a contact method or a non-contact method. Good.
[0059]
Further, in place of the information storage medium 900, the functions described above can be implemented by downloading a program or the like for implementing the functions described above from a host device or the like via a transmission path.
[0060]
(Description of the flow of image processing)
Next, the flow of image processing using these units will be described.
[0061]
FIG. 4 is a flowchart showing a flow of color unevenness correction processing according to an example of the present embodiment.
[0062]
The calibration signal generation unit 161 outputs a predetermined primary color for each RGB with a predetermined primary color among a calibration signal for displaying a white calibration image and an RGB value which is one of a plurality of primary colors constituting white. A calibration signal for displaying the calibration images of the three primary color reduced colors reduced in sequence is sequentially generated, and the image projection unit 190 sequentially projects each calibration image. Each calibration image is composed of a single color (the entire image is a uniform color).
[0063]
The imaging unit 180 captures each calibration image on the screen 10 to generate an imaging signal value, and the imaging information storage unit 158 stores the imaging signal value of each calibration image (step S1).
[0064]
In this embodiment, the sensor 60 has an L value (long wavelength value, R value), M value (medium wavelength value, G value), S value (short wavelength value, each pixel) of the sensor 60 as an imaging signal value. B value) is output. In this case, as the sensor 60, for example, an RGB sensor or the like may be applied.
[0065]
Note that the screen 10 may be any screen, regardless of color or material. Further, the image in the projection area 12 may be distorted. Of course, an XYZ value or the like may be used as the imaging signal value.
[0066]
The projection area extraction unit 152 corresponds to an imaging signal value (for example, R value, G value, B value, L value, M value, S value, luminance value, etc.) for each pixel of the white calibration image and the pixel. A ratio between the calibration signal value for each pixel of the calibration image other than white is calculated, and a projection area in the captured image is extracted based on the difference in the ratio (step S2).
[0067]
The ratio of pixels in the projection area is large (for example, 2 or more), and the ratio of non-projection areas is small (for example, 1). Therefore, the projection area extraction unit 152 can extract the projection area in the captured image based on the ratio.
[0068]
The pixel block image information generation unit 156 associates the four corners of the projection area extracted by the projection area extraction unit 152 with the four corners of the image area of the spatial light modulator 192 (step S3).
[0069]
Then, the pixel block image information generation unit 156 divides the projected area of the captured image into c * d lattice pixel blocks based on the information indicating the association (step S4). Here, c and d are arbitrary positive integers.
[0070]
In addition, the pixel block image information generation unit 156 generates an image signal value (imaging signal value) for each pixel block based on the segmented pixel block and the imaging signal value of the calibration image required by the primary color amount information generation unit 163. An average value is calculated (step S5). Here, the L value, the M value, and the S value are applied as the image signal value and the imaging signal value.
[0071]
In each pixel block, the primary color amount information generation unit 163 captures the imaging signal value of the white calibration image and the imaging signal value of the calibration image of the primary color reduced color obtained by reducing the primary colors of R, G, and B. Is calculated (step S6).
[0072]
Note that white has an RGB value = (255, 255, 255), and includes elements of all primary colors of RGB. For example, when the RGB value of the primary color reduction color obtained by reducing the R color element from white = (240, 255, 255), the difference value obtained by subtracting the measurement value of the primary color reduction color from the white measurement value is RGB Value = (15, 0, 0) can be treated as the measured value of the element having only the R value. Further, since each imaging signal value includes the influence of the external light 80, the difference value between the two imaging signal values is a value that does not include the influence of the external light 80.
[0073]
The primary color amount information generation unit 163 calculates the image signal value (primary color amount information) of the highest gradation value of each RGB color based on the difference value and the gradation characteristic information of each primary color (step S7). More specifically, since the gradation characteristic information is expressed as a gamma curve, for example, the primary color amount information generation unit 163, for example, the difference value when the gradation value of the R color is 15 in the above example. From the relationship with the R color gamma curve, the image signal value in the case of the maximum gradation value of R = 255 can be obtained by calculation by calculating the ratio. The primary color amount information generation unit 163 can also obtain the image signal value of the highest gradation value of G color and the image signal value of the highest gradation value of B color by the same method, and as a result, the primary color amount information generation unit 163 is affected by external light. If not, the white image signal value can be generated as the sum of the estimated imaging signal values of the highest gradation value image of each primary color.
[0074]
Then, the external light amount information generation unit 164 calculates a difference value between the imaging signal value of the white calibration image and the total value of the estimated imaging signal value, and generates external light amount information indicating the external light amount based on the difference value. (Step S8). That is, the imaging signal value of the white calibration image is affected by external light, and the difference value from the total value of the estimated imaging signal values is the imaging signal value of the white calibration image that is not affected by external light. Therefore, the external light amount information generation unit 164 can generate only the influence of external light as external light amount information by calculating the difference value between the two.
[0075]
The correction information generation unit 170 generates correction information for performing a predetermined correction on the image signal in order to display the image while reducing the influence of the external light based on the external light amount information (each value of LMS). (Step S9).
[0076]
More specifically, for example, when correcting the color unevenness, the correction information generation unit 170 grasps the degree of the influence of the external light 80 based on the external light amount information, and the color unevenness correction information according to the degree of the influence. Is output to the color unevenness correction unit 130.
[0077]
Based on the color unevenness correction information, the color unevenness correction unit 130 updates the color unevenness correction data (for example, a one-dimensional lookup table for each primary color of R, G, and B) and stores the color unevenness correction data. Use to correct the input image signals (R3, G3, B3).
[0078]
Then, the image projecting unit 190 projects an image based on the image signal whose color unevenness has been corrected by the color unevenness correcting unit 130 (step S10).
[0079]
As described above, according to the present embodiment, the projector 20 can grasp the amount of external light using a calibration image of a color other than black, and thus is affected by uneven color that cannot be completely corrected. The amount of external light can be obtained without any problem. In other words, according to the present invention, the image processing system or the like can calibrate other than black even when it is affected by color unevenness when a black calibration image is used due to deterioration over time or the like. The amount of external light can be obtained using an image.
[0080]
Since the projector 20 corrects the input image signal so as to reduce the influence of the external light based on the external light amount, the influence of the external light can be reduced and the influence of deterioration with time can also be reduced. Therefore, it is possible to perform color reproduction of the image more appropriately.
[0081]
Further, since the projector 20 can use the LMS value as the image pickup signal value, it can easily and easily correct the color unevenness compared to the case of using the XYZ value or the like.
[0082]
(Modification)
The preferred embodiments to which the present invention is applied have been described above, but the application of the present invention is not limited to the above-described examples.
[0083]
Next, a method for obtaining the external light amount without using a black calibration image by a method different from the above-described embodiment will be described.
[0084]
FIG. 5 is a functional block diagram of a projector according to another example of the present embodiment.
[0085]
The calibration information processing unit 260 in the projector according to the present embodiment has a calibration signal for displaying the first calibration image and a second RGB value having the same ratio as the RGB value of the first calibration image. It includes a calibration signal generation unit 261 that generates a calibration signal for displaying the calibration image.
[0086]
In addition, the calibration information processing unit 260 includes a difference image signal value between the imaging signal value of the first calibration image and the imaging signal value of the second calibration image, and the gradation of the first calibration image. The difference gradation value between the value and the gradation value of the second calibration image is calculated, and is influenced by external light based on the difference image signal value, the difference gradation value, and the gradation characteristic information. The display color information generating unit 263 is configured to generate an image signal value of the first calibration image that is not present (or an image signal value of the second calibration image that is not affected by external light).
[0087]
Note that when the difference gradation value is stored in the memory and the display color information generation unit 263 employs a method of reading the difference gradation value from the memory and using it, the calculation of the difference gradation value is unnecessary. is there.
[0088]
In addition, the calibration information processing unit 260 generates an image signal value of the first calibration image (or the second calibration image) that is affected by the external light from the imaging information storage unit 158, and display color information generation. An external light amount information generation unit 264 that generates external light amount information indicating the external light amount by calculating a difference value from the image signal value of the first or second calibration image that is not affected by the external light from the unit; The primary color amount for calculating the image signal value of the highest gradation value of each color of RGB based on the image signal value of the first or second calibration image not affected by the external light from the display color information generation unit 263 And an information generation unit 265.
[0089]
Next, a flow of color unevenness correction processing using these units will be described.
[0090]
FIG. 6 is a flowchart illustrating a flow of color unevenness correction processing according to another example of the present embodiment.
[0091]
The process up to the generation of the pixel block image information is almost the same as the process described with reference to FIG. However, the imaging information storage unit 158 stores the imaging signal value of the first calibration image (for example, the white calibration image of RGB value = (255, 255, 255)) and the RGB value of the first calibration image. The imaging signal value of a second calibration image (for example, a gray color calibration image with RGB values = (250, 250, 250), etc.) having RGB values in the same ratio as is stored (step S11). In the present embodiment, the screen 10 is preferably white.
[0092]
Then, the projector performs projection area extraction (step S12), association (step S13), pixel block classification (step S14), and calculation of an average value of image signal values for each pixel block (step S15).
[0093]
The display color information generation unit 263 includes a difference image signal value between the imaging signal value of the first calibration image, the imaging signal value of the second calibration image, and the gradation value ( For example, a difference gradation value (for example, 5 in the above example) between 255) in the above example and the gradation value of the second calibration image (for example, 250 in the above example) is calculated (step S16). When the gradation value of each calibration image is fixed, information indicating the difference gradation value is stored in advance in the memory, and the display color information generation unit 263 stores the difference gradation value stored in the memory. You may use the information which shows.
[0094]
Then, the display color information generation unit 263, based on the difference image signal value, the difference gradation value, and the gradation characteristic information, the first calibration image (second calibration image) that is not affected by external light. Alternatively, the estimated imaging signal value (for example, LMS value) is generated (step S17).
[0095]
Then, the external light amount information generation unit 264 obtains the display color information generation unit 263 from the LMS value (imaging signal value) of the predetermined pixel block that is affected by the external light from the pixel block image information generation unit 156. External light quantity information is generated by subtracting the LMS value (estimated imaging signal value) that is not affected by the external light of the pixel block (step S18).
[0096]
The primary color amount information generation unit 265 is one of the LMS values (estimated imaging signal values) of the first or second calibration image that is not affected by the external light from the display color information generation unit 263 (for example, M value, etc.) and the image signal value of the highest gradation value of each color of RGB, that is, the primary color amount that is not affected by external light is calculated based on the one-dimensional lookup table that generates the primary color amount (step S19). ).
[0097]
The subsequent processing using the primary color amount and the external light amount is as described with reference to FIG. The image projection unit 190 projects an image based on the image signal corrected based on the external light amount information (step S20).
[0098]
Even with such a method, the projector 20 can appropriately correct the uneven color of the image without using black.
[0099]
Further, in the above-described embodiment, it has been described that the influence due to the usage state of the external light 80 or the like is reduced. However, the temporal deterioration of the optical system such as the spatial light modulator 192 depends on the usage time, Almost no dependence.
[0100]
Therefore, the projector 20 may perform correction for reducing the influence due to deterioration of the optical system with time and store correction history information indicating whether or not this correction has been performed in the correction storage unit 132.
[0101]
When actually used, the projector 20 performs correction for reducing the influence of the external light 80 or the like based on the correction history information in the correction storage unit 132 when the correction is performed. When the above correction is not performed, correction for deterioration of the optical system and correction for reducing the influence of the external light 80 and the like may be performed.
[0102]
According to this, the projector 20 can reduce the influence due to deterioration over time and can shorten the correction time at the time of actual use.
[0103]
For example, in the above-described embodiments, the uneven color correction is described as an example. However, color correction (tone and brightness correction), image distortion correction based on a difference in color and brightness in the projection region 12, and the like are performed. Even in this case, the present invention is effective.
[0104]
In the above-described embodiments, RGB is used as a primary color, but for example, a color system other than RGB such as XYZ and CMY may be adopted.
[0105]
For example, in the above-described embodiment, the example in which the image processing system is mounted on the projector 20 has been described. However, the image processing system may be mounted on various image display devices such as a CRT (Cathode Ray Tube) in addition to the projector 20. In addition to the liquid crystal projector, for example, a projector using DMD (Digital Micromirror Device) may be used as the projector 20. DMD is a trademark of Texas Instruments Incorporated.
[0106]
Further, the functions of the projector 20 described above may be implemented, for example, by a single projector, or may be distributed by a plurality of processing devices (for example, distributed processing by a projector and a PC).
[Brief description of the drawings]
FIG. 1 is a schematic diagram illustrating an image projection state according to an example of the present embodiment.
FIG. 2 is a functional block diagram of a projector according to an example of the present embodiment.
FIG. 3 is a hardware block diagram of a projector according to an example of the present embodiment.
FIG. 4 is a flowchart illustrating a flow of color unevenness correction processing according to an example of the present embodiment.
FIG. 5 is a functional block diagram of a projector according to another example of the present embodiment.
FIG. 6 is a flowchart illustrating a flow of color unevenness correction processing according to another example of the present embodiment.
[Explanation of symbols]
20 projector, 60 sensor (imaging unit), 120 color correction unit (correction unit), 130 color unevenness correction unit (correction unit), 132 correction storage unit (correction unit), 152 projection area extraction unit (image display area extraction unit) 156 pixel block image information generation unit, 158 imaging information storage unit, 161, 261 calibration signal generation unit, 163, 265 primary color amount information generation unit, 164, 264 external light quantity information generation unit, 170 correction information generation unit (correction means) ), 190 Image projection unit (image display means), 263 Display color information generation unit, 900 Information storage medium

Claims (9)

白色のキャリブレーション画像を表示するためのキャリブレーション信号と、白色から白色を構成する複数種の原色のうち1つの原色を所定階調値分減少させた原色減少色のキャリブレーション画像とを表示するためのキャリブレーション信号を生成するキャリブレーション信号生成手段と、
当該キャリブレーション信号に基づいて各キャリブレーション画像をそれぞれ異なる時点において表示する画像表示手段と、
表示された各キャリブレーション画像を撮像して撮像信号値を生成する撮像手段と、
前記白色のキャリブレーション画像の撮像信号値と、前記原色減少色のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値と、当該原色減少色の原色の階調特性情報とに基づき、前記所定階調値分減少させた原色の最高階調値の画像であって、かつ、外光の影響を受けていない画像の推測撮像信号値を前記原色の種別ごとに演算する原色量情報生成手段と、
前記複数種の原色の最高階調値の推測撮像信号値の合計値と、前記白色のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値を、外光量を示す外光量情報として生成する外光量情報生成手段と、
当該外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行う補正手段と、
を含み、
前記キャリブレーション信号生成手段は、前記複数種の各原色についてそれぞれ所定階調値分減少させた原色減少色のキャリブレーション画像用のキャリブレーション信号を発生し、
前記画像表示手段は、前記補正手段によって補正された画像信号に基づき、画像を表示することを特徴とする画像処理システム。
A calibration signal for displaying a white calibration image, and a calibration image of a primary color reduced color obtained by reducing one primary color among a plurality of primary colors constituting white to white by a predetermined gradation value are displayed. Calibration signal generating means for generating a calibration signal for
Image display means for displaying each calibration image at different time points based on the calibration signal;
Imaging means for imaging each displayed calibration image to generate an imaging signal value;
The difference value between the imaging signal value of the white calibration image and the imaging signal value of the calibration image of the primary color reduction color is calculated, and the difference value and the gradation characteristic information of the primary color of the primary color reduction color are calculated. Based on the primary color amount for calculating the estimated imaging signal value of the image of the highest gradation value of the primary color reduced by the predetermined gradation value and not affected by external light for each type of the primary color Information generating means;
The difference value between the total value of the estimated imaging signal values of the highest gradation values of the plurality of primary colors and the imaging signal value of the white calibration image is calculated, and the difference value is used as the outside light amount information indicating the outside light amount. External light quantity information generating means to generate as
Correction means for performing a predetermined correction on the input image signal in order to display an image with reduced influence of external light based on the external light amount information and the estimated imaging signal values of the plurality of primary colors;
Including
The calibration signal generating means generates a calibration signal for a calibration image of a primary color reduced color reduced by a predetermined gradation value for each of the plurality of primary colors.
The image processing system is characterized in that the image display means displays an image based on the image signal corrected by the correction means.
第1のキャリブレーション画像を表示するためのキャリブレーション信号と、色を規定する複数種の原色の割合が第1のキャリブレーション画像と同一であり、かつ、第1のキャリブレーション画像とは異なる色である第2のキャリブレーション画像を表示するためのキャリブレーション信号を生成するキャリブレーション信号生成手段と、
各キャリブレーション信号に基づいて各キャリブレーション画像をそれぞれ異なる時点において表示する画像表示手段と、
表示された各キャリブレーション画像を撮像して撮像信号値を生成する撮像手段と、
前記第1のキャリブレーション画像の撮像信号値と、前記第2のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値と、第1のキャリブレーション画像の階調値と第2のキャリブレーション画像の階調値との差分値と、前記複数種の原色の階調特性情報とに基づき、外光の影響を受けていない前記第1のキャリブレーション画像の推測撮像信号値または外光の影響を受けていない前記第2のキャリブレーション画像の推測撮像信号値を生成する表示色情報生成手段と、
前記撮像手段からの第1または第2のキャリブレーション画像の撮像信号値と、前記表示色情報生成手段からの第1または第2のキャリブレーション画像の推測撮像信号値との差分値を演算し、当該差分値を、外光量を示す外光量情報として生成する外光量情報生成手段と、
当該外光量情報に基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行う補正手段と、
を含み、
前記画像表示手段は、前記補正手段によって補正された画像信号に基づき、画像を表示することを特徴とする画像処理システム。
The calibration signal for displaying the first calibration image and the ratio of the plurality of primary colors that define the color are the same as those in the first calibration image, and are different from the first calibration image. Calibration signal generating means for generating a calibration signal for displaying the second calibration image,
Image display means for displaying each calibration image at different time points based on each calibration signal;
Imaging means for imaging each displayed calibration image to generate an imaging signal value;
The difference value between the imaging signal value of the first calibration image and the imaging signal value of the second calibration image is calculated, and the difference value, the gradation value of the first calibration image, and the second value are calculated. Based on the difference value between the gradation value of the first calibration image and the gradation characteristic information of the plurality of primary colors, the estimated imaging signal value of the first calibration image that is not affected by external light or outside Display color information generating means for generating an estimated imaging signal value of the second calibration image not affected by light;
Calculating a difference value between the imaging signal value of the first or second calibration image from the imaging unit and the estimated imaging signal value of the first or second calibration image from the display color information generation unit; External light quantity information generating means for generating the difference value as external light quantity information indicating the external light quantity;
Correction means for performing a predetermined correction on the input image signal in order to display an image with reduced influence of external light based on the external light amount information
Including
The image processing system is characterized in that the image display means displays an image based on the image signal corrected by the correction means.
請求項2において、
前記表示色情報生成手段からの第1または第2のキャリブレーション画像の推測撮像信号値と、前記複数種の原色の階調特性情報とに基づき、外光の影響を受けていない前記複数種の原色の最高階調値の推測撮像信号値を演算する原色量情報生成手段を含み、
前記補正手段は、前記外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、入力画像信号に対して所定の補正を行うことを特徴とする画像処理システム。
In claim 2,
Based on the estimated imaging signal value of the first or second calibration image from the display color information generation means and the gradation characteristic information of the plurality of primary colors, the plurality of types that are not affected by external light Including primary color amount information generating means for calculating an estimated imaging signal value of the highest gradation value of the primary color
The image processing system according to claim 1, wherein the correction unit performs predetermined correction on an input image signal based on the external light quantity information and the estimated image signal values of the plurality of primary colors.
請求項1〜3のいずれかに記載の画像処理システムを有することを特徴とするプロジェクタ。  A projector comprising the image processing system according to claim 1. コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
白色のキャリブレーション画像を表示するためのキャリブレーション信号と、白色から白色を構成する複数種の原色のうち1つの原色を所定階調値分減少させた原色減少色のキャリブレーション画像とを表示するためのキャリブレーション信号を生成するキャリブレーション信号生成手段と、
当該キャリブレーション信号に基づいて各キャリブレーション画像をそれぞれ異なる時点において表示する画像表示手段と、
表示された各キャリブレーション画像を撮像して撮像信号値を生成する撮像手段と、
前記白色のキャリブレーション画像の撮像信号値と、前記原色減少色のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値と、当該原色減少色の原色の階調特性情報とに基づき、前記所定階調値分減少させた原色の最高階調値の画像であって、かつ、外光の影響を受けていない画像の推測撮像信号値を前記原色の種別ごとに演算する原色量情報生成手段と、
前記複数種の原色の最高階調値の推測撮像信号値の合計値と、前記白色のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値を、外光量を示す外光量情報として生成する外光量情報生成手段と、
当該外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行う補正手段として機能させ、
前記キャリブレーション信号生成手段は、前記複数種の各原色についてそれぞれ所定階調値分減少させた原色減少色のキャリブレーション画像用のキャリブレーション信号を発生し、
前記画像表示手段は、前記補正手段によって補正された画像信号に基づき、画像を表示することを特徴とするプログラム。
A computer-readable program,
Computer
A calibration signal for displaying a white calibration image, and a calibration image of a primary color reduced color obtained by reducing one primary color among a plurality of primary colors constituting white to white by a predetermined gradation value are displayed. Calibration signal generating means for generating a calibration signal for
Image display means for displaying each calibration image at different time points based on the calibration signal;
Imaging means for imaging each displayed calibration image to generate an imaging signal value;
The difference value between the imaging signal value of the white calibration image and the imaging signal value of the calibration image of the primary color reduction color is calculated, and the difference value and the gradation characteristic information of the primary color of the primary color reduction color are calculated. Based on the primary color amount for calculating the estimated imaging signal value of the image of the highest gradation value of the primary color reduced by the predetermined gradation value and not affected by external light for each type of the primary color Information generating means;
The difference value between the total value of the estimated imaging signal values of the highest gradation values of the plurality of primary colors and the imaging signal value of the white calibration image is calculated, and the difference value is used as the outside light amount information indicating the outside light amount. External light quantity information generating means to generate as
Based on the external light amount information and the estimated imaging signal values of the plurality of primary colors, function as a correction unit that performs predetermined correction on the input image signal in order to display an image with reduced influence of external light Let
The calibration signal generating means generates a calibration signal for a calibration image of a primary color reduced color reduced by a predetermined gradation value for each of the plurality of primary colors.
The image display means displays an image based on the image signal corrected by the correction means.
コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第1のキャリブレーション画像を表示するためのキャリブレーション信号と、色を規定する複数種の原色の割合が第1のキャリブレーション画像と同一であり、かつ、第1のキャリブレーション画像とは異なる色である第2のキャリブレーション画像を表示するためのキャリブレーション信号を生成するキャリブレーション信号生成手段と、
各キャリブレーション信号に基づいて各キャリブレーション画像をそれぞれ異なる時点において表示する画像表示手段と、
表示された各キャリブレーション画像を撮像して撮像信号値を生成する撮像手段と、
前記第1のキャリブレーション画像の撮像信号値と、前記第2のキャリブレーション画像の撮像信号値との差分値を演算し、当該差分値と、第1のキャリブレーション画像の階調値と第2のキャリブレーション画像の階調値との差分値と、前記複数種の原色の階調特性情報とに基づき、外光の影響を受けていない前記第1のキャリブレーション画像の推測撮像信号値または外光の影響を受けていない前記第2のキャリブレーション画像の推測撮像信号値を生成する表示色情報生成手段と、
前記撮像手段からの第1または第2のキャリブレーション画像の撮像信号値と、前記表示色情報生成手段からの第1または第2のキャリブレーション画像の推測撮像信号値との差分値を演算し、当該差分値を、外光量を示す外光量情報として生成する外光量情報生成手段と、
当該外光量情報に基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行う補正手段として機能させ、
前記画像表示手段は、前記補正手段によって補正された画像信号に基づき、画像を表示することを特徴とするプログラム。
A computer-readable program,
Computer
The calibration signal for displaying the first calibration image and the ratio of the plurality of primary colors that define the color are the same as those in the first calibration image, and are different from the first calibration image. Calibration signal generating means for generating a calibration signal for displaying the second calibration image,
Image display means for displaying each calibration image at different time points based on each calibration signal;
Imaging means for imaging each displayed calibration image to generate an imaging signal value;
The difference value between the imaging signal value of the first calibration image and the imaging signal value of the second calibration image is calculated, and the difference value, the gradation value of the first calibration image, and the second value are calculated. Based on the difference value between the gradation value of the first calibration image and the gradation characteristic information of the plurality of primary colors, the estimated imaging signal value of the first calibration image that is not affected by external light or outside Display color information generating means for generating an estimated imaging signal value of the second calibration image not affected by light;
Calculating a difference value between the imaging signal value of the first or second calibration image from the imaging unit and the estimated imaging signal value of the first or second calibration image from the display color information generation unit; External light quantity information generating means for generating the difference value as external light quantity information indicating the external light quantity;
Based on the external light amount information, in order to display an image with reduced influence of external light, function as a correction unit that performs a predetermined correction on the input image signal,
The image display means displays an image based on the image signal corrected by the correction means.
コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、請求項5、6のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。  An information storage medium storing a computer-readable program, wherein the program according to claim 5 is stored. 白色のキャリブレーション画像を表示し、
当該白色のキャリブレーション画像を撮像して撮像信号値を生成し、
白色から白色を構成する複数種の原色のうち1つの原色を所定階調値分減少させた原色減少色のキャリブレーション画像を表示する処理と、当該原色減少色のキャリブレーション画像を撮像して撮像信号値を生成する処理を各原色に対して繰り返し実行し、
前記白色のキャリブレーション画像の撮像信号値と、前記原色減少色のキャリブレーション画像の撮像信号値との差分値を演算し、
当該差分値と、当該原色減少色の原色の階調特性情報とに基づき、前記所定階調値分減少させた原色の最高階調値の画像であって、かつ、外光の影響を受けていない画像の推測撮像信号値を前記原色の種別ごとに演算し、
前記複数種の原色の最高階調値の推測撮像信号値の合計値と、前記白色のキャリブレーション画像の撮像信号値との差分値を演算し、
当該差分値を、外光量を示す外光量情報として生成し、
当該外光量情報と、前記複数種の原色の推測撮像信号値とに基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行うことを特徴とする画像処理方法。
Display the white calibration image,
Capture the white calibration image to generate the imaging signal value,
Processing to display a calibration image of a primary color reduced color obtained by reducing one primary color of a plurality of primary colors constituting white to white by a predetermined gradation value, and imaging the calibration image of the primary color reduced color Repeat the process of generating signal values for each primary color,
Calculating a difference value between the imaging signal value of the white calibration image and the imaging signal value of the calibration image of the primary color reduction color;
Based on the difference value and the gradation characteristic information of the primary color of the primary color reduced color, the image has the maximum gradation value of the primary color reduced by the predetermined gradation value and is affected by external light. Calculate the estimated imaging signal value of no image for each primary color type,
Calculating a difference value between a total value of estimated imaging signal values of the highest gradation values of the plurality of primary colors and an imaging signal value of the white calibration image;
The difference value is generated as external light amount information indicating the external light amount,
Based on the external light amount information and the estimated imaging signal values of the plurality of primary colors, a predetermined correction is performed on the input image signal in order to display an image while reducing the influence of external light. Image processing method.
第1のキャリブレーション画像を表示し、
表示した第1のキャリブレーション画像を撮像して撮像信号値を生成し、
色を規定する複数種の原色の割合が第1のキャリブレーション画像と同一であり、かつ、第1のキャリブレーション画像とは異なる色である第2のキャリブレーション画像を表示し、
表示した第2のキャリブレーション画像を撮像して撮像信号値を生成し、
前記第1のキャリブレーション画像の撮像信号値と、前記第2のキャリブレーション画像の撮像信号値との差分値を演算し、
当該差分値と、第1のキャリブレーション画像の階調値と第2のキャリブレーション画像の階調値との差分値と、前記複数種の原色の階調特性情報とに基づき、外光の影響を受けていない前記第1のキャリブレーション画像の推測撮像信号値または外光の影響を受けていない前記第2のキャリブレーション画像の推測撮像信号値を生成し、
第1または第2のキャリブレーション画像の撮像信号値と、第1または第2のキャリブレーション画像の推測撮像信号値との差分値を演算し、当該差分値を、外光量を示す外光量情報として生成し、
当該外光量情報に基づき、外光の影響を低減して画像を表示するために、入力画像信号に対して所定の補正を行うことを特徴とする画像処理方法。
Display the first calibration image,
Imaging the displayed first calibration image to generate an imaging signal value;
Displaying a second calibration image in which the ratio of the primary colors defining the colors is the same as that of the first calibration image and is different from the first calibration image;
Imaging the displayed second calibration image to generate an imaging signal value,
Calculating a difference value between the imaging signal value of the first calibration image and the imaging signal value of the second calibration image;
The influence of external light is based on the difference value, the difference value between the gradation value of the first calibration image and the gradation value of the second calibration image, and the gradation characteristic information of the plurality of primary colors. Generating an estimated imaging signal value of the first calibration image that has not been received or an estimated imaging signal value of the second calibration image that has not been affected by external light,
A difference value between the imaging signal value of the first or second calibration image and the estimated imaging signal value of the first or second calibration image is calculated, and the difference value is used as external light amount information indicating the external light amount. Generate
An image processing method, comprising: performing a predetermined correction on an input image signal in order to display an image with reduced influence of external light based on the external light amount information.
JP2003138173A 2003-05-16 2003-05-16 Image processing system, projector, program, information storage medium, and image processing method Expired - Fee Related JP3731666B2 (en)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2003138173A JP3731666B2 (en) 2003-05-16 2003-05-16 Image processing system, projector, program, information storage medium, and image processing method
TW093112512A TWI249959B (en) 2003-05-16 2004-05-04 Image processing system, projector, information memorizing medium and image processing method
US10/843,530 US7061506B2 (en) 2003-05-16 2004-05-12 Image processing system, projector, program, information storage medium, and image processing method
EP04252819A EP1478192B1 (en) 2003-05-16 2004-05-14 Image processing system, projector, information storage medium, and image processing method
EP07075180A EP1791370B1 (en) 2003-05-16 2004-05-14 Image processing system, projector, information storage medium, and image processing method
DE602004026958T DE602004026958D1 (en) 2003-05-16 2004-05-14 Image processing system, projector, information storage medium and image processing method
DE602004032580T DE602004032580D1 (en) 2003-05-16 2004-05-14 Image processing system, projector, information storage medium and image processing method
KR1020040034460A KR100600228B1 (en) 2003-05-16 2004-05-14 Image processing system, projector, information storage medium, and image processing method
CN2007101692546A CN101155312B (en) 2003-05-16 2004-05-14 Image processing system, projector, and image processing method
CNB2004100383185A CN100426325C (en) 2003-05-16 2004-05-14 Image processing system, projector, and image processing method
US11/372,262 US7245307B2 (en) 2003-05-16 2006-03-10 Image processing system, projector, information storage medium, and image processing method
US11/802,398 US7417643B2 (en) 2003-05-16 2007-05-22 Image processing system, projector, storage medium, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003138173A JP3731666B2 (en) 2003-05-16 2003-05-16 Image processing system, projector, program, information storage medium, and image processing method

Publications (2)

Publication Number Publication Date
JP2004341269A JP2004341269A (en) 2004-12-02
JP3731666B2 true JP3731666B2 (en) 2006-01-05

Family

ID=33527623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003138173A Expired - Fee Related JP3731666B2 (en) 2003-05-16 2003-05-16 Image processing system, projector, program, information storage medium, and image processing method

Country Status (2)

Country Link
JP (1) JP3731666B2 (en)
CN (1) CN101155312B (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163725A (en) 2005-12-13 2007-06-28 Seiko Epson Corp Image display system, image display method, information processor, image display device, control program, and recording medium
JP4561668B2 (en) * 2006-03-28 2010-10-13 セイコーエプソン株式会社 Projector, display image adjustment method, program for executing the method, and recording medium storing the program
JP2008058574A (en) 2006-08-31 2008-03-13 Seiko Epson Corp Image display system and image display device
JP5430950B2 (en) * 2008-04-01 2014-03-05 ミツミ電機株式会社 Image display device
CA2722132C (en) 2008-05-02 2017-03-28 Thomson Licensing Method, apparatus and system for automated color management in digital cinema
CN101959072B (en) * 2010-07-30 2012-06-27 浙江大学 Method for reproducing projection display color of colorful surface
CN103167293B (en) * 2011-12-09 2015-07-22 夏普株式会社 Display system
JP6490963B2 (en) * 2012-03-12 2019-03-27 住友化学株式会社 Optical display component alignment apparatus and optical display component alignment method
JP6565224B2 (en) * 2015-03-05 2019-08-28 セイコーエプソン株式会社 Projector and projector control method
US10798373B2 (en) * 2016-07-22 2020-10-06 Sharp Kabushiki Kaisha Display correction apparatus, program, and display correction system
JP2019144793A (en) * 2018-02-20 2019-08-29 富士ゼロックス株式会社 Information processing device and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100396683B1 (en) * 2001-01-08 2003-09-03 엘지전자 주식회사 Method and apparatus for correcting screen brightness/chromaticity of TV
JP3705180B2 (en) * 2001-09-27 2005-10-12 セイコーエプソン株式会社 Image display system, program, information storage medium, and image processing method

Also Published As

Publication number Publication date
JP2004341269A (en) 2004-12-02
CN101155312B (en) 2010-12-15
CN101155312A (en) 2008-04-02

Similar Documents

Publication Publication Date Title
KR100577494B1 (en) Image processing system, projector, and image processing method
EP1478192B1 (en) Image processing system, projector, information storage medium, and image processing method
JP3719411B2 (en) Image display system, projector, program, information storage medium, and image processing method
JP3690402B2 (en) Image processing system, projector, program, information storage medium, and image processing method
JP2011107703A (en) Method and device for managing color
JP3731666B2 (en) Image processing system, projector, program, information storage medium, and image processing method
JP2004226608A (en) Image processing system, projector, program, information storage medium, and image processing method
JP3657497B2 (en) Image display method
JP3515042B2 (en) Image display device and image signal correction device
JP2010271367A (en) Method for setting color conversion parameter, and image display
JP5509610B2 (en) Image processing apparatus, image display apparatus, and image processing method
JP2007171744A (en) Image display system, image display method, information processing device, liquid crystal device, control program, and recording medium
JP2016149047A (en) Image processing apparatus, display device, and image processing method
JP2006349792A (en) Projector, image processing method for projector and image processing program for projector
JP5321089B2 (en) Image processing apparatus, image display apparatus, and image processing method
JP3731667B2 (en) Image processing system, projector, program, information storage medium, and image processing method
JP3675298B2 (en) Display device
JP2010128040A (en) Display device
JP2011004158A (en) Color conversion device and color conversion method
JP2006109498A (en) Image processing method, image processor and recording medium
JP2009094855A (en) Image processor, and image processing method and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051004

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111021

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121021

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121021

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131021

Year of fee payment: 8

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees