JP3707371B2 - 画像表示システム、画像処理方法および情報記憶媒体 - Google Patents

画像表示システム、画像処理方法および情報記憶媒体 Download PDF

Info

Publication number
JP3707371B2
JP3707371B2 JP2000257160A JP2000257160A JP3707371B2 JP 3707371 B2 JP3707371 B2 JP 3707371B2 JP 2000257160 A JP2000257160 A JP 2000257160A JP 2000257160 A JP2000257160 A JP 2000257160A JP 3707371 B2 JP3707371 B2 JP 3707371B2
Authority
JP
Japan
Prior art keywords
image
information
color difference
brightness
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000257160A
Other languages
English (en)
Other versions
JP2002072993A (ja
JP2002072993A5 (ja
Inventor
修 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2000257160A priority Critical patent/JP3707371B2/ja
Priority to EP01958569A priority patent/EP1315142B1/en
Priority to US10/111,321 priority patent/US6940531B2/en
Priority to CNB018033636A priority patent/CN1172287C/zh
Priority to PCT/JP2001/007377 priority patent/WO2002019308A1/ja
Publication of JP2002072993A publication Critical patent/JP2002072993A/ja
Publication of JP2002072993A5 publication Critical patent/JP2002072993A5/ja
Application granted granted Critical
Publication of JP3707371B2 publication Critical patent/JP3707371B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • H04N5/58Control of contrast or brightness in dependence upon ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像表示システム、画像処理方法および情報記憶媒体に関する。
【0002】
【背景技術および発明が解決しようとする課題】
複数の異なる場所でプレゼンテーションやミーティング等を行う場合、制作者の意図した画像をどの場所においても再現できることが効果的なプレゼンテーション等を行う上で重要である。
【0003】
このような画像の見えを調整する考え方として、デバイスの入出力特性を管理して色を再現するカラーマネジメントという考え方がある。
【0004】
しかし、従来のカラーマネジメントでは、画像の再現性だけが考慮され、過補正についての考慮がなされていない。
【0005】
すなわち、照明光等の環境光が存在する視環境下で画像を見た場合、人は、照明光等に順応しており(色順応、明順応および暗順応)、数値的には理想の見え方をする画像が表示されても、実際には補正のし過ぎ(過補正)になっている場合がある。
【0006】
人間の目には、明るさに感度を持つ細胞、赤色に感度を持つ細胞、緑色に感度を持つ細胞および青色に感度を持つ細胞の4種類の細胞が備わっている。これらの細胞には、目のレンズを介して入力される入力情報を自動的に補正するメカニズムが備わっている。したがって、機械的に表示用情報の補正を行うと、過補正になってしまう場合がある。
【0007】
本発明は、上記の課題に鑑みなされたものであり、その目的は、過補正を考慮した画像表示システム、画像処理方法および情報記憶媒体を提供することにある。
【0008】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像表示システムは、画像の被表示領域における視環境を把握する視環境把握手段による視環境情報に基づき、前記画像を表示するために用いられる画像表示用情報を補正して表示する画像表示システムにおいて、
前記視環境情報に基づき、前記視環境での画像の明るさと理想環境での画像の明るさが異なる場合、前記視環境情報に含まれる明るさ情報を、前記理想環境の明るさと適合するように補正する明るさ補正手段と、
前記明るさ情報の補正された前記視環境情報に含まれる色情報と、前記理想環境での画像の色情報と、に基づき、色差を演算する色差演算手段と、
演算された色差が、許容補正範囲に該当しない場合、当該色差を前記許容補正範囲に該当するように補正する色差補正手段と、
当該色差補正手段からの色差に基づき、前記画像表示用情報を補正する画像補正手段と、
を含むことを特徴とする。
【0009】
本発明によれば、求められた色差が許容補正範囲に該当しない場合には、当該色差を前記許容補正範囲に該当するように補正することにより、過補正をしないで済み、人間の目に応じた適切な画像の見えを再現することができる。
【0010】
なお、許容補正範囲としては、例えば、色差の値によって画像表示に用いられる画像表示用情報の補正を行った場合に過補正にならない範囲が該当する。
【0011】
また、本発明によれば、視環境での画像の明るさを示す明るさ情報を理想環境の明るさと適合するように補正することにより、明るさの要素を排除して色だけの色差を得ることができる。
【0012】
これにより、例えば、色差を補正量として適用すれば、画像表示用情報を迅速に補正することができる。
【0013】
したがって、画像の見え方を短時間で補正することのできる画像表示システムを実現できる。
【0014】
なお、明るさ情報としては、例えば、Lab形式で表現された色におけるL値、Yxy形式で表現された色におけるY値等が該当する。また、色情報としては、例えば、Lab形式で表現された色におけるa値およびb値、Yxy形式で表現された色におけるx値およびy値等が該当する。また、画像表示用情報としては、例えば、入出力用プロファイル、ルックアップテーブル等が該当する。
【0015】
また、前記色差補正手段は、入力される色差に対して所定の係数を掛けて色差を出力することが好ましい。
【0016】
これによれば、入力される色差に対して所定の係数を掛けて色差を出力することにより、色差の補正を迅速に行うことができる。これにより、よりリアルタイムに画像表示用情報の補正を行うことができる。
【0017】
なお、ここで、前記係数をkとした場合、0<k<=1.0であることが好ましい。また、前記視環境が明るい状態の場合は前記視環境が暗い状態の場合と比べて係数kの値を相対的に小さくすることが好ましい。
【0018】
すなわち、例えば、前記理想環境の画像情報および前記視環境情報がYxy形式で表現される場合、k=f(Y)であることが好ましい。つまり、前記係数kは、前記理想環境での画像の明るさ情報または前記視環境情報に含まれる明るさ情報に応じて変動する関数値であることが好ましい。
【0019】
係数kをこのように設定することにより、画像表示用情報を、明るさに応じて適切に補正することができ、人間の目の順応に即して適切に補正することができる。
【0020】
なお、画像情報としては、例えば、原画像データが該当する。
【0021】
また、前記理想環境の画像情報および前記視環境情報は、Lab形式またはYxy形式で表現され、
前記明るさ補正手段は、前記視環境情報のL値またはY値を前記理想環境の画像情報のL値またはY値に置換することが好ましい。
【0022】
これによれば、例えば、画像をYxy形式で表現した場合、前記視環境情報に含まれる明るさ値Y3を、前記理想環境の明るさ値Y1に置き換えることにより、前記視環境情報に含まれる色値x3およびy3と、理想環境での色値x1およびy1との色差を迅速に求めることができる。
【0023】
また、前記視環境把握手段は、前記被表示領域における画像の三刺激値を測定する手段または前記被表示領域における画像を撮像する手段であることが好ましい。
【0024】
これによれば、画像の輝度の測定や画像の撮像は、表示手段と被表示領域との距離に依存せずに行えるため、表示手段と被表示領域との距離が変動した場合でも、視環境を適切に把握することができる。
【0025】
なお、画像の三刺激値としては、例えば、XYZ値、RGB値並びにこれらの等色関数値であるxbar値、ybar値およびzbar値、rbar値、gbar値およびbbar値等が該当する。
【0026】
また、前記明るさ補正手段と、
前記色差演算手段と、
前記色差補正手段と、
前記画像補正手段と、
補正された画像を前記被表示領域へ向け投写する手段と、
を有する前面投写型の画像投写装置を含むことが好ましい。
【0027】
これによれば、前面投写型の画像投写装置の場合には、設置される環境によって、投写手段と非表示領域を有するスクリーンとの距離が変動するが、前記視環境把握手段を用いることにより、距離が変動した場合でも、視環境を適切に把握することができる。
【0028】
また、本発明に係る画像処理方法は、画像の被表示領域における視環境を示す視環境情報に基づき、前記画像を表示するために用いられる画像表示用情報を補正するための画像処理方法において、
前記視環境情報を生成する工程と、
生成された視環境情報に基づき、当該視環境における所定の画像と、理想環境における前記所定の画像との色差を演算する色差演算工程と、
演算された色差が、許容補正範囲に該当しない場合、当該色差を前記許容補正範囲に該当するように補正する色差補正工程と、
色差補正工程で出力された色差に基づき、前記画像表示用情報を補正する工程と、
を含むことを特徴とする。
【0029】
本発明によれば、求められた色差が許容補正範囲に該当しない場合には、当該色差を前記許容補正範囲に該当するように補正することにより、過補正をしないで済み、人間の目に応じた適切な画像の見えを再現することができる。
【0030】
また、本発明によれば、例えば、色差を補正量として適用することにより、画像表示用情報を迅速に補正することができる。
【0031】
したがって、画像の見え方を短時間で補正することができる。
【0032】
また、前記色差補正工程では、入力される色差に対して所定の係数を掛けて色差を出力することが好ましい。
【0033】
これによれば、入力される色差に対して所定の係数を掛けて色差を出力することにより、色差の補正を迅速に行うことができる。これにより、よりリアルタイムに画像表示用情報の補正を行うことができる。
【0034】
また、前記視環境情報は、前記視環境での画像の色を示す色情報と、前記視環境での画像の明るさを示す明るさ情報と、を含み、
前記色差把握工程は、
前記視環境情報に基づき、前記視環境での画像の明るさと前記理想環境での画像の明るさが異なる場合、前記視環境情報に含まれる明るさ情報を、前記理想環境の明るさと適合するように補正する工程と、
前記明るさ情報の補正された前記視環境情報に含まれる色情報と、前記理想環境での画像の色情報と、に基づき、前記色差を演算する工程と、
を含むことが好ましい。
【0035】
これによれば、視環境での画像の明るさを示す明るさ情報を理想環境の明るさと適合するように補正することにより、明るさの要素を排除して色だけの色差を得ることができる。
【0036】
また、前記理想環境の画像情報および前記視環境情報は、Lab形式またはYxy形式で表現され、
前記明るさ補正工程は、前記視環境情報のL値またはY値を前記理想環境の画像情報のL値またはY値に置換する工程を含むことが好ましい。
【0037】
これによれば、例えば、画像をYxy形式で表現した場合、前記視環境情報に含まれる明るさ値Y3を、前記理想環境の明るさ値Y1に置き換えることにより、前記視環境情報に含まれる色値x3およびy3と、理想環境での色値x1およびy1との色差を迅速に求めることができる。
【0038】
また、本発明に係る情報記憶媒体は、画像の被表示領域における視環境を示す視環境情報に基づき、前記画像を表示するために用いられる画像表示用情報を補正するためのプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体において、
コンピュータを
前記視環境情報を生成する手段と、
生成された視環境情報に基づき、当該視環境における所定の画像と、理想環境における前記所定の画像との色差を演算する色差演算手段と、
演算された色差が、許容補正範囲に該当しない場合、当該色差を前記許容補正範囲に該当するように補正する色差補正手段と、
色差補正手段から出力された色差に基づき、前記画像表示用情報を補正する手段として機能させるためのプログラムを記憶したことを特徴とする。
【0039】
また、本発明に係るプログラムは、上記各手段を実現するためのモジュールを含むことを特徴とする。
【0040】
本発明によれば、求められた色差が許容補正範囲に該当しない場合には、当該色差を前記許容補正範囲に該当するように補正することにより、過補正をしないで済み、人間の目に応じた適切な画像の見えを再現することができる。
【0041】
また、本発明によれば、視環境での画像の明るさを示す明るさ情報を理想環境の明るさと適合するように補正することにより、明るさの要素を排除して色だけの色差を得ることができる。
【0042】
これにより、例えば、色差を補正量として適用すれば、画像表示用情報を迅速に補正することができる。
【0043】
したがって、画像の見え方を短時間で補正することのできる画像表示システムを実現できる。
【0044】
また、前記色差補正手段は、入力される色差に対して所定の係数を掛けて色差を出力することが好ましい。
【0045】
これによれば、入力される色差に対して所定の係数を掛けて色差を出力することにより、色差の補正を迅速に行うことができる。これにより、よりリアルタイムに画像表示用情報の補正を行うことができる。
【0046】
また、前記視環境情報は、前記視環境での画像の色を示す色情報と、前記視環境での画像の明るさを示す明るさ情報と、を含み、
前記色差把握手段は、
前記視環境情報に基づき、前記視環境での画像の明るさと前記理想環境での画像の明るさが異なる場合、前記視環境情報に含まれる明るさ情報を、前記理想環境の明るさと適合するように補正する手段と、
前記明るさ情報の補正された前記視環境情報に含まれる色情報と、前記理想環境での画像の色情報と、に基づき、前記色差を演算する手段と、
を含むことが好ましい。
【0047】
これによれば、視環境での画像の明るさを示す明るさ情報を理想環境の明るさと適合するように補正することにより、明るさの要素を排除して色だけの色差を得ることができる。
【0048】
【発明の実施の形態】
以下、本発明を、液晶プロジェクタを用いた画像表示システムに適用した場合を例に採り、図面を参照しつつ説明する。
【0049】
(システム全体の説明)
図1は、本実施の形態の一例に係るレーザーポインタ50を用いた画像表示システムの概略説明図である。
【0050】
スクリーン10のほぼ正面に設けられた前面投写型の画像投写装置であるプロジェクタ20から、所定のプレゼンテーション用の画像が投写される。プレゼンター30は、スクリーン10上の被表示領域である画像表示領域12の画像の所望の位置をレーザーポインタ50から投射したスポット光70で指し示しながら、第三者に対するプレゼンテーションを行う。
【0051】
このようなプレゼンテーションを行う場合、スクリーン10の種別や、環境光80によって画像表示領域12の画像の見え方は大きく異なってしまう。例えば、同じ白を表示する場合であっても、スクリーン10の種別によっては、黄色がかった白に見えたり、青色がかった白に見えたりする。また、同じ白を表示する場合であっても、環境光80が異なれば、明るい白に見えたり、暗い白に見えたりする。
【0052】
また、近年、プロジェクタ20は小型化が進み、持ち運びも容易になっている。このため、例えば、客先においてプレゼンテーションを行う場合もあり得るが、客先の環境に合わせて色を事前に調整することは困難であり、客先で色を手動で調整するには時間がかかりすぎる。
【0053】
図2は、従来のプロジェクタ内のプロジェクタ画像処理部100の機能ブロック図である。
【0054】
従来のプロジェクタでは、PC等から送られるアナログ形式のRGB信号を構成するR1信号、G1信号、B1信号をA/D変換部110に入力し、デジタル形式のR2信号、G2信号、B2信号をプロジェクタ画像処理部100で色変換を行っている。
【0055】
そして、色変換されたR3信号、G3信号、B3信号をD/A変換部180に入力し、アナログ変換されたR4信号、G4信号、B4信号をL/V(ライトバルブ)駆動部190に入力し、液晶ライトバルブを駆動して画像の投写表示を行っている。
【0056】
また、CPU200によって制御されるプロジェクタ画像処理部100は、プロジェクタ色変換部120と、プロファイル管理部130とを含んで構成されている。
【0057】
プロジェクタ色変換部120は、A/D変換部110からのRGBの各デジタル信号(R2信号、G2信号、B2信号)を、プロファイル管理部130で管理されているプロジェクタの入出力用プロファイルに基づき、プロジェクタ出力用のRGBデジタル信号(R3信号、G3信号、B3信号)に変換する。なお、ここで、プロファイルとは、特性データという意味である。
【0058】
このように、従来のプロジェクタでは、プロジェクタ固有の入出力特性を示す入出力用プロファイルに基づき、色の変換を行っているだけであり、画像の投写表示される視環境は考慮されていない。
【0059】
しかし、上述したように、視環境を考慮しなければ、色の見え方を統一することは困難である。色の見え方は、光、対象の光の反射または透過、視覚の3つの要因で決定する。
【0060】
本実施の形態では、光および対象の光の反射または透過を反映した視環境を把握することにより、適用される環境によらずに同一の色を再現できる画像表示システムを実現している。
【0061】
また、プロジェクタ20とスクリーン10との距離によって画像の見え方は変わってくる。プロジェクタ20とスクリーン10との距離を計測して、距離を考慮して画像を補正することも可能であるが、画像の補正手段に加えて距離の計測手段を設けると画像表示システム自体が大がかりなものとなってしまう。
【0062】
本実施の形態では、プロジェクタ20とスクリーン10との距離に依存しない画像処理方法を適用することにより、距離の計測手段を設けることなく、画像の補正を行っている。
【0063】
具体的には、図1に示すように、視環境を把握する視環境把握手段として機能する色光センサー60を設け、色光センサー60からの視環境情報をプロジェクタ20に入力する。色光センサー60は、具体的には、スクリーン10内の画像表示領域12の視環境情報を計測する。ここで、色光センサー60は、画像表示領域12に表示された画像の三刺激値を把握する。この三刺激値としては、例えば、XYZ値およびXYZ値の等色関数値であるxbar値、ybar値およびzbar値並びにRGB値およびRGB値の等色関数値であるrbar値、gbar値およびbbar値等を適用できる。
【0064】
プロジェクタ20には、前記視環境情報に基づき、前記視環境での画像の明るさが、理想環境での画像の明るさと異なる場合、前記視環境情報に含まれる明るさ情報を、前記理想環境の明るさと適合するように補正する明るさ補正手段と、前記明るさ情報の補正された前記視環境情報に含まれる色情報と、前記理想環境での画像の色情報との色差を演算する色差演算手段と、演算された色差に基づき、前記画像を表示するために用いられる画像表示用情報を補正する画像補正手段とが設けられている。
【0065】
さらに、プロジェクタ20には、画像表示用情報の過補正を防止するため、上記色差の値が所定の許容補正範囲内に該当しない場合、許容補正範囲内に該当するように色差を補正する色差補正手段が設けられている。
【0066】
このような構成を採用することにより、プロジェクタ20とスクリーン10との距離に依存せず、かつ、過補正を防止して適切に画像表示用情報の補正を行える画像表示システムを実現している。
【0067】
なお、画像表示用情報の補正を行うための画像処理の手順としては、所定の階調ごとに白色画像をプロジェクタ20からスクリーン10へ向け投写し、色光センサー60で画像表示領域12の画像の三刺激値を計測して視環境を把握する。
【0068】
そして、当該三刺激値に基づき、当該階調に応じた画像表示用情報を補正する。
【0069】
次に、これらの色差補正手段等を含むプロジェクタ20のプロジェクタ画像処理部100の機能ブロックを用いて画像の補正を行うための画像処理方法について具体的に説明する。
【0070】
図3は、本実施形態の一例に係るプロジェクタ20内のプロジェクタ画像処理部100の機能ブロック図である。
【0071】
プロジェクタ20では、PC等から送られるアナログ形式のRGB信号を構成するR1信号、G1信号、B1信号をA/D変換部110に入力し、デジタル形式のR2信号、G2信号、B2信号をプロジェクタ画像処理部100で色変換を行っている。
【0072】
そして、色変換されたR3信号、G3信号、B3信号をD/A変換部180に入力し、アナログ変換されたR4信号、G4信号、B4信号をL/V(ライトバルブ)駆動部190に入力し、液晶ライトバルブを駆動して画像の投写表示を行っている。
【0073】
ここまでは、従来のプロジェクタと構成の差異はない。本実施の形態に係るプロジェクタ20のプロジェクタ画像処理部100は、色信号変換部160と、色信号逆変換部170と、カラーマネジメント部150と、プロジェクタ色変換部120とを含んで構成されている。
【0074】
色信号変換部160は、A/D変換部110からのRGBデジタル信号(R2信号、G2信号、B2信号)をXYZ値(X1、Y1、Z1)に変換する。なお、RGB信号はプロジェクタ20等の入出力デバイスによって変化するデバイス依存型の色であり、XYZ値は、デバイスによらずに同一であるデバイス非依存型の色である。
【0075】
なお、RGBデジタル信号からXYZ値への具体的な変換手法としては、例えば、3×3行列(マトリクス)を用いたマトリクス変換の手法を採用することができる。
【0076】
色信号変換部160は、変換したXYZ値(X1、Y1、Z1)をカラーマネジメント部150に出力する。
【0077】
カラーマネジメント部150は、色信号変換部160から入力されたXYZ値(X1、Y1、Z1)を、視環境把握手段である色光センサー60の測定値に基づき、視環境を反映したXYZ値(X2、Y2、Z2)に変換する。
【0078】
また、カラーマネジメント部150は、色光情報処理部140と、上述したプロジェクタ20用の入出力用プロファイルを管理するプロファイル管理部130とを含んで構成されている。
【0079】
次に、色光情報処理部140の詳細について説明する。
【0080】
図4は、本実施形態の一例に係る色光情報処理部140の機能ブロック図である。
【0081】
色光情報処理部140は、色信号変換部160からの理想環境での色信号(X1、Y1、Z1)を別の色信号(Y1、x1、y1)に変換するY1x1y1変換部141と、色光センサー60からの視環境を示す色信号(X3、Y3、Z3)を別の色信号(Y3、x3、y3)に変換するY3x3y3変換部143と、明るさ補正手段として機能するY置換部142とを含んで構成されている。
【0082】
Y置換部142は、色信号変換部160からの色信号の一部であるY1と、Y3x3y3変換部143からの色信号(Y3、x3、y3)とに基づき、色信号(Y3、x3、y3)のY3をY1に置換する。
【0083】
このように、視環境での環境情報に含まれる明るさ情報を、理想環境での明るさに適合するように置換することにより、Y置換部142以降の処理において、理想環境での色情報と実際の視環境での色情報との明るさが揃った状態で色差の演算を行うことができる。これにより、色だけの色差の演算を行えばよいため、演算処理をより高速に行うことができる。
【0084】
また、色光情報処理部140は、色差の演算を行う色差補正演算処理部144と、演算された色差に基づき色信号を三刺激値(X2、Y2、Z2)に変換する三刺激値変換部147とを含んで構成されている。
【0085】
色差補正演算処理部144は、色差演算部145と、Y2x2y2変換部146と、環境主観係数補正部148とを含んで構成されている。
【0086】
色差演算部145は、Y置換部142からの色信号(Y1、x3、y3)と、Y1x1y1変換部141からの色信号(Y1、x1、y1)との色差を演算する。
【0087】
これらの2つの色信号は明るさを示す値であるY1は一致しているため、xy色度図で表される値(x3、y3)および(x1、y1)の色差を演算する。
【0088】
この結果、x3とx1との色差Δx、y3とy1との色差Δyが求められる。
【0089】
すなわち、理想とされる画像の色からはΔx、Δyだけずれていることになる。このずれを補正するためには、−Δx、−Δyを補正量として画像の色を補正すればよいことになる。
【0090】
しかし、人間の目は、照明光等の周囲の主な色光に慣れ、色の見え方が異なってしまう色順応や、明順応、暗順応というメカニズムを有する。このため、数値的には最適と思われる補正を行っても、補正のし過ぎ、すなわち、過補正となる場合がある。
【0091】
そこで、本実施の形態では、色差補正手段である環境主観係数補正部148を設けている。
【0092】
環境主観係数補正部148は、ΔxおよびΔyの値が所定の許容補正範囲に該当するかどうかを判別する。
【0093】
許容補正範囲に該当する場合には、環境主観係数補正部148は、ΔxおよびΔyをそのままΔx’およびΔy’としてY2x2y2変換部146に出力する。
【0094】
また、許容補正範囲に該当しない場合には、環境主観係数補正部148は、ΔxおよびΔyを、許容補正範囲に該当するように補正を行って、補正後のΔxおよびΔyをΔx’およびΔy’としてY2x2y2変換部146に出力する。
【0095】
なお、ΔxおよびΔyを許容補正範囲に該当するように補正する場合、所定の係数を掛けて補正する。例えば、係数をkとすると、Δx’=k・Δx、Δy’=k・Δyである。
【0096】
係数を掛けるだけなので、色差の補正を行う場合であっても、リアルタイム性を損なわずに画像処理を行うことができる。
【0097】
なお、kの値としては、0.0より大きく1.0以下であることが好ましい。また、kは、視環境が暗い場合には大きい値が好ましく、視環境が明るい場合には小さい値が好ましい。なぜなら視環境が明るいほど実際の画像は理想的な画像から乖離していくが、人の目はその環境情報に対して不完全ではあるが、ある程度順応するからである。
【0098】
例えば、明るい場合にk=0.5とすると、Δx’はΔxの2分の1となり、画像表示用情報は順応が考慮されて通常の補正量Δxの半分だけ補正される。また、例えば、暗い場合にk=0.9とすると、Δx’はΔxの10分の9となり、色差はあまり補正されない。
【0099】
このように、必要に応じて色差を補正することにより、過補正を防止し、画像を適切に再現することができる。
【0100】
また、より具体的には、係数kは、理想環境での画像の明るさ情報であるY1によって変動する関数値である。上述したように、人間の目は、色順応や明順応等のメカニズムを有するが、高階調域、中階調域および低階調域の各階調域で順応レベルが異なる。したがって、明るさを元にk値を求めることにより、各階調域に応じて最適なk値が定まり、階調に応じた適切な補正量(Δx’およびΔy’)を求めることができる。
【0101】
Y2x2y2変換部146は、環境主観係数補正部148からのΔx’およびΔy’を補正量として理想色(x1、y1)を補正した値(x2、y2)並びにY2を三刺激値変換部147に出力する。なお、三刺激値変換部147は、Y1をY2としてそのまま適用する。
【0102】
三刺激値変換部147は、Y2x2y2変換部146からの色信号(Y2、x2、y2)を三刺激値(X2、Y2、Z2)に変換する。
【0103】
そして、色光情報処理部140は、三刺激値変換部147からの三刺激値(X2、Y2、Z2)を色信号逆変換部170に出力する。
【0104】
また、プロファイル管理部130は、上述した画像補正手段として機能し、プロジェクタ20のRGB信号の各入出力用プロファイルを作成する。なお、各入出力用プロファイルは、画像を表示するために用いられる画像表示用情報の一部である。また、プロファイル管理部130は、作成したRGB信号の各入出力用プロファイルにより、プロジェクタ20のRGB入出力特性を管理する。
【0105】
また、色信号逆変換部170は、色光情報処理部140からのXYZ値(X2、Y2、Z2)を、上述した色信号変換部160のマトリクスの逆マトリクスを用いてRGBの各デジタル信号(R5信号、G5信号、B5信号)にマトリクス逆変換を行う。
【0106】
また、プロジェクタ色変換部120は、色信号逆変換部170からのRGBの各デジタル信号(R5信号、G5信号、B5信号)を、プロファイル管理部130が管理しているプロジェクタプロファイルとやり取りしながら、プロジェクタ出力のRGBデジタル信号(R3信号、G3信号、B3信号)に変換する。
【0107】
また、CPU200によって制御されるプロジェクタ画像処理部100は、プロジェクタ色変換部120と、プロファイル管理部130とを含んで構成されている。
【0108】
プロジェクタ色変換部120は、A/D変換部110からのRGBの各デジタル信号(R6信号、G6信号、B6信号)を、プロファイル管理部130で管理されているRGB信号の各入出力用プロファイルに基づき、プロジェクタ出力用のRGBデジタル信号(R3信号、G3信号、B3信号)に変換する。
【0109】
プロジェクタ色変換部120から出力されたプロジェクタ出力用のRGBデジタル信号は、D/A変換部180によってRGBアナログ信号(R4信号、G4信号、B4信号)に変換され、L/V駆動部190によって当該RGBアナログ信号に基づき液晶ライトバルブが駆動されて画像が投写表示される。
【0110】
以上のようにして、各階調ごとに画像表示用情報が補正され、実際のプレゼンテーション画像が表示される場合には、視環境に応じて適切な補正がされたプレゼンテーション画像が表示される。
【0111】
このように、本実施の形態では、視環境を考慮して画像を投写表示している。
【0112】
これにより、画像表示時の視環境に適応して画像を表示することができ、表示環境の差を吸収して適用される環境によらずに同一の画像を表示することができる。したがって、複数の異なる場所において、ほぼ同一の色を短時間で再現することができる。
【0113】
また、本実施の形態によれば、視環境での画像の明るさを示す明るさ情報を理想環境の明るさと適合するように補正することにより、明るさの要素を排除して色だけの色差を得ることができる。
【0114】
特に、視環境情報に含まれる明るさ値Y3を、理想環境の明るさ値Y1に置き換えることにより、視環境情報に含まれる色値x3およびy3と、理想環境での色値x1およびy1との色差を迅速に求めることができる。
【0115】
さらに、必要に応じて色差を補正する環境主観係数補正部148を設けることにより、過補正を防止し、画像を適切に再現することができる。
【0116】
(ハードウェアの説明)
なお、上述した各部に用いるハードウェアとしては、例えば、以下のものを適用できる。
【0117】
例えば、A/D変換部110としては、例えばA/Dコンバーター等、D/A変換部180としては、例えばD/Aコンバーター等、L/V駆動部406としては液晶ライトバルブ駆動ドライバ等、プロジェクタ色変換部120、色信号変換部160、色信号逆変換部170および色光情報処理部140としては、例えば画像処理回路やASIC等、プロファイル管理部130としてはRAM等の記憶領域を有する回路等を用いて実現できる。なお、これら各部は回路のようにハードウェア的に実現してもよいし、ドライバのようにソフトウェア的に実現してもよい。
【0118】
また、図3に示すように、これら各部の機能を情報記憶媒体300から情報(例えば、プログラム、モジュール等)を読み取って実現してもよい。情報記憶媒体300としては、例えば、CD−ROM、DVD−ROM、ROM、RAM、HDD等を適用でき、その情報の読み取り方式は接触方式であっても、非接触方式であってもよい。
【0119】
また、情報記憶媒体300に代えて、上述した各機能を実現するためのプログラム等を伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実現することも可能である。すなわち、上述した各機能を実現するための情報は、搬送波に具現化されるものであってもよい。
【0120】
さらに、色光センサー60については以下のハードウェアを適用できる。
【0121】
例えば、画像表示領域12に表示された画像の三刺激値の各刺激値を選択的に透過するカラーフィルター、カラーフィルターからの色信号を入力するフォトダイオード、フォトダイオードからのアナログ信号をデジタル信号に変換するA/Dコンバーターおよび当該デジタル信号を増幅するOPアンプ等を適用できる。
【0122】
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【0123】
(変形例)
例えば、視環境把握手段としては、色光センサー60以外にも、例えば、CCDカメラ、CMOSカメラ等の撮像手段を適用することも可能である。
【0124】
また、上述した実施例では、環境補正係数k値を明るさによって変動する関数値であると説明したが、k値を定数として適用してもよい。
【0125】
また、上記実施例では、Yxy形式での画像の補正の例について説明したが、Lab形式、Luv形式等の明るさ情報と色情報とを有する各種の表現形式での画像の補正を行うことが可能である。例えば、Lab形式の場合には、YをLと、xおよびyをaおよびbと読み替えることにより、上述した手法と同様の手法で画像の補正を行うことが可能である。
【0126】
なお、上述したスクリーン10は、反射型のものであったが、透過型のものであってもよい。
【0127】
また、上述したプロジェクタのような投写手段以外の表示手段で画像表示を行ってプレゼンテーション等を行う場合にも本発明を適用できる。このような表示手段としては、例えば、液晶プロジェクタのほか、CRT(Cathode Ray Tube)、PDP(Plasma Display Panel)、FED(Field Emission Display)、EL(Electro Luminescence)、直視型液晶表示装置等のディスプレイ装置等が該当する。なお、プロジェクタは前面投写型のものに限られず、背面投写型のものであってもよい。
【0128】
これらの画像表示手段に本発明を適用した場合であっても、上述した明るさ情報の置換の手法により、画像補正にかかる時間の短縮化を図ることができる。
【0129】
なお、前面投写型のプロジェクタのような画像の投写位置と画像の被表示領域との距離が変動する画像表示手段に本発明を適用した場合には、距離に依存しないで画像の補正を行うことができる。
【0130】
また、プレゼンテーション以外にも、ミーティング、医療、デザイン・ファッション分野、営業活動、コマーシャル、教育、さらには映画、TV、ビデオ、ゲーム等の一般映像等における画像表示を行う場合にも本発明は有効である。
【0131】
なお、上述したプロジェクタ20のプロジェクタ画像処理部100の機能は、単体の画像表示装置(例えば、プロジェクタ20)で実現してもよいし、複数の処理装置で分散して(例えば、プロジェクタ20とPCとで分散処理)実現してもよい。
【図面の簡単な説明】
【図1】本実施形態の一例に係るレーザーポインタを用いた画像表示システムの概略説明図である。
【図2】 従来のプロジェクタ内のプロジェクタ画像処理部の機能ブロック図である。
【図3】 本実施形態の一例に係るプロジェクタ内のプロジェクタ画像処理部の機能ブロック図である。
【図4】本実施形態の一例に係る色光情報処理部の機能ブロック図である。
【符号の説明】
20 プロジェクタ
50 レーザーポインタ
60 色光センサー
80 環境光
120 プロジェクタ色変換部
130 プロファイル管理部
140 色光情報処理部
142 Y置換部
145 色差演算部
148 環境主観係数補正部
150 カラーマネジメント部
160 色信号変換部
170 色信号逆変換部
300 情報記憶媒体

Claims (11)

  1. 画像の被表示領域における視環境を把握する視環境把握手段による視環境情報に基づき、前記画像を表示するために用いられる画像表示用情報を補正して表示する画像表示システムにおいて、
    前記視環境情報に基づき、前記視環境での画像の明るさと理想環境での画像の明るさが異なる場合、前記視環境情報に含まれる明るさ情報を、前記理想環境での画像の明るさ情報に置換する明るさ補正手段と、
    前記明るさ情報の置換された前記視環境情報に含まれる色情報と、前記理想環境での画像の色情報と、に基づき、色差を演算する色差演算手段と、
    演算された色差が、許容補正範囲に該当しない場合、当該色差を前記許容補正範囲に該当するように補正する色差補正手段と、
    当該色差補正手段からの色差に基づき、前記画像表示用情報を補正する画像補正手段と、
    を含むことを特徴とする画像表示システム。
  2. 請求項1において、
    前記色差補正手段は、入力される色差に対して所定の係数を掛けて色差を出力することを特徴とする画像表示システム。
  3. 請求項2において、
    前記係数は、前記理想環境での画像の明るさ情報または前記視環境情報に含まれる明るさ情報に応じて変動する関数値であることを特徴とする画像表示システム。
  4. 請求項1〜3のいずれかにおいて、
    前記明るさ補正手段と、
    前記色差演算手段と、
    前記色差補正手段と、
    前記画像補正手段と、
    補正された画像を前記被表示領域へ向け投写する手段と、
    を有する前面投写型の画像投写装置を含むことを特徴とする画像表示システム。
  5. 画像の被表示領域における視環境を示す視環境情報に基づき、前記画像を表示するために用いられる画像表示用情報を補正するための画像処理方法において、
    前記視環境情報を生成する工程と、
    生成された視環境情報に基づき、当該視環境における所定の画像と、理想環境における前記所定の画像との色差を演算する色差演算工程と、
    演算された色差が、許容補正範囲に該当しない場合、当該色差を前記許容補正範囲に該当するように補正する色差補正工程と、
    色差補正工程で出力された色差に基づき、前記画像表示用情報を補正する工程と、
    を含むことを特徴とする画像処理方法。
  6. 請求項5において、
    前記色差補正工程では、入力される色差に対して所定の係数を掛けて色差を出力することを特徴とする画像処理方法。
  7. 請求項5、6のいずれかにおいて、
    前記視環境情報は、前記視環境での画像の色を示す色情報と、前記視環境での画像の明るさを示す明るさ情報と、を含み、
    前記色差演算工程は、
    前記視環境情報に基づき、前記視環境での画像の明るさと前記理想環境での画像の明るさが異なる場合、前記視環境情報に含まれる明るさ情報を、前記理想環境での画像の明るさ情報に置換する工程と、
    前記明るさ情報の置換された前記視環境情報に含まれる色情報と、前記理想環境での画像の色情報と、に基づき、前記色差を演算する工程と、
    を含むことを特徴とする画像処理方法。
  8. 画像の被表示領域における視環境を示す視環境情報に基づき、前記画像を表示するために用いられる画像表示用情報を補正するためのプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体において、
    コンピュータを、
    前記視環境情報を生成する手段と、
    生成された視環境情報に基づき、当該視環境における所定の画像と、理想環境における前記所定の画像との色差を演算する色差演算手段と、
    演算された色差が、許容補正範囲に該当しない場合、当該色差を前記許容補正範囲に該当するように補正する色差補正手段と、
    色差補正手段から出力された色差に基づき、前記画像表示用情報を補正する手段として機能させるためのプログラムを記憶したことを特徴とする情報記憶媒体。
  9. 請求項8において、
    前記色差補正手段は、入力される色差に対して所定の係数を掛けて色差を出力することを特徴とする情報記憶媒体。
  10. 請求項9において、
    前記係数は、前記理想環境での画像の明るさ情報または前記視環境情報に含まれる明るさ情報に応じて変動する関数値であることを特徴とする情報記憶媒体。
  11. 請求項8〜10のいずれかにおいて、
    前記視環境情報は、前記視環境での画像の色を示す色情報と、前記視環境での画像の明るさを示す明るさ情報と、を含み、
    前記色差演算手段は、
    前記視環境情報に基づき、前記視環境での画像の明るさと前記理想環境での画像の明るさが異なる場合、前記視環境情報に含まれる明るさ情報を、前記理想環境での画像の明るさ情報に置換する手段と、
    前記明るさ情報の置換された前記視環境情報に含まれる色情報と、前記理想環境での画像の色情報と、に基づき、前記色差を演算する手段と、
    を含むことを特徴とする情報記憶媒体。
JP2000257160A 2000-08-28 2000-08-28 画像表示システム、画像処理方法および情報記憶媒体 Expired - Fee Related JP3707371B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2000257160A JP3707371B2 (ja) 2000-08-28 2000-08-28 画像表示システム、画像処理方法および情報記憶媒体
EP01958569A EP1315142B1 (en) 2000-08-28 2001-08-28 Environment-adapted image display system and image processing method
US10/111,321 US6940531B2 (en) 2000-08-28 2001-08-28 Environment-Compliant image display system, image processing method, and information storage medium
CNB018033636A CN1172287C (zh) 2000-08-28 2001-08-28 环境适应型图像显示系统及图像处理方法
PCT/JP2001/007377 WO2002019308A1 (fr) 2000-08-28 2001-08-28 Systeme d'affichage d'image adapte a l'environnement, procede de traitement d'image et support de memorisation d'informations

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000257160A JP3707371B2 (ja) 2000-08-28 2000-08-28 画像表示システム、画像処理方法および情報記憶媒体

Publications (3)

Publication Number Publication Date
JP2002072993A JP2002072993A (ja) 2002-03-12
JP2002072993A5 JP2002072993A5 (ja) 2004-10-14
JP3707371B2 true JP3707371B2 (ja) 2005-10-19

Family

ID=18745669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000257160A Expired - Fee Related JP3707371B2 (ja) 2000-08-28 2000-08-28 画像表示システム、画像処理方法および情報記憶媒体

Country Status (5)

Country Link
US (1) US6940531B2 (ja)
EP (1) EP1315142B1 (ja)
JP (1) JP3707371B2 (ja)
CN (1) CN1172287C (ja)
WO (1) WO2002019308A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744778B2 (ja) * 2000-08-28 2006-02-15 セイコーエプソン株式会社 画像投写装置、画像処理方法および情報記憶媒体
JP3729252B2 (ja) * 2001-03-26 2005-12-21 セイコーエプソン株式会社 画像処理システム、プログラムおよび情報記憶媒体
JP3719411B2 (ja) * 2001-05-31 2005-11-24 セイコーエプソン株式会社 画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2003323610A (ja) * 2002-03-01 2003-11-14 Nec Corp プロジェクタの色補正方法および色補正装置
US7110598B2 (en) * 2002-08-28 2006-09-19 Micron Technology, Inc. Automatic color constancy for image sensors
JP3690402B2 (ja) * 2003-03-28 2005-08-31 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP5014154B2 (ja) * 2006-08-29 2012-08-29 パナソニック株式会社 画像表示方法及び画像表示装置
US20120135783A1 (en) * 2010-11-29 2012-05-31 Google Inc. Mobile device image feedback

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2518848B2 (ja) * 1987-05-30 1996-07-31 キヤノン株式会社 ホワイトバランス調整装置
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
US5956044A (en) * 1993-05-07 1999-09-21 Eastman Kodak Company Imaging device to media compatibility and color appearance matching with flare, luminance, and white point comparison
US6081254A (en) * 1993-08-12 2000-06-27 Hitachi, Ltd. Color correction system of imaging apparatus
JP3134660B2 (ja) * 1994-04-14 2001-02-13 松下電器産業株式会社 色変換方法および色変換装置
KR100355378B1 (ko) * 1996-01-15 2002-12-26 삼성전자 주식회사 각종 조명광하에서의 칼라이미지 디스플레이방법
KR100615342B1 (ko) 1997-10-31 2006-08-25 소니 가부시끼 가이샤 화상 처리 장치와 방법, 화상 송수신 시스템과 방법 및 제공 매체
US6695451B1 (en) * 1997-12-12 2004-02-24 Hitachi, Ltd. Multi-projection image display device
JPH11355797A (ja) 1998-06-04 1999-12-24 Olympus Optical Co Ltd カラー液晶表示装置
KR100299759B1 (ko) 1998-06-29 2001-10-27 구자홍 영상표시기기의 화면 상태 자동 조정 장치와 방법
US6456339B1 (en) * 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
JP2001060082A (ja) * 1999-08-24 2001-03-06 Matsushita Electric Ind Co Ltd 色再現端末装置およびネットワーク色再現システム
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置

Also Published As

Publication number Publication date
US6940531B2 (en) 2005-09-06
EP1315142B1 (en) 2013-03-13
WO2002019308A1 (fr) 2002-03-07
JP2002072993A (ja) 2002-03-12
EP1315142A4 (en) 2004-03-17
CN1172287C (zh) 2004-10-20
CN1394329A (zh) 2003-01-29
US20020180766A1 (en) 2002-12-05
EP1315142A1 (en) 2003-05-28

Similar Documents

Publication Publication Date Title
JP3744778B2 (ja) 画像投写装置、画像処理方法および情報記憶媒体
JP3692989B2 (ja) 画像表示システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体
JP3894302B2 (ja) 画像表示システム、画像処理方法、プログラムおよび情報記憶媒体
JP4605987B2 (ja) プロジェクタ、画像処理方法および情報記憶媒体
JP4110408B2 (ja) 画像表示システム、プロジェクタ、画像処理方法および情報記憶媒体
JP3719411B2 (ja) 画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3514257B2 (ja) 画像処理システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体
JP5354265B2 (ja) 液晶表示装置
JP3705180B2 (ja) 画像表示システム、プログラム、情報記憶媒体および画像処理方法
JP3755593B2 (ja) 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3719424B2 (ja) 画像処理システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体
JP3729252B2 (ja) 画像処理システム、プログラムおよび情報記憶媒体
JP3707371B2 (ja) 画像表示システム、画像処理方法および情報記憶媒体
JP4150876B2 (ja) 画像表示システム、画像処理方法、プログラムおよび情報記憶媒体
JP4164659B2 (ja) 画像表示システムおよび画像表示方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050725

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080812

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100812

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110812

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120812

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130812

Year of fee payment: 8

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees