JP4283297B2 - 映像補償方法 - Google Patents

映像補償方法 Download PDF

Info

Publication number
JP4283297B2
JP4283297B2 JP2006266933A JP2006266933A JP4283297B2 JP 4283297 B2 JP4283297 B2 JP 4283297B2 JP 2006266933 A JP2006266933 A JP 2006266933A JP 2006266933 A JP2006266933 A JP 2006266933A JP 4283297 B2 JP4283297 B2 JP 4283297B2
Authority
JP
Japan
Prior art keywords
saturation
image
brightness
video
display means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006266933A
Other languages
English (en)
Other versions
JP2007097191A (ja
Inventor
成 大 趙
碩 振 元
正 訓 朴
栄 民 鄭
載 媛 文
潤 済 呉
永 浩 河
鍾 萬 金
チョル−ヒー、リー
昌 煥 孫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2007097191A publication Critical patent/JP2007097191A/ja
Application granted granted Critical
Publication of JP4283297B2 publication Critical patent/JP4283297B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • H04N5/58Control of contrast or brightness in dependence upon ambient light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/04Maintaining the quality of display appearance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Picture Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、デジタル機器に関し、特に、室外でも携帯可能で、映像(イメージ)形式での情報伝達が可能な映像表示手段を含むデジタル機器に関する。
電子及びデジタル技術の発展に伴い、個人的に携帯可能な多様な形態のデジタル機器が普及しており、そのようなデジタル機器としては、ナビゲーションシステム、PDA(Personal Digital Assistant)、携帯電話、ノートブック型コンピュータ、電子辞書、MP3(Motion Pictures Experts Group (MPEG) Audio Layer 3 )デジタルカムコーダ、及びカメラなどが挙げられる。これらのデジタル機器は、ユーザーに情報を提供するための映像表示手段を備えている。一般的に、映像表示手段としては、LCD(liquid crystal display)やPDP(Plasma Display Panel)などが使用されることができる。かかる映像表示手段は、テキスト、静止画、動画などの多様な形態の映像情報を提供することができる。
一方、人間は、周囲の照明の明度の変化に従って、映像表示手段から認知される映像の明度及び彩度などを異なるように感じる知覚の変化、すなわち明順応感度変化(light-adapted sensitivity)を体験することになる。
ここで、明度(Luminance)とは特定エリアにおける光の量を意味する。また、彩度(Chroma、すなわち「Chrominance」の略語)は、色相(Hue)と飽和(Saturation)を含む。さらに、色相は色の主波長であり、飽和は、色に含まれる黒の量を意味する。
そして、上記の明順応感度変化によれば、例えば映像表示手段の周囲の背景照明が明るくなると、実際に提供される映像の光学的特性が変化しなくても、ユーザーによって、室内で使用するよりも相対的に暗かったり、低彩度であるように認識される。
最近のデジタル機器は、小型化、軽量化及び機能の高集積化に伴い、ユーザーに多様な情報及び機能の利便性を提供するが、一方で、映像表示手段から提供される情報を、室外(以下、適宜、「外部」ともいう。)の背景照明の変化によって、ユーザーが得ることができなかったり、或いは不確実にしか得られない、などの使用上の問題がある。すなわち、デジタル機器を室外領域で使用する場合には、外部の背景照明の変化により、ユーザーは、同じ明度及び彩度の映像を実際とは異なるものとして認識(知覚)し得る。
すなわち、携帯可能なデジタル機器は、携帯の便利性により広く使用されているが、情報を提供するための重要な手段であるLCDパネルなどのような映像表示手段によって処理ないし具現化される映像が、外部照明の明度によってはユーザーに情報を伝達できない、という問題点を有していた。具体的には、ユーザーは、デジタル機器で提供される映像が周囲の背景照明(例えば、明るい日光)に比べて相対的に暗いと認識する虞があり、これにより、必要な情報を得る(認識する)ことができないという問題点が発生し得る。
さらに、人間の視覚が認識する色は、外部照明の変化に応じて変わり得る。この変化はフレア(flare)と呼ばれる。特に、ユーザーは、画面から反射された光によりフレア(flare)現象が発生する場合には、フレア現象が発生した画面の映像を正常状態と比較して相対的に低彩度と認識し映像を不正確に知覚することになるので、映像情報を円滑に得ることができない、という問題点がある。
E. H. Land, "Color vision and the natural image," Proc. Nat’l Academy of Science USA, vol. 45, no. 3, pp. 115-119, 1959. Hesien-Lee, "Method for computing the scene-illuminant chromaticity from specular highlights," J. Opt Soc. Am., A, vol. 3, no. 10, pp. 1694-1699, Oct. 1986. L. T. Maloney and B. A. Wandell, "A computational model for color constancy," J. Optical Soc. Am., A, vol. 3, pp. 29-33, 1986.
本発明は、上述した問題点を解決するために提案されたものであり、その目的は、室外背景照明の変化に従う人間の明順応感度を考慮して、室外背景照明の明度変化に従う携帯用ディスプレイ装置の明度及び彩度を補償する方法、及びこれを用いたデジタル機器を提供することにある。
前記目的を達成するために、本発明の映像補償方法は、映像表示手段の周囲の背景照明の明度、彩度、色相を測定する第1のステップと、明度を補償し、明度の補償により変化された前記映像の明度、彩度及び色相を検出する第2のステップと、前記第1及び第2のステップにおいて算出されたそれぞれの彩度を比較し、暗室で測定された映像表示手段の三刺激値と外部背景照明が存在する状態で測定された映像表示手段の三刺激値との間の偏差を算出する第3のステップと、前記第3のステップにおいて算出された三刺激値の偏差に従って映像表示手段の明度及び彩度を補償するための第4のステップと、を含み、前記第4のステップの彩度の補償は、下記の数式(1)によることを特徴とする。

Figure 0004283297
・・・数式(1)
但し、Cは暗室で測定された映像の基準彩度、C diff はフレア現象が発生した後に変化された彩度として C diff =C−C flare に示され、C’は補償された彩度、αは彩度変化に従う加重値、C flare は明度の補償後に発生した彩度変化である。
本発明によれば、室外照明の明度を測定し、該測定結果に基づいて明度及び彩度を補償することで、たとえ外部の照明状態が変化した場合であっても、ユーザーは常に一定な状態の映像情報を得ることが可能になる。
以下、本発明の好適な実施形態について添付図面を参照しながら詳細に説明する。 本発明の説明において、本発明に関連した公知の機能や構成についての具体的な説明が本発明の要旨を不明瞭にすると判断される場合には、その詳細な説明を省略する。
人間は、同一の光学的特性を持つ映像情報が提供される場合にも、周囲の環境によって実際と異なるように認知し得る。これは、周囲の背景照明に従って人間の視覚が変化するためである。一般の室外背景照明の明度は108cd/mで、人間が認知できる範囲は105cd/m程度である。
図1A及び図1Bは、デジタル機器の周囲の背景照明の変化に従う感度変化特性を説明するためのグラフであって、図1Aは背景の明度に従う感度変化の特性を示し、図1Bは周囲の背景照明の明度に従って視覚が変化し、室外での応答値が室内よりも顕著に低下した状態を比較するためのグラフである。
図1Aにおいて、第1の曲線110は、背景照明の明度の値が(典型的な屋内の値である)200cd/mの場合において、当該明度により表示された前景明度の映像についての視覚感度(visual sensitivity)の変化を示している。また、第2〜第5の曲線121,122,123,124は、背景照明の明度がそれぞれ、2000cd/m,4000cd/m,6000cd/m,8000cd/mの値を持つ場合を示す。
また、図1Bでは、図1Aの第1の曲線(110)と第5の曲線(124)につき、同一条件下で背景照明が変化した場合の視覚感度の変化を示す。図1Bによれば、室内での視覚感度201は、10cd/mにおいて約0.6の値となるが、前景照明を一定に保ちながら背景照明が増加した場合の視覚感度202は、10cd/mにおいて0.2〜0.3になることが分かる。
前述したように、人間が感知できる背景照明の明度差にも関わらず、室外でもデジタル機器や映像表示手段を依然として使用できる理由は、人間の視覚的な感度、換言すると人間の眼球中に構築された錐体(cone)が明順応(light adaptation)現象によって変化するためである。これは、図1A及び図1Bに示すように、外部の背景照明の変化に従って錐体応答曲線が変化することに原因がある。
図2は、本発明によるデジタル機器の映像補償方法の過程を説明するためのブロック図である。デジタル機器及びこのデジタル機器に具備された映像表示手段は、二進法のデータ(binary data)により書き込まれたプログラムに従って動作する。ここで、映像表示手段は、二進データ値のRGB(Red、Green、Blue)を入力されて映像を具現化するが、前述した二進データによるRGBは人間の視覚感度による色感を定形化させて(すなわち規則的に)表現することが出来ない。さらに、RGB関数は、これらRGB値の計算により、少なくとも一つ以上の負(−)の値が形成される。このような負値は、RGBの3原色の混合により全ての色光を作ることができないことを意味する。すなわち、かかる負値により、RGBの全範囲(gamut)は、三原色RGBの混合を通じてあらゆる色光の組成を作ることが出来るとは限らないという点で、制限されている。特に、室内で使用される既存の陰極線管(CRT)、液晶ディスプレー(LCD)及びプラズマディスプレーパネル(PDP)などの映像表示手段は、GOG(gain-offset-gamma)やS−曲線モデルなどを使用して変換を行うことができるが、携帯用デジタル機器に適用される映像表示手段は、モデリング関数を使用した測定結果に、大きな誤差が発生する。以下に、RGBの3原色系を、線形補間法(piecewise linear interpolation)により、国際照明委員会(CIE;International Commission on Illumination)で定義された三刺激値(X、Y、Z)に変換する処理について説明する。
図2を参照すると、本実施形態によるデジタル機器の映像補償方法は、正常状態及び外部背景照明により変化した映像から、CIE/L*a*b*色空間に従う明度、彩度及び色相(LCH)を各々検出する第1のステップ(S310,S311)と、明度を補償(ステップS320)し、室外の背景照明又は明度の補償(S320)によりフレア現象が発生した映像(S330)の、変化したLCHを算出する第2のステップS331と、第1及び第2のステップにおいて算出されたそれぞれの彩度を、暗室で測定された三刺激値(X、Y、Z)と比較して、その差を算出する第3のステップS340と、彩度変化を補償する第4のステップS350と、を含み、上記ステップS310〜S350を経て、ステップS360で補償された映像が完成する。
より詳しくは、第1のステップS310,S311では、標準(ノーマルな)状態における外部の背景照明(すなわち、暗室内で受光されるであろう量の照明)にさらされた映像から、国際照明委員会による色空間(CIE/L*a*b*)に基づいた明度、彩度及び色相(LCH)を検出する。また、第1のステップS310,S311、及び第2のステップS320では、外部の背景照明がない基準状態(例えば暗室内)の映像から上記LCHを検出し、かつ、外部の背景照明がある場合の映像からLCHを検出する。外部の背景照明がない場合には、三刺激値(X、Y、Z)を算出し、その後、外部の背景照明に基づいて変化したユーザーの感度曲線に写像される。この写像(マッピング)は、計算された感度曲線を生み出す。かかる計算された感度曲線は、明度を補償するために、CIELAB色空間へ変換される。前述したように、三刺激値は、3原色(Red、Green、Blue)に対して定められた規格によって変換される。
下記の数式(6)は、外部のフレア現象によって映像表示手段で具現化される映像の三刺激値を算出するために用いられる式である。
Figure 0004283297

...........数式(6)

数式(6)において、該式の左側の行列Dは、デジタル機器の映像表示手段を介してユーザーによって認識される、最終の三刺激値を示す。また、上記式における右項内の左端の行列Pは、外部背景照明が無い(不在の)状態で、映像表示手段を介してユーザーが認識することができる、基準の三刺激値を示す。さらに、行列Iは映像表示手段の内部要因に基づくフレアによる内部三刺激値を示し、行列Eは、映像表示手段の外部要因に基づくフレアによる外部三刺激値を示す。
数式(6)において、内部三刺激値は、外部三刺激値に比べて無視できる程度に小さな値であって、周囲の画素値によって変化するため、無視できる。画素(ピクセル)は、映像を構成する最小単位であり、それぞれの映像情報を含んでおり、多数の画素が集合して一つの映像を具現化する。すなわち、前述した任意の画素は、隣接した他の画素によりフレアの影響を受けて、変化され得ることを意味する。
外部背景照明は、映像のフレア現象を誘発する。そして、このフレア現象は、明度を向上させる役割をする。しかしながら、フレア現象は、室外の領域において映像表示手段の映像を眺める場合には、背景照明に比べて映像表示手段の映像が相対的に暗く見える、という明順応の問題を引き起こす。
図5A及び図5Bは、人間が感知できる範囲内における、明度と視覚感度との関係を説明するためのグラフである。図5A及び図5Bにおいて、x軸は光の強度を示し、y軸は人間が感知できる範囲内での相対的な視覚感度変化の比率(ratio)を示す値である。
図5Aは、背景照明が1平方メートル当たり10,000ルーメン(すなわち10,000lux)の場合の当該映像表示手段の室外環境における視覚感度変化曲線510を示すグラフであって、最初の基準状態におけるフレアの発生によって、感度曲線が最適な状態に補償された状態を示す。すなわち、図5Aは、最初のフレアの発生時に、視覚曲線501の位置で最適な状態に変化した第1の感度曲線510を示す。
図5Bは、図5Aの変化された部分502を説明するための拡大図である。下記の数式(7)に基づき、図5Bに示すように、ログ関数形態の第1の感度曲線510にその逆関数曲線(すなわち鏡像)を加算して重畳させることにより、ログ関数曲線は、線形的な第2の感度曲線510aを持つことになる。
すなわち、第1の感度曲線510にその逆関数曲線を重畳させることで、ログ関数形態の第1の感度曲線510の外部フレア現象による視覚感度の低下を補償することができる。
Figure 0004283297


..........数式(7)
上記数式(7)において、Rconeは、第1の感度曲線(510)の関数を示し、ログ関数であるf(Y)と同一である。Yは三刺激値の一つであって、映像表示手段により生成された映像の明度を示し、Iは周囲の背景照明の明度を示す。また、αは0.69を示し、βは3.98を示し、nは0.7〜2.0の範囲の値を選択的に使用(設定)することができる。
よって、本発明の実施形態では、ログ関数の逆関数を算出した後、この逆関数を用いて、映像表示手段により生成される映像の輝度を調節することで、視覚応答値が線形化されて、背景照明による映像の明度の損失を補償できる。
図6A及び図6Bは、背景照明がそれぞれ5,000lux及び10,000luxの場合における、第1の感度曲線のn値の変化に従う曲線形態を示すグラフである。図6A及び図6Bを参照すると、第1の感度曲線は、n値が増加すると指数形態の曲線になる。第1の感度曲線の逆関数及びその値が算出される場合に、低階調領域の値をより大きく増加させる形態の線形的な視覚曲線を形成することで、明度の向上を極大化することができる。前述したn値は、映像表示手段で実験的にセットされることにより、決定されることが分かる。
前述した低階調領域は、相対的に暗い部分を意味し、図6A及び図6Bの入力明度が0.5未満であることを意味する。また、n値が大きく、入力明度が小さい場合には、第1の感度曲線の逆関数を用いて得られる明度を顕著に向上することができる。
図3Aは、基準状態の映像を例示した3次元のグラフである。ここで、図3Aの画面は、全体面に対して均一に分布されている。一方、図3Bは、人為的な明度補正によるフレア現象が発生した状態の映像を3次元に示すグラフである。図3A及び図3Bを参照すると、明度を向上させた場合には、映像の全体的な明度は高くなるが、映像の外部(周囲)の領域の明度が低くなることから、彩度が低下される。また、図3Bの彩度だけを参照すると、全ての色相の彩度が同一に低下されるものでなく、特に、赤色に比べて緑色の彩度が低下される。従って、各色に対して互いに異なる値によって彩度の損失を補償する必要がある。
図3A及び図3Bにおいて、CIELAB色空間は、x軸がa*を表し、y軸がL*を表し、z軸がb*を表している。このうち、a*値は、赤色又は緑色を示す値であって、正数であれば赤色、負数であれば緑色を意味する。また、b*は、黄色又は青色を示す値であって、正数であれば黄色、負数であれば青色を示す。
ここで、全ての色は、それぞれの明度を持っている。そして、全ての色の情報は、a*b*を用いて表現することができない。このため、縦軸L*(明度)との関係から、映像表示手段により具現化された映像が持つことができる全ての色情報は、3次元中に表現することができる。すなわち、L*は明度を、a*b*は色相を意味する。
図3A及び図3Bに示された座標系は、人間の視覚で感じとることができる平均的な差異を示すことができる。本発明の説明で記載されたa*b*とXYZとの関係は、国際照明機構協会(CIE)により1976年に発表されたCIELABと呼ばれる色空間(L*a*b*)の規定に従う。
上述のように、本実施形態では、第1のステップS310,S311において背景照明による映像表示手段の明度、彩度及び色相を検出し、第2のステップS330において明度を補償し(ステップS320)、これにより低下された映像の彩度及びフレア現象による映像の変化されたLCHを算出する(ステップS331)。そして、第3及び第4のステップS340及びS350は、前述した彩度の低下を補償するためのものである。すなわち、上述した数式(6)及び数式(7)に示すように、デジタル機器を暗室のような外部背景照明の影響を受けない状態で駆動させ、そのときの映像表示手段により生成された映像の三刺激値を測定し、さらに、外部背景照明の明度に従う三刺激値を測定して、その偏差を映像表示手段に再反映することにより、外部背景照明により暗くなったユーザーの視覚を補償できる。
第2のステップS330,S331は、数式(6)から算出された後記の数式(8)のように示され、明度の補償によりフレア現象が発生した映像の変化されたLCHを検出するものである。前述した三刺激値は、後記の表1に示すように、外部背景照明の強度によって決定されることができる。また、第2のステップS330,S331は、多数の実験を通じて測定された背景照明の明度を、三刺激値に対応付けて決定することができる。

Figure 0004283297

.........数式(8)
上記数式(8)は、数式(6)において内部フレアによる三刺激値を省略して算出された、外部フレアによる三刺激値を定義するものである。数式(8)において、xAmbient及びyAmbientは、それぞれの色度値として、背景照明の色度値を表わす。Mは背景照明の照度で、Rbkは映像表示手段の画面(スクリーン)における反射率である。一般のCRT画面は、3〜5%の反射率を有している。また、室内で使用されるLCDは、0.5〜1%の反射率を有し、CRTに比べて相対的に低い。xAmbient及びyAmbientは、分光放射輝度計(spectroradiometer)を用いて測定することができる。
第3のステップS340は、第1及び第2のステップS310,S311、及びS320,S330,S331において算出されたそれぞれの彩度を比較してその差を算出するもので、下記の数式(9)及び数式(10)により示される。

Figure 0004283297

........数式(9)
上記数式(9)におけるCdiffは、暗室で測定された映像の正常状態の彩度Cと、明度の補償後に発生した彩度変化Cflareとの差を示す。下記の数式(10)は、補償された映像の彩度を示す。
Figure 0004283297

........数式(10)
数式(10)において、C'は補償された彩度を示し、αは加重値を示す。加重値αは、当該色の彩度が色の領域から逸脱(超過)することを防止するための定数であって、その値は下記の数式(11)及び数式(12)によって決定されることができる。
Figure 0004283297

........数式(11)
Figure 0004283297


........数式(12)
上記の数式(11)及び数式(12)において、Cgamutは色領域の境界部分を示し、βは、変化された彩度の大きさに基づいた追加処理が行われない地点を選択するための変数として使用される。ここで、βは、1、1.5、2の内の一つの値を使用できる。βにつき、2より大きい値が選択されれば彩度の向上が円滑でなくなり、1より小さい値が選択されれば彩度の飽和が発生しやすくなる。βは、各映像表示手段の状態及び条件に従った多数の実験を通して選択されることができる。
加重値αは、彩度補償による彩度の飽和(Saturation)を防止するための定数である。ここで、数式(11)に示されるように、加重値αが1の場合には、低減した彩度だけ補償することを意味する。しかしながら、αの値については、これを1とすると、彩度が高い映像の場合は色領域から逸脱(超過)してしまうため、数式(12)のように色領域内で差異値をそのまま加算し、色領域の境界ではその値を加重値に従って徐々に低減することで、彩度の飽和を最小化することができる。
図4は、第1の実施形態による第2〜第4のステップを説明するためのブロック図である。以下、図4を参照して、映像の彩度補償のステップを詳述する。
映像の三刺激値(XYZ)は、背景照明の強度から算出することができる(ステップS410、表1)。そして、算出された三刺激値の内のX及びZは、CIEが定めたCIELAB色空間によりそれぞれa*b*に変換できる(ステップS420)。また、Yは映像の明度(ステップS440)を示し、ステップS450で、変化された明度(Y')が算出される。このY'も、CIELABで規定した色空間によりL*に変換されることができる(ステップS460)。
そして、CIELABの色空間により変化されたL*及びa*b*は、ステップS430で結合された後、最終的に映像補償に反映される。
図7は、フレア現像による彩度変化及び彩度向上方法を説明するためのグラフである。ここで、グラフのx軸は彩度を示し、y軸は明度を示す。また、多角形のグラフらは、それぞれの色境界を示す。そして、広い範囲の色境界は、フレア現象が発生されない映像の色境界を示し、一方、狭い範囲の色境界は、フレア現象により彩度が補償された映像の色境界を示す。本実施形態によれば、図7に示されるように、Cdiffの彩度を補償した後、室外の背景照明が存在する場合であっても、彩度を適切に維持することができる。
下記の表1は、外部の背景照明に従う外部フレアの三刺激値と、そのときの映像表示手段の反射率とを測定したデータを示すものである。
Figure 0004283297

上記の表1は、背景照明の強度に従う三刺激値の変化値を実験的に算出することにより得られた結果を示したものである。各映像表示手段は、それぞれの特徴に従って、実験的に表1のデータを算出することができる。
図8は、本発明の第2の実施形態によるアルゴリズムを説明するためのフロー図である。図8を参照すると、本実施形態による明度及び彩度の向上は、大きく2つのステップを経て達成される。本アルゴリズムでは、まず、三原色(RGB)のシステムに入力されたデータを、三刺激値(XYZ)に変換する(ステップS510)。そして、変換されたXYZは、それぞれ、感度曲線(すなわち数式(7)、図6A及び図6Bのf(Y)に関係する。)を設定するステップS521と、XYZをa*b*に変換するステップS511とに進行される。
そして、感度曲線(f(Y)、図5A〜図6B)は、(鏡像の)逆関数(f'(Y))に変換・重畳され(ステップS522)、逆関数に変換されたXYZのY’はL*に変換される(ステップS523)。
それぞれステップS523及びステップS511を経たa*b*及びL*は、LCHに変換される(ステップS530)。さらに、このLCHは、数式(9)及び数式(10)によってCが変換されることで、LC'Hに変換される(ステップS540)。変換されたLC'Hは、RGBに変換された後に出力される(ステップS550)。
本発明によるデジタル機器の映像表示手段に関する実施形態の例としては、外部背景照明の強度を検出するための光検出器と、該光検出器で検出された背景照明の強度に従う三刺激値の変化値が格納されたメモリを有し、背景照明の強度と予め格納された三刺激値の変化値とを比較し、該比較結果に関する値を算出する演算部と、該演算部で算出された値に基づいて、映像表示手段の出力映像の明度及び彩度を補償するための制御信号を生成して映像表示手段(LCDなど)を制御する制御部と、を含むことができる。ここで、演算部と制御部は同一のプロセッサ(CPU)でも別個のプロセッサでもよい。また、上記各デバイス(ハードウェア)が一の上述した各種デジタル機器内に具備可能であることは勿論である。
なお、本発明の詳細な説明では具体的な実施形態について説明したが、本発明の要旨から逸脱しない範囲内で多様に変形できる。よって、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。
背景照明の明度の変化に従う視覚変化を比較して示すグラフである。 背景照明の明度の変化に従う視覚変化を比較して示すグラフである。 本発明の第1の実施形態による背景照明の変化に従う映像の明度及び彩度を補償する処理を説明するためのフロー図である。 暗室における映像とフレア現象が発生した映像とを比較するための3次元グラフである。 暗室における映像とフレア現象が発生した映像とを比較するための3次元グラフである。 本発明の第1の実施形態による第2〜第4のステップを説明するためのブロック図である。 人間が感知できる明度と視覚感度との間の相関性を説明するためのグラフである。 人間が感知できる明度と視覚感度との間の相関性を説明するためのグラフである。 背景照明が5,000luxの場合の第1の感度曲線のn値の変化に従う曲線形態を示すグラフである。 背景照明が10,000luxの場合の第1の感度曲線のn値の変化に従う曲線形態を示すグラフである。 フレア現象による彩度変化及び彩度を向上させる方法を説明するためのグラフである。 本発明の第2の実施形態によるアルゴリズムを説明するためのフローチャートである。

Claims (5)

  1. 映像表示手段の周囲の背景照明の明度、彩度、色相を測定する第1のステップと、
    明度を補償し、明度の補償により変化された前記映像の明度、彩度及び色相を検出する第2のステップと、
    前記第1及び第2のステップにおいて算出されたそれぞれの彩度を比較し、暗室で測定された映像表示手段の三刺激値と外部背景照明が存在する状態で測定された映像表示手段の三刺激値との間の偏差を算出する第3のステップと、
    前記第3のステップにおいて算出された三刺激値の偏差に従って映像表示手段の明度及び彩度を補償するための第4のステップと、を含み、
    前記第4のステップの彩度の補償は、下記の数式(1)によることを特徴とする映像補償方法。
    Figure 0004283297
    ・・・数式(1)
    但し、Cは暗室で測定された映像の基準彩度、C diff はフレア現象が発生した後に変化された彩度として C diff =C−C flare に示され、C’は補償された彩度、αは彩度変化に従う加重値、C flare は明度の補償後に発生した彩度変化である。
  2. 前記三刺激値及び前記映像表示手段の反射率は、下記の数式(2)を満足させることを特徴とする、請求項1に記載の映像補償方法。
    Figure 0004283297
    ........数式(2)

    但し、Eは映像表示手段の外部要因に基づくフレアによる外部三刺激値、X,Y,Zは映像の三刺激値、xAmbient及びyAmbientはそれぞれの色度値として、背景照明の色度値を表わし、Rbkは映像表示手段の反射率、Mは背景照明の照度である。
  3. 下記の数式(3)に基づくf(Y)関数の逆関数を形成して、外部背景照明の明度に従う映像の明度を補償することを特徴とする、請求項2に記載の映像補償方法。
    Figure 0004283297
    ........数式(
    但し、Rcone及びf(Y)は感度曲線の関数、Iは背景照明の明度、Yは映像の明度、αは0.69、βは3.98、nは0.7〜2.0の値を選択的に使用した定数である。
  4. 前記加重値αは、フレア現象が発生した後の彩度変化を色領域の境界部分から減算した値が映像の基準彩度以下の場合に、下記の数式(4)のように決定されることを特徴とする、請求項に記載の映像補償方法。
    Figure 0004283297
    ........数式(4)
    但し、Cgamutは色領域の境界部分、βは変数である。
  5. 前記加重値αは、下記の数式(5)により決定されることを特徴とする、請求項に記載の映像補償方法。
    Figure 0004283297
    ........数式(5)
    但し、C gamut は色領域の境界部分、βは変数である。
JP2006266933A 2005-09-29 2006-09-29 映像補償方法 Expired - Fee Related JP4283297B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050091342A KR100735283B1 (ko) 2005-09-29 2005-09-29 영상 보상 방법

Publications (2)

Publication Number Publication Date
JP2007097191A JP2007097191A (ja) 2007-04-12
JP4283297B2 true JP4283297B2 (ja) 2009-06-24

Family

ID=37411054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006266933A Expired - Fee Related JP4283297B2 (ja) 2005-09-29 2006-09-29 映像補償方法

Country Status (5)

Country Link
US (1) US7978201B2 (ja)
EP (1) EP1770999B1 (ja)
JP (1) JP4283297B2 (ja)
KR (1) KR100735283B1 (ja)
CN (1) CN100478772C (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100736939B1 (ko) * 2005-10-08 2007-07-10 삼성전자주식회사 지능형 색역 관리 방법
US8531379B2 (en) * 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
KR101477533B1 (ko) * 2008-06-26 2014-12-30 삼성전자주식회사 영상 보상 방법 및 장치, 및 이를 이용한 디지털 촬영 장치
JP2010060638A (ja) * 2008-09-01 2010-03-18 Toshiba Corp 画像表示装置及びその方法
WO2010041669A1 (ja) * 2008-10-07 2010-04-15 シャープ株式会社 表示装置、表示方法、プログラム、および記録媒体
US8831343B2 (en) 2009-01-19 2014-09-09 Dolby Laboratories Licensing Corporation Image processing and displaying methods for devices that implement color appearance models
JP5383454B2 (ja) * 2009-11-27 2014-01-08 キヤノン株式会社 画像表示装置
EP2504829A4 (en) * 2009-11-27 2012-10-31 Canon Kk IMAGE DISPLAY DEVICE
CN102696069B (zh) * 2010-01-08 2014-10-29 夏普株式会社 电子设备
WO2011106247A2 (en) * 2010-02-24 2011-09-01 Dolby Laboratories Licensing Corporation Display management methods and apparatus
WO2012127552A1 (ja) * 2011-03-23 2012-09-27 パナソニック株式会社 画像処理装置、撮像装置及び画像処理方法
US10469851B2 (en) * 2012-04-16 2019-11-05 New Cinema, LLC Advanced video coding method, system, apparatus, and storage medium
CN104240629B (zh) * 2013-06-19 2017-11-28 联想(北京)有限公司 一种信息处理的方法及电子设备
US9875724B2 (en) * 2012-08-21 2018-01-23 Beijing Lenovo Software Ltd. Method and electronic device for adjusting display
KR101926487B1 (ko) 2012-10-12 2018-12-07 한화테크윈 주식회사 감시 시스템의 제어 방법, 및 이 방법을 채용한 감시 시스템
KR102030475B1 (ko) * 2013-01-21 2019-11-08 삼성전자주식회사 주위 광원에 따른 디스플레이 영상의 변환 방법 및 장치
US9489918B2 (en) 2013-06-19 2016-11-08 Lenovo (Beijing) Limited Information processing methods and electronic devices for adjusting display based on ambient light
US10154202B2 (en) 2014-10-15 2018-12-11 Samsung Electronics Co., Ltd. Apparatus for illuminating a scene and control method thereof
CN105338418B (zh) * 2015-10-29 2019-11-08 合一网络技术(北京)有限公司 视频夜间播放的调节方法及系统
CN106646870B (zh) * 2016-09-27 2018-12-28 东南大学 一种全息波导显示系统及显示方法
US10635373B2 (en) * 2016-12-14 2020-04-28 Samsung Electronics Co., Ltd. Display apparatus and method of controlling the same
CN106887219B (zh) * 2017-03-30 2019-02-12 深圳市华星光电技术有限公司 显示器画面生成方法及系统
WO2020147580A1 (zh) * 2019-01-18 2020-07-23 欧普照明股份有限公司 光源参数测量方法、装置、照明系统和终端设备
KR20210087229A (ko) * 2020-01-02 2021-07-12 주식회사 실리콘웍스 디스플레이 패널 구동을 위한 영상데이터를 처리하는 장치 및 방법
CN114815256B (zh) * 2022-04-15 2023-10-03 青岛虚拟现实研究院有限公司 虚拟现实头戴设备的屏幕参数调整方法、设备、存储介质
CN117079618B (zh) * 2023-10-18 2024-01-05 深圳可视科技有限公司 一种led液晶显示屏亮色度校正方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5050990A (en) * 1990-08-24 1991-09-24 Xerox Corporation Variable detector geometry for resolving and sensing apparatus for filtering and other applications
US6373573B1 (en) * 2000-03-13 2002-04-16 Lj Laboratories L.L.C. Apparatus for measuring optical characteristics of a substrate and pigments applied thereto
US6411306B1 (en) 1997-11-14 2002-06-25 Eastman Kodak Company Automatic luminance and contrast adustment for display device
JP4147655B2 (ja) 1998-12-07 2008-09-10 ソニー株式会社 画像処理装置及び画像処理方法
US6362888B1 (en) * 1999-12-23 2002-03-26 Lj Laboratories, L.L.C. Spectrometer assembly
KR100362379B1 (ko) * 1999-12-27 2002-11-23 한국전자통신연구원 다중 수렴점을 이용한 비선형 색역폭 압축 장치 및 방법
JP3904841B2 (ja) 2000-05-15 2007-04-11 シャープ株式会社 液晶表示装置及びそれを用いた電子機器並びに液晶表示方法
US6950111B2 (en) * 2000-12-11 2005-09-27 Mitsubishi Denki Kabushiki Kaisha Image display unit
CN100484252C (zh) * 2001-12-29 2009-04-29 三星电子株式会社 控制图像亮度的装置和方法
JP2003323610A (ja) 2002-03-01 2003-11-14 Nec Corp プロジェクタの色補正方法および色補正装置
JP2003304551A (ja) 2002-04-08 2003-10-24 Mitsubishi Electric Corp 投写型表示装置
JP3514257B2 (ja) 2002-05-20 2004-03-31 セイコーエプソン株式会社 画像処理システム、プロジェクタ、画像処理方法、プログラムおよび情報記憶媒体
BRPI0302384B1 (pt) * 2002-07-20 2018-06-19 Samsung Electronics Co., Ltd. "método para intensificar de forma adaptativa uma cor, e equipamento para intensificar de forma adaptativa a cor de uma imagem"
KR100561852B1 (ko) * 2003-11-20 2006-03-16 삼성전자주식회사 색 신호의 밝기 보상 방법 및 장치
KR100587587B1 (ko) * 2003-12-23 2006-06-09 학교법인 대진대학교 영상표시장치의 진짜색 재현 방법
JP4189328B2 (ja) * 2004-01-16 2008-12-03 セイコーエプソン株式会社 画像処理装置、画像表示装置、画像処理方法および画像処理プログラム
JP2005210495A (ja) 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
KR100735283B1 (ko) 2007-07-03
CN1940695A (zh) 2007-04-04
JP2007097191A (ja) 2007-04-12
KR20070036387A (ko) 2007-04-03
CN100478772C (zh) 2009-04-15
EP1770999A2 (en) 2007-04-04
US7978201B2 (en) 2011-07-12
EP1770999A3 (en) 2009-11-04
US20070070091A1 (en) 2007-03-29
EP1770999B1 (en) 2018-09-19

Similar Documents

Publication Publication Date Title
JP4283297B2 (ja) 映像補償方法
TWI478144B (zh) 具強光可視性的顯示方法與使用此方法的電子裝置
US8243210B2 (en) Apparatus and method for ambient light adaptive color correction
CN100448280C (zh) 一种环境光自适应图像显示方法
US8538147B2 (en) Methods and appartuses for restoring color and enhancing electronic images
US9019253B2 (en) Methods and systems for adjusting color gamut in response to ambient conditions
JP5897159B2 (ja) 表示装置及びその制御方法
WO2006019283A1 (en) Apparatus and method for displaying image in mobile terminal
JP6105925B2 (ja) 画像処理装置及び画像表示装置
US11473971B2 (en) Ambient headroom adaptation
US11302288B2 (en) Ambient saturation adaptation
JP2008129162A (ja) 映像変換処理方法および映像変換システム
WO2012099165A1 (ja) 画像処理装置、および画像処理プログラム製品
US10506209B2 (en) Image output control device, image output control method, image output system, and recording medium
JP5534825B2 (ja) 映像処理装置及び色温度補正方法
KR20090077184A (ko) 화이트 밸런스 조정 장치 및 방법
JP7313287B2 (ja) デュアル表示パネルに画像を表示するための方法及びその装置
TWI693591B (zh) 影像色調之均勻度的調整方法及其系統
JP2011223509A (ja) 色補正システム、プログラムおよび色補正方法
JP2017203948A (ja) 表示装置及びその制御方法
US20200251069A1 (en) Color image display adaptation to ambient light
JP2009005097A (ja) 色域調整装置および色域調整方法
JP2013152335A (ja) 画像処理装置、画像表示システム、および画像表示方法
JP2017038400A (ja) 画像処理装置、表示装置並びに画像処理方法及び画像処理用プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090318

R150 Certificate of patent or registration of utility model

Ref document number: 4283297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140327

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees