JP4055810B2 - 映像表示装置および色補正方法 - Google Patents

映像表示装置および色補正方法 Download PDF

Info

Publication number
JP4055810B2
JP4055810B2 JP2006223762A JP2006223762A JP4055810B2 JP 4055810 B2 JP4055810 B2 JP 4055810B2 JP 2006223762 A JP2006223762 A JP 2006223762A JP 2006223762 A JP2006223762 A JP 2006223762A JP 4055810 B2 JP4055810 B2 JP 4055810B2
Authority
JP
Japan
Prior art keywords
signal
luminance
hue
saturation
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006223762A
Other languages
English (en)
Other versions
JP2007037166A (ja
Inventor
勝信 木村
孝明 的野
春樹 高田
武 坂井
浩司 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006223762A priority Critical patent/JP4055810B2/ja
Publication of JP2007037166A publication Critical patent/JP2007037166A/ja
Application granted granted Critical
Publication of JP4055810B2 publication Critical patent/JP4055810B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Description

本発明は、映像信号の色を最適に色補正するための方法および色補正回路、ならびにそのような色補正回路を備えたカラーテレビジョン受信機や液晶プロジェクタ等の映像表示装置に関する。
現在、DVD、VTR、デジタル放送チューナ、パソコン等の映像ソースが多様化している。これらの多様化した映像ソースを、カラーテレビジョン受信機、プラズマディスプレイパネル、液晶プロジェクタ、パソコンディスプレイ等の様々な映像表示装置に表示している。これら映像表示装置は、それぞれ異なる発光特性を持つことから、映像表示装置毎に様々な色合いや色の濃淡等の見え方が異なるので、映像ソースにより忠実に映像を表示する色再現技術や、映像ソースの実際の色とは異なっても映像表示装置に合わせて色合いを調整したり実際の映像では淡い色であってもあえて濃い色にすることや鮮やかな色を表現する色補正技術に対する要求が益々高まってきている。また、これらの映像表示装置には、映像信号のインターフェイスをデジタル信号で接続する機器も多いことから、色再現・色補正をデジタル信号処理で実現したいという要求も増えてきている。
これらの要求を満たす従来技術としては、例えば、下記特許文献1に記載された技術がある。これは、3原色信号からデジタル化した色相信号と彩度信号を得、任意の色相信号を所望の色相信号に変換することにより色合いを調整したり、また、任意の色相における彩度信号のレベルを所望の彩度レベルの彩度信号に変換することにより色の濃さを調整するという色補正技術である。
ところで、上述した従来技術では、任意の色相や任意の彩度を調整することによって、色合いや色の濃淡を自在に調整することが可能であるが、色によってはこのような色補正を行ったとしても映像表示装置への見え方が必ずしも好適な色に補正することができないという問題点があった。
以下、その例として、芝生や樹木などの風景等の映像を挙げて説明する。芝生の黄緑色部分の色補正について説明する。まず、芝生の黄緑色部分の色相を可変することによりみずみずしい緑色に制御するように色相を調整したり、またその芝生の色の濃さを濃くなるように彩度レベルを増幅することを想定する。この制御を行うにあたり、彩度レベルを制御する際に、以下に述べるような問題点があった。それは、色を濃く制御すると、芝生のような比較的輝度レベルが高い輝度が支配的な色では、緑色が強調され色が濃く表示されるが、それと同時に、視覚上明るさがより増して見えることにより彩度階調が劣化したように見え、また明るすぎてしまい若干不自然な落ち着きのない緑色の芝生となってしまう場合があった。また、比較的輝度レベルが低い生い茂った深緑色の樹木の葉等においては、彩度強調により色が濃くなるのであるが、その分、視覚上葉の色が若干暗目に表示されてしまい階調が劣化して見えるという問題点があった。
このように、彩度を強調することによって全体的には鮮やかな発色が豊かになるが、画像の細部に渡って隈なく観察すると、前述した芝生等の例のように映像の色やその色の明るさによっては、輝度レベルの高い箇所では色は濃くなっても、視覚上不自然に明るい映像を表示してしまったり、逆に、樹木の葉等の例のように輝度レベルの低い所の彩度強調を行った箇所の色は濃くなり、視覚上その部分の色が暗く見えてしまう等、ユーザーにとって必ずしも好適に色補正を行うことができないという問題点があった。
特開2001−125557号公報
本発明は、上記のような問題に鑑みて為されたものであって、より好適な色に補正して視覚的に鮮やかでより自然な色調を持つ映像を表示できるようにした映像表示装置を提供することを目的とする。
上記目的を達成するために、本発明は、映像表示装置において、入力映像信号から色相信号を生成するための色相信号生成手段と、所望色相範囲内にある入力映像信号の彩度を制御する彩度制御手段と、前記色相信号生成手段で生成された色相信号が前記所望色相範囲内にある場合であって、前記彩度制御手段によって前記所望色相内にある前記入力映像信号の彩度が高くなるように制御されたとき、該所望色相範囲内にある入力映像信号の輝度を下げるように制御する輝度制御手段と、前記輝度制御手段によって輝度が制御され、かつ前記彩度制御手段によって彩度が制御された映像信号を用いて映像の表示を行う表示手段と、を備え、前記輝度制御手段は、前記入力映像信号の輝度が高くなるに従って前記入力映像信号の輝度を下げるように制御することを特徴とする。

前記輝度制御手段としては、輝度信号の利得を制御する乗算器または輝度信号の直流レベルを可変する加算器を含む信号処理回路より構成する。
上記本発明の構成によれば、彩度補正を施した映像信号に含まれる輝度信号を制御することによって色の明るさを可変するように構成されているので、例えば、芝生のように明るい緑色(黄緑色)が主体の映像であっても、例えば、彩度を強調して色を濃く制御しても明るさを若干下げることができるので、色に深みをもたせることができ自然でより鮮明な緑色を実現することができる。このように明るい色に対してもより美しい色に補正、再現が可能な映像を提供することが可能となる。
本発明によれば、所望の映像信号における色相および彩度を好適に補正できる。特に、彩度強調を行った際に含まれる輝度信号の利得制御を行うことができるので、深みのある自然な色補正することができ容易に好適な色補正をすることがきる効果がある。
以下、本発明の実施の形態について、図面を用いて説明する。図1のブロック図を用いて、本発明の第1の実施の形態にかかる映像表示装置に用いられる信号処理回路の構成を説明する。
映像表示装置は、信号処理回路1Aと、A/D変換回路21と、マトリクス変換回路22と、色相変換回路23と、彩度変換回路24と、色差変換回路25と、逆マトリクス変換回路26と、マイクロコンピュータ(以下、マイコンという)3と、表示装置4とを有して構成される。
信号処理回路1Aは、入力された映像信号のうち特定色における輝度を制御する働きを有しており、特定色相補正回路11と、特定彩度補正回路12と、加算器13と、色適応輝度利得制御回路14Aと、乗算器15とを有して構成される。
色適応輝度利得制御回路14は、輝度比較回路141と、色相比較回路142と、輝度利得制御回路143とを有して構成される。
A/D変換回路21は、R原色信号が入力されるR入力端子T21Rと、G原色信号が入力されるG入力端子T21Gと、B原色信号が入力されるB入力端子T21Bとを有しており、入力されたアナログ原色信号をそれぞれディジタル原色信号信号に変換する働きを有している。
マトリクス変換回路22は、A/D変換回路21から入力されたデジタル形式の3原色信号(R,G,B)をマトリックス変換処理し、輝度信号Y、および色差信号である(R−Y)信号と(B−Y)信号を出力する働きを有している。輝度信号Yは、色適応輝度利得制御回路14Aと、乗算器15へ出力される。(R−Y)信号と(B−Y)信号は、いずれも色相変換回路23と彩度変換回路24へ出力される。
色相変換回路23は、マトリクス変換回路22から入力された(R−Y)信号と(B−Y)信号を用いて、例えば下記数1式に示すような属性変換演算をしてデジタル形式の色相信号θを出力する。
Figure 0004055810
彩度変換回路24は、マトリクス変換回路22から入力された(R−Y)信号と(B−Y)信号を用いて、例えば下記数2式に示すような属性変換演算をしてデジタル形式の彩度信号Sを出力する。
Figure 0004055810
色差変換回路25は、信号処理回路1の特定色相補正回路11で補正された色相信号と特定彩度補正回路12で補正された彩度信号が入力され、(R−Y)’と(B−Y)’の色差信号に変換して逆マトリクス変換回路26へ出力する。
逆マトリクス変換回路26は、輝度制御された輝度信号Y’および色相補正と彩度補正が行われた色差信号(R−Y)’と色差信号(B−Y)’を、色補正が行われたR,G,Bの3原色信号に変換して、表示装置4へ出力する。映像表示装置4は、この3原色信号に基づき色補正が行われた映像を表示する。
R入力端子T21R、G入力端子T21G、B入力端子T21Bを介してA/D変換回路21に供給されたR原色信号、G原色信号、B原色信号は、それぞれ、デジタル信号に変換され、マトリクス変換回路22へ出力される。マトリクス変換回路22は、A/D変換回路21から出力されたデジタル形式の3原色信号(R,G,B)をマトリックス変換処理し、該デジタル3原色信号から輝度信号Y、および色差信号である(R−Y)信号と(B−Y)信号に変換して出力する。この輝度信号Yは、色適応輝度利得制御回路14へ出力される。また、色差信号である(R−Y)信号と(B−Y)信号は、色相変換回路23と彩度変換回路24へそれぞれ出力される。
ここで、図2を用いて、色相信号と彩度信号について説明する。図2に示すように、横軸に(B−Y)信号をとり、縦軸に(R−Y)信号をとり、図示を省略した垂直軸に輝度(明るさ)をとったとき、色はベクトルで表される。そのベクトルの方向(横軸である(B−Y)軸とそのベクトルとが為す角度)が色合いである色相θを示し、ベクトルの大きさが色の濃淡である彩度Sを示している。このように、色をベクトル表示したものは色相環と呼ばれ、一般的に知られている。
この色相環において、例えばマゼンタは、図2に示すように、(B−Y)軸から45°の角度に位置するベクトルで表される。すなわち、マゼンタの色相θは45°である。彩度Sは、そのベクトルの大きさにより決定され、ベクトルの大きさが大きいほど色が濃く、小さければ色が淡い。またベクトルの大きさが0であればその色が無いことを示している。また、赤色、黄色、緑色、シアン色、青色の色相は、それぞれ113.2°、173.0°、225.0°、293.2°、353.0°である。
色相変換回路23は、デジタル形式の色相信号を出力しており、デジタル信号のビット精度を10ビットとすると、色相0°〜359.9°を0〜1023のデジタル信号として出力する。すなわち、色相360°を2の10乗である1024で分割した精度となり、色相デジタル信号の1LSBは約0.35°となる。
図3を用いて、以上説明してきた内容を補足する。図3は、色相信号と彩度信号との関係の一例を波形Aで示した図であり、横軸を色相信号θ(10ビット精度)、縦軸を彩度信号S(8ビット精度)としている。また、代表的な色相である(B−Y)を0、(R−Y)を256、−(B−Y)を512、−(R−Y)を768として示してある。
一方、彩度変換回路24は、色相信号0〜1023に対応した色ベクトルの大きさである彩度信号Sをデジタル信号として出力する。このデジタル彩度信号のビット精度を8ビットとすると、彩度変換回路24は、0〜255のデジタル信号を出力する。
色相変換回路23から出力されたデジタル色相信号θは、信号処理回路1Aの特定色相補正回路11に入力される。特定色相補正回路11は、入力されたデジタル色相信号θのうち、特定の色相範囲の色相信号を補正して出力することにより色合いを調整する。特定色相補正回路11において補正される色相信号θの色相範囲および補正量は、マイコン3から出力される各種設定値によって決定される。
特定色相補正回路11の構成と働きの詳細について、図4および図5、図6を参照しつつ説明する。図4は、特定色相補正回路11の具体的な構成を示したブロック図である。特定色相補正回路11は、加算器111と、局部色相補正回路112と、色相信号入力端子T111と、色相範囲設定信号入力端子T112と、補正後色相信号出力端子T113とを有して構成される。
特定色相補正回路11は、加算器111において入力されたデジタル色相信号θに補正信号を加算しなかった場合、図5(a)の直線Bに示されるような、入力がそのまま出力されるリニアな入出力特性を持つものとする。色相変換回路23から出力されたデジタル色相信号θは、色相信号入力端子T111を介して加算器111と局部色相補正回路112へそれぞれ入力される。局部色相補正回路112では、色相範囲設定信号であるマイコン3から出力された色相の中心値(図5(b)に示すHP)とレベル(図5(b)に示すH)と色相幅(図5(b)に示すW)が色相範囲設定信号入力端子T112を介して入力され、これらの値をもとにこの色相範囲内の色相をデコードし、図5(b)の波形Cに示すような台形状の波形を持つ信号を出力する。
加算器111では、デジタル色相信号θとこの台形状の波形Cを有する局部色相補正回路112の出力信号とを加算する。この結果、加算器111の出力は、図6(a)に示すように、HPを中心としたWの区間、上方にHだけシフトした波形Dを持つ信号を出力する。このシフト(制御)量は、マイコン3から入力されるレベルHによって決定される。
前述の芝生の映像を一例として今述べた色相補正の動作を説明すると、色相範囲を黄緑色の色相に指定して、この色にシフト量を加算することにより、この黄緑色の色相が図2に示す色相環の緑方向(反時計周り)に色相が制御されるのである。このように、特定色相補正回路11は、マイコン3より指定された範囲内の色相を、同じくマイコンにより指定されたレベルで可変制御しているので、局部的に色合いを制御することが可能となる。
さらに、加算器111の出力信号(波形D)は、出力端子T113を介して加算器13の一方の入力端子に入力される。加算器13の他方の入力端子には、マイコン3から出力されたオフセット値が入力される。このオフセット値は、図6(b)の直線Eに示されるように、全色相に渡って一定の値aを持っている。加算器13は、特定色相補正回路11から出力された信号Dと、マイコン3から出力されたオフセット値aとを加算する。この結果、加算器13は、図6(c)の波形Fに示すような、図6(a)に示す信号の全体をオフセット値aだけ上方にシフト(オフセット)した信号を出力する。このように、加算器13は、全体的な(全色相に渡る)色合いの制御を可能とする。これは、いわゆるティント調整に相当する機能であり、全体の色相を調整したい場合に用いる。
なお、本発明の第1の実施の形態においては、加算器13として、入出力とも10ビットの加算器を使用しているので、その加算結果が1023を超えるとオーバーフローして0に戻る。従って、加算器13は、加算結果が1023を超えた場合、その加算結果から1023を引いた値を出力する。
以上のようにして、特定色相補正回路11は、マイコン3により指定した色相範囲の色相信号を別の色相に可変することができる。例えば、芝生のような黄緑色の映像であっても、指定した色相範囲の特定な色相を反時計周りにシフト制御させて黄色成分から遠ざけて純粋な緑色になるように色相シフト制御をすることができる。また、加算器13によってオフセットを加算するように設定することにより色相全体を所定の値だけオフセットした信号を出力することができるので全体の色合いを調整することもできる。
ここで、色相信号のビット精度が10ビットのデジタル信号を用いているので、約0.35度を単位とした高精度な色相シフト制御および色相オフセット制御が可能となる。また、色相のシフト量H、シフト範囲Wおよびオフセット量a等の色相補正にかかるパラメータをマイコン3により設定しているので、これらのパラメータを任意に変更・調整することができる。
なお、この実施の形態では、色相シフトの範囲を1つとしているが、局部色相補正回路112を複数系統用意しそれぞれ独立に色相補正にかかるパラメータをマイコン3により設定し、これら局部色相補正回路112の出力信号を全て加算してから加算器13に入力することにより、複数範囲の色相を独立にシフト(制御)することも可能である。そして、加算器13からの色補正された色相信号θ’は色差変換回路25に入力される。
一方、彩度変換回路24から出力されたデジタル彩度信号Sは、特定彩度補正回路12に入力される。また、前述した色相変換回路23の出力のデジタル色相信号θも特定彩度補正回路12に入力される。そして、特定彩度補正回路12は、入力されたデジタル彩度信号Sのうち、特定の色相範囲における彩度信号を補正して彩度利得を調整することにより色の濃淡を調整する。特定彩度補正回路12において補正される彩度信号の色相範囲(彩度利得制御範囲)および補正量は、マイコン3から出力される各種設定値によって決定される。
特定彩度補正回路12の構成および働きの詳細について、図7および図8を参照して説明する。図7は、特定彩度補正回路12の具体的な回路構成例を示すブロック図である。特定彩度補正回路12は、乗算器121と、局部彩度補正回路122と、加算器123と、彩度信号入力端子T121と、色相信号入力端子T122と、色相範囲設定信号入力端子T123と、補正後彩度信号出力端子T124とを有して構成される。
特定彩度補正回路12は、デジタル彩度信号に加算器123では何も加算せず、かつ乗算器121で何も乗算しなかった場合(利得1に設定した場合)、図8(a)の直線Gに示されるような、入力がそのまま出力されるリニアな入出力特性を持つものとする。彩度変換回路24から出力されたデジタル彩度信号Sは、特定彩度補正回路12の彩度信号入力端子T121を介して乗算器121の一方に入力される。また、色相変換回路23から出力されたデジタル色相信号θは、色相信号入力端子T122を介して局部彩度補正回路122に入力される。
局部彩度補正回路122では、マイコン3によって指定された色相範囲の色相の中心値(図8(b)に示すHP)とレベル(図8(b)に示すSH)と色相幅(図8(b)に示すW)が入力され、これら値をもとにデジタル色相信号からこの範囲内の色相をデコードし、図8(b)の波形Hに示すような、台形状の波形を持つ特定範囲の色相における彩度を局部的に補正するための彩度補正信号Hを出力する。加算器123は、マイコン3から出力されるオフセット値(デフォルト値は、128)とこの局部彩度補正回路122の出力信号Hを加算する。その結果、加算器123は、図8(c)の波形Iに示すように、HPを中心としたWの区間上方にSHだけシフトし全体的にオフセット値分だけオフセットした特性の彩度増幅係数Iを出力する。従って、特定色相範囲における彩度信号の増幅度を決定するのは高さSHであり、彩度信号全体(全色相における彩度信号)の増幅度は、マイコン3からのオフセット値によって決定される。
このオフセット値は、全色相に渡って一定であり、そのレベルは、本実施の形態においては、彩度信号(8ビット精度)の最小値(0)と最大値(255)の中間である128に設定している。加算器123の出力信号(彩度増幅係数I)は、乗算器121の他方の入力端子に入力され、乗算器121は、先程もう一方に入力された彩度変換回路24出力のデジタル彩度信号Sと乗算される。デジタル彩度信号Sと彩度増幅係数Iを乗算することにより、特定色相範囲の彩度が利得制御された彩度信号S’が出力端子T124から出力される。
このように、特定彩度補正回路12は、指定された色相範囲の彩度信号を局部的に補正して特定色相における彩度利得を制御することにより色の濃淡を可変制御することできる。この実施の形態では、特定彩度補正回路12で補正する色は黄緑色であるが、前述の特定色相補正回路11によって黄緑色から緑色に色相補正したことにより、結果として緑色の彩度が強調されることになる。例えば、芝生のよう黄緑色の映像であって、その色を強調するために彩度レベルの利得を上げる制御をすることで色を濃くすることができる。
ここで、前述した特定色相補正回路11において例に挙げたように芝生の黄緑色を純粋な緑色に色相補正した場合であるとすると、この特定彩度補正回路12では、純粋な緑色に色相補正された色に対して彩度を補正することになるので、芝生の色は純粋な緑色の色が濃く補正された映像に補正されたことになる。また、特定彩度補正回路12の構成要素である加算器123によって全色相の彩度信号を制御して全色相における色の濃淡を可変制御することもでき、これは、いわゆるカラー調整に相当する機能である。
また、彩度の補正量SH、補正範囲Wおよびオフセット量等の彩度補正にかかるパラメータをマイコン3により設定しているので、これらのパラメータを任意に変更・調整することができる。
なお、第1の実施の形態では、彩度の補正範囲を1つとしているが、局部彩度補正回路122を複数系統用意しそれぞれ独立に彩度利得にかかるパラメータをマイコン3により設定し、これらの出力を全て加算して加算器123に入力することにより、複数の色相範囲における彩度を独立に補正することも可能である。
特定彩度補正回路12から出力される彩度信号S’は色差変換回路25の他方の入力に入力される。そして、色差変換回路25で、彩度信号S’と前述した色相信号θ’を色差信号(R−Y)’と色差信号(B−Y)’に変換し、逆マトリクス変換回路26へ出力する。
以下に述べる色適応輝度利得制御回路14Aは、本発明の主たる特徴部分であり、特定彩度補正回路12によって彩度の利得制御を行った映像に含まれる輝度信号の利得を制御する回路である。この色適応輝度利得制御回路14Aは、輝度比較回路141と色相比較回路142と輝度利得制御回路143を有して構成される。
以下、図9を用いて、色適応輝度利得制御回路14Aの動作について説明する。図9は色適応輝度利得制御回路14Aを構成する各部の特性を示している。
マトリクス変換回路22より出力された輝度信号Yは、輝度比較回路141の一方の入力端子に入力される。輝度比較回路141の他方の入力端子には、マイコン3から出力された輝度しきい値YLが入力される。輝度比較回路141では、この輝度しきい値YLと輝度信号Yとをレベル比較する。図9(a)は輝度比較回路141の入出力特性を示し、横軸は入力の輝度信号Y、縦軸は出力のフラグ信号YFである。輝度信号Yの横軸にはマイコン3から入力された輝度しきい値YLが示されている。輝度比較回路141は、図9(a)の波形Jに示すように、輝度信号Yのレベルが輝度しきい値YLより大きければフラグ信号“1”を出力し、逆に輝度信号Yのレベルが輝度しきい値YLより小さければフラグ信号“0”を出力する。なお、この輝度しきい値YLは、マイコン3によって所望の値に設定することができる。
また、色相変換回路23より出力されたデジタル色相信号θは、色相比較回路142の一方の入力端子に入力される。色相比較回路142の他方の入力端子には、マイコン3から出力された色相範囲の値θWが入力される。この色相範囲の値θWとしては、特定彩度補正回路12においてマイコン3から指定した色相指定情報(図8(b)に示すHPとW)と同じ情報を指定することができる。色相比較回路142では、この入力された色相信号θがマイコン3で指定された色相範囲内の値θWであるかどうかを比較検出する。図9(b)は色相比較回路142の入出力特性を示し、横軸は入力の色相信号θ、縦軸は出力の一致フラグ信号θFである。色相信号θの横軸にはマイコン3で設定された色相範囲が示されている。色相比較回路142は、図9(b)の波形Kに示すように、色相範囲内の値θWであれば一致フラグ信号“1”を出力し、不一致であれば一致フラグ信号“0”を出力する。
輝度比較回路141の出力のフラグ信号YFと、色相比較回路142出力の一致フラグ信号θFは、それぞれ輝度利得制御回路143に入力される。さらに、マイコン3より出力された輝度利得制御値YGCが輝度利得制御回路143に入力され設定される。輝度利得制御回路143では、以下で述べるように制御された輝度利得信号が出力され、この輝度利得信号は乗算器15に入力される。図9(c)の波形Lは、輝度利得制御回路143の入出力特性を示し、横軸は輝度信号Y、縦軸は出力である輝度利得信号(YGAIN)である。輝度利得制御回路143は、輝度比較回路141の出力のフラグ信号YFが“1”であり且つ色相比較回路142出力の一致フラグ信号θFが“1”である条件の時の入出力特性を示しており、この時利得Aを出力する。なお、この利得Aの値は、前述したマイコン3よりの輝度利得制御値YGCのことであり所望の値に設定することができる。ここでは、利得Aは1より小さな値、0.9が設定されているものとする。また、前述のフラグ条件以外の時、即ち輝度比較回路141より出力されるフラグ信号YF、または色相比較回路142より出力される一致フラグ信号θFのうちどちらか一方のフラグ信号が“0”の時は、輝度利得制御回路143は利得1(図9(c)中に示す波形L)を出力する。このようにして輝度利得制御回路143は、指定した色における輝度信号Yの輝度しきい値YLを境に2値の輝度利得信号YGAIN(1またはA)を生成することができる。
輝度利得制御回路143から出力された輝度利得信号YGAINは、乗算器15に入力され、前述したマトリクス変換回路22出力の輝度信号Yとこの輝度利得信号YGAINを乗算し、輝度信号Yレベルが輝度信号しきい値YL以下であれば利得1であるので輝度信号Yをそのまま出力し、しきい値YL以上であれば利得A(=0.9)であるので、輝度信号Yの振幅レベルを小さく制御して制御された輝度信号Y’を出力する。
前述した芝生の例では、特定色相補正回路11によって色相補正され、特定彩度補正回路12によって彩度補正された芝生の緑色は、色相補正、彩度補正する前の芝生の黄緑色映像に含まれる輝度信号のレベルはかなり高いためかなり明るい輝度信号である。このため、色適応輝度利得制御回路14Aによって、芝生の映像部分は高彩度でしかも緑色の輝度信号のレベルを下げるように制御することができるので、輝度を適度に下げることによって、低減した明るさで自然な深みを持たせた緑色に色補正することができる。
ここで、色適応輝度利得制御回路14Aの構成要素である色相比較回路142は、特定彩度補正回路12によって彩度の利得制御を施した色に対して、前述したような輝度利得制御を必ずしも行わなければならないわけではなく、特定の色、例えば、芝生のような黄緑色の箇所に対してのみ輝度利得制御するように、マイコン3を介して輝度利得制御を行う色を指定することができる。また、色適応輝度利得制御回路14の構成要素の中に輝度比較回路141を設けているが、色相比較回路142で色相範囲を限りなく狭く限定することにより高輝度レベルの色のみに限定して、色適応輝度利得制御回路14を実現できるので、必ずしも輝度比較回路141の機能がなくてもよい。
また、輝度利得制御回路143に対し図9(c)に示したような2値の利得特性をもたせるのではなく、図10に示すように、輝度しきい値YL以上では、波形Mに示すように輝度信号レベルが大きくなるに従って輝度利得YGを下げるような右下がりの傾き特性を持たせても良い。このことによって、映像によって入力輝度の高い箇所ほど輝度を抑えることができるとういう効果がある。
また、輝度比較回路141に、輝度しきい値YLを2つ以上指定し、3つ以上の値の輝度レベルを識別する複数本のフラグ信号を持たせて、輝度利得制御回路143で3つ以上の輝度利得制御値を持つ輝度利得信号を生成する構成としてもよい。
このようにして、利得制御された輝度信号Y’は、色差変換回路25出力の色差信号(R−Y)’,(B−Y)’とともに逆マトリクス変換回路26へ入力され、逆マトリクス変換処理によって、R,G,Bの3原色信号に変換される。逆マトリクス変換回路26から出力された3原色信号は、映像表示装置4に供給され、映像表示装置4は、この3原色信号に基づき色補正が行われた映像を表示する。
以上のように、第1の実施の形態では、彩度利得制御を行う映像信号に含まれる輝度信号の利得を制御することができる構成であるので、上述してきた映像の例のように、芝生の輝度レベルが比較的高い黄緑色を主体とした映像においても彩度を強調して色を濃く利得制御しても、輝度の利得を下げるように制御することができるので、深みのある自然な色に補正された映像を表示することができるという効果がある。
また、輝度利得制御は、指定した色に対して最適な制御を行うことができるので、他の色の明るさには影響を与えずに輝度制御を行うことができ、容易に好適な色補正を行うことができる効果がある。
さらに、特定色の彩度利得を制御する際、必ずしも輝度利得制御をする必要はなく、特定彩度利得制御と輝度利得制御は互いに独立制御することが可能である。色によっては彩度利得制御を行わず、指定した色に含まれる輝度信号のみの利得を制御することも可能であり、このように制御する方法についても第1の実施の形態に含まれることは言うまでもない。また、マイコンにより輝度しきい値YL,色相幅θWなどの設定を自在に行うことができ、これらの制御は任意色に対して制御レベルを調節することができる。
図11を用いて、本発明の第2の実施の形態にかかる映像表示装置に用いられる信号処理回路の構成の概要を説明する。図11に示される第2の実施の形態においては、図1に示した第1の実施の形態と同じ機能を有するブロックには同一符号を付け、その説明を省略する。第2の実施の形態は、乗算器15に代えて加算器16を用いた点と、輝度利得制御回路143を備えた色適応輝度利得制御回路14Aに代えて輝度DC制御回路144を設けた色適応輝度DC制御回路14Bを用いた点で、第1の実施の形態と異なっている。
輝度比較回路141出力のフラグ信号YFと、色相比較回路142出力の一致フラグ信号θFは、それぞれ輝度DC制御回路144に入力される。さらに、マイコン3は、後述する輝度オフセットYO値を輝度DC制御回路144へ出力する。
図12を用いて、輝度DC制御回路144の出力信号の特性を説明する。同図において、横軸は色適応輝度DC制御回路14Bに入力される輝度信号Y、縦軸は輝度DC制御回路144の出力信号である輝度オフセット信号YOFFSETであり、縦軸の−Bはマイコン3から入力された輝度オフセットYO値を示す。以下、図12を参照しながら、輝度DC制御回路144の動作を述べる。
輝度DC制御回路144は、輝度比較回路141出力のフラグ信号YFが“1”(輝度しきい値YLより大きな輝度信号における画素を示す)であり且つ色相比較回路142出力の一致フラグ信号θFが“1”(特定した色の色相信号における画素を示す)の時のみ、図12に示すように、出力信号である輝度オフセット信号(YOFFSET)に輝度オフセットYO値に等しいオフセット量を発生する。両フラグ信号が“1”でない時は、輝度オフセット信号YOFFSETとしてデフォルト値“0”を出力する。なお、この輝度オフセットYO値は、マイコン3によって所望の値に設定することができる。今、この輝度オフセットYO値を負の値に設定する(ここでは、−Bとする)。
次に、加算器16の動作を説明する。まず、輝度オフセット信号(YOFFSET)は、加算器16の一方の入力端子へ入力される。一方、マトリクス変換回路22より出力された輝度信号Yは、加算器16の他方の入力端子に入力される。そして、加算器16は、輝度信号Yと輝度オフセット信号(YOFFSET)を加算する。このようにして、加算器16は、輝度しきい値YL以上の輝度で且つ特定色の彩度利得を制御する映像に含まれる輝度信号の直流レベルをYOFFSET分(−B)だけ下げた輝度信号を出力することができる。
前述した例と同じく芝生を例にとって説明すると、輝度DC制御回路144によって、芝生の映像部分は高輝度でしかも緑色の映像に含まれる輝度信号の直流レベルを下げるように制御することができる。
以上のように、第2の実施の形態では、彩度利得制御を行う映像信号に含まれる輝度信号の直流レベルを制御することができる構成であるので、上述してきた例で説明した映像のように、芝生の輝度レベルが比較的高い黄緑色を主体とした映像であっても彩度を強調し色を濃く利得制御し、そして輝度のブライトネスを若干下げるように制御することができるので、第1の実施の形態と同様に、適度に明るさを抑えることができるのでより鮮やかで色に深みのある自然で新鮮な映像を表示することができるという効果がある。
図13を用いて、本発明の第3の実施の形態にかかる映像表示装置に用いられる信号処理回路の構成を説明する。第3の実施の形態の説明においては、第1の実施の形態と同じ機能を有するブロックには同一符号を付け、その説明を省略する。第3の実施の形態は、色適応輝度利得制御回路14Aに新たに彩度利得制御回路145を追加して色適応輝度彩度利得制御回路14Cとした点と、特定彩度補正回路12の出力に新たに乗算器17を設けた点の2点で、第1の実施の形態と異なっている。
まず、色適応輝度彩度利得制御回路14Cの構成要素である彩度利得制御回路145について説明する。輝度比較回路141出力のフラグ信号YFと、色相比較回路142出力の一致フラグ信号θFは、それぞれ彩度利得制御回路145に入力される。さらに、マイコン3は、後述する彩度利得制御値SGCを彩度利得制御回路145に入力する。彩度利得制御回路145では、輝度比較回路141出力のフラグ信号YFが“0”(輝度しきい値YL以下の輝度信号における画素)であり且つ色相比較回路142出力の一致フラグ信号θFが“1”(特定した色の色相信号における画素)の時のみ、図14(a)のように、出力信号である彩度利得信号SGに利得“C”を出力する。この利得“C”の値は、マイコン3により入力された彩度利得制御値SGCのことであり、所望の値に設定することができる。ここでは、利得“C”は“1”より小さい値としている。そして、両フラグ信号が今述べた条件以外の時は、デフォルト値の彩度利得として、SG=“1”を出力する。このように、彩度利得制御回路145は、図14(a)に示すように輝度しきい値YLを境にした低輝度部分の彩度利得を可変した彩度利得Pを得ることができる。
以上のように本実施の形態では、特定彩度補正回路12により特定の色の彩度利得を一定の利得で制御した後に、乗算器17において、彩度利得信号SGによって低輝度部分における彩度信号S’の利得を下げることができるので、第1の実施の形態で述べた効果に加え、特定彩度補正回路12により特定の色を濃く制御することよって比較的暗くなり、階調が劣化する低輝度部分における色においても、視覚上最適な明るさに調整することができる効果がある。
また、いま述べてきた図14(a)に示した特性のように低輝度部分における彩度利得を制御するのではなく、図14(b)の波形Qに示すように輝度利得制御回路143により輝度しきい値YLを境にした低輝度部分の輝度の利得を可変して、上述と同様な効果を得ることもできる。それは、特定彩度補正回路12により特定色の彩度利得を一定の利得で制御された色に対し、輝度利得制御回路143は低輝度の利得を上げるように制御する(図14(b)の“D”)。これにより、特定彩度補正回路12により特定色を濃く制御することよって視覚上暗く見えるてしまう低輝度部分の明るさを輝度を上げて明るくなるように調整することができるので、図1で述べた実施の形態の効果に加え、同様に低輝度の明るさを調整することとができる効果がある。
図15を用いて、本発明の第4の実施の形態にかかる映像表示装置に用いられる信号処理回路の構成を説明する。第4の実施の形態において、第1の実施の形態と同じ機能を有するブロックには同一符号を付け、その説明を省略する。第4の実施の形態は、信号処理回路1Aに輝度非線形補正回路18を新たに設けて信号処理回路1Dとした点が、第1の実施の形態と異なっている。
輝度非線形補正回路18は、マトリクス変換回路22によって入力映像信号から分離された輝度信号Yの振幅レベルや直流レベルを可変制御するものであり、図16に、その詳細な回路図を示す。輝度非線形補正回路18は、黒伸長回路181と、白伸長回路182と、乗算器183と、クリップ回路184と、加算器185と、クリップ回路186とを従属接続するとともに、最大値最小値検出回路112を設けて構成される。さらに、輝度非線形補正回路18は、輝度信号Yが入力される輝度信号入力端子T181と、黒伸長上限設定値YBKとゲイン係数が入力されるYBK入力端子T182と、白伸長下限設定値YWTとゲイン係数が入力されるYWT入力端子T183と、コントラスト制御係数が入力されるコントラスト制御係数入力端子T184と、直流レベル信号が入力される直流レベル入力端子T185と、最大値最小値検出信号出力端子T186と、輝度信号出力端子T187とを有している。
マトリクス変換回路22から出力された輝度信号Yは、輝度信号入力端子T181を介して黒伸長回路181の一方の入力端子に供給される。黒伸長回路181の他方の入力端子には、マイコン3によって設定された黒伸長上限設定値YBKとゲイン係数が、YBK入力端子T182を介して供給される。黒伸長回路181は、黒伸長上限設定値YBK以下の輝度信号の輝度振幅を可変制御して出力し、白伸長回路182の一方の入力端子に供給する。
白伸長回路182の他方の入力端子には、マイコン3によって設定された白伸長下限設定値YWTとゲイン係数が、YWT入力端子T183を介して供給される。白伸長回路182は、白伸長下限設定値YWT以上の輝度信号の輝度振幅を可変制御して出力する。白伸長回路182によって振幅制御された輝度信号は、乗算器183に供給される。
乗算器183は、この輝度信号と、コントラスト制御係数入力端子T184を介して入力されたマイコン3からのコントラスト制御係数とを乗算して振幅を可変制御(コントラスト制御)する。
クリップ回路184は、乗算器183からの出力信号にオーバーフローが生じた場合に、そのオーバーフロー分を上限値(8ビット精度で最大値255)でクリップして出力する。この出力信号は、加算器185に入力される。
加算器185は、この出力信号と直流レベル入力端子T185を介して入力されたマイコン3からの直流(DC)値とを加算してブライトネス制御を行う。
クリップ回路186は、加算器185からの出力信号にオーバーフローが生じた場合に、このオーバーフロー分を上限値(8ビット精度で最大値255)でクリップする。クリップ回路186の出力信号は、輝度出力端子T187を介して、逆マトリクス変換回路26へ出力される。
最大値最小値検出制御回路187は、輝度信号入力端子T181を介して入力される輝度補正を行う前の輝度信号Yの最大レベルと最小レベルを検出し、最大値最小値検出信号出力端子T186を介してマイコン3へ出力する。
マイコン3は、検出された最大レベルおよび最小レベルに基づいて、前述の黒伸長回路181に入力される黒伸長上限設定値YBKおよびゲイン係数、白伸長回路182に入力される白伸長下限設定値YWTおよびゲイン係数、乗算器183に入力されるコントラスト制御係数、および加算器185に入力される直流レベルを演算して決定する。
図17は、今述べてきた輝度非線形補正回路18の動作を補足説明するための図で、輝度非線形補正回路18の各部の入出力特性を示している。図17(a)の波形Rは、輝度非線形補正回路18で何も補正されないときの入出力特性を示し、輝度信号入力端子T181から入力された輝度信号Yがそのまま出力された場合を示す。図17(b)の波形Sは黒伸長回路181と白伸長回路182とで、黒部分および白部分が伸長された出力信号を示している。波形Sにおいて、黒伸長回路181により処理された部分は、設定値YBKレベル以下のゲイン調整された実線の部分であり、白伸長回路182により処理された部分は、設定値YWTレベル以上のゲイン調整された実線の部分である。図17(c)の波形Tは、輝度入力信号を乗算器183とクリップ回路184で、コントラスト制御処理を行ったときの信号を示している(図17(c)では、図示を簡単とするため、黒伸長と白伸長はされてないものとして示してある)。図17(d)の波形Uは、波形Rを、加算器185とクリップ回路186でブライトネス制御処理を行ったときの信号を示している(図17(d)では、図示を簡単とするため、黒伸長、白伸長、コントラスト制御はされてないものとして示してある)。
このように、本実施の形態では、輝度信号Yに対して明るさ制御(コントラスト制御)および直流レベル制御(ブライトネス制御)を行うとともに、高レベルの輝度信号Yの階調を強調制御(白伸長制御)、および低レベルの輝度信号の階調を強調制御(黒伸長制御)している。これにより、メリハリのついた階調豊かな輝度信号(以下、補正輝度信号と呼ぶ)を得ることができる。このようにして非線形に補正された、補正輝度信号が、乗算器15および色適応輝度利得制御回路14Dに入力されることから、特定の色に対して彩度利得制御並びに輝度利得制御を行うことができる。従って、輝度補正を行った方が画質的に良好になる映像表示装置に対しても、より最適に色補正を補正が行えるという効果がある。
以上、本発明にかかる輝度利得制御を含めた色補正信号処理回路の詳細について説明したが、この信号処理回路は、直視型テレビジョン受像機や、背面投射型テレビジョン受像機に用いられる。また、コンピュータのモニタ用のディスプレイ装置にも適用できる。更に、この信号処理回路を備えた映像表示装置の表示デバイスとしては、ブラウン管のみならず、液晶パネルやプラズマディスプレイパネル(PDP)等も用いることができる。つまり、本発明は、どのような発光特性の異なる表示デバイスを用いても、上述したような効果を得ることができる。また、表示デバイスの種類(色再現や輝度飽和などの各種特性)に応じて、色相補正、彩度補正に関する各種パラメータ(例えば、輝度下限設定値YL等)を、マイコン3により適宜変更することも好適である。そのような実施の形態も本発明に含まれることは言うまでもない。
本発明の第1の実施の形態にかかる映像表示装置に用いられる信号処理回路の構成を説明するブロック図。 色をベクトルで表した色相環を説明する図。 色相信号と彩度信号の関係の一例を説明する図。 特定色相補正回路の詳細な構成を説明するブロック図。 特定色相補正回路の各部の特性を説明する図。 特定色相補正回路の各部の特性を説明する図。 特定彩度補正回路の詳細な構成を説明するブロック図。 特定彩度補正回路の各部の特性を説明する図。 色適応輝度利得制御回路の各部の特性を説明する図。 色適応輝度利得制御回路の利得制御特性の一例を説明する図。 本発明の第2の実施の形態にかかる映像表示装置に用いられる信号処理回路の構成を説明するブロック図。 輝度DC制御回路の出力信号の特性を説明する図。 本発明の第3の実施の形態にかかる映像表示装置に用いられる信号処理回路の構成を説明するブロック図。 図13の各部の特性を説明する図。 本発明の第4の実施の形態にかかる映像表示装置に用いられる信号処理回路の構成を説明するブロック図。 輝度非線形補正回路の詳細な構成を説明するブロック図。 輝度非線形補正回路の各部の入出力特性を説明する図。
符号の説明
1A,1B,1C,1D…信号処理回路、11…特定色相補正回路、111…加算器、112…局部色補正回路、12…特定彩度補正回路、121…乗算器、122…局部彩度補正回路、123…加算器、13…加算器、14A…色適応輝度利得制御回路、14B…色適応輝度DC制御回路、14C…色適応輝度彩度利得制御回路、14D…色適応輝度利得制御回路、141…輝度比較回路、142…色相比較回路、143…輝度利得制御回路、144…輝度DC制御回路、145…彩度利得制御回路、15…乗算器、16…加算器、17…乗算器、18…輝度非線形補正回路、181…黒伸長回路、182…白伸長回路、183…乗算器、184…クリップ回路、185…加算器、186…クリップ回路、187…最大値最小値検出制御回路、T21R…R原色信号入力端子、T21G…G原色信号入力端子、T21B…B原色信号入力端子、21…AD変換回路、22…マトリックス変換回路、23…色相変換回路、24…彩度変換回路、25…色差変換回路、26…逆マトリクス変換回路、3…マイコン、4…映像表示装置。

Claims (6)

  1. 映像表示装置において、
    入力映像信号から色相信号を生成するための色相信号生成手段と、
    所望色相範囲内にある入力映像信号の彩度を制御する彩度制御手段と、
    前記色相信号生成手段で生成された色相信号が前記所望色相範囲内にある場合であって、前記彩度制御手段によって前記所望色相内にある前記入力映像信号の彩度が高くなるように制御されたとき、該所望色相範囲内にある入力映像信号の輝度を下げるように制御する輝度制御手段と、
    前記輝度制御手段によって輝度が制御され、かつ前記彩度制御手段によって彩度が制御された映像信号を用いて映像の表示を行う表示手段と、を備え、
    前記輝度制御手段は、前記入力映像信号が高くなるに従って前記入力映像信号の輝度を下げるように制御することを特徴とする映像表示装置。
  2. 請求項1に記載の映像表示装置において、前記彩度制御手段は、前記映像信号から生成された彩度信号を制御することにより、前記所望色相範囲内にある映像信号の彩度を制御することを特徴とする映像表示装置。
  3. 請求項1または2に記載の映像表示装置において、前記輝度制御手段は、前記入力映像信号から得られた輝度信号の利得を制御することによって、当該映像信号の輝度を制御することを特徴とする映像表示装置。
  4. 請求項1または2に記載の映像表示装置において、前記輝度制御手段は、前記入力映像信号から得られた輝度信号の直流成分を制御することによって、当該映像信号の輝度レベルを制御することを特徴とする映像表示装置。
  5. 映像表示装置において、
    入力映像信号から色相信号を生成するための色相信号生成手段と、
    所望色相範囲内にある入力映像信号の彩度を制御する彩度制御手段と、
    前記色相信号生成手段で生成された色相信号が前記所望色相範囲内にある場合であって、前記彩度制御手段によって前記所望色相内にある前記入力映像信号の彩度が高くなるように制御されたとき、該所望色相範囲内にある入力映像信号の輝度利得を下げるように制御する輝度制御手段と、
    前記輝度制御手段によって輝度が制御され、かつ前記彩度制御手段によって彩度が制御された映像信号を用いて映像の表示を行う表示手段と、を備え、
    前記輝度制御手段は、前記入力映像信号の輝度が第1の輝度レベルの場合の輝度利得よりも前記第1の輝度レベルよりも高い第2の輝度レベルの場合の輝度利得が低くなるように制御することを特徴とする映像表示装置。
  6. 請求項5に記載の映像表示装置において、所望の色相範囲が緑を含む色相範囲であることを特徴とする映像表示装置。
JP2006223762A 2006-08-21 2006-08-21 映像表示装置および色補正方法 Expired - Lifetime JP4055810B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006223762A JP4055810B2 (ja) 2006-08-21 2006-08-21 映像表示装置および色補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006223762A JP4055810B2 (ja) 2006-08-21 2006-08-21 映像表示装置および色補正方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002020522A Division JP3867586B2 (ja) 2002-01-29 2002-01-29 映像表示装置

Publications (2)

Publication Number Publication Date
JP2007037166A JP2007037166A (ja) 2007-02-08
JP4055810B2 true JP4055810B2 (ja) 2008-03-05

Family

ID=37795746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006223762A Expired - Lifetime JP4055810B2 (ja) 2006-08-21 2006-08-21 映像表示装置および色補正方法

Country Status (1)

Country Link
JP (1) JP4055810B2 (ja)

Also Published As

Publication number Publication date
JP2007037166A (ja) 2007-02-08

Similar Documents

Publication Publication Date Title
US10672363B2 (en) Color rendering for images in extended dynamic range mode
JP3760815B2 (ja) 映像表示装置
JP3922306B2 (ja) 画像表示装置、および画像表示方法
JP4277773B2 (ja) 映像表示装置
JP5611508B2 (ja) 周辺光適応的な色補正装置および方法
JP5091955B2 (ja) 映像表示装置
JP3867586B2 (ja) 映像表示装置
JP2008278465A (ja) 広色相範囲画像のディスプレイ方法及び装置
JP2004326082A5 (ja)
JP3867726B2 (ja) 映像表示装置
JP4055810B2 (ja) 映像表示装置および色補正方法
JP4305917B2 (ja) 映像信号処理装置及びテレビジョン装置
US7986852B2 (en) Image processing apparatus and method for adjusting a lightness and an input image
JP2006229616A (ja) 映像信号処理回路
JP4831173B2 (ja) 映像表示装置
JP4470587B2 (ja) 画像表示装置
JPH08146915A (ja) 白バランス調整装置
JP2005210744A (ja) 映像表示装置
JP2005192249A (ja) 映像表示装置
KR20080068477A (ko) 색상 수정 방법 및 장치
JP2006005961A (ja) 映像表示装置及び色温度補正方法
JP2007221820A (ja) 映像表示装置及び色温度補正方法
KR20220143932A (ko) 포화된 색들에 대한 개선된 hdr 색 처리
JP2005210743A (ja) 映像表示装置
JP4835907B2 (ja) 信号処理装置および方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071203

R151 Written notification of patent or utility model registration

Ref document number: 4055810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131221

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term