JP4692435B2 - 階調改善回路及び表示システム - Google Patents

階調改善回路及び表示システム Download PDF

Info

Publication number
JP4692435B2
JP4692435B2 JP2006213244A JP2006213244A JP4692435B2 JP 4692435 B2 JP4692435 B2 JP 4692435B2 JP 2006213244 A JP2006213244 A JP 2006213244A JP 2006213244 A JP2006213244 A JP 2006213244A JP 4692435 B2 JP4692435 B2 JP 4692435B2
Authority
JP
Japan
Prior art keywords
gradation
input
output
value
control amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006213244A
Other languages
English (en)
Other versions
JP2008042448A (ja
JP2008042448A5 (ja
Inventor
千尋 佐桑
浩次 南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006213244A priority Critical patent/JP4692435B2/ja
Publication of JP2008042448A publication Critical patent/JP2008042448A/ja
Publication of JP2008042448A5 publication Critical patent/JP2008042448A5/ja
Application granted granted Critical
Publication of JP4692435B2 publication Critical patent/JP4692435B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、階調改善回路に関する。本発明はまた、階調改善回路と液晶ディスプレイ等の表示手段とを備えた表示システムに関する。
従来の表示装置は、コントラストが低い映像信号が入って来た場合は、コントラストが低い映像の表示を行っていた。また、コントラストの低い映像信号の階調を改善すると、階調の高い映像部分が白つぶれを起こしていた。この改善策として、1画面を複数のエリアに分割し、各エリアの輝度信号の平均値を算出し、各エリアの輝度の平均値に基づいて、輝度の度数分布を生成し、度数分布に基づいて、階調補正手段の入出力特性を制御する技術が既に発明されている(例えば、特許文献1)。
特開2004−023522号公報
しかしながら、上記のようにエリア毎の輝度の平均値に基づいて作成された輝度の度数分布に基づいて、階調補正手段の入出力特性を制御すると、画像の内容の変化に伴い、階調補正手段の入出力特性が頻繁に変更されることになり、画面が明るくなったり暗くなったりしてチラツキが発生する場合があった。
本発明は、映像内容にかかわらず、階調の高い映像部分も白つぶれすることなく、常に良好なコントラストを再現できる階調改善回路及び階調改善回路を備えたディスプレイ装置を提供することを目的とする。
本発明の階調改善回路は、入力された映像信号を受け、その階調を必要に応じて変換して階調変換された映像信号を出力する階調変換手段と、入力された映像信号の各フィールド又は各フレームにおける統計量を検出する統計処理手段と、前記統計処理手段から出力されるヒストグラムとあらかじめ定めた所定値とから変換特性を決定する目標変換特性決定手段と、前記ヒストグラムを閾値と比較して2値で表しパターン化する統計処理分析手段と、前記統計処理分析手段によるヒストグラムのパターンによって最適化調整量を決定し、前記目標変換特性決定手段で決定された変換特性を前記最適化調整量に基づいて補正し、階調制御量を決定する階調制御量決定手段と、前記階調制御量が1フィールド前又は1フレーム前の階調制御量に対して所定の制限値以下となるよう制限して最終制御量を決定する最終制御量決定手段とを備え、前記階調変換手段は、前記最終制御量決定手段によって決定された前記最終制御量に基づいて階調変換処理をすることを特徴とする
本発明によれば、画像の内容にかかわらず常にコントラスとの高い白つぶれのない良好な映像信号が得られる。
以下図面を参照して本発明の実施の形態を説明する。
実施の形態1
図1は本発明の実施の形態1における階調改善回路を示すブロック図である。図1に示すように、この階調改善回路は、入力端子100に入力された映像信号を必要に応じて変換し出力端子200に出力する階調変換手段1を備えている。
図1の階調改善回路はさらに、
入力された映像信号の各フィールド又は各フレームにおける統計量を検出する統計処理手段2と、
統計処理手段2の出力から、階調変換手段1で階調変換特性を決定するために必要な要素の1つである入出力特性を決定する目標変換特性決定手段3と、
統計処理手段2から出力されたヒストグラムの形状を分析する統計処理分析手段4と、
目標変換特性決定手段3の出力と統計処理分析手段4の出力より階調制御量を決定する階調制御量決定手段5と、
入力された映像信号のシーンチェンジを検出するシーンチェンジ検出手段6と、
階調制御量決定手段5の出力とシーンチェンジ決定手段6の出力より最終的な制御量を決定する最終制御量決定手段7と
を有する。
図1の階調改善回路の各手段について、具体的に説明する。図2は本発明の実施の形態1における階調変換手段1の階調変換特性の一例を示す図であり、2つの直線を組み合わせた入出力特性を有している。INは最終制御量決定手段7からの入力値、OUTは出力値を表し、INmax、OUTmaxはそれぞれ、最大入力値、最大出力値を表す。最終制御量決定手段7の出力値の詳細は別途説明する。
入力INがある値IN(m)以上の範囲では、入力INに対する出力の関係が
OUT=ki・IN+kf(ki、kfは定数) …(1)
で表され、入力INが上記の値IN(m)以下の範囲では、入力INに対する出力の関係が
OUT=kj・IN(kjは定数) …(2)
で表される。(入力INが上記の値IN(m)のときは式(1)と式(2)がともに満たされる。)
統計処理手段2は、入力された映像信号の各画素の値につき、フィールド周期毎のヒストグラムを求める。具体的には、入力された映像信号の各画素の値(信号レベル)を例えば16個の階級(0〜15)に分割し、フィールド毎に各階級に属する画素の数の比率を求め、階級ごとの出現頻度として求める。図3から図9は、本発明の実施の形態1における統計処理手段2の出力結果の例を示す図である。
例えば、比較的明るい画像から暗い画像までを均等に含んだ映像では、図3に示すような階級間で出現頻度に大きな差がないヒストグラムが求められる。また、比較的暗い画像が少ない映像では、図4に示すようなヒストグラムが求められる。また、比較的明るい画像が少ない映像のフィールドでは、図5に示すようなヒストグラムが求められる。また、明るい画像も暗い画像もあまり含まず、中間的な明るさの画像が大部分を占める映像では、図6に示すような中間的な信号レベルの階級の出現頻度が高いヒストグラムが求められる。また、非常に明るい画像が多く、中間の明るさの画像が少ない映像では、図7に示すような中間的な信号レベルの階級の出現頻度が低いヒストグラムが求められる。
次に目標変換特性決定手段3の説明を行う。図8は本発明の実施の形態1における目標変換特性決定手段3の変換特性の一例を示す図であり、K0〜K15で示す16通りの変換特性(入出力特性)を有している。入出力特性のいずれを適用するかは、別途説明する。INは統計処理手段2からの入力値、OUTは出力値を表し、INmaxは最大入力値を表す。
番号K0で示される入出力特性は、入力に対する出力の関係が直線的である。言換えると、出力OUTは、入力INに対して、
OUT=ka0・IN(ka0は定数) …(a0)
の関係を有する。
番号K1で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN1a以上の範囲では、入力INに対する出力の関係が
OUT=ks・IN+kc(ks、kcは定数) …(aa)
で表され、入力INが上記の値IN1a以下の範囲では、入力INに対する出力の関係が
OUT=ka1・IN(ka1は定数) …(a1)
で表される。(入力INが上記の値IN1aのときは式(aa)と式(a1)がともに満たされる。)
番号K2で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN2a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN2a以下の範囲では、入力INに対する出力の関係が
OUT=ka2・IN(ka2は定数) …(a2)
で表される。(入力INが上記の値IN2aのときは式(aa)と式(a2)がともに満たされる。)
番号K3で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN3a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN3a以下の範囲では、入力INに対する出力の関係が
OUT=ka3・IN(ka3は定数) …(a3)
で表される。(入力INが上記の値IN3aのときは式(aa)と式(a3)がともに満たされる。)
番号K4で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN4a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN4a以下の範囲では、入力INに対する出力の関係が
OUT=ka4・IN(ka4は定数) …(a4)
で表される。(入力INが上記の値IN4aのときは式(aa)と式(a4)がともに満たされる。)
番号K5で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN5a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN5a以下の範囲では、入力INに対する出力の関係が
OUT=ka5・IN(ka5は定数) …(a5)
で表される。(入力INが上記の値IN5aのときは式(aa)と式(a5)がともに満たされる。)
番号K6で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN6a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN6a以下の範囲では、入力INに対する出力の関係が
OUT=ka6・IN(ka6は定数) …(a6)
で表される。(入力INが上記の値IN6aのときは式(aa)と式(a6)がともに満たされる。)
番号K7で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN7a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN7a以下の範囲では、入力INに対する出力の関係が
OUT=ka7・IN(ka7は定数) …(a7)
で表される。(入力INが上記の値IN7aのときは式(aa)と式(a7)がともに満たされる。)
番号K8で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN8a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN8a以下の範囲では、入力INに対する出力の関係が
OUT=ka8・IN(ka8は定数) …(a8)
で表される。(入力INが上記の値IN8aのときは式(aa)と式(a8)がともに満たされる。)
番号K9で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN9a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN9a以下の範囲では、入力INに対する出力の関係が
OUT=ka9・IN(ka9は定数) …(a9)
で表される。(入力INが上記の値IN9aのときは式(aa)と式(a9)がともに満たされる。)
番号K10で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN10a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN10a以下の範囲では、入力INに対する出力の関係が
OUT=ka10・IN(ka10は定数) …(a10)
で表される。(入力INが上記の値IN10aのときは式(aa)と式(a10)がともに満たされる。)
番号K11で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN11a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN11a以下の範囲では、入力INに対する出力の関係が
OUT=ka11・IN(ka11は定数) …(a11)
で表される。(入力INが上記の値IN11aのときは式(aa)と式(a11)がともに満たされる。)
番号K12で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN12a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN12a以下の範囲では、入力INに対する出力の関係が
OUT=ka12・IN(ka12は定数) …(a12)
で表される。(入力INが上記の値IN12aのときは式(aa)と式(a12)がともに満たされる。)
番号K13で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN13a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN13a以下の範囲では、入力INに対する出力の関係が
OUT=ka13・IN(ka13は定数) …(a13)
で表される。(入力INが上記の値IN13aのときは式(aa)と式(a13)がともに満たされる。)
番号K14で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN14a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN14a以下の範囲では、入力INに対する出力の関係が
OUT=ka14・IN(ka14は定数) …(a14)
で表される。(入力INが上記の値IN14aのときは式(aa)と式(a14)がともに満たされる。)
番号K15で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN15a以上の範囲では、入力INに対する出力の関係が上記の式(aa)で表され、入力INが上記の値IN15a以下の範囲では、入力INに対する出力の関係が
OUT=ka15・IN(ka15は定数) …(a15)
で表される。(入力INが上記の値IN15aのときは式(aa)と式(a15)がともに満たされる。)
定数相互間には、
ks<ka0<ka1<ka2<ka3<ka4<ka5<ka6<ka7<ka8<ka9<ka10<ka11<ka12<ka13<ka14<ka15 …(18)
の関係があり、さらに入力INが最大値INmaxのときは、出力OUTも最大値OUTmaxとなるように、上記の定数ks、ka0〜ka15が定められている。
番号K0〜K15で示される複数の入出力特性は、番号が大きくなるほど明るい画像部分以外の画像部分のコントラストが大きくなるという特徴ある。従って、明るい画像部分が少なければ少ないほど、番号の大きい入出力特性を選択することで、コントラストが良くなり、階調が改善された画像が得られる。図に示される番号は、本願で「特性番号」と呼ぶ。
例えば、IN1a、IN2a、IN3a、IN4a・・・・・IN12a、IN13a、IN14a、IN15aの間には、
INmax−IN1a=IN1a−IN2a=IN2a−IN3a=IN3a−IN4a・・・・・IN3a−IN4a=IN14a−IN15a=IN15a
という関係があり、特性番号の値が1だけ変わると、それに伴う入出力特性もこれに対応した量だけ上記一つの特徴の強さが変わる。
目標変換特性決定手段3は、所定値H(あらかじめ定めた白つぶれさせても良い画素の個数)と統計処理手段2の出力結果の比較を行い、比較結果に応じて、入出力特性を指定する
統計処理手段2で求めたヒストグラムの1番高い階級の頻度から順に度数を、H1、H2、H3、H4・・・・とした場合、
H≦H1の場合、入出力特性はK0、
H1<H≦H1+H2の場合、入出力特性はK1、
H1+H2<H≦H1+H2+H3の場合、入出力特性はK2、
H1+H2+H3<H≦H1+H2+H3+H4の場合、入出力特性はK3、
H1+H2+H3+H4<H≦H1+H2+H3+H4+H5の場合、入出力特性はK4
・・・・・
となるように、入出力特性を決定する。
例えば度数がH1=10、H2=20、H3=30、H4=40、H5=50である映像フィールドで、所定値H=100とすると、上の式のH1+H2+H3<H≦H1+H2+H3+H4を満たす。よって、この場合の入出力特性は、K3となる。また、H=35としたときの入出力特性はK2、H=65としたときの入出力特性はK7となる。
図3と図7を用いて具体的に説明する。例えば図3のヒストグラム頻度の度数が、H1=10、H2=9、H3=7、H4=8、H5=9、H6=7、H7=8、H8=10とする。また例えば図7のヒストグラム頻度の度数が、H1=48、H2=9、H3=0、H4=0、H5=1、H6=2、H7=2、H8=6とする。白つぶれしても良い数を所定値H=65とすると、図3のヒストグラムになる映像フィールドと図7のヒストグラムになる映像フィールドのどちらも、H1+H2+H3+H4+H5+H6+H7<H≦H1+H2+H3+H4+H5+H6+H7+H8を満たすので(図3の場合 58<H=65<68、図7の場合 60<H=65<66)、入出力特性はK7と決定される。
次に統計処理分析手段4の説明を行う(図1(b)参照)。統計処理分析手段4では、統計処理手段2で求めたヒストグラムの度数の2階級分をまとめて新たな1階級(新階級)を作成する。新階級の度数が、ユーザーが決定する閾値THを超えた時はβ、閾値THを下回るときはαとするような2値化であらわし、統計処理手段2で求めたヒストグラムを簡単なパターンにすることにより、映像の特徴をとらえる。
図9、図10は本発明の実施の形態1における統計処理分析手段4の出力結果の例を示す図である。図9は、図3おいてH1の頻度とH2の頻度の合計をHH1、H3の頻度とH4の頻度の合計をHH2、H5の頻度とH6の頻度の合計をHH3、H7の頻度とH8の頻度の合計をHH4という新階級にしたヒストグラムである。よって、図9の頻度は、HH1=19(10+9)、HH2=15(7+8)、HH3=16(9+7)、HH4=18(8+10)となる。
図10は、図7のH1の頻度とH2の頻度の合計をHH1、H3の頻度とH4の頻度の合計をHH2、H5の頻度とH6の頻度の合計をHH3、H7の頻度とH8の頻度の合計をHH4という新階級にしたヒストグラムである。よって図10の頻度はHH1=55(48+9)、HH2=0(0+0)、HH3=3(1+2)、HH4=8(2+6)となる。
上記新階級の頻度を2値化するための閾値THを10とし、10以上をβ、10未満をαとすると、図9ではHH1=β、HH2=β、HH3=β、HH4=βとなる。また、図10ではHH1=β、HH2=α、HH3=α、HH4=αとなる。これによって、図3のようなヒストグラムの映像と図7のヒストグラムのような映像をβとαのパターンにする。
階調制御量決定手段5の説明を行う(図1(c)参照)。階調制御量決定手段5は、統計処理分析手段4で2値化した出力結果パターンを用いて、目標変換特性決定手段3の出力を調整することによって、そのフィールドの最適な調整量(最適化調整量)を算出し、出力している。統計処理分析手段4で2値化したHH1からHH4がαかβかによって、重み付けされた調整値が設定されている。
図11は、最適化調整量を導き出すための調整値の一例を表にしたものである。この例では、基本調整量を0.20とし、調整値は、統計処理分析手段4の出力結果によって、
HH1についてはαの時は0.35,βの時は0、
HH2についてはαの時は0.25,βの時は0、
HH3についてはαの時は0.15,βの時は0、
HH4についてはαの時は0.05,βの時は0、
を用いることとし、
最適化調整量=HH4の調整値+HH3の調整値+HH2の調整値+HH1の調整値+基本調整量
として、算出する。
つまり、HH1〜HH4全てがαの時は図11のパターン1であるので、最適化調整量は1.0(=0.05+0.15+0.25+0.35+0.20)、HH1〜HH4全てがβの時は図11のパターン16であるので、最適化調整量は0.20(=0+0+0+0+0.20)となる。図9の例では、HH1〜HH4すべてがβなのでパターン16であり、最適化調整量は0.20となる。図10の例ではHH1がβ、HH2〜HH4がαなのでパターン2であり、最適化調整量は0.65となる。この最適化調整量を用いて目標変換特性決定手段3の出力を調整し、最適な階調制御量を下記の式(3)を用いて算出する。
階調制御量=1+(乗数ka*の値−1)×最適化調整量 …(3)
(*は式(a0)から式(a15)のka0〜ka15に使用されている0〜15の数字)
例えば、目標変換特性決定手段3から、映像信号の階調特性を可変する変換特性がK7と決定し、乗数ka7の値が1.5であった場合、階調制御量は
図9の場合、最適化調整量が0.20なので、
1+(1.5−1)×0.20=1.10、
図10の場合、最適化調整量が0.65なので、
1+(1.5−1)×0.65=1.325、
となる。
なお、図11で用いた調整値、基本調整量は一例であるので、図11と違う値を用いても良い。
シーンチェンジ検出手段6について説明する。シーンチェンジ検出手段6は、入力された各フィールド又は各フレームの映像信号を、1フィールド又は1フレーム前の映像信号と比較して、比較の結果得られる1フィールド又は1フレーム間での映像信号の変化の度合いを示す信号をシーンチェンジの情報として出力する。例えば、1画面を複数のエリアに分割し、各エリアの画素の値の平均値を求め、フィールド間のエリア毎の平均値の差が所定値以上のエリアの数をシーンチェンジの情報として出力する。
図12は本発明の実施の形態1におけるシーンチェンジ検出手段6の画面分割の例を示す図である。より具体的には、図12に示すように1画面を横方向5、縦方向5の合計25個のエリアに分割し、フィールドの画素の値の平均値と1フィールド前の画素の平均値との差をエリア毎に求め、エリア毎の平均値の差と所定値Sとの比較を行い、所定値Sよりも平均値の差が大きいエリアの数を表す信号をシーンチェンジの情報として出力している。
最終制御量決定手段7は、階調制御量決定手段5からの階調制御量に基づいて、最終制御量FC(t)を決定して出力する。この際、1フィールド前の最終制御量FC(t−1)を記憶しており、これに基づいて、現フィールドにおける最終制御量FC(t)を決定する。
より具体的には、階調制御量を目標として最終制御量FCを階調制御量に近付けようとする一方、1フィールド前の最終制御量FC(t−1)からの変化量(指定値の差)を所定の制限値以下に制限している。但し、シーンチェンジ検出手段6の出力に応じて、この所定の制限値を変更する。
例えば、シーンチェンジ検出手段6の出力SCが20以上の場合は、制限をなくし、シーンチェンジ検出手段6の出力SCが10以上20未満の場合は、制限値を±2とし、
シーンチェンジ検出手段6の出力SCが10未満の場合は、制限値を±1とする。
この結果、シーンチェンジ検出手段6の出力SCが20以上の場合は、階調制御量がそのまま最終制御量FCとして出力され、シーンチェンジ検出手段6の出力が10以上20未満の場合は、1フィールド前の最終制御量FC(t−1)からの変化が±1以下となるように制限が掛けられ、シーンチェンジ検出手段6の出力が10未満の場合は、1フィールド前の最終制御量FC(t−1)からの変化が±0.5以下となるように制限が掛けられ、このようにして定められた値が現フィールドの最終制御量FC(t)として出力される
階調変換手段1は、先に説明したように、最終制御量決定手段7の最終制御量FC(t)の値に応じて階調変換特性で変換した映像信号を出力端子200へ出力する。
以上のように映像信号の統計量、ヒストグラムの形状に応じて階調を可変するように調整し、また、フィールド間またはフレーム間で階調の可変量の変化範囲に制限を設け、また、シーンチェンジにおいては、この制限を緩和するようにしたので、常にコントラスとの高い白つぶれのない良好な映像信号が得られる効果がある。
なお、上記実施の形態1では、目標変換特性決定手段3での変換特性を、図8に示すものとしたが、これに限ることはなく、例えば、図13に示すようなものとしても良い。図13の特性は、図8の特性の式(aa)において、ks=0とし、kc=OUTmaxとした場合に相当すると見ることもできる。
また、上記実施の形態1では、図8に示すように16種類の変換特性の構成にしたが、これに限ることは無く、選択可能な変換特性の数をより多くしても、少なくしても良い。
また、上記実施の形態1では、統計処理手段2で求めたヒストグラムの度数の2階級分をまとめて新階級としたが、統計処理手段2で求めたヒストグラムの度数の1階級を新階級としてもよく、また統計処理手段2で求めたヒストグラムの度数の3階級以上をまとめて新階級としてもよい。また、図8と図9は4つの新階級で統計処理分析を行っているが、2〜3の新階級、5階級以上でもよい。また、階級の数はフィールド、またはフレームごとに異なってよい。
また、上記実施の形態1では、入力映像信号が輝度信号及び色差信号か、RGB信号かを限定していないが、輝度信号及び色差信号の場合には、RGB信号に変換後、統計処理手段3により統計処理を行った方が正確な統計量が求められる。その場合、R信号、G信号、B信号を同じ様に扱わず、視覚的に目立ちやすいG信号に対してR信号、B信号を小さく評価してもよい。
また、上記実施の形態1では、入力映像信号が輝度信号及び色差信号か、RGB信号かを限定していないが、RGB信号の場合には、輝度信号に変換後、シーンチェンジ検出手段によりシーンチェンジを検出してもよい。
また、上記実施の形態1では、入力信号がインターレース画像を想定して階調可変手段の制御量にフィールド間での制限をかけ、シーンチェンジ検出手段の検出もフィールド間で行ったが、これに限ることはなく、入力信号がプログレッシブの映像信号の場合は,フレーム間で制御量の制限を設け、フレーム間でシーンチェンジを検出するようにしても同様の効果が得られる。
実施の形態2.
実施の形態1では、画像が白つぶれすることについての対策を例に説明したが、実施の形態2では、画像が黒つぶれすることについての対策を例に説明する。実施の形態1と実施の形態2が大きく異なる点は、目標変換特性決定手段3で説明する入出力特性である。
図14は本発明の実施の形態2における目標変換特性決定手段3の変換特性の一例を示す図である。目標変換特性決定手段3は図14に示すように、K0〜K15で示す16通りの変換特性(入出力特性)のいずれかを適用し、入出力特性のいずれを適用するかは、別途説明する。INは統計処理手段2からの入力値、OUTは出力値を表し、INmaxは最大入力値を表す。
番号K0で示される入出力特性は、入力に対する出力の関係が直線的である。言換えると、出力OUTは、入力INに対して、
OUT=kb0・IN(kb0は定数) …(b0)
の関係を有する。
番号K1で示される入出力特性は、2つの直線を組み合わせたものであり、入力INが上記の値IN1a以下の範囲では、入力INに対する出力の関係が
OUT=kb1・IN(ka1は定数) …(b1)
で表され、
入力INがある値IN1a以上の範囲では、入力INに対する出力の関係が
OUT=kg1・IN+kd1(kg1、kd1は定数) …(bb)
で表される。(入力INが上記の値IN1aのときは式(bb)と式(b1)がともに満たされる。)
番号K2で示される入出力特性は、2つの直線を組み合わせたものであり、入力INがある値IN2b以下の範囲では、入力INに対する出力の関係が上記の式(bb)で表され、
入力INがある値IN2b以上の範囲では、入力INに対する出力の関係が
OUT=kg2・IN+kd2(kg2、kd2は定数) …(b2)
で表される。(入力INが上記の値IN1aのときは式(bb)と式(b2)がともに満たされる。)
同様に、番号Kη(ηは1から15以下の整数)で示される入出力特性は、2つの直線を組み合わせたものであり、入力INが上記の値INηb以下の範囲では、入力INに対する出力の関係が上記の式(bb)で表され、
で表され、
入力INがある値INηb以上の範囲では、入力INに対する出力の関係が
OUT=kbη・IN+kdη(kgη、kdηは定数) …(bη)
で表される。(入力INが上記の値INηbのときは式(bb)と式(bη)がともに満たされる。)
定数相互間には、
kg<kb0<kb1<kb2<kb3<kb4<kb5<kb6<kb7<kb8<kb9<kb10<kb11<kb12<kb13<kb14<kb15 …(18)
の関係があり、さらに入力INが最大値INmaxのときは、出力OUTも最大値OUTmaxとなるように、上記の定数kg、kb0〜kb15、kd1〜kd15が定められている。
番号K0〜K15で示される複数の入出力特性は、番号が大きくなるほど、一つの特徴、すなわち、暗い画像部分以外の部分におけるコントラストが大きくなるという特徴が次第に強くなる。従って、暗い画像部分が少なければ少ないほど、番号の大きい入出力特性を選択することで、コントラストが大きくなり、階調が改善された画像が得られる。図に示される番号は、本願で「特性番号」と呼ぶ。
例えば、IN1b、IN2b、IN3b、IN4b・・・・・IN12b、IN13b、IN14b、IN15bの間には、
INmbx−IN15b=IN15b−IN14b=IN14b−IN13b=IN13b−IN12b・・・・・IN3b−IN2b=IN2b−IN1b
という関係があり、特性番号の値が1だけ変わると、それに伴う入出力特性もこれに対応した量だけ上記一つの特徴の強さが変わる。
目標変換特性決定手段3は、所定値L(あらかじめ定めた黒つぶれさせても良い画素の個数)と統計処理手段2の出力結果の比較を行い、比較結果に応じて、入出力特性を指定する。
統計処理手段2で求めたヒストグラムの1番低い階級の頻度から順に度数を、L1、L2、L3、L4・・・・とした場合、
L≦L1の場合、入出力特性はK0、
L1<L≦L1+L2の場合、入出力特性はK1、
L1+L2<L≦L1+L2+L3の場合、入出力特性はK2、
L1+L2+L3<L≦L1+L2+L3+L4の場合、入出力特性はK3、
L1+L2+L3+L4<L≦L1+L2+L3+L4+L5の場合、入出力特性はK4
・・・・・
となるように、入出力特性を決定する。
例えば度数をL1=10、L2=20、L3=30、L4=40、L5=50となるような映像フィールドで、所定値L=100とすると、上の式のL1+L2+L3<L≦L1+L2+L3+L4を満たす。よって、この場合の入出力特性は、K3となる。また、L=35としたときの入出力特性はK2、L=65としたときの入出力特性はK7と決定する。
図3と図7を用いて具体的に説明する。例えば図3のヒストグラム頻度の度数が、H1=10、H2=9、H3=7、H4=8、H5=9、H6=7、H7=8、H8=10とする。また例えば図7のヒストグラム頻度の度数が、H1=48、H2=9、H3=0、H4=0、H5=1、H6=2、H7=2、H8=6とする。白つぶれしても良い数を所定値H=65とすると、図3のヒストグラムになる映像フィールドと図7のヒストグラムになる映像フィールドのどちらも、H1+H2+H3+H4+H5+H6+H7<H≦H1+H2+H3+H4+H5+H6+H7+H8を満たすので(図3の場合 58<H=65<68、図7の場合 60<H=65<66)、入出力特性はK7と決定する。
図15と図16を用いて具体的に説明する。例えば図15のヒストグラム頻度の度数が、L1=10、L2=9、L3=7、L4=8、L5=9、L6=7、L7=8、L8=10とする。また例えば図16のヒストグラム頻度の度数が、L1=48、L2=9、L3=0、L4=0、L5=1、L6=2、L7=2、L8=6とする。白つぶれしても良い数を所定値L=65とすると、図15のヒストグラムになる映像フィールドと図16のヒストグラムになる映像フィールドのどちらも、L1+L2+L3+L4+L5+L6+L7<L≦L1+L2+L3+L4+L5+L6+L7+L8を満たすので(図15の場合 58<L=65<68、図16の場合 60<L=65<66)、入出力特性はK7と決定する。
次に統計処理分析手段4の説明を行う(図1(b)参照)。統計処理分析手段4では、統計処理手段2で求めたヒストグラムの度数の2階級分をまとめて新たな1階級(新階級)を作成する。新階級の度数が、ユーザーが決定する閾値TLを超えた時はβ、閾値TLを下回るときはαとするような2値化であらわし、統計処理手段2で求めたヒストグラムを簡単なパターンにすることにより、映像の特徴をとらえる。
図17、図18は本発明の実施の形態1における統計処理分析手段4の出力結果の例を示す図である。図17は、図15の統計処理結果においてL1の頻度とL2の頻度の合計をLL1、L3の頻度とL4の頻度の合計をLL2、L5の頻度とL6の頻度の合計をLL3、L7の頻度とL8の頻度の合計をLL4という新階級にしたヒストグラムである。よって、図17の頻度は、LL1=19(10+9)、LL2=15(7+8)、LL3=16(9+7)、LL4=18(8+10)となる。
図18は、図16の統計処理結果においてL1の頻度とL2の頻度の合計をLL1、L3の頻度とL4の頻度の合計をLL2、L5の頻度とL6の頻度の合計をLL3、L7の頻度とL8の頻度の合計をLL4という新階級にしたヒストグラムである。よって図18の頻度はLL1=55(48+9)、LL2=0(0+0)、LL3=3(1+2)、LL4=8(2+6)となる。
上記新階級の頻度を2値化するための閾値TLを10とし、10以上をβ、10未満をαとすると、図17ではLL1=β、LL2=β、LL3=β、LL4=βとなる。また、図18ではLL1=β、LL2=α、LL3=α、LL4=αとなる。これによって、図15のようなヒストグラムの映像と図16のヒストグラムのような映像をβとαのパターンで区別できる。
階調制御量決定手段5の説明を行う(図1(c)参照)。階調制御量決定手段5は、統計処理分析手段4で2値化した出力結果パターンを用いて、目標変換特性決定手段3の出力を調整することによって、そのフィールドの最適な調整量(最適化調整量)を算出し、出力している。統計処理分析手段4で2値化したLL1からLL4がαかβかによって、重み付けされた調整値が設定されている。
図19は、最適化調整量を導き出すための調整値の一例を表にしたものである。この例では、基本調整量を0.20とし、調整値は、統計処理分析手段4の出力結果によって、
LL1についてはαの時は0.35,βの時は0、
LL2についてはαの時は0.25,βの時は0、
LL3についてはαの時は0.15,βの時は0、
LL4についてはαの時は0.05,βの時は0、
用いることとし、
最適化調整量=LL1の調整値+LL2の調整値+LL3の調整値+LL4の調整値+基本調整量
として、算出する。
つまり、LL1〜LL4全てがαの時はパターン1であるので、最適化調整量は1.0(=0.35+0.25+0.15+0.05+0.20)、LL1〜LL4全てがβの時はパターン16であるので、最適化調整量は0.20(=0+0+0+0+0.20)となる。図17の例では、LL1〜LL4すべてがβなのでパターン16であり、最適化調整量は0.20となる。図18の例ではLL1がβ、LL2〜LL4がαなのでパターン2であり、最適化調整量は0.65となる。この最適化調整量を用いて目標変換特性決定手段3の出力を調整し、最適な階調制御量を下記の式(4)を用いて算出する。
階調制御量=1+(乗数kb*の値−1)×最適化調整量 …(4)
(*は式(1)から式(17)のkb0〜kb15に使用されている0〜15の数字)
例えば、目標変換特性決定手段3から、映像信号の階調特性を可変する変換特性がK7と決定し、乗数kb7の値が1.5であった場合、階調制御量は
図17の場合、最適化調整量が0.20なので、
1+(1.5−1)×0.20=1.10、
図18の場合、最適化調整量が0.65なので、
1+(1.5−1)×0.65=1.325、
となる。
シーンチェンジ検出手段6、最終制御量決定手段7は実施の形態1と同じ働きであるので、説明を省略する。
階調変換手段1は、実施の形態1で説明したのと同様に、最終制御量決定手段7の最終制御量FC(t)の値に応じて階調変換特性で変換した映像信号を出力端子200へ出力する。
以上のように映像信号の統計量、ヒストグラムの形状に応じて階調を可変するようにし調整し、また、フィールド間またはフレーム間で、階調の可変量の変化範囲に制限を設け、また、シーンチェンジにおいては、この制限を緩和するようにしたので、常にコントラスとの高い黒つぶれのない良好な映像信号が得られる効果がある。
なお、上記実施の形態2では、目標変換特性決定手段3での変換特性を、図14に示すものとしたが、これに限ることはなく、例えば、図20に示すようなものとしても良い。図20の特性は、図14の特性の式(22)において、kb1=0とした場合に相当すると見ることもできる。
また、上記の実施の形態2では、図20に示すように16種類の変換特性の構成にしたが、これに限ることは無く、選択可能な変換特性の数をより多くしても、少なくしても良い。
また、上記実施の形態2では、統計処理手段2で求めたヒストグラムの度数の2階級分をまとめて新階級としたが、統計処理手段2で求めたヒストグラムの度数の1階級を新階級としてもよく、また統計処理手段2で求めたヒストグラムの度数の3階級以上をまとめて新階級としてもよい。また、図17と図18は4つの新階級で統計処理分析を行っているが、2〜3の新階級、5階級以上でもよい。また、階級の数はフィールド、またはフレームごとに異なってよい。
また、上記実施の形態2では、入力映像信号が輝度信号及び色差信号か、RGB信号かを限定していないが、輝度信号及び色差信号の場合には、RGB信号に変換後統計処理手段3により統計処理を行った方が正確な統計量が求められる。その場合、R信号、G信号、B信号を同じ様に扱わず、視覚的に目立ちやすいG信号に対してR信号、B信号を小さく評価してもよい。
また、上記実施の形態2では、入力映像信号が輝度信号及び色差信号か、RGB信号かを限定していないが、RGB信号の場合には、輝度信号に変換後、シーンチェンジ検出手段によりシーンチェンジを検出してもよい。
また、上記実施の形態2では、入力信号がインターレース画像を想定して階調可変手段の制御量にフィールド間での制限をかけ、シーンチェンジ検出手段の検出もフィールド間で行ったが、これに限ることはなく、入力信号がプログレッシブの映像信号の場合は,フレーム間で制御量の制限を設け、フレーム間でシーンチェンジを検出するようにしても同様の効果が得られる。
実施の形態3.
実施の形態1、実施の形態2で説明した階調改善回路を、表示手段などと組み合わせて表示システムを構成することができる。図21は、そのような表示システムの一例を示す。
図21に示す表示システム34は、階調改善回路31と、駆動回路32と、表示手段33とを備えている。階調改善回路31としては、例えば実施の形態1〜2で説明したもののいずれかを用いることができる。駆動回路32は階調改善回路31の出力に基づいて表示手段33を駆動する。
入力端子300に入力された映像信号は、実施の形態1〜3で説明したように、階調改善回路31に入力されて階調が改善された映像信号として、駆動回路32に入力される。
駆動回路32にて、表示手段33を駆動する信号に変換し、表示手段33に供給する。表示手段33は、駆動回路32の出力に応じて画像表示を行う。表示手段33としは、特に限定することはなく、液晶パネル、PDP(プラズマディプレイパネル)、DMD(ディジタルマイクロミラーデバイス)パネル、LCoS(Liquid Crystal on Silicon:反射型液晶パネル)、CRT(陰極線管)、FED(電界放出ディプレイ)パネル等、いかなる表示手段を用いても良い。
表示システムに階調改善回路を備えるようにしたので、常にコントラスとの高い良好な映像信号が得られる。
本発明の実施の形態1、実施の形態2における階調改善回路を示す図である。 本発明の実施の形態1、実施の形態2における階調変換手段1の変換特性を示す図である。 本発明の実施の形態1における統計処理手段2の出力結果の例を示す図である。 本発明の実施の形態1における統計処理手段2の出力結果の例を示す図である。 本発明の実施の形態1における統計処理手段2の出力結果の例を示す図である。 本発明の実施の形態1における統計処理手段2の出力結果の例を示す図である。 本発明の実施の形態1における統計処理手段2の出力結果の例を示す図である。 本発明の実施の形態1における目標変換特性設定手段3の変換特性の一例を示す図である。 本発明の実施の形態1における統計処理分析手段4の出力結果の例を示す図である。 本発明の実施の形態1における統計処理分析手段4の出力結果の例を示す図である。 本発明の実施の形態1における最適化調整量を導き出すための調整値の一例を表にしたものである 本発明の実施の形態1、実施の形態2におけるシーンチェンジ検出手段6の画面分割の例を示す図である。 本発明の実施の形態1における目標変換特性設定手段3の変換特性の一例を示す図である。 本発明の実施の形態2における目標変換特性設定手段3の変換特性の一例を示す図である。 本発明の実施の形態2における統計処理手段2の出力結果の例を示す図である。 本発明の実施の形態2における統計処理手段2の出力結果の例を示す図である。 本発明の実施の形態2における統計処理分析手段4の出力結果の例を示す図である。 本発明の実施の形態2における統計処理分析手段4の出力結果の例を示す図である。 本発明の実施の形態2における最適化調整量を導き出すための調整値の一例を表にしたものである。 本発明の実施の形態2における目標変換特性設定手段3の変換特性の一例を示す図である。 本発明の実施の形態3における階調改善回路を備えた表示システムの構成を示す図である。
符号の説明
1 階調変換手段、 2 統計処理手段、 3 目標変換特性決定手段、 4 統計処理分析手段、 5 階調制御量決定手段、6 シーンチェンジ検出手段、 7 最終制御量決定手段、 31 階調改善回路、 32 駆動回路、 33 表示デバイス、 34 表示システム、 100 入力端子、 200 出力端子、 300 入力端子。

Claims (8)

  1. 入力された映像信号を受け、その階調を必要に応じて変換して階調変換された映像信号を出力する階調変換手段と、
    入力された映像信号の各フィールド又は各フレームにおける統計量を検出する統計処理手段と、
    前記統計処理手段から出力されるヒストグラムとあらかじめ定めた所定値とから変換特性を決定する目標変換特性決定手段と、
    前記ヒストグラムを閾値と比較して2値で表しパターン化する統計処理分析手段と
    前記統計処理分析手段によるヒストグラムのパターンによって最適化調整量を決定し、前記目標変換特性決定手段で決定された変換特性を前記最適化調整量に基づいて補正し、階調制御量を決定する階調制御量決定手段と、
    前記階調制御量が1フィールド前又は1フレーム前の階調制御量に対して所定の制限値以下となるよう制限して最終制御量を決定する最終制御量決定手段とを備え、
    前記階調変換手段は、前記最終制御量決定手段によって決定された前記最終制御量に基づいて階調変換処理をすることを特徴とする階調改善回路。
  2. 前記入力された映像信号が、赤緑青の3原色信号であることを特徴とする請求項1に記載の階調改善回路。
  3. 前記入力された映像信号が、輝度信号であることを特徴とする請求項1に記載の階調改善回路。
  4. 前記目標変換特性設定手段は、
    前記ヒストグラムの出現頻度を階調が最も低い階級から順次高い階級に累積することにより得られた累積頻度が前記所定値以上になる階級を求め、求めた階級により前記目標変換特性を設定することを特徴とすることを特徴とする請求項に記載の階調改善回路。
  5. 前記目標変換特性設定手段は、
    前記ヒストグラムの出現頻度を階調が最も高い階級から順次低い階級に累積することにより得られる累積頻度が前記所定値以上になる階級を求め、求めた階級により前記目標変換特性を設定することを特徴とすることを特徴とする請求項に記載の階調改善回路。
  6. 更に、入力された映像信号の1フィールド又は1フレーム間の変化の度合いを示すシーンチェンジ情報を出力するシーンチェンジ検出手段を備え、
    前記最終制御量決定手段の制限値が、前記シーンチェンジ情報に基づいて変更されることを特徴とする請求項1に記載の階調改善回路。
  7. 最終制御量決定手段は、
    前記シーンチェンジ情報が第1の所定値以上の場合は、前記階調制御量の制限をせず、
    前記シーンチェンジ情報が前記第1所定値未満で、前記第1の所定数よりも小さい第2の所定数以上の場合は、前記制限値を第1の制限値に設定し、
    前記シーンチェンジ情報が前記第2の所定値未満の場合は、前記制限値を、前記第1の制限値よりも小さい第2の制限値に設定する
    ことを特徴とする請求項に記載の階調改善回路。
  8. 請求項1乃至のいずれかに記載の階調改善回路と、表示手段と、前記階調改善回路の出力に基づいて前記表示手段を駆動する駆動手段とを備えた表示システム。
JP2006213244A 2006-08-04 2006-08-04 階調改善回路及び表示システム Expired - Fee Related JP4692435B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006213244A JP4692435B2 (ja) 2006-08-04 2006-08-04 階調改善回路及び表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006213244A JP4692435B2 (ja) 2006-08-04 2006-08-04 階調改善回路及び表示システム

Publications (3)

Publication Number Publication Date
JP2008042448A JP2008042448A (ja) 2008-02-21
JP2008042448A5 JP2008042448A5 (ja) 2009-04-09
JP4692435B2 true JP4692435B2 (ja) 2011-06-01

Family

ID=39177000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006213244A Expired - Fee Related JP4692435B2 (ja) 2006-08-04 2006-08-04 階調改善回路及び表示システム

Country Status (1)

Country Link
JP (1) JP4692435B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5183552B2 (ja) * 2009-03-31 2013-04-17 三菱電機株式会社 画像処理プログラムおよび画像処理装置
JP5473431B2 (ja) * 2009-06-29 2014-04-16 キヤノン株式会社 画像処理装置及びその制御方法
KR102196912B1 (ko) * 2014-02-13 2020-12-31 삼성디스플레이 주식회사 표시장치 및 그 구동방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230760A (ja) * 1993-02-04 1994-08-19 Hitachi Ltd 表示装置
JPH089197A (ja) * 1994-06-20 1996-01-12 Fujitsu General Ltd 画像表示装置
JP2002262303A (ja) * 2001-02-28 2002-09-13 Nec Corp 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム
JP2004023522A (ja) * 2002-06-18 2004-01-22 Sanyo Electric Co Ltd コントラスト補正回路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230760A (ja) * 1993-02-04 1994-08-19 Hitachi Ltd 表示装置
JPH089197A (ja) * 1994-06-20 1996-01-12 Fujitsu General Ltd 画像表示装置
JP2002262303A (ja) * 2001-02-28 2002-09-13 Nec Corp 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム
JP2004023522A (ja) * 2002-06-18 2004-01-22 Sanyo Electric Co Ltd コントラスト補正回路

Also Published As

Publication number Publication date
JP2008042448A (ja) 2008-02-21

Similar Documents

Publication Publication Date Title
US7719619B2 (en) Image processing apparatus
CN1961346A (zh) 包括光源的显示设备
US20060268180A1 (en) Method and system for automatic brightness and contrast adjustment of a video source
US20090304274A1 (en) Image Processing Apparatus and Image Display Apparatus
JP2009053669A (ja) Rgbw映像信号の彩度向上システムおよび方法
US7110046B2 (en) Method for dynamically adjusting video brightness
JP5061027B2 (ja) 信号処理装置及び投写型映像表示装置
JP6548517B2 (ja) 画像処理装置および画像処理方法
TWI553604B (zh) 自適應對比強化裝置以及方法
US7667721B2 (en) Gray-scale improvement circuit and display system
CN103354935B (zh) 发光控制装置和方法、发光装置、图像显示装置
TWI514369B (zh) 顯示影像的訊號轉換方法
TWI390483B (zh) 對比控制裝置及其控制方法
US9449375B2 (en) Image processing apparatus, image processing method, program, and recording medium
WO2012026110A1 (ja) 映像表示制御装置
JP4930781B2 (ja) 画像補正回路、画像補正方法および画像表示装置
JP4692435B2 (ja) 階調改善回路及び表示システム
JP6395232B2 (ja) 画像表示装置及び光源調光方法
US10210816B2 (en) Image display apparatus and method for dimming light source
WO2013114805A1 (ja) 映像表示制御装置
US20120170845A1 (en) Apparatus and method for improving image quality based on definition and chroma
US7602357B2 (en) Method and apparatus of image signal processing
JP2006259250A (ja) 表示装置
US20090278775A1 (en) Display apparatus and control method of the same
JP5012195B2 (ja) 画像補正回路、画像補正方法および画像表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4692435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees