JPWO2009125743A1 - 映像信号処理回路、表示装置、携帯端末及びプログラム - Google Patents

映像信号処理回路、表示装置、携帯端末及びプログラム Download PDF

Info

Publication number
JPWO2009125743A1
JPWO2009125743A1 JP2010507234A JP2010507234A JPWO2009125743A1 JP WO2009125743 A1 JPWO2009125743 A1 JP WO2009125743A1 JP 2010507234 A JP2010507234 A JP 2010507234A JP 2010507234 A JP2010507234 A JP 2010507234A JP WO2009125743 A1 JPWO2009125743 A1 JP WO2009125743A1
Authority
JP
Japan
Prior art keywords
input
video signal
output
correction
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010507234A
Other languages
English (en)
Other versions
JP5102351B2 (ja
Inventor
修 萬羽
修 萬羽
浩司 大塚
浩司 大塚
泰文 萩原
泰文 萩原
雄輔 小山
雄輔 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2010507234A priority Critical patent/JP5102351B2/ja
Publication of JPWO2009125743A1 publication Critical patent/JPWO2009125743A1/ja
Application granted granted Critical
Publication of JP5102351B2 publication Critical patent/JP5102351B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

色調整のための入出力特性を示す図である。横軸が入力であり、縦軸が出力である。この色調整技術では、まず、白色補正後の白色の輝度が落ちないように、補正係数の最小値が1になるように決定する。尚、ここで言う“1”は厳密な値ではなく、要するに、従来技術では最大値を“1”程度に合わせて補正を行っていたのに対して、本実施の形態においては、最小値を“1”程度にするという考え方自体が従来と異なる第1のポイントである。このようにすると、全ての補正係数が“1”以上になる。補正係数が“1”以上になる場合には、入力が大きくなった時に出力が飽和してしまう。そこで、飽和が生じないように、n次曲線(Xucurve)、例えば2次曲線又は3次曲線を用いて飽和抑制を行う。このようにすると、テレビジョン受信装置(TV)の映像等における実用的輝度範囲(0〜70%程度)において、白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができる。これにより白色の色合いを保ちながら、補正処理による最大輝度の低下を抑制することが可能になる。

Description

本発明は、画像処理に関し、特に、良好な白色表示を簡単に行うことができる画像処理技術に関する。
NTSC/PAL(EBU)等のカラーTV放送では、放送方式ごとにR,G,B色度点および標準白色点が定義されている。TV映像はそれら定義された色をベースに色調整して放送されており、これにより、表示装置において所定の色(白色)が表示されることを期待している。ディジタルRGB映像データに基づいて、液晶ディスプレイなどの表示装置に映像を表示する場合に、一般的には、表示装置側においてγ補正を行うことにより、白色の色調整を行い、所定の白色を表示させていた。
しかしながら、表示装置によっては、色合い調整(γ補正)が行えない装置もある。下記特許文献1に記載の表示装置では、表示装置に入力する前のRGB映像信号に対して画像処理を行うことが記載されている。この表示装置の主な構成要素は、取得部(照度センサー)、変換部(制御部)、補正部(色補正回路)、出力部(表示装置)と記憶部(RAM)である。
図16は、下記特許文献1の技術に基づく入出力特性の一例を示す図である。表示装置で白色を表示した時の色度座標を取得し、所定の白色を出力するようにRGBそれぞれに対応する補正係数を求め、RGBの各映像信号の強度を補正する。図16に示すように、RGBの補正係数は所定の白色を出力できるように各係数の比率を保ちながら最も大きい値が1.0になるように決定し、入出力特性は直線のみで構成される。従って、補正係数は直線の傾きとなる。このように、全入力領域でRGBの比率が一定の値を保っているため、どのような入力であっても所定の白色を出力できるという利点がある。
特開2007−241120号公報
しかしながら、上記の技術では、図16に示すように、GBの各線が最大値まで上がりきっていないため白色の輝度が落ちるという問題がある。また、ディジタルRGB映像データで補正を行う場合に、単にRGBの比率を保持する入出力特性を用いているため、補正係数が1以下になる成分が出てくるため(G、B)について最大輝度が落ちるという問題がある。
本発明は、白色の色合いを保ちながら、補正処理による最大輝度の低下を抑制することを目的とする。
本発明による映像信号処理回路は、所定の白色を出力するようにRGBの補正係数を算出した後に、RGBのうちの最小の補正係数が略1になるように調整し、入力輝度と出力輝度が一致するように補正係数を調整することで、最大輝度を維持する。残った補正係数が1以上の色成分に関しては、2次曲線等のn(n>1)次曲線を利用して入出力特性が飽和しないように調整する。
一方、補正係数が1未満の成分は、2次曲線を利用して入出力特性で入力が最大値の時、出力が最大値まで到達するように持ち上げる。
本発明の一観点によれば、RGB映像信号の入力値をRGB映像信号の出力値に変換する映像信号入出力変換処理部を有し、前記映像信号入出力変換処理部の出力値を表示部に出力する映像信号処理回路であって、1次直線で表されRGB各色のそれぞれの第1の入出力特性の傾きで定義され、所定の白色を表示するための初期補正値(初期補正係数)を、その最小値が実質的に1以上になるように調整し、かつ、その他の色について前記初期補正値(初期補正係数)のRGBの比率が実質的に保たれるように前記第1の入出力特性をRGBのそれぞれの補正値により補正するとともに、前記補正値が1を超える色の前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される上に凸の第2の入出力特性により置き換える白色補正部を有することを特徴とする映像信号処理回路が提供される。前記所定の白色は、映像ソース側で定義されている標準白色点又は動画・静止画コンテンツで用いられる色空間で定義される白色点に基づいて生成される白色である。
すなわち、「所定の白色」とは、放送方式ごとに定義されているRGB色度点および標準白色点に基づいて色調整をすることで表示装置において表示されることが期待される白色のことを指す。例えば、NTSC/PAL(EBU)等のカラーTV放送方式で定義されている標準白色点、または、インターネット等で配信される動画コンテンツ、やデジタルカメラ等で撮影した静止画コンテンツで用いられる色空間sRGB/sYCC/AdobeRGB等で定義される白色点に基づいて生成される白色である。
前記補正値が1を超えることによって高輝度領域で現れる飽和領域を抑制して実際の入出力特性とすることができる。
尚、1次直線は、必ずしも完全な1次直線でなくても良いが、1次直線が処理の単純化には好ましい。また、補正値の最小値を実質的に1にするとは、必ずしも“1”そのものにしなくても良く、より理想的な値として“1”を挙げているものである。飽和の抑制を行うために用いるn次曲線は、2次曲線、3次曲線などの比較的単純な曲線が処理の簡単化のためには好ましい。
上記の補正により、RGBの全ての色で補正値が1以上になるため、明るい白を表示することができる。尚、補正値の最小値が1を超えていれば、TV映像等の実用的輝度範囲(0〜70%)で白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができる。さらに、補正値の最小値が1に近いほど、高輝度領域での階調度を上げることができる。
実際にTV放送等で放送されている映像、特に自然画等の映像においては、極端に明るいシーンは少ないため、映像の輝度範囲は概ね入力輝度の0〜70%程度に納まっている。従って、実用的には入力輝度の0〜70%程度の範囲で所定の白色を出力できれば良い。
前記第1の入出力特性と前記第2の入出力特性とは、入力輝度の範囲内において交点を有し、該交点を境にして前記第1の入出力特性から前記第2の入出力特性に切り替えることが好ましい。前記第1の入出力特性は実用的輝度範囲である0〜70%程度の範囲をカバーし、前記第2の入出力特性は実用的輝度範囲である前記70%以上の範囲をカバーすることが好ましい。
また、RGB映像信号の入力値をRGB映像信号の出力値に変換する映像信号入出力変換処理部を有し、前記映像信号入出力変換処理部の出力値を表示部に出力する映像信号処理回路であって、1次直線で表されRGB各色のそれぞれの第1の入出力特性の傾きで定義され、所定の白色を表示するための初期補正値(初期補正係数)を、入力輝度と出力輝度とが実質的に同じになるように調整し、かつ、その他の色について前記初期補正値(初期補正係数)のRGBの比率が実質的に保たれるように前記第1の入出力特性をRGBのそれぞれの補正値により補正するとともに、前記補正値が1を超える色については前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される上に凸の第2の入出力特性により置き換え、前記補正値が1より小さくなる色については前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される下に凸の第3の入出力特性により置き換える白色補正部を有することを特徴とする映像信号処理回路が提供される。
前記補正値が1を超える色については前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される上に凸の第2の入出力特性により置き換えることにより前記補正値が1を超えることによって高輝度領域で現れる飽和領域を抑制して実際の入出力特性とする。また、前記補正値が1より小さくなる色については前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される下に凸の第3の入出力特性により置き換えることにより前記補正値が1を下回ることによって高輝度領域で現れる輝度の減少を補って実際の入出力特性とする。
尚、「所定の白色」、「実質的に」などの記載は、上記の説明と同様の意味で用いている。
前記第1の入出力特性と、前記第2・第3の入出力特性とは、入力輝度の範囲内において交点を有し、該交点を境にして前記第1の入出力特性から前記第2・第3の入出力特性に切り替えることが好ましい。前記第1の入出力特性は実用的輝度範囲である0〜70%程度の範囲をカバーし、前記第2・第3の入出力特性は実用的輝度範囲である前記70%以上の範囲をカバーすることが好ましい。前記白色補正部が機能すると、表示装置のγ補正処理が停止する用にしても良い。
本発明は、上記映像信号処理回路と、該映像信号処理回路により処理された映像信号に基づいて映像表示される表示部と、を備えた表示装置であっても良い。さらに前記パラメータ(補正値又はn(n>1)次曲線の曲率のうちの少なくともいずれか一方)を変更する操作を行う操作部を有することが好ましい。上記に記載の表示装置と、通信を行う通信部と、を備えた携帯通信端末であっても良い。
尚、本発明は、上記の機能を実現するための方法、該方法をコンピュータに実行させるためのプログラム、該プログラムを記録するためのコンピュータ読み取り可能な記録媒体であっても良い。プログラムは、伝送媒体によって取得したものでも良い。
本発明によれば、TV映像等の実用的輝度範囲(0〜70%)で白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができる。また、表示画像の明るさを維持することもできる。
本発明の実施の形態による画像処理システムの概要を示す図である。 本発明の第1の実施の形態による色調整のための入出力特性を示す図である。 1次直線に繋ぐ線が、1次直線の場合(a)、2次曲線の場合(b)、3次曲線の場合(c)の例を示す図である。 本発明の第2の実施の形態による画像処理システムにおける色調整のための入出力特性を示す図である。 Xlinearに関して、Xlcurve, Xucurveとのいずれが適切であるかを判定する様子を示す図である。 本発明の第1の実施の形態による画像処理技術の具体的な例を示す図である。 本発明の第1の実施の形態による画像処理技術の具体的な例を示す図である。 本発明の第2の実施の形態における補正例を示す具体的な図である。 本発明の第2の実施の形態における補正例を示す具体的な図である。 本発明の第1の実施の形態による画像処理技術を回路により実現する例を示す図である。 本発明の第2の実施の形態による画像処理技術を回路により実現する例を示す図である。 本発明の第1及び第2の実施の形態による映像信号処理回路を有する携帯端末の一構成例を示す機能ブロック図である。 図8に示す携帯端末の外観構成例を示す図であり、表示装置が見える側の外観を示す図である。 本実施の形態による携帯端末の利用例を示す図である。 映像信号処理部内の白色補正部を中心とした機能の関係図である。 本発明の実施の形態による画像処理技術のうち、図6に示す第1の実施の形態によるハードウェア構成(回路)の機能を、そのままソフトウェア処理した場合の処理の流れを示す図である。 本発明の実施の形態による画像処理技術のうち、図7に示す第2の実施の形態によるハードウェア構成(回路)の機能を、そのままソフトウェア処理した場合の処理の流れを示す図である。 第1の実施の形態による画像処理技術を実行するためのソフトウェア処理に最適化したフローチャート図である。 第2の実施の形態による画像処理技術を実行するためのソフトウェア処理に最適化したフローチャート図である。 特許文献1の技術に基づく入出力特性の一例を示す図である。
31…映像信号処理回路、33…レジスタ、35…第1の画像処理回路、37…第2の画像処理回路、41…第3の画像処理回路、45…第1の演算回路、47…第2の演算回路。
本明細書において、「所定の白色」とは、以下のように定義される。すなわち、NTSC/PAL(EBU)等のカラーTV放送では、放送方式ごとにR,G,B色度点および標準白色点が定義されている。TV映像はそれら定義された色をベースに色調整して放送されており、これにより、表示装置において所定の色(白色)が表示されることを期待している。このような白色に関する期待される色を「所定の白色」と称する。換言すれば、「所定の白色」とは、放送方式ごとに定義されているRGB色度点および標準白色点に基づいて色調整をすることで表示装置において表示されることが期待される白色である。尚、上記「所定の白色」はカラーTV放送以外に、インターネット等で配信される動画コンテンツやデジカメ等で撮影した静止画コンテンツで用いられる色空間sRGB/sYCC/AdobeRGB等で定義される白色点を用いてもよい。また、「初期補正値(初期補正係数)」とは、表示装置に白色を表示させた状態において、色度計等の測定器で表示色を測定し、表示色の色度が所定の白色と同じになるようにRGBレベルを調整して補正値を求める際のこの補正値を指す。
本発明の実施の形態について説明する前に、発明者の行った考察について簡単に説明する。図16に示す特性では、最大補正係数が1になるように調整していた。しかしながら、このような方法では明るさを維持することができない。
発明者は、所定の白色を出力するようにRGBの初期補正値(初期補正係数)A、A、Aを算出した後、補正係数A、A、Aのうちの最大の補正係数である最大補正係数ではなく、最小の補正係数である最小補正係数が1になるように、1次曲線を用いて傾きを調整して、最大輝度を維持することを思い付いた。特に、TV映像等の実用的輝度範囲(0〜70%)で白色の色合いを保ちながら補正処理による最大輝度の低下を抑制するようにする。このようにすると、補正係数が“1”以上の色成分については、上記実用的範囲を超えたあたりで入出力特性が飽和する。そこで、実用的範囲を超えたあたりで、1次曲線になめらかに繋がる2次曲線等により置換して入出力特性が飽和しないように調整する。すなわち、1次曲線と2次曲線とをできるだけなめらかに繋ぐ。これにより、実用的輝度範囲(0〜70%)で白色の色合いを保ちながら、それを超えた範囲についても違和感のない表示を行うことができる。
図1は、本実施の形態による画像処理システムの概要を示す図である。図1に示すように、パーソナルコンピュータ(PC)やグラフィックボード等の映像信号出力装置1からのディジタルRGB映像データを、以下に説明する本実施の形態による画像処理部3において白色補正処理を兼ねた画像処理を行い、その出力データを、液晶表示装置などの表示装置5に出力信号として出力する。
表示装置5においては、入力されたディジタルRGB映像データに関しては、既にγ補正等の調整機能7を持たない表示装置5、或いは、調整機能7を持っていてもそれを用いない場合であっても、そのままのディジタルRGB映像データをD/A変換器に11によりアナログ信号に変換され、このアナログ信号が液晶パネル15等の表示パネルに供給されて、白に関しても適正な補正が可能となる。
以下に、上記の考察に基づいた本発明の実施の形態について詳細に説明する。
まず、本発明の第1の実施の形態による色調整技術について図面を参照しながら説明を行う。図2Aは、本発明の第1の実施の形態による色調整のための映像信号処理回路を用いた映像信号入出力変換処理を行うための入出力特性例を示す図である。横軸が入力信号の値であり、縦軸が出力信号の値である。本実施の形態による色調整技術では、まず、白色補正後の白色の輝度が落ちないように、補正係数の最小値が1になるように決定する。
尚、ここで言う“1”は厳密な値ではなく、要するに、従来技術では最大値を“1”程度に合わせて補正を行っていたのに対して、本実施の形態においては、最小値を“1”程度にするという考え方自体が従来と異なる第1のポイントである。このようにすると、全ての補正係数が“1”以上になる。尚、補正値の最小値が1を超えていれば、TV映像等の実用的輝度範囲(0〜70%)で白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができる。さらに、補正値の最小値が1に近いほど、高輝度領域での階調度を上げることができる。
補正係数が“1”以上になる場合には、入力が大きくなった時に出力が飽和してしまう。そこで、飽和が生じないように、n次曲線(Xucurve)、例えば2次曲線又は3次曲線を用いて飽和抑制を行う。このような第1の映像信号入出力変換処理を行うと、テレビジョン受信装置(TV)の映像等における実用的輝度範囲(0〜70%程度)において、白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができる。
以下に、色調整用の「パラメータ決定方法」について例示的に説明する。本実施の形態において使用する以下に示すパラメータは、白色処理を開始する前にレジスタ等で設定する。
Figure 2009125743
である。ここで、所定の白色を表示するように従来の方法で求めたR,G,Bのそれぞれの初期補正値(初期補正係数)をARI, AGI, ABIとすると、本実施の形態においては、所定の白色を表示し、輝度も保持するようにするための新しい補正係数として、以下の式により求めた補正係数を用いる。すなわち、倍率(AR, AG, AB)を以下の式に基づいて決定する。
Figure 2009125743
これらの式については後述する補足で説明する。
次に、第1の映像信号入出力変換処理により求められた直線部分(これを第1の入出力特性と称する。)と2次曲線部分とがなめらかに接続するように2次曲線(これを第2の入出力特性と称する。)の曲率(Cx)を決定する。ここでは、n次曲線(n>1)の例として2次曲線の場合について説明する。
以下に補正式について説明する。Xinを映像入力(入力信号)、Xoutを映像出力(出力信号)として下記(式1-4)により映像データの補正を行う。尚、下記(式1-4)においては、XをR,G,Bに置き換え、RGBのそれぞれの成分で同様の処理を行う。下記式におけるAx、Cxについては、パラメータフィッティングにより求めることができる。図2Aに例示的に示す図では、Xlinear, Xucurveの2つの入出力特性のうち、Xinが224あたりでXlinearからXucurveに切り替わるようになっている。すなわち、入出力特性が、図2Aに実線で示すようにX1−X2になる。
Xucurveは、Xlinearが飽和する前のXinでXlinearと入れ替わり、Xinが255となる時にXoutが255程度になるように第2の映像信号入出力変換処理を行うことが好ましい。この際、つなぎ目付近ではできるだけ滑らかになるように繋がるのが好ましい。従って、1次曲線(直線)同士をつなげると滑らかさが失われ、繋ぎ目付近で表示がギクシャクする可能性が高い。
Figure 2009125743
<補足1>
上記のY = min(a, b)は、以下のように動作する。
Figure 2009125743
<補足2>
Figure 2009125743
尚、上記の映像信号入出力変換処理例では、2次曲線を用いて飽和抑制を行う方法を示したが、3次直線など、n次曲線を用いてもよい。飽和抑制部分における次数(n)が大きくなればなるほど、直線部分とn次曲線とが滑らかに繋がるようになり、画質が向上する。しかしながら、飽和抑制部分自体を1次直線等のnの小さい線にすると回路規模を小さくすることができるという利点がある。
図2Bは、映像信号入出力変換処理において、1次直線に繋ぐ線が、1次直線の場合(a)、2次曲線の場合(b)、3次曲線の場合(c)の例を示す図である。図にも示されるように、飽和抑制部分の次数nが上がると直線部分(X1)とn次曲線(X2)との切り替えが滑らかになり、画質が向上する。
但し、飽和抑制部分を1次直線等低次の線にすると回路規模を小さくすることができる。nをいくつにするかは、基本的には製品設計時に決められるものであるが、ユーザが画質を見ながら切り替えられるようにしても良いし、コンテンツ提供者側がコンテンツに含めて提供するようにして提供者側からコンテンツに合うように制御できるようにしても良い。
以上に説明したように、本実施の形態による映像信号入出力変換処理を含む画像処理技術によれば、TV映像等の実用的輝度範囲(0〜70%)で白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができるという効果が得られる。
次に、本発明の第2の実施の形態による画像処理システムについて図面を参照しながら説明を行う。本実施の形態による映像信号処理回路を用いた画像処理技術は、図3Aに示すように、白色補正回路の入力信号に基づく入力映像の輝度と出力信号に基づく出力映像の輝度とが一致するように補正係数を調整する第1の映像信号入出力変換処理を行う点を特徴とする。このようにすると、補正係数が1以上の成分と1未満の成分とに分かれる。補正係数が1以上の成分については、上記第1の実施の形態による第2の映像信号入出力変換処理と同等に飽和抑制を行う。補正係数が1未満の成分については、図3Aに示すように、下に凸の下側2次曲線(Xlcurve)を利用して入出力特性で入力が最大値の時、出力が最大値まで到達するように入出力特性を持ち上げるように映像信号入出力変換処理を行う。すると、X1、X2に示すように、入出力特性において高輝度側で出力を持ち上げて輝度を保持し、かつ、1次曲線と下側2次曲線とを滑らかにつなげることができる。下側2次曲線の代わりに3次曲線などを用いることができることは、第1の実施の形態と同様である。
本実施の形態によれば、第1の実施の形態による効果に加えて、表示画像の明るさを入力の高輝度側においても保存することができるという効果が得られる。
以下に、「パラメータ決定方法」について説明を行う。使用する下記のパラメータは、白色処理を開始する前にレジスタ等に設定しておく。
Figure 2009125743
Figure 2009125743
入出力の輝度を保存するように補正係数(Ax)を決定する。ここで、R、G、Bの重み付けは、輝度に寄与する度合いに基づいて決められる各色の重み付け係数である。
xは、R、G,Bのいずれかである。RGBから輝度(Y)への変換式を、上記(式2-1)とした場合、所定の白色を出力するように求めた初期補正値(初期補正係数)係数がARI, AGI, ABIとすると、原理2で使用する倍率(AR, AG, AB)を以下のように決定することができる。
Figure 2009125743
直線部分と2次曲線部分がうまく接続するように曲率(Cx, Dx)を決定する。この際、パラメータフィッチングなどの周知の手法を用いることができる。
「補正式」
Xinを映像入力(入力信号)、Xoutを映像出力(出力信号)として、式(2-5)により映像データの補正を行う。尚、XをR,G,Bに置き換え、RGBのそれぞれの成分で同じ処理を行う。
Figure 2009125743
メモリにパラメータを読み出して、例えばパラメータフィッチング法により、 Xlinear に関して、Xlcurve , Xucurveとのいずれが適切であるかを判定して、いずれかの曲線に繋げる。
尚、下記パラメータは、倍率(Ax)を用いて、白色補正回路内で自動的に生成する。
Figure 2009125743
図3Bは、Xlinear に関して、Xlcurve, Xucurveとのいずれが適切であるかを判定する様子を示す図である。本実施の形態では、白色補正回路の入力映像の輝度と出力映像の輝度とが一致するように補正係数を調整することを特徴とする。このようにすると、補正係数が1以上の成分と1未満の成分に分かれる。すると、図3Bに示すように、補正係数が1以上の成分(例えば、L11)の場合には、第1の実施の形態においては、 実用的な輝度範囲での入出力特性を示すXlinearとそれ以上の輝度範囲での入出力特性を示すXucurveとをうまく繋げるようにしていた。一方、第2の実施の形態においては、補正係数が1以上の成分と1未満の成分とに分かれるため、それぞれの成分により、実用的輝度範囲以上において繋げる曲線を切り替える必要が生じる場合がある。すなわち、補正係数が1以上の成分であるX11の直線に対しては、上に凸の2次曲線であるXucurveとを滑らかに繋げる(X12)。補正係数が1未満の成分であるX13に対しては、下に凸の2次曲線であるXlcurveを滑らかに繋げる(X14)。このように、補正係数が1以上であるか1未満であるかによって、上に凸の曲線と繋げるか下に凸の曲線と繋げるかを決める。尚、補正係数がほぼ1に近い範囲内になる場合には、そのままの補正係数を用いて曲線と繋げなくても良い。下又は上のいずれに凸の曲線に繋げるかは、補正係数の1からの乖離度に基づいて予め決められるようにしておくことが好ましい。
このように、本実施の形態では、下に凸の曲線を用いて補正係数が1以下の直線に繋げることにより、入力が最大の時に出力が最大値まで到達するように持ち上げる処理を行うことにより、明るい輝度を維持するとともに、表示を滑らかにすることができるという利点を有する。
以下に、上記の第1及び第2の実施の形態による画像処理技術について、補足的かつ具体的に説明する。図4A及び図4Bは、本発明の第1の実施の形態による画像処理技術の具体的な例を示す図である。
図4Aに示すように、まず、ステップS1において、所定の白色を出力するように初期補正値(初期補正係数)係数(Axi)を求める。初期補正係数(Axi)におけるxは、R,G,Bのいずれかである。例えば、生産ライン等で本実施の形態による画像処理技術においては、例えば、生産ライン・出荷段階等において予め、携帯電話機などの本発明を適用した製品と色度計などの測定器とを接続し、所定の白色の出力を得ることができるようにする。例えば、図4Aに示すように、初期補正係数として、Ari= 1.07、Agi = 1、Abi = 0.92を求める。次いで、ステップS2において、ここでは、Bの初期補正係数が最小であるため、最小値(Abi)が1.0になるように係数(Ax)を生成する。
すなわち、Ax = Axi × 1.087 (x=r, g, b)の演算を行う。この処理は制御部で行われる。
Ar = 1.16
Ag = 1.09
Ab = 1
このように、Aが“1”になるようにする。このように、RGBの補正値を、初期補正係数のRGBの比率と実質的に同じようにすることができる。尚、RGBの比率は、実質的に初期補正係数のRGBの比率と同じようにすれば良いのであって、例えば、Ar=1.15、Ag=1.10、Ab=1.00のように、きりの良いような近似値を用いるようにしても良い。
次いで、直線部分と2次曲線部分とがなめかに接続するように、曲率(Cx)を制御部において決定する(ステップS3)。この処理は、例えば、パラメータフィッチングによって行うことができる。
Cr = 0.75
Cg = 0.56
Cb = 0
このようにして算出した上記のパラメータ(Ax, Cx)を、ステップS4において記憶部に格納する。
次いで、映像表示時に、ステップS5に示すように、記憶部から上記のように記憶しておいたパラメータを読み出し、図4Bに示す入出力特性に基づいて白色補正処理を行う。ここでは、Bが255までの入力輝度範囲において、補正係数Ab = 1とすることで、全ての輝度範囲でBの補正係数を1とする。その分、Ar = 1.16、Ag= 1.09となるため、高輝度範囲においてRとGとで飽和が生じる。そこで、ステップS5において、図4Bに示すように、Bについては全輝度範囲(実用的輝度範囲AR1、高輝度範囲AR2)で1次直線となるが、GとRについては、通常使用範囲を超えたAR1よりも高輝度の範囲AR2において、Cr= 0.75、Cg = 0.56の曲率を有する2次曲線で1次直線に滑らかに繋げることにより、テレビ映像の実質的な輝度範囲(AR1:0〜70%)において白色の色合い(RGBの比率)を保つとともに、それ以上の高輝度範囲(AR2)の高輝度において、メニュー画面を明るめにしたい場合、或いはテレビでも明るく見たい場合にそれに合わせることができるように輝度を維持し、かつ、AR1とAR2との繋ぎ目においても、白表示に連続性を持たせることができる。
図5A及び図5Bは、上記第2の実施の形態における補正例を示す具体的な図である。この場合には、まず、ステップS11において、所定の白色を出力するように初期補正係数(Axi)を求める。この処理は、生産ライン等で本発明を適用した製品と測定器を接続して処理を行う。
Ari = 1.07
Agi = 1
Abi = 0.92
入力輝度と出力輝度とが一致するように係数(Ax)を生成する。この処理は制御部で処理する(ステップS12)。尚、ここでは、Gの補正係数がほぼ“1”になっている。
Ax = Axi × 0.987 (x=r, g, b)
Ar = 1.06
Ag = 0.99
Ab = 0.91
直線部分と2次曲線部分がうまく接続するように、例えばパラメータフィッチングにより、曲率(Cx, Dx)を決定する(ステップS13)。この処理も、制御部で行う。
Cr = 0.50
Cg = 0
Cb = 0
Dr = 0
Dg = 0
Db = 0.25
算出したパラメータ(Ax, Cx, Dx)を、記憶部に格納する(ステップS14)。次いで、映像表示時に記憶部から上記パラメータを読み出し、図5Bに示す入出力特性に従って白色補正処理を行う。尚、ここでは、全輝度範囲(実用的輝度範囲AR3、高輝度範囲AR4)で、Gはほぼ1次直線で表することができ、オリジナル映像の明るさを表現することができ、処理が簡単化する。また、補正係数が1よりも大きいRについては、1次直線に対して、上に凸の2次曲線により滑らかにつなぐことで高輝度範囲を表し、また、補正係数が1よりも小さなBについては、1次直線に対して、下に凸の2次曲線により滑らかにつなぐことで高輝度範囲を表す。このように、1次直線と、上に凸の2次曲線と、下に凸の2次曲線とにより、RGBをそれぞれ補正することにより、Gを中心にしてバランス良く白色の色調整を行いつつ輝度を保つことができるという利点がある。
次に、上記第1の実施の形態による画像処理と第2の実施の形態による画像処理とを、ハードウェア(回路)により実現する手法の例について説明する。
Figure 2009125743
図6は、本発明の第1の実施の形態による画像処理技術を回路により実現する例を示す図である。この映像信号処理回路31は、記憶部に記憶されている上記各色における倍率と曲率、すなわち、A,C、A、C、A、Cを、一時的に取り込むレジスタ33と、このレジスタ33からのそれぞれの出力のうちから補正係数Aと、映像入力Xin(Rin、Gin、Bin)とを入力として、各色について、上記式(1-5)によりXlinearを演算により求める第1の演算回路45と、上記レジスタ33からのそれぞれの出力のうちから曲率Cと、映像入力Xin(Rin、Gin、Bin)とを入力として、各色について、上記式(1-6)によりXucurveを演算により求める第2の演算回路47と、上記の式(1-6)より、第1の演算回路45と第2の演算回路47との出力XlinearとXucurveとのうちの小さい方の値をXoutとして出力する第1の画像処理回路(ここではx=Rについて求める)35と、同様にGについて求める第2の画像処理回路37と、Bについて求める第3の画像処理回路41と、を有している。このような比較的簡単な回路により、第1の実施の形態において説明したような画像処理をハードウェア構成により行うことができる。
Figure 2009125743
図7は、本発明の第2の実施の形態による画像処理技術を回路により実現する例を示す図である。この映像信号処理回路51は、記憶部に記憶されている上記各色における倍率と曲率、すなわち、A,C、D、A、C、D、A、CB、を、一時的に取り込むレジスタ53と、このレジスタ53からのそれぞれの出力のうちから補正係数Aと、映像入力Xin(Rin、Gin、Bin)とを入力として、各色について、上記式(2-6)によりXlinearを演算により求める第1の演算回路65と、上記式(2-9)によりAxからExを求め、このExとレジスタ53からのそれぞれの出力のうちから曲率Dと、映像入力Xin(Rin、Gin、Bin)と、を入力として、各色について、上記式(2-8)によりXlcurveを演算により求める第2の演算回路68と、第1の演算回路65と第2の演算回路67との出力XlinearとXlcurveとのうちの大きい方の値を出力する回路73と、CxとXinとを入力として上記式(2-7)の演算を行いXucurveを出力する第3の演算回路71と、回路73の出力と第3の演算回路71の出力Xucurveを入力として、式(2-5)によりいずれかの小さい方をXoutとして出力する回路75と(この場合の出力はRout)、同様の処理をGについて行いGoutを出力する回路57と、Boutを出力する回路61と、を有している。この回路51により、第2の実施の形態による演算をハードウェアとして行わせることができる。
次に、上記第1又は第2の実施の形態による映像信号回路を携帯端末に利用した例について説明する。図8は、本発明の第1及び第2の実施の形態による映像信号処理回路を有する携帯端末の一構成例を示す機能ブロック図である。図8に示すように、本実施の形態に用いられる携帯端末100は、無線通信を行うための無線部103と、カメラ105と、テレビジョン受信部(TV受信部)107と、バッテリを備えた電源部111と、映像生成部113と、映像(画像)処理部121と、レジスタ127と、LCD表示装置131と、外部メモリとのインターフェイス部133と、ROM/RAMを含むメモリ部135と、スピーカ/マイク137等の音声出力部と、操作部141と、全体を制御する制御部(CPU)143と、を含んでいる。尚、これらの構成要素は全てが必須というわけではなく、また、他の構成要素を備えていても良い。映像生成部113は、映像デコーダ115と、ビデオメモリ117と、を備えている。無線部103、カメラ105、TV受信部107、外部メモリなどから取得した映像について、映像(画像)処理部121は、色調整部123と、白色補正部125と、を有している。メモリ部135には、上述のパラメータを記憶するパラメータ記憶部135aが設けられている。映像生成部113から出力された入力映像信号(ディジタルRGB)は、色調整部123に入力され、次いで、本実施の形態の特徴である色補正部において、パラメータ記憶部135aから一時的にレジスタ127に取り込んだパラメータに基づいて補正された出力映像信号(ディジタルRGB)が、表示装置131に出力される。取得した映像が、無線部103からのものか、カメラ105からのものか、TV受信部107からのものかにより、白色補正を行うか否かを決めておいても良い。
図9は、上記図8に示す携帯端末100の外観構成例を示す図であり、表示装置131が見える側の外観を示す図である。携帯端末100は、操作部141と、アンテナ151と、を有している。この例では、表示装置131上に表示されたスライドバー153、155、157、161等を利用して、操作部141によって白色補正の設定値を変更することができるようになっている。調整後の映像を確認する表示部163が設けられている。スライドバー153により赤色(R)の補正値Aを調整できる。同様に、スライドバー155により緑色(G)の補正値Aを調整できる。また、スライドバー157により青色(B)の補正値Aを調整できる。さらに、スライドバー161により曲率Cxを調整できるようにしても良い。尚、このスライドバーによるユーザ操作は、補正値をさらに調整するものであり、白色調整と言えるものである。尚、上記の補正値と、このユーザによる調整値とは、独立して記憶され、管理されるのが好ましい。上記の補正値は、携帯端末に対する補正値、この調整値は、コンテンツに対する調整値と言えるため、コンテンツと対応付けて記憶されるのが好ましい。
図10は、本実施の形態による携帯端末の利用例を示す図である。図10に示すように、この利用例では、複数(図では2台を例にしている)の表示部131a・アンテナ151aを有する携帯端末100A(ユーザAの利用する携帯端末)と表示部131b・アンテナ151bを有する携帯端末100B(ユーザBの利用する携帯端末)とが配置されている。図10においては、携帯端末100Aは、電波塔173から1セグ放送を受信している。携帯端末100Bは、サーバ175と接続されている。さらに、携帯端末100Aと携帯端末100Bとは、ネットワーク171経由で接続されている。
ここで、携帯端末100Aの補正係数などの設定値を、ネットワーク171を介して携帯端末100Bに送信し、携帯端末100Bにおいてその設定値を利用できるようにすることができる。これにより、ユーザ同士の設定を共有することができる。すなわち、表示装置131a、131bの白色ばらつきの補正値を差し引いたユーザによる上記図9を参照して説明した調整値を共有することができる。
また、放送データ(例えば1セグのコンテンツ自体)に設定値が付与されていても良い。さらに、サーバ175を介して設定値をダウンロードして用いることができる。このように、表示させる映像コンテンツにマッチングさせた調整値と白色ばらつき補正値とを合成したパラメータを生成し、白色補正部125(図8)のレジスタに設定することができる。
図11は、映像信号処理部121内の白色補正部125を中心とした機能の関係図である。図11に示すように、白色補正部125を有する映像信号処理部121を中心にして説明する。まず、記憶部(ROM/RAM)135からの補正値が制御部143に読み出される(L3)。尚、前述したように、それ以外にも、無線部103aから無線通信による取得したパラメータ設定値L1が制御部(CPU)143に伝送される。また、操作部141から入力されたユーザによるパラメータ設定値L2が制御部(CPU)143に伝送される。さらに、TV受信部107からの放送データL4に基づく設定(L4)もなされる。制御部143は、パラメータ設定値をレジスタ127に一時的に設定される(L5)。レジスタに格納されるパラメータが、映像信号処理部121に送信される(L6)。一方、映像信号自体は、TV受信部107からの1セグL7と、外部メモリI/Fメモリ133からの動画・静止画L8、カメラ105からの動画・静止画L9と、無線通信部103bからの動画・静止画L10が、入力映像信号L7−10が、映像信号処理部121に入力され、白色補正部125において上記パラメータL10により白色補正等がなされて、出力映像信号L11が表示装置131に出力され映像表示がなされる。
次に、本発明の実施の形態による画像処理技術のうち、図6に示す第1の実施の形態によるハードウェア構成(回路)の機能を、そのままソフトウェア処理した場合の処理の流れを図12に示す。図12に示すフローチャート図で示す処理において用いられる計算式を図12の左上に示している。まず、処理を開始し(START)、ステップS100においてXlinear=A・Xinを各RGBについて演算する。次いで、ステップS101において、Xucurve=(1−C)・Xin +C・Xinの演算を行う。ステップS102において、XlinearとXucurveとの大小関係を比較し、Xlinear<Xucurveであれば(Yes)、ステップS103に進み、Xout=Xlinearとして演算し信号を表示装置に対して出力する。NOであれば、ステップS104において、Xout=Xucurveとして演算し信号を表示装置に対して出力する。これにより、処理を終了する(END)。
次に、本発明の実施の形態による画像処理技術のうち、図7に示す第2の実施の形態によるハードウェア構成(回路)の機能を、そのままソフトウェア処理した場合の処理の流れを図13に示す。図3に示すように、処理を開始し(START)、ステップS200において、Xlinear=A・Xinを各RGBについて演算する。次いで、ステップS201において、Xucurve=(1−C)・Xin +C・Xinの演算を行う。ステップS202において、Ex=1(Ax<0)、Ex=Ax(Ax>=0)とする。ステップS203において、Xlcurve=(E−D)・Xin +D・Xinの演算を行う。
ステップS204において、YESであれば、ステップS205に進み、Xout=Xlinearとする。NOであれば、ステップS206に進み、Xout=Xlcurveとする。
次いで、ステップS207において、Xout<Xucurveであるか否かを判定する。Yesであれば処理を終了し(出力し)、NOであれば、Xout=Xucurveとして、処理を終了する(出力する)。
以上のように、ハードウェア構成或いはソフトウェア構成のいずれであっても、本実施の形態による画像処理技術を実行させることができる。
上記ソフトウェア処理は、ハードウェア構成に則したソフトウェア処理の例について説明している。
次に説明するのは、ソフトウェア処理に適した処理について説明する。図14は、第1の実施の形態による画像処理技術を実行するためのソフトウェア処理に最適化したフローチャート図である。事前(図14に示すフローチャート図を実行する前)に、XliniearとXucurveの交点(Xcross)を求めておく。この交点(Xcross)は、上述した記憶部に格納して実行前に読み出す形にしてもよい。交点(Xcross)は上記の式(1-5)、式(1-6)より、Xliniear=Xucurve時のXinとして求める。より具体的に説明すると、以下のようになる。
Ax・Xcross = (1 - Cx)・Xcross 2 + Cx・Xcross
(1 - Cx)・Xcross 2+ (Cx - Ax)・Xcross = 0
(1 - Cx)・Xcross= - (Cx - Ax)
以上より、交点は、Xcross= (Ax - Cx) / (1 - Cx)と求まる。
すなわち、図14に示すように、処理を開始すると(START)、ステップS300において、Xin<=Xcrossであるか否かを判定する。YESの場合には、ステップS301に進みXout=A・XinをRGB各色について演算する。Noの場合には、ステップS302に進み、Xout=(1−C)・Xin +C・Xinを演算する。次いで処理を終了し、求めたXoutに基づく映像信号を表示部に出力する。
図15は、第2の実施の形態による画像処理技術を実行するためのソフトウェア処理に最適化したフローチャート図である。事前(図15に示すフローチャート図を実行する前)に、XliniearとXucurveの交点(上交点 Xucrossと称する。) と、XliniearとXlcurveとの交点(下交点:Xlcrossと称する。)と、を求めておく。上交点/下交点(Xucross, Xlcross)は、上記記憶部に格納し、実行前に読み出す形にしてもよい。上交点(Xucross)は、上記式(2-6)、式(2-7)より、Xliniear=Xucurve時のXinとして求める。下交点(Xlcross)は、式(2-6)、式(2-8)より、Xliniear=Xlcurve時のXinとして求める。上交点(Xucross)は、上記の交点(Xcross)と同様に求めることができる。
以上により、上交点は、Xucross = (Ax - Cx) / (1 - Cx)とする。下交点の具体的な解法を以下に示す。
Ax・Xlcross= (Ex - Dx)・Xlcross 2+ Dx・Xlcross
(Ex - Dx)・Xlcross 2+ (Dx - Ax)・Xlcross = 0
(Ex - Dx)・Xlcross= - (Dx - Ax)
以上より、下交点は、Xlcross= (Ax - Dx) / (Ex - Dx)となる。
図15に示すように、処理を開始し(STRAT)、ステップS400においてAx>1か否かを判定する。Yesの場合には、ステップS401に進み、Xin<=Xucrossであるか否かを判定する。一方。ステップS400でNoの場合には、Xin<=Xlcrossであるか否かを判定する。
ステップS401において、Noの場合には、ステップS403に進み、Xout=(1−C)・Xin +C・Xinを求める。ステップS401でYes、ステップS402でYesの場合には、ステップS404に進み、Xout=A・XinによりXoutを求める。ステップS402においてNoの場合には、ステップS405に進み、E=1(A<0)、E=A(A>=0)を求め、ステップS406に進み、Xout=(E−D)・Xin +D・Xinを求める。以上のようにして求めたXoutを表示装置に出力する。
以上のフローチャートは、上述した本実施の形態による画像処理技術の第1の実施の形態と第2の実施の形態とを、ソフトウェア処理により簡単に求める処理の流れの一例を示したものであり、このような処理により、ソフトウェア処理を簡単にして処理の負荷を軽減することができる。すなわち、コンピュータに、上記に記載の映像信号処理回路としての機能を実行させるためのプログラムも本発明の範疇に入るものである。
以上に説明したように、本発明の各実施の形態においては、TV映像等の実用的輝度範囲(0〜70%)で白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができる。さらに、表示画像の明るさを維持することも可能である。
本発明は、画像表示装置に利用可能である。
【0002】
る。
特許文献1:特開2007−241120号公報
発明の開示
発明が解決しようとする課題
[0005]
しかしながら、上記の技術では、図16に示すように、GBの各線が最大値まで上がりきっていないため白色の輝度が落ちるという問題がある。また、ディジタルRGB映像データで補正を行う場合に、単にRGBの比率を保持する入出力特性を用いているため、補正係数が1以下になる成分が出てくるため(G、B)について最大輝度が落ちるという問題がある。
[0006]
本発明は、白色の色合いを保ちながら、補正処理による最大輝度の低下を抑制することを目的とする。
課題を解決するための手段
[0007]
本発明の一観点によれば、RGB映像信号の入力値をRGB映像信号の出力値に変換する白色補正部を有する映像信号処理回路であって、前記白色補正部は、前記入力値が所定の値(但し、0<前記所定の値<255)以下の領域では、原点を通る直線で表され、前記出力値が最大値より小さな値をとる第1の入出力特性によって前記入力値を変換し、前記入力値が前記所定の値以上の領域では、前記入力値が前記所定の値の場合に前記出力値が前記第1の入出力特性における出力値と同じ値をとり、前記入力値が最大値の場合に前記出力値が最大値をとるn次曲線(n≧1)により表される第2の入出力特性によって前記入力値を変換し、前記白色補正部における変換は、RGBの少なくとも1色について、前記第1の入出力特性における直線の傾きが1より大きいことと、前記第2の入出力特性における出力値は入力値以上の値をとることを特徴とする映像信号処理回路が提供される。前記n次曲線のnの値は2以上の値であることが好ましい。
[0008]
RGBの全てにおいて、前記第1の入出力特性における前記直線の傾きは1以上であることが好ましい。RGBの全てにおいて、前記所定の値は、
【0003】
前記入力値のとり得る最大値の70%を越えた値であることが好ましい。RGBのうち1色以上について、前記第1の入出力特性の傾きは1より大きく、RGBの他の1色以上について、前記第1の入出力特性の傾きは1より小さいことが好ましい。
[0009]
前記1色における前記第2の入出力特性は上に凸のn(n≧2)次曲線であり、本発明は、前記他の1色における前記第2の入出力特性は下に凸のn(n≧2)次曲線であることが好ましい。上記のいずれか1項に記載の映像信号処理回路と、該映像信号処理回路により処理された映像信号に基づいて映像表示される表示部とを備えた表示装置であっても良い。
[0010]
さらに、前記直線の傾き又は前記n次曲線(n≧2)の曲率のうちの少なくもといずれか一方を変更する操作を行う操作部を有することが好ましい。本発明は、上記に記載の表示装置と、通信を行う通信部と、を備えた携帯端末でも良い。
[0011]
また、本発明は、コンピュータに、上記のいずれか1項に記載の映像信号処理回路としての機能を実行させるためのプログラムであっても良い。
[0012]
[0013]
[0014]
【0004】
[0015]
[0016]
[0017]
【0005】
[0018]
[0019]
[0020]
[0021]
発明の効果
[0022]
本発明によれば、白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができる。また、表示画像の明るさを維持することもできる。
図面の簡単な説明
[0023]
[図1]本発明の実施の形態による画像処理システムの概要を示す図である。
[図2A]本発明の第1の実施の形態による色調整のための入出力特性を示す図である。
[図2B]1次曲線(直線)に繋ぐ線が、1次曲線(直線)の場合(a)、2次曲線の場合(b)
【0011】
上記のY=min(a,b)は、以下のように動作する。
[数4]
Figure 2009125743
[0041]
<補足2>
[数5]
Figure 2009125743
[0042]
尚、上記の映像信号入出力変換処理例では、2次曲線を用いて飽和抑制を行う方法を示したが、3次直線など、n次曲線を用いてもよい。飽和抑制部分における次数(n)が大きくなればなるほど、直線部分とn次曲線とが滑らかに繋がるようになり、画質が向上する。しかしながら、飽和抑制部分自体を1次曲線(直線)等のnの小さい線にすると回路規模を小さくすることができるという利点がある。
[0043]
図2Bは、映像信号入出力変換処理において、1次曲線(直線)に繋ぐ線が、1次曲線(直線)の場合(a)、2次曲線の場合(b)、3次曲線の場合(c)の例を示す図である。図にも示されるように、飽和抑制部分の次数nが上がると直線部分(X1)とn次曲線(X2)との切り替えが滑らかになり、画質が向上する。
[0044]
但し、飽和抑制部分を1次曲線(直線)等低次の線にすると回路規模を小さくすることができる。nをいくつにするかは、基本的には製品設計時に決められるものであるが、ユーザが画質を見ながら切り替えられるようにしても良いし、コンテンツ提供者側がコンテンツに含めて提供するようにして提供者側からコンテンツに合うように制御できるようにしても良い。
[0045]
以上に説明したように、本実施の形態による映像信号入出力変換処理を含む画像処理技術によれば、TV映像等の実用的輝度範囲(0〜70%)で白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができるという効果が得られる。
【0015】
形態による画像処理技術においては、例えば、生産ライン・出荷段階等において予め、携帯電話機などの本発明を適用した製品と色度計などの測定器とを接続し、所定の白色の出力を得ることができるようにする。例えば、図4Aに示すように、初期補正係数として、Ari=1.07、Agi=1、Abi=0.92を求める。次いで、ステップS2において、ここでは、Bの初期補正係数が最小であるため、最小値(Abi)が1.0になるように係数(A)を生成する。
[0058]
すなわち、A=Axi×1.087(x=r,g,b)の演算を行う。この処理は制御部で行われる。
[0059]
=1.16
=1.09
=1
このように、Aが“1”になるようにする。このように、RGBの補正値を、初期補正係数のRGBの比率と実質的に同じようにすることができる。尚、RGBの比率は、実質的に初期補正係数のRGBの比率と同じようにすれば良いのであって、例えば、Ar=1.15、Ag=1.10、Ab=1.00のように、きりの良いような近似値を用いるようにしても良い。
[0060]
次いで、直線部分と2次曲線部分とがなめかに接続するように、曲率(C)を制御部において決定する(ステップS3)。この処理は、例えば、パラメータフィッチングによって行うことができる。
[0061]
=0.75
=0.56
=0
このようにして算出した上記のパラメータ(A,C)を、ステップS4において記憶部に格納する。
[0062]
次いで、映像表示時に、ステップS5に示すように、記憶部から上記のように記憶しておいたパラメータを読み出し、図4Bに示す入出力特性に基づいて白色補正処理を行う。ここでは、Bが255までの入力輝度範囲において、補正係数A=1とすることで、全ての輝度範囲でBの補正係数を1とする
【0016】
。その分、A=1.16、A=1.09となるため、高輝度範囲においてRとGとで飽和が生じる。そこで、ステップS5において、図4Bに示すように、Bについては全輝度範囲(実用的輝度範囲AR1、高輝度範囲AR2)で1次曲線(直線)となるが、GとRについては、通常使用範囲を超えたAR1よりも高輝度の範囲AR2において、C=0.75、C=0.56の曲率を有する2次曲線で1次曲線(直線)に滑らかに繋げることにより、テレビ映像の実質的な輝度範囲(AR1:0〜70%)において白色の色合い(RGBの比率)を保つとともに、それ以上の高輝度範囲(AR2)の高輝度において、メニュー画面を明るめにしたい場合、或いはテレビでも明るく見たい場合にそれに合わせることができるように輝度を維持し、かつ、AR1とAR2との繋ぎ目においても、白表示に連続性を持たせることができる。
[0063]
図5A及び図5Bは、上記第2の実施の形態における補正例を示す具体的な図である。この場合には、まず、ステップS11において、所定の白色を出力するように初期補正係数(Axi)を求める。この処理は、生産ライン等で本発明を適用した製品と測定器を接続して処理を行う。
[0064]
ri=1.07
gi=1
bi=0.92
入力輝度と出力輝度とが一致するように係数(A)を生成する。この処理は制御部で処理する(ステップS12)。尚、ここでは、Gの補正係数がほぼ“1”になっている。
[0065]
=Axi×0.987(x=r,g,b)
=1.06
=0.99
=0.91
直線部分と2次曲線部分がうまく接続するように、例えばパラメータフィッチングにより、曲率(C,D)を決定する(ステップS13)。この処理も、制御部で行う。
【0017】
[0066]
=0.50
=0
=0
=0
=0
=0.25
算出したパラメータ(A,C,D)を、記憶部に格納する(ステップS14)。次いで、映像表示時に記憶部から上記パラメータを読み出し、図5Bに示す入出力特性に従って白色補正処理を行う。尚、ここでは、全輝度範囲(実用的輝度範囲AR3、高輝度範囲AR4)で、Gはほぼ1次曲線(直線)で表することができ、オリジナル映像の明るさを表現することができ、処理が簡単化する。また、補正係数が1よりも大きいRについては、1次曲線(直線)に対して、上に凸の2次曲線により滑らかにつなぐことで高輝度範囲を表し、また、補正係数が1よりも小さなBについては、1次曲線(直線)に対して、下に凸の2次曲線により滑らかにつなぐことで高輝度範囲を表す。このように、1次曲線(直線)と、上に凸の2次曲線と、下に凸の2次曲線とにより、RGBをそれぞれ補正することにより、Gを中心にしてバランス良く白色の色調整を行いつつ輝度を保つことができるという利点がある。
[0067]
次に、上記第1の実施の形態による画像処理と第2の実施の形態による画像処理とを、ハードウェア(回路)により実現する手法の例について説明する。
[数11]
Figure 2009125743
[0068]
図6は、本発明の第1の実施の形態による画像処理技術を回路により実現する例を示す図である。この映像信号処理回路31は、記憶部に記憶されている上記各色における倍率と曲率、すなわち、A,C、A、C、A、Cを、一時的に取り込むレジスタ33と、このレジスタ33からのそれぞれの
【0024】
(E−D)・Xlcross +(D−A)・Xlcross=0
(E−D)・Xlcross=−(D−A
以上より、下交点は、Xlcross=(A−D)/(E−D)となる。
[0088]
図15に示すように、処理を開始し(STRAT)、ステップS400においてAx>1か否かを判定する。Yesの場合には、ステップS401に進み、Xin<=Xucrossであるか否かを判定する。一方。ステップS400でNoの場合には、Xin<=Xlcrossであるか否かを判定する。
[0089]
ステップS401において、Noの場合には、ステップS403に進み、Xout=(1−C)・Xin +C・Xinを求める。ステップS401でYes、ステップS402でYesの場合には、ステップS404に進み、Xout=A・XinによりXoutを求める。ステップS402においてNoの場合には、ステップS405に進み、E=1(A<0)、E=A(A>=0)を求め、ステップS406に進み、Xout=(E−D)・Xin +D・Xinを求める。以上のようにして求めたXoutを表示装置に出力する。
[0090]
以上のフローチャートは、上述した本実施の形態による画像処理技術の第1の実施の形態と第2の実施の形態とを、ソフトウェア処理により簡単に求める処理の流れの一例を示したものであり、このような処理により、ソフトウェア処理を簡単にして処理の負荷を軽減することができる。すなわち、コンピュータに、上記に記載の映像信号処理回路としての機能を実行させるためのプログラムも本発明の範疇に入るものである。
[0091]
以上に説明したように、本発明の各実施の形態においては、TV映像等の実用的輝度範囲(0〜70%)で白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができる。さらに、表示画像の明るさを維持することも可能である。
[0092]
本発明は以下の開示を含む。
[0093]
本発明による映像信号処理回路は、所定の白色を出力するようにRGBの補正係数を算出した後に、RGBのうちの最小の補正係数が略1になるように調整し、入力輝度と出力輝度が一致するように補正係数を調整することで、最大輝度を維持する。残った補正係数が1以上の色成分に関しては、2次曲線等のn(n>1)次曲線を利用して入出力特性が飽和しないように調整する。
[0094]
一方、補正係数が1未満の成分は、2次曲線を利用して入出力特性で入力が最大値の時、出力が最大値まで到達するように持ち上げる。
[0095]
本発明の一観点によれば、RGB映像信号の入力値をRGB映像信号の出力値に変換する映像信号入出力変換処理部を有し、前記映像信号入出力変換処理部の出力値を表示部に出力する映像信号処理回路であって、1次曲線(直線)1次曲線(直線)で表されRGB各色のそれぞれの第1の入出力特性の傾きで定義され、所定の白色を表示するための初期補正値(初期補正係数)を、その最小値が実質的に1以上になるように調整し、かつ、その他の色について前記初期補正値(初期補正係数)のRGBの比率が実質的に保たれるように前記第1の入出力特性をRGBのそれぞれの補正値により補正するとともに、前記補正値が1を超える色の前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される上に凸の第2の入出力特性により置き換える白色補正部を有することを特徴とする映像信号処理回路が提供される。前記所定の白色は、映像ソース側で定義されている標準白色点又は動画・静止画コンテンツで用いられる色空間で定義される白色点に基づいて生成される白色である。
[0096]
すなわち、「所定の白色」とは、放送方式ごとに定義されているRGB色度点および標準白色点に基づいて色調整をすることで表示装置において表示されることが期待される白色のことを指す。例えば、NTSC/PAL(EBU)等のカラーTV放送方式で定義されている標準白色点、または、インターネット等で配信される動画コンテンツ、やデジタルカメラ等で撮影した静止画コンテンツで用いられる色空間sRGB/sYCC/AdobeRGB等で定義される白色点に基づいて生成される白色である。
[0097]
前記補正値が1を超えることによって高輝度領域で現れる飽和領域を抑制して実際の入出力特性とすることができる。
[0098]
尚、1次曲線(直線)は、必ずしも完全な1次曲線(直線)でなくても良いが、1次曲線(直線)が処理の単純化には好ましい。また、補正値の最小値を実質的に1にするとは、必ずしも“1”そのものにしなくても良く、より理想的な値として“1”を挙げているものである。飽和の抑制を行うために用いるn次曲線は、2次曲線、3次曲線などの比較的単純な曲線が処理の簡単化のためには好ましい。
[0099]
上記の補正により、RGBの全ての色で補正値が1以上になるため、明るい白を表示することができる。尚、補正値の最小値が1を超えていれば、TV映像等の実用的輝度範囲(0〜70%)で白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができる。さらに、補正値の最小値が1に近いほど、高輝度領域での階調度を上げることができる。
[0100]
実際にTV放送等で放送されている映像、特に自然画等の映像においては、極端に明るいシーンは少ないため、映像の輝度範囲は概ね入力輝度の0〜70%程度に納まっている。従って、実用的には入力輝度の0〜70%程度の範囲で所定の白色を出力できれば良い。
[0101]
前記第1の入出力特性と前記第2の入出力特性とは、入力輝度の範囲内において交点を有し、該交点を境にして前記第1の入出力特性から前記第2の入出力特性に切り替えることが好ましい。前記第1の入出力特性は実用的輝度範囲である0〜70%程度の範囲をカバーし、前記第2の入出力特性は実用的輝度範囲である前記70%以上の範囲をカバーすることが好ましい。
[0102]
また、RGB映像信号の入力値をRGB映像信号の出力値に変換する映像信号入出力変換処理部を有し、前記映像信号入出力変換処理部の出力値を表示部に出力する映像信号処理回路であって、1次曲線(直線)で表されRGB各色のそれぞれの第1の入出力特性の傾きで定義され、所定の白色を表示するための初期補正値(初期補正係数)を、入力輝度と出力輝度とが実質的に同じになるように調整し、かつ、その他の色について前記初期補正値(初期補正係数)のRGBの比率が実質的に保たれるように前記第1の入出力特性をRGBのそれぞれの補正値により補正するとともに、前記補正値が1を超える色については前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される上に凸の第2の入出力特性により置き換え、前記補正値が1より小さくなる色については前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される下に凸の第3の入出力特性により置き換える白色補正部を有することを特徴とする映像信号処理回路が提供される。
[0103]
前記補正値が1を超える色については前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される上に凸の第2の入出力特性により置き換えることにより前記補正値が1を超えることによって高輝度領域で現れる飽和領域を抑制して実際の入出力特性とする。また、前記補正値が1より小さくなる色については前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される下に凸の第3の入出力特性により置き換えることにより前記補正値が1を下回ることによって高輝度領域で現れる輝度の減少を補って実際の入出力特性とする。
[0104]
尚、「所定の白色」、「実質的に」などの記載は、上記の説明と同様の意味で用いている。
[0105]
前記第1の入出力特性と、前記第2・第3の入出力特性とは、入力輝度の範囲内において交点を有し、該交点を境にして前記第1の入出力特性から前記第2・第3の入出力特性に切り替えることが好ましい。前記第1の入出力特性は実用的輝度範囲である0〜70%程度の範囲をカバーし、前記第2・第3の入出力特性は実用的輝度範囲である前記70%以上の範囲をカバーすることが好ましい。前記白色補正部が機能すると、表示装置のγ補正処理が停止する用にしても良い。
[0106]
本発明は、上記映像信号処理回路と、該映像信号処理回路により処理された映像信号に基づいて映像表示される表示部と、を備えた表示装置であっても良い。さらに前記パラメータ(補正値又はn(n>1)次曲線の曲率のうちの少なくともいずれか一方)を変更する操作を行う操作部を有することが好ましい。上記に記載の表示装置と、通信を行う通信部と、を備えた携帯通信端末であっても良い。
[0107]
尚、本発明は、上記の機能を実現するための方法、該方法をコンピュータに実行させるためのプログラム、該プログラムを記録するためのコンピュータ読み取り可能な記録媒体であっても良い。プログラムは、伝送媒体によって取得したものでも良い。
(発明の効果)
[0108]
本発明によれば、TV映像等の実用的輝度範囲(0〜70%)で白色の色合いを保ちながら補正処理による最大輝度の低下を抑制することができる。また、表示画像の明るさを維持することもできる。
産業上の利用可能性
[0109]
本発明は、画像表示装置に利用可能である。

Claims (12)

  1. RGB映像信号の入力値をRGB映像信号の出力値に変換する映像信号入出力変換処理部を有し、前記映像信号入出力変換処理部の出力値を表示部に出力する映像信号処理回路であって、
    1次直線で表されRGB各色のそれぞれの第1の入出力特性の傾きで定義され、所定の白色を表示するための初期補正値を、その最小値が実質的に1以上になるように調整し、かつ、その他の色について前記初期補正値のRGBの比率が実質的に保たれるように前記第1の入出力特性をRGBのそれぞれの補正値により補正するとともに、前記補正値が1を超える色の前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される上に凸の第2の入出力特性により置き換える白色補正部を有することを特徴とする映像信号処理回路。
  2. 前記第1の入出力特性と前記第2の入出力特性とは、入力輝度の範囲内において交点を有し、該交点を境にして前記第1の入出力特性から前記第2の入出力特性に切り替えることを特徴とする請求項1に記載の映像信号処理回路。
  3. 前記第1の入出力特性は、実用的輝度範囲である0〜70%程度の範囲をカバーし、前記第2の入出力特性は前記70%以上の範囲をカバーすることを特徴とする請求項1又は2に記載の映像信号処理回路。
  4. RGB映像信号の入力値をRGB映像信号の出力値に変換する映像信号入出力変換処理部を有し、前記映像信号入出力変換処理部の出力値を表示部に出力する映像信号処理回路であって、
    1次直線で表されRGB各色のそれぞれの第1の入出力特性の傾きで定義され、所定の白色を表示するための初期補正値を、入力輝度と出力輝度とが実質的に同じになるように調整し、かつ、その他の色について前記初期補正値のRGBの比率が実質的に保たれるように前記第1の入出力特性をRGBのそれぞれの補正値により補正するとともに、前記補正値が1を超える色については前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される上に凸の第2の入出力特性により置き換え、前記補正値が1より小さくなる色については前記第1の入出力特性を、高輝度領域においてn(n>1)次曲線により表される下に凸の第3の入出力特性により置き換える白色補正部を有することを特徴とする映像信号処理回路。
  5. 前記第1の入出力特性と、前記第2・第3の入出力特性とは、入力輝度の範囲内において交点を有し、該交点を境にして前記第1の入出力特性から前記第2又は第3の入出力特性に切り替わることを特徴とする請求項4に記載の映像信号処理回路。
  6. 前記第1の入出力特性は実用的輝度範囲である0〜70%程度の範囲をカバーし、前記第2・第3の入出力特性は実用的輝度範囲である前記70%以上の範囲をカバーすることを特徴とする請求項4又は5に記載の映像信号処理回路。
  7. 前記白色補正部が機能すると、表示装置のγ補正処理が停止することを特徴とする請求項1から6までのいずれか1項に記載の映像信号処理回路。
  8. 前記所定の白色は、映像ソース側で定義されている標準白色点又は動画・静止画コンテンツで用いられる色空間で定義される白色点に基づいて生成される白色であることを特徴とする請求項1から7までのいずれか1項に記載の映像信号処理回路。
  9. 請求項1から8までのいずれか1項に記載の映像信号処理回路と、
    該映像信号処理回路により処理された映像信号に基づいて映像表示される表示部と
    を備えた表示装置。
  10. さらに、前記補正値又は前記n(n>1)次曲線の曲率のうちの少なくもといずれか一方を変更する操作を行う操作部を有することを特徴とする請求項9に記載の表示装置。
  11. 請求項9又は10に記載の表示装置と、通信を行う通信部と、を備えた携帯端末。
  12. コンピュータに、請求項1から8までのいずれか1項に記載の映像信号処理回路としての機能を実行させるためのプログラム。
JP2010507234A 2008-04-11 2009-04-06 映像信号処理回路、表示装置、携帯端末及びプログラム Expired - Fee Related JP5102351B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010507234A JP5102351B2 (ja) 2008-04-11 2009-04-06 映像信号処理回路、表示装置、携帯端末及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008103711 2008-04-11
JP2008103711 2008-04-11
PCT/JP2009/057060 WO2009125743A1 (ja) 2008-04-11 2009-04-06 映像信号処理回路、表示装置、携帯端末及びプログラム
JP2010507234A JP5102351B2 (ja) 2008-04-11 2009-04-06 映像信号処理回路、表示装置、携帯端末及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2009125743A1 true JPWO2009125743A1 (ja) 2011-08-04
JP5102351B2 JP5102351B2 (ja) 2012-12-19

Family

ID=41161876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010507234A Expired - Fee Related JP5102351B2 (ja) 2008-04-11 2009-04-06 映像信号処理回路、表示装置、携帯端末及びプログラム

Country Status (5)

Country Link
US (1) US8416257B2 (ja)
EP (1) EP2271085A4 (ja)
JP (1) JP5102351B2 (ja)
CN (1) CN102057674A (ja)
WO (1) WO2009125743A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5938845B2 (ja) * 2011-02-15 2016-06-22 船井電機株式会社 表示装置
JP5938846B2 (ja) * 2011-02-15 2016-06-22 船井電機株式会社 表示装置
JP5194166B1 (ja) * 2011-12-12 2013-05-08 シャープ株式会社 白色調整制御デバイス、その制御方法、制御プログラム、および記録媒体、並びに、表示装置
JP2014194499A (ja) * 2013-03-29 2014-10-09 Panasonic Liquid Crystal Display Co Ltd 液晶表示装置及びその駆動方法
CN108171646B (zh) * 2016-12-07 2021-07-23 展讯通信(上海)有限公司 基于亮度保持的图像色调调节方法及装置
JP7068905B2 (ja) * 2018-04-13 2022-05-17 シャープ株式会社 階調補正データ作成装置、階調補正装置、電子機器および階調補正データ作成方法
WO2022244073A1 (ja) * 2021-05-17 2022-11-24 三菱電機株式会社 画像処理装置、プログラム及び画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2741996B2 (ja) 1992-10-30 1998-04-22 大日本スクリーン製造株式会社 正規化曲線の作成方法
JPH11338407A (ja) * 1998-05-26 1999-12-10 Hitachi Ltd 固定画素表示装置及びその駆動方法
US6686953B1 (en) * 2000-03-01 2004-02-03 Joseph Holmes Visual calibration target set method
EP1158484A3 (en) * 2000-05-25 2008-12-31 Seiko Epson Corporation Processing of image data supplied to image display apparatus
JP2002051353A (ja) * 2000-08-04 2002-02-15 Seiko Epson Corp 画像表示システム及びこれに用いられる色信号調整装置
US7800577B2 (en) * 2004-12-02 2010-09-21 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics
JP2007142983A (ja) * 2005-11-21 2007-06-07 Sharp Corp 映像処理装置
US7830548B2 (en) * 2006-01-09 2010-11-09 Adobe Systems Incorporated Method and apparatus for generating color toning curves
JP4890893B2 (ja) 2006-03-10 2012-03-07 Necカシオモバイルコミュニケーションズ株式会社 画像処理装置、画像処理方法、及び、プログラム

Also Published As

Publication number Publication date
EP2271085A1 (en) 2011-01-05
EP2271085A4 (en) 2012-05-30
CN102057674A (zh) 2011-05-11
JP5102351B2 (ja) 2012-12-19
WO2009125743A1 (ja) 2009-10-15
US8416257B2 (en) 2013-04-09
US20110080524A1 (en) 2011-04-07

Similar Documents

Publication Publication Date Title
JP5102351B2 (ja) 映像信号処理回路、表示装置、携帯端末及びプログラム
US9373305B2 (en) Semiconductor device, image processing system and program
KR100678101B1 (ko) 영상의 색정보를 이용하여 메뉴 화면의 디스플레이 색상을구성하는 휴대용 단말기 및 그 방법
KR101464742B1 (ko) 휴대단말에서 시인성 향상 제공 장치 및 방법
CN101729913A (zh) 影像饱和度的调整方法与系统
JP2004326082A5 (ja)
JP2004326082A (ja) 表示制御装置及び表示装置
JP4874428B2 (ja) 色調整回路、色調整装置、色調整方法およびプログラム
JP2014222841A (ja) 画像表示装置
CN111369470B (zh) 图像区域色调调整方法、装置、存储介质及设备
US10777167B2 (en) Color image display adaptation to ambient light
US8780273B2 (en) Signal processing apparatus, signal processing method, and program
TWI425487B (zh) 液晶顯示裝置及液晶顯示裝置控制方法
JP4673821B2 (ja) 映像信号処理装置、表示装置および携帯通信端末
JP5183552B2 (ja) 画像処理プログラムおよび画像処理装置
JP4837529B2 (ja) 映像信号処理装置及びそれを用いた表示装置、携帯端末装置
WO2023134235A1 (zh) 图像处理方法及电子设备
JP4404865B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理装置を備えた映像装置
JP4887083B2 (ja) 映像信号処理回路
JP2017038108A (ja) 映像信号の画面輝度を調整する表示装置及び調整回路
CN115457920A (zh) 图像处理方法、装置及设备
JP2015082074A (ja) 表示装置
JP2005341242A (ja) 撮像装置および撮像方法
CN114898722A (zh) 画面显示方法、装置、设备及计算机可读存储介质
CN114974071A (zh) 自动伽马检测校正系统及方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees