JP4010119B2 - 画像表示装置に供給される画像データの処理 - Google Patents
画像表示装置に供給される画像データの処理 Download PDFInfo
- Publication number
- JP4010119B2 JP4010119B2 JP2001152978A JP2001152978A JP4010119B2 JP 4010119 B2 JP4010119 B2 JP 4010119B2 JP 2001152978 A JP2001152978 A JP 2001152978A JP 2001152978 A JP2001152978 A JP 2001152978A JP 4010119 B2 JP4010119 B2 JP 4010119B2
- Authority
- JP
- Japan
- Prior art keywords
- gradation
- display
- image
- image data
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 194
- 238000012937 correction Methods 0.000 claims description 169
- 238000000034 method Methods 0.000 claims description 56
- 230000009467 reduction Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 32
- 238000009826 distribution Methods 0.000 claims description 26
- 239000004973 liquid crystal related substance Substances 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 25
- 239000003086 colorant Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011946 reduction process Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 37
- 239000011159 matrix material Substances 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 238000002834 transmittance Methods 0.000 description 13
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000001413 cellular effect Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 101100021996 Arabidopsis thaliana CYP97C1 gene Proteins 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000002858 crystal cell Anatomy 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 241000394635 Acetomicrobium mobile Species 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 101100021997 Arabidopsis thaliana CYP97A3 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Color Image Communication Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Liquid Crystal Display Device Control (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Liquid Crystal (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、画像表示装置に供給される画像データの処理に関する。
【0002】
【従来の技術】
従来、携帯電話機の画像表示部には、液晶表示(LCD:Liquid Crystal Display)パネルが用いられている。LCDパネルは、マトリクス状に配置された液晶セルへの駆動電圧のON/OFFによって液晶の透過率を変化させて2階調の文字や画像を表示していた。近年では、携帯電話機が多機能化し、インターネットに接続可能な機種も登場している。これに伴い、より多くの情報を表示可能なように携帯電話機のLCDパネルに対して多階調表示が要求されるようになった。更に近年では、携帯電話機に備えられたLCDパネルがカラー化され、カラー画像の多階調表示も可能となっている。
【0003】
ところで、スキャナやデジタルカメラ等の入力デバイスによって読み取られた画像データや、コンピュータ上でデザインされた画像データは、通常、R,G,B各8ビット(256階調)のデータである。一方、携帯電話機に備えられたLCDパネルが各セル毎に表現できる階調数は、原画像データの階調数よりも少ない。従って、以下のように減色処理を行う。LCDパネルは8階調の階調表現が可能であるものとする。図20は、256階調のデータを8階調に減色する様子を示す説明図である。256階調のデータは、LCDパネルの表示階調数分の区間に均等に分割し、各区間内の階調値をLCDパネルが表現可能な表示階調値に順次割り当てることによって、8階調に減色される。例えば、入力階調値が190の画素の表示階調値は一義的に5に割り当てられる。このような減色方法を「単純減色」と呼ぶ。
【0004】
LCDパネルでの多階調表示は、液晶セルへの実効的な駆動電圧を段階的に設定し、液晶の透過率を段階的に制御することによって可能である。このLCDパネルの駆動電圧の設定として、以下の2種類が知られている。図21は、LCDパネルの電圧―透過率特性(V−T特性)、即ち、実効駆動電圧に対する液晶の透過率を示す説明図である。
【0005】
第1の設定は、透過率の間隔が均等となる設定(図21(A))である。LCDパネルのV−T特性は非線形であることが知られている。このため、パルス幅変調により透過率の間隔が均等になるように実効駆動電圧を制御する。実効駆動電圧はLCDパネルが表現可能な表示階調値に対応しており、表示階調値と出力される明度との関係は線形になる。
【0006】
第2の設定は、実効駆動電圧が等間隔となる設定(図21(B))である。1画面を複数のフレームを用いて構成し、各画素ごとにフレーム単位で駆動電圧をON/OFF制御して多階調表現を可能にする。ただし、液晶の透過率の間隔、即ち、LCDパネルが表現可能な明度の間隔には広狭が生じ、LCDパネルが表現可能な表示階調値と出力される明度との関係は非線形になる。例えば、図21(B)に示した実効駆動電圧の範囲でLCDパネルを駆動する場合には、中間調領域において表現可能な明度の間隔が広く、低階調領域および高階調領域において間隔が狭くなる。
【0007】
以上のことから、従来、携帯電話機には色再現性を考慮してパルス幅変調方式のLCDパネルが主として採用されていた。
【0008】
【発明が解決しようとする課題】
しかし、バッテリ容量が少ない携帯電話機においては、パルス幅変調方式のLCDパネルは消費電力が大きいため、バッテリの寿命や省エネルギの観点から、消費電力の大きさを看過できなくなった。そこで、低消費電力であるフレーム間引き方式のLCDパネルも携帯電話機に採用されるようになった。
【0009】
先に説明したように、フレーム間引き方式のLCDパネルは表示特性が非線形であるため、それに起因する画質の劣化が激しかった。特に、中間調領域の画像データが多い自然画像において画質劣化が顕著であった。例えば、連続的に階調値が変化する「空」や「人間の肌」の画像を表示する場合には、原画像データにおいて隣り合う画素の階調値が近い領域では、同じ明度(表示階調値)の画素が固まって発生する。それとともに、表示階調値が1段階違うだけでも大きな明度差があるため、両者の境界で擬似輪郭が発生する。これらの画質劣化をハード的に改善することは困難である。
【0010】
また、通常、LCDパネルを備えた液晶表示装置は表示コントラスト調整用の電子ボリュームを備えており、LCDパネルのコントラストが最大になるように、電子ボリュームが個々に調整されている。図22は、電子ボリュームによるLCDパネルの表示コントラストの調整について説明する説明図である。例えば、電子ボリュームの設定が「1」のとき、LCDパネルの駆動電圧オン時、オフ時の電圧は、それぞれV1on、V1offであり、透過率は、それぞれT1on、T1offである。また、電子ボリュームの設定が「2」のとき、LCDパネルの駆動電圧オン時、オフ時の電圧は、それぞれV2on、V2offであり、透過率は、それぞれT2on、T2offである。そして、これらの間には、V1on/V1off=V2on/V2off=一定の関係がある。T1on−T1offや、T2on−T2offがコントラストに相当する。
【0011】
しかし、使用環境(温度、明るさ)や設定(バックライトのON/OFF)によって、LCDパネルのコントラストは変化する。例えば、LCDパネルの温度特性により、使用環境が低温のときにはLCDパネルの透過率が低下して、コントラストが弱くなったり、高温のときにはLCDパネルの透過率が上昇して、画面のコントラストが強くなる。かかるコントラストの変動が画質の劣化を招くこともあった。
【0012】
本発明は、上述の課題を解決するためになされたものであり、表現可能な階調数が原画像データの階調数よりも少なく、非線形な表示特性を有する画像表示装置に対して供給される画像データの処理によって画質を向上する技術を提供することを目的とする。
【0013】
【課題を解決するための手段およびその作用・効果】
上述の課題の少なくとも一部を解決するため、本発明では以下の構成を採用した。
本発明の第1の画像処理装置は、
画像データに対して所定の画像処理を施し、画像表示装置に供給されるデータを生成する画像処理装置であって、
前記画像表示装置は、フレーム間引き方式により階調表示を行うとともに、画素単位で表示可能な表示階調数が前記画像データの階調数よりも少ない液晶表示装置であり、
前記画像処理装置は、
前記画像データを入力する入力部と、
前記画像データの階調値に基づいて、画素ごとに前記液晶表示装置が表示可能な表示階調値を設定する減色処理部とを備え、
該減色処理部は、前記表示階調値に割り当てられる前記階調値の範囲が、高階調または低階調の少なくとも一方で、中間調よりも狭くなるように前記設定を行うことを要旨とする。
【0014】
先に説明したように、通常、減色処理を行う場合には、入力される画像データの階調値を等間隔に区分けして画像表示装置が表現可能な表示階調値に割り当てる。線形な表示特性を有する画像表示装置に表示する場合には、画像表示装置が表示階調値に対して出力する明度の間隔が均等であるので、色バランスの良好な理想的な階調表示を実現できる。しかし、フレーム間引き方式によりに階調表示を行うとともに画素単位で表示可能な表示階調数が画像データの階調数よりも少ない液晶表示装置、即ち、非線形な表示特性を有する画像表示装置に画像を表示する場合には、出力される明度に偏りが生じるために理想的な階調表示ができない。そして、図22に示した電子ボリュームの設定により、低階調または高階調の少なくとも一方で、表現可能な明度の間隔が中間調よりも狭くなる。本発明では、減色処理部において、表示階調値に割り当てられる階調値の範囲が、高階調または低階調の少なくとも一方で、中間調よりも狭くなるように表示階調値の設定を行う。こうすることによって、理想的な階調表示に近づけることができる。なお、前記設定は、画像表示装置が表示階調値に対して出力する明度の間隔と同様の広狭が生じるように設定することが好ましい。
【0015】
本発明の第2の画像処理装置は、
画像表示装置に表示すべき画像データに対して所定の画像処理を施し、前記画像表示装置に供給するデータを生成する画像処理装置であって、
前記画像表示装置は、各画素ごとに表現可能な表示階調数が前記画像データの階調数よりも少なく、かつ、その表示階調値に対して出力される明度が段階的であるとともに、その間隔に広狭がある非線形な表示特性を有する装置であり、
前記表示特性の非線形性を考慮して、入力された画像データの階調分布において、前記間隔が広い領域に対応する階調分布を増大するとともに、前記間隔が狭い領域に対応する階調分布を抑える階調補正を施す画像データ補正部と、
前記補正値の階調範囲を所定数の区間に区分けし、該区間内の前記補正値を所定の規則に従って前記表示階調値に割り当てることによって減色処理を施す減色処理部と、
を備えることを要旨とする。
【0016】
本発明の第2の画像処理装置では、画像表示装置の非線形な表示特性を考慮して、入力された画像データの階調分布において、前記間隔が広い領域に対応する階調分布を増大するとともに、前記間隔が狭い領域に対応する階調分布を抑える階調補正を施し、この補正値を所定の規則に従って表示階調値に割り当てる減色処理を施す。ここで、「階調分布を増大する」とは、所定領域内の階調値を有する画素数を増大することを意味する。また、「階調分布を抑える」とは、所定領域内の階調値を有する画素数を減少させることを意味する。
【0017】
この画像処理は、各表示階調値に割り当てる入力階調値の範囲を変更することと同等である。従って、こうすることによって、本発明の第1の画像処理装置と同様に、理想的な階調表示に近づけることができる。更に、画像データ補正部と減色処理部とを分けることによって、各部を別々に設計することができる。従って、画像表示装置の表示特性が変化した場合には、画像データ補正部を変更するだけでよく、柔軟に対応できるという利点がある。
【0018】
なお、上記画像処理装置において、
前記所定数の区間は、前記補正値の階調範囲を均等範囲に区分けした区間であるものとすることが好ましい。特に2のべき乗ごとの区間に区分けすることが好ましい。
【0019】
こうすれば、各区間において均等に減色処理を施すことができる。なお、「均等範囲」とは、厳密に均等である必要はない。更に、2のべき乗ごとの区間に区分けすれば、コンピュータを用いて画像処理装置を構成する場合に、演算速度を高めることができ、画像処理の速度を高めることができる。
【0020】
本発明の第3の画像処理装置は、
画像表示装置に表示すべき画像データに対して所定の画像処理を施し、前記画像表示装置に供給するデータを生成する画像処理装置であって、
前記画像表示装置は、各画素ごとに表現可能な表示階調数が前記画像データの階調数よりも少なく、かつ、その表示階調値に対して出力される明度が段階的であるとともに、その間隔に広狭がある非線形な表示特性を有する装置であり、
前記画像データの階調値の階調範囲を前記表示特性に応じた広狭を有する区間に区分けし、該区間内の階調値を所定の規則に従って前記表示階調値に割り当てることによって減色処理を施す減色処理部を備えることを要旨とする。
【0021】
本発明では、画像表示装置の表示特性に応じた広狭を有する区間に区分けし、所定の規則に従って表示階調値に割り当てる減色処理を施すので、上述した第1および第2の画像処理装置と同様に、理想的な階調表示に近づけることができる。
【0022】
上記本発明の第1ないし第3の画像処理装置において、
前記減色処理部は、分散型のハーフトーン処理によって減色するものとしてもよい。
【0023】
ここで、「分散型のハーフトーン処理」とは、減色処理後に同じ表示階調値を有する画素が固まって発生しないように分散させるハーフトーン処理である。この種のハーフトーン処理として、ディザ法や誤差拡散法等の周知の技術を適用することができる。
【0024】
減色処理として、分散型のハーフトーン処理を適用することによって、明度が等しい画素を所定面積内で分散させることができるので、擬似輪郭の発生を抑制し、表示画像の画質を向上させることができる。
【0025】
なお、本発明の画像処理装置において、
前記画像表示装置は、携帯電話機に用いられ、フレーム間引き方式により階調表示を行う液晶表示装置であるものとすることができる。
【0026】
フレーム間引き方式により階調表現を行う液晶表示装置は、一般に、その駆動方式に起因して、表現可能な表示階調値に対して出力される明度が段階的であるとともに、低階調領域と高階調領域の少なくとも一方において、その間隔に広狭がある非線形な表示特性を有している。そして、この液晶表示装置は、消費電力の点でパルス幅変調駆動の液晶表示装置よりも優れているため、バッテリ容量が少ない携帯電話機に搭載される場合がある。本発明は、携帯電話機に用いられ、フレーム間引き方式によって階調表示を行う、表示階調数が少ない液晶表示装置に供給するための画像データの画像処理に適用できる。
【0027】
本発明の第2の画像処理装置において、
前記画像データ補正部は、更に、中間調領域における階調分布を抑えるとともに、低階調領域および高階調領域における分布を増大する階調補正を施すようにしてもよい。また、第1の画像処理装置において、かかる画像データ補正部を備えるものとしてもよい。
【0028】
こうすることによって、表示画像のコントラストを高めることができる。なお、画像表示装置が出力する明度の間隔が広い領域が中間調領域であり、狭い領域が低階調領域および高階調領域である場合には、この階調補正は、先に説明した階調補正と相反する補正となる。従って、この場合、先の階調補正の効果を損なわない程度に階調補正を行うものとする。また、この画像処理装置の減色処理部において分散型のハーフトーン処理を施す場合には、中間調において明度差の大きな画素が隣り合う頻度を少なくすることができるので、表示画質を向上させることができる。
【0029】
本発明の第2の画像処理装置において、
前記画像データ補正部は、前記入力された画像データの階調値と補正後の階調値との関係を記憶した記憶手段を備え、該記憶手段を参照して前記階調値を補正するようにしてもよい。第1の画像処理装置において、かかる画像データ補正部を備えるものとしてもよい。
【0030】
入力された画像データの階調値と補正後の画像データの階調値との関係を予め記憶しておき、それを参照することによって、画像データの補正を容易に行うことができる。なお、記憶手段は、いわゆるルックアップテーブルであってもよいし、所定の関数を用いて補正演算を行うようにしてもよい。
【0031】
上記画像処理装置において、
前記記憶手段は、前記画像表示装置の表示特性に影響を与える条件に応じて複数用意されており、
前記条件に応じて前記記憶手段を変更する記憶手段変更部を備えるようにすることが好ましい。
【0032】
例えば、前記条件は、前記画像表示装置を使用する環境の温度であるものとすることができる。
【0033】
画像表示装置を使用する環境の温度によって、その表示特性が変化する場合がある。このようなときに、環境温度に応じて記憶手段を適宜変更して画像データの階調補正を行うことにより、表示画像の画質を向上させることができる。なお、環境温度は、温度センサが検出した検出結果を自動的に入力するようにしてもよいし、手入力するようにしてもよい。
【0034】
また、前記条件は、前記画像表示装置を使用する環境の明るさであるものとしてもよい。
【0035】
画像表示装置を使用する環境の明るさによって、その表示特性が変化する場合がある。このようなときにも、使用環境の明るさに応じて記憶手段を適宜変更して画像データの階調補正を行うことにより、表示画像の画質を向上させることができる。なお、明るさは、光センサが検出した検出結果を自動的に入力するようにしてもよいし、手入力するようにしてもよい。
【0036】
また、前記画像表示装置は、バックライトを備える液晶表示装置であるときには、前記条件は、前記バックライトの明るさであるものとしてもよい。
【0037】
バックライトの明るさによって、液晶表示装置の表示特性は変化する。従って、バックライトの明るさやオン/オフに応じて記憶手段を変更して画像データの階調補正を行うようにすることにより、表示画像の画質を向上させることができる。
【0038】
また、前記条件は、前記画像表示装置の表示コントラストを調整するためのコントラスト調整器の設定値であるものとしてもよい。なお、コントラスト調整器としては、例えば電子ボリュームがある。
【0039】
コントラスト調整器の設定値によって、画像表示装置の表示特性は変化する。従って、コントラスト調整器の設定値に応じて記憶手段を変更して画像データの階調補正を行うようにすることにより、表示画像の画質を向上させることができる。
【0040】
本発明の第4の画像処理装置は、
各画素ごとに表現可能な表示階調数が画像データの階調数よりも少なく、かつ、その表示階調値に対して出力される明度が段階的であるとともに、その間隔に広狭がある非線形な表示特性を有する画像表示装置に表示すべき画像データに対して所定の階調補正を行う画像処理装置であって、
前記画像データの階調値と前記明度との関係を所定のパラメータ値に対応付けて記憶する第1の記憶部と、
前記階調値と前記明度について予め設定された所望の関係を記憶する第2の記憶部と、
前記パラメータ値を取得し、該パラメータ値によって特定される前記関係と前記所望の関係とに基づいて、両者の差異を補償するように、前記画像データの階調値と補正後の画像データの階調値との関係を表すデータを生成するデータ生成部と、
前記生成されたデータを参照して前記入力された画像データの階調値を補正する画像データ補正部と、
を備えることを要旨とする。
【0041】
こうすることによって、所定のパラメータ値に応じて、必要な入力された画像データの階調値と補正後の画像データの階調値との関係を表すデータを生成し、画像データの階調補正を行うことができる。この結果、表示画像の画質を向上させることができる。なお、「所定のパラメータ」は、画像表示装置を使用する環境の温度、明るさ等の画像表示装置の表示特性に影響を与えるパラメータを含んでいる。
【0042】
以上の説明では、画像表示装置の表示特性が非線形である場合を例示した。本発明における階調補正の適用対象は、必ずしも非線形な表示特性を有する画像表示装置に限られない。
かかる観点から構成された本発明における第5の画像処理装置は、
画像表示装置に表示すべき画像データに対して所定の画像処理を施し、前記画像表示装置に供給するデータを生成する画像処理装置であって、
階調補正前後の階調値について、前記画像表示装置の表示特性に基づいて設定された関係を予め記憶する記憶手段と、
前記関係に基づいて前記画像データの階調補正を行う画像データ補正部と、
補正後の画像データを前記画像表示装置で表示可能な階調数に減色する減色処理部と、
を備えることを要旨とする。
【0043】
これまでに説明した画像処理装置と同様、第5の画像処理装置において、減色処理部は、分散型のハーフトーン処理を行うものとすることが望ましい。
【0044】
第5の画像処理装置は、画像表示装置の表示特性が線形であっても、その表示特性に応じた階調補正を施すことを要旨とする。第5の画像処理装置で考慮される表示特性としては、例えば、全体的な明度の偏り、表示階調値の増加に対する明度の増加量、表示可能な階調数などが考えられる。
【0045】
記憶手段に記憶されるべき「関係」は、これらの特性を考慮して解析または実験によって設定される。この関係は、一つである必要はなく、複数用意されるものとしてもよい。
【0046】
例えば、第5の画像処理装置において、
記憶手段は、画像表示装置の表示特性に影響を与える条件に応じて複数用意されており、この条件に応じて記憶手段を変更するものとしてもよい。
こうすれば、条件に応じて種々の関係を使い分けて、適切な階調補正を実現することができる。
【0047】
また、本発明は、
各画素ごとに表現可能な表示階調数が画像データの階調数よりも少なく、かつ、その表示階調値に対して出力される明度が段階的であるとともに、その間隔に広狭がある非線形な表示特性を有する画像表示装置に表示すべき画像データに対して所定の階調補正を行うために用いられるデータを生成する生成方法であって、
(a)前記画像データの階調値と前記明度との関係を特定する工程と、
(b)所望の前記階調値と前記明度との関係を設定する工程と、
(c)前記工程(a)において特定された前記関係と、前記工程(b)において設定された前記関係とに基づいて、両者の差異を補償するように、前記画像処理装置に入力された画像データの階調値と補正後の画像データの階調値との関係を表すデータを生成する工程と、
を備える、生成方法として構成することもできる。
【0048】
こうすることによって、上述した第4の画像処理装置に用いられる階調補正のためのデータを生成することができる。
【0049】
本発明は、上述の画像処理装置、階調補正に用いられるデータの生成方法としての構成の他、画像処理方法の発明として構成することもできる。また、これらを実現するコンピュータプログラム、そのプログラムに供されるデータおよびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。なお、それぞれの態様において、先に示した種々の付加的要素を適用することが可能である。
【0050】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像処理装置を駆動するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやCD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【0051】
【発明の実施の形態】
以下、本発明の実施の形態について、本発明を携帯電話機に適用した場合の実施例に基づき以下の順で説明する。
A.携帯電話機の構成:
B.画像処理:
C.第1実施例の変形例:
D.第2実施例:
E.第3実施例:
F.第4実施例:
G.第5実施例:
H.変形例:
【0052】
A.携帯電話機の構成:
図1は、本発明の第1実施例としての画像処理装置を備えた携帯電話機10の構成を示すブロック図である。携帯電話機10は、画像表示部としてのカラーLCDパネル20と、CPU,ROM,RAM等を有するシステム部60とを備えている。携帯電話機10は、外部のネットワークTNを介して、サーバSVに接続することにより、カラーLCDパネル20に表示する画像データをダウンロードすることが可能である。
【0053】
カラーLCDパネル20は、ガラス基板、RGBカラーフィルタ、透明電極、偏光板、バックライト、およびLCD駆動回路を備えている。なお、本実施例のカラーLCDパネル20は、R(赤)3ビット、G(緑)3ビット、B(青)2ビットの256色を表示するようにLCD駆動回路が設計されている。
【0054】
なお、本実施例のカラーLCDパネル20は、STN型液晶を用いており、パッシブマトリクス駆動方式により駆動している。そして、低消費電力型のフレーム間引き方式の階調表示を行う駆動回路を採用しており、実効駆動電圧は等間隔で設定されている(図21(B)参照)。このため、カラーLCDパネル20は、中間調領域においては表示可能な明度間隔が広く、低階調領域および高階調領域においては表示可能な明度間隔が狭い表示特性を有している。
【0055】
システム部60は、アプリケーションプログラム30と、ブラウザ40と、画像処理モジュール50とを備えている。アプリケーションプログラム30には、ユーザが個人レベルの情報(住所録、スケジュール等)を管理するためのPIM(Personal Infomation Manager)や、電子メールや、着信待受け画面等のソフトウェアが含まれる。ブラウザ40は、サーバSVからダウンロードしたデータを閲覧可能に表示するためのソフトウェアである。
【0056】
画像処理モジュール50は、画像処理部52と、LCDドライバ56を備えており、カラーLCDパネル20の各液晶セルの駆動を制御するためのR(赤),G(緑),B(青)の階調信号とタイミング信号とを生成する。画像処理部52は、解像度変換部53と、画像データ補正部54およびこれが参照する階調値補正テーブルLUTと、ハーフトーン処理部55とを備えている。LCDドライバ56は、電子ボリューム58を備えており、これにより、カラーLCDパネル20の表示コントラストを調整可能である。ただし、電子ボリューム58によるカラーLCDパネル20のコントラストの調整は、携帯電話機10の工場出荷時にコントラストが最大となるように調整済みである。
【0057】
解像度変換部53は、アプリケーションプログラム30およびブラウザ40が扱っているカラー画像データの解像度をLCDドライバ56が扱うことができる解像度に変換する。画像データ補正部54は、入力された画像データの階調値と補正後の階調値との関係を記憶した階調値補正テーブルLUTを参照して、画像データの階調値を補正する処理を行う。階調値補正テーブルLUTは、カラーLCDパネル20の表示特性に応じて予め設定されている。ハーフトーン処理部55は、画像データ補正部54で補正された画像データのハーフトーン処理を行う。
【0058】
B.画像処理:
図2は、画像処理モジュール50で行う画像処理ルーチンのフローチャートである。これは、システム部60内のCPUが実行する処理である。この処理が開始されると、まず、画像データが入力される(ステップS100)。本実施例では、この画像データは、ファイル形式がGIFであり、各画素の色は、8ビット(256色)のパレットインデックスカラーで表されている。なお、GIFファイルの入力に先立って、パレットインデックスカラーと、R,G,B各8ビット(合計24ビット)の階調値との対応関係を示すカラーテーブルが入力され、RAMに記憶される。
【0059】
次に、8ビットの各画像データを24ビット(R,G,Bそれぞれ8ビット)のRGBカラー形式に変換する(ステップS110)。図3は、8ビットのパレットインデックスカラーを24ビットRGBカラー形式に変換するためのカラーテーブルを示す説明図である。カラーテーブルは、上述したように、入力された画像データによって異なる。このカラーテーブルによって8ビットのパレットインデックスカラーを24ビットRGBカラー形式に変換することができる。
【0060】
次に、カラーLCDパネル20に表示可能なように解像度を変換する(ステップS120)。
【0061】
次に、入力された画像が自然画像か否かを判定する(ステップS130)。この判定は、画像に使用されている色数に基づいて行われる。色数が予め定めた所定値より少なければ、自然画像ではないと判断して単純に減色し(ステップS160)、このルーチンから抜ける。色数が所定数以上であれば、自然画像であると判断して次の処理を行う。
【0062】
ステップS130において、入力された画像が自然画像であると判断されると、24ビットの各画像データに対して、後述する階調値補正テーブルLUTを参照して階調値の補正を行う。(ステップS140)。この階調値補正テーブルLUTは、R,G,Bそれぞれについて用意された1次元のルックアップテーブルである。
【0063】
ステップS140における階調値の補正は、入力された画像データに対して、以下に説明するトーンカーブを用いて行う。図4は、R(赤)についての入力された画像データの階調値DXRと補正後の画像データの階調値DXrとの関係を表すトーンカーブを示す説明図である。実線Laが、トーンカーブである。説明を簡単にするために、256階調の入力値に対して256階調の明度を出力できる非線形の表示特性を有する画像表示装置について考える。なお、図中に入力階調値DXRと画像表示装置が出力する明度との関係を合わせて示した。一点鎖線Lbは、理想的な表示特性を示している。「理想的な表示特性」とは、表示階調値(ここでは入力値)と明度との関係が線形性を有する表示特性を意味している。鎖線Lcは、画像表示装置の非線形な表示特性を示している。
【0064】
このトーンカーブは、画像表示装置の非線形な表示特性を補償する意味を有する。例えば、入力値DXR=64に対しては明度Lm1が出力されるのが理想的である。しかし、画像表示装置は、鎖線Lcに示した非線形な表示特性のために明度Lm2を出力する。図示するように、画像表示装置が明度Lm1を出力するためには入力値DXR=80が入力される必要がある。従って、入力値DXR=64を補正値DXr=80に補正するのである。このような階調値の補正は、表現可能な表示階調数が画像データの階調数よりも少ないカラーLCDパネル20に供給するデータに対しても適用できる。
【0065】
なお、トーンカーブは、カラーLCDパネル20の表示特性に応じて任意に設定可能である。カラーLCDパネル20のガンマ特性や、人間の眼の視感度を考慮したトーンカーブを設定してもよい。G(緑)、B(青)についても同様に入力された画像データの階調値と補正後の画像データの階調値との関係を表すトーンカーブが設定されている。
【0066】
図5は、図4に示したR(赤)についてのトーンカーブをテーブルに表した階調値補正テーブルLUTである。この階調値補正テーブルLUTは、画像処理モジュール50内のROMに記憶されている(図1参照)。なお、G(緑)、B(青)についての階調値補正テーブルLUTも同様にROMに記憶されている。このテーブルを参照することによって、容易に階調値の補正を行うことができる。
【0067】
階調値の補正を行うと、次に、ハーフトーン処理を行う(ステップS150)。この処理によってR,G,B各8ビット(256階調)のデータをカラーLCDパネル20の駆動回路が駆動制御可能なようにR,Gについては3ビット(8階調)に、Bについては2ビット(4階調)に、それぞれ減色する。この処理はRGB各成分毎に行われる。ハーフトーン処理には、周知のディザ法や誤差拡散法を適用することができるが、本実施例では、ディザ法を適用した。
【0068】
図6は、本実施例のハーフトーン処理ルーチンのフローチャートである。図6では、256階調の階調データを8階調に減色するR(赤)とG(緑)の場合について示す。本実施例では、ハーフトーン処理にディザ法を適用しており、0〜15の閾値THが配置された4×4のディザマトリクスが1つ用意されている。またディザマトリクスの閾値THとは別に、256階調のデータを8階調に割り当てるための閾値TH1〜TH6(0<TH1<TH2< … <TH6<255)が用意されている。閾値TH1〜TH6は任意に設定可能である。本実施例では、閾値TH1〜TH6は、これらによって区分けされる区間のデータがほぼ均等に処理されるように、ほぼ等間隔に設定されている(TH1=36,TH2=73,TH3=109,TH4=146,TH5=182,TH6=219)。
【0069】
図7は、ディザマトリクスの一例を示す説明図である。後述するデータDX’がディザマトリクスの閾値THよりも大きいか否かによって減色後の階調値を決定する。なお、本実施例では、一例として4×4のディザマトリクスを採用しているが、これに限られるものではなく、異なるサイズのディザマトリクスを採用してもよい。
【0070】
ハーフトーン処理が開始されると、まず、図2のステップS140で補正された補正データDXを入力する(ステップS200)。
【0071】
次に、補正データDXが閾値TH1未満であるか否かを判定する(ステップS210)。補正データDXが閾値TH1未満であれば、0〜TH1の範囲の値がディザマトリクスの閾値THの範囲である0〜15に正規化する(ステップS212)。例えば、補正データDX=24、閾値TH1=36とすると、DX’は、DX’=15・DX/TH1より求められるので、DX’=10となる。次に、ステップS212で正規化された値DX’がディザマトリクスの閾値THよりも大きいか否かを判定する(ステップS214)。DX’が閾値TH以下であれば、表示階調値CDX=0とし(ステップS216)、閾値THよりも大きければ、表示階調値CDX=1とする(ステップS226)。
【0072】
ステップS210において、補正データDXがTH1以上であれば、閾値TH2未満であるか否かを判定する(ステップS220)。補正データDXが閾値TH2未満であれば、TH1〜TH2の範囲の値がディザマトリクスの閾値THの範囲である0〜15に収まるように内挿して補正する(ステップS222)。このとき、DX’は、DX’=15・(DX−TH1)/(TH2−TH1)より求められる。次に、ステップS222で補正された値DX’がディザマトリクスの閾値THよりも大きいか否かを判定する(ステップS224)。DX’が閾値TH以下であれば、表示階調値CDX=1とし(ステップS226)、閾値THよりも大きければ、表示階調値CDX=2とする(ステップS236)。以下、同様にして表示階調値CDXを決定する。
【0073】
そして、全画素についてステップS200からステップS278までの処理が終了すれば、ハーフトーン処理を終了する(ステップS280)。全画素について終了していなければ、終了するまで以上の処理を繰り返す。
【0074】
ハーフトーン処理が終了すると、図2に示した画像処理ルーチンを終了し、表示階調値CDXに従ってカラーLCDパネルに画像が表示される。
【0075】
256階調の階調データを4階調に減色するB(青)についても同様にハーフトーン処理が行われる。なお、本実施例では、一例として上述したディザ法をハーフトーン処理に適用したが、誤差拡散法等の他の手法を適用するようにしてもよい。
【0076】
以上で説明した本実施例によれば、カラーLCDパネル20の非線形性を補償する階調補正を施しているので、理想的な画像表示に近づけることができる。
【0077】
図8および図9は、本実施例の階調補正の効果を示す説明図である。理解を簡単にするため、階調補正後、単純減色を行うものとして説明する。また、表示階調値に対して表示される明度の間隔が、低階調および高階調領域で中間調領域よりも狭いものとする。まず、本実施例の階調補正を行わない場合の表示について示す。図8(a)下段には、入力階調値とその度数(画素数)との関係を表すヒストグラムを示した。図8(a)上段には、階調補正および単純減色後の表示階調値とその度数および明度の関係を表すヒストグラムを示した。
【0078】
図8(a)下段に示すように、256階調の各階調値を有する画素がn個ずつ存在するデータが入力されるものとする。このデータは、例えば、階調値が0〜255まで変化するグラデーションパターンに相当する。図8(b)にかかるグラデーションパターンの例を示した。このパターンは、携帯電話10のカラーLCDパネル20に長方形のパッチで表示される。明度は、図中のy方向には均一とし、x方向に変化(増加)するものとする。このデータに対し、図20に示した単純減色を行うと、図8(a)に示すように、入力階調値の均等な区間a―b、区間b―c、区間c―d…の画素が表示階調値CDX=1,2,3…に割り当てられる。各区間には、それぞれN個の画素が含まれているとすると、減色後の各表示階調の度数はそれぞれNとなる。理想的な8階調表示の場合、上段に太破線で示すように、各表示階調値は等間隔の明度で表示される。これに対し、本実施例のように非線形性を有するディスプレイでは、太実線で示すように明度間隔が不均等に表示される。各表示階調値で表示される明度に偏りがあるにも関わらず、一定の度数Nが割り当てられることにより、本実施例では、全体として表示される明度が理想状態からずれる。
【0079】
かかる明度のずれを、低階調の区間b−cを例にとって説明する。区間b−cは、図8(b)に示すパターンのうち、一定幅の領域Aに相当する。図8(b)上方には、領域Aにおける明度の変化をグラフで例示した。階調値の線形的な変化に伴い、領域Aでは、表示されるべき明度は、直線Lで示すように変化する。このとき、領域全体で表示されるべき明度は、図中のハッチングを付した面積に相当する。
【0080】
8階調で表示を行う場合の明度を図中に併せて示した。図8(a)に示すように、区間b−cの画素は一定の表示階調値CDX=2に割り当てられる。従って、8階調表示を行う場合の明度は、領域Aで一定となる。理想的な表示階調における明度を直線LA2、非線形性を有する表示階調における明度を直線LA1で示した。
【0081】
理想的な表示階調(破線)では、表示階調値CDX=2に相当する明度は、区間b−cの中間値に設定されている。このとき、領域A全体で表示される明度、即ち、x軸と直線LA2間の面積は、ハッチングを付した面積に等しくなる。これは、理想的な表示階調では、領域A全体において、適正な明度表示が行われることを意味する。
【0082】
一方、非線形性を有する表示階調(実線)では、表示階調値CDX=2に相当する明度は、区間b−cの中間値よりも低い。従って、x軸と直線LA2間の面積は、ハッチングを付した面積よりも小さくなる。これは、領域A全体で表示される明度が、適性値よりも暗くなることを意味する。図8では、低階調における明度のずれを例示した。高階調では、同様の原理により、適性値よりも明度が高くなるずれが生じる。
【0083】
次に、本実施例のトーンカーブを用いた階調補正を行った場合の表示について示す。この場合、図9下段、中段に示すように、入力階調値の区間a―b1、区間b1―c1、区間c1―d1…の値が補正階調値の区間a―b、区間b―c、区間c―d…の値に階調補正されることになる。そして、図9中段、上段に示すように、補正階調値の均等な区間a―b、区間b―c、区間c―d…の画素が表示階調値CDX=1,2,3…に割り当てられる。なお、図9中段の補正階調値の度数は、便宜上、各区間で一定として図示した。
【0084】
入力階調値の区間a―b1、区間b1―c1、区間c1―d1に着目する。図4に示したトーンカーブを用いた階調補正では、低階調領域の階調値を大きくする補正を行う。例えば、入力階調値b1は、b1よりも大きな補正階調値bに補正される。同様に、入力階調値の区間a−b1内の値は、補正階調値の区間a−b内の値に補正される。入力階調値の区間a−b1は、区間a−bよりも狭いので、補正階調値の区間a−b内の総画素数N1は、入力階調値の区間a−b内の総画素数Nよりも少なくなる。図4に示したトーンカーブを用いた階調補正では、中間調の分布を増大させる補正を行うため、入力階調値の区間b1−c1内の値は、それよりも狭い補正階調値の区間b−c内の値に補正され、補正階調値の区間b−c内の総画素数N2は、入力階調値の区間b−c内の総画素数Nよりも多くなる。更に、区間b1−c1よりも広い入力階調値の区間c1−d1内の値が補正階調値の区間c−d内の値に補正されるので、区間c1−d1内の総画素数N3はN2よりも多くなる。そして、各区間の画素は、それぞれ表示階調値CDX=1,2,3に割り当てられる。このとき、図8に示したのと同じ入力階調値の範囲Aの画素は、表示階調値CDX=2とCDX=3に割り当てられ、両表示階調値で表示されることになる。表示階調値CDX=3で表示される明度は、表示階調値CDX=2で表示される明度よりも明るいので、カラーLCDパネル20に表示される範囲Aの全体的な明度は、階調補正を行わない場合よりも明るくなる。このようにして理想的な画像表示に近づけることができるのである。
【0085】
なお、上記説明では、ハーフトーン処理を行わない場合について説明したが、ハーフトーン処理を行ったときにも同様に階調補正の効果を理解することができる。
【0086】
本実施例では、減色処理にディザ法によるハーフトーン処理を適用しているので、表示階調値CDXの等しい画素を分散することができる。この結果、擬似輪郭を抑制し、表示画像の画質を向上させることができる。
【0087】
また、本実施例では、図4に示したトーンカーブおよび図5に示した階調値補正テーブルLUTは、カラーLCDパネル20の表示特性に応じて任意に設定可能である。従って、カラーLCDパネル20の変更や画質調整をソフト的に容易に行うことができる。
【0088】
C.第1実施例の変形例:
図10は、第1実施例の変形例の画像処理装置を備えた携帯電話機10Aの構成を示すブロック図である。なお、以下で示す事項以外は、第1実施例と同じである。携帯電話器10Aは、画像表示部としてのカラーLCDパネル20と、システム部60Aとを備えている。システム部60Aは、アプリケーションプログラム30と、ブラウザ40と、画像処理モジュール50Aとを備えている。画像処理モジュール50Aは、画像処理部52AとLCDドライバ56とを備えている。画像処理部52Aは、解像度変換部53と、第1画像データ補正部541と、第2画像データ補正部542と、ハーフトーン処理部55とを備えている。また、第1画像データ補正部541と第2画像データ補正部542とがそれぞれ参照する第1階調値補正テーブルと第2階調値補正テーブルも備えている。なお、第1画像データ補正部541および第1階調値補正テーブルは、それぞれ第1実施例の画像データ補正部54および階調値補正テーブルLUTと同じである。
【0089】
第2画像データ補正部542は、第1画像データ補正部541で補正された第1の補正値に対して階調補正を施す。そして、ハーフトーン処理部55は、第2の補正値に対してハーフトーン処理を施す。つまり、第2の画像データ補正部542が行う第2の階調補正は、図2のステップS140とステップS150の間に行う処理である。
【0090】
図11は、第2階調値補正テーブルに記録されているR(赤)についての入力された第1の補正値DXrと第2の補正値DXr’との関係を表すトーンカーブを示す説明図である。実線La1がトーンカーブである。例えば、第1の補正値DXr=64の画素については、第2の階調補正によって第2の補正値DXr’=52となる。トーンカーブが一点鎖線La2のように設定されているときには、階調補正はされないことになる。第1の補正値DXrがpよりも小さい領域では、DXrよりも小さいDXr’に補正される。一方、第1の補正値DXrがpよりも大きい領域では、DXrよりも大きいDXr’に補正される。
【0091】
このような第2の階調補正によって、表示画像のコントラストを高めることができる。また、ハーフトーン処理によって中間調において明度差の大きな画素が隣り合う頻度を少なくすることができるので、表示画質を向上させることができる。なお、第1の階調補正と第2の階調補正は、処理の順序が逆になってもよい。また、第1の階調補正に用いるトーンカーブと第2の階調補正に用いるトーンカーブとを合成したトーンカーブを用いて1回の階調補正を施すようにしてもよい。
【0092】
D.第2実施例:
図12は、本発明の第2実施例としての画像処理装置を備えた携帯電話機10Bの構成を示すブロック図である。なお、以下で説明する事項以外は、第1実施例と同じである。携帯電話機10Bは、画像表示部としてのカラーLCDパネル20Bと、システム部60Bとを備えている。携帯電話機10BのカラーLCDパネル20Bは、温度センサ70と、光センサ80とを備えている。温度センサ70は、カラーLCDパネルを使用する環境の温度を検出する。光センサ80は、カラーLCDパネル20Bを使用する環境の明るさを検出する。
【0093】
システム部60Bは、アプリケーションプログラム30と、ブラウザ40と、画像処理モジュール50Bとを備えている。画像処理モジュール50Bは、画像処理部52Bと、LCDドライバ56Bとを備えている。画像処理部52Bは、解像度変換部53と、画像データ補正部54およびこれが参照する複数の階調値補正テーブルLUTと、テーブル変更部57と、ハーフトーン処理部55とを備えている。
【0094】
階調値補正テーブルLUTは、カラーLCDパネル20Bの複数の使用環境(温度および明るさ)の下で使用するための複数のルックアップテーブルを備えている。図13は、カラーLCDパネルを使用する環境の温度と明るさと使用するルックアップテーブルとの関係を表したマップを示す説明図である。図示するように、温度と明るさの範囲に応じて予め使用するための9つのルックアップテーブルLUT1〜LUT9が設定されている。例えば、温度がTa〜Tb、明るさがLa〜Lbの範囲では、ルックアップテーブルLUT1が設定されている。テーブル変更部57は、このマップを参照し、温度センサ70と光センサ80の検出結果に応じてルックアップテーブルを選択する。例えば、温度がTm、明るさがLmのときには、ルックアップテーブルLUT5が選択される。
【0095】
LCDドライバ56Bは、電子ボリューム58と電子ボリューム自動設定部59を備えている。上述したルックアップテーブルの変更と同様に、カラーLCDパネルを使用する環境の温度と明るさと電子ボリュームの設定値との関係が予めマップに設定されており、電子ボリューム自動設定部59は、このマップを参照して、温度センサ70と光センサ80の検出結果に応じて、カラーLCDパネルのコントラストが最大となるように電子ボリューム58の設定値を設定する。
【0096】
なお、電子ボリューム58の設定値が変わると、カラーLCDパネル20Bの表示特性も変化する。従って、上述したルックアップテーブルLUT1〜LUT9は、電子ボリューム58の設定値を考慮したものになっている。図14は、電子ボリューム58の設定とトーンカーブとの関係の一例を示す説明図である。今、カラーLCDパネル20Bの使用環境の温度と明るさは一定であるものとする。図14(a)に示したように、電子ボリューム58の設定値を変更すると、カラーLCDパネル20Bの実効駆動電圧の範囲は▲1▼、▲2▼、▲3▼のように変化する(図22参照)。このとき、カラーLCDパネル20Bの透過率特性のプロファイルに応じて、トーンカーブを図14(b)の▲1▼、▲2▼、▲3▼のように変更する。これらの各トーンカーブは、第1実施例で示したトーンカーブと同様に、カラーLCDパネル20Bの非線形な表示特性を補償する効果を奏するトーンカーブである。
【0097】
上述したように、カラーLCDパネル20Bは、温度や明るさなど使用する環境条件や電子ボリュームの設定値によって表示特性が変化する。従って、上記第2実施例によれば、カラーLCDパネル20Bを使用する環境条件に応じて、適切なコントラストを得るとともに、適切な画像処理を行うことができる。この結果、カラーLCDパネル20Bの表示画質を向上させることができる。
【0098】
E.第3実施例:
図15は、本発明の第3実施例としての画像処理装置を備えた携帯電話器10Cの構成を示すブロック図である。なお、以下で説明する事項以外は、第2実施例と同じである。携帯電話器10Cは、画像表示部としてのカラーLCDパネル20Bと、システム部60Cとを備えている。カラーLCDパネル20Bは、温度センサ70と、光センサ80とを備えており、これらが検出した温度や明るさは、電子ボリューム自動設定部59や、後述する階調値補正データ生成部54Dに送られる。
【0099】
システム部60Cは、アプリケーションプログラム30と、ブラウザ40と、画像処理モジュール50Cとを備えている。画像処理モジュール50Cは、画像処理部52CとLCDドライバ56Bとを備えている。画像処理部52Cは、解像度変換部53と、画像データ補正部54Cと、ハーフトーン処理部55とを備えている。
【0100】
画像データ補正部54Cは、階調値補正データ生成部54Dを備えている。階調値補正データ生成部54Dは、先述したトーンカーブを生成する機能を有している。図16は、トーンカーブの生成工程を示す説明図である。まず、温度センサ70と光センサ80の検出結果および電子ボリューム58の設定値に応じて、カラーLCDパネル20Bの表示特性(入力階調値と出力される明度との関係)を特定する(ステップS300)。この表示特性は、温度センサ70、光センサ80の検出結果および電子ボリューム58の設定値をパラメータとして、予めメモリに記憶されている。次に、予めメモリに記憶されている所望の表示特性を特定する(ステップS320)。所望の表示特性は、任意に設定可能である。例えば、入力階調値と表示される明度との関係がリニアになるように設定してもよいし、カラーLCDパネル20のガンマ特性を考慮して設定してもよい。次に、両者の差異を補償するようにトーンカーブを設定する(ステップS340)。画像データ補正部54Cは、この階調値補正データにより、画像データの階調補正を行う。
【0101】
このように、第3実施例によれば、カラーLCDパネル20Bの使用環境の温度や明るさに応じた複数のルックアップテーブルを予め記憶しておく必要がないので、メモリ領域の消費を抑制することができる。
【0102】
F.第4実施例:
図17は、本発明の第4実施例としての画像処理装置を備えた携帯電話機10Dの構成を示すブロック図である。以下で説明する事項以外は、第1実施例と同じである。携帯電話器10Dは、画像表示部としてのカラーLCDパネル20と、システム部60Dとを備えている。システム部60Dは、アプリケーションプログラム30と、ブラウザ40と、画像処理モジュール50Dとを備えている。画像処理モジュール50Dは、画像処理部52DとLCDドライバ56とを備えている。画像処理部52Dは、解像度変換部53とハーフトーン処理部55Dを備えている。なお、画像データの階調補正を行うための画像データ補正部や階調値補正テーブルは備えていない。
【0103】
ハーフトーン処理部55Dでの処理について説明する。図18は、入力値(または補正値)と表示階調値CDXの記録率との関係を示す説明図である。図18(a)は、第1実施例のハーフトーン処理について示している。図18(b)は、第4実施例のハーフトーン処理について示している。ここで、記録率とは、ある階調値が連続的に分布する、いわゆるベタ領域を表示する際に、その領域内の画素が占める割合を言う。図18(a)において、例えば、ベタ領域の階調値を階調補正した補正値が91であるときには、表示階調値CDX=2の画素とCDX=3の画素とがそれぞれ50%ずつ分散して発生することになる。換言すれば、補正値が91の画素は、50%の確率でCDX=2またはCDX=3に割り当てられることを意味している。
【0104】
第1実施例では、図18(a)に示すように、ハーフトーン処理に用いる閾値TH1〜TH6をほぼ均等に設定した。第4実施例では、図18(b)に示すように、閾値TH1〜TH6の設定が異なる。これらの閾値TH1〜TH6は、それらの間隔の広狭が表示階調値CDXに対して出力される明度の間隔の広狭と同じになるように設定されている。即ち、カラーLCDパネル20が出力可能な明度が0〜100であって、表示階調値CDX=0,1,2,3,4,5,6,7に対して出力される明度がそれぞれ0,5,17,37,62,84,95,100であるものとすると、閾値TH1〜TH6として13,43,94,158,214,242がそれぞれ設定される。なお、閾値の間隔の広狭は、明度の間隔の広狭と厳密に同じにする必要はない。
【0105】
このような第4実施例によれば、第1実施例で行った階調補正とハーフトーン処理との2段階の画像処理と同等、すなわちカラーLCDパネル20の表示特性の非線形性を補償する画像処理をハーフトーン処理のみで実現することができる。
【0106】
なお、第4実施例のハーフトーン処理部55Dと第1実施例の画像データ補正部54とを組み合わせて画像処理を施すようにしてもよい。つまり、部分的に画像データ補正部54での階調補正によってカラーLCDパネル20の非線型な表示特性を補償し、残りをハーフトーン処理部55Dによって補償するようにしてもよい。
【0107】
G.第5実施例:
図19は、本発明の第5実施例としての画像処理装置を備えた携帯電話機10Eの構成を示すブロック図である。以下で説明する事項以外は、第2実施例と同じである。携帯電話器10Eは、画像表示部としてのカラーLCDパネル20と、システム部60Eとを備えている。システム部60Eは、アプリケーションプログラム30と、ブラウザ40と、画像処理モジュール50Eとを備えている。画像処理モジュール50Eは、画像処理部52Eと、LCDドライバ56とを備えている。画像処理部52Eは、解像度変換部53と、ハーフトーン処理部55Eと、閾値変更部57Eとを備えている。
【0108】
閾値変更部57Eには、使用する環境(温度、明るさ)や電子ボリューム58の設定に応じた複数の閾値テーブルが用意されている。閾値テーブルには、ハーフトーン処理に用いる閾値TH1〜TH6が記憶されている。閾値変更部57Eは、温度センサ70と光センサ80の検出結果に応じて最適な閾値テーブルを選択する。ハーフトーン処理部55Eは、選択された閾値テーブルに基づいてハーフトーン処理を行う。なお、本実施例では、閾値変更部57Eは複数の閾値テーブルから最適なテーブルを選択するものとしたが、各閾値を所定の演算によって設定するものとしてもよい。
【0109】
このような第5実施例によれば、第2実施例と同等の画像処理を行うことができる。
【0110】
以上で説明した本実施例の画像処理装置は、コンピュータによる処理を含んでいることから、この処理を実現するためのコンピュータプログラムおよびそのプログラムを記録した記録媒体としての実施の態様を採ることもできる。また、第1および第2実施例の画像処理に供されるトーンカーブを階調値補正テーブルとして記録した記録媒体としての態様を採ることもできる。このような記録媒体としては、フレキシブルディスクやCD−ROM、光磁気ディスク、ICカード、ROMカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置(RAMやROMなどのメモリ)および外部記憶装置等の、コンピュータが読み取り可能な種々の媒体を利用できる。
【0111】
H.変形例:
以上、本発明の実施の形態について説明したが、本発明はこのような実施の形態になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々なる態様での実施が可能である。例えば、以下のような変形例も可能である。
【0112】
H1.変形例1:
上記実施例では、本発明を携帯電話機に適用したが、これに限定されるものではない。例えば、携帯情報端末や、カーナビゲーションシステム等の画像を表示する液晶表示装置を備える電子機器に適用することもできる。
【0113】
H2.変形例2:
上記実施例では、画像表示装置にパッシブマトリクス駆動を行うカラーLCDパネルを用いているが、一般に、表現可能な階調数が原画像データの階調数よりも少ない液晶表示装置に対して適用可能である。本発明は、例えば、薄膜トランジスタ(TFT:Thin Film Transistor)や薄膜ダイオード(TFD:Thin Film Diode)を用いたアクティブマトリクス駆動のカラーLCDパネルに適用することもできる。また、上記実施例では、フレーム間引き方式で駆動するカラーLCDパネル20を用いているが、パルス幅変調方式で駆動するカラーLCDパネルに対しても適用可能である。
【0114】
本発明は、入力階調値と表示階調値との関係が非線形のものに対して適用すると、特に効果が大きいが、表示特性が線形である場合にも適用可能である。かかる場合でも、その表示特性に応じた階調補正を施すことにより、それぞれ画質の向上を図ることができる。考慮される表示特性としては、例えば、全体的な明度の偏り、表示階調値の増加に対する明度の増加量、表示可能な階調数などが考えられる。
【0115】
H3.変形例3:
上記実施例では、本発明を電圧駆動制御を行う液晶表示装置に適用したが、これに限定されるものではない。例えば、電流駆動制御を行うLED表示装置や、その他駆動信号を制御することによって画像の多階調表現が可能な画像表示装置に適用することができる。
【0116】
H4.変形例4:
上記実施例では、入力される画像データのファイル形式を8ビットカラーテーブルのGIFとしたが、例えば24ビットRGBカラー形式のJPEG等を扱うものとしてもよい。
【0117】
H5.変形例5:
上記第1ないし第3実施例では、ハーフトーン処理を施しているが、ハーフトーン処理を施さなくてもよい。
【0118】
H6.変形例6:
上記第2実施例では、カラーLCDパネル20を使用する環境の温度および明るさに応じて階調値補正テーブルおよび電子ボリューム58の値を設定しているが、どちらか一方に応じて設定するようにしてもよい。また、カラーLCDパネル20を使用する環境の温度および明るさに対応したルックアップテーブルと電子ボリューム58の設定値に対応したルックアップテーブルとを別個に用意し、各テーブルを用いた2段階の階調補正を行うようにしてもよい。また、カラーLCDパネル20のバックライトの明るさや、オン/オフの状態に応じて設定するようにしてもよい。
【0119】
H7.変形例7:
上記実施例では、画像表示装置としての携帯電話機が画像処理装置を備えているが、画像処理装置と画像表示装置を独立のものとしてもよい。例えば、画像データを保管しているサーバSVが本発明の画像処理装置の一部または全部を備えるようにしてもよい。例えば、携帯電話機10への画像データ送信時に、サーバSVで図2に示した画像処理のうちの階調値補正までの処理を行い、携帯電話機でハーフトーン処理を行うようにしてもよいし、サーバSVでハーフトーン処理まで行うようにしてもよい。アップロードされた画像データの保存時に、サーバSVで上記処理をしてもよい。
【0120】
また、ユーザのコンピュータ等に本発明の画像処理装置の一部または全部を備えるようにしてもよい。即ち、サーバSVに画像データをアップロードする前に、ユーザのコンピュータ等で階調補正まで行うようにしてもよいし、ハーフトーン処理まで行うようにしてもよい。
【0121】
こうすることによって、表示対象となる画像表示装置の表示特性(実施例では、携帯電話機の機種に相当する)を特定し、その表示特性に応じて、表示画像の画質が向上するように予め画像データを補正しておくことができる。
【図面の簡単な説明】
【図1】本発明の第1実施例としての画像処理装置を備えた携帯電話機10の構成を示すブロック図である。
【図2】画像処理モジュール50で行う画像処理ルーチンのフローチャートである。
【図3】8ビットのパレットインデックスカラーを24ビットのRGBカラー形式に変換するためのカラーテーブルを示す説明図である。
【図4】R(赤)についての入力された画像データの階調値DXRと補正後の画像データの階調値DXrとの関係を表すトーンカーブを示す説明図である。
【図5】R(赤)についてのトーンカーブをテーブルに表した階調値補正テーブルLUTである。
【図6】本実施例のハーフトーン処理ルーチンのフローチャートである。
【図7】ディザマトリクスの一例を示す説明図である。
【図8】本実施例の画像処理の効果を示す説明図である。
【図9】本実施例の画像処理の効果を示す説明図である。
【図10】第1実施例の変形例の画像処理装置を備えた携帯電話機10Aの構成を示すブロック図である。
【図11】第2階調値補正テーブルに記録されているR(赤)についての入力された第1の補正値DXrと第2の補正値DXr’との関係を表すトーンカーブを示す説明図である。
【図12】本発明の第2実施例としての画像処理装置を備えた携帯電話機10Bの構成を示すブロック図である。
【図13】カラーLCDパネルを使用する環境の温度と明るさと使用するルックアップテーブルとの関係を表したマップを示す説明図である。
【図14】電子ボリューム58の設定とトーンカーブとの関係の一例を示す説明図である。
【図15】本発明の第3実施例としての画像処理装置を備えた携帯電話器10Cの構成を示すブロック図である。
【図16】トーンカーブの生成工程を示す説明図である。
【図17】本発明の第4実施例としての画像処理装置を備えた携帯電話機10Dの構成を示すブロック図である。
【図18】入力値(または補正値)と表示階調値CDXの記録率との関係を示す説明図である。
【図19】本発明の第5実施例としての画像処理装置を備えた携帯電話機10Eの構成を示すブロック図である。
【図20】256階調のデータを8階調に割り振る様子を示す説明図である。
【図21】LCDパネルの電圧−透過率特性(V−T特性)を示す説明図である。
【図22】電子ボリュームによるLCDパネルの表示コントラストの調整について説明する説明図である。
【符号の説明】
10、10A、10B、10C、10D、10E…携帯電話機
20…カラーLCDパネル
30…アプリケーションプログラム
40…ブラウザ
50、50A、50B、50C、50D、50E…画像処理モジュール
52、52A、52B、52C、52D、50E…画像処理部
53…解像度変換部
54、54C…画像データ補正部
54D…階調値補正データ生成部
55、55D、55E…ハーフトーン処理部
56、56A…LCDドライバ
57…テーブル変更部
57E…閾値変更部
58…電子ボリューム
59…電子ボリューム自動設定部
60、60A、60B、60C、60D、60E…システム部
70…温度センサ
80…光センサ
541…第1画像データ補正部
542…第2画像データ補正部
Claims (14)
- 画像表示装置に表示すべき画像データに対して所定の画像処理を施し、前記画像表示装置に供給する表示データを生成する画像処理装置であって、
前記画像表示装置は、各画素ごとに表現可能な表示階調数が前記画像データの階調数よりも少なく、かつ、その表示階調値に対して出力される明度が段階的であるとともに、その間隔に広狭がある非線形な表示特性を有する装置であり、
入力された画像データに階調補正を施し、補正値を生成する画像データ補正部と、
前記補正値の階調範囲を所定数の区間に区分けし、ハーフトーン処理により該区間内の前記補正値を前記表示階調値に割り当てることによって減色処理を施す第1の減色処理部と、
前記画像データの階調範囲を前記表示階調数分の均等区間に区分けし、前記均等区間内の前記画像データの階調値を前記均等区間に対応する前記表示階調値に割り当てることによって単純減色処理を施す第2の減色処理部と、
を備え、
前記画像データ補正部は、
前記表示特性の非線形性を考慮して、前記入力された画像データの階調分布において、前記間隔が広い領域に対応する階調分布を増大するとともに、前記間隔が狭い領域に対応する階調分布を抑える階調補正を施す第1の階調補正部と、
中間調領域における階調分布を抑えるとともに、低階調領域および高階調領域における分布を増大する階調補正を施す第2の階調補正部と、
を有し、
前記画像データで表される画像に使用されている色数が所定の色数以上である場合には、前記画像データに前記画像データ補正部による階調補正と前記第1の減色処理部による減色処理と施すことにより前記表示データを生成し、前記画像データで表される画像に使用されている色数が前記所定の色数よりも少ない場合には、前記画像データに前記第2の減色処理部による単純減色処理を施すことにより前記表示データを生成する、
画像処理装置。 - 請求項1記載の画像処理装置であって、
前記第1の階調補正部は、前記入力された画像データの階調値と補正後の階調値との関係を記憶した記憶手段を備え、該記憶手段を参照して前記階調値を補正する、
画像処理装置。 - 請求項2記載の画像処理装置であって、
前記記憶手段は、前記画像表示装置の表示特性に影響を与える条件に応じて複数用意されており、
前記条件に応じて前記記憶手段を変更する記憶手段変更部を備える、
画像処理装置。 - 請求項3記載の画像処理装置であって、
前記条件は、前記画像表示装置を使用する環境の温度である、画像処理装置。 - 請求項3記載の画像処理装置であって、
前記条件は、前記画像表示装置を使用する環境の明るさである、画像処理装置。 - 請求項3記載の画像処理装置であって、
前記画像表示装置は、バックライトを備える液晶表示装置であり、
前記条件は、前記バックライトの明るさである、画像処理装置。 - 請求項3記載の画像処理装置であって、
前記条件は、前記画像表示装置の表示コントラストを調整するためのコントラスト調整器の設定値である、画像処理装置。 - 請求項1記載の画像処理装置であって、
前記所定数の区間は、前記補正値の階調範囲を均等範囲に区分けした区間である、画像処理装置。 - 請求項1記載の画像処理装置であって、
前記第1の減色処理部は、分散型のハーフトーン処理を行う、
画像処理装置。 - 請求項9記載の画像処理装置であって、
前記第1の減色処理部は、前記画像データが所定の種類である場合にのみ前記分散型のハーフトーン処理を行う画像処理装置。 - 請求項8ないし10のいずれかに記載の画像処理装置であって、
前記画像表示装置は、携帯電話機に用いられ、フレーム間引き方式により階調表示を行う液晶表示装置である、
画像処理装置。 - 各画素ごとに表現可能な表示階調数が画像データの階調数よりも少なく、かつ、その表示階調値に対して出力される明度が段階的であるとともに、その間隔に広狭がある非線形な表示特性を有する画像表示装置に表示すべき画像データに対して所定の画像処理を施し、前記画像表示装置に供給する表示データを生成する画像処理方法であって、
(a)表示対象となる画像表示装置の表示特性を特定する工程と、
(b)前記画像データで表される画像に使用されている色数が所定の色数以上である場合に、前記画像データから前記表示データを生成する工程と、
(c)前記画像データで表される画像に使用されている色数が前記所定の色数よりも少ない場合に、前記画像データから前記表示データを生成する工程と、
を備え、
前記工程(b)は、
(b1)入力された画像データに階調補正を施し、補正値を生成する工程と、
(b2)前記補正値の階調範囲を所定数の区間に区分けし、ハーフトーン処理により該区間内の前記補正値を前記表示階調値に割り当てる減色処理を前記補正値に施して前記表示データを生成する工程と、
を含み、
前記工程(b1)は、
前記表示特性の非線形性を考慮して、前記入力された画像データの階調分布において、前記間隔が広い領域に対応する階調分布を増大するとともに、前記間隔が狭い領域に対応する階調分布を抑える階調補正を施す工程と、
中間調領域における階調分布を抑えるとともに、低階調領域および高階調領域における分布を増大する階調補正を施す工程と、
を有し、
前記工程(c)は、前記画像データの階調範囲を前記表示階調数分の均等区間に区分けし、前記均等区間内の前記画像データの階調値を前記均等区間に対応する前記表示階調値に割り当てる単純減色処理を前記画像データに施して前記表示データを生成する工程を含む、
画像処理方法。 - 各画素ごとに表現可能な表示階調数が画像データの階調数よりも少なく、かつ、その表示階調値に対して出力される明度が段階的であるとともに、その間隔に広狭がある非線形な表示特性を有する画像表示装置に表示すべき画像データに対して所定の画像処理を施して、前記画像表示装置に供給する表示データを生成するコンピュータプログラムであって、
表示対象となる画像表示装置の表示特性を特定する機能と、
前記画像データで表される画像に使用されている色数が所定の色数以上である場合に、前記画像データから前記表示データを生成する第1の表示データ生成機能と、
前記画像データで表される画像に使用されている色数が前記所定の色数よりも少ない場合に、前記画像データから前記表示データを生成する第2の表示データ生成機能と、
をコンピュータに実現させるためのコンピュータプログラムであり、
前記第1のデータ生成機能は、
入力された画像データに階調補正を施す機能と、
前記補正値の階調範囲を所定数の区間に区分けし、ハーフトーン処理により該区間内の前記補正値を前記表示階調値に割り当てることによって減色処理を施す機能と、
によって実現され、
階調補正を施す機能は、
前記表示特性の非線形性を考慮して、入力された画像データの階調分布において、前記間隔が広い領域に対応する階調分布を増大するとともに、前記間隔が狭い領域に対応する階調分布を抑える階調補正を施す機能と、
中間調領域における階調分布を抑えるとともに、低階調領域および高階調領域における分布を増大する階調補正を施す機能と、
を含み、
前記第2のデータ生成機能は、前記画像データの階調範囲を前記表示階調数分の均等区間に区分けし、前記均等区間内の前記画像データの階調値を前記均等区間に対応する前記表示階調値に割り当てることによって単純減色処理を施す機能によって実現される、
コンピュータプログラム。 - 請求項13記載のコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001152978A JP4010119B2 (ja) | 2000-05-25 | 2001-05-22 | 画像表示装置に供給される画像データの処理 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000154034 | 2000-05-25 | ||
JP2000-154034 | 2000-05-25 | ||
JP2001105425 | 2001-04-04 | ||
JP2001-105425 | 2001-04-04 | ||
JP2001152978A JP4010119B2 (ja) | 2000-05-25 | 2001-05-22 | 画像表示装置に供給される画像データの処理 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002366103A JP2002366103A (ja) | 2002-12-20 |
JP4010119B2 true JP4010119B2 (ja) | 2007-11-21 |
Family
ID=27343499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001152978A Expired - Fee Related JP4010119B2 (ja) | 2000-05-25 | 2001-05-22 | 画像表示装置に供給される画像データの処理 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4010119B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4103740B2 (ja) | 2003-09-10 | 2008-06-18 | セイコーエプソン株式会社 | 画像表示装置、画像表示方法及び画像表示プログラム |
JP4577549B2 (ja) * | 2004-01-22 | 2010-11-10 | ソニー株式会社 | 画像表示装置 |
JP4072513B2 (ja) | 2004-04-16 | 2008-04-09 | ソフトバンクモバイル株式会社 | 移動体通信端末 |
KR100621853B1 (ko) * | 2004-11-23 | 2006-09-19 | 삼성전자주식회사 | 개량된 색상 이미지 표시 장치 및 방법을 가지는 이동통신단말기 |
JP4702537B2 (ja) * | 2005-09-28 | 2011-06-15 | 株式会社デンソー | 車載表示装置 |
JP4071800B2 (ja) * | 2006-02-13 | 2008-04-02 | シャープ株式会社 | 動画像再生装置および階調補正装置 |
KR101232178B1 (ko) | 2006-11-27 | 2013-02-13 | 엘지디스플레이 주식회사 | 평판표시장치의 표시결함 보상방법 및 장치 |
EP2506248A1 (en) * | 2007-03-26 | 2012-10-03 | NEC Corporation | Image display controlling method |
JP4752803B2 (ja) * | 2007-04-06 | 2011-08-17 | セイコーエプソン株式会社 | 電気光学装置及び電子機器 |
JP2009237373A (ja) * | 2008-03-27 | 2009-10-15 | Casio Hitachi Mobile Communications Co Ltd | 画質調整装置、携帯端末装置及びプログラム |
JP5365921B2 (ja) * | 2009-07-13 | 2013-12-11 | 富士ゼロックス株式会社 | 画像処理装置、画像読取装置、画像形成装置、画像処理プログラム |
JP5966444B2 (ja) | 2012-03-01 | 2016-08-10 | セイコーエプソン株式会社 | 電気光学装置の制御装置、電気光学装置の制御方法、電気光学装置及び電子機器 |
JP5958003B2 (ja) | 2012-03-23 | 2016-07-27 | セイコーエプソン株式会社 | 表示装置の制御装置、表示装置の制御方法、表示装置及び電子機器 |
JP5910259B2 (ja) | 2012-04-06 | 2016-04-27 | セイコーエプソン株式会社 | 制御装置、表示装置、電子機器および制御方法 |
JP2014078957A (ja) * | 2013-11-20 | 2014-05-01 | Nikon Corp | 表示装置および撮像装置 |
CN113160090B (zh) * | 2021-05-14 | 2024-01-09 | 深圳精智达技术股份有限公司 | 一种图像校正的方法及装置 |
-
2001
- 2001-05-22 JP JP2001152978A patent/JP4010119B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002366103A (ja) | 2002-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100433014B1 (ko) | 화상표시장치에 공급되는 화상데이터의 처리 | |
JP4010119B2 (ja) | 画像表示装置に供給される画像データの処理 | |
JP4479709B2 (ja) | 画像表示装置、画像表示方法、画像表示プログラム、及び画像表示プログラムを記録した記録媒体、並びに電子機器 | |
US7859499B2 (en) | Display apparatus | |
US7312777B2 (en) | Liquid crystal display device and driving method thereof | |
JP3769463B2 (ja) | 表示装置、表示装置を備えた画像再生装置及びその駆動方法 | |
JP5013581B2 (ja) | 表示装置、コントローラドライバ、及び表示パネルの駆動方法 | |
US20060208983A1 (en) | Liquid crystal display and driving method thereof | |
US8063897B2 (en) | Display device | |
JP5100312B2 (ja) | 液晶表示装置及びlcdドライバ | |
US6359389B1 (en) | Flat panel display screen with programmable gamma functionality | |
US7202879B2 (en) | Image processing method, image processing apparatus, electronic device, image processing program, and recording medium on which the same program is recorded | |
US20030197709A1 (en) | Image processing support system, image processing device and image display device | |
US20190057659A1 (en) | Brightness compensation method and circuit | |
US20060145979A1 (en) | Liquid crystal display and driving method thereof | |
US8009180B2 (en) | Display apparatus containing controller driver with correcting circuit and method of driving display panel | |
US20060114480A1 (en) | Method of Driving a Pixel | |
CN112820245B (zh) | 驱动电路及其显示系统 | |
US20070216628A1 (en) | LCD Device with Gamma Correction Function by Adjusting Pulse Width of PWM Signal and Related Method Thereof | |
US9111478B2 (en) | Method of compensating color gamut of display | |
JP3757798B2 (ja) | 画像表示装置に供給される画像データの処理 | |
JP2001282190A (ja) | 液晶表示装置、媒体および情報集合体 | |
CN116229892A (zh) | 显示驱动方法及装置 | |
JP2004133033A (ja) | 画像表示装置、その制御方法及び制御プログラム | |
CN116704973A (zh) | 显示装置和对图像数据进行补偿的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070814 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070827 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |