JP5203344B2 - 制御装置およびその制御方法、制御装置に用いられる表示制御装置、電子機器、制御プログラム、並びに該プログラムを記録した記録媒体 - Google Patents

制御装置およびその制御方法、制御装置に用いられる表示制御装置、電子機器、制御プログラム、並びに該プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP5203344B2
JP5203344B2 JP2009285680A JP2009285680A JP5203344B2 JP 5203344 B2 JP5203344 B2 JP 5203344B2 JP 2009285680 A JP2009285680 A JP 2009285680A JP 2009285680 A JP2009285680 A JP 2009285680A JP 5203344 B2 JP5203344 B2 JP 5203344B2
Authority
JP
Japan
Prior art keywords
image
modulation
image data
value
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009285680A
Other languages
English (en)
Other versions
JP2011128306A (ja
Inventor
健次 前田
隆 安本
良充 稲森
辰雄 渡辺
正洋 江指
アントニー ガス ポール
ジョン ブロウトン ベンジャミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009285680A priority Critical patent/JP5203344B2/ja
Publication of JP2011128306A publication Critical patent/JP2011128306A/ja
Application granted granted Critical
Publication of JP5203344B2 publication Critical patent/JP5203344B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Liquid Crystal Display Device Control (AREA)
  • Picture Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)

Description

本発明は、空間的輝度変調によって表示用画像を表示するように液晶表示素子を制御する表示制御装置および電子機器に関するものである。具体的には、本発明は、上記電子機器におけるガンマ特性に関するものである。
一般に、PC(Personal Computer)等の主制御装置にとっては、液晶ディスプレイ(LCD)等の表示装置に出力するデータ値と、当該表示装置が当該データ値に基づいて出力される光の輝度との対応関係が線形であることが、色の再現性の観点からも望ましい。しかしながら、上記表示装置の表示素子にとっては、入力されるデータ値と出力される光の輝度との対応関係が線形であるとは限らない。
上記対応関係は、ガンマ特性と呼ばれ、(正規化された輝度値(輝度率))=(正規化されたデータ値)γで近似することができる。このγの値は「ガンマ値」と呼ばれている。例えば、ブラウン管(CRT)はガンマ値が2.2程度であり、LCD(液晶ディスプレイ)はガンマ値が2.4程度であり、プラズマディスプレイはガンマ値が1.0程度である。
このように、上記表示素子のガンマ特性は、上記表示素子の種類によって異なり、さらには、同じ種類であっても上記表示素子ごとにばらつくことが一般的である。また、上記表示素子のガンマ特性は、経年劣化または外部環境(温度、湿度、気圧など)によって変化する可能性がある。また、上記表示素子の破損、故障などにより該表示素子を交換すると、上記表示装置のガンマ特性が変化する可能性がある。
そこで、上記主制御装置は、上記表示装置が所定のガンマ特性(例えばγ=2.2)を有すると仮定して、上記表示装置に出力しようとするデータ値と上記光の輝度との対応関係が線形(γ=1)となるように、上記データ値を補正するガンマ補正機能を有している。該ガンマ補正機能により、例えば、(正規化された補正後のデータ値)=(正規化された補正前のデータ値)1/2.2となるように上記データ値が補正される。
さらに、種々のガンマ特性を有する上記表示素子を備えた表示装置が、上記所定のガンマ特性を有する表示装置として機能するように、上記補正後のデータ値を調整するガンマ調整機能が、上記表示装置および上記主制御装置の何れか一方または両方に備わっている。なお、上記主制御装置では、上記ガンマ調整機能がデバイスドライバとして備わっていることが多い。
特開2007−017988号公報(2007年01月25日公開)
上記ガンマ調整機能は、上記表示素子の実際のガンマ特性が様々であることから、較正して利用する必要である。上記較正の手法としては、測定装置による手法と目視による手法とが挙げられる。
上記測定装置による手法は、上記表示装置のガンマ特性を測定する専用の測定装置を利用して、上記表示装置が所定のガンマ特性を有し、適切な明るさおよびコントラストとなるように、上記補正後のデータ値を調整するための調整用テーブルを変更するものである。この手法では、上記較正を自動的に行うことができるが、上記専用の測定装置が必要となる。
一方、上記目視による手法は、上記較正のためのガンマチャートを上記表示装置に表示し、表示されたガンマチャートをユーザが目視しつつ較正するものである。具体的には、以下の通りである。
上記ガンマチャートとしては、種々のものが知られている。例えば、上記ガンマチャートとして、白色および黒色の一方である画素と、他方または両者の中間色である画素とを縦方向および/または横方向に交互に配列した変調画像と、複数のガンマ値にそれぞれ対応する複数の中間色の画像とを含むものを考える。
上記ユーザは、上記表示装置に表示されたガンマチャートを、上記表示装置から離れて目視する。このとき、上記変調画像の平均の明るさ(明度)と同じ明度となる上記中間色の画像に対応するガンマ値が、上記表示素子の現在のガンマ値と推定される。従って、上記所定のガンマ値に対応する上記中間色の画像の明度が、上記変調画像の平均明度と同じとなるように、調整用テーブルが変更される。
上記目視による手法では、上記専用の測定装置が不要であるが、表示装置における明るさ調整、コントラスト調整などといった他の調整が適切に行われていることを前提としている。上記他の調整が適切ではない場合、推定される上記現在のガンマ値は、実際のガンマ値から外れている可能性があり、この場合、上記ガンマ調整機能の較正が適切ではない可能性がある。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ガンマ特性を測定する専用の測定装置を用いずに、上記表示素子のガンマ特性を取得できる表示制御装置などを提供することにある。
本発明に係る表示制御装置は、空間的輝度変調によって表示用画像を表示画面に表示するように液晶表示素子を制御する表示制御装置であって、上記課題を解決するために、外部装置からメイン画像の画像データを取得するメイン画像取得手段と、サイド画像の画像データを取得するサイド画像取得手段と、前記液晶表示素子からの輝度に関して、前記表示画面の法線に平行な軸方向への輝度と軸外の方向への輝度との非線形な対応関係に基づき、前記メイン画像の画像データの値、および前記サイド画像の画像データの値と、前記メイン画像の画像データの値に対し増加および減少を行うための変調情報とが対応付けられた変調テーブルであって、前記表示用画像の画像データの値と前記液晶表示素子から前記軸方向への輝度との関係を示す複数の軸上ガンマ特性にそれぞれ対応する複数の前記変調テーブルを記憶する変調テーブル候補記憶部と、前記変調テーブル候補記憶部に記憶された複数の変調テーブルの中から選択する変調テーブル選択手段と、該変調テーブル選択手段が選択した変調テーブルを参照して、前記メイン画像取得手段が取得した前記メイン画像の画像データの値と、前記サイド画像取得手段が取得した前記サイド画像の画像データの値とに対応する変調情報を取得し、取得した変調情報に基づいて、前記メイン画像の画像データの値に対する増加および減少を、画素またはサブ画素を1つまたは複数の含む画素群ごとに交互に行うことにより、前記メイン画像の画像データの値を変調し、変調した画像データの値を前記表示用画像の画像データの値として、前記液晶表示素子に出力する画像変調手段とを備えており、前記変調テーブル選択手段は、外部装置からの指示に基づき変調テーブルを選択しており、選択した変調テーブルに対応する軸上ガンマ特性に関する情報を取得することを特徴としている。
また、本発明に係る表示制御装置の制御方法は、空間的輝度変調によって表示用画像を表示画面に表示するように液晶表示素子を制御する表示制御装置の制御方法であって、上記課題を解決するために、外部装置からメイン画像の画像データを取得するメイン画像取得ステップと、サイド画像の画像データを取得するサイド画像取得ステップと、前記液晶表示素子からの輝度に関して、前記表示画面の法線に平行な軸方向への輝度と軸外の方向への輝度との非線形な対応関係に基づき、前記メイン画像の画像データの値、および前記サイド画像の画像データの値と、前記メイン画像の画像データの値に対し増加および減少を行うための変調情報とが対応付けられた変調テーブルであって、前記表示用画像の画像データの値と前記液晶表示素子から前記軸方向への輝度との関係を示す複数の軸上ガンマ特性にそれぞれ対応する複数の前記変調テーブルを記憶する変調テーブル候補記憶部に記憶された複数の変調テーブルの中から選択する変調テーブル選択ステップと、該変調テーブル選択ステップにて選択された変調テーブルを参照して、前記メイン画像取得ステップにて取得された前記メイン画像の画像データの値と、前記サイド画像取得ステップにて取得された前記サイド画像の画像データの値とに対応する変調情報を取得し、取得した変調情報に基づいて、前記メイン画像の画像データの値に対する増加および減少を、画素またはサブ画素を1つまたは複数の含む画素群ごとに交互に行うことにより、前記メイン画像の画像データの値を変調し、変調した画像データの値を前記表示用画像の画像データの値として、前記液晶表示素子に出力する画像変調ステップとを含んでおり、前記変調テーブル選択ステップは、外部装置からの指示に基づき変調テーブルを選択しており、選択した変調テーブルに対応する軸上ガンマ特性に関する情報を取得することを特徴としている。
ここで、軸上ガンマ特性に関する情報としては、上記軸方向のガンマ値、特性曲線(ガンマカーブ)などが挙げられる。
上記の構成および方法によると、選択された変調テーブルが参照されて、メイン画像の画像データの値と、サイド画像の画像データの値とに対応する変調情報が取得され、取得された変調情報に基づいて、上記メイン画像の画像データのデータ値が変調され、変調された画像データの値が表示用画像の画像データの値として、液晶表示素子に出力される。上記表示用画像、すなわち上記変調された画像データの示す画像は、上述の変調画像と同様である。
従って、上記選択された変調テーブルに対応する軸上ガンマ特性が、実際の軸上ガンマ特性と一致する場合、上記液晶表示素子の表示画面から上記軸方向に位置する軸上観察者は、上記表示画面から出力する表示用画像に関して、上記変調情報に基づく変調を明度の平均化により相殺して視認することになる。その結果、上記軸上観察者は、上記表示画面から上記メイン画像を視認することになる。
一方、上記選択された変調テーブルに対応する軸上ガンマ特性が、実際の軸上ガンマ特性と一致しない場合、上記軸上観察者は、上記表示画面から出力する表示用画像に関して、上記変調情報に基づく変調を完全に相殺することなく視認することになる。その結果、上記軸上観察者は、上記表示画面から上記メイン画像および上記サイド画像の合成画像を視認することになる。
従って、上記軸上観察者がサイド画像を視認しなくなった場合に選択されている変調テーブルに対応する軸上ガンマ特性が、上記液晶表示素子の実際の軸上ガンマ特性となる。以上のように、本発明は、専用の測定装置を利用せずに、液晶表示素子の軸上ガンマ特性を取得することができる。
また、上述のように、上記変調された画像データの値が上記表示用画像の画像データの値として上記液晶表示素子に出力されるので、明るさ調整、コントラスト調整、ガンマ調整などの調整は、上記変調よりも前に行われることになる。従って、上記表示制御装置または外部装置において上記調整が行われたとしても、本発明では、上記調整が行われた画像データに対し上記変調を行うので、従来の目視による手法に比べて、上記調整による影響を受けない。
なお、サイド画像は、外部装置から取得してもよいし、内部の記憶デバイスに予め記憶しておき、該記憶デバイスから取得してもよい。また、上記変調情報は、上記メイン画像の画像データの値に対し、増加分および減少分を含んでもよいし、増加後の値および減少後の値を含んでもよい。なお、上記増加分および減少分を含む場合、上記メイン画像の画像データの値変調するときに加算処理および減算処理が必要となる。
また、選択される変調テーブルは、1つでもよいし、2つでもよい。2つの場合、上記2つの変調テーブルに含まれる2つの変調情報を補間して利用すればよい。また、上記ガンマ調整機能を外部装置が有する場合、軸上ガンマ特性に関する情報を上記外部装置に送信することが望ましい。これにより、上記外部装置が、受信した軸上ガンマ特性に関する情報を利用して、上記ガンマ調整機能の較正を行うことができる。
また、メイン画像は、黒色画像以外の任意の画像を利用でき、サイド画像は、単色画像以外の任意の画像を利用することができる。なお、サイド画像は、例えば市松模様のように、メイン画像にサイド画像が合成されているか否かを判別しやすい画像が望ましい。
本発明に係る表示制御装置では、前記メイン画像における複数の領域の情報を取得する領域情報取得手段と、前記画像変調手段が変調しようとするメイン画像の画素位置の情報を取得する画素位置取得手段と、該画素位置取得手段が取得した画素位置の情報と、前記領域情報取得手段が取得した領域の情報とを用いて、前記画素位置が含まれる前記領域を判定する領域判定手段とをさらに備えており、前記変調テーブル選択手段は、前記領域判定手段が判定した領域に対応する変調テーブルを選択してもよい。
この場合、メイン画像の領域ごとに、対応する変調テーブルが選択され、選択された変調テーブルに基づいて、メイン画像の画像データの値が変調される。これにより、領域ごとに別々の軸上ガンマ特性に対応する変調が行われた表示用画像が上記液晶表示素子表示されることになる。その結果、液晶表示素子の軸上ガンマ特性を、1つの表示用画像で特定することができる。
本発明に係る表示制御装置では、前記変調テーブル選択手段は、取得した軸上ガンマ特性に関する情報を前記外部装置に送信してもよい。この場合、上記外部装置は、取得した軸上ガンマ特性を利用して、上述のガンマ調整機能を適切に実行することができる。
なお、上記構成の表示制御装置と、該表示制御装置が制御する液晶表示素子とを備える表示装置であれば、上述の効果と同様の効果を奏することができる。
本発明に係る電子機器は、空間的輝度変調によって表示用画像を表示画面に表示するように液晶表示素子、および、該液晶表示素子を制御する表示制御装置を備えた表示装置と、該表示装置を制御する主制御装置とを備えた電子機器であって、上記課題を解決するために、前記主制御装置は、前記メイン画像の画像データを前記表示制御装置に送信する画像送信手段を備えており、前記表示制御装置は、前記主制御装置からメイン画像の画像データを取得するメイン画像取得手段と、サイド画像の画像データを取得するサイド画像取得手段と、前記液晶表示素子からの輝度に関して、前記表示画面の法線に平行な軸方向への輝度と軸外の方向への輝度との非線形な対応関係に基づき、前記メイン画像の画像データの値、および前記サイド画像の画像データの値と、前記メイン画像の画像データの値に対し増加および減少を行うための変調情報とが対応付けられた変調テーブルを記憶する変調テーブル記憶部と、該変調テーブル記憶部が記憶した変調テーブルを参照して、前記メイン画像取得手段が取得した前記メイン画像の画像データの値と、前記サイド画像取得手段が取得した前記サイド画像の画像データの値とに対応する変調情報を取得し、取得した変調情報に基づいて、前記メイン画像の画像データの値に対する増加および減少を、画素またはサブ画素を1つまたは複数含む画素群ごとに交互に行うことにより、前記メイン画像の画像データの値を変調し、変調した画像データの値を前記表示用画像の画像データの値として、前記液晶表示素子に出力する画像変調手段とを備えており、前記主制御装置または前記表示制御装置は、前記表示用画像の画像データの値と前記液晶表示素子から前記軸方向への輝度との関係を示す複数の軸上ガンマ特性にそれぞれ対応する複数の前記変調テーブルを記憶する変調テーブル候補記憶部と、前記変調テーブル候補記憶部に記憶された複数の変調テーブルの中から選択して、前記変調テーブル記憶部に送信する変調テーブル選択手段とを備えており、該変調テーブル選択手段は、外部装置からの指示に基づき変調テーブルを選択しており、選択した変調テーブルに対応する軸上ガンマ特性に関する情報を取得することを特徴としている。
また、本発明に係る電子機器の制御方法は、空間的輝度変調によって表示用画像を表示画面に表示するように液晶表示素子、および、該液晶表示素子を制御する表示制御装置を備えた表示装置と、該表示装置を制御する主制御装置とを備えた電子機器の制御方法であって、上記課題を解決するために、前記主制御装置は、前記メイン画像の画像データを前記表示制御装置に送信する画像送信ステップと、前記表示制御装置は、前記主制御装置からメイン画像の画像データを取得するメイン画像取得ステップと、前記表示制御装置は、サイド画像の画像データを取得するサイド画像取得ステップと、前記表示制御装置は、前記液晶表示素子からの輝度に関して、前記表示画面の法線に平行な軸方向への輝度と軸外の方向への輝度との非線形な対応関係に基づき、前記メイン画像の画像データの値、および前記サイド画像の画像データの値と、前記メイン画像の画像データの値に対し増加および減少を行うための変調情報とが対応付けられた変調テーブルを記憶する変調テーブル記憶部に記憶された変調テーブルを参照して、前記メイン画像取得ステップにて取得された前記メイン画像の画像データの値と、前記サイド画像取得ステップにて取得された前記サイド画像の画像データの値とに対応する変調情報を取得し、取得した変調情報に基づいて、前記メイン画像の画像データの値に対する増加および減少を、画素またはサブ画素を1つまたは複数含む画素群ごとに交互に行うことにより、前記メイン画像の画像データの値を変調し、変調した画像データの値を前記表示用画像の画像データの値として、前記液晶表示素子に出力する画像変調ステップとを含んでおり、前記主制御装置または前記表示制御装置は、前記表示用画像の画像データの値と前記液晶表示素子から前記軸方向への輝度との関係を示す複数の軸上ガンマ特性にそれぞれ対応する複数の前記変調テーブルを記憶する変調テーブル候補記憶部に記憶された複数の変調テーブルの中から選択して、前記変調テーブル記憶部に送信する変調テーブル選択ステップをさらに含んでおり、該変調テーブル選択ステップは、外部装置からの指示に基づき変調テーブルを選択しており、選択した変調テーブルに対応する軸上ガンマ特性に関する情報を取得することを特徴としている。
上記の構成および方法によると、表示制御装置は、上述と同様に、専用の測定装置を利用せずに、液晶表示素子の軸上ガンマ特性を取得することができる。なお、変調テーブル候補記憶部、および変調テーブル選択手段(ステップ)を主制御装置が備える(含む)場合、上記表示制御装置の回路規模が増大することを抑制することができる。
本発明に係る電子機器では、前記主制御装置または前記表示制御装置は、前記表示装置が所定のガンマ特性を有する表示装置として機能するように、前記メイン画像の画像データを調整するガンマ調整手段を、前記画像送信手段から前記画像変調手段までの間に備えており、前記ガンマ調整手段は、前記変調テーブル選択手段が取得した軸上ガンマ特性に関する情報に基づいて、前記メイン画像の画像データを調整することが好ましい。この場合、液晶表示素子の軸上ガンマ特性に基づくことにより、ガンマ調整を精度よく行うことができる。
なお、上記表示制御装置の各手段を、表示制御プログラムによりコンピュータ上で実行させることができる。また、上記電子機器の各手段を、電子機器制御プログラムによりコンピュータ上で実行させることができる。さらに、上記表示制御プログラムおよび/または上記電子機器制御プログラムを、コンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で当該表示制御プログラムを実行させることができる。
以上のように、本発明に係る表示制御装置は、軸上観察者が、表示用画像を目視してサイド画像を視認しなくなった場合に選択されている変調テーブルに対応する軸上ガンマ特性が、上記液晶表示素子の実際の軸上ガンマ特性となるので、専用の測定装置を利用せずに、液晶表示素子の軸上ガンマ特性を取得できるという効果を奏する。
本発明の一実施形態である電子機器におけるメインコントローラ、記憶ユニット、およびLCDコントローラの概略構成を示すブロック図である。 上記電子機器の概略構成を示すブロック図である。 隣接する画素の輝度を示す図である。 上記電子機器のLCDモジュールにおいて、入力されるデータ値と、出力される光の輝度との関係の一例を示すグラフである。 隣接する4つの画素のそれぞれについて、データ値と、該データ値に応じて軸上および軸外の領域へそれぞれ出力される光の輝度とを示す図である。 メイン画像およびサイド画像の一例を示す図である。 上記メイン画像およびサイド画像に基づく正面視および側面視の画像を示す図である。 上記メイン画像および上記サイド画像のデータ値と、表示用画像のデータ値との対応関係の一例を示すグラフである。 上記電子機器において軸上観察者がサイド画像を視認しないように較正する較正モードにおける処理の流れを示すフローチャートである。 本発明の別の実施形態である電子機器におけるメインコントローラ、記憶ユニット、およびLCDコントローラの概略構成を示すブロック図である。 本発明の他の実施形態である電子機器におけるメインコントローラ、記憶ユニット、およびLCDコントローラの概略構成を示すブロック図である。 上記電子機器において軸上観察者がサイド画像を視認しないように較正する較正モードにおける処理の流れを示すフローチャートである。
〔実施の形態1〕
以下、本発明の一実施形態について図1〜図9を参照して説明する。図2は、本実施形態の電子機器の概略構成を示している。この電子機器10の例としては、携帯電話機、電子辞書、携帯型通信端末などの携帯型電子機器が挙げられるが、本発明は、LCD(Liquid Crystal Display)ユニット(液晶表示装置)を備えた任意の電子機器に適用することができる。
図2に示すように、電子機器10は、メインコントローラ(外部装置・主制御装置)11、記憶ユニット12、操作ユニット13、およびLCDユニット(表示装置)14を備える構成である。
メインコントローラ11は、電子機器10内の各種ユニットを統括的に制御するものである。メインコントローラ11の機能は、例えばRAM(Random Access Memory)やフラッシュメモリなどの記憶装置に記憶されたプログラムをCPU(Central Processing Unit)が実行することによって実現される。
本実施形態では、メインコントローラ11は、LCDユニット14に、メイン画像およびサイド画像の画像データ、各種指示などを送信している。ここで、サイド画像は、覗き見防止などの目的で、メイン画像を隠蔽するためにメイン画像に重畳される画像をいう。なお、サイド画像としては、或る階調値が偏在している画像よりも、複数の階調値が混在している画像の方が、メイン画像を隠蔽する度合が高いので望ましい。
記憶ユニット12は、各種データおよびプログラムを記憶するものである。記憶ユニット12の例としては、メインコントローラ11が動作するときに必要なプログラム、通信制御データ等の固定データを記憶する読出し専用の半導体メモリであるROM(Read Only Memory)と、通信に関するデータ、演算に使用するデータ及び演算結果等を一時的に記憶するいわゆるワーキングメモリとしてのRAMとが挙げられる。本実施形態では、記憶ユニット12は、LCDユニット14での表示に利用される各種の画像データと、上記ガンマ補正機能を実行するために利用されるガンマ補正データとを記憶している。
操作ユニット13は、入力デバイスをユーザが操作することにより、操作データを作成してメインコントローラ11に送信するものである。入力デバイスの例としては、マウスなどのポインティングデバイス、キーボード、テンキー、カーソルキー、ボタンスイッチ、およびタッチパネルが挙げられる。
LCDユニット14は、メインコントローラ11から画像データを受信し、受信した画像データに基づいて画像を表示するものである。LCDユニット14は、LCDモジュール22およびLCDコントローラ(表示制御装置)21を備える構成である。
LCDモジュール22は、表示用画像の画像データに基づいて表示素子に文字、記号、図形などの画像を表示させる機能単位であり、表示画素がマトリクス状に配列されたマトリクス型のLCD素子(液晶表示素子)と、該LCD素子を駆動する駆動回路とを備えるものである。上記LCD素子は、光源からの入射光の輝度を空間的に変調する空間的輝度変調によって画像を表示するものである。なお、上記LCD素子の構成は、公知であるので、その説明を省略する。また、画像には、静止画像および動画像が含まれる。
LCDコントローラ21は、LCDモジュール22を制御するものである。具体的には、LCDコントローラ21は、上記表示用画像の画像データをLCDモジュール22に送信すると共に、LCDモジュール22を表示制御するための種々の制御信号を送信している。この制御信号の例としては、垂直同期信号、水平同期信号、表示用画像の画像データをLCD素子の各表示画素に転送するための転送クロック信号などが挙げられる。
本実施形態では、LCDモジュール22のLCD素子の表示画面から該表示画面の法線方向に存在する領域(以下、この領域を「軸上の領域」と称する。)Aonに位置する軸上観察者Vonは、メイン画像を視認するようになっている。一方、上記表示画面を視認可能な領域であって、上記軸上の領域以外の領域(以下、この領域を「軸外の領域」と称する。)Aoffに位置する軸外観察者Voffは、メイン画像とサイド画像とが合成された画像を視認するようになっている。
この方式の原理について、図3〜図7を参照して説明する。なお、以下では、メイン画像Mの画像データを、説明の簡略化のため、グレースケールの画像データとしているが、白黒の2値の画像データにも適用できるし、R(赤)・G(緑)・B(青)の多階調の画像データにも適用できる。
一般に、観察者は、表示素子から離れるに従って、該表示素子における隣接する画素同士が判別し難くなり、ついには判別できなくなる。このとき、観察者は、上記隣接する画素における輝度の平均値(平均輝度)を知覚することになる。
このことから、図3に示すことが言える。図3は、隣接する画素の輝度を示している。まず、同図の(a)に示すように、隣接する画素p・p同士の輝度は等しく、Iとする。次に、同図の(b)に示すように、一方の画素pは、元の輝度Iから或る輝度Iを減算した輝度に変更し、他方の画素pは、元の輝度Iに或る輝度Iを加算した輝度に変更する。この場合、観察者は、上記表示素子から離れて、上記隣接する画素p・p同士が判別できなくなると、同図の(c)に示すように、上記隣接する画素p・pの領域p12は、画素pの輝度(I−I)と画素pの輝度(I+I)との平均輝度、すなわち元の輝度Iを知覚することになる。
すなわち、隣接する画素の輝度を同図の(b)のように変更しても、隣接する画素同士が判別できない程度に観察者が表示素子から離れると、該観察者にとっては、同図の(a)のような元の輝度が知覚されることになる。
図4は、LCDモジュール22において、入力されるデータ値と、出力される光の輝度との関係(ガンマ特性)の一例を示すグラフである。図示のグラフにおいて、横軸は上記データ値(0〜255)であり、縦軸は輝度率である。該輝度率は、上記輝度を、軸上の領域Aonへ出力される光の輝度の最大値に対する比率で示すものである。
また、上記グラフにおいて、曲線C1は、軸上の領域Aonへ出力される光に関するガンマ特性を示すものである。以下、このガンマ特性を「軸上のガンマ特性」と称し、この曲線を「軸上のガンマ曲線」と称する。また、曲線C2は、軸外の領域Aoffへ出力される光に関するガンマ特性を示すものである。以下、このガンマ特性を「軸外のガンマ特性」と称し、この曲線を「軸外のガンマ曲線」と称する。
図4を参照すると、軸外の領域Aoffへ出力される光の輝度は、軸上の領域Aonへ出力される光の最大輝度の50%未満となっている。このため、軸外観察者Voffは、軸上観察者Vonに比べて暗い表示画面を視認することになる。
さらに、軸上および軸外のガンマ曲線C1・C2は、データ値が0のときに輝度率が0%である点と、単調増加する点で同じである。しかしながら、軸上のガンマ曲線C1の傾き(データ値に対する輝度率の変化率)は、データ値が0のときに低いが、データ値が増加するにつれて上昇する一方、軸外のガンマ曲線C2の傾きは、データ値が0のときに高いが、データ値が増加するにつれて低下する点で異なる。
図5は、隣接する4つの画素のそれぞれについて、データ値と、該データ値に応じて軸上および軸外の領域Aon・Aoffへそれぞれ出力される光の上記輝度率(以下、それぞれの輝度率を「軸上の輝度率」および「軸外の輝度率」と称する。)とを示している。
図5の(a1)〜(c1)には、隣接する4つの画素からなる画素群のデータ値の組合せ例がそれぞれ示されている。同図の(a1)では、4つの画素はデータ値が全て189である。また、同図の(b1)では、一方の対角線上にある2つの画素はデータ値が0であり、他方の対角線上にある2つの画素はデータ値が255である。そして、同図の(c1)では、一方の対角線上にある2つの画素はデータ値が152であり、他方の対角線上にある2つの画素はデータ値が227である。
図5の(a2)〜(c2)には、同図の(a1)〜(c1)に対応する軸上の輝度率が示されている。同図の(a2)〜(c2)における軸上の輝度率の平均値は、いずれも50%である。従って、上述のように、隣接する画素同士が判別できない程度に表示素子から離れた軸上観察者Vonは、同図の(a2)〜(c2)における各画素群を同じ明るさに視認することになる。
一方、図5の(a3)〜(c3)には、同図の(a1)〜(c1)に対応する軸外の輝度率が示されている。同図の(a3)における軸外の輝度率の平均値は39%であり、同図の(b3)における軸外の輝度率の平均値は20%であり、同図の(c3)における軸外の輝度率の平均値は38.5%である。従って、上記軸外観察者Voffは、同図の(a3)の画素群に比べて、同図の(b3)および(c3)における画素群を暗く視認することになる。
このことから、隣接する画素からなる画素群に関して、例えば図5の(a1)から同図の(b1)または(c1)に、データ値を適当に変調することにより、軸上観察者Vonが視認する明るさを変更することなく、軸外観察者Voffが視認する明るさを変更できることが理解できる。従って、メイン画像のデータ値を、サイド画像のデータ値に基づいて適当に変調し、これを表示用画像のデータ値とすることにより、軸上観察者Vonにはメイン画像を視認させ、軸外観察者Voffにはメイン画像とサイド画像とが合成された画像を視認させることができる。
具体的には、図6の(a)は、メイン画像Mの一例を示しており、同図の(b)は、サイド画像Sの一例を示している。そして、図7は、メイン画像Mが、図4に示す軸上のガンマ曲線C1と軸外のガンマ曲線C2との対応関係と、サイド画像Sとに基づいて変調され、変調された表示用画像がLCDモジュール22に表示される場合に、軸上観察者Vonが視認する正面視の画像Fvと、軸外観察者Voffが視認する側面視の画像Svとを示している。図示のように、軸上観察者Vonはメイン画像Mを視認する一方、軸外観察者Voffはメイン画像Mとサイド画像Sとが合成された画像を視認することになる。
上記の方式は、図4に示す軸上のガンマ曲線C1が一定であることを前提としている。しかしながら、上述のように、表示素子のガンマ特性は、経年劣化、外部環境の変化、修理交換などによって変化する可能性がある。軸上のガンマ曲線C1が変化すると、図5の(b1)・(c1)のような、変調されたデータ値に対応する軸上の輝度率が、同図の(a1)のような、変調されないデータ値に対応する軸上の輝度率と異なることになる。これは、軸上観察者Vonが、メイン画像Mを視認すると共に、サイド画像Sも僅かに視認することになり、表示品質が低下する結果をもたらす。
そこで、本実施形態では、図4に示す軸上のガンマ曲線C1と軸外のガンマ曲線C2との対応関係を、複数の軸上のガンマ曲線C1ごとに予め用意している。そして、ユーザが軸上観察者Vonとなって、サイド画像Sを視認しない場合の上記対応関係を選択させ、選択された対応関係を利用してメイン画像Mを変調している。これにより、上記表示品質の低下を防止することができる。
さらに、上記選択された対応関係により、LCD素子における軸上のガンマ特性が判明することになる。従って、本実施形態では、専用の測定装置を利用せずに、上記LCD素子の軸上ガンマ特性に関する情報を取得することができる。なお、上記軸上のガンマ特性に関する情報の例としては、上記軸上のガンマ曲線C1、該軸上のガンマ曲線C1を冪関数に近似したときの指数を示すガンマ値などが挙げられる。
次に、メインコントローラ11、記憶ユニット12、およびLCDコントローラ21の詳細について、図1を参照して説明する。図1は、メインコントローラ11、記憶ユニット12、およびLCDコントローラ21の概略構成を示している。図示のように、メインコントローラ11は、アプリケーション実行部31、メイン画像作成部(画像送信手段)32、サイド画像設定部33、ガンマ補正部34、および選択指示部35を備える構成である。また、記憶ユニット12は、ガンマ補正用LUT(Look Up Table)を記憶するガンマ補正用LUT記憶部36を備える構成である。
アプリケーション実行部31は、電話帳、電子メール、ブラウザ、ゲームなどの各種アプリケーションを実行するものである。具体的には、アプリケーション実行部31は、記憶ユニット12に記憶されたアプリケーションプログラムを読み出して実行している。アプリケーション実行部31は、LCDユニット14にて画像を表示させたい場合、メイン画像作成部32に指示を行う。
メイン画像作成部32は、アプリケーション実行部31からの指示に基づき、記憶ユニット12に記憶された各種画像データを利用して、メイン画像Mを作成するものである。メイン画像作成部32は、作成したメイン画像Mの画像データを、ガンマ補正部34を介してLCDコントローラ21に送信する。
サイド画像設定部33は、記憶ユニット12に記憶された画像からサイド画像Sを設定するものである。サイド画像設定部33は、設定されたサイド画像Sの画像データを、ガンマ補正部34を介してLCDコントローラ21に送信する。なお、サイド画像Sの設定は、自動的に行われてもよいし、ユーザが操作ユニット13を介して操作することにより行われてもよい。また、サイド画像設定部33は、動画および静止画の選択、配色パターン、回転量、反転の有無、および拡縮率など、サイド画像Sに関する各種の設定を行って、LCDコントローラ21に送信してもよい。
ガンマ補正部34は、メイン画像作成部32からのメイン画像Mの画像データと、サイド画像設定部33からのサイド画像Sの画像データとに対し、上述のガンマ補正機能を実行するものである。ガンマ補正部34は、補正後のメイン画像Mおよびサイド画像Sの画像データをLCDコントローラ21に送信する。
具体的には、ガンマ補正部34は、LCDユニット14が所定のガンマ値(例えばγ=2.2)を有すると仮定して、メイン画像作成部32からのメイン画像Mのデータ値と、該データ値に基づきLCDモジュール22から出力される光の輝度とが比例(線形)関係となるように、メイン画像Mのデータ値を補正している。例えば、次式を満たすように上記データ値が補正される。なお、サイド画像設定部33からのサイド画像Sの画像データに関しても同様である。
(正規化された補正後のデータ値)=(正規化された補正前のデータ値)1/2.2 ・・・(1)。
しかしながら、上記式(1)のような正規化および指数関数の演算を行うことは、メインコントローラ11の処理負担が大きくなり、処理に時間がかかることになる。そこで、本実施形態では、上記式(1)を満たす補正前のデータ値と補正後のデータ値とを対応付けたガンマ補正用LUTを作成して、ガンマ補正用LUT記憶部36に予め記憶している。そして、ガンマ補正部34は、上記ガンマ補正用LUTを参照して、補正前のデータ値に対応する補正後のデータ値を探索して、LCDコントローラ21に送信している。
選択指示部35は、ユーザから操作ユニット13を介しての操作に基づき、後述の画像変調用LUTの選択をLCDコントローラ21に指示するものである。なお、上記画像変調用LUTの選択は、ガンマ値の昇順または降順にセンタすることが望ましい。
LCDコントローラ21は、メイン画像用メモリ(メイン画像取得手段)41、サイド画像用メモリ(サイド画像取得手段)42、ガンマ調整部(ガンマ調整手段)43、ガンマ調整用LUT選択部44、およびガンマ調整用LUT候補記憶部45、画像変調部(画像変調手段)46、画像変調用LUT選択部(変調テーブル選択手段)47、および画像変調用LUT候補記憶部(変調テーブル候補記憶部)48を備える構成である。
メイン画像用メモリ41は、メインコントローラ11からのメイン画像Mの画像データを取得して記憶するフレームバッファである。また、サイド画像用メモリ42は、メインコントローラ11からのサイド画像Sの画像データを取得して記憶するものである。
ガンマ調整部43は、メイン画像用メモリ41からのメイン画像Mの画像データと、サイド画像用メモリ42からのサイド画像Sの画像データとに対し、上述のガンマ調整機能を実行するものである。ガンマ調整部43は、調整後のメイン画像Mおよびサイド画像Sの画像データを画像変調部46に送信する。
具体的には、ガンマ調整部43は、種々のガンマ値を有するLCDモジュール22を備えたLCDユニット14が、上記所定のガンマ値を有するLCDユニット14として機能するように、ガンマ補正部34からの補正後のメイン画像Mのデータ値を調整している。例えば、LCDモジュール22のガンマ値が2.4である場合、次式を満たすように上記データ値が調整される。なお、サイド画像用メモリ42からのサイド画像Sの画像データに関しても同様である。
(正規化された調整後のデータ値)=(正規化された調整前のデータ値)2.2/2.4 ・・・(2)。
しかしながら、上記式(2)のような正規化および指数関数の演算を行うことは、LCDコントローラ21の処理負担が大きくなり、処理に時間がかかることになる。そこで、本実施形態では、上記式(2)を満たす調整前のデータ値と調整後のデータ値とを対応付けたガンマ調整用LUTを作成している。
なお、上記の例では、LCDモジュール22のガンマ値を2.4としたが、実際にはバラツキがある。そこで、本実施形態では、LCDモジュール22が取り得る複数のガンマ値(例えばγ=1.8〜3.0)にそれぞれ対応する複数のガンマ調整用LUTを、ガンマ調整用LUT候補記憶部45に予め記憶している。そして、ガンマ調整用LUT選択部44は、後述するように、LCDモジュール22のガンマ値を画像変調用LUT選択部47から取得し、取得したガンマ値に対応するガンマ調整用LUTをガンマ調整用LUT候補記憶部45から選択して読み出す。そして、ガンマ調整部43は、ガンマ調整用LUT選択部44が選択したガンマ調整用LUTを参照して、調整前のデータ値に対応する調整後のデータ値を探索して、画像変調部46に送信している。
なお、ガンマ調整用LUT候補記憶部45に記憶するガンマ調整用LUTの数は任意に設定できる。上記ガンマ調整用LUTの数が多い場合、上記ガンマ調整機能を精度よく実行することができるが、記憶容量を多くする必要がある。一方、上記ガンマ調整用LUTの数が少ない場合、記憶容量が少なくて済むが、上記ガンマ調整機能の精度が低くなる。また、本実施形態では、ガンマ調整部43は、メイン画像用メモリ41およびサイド画像用メモリ42の下流側に設けられているが、上流側に設けられてもよい。
画像変調用LUT候補記憶部48は、上述のように、図4に示す軸上のガンマ曲線C1のガンマ値と軸外のガンマ曲線C2のガンマ値との対応関係を示す画像変調用LUTを、複数の軸上のガンマ曲線C1のガンマ値ごとに予め記憶している。なお、画像変調用LUTの詳細については後述する。
画像変調用LUT選択部47は、メインコントローラ11の選択指示部35からの選択指示に基づいて、画像変調用LUT候補記憶部48から画像変調用LUTを選択して読み出している。また、画像変調用LUT選択部47は、選択した画像変調用LUTに対応する軸上のガンマ曲線C1のガンマ値を、LCDモジュール22のガンマ値としてガンマ調整用LUT選択部44に送信している。
画像変調部46は、画像変調用LUT選択部47が選択した画像変調用LUTと、ガンマ調整部43からのメイン画像Mのデータ値およびサイド画像Sのデータ値とを利用して、上記メイン画像Mのデータ値を変調するものである。画像変調部46は、変調したデータ値を表示用画像のデータ値としてLCDモジュール22に送信する。
ここで、上記画像変調用LUTの詳細について説明する。図5において、(a1)のデータ値に対する(b1)のデータ値の差は66または−189であり、(a1)のデータ値に対する(c1)のデータ値の差は38または−37である。従って、(a1)のデータ値を(b1)のデータ値に変調する場合の方が、(a1)のデータ値を(c1)のデータ値に変調する場合よりも、変調の度合が大きいといえる。
また、図5において、(a3)の軸外の輝度率の平均値に対する(b3)の軸外の輝度率の平均値の差は−19%であり、(a3)の軸外の輝度率の平均値に対する(c3)の軸外の輝度率の平均値の差は−0.5%である。従って、(a1)のデータ値を(b1)のデータ値に変調する場合の方が、(a1)のデータ値を(c1)のデータ値に変調する場合よりも、軸外の輝度率の平均値に関する低下の度合が大きいといえる。
従って、上記変調の度合が大きいほど、上記軸外の輝度率の平均値に関する低下の度合が大きいといえる。本実施形態の場合、上記低下の度合が大きいと、軸外観察者Voffはサイド画像Sをより明確に視認することになるので、メイン画像Mの覗き見防止の観点から望ましい。従って、上記変調の度合は大きい方が望ましい。
(a1)のデータ値を(b1)のデータ値に変調する場合、隣接する4つの画素のうち、2つの画素に対しては加算を行ってデータ値を最大値(255)とし、残りの2つの画素に対しては減算を行ってデータ値を最小値(0)としている。このことから、メイン画像Mのデータ値は、変調前に0より大きく255より小さい所定の範囲内に圧縮される必要がある。
図8は、メイン画像Mおよびサイド画像Sのデータ値と、表示用画像のデータ値との対応関係の一例を示すグラフである。なお、図示の例では、サイド画像Sのデータ値が2値(0または1)である場合を示している。
図8の実線は、サイド画像Sのデータ値が1(白)である場合のグラフである。この場合、データ値の変調は行われない。従って、表示用画像のデータ値は、図5の(a1)のように、メイン画像Mのデータ値を所定の範囲内(図示の例では30〜189)に圧縮したデータ値となる。
これに対し、図8の破線および一点鎖線は、サイド画像Sのデータ値が0(黒)である場合のグラフである。この場合、データ値の変調が行われる。従って、表示用画像における隣接する画素のデータ値は、一方が、メイン画像Mのデータ値に対し一点鎖線のグラフで示されるデータ値となり、他方が、メイン画像Mのデータ値に対し破線のグラフで示されるデータ値(すなわち0)となる。換言すれば、図5の(b1)のように、一方が、圧縮されたメイン画像Mのデータ値に対し加算の行われたデータ値となり、他方が、圧縮されたメイン画像Mのデータ値に対し減算の行われたデータ値となる。
従って、上記画像変調用LUTには、図8に示すようなメイン画像Mのデータ値およびサイド画像Sのデータ値と、表示用画像のデータ値との対応関係が含まれることになる。そして、画像変調部46は、上記画像変調用LUTを参照して、サイド画像Sのデータ値に基づき、メイン画像Mのデータ値に対応する表示用画像のデータ値を読み出し、読み出した表示用画像のデータ値が2つ存在する場合には、加算された方のデータ値と減算された方のデータ値とを交互に選択することになる。
ところで、図8を参照すると、メイン画像Mのデータ値が小さくなるにつれて、上記変調の度合が小さくなることが理解できる。このため、メイン画像Mの或る領域のデータ値が小さすぎると、上記変調の度合が小さくなりすぎ、その結果、軸外観察者Voffが当該領域のサイド画像Sを視認し難くなる。そこで、図8の例では、メイン画像Mのデータ値が38以下であっても、メイン画像Mのデータ値が38であるときの表示用画像のデータ値としている。これにより、上記変調の度合が小さくなりすぎて、軸外観察者Voffが当該領域のサイド画像Sを視認し難くなることを防止できる。
なお、図8では、サイド画像Sが2値の場合を示したが、本発明は、サイド画像Sが3以上の多値の場合にも適用可能である。この場合、図8において、実線のグラフと破線および一点鎖線のグラフとの間にそれぞれ新たなグラフを挿入すればよい。また、図8の例では、メイン画像のデータ値が38以上の領域において、実線が曲線であり、破線および一点鎖線が直線であるが、実線が直線であってもよいし、破線および一点鎖線が曲線であってもよい。
次に、上記構成のLCDコントローラ21における処理動作について、図9を参照して説明する。図9は、軸上観察者Vonがサイド画像Sを視認しないように較正する較正モードにおける処理の流れを示している。
図9に示すように、まず、LCDコントローラ21は、現在の設定で表示用画像を作成し、LCDモジュール22が表示用画像を表示する(ステップS11(以下「S11」と略称することがある。他のステップについても同様である。))。
次に、画像変調用LUT選択部47は、メインコントローラ11の選択指示部35からの選択指示を取得するまで待機する(S12)。上記選択指示を取得した場合、画像変調用LUT選択部47は、上記選択指示に基づいて、画像変調用LUT候補記憶部48から画像変調用LUTを選択する(S13)。次に、画像変調部46は、選択された画像変調用LUTに基づきメイン画像Mのデータ値に対し画像変調を行って表示用画像を作成し(S14)、作成された表示用画像をLCDモジュール22が表示する(S15)。
次に、LCDコントローラ21は、メインコントローラ11から上記モードの終了指示を取得したか否かを判断する(S16)。上記終了指示を取得していない場合、ステップS12に戻って、上記動作を繰り返す。
一方、上記終了指示を取得した場合、画像変調用LUT選択部47は、選択された画像変調用LUTに対応するガンマ値を取得する(S17)。次に、ガンマ調整用LUT選択部44は、取得されたガンマ値に対応するガンマ調整用LUTを、ガンマ調整用LUT候補記憶部45から選択する(S18)。これにより、ガンマ調整部43は、選択されたガンマ調整用LUTを参照して、メイン画像Mのデータ値およびサイド画像Sのデータ値のガンマ調整を行うことになる。その後、上記較正モードの処理を終了する。
従って、LCDモジュール22のガンマ値に基づいてガンマ調整を行うことができるので、従来の目視による手法よりも精度よくガンマ調整を行うことができる。
〔実施の形態2〕
次に、本発明の別の実施形態について、図10を参照して説明する。本実施形態の電子機器10は、図2に示す電子機器10に比べて、メインコントローラ11、記憶ユニット12、およびLCDコントローラ21の構成が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成および処理と同様の構成および処理には同一の符号を付して、その説明を省略する。
図10は、本実施形態のメインコントローラ11、記憶ユニット12、およびLCDコントローラ21の概略構成を示している。本実施形態では、ガンマ調整機能がメインコントローラ11に設けられている。
このため、本実施形態のメインコントローラ11は、図1に示すメインコントローラ11に比べて、ガンマ調整部(ガンマ調整手段)51およびガンマ調整用LUT選択部52が追加されている点と、選択指示部35の代わりに、画像変調用LUT選択部(変調テーブル選択手段)53が設けられている点とが異なり、その他の構成は同様である。また、本実施形態の記憶ユニット12は、図1に示す記憶ユニット12に比べて、ガンマ調整用LUT候補記憶部54および画像変調用LUT候補記憶部(変調テーブル候補記憶部)55が追加されている点が異なり、その他の構成は同様である。
また、本実施形態のLCDコントローラ21は、図1に示すLCDコントローラ21に比べて、ガンマ調整部43、ガンマ調整用LUT選択部44、ガンマ調整用LUT候補記憶部45、画像変調用LUT選択部47、および画像変調用LUT候補記憶部48が省略されている点と、画像変調用LUT記憶部56が追加されている点とが異なり、その他の構成は同様である。従って、本実施形態では、LCDコントローラ21の各種構成が省略されるので、LCDコントローラ21の回路規模が増大することを防止できる。
なお、本実施形態のガンマ調整部51、ガンマ調整用LUT選択部52、ガンマ調整用LUT候補記憶部54、および画像変調用LUT候補記憶部55は、それぞれ、図1に示すガンマ調整部43、ガンマ調整用LUT選択部44、ガンマ調整用LUT候補記憶部45、および画像変調用LUT候補記憶部48と同様であるので、その説明を省略する。
画像変調用LUT選択部53は、図1に示す選択指示部35および画像変調用LUT選択部47の両方の機能を有するものである。具体的には、画像変調用LUT選択部53は、ユーザから操作ユニット13を介しての操作に基づき、画像変調用LUT候補記憶部55から画像変調用LUTを選択して読み出すものである。画像変調用LUT選択部53は、選択した画像変調用LUTをLCDコントローラ21の画像変調用LUT記憶部56に送信する。また、画像変調用LUT選択部53は、選択した画像変調用LUTに対応する軸上のガンマ曲線C1のガンマ値を、LCDモジュール22のガンマ値としてガンマ調整用LUT選択部52に送信している。
画像変調用LUT記憶部56は、メインコントローラ11の画像変調用LUT選択部53から画像変調用LUTを取得して記憶するものである。従って、画像変調部46は、画像変調用LUT記憶部56に記憶された画像変調用LUTを利用して、メイン画像Mのデータ値を変調することになる。なお、軸上観察者Vonがサイド画像Sを視認しないように較正する較正モードにおける処理の流れは、図9に示す処理の流れと同様であるので、その説明を省略する。
〔実施の形態3〕
次に、本発明の別の実施形態について、図11および図12を参照して説明する。本実施形態の電子機器10は、図2に示す電子機器10に比べて、メインコントローラ11、記憶ユニット12、およびLCDコントローラ21の構成が異なり、その他の構成は同様である。なお、上記実施形態で説明した構成および処理と同様の構成および処理には同一の符号を付して、その説明を省略する。
図11は、本実施形態のメインコントローラ11、記憶ユニット12、およびLCDコントローラ21の概略構成を示している。本実施形態では、メイン画像Mを複数の領域に分割し、該領域ごとに、異なる画像変調用LUTを利用して、メイン画像Mのデータ値に対し変調を行うものである。
本実施形態のメインコントローラ11は、図10に示すメインコントローラ11に比べて、画像変調用LUT選択部53の代わりに、領域選択部61が設けられている点が異なり、その他の構成は同様である。また、本実施形態の記憶ユニット12は、図10に示す記憶ユニット12に比べて、画像変調用LUT候補記憶部55の代わりに、領域−ガンマ対応テーブル記憶部62が記憶されている点が異なり、その他の構成は同様である。
また、本実施形態のLCDコントローラ21は、図1に示すLCDコントローラ21に比べて、ガンマ調整部43、ガンマ調整用LUT選択部44、およびガンマ調整用LUT候補記憶部45が省略されている点と、画素位置特定部(画素位置取得手段)62、領域特定部(領域情報取得手段・領域判定手段)63、および領域−ガンマ対応テーブル記憶部64が追加されている点と、画像変調用LUT選択部47の代わりに、画像変調用LUT選択部(変調テーブル選択手段)65が設けられている点とが異なり、その他の構成は同様である。
画素位置特定部62は、画像変調部46が次に変調すべきメイン画像Mの画素位置を特定するものである。画素位置特定部62は、特定した画素位置を領域特定部63に送信する。
領域−ガンマ対応テーブル記憶部64は、メイン画像Mにおける複数の領域と、該領域に対し画像変調を行うときに利用される画像変調用LUTに対応するガンマ値とを対応付けた領域−ガンマテーブルを記憶するものである。なお、領域−ガンマ対応テーブル記憶部62も、同様の領域−ガンマテーブルを記憶している。
領域特定部63は、画素位置特定部62からの画素位置が含まれる領域を特定するものである。領域特定部63は、特定した領域に対応するガンマ値を領域−ガンマ対応テーブル記憶部64から取得して、画像変調用LUT選択部65に送信する。
画像変調用LUT選択部65は、領域特定部63からのガンマ値に対応する画像変調用LUTを、画像変調用LUT候補記憶部48から選択して読み出している。従って、画像変調部46が利用する画像変調用LUTは、メイン画像Mにおける領域ごとに異なることになる。
領域選択部61は、ユーザから操作ユニット13を介しての操作に基づき、表示画面に表示される表示用画像の領域を選択するものである。領域選択部61は、選択した表示用画像の領域、すなわちメイン画像Mの領域に対応するガンマ値を、領域−ガンマ対応テーブル記憶部62から取得してガンマ調整用LUT選択部52に送信する。
次に、上記構成のメインコントローラ11およびLCDコントローラ21における処理動作について、図12を参照して説明する。図12は、軸上観察者Vonがサイド画像Sを視認しないように較正する較正モードにおける処理の流れを示している。
図12に示すように、まず、画素位置特定部62は、画像変調部46が次に変調すべきメイン画像Mの画素位置を特定する(S21)。次に、領域特定部63は、画素位置特定部62が特定した画素位置が含まれる領域を特定し、特定した領域に対応するガンマ値を領域−ガンマ対応テーブル記憶部64から取得する(S22)。
次に、画像変調用LUT選択部65は、領域特定部63が取得したガンマ値に対応する画像変調用LUTを、画像変調用LUT候補記憶部48から選択する(S23)。次に、画像変調部46は、選択された画像変調用LUTに基づきメイン画像Mの上記画素位置のデータ値に対し画像変調を行う(S24)。画像変調されたデータ値は表示用画像のデータ値としてLCDモジュール22に送信される。
次に、ユーザから操作ユニット13を介しての操作により、表示画面に表示される表示用画像の領域を領域選択部61が選択するまで、ステップS21に戻って上記動作を繰り返す(S25)。従って、上記表示用画像は、領域ごとに異なる画像変調用LUTを利用して、メイン画像Mに対し画像変調を行ったものとなる。
ステップS25において、領域選択部61が上記表示用画像の領域を選択すると、領域選択部61は、選択された領域に対応するガンマ値を取得する(S26)。次に、ガンマ調整用LUT選択部52は、取得されたガンマ値に対応するガンマ調整用LUTを、ガンマ調整用LUT候補記憶部54から選択する(S27)。これにより、ガンマ調整部51は、選択されたガンマ調整用LUTを参照して、メイン画像Mのデータ値およびサイド画像Sのデータ値のガンマ調整を行うことになる。その後、上記較正モードの処理動作を終了する。
従って、本実施形態では、表示用画像の各領域は、メイン画像Mの該領域に対し別々の画像変調用LUTを利用して変調されたものとなる。これにより、軸上観察者Vonがサイド画像を視認する程度を、1枚の表示用画像の各領域で対比することができるので、LCDモジュール22のガンマ値を精度よく特定することができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
例えば、上記実施形態では、サイド画像用メモリ42は、メインコントローラ11から取得しているが、出荷前にサイド画像Sの画像データを予め記憶しておいて、メインコントローラ11から取得しなくてもよい。また、サイド画像用メモリ42は、LCDコントローラ21内で取得してもよい。
また、上記実施形態では、LCDモジュール22のガンマ値を上記ガンマ調整機能を実行するために利用しているが、ガンマ値を利用する任意の構成に適用することができる。
最後に、電子機器10の各ブロック、特にメインコントローラ11およびLCDコントローラ21は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、電子機器10は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである電子機器10の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記電子機器10に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、電子機器10を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、軸上観察者が、表示画面に表示される表示用画像を目視してサイド画像を視認しなくなった場合に選択されている変調テーブルに対応する軸上ガンマ特性が、上記液晶表示素子の実際の軸上ガンマ特性となるので、液晶表示素子以外の任意の表示素子を制御する表示制御装置に適用することができる。
10 電子機器
11 メインコントローラ(外部装置・主制御装置)
12 記憶ユニット
13 操作ユニット
14 LCDユニット
21 LCDコントローラ(表示制御装置)
22 LCDモジュール(表示素子)
31 アプリケーション実行部
32 メイン画像作成部(画像送信手段)
33 サイド画像設定部
34 ガンマ補正部
35 選択指示部
36 ガンマ補正用LUT記憶部
41 メイン画像用メモリ(メイン画像取得手段)
42 サイド画像用メモリ(サイド画像取得手段)
43・51 ガンマ調整部(ガンマ調整手段)
44・52 ガンマ調整用LUT選択部
45・54 ガンマ調整用LUT候補記憶部
46 画像変調部(画像変調手段)
47・53・65 画像変調用LUT選択部(変調テーブル選択手段)
48・55 画像変調用LUT候補記憶部(変調テーブル候補記憶部)
56 画像変調用LUT記憶部
61 領域選択部
62 画素位置特定部(画素位置取得手段)
62・64 領域−ガンマ対応テーブル記憶部
63 領域特定部(領域情報取得手段・領域判定手段)
M メイン画像
S サイド画像
off 軸外観察者
on 軸上観察者

Claims (8)

  1. 空間的輝度変調によって表示用画像を表示画面に表示するように液晶表示素子を制御する表示制御装置と、該表示制御装置を制御する主制御装置とを備えた制御装置であって、
    イン画像の画像データを取得するメイン画像取得手段と、
    サイド画像の画像データを取得するサイド画像取得手段と、
    前記液晶表示素子からの輝度に関して、前記表示画面の法線に平行な軸方向への輝度と軸外の方向への輝度との非線形な対応関係に基づき、前記メイン画像の画像データの値、および前記サイド画像の画像データの値と、前記メイン画像の画像データの値に対し増加および減少を行うための変調情報とが対応付けられた変調テーブルであって、前記表示用画像の画像データの値と前記液晶表示素子から前記軸方向への輝度との関係を示す複数の軸上ガンマ特性にそれぞれ対応する複数の前記変調テーブルを記憶する変調テーブル候補記憶部と、
    前記変調テーブル候補記憶部に記憶された複数の変調テーブルの中から選択する変調テーブル選択手段と、
    該変調テーブル選択手段が選択した変調テーブルを参照して、前記メイン画像取得手段が取得した前記メイン画像の画像データの値と、前記サイド画像取得手段が取得した前記サイド画像の画像データの値とに対応する変調情報を取得し、取得した変調情報に基づいて、前記メイン画像の画像データの値に対する増加および減少を、画素またはサブ画素を1つまたは複数含む画素群ごとに交互に行うことにより、前記メイン画像の画像データの値を変調し、変調した画像データの値を前記表示用画像の画像データの値として、前記液晶表示素子に出力する画像変調手段と
    前記液晶表示素子が所定のガンマ特性を有する表示装置として機能するように、前記メイン画像の画像データを調整して前記画像変調手段に送るガンマ調整手段と
    を備えており、
    前記変調テーブル選択手段は、
    前記表示画面から前記軸方向に位置する軸上観察者から操作ユニットを介しての操作に基づき変調テーブルを選択しており、
    前記軸上観察者がサイド画像を視認しないように較正する較正モードの終了指示を、前記軸上観察者から前記操作ユニットを介して取得すると、選択している変調テーブルに対応する軸上ガンマ特性に関する情報を取得し、
    前記ガンマ調整手段は、前記変調テーブル選択手段が取得した軸上ガンマ特性に関する情報に基づいて、前記メイン画像の画像データを調整する
    ことを特徴とする制御装置。
  2. 空間的輝度変調によって表示用画像を表示画面に表示するように液晶表示素子を制御する表示制御装置と、該表示制御装置を制御する主制御装置とを備えた制御装置であって、
    メイン画像の画像データを取得するメイン画像取得手段と、
    サイド画像の画像データを取得するサイド画像取得手段と、
    前記液晶表示素子からの輝度に関して、前記表示画面の法線に平行な軸方向への輝度と軸外の方向への輝度との非線形な対応関係に基づき、前記メイン画像の画像データの値、および前記サイド画像の画像データの値と、前記メイン画像の画像データの値に対し増加および減少を行うための変調情報とが対応付けられた変調テーブルであって、前記表示用画像の画像データの値と前記液晶表示素子から前記軸方向への輝度との関係を示す複数の軸上ガンマ特性にそれぞれ対応する複数の前記変調テーブルを記憶する変調テーブル候補記憶部と、
    前記変調テーブル候補記憶部に記憶された複数の変調テーブルの中から選択する変調テーブル選択手段と、
    該変調テーブル選択手段が選択した変調テーブルを参照して、前記メイン画像取得手段が取得した前記メイン画像の画像データの値と、前記サイド画像取得手段が取得した前記サイド画像の画像データの値とに対応する変調情報を取得し、取得した変調情報に基づいて、前記メイン画像の画像データの値に対する増加および減少を、画素またはサブ画素を1つまたは複数含む画素群ごとに交互に行うことにより、前記メイン画像の画像データの値を変調し、変調した画像データの値を前記表示用画像の画像データの値として、前記液晶表示素子に出力する画像変調手段と、
    前記液晶表示素子が所定のガンマ特性を有する表示装置として機能するように、前記メイン画像の画像データを調整して前記画像変調手段に送るガンマ調整手段と、
    前記メイン画像における複数の領域の情報を取得する領域情報取得手段と、
    前記画像変調手段が変調しようとするメイン画像の画素位置の情報を取得する画素位置取得手段と、
    該画素位置取得手段が取得した画素位置の情報と、前記領域情報取得手段が取得した領域の情報とを用いて、前記画素位置が含まれる前記領域を判定する領域判定手段と
    を備えており、
    前記変調テーブル選択手段は、
    前記領域判定手段が判定した領域に対応する変調テーブルを選択することにより、前記表示用画像は、領域ごとに異なる変調テーブルを利用して、前記メイン画像に対し前記変調が行われたものとなり、
    前記表示画面から前記軸方向に位置する軸上観察者がサイド画像を視認しないように較正する較正モードを終了するために、前記軸上観察者から操作ユニットを介しての操作により、前記表示用画像の領域が選択されると、当該領域に対応する変調テーブルに対応する軸上ガンマ特性に関する情報を取得し、
    前記ガンマ調整手段は、前記変調テーブル選択手段が取得した軸上ガンマ特性に関する情報に基づいて、前記メイン画像の画像データを調整する
    ことを特徴とする制御装置。
  3. 請求項1または2に記載の制御装置に用いられる表示制御装置。
  4. 請求項1または2に記載の制御装置と液晶表示素子とを備えた電子機器。
  5. 請求項1または2に記載の制御装置を動作させるための制御プログラムであって、コンピュータを上記のメイン画像取得手段、サイド画像取得手段、変調テーブル選択手段、画像変調手段、およびガンマ調整手段として機能させるための制御プログラム。
  6. 請求項に記載の制御プログラムが記録されたコンピュータ読取り可能な記録媒体。
  7. 空間的輝度変調によって表示用画像を表示画面に表示するように液晶表示素子を制御する表示制御装置と、該表示制御装置を制御する主制御装置とを備えた制御装置の制御方法であって、
    イン画像の画像データを取得するメイン画像取得ステップと、
    サイド画像の画像データを取得するサイド画像取得ステップと、
    前記液晶表示素子からの輝度に関して、前記表示画面の法線に平行な軸方向への輝度と軸外の方向への輝度との非線形な対応関係に基づき、前記メイン画像の画像データの値、および前記サイド画像の画像データの値と、前記メイン画像の画像データの値に対し増加および減少を行うための変調情報とが対応付けられた変調テーブルであって、前記表示用画像の画像データの値と前記液晶表示素子から前記軸方向への輝度との関係を示す複数の軸上ガンマ特性にそれぞれ対応する複数の前記変調テーブルを記憶する変調テーブル候補記憶部に記憶された複数の変調テーブルの中から選択する変調テーブル選択ステップと、
    該変調テーブル選択ステップにて選択された変調テーブルを参照して、前記メイン画像取得ステップにて取得された前記メイン画像の画像データの値と、前記サイド画像取得ステップにて取得された前記サイド画像の画像データの値とに対応する変調情報を取得し、取得した変調情報に基づいて、前記メイン画像の画像データの値に対する増加および減少を、画素またはサブ画素を1つまたは複数含む画素群ごとに交互に行うことにより、前記メイン画像の画像データの値を変調し、変調した画像データの値を前記表示用画像の画像データの値として、前記液晶表示素子に出力する画像変調ステップと
    を含んでおり、
    該画像変調ステップにて用いられる前記メイン画像の画像データに対し、前記液晶表示素子が所定のガンマ特性を有する表示装置として機能するように調整を行うガンマ調整ステップをさらに含んでおり、
    前記変調テーブル選択ステップは、
    前記表示画面から前記軸方向に位置する軸上観察者から操作ユニットを介しての操作に基づき変調テーブルを選択しており、
    前記軸上観察者がサイド画像を視認しないように較正する較正モードの終了指示を、前記軸上観察者から前記操作ユニットを介して取得すると、選択している変調テーブルに対応する軸上ガンマ特性に関する情報を取得し、
    前記ガンマ調整ステップは、前記変調テーブル選択ステップにて取得された軸上ガンマ特性に関する情報に基づいて、前記メイン画像の画像データを調整する
    ことを特徴とする制御装置の制御方法。
  8. 空間的輝度変調によって表示用画像を表示画面に表示するように液晶表示素子を制御する表示制御装置と、該表示制御装置を制御する主制御装置とを備えた制御装置の制御方法であって、
    メイン画像の画像データを取得するメイン画像取得ステップと、
    サイド画像の画像データを取得するサイド画像取得ステップと、
    前記液晶表示素子からの輝度に関して、前記表示画面の法線に平行な軸方向への輝度と軸外の方向への輝度との非線形な対応関係に基づき、前記メイン画像の画像データの値、および前記サイド画像の画像データの値と、前記メイン画像の画像データの値に対し増加および減少を行うための変調情報とが対応付けられた変調テーブルであって、前記表示用画像の画像データの値と前記液晶表示素子から前記軸方向への輝度との関係を示す複数の軸上ガンマ特性にそれぞれ対応する複数の前記変調テーブルを記憶する変調テーブル候補記憶部に記憶された複数の変調テーブルの中から選択する変調テーブル選択ステップと、
    該変調テーブル選択ステップにて選択された変調テーブルを参照して、前記メイン画像取得ステップにて取得された前記メイン画像の画像データの値と、前記サイド画像取得ステップにて取得された前記サイド画像の画像データの値とに対応する変調情報を取得し、取得した変調情報に基づいて、前記メイン画像の画像データの値に対する増加および減少を、画素またはサブ画素を1つまたは複数含む画素群ごとに交互に行うことにより、前記メイン画像の画像データの値を変調し、変調した画像データの値を前記表示用画像の画像データの値として、前記液晶表示素子に出力する画像変調ステップと、
    を含んでおり、
    該画像変調ステップにて用いられる前記メイン画像の画像データに対し、前記液晶表示素子が所定のガンマ特性を有する表示装置として機能するように調整を行うガンマ調整ステップをさらに含んでおり、
    前記メイン画像における複数の領域の情報を取得する領域情報取得ステップと、
    前記画像変調ステップにて変調されようとするメイン画像の画素位置の情報を取得する画素位置取得ステップと、
    該画素位置取得ステップにて取得された画素位置の情報と、前記領域情報取得ステップにて取得された領域の情報とを用いて、前記画素位置が含まれる前記領域を判定する領域判定ステップと
    をさらに含んでおり、
    前記変調テーブル選択ステップは、
    前記領域判定ステップにて判定された領域に対応する変調テーブルを選択することにより、前記表示用画像は、領域ごとに異なる変調テーブルを利用して、前記メイン画像に対し前記変調が行われたものとなり、
    前記表示画面から前記軸方向に位置する軸上観察者がサイド画像を視認しないように較正する較正モードを終了するために、前記軸上観察者から操作ユニットを介しての操作により、前記表示用画像の領域が選択されると、当該領域に対応する変調テーブルに対応する軸上ガンマ特性に関する情報を取得し、
    前記ガンマ調整ステップは、前記変調テーブル選択ステップにて取得された軸上ガンマ特性に関する情報に基づいて、前記メイン画像の画像データを調整する
    ことを特徴とする制御装置の制御方法。
JP2009285680A 2009-12-16 2009-12-16 制御装置およびその制御方法、制御装置に用いられる表示制御装置、電子機器、制御プログラム、並びに該プログラムを記録した記録媒体 Expired - Fee Related JP5203344B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009285680A JP5203344B2 (ja) 2009-12-16 2009-12-16 制御装置およびその制御方法、制御装置に用いられる表示制御装置、電子機器、制御プログラム、並びに該プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009285680A JP5203344B2 (ja) 2009-12-16 2009-12-16 制御装置およびその制御方法、制御装置に用いられる表示制御装置、電子機器、制御プログラム、並びに該プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2011128306A JP2011128306A (ja) 2011-06-30
JP5203344B2 true JP5203344B2 (ja) 2013-06-05

Family

ID=44290978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009285680A Expired - Fee Related JP5203344B2 (ja) 2009-12-16 2009-12-16 制御装置およびその制御方法、制御装置に用いられる表示制御装置、電子機器、制御プログラム、並びに該プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP5203344B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7965268B2 (en) * 2005-07-08 2011-06-21 Sharp Kabushiki Kaisha Display device and liquid crystal display panel
JP4986898B2 (ja) * 2008-03-14 2012-07-25 シャープ株式会社 液晶表示装置

Also Published As

Publication number Publication date
JP2011128306A (ja) 2011-06-30

Similar Documents

Publication Publication Date Title
US8654142B2 (en) Accurate color display device
JP4668986B2 (ja) カラー画像データの処理方法
JP3719411B2 (ja) 画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
EP2244486B1 (en) Color calibration system and method for a display
WO2016052309A1 (ja) 映像処理装置、表示装置、配置判定装置、配置判定方法、記録媒体
JP5897159B2 (ja) 表示装置及びその制御方法
TWI339533B (en) Color correction method and apparatus of display apparatus
JP6122716B2 (ja) 画像処理装置
JP2012123085A (ja) マルチ画面表示装置
US20080117152A1 (en) Backlight processing system and method thereof
WO2020100724A1 (ja) 画像処理システム、画像処理装置、およびコンピュータープログラム
WO2012133084A1 (ja) 画像表示装置および画像表示方法
WO2015029633A1 (ja) 液晶表示装置および液晶表示装置における画像表示方法
JP2007324763A (ja) テレビジョン受像装置及びテレビジョン受像方法
KR20100124073A (ko) 화상형성장치 및 그의 색상 보정 방법 그리고 그것을 이용한 출력 영상의 색상 보정을 위한 호스트 장치
KR20100061389A (ko) 색 영역 확대 방법 및 표시 장치
JP4047859B2 (ja) 平板表示装置の色補正装置及びその方法
JP6378031B2 (ja) 配置判定装置、配置判定方法、プログラム、記録媒体
JP5203344B2 (ja) 制御装置およびその制御方法、制御装置に用いられる表示制御装置、電子機器、制御プログラム、並びに該プログラムを記録した記録媒体
JP5903283B2 (ja) 画像処理装置、画像表示システム、および画像表示方法
CN101552926B (zh) 一种彩色图像信号处理方法及装置
JP5447058B2 (ja) 階調補正装置、ディスプレイおよび階調補正方法
WO2019116463A1 (ja) 画像表示装置、及び画像表示方法
JP6378032B2 (ja) 映像処理装置、表示装置、プログラム、記録媒体
JP5946281B2 (ja) 画像処理装置、画像表示システム、および画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees