JP7275402B2

JP7275402B2 - 画像処理装置、画像表示装置、画像処理方法、及び画像処理プログラム

Info

Publication number: JP7275402B2
Application number: JP2022548280A
Authority: JP
Inventors: 俊明久保
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-09-09
Filing date: 2020-09-09
Publication date: 2023-05-17
Anticipated expiration: 2040-09-09
Also published as: JPWO2022054148A1; WO2022054148A1

Description

本開示は、画像処理装置、画像表示装置、画像処理方法、及び画像処理プログラムに関する。

特許文献１は、バックライトにＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）が用いられた液晶表示パネルの温度を測定し、測定された温度に応じた補正データを用いて画像データを補正する液晶表示パネルの駆動方法を提案している。

また、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の光を発する３個のＬＥＤを有する１つの発光素子部（「３ｉｎ１チップタイプのＬＥＤ素子」とも称される。）を１画素とし、複数の画素が規則的に配置された画像表示ユニットを複数個連結して１画面を構成する表示パネルが実用されている。また、一般的に、ＬＥＤなどの発光素子で発生する光の輝度及び色度は温度に応じて変化する。このため、表示パネルでは、輝度ムラ及び色度ムラが発生する。

国際公開第２０１１／１２５３７４号（段落００４５、００５０～００５３、図１）

しかしながら、１つの発光素子部を１画素とする表示パネルでは、表示コンテンツ（すなわち、入力画像データ）によって、個々の発光素子に流れる電流が変わるため、個々の発光素子の温度が異なる。発光素子は温度によって色度及び輝度が変化するため、画像に輝度ムラ及び色度ムラが発生する。

本開示の目的は、画像表示部に表示される画像の輝度ムラ及び色度ムラの少なくとも一方を低減することである。

本開示の一態様に係る画像処理装置は、複数の発光素子部を有し、前記複数の発光素子部の各々が１つ以上の発光素子を含む、画像表示部に、画像を表示させる装置であって、画像データの階調を画素ごとに削減して、階調削減された画像データを生成するデータ削減部と、気温を測定する気温測定部から出力された気温測定値と前記階調削減された画像データとに基づいて、前記複数の発光素子部の各々の温度又は前記発光素子の各々の温度を推定し、推定された前記温度を示す温度推定値を出力する温度推定部と、前記複数の発光素子部の各々について、温度による輝度及び色度の少なくとも一方のムラが補償されるように、前記温度推定値に基づいて前記画像データを補正する色度・輝度ムラ補正部と、を有し、前記温度推定部は、前記階調削減された画像データと前記気温測定値と前記複数の発光素子部の各々の温度又は前記発光素子の各々の温度とを対応付けるモデル式を用いて前記温度推定値を算出することを特徴とする。

本開示の他の態様に係る画像処理方法は、複数の発光素子部を有し、前記複数の発光素子部の各々が１つ以上の発光素子を含む、画像表示部に、画像を表示させる画像処理方法であって、画像データの階調を画素ごとに削減して、階調削減された画像データを生成するステップと、気温を測定する気温測定部から出力された気温測定値と前記階調削減された画像データとに基づいて、前記複数の発光素子部の各々の温度又は前記発光素子の各々の温度を推定し、推定された前記温度を示す温度推定値を出力するステップと、前記複数の発光素子部の各々について、温度による輝度及び色度の少なくとも一方のムラが補償されるように、前記温度推定値に基づいて前記画像データを補正するステップと、を有し、前記温度推定値を出力するステップでは、前記階調削減された画像データと前記気温測定値と前記複数の発光素子部の各々の温度又は前記発光素子の各々の温度とを対応付けるモデル式を用いて前記温度推定値を算出することを特徴とする。

本開示の画像処理装置、画像表示装置、画像処理方法、及び画像処理プログラムのいずれかを用いれば、画像表示部に表示される画像の輝度ムラ及び色度ムラの少なくとも一方を低減することができる。

実施の形態１に係る画像表示装置の構成を示すブロック図である。（ａ）は、図１に示される画像表示部に備えられた複数の発光素子部を概略的に示す正面図であり、（ｂ）は、１つの発光素子部の構造を概略的に示す拡大図である。（ａ）及び（ｂ）は、発光素子の温度による輝度の変化及び色度の変化の例を示す図である。図１に示される画像処理装置の機能を実現するコンピュータを、画像表示部及び気温測定部とともに示すハードウェア構成図である。図１に示されるデータ削減部の動作例を示す図である。図１に示される温度推定部を構成するニューラルネットワークの例を示す図である。（ａ）及び（ｂ）は、図１に示される色度・輝度ムラ補正部の動作例を示す図である。実施の形態１に係る画像表示装置で実施される画像処理方法を示すフローチャートである。実施の形態１に係る画像表示装置を、学習装置及び学習用温度測定部とともに示すブロック図である。実施の形態２に係る画像表示装置の構成を示すブロック図である。図１０に示される温度推定部を構成するニューラルネットワークの例を示す図である。実施の形態２に係る画像表示装置で実施される画像処理方法を示すフローチャートである。

以下に、実施の形態に係る画像処理装置、画像表示装置、画像処理方法、及び画像処理プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

実施の形態１．
図１は、実施の形態１に係る画像表示装置１の構成を示すブロック図である。図１に示されるように、画像表示装置１は、画像処理装置２と、気温を測定する気温測定部（例えば、画像表示装置１の外部の温度である環境温度を検出する温度センサ）３と、画像を表示するディスプレイである画像表示部４とを有する。画像処理装置２は、実施の形態１に係る画像処理方法を実施することができる。画像処理装置２は、画像表示部４に画像を表示させる。気温測定部３は、画像表示装置１と通信可能に構成された、外部の装置であってもよい。この場合には、画像表示装置１は、外部から提供される気温測定値Ｔａを受信するので、気温測定部３を有する必要はない。

図１に示されるように、画像処理装置２は、画像入力部１１と、データ削減部１２と、温度推定部１３と、補正パラメータ格納部１４と、色度・輝度ムラ補正部１５と、画像出力部１６とを有する。補正パラメータ格納部１４は、画像処理装置２の外部の構成としての記憶装置であってもよい。画像入力部１１及び画像出力部１６は、画像処理装置２の外部の構成であってもよい。

本出願において、「色度・輝度」とは、色度及び輝度、又は、輝度、又は、色度を意味する。すなわち、「色度・輝度」は、色度及び輝度の少なくとも一方を意味する。また、「色度・輝度ムラ」は、色度ムラ及び輝度ムラ、又は、輝度ムラ、又は、色度ムラを意味する。すなわち、「色度・輝度ムラ」は、色度ムラ及び輝度ムラの少なくとも一方を意味する。

図２（ａ）は、図１に示される画像表示部４に備えられた複数の発光素子部４０を概略的に示す正面図であり、図２（ｂ）は、１つの発光素子部４０の構造を概略的に示す拡大図である。図２（ａ）に示されるように、画像表示部４では、水平走査方向（図２（ａ）における横方向）にｘ_ｍａｘ個、垂直走査方向（図２（ａ）における縦方向）にｙ_ｍａｘ個の発光素子部４０が規則的に（例えば、マトリックス状に）配置されている。ｘ_ｍａｘ及びｙ_ｍａｘは、予め定められた正の整数である。

各発光素子部４０は、例えば、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の光を発する発光素子としてのＬＥＤチップを有する。Ｒ、Ｇ、Ｂの光を発するＬＥＤチップは、それぞれ「Ｒ用のＬＥＤチップ」、「Ｇ用のＬＥＤチップ」、「Ｂ用のＬＥＤチップ」とも表記される。また、Ｒ、Ｇ、Ｂの光を発するＬＥＤは、「Ｒ、Ｇ、Ｂ用のＬＥＤチップ」とも表記される。図２（ｂ）に符号Ｒ、Ｇ、Ｂで示されるように、各発光素子部（すなわち、各画素）４０は、１つのパッケージ内にＲ用のＬＥＤチップ、Ｇ用のＬＥＤチップ、及びＢ用のＬＥＤチップが設けられた構造を有している。ただし、発光素子部４０の構造は、上記のものに限定されず、１つ以上の発光素子を有するものであればよい。１つの発光素子部４０が１つの発光素子を有する場合は、発光素子部４０と発光素子とは、同じものである。

図３（ａ）及び（ｂ）は、Ｒ、Ｇ、Ｂ用のＬＥＤを有する発光素子部４０で発生する光の輝度及び色度の温度による変化の例を示す図である。図３（ａ）には、基準温度Ｔｒにおける輝度である基準輝度に対する温度Ｔにおける輝度の比である輝度比（すなわち、輝度の正規化値）Ｖｐがグラフで示されている。図３（ｂ）には、基準温度Ｔｒにおける色度である基準色度に対する温度Ｔにおける色度の比である色度比（すなわち、色度の正規化値）がグラフで示されている。図３（ａ）及び（ｂ）に示されるように、Ｒ、Ｇ、Ｂ用のＬＥＤを有する発光素子部４０は、発生する光の輝度及び色度の双方又は一方が、温度Ｔに応じて変化する。図３（ａ）では、輝度比Ｖｐは温度Ｔの上昇に応じて低下する。図３（ｂ）では、色度は、例えば、ＣＩＥ－ＸＹＺ表色系のＸ刺激値Ｘｐ及びＹ刺激値Ｙｐで表される。図３（ｂ）は、色度比であるＸ刺激値Ｘｐ及び色度比であるＹ刺激値Ｙｐの変化を示す。図３（ｂ）では、Ｘ刺激値Ｘｐ及びＹ刺激値Ｙｐは、温度Ｔの上昇に応じて低下する。

画像処理装置２は、入力画像データに応じた画像を画像表示部４に表示させる。画像処理装置２は、入力画像データに基づいて、画像表示部４の各発光素子部４０（すなわち、座標（ｘ，ｙ）の画素）の温度又はＬＥＤの各々の温度を推定し、推定された温度である温度推定値Ｄ１３（「Ｔｅ」又は「Ｔｅ（ｘ，ｙ）」とも表記する。）に基づいて、温度変化による座標（ｘ，ｙ）の発光素子部４０で発生する光の輝度及び色度の変化を補償するための画像データの補正（例えば、画素ごとの画像データの補正）を行い、補正された画像データを画像表示部４に供給する。

画像処理装置２は、その一部又は全部を処理回路で構成し得る。例えば、画像処理装置２の複数の部分の機能をそれぞれ別個の処理回路で実現してもよく、又は、画像処理装置２の複数の部分の機能を纏めて１つの処理回路で実現してもよい。処理回路は、ハードウェアで構成されてもよく、ソフトウェアとしてのプログラムを実行するコンピュータで構成されてもよい。画像処理装置２の機能のうちの一部をハードウェアで実現し、他の部分をソフトウェアとしてのプログラムを実行するコンピュータで実現してもよい。

図４は、画像処理装置２の機能を実現するコンピュータ９を、画像表示部４及び気温測定部３とともに示すブロック図である。コンピュータ９は、情報処理部としてのプロセッサ９１と、記憶部としてのメモリ９２とを有する。

プロセッサ９１は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）などを備える。

メモリ９２は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等の半導体メモリを有している。メモリ９２は、磁気ディスク、光ディスク、又は、光磁気ディスク等を有してもよい。

プロセッサ９１は、メモリ９２に記憶されている画像処理プログラムを実行することにより、画像処理装置２の機能を実現する。画像処理装置２の機能には、画像表示部４における表示動作の制御が含まれる。なお、図４に示されるコンピュータ９は、単一のプロセッサ９１を含むが、２つ以上のプロセッサを含んでいてもよい。

図１に示される画像入力部１１は、デジタル画像データを受信して、ｎビット（ｎは正の整数）のデジタル画像データを出力するデジタルインターフェースである。画像入力部１１は、デジタルの画像データを受信して、データ削減部１２及び色度・輝度ムラ補正部１５に画像データＤ１１を出力する。Ｄ１１は、「Ｄ１１（ｘ，ｙ）」とも表記される。Ｄ１１（ｘ，ｙ）は、座標（ｘ，ｙ）の画素の画像データを意味する。なお、画像入力部１１は、アナログの画像信号をデジタルの画像データに変換するＡ／Ｄ（アナログ・デジタル）変換器であってもよい。

図５は、データ削減部１２の動作例を示す図である。データ削減部１２は、画像データＤ１１の階調を画素ごとに削減して、階調削減された画像データＤ１２を生成する。Ｄ１２は、「Ｄ１２（ｘ，ｙ）」とも表記される。Ｄ１２（ｘ，ｙ）は、座標（ｘ，ｙ）の画素の階調削減された画像データを意味する。データ削減部１２は、例えば、式（１）で表される演算を行う。

ここで、Ｘは、データ削減部１２に入力される画像データＤ１１における、ある画素の入力データ（８ビット）であり、Ｙは、データ削減部１２から出力される階調削減された画像データＤ１２における、対応する画素の出力データ（６ビット）である。

式（１）は、データ削減部１２に入力される画像データＤ１１（すなわち、入力データ）の階調を示す第１の値に対する、データ削減部１２から出力される画像データＤ１２（すなわち、出力データ）の階調を示す第２の値の割合であるデータの維持率は、データ削減部１２に入力される画像データＤ１１の階調が低いほど、高い。データ削減部１２の特性は、式（１）及び図５に示されるものに限定されない。ただし、入力される画像データＤ１１の階調が低いほど、出力される画像データＤ１２の維持率が高いことが望ましい。なお、温度推定部１３によるデータ処理量の低減が必要でない場合には、データ削減部１２を省略することが可能である。

図１に示される温度推定部１３は、気温測定部３から出力された気温測定値Ｔａと画素ごとに階調削減された画像データＤ１２とに基づいて、複数の発光素子部４０の各々の温度又はＬＥＤの各々の温度を推定し、推定された温度を示す温度推定値Ｔｅを出力する。Ｔｅは、「Ｔｅ（ｘ，ｙ）」とも表記される。Ｔｅ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素の温度推定値を意味する。

図１に示される色度・輝度ムラ補正部１５は、複数の発光素子部４０の各々について、温度による輝度及び色度の少なくとも一方のムラが補償されるように、温度推定値Ｔｅに基づいて画像データＤ１１を補正する。

温度推定部１３は、階調削減された画像データＤ１２と気温測定値Ｔａと発光素子部４０の各々の温度とを対応付ける学習済みニューラルネットワークのモデル式とを用いて、発光素子部４０の各々の温度を示す温度推定値Ｔｅを算出する。補正パラメータ格納部１４に格納されている、モデル式のパラメータは、予めモデル式の入出力の関係を計測した結果から学習して得られた値である。

温度推定部１３は、階調削減された画像データＤ１２及び気温測定値Ｔａとに基づいて画像表示部４の各発光素子部４０の個々の温度又はＬＥＤ個々の温度を推定して得られた温度推定値Ｔｅを、色度・輝度ムラ補正部１５へ出力する。温度推定部１３は、例えば、多層ニューラルネットワークで構成されている。

図６は、温度推定部１３を構成するニューラルネットワーク１３Ｎの例を示す図である。図６に示されるニューラルネットワーク１３Ｎは、入力層１３１と、中間層（すなわち、隠れ層）１３２と、出力層１３３とを有する。図示の例では、中間層の数が３であるが、中間層の数は、２以下であってもよく、４以上であってもよい。

入力層１３１のニューロンＰの各々には、測定対象のＬＥＤの点灯率、気温測定値Ｔａ、削減された画像データＤ１２が割り当てられる。入力層１３１のニューロンＰの各々には、測定対象のＬＥＤの点灯率、気温測定値Ｔａ、削減された画像データＤ１２、及び過去の温度推定値（例えば、１フレーム前の温度推定値）のいずれかが割り当てられてもよい。複数の発光素子部４０のそれぞれには、温度推定値Ｔｅ、及び複数の発光素子部４０のそれぞれの画像データ（すなわち、画素値）のいずれかが割り当てられ、各ニューロンＰには、割り当てられた値（点灯率、気温測定値、温度推定値、及び画像データ）が入力される。入力層１３１のニューロンＰは、入力をそのまま出力する。

出力層１３３のニューロンＰは、複数のビット、例えば、１０ビットから成り、選択されている発光素子部の温度推定値Ｔｅを示すデータを出力する。

中間層１３２及び出力層１３３のニューロンＰの各々は、複数の入力に対して下記のモデル式である式（２）で表される演算を行う。

式（２）において、Ｎは、ニューロンＰへの入力の数である。ニューロンＰへの入力の数は、ニューロン相互間で同じであるとは限らない。式（２）において、ｘ_１～ｘ_Ｎは、ニューロンＰの入力データ、ｗ_１～ｗ_Ｎは、入力データｘ_１～ｘ_Ｎに対する重み、ｂは、バイアスを示す。重みｗ_１～ｗ_Ｎ及びバイアスｂは、学習により定められる。また、重みｗ_１～ｗ_Ｎ及びバイアスｂを纏めてパラメータとも言う。

関数ｓ（ａ）は、活性化関数である。活性化関数は、例えば、ａが０以下であれば０を出力し、それ以外であれば１を出力するステップ関数であってもよい。活性化関数ｓ（ａ）は、ａが０以下であれば０を出力し、それ以外であれば入力値ａを出力するＲｅＬＵ（ＲｅｃｔｉｆｉｅｄＬｉｎｅａｒＵｎｉｔ）関数であってもよく、入力値ａをそのまま出力値とする恒等関数でもよく、ジグモイド関数であってもよい。

上記のように、入力層１３１のニューロンＰは、入力をそのまま出力するものであるので、入力層１３１のニューロンＰで用いられる活性化関数は、恒等関数である。

例えば、中間層１３２では、ステップ関数又はジグモイド関数を用い、出力層ではＲｅＬＵ関数を用いてもよい。また、同じ層内のニューロンＰの相互間で異なる活性化関数が用いられていてもよい。なお、ニューロンＰの数、層の数（すなわち、段階数）は、図６に示される例に限定されない。

温度推定部１３の重みパラメータの算出方法を説明する。予め温度推定部１３の入出力のデータを複数パターン測定し、各入力パターンにおける出力値（推定値）と実際の温度の測定値の差を算出する。全てのパターンにおける測定値と推定値の差が最小になるように重みパラメータを学習する。算出方法は、これに限定しない。予め温度推定部１３の入出力データから算出した値であればよい。

補正パラメータ格納部１４は、温度による輝度及び色度の変化を補正するための補正パラメータを格納している。

色度・輝度ムラ補正部１５は、温度推定部１３で推定された温度に応じて、補正パラメータ格納部１４に格納されている補正パラメータを参照して、画像入力部１１から供給される画像データを補正する。この補正は、Ｒ，Ｇ，Ｂ画素毎に行われる。この補正は、発光素子部４０の温度の変化による輝度及び色度の変化を打ち消すための補正である。

図７（ａ）及び（ｂ）は、補正パラメータ格納部１４に格納されている補正パラメータで定義される入力と出力との関係の一例を示す。ここで言う入力と出力との関係は、入力に対する出力の比、すなわち係数で表される。この係数を補正係数と言う。

例えば、温度による輝度の変化が、図３（ａ）に示す如くである場合、輝度についての補償テーブルとしては、図７（ａ）に例示される入力－出力関係を有するもの、すなわち、温度の上昇に対する変化が、図７（ａ）とは逆向きであるものが記憶されている。例えば、輝度比Ｖｐの正規化値の逆数に等しい補償係数Ｖｑにより補償テーブルが構成されている。ここで言う、正規化値は、基準温度における輝度に対する比である。

同様に、温度による色度を表すＸ刺激値及びＹ刺激値の変化が、図３（ｂ）に示す如くである場合、補正パラメータとしては、図７（ｂ）に例示される入力－出力関係を有するもの、すなわち、温度の上昇に対する変化が、図３（ｂ）とは、逆向きであるものが記憶されている。

例えば、Ｘ刺激値Ｘｐの正規化値の逆数に等しい補償係数ＸｑによりＸ刺激値の補正パラメータが構成されている。同様に、Ｙ刺激値Ｙｐの正規化値の逆数に等しい補償係数ＹｑによりＹ刺激値の補正パラメータが構成されている。ここで言う、正規化値は、基準温度におけるＸ刺激値及びＹ刺激値に対する比である。

補正パラメータ格納部１４は、色度の補正パラメータは、色度比を基準とした補正パラメータとして保持してもよいし、Ｒ，Ｇ，Ｂそれぞれを変換する補正パラメータで保持していてもよい。

発光素子相互間では、温度による輝度及び色度の変化の仕方が異なる可能性がある。その場合には、図３（ａ）及び（ｂ）の輝度及び色度を示す曲線として、平均的な変化を表す値が用いられる。例えば、多数の発光素子についての変化を平均した値が用いられ、図７（ａ）及び（ｂ）の補償係数を表す補正パラメータとして、そのような平均的な変化を補償するためのものが作成される。

発光素子相互間では、温度による輝度及び色度の変化の仕方が異なる場合、補正パラメータへは平均値としたが、本実施の形態は、これに限定されない。発光素子ごとにパラメータを設定してもよい。

補正パラメータは、発光素子の温度が取り得る値の各々に対して、補償係数の値を持つものとしているが、これに限定されない。すなわち、発光素子の温度につき、離散的に補償係数の値を持ち、補償係数の値を持たない発光素子の温度については、補間によって対応する補償係数の値を求めてもよい。この補間は、例えば、補償係数の値を持つ温度の値（テーブル点）に対応する補償係数の値を用いて行うことができる。

補正パラメータは、Ｒ，Ｇ，Ｂの発光素子ごとに異なる補正パラメータでもよい。

画像出力部１６は、色度・輝度ムラ補正部１５から出力された画像データＤ１５を、画像表示部４の表示方式に合致したフォーマットの信号に変換し、変換後の画像信号Ｄ１６を出力する。例えば、画像表示部４の発光素子部がＰＷＭ（ＰｕｌｓｅＷｉｄｔｈＭｏｄｕｌａｔｉｏｎ）駆動によって発光する場合には、画像出力部１６は、画像データの階調値をＰＷＭ信号に変換する。

画像表示部４は、画像処理装置２から受け取った画像信号に基づいて画像を表示する。表示される画像は、温度による輝度及び色度の変化が発光素子部（すなわち、画素）ごとに又はＬＥＤ（すなわち、副画素）ごとに補償されたものとなる。したがって、画像表示部４に表示される画像の輝度ムラ及び色度ムラが低減される。

図８は、画像処理装置２によって実施される画像処理方法を示すフローチャートである。画像処理装置２が図４に示されるコンピュータ９で構成されている場合、図８に示される処理はプロセッサ９１による処理を示す。

図８に示される処理は、フレーム期間ごとに行われる。ステップＳＴ１では、画像データが画像入力部１１に入力されると、画像入力部１１による処理が実行される。ステップＳＴ２及びＳＴ３では、データ削減部１２によるデータの削減及び気温の測定が行われる。ステップＳＴ４では、温度推定部１３によって各発光素子部４０の温度の推定が行われる。

ステップＳＴ５では、推定温度格納部１７に、温度推定値が格納される。この処理と並行して、ステップＳＴ６では、色度・輝度ムラ補正部１５によって輝度及び色度の補正が行われ、画像出力部１６から画像データが出力される。

図９は、実施の形態１に係る画像表示装置を、学習装置２０、学習済モデル記憶部２３、及び学習用温度測定部２４とともに示すブロック図である。学習装置２０は、データ取得部２２と、モデル生成部２１とを有する。

学習用温度測定部２４は、１以上の温度センサを有する。１以上の温度センサはそれぞれ、画像表示部４を構成する複数の発光素子部４０うちの１以上の発光素子部に対応して設けられたものであり、各温度センサは、対応する発光素子部４０の温度を測定して、温度測定値Ｔｆ（１），Ｔｆ（２），…を取得する。

温度測定の対象となる１以上の発光素子部は、予め指定される。１つの発光素子部を指定する場合、例えば、画面の中央に位置する発光素子部を指定してもよく、画面の中央と周辺部との中間に位置する発光素子部を指定してもよい。

学習装置２０は、コンピュータで構成されていてもよい。画像処理装置２がコンピュータで構成される場合、同じコンピュータで学習装置１０１が構成されていてもよい。学習装置１０１を構成するコンピュータは、例えば、図３に示されるものであってもよい。その場合、学習装置１０１の機能は、プロセッサ９１がメモリ９２に記憶されているプログラムを実行することで実現されるものであってもよい。

学習装置２０は、画像処理装置２の一部を動作させ、温度推定部１３に、上記指定発光素子部の温度を推定させ、温度推定値Ｔｅ（ｘ_ｄ，ｙ_ｄ）が、学習用温度測定部２４の測定で得られた指定発光素子部の温度測定値Ｔｆ（ｘ_ｄ，ｙ_ｄ）に近くなるように学習を行う。モデル生成部２１は、学習の結果である式（２）のパラメータを学習済モデル記憶部２３に格納する。学習済モデル記憶部２３に格納されパラメータは、補正パラメータ格納部１４に提供される。或いは、学習済モデル記憶部２３は、補正パラメータ格納部１４の一部であってもよい。

学習が終了した後、学習用温度測定部２４の温度センサは、取り外され、画像表示装置１は、該温度センサが取り外された状態で使用される。すなわち、画像表示のために利用される際は、画像表示装置１は、発光素子部の温度を検知する温度センサを必要としない。発光素子部の温度を検知する温度センサがなくても、温度推定部１３で発光素子部の温度又はＬＥＤの各々の温度を推定し得るからである。

学習装置２０は、学習が終了した後に、取り外されてもよく、装着されたままであってもよい。特に、学習装置１０１の機能がプロセッサ９１によるプログラムの実行によって実現される場合には、該プログラムは、メモリ９２に記憶されたままであってもよい。

以上に説明したように、実施の形態１では、ＬＥＤ個々に温度センサを必要とせずに、発光素子部４０の各々の温度又はＬＥＤの各々の温度を推定し、温度による輝度ムラ及び色度ムラの一方又は両方を補正することができる。

また、データ削減部１２を有することで、データ削減部を用いずに温度推定を階調削減しない入力画像で行った場合に比べて、温度推定部１３の演算量を削減することができる。

また、データ削減部１２によるデータの維持率は、データ削減部１２に入力される画像データＤ１１の階調が低いほど、高い。このため、低い階調時における温度推定値Ｔｅの精度を向上できる。

実施の形態２．
図１０は、実施の形態２に係る画像表示装置１ａの構成を示すブロック図である。図１０において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。実施の形態２に係る画像表示装置１ａは、以下の（Ｅ１）～（Ｅ３）に示す点において、実施の形態１に係る画像表示装置１と相違する。

（Ｅ１）画像処理装置２ａは、温度推定部１３ａによって推定された温度を過去の温度推定値Ｔｐとして格納する推定温度格納部１７を有する。

（Ｅ２）画像処理装置２ａの温度推定部１３ａは、気温測定値Ｔａと階調削減された画像データＤ１２と推定温度格納部１７に格納されている過去の１つ以上の時刻（望ましくは、複数の時刻）の温度推定値Ｔｐとに基づいて、複数の発光素子部４０の各々の温度、すなわち、各画素の温度を推定する。この処理は、例えば、以下の（Ｅ３）のように行われる。

（Ｅ３）画像処理装置２ａの温度推定部１３ａは、階調削減された画像データＤ１２と気温測定値Ｔａと推定温度格納部１７に格納されている過去の１つ以上の時刻の温度推定値Ｔｐと発光素子部４０の各々の温度推定値Ｔｅとを対応付ける学習済みニューラルネットワークのモデル式を用いて、発光素子部４０の各々の温度推定値Ｔｅ、すなわち、各画素の温度を算出する。

図１１は、図１０に示される温度推定部１３ａを構成するニューラルネットワーク１３Ｎａの例を示す図である。ニューラルネットワーク１３Ｎａは、階調削減された画像データＮ１２、気温測定値Ｔａ、過去の複数時刻の温度推定値Ｔｐを入力、画像表示部４のＬＥＤ個々の温度を出力とする多層ニューラルネットワークのモデル式になっている。図１１に示されるニューラルネットワーク１３Ｎａは、入力層１３１ａと、中間層１３２ａと、出力層１３３ａとを有する。図示の例では、中間層１３２ａの数が３であるが、中間層１３２ａの数は、２以下であってもよく、４以上であってもよい。

入力層１３１ａのニューロンＰの各々には、測定対象のＬＥＤの点灯率、気温測定値Ｔａ、階調削減された画像データＤ１２、及び過去の温度推定値Ｔｐのいずれかが割り当てられる。複数の発光素子部４０のそれぞれには、温度推定値Ｔｅ、及び複数の発光素子部４０のそれぞれの画像データ（すなわち、画素値）のいずれかが割り当てられ、各ニューロンＰには、割り当てられた値（点灯率、気温測定値、温度推定値、及び画像データ）が入力される。入力層１３１ａのニューロンＰは、入力をそのまま出力する。

出力層１３３ａのニューロンＰは、複数のビット、例えば、１０ビットから成り、選択されている発光素子部の温度推定値Ｔｅ（ｘ，ｙ）を示すデータを出力する。

中間層１３２ａ及び出力層１３３ａのニューロンＰの各々は、複数の入力に対して下記のモデル式である式（３）で表される演算を行う。

式（３）において、Ｎは、ニューロンＰへの入力の数である。ニューロンＰへの入力の数は、ニューロン相互間で同じであるは限らない。式（３）において、ｘ_１～ｘ_Ｎは、ニューロンＰの入力データ、ｗ_１～ｗ_Ｎは、入力データｘ_１～ｘ_Ｎに対する重み、ｂは、バイアスを示す。重みｗ_１～ｗ_Ｎ及びバイアスｂは、学習により定められる。式（３）は、上記式（２）と表記上は同じであるが、重みｗ_１～ｗ_Ｎ及びバイアスｂの実際の値が異なる。

以上、本開示をハードウェアで実現する場合について説明したが、図１０に示される構成の一部又は全部をソフトウェアにより実現することも可能である。その場合の処理を、図１２を参照して説明する。

図１２は、画像処理装置２ａで実施される画像処理方法を示すフローチャートである。図１２において、図８に示されるステップと同一又は対応するステップには、図８に示される符号と同じ符号が付される。図１２の画像処理は、ステップＳＴ７において、温度推定部１３ａによって推定された温度を過去の温度推定値Ｔｐとして推定温度格納部１７に格納する点、及びステップＳＴ４ａにおいて、気温測定値Ｔａと階調削減された画像データＤ１２と過去の温度推定値Ｔｐとに基づいて、複数の発光素子部４０の各々の温度を推定する点が、実施の形態１に係る画像処理方法と異なる。

以上に説明したように、実施の形態２では、発光素子部４０の各々又はＬＥＤ個々に温度センサを備える必要がなく、ＬＥＤ個々の温度を推定し、温度による輝度ムラ及び色度ムラの一方又は両方を補正することができる。

さらに、実施の形態２では、温度推定部１３ａは、過去の１つ以上の時刻の温度推定値Ｔｐを用いることができるので、温度推定値Ｔｅの精度を向上できる。

実施の形態２において、上記以外の点は、実施の形態１と同じである。

１、１ａ画像表示装置、２、２ａ画像処理装置、３気温測定部、４画像表示部、１１画像入力部、１２データ削減部、１３、１３ａ温度推定部、１４補正パラメータ格納部、１５色度・輝度ムラ補正部、１６画像出力部、１７推定温度格納部、２０学習装置、４０発光素子部（画素）、Ｒ、Ｇ、ＢＬＥＤ（発光素子、副画素）、Ｔａ気温測定値、Ｔｅ温度推定値、Ｔｐ過去の温度推定値。

Claims

複数の発光素子部を有し、前記複数の発光素子部の各々が１つ以上の発光素子を含む、画像表示部に、画像を表示させる画像処理装置であって、
画像データの階調を画素ごとに削減して、階調削減された画像データを生成するデータ削減部と、
気温を測定する気温測定部から出力された気温測定値と前記階調削減された画像データとに基づいて、前記複数の発光素子部の各々の温度又は前記発光素子の各々の温度を推定し、推定された前記温度を示す温度推定値を出力する温度推定部と、
前記複数の発光素子部の各々について、温度による輝度及び色度の少なくとも一方のムラが補償されるように、前記温度推定値に基づいて前記画像データを補正する色度・輝度ムラ補正部と、
を有し、
前記温度推定部は、前記階調削減された画像データと前記気温測定値と前記複数の発光素子部の各々の温度又は前記発光素子の各々の温度とを対応付けるモデル式を用いて前記温度推定値を算出する
ことを特徴とする画像処理装置。
前記モデル式のパラメータは、予め前記モデル式の入出力の関係を計測した結果から学習して得られた値である
ことを特徴とする請求項１に記載の画像処理装置。
前記モデル式は、学習済みニューラルネットワークのモデル式である
ことを特徴とする請求項１又は２に記載の画像処理装置。
前記温度推定部は、前記気温測定値と前記階調削減された画像データと過去の温度推定値とに基づいて、前記複数の発光素子部の各々の温度を推定し、
前記温度推定部は、前記階調削減された画像データと前記気温測定値と前記過去の温度推定値と前記発光素子部の各々の温度とを対応付ける学習済みニューラルネットワークのモデル式を用いて、前記発光素子部の各々の温度を算出する
ことを特徴とする請求項１又は２に記載の画像処理装置。
前記温度推定部によって推定された温度を過去の温度推定値として格納する推定温度格納部をさらに有し、
前記温度推定部は、前記気温測定値と前記階調削減された画像データと前記過去の１つ以上の時刻の温度推定値とに基づいて、前記複数の発光素子部の各々の温度を推定し、
前記温度推定部は、前記階調削減された画像データと前記気温測定値と前記過去の温度推定値と前記発光素子部の各々の温度とを対応付ける学習済みニューラルネットワークのモデル式を用いて、前記発光素子部の各々の温度を算出する
ことを特徴とする請求項１又は２に記載の画像処理装置。
前記データ削減部に入力される画像データの階調を示す第１の値に対する、前記データ削減部から出力される画像データの階調を示す第２の値の割合であるデータの維持率は、前記データ削減部に入力される画像データの階調が低いほど高い
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記パラメータを記憶する補正パラメータ格納部をさらに有することを特徴とする請求項２に記載の画像処理装置。
請求項１から７のいずれか１項に記載の画像処理装置と、
前記色度・輝度ムラ補正部によって補正された画像データに基づく画像を表示する画像表示部と
を有することを特徴とする画像表示装置。
前記気温は、前記画像表示装置の周辺の温度であることを特徴とする請求項８に記載の画像表示装置。
前記発光素子は、ＬＥＤである請求項８又は９に記載の画像表示装置。
複数の発光素子部を有し、前記複数の発光素子部の各々が１つ以上の発光素子を含む、画像表示部に、画像を表示させる画像処理方法であって、
画像データの階調を画素ごとに削減して、階調削減された画像データを生成するステップと、
気温を測定する気温測定部から出力された気温測定値と前記階調削減された画像データとに基づいて、前記複数の発光素子部の各々の温度又は前記発光素子の各々の温度を推定し、推定された前記温度を示す温度推定値を出力するステップと、
前記複数の発光素子部の各々について、温度による輝度及び色度の少なくとも一方のムラが補償されるように、前記温度推定値に基づいて前記画像データを補正するステップと、
を有し、
前記温度推定値を出力するステップでは、前記階調削減された画像データと前記気温測定値と前記複数の発光素子部の各々の温度又は前記発光素子の各々の温度とを対応付けるモデル式を用いて前記温度推定値を算出する
ことを特徴とする画像処理方法。
複数の発光素子部を有し、前記複数の発光素子部の各々が１つ以上の発光素子を含む、画像表示部に、画像を表示させる画像処理方法をコンピュータに実行させる画像処理プログラムであって、
画像データの階調を画素ごとに削減して、階調削減された画像データを生成するステップと、
気温を測定する気温測定部から出力された気温測定値と前記階調削減された画像データとに基づいて、前記複数の発光素子部の各々の温度又は前記発光素子の各々の温度を推定し、推定された前記温度を示す温度推定値を出力するステップと、
前記複数の発光素子部の各々について、温度による輝度及び色度の少なくとも一方のムラが補償されるように、前記温度推定値に基づいて前記画像データを補正するステップと、
を前記コンピュータに実行させ、
前記温度推定値を出力するステップでは、前記階調削減された画像データと前記気温測定値と前記複数の発光素子部の各々の温度又は前記発光素子の各々の温度とを対応付けるモデル式を用いて前記温度推定値を算出する
ことを特徴とする画像処理プログラム。