JP7019100B2 - 画像処理装置及び方法、並びに画像表示装置、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置及び方法、並びに画像表示装置に関する。本発明はまた、プログラム及び記録媒体に関する。本発明は特に、表示パネルの輝度又は色度のムラを補正する技術に関する。

赤、緑及び青のＬＥＤの組合せから成る発光素子が画素としてマトリックス状に配置された表示パネルが知られている。

一般的にＬＥＤで構成される発光素子には、発生する光の輝度又は色度にばらつきがある。また、温度によって発生する光の輝度又は色度が変化する。そのため、表示画像に輝度又は色度のムラが発生する。

特許文献１には温度センサーを用いて液晶表示パネルのバックライトのＬＥＤの温度を測定し、温度毎の補正データを用いて画像データを補正する方法が提案されている。

国際公開第２０１１―１２５３７４号（段落００４５、００５０～００５３、図１）

複数の発光素子がマトリックス状に配置された表示パネルでは、表示コンテンツによって個々の発光素子に流される電流が変わるため、個々の発光素子の温度が異なるものとなる。
温度が異なるものとなると、輝度ムラ又は色ムラが発生する可能性がある。ＬＥＤで構成される発光素子は温度によって色又は輝度が変化するためである。
上記のように特許文献１の技術では液晶表示パネルのバックライトに温度センサーを設けているが、この考えを、複数の発光素子を有する表示パネルに適用すると、温度センサーを各発光素子に設ける必要があるため、温度センサーの数及び配線、さらには設置のためのスペースが増加する。

本発明は、発光素子毎に温度センサーを備えていなくても、温度変化による発光素子の輝度及び色度の少なくとも一方のムラを補償することができる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、
各々複数のＬＥＤを含む複数の発光素子が配列された画像表示部の輝度及び色の少なくとも一方のムラを補正する画像処理装置において、
現フレームを含む直近の複数フレームの入力画像の画像データと、前記画像表示部の周辺温度とから各発光素子の温度を推定する素子温度推定部と、
各発光素子の温度に基づいて現フレームの入力画像の画像データを補正することで、当該発光素子の輝度及び色度の少なくとも一方のムラを補正する温度変化補償部とを備え、
前記素子温度推定部は、
前記複数フレームの入力画像の画像データと前記発光素子の温度の測定値との関係に基づいて、前記発光素子の温度を推定する
ことを特徴とする。

本発明の画像処理装置は、入力画像と周辺温度とから各発光素子の温度を推定することができ、発光素子毎に温度センサーを備えていなくても、温度変化による発光素子の輝度及び色度の少なくとも一方のムラを補償することができる。

本発明の実施の形態１の画像処理装置を備えた画像表示装置を示す図である。 （ａ）及び（ｂ）は、発光素子の温度による輝度及び色度の変化の例を示す図である。 画像処理装置の機能を実現するコンピュータを、画像表示部及び周辺温度測定部とともに示す図である。 図１の入力画像格納部のメモリ領域の構成を示す図である。 図１の素子温度推定部の構成例を示すブロック図である。 図５の変換テーブル格納部に格納されている変換テーブルで定義される入力と出力との関係の一例を示す図である。 （ａ）及び（ｂ）は、図１の補償テーブル格納部に格納されている補償テーブルで定義される入力と出力との関係の一例を示す図である。 実施の形態１の画像処理装置の機能をコンピュータで実現する場合の処理の手順を示すフローチャートである。 図８の素子温度推定のステップの具体例を示すフローチャートである。 図１の画像表示装置と、学習装置と、素子温度測定部と、温度制御装置とを示すブロック図である。 図１０の学習装置を用いて行われる、第１の方法による学習における処理の手順を示すフローチャートである。 図１０の学習装置を用いて行われる、第２の方法による学習における処理の手順を示すフローチャートである。 図１０の学習装置を用いて行われる、第２の方法による学習における処理の手順を示すフローチャートである。 本発明の実施の形態２の画像処理装置を備えた画像表示装置を示す図である。 実施の形態２の画像処理装置の機能をコンピュータで実現する場合の処理の手順を示すフローチャートである。 本発明の実施の形態３の画像処理装置を備えた画像表示装置を示す図である。 図１６の素子温度推定部を構成するニューラルネットワークの一例を示す図である。 実施の形態３の画像処理装置の機能をコンピュータで実現する場合の処理の手順を示すフローチャートである。 図１６の画像表示装置と、学習装置と、素子温度測定部と、温度制御装置とを示すブロック図である。 図１９の学習装置を用いて行われる学習における処理の手順を示すフローチャートである。 図１９の学習装置を用いて行われる学習における処理の手順を示すフローチャートである。

実施の形態１．
図１は、本発明の実施の形態１の画像処理装置を備えた画像表示装置を示す図である。実施の形態１の画像表示装置は、画像処理装置１のほか、画像表示部２及び周辺温度測定部３を備える。

画像表示部２は、赤、緑及び青のＬＥＤが配列された表示パネルを有するディスプレイで構成されている。例えば、赤、緑及び青のＬＥＤの組合せによって１つの発光素子が構成され、複数のそのような発光素子が画素としてマトリックス状に規則正しく配置されて、表示パネルが構成されている。例えば各発光素子は、１つのパッケージ内に赤のＬＥＤチップ、緑のＬＥＤチップ及び青のＬＥＤチップが設けられている、３ｉｎ１ＬＥＤ発光素子と呼ばれるものである。

ＬＥＤで構成される発光素子は、発生する光の輝度及び色度の双方又は一方が温度によって変化する。
図２（ａ）は、温度による輝度Ｖｐの変化の例を示す。

図２（ｂ）は、温度による色度の変化の例を示す。色度は、例えばＣＩＥ－ＸＹＺ表色系のＸ刺激値及びＹ刺激値で表されている。図２（ｂ）は、Ｘ刺激値Ｘｐ及びＹ刺激値Ｙｐの変化を示す。

周辺温度測定部３は表示パネル周辺の温度を測定して測定値Ｔｍａを出力する。
周辺温度測定部３は、例えば、サーミスタ又は熱電対により構成されている１又は２以上の温度センサーを有する。１又は２以上の温度センサーは、画像表示部２の筐体外部及び筐体内部の一方又は双方の温度を測定できるように設置されている。筐体外部に設置される場合、例えば前面額縁に埋め込まれていても良い。

周辺温度測定部３は、測定された周辺温度Ｔｍａを出力する。
２以上の温度センサーで温度を測定する場合には、それらの平均値を周辺温度Ｔｍａとして出力しても良い。

画像処理装置１は、その一部又は全部を処理回路で構成し得る。
例えば、画像処理装置の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて１つの処理回路で実現しても良い。
処理回路はハードウェアで構成されていても良くソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
画像処理装置の各部分の機能のうち、一部をハードウェアで実現し、他の一部をソフトウェアで実現するようにしても良い。

図３は、画像処理装置１の全ての機能を実現するコンピュータ９を、画像表示部２及び周辺温度測定部３とともに示す。

図示の例ではコンピュータ９は、プロセッサ９１及びメモリ９２を有する。
メモリ９２には、画像処理装置１の各部の機能を実現するためのプログラムが記憶されている。

プロセッサ９１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を用いたものである。
メモリ９２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスク等を用いたものである。

プロセッサ９１は、メモリ９２に記憶されているプログラムを実行することにより、画像処理装置の機能を実現する。
画像処理装置の機能には、上記のように画像表示部２における表示の制御が含まれる。

図３のコンピュータは単一のプロセッサを含むが、２以上のプロセッサを含んでいても良い。

図１には、画像処理装置１を構成する機能ブロックが示されている。
画像処理装置１は、画像入力部１１と、入力画像格納部１２と、素子温度推定部１３と、補償テーブル格納部１４と、温度変化補償部１５と、画像出力部１６とを備える。

本実施の形態では、画像入力部１１はデジタル画像データを受信して出力するデジタルインターフェースであるものとして説明する。しかしながら、画像入力部１１は、アナログ画像信号からデジタル画像データに変換するＡ／Ｄ変換器で構成されていても良い。
画像入力部１１はデジタル画像データを入力画像データとして、入力画像格納部１２及び温度変化補償部１５に出力する。

入力画像格納部１２は入力画像データを複数フレーム分格納する。
入力画像格納部１２は、例えば図４に示されるように、複数の記憶領域ＭＡを有し、複数フレームの画像データを保持することが可能なものである。即ち、新たに入力されているフレームの画像データ（現フレームの入力画像データ）Ｆ（ｔ）と、それより前の、１又は２以上のフレームの画像データ（過去のフレームの入力画像データ）Ｆ（ｔ－１）～Ｆ（ｔ－Ｍ）とを保持することができる。
上記の画像データを表す符号におけるｔは現在時刻を表し、Ｆ（ｔ－ｍ）は、現フレームの入力画像データに対しｍフレーム前（ｍは１からＭのいずれか）の入力画像データを表す。Ｍは１以上の整数である。

現フレームの入力画像データＦ（ｔ）と、過去のフレームの入力画像データＦ（ｔ－１）～Ｆ（ｔ－Ｍ）とは、画像データの時系列ＳＥを構成する。

各画像データは画素毎に赤、緑、青の画素値を持っている。各画素についての画像データの時系列は、画素値の時系列である。

素子温度推定部１３は、周辺温度測定部３で測定された周辺温度Ｔｍａと入力画像格納部１２から出力された、複数フレームの画像データで構成される画像データの時系列ＳＥとに基づいて各発光素子の温度を推定して、推定値Ｔｍｅを出力する。

素子温度推定部１３は、例えば図５に示すように、重み格納部３１と、平均算出部３２と、変換テーブル格納部３３と、温度算出部３４とを備える。

平均算出部３２には、上記の時系列ＳＥを構成する直近のＭ＋１フレームの入力画像データＦ（ｔ）、Ｆ（ｔ－１）、・・・Ｆ（ｔ－Ｍ）が入力される。

重み格納部３１は色毎に重みα_０ｃ～α_Ｍｃを格納している。ここでｃは、Ｒ、Ｇ又はＢである。即ち、重み格納部３１は、赤についての重みα_０Ｒ～α_ＭＲ、緑についての重みα_０Ｇ～α_ＭＧ、及び青についての重みα_０Ｂ～α_ＭＢ、即ち（Ｍ＋１）×３個の重みを格納している。
これらの重みα_０Ｒ～α_ＭＲ、α_０Ｇ～α_ＭＧ、及びα_０Ｂ～α_ＭＢの集合を重みの組ＷＳと言い、符号ＷＳで表す。

平均算出部３２は、直近のＭ＋１フレームの入力画像データＦ（ｔ）～Ｆ（ｔ－Ｍ）と重みの組ＷＳとに基づき加重平均ＦＡを算出する。加重平均の算出は、画素毎に行われる。

各画素（注目画素）についての加重平均ＦＡ（ｘ，ｙ）の算出は下記の式（１）で表される。
ＦＡ（ｘ，ｙ）
＝α_０Ｒ×Ｆ（ｔ，ｘ，ｙ，Ｒ）＋α_１Ｒ×Ｆ（ｔ－１，ｘ，ｙ，Ｒ）
＋・・・＋α_ＭＲ×Ｆ（ｔ－Ｍ，ｘ，ｙ，Ｒ）
＋α_０Ｇ×Ｆ（ｔ，ｘ，ｙ，Ｇ）＋α_１Ｇ×Ｆ（ｔ－１，ｘ，ｙ，Ｇ）
＋・・・＋α_ＭＧ×Ｆ（ｔ－Ｍ，ｘ，ｙ，Ｇ）
＋α_０Ｂ×Ｆ（ｔ，ｘ，ｙ，Ｂ）＋α_１Ｂ×Ｆ（ｔ－１，ｘ，ｙ，Ｂ）
＋・・・＋α_ＭＢ×Ｆ（ｔ－Ｍ，ｘ，ｙ，Ｂ）
式（１）

式（１）で、
ｘは注目画素の水平方向位置を示し、
ｙは注目画素の垂直方向位置を示す。

式（１）に示されるように、重みα_０ｃ～α_Ｍｃ（ｃは、Ｒ、Ｇ又はＢ）は、加重平均を求めるための積和演算において、画像データＦ（ｔ）～Ｆ（ｔ－Ｍ）に乗算される。

各色ｃ（Ｒ、Ｇ又はＢ）についての重み相互間には、
α_０ｃ≧α_１ｃ≧・・・≧α_Ｍｃ
の関係がある。
つまり、時系列ＳＥを構成する複数フレームの画像データのうち、より新しいフレームの画像データ（現在時刻により近いフレームの画像データ）に対する重みほどより大きい値を有する。
重みは、後述のように機械学習により決定され、記憶されている。

図６は変換テーブル格納部３３に格納されている変換テーブルＣＡで定義される入力と出力との関係の一例を示す。
図６で、横軸は変換テーブルＣＡの入力としての加重平均ＦＡを表し、縦軸は変換テーブルＣＡの出力としての上昇温度Ｔｍｕを表す。ここでいう上昇温度Ｔｍｕは、温度上昇の幅を意味する。

変換テーブル格納部３３は図６に例示される変換テーブルＣＡを格納しており、入力された加重平均ＦＡに応じて対応する上昇温度Ｔｍｕを出力する。
変換テーブルＣＡも、後述のように機械学習により作成され、記憶されている。

変換テーブルＣＡは加重平均ＦＡが取り得る値の各々に対して、上昇温度Ｔｍｕの値を持つものを想定しているが、これに限定されない。即ち、加重平均ＦＡにつき、離散的に上昇温度Ｔｍｕの値を持ち、上昇温度Ｔｍｕの値を持たない加重平均ＦＡについては、補間によって対応する上昇温度Ｔｍｕの値を求めても良い。この補間は、例えば、上昇温度の値を持つ加重平均ＦＡの値（テーブル点）に対応する上昇温度の値を用いて行うことができる。

温度算出部３４は、画素毎の加重平均ＦＡ（ｘ，ｙ）と変換テーブルＣＡとに基づき、各画素の上昇温度Ｔｍｕ（ｘ，ｙ）を求め、さらに周辺温度Ｔｍａと上昇温度Ｔｍｕ（ｘ，ｙ）とに基づき、当該画素位置における温度（推定値）Ｔｍｅ（ｘ，ｙ）を算出する。各画素位置における温度は、当該画素位置の発光素子の温度である。各発光素子の温度Ｔｍｅ（ｘ，ｙ）は、下記の式（２）に示すように、周辺温度Ｔｍａに上昇温度Ｔｍｕ（ｘ，ｙ）を加算することで求められる。
Ｔｍｅ（ｘ，ｙ）＝Ｔｍａ＋Ｔｍｕ（ｘ，ｙ） 式（２）

素子温度推定部１３は、式（２）の代わりに下記の式（３）により、温度Ｔｍｅ（ｘ，ｙ）を算出しても良い。式（３）は、各発光素子（注目画素の発光素子）の温度Ｔｍｅ（ｘ，ｙ）を求めるに際し、該発光素子の周囲に位置する発光素子（該注目画素の周囲の画素の発光素子）の上昇温度の影響をも考慮に入れる演算を示す。

Ｔｍｅ（ｘ，ｙ）
＝Ｔｍａ＋γ_１×Ｔｍｕ（ｘ－１，ｙ－１）
＋γ_２×Ｔｍｕ（ｘ－１，ｙ）＋γ_３×Ｔｍｕ（ｘ－１，ｙ＋１）
＋γ_４×Ｔｍｕ（ｘ，ｙ－１）＋γ_５×Ｔｍｕ（ｘ，ｙ）
＋γ_６×Ｔｍｕ（ｘ，ｙ＋１）＋γ_７×Ｔｍｕ（ｘ＋１，ｙ－１）
＋γ_８×Ｔｍｕ（ｘ＋１，ｙ）＋γ_９×Ｔｍｕ（ｘ＋１，ｙ＋１）
式（３）
式（３）で、γ_１～γ_９は係数である。

式（３）の演算では、周囲の画素として、注目画素を中心とする３×３個の画素から成る領域内の画素を考慮している。

周囲の画素の上昇温度は、画素毎の加重平均ＦＡ（ｘ，ｙ）から求められたものであるので、周囲の画素の上昇温度の影響を考慮して求められた発光素子の温度の推定値は、周囲の画素についての加重平均ＦＡ（ｘ，ｙ）を考慮して求められた発光素子の温度の推定値であると言える。

上記の例では、注目画素を中心とする３×３個の画素から成る領域内の画素を考慮しているので、周囲の画素として８個の画素を考慮していることになる。しかしながら、考慮する画素の数は８に限定されず、９以上であっても良く、７以下であっても良く、例えば１であっても良い。

上記のように、入力画像格納部１２は直近のＭ＋１フレームの画像データを保持し、素子温度推定部１３は、入力画像格納部１２から出力される直近のＭ＋１フレームの画像データに基づいて発光素子の温度を推定する。
ここでＭは１以上であれば良い。要するに、入力画像格納部１２は、複数フレームの画像データを保持するものであれば良く、素子温度推定部１３は、直近の複数フレームの画像データから成る時系列ＳＥに基づいて発光素子の温度を推定するものであれば良い。

補償テーブル格納部１４は、温度による輝度及び色度の変化を補償するための補償テーブルを格納している。

温度変化補償部１５は、素子温度推定部１３で推定された温度に応じて、補償テーブル格納部１４に格納されている補償テーブルを参照して、画像入力部１１から供給される画像データを補正する。
この補償は、画素毎に行われる。
この補償は、発光素子の温度の変化による輝度及び色度の変化を打ち消すための補償である。

図７（ａ）及び（ｂ）は、補償テーブル格納部１４に格納されている補償テーブルで定義される入力と出力との関係の一例を示す。ここで言う入力と出力との関係は、入力に対する出力の比、即ち係数で表される。この係数を補償係数と言う。

例えば、温度による輝度の変化が、図２（ａ）に示す如くである場合、輝度についての補償テーブルとしては、図７（ａ）に例示される入力－出力関係を有するもの、即ち、温度の上昇に対する変化が、図２（ａ）とは逆向きであるものが記憶されている。
例えば輝度Ｖｐの正規化値の逆数に等しい補償係数Ｖｑにより補償テーブルが構成されている。

ここで言う、正規化値は基準温度における輝度に対する比である。例えば、図２（ａ）及び図７（ａ）で、Ｔｍｒを基準温度とする場合、図７（ａ）の補償係数Ｖｑは、基準温度Ｔｍｒで１となる。

同様に、温度による色度を表すＸ刺激値及びＹ刺激値の変化が、図２（ｂ）に示す如くである場合、補償テーブルとしては、図７（ｂ）に例示される入力－出力関係を有するもの、即ち、温度の上昇に対する変化が、図２（ｂ）とは逆向きであるものが記憶されている。
例えば、Ｘ刺激値Ｘｐの正規化値の逆数に等しい補償係数ＸｑによりＸ刺激値の補償テーブルが構成されている。同様にＹ刺激値Ｙｐの正規化値の逆数に等しい補償係数ＹｑによりＹ刺激値の補償テーブルが構成されている。

ここで言う、正規化値は基準温度におけるＸ刺激値及びＹ刺激値に対する比である。例えば、図２（ｂ）及び図７（ｂ）で、Ｔｍｒを基準温度とする場合、図７（ｂ）の補償係数Ｘｑ、Ｙｑは、基準温度Ｔｍｒで１となる。

発光素子相互間では、温度による輝度及び色度の変化の仕方が異なる可能性がある。その場合には、図２（ａ）及び（ｂ）の輝度及び色度を示す曲線として、平均的な変化を表す値が用いられる。例えば、多数の発光素子についての変化を平均した値が用いられ、図７（ａ）及び（ｂ）の補償係数を表す補償テーブルとして、そのような平均的な変化を補償するためのものが作成される。

補償テーブルは発光素子の温度Ｔｍｅが取り得る値の各々に対して、補償係数の値を持つものとしているが、これに限定されない。即ち、発光素子の温度Ｔｍｅにつき、離散的に補償係数の値を持ち、補償係数の値を持たない発光素子の温度Ｔｍｅについては、補間によって対応する補償係数の値を求めても良い。この補間は、例えば、補償係数の値を持つ温度Ｔｍｅの値（テーブル点）に対応する補償係数の値を用いて行うことができる。

温度変化補償部１５は補償テーブル格納部１４に格納されている補償テーブルと各発光素子の温度Ｔｍｅとに基づいて、入力画像Ｄｉに対応する補償された画像データＤｂを生成して、出力する。

色度の補償に関しては、Ｘ刺激値及びＹ刺激値に対する補償係数に基づいて、赤、緑及び青のＬＥＤの発光量を調整するように画像データの補正が行われる。

画像出力部１６は、温度変化補償部１５から出力された画像データＤｂを、画像表示部２の表示方式に合致したフォーマットの信号に変換し、変換後の画像信号Ｄｏを出力する。
画像表示部２の発光素子がＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）駆動で発光するのであれば、画像データの階調値をＰＷＭ信号に変換する。

画像表示部２は画像信号Ｄｏに基づいて画像を表示する。表示される画像は、温度による輝度及び色度の変化が画素毎に補償されたものとなる。従って輝度ムラ及び色ムラのない画像が表示される。

上記したＭ＋１フレームの画像データの時系列ＳＥに基づく発光素子の温度の推定値Ｔｍｅの計算、計算された推定値に基づく補償係数Ｖｑ、Ｘｑ、Ｙｑの決定、決定された補償係数を用いた画像データの補償は、Ｍ＋１フレーム毎に行っても良く、Ｍ＋１フレームよりも長い周期に一度行っても良く、Ｍ＋１フレームよりも短い周期に一度行っても良い。例えば１フレーム毎に行っても良い。
いずれの場合にも、各時点で現に入力されているフレームの画像データとそれよりも前のＭフレームの画像データとを用いて発光素子の温度の推定値を求めれば良い。

上記した画像処理装置１が図３のコンピュータで構成されている場合の、プロセッサ９１による処理の手順を図８及び図９を参照して説明する。

図８において、ステップＳＴ１では、入力画像の格納が行われる。この処理は、図１の入力画像格納部１２による処理と同様である。
ステップＳＴ２では、周辺温度の測定が行われる。この処理は、図１の周辺温度測定部３による処理と同様である。ステップＳＴ２の処理は、ステップＳＴ１の処理と並行して行い得る。

ステップＳＴ３では、各発光素子の温度の推定が行われる。この処理は、図１の素子温度推定部１３による処理と同様である。
ステップＳＴ４では、温度変化補償が行われる。この処理は、図１の温度変化補償部１５による処理と同様である。
ステップＳＴ５では、画像出力が行われる。この処理は、図１の画像出力部１６による処理と同様である。

図９は、図８のステップＳＴ３の詳細を示す。
図９のステップＳＴ３１では、加重平均が算出される。この処理は、図５の平均算出部３２による処理と同様である。
ステップＳＴ３２では、発光素子の温度が算出される。この処理は、図５の温度算出部３４による処理と同様である。

上記のように、重み格納部３１に格納されている重みの組ＷＳと変換テーブル格納部３３に格納されている変換テーブルＣＡとは、機械学習により決定され或いは作成される。
機械学習のための学習装置は、図１の画像表示装置に接続されて使用される。
図１０は、図１の画像表示装置に接続された学習装置１０１を示す。図１０は、該学習装置１０１とともに用いられる素子温度測定部１０２及び温度制御装置１０３をも示す。

素子温度測定部１０２は、複数の温度センサーを有する。複数の温度センサーはそれぞれ、画像表示部２を構成する複数の発光素子に対応して設けられたものであり、各温度センサーは対応する発光素子の温度Ｔｍｆを測定して出力する。
各温度センサーは、接触式のものであっても良く、非接触式のものであっても良い。
接触式の温度センサーは、例えば、サーミスタ又は熱電対により構成されたものであっても良い。
非接触式の温度センサーは、赤外線を受けて表面温度を検知するものであっても良い。
素子温度測定部１０２はまた、単一の熱画像センサを備え、画像表示部２の表示画面の温度分布を測定し、熱画像内の位置を画像表示部２の表示画面上の位置に対応付けることで、各発光素子の温度を求めるものであっても良い。

温度制御装置１０３は、画像表示部２の周辺温度を、学習装置１０１により指定された設定値Ｔｍｓに維持する。温度制御装置１０３は、例えば空気調和機で構成されており、画像表示部２が配置された空間の温度を設定値Ｔｍｓに維持する。

学習装置１０１は、コンピュータで構成されていても良い。画像処理装置１がコンピュータで構成される場合、同じコンピュータが学習装置１０１を構成していても良い。学習装置１０１を構成するコンピュータは、例えば図３に示されるものであっても良い。その場合、学習装置１０１の機能はプロセッサ９１がメモリ９２に記憶されているプログラムを実行することで実現されるものであっても良い。

学習装置１０１は、画像処理装置１を動作させ、素子温度推定部１３で算出された発光素子の温度（推定値）Ｔｍｅが、素子温度測定部１０２で測定された発光素子の温度（測定値）Ｔｍｆに近くなるように学習を行う。
学習には、周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦとで構成される学習入力データの組ＬＤＳが複数個用いられる。

学習装置１０１は、学習入力データの組ＬＤＳに含まれる画像データの時系列ＳＦを画像入力部１１に入力し、素子温度推定部１３で算出された発光素子の温度の推定値Ｔｍｅと素子温度測定部１０２で測定された発光素子の温度の測定値Ｔｍｆとを取得し、推定値Ｔｍｅが測定値Ｔｍｆに近くなるように学習を行う。

学習入力データの組ＬＤＳを構成する画像データの時系列ＳＦは、画像表示装置が画像表示を行う際に素子温度推定部１３における温度の推定に用いられる時系列ＳＥを構成する画像データのフレーム数（Ｍ＋１）と同じフレーム数の画像データで構成される。
複数個の学習入力データの組ＬＤＳ相互間では、周辺温度の設定値Ｔｍｓ又は画像データの時系列ＳＦの少なくとも一方が異なる。

学習による重みの組ＷＳの決定及び変換テーブルＣＡの作成は、例えば、以下の第１の方法又は第２の方法で行うことができる。

第１の方法では、発光素子の温度の推定値Ｔｍｅの、測定値Ｔｍｆに対する差が最小となるように重みの組ＷＳ及び変換テーブルＣＡを定める。

具体的には、予め用意された複数個の学習入力データの組ＬＤＳを順に選択し、周辺温度が選択されている学習入力データの組の周辺温度の設定値Ｔｍｓに維持されており、選択されている学習入力データの組ＬＤＳの画像データの時系列ＳＦが入力されたときの発光素子の温度の測定値Ｔｍｆと推定値Ｔｍｅとの差を誤差ＥＲとして求め、上記の複数個の学習入力データの組ＬＤＳについての上記の誤差ＥＲの総和ＥＳをコスト関数として求め、該コスト関数が最小となるように学習することで重みの組ＷＳ及び変換テーブルＣＡを定める。

第２の方法では、変換テーブルＣＡの作成を先に行い、その後で重みの組ＷＳを決定する。
変換テーブルＣＡの作成に当たっては、複数の階調値の各々について、画素値が当該階調値に固定された画像データの時系列ＳＦが入力されたときの、発光素子の温度Ｔｍｆと周辺温度Ｔｍａとを測定し、測定結果から上昇温度Ｔｍｕを算出し、複数の階調値についての、階調値と上昇温度との関係から変換テーブルＣＡを作成する。このとき、温度変化補償部１５は、温度変化補償を行わず、画像入力部１１から出力された画像データをそのまま画像出力部１６に供給する。即ち学習装置１０１は、温度変化補償部１５がそのように動作するように制御を行なう。

画素値がある階調値に固定された画像データとは、特定の発光素子の画素値のみが当該階調値に固定された画像データであっても良く、複数の発光素子、例えば画像表示部２を構成する全ての発光素子の画素値が当該階調値に固定された画像データであっても良い。複数の発光素子の画素値が当該階調値に固定された画像データを用いる場合には、上記の発光素子の温度としては、いずれか１個の発光素子の温度を用いても良く、複数の発光素子の温度の平均を用いても良い。

第２の方法で変換テーブルＣＡを作成する場合には、学習装置１０１は、周辺温度測定部３から測定値Ｔｍａの通知を受ける必要がある。上記のように上昇温度の算出に周辺温度の測定値を用いるためである。周辺温度測定部３から学習装置１０１への測定値の通知が図１０には点線で示してある。

なお、変換テーブルＣＡの作成のため、画素値が固定された画像データの時系列ＳＦを入力して、発光素子の温度の測定値Ｔｍｆを取得する際、周辺温度を一定に維持するのが望ましいが、この点は必須ではない。要するに、周辺温度の測定値Ｔｍａと発光素子の温度の測定値Ｔｍｆとから上昇温度Ｔｍｕを求めることができれば良い。

第２の方法における重みの組ＷＳの決定においては、上記のようにして作成された変換テーブルＣＡを用いて算出される発光素子の温度の推定値Ｔｍｅの、測定値Ｔｍｆに対する差が最小となるように重みの組ＷＳが定められる。

具体的には、予め用意された複数個の学習入力データの組ＬＤＳを順に選択し、周辺温度が選択されている学習入力データの組ＬＤＳの周辺温度の設定値Ｔｍｓに維持されており、選択されている学習入力データの組ＬＤＳの画像データの時系列ＳＦが入力されたときの発光素子の温度の測定値Ｔｍｆと推定値Ｔｍｅとの差を誤差ＥＲとして求め、上記の複数個の学習入力データの組ＬＤＳについての上記の誤差ＥＲの総和ＥＳをコスト関数として求め、該コスト関数が最小となるように学習することで重みの組ＷＳを決定する。

上記の第１の方法及び第２の方法のいずれにおいても、誤差ＥＲの総和ＥＳとしては誤差ＥＲの絶対値の和又は誤差ＥＲの２乗の和を用いることができる。
また、周辺温度を上記の設定値Ｔｍｓに維持するための制御は、学習装置１０１が温度制御装置１０３に設定値Ｔｍｓを通知し、温度制御装置１０３が周辺温度を設定値Ｔｍｓに維持するように動作することよって行われる。

学習が終了したら、素子温度測定部１０２の温度センサーは、取り外され、画像表示装置は、該温度センサーが取り外された状態で画像表示のために使用される。
即ち、画像表示のために利用される際は、画像表示装置は、発光素子の温度を検知する温度センサーを必要としない。発光素子の温度を検知する温度センサーがなくても、素子温度推定部１３で発光素子の温度を推定することができるためである。

学習装置１０１は、学習の終了後には取り外されても良く、装着されたままであっても良い。
特に、学習装置１０１の機能がプロセッサ９１によるプログラムの実行によって実現される場合には、該プログラムは、メモリ９２に記憶されたままであっても良い。

上記した学習装置１０１が図３のコンピュータで構成されている場合の、プロセッサ９１による処理の手順を図１１、図１２及び図１３を参照して説明する。

図１１は、上記の第１の方法が用いられる場合の処理の手順を示す。
ステップＳＴ２０１では、学習装置１０１は、予め用意された複数個の重みの組ＷＳと変換テーブルＣＡの組合せから、一つの組合せを選択する。学習装置１０１は、選択した組合せの重みの組ＷＳを重み格納部３１に仮に設定し、選択した組合せの変換テーブルＣＡを変換テーブル格納部３３に仮に設定する。

ステップＳＴ２０２では、学習装置１０１は、予め用意された複数個の、周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦとの組合せから、一つの組合せを選択する。

ステップＳＴ２０３では、学習装置１０１は、周辺温度が、ステップＳＴ２０２で選択した組合せの周辺温度の設定値Ｔｍｓに維持されるように温度制御を行う。具体的には、学習装置１０１は、温度制御装置１０３に温度制御を行なわせる。

ステップＳＴ２０４では、学習装置１０１は、ステップＳＴ２０２で選択した組合せの画像データの時系列ＳＦを入力する。具体的には、学習装置１０１は、画像データの時系列ＳＦを、画像入力部１１に入力する。入力された画像データの時系列ＳＦは、入力画像格納部１２を介して素子温度推定部１３に供給されるとともに、温度変化補償部１５に供給される。

ステップＳＴ２０５では、学習装置１０１は、発光素子の温度の測定値Ｔｍｆを取得する。ここで取得される測定値Ｔｍｆは、素子温度測定部１０２による測定値であり、周辺温度が選択されている組合せの周辺温度の設定値Ｔｍｓに制御され、選択されている組合せの画像データの時系列ＳＦが入力され、画像表示部２が時系列ＳＦに含まれる画像データに応じて画像を表示したときの発光素子の温度の測定値である。

ステップＳＴ２０６では、学習装置１０１は、発光素子温度の推定値Ｔｍｅを取得する。ここで取得される推定値Ｔｍｅは、周辺温度が選択されている組合せの周辺温度の設定値Ｔｍｓに制御され、選択されている組合せの画像データの時系列ＳＦが入力されたときに、素子温度推定部１３が、選択されている重みの組ＷＳ及び変換テーブルＣＡを用いて算出した推定値である。選択されている重みの組ＷＳは、重み格納部３１に仮に設定されている重みの組ＷＳであり、選択されている変換テーブルＣＡは、変換テーブル格納部３３に仮に設定されている変換テーブルＣＡである。

ステップＳＴ２０７では、学習装置１０１は、ステップＳＴ２０５で取得した測定値ＴｍｆとステップＳＴ２０６で取得した推定値Ｔｍｅとの差を誤差ＥＲとして求める。

ステップＳＴ２０８では、学習装置１０１は、上記の複数個の周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦとの組合せの全てについて、ステップＳＴ２０２～ＳＴ２０７の処理が終わったか否かを判定する。
複数個の組合せの全てについて上記の処理が終わっていなければ、ステップＳＴ２０２に戻る。

その結果、ステップＳＴ２０２では、次の周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦとの組合せが選択され、ステップＳＴ２０３～ＳＴ２０７では、選択された組合せについて、上記と同様の処理が繰り返され、誤差ＥＲが求められる。

ステップＳＴ２０８で複数個の組合せの全てについてステップＳＴ２０３～ＳＴ２０７の処理が終わっていれば、ステップＳＴ２０９に進む。
ステップＳＴ２０９では、学習装置１０１は、上記の誤差ＥＲの総和（複数個の組合せについての総和）ＥＳをコスト関数として求める。
誤差ＥＲの総和ＥＳとしては誤差ＥＲの絶対値の和又は誤差ＥＲの２乗の和を用いることができる。

次にステップＳＴ２１０では、学習装置１０１は、重みの組ＷＳと変換テーブルＣＡとの複数個の組合せの全てが選択されたか否かの判定を行なう。
全てが選択されていなければ、ステップＳＴ２０１に戻る。
この場合、ステップＳＴ２０１では、重みの組ＷＳと変換テーブルＣＡの組合せのうち、いまだ選択されていない組合せが選択される。

ステップＳＴ２１０で、全てが選択されていれば、ステップＳＴ２１１に進む。
ステップＳＴ２１１では、学習装置１０１は、上記のステップＳＴ２０９で求められたコスト関数が最小となる重みの組ＷＳと変換テーブルＣＡとの組合せを最適な組合せとして採用する。

学習装置１０１は、採用した組合せの重みの組ＷＳを重み格納部３１に書き込み、採用した組合せの変換テーブルＣＡを変換テーブル格納部３３に書き込む。
以上で、重みの組と変換テーブルの組合せの最適化の処理が終わる。

図１２及び図１３は、上記の第２の方法が用いられる場合の処理の手順を示す。
図１２に示されるステップＳＴ３０１～ＳＴ３０７で、変換テーブルＣＡを決定し、図１３に示されるステップＳＴ３１１～ＳＴ３２０で、重みの組ＷＳの決定を行う。

まず、図１２のステップＳＴ３０１では、学習装置１０１は、予め用意された複数の階調値から一つを選択する。

ステップＳＴ３０２では、学習装置１０１は、画素値が固定された画像データの時系列を画像入力部１１に入力する。これとともに、学習装置１０１は、温度変化補償部１５を制御して、温度変化補償の動作を行わず、画像入力部１１からの入力をそのまま画像出力部１６に供給する状態にする。入力画像格納部１２及び素子温度推定部１３はそれぞれ動作を継続した状態であっても良く、動作を停止した状態としても良い。

ステップＳＴ３０３では、学習装置１０１は、周辺温度の測定値Ｔｍａを取得する。ここで取得される測定値Ｔｍａは、周辺温度測定部３による測定値である。

ステップＳＴ３０４では、学習装置１０１は、発光素子の温度の測定値Ｔｍｆを取得する。ここで取得される測定値Ｔｍｆは、素子温度測定部１０２による測定値であり、選択されている階調値の画像データの時系列が入力され、画像表示部２が、画素値が選択されている階調値に固定された画像データに応じて画像を表示したときの発光素子の温度の測定値である。

上記のように、画素値がある階調値に固定された画像データとは、特定の発光素子の画素値のみが当該階調値に固定された画像データであっても良く、複数の発光素子、例えば画像表示部２を構成する全ての発光素子の画素値が当該階調値に固定された画像データであっても良い。複数の発光素子の画素値が当該階調値に固定された画像データが入力される場合には、上記の発光素子の温度の測定値としては、いずれか１個の発光素子の温度を取得しても良く、複数の発光素子の温度の平均を取得しても良い。

ステップＳＴ３０５では、学習装置１０１は、ステップＳＴ３０３及びＳＴ３０４で取得した測定値Ｔｍａ及びＴｍｆから上昇温度Ｔｍｕを算出する。上昇温度Ｔｍｕは、発光素子の温度の測定値Ｔｍｆから周辺温度の測定値Ｔｍａを減算することで求められる。

ステップＳＴ３０６では、学習装置１０１は、予め用意された複数の階調値が全て選択されたか否かを判定する。
全てが選択されていなければ、ステップＳＴ３０１に戻る。
この場合、ステップＳＴ３０１では、複数の階調値のうち、いまだ選択されていない階調値が選択される。

ステップＳＴ３０６で、複数の階調値が全て選択されていれば、ステップＳＴ３０７に進む。
ステップＳＴ３０７では、学習装置１０１は、複数の階調値と、該複数の階調値について算出された上昇温度Ｔｍｕとから、加重平均ＦＡと上昇温度Ｔｍｕとの関係を示す変換テーブルＣＡを決定する。
階調値が固定された画像が連続して入力される場合、加重平均ＦＡは当該固定された階調値に等しい。従って、階調値と上昇温度Ｔｍｕとの関係は、加重平均ＦＡと上昇温度Ｔｍｕとの関係に相当し、階調値と上昇温度との関係から、上記の変換テーブルＣＡを決定することができる。
学習装置１０１は、決定した変換テーブルＣＡを変換テーブル格納部３３に書き込む。

図１３のステップＳＴ３１１では、学習装置１０１は、予め用意された複数個の重みの組ＷＳから、一つの重みの組を選択する。学習装置１０１は、選択した組合せの重みの組ＷＳを重み格納部３１に仮に設定する。

ステップＳＴ２０２～ＳＴ２０９の処理は、図１１のステップＳＴ２０２～ＳＴ２０９の処理と同じである。
即ち、ステップＳＴ２０２では、予め用意された複数個の、周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦとの組合せから、一つの組合せが選択される。

ステップＳＴ２０３では、周辺温度が、ステップＳＴ２０２で選択された組合せの周辺温度の設定値Ｔｍｓに維持されるように温度制御が行なわれる。
ステップＳＴ２０４では、ステップＳＴ２０２で選択された組合せの画像データの時系列ＳＦが入力される。

ステップＳＴ２０５では、発光素子の温度の測定値Ｔｍｆが取得される。
ステップＳＴ２０６では、発光素子の温度の推定値Ｔｍｅが取得される。
ステップＳＴ２０７では、上記の測定値Ｔｍｆと推定値Ｔｍｅとの差が誤差ＥＲとして求められる。

ステップＳＴ２０８では、上記の複数個の周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦとの組合せの全てについて、ステップＳＴ２０２～ＳＴ２０７の処理が終わったか否かが判定される。
複数個の組合せの全てについて上記の処理が終わっていれば、ステップＳＴ２０９に進む。
ステップＳＴ２０９では、上記の誤差ＥＲの総和（複数個の組合せについての総和）ＥＳがコスト関数として求められる。

ステップＳＴ３２０では、重みの組ＷＳの全てが選択されたか否かが判定される。
全てが選択されていれば、ステップＳＴ３２１に進む。
ステップＳＴ３２１では、上記のステップＳＴ２０９で求められたコスト関数が最小となる重みの組ＷＳが最適な組として採用される。
以上で、重みの組の最適化の処理が終わる。

以上のように、本実施の形態１に係る画像処理装置は、該画像処理装置を備える画像表示装置が、各発光素子に温度センサーを備えたものでなくても良く、各発光素子の温度を推定することができ、温度の変化による輝度及び色度のムラの発生を防ぐことができる。

実施の形態２．
図１４は、本発明の実施の形態２の画像処理装置１ｂを備えた画像表示装置を示す図である。
図１４に示される画像処理装置１ｂは、図１の画像処理装置１と概して同じであるが、ばらつき補正係数格納部１７及びばらつき補正部１８が付加されている。
画像処理装置１ｂは、画像処理装置１と同様に、例えば図３に示されるコンピュータで構成されていても良い。

発光素子相互間には、発生する光の輝度或いは色度のばらつきが存在する。
ばらつき補正係数格納部１７は、発光素子毎のばらつき補正係数、即ち、発光素子毎の輝度及び色のばらつきを補正するための係数を格納している。例えば、各発光素子につき９個の補正係数β_１～β_９を持つ。

ばらつき補正部１８は、温度変化補償部１５から出力された画像データＤｂとばらつき補正係数格納部１７に格納されている補正係数β_１～β_９とに基づいて、下記の式（４ａ）、（４ｂ）及び（４ｃ）に示される演算を行なって、発光素子のばらつきが補正された画像データＤｃを生成して出力する。

Ｒｃ（ｘ，ｙ）
＝β_１（ｘ，ｙ）×Ｒｂ（ｘ，ｙ）＋β_２（ｘ，ｙ）×Ｇｂ（ｘ，ｙ）
＋β_３（ｘ，ｙ）×Ｂｂ（ｘ，ｙ） 式（４ａ）
Ｇｃ（ｘ，ｙ）
＝β_４（ｘ，ｙ）×Ｒｂ（ｘ，ｙ）＋β_５（ｘ，ｙ）×Ｇｂ（ｘ，ｙ）
＋β_６（ｘ，ｙ）×Ｂｂ（ｘ，ｙ） 式（４ｂ）
Ｂｃ（ｘ，ｙ）
＝β_７（ｘ，ｙ）×Ｒｂ（ｘ，ｙ）＋β_８（ｘ，ｙ）×Ｇｂ（ｘ，ｙ）
＋β_９（ｘ，ｙ）×Ｂｂ（ｘ，ｙ） 式（４ｃ）

式（４ａ）～（４ｃ）で、
Ｒｂ（ｘ，ｙ）、Ｇｂ（ｘ，ｙ）及びＢｂ（ｘ，ｙ）は、ばらつき補正部１８に入力される画像データＤｂの注目画素の赤、緑及び青の画素値を示す。
Ｒｃ（ｘ，ｙ）、Ｇｃ（ｘ，ｙ）及びＢｃ（ｘ，ｙ）は、ばらつき補正部１８から出力される、補正された画像データＤｃの赤、緑及び青の画素値を示す。
β_１（ｘ，ｙ）～β_９（ｘ，ｙ）は、注目画素についての補正係数を示す。

画像出力部１６は、ばらつき補正部１８から出力された画像データＤｃを、画像表示部２の表示方式に合致したフォーマットの信号に変換し、変換後の画像信号Ｄｏを出力する。
画像表示部２の発光素子がＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）駆動で発光するのであれば、画像データの階調値をＰＷＭ信号に変換する。

画像表示部２は画像信号Ｄｏに基づいて画像を表示する。表示される画像は、温度による輝度及び色度の変化が画素毎に補償され、かつ発光素子のばらつきが補正されたものとなる。従って、輝度ムラ及び色ムラのない画像が表示される。

上記した画像処理装置１ｂが図３のコンピュータで構成されている場合の、プロセッサ９１による処理の手順を図１５を参照して説明する。

図１５は、図８と概して同じであるが、ステップＳＴ７が付加されている。
ステップＳＴ７では、ばらつき補正が行われる。この処理は、図１４のばらつき補正部１８による処理と同様である。

実施の形態２の画像処理装置１ｂの素子温度推定部１３で用いられる重みの組ＷＳ及び変換テーブルＣＡは、実施の形態１で説明したのと同様の機械学習により決定される。

以上のように、本実施の形態２に係る画像処理装置は、実施の形態１と同様に、該画像処理装置を備える画像表示装置が、各発光素子に温度センサーを備えたものでなくても良く、各発光素子の温度を推定することができ、温度の変化による輝度及び色度のムラの発生を防ぐことができる。また、発光素子毎のばらつきを補正することができる。

実施の形態３．
図１６は、本発明の実施の形態３の画像処理装置１ｃを備えた画像表示装置を示す図である。
図１６に示される画像処理装置１ｃは、図１４の画像処理装置１ｂと概して同じであるが、素子温度推定部１３の代わりに、素子温度推定部１３ｃが設けられている。
画像処理装置１ｃは、画像処理装置１ｂと同様に、その一部又は全部が処理回路で構成されていても良い。処理回路は、ハードウェアで構成されていても良く、ソフトウェアで、即ちプログラムされたコンピュータで構成されていても良い。
画像処理装置１ｃの各部分の機能のうち、一部がハードウェアで実現され、他の一部がソフトウェアで実現されていても良い。
画像処理装置１ｃがコンピュータで構成される場合、コンピュータは例えば図３に示されるものであっても良い。

素子温度推定部１３ｃは、周辺温度測定部３で測定された周辺温度Ｔｍａと入力画像格納部１２から出力された、複数フレームの画像データで構成される画像データの時系列とに基づいて各発光素子の温度を推定して、推定値Ｔｍｅを出力する。
素子温度推定部１３ｃは、ニューラルネットワークで構成されている。図１７にはそのようなニューラルネットワークの一例が示されている。

図示のニューラルネットワークは、周辺温度測定部３で測定された周辺温度Ｔｍａと入力画像格納部１２から出力された画像データの時系列（時系列を構成する画像データで表される画素値）とを入力とし、画像表示部２の各発光素子の温度の推定値を出力とする。

図示のニューラルネットワークは、入力層Ｌａと、中間層（隠れ層）Ｌｂと、出力層Ｌｃとを有する。図示の例では、中間層の数は２であるが中間層の数は、１であっても良く３以上であっても良い。

入力層ＬａのニューロンＰの各々には、周辺温度Ｔｍａ又は時系列を構成する画像データで表される画素値のいずれかが割り当てられており、各ニューロンには、割り当てられた周辺温度Ｔｍａ又は画素値が入力される。入力層Ｌａのニューロンは入力をそのまま出力する。

出力層ＬｃのニューロンＰは、それぞれ画像表示部２の発光素子に対応して設けられている。出力層ＬｃのニューロンＰは各々複数のビット、例えば１０ビットから成り、対応する発光素子の温度推定値を示すデータを出力する。
図１７には、画素位置（１,１）から（ｘ_ｍａｘ,ｙ_ｍａｘ）までの発光素子の温度推定値が符号Ｔｍｅ（１,１）～Ｔｍｅ（ｘ_ｍａｘ,ｙ_ｍａｘ）で示されている。
（１,１）は表示画面の左上隅の画素位置を示し、（ｘ_ｍａｘ,ｙ_ｍａｘ）は表示画面の右下隅の画素位置を表す。

中間層Ｌｂ及び出力層ＬｃのニューロンＰは、各々複数の入力に対して下記のモデル式で表される演算を行う。

ｙ＝ｓ（ｗ_１×ｘ_１＋ｗ_２×ｘ_２＋・・・・＋ｗ_Ｎ×ｘ_Ｎ＋ｂ） 式（５）
式（５）で、Ｎは、ニューロンＰへの入力の数であり、ニューロン相互間で同じとは限らない。
ｘ_１～ｘ_ＮはニューロンＰの入力データ、
ｗ_１～ｗ_Ｎは入力ｘ_１～ｘ_Ｎに対する重み、
ｂはバイアスである。
重み及びバイアスは、学習により定められている。
以下では、重み及びバイアスを纏めてパラメータと言う。

関数ｓ（ａ）は、活性化関数である。
活性化関数は、例えば、ａが０以下であれば０を出力し、それ以外であれば１を出力するステップ関数であっても良い。
活性化関数ｓ（ａ）は、ａが０以下であれば０を出力し、それ以外なら入力値ａを出力するＲｅＬＵ関数であっても良く、入力値ａをそのまま出力値とする恒等関数でもよく、ジグモイド関数であっても良い。

上記のように、入力層Ｌａのニューロンは入力をそのまま出力するものであるので、入力層Ｌａのニューロンで用いられる活性化関数は恒等関数であると言える。

例えば、中間層Ｌｂでは、ステップ関数又はジグモイド関数を用い、出力層ではＲｅＬＵ関数を用いても良い。また、同じ層内のニューロン相互間で異なる活性化関数が用いられていても良い。
ニューロンＰの数、層の数（段階数）は、図１７に示される例に限定されない。

上記した画像処理装置１ｃが図３のコンピュータで構成されている場合の、プロセッサ９１による処理の手順を図１８を参照して説明する。

図１８は、図１５と概して同じであるが、ステップＳＴ３の代わりにステップＳＴ３ｃが含まれている。
ステップＳＴ３ｃでは、各発光素子の温度を推定する。この処理は、図１６の素子温度推定部１３ｃにおける処理と同様である。

素子温度推定部１３ｃを構成するニューラルネットワークは、機械学習により生成される。
機械学習のための学習装置は、図１６の画像表示装置に接続されて使用される。
図１９は、図１６の画像表示装置に接続された学習装置１０１ｃを示す。図１９は、学習装置１０１ｃとともに用いられる素子温度測定部１０２及び温度制御装置１０３をも示す。

素子温度測定部１０２及び温度制御装置１０３は実施の形態１で説明したのと同様のものである。

学習装置１０１ｃは、コンピュータで構成されていても良い。画像処理装置１ｃがコンピュータで構成される場合、同じコンピュータが学習装置１０１ｃを構成していても良い。学習装置１０１ｃを構成するコンピュータは、例えば図３に示されるものであっても良い。その場合、学習装置１０１ｃの機能はプロセッサ９１がメモリ９２に記憶されているプログラムを実行することで実現されるものであっても良い。

学習装置１０１ｃは、画像処理装置１ｃを動作させ、素子温度推定部１３ｃで算出された発光素子の温度（推定値）Ｔｍｅが、素子温度測定部１０２で測定された発光素子の温度（測定値）Ｔｍｆに近くなるように学習を行う。
学習には、周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦとで構成される学習入力データの組ＬＤＳが複数個用いられる。

学習装置１０１ｃは、予め用意された複数個の学習入力データの組ＬＤＳを順に選択し、温度制御装置１０３に、周辺温度を選択されている学習入力データの組ＬＤＳに含まれる周辺温度の設定値Ｔｍｓに維持するように制御させ、選択されている学習入力データの組ＬＤＳに含まれる画像データの時系列ＳＦを画像入力部１１に入力し、素子温度推定部１３ｃで算出された発光素子の温度の推定値Ｔｍｅと素子温度測定部１０２で測定された発光素子の温度の測定値Ｔｍｆとを取得し、推定値Ｔｍｅが測定値Ｔｍｆに近くなるように学習を行う。

学習入力データの組ＬＤＳを構成する画像データの時系列ＳＦは、画像表示装置が画像表示を行う際に素子温度推定部１３ｃにおける温度の推定に用いられる画像データのフレーム数（Ｍ＋１）と同じフレーム数の画像データで構成される。
複数個の学習入力データの組ＬＤＳ相互間では、周辺温度の設定値Ｔｍｓ又は画像データの時系列ＳＦの少なくとも一方が異なる。

学習装置１０１ｃによるニューラルネットワークの生成においては、まず元となるニューラルネットワークを用意する。即ち、素子温度推定部１３ｃを、元となるニューラルネットワークで仮に構築する。このニューラルネットワークは、図１７に示されるニューラルネットワークと同様のものであるが、中間層及び出力層のニューロンの各々は、その前段の層の全てのニューロンに結合されている。

ニューラルネットワークの生成においては、複数のニューロンの各々についてパラメータ（重み及びバイアス）の値を定める必要がある。複数のニューロンについてのパラメータの集合をパラメータの組と言い、符号ＰＳで表す。

ニューラルネットワークの生成においては、上記の元となるニューラルネットワークを用いて、発光素子の温度の推定値Ｔｍｅの、測定値Ｔｍｆに対する差が最小となるように、パラメータの組ＰＳの最適化を行う。最適化は例えば誤差逆伝搬法により行い得る。

具体的には、予め定められた周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦとで構成される学習入力データの組ＬＤＳを複数個用意し、パラメータの組ＰＳの初期値を設定し、上記の学習入力データの組ＬＤＳを順に選択し、周辺温度が選択されている学習入力データの組ＬＤＳの周辺温度の設定値Ｔｍｓに維持されており、選択されている学習入力データの組ＬＤＳの画像データの時系列ＳＦが入力されたときの、発光素子の温度の測定値Ｔｍｆと推定値Ｔｍｅとの差を誤差ＥＲとして求め、複数個の学習データの組ＬＤＳについての上記の誤差ＥＲの総和ＥＳをコスト関数として求め、上記のコスト関数が閾値よりも大きければ、上記のコスト関数がより小さくなるように、パラメータの組ＰＳを変更する。以上の処理を、コスト関数が閾値以下となるまで繰り返す。パラメータの組ＰＳの変更は、勾配降下法で行い得る。
誤差ＥＲの総和ＥＳとしては誤差ＥＲの絶対値の和又は誤差ＥＲの２乗の和を用いることができる。

パラメータの組ＰＳの最適化の後、重みがゼロとなったシナプス結合（ニューロン間の結合）を切断する。

学習が終了したら、素子温度測定部１０２の温度センサーは、取り外され、画像表示装置は、該温度センサーが取り外された状態で使用される。
即ち、画像表示のために利用される際は、画像表示装置は、発光素子の温度を検知する温度センサーを必要としない。発光素子の温度を検知する温度センサーがなくても、素子温度推定部１３ｃで発光素子の温度を推定することができるためである。

学習装置１０１ｃは、学習の終了後には取り外されても良く、装着されたままであっても良い。
特に、学習装置１０１ｃの機能がプロセッサ９１によるプログラムの実行によって実現される場合には、該プログラムは、メモリ９２に記憶されたままであっても良い。

上記した学習装置１０１ｃが図３のコンピュータで構成されている場合の、プロセッサ９１による処理の手順を図２０及び図２１を参照して説明する。

図２０のステップＳＴ４００では、学習装置１０１ｃは、元となるニューラルネットワークを用意する。即ち、素子温度推定部１３ｃを元となるニューラルネットワークで仮に構築する。
このニューラルネットワークは、図１７に示されるニューラルネットワークと同様のものであるが、中間層及び出力層のニューロンの各々は、その前段の層の全てのニューロンに結合されている。

ステップＳＴ４０１では、学習装置１０１ｃは、ステップＳＴ４００で用意されたニューラルネットワークの中間層及び出力層のニューロンの各々における演算で用いられるパラメータ（重み及びバイアス）の組ＰＳの初期値を設定する。
初期値はランダムに選択された値であっても良く、適切と予想される値であっても良い。

ステップＳＴ２０２～ＳＴ２０９の処理は、図１１のステップＳＴ２０２～ＳＴ２０９の処理と同じである。
即ち、ステップＳＴ２０２では、学習装置１０１ｃは、予め用意された複数個の、周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦとの組合せから、一つの組合せを選択する。
ステップＳＴ２０３では、学習装置１０１ｃは、周辺温度が、ステップＳＴ２０２で選択した組合せの周辺温度の設定値Ｔｍｓに維持されるように温度制御を行なう。

ステップＳＴ２０４では、学習装置１０１ｃは、ステップＳＴ２０２で選択した組合せの画像データの時系列ＳＦを入力する。
ステップＳＴ２０５では、学習装置１０１ｃは、発光素子の温度の測定値Ｔｍｆを取得する。

ステップＳＴ２０６では、学習装置１０１ｃは、発光素子温度の推定値Ｔｍｅを取得する。ここで取得される推定値Ｔｍｅは、周辺温度が選択されている組合せの周辺温度の設定値Ｔｍｓに制御され、選択されている組合せの画像データの時系列ＳＦが入力されたときに、素子温度推定部１３ｃが、設定されているパラメータの組ＰＳを用いて算出した推定値である。

ステップＳＴ２０７では、学習装置１０１ｃは、ステップＳＴ２０５で取得した測定値ＴｍｆとステップＳＴ２０６で取得した推定値Ｔｍｅとの差を誤差ＥＲとして求める。

図２１のステップＳＴ２０８では、学習装置１０１ｃは、上記の複数個の周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦとの組合せの全てについて、ステップＳＴ２０２～ＳＴ２０７の処理が終わったか否かを判定する。
複数個の組合せの全てについて上記の処理が終わっていなければ、ステップＳＴ２０２に戻る。

複数個の組合せの全てについて上記の処理が終わっていれば、ステップＳＴ２０９に進む。
ステップＳＴ２０９では、学習装置１０１ｃは、上記の誤差ＥＲの総和（複数個の組合せについての総和）ＥＳをコスト関数として求める。
誤差ＥＲの総和ＥＳとしては誤差ＥＲの絶対値の和又は誤差ＥＲの２乗の和を用いることができる。

次にステップＳＴ４１０では、学習装置１０１ｃは、コスト関数が予め定められた値以下であるか否かの判定を行なう。
ステップＳＴ４１０でコスト関数が閾値よりも大きければ、ステップＳＴ４１１に進む。

ステップＳＴ４１１では、学習装置１０１ｃは、パラメータの組ＰＳを変更する。
変更は、コスト関数がより小さくなるように行う。
変更に当たっては勾配降下法を用い得る。
変更後、ステップＳＴ２０２に戻る。

ステップＳＴ４１０で、コスト関数が閾値以下であれば、ステップＳＴ４１２に進む。
ステップＳＴ４１２では、学習装置１０１ｃは、設定されているパラメータの組ＰＳ、即ち直前のステップＳＴ２０６における推定値の算出で用いられたパラメータの組ＰＳを、最適なパラメータの組として採用する。

ステップＳＴ４１３では、採用されたパラメータの組ＰＳに含まれる重みがゼロとなったシナプス結合を切断する。
以上で、ニューラルネットワークの生成の処理が終わる。
即ち、素子温度推定部１３ｃは、以上の処理で生成されたニューラルネットワークによって構成されたものとなる。

上記のステップＳＴ４１３における結合の切断を行うことで、ニューラルネットワークの構成がより簡単なものとなり、画像表示の際の温度推定の演算がより簡単となる。

以上のように、本実施の形態３に係る画像処理装置は、実施の形態１及び２と同様に、該画像処理装置を備える画像表示装置が、各発光素子に温度センサーを備えたものでなくても良く、各発光素子の温度を推定することができ、温度の変化による輝度及び色度のムラの発生を防ぐことができる。また、実施の形態２と同様に、発光素子毎のばらつきを補正することができる。

本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではなく、種々の変形が可能である。

例えば、上記の例では、発光素子が赤、緑及び青の３つのＬＥＤで構成されているが、発光素子を構成するＬＥＤの数は３に限定されない。要するに複数個のＬＥＤで発光素子が構成されていれば良い。

また、画像処理装置が、輝度及び色度の双方の補償を行うものであるとして説明したが、画像処理装置は、輝度及び色度の少なくとも一方の補償を行うものであれば良い。

また、実施の形態１に関し図１１及び図１３を参照して説明した手順及び実施の形態３に関し図２０を参照して説明した手順では、ステップＳＴ２０２で周辺温度の設定値Ｔｍｓと画像データの時系列ＳＦの組合せを選択し、選択した組合せについて、ステップＳＴ２０３～ＳＴ２０７の処理を行うこととしている。即ち、画像データの時系列は、一つの時系列の入力が終わってから次の時系列の入力が開始されるものとしている。
しかしながら、画像データの時系列に対する処理は、上記の方法に限定されない。例えば、複数の画像データの時系列は、部分的に重なり合うものであっても良い。例えば、上記したＭ＋１フレームよりも多いフレーム数の画像データを供給し、あるフレームから始まるＭ＋１フレームの画像データを1つの時系列として用い、上記のあるフレームの次のフレームから始まるＭ＋１フレームの画像データを別の一つの時系列として用いる処理を繰り返すこととしても良い。この場合、上記のステップＳＴ２０２からステップＳＴ２０７の処理が複数の異なる時系列について並行に行われることになる。

実施の形態１～３では、重み及び変換テーブルの最適化、或いはニューラルネットワークの生成のための学習に際し、画像表示部２の周辺温度を制御することとしている。画像表示部２のサイズが大きくて、その全体を空調可能な空間内に収めるのが困難な場合がある。その場合、画像表示部が複数の分割ユニットを連結することで構成されるものであれば、分割ユニット毎に学習を行うこととしても良い。

以上本発明の画像処理装置について説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。また、上記の画像処理装置又は画像処理方法における処理をコンピュータに実行させるプログラム及び該プログラムを記録した、コンピュータで読取可能な記録媒体、例えば非一時的な記録媒体もまた本発明の一部を成す。

１ 画像処理装置、 ２ 画像表示部、 ３ 周辺温度測定部、 ９ コンピュータ、 １１ 画像入力部、 １２ 入力画像格納部、 １３，１３ｃ 素子温度推定部、 １４ 補償テーブル格納部、 １５ 温度変化補償部、 １６ 画像出力部、 ３１ 重み格納部、 ３２ 平均算出部、 ３３ 変換テーブル格納部、 ３４ 温度算出部、 １７ ばらつき補正係数格納部、 １８ ばらつき補正部、 ９１ プロセッサ、 ９２ メモリ、 １０１，１０ｃ 学習装置、 １０２ 素子温度測定部、 １０３ 温度制御装置。

Claims (17)

1. 各々複数のＬＥＤを含む複数の発光素子が配列された画像表示部の輝度及び色の少なくとも一方のムラを補正する画像処理装置において、
   現フレームを含む直近の複数フレームの入力画像の画像データと、前記画像表示部の周辺温度とから各発光素子の温度を推定する素子温度推定部と、
   各発光素子の温度に基づいて現フレームの入力画像の画像データを補正することで、当該発光素子の輝度及び色度の少なくとも一方のムラを補正する温度変化補償部とを備え、
   前記素子温度推定部は、
   前記複数フレームの入力画像の画像データと前記発光素子の温度の測定値との関係に基づいて、前記発光素子の温度を推定する
   ことを特徴とする画像処理装置。
2. 前記素子温度推定部は、
   前記直近の複数フレームの入力画像の画像データに対する重みを格納する重み格納部を備え、
   前記重みを用いて前記直近の複数フレームの入力画像の画像データの加重平均を算出し、前記加重平均と前記周辺温度とに基づいて各発光素子の温度を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記重み格納部に格納されている前記重みのうち、現在時刻により近い入力画像の画像データのための重みほどより大きな値を有する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記素子温度推定部での温度の推定は、
   前記複数フレームの入力画像の画像データを入力データとし、前記発光素子の温度の測定値を推定した推定値を出力データとするデータセットを用いた機械学習を実行する学習装置の実行結果に基づいて行われる
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記重み格納部に格納されている前記重みの組は、
   周辺温度の設定値と画像データの時系列とで構成される学習入力データの組を複数個用いた学習により定められたものである
   ことを特徴とする請求項２又は３に記載の画像処理装置。
6. 前記素子温度推定部は、
   前記加重平均と前記発光素子の上昇温度とを対応付ける変換テーブルを格納する変換テーブル格納部をさらに備え、
   前記素子温度推定部は、前記変換テーブルを参照することで、前記加重平均に対応する前記発光素子の上昇温度を求め、前記上昇温度と前記周辺温度とに基づいて前記発光素子の温度を算出し、
   前記変換テーブルは、前記複数個の学習入力データの組を用いた学習により定められたものである
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記重み及び前記変換テーブルは、前記複数個の学習入力データの組を順に選択し、前記周辺温度が選択されている学習入力データの組の周辺温度の設定値に維持されており、選択されている学習入力データの組の画像データの時系列が入力されたときの前記発光素子の温度の測定値と推定値との差を求め、前記複数個の学習入力データの組についての上記の差の総和が最小となるように学習した結果得られたものである
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記変換テーブルは、複数の階調値のうちの各々について、画素値が当該階調値に固定された画像データの時系列が入力されたときの、前記発光素子の温度の測定値と前記周辺温度との差を上昇温度として求めることで得られたものであり、
   前記重みは、前記複数個の学習入力データの組を順に選択し、前記周辺温度が選択されている学習入力データの組の周辺温度の設定値に維持されており、選択されている学習入力データの組の画像データの時系列が入力されたときの前記発光素子の温度の測定値と推定値との差を求め、前記複数個の学習入力データの組についての上記の差の総和が最小となるように学習した結果得られたものである
   ことを特徴とする請求項６に記載の画像処理装置。
9. 前記素子温度推定部は、各発光素子の温度を推定するに当たり、当該発光素子についての画像データの前記加重平均に加えて、当該発光素子の周囲に位置する１又は２以上の発光素子の各々についての画像データの前記加重平均をも用いる
   ことを特徴とする請求項２、３、及び５から８のいずれか１項に記載の画像処理装置。
10. 前記素子温度推定部は、ニューラルネットワークで構成されており、
    該ニューラルネットワークは、周辺温度の設定値と画像データの時系列とで構成される学習入力データの組を複数個用いた学習により生成されたものである
    ことを特徴とする請求項１に記載の画像処理装置。
11. 各発光素子の輝度及び色度の少なくとも一方の素子ばらつきを補正するばらつき補正部をさらに備える
    ことを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
12. 各発光素子の素子ばらつき補正係数を格納するばらつき補正係数格納部をさらに備え、
    前記ばらつき補正部は、前記温度変化補償部で補正された画像データに対し、前記ばらつき補正係数格納部に格納されている補正係数を用いて補正を行う
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 請求項１から１２のいずれか１項に記載の画像処理装置と、
    前記画像処理装置で処理された画像データに基づいて画像を表示する画像表示部とを備える
    画像表示装置。
14. 各々複数のＬＥＤを含む複数の発光素子が配列された画像表示部の輝度及び色の少なくとも一方のムラを補正する画像処理方法において、
    現フレームを含む直近の複数フレームの入力画像の画像データと、前記画像表示部の周辺温度とから各発光素子の温度を推定し、
    各発光素子の温度に基づいて現フレームの入力画像の画像データを補正することで、当該発光素子の輝度及び色度の少なくとも一方のムラを補正し、
    前記素子温度の推定においては、
    前記複数フレームの入力画像の画像データと前記発光素子の温度の測定値との関係に基づいて、前記発光素子の温度を推定する
    ことを特徴とする画像処理方法。
15. 前記素子温度の推定は、
    前記複数フレームの入力画像の画像データを入力データとし、前記発光素子の温度の測定値を推定した推定値を出力データとするデータセットを用いた機械学習を実行する学習装置の実行結果に基づいて行われる
    ことを特徴とする請求項１４に記載の画像処理方法。
16. 請求項１４又は１５に記載の画像処理方法における処理を、コンピュータに実行させるためのプログラム。
17. 請求項１６に記載のプログラムを記録した、コンピュータで読取り可能な記録媒体。

Images