WO2024084635A1

WO2024084635A1 - 画像データ取得方法、画像データ取得装置、端末装置、表示補正システム

Info

Publication number: WO2024084635A1
Application number: PCT/JP2022/038992
Authority: WO
Inventors: 慶品田; 和樹高橋; 数生中村; 紀行田中
Original assignee: Sharp Display Technology Corp
Current assignee: Sharp Display Technology Corp
Priority date: 2022-10-19
Filing date: 2022-10-19
Publication date: 2024-04-25
Anticipated expiration: 2025-04-19

Abstract

工場出荷時はもとより、経年時であっても、安価な方法で、且つ、撮影装置の撮影範囲における検出輝度の面内分布を考慮した表示パネルの面内輝度ムラの軽減を行うことができる画像データ取得方法、画像データ取得装置、端末装置および表示補正システムを提供することを目的とする。　本開示の画像データ取得方法は、ユーザに対して、撮影装置の撮影部の撮影範囲内で、補正対象である表示パネルの像を撮影するよう指示を出し、さらに、撮影部の撮影範囲内の他の位置に表示パネルの像を移動させた像を複数撮影するように指示を出す第１ステップ（Ｓ１）と、ユーザによって撮影された複数の撮影データを画像データとして取得する第２ステップ（Ｓ２）と、を含む。

Description

画像データ取得方法、画像データ取得装置、端末装置、表示補正システム

　本開示は、輝度補正データを作成するための画像データを取得する画像データ取得方法、画像データ取得装置、端末装置、表示補正システムに関する。

　従来、液晶パネルや自発光パネル（例えば有機ＥＬ（Electro luminescence）パネル等）の表示パネルの面内輝度ムラは、工場出荷時に、Ｄｅｍｕｒａ（パネル面内表示ムラ除去）処理によって軽減させていた。例えば特許文献１では、表示パネルにおいて表示された出力画像を撮影装置によって撮影し、撮影した出力画像データを用いて、表示パネルの面内輝度ムラを軽減させている。

日本国特開２０１１－１５０３４９号公報

　しかしながら、上述のような従来技術では、表示パネルの面内輝度ムラを軽減するために用いる出力画像データが、撮影装置によって撮影されたデータであるため、撮影装置の撮影範囲内における検出輝度の面内分布（撮影系起因のムラ）によっては、表示パネルの面内輝度ムラを適切に軽減できない場合がある。なお、撮影範囲における検出輝度の面内分布が十分に無視できるほど小さな撮影装置を用いれば、あるいは撮影範囲における検出輝度の面内分布を自動調整すれば、撮影によって得られた出力画像データであっても、表示パネルの面内輝度ムラを適切に軽減することができるが、このような撮影装置は高性能であり高価である。

　また、工場出荷時に、Ｄｅｍｕｒａ処理を施し、表示パネルの面内輝度ムラを軽減させても、経年により、表示パネルの面内輝度ムラが再び生じうる。このような場合、再び、特許文献１に記載された技術を用いても、上述したように、表示パネルの面内輝度ムラを適切に軽減できない場合がある。一方で、表示パネルの面内輝度ムラを適切に軽減するための撮影装置は高価かつ設置場所・設置方法等に制約が生じるため、経年での対応に何度も利用するのが現実的ではない(ハードルが高い)という問題が生じる。

　本開示は、上記の課題を解決するためになされたものであり、工場出荷時はもとより、経年時であっても、安価な方法で、且つ、撮影装置の撮影範囲における検出輝度の面内分布を考慮した表示パネルの面内輝度ムラの軽減を行うことができる画像データ取得方法、画像データ取得装置、端末装置および表示補正システムを提供することを目的とする。

　本開示の一態様にかかる画像データ取得方法は、表示装置の表示画面の輝度補正または色度補正を行うための補正データを作成するための画像データの取得方法であって、ユーザに対して、当該ユーザが使用する撮影装置の撮影範囲内で、補正対象である前記表示画面の像を撮影するよう指示を出し、さらに、撮影装置の撮影範囲内の他の位置に移動させた前記表示画面の像を複数撮影するように指示を出す第１ステップと、前記第１ステップにおいて出された指示に基づいて前記ユーザによって撮影された複数の撮影データを画像データとして取得する第２ステップと、を含む。

　本開示の一態様にかかる画像データ取得装置は、表示装置の表示画面の輝度補正または色度補正を行うための輝度補正データを作成するための画像データを取得する画像データ取得装置であって、ユーザに対して、当該ユーザが使用する撮影装置の撮影範囲内で、補正対象である前記表示画面の像を撮影するよう指示を出し、さらに、撮影装置の撮影範囲内の他の位置に移動させた表示画面の像を複数撮影するように指示を出す撮影指示部と、前記撮影指示部の指示に基づいて前記ユーザによって撮影された複数の撮影データを画像データとして取得する撮影データ取得部と、を備える。

　本開示によれば、安価な方法で、且つ、撮影装置の撮影範囲における検出輝度の面内分布を考慮した表示パネルの面内輝度ムラの軽減を行うことができる。

本開示の実施形態１に係るスマートフォンの概略構成ブロック図である。図１に示すスマートフォン内のアプリケーション実行部による輝度補正処理アプリケーションを実行したときの処理の流れを示すフローチャートである。ユーザがスマートフォンを用いて表示装置の表示パネルを撮影しているイメージを示す図である。図１に示すスマートフォンが備えるカメラによる画像データの取得の方法を説明する図である。図４に示す画像の取得の方法によって撮影された画像データの一例を示す図である。図１に示すスマートフォンが備えるカメラが撮影した画像データに含まれる外光反射（写り込み）を除去する方法を説明する図である。図１に示すスマートフォンが備えるカメラが撮影した画像データ内における表示パネル位置変動への対処の方法を説明する図である。図１に示すスマートフォンが備えるカメラが撮影した画像データ内における表示パネル位置変動への対処の他の方法を説明する図である。

　〔実施形態１〕
　本開示の実施形態１について以下に説明する。ここでは、ユーザが使用する端末装置、例えばスマートフォンまたはタブレット端末等の携帯端末によって、表示装置の表示画面の輝度ムラを補正するための補正テーブルを作成する例について説明する。

　（スマートフォン）
　図１は、スマートフォン（撮影装置）１の概略構成ブロック図である。スマートフォン１は、制御部１０、タッチパネル１１、撮影部１２、記憶部１３、通信部（送信部）１４を含んでいる。制御部１０は、スマートフォン１が備える各部を統括制御するものである。制御部１０の詳細は後述する。

　タッチパネル１１は、ユーザのタッチ入力を受け付ける入力部１１１と、画像を表示する表示部１１２とが重畳して形成された入力および表示用パネルである。表示部１１２は、例えば有機ＥＬパネルや、液晶パネル等で構成され、画像やテキスト等によって各種情報を表示する。入力部１１１は、表示部１１２に表示された情報に基づき、スマートフォン１の各種操作を行うためのタッチ入力を受付ける操作部として機能する。

　撮影部１２は、撮像素子（図示せず）を搭載している。撮像素子としては、ＣＣＤ（Charge Coupled Device）センサ、ＣＯＭＳ（Complementary Metal Oxide Semiconductor）センサ等を用いる。

　記憶部１３は、スマートフォン１にて使用される各種データを記憶する記憶デバイスである。例えば、記憶部１３は、制御部１０において実行される輝度補正アプリケーション撮影装置によって生成される輝度補正データ、補正テーブル等を記憶する。

　通信部１４は、補正対象である表示パネルを備えた表示装置と通信可能であり、表示パネルの輝度補正に必要なデータ（補正テーブル等）を送信する。表示装置がスマートフォン１の近くにあれば、通信部１４と表示装置との通信は、Bluetooth（登録商標）通信、赤外線通信等の近距離通信を用いる。通信部１４と表示装置との通信はインターネットを介して行ってもよい。例えば、通信部１４は、インターネットを介してクラウドに表示パネルの輝度補正に必要なデータ（補正テーブル等）を送信し、表示装置は必要に応じてクラウドから表示パネルの輝度補正に必要なデータを受信する。

　制御部１０は、タッチ取得部１０１、表示制御部１０２、撮影制御部１０３、通信制御部１０４、アプリケーション実行部（画像データ取得装置）１０５を含む。

　タッチ取得部１０１は、入力部１１１からタッチを示す電気信号を取得し、当該タッチのタッチ座標を算出するものである。なお本開示において「タッチ座標」は、入力部１１１の入力面におけるタッチ座標（当該タッチパネルの検出解像度における座標）を、表示部１１２の表示面における座標表示面上で、縦横何画素目をタッチしたかを示す値に変換したものを示す。タッチ取得部１０１は算出したタッチ座標をアプリケーション実行部１０５に供給する。また、タッチ取得部１０１は、タッチ座標を時系列で保持することができる。そして、一定時間にわたって連続で入力されたタッチ操作（ドラッグ操作や長押し操作など）の軌跡としてのタッチ情報をアプリケーション実行部１０５に供給する。

　表示制御部１０２は、表示部１１２の表示を制御するものである。表示制御部１０２は、例えば、アプリケーション実行部１０５からの指示に応じて画面を生成し、表示部１１２に表示させる。

　撮影制御部１０３は、撮影部（カメラ）１２の撮影を制御するものである。撮影制御部１０３は、アプリケーション実行部１０５からの指示に基づいて撮影部１２の撮影を制御する。撮影部１２が撮影した撮影データは、撮影制御部１０３を介してアプリケーション実行部１０５に供給される。なお、本開示において、撮影部１２が撮影した撮影データを画像データとして説明する。

　通信制御部１０４は、通信部１４の通信を制御するものである。通信制御部１０４は、スマートフォン１のアプリケーション実行部１０５で生成された輝度補正のためのデータ（補正テーブル等）を補正対象の表示パネルを備えた表示装置に送信する。本開示では、上述したように、例えばBluetooth（登録商標）による通信を実行することにより、表示装置にデータを送信する。

　アプリケーション実行部１０５は、スマートフォン１において各種アプリケーションを実行するものである。具体的には、アプリケーション実行部１０５は、タッチ取得部１０１や通信制御部１０４等から供給された各種情報に応じて処理を実行する。本実施形態では、アプリケーション実行部１０５は、撮影指示部５１、撮影データ取得部５２、検出輝度補正部５３、輝度補正データ作成部５４、補正テーブル作成部５５を含む。

　撮影指示部５１は、スマートフォン１を操作しているユーザに対して、撮影部１２による撮影の指示を行う。具体的には、撮影指示部５１は、ユーザに撮影部１２による撮影を指示するために、スマートフォン１のタッチパネル１１の表示部１１２に、撮影の指示を促す映像を表示させる。なお、撮影の指示は、表示部１１２に映像を表示するのが好ましいが、スマートフォン１のスピーカ（図示せず）に、撮影の指示を促す音声を出力させてもよい。なお、撮影指示部５１による撮影指示の内容の詳細は後述する。

　撮影データ取得部５２は、撮影指示部５１による撮影の指示によって撮影部１２が撮影した撮影データを画像データとして取得し、取得した画像データを検出輝度補正部５３に送る。撮影データ取得部５２が検出輝度補正部５３に画像データを送るタイミングは特に限定されない。例えば、撮影データ取得部５２は、画像データを取得する都度、検出輝度補正部５３に送ってもよいし、画像データを所定枚数取得してから、まとめて検出輝度補正部５３に送ってもよい。

　検出輝度補正部５３は、撮影データ取得部５２が取得した複数の画像データから撮影部１２の撮影範囲内における検出輝度の面内分布を算出する。そして、検出輝度補正部５３は、少なくとも算出した検出輝度の面内分布を用いて、撮影データ取得部５２が取得した複数の画像データのうち１枚の画像データに対して検出輝度の面内分布を補正する。輝度補正した画像データは、輝度補正データ作成部５４に送られる。本開示において、『検出輝度の面内分布』とは、撮影部１２によって検出された画像データ（輝度データ）に含まれる撮影部１２等に起因する撮像ムラを意味し、輝度成分の分布を示す。言い換えると、撮影される被写体（本開示の表示パネル２１の輝度ムラ）に無関係な撮影系に起因するムラである。

　検出輝度補正部５３、輝度補正データ作成部５４および補正テーブル作成部５５は、撮影データ取得部５２が取得した画像データを用いて補正対象である表示画面（例えば図３に示す表示装置２の表示パネル２１）の輝度補正を行うための補正データを作成する補正データ作成部を構成する。ここで、補正データは、輝度補正データ作成部５４が作成する輝度補正データと、補正テーブル作成部５５が作成する補正テーブルとを含む。補正データは、以下のようにして作成される。

　輝度補正データ作成部５４は、検出輝度補正部５３から送られる検出輝度補正した画像データの輝度成分を分析し、輝度補正データを作成する。本開示において、『輝度成分』とは、画像データの各位置における輝度の具体的な数値を指す。なお、輝度補正データ作成部５４による輝度補正データの作成の詳細は後述する。

　補正テーブル作成部５５は、輝度補正データ作成部５４によって作成された輝度補正データから、補正対象である表示画面の輝度補正を行うための補正テーブルを作成する。この補正テーブルを用いることで、補正対象の画像データに対して補間処理等を加え、任意の色/階調における輝度補正を可能としている。作成された補正テーブルは、記憶部１３に記憶すると共に、通信制御部１０４を介して通信部１４から補正対象となる表示パネルを備えた表示装置に送られ、表示装置内の不揮発性メモリに保存される。これにより、表示装置では、表示したい画像に、不揮発性メモリに保存された補正テーブルを反映させることで、適切な輝度分布の画像表示を行うことが可能となる。

　以下に、上記構成のスマートフォン１を用いた表示装置の表示パネルの輝度ムラの補正（輝度補正処理）を行う方法について説明する。ここでは、スマートフォン１のアプリケーション実行部１０５によって、輝度補正処理アプリケーションを実行することで、輝度補正を行う例について説明する。

　（輝度補正処理）
　図２は、スマートフォン１内のアプリケーション実行部１０５による輝度補正処理アプリケーションを実行したときの処理の流れを示すフローチャートである。図３は、ユーザ３がスマートフォン１を用いて表示装置２の表示パネル２１を撮影しているイメージを示す図である。図４は、撮影対象である表示装置２の表示パネル２１の複数枚の撮影の仕方を説明するための図である。図５は、図４に示す撮影の仕方によって撮影した画像の一例を示す図である。

　まず、スマートフォン１において輝度補正処理アプリケーションを実行すると、撮影指示部５１は、補正対象の表示パネル２１の撮影を指示する（ステップＳ１：第１ステップ）。具体的には、撮影指示部５１は、例えばユーザ３に対して、ユーザ３が使用するスマートフォン１の撮影部１２の撮影範囲内で、補正対象である表示装置２の表示パネル（表示画面）２１の像を撮影するよう指示を出し、さらに、撮影部１２の撮影範囲内の他の位置に移動させた表示パネル２１の像を複数撮影するように指示を出す。ここでは、スマートフォン１のタッチパネル１１の表示部１１２に、撮影の指示（複数枚の写真の撮影の指示）を促す映像を表示させてもよいし、スマートフォン１のスピーカ（図示せず）に、撮影の指示を促す音声を出力させてもよい。

　ユーザ３は、図３に示すように、自身が操作するスマートフォン１からの撮影指示に従って、スマートフォン１のカメラである撮影部１２によって補正対象である表示装置２の表示パネル２１を撮影する。このとき、スマートフォン１本体と、補正対象の表示パネル２１を略平行に保ったまま、撮影部１２における撮影エリア１２ａ内での補正対象である表示パネル２１の位置が変化するように、複数枚の表示パネル２１の像の撮影を行う。このように、複数枚の像を撮影する際、例えば図４の符号１０４１に示すように、スマートフォン１の撮影部１２の撮影エリア１２ａ内で、表示装置２の表示パネル２１のほぼ中央に位置する丸印２１ａが、図４の符号１０４２に示すように撮影エリア１２ａ内に分布するように、表示パネル２１の位置を変化させて撮影を繰り返す。このとき、スマートフォン１は、ユーザ３に対して、表示パネル２１が中央、表示パネル２１が左上隅、表示パネル２１が右下隅、表示パネル２１が右上隅、・・・に来るようにして撮影することを、ユーザ向けのメッセージ等でガイダンスする。このように撮影することで、例えば図５の符号１０５１，１０５２，１０５３，１０５４，・・・に示す表示パネル２１の像の写真となる。なお、ユーザ向けのガイダンス等によって、上述の通りにユーザ３が撮影を行える限り、必ずしも丸印２１ａは画面に表示する必要はない。

　図４の符号１０４２に示す例では、丸印２１ａの相当位置を２０箇所示している。つまり、２０種類の像を撮影する例を示している。なお、表示パネル２１の像の写真の種類は２０種類に限定されるものではない。

　また、撮影エリア１２ａ内で、丸印２１ａ相当の箇所の位置は、特に決まった位置でなくてもよいが、撮影エリア１２ａ内で広くまんべんなく分布する位置であることが好ましい。

　ただし、表示パネル２１の像の写真の数、および比較に用いる箇所（丸印２１ａ位置相当箇所）の数は多い方が、より正確な分析が可能となる。ここでの分析は、以下のステップＳ３において実行される、スマートフォン１の撮影部１２の検出輝度の面内分布の分析である。

　次に、撮影データ取得部５２は、ステップＳ１において撮影された撮影データを写真（画像データ）として取得する（ステップＳ２：第２ステップ）。撮影データ取得部５２は、取得した画像データを検出輝度補正部５３に送る。本開示では、図４の符号１０４２に示すように、丸印２１ａを２０個の場合を想定しているため、撮影データ取得部５２は、２０種類の画像データを取得し、都度、検出輝度補正部５３に送っている。

　続いて、検出輝度補正部５３は、撮影データ取得部５２からの２０種類の画像データから撮影部１２の撮影範囲内における検出輝度の面内分布を算出し、少なくとも算出した検出輝度の面内分布を用いて、撮影データ取得部５２からの２０種類の画像データのうち１枚の画像データに対して検出輝度の面内分布を補正する（ステップＳ３：第３ステップの検出輝度補正ステップに相当）。具体的には、検出輝度補正部５３は、まず、２０枚の画像データそれぞれの検出輝度の差分から、撮影部１２の検出輝度の面内分布を算出する。ここでは、画像データにおける補正対象の表示パネル２１の特定の場所（例えばパネル中央の丸印２１ａの位置）の検出輝度を、２０枚の画像データ間で比較することで、スマートフォン１の撮影部１２における検出輝度の面内分布を分析する。この分析の結果、輝度の検出値に差が生じていれば、スマートフォン１の撮影部１２が有する面内検出輝度依存によるものであると考えられる。つまり、撮影した２０枚の画像データにおいて、本来であれば、同一場所の輝度は同じであるため、輝度の検出値に差が生じないが、輝度の検出値に差が生じたということは、スマートフォン１の撮影部１２自体の検出輝度が面内依存を有しているといえる。そして、検出輝度補正部５３は、検出輝度の面内分布を補正した画像データを輝度補正データ作成部５４に送る。

　輝度補正データ作成部５４は、検出輝度補正部５３において検出輝度の面内分布を補正した画像データの輝度成分を分析し、輝度補正データを作成する（ステップＳ４：第３ステップの輝度補正データ作成ステップに相当）。具体的には、輝度補正データ作成部５４は、検出輝度の面内分布を補正した画像データの輝度成分を分析し、分析した結果から、表示パネル２１の輝度ムラを補正する輝度補正データを作成する。

　最後に、補正テーブル作成部５５は、輝度補正データ作成部５４によって作成された輝度補正データから補正テーブルを作成する（ステップＳ５：第３ステップの補正テーブル作成ステップに相当）。ここでは、各色・各階調における輝度補正データから、補間処理等を加え、任意の色／階調における輝度補正が可能となるような表示パネル２１の輝度補正を行うための補正テーブルを作成する。作成した補正テーブルは、スマートフォン１内の記憶部１３に記憶させると共に、通信部１４を介して表示装置２に送られ、内蔵の不揮発性メモリ（図示せず）に格納させる。

　上記構成のスマートフォン１によって、補正対象の表示パネル２１が写る画像データを、対象が写る場所を変えて複数枚撮影して得られた複数の画像データを処理し、撮影部１２起因の輝度ムラを取り除き、補正対象である表示パネル２１の画像データを作成する。そして、撮影部１２起因のムラを取り除いた画像データの輝度成分を更に分析し、表示パネル２１の輝度ムラを補正するための補正テーブルを作成し、表示パネル２１内の不揮発性メモリに保存し、表示装置２のＴＣＯＮ側でその補正テーブルを用いて、画像補正を反映した画像表示を実現する。

　（効果）
　このように、撮影部１２起因の輝度ムラが考慮されるので、撮影部１２起因の輝度ムラがあっても表示パネル２１の輝度ムラを適切に補正することができる。よって、撮影部１２としては一般に知られているスマートフォンのカメラを含め、一般的に用いられるカメラを広く利用することが可能となる。これにより、安価に、表示画面の輝度ムラを軽減できるという効果を奏する。

　なお、一般に、表示パネル２１の各画素の階調と画像データにおける輝度とは対応づけられる。このため、本開示においては、輝度の代わりに表示パネル２１の赤色サブ画素、緑色サブ画素、および青色サブ画素それぞれの階調を分析し、当該階調の補正を通して輝度に対する補正を行ってもよい。当該補正によっても、上述した表示パネル２１の輝度ムラの補正が可能である。そのため、本開示において、表示パネル２１の各画素の輝度に対する補正は、表示パネル２１の各画素の階調に対する分析および補正を通して実施するものを含む。

　ここで、表示装置２の表示パネル２１に対してＤｅｍｕｒａ処理を明室で実行する場合、表示装置２の表示パネル２１は外光反射（写り込み）があり、外光反射が表示パネル２１の輝度ムラに影響を及ぼすことがある。このため、表示装置２の表示パネル２１に対してＤｅｍｕｒａ処理を施す場合には、外光反射がない暗室で撮影を実施するのが好ましい。以下の実施形態２では、表示装置２の表示パネル２１に対してＤｅｍｕｒａ処理を明室で行う際の外光反射の影響を除去する例について説明する。

　〔実施形態２〕
　本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

　（外光反射（写り込み）の影響の除去）
　図６は、表示装置２の表示パネル２１の輝度ムラを補正する際に、表示パネル２１の外光反射（写り込み）の影響を除去する際に撮影した表示パネル２１の像の写真の一例を示す図である。

　静止画(黒表示以外のベタ画面を含む)撮影時と同一の環境下において、補正対象パネルである表示パネル２１を黒表示（Ｖ０表示）にしてスマートフォン１の撮影部１２によって撮影する。この際、黒表示はほぼ０ｎｉｔであることから、画像データの補正対象パネルエリア内には外光反射(写り込み)の影響のみが表れるはずである。これをバックグラウンドノイズとして検出し、静止画撮影時の画像データから減算することにより、外光反射の影響を除去することが可能になる。

　ここでは、前記実施形態１で説明したスマートフォン１のアプリケーション実行部１０５における検出輝度補正部５３および輝度補正データ作成部５４によって、外光反射を考慮した輝度補正データが作成される。具体的には、検出輝度補正部５３は、まず、撮影データ取得部５２が取得した複数の画像データのうち少なくとも１枚の画像データから外光反射成分を分析する。次に、検出輝度補正部５３は、外光反射成分を分析した前記画像データの検出輝度から、外光反射成分に相当する検出輝度を減算した後、外光反射成分に相当する検出輝度が減算された画像データに対して検出輝度の面内分布を補正する。その後、輝度補正データ作成部５４は、検出輝度補正部５３によって外光反射成分を考慮して検出輝度補正した画像データの輝度成分を分析し、輝度補正データを作成する。

　ここで、外光反射(写り込み)はパネル撮影時の角度等によっても異なる可能性があるため、前記実施形態１における輝度補正データを作成する場合と同様にスマートフォン１の撮影部１２における撮影エリア１２ａ内での補正対象パネルである表示パネル２１の位置が変化するように、複数枚の撮影を行う。具体的には、例えば図６の符号１０６１に示すように、表示装置２の表示パネル２１を黒表示にして、外光反射領域２１ｂが、撮影部１２における撮影エリア１２ａ内で変化するように、複数枚の表示パネル２１の像の撮影を行う。この場合も、前記実施形態１と同様に、スマートフォン１は、ユーザ３に対して、表示パネル２１が中央、表示パネル２１が左上隅、表示パネル２１が右下隅、表示パネル２１が右上隅、・・・に来るようにして撮影することを、ユーザ向けのメッセージ等でガイダンスする。このように撮影することで、例えば図６の符号１０６１，１０６２，１０６３，１０６４，・・・に示す表示パネル２１の像の写真となる。このようにして得られた複数枚の表示パネル２１の像の写真を分析することにより、より精度のよい外光反射成分の検出が可能になる。

　（効果）
　上記のように、外光反射成分の検出を行い、外光反射成分を除去した画像データに対して、検出輝度の面内分布を算出することで、表示パネル２１における輝度補正をより精度よく行うことが可能となる。

　なお、前記実施形態１，２では、複数枚の画像データに表示されている補正対象である表示パネル２１の位置が変動するため、実施形態１，２に示す方法を機械的に表示補正に用いることが困難である場合がある。上述した表示パネル２１の位置の影響を低減して表示補正を行う方法を下記の実施形態３において説明する。

　〔実施形態３〕
　本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

　（パネル位置変動への対応（１））
　図７は、画像データ内におけるパネル位置変動への対応について説明する図である。実際には、画像データに写っている補正対象の表示パネル２１の表示画面を、実際の表示パネル２１が表示できる画素数の画像に変換している。この変換は、前記実施形態１で説明した輝度補正データ作成部５４において行われる。すなわち、輝度補正データ作成部５４は、検出輝度補正部５３によって検出輝度補正した画像データに含まれる補正対象の表示パネル２１の表示画面内の位置と、実際の補正対象の表示パネル２１の表示画面内の位置とを対応付け、前記画像データに含まれる補正対象の表示画面の表示データを、実際の表示装置の表示画面に表示する表示データに変換し、変換した表示データにおける輝度成分を分析し、分析した結果から、当該表示データを表示している前記表示画面の輝度補正を行うための輝度補正データを作成する。

　具体的には、輝度補正データ作成部５４は、まず、図７の符号１０７１に示す画像データから、撮影エリア１２ａ内に表示されている表示装置２の表示パネル２１の４隅（図中の４つの丸印２２）を検出し、撮影エリア１２ａ内での座標を特定する。さらに、輝度補正データ作成部５４は、特定された撮影エリア１２ａ内での座標から、撮影エリア１２ａ内の表示パネル２１の表示エリア内の任意の箇所（例えば２箇所の丸印２１ｃ）に対し、実際の表示パネル２１内での位置（画素座標）への変換を行うための、座標変換式を決定する。

　次に、撮影エリア１２ａ内の表示パネル２１の表示エリア内の各箇所（各画素）につき、撮影エリア１２ａ内での座標から実際の表示パネル２１内での位置（画素座標）への変換を行う。当該変換は、例えば、輝度補正データ作成部５４が、撮影エリア１２ａ内での座標を、前工程において決定した座標変換式に基づいて変換することにより実行する。上記の処理により、撮影部１２の撮影エリア１２ａ内の表示パネル２１の位置（画素座標）と、実際の補正対象の表示パネル２１の表示パネル内の位置（画素座標)を対応付けることが可能となる。

　このようにして、輝度補正データ作成部５４は、撮影部１２の撮影エリア１２ａ内から表示パネル２１の表示エリアを抜き出し、図７の符号１０７２に示すように、実際の表示パネル２１で表示できるような画素数を持つ画像（表示データ）に変換する。この変換した表示データの輝度成分を分析して、分析した結果から、当該表示データを表示している表示画面の輝度補正を行うための輝度補正データを作成する。

　そして、補正テーブル作成部５５は、輝度補正データ作成部５４によって作成された輝度補正データから、表示画面の輝度補正を行うための補正テーブルを作成する。補正テーブル作成部５５によって作成された補正テーブルは、表示パネル２１を有する表示装置２に送られ、不揮発性メモリに格納され、必要に応じて表示データの輝度補正に使用する。

　（パネル位置変動への対応（２））
　図８は、画像データ内におけるパネル位置変動への対応について説明する図である。図７に示す方法では、撮影エリア１２ａ内の表示パネル２１の四隅（図中の４つの丸印２２）の位置を検出し、座標変換の基準として用いたが、図８の符号１０８１に示すように、撮影エリア１２ａ内の表示パネル２１の表示画面内にマーカーとなる４つの点２１ｄを含むベタ画像を表示させ、そのマーカーとなる４つの点２１ｄの位置を座標変換の基準に用いる。

　まず、図８の符号１０８１に示すように、撮影エリア１２ａ内に表示されている表示装置２の表示パネル２１の表示画面にマーカーとなる４つの点２１ｄを含むベタ画像を表示させ、スマートフォン１の撮影部１２によって撮影する。撮影した複数の画像データの１枚に対して、スマートフォン１の撮影部１２に起因する輝度ムラを取り除く。このようにして得られた画像データに含まれる表示パネル２１の座標変換を行う。この変換も、前記実施形態１で説明した輝度補正データ作成部５４において行われる。

　すなわち、輝度補正データ作成部５４は、まず、図８の符号１０８１に示す画像データから、撮影エリア１２ａ内に表示されている表示装置２の表示パネル２１内のマーカーとなる４つの点２１ｄを検出し、撮影エリア１２ａ内で座標を特定する。さらに、輝度補正データ作成部５４は、特定された撮影エリア１２ａ内での座標から、撮影エリア１２ａ内の表示パネル２１の表示エリア内の任意の箇所（例えば２箇所の丸印２１ｃ）に対し、実際の表示パネル２１内での位置（画素座標）への変換を行うための、座標変換式を決定する。

　このようにして、輝度補正データ作成部５４は、撮影部１２の撮影エリア１２ａ内から表示パネル２１の表示エリアを抜き出し、図８の符号１０８２に示すように、実際の表示パネル２１で表示できるような画素数を持つ画像（表示データ）に変換する。この変換した表示データの輝度成分を分析し、分析した結果から、当該表示データを表示している表示画面の輝度補正を行うための輝度補正データを作成する。

　上記では、撮影エリア１２ａ内に表示されている表示装置２の表示パネル２１にマーカーとなる４つの点２１ｄを含むベタ画像を表示させた例について説明したが、表示パネル２１内に表示させるマーカーとして４つに限定されるものではなく、少なくとも３つのマーカーとなる点２１ｄを表示せればよい。この場合も、表示パネル２１内に少なくとも３つの点２１ｄを表示させ、３つの点２１ｄの位置を座標変換の基準に用いて上記と同様の手順を実施し、補正テーブルを作成する。

　また、マーカーとなる点２１ｄの大きさや色等は検出の都合のよいように調整することが可能であるため、図７の符号１０７１に示す表示パネル２１の四隅の検出より精度よく座標変換を行うことができる。

　なお、表示パネル２１内の表示画面内のマーカーとなる点２１ｄは実際の補正時には不要となるが、マーカー周辺の輝度分布から、マーカーとなる点２１ｄの存在箇所の本来の輝度を補完することにより、マーカーとなる点２１ｄの存在箇所についても一定精度で補正が可能である。補正をより精度よく行うには、マーカーとなる点２１ｄは小さい方が好ましい。

　前記実施形態１～３では、図３に示すように、スマートフォン１と表示装置２とによって、表示装置２の表示パネル２１の輝度ムラを補正する表示補正システムを構成している。上記の表示補正システムにおいては、実際の表示パネル２１の面内ムラを補正するための補正データを作成するまでをスマートフォン１によって行っている例について説明したが、これに限定されるものではない。スマートフォン１内のアプリケーション実行部１０５の撮影指示部５１および撮影データ取得部５２までの処理をスマートフォン１側で行い、検出輝度補正部５３、輝度補正データ作成部５４および補正テーブル作成部５５の処理を表示装置２側で行ってもよい。さらに、検出輝度補正部５３、輝度補正データ作成部５４および補正テーブル作成部５５の処理については、スマートフォン１、表示装置２以外の第３の装置（クラウド上を含む）において実行してもよい。何れの場合であっても、最終的に、補正テーブルが補正対象端末内の不揮発性メモリに保存されればよい。なお、不揮発性メモリではない外部領域(例えばクラウド上)に補正テーブルを保存しその都度読み込むことも可能だが、読み込み時間を考慮すると補正対象端末内の不揮発性メモリに補正テーブルを保存しておくのが好ましい。このように、使用者の都合や各端末の性能に合わせて、自由度高く表示補正システムを構築することが可能である。

　（実施例）
　ここでは、前記実施形態１～３において説明した事項に基づき、実際の表示パネル２１の輝度補正を行う処理について説明する。

　本実施例では、明室で表示パネル２１の輝度補正を行う場合を想定している。このため、表示パネル２１の撮影前に以下の処理（Ａ）（Ｂ）を行う。なお、暗室で表示パネル２１の輝度補正を行う場合には、以下の処理（Ａ）（Ｂ）は不要となる。

　（Ａ）補正対象の表示パネル２１に黒画面（Ｖ０ベタ画面）を表示させ、スマートフォン１本体と補正対象の表示パネル２１を略平行に保ったまま、スマートフォン１の撮影部１２内での表示パネル２１の位置が変化するように、複数枚の像を撮影する。ここで撮影する画像データは、１枚でもよいが、２枚以上が好ましい。

　（Ｂ）（Ａ）で撮影した画像データに対し、反射光と思われるピーク(成分)を検出する。

　（Ａ）（Ｂ）の処理を施した後、表示パネル２１の表示画面を、例えば（赤、緑、青、白）×（０階調、３２階調、６４階調、９６階調、１２８階調、１６０階調、１９２階調、２２４階調、２５５階調）のベタ画面と変化させて、以下の（１）～（６）のプロセスを繰り返す。

　（１）補正対象の表示パネル２１を撮影する（補正に用いる画像データの取得）。ここでは、スマートフォン１本体と補正対象の表示パネル２１を略平行に保ったまま、スマートフォン１の撮影部１２内での補正対象の表示パネル２１の位置が変化するように、複数枚の表示パネル２１の像の撮影を行う。すなわち、撮影部１２検出輝度の面内依存の補正用データを得るための画像データの取得を行う。

　なお、（１）のプロセスは、処理の時間短縮のために各表示色、階調に対して実施しなくてもよく、一定の補正効果が得られれば、特定色、特定階調についてのみ実施し、それをすべての色、階調に適用するという形であってもよい。

　（２）（１）で得られた表示パネル２１の像の写真のうち、（Ｂ）で得られた反射光ピーク（成分）と形状が一致するものを見つけ、見つかった場合には（１）の表示パネル２１の像の写真からそれに対応する成分の強度を減算する。すなわち、外光反射（写り込み）を画像データから除去する。一方で、（１）で得られた表示パネル２１の像の写真のうち、（Ｂ）で得られた反射光ピーク（成分）と形状が一致するものが見つからなかった写真については、外光反射（写り込み）のない写真であると判断し、特に処理は行わない。

　（３）（２）で得られた複数の画像データ間の検出輝度の差分から、スマートフォン１に搭載されたカメラ（撮影部１２）の検出輝度の面内分布を算出する。

　（４）（２）で得られた複数の画像データのうち１枚の画像データに対し、（３）で得られた検出輝度の面内分布の補正を施す。この補正した画像データは、撮影部１２検出輝度の面内依存を無くした画像となる。しかも、（２）で写真に外光反射が確認され、かつ、画像データから外光反射を除去された場合には、（４）で得られた画像データは、撮影部１２検出輝度の面内依存を無くし、かつ、外光反射が除去された画像となる。

　（５）（４）で得られた画像データを分析し、補正対象の表示パネル２１のスマートフォン１内の画像データ内の位置（画素座標）と、実際の補正対象の表示パネル２１内の位置（画素座標）を対応付け、（４）の画像データの表示パネル２１面内箇所におけるデータを、実際の表示パネル２１用データに変換する。

　（６）（５）の表示パネル２１用データは、各色・階調ごとの、表示パネル２１における面内ムラデータといえるので、輝度成分を分析し、輝度補正データに変換する。

　上記（１）～（６）の一連のプロセスを経て得られた、各色・各階調における輝度補正データから、補間処理等によって、任意の色／階調における輝度補正が可能となるような補正テーブルを作成し、表示装置２の表示パネル２１内の不揮発性メモリに保存する。

　これにより、表示装置２は、表示パネル２１に表示したい画像信号に、不揮発性メモリに保存した上記補正テーブルを反映させることで、適切な輝度の画像を表示することができる。

　上記（１）～（６）の一連のプロセスは、上述したように、赤、緑、青、白の４色に対して、それぞれ０階調、３２階調、６４階調、９６階調、１２８階調、１６０階調、１９２階調、２２４階調、２５５階調のベタ画面を用いた。この場合、階調や色に応じた補正を施すことができる。具体的には、階調や色ごとに、面内ムラを解消するような補正データを作成すればよい。なお、１６階調などの上記に示した階調間の階調に関する補正に関しては、補間処理によって面内ムラを解消するようにすればよい。

　なお、サイネージのように常に何かしらの静止画を表示しており、ベタ画面への切替が難しい場合もある。このような場合には、ベタ画面ではない特定の静止画に対して撮影を実施する。その場合においても、本開示によれば、撮影して得られた静止画の画像データから、上述した検出輝度の面内分布の補正方法および座標変換の方法によって検出輝度の面内分布の補正および座標変換が可能である。そして、静止画の画像データの検出輝度の面内分布の補正および座標変換により得られた画像データの輝度成分と静止画の本来の輝度成分との比較により、輝度補正データおよび補正テーブルを作成することができる。本実施形態によれば、当該補正テーブルを不揮発性メモリに保存して輝度補正に用いてもよい。従って、本開示では、表示パネル２１の表示面が、ベタ画面以外の画面であっても表示パネル２１の輝度ムラを適切に補正することができる。

　なお、上記の各実施形態では、本開示の画像データの取得方法を、表示装置の表示画面の輝度補正を行うための画像データの取得に適用した例に説明したが、この輝度補正を、ＸＹＺ表色系における三刺激値Ｘ，Ｙ，Ｚそれぞれについて同時に実施すれば、色度補正も達成することができる。

　本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１　スマートフォン（端末装置、撮影装置）
２　表示装置
３　ユーザ
１０　制御部
１１　タッチパネル
１２　撮影部
１２ａ　撮影エリア
１３　記憶部
１４　通信部（送信部）
２１　表示パネル
２１ａ、２１ｃ、２１ｄ、２２　丸印
２１ｂ　外光反射領域
５１　撮影指示部
５２　撮影データ取得部
５３　検出輝度補正部（補正データ作成部）
５４　輝度補正データ作成部（補正データ作成部）
５５　補正テーブル作成部（補正データ作成部）
１０１　タッチ取得部
１０２　表示制御部
１０３　撮影制御部
１０４　通信制御部
１０５　アプリケーション実行部（画像データ取得装置）
１１１　入力部
１１２　表示部

Claims

　表示装置の表示画面の輝度補正または色度補正を行うための補正データを作成するための画像データの取得方法であって、
　ユーザに対して、当該ユーザが使用する撮影装置の撮影範囲内で、補正対象である前記表示画面の像を撮影するよう指示を出し、さらに、撮影装置の撮影範囲内の他の位置に移動させた前記表示画面の像を複数撮影するように指示を出す第１ステップと、
　前記第１ステップにおいて出された指示に基づいて前記ユーザによって撮影された複数の撮影データを画像データとして取得する第２ステップと、
を含む画像データ取得方法。
　前記第２ステップにおいて取得した複数の画像データを用いて前記表示画面の輝度補正または色度補正を行うための補正データを作成する第３ステップをさらに含む、請求項１に記載の画像データ取得方法。
　前記第３ステップは、
　前記第２ステップにおいて取得した複数の画像データから前記撮影装置の撮影範囲内における検出輝度の面内分布を算出し、少なくとも算出した検出輝度の面内分布を用いて、前記第２ステップにおいて取得した複数の画像データのうち１枚の画像データに対して検出輝度の面内分布を補正する検出輝度補正ステップと、
　前記検出輝度補正ステップにおいて輝度補正した画像データの輝度成分を分析し、輝度補正データを作成する輝度補正データ作成ステップと、
　前記輝度補正データ作成ステップによって作成された輝度補正データから、前記表示画面の輝度補正を行うための補正テーブルを作成する補正テーブル作成ステップと、を含む、請求項２に記載の画像データ取得方法。
　前記検出輝度補正ステップは、
　前記第２ステップにおいて取得した複数の画像データのうち少なくとも１枚の画像データから外光反射成分を分析し、前記外光反射成分を分析した画像データの検出輝度から、前記外光反射成分に相当する検出輝度を減算した後、前記外光反射成分に相当する検出輝度が減算された画像データに対して検出輝度の面内分布を補正する、請求項３に記載の画像データ取得方法。
　前記外光反射成分の分析は、前記表示画面に黒画面を表示させたときの画像データを用いて実行する、請求項４に記載の画像データ取得方法。
　前記輝度補正データ作成ステップは、
　前記検出輝度補正ステップにおいて輝度補正した画像データに含まれる補正対象の表示画面内の位置と、実際の補正対象の表示画面内の位置とを対応付け、前記画像データに含まれる補正対象の表示画面の表示データを、実際の表示装置の表示画面に表示する表示データに変換し、変換した表示データにおける輝度成分を分析し、分析した結果から、前記変換した表示データを表示している前記表示画面の輝度補正を行うための輝度補正データを作成する、請求項３～５の何れか１項に記載の画像データ取得方法。
　前記補正対象の表示画面内に少なくとも３個のマーカーを表示させ、当該マーカーの位置を参照することで、前記検出輝度補正ステップにおいて輝度補正した画像データに含まれる補正対象の表示画面内の位置と、実際の補正対象の表示画面内の位置とを対応付ける、請求項６に記載の画像データ取得方法。
　輝度補正対象の画像データのＸＹＺ表色系における三刺激値を、前記検出輝度補正ステップおよび前記輝度補正データ作成ステップによって補正する、請求項３～７の何れか１項に記載の画像データ取得方法。
　前記補正対象の表示画面は、同一色で全面表示されたベタ画面である、請求項１～８の何れか１項に記載の画像データ取得方法。
　前記補正対象の表示画面は、同一色で全面表示されたベタ画面であり、前記ベタ画面の表示色および階調を変化させて、表示色および階調毎に、前記第１ステップから前記第３ステップを繰り返す、請求項２～８の何れか１項に記載の画像データ取得方法。
　任意の表示色および階調における補正に対応するために、各色・各階調における輝度補正データに対し、補間処理を用いる、請求項１０に記載の画像データ取得方法。
　前記補正対象の表示画面は、同一色で全面表示されたベタ画面以外の画面である、請求項１～８の何れか１項に記載の画像データ取得方法。
　前記表示装置は、有機ＥＬ（Electro luminescence）パネルである、請求項１～１２の何れか１項に記載の画像データ取得方法。
　前記撮影装置は、スマートフォン、タブレット端末の少なくとも一方である、請求項１～１３の何れか１項に記載の画像データ取得方法。
　表示装置の表示画面の輝度補正または色度補正を行うための輝度補正データを作成するための画像データを取得する画像データ取得装置であって、
　ユーザに対して、当該ユーザが使用する撮影装置の撮影範囲内で、補正対象である前記表示画面の像を撮影するよう指示を出し、さらに、撮影装置の撮影範囲内の他の位置に移動させた表示画面の像を複数撮影するように指示を出す撮影指示部と、
　前記撮影指示部の指示に基づいて前記ユーザによって撮影された複数の撮影データを画像データとして取得する撮影データ取得部と、
を備える画像データ取得装置。
　前記撮影データ取得部が取得した複数の画像データを用いて前記表示画面の輝度補正または色度補正を行うための補正データを作成する補正データ作成部をさらに備える、請求項１５に記載の画像データ取得装置。
　前記補正データ作成部は、
　前記撮影データ取得部において取得した複数の画像データから前記撮影装置の撮影範囲内における検出輝度の面内分布を算出し、少なくとも算出した検出輝度の面内分布を用いて、前記撮影データ取得部が取得した複数の画像データのうち１枚の画像データに対して検出輝度の面内分布を補正する検出輝度補正部と、
　前記検出輝度補正部によって輝度補正した画像データの輝度成分を分析し、輝度補正データを作成する輝度補正データ作成部と、
　前記輝度補正データ作成部によって作成された輝度補正データから、前記表示画面の輝度補正を行うための補正テーブルを作成する補正テーブル作成部と、を含む、請求項１６に記載の画像データ取得装置。
　輝度補正対象の画像データのＸＹＺ表色系における三刺激値を、前記検出輝度補正部および前記輝度補正データ作成部によって補正する、請求項１７に記載の画像データ取得装置。
　請求項１５～１８の何れか１項に記載の画像データ取得装置と、
　前記画像データ取得装置が作成した補正データを、前記補正対象の表示画面を有する前記表示装置に送信する送信部と、
を含む端末装置。
　請求項１９に記載の端末装置を含むと共に、前記端末装置の前記送信部から送信された前記補正データを受信する表示装置と、を含み、
　前記表示装置は、受信した前記補正データを用いて前記表示画面の輝度または色度を補正する、表示補正システム。