JP6688878B2

JP6688878B2 - 視覚アーティファクトの出現を軽減するための方法及び装置

Info

Publication number: JP6688878B2
Application number: JP2018507716A
Authority: JP
Inventors: セラン，ジェレミー
Original assignee: バルブコーポレーション
Priority date: 2015-08-19
Filing date: 2016-08-18
Publication date: 2020-04-28
Anticipated expiration: 2036-08-18
Also published as: CN108140359A; HK1249270A1; HK1256132A1; CN108140359B; WO2017031268A1; KR20180039725A; JP2018536884A; EP3338274A4; KR102556275B1; EP3338274A1

Description

関連出願の相互参照
［0001］本出願は、本明細書において参照によってその内容が本願に組み込まれる、２０１６年８月１９日に出願された仮出願第６２／２０７，０９１号の利益を主張する。

［0002］開示の分野
［0003］本開示は、概してビデオディスプレイ技術に関し、特に、ディスプレイ上のピクセルごとのエネルギー放射変動を測定し、これらの測定値をグローバル補正係数及びピクセルごとの補正係数として符号化して格納し、及び／又は、そのような変動によって生じるアーティファクトの出現が軽減されるように、測定された変動と逆の効果によって画像をデジタル操作するためのシステム及び方法に関する。

［0004］一般的背景
［0005］特定のディスプレイ技術は、ピクセルごとに変化する明度及び／又は測色（ガンマ）エネルギー放射応答を示す。そのような変動は場合によって、「ムラ欠陥」、「ムラ変動」、又は単に「ムラ」と称されるが、用語及びその正確な意味はディスプレイ業界において標準化されて知られてはいない。

［0006］例えば液晶ディスプレイ（「ＬＣＤ」）において、バックライトは、ユーザに可視である空間的変動をディスプレイ全体に示す。他の例として、有機発光ダイオード（「ＯＬＥＤ」）ディスプレイにおいて、隣接するピクセルは、実質的に異なる色応答を示し得る。これらの効果は、一定色かつ平滑勾配の領域において特に顕著であり、その領域は観察者にとって「騒々しく」見え得る。このアーティファクトは、頭部装着型ディスプレイ（「ＨＭＤ」）において特に不愉快であり、場合によっては、視聴者が「汚れた窓」を通して見ているように出現する。

［0007］これらの変動に様々な範囲で対処するための様々な（場合によっては「ムラ補正」技術として一般に知られている）主観的／手動及び客観的／光電子方法が当該技術分野において既知である。しかしながら、本発明の態様に従って、この技術分野における現在の欠点に対処することが望ましい。

［0008］一例として、正確な縮尺ではない添付図面が参照される。

［0009］本発明の特定の実施形態の態様を実装するために用いられ得るコンピューティングデバイスの典型的な図である。［0010］ディスプレイに送信される典型的な緑一色の生画像を示す写真のグレースケールバージョンである。［0011］本発明の典型的な実施形態に係る補正前の、観察者に表示された、図２Ａのディスプレイに送信された典型的な緑一色の生画像を示す写真のグレースケールバージョンである。［0012］本発明の態様に係る典型的なピクセルごとの補正係数を示す写真である。［0013］典型的なディスプレイに送信された、図２Ｂに示す画像に対応する、本発明の態様に係る事前補正画像を示す写真のグレースケールバージョンである。［0014］図２Ｄに示す画像に対応する、本発明の態様に係る、観察者に示された典型的な最終画像を示す写真のグレースケールバージョンである。［0015］本発明の態様に係る各サブピクセルについてエネルギー推定を実現するために十分な解像度を有する一定緑色画像のディスプレイパネル上の典型的な画像捕捉を示す写真のグレースケールバージョンである。［0016］図３に示す画像の一部の写真（おおよそのズーム比率＝１０００）の拡大グレースケールバージョンであり、緑色チャネルのみが照射され、可視サブピクセルを伴う５×５のピクセル領域を備える。［0017］Ａ―Ｂ。本発明の態様に係る典型的な画像捕捉システム及び構成の態様を示す写真である。［0018］頭部装着型ディスプレイ構成を模擬するために本発明の態様に係るカスタマイズ電子機器（６３０）によって駆動されている２つの典型的なディスプレイパネル（６１０、６２０）を示す。［0019］本発明の態様に係る幾何学的レンズ偏心を容易に求めるために較正中に使用するための試験用ディスプレイパネルに示された格子パターンを示す。［0020］特定の実施形態において用いられる暗視野除去及びレンズ歪み除去ステップ後の、本発明の態様に係る捕捉画像を示す写真のグレースケールバージョンである。［0021］本発明の態様に係る捕捉画像におけるコーナー検出ステップを示す写真のグレースケールバージョンである。［0022］本発明の態様に係る直線形アライメント後の試験用ディスプレイパネルの捕捉画像における典型的な３２×３２のピクセル差込領域を示す写真のグレースケールバージョンである。［0023］本発明の態様に係る典型的な試験用ディスプレイパネルの一部におけるピクセルごとのエネルギー放射を図示する。

［0024］当業者は、本発明の以下の説明が単に例示的なものであって決して限定的ではないことを認識する。本発明の他の実施形態は、本開示の利益を享受する当業者に容易に想起され、本明細書で定義される一般原理は、本発明の主旨及び範囲から逸脱することなく他の実施形態及び用途に適用され得る。従って、本発明は、示された実施形態に限定されることは意図されず、本明細書に開示される原理及び特徴と矛盾しない最も広い範囲と一致するように意図される。添付図面に示されたような本発明の特定の実装が以下で詳しく参照される。図面及び以下の説明を通して、同じ参照番号が同一又は類似の部分に言及するために使用される。

［0025］この詳細な説明において説明されるデータ構造及びコードは、通常、コンピュータシステムによって用いるためのコード及び／又はデータを格納することができる任意のデバイス又は媒体であってよいコンピュータ可読記憶媒体に格納される。これは、例えばディスクドライブ、磁気テープ、ＣＤ（コンパクトディスク）及びＤＶＤ（デジタルバーサタイルディスク又はデジタルビデオディスク）などの磁気及び光ストレージデバイス、及び（信号が変調される搬送波を伴う又は伴わない）伝送媒体で具体化されるコンピュータ命令信号を含むがこれに限定されない。例えば伝送媒体は、例えばインターネットなどの通信ネットワークを含んでよい。

［0026］図１は、本発明の特定の実施形態の態様を実装するために用いられ得るコンピューティングデバイス１００の典型的な図である。コンピューティングデバイス１００は、バス１０１、１又は複数のプロセッサ１０５、メインメモリ１１０、読取専用メモリ（ＲＯＭ）１１５、ストレージデバイス１２０、１又は複数の入力デバイス１２５、１又は複数の出力デバイス１３０、及び通信インタフェース１３５を含んでよい。バス１０１は、コンピューティングデバイス１００の構成要素間の通信を可能にする１又は複数の導体を含んでよい。プロセッサ１０５は、命令を解釈及び実行する任意の種類の従来型プロセッサ、マイクロプロセッサ、又は処理論理を含んでよい。メインメモリ１１０は、プロセッサ１０５によって実行するための命令及び情報を格納するランダムアクセスメモリ（ＲＡＭ）又は他の種類のダイナミックストレージデバイスを含んでよい。ＲＯＭ１１５は、プロセッサ１０５によって用いるための静的情報及び命令を格納する従来型ＲＯＭデバイス又は他の種類のスタティックストレージデバイスを含んでよい。ストレージデバイス１２０は、磁気及び／又は光記録媒体及び対応するドライブを含んでよい。入力デバイス（複数も可）１２５は、例えばキーボード、マウス、ペン、スタイラス、手書き認識、音声認識、生体識別メカニズムなど、ユーザがコンピューティングデバイス１００に情報を入力することを可能にする１又は複数の従来型メカニズムを含んでよい。出力デバイス（複数も可）１３０は、ディスプレイ、プロジェクタ、Ａ／Ｖ受信機、プリンタ、スピーカなど、ユーザに情報を出力する１又は複数の従来型メカニズムを含んでよい。通信インタフェース１３５は、コンピューティングデバイス／サーバ１００が他のデバイス及び／又はシステムと通信することを可能にする任意のトランシーバ様式機構を含んでよい。コンピューティングデバイス１００は、例えばデータストレージデバイス１２０から、又は通信インタフェース１３５を介して他のデバイスからなど、他のコンピュータ可読媒体からメモリ１１０に読み込まれ得るソフトウェア命令に基づいて動作を実行してよい。メモリ１１０に含まれるソフトウェア命令は、プロセッサ１０５に、後述するプロセスを実行させる。あるいは、本発明に従うプロセスを実行するために、ソフトウェア命令の代わりに、又はソフトウェア命令とともにハードワイヤード回路が用いられてもよい。従って、様々な実装は、ハードウェア回路とソフトウェアとの任意の特定の組み合わせに限定されない。

［0027］特定の実施形態において、メモリ１１０は、例えばＤＲＡＭ、ＳＲＡＭ、ＤＤＲＲＡＭ又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含んでよいがこれに限定されず、例えば１又は複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでよいがこれに限定されない。メモリ１１０は、プロセッサ（複数も可）１０５から遠隔に位置する１又は複数のストレージデバイスを任意選択的に含んでよい。メモリ１１０、若しくは、メモリ１１０内の１又は複数のストレージデバイス（例えば１又は複数の不揮発性ストレージデバイス）は、コンピュータ可読記憶媒体を含んでよい。特定の実施形態において、メモリ１１０又はメモリ１１０のコンピュータ可読記憶媒体は、様々な基本システムサービスを操作しハードウェア依存タスクを実行するための手順を含むオペレーティングシステム、１又は複数の通信ネットワークインタフェース及び例えばインターネット、他の広域ネットワーク、ローカルエリアネットワーク、都市エリアネットワークなどの１又は複数の通信ネットワークを介してコンピューティングデバイス１１０を他のコンピュータと接続するために用いられるネットワーク通信モジュール、ユーザがコンピューティングデバイス１００と対話することを可能にし得るクライアントアプリケーション、といったプログラム、モジュール、及びデータ構造の１又は複数を格納してよい。

［0028］本明細書における特定の文及び／又は図は、方法及びシステムを示すフローチャートを参照又は説明し得る。理解されるように、これらフローチャートの各ブロック及びこれらフローチャート内のブロックの組み合わせは、コンピュータプログラム命令によって実装され得る。これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブル装置上で実行する命令が、フローチャートブロック又は複数のブロックに記載される機能を実装するための構造を生成するように、機械を製造するためのコンピュータ又は他のプログラマブル装置にロードされ得る。これらのコンピュータプログラム命令は、コンピュータ可読メモリに格納された命令が、フローチャートブロック又は複数のブロックに記載された機能を実装する命令構造を含む製品を製造するように、コンピュータ又は他のプログラマブル装置に特定の方法で機能するように指示することができるコンピュータ可読メモリ内に格納されてもよい。コンピュータプログラム命令は、コンピュータ又は他のプログラマブル装置上で実行する命令が、フローチャートブロック又は複数のブロックに記載される機能を実装するためのステップを提供するように、一連の動作ステップをコンピュータ又は他のプログラマブル装置上で実行させてコンピュータ実装プロセスを生成するために、コンピュータ又は他のプログラマブル装置にロードされてもよい。

［0029］従って、フローチャートのブロックは、記載された機能を実行するための構造の組み合わせ及び記載された機能を実行するためのステップの組み合わせをサポートする。また理解されるように、フローチャートの各ブロック及びフローチャート内のブロックの組み合わせは、記載された機能又はステップを実行する専用ハードウェアベースコンピュータシステム又は専用ハードウェア及びコンピュータ命令の組み合わせによって実装され得る。

［0030］例えば、Ｃ、Ｃ＋＋、Ｃ＃（ＣＳｈａｒｐ）、Ｐｅｒｌ、Ａｄａ、Ｐｙｔｈｏｎ、Ｐａｓｃａｌ、ＳｍａｌｌＴａｌｋ、ＦＯＲＴＲＡＮ、アセンブリ言語などのあらゆるコンピュータプログラム言語が、本発明の態様を実装するために用いられ得る。また、例えば手続き型、オブジェクト指向型、又は人工知能技術などの様々なプログラミングアプローチが、各特定の実装の要件に依存して利用され得る。コンピュータシステムによって実行されるコンパイラプログラム及び／又は仮想マシンプログラムは一般に、プログラムされた機能又は機能のセットを実行するために１又は複数のプロセッサによって実行され得る機械命令のセットを生成するために高水準プログラミング言語を翻訳する。

［0031］本明細書に記述される説明において、特定の実施形態は、特定のデータ構造、好適かつ任意選択的な実施、好適な制御フロー、及び例に関して説明される。当業者が本出願の検討後に理解するように、説明された方法の他の応用及び更なる応用が本発明の範囲内である。

［0032］「機械可読媒体」という用語は、コンピュータシステムの要素によって読み取られ得るデータの提供に関与する任意の構造を含むことを理解すべきである。そのような媒体は、不揮発性媒体、揮発性媒体、及び伝送媒体を含むがこれに限定されない多くの形式をとってよい。不揮発性媒体は、例えば光又は磁気ディスク、及び例えばフラッシュメモリに基づくデバイスなど他の永続メモリ（例えばソリッドステートドライブ、又はＳＳＤなど）を含む。揮発性媒体は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）及び／又はスタティックランダムアクセスメモリ（ＳＲＡＭ）を含む。伝送媒体は、プロセッサに接続されたシステムバスを備えるワイヤを含む、ケーブル、ワイヤ、及びファイバを含む。一般的形式の機械可読媒体は、例えばフロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、他の任意の磁気媒体、ＣＤ‐ＲＯＭ、ＤＶＤ、又は他の任意の光媒体を含むがこれに限定されない。

［0033］特定の実施形態において、本発明の態様に係る方法は、３つのステップを備える（各ステップは以下の前書き一覧の後に詳しく説明される）。

［0034］１）ディスプレイ測定のための技術。このアプローチは、ディスプレイの各ピクセルのために放射されるエネルギーの正確な推定を必要とする。捕捉された特定の画像は、使用される補正モデルと関連してディスプレイ技術の既知の欠陥をターゲットとする。

［0035］２）測定を適用するための技術。各ディスプレイパネルについて、適当な補正モデルに基づいて、グローバル補正係数及びピクセルごとの補正係数のセットが計算される。反復アプローチ及び非反復アプローチという、補正係数を計算する２つの一般的なアプローチが説明されるが、本発明の範囲から逸脱することなくこれらの組み合わせ及び／又は変形例が実装されてもよい。

［0036］３）リアルタイム画像処理。上述したステップ１によって測定されたピクセルごとのエネルギー放射変動によって生じる視覚アーティファクトの出現を軽減するために、画像は、上述した第２のステップにおいて計算された補正係数を用いてリアルタイムで処理される。

［0037］ディスプレイ測定

［0038］ディスプレイ内の一般に多数の（通常、１００万を超える）サブピクセル素子によって、サブピクセルごとに正確なエネルギー推定値を生成することは比較的複雑なタスクを備え得る。

［0039］特定の実施形態において、ステップ１は、画像化される放射素子の数を低減するために各色チャネル（例えば赤色、緑色、青色）を個々に画像化することである。

［0040］カメラセンサ素子と放射ディスプレイ素子との間の正確なサブピクセルアライメントは通常不可能であるため、撮像センサを用いる試験用パネルをスーパーサンプリングすることも特定の実施形態において必要である。例えば１：１のサブピクセル測定を通常不可能にする１つの要因は、カメラ技術は色再現のために一般に矩形ラスタ及びベイヤパターンを用いるが、ディスプレイパネルは多くの場合、例えばペンタイルマッピングなど別の（例えば非矩形）パターンを用いることである。

［0041］特定の実施形態において、ディスプレイ内のサブピクセルごとにカメラセンサ上の２５又はそれより多くのフォトサイトを用いることによって、正確なディスプレイ測定値が生成され得ることが認められた。特定の実施形態において、サブピクセルごとの追加のフォトサイトが更に良い結果をもたらす。

［0042］図２Ａは、ディスプレイに送信された典型的な緑一色の生画像を示す写真（２００Ａ）のグレースケールバージョンである。

［0043］図２Ｂは、本発明の典型的な実施形態に従って補正される前の、観察者に表示された、図２Ａのディスプレイに送信された典型的な緑一色の生画像を示す写真（２００Ｂ）のグレースケールバージョンである。

［0044］図２Ｃは、本発明の態様に係る典型的なピクセルごとの補正係数を示す写真（２００Ｃ）である。

［0045］図２Ｄは、典型的なディスプレイに送信されるような図２Ｂに示す画像に対応する、本発明の態様に係る事前補正画像を示す写真（２００Ｄ）のグレースケールバージョンである。

［0046］図２Ｅは、図２Ｄに示す画像に対応する、本発明の態様に係る、観察者に示された典型的な最終画像を示す写真（２００Ｅ）のグレースケールバージョンである。

［0047］図３は、本発明の態様に係るサブピクセルごとのエネルギー推定を実現するために十分な解像度を有する一定の緑色画像のディスプレイパネル（３２０）上の典型的な画像捕捉を示す写真（３００）のグレースケールバージョンである。

［0048］図４は、緑色チャネルのみが照射された、可視サブピクセルを有する５×５のピクセル領域を備える、図３に示す画像の一部の写真（４００）の（ズーム倍率がおよそ１０００である）拡大グレースケールバージョンである。

［0049］フルパネルにわたってこの解像度を維持するのに十分な解像度を有さないカメラが使用される場合、特定の実施形態において部分領域が撮像され、その結果生じるデータセットは滑らかに融合され得る。

［0050］あるいは、例えばＨＭＤなどいくつかのディスプレイ用途の場合、必ずしもフル視野を撮像する必要はない。例えば、特定の実施形態において、（唐突に補正を打ち切るという選択肢ではなく）補正層が補正エリアの周囲の「無補正」に滑らかに融合する場合、多くの場合、中央視野のみを測定及び補正することが十分である。これは、特定の実施形態において、（以下で詳しく説明される）ピクセルごとの補正係数を周囲に向かって「ヌル値」と滑らかに融合することによって実現される。

［0051］図５Ａ及び図５Ｂは、典型的な画像捕捉システムの態様及び本発明の態様に係る構成を示す写真である。

［0052］１つの典型的な（図５Ａ及び図５Ｂに示すような）ディスプレイ測定システム実施形態において、キャノン５ＤｓデジタルＳＬＲカメラ、１８０ｍｍマクロ撮影レンズ（５１０）、及び剛性マクロスタンドといった装置が用いられ得る。ＨＭＤの使用法に一致する方法（すなわち、低持続性、９０Ｈｚ又は１２０Ｈｚのフレームレート）でディスプレイ（６１０、６２０）を駆動するドライブエレクトロニクス（図６に示す６３０）も含まれる。ディスプレイ製造環境において、測定は一般に、特定の実施形態において無塵及び遮光空間で行われる。

［0053］数百万のサブピクセルの各々について配置を正確に予測するために、撮像システム（レンズ）は、特定の実施形態においてサブピクセルレベルを超えて空間的に較正されなければならない。この補正は通常、例えばカメラレンズモデル及びライブフォーカス、Ｆストップ設定などの要因に依存する。

［0054］特定の実施形態において色測定を行う前に、ディスプレイに既知の格子パターンを配置することによって幾何学的レンズ偏心が考慮される。これは、コンピュータビジョン分野における当業者によって用いられる一般的な技術であるが、本発明の特定の実装に係る要件の精密度は一般的な使用の範囲を越える。較正後、レンズ及び撮像システムの幾何精度は、特定の実施形態において撮像デバイスのサブピクセルレベルを超えて正確でなくてはならない。すなわち、そのような実施形態におけるディスプレイラスタのサブピクセルイメージングごとに５×５の場合、全体の幾何学的歪みは、１出力ピクセルよりも大幅に少なく、ディスプレイサブピクセルの間隔の５分の１未満に等しくなくてはならない。

［0055］図７は、較正中に用いられ、本発明の態様に係る幾何学的レンズ偏心を容易に求めるための試験用ディスプレイパネルに示される格子パターン（７１０）を示す。

［0056］次に、特定の実施形態において、カメラの暗視野応答を決定するために黒画像が捕捉される。

［0057］最後に、ピクセルごとの応答を特徴付けるために適した画像が表示される。特定の実施形態において、これは概して、一定色の単色画像である。

［0058］特定の実施形態において、全ての画像は「カメラ生」処理を用いて捕捉され、測光線形性を保つ。

［0059］暗視野はその後、特定の実施形態において捕捉画像から取り除かれ、その後レンズソリューションによって歪みが直される。図８は、特定の実施形態において用いられる暗視野除去及びレンズ歪み除去後の、本発明の態様に係る捕捉画像を示す写真のグレースケールバージョン（８００）である。

［0060］特定の実施形態において、撮像チェーンにおけるローカルフレアを除去するデコンボリューションカーネルが適用され得る。このフレア補償は、「ＰＦＳ」（点広がり関数）を測定する画像を用いて検証され得る。一般に、ほかの一定値領域において単一点ピクセルが照射され、この値を計算する。

［0061］特定の実施形態において、捕捉された矩形領域のピクセルコーナーが検出され、四隅透視ワープが軸合わせ表現を生成し、各サブピクセルは一貫したサイズ及びアライメントを有する。図９は、本発明の態様に係る捕捉画像（９００）におけるコーナー検出ステップを示す写真である。

［0062］図１０は、本発明の態様に係る直線アライメント後の試験用ディスプレイパネルの捕捉画像における典型的な３２×３２ピクセル差込領域を示す写真（１０００）のグレースケールバージョンである。

［0063］特定の実施形態において、各サブピクセルは各ボックスの中心を占め、正確なエネルギー推定を可能にし、ここで各ボックスはサブピクセルごとの統合エリアである。図１１に示すように、各サブピクセルは概して異なる強度を有し、これは、本発明の態様に係る全体又は部分的な測定及び／又は補正の効果である。

［0064］最後に、特定の実施形態によると、ピクセルごとのエネルギーは、各ピクセルエリアにおける全ての値の合算によって計算される。

［0065］図１１は、本発明の態様に係る典型的な試験用ディスプレイパネル（１１００）の一部におけるピクセルごとのエネルギー放射を図示する。

［0066］このプロセスは概して、画像取得中にパネルに付着する塵に非常に影響を受けやすい。塵又は繊維がディスプレイに付着すると、それらは一部の光を吸収及び／又は散光するので、重複ピクセルが暗いものとして不正確に測定される。補償が適用されると、これらのピクセルは、適用された強い正の利得係数を有し、不都合な「過度に明るい」ピクセルとして際立つ。塵を補償するために、特定の実施形態においてパネルの複数の画像が取得されてよく、各画像捕捉の間にエアブラスト（又は他の洗浄プロセス）が実行される。エネルギー推定は、捕捉画像ごとに個々に計算され、その後、各ピクセルの最大（）オペレータを用いて合併される。塵及び他の粒子は概して、捕捉中にピクセルを暗く（明るくなく）することしかないので、その後の捕捉の間に塵が移動するとその影響は取り除かれ得る。

［0067］特定の実施形態における捕捉プロセスの概要
・焦点及び露出を含む、適切なパネル位置にカメラの位置を合わせ固定する
・格子パターン（単色）を捕捉し、レンズ幾何特性を求める
・黒一色画像を表示し、暗視野を捕捉する
・ターゲットフラットフィールド色（単色）を表示し、測光線形データ（カメラ生）における画素を捕捉する
・暗視野を差し引く
・撮像システムＰＳＦを構成するためにデコンボリューションを適用する
・レンズソリューションによって歪みを直す
・四隅全ての視覚フィールドについてピクセルコーナーを検出する
・理想的な軸合わせされた直線形格子を合成するために四隅透視ワープを用いる。ディスプレイ内の各サブピクセルは、位置合わせされた出力画像における既知の一定のサイズの軸合わせボックスに対応するものとする。
・サブピクセルに対応する各ボックス内のエネルギーを合計する。
・塵に対しロバストな推定のために、捕捉の間に洗浄／エアブラストを伴ってＮ回反復する。全ての捕捉にわたるサブピクセルごとの最大値推定を用いて捕捉を合併する。

［0068］補正係数モデリング

［0069］特定の実施形態において、ディスプレイパネルごとに、補正モデルに基づいてグローバル補正係数及びピクセルごとの補正係数のセットが計算され得る。各実装の特定の要件に依存して、補正係数を計算するための反復及び非反復アプローチ並びにこれらのアプローチの変形例及び／又は組み合わせが実行され得る。

［0070］非反復アプローチ

［0071］以下のモデルは、ＯＬＥＤパネルにおけるムラ効果の９０％より多くを占め、開始点として用いられ得る。（他のディスプレイ技術の場合、当業者には既知であるように、アーティファクトを簡潔に表現するために別の式が利用され得る。）
ＣＣＶ（ｘ，ｙ）＝ＩＣＶ（ｘ，ｙ）＋ＰＰＤ（ｘ，ｙ）
式中、
ＣＣＶ：デバイスネイティブガンマ符号化における補正コード値
ＩＣＶ：デバイスネイティブガンマ符号化における入力コード値
ＰＰＤ：ピクセルごとのデルタ
であり、（ｘ，ｙ）は、ディスプレイ空間における出力ピクセル位置の関数として変化する数を表す。

［0072］最終再生（新たな画像にリアルタイムで補正係数を適用）中、特定の実施形態において、最小値及び最大値を取り出しグローバル定数にすることによって、符号化空間を最大化するピクセルごとのデルタを符号化することが好都合であり得る。
ＰＰＤ（ｘ，ｙ）＝ＰＰＶ（ｘ，ｙ）＊ＣＧ＋ＣＯ
ＣＣＶ（ｘ，ｙ）＝ＩＣＶ（ｘ，ｙ）＋ＰＰＤ（ｘ，ｙ）
式中、
ＣＣＶ：デバイスネイティブガンマ符号化における補正コード値
ＩＣＶ：デバイスネイティブガンマ符号化における入力コード値
ＰＰＶ：制限ビットで符号化されたピクセルごとの値
ＰＰＤ：ピクセルごとのデルタ
ＣＧ：補正利得
ＣＯ：補正オフセット
利得／オフセット：ピクセルごとのデルタを解釈するために用いられるグローバル値

［0073］ただし、上記の数学的公式化（すなわち、デバイスのネイティブ符号空間におけるピクセルごとの一定のデルタ値を追加すること）の簡潔性にもかかわらず、ディスプレイ技術がこのように挙動することは反直観的であることに留意すべきである。実際、関連挙動に関するより直観的なモデルは、線形利得動作（例えば、１つのピクセルに２０％多い光を放射させ、別の１つを５％暗くさせるなど）を伴うピクセルごとの補正係数であってよいが、この直観的方法で公式化された場合、利得の量は入力コード値の関数として変化する。かなりの調査及び実験の後、これら高次の項は相殺し、本明細書で説明される特定の実施形態において用いられる簡単な公式化が生じることが決定された。

［0074］本発明の態様によると、ムラ効果は、ＯＬＥＤディスプレイの場合、デバイスのガンマ符号化に適用される加法オフセットによって相殺され得ることが決定された。

［0075］ピクセルごとのデルタの計算

［0076］加法オフセットがモデル化されると、代表コード値が選択され、フラットフィールド画像に関してピクセルごとにエネルギー推定値が測定される。特に、特定の実施形態におけるＯＬＥＤの場合、（２５５の中から）コード値５１が選択され得る。この値は、固定の加法オフセットが高い信号対ノイズ比を有する程度に暗いが、露出時間が極端に大きくなるほど明るくはない。勿論、様々な代表コード値に様々な実装がより良く適し得る。
ＰＰＤ＝ＴＣＶ−ｐｏｗ（ＬＰＥ（ｘ，ｙ）／ＬＰＥＬＡ（ｘ，ｙ）＊ｐｏｗ（ＴＣＶ，ＤＧ），１．０／ＤＧ）
式中、
ＰＰＤ：ピクセルごとのデルタ
ＴＣＶ：（測定中にディスプレイへ送信される）ターゲットコード値
ＬＰＥ：線形ピクセルエネルギー
ＬＰＥ：線形ピクセルエネルギー、ローカルエリア平均（周囲の近隣に関するローカルエネルギー平均であり、多くの場合、中央／ガウス加重）。
ＤＧ：ディスプレイガンマ（通常、定数＝２．２）

［0077］上記式は、ディスプレイに関する理想的なガンマ伝送関数、「ｐｏｗ（ｘ，ｇａｍｍａ）」を仮定し、測定された線状光をモデル化する入力コード値は何かという疑問をモデル化するものである。線形ピクセルエネルギーをローカル平均で割ることによって、グローバルレンズ捕捉効果に対しロバストな方法で、このピクセルがどの程度理想に匹敵するかをロバストに計算することができる。ローカル平均ウインドウのサイズは、特定の実施形態において測定されているディスプレイ技術に合わせられる。

［0078］より正確なディスプレイガンマ特性を有する特定の実施形態において、部分式「ｐｏｗ（ｘ，ｇａｍｍａ）」を置き換えることもできる。
ＰＰＤ＝ＴＣＶ−ｉｎｖ＿ｄｉｓｐｌａｙ＿ｒｅｓｐｏｎｓｅ（ＬＰＥ（ｘ，ｙ）／ＬＰＥＬＡ（ｘ，ｙ）＊ｄｉｓｐｌａｙ＿ｒｅｓｐｏｎｓｅ（ＴＣＶ））

［0079］別の公式化もまた、測定されたエネルギー推定値からピクセルごとのデルタ補正を計算するために、ディスプレイ応答の様々な数学的仮定に基づいて存在する。

［0080］ローカル線形対称ディスプレイ応答を想定すると、
ＰＰＤ＝ｌｏｇ（ＬＰＥ（ｘ，ｙ）／ＬＰＥＬＡ（ｘ，ｙ））＊ｄｉｓｐｌａｙ＿ｒｅｓｐｏｎｓｅ＿ｃｏｎｓｔａｎｔ

［0081］反対称ディスプレイ応答を想定すると（この場合、暗いピクセルは、応答における差を埋め合わせるように比例的に大きくなる利得によって駆動されなければならない）、
ＰＰＤ＝ＴＣＶ＋ｐｏｗ（ＬＰＥＬＡ（ｘ，ｙ）／ＬＰＥ（ｘ，ｙ）＊ｐｏｗ（ＴＣＶ，ＤＧ），１．０／ＤＧ）

［0082］上に羅列した全ての式は、類似であるが同一ではない補正係数を生じる。ピクセルごとのデルタを概算する他の公式化が存在することが知られているが、ＯＬＥＤ技術をモデル化すると正確さは低下する。一般に、人間の観察者によって判定されるような補正後のムラ出現を最小化するものが好適な技術である。

［0083］反復アプローチ

［0084］単一の捕捉が効果の９０％より多くを補正することができるが、特定の実施形態において考慮され得る残りの誤りがまだ存在する。反復アプローチにおいて、上述したように特定の実施形態においてピクセルごとの一定のデルタが最初に求められる。しかし次に、特定の実施形態において、補正されたフラットフィールド画像をディスプレイへ送信し、残りの未補正デルタを記録することによってプロセスが増強される。特定の実施形態において、この残余は複数の入力コード値に関して測定され、次にピクセルごとの残余が計算され、記録されたデータセットの補間によって適用される。
ＣＣＶ（ｘ，ｙ）＝ＩＣＶ（ｘ，ｙ）＋ＰＰＤ（ｘ，ｙ）＋ＰＰＲ（ＩＣＶ，ｘ，ｙ）
式中、
ＣＣＶ：デバイスネイティブガンマ符号化における補正コード値
ＩＣＶ：デバイスネイティブガンマ符号化における入力コード値
ＰＰＤ：ピクセルごとのデルタ
ＰＰＲ：入力コード値の関数である、ピクセルごとの残余

［0085］ピクセルごとの残余はピクセルごとのデルタよりも大幅に小さく、複数の残余が、元のピクセルごとの係数と同じ量の空間に効率的に格納され得る。

［0086］ディスプレイパネルの寿命にわたり、ムラアーティファクトは度々強度が変化する。これは、特定の実施形態において、必要に応じてより多い又は少ない補正を適用するように補正利得係数を操作することによって考慮され得る。

［0087］表示出力は、光の整数出力値（例えば８ビット入力によって生じる２５６ステップなど）に数値化されるが、ピクセルごとの強度変動は特定の実施形態において、より高い精度でモデル化され得る。ディスプレイよりも高精度でピクセルごとのデルタを格納することによって、入力におけるステップの数よりも高精度で出力輝度値をグローバルに再現することが可能である（すなわち、各個々のピクセルは２５６のアドレス可能ステップしか有さないが、特定の実施形態においてローカル領域は、平均してより多くの離散出力レベルを有してよい）。

［0088］バンディングアーティファクトを軽減するためにピクセルごとの表示強度変動を活用することは、ムラ表示アーティファクトと無関係に伝送技術に関与するものである。例えば、高ビット精度の画像合成、「ムラのない」高ビット精度ディスプレイ、かつ低ビット深度伝送リンクを有するシステムにおいて、バンディングの出現を軽減するためにディスプレイに人工的なピクセル変動を取り入れることができる。

［0089］ＯＬＥＤディスプレイ上で見られる自然のムラよりも簡潔な表現及び低いサンプリング不一致度を有する合成ピクセル変動パターンが生成され得る。１つの公式化は、＋／−０．５コード値の輝度領域にわたって均一なサンプリングを伴う、タイリング可能ノイズパターンを使用することである。ノイズタイリングは特定の実施形態において、ピクセル値が近隣と類似したオフセットを有する可能性がないように、ジッタのある層別サンプリング又は青色ノイズである。送信源にディスプレイのピクセル変動アルゴリズムを認識させることによって、バンディングの出現が軽減されるようにピクセルごとの適切な数量化が適用され得る。

［0090］バンディングアーティファクトを更に軽減するために経時的に変化するタイリング可能ノイズパターンも生成されてよいが、そのようなシステムにおいて、特定の実施形態における画像合成は、ピクセル変動に適用するノイズの「フレーム」を符号化及び伝送する必要がある。

［0091］特定の実施形態における他の進歩は、クリップされた値が導入されないように、コード値の関数として均一なサンプリングにバイアスをかけることである。典型的な８ビットの伝送リンクの場合、コード値０は、［０．０、１．０］の範囲で均一なランダムバイアスを推定し、中間コード値（１２８）の場合、［−０．５、０．５］が選択され、コード値２５５の場合、［−１．０、０．０］が使用される。

［0092］特定のＨＭＤ関連実施形態において、本発明の態様に係るムラ補正処理は、グラフィック処理ユニット（「ＧＰＵ」）においてホスト側で実行される。しかし、各特定の実装の要件に依存して、そのような処理は、例えばインシリコで、ヘッドセット自体で、テザー上で、又はディスプレイパネル電子機器で実行され得る。そのような代替の実装は、限られたリンク帯域幅を伴う状況（例えばワイヤレスシステム）において重要である、大幅な画像圧縮性をもたらし得る。

［0093］上記説明は多くの詳細を含み、特定の典型的な実施形態が添付図面に示され説明されたが、そのような実施形態は単に例示的なものであって幅広い発明に制限を設けるものではなく、上述したように当業者には様々な他の変更例が想起され得るので、本発明は、図示及び説明された特定の構造及び構成に限定されないことを理解すべきである。本発明は、本明細書に開示された様々な詳細及び／又は実施形態における要素の任意の組み合わせ又は部分的組み合わせを含む。

Claims

複数のピクセルを有するディスプレイパネルの一部に見られるピクセルごとのエネルギー放射変動によって生じる視覚アーティファクトの出現を軽減するための方法であって、
前記ディスプレイパネルの少なくとも前記一部の前記ピクセルの少なくとも部分集合に光を放射させることであって、前記ディスプレイパネルの中央領域の単色の前記ピクセルの各々に光を放射させることを含む、光を放射させることと、
光学センサを介して、前記ディスプレイパネルの少なくとも前記一部の前記ピクセルの各々によって放射された光を検出することであって、前記ディスプレイパネルの前記中央領域の前記ピクセルの各々によって放射された光を検出することを含む、光を検出することと、
前記ディスプレイパネルの前記一部の前記ピクセルの各々によって放射された前記光の検出に少なくとも部分的に基づいて前記ピクセルの各々について放射されるエネルギーを推定することと、
補正モデル及び前記ピクセルの各々について放射される推定された前記エネルギーに少なくとも部分的に基づいてピクセルごとの補正係数のセットを計算することとであって、前記中央領域の前記ピクセルについてのピクセルごとの補正係数のセットを計算することと、前記ピクセルごとの補正係数を滑らかに融合して前記ディスプレイパネルの周囲に向かって補正しないことであって、前記周囲の領域の前記補正係数にはヌル値が割り当てられ、前記ディスプレイパネルの前記中央領域と前記周囲の領域との間にある前記ディスプレイパネルの領域で前記融合が行われる、補正しないことと、を含む、補正係数のセットを計算することと、
前記ディスプレイパネルの前記一部に伝送される画像データにリアルタイムで前記補正係数を適用することと、を含む方法。
前記ディスプレイパネルの前記少なくとも一部の前記ピクセルの少なくとも部分集合に光を放射させることは、単色の前記ディスプレイパネルの前記少なくとも一部の前記ピクセルの各々に光を放射させることを含む、請求項１に記載の方法。
前記ピクセルの各々によって放射された光を検出することは、前記ピクセルの各々について前記光学センサの少なくとも２５のフォトサイトを用いて前記光を検出することを含む、請求項１に記載の方法。
前記ピクセルの少なくとも部分集合に、前記ディスプレイパネル上に既知の格子パターンを形成する光を放射させることと、
前記光学センサを介して前記格子パターンを検出することと、
前記光学センサに関連したレンズの幾何学的レンズ偏心を求めるために、検出された前記格子パターンを分析することと、をさらに含み、
前記ピクセルの各々について放射されたエネルギーを推定することは、前記レンズの特定された幾何学的レンズ偏心に少なくとも部分的に基づいて前記ピクセルの各々について放出されたエネルギーを推定することを含む、請求項１に記載の方法。
前記ディスプレイパネルの前記少なくとも一部の前記ピクセルの前記少なくとも部分集合に光を放射させないことと、
暗視野画像を得るため、前記ピクセルの前記少なくとも部分集合が光を放射していない間に、前記光学センサを介して、前記ディスプレイパネルの前記少なくとも一部を検出することと、をさらに含み、
前記ピクセルの各々について放射されたエネルギーを推定することは、前記ピクセルの各々によって放射された前記検出された光から前記暗視野画像を除去することを含む、請求項１に記載の方法。
前記ピクセルの各々について放射されたエネルギーを推定することは、ローカルフレアを除去するために、前記ピクセルの各々によって放射された前記検出された光にデコンボリューションカーネルを適用することを含む、請求項１に記載の方法。
ピクセルごとの補正係数のセットを計算することは、前記ピクセルの各々について適用されるべきピクセルごとのデルタ値を計算することを含む、請求項１に記載の方法。
ピクセルごとの補正係数のセットを計算することは、前記ピクセルの各々について適用されるべき、入力コード値の関数であるピクセルごとの値を計算することを含む、請求項７に記載の方法。
前記補正モデルは、各ピクセルごとの補正係数について、前記ピクセルごとの補正係数が関連する前記ピクセルに対応する入力コード値に対する、前記ディスプレイパネルのネイティブガンマ符号化において適用されるオフセットを含む、請求項１に記載の方法。
前記補正モデルは、各ピクセルごとの補正係数について、前記ピクセルごとの補正係数が関連する前記ピクセルに対応する入力コード値に対する、前記ディスプレイパネルのネイティブガンマ符号化において適用されるオフセットを含む中間のピクセルごとの結果、及び、前記中間のピクセルごとの結果に追加される、前記入力コード値の関数であるピクセルごとの値を含む、請求項１に記載の方法。
ディスプレイパネルの少なくとも一部に見られるピクセルごとのエネルギー放射変動によって生じる視覚アーティファクトの出現を軽減するための装置であって、
カメラと、
命令又はデータの少なくとも１つを格納する少なくとも１つの不揮発性プロセッサ可読記憶媒体と、
前記カメラ、前記ディスプレイパネル及び前記少なくとも１つの不揮発性プロセッサ可読記憶媒体に動作可能に接続された少なくとも１つのプロセッサであって、動作中、前記少なくとも１つのプロセッサは、
前記ディスプレイパネルの前記少なくとも一部の前記ピクセルの少なくとも部分集合に光を放射させ、前記ディスプレイパネルの中央領域の単色の前記ピクセルの各々に光を放射させ、
前記ディスプレイパネルの前記少なくとも一部の前記ピクセルの各々によって放射された光を前記カメラに検出させ、前記カメラは、前記ディスプレイパネルの前記中央領域の前記ピクセルの各々によって放射された光を検出し、
前記ディスプレイパネルの前記一部の前記ピクセルの各々によって放射された前記光の検出に少なくとも部分的に基づいて前記ピクセルの各々について放射されるエネルギーを推定し、
補正モデル及び前記ピクセルの各々について放射される推定された前記エネルギーに少なくとも部分的に基づいてピクセルごとの補正係数のセットを計算し、前記中央領域の前記ピクセルについてのピクセルごとの補正係数のセットを計算し、前記ピクセルごとの補正係数を滑らかに融合して前記ディスプレイパネルの周囲に向かって補正せず、前記周囲の領域の前記補正係数にはヌル値が割り当てられ、前記ディスプレイパネルの前記中央領域と前記周囲の領域との間にある前記ディスプレイパネルの領域で前記融合が行われ、
前記ディスプレイパネルの前記一部に伝送される画像データにリアルタイムで前記補正係数を適用する、装置。