JP2023531492A - ディスプレイデバイスの色均一性補正 - Google Patents

ディスプレイデバイスの色均一性補正 Download PDF

Info

Publication number
JP2023531492A
JP2023531492A JP2022578994A JP2022578994A JP2023531492A JP 2023531492 A JP2023531492 A JP 2023531492A JP 2022578994 A JP2022578994 A JP 2022578994A JP 2022578994 A JP2022578994 A JP 2022578994A JP 2023531492 A JP2023531492 A JP 2023531492A
Authority
JP
Japan
Prior art keywords
images
color
display
merit
weighting factors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022578994A
Other languages
English (en)
Other versions
JPWO2021263196A5 (ja
Inventor
ケビン メッサー,
ミラー ハリー ザ サード シャック,
ニコラス イーレ モーリー,
ポ-カン フアン,
ヌクル サンジャイ シャー,
マーシャル チャールズ キャップス,
ロバート ブレイク テイラー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023531492A publication Critical patent/JP2023531492A/ja
Publication of JPWO2021263196A5 publication Critical patent/JPWO2021263196A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/04Structural and physical details of display devices
    • G09G2300/0439Pixel structures
    • G09G2300/0452Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/04Maintaining the quality of display appearance
    • G09G2320/041Temperature compensation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Of Color Television Signals (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Gas Discharge Display Tubes (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

開示されるものは、ディスプレイデバイスのディスプレイの色均一性を改良するための技法である。ディスプレイの複数の画像は、画像捕捉デバイスを使用して捕捉される。複数の画像は、色空間内で捕捉され、各画像は、複数のカラーチャネルのうちの1つに対応する。大域的ホワイトバランスが、複数の正規化された画像を取得するために、複数の画像に実施される。局所的ホワイトバランスが、複数の補正行列を取得するために、複数の正規化された画像に実施される。局所的ホワイトバランスを実施するステップは、性能指数に基づいて、加重係数のセットを定義するステップと、複数の正規化された画像および加重係数のセットに基づいて、複数の加重された画像を算出するステップとを含む。複数の補正行列は、複数の加重された画像に基づいて算出される。

Description

(関連出願の相互参照)
本願は、その全内容が、あらゆる目的のために、参照することによって本明細書に組み込まれる、2020年6月26日に出願され、「COLOR UNIFORMITY CORRECTION OF DISPLAY DEVICE」と題された、米国仮特許出願第63/044,995号の優先権の利益を主張する。
ディスプレイまたはディスプレイデバイスは、多くの場合、ユーザの眼等の受光オブジェクトに向かった投影または放出を通して、光を出力することによって、視覚的形態において情報を提示する、出力デバイスである。多くのディスプレイは、同時に、または順次のいずれかにおいて、可変強度の赤色、緑色、および青色等のいくつかの付加的色を表示し、広範囲の色を達成することによって、付加的色モデルを利用する。例えば、いくつかの付加的色モデルに関して、色「白色(または標的白色点)」は、同時に、または順次、非ゼロかつ比較的に類似する強度において、付加的色のそれぞれを表示することによって達成され、色「黒色」は、ゼロ強度において、付加的色のそれぞれを表示することによって達成される。
ディスプレイの色の正確度は、ディスプレイの各ピクセルにおける付加的色毎の実際の強度に関連し得る。多くのディスプレイ技術に関して、特に、ピクセルレベルにおいて、付加的色の実際の強度を決定および制御することは、困難であり得る。したがって、新しいシステム、方法、および他の技法が、そのようなディスプレイを横断して色均一性を改良するために必要とされる。
本開示は、概して、ディスプレイおよびディスプレイデバイスの色均一性を改良するための技法に関する。より具体的には、本開示の実施形態は、複数のカラーチャネルに関するディスプレイの画像を捕捉および処理することによって、マルチチャネルディスプレイを較正するための技法を提供する。本開示の一部は、拡張現実(AR)デバイスを参照して説明されるが、本開示は、コンピュータビジョンおよびディスプレイ技術における種々の用途に適用可能である。
本発明の種々の実施形態の説明が、実施例の一覧として、下記に提供される。下記に使用されるように、一連の実施例への任意の言及は、それらの実施例のそれぞれへの離接的な言及として理解されるものである(例えば、「実施例1-4」は、「実施例1、2、3、または4」として理解されるものである)。
実施例1は、一連の画像を備えるビデオシーケンスをディスプレイ上に表示する方法であって、ビデオシーケンスをディスプレイデバイスにおいて受信するステップであって、ビデオシーケンスは、複数のカラーチャネルを有する、ステップと、複数の補正行列の補正行列を使用して、ピクセル毎の補正をビデオシーケンスの複数のカラーチャネルのそれぞれに適用するステップであって、複数の補正行列はそれぞれ、複数のカラーチャネルのうちの1つに対応し、ピクセル毎の補正を適用するステップは、複数のカラーチャネルを有する、補正されたビデオシーケンスを生成する、ステップと、補正されたビデオシーケンスをディスプレイデバイスのディスプレイ上に表示するステップとを含む、方法である。
実施例2は、複数の補正行列が、画像捕捉デバイスを使用して、ディスプレイの複数の画像を捕捉するステップであって、複数の画像は、色空間内で捕捉され、複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応する、ステップと、大域的ホワイトバランスを複数の画像に実施し、それぞれ、複数のカラーチャネルのうちの1つに対応する、複数の正規化された画像を取得するステップと、局所的ホワイトバランスを複数の正規化された画像に実施し、複数の補正行列を取得するステップであって、局所的ホワイトバランスを実施するステップは、性能指数に基づいて、加重係数のセットを定義するステップと、複数の正規化された画像および加重係数のセットに基づいて、複数の加重された画像を算出するステップと、複数の加重された画像に基づいて、複数の補正行列を算出するステップとを含む、ステップとによって事前に算出されている、実施例1に記載の方法。
実施例3は、複数の補正行列を使用して、複数の標的ソース電流を決定するステップと、ディスプレイデバイスの複数のソース電流を複数の標的ソース電流に設定するステップとをさらに含む、実施例1に記載の方法。
実施例4は、非一過性コンピュータ可読媒体であって、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、一連の画像を備えるビデオシーケンスをディスプレイデバイスにおいて受信するステップであって、ビデオシーケンスは、複数のカラーチャネルを有する、ステップと、複数の補正行列の補正行列を使用して、ピクセル毎の補正をビデオシーケンスの複数のカラーチャネルのそれぞれに適用するステップであって、複数の補正行列はそれぞれ、複数のカラーチャネルのうちの1つに対応し、ピクセル毎の補正を適用するステップは、複数のカラーチャネルを有する、補正されたビデオシーケンスを生成する、ステップと、補正されたビデオシーケンスをディスプレイデバイスのディスプレイ上に表示するステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体である。
実施例5は、複数の補正行列が、画像捕捉デバイスを使用して、ディスプレイの複数の画像を捕捉するステップであって、複数の画像は、色空間内で捕捉され、複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応する、ステップと、大域的ホワイトバランスを複数の画像に実施し、それぞれ、複数のカラーチャネルのうちの1つに対応する、複数の正規化された画像を取得するステップと、局所的ホワイトバランスを複数の正規化された画像に実施し、複数の補正行列を取得するステップであって、局所的ホワイトバランスを実施するステップは、性能指数に基づいて、加重係数のセットを定義するステップと、複数の正規化された画像および加重係数のセットに基づいて、複数の加重された画像を算出するステップと、複数の加重された画像に基づいて、複数の補正行列を算出するステップとを含む、ステップとによって事前に算出されている、実施例4に記載の非一過性コンピュータ可読媒体。
実施例6は、動作がさらに、複数の補正行列を使用して、複数の標的ソース電流を決定するステップと、ディスプレイデバイスの複数のソース電流を複数の標的ソース電流に設定するステップとを含む、実施例4に記載の非一過性コンピュータ可読媒体。
実施例7は、システムであって、1つまたはそれを上回るプロセッサと、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、一連の画像を備えるビデオシーケンスをディスプレイデバイスにおいて受信するステップであって、ビデオシーケンスは、複数のカラーチャネルを有する、ステップと、複数の補正行列の補正行列を使用して、ピクセル毎の補正をビデオシーケンスの複数のカラーチャネルのそれぞれに適用するステップであって、複数の補正行列はそれぞれ、複数のカラーチャネルのうちの1つに対応し、ピクセル毎の補正を適用するステップは、複数のカラーチャネルを有する、補正されたビデオシーケンスを生成する、ステップと、補正されたビデオシーケンスをディスプレイデバイスのディスプレイ上に表示するステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体とを備える、システムである。
実施例8は、複数の補正行列が、画像捕捉デバイスを使用して、ディスプレイの複数の画像を捕捉するステップであって、複数の画像は、色空間内で捕捉され、複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応する、ステップと、大域的ホワイトバランスを複数の画像に実施し、それぞれ、複数のカラーチャネルのうちの1つに対応する、複数の正規化された画像を取得するステップと、局所的ホワイトバランスを複数の正規化された画像に実施し、複数の補正行列を取得するステップであって、局所的ホワイトバランスを実施するステップは、性能指数に基づいて、加重係数のセットを定義するステップと、複数の正規化された画像および加重係数のセットに基づいて、複数の加重された画像を算出するステップと、複数の加重された画像に基づいて、複数の補正行列を算出するステップとを含む、ステップとによって事前に算出されている、実施例7に記載のシステム。
実施例9は、動作がさらに、複数の補正行列を使用して、複数の標的ソース電流を決定するステップと、ディスプレイデバイスの複数のソース電流を複数の標的ソース電流に設定するステップとを含む、実施例7に記載のシステム。
実施例10は、ディスプレイの色均一性を改良する方法であって、画像捕捉デバイスを使用して、ディスプレイデバイスのディスプレイの複数の画像を捕捉するステップであって、複数の画像は、色空間内で捕捉され、複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応する、ステップと、大域的ホワイトバランスを複数の画像に実施し、それぞれ、複数のカラーチャネルのうちの1つに対応する、複数の正規化された画像を取得するステップと、局所的ホワイトバランスを複数の正規化された画像に実施し、それぞれ、複数のカラーチャネルのうちの1つに対応する、複数の補正行列を取得するステップであって、局所的ホワイトバランスを実施するステップは、性能指数に基づいて、加重係数のセットを定義するステップと、複数の正規化された画像および加重係数のセットに基づいて、複数の加重された画像を算出するステップと、複数の加重された画像に基づいて、複数の補正行列を算出するステップとを含む、ステップとを含む、方法である。
実施例11は、複数の補正行列をディスプレイデバイスに適用するステップをさらに含む、実施例10に記載の方法。
実施例12は、性能指数が、電力消費、色誤差、または最小ビット深度のうちの少なくとも1つである、実施例10-11に記載の方法。
実施例13は、性能指数に基づいて、加重係数のセットを定義するステップが、加重係数のセットを変動させることによって、性能指数を最小限にするステップと、性能指数が最小限にされる、加重係数のセットを決定するステップとを含む、実施例10-12に記載の方法。
実施例14は、色空間が、CIELUV色空間、CIEXYZ色空間、またはsRGB色空間のうちの1つである、実施例10-13に記載の方法。
実施例15は、大域的ホワイトバランスを複数の画像に実施するステップが、標的白色点に基づいて、色空間内の標的照度値を決定するステップを含み、複数の正規化された画像は、標的照度値に基づいて算出される、実施例10-14に記載の方法。
実施例16は、複数の補正行列が、標的照度値にさらに基づいて算出される、実施例15に記載の方法。
実施例17は、ディスプレイが、回折導波管ディスプレイである、実施例10-16に記載の方法。
実施例18は、非一過性コンピュータ可読媒体であって、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、画像捕捉デバイスを使用して、ディスプレイデバイスのディスプレイの複数の画像を捕捉するステップであって、複数の画像は、色空間内で捕捉され、複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応する、ステップと、大域的ホワイトバランスを複数の画像に実施し、それぞれ、複数のカラーチャネルのうちの1つに対応する、複数の正規化された画像を取得するステップと、局所的ホワイトバランスを複数の正規化された画像に実施し、それぞれ、複数のカラーチャネルのうちの1つに対応する、複数の補正行列を取得するステップであって、局所的ホワイトバランスを実施するステップは、性能指数に基づいて、加重係数のセットを定義するステップと、複数の正規化された画像および加重係数のセットに基づいて、複数の加重された画像を算出するステップと、複数の加重された画像に基づいて、複数の補正行列を算出するステップとを含む、ステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体である。
実施例19は、動作がさらに、複数の補正行列をディスプレイデバイスに適用するステップを含む、実施例18に記載の非一過性コンピュータ可読媒体。
実施例20は、性能指数が、電力消費、色誤差、または最小ビット深度のうちの少なくとも1つである、実施例18-19に記載の非一過性コンピュータ可読媒体。
実施例21は、性能指数に基づいて、加重係数のセットを定義するステップが、加重係数のセットを変動させることによって、性能指数を最小限にするステップと、性能指数が最小限にされる、加重係数のセットを決定するステップとを含む、実施例18-20に記載の非一過性コンピュータ可読媒体。
実施例22は、色空間が、CIELUV色空間、CIEXYZ色空間、またはsRGB色空間のうちの1つである、実施例18-21に記載の非一過性コンピュータ可読媒体。
実施例23は、大域的ホワイトバランスを複数の画像に実施するステップが、標的白色点に基づいて、色空間内の標的照度値を決定するステップを含み、複数の正規化された画像は、標的照度値に基づいて算出される、実施例18-22に記載の非一過性コンピュータ可読媒体。
実施例24は、複数の補正行列が、標的照度値にさらに基づいて算出される、実施例23に記載の非一過性コンピュータ可読媒体。
実施例25は、ディスプレイが、回折導波管ディスプレイである、実施例18-24に記載の非一過性コンピュータ可読媒体。
実施例26は、システムであって、1つまたはそれを上回るプロセッサと、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、画像捕捉デバイスを使用して、ディスプレイデバイスのディスプレイの複数の画像を捕捉するステップであって、複数の画像は、色空間内で捕捉され、複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応する、ステップと、大域的ホワイトバランスを複数の画像に実施し、それぞれ、複数のカラーチャネルのうちの1つに対応する、複数の正規化された画像を取得するステップと、局所的ホワイトバランスを複数の正規化された画像に実施し、それぞれ、複数のカラーチャネルのうちの1つに対応する、複数の補正行列を取得するステップであって、局所的ホワイトバランスを実施するステップは、性能指数に基づいて、加重係数のセットを定義するステップと、複数の正規化された画像および加重係数のセットに基づいて、複数の加重された画像を算出するステップと、複数の加重された画像に基づいて、複数の補正行列を算出するステップとを含む、ステップとを含む、動作を実施させる、命令を備える、非一過性コンピュータ可読媒体とを備える、システムである。
実施例27は、動作がさらに、複数の補正行列をディスプレイデバイスに適用するステップを含む、実施例26に記載のシステム。
実施例28は、性能指数が、電力消費、色誤差、または最小ビット深度のうちの少なくとも1つである、実施例26-27に記載のシステム。
実施例29は、性能指数に基づいて、加重係数のセットを定義するステップが、加重係数のセットを変動させることによって、性能指数を最小限にするステップと、性能指数が最小限にされる、加重係数のセットを決定するステップとを含む、実施例26-28に記載のシステム。
実施例30は、色空間が、CIELUV色空間、CIEXYZ色空間、またはsRGB色空間のうちの1つである、実施例26-29に記載のシステム。
実施例31は、大域的ホワイトバランスを複数の画像に実施するステップが、標的白色点に基づいて、色空間内の標的照度値を決定するステップを含み、複数の正規化された画像は、標的照度値に基づいて算出される、実施例26-30に記載のシステム。
実施例32は、複数の補正行列が、標的照度値にさらに基づいて算出される、実施例31に記載のシステム。
実施例33は、ディスプレイが、回折導波管ディスプレイである、実施例26-32に記載のシステム。
従来の技法に優る多数の利益が、本開示の方法によって達成される。例えば、本明細書に説明される実施形態は、高レベルの色非均一性を補正することが可能である。実施形態はまた、種々の用途におけるロバスト性のために、眼位置、電力、およびビット深度を考慮し得る。実施形態はさらに、あるレベルの色均一性のディスプレイを生産するために必要とされる、製造要件および許容度(TTV(ウエハ厚さ変動に関連する)、回折構造忠実性、層/層整合、プロジェクタ/層整合等)を緩和し得る。本明細書に説明される技法は、回折導波管接眼レンズを採用するディスプレイにのみ適用可能であるわけではなく、可能性の中でもとりわけ、反射性ホログラフィック光学要素(HOE)ディスプレイ、反射性コンバイナディスプレイ、水盤鏡コンバイナディスプレイ、内蔵反射体導波管ディスプレイ等の様々なディスプレイのために使用されることができる。
本開示のさらなる理解を提供するために含まれる、付随の図面は、本明細書に組み込まれ、その一部を成し、本開示の実施形態を図示し、詳細な説明とともに、本開示の原理を解説する役割を果たす。本開示の基本的な理解およびこれが実践され得る種々の方法に関して必要であり得るよりも詳細に、本開示の構造的詳細を示す試みは、行われない。
図1は、例示的ディスプレイ較正スキームを図示する。
図2は、回折導波管接眼レンズ内の異なるカラーチャネルに関して生じ得る、輝度均一性パターンの実施例を図示する。
図3は、一連の画像を備えるビデオシーケンスをディスプレイ上に表示する方法を図示する。
図4は、ディスプレイの色均一性を改良する方法を図示する。
図5は、改良された色均一性の実施例を図示する。
図6は、図5に示される実施例に関する誤差ヒストグラムのセットを図示する。
図7は、例示的補正行列を図示する。
図8は、1つのディスプレイカラーチャネルに関する輝度均一性パターンの実施例を図示する。
図9は、複数の眼位置に関するディスプレイの色均一性を改良する方法を図示する。
図10は、複数の眼位置に関するディスプレイの色均一性を改良する方法を図示する。
図11は、複数の眼位置に関する改良された色均一性の実施例を図示する。
図12は、ディスプレイデバイスのソース電流を決定および設定する方法を図示する。
図13は、例示的ウェアラブルシステムの概略図を図示する。
図14は、簡略化されたコンピュータシステムを図示する。
添付の図のうちのいくつかは、再現目的のために、グレースケールに変換されている、カラー特徴を含む。本出願人は、後にカラー特徴を再導入する権利を留保する。
具体的実施形態の詳細な説明
拡張現実(AR)ディスプレイを含む、多くのタイプのディスプレイは、ユーザの視野(FoV)を横断して、色非均一性に悩まされる。これらの非均一性の源は、ディスプレイ技術によって変動するが、特に、回折導波管接眼レンズに関して問題となる。これらのディスプレイに関して、色非均一性への有意な寄与因子は、接眼レンズ基板の局所的厚さ変動プロファイルの部分毎の変動であって、これは、出力画像均一性パターンにおける大変動につながり得る。複数の層を含有する、接眼レンズでは、ディスプレイチャネル(例えば、赤色、緑色、および青色ディスプレイチャネル)の均一性パターンは、有意に異なる均一性パターンを有し得、これは、色非均一性につながる。色非均一性をもたらし得る、他の要因は、可能性の中でもとりわけ、接眼レンズを横断した格子構造における変動、システム内の光学要素の整合における変動、ディスプレイチャネルの光経路間の体系的差異を含む。
本開示の実施形態は、ディスプレイおよびディスプレイデバイスの色均一性を改良するための技法を提供する。そのような技法は、補正後、ユーザには、ディスプレイのFoV全体を横断して、より均一な色が見え得るように、ARディスプレイを含む、多くのディスプレイによって生産される、色非均一性を補正し得る。いくつかの実施形態では、本技法は、較正プロセスおよびアルゴリズムを含んでもよく、これは、空間光変調器(SLM)によって使用されるピクセルおよびカラーチャネル毎に、0~1の値に対応する、補正行列を生成する。生成された補正行列は、色均一性を改良するために、SLMに送信される各画像フレームで乗算されてもよい。
以下の説明では、種々の実施例が、説明されるであろう。解説の目的のために、具体的構成および詳細が、実施例の完全な理解を提供するために記載される。しかしながら、また、実施例が具体的詳細を伴わずに実践されてもよいことが当業者に明白となるであろう。さらに、周知の特徴は、説明されている実施形態を不明瞭にしないために、省略または簡略化され得る。
図1は、本開示のいくつかの実施形態による、例示的ディスプレイ較正スキームを図示する。図示される実施例では、カメラ108が、ウェアラブルデバイス102のディスプレイ112に対するユーザの眼位置に位置付けられる。いくつかのインスタンスでは、カメラ108は、ステーション内のウェアラブルデバイス102に隣接して配設されることができる。カメラ108は、並行して、または順次、左および右眼に関するウェアラブルデバイスのディスプレイ出力を測定するために使用されることができる。カメラ108はそれぞれ、例証を簡略化するために、単一の眼位置に位置付けられるように示されるが、カメラ108はそれぞれ、いくつかの位置に偏移され、眼位置の変化、瞳孔間距離、およびユーザの移動等に伴う、可能性として考えられる色偏移を考慮し得ることを理解されたい。単に、実施例として、カメラ108(または同様に、ウェアラブルデバイス102)はそれぞれ、3つの側方場所、すなわち、-3mm、0mm、および+3mmに偏移されることができる。加えて、カメラ108のそれぞれに対するウェアラブルデバイス102の相対的角度もまた、変動され、付加的較正条件を提供することができる。
ディスプレイ112はそれぞれ、発光ダイオード(LED)等の1つまたはそれを上回る光源を含んでもよい。いくつかの実施形態では、シリコン上液晶(LCOS)が、ディスプレイ画像を提供するために使用されることができる。LCOSは、ウェアラブルデバイス102の中に構築されてもよい。較正の間、画像光は、フィールドシーケンシャルカラー、例えば、赤色、緑色、および青色のシーケンスにおいて、ウェアラブルデバイス102によって投影されることができる。フィールドシーケンシャルカラーシステムでは、原色情報が、連続画像内で伝送され、これは、ヒト視覚系が、連続画像をカラー写真の中に融合させることに依拠する。カメラ108はそれぞれ、カメラの色空間内で画像を捕捉し、データを較正ワークステーションに提供してもよい。捕捉された画像のさらなる処理に先立って、色空間は、第1の色空間(例えば、カメラの色空間)から第2の色空間に変換されてもよい。例えば、捕捉された画像は、カメラのRGB空間からXYZ色空間に変換されてもよい。
いくつかの実施形態では、ディスプレイ112はそれぞれ、標的白色点を生産するために、光源毎に、別個の画像を表示させられる。ディスプレイ112はそれぞれ、各画像を表示する間、対応するカメラは、表示される画像を捕捉してもよい。例えば、第1の画像は、赤色照明源を使用して赤色画像を表示する間、ディスプレイから捕捉されてもよく、第2の画像は、緑色照明源を使用して緑色画像を表示する間、同一ディスプレイから捕捉されてもよく、第3の画像は、青色照明源を使用して青色画像を表示する間、同一ディスプレイから捕捉されてもよい。3つの捕捉された画像は、他のディスプレイに関する3つの捕捉された画像とともに、次いで、説明される実施形態に従って処理されてもよい。
図2は、本開示のいくつかの実施形態による、回折導波管接眼レンズ内の異なるカラーチャネルに関して生じ得る、輝度均一性パターンの実施例を図示する。左から右に、輝度均一性パターンが、回折導波管接眼レンズ内の赤色、緑色、および青色ディスプレイチャネルに関して示される。個々のディスプレイチャネルの組み合わせは、右端において、色均一性画像をもたらし、これは、全体を通して非均一色を呈する。図示される実施例では、画像(ガンマ=2.2)は、3層(ディスプレイチャネル毎に1つずつ)から成る回折導波管接眼レンズを通して得られた。各画像は、45°×55°FoVに対応する。図2は、再現目的のために、グレースケールに変換されている、カラー特徴を含む。
図3は、本開示のいくつかの実施形態による、一連の画像を備えるビデオシーケンスをディスプレイ上に表示する方法300を図示する。方法300の1つまたはそれを上回るステップは、方法300の実施の間、省略されてもよく、方法300のステップは、示される順序で実施される必要はない。方法300の1つまたはそれを上回るステップは、1つまたはそれを上回るプロセッサによって実施されてもよい。方法300は、プログラムが、1つまたはそれを上回るコンピュータによって実行されると、1つまたはそれを上回るコンピュータに、方法300のステップを行わせる、命令を備える、コンピュータ可読媒体またはコンピュータプログラム製品として実装されてもよい。
ステップ302では、ビデオシーケンスが、ディスプレイデバイスにおいて受信される。ビデオシーケンスは、一連の画像を含んでもよい。ビデオシーケンスは、複数のカラーチャネルを含んでもよく、カラーチャネルはそれぞれ、ディスプレイデバイスの複数の照明源のうちの1つに対応する。例えば、ビデオシーケンスは、赤色、緑色、および青色カラーチャネルを含んでもよく、ディスプレイデバイスは、赤色、緑色、および青色照明源を含んでもよい。照明源は、LEDであってもよい。
ステップ304では、複数の補正行列が、決定される。複数の補正行列はそれぞれ、複数のカラーチャネルのうちの1つに対応し得る。例えば、複数の補正行列は、赤色、緑色、および青色補正行列を含んでもよい。
ステップ306では、ピクセル毎の補正は、複数の補正行列の補正行列を使用して、ビデオシーケンスの複数のカラーチャネルのそれぞれに適用される。例えば、赤色補正行列は、ビデオシーケンスの赤色チャネルに適用されてもよく、緑色補正行列は、ビデオシーケンスの緑色カラーチャネルに適用されてもよく、青色補正行列は、ビデオシーケンスの青色カラーチャネルに適用されてもよい。いくつかの実施形態では、ピクセル毎の補正を適用するステップは、複数のカラーチャネルを有する、補正されたビデオシーケンスを生成させる。
ステップ308では、補正されたビデオシーケンスが、ディスプレイデバイスのディスプレイ上に表示される。例えば、補正されたビデオシーケンスは、ディスプレイデバイスのプロジェクタ(例えば、LCOS)に送信されてもよい。プロジェクタは、補正されたビデオシーケンスをディスプレイ上に投影してもよい。ディスプレイは、回折導波管ディスプレイであってもよい。
ステップ310では、複数の標的ソース電流が、決定される。標的ソース電流はそれぞれ、複数の照明源および複数のカラーチャネルのうちの1つのうちの1つに対応し得る。例えば、複数の標的ソース電流は、赤色、緑色、および青色標的ソース電流を含んでもよい。いくつかの実施形態では、複数の標的ソース電流は、複数の補正行列に基づいて決定される。
ステップ312では、ディスプレイデバイスの複数のソース電流は、複数の標的ソース電流に設定される。例えば、赤色ソース電流(赤色照明源を通して流動する、電気電流の量に対応する)は、赤色ソース電流を赤色標的電流の値に向かってまたはそれに等しくなるように調節することによって、赤色標的電流に設定されてもよく、緑色ソース電流(緑色照明源を通して流動する、電気電流の量に対応する)は、緑色ソース電流を緑色標的電流の値に向かってまたはそれに等しくなるように調節することによって、緑色標的電流に設定されてもよく、青色ソース電流(青色照明源を通して流動する、電気電流の量に対応する)は、青色ソース電流を青色標的電流の値に向かってまたはそれに等しくなるように調節することによって、青色標的電流に設定されてもよい。
図4は、本開示のいくつかの実施形態による、ディスプレイの色均一性を改良する方法400を図示する。方法400の1つまたはそれを上回るステップは、方法400の実施の間、省略されてもよく、方法400のステップは、示される順序で実施される必要はない。方法400の1つまたはそれを上回るステップは、1つまたはそれを上回るプロセッサによって実施されてもよい。方法400は、プログラムが、1つまたはそれを上回るコンピュータによって実行されると、1つまたはそれを上回るコンピュータに、方法400のステップを行わせる、命令を備える、コンピュータ可読媒体またはコンピュータプログラム製品として実装されてもよい。方法400のステップは、本明細書に説明される種々の他の方法の1つまたはそれを上回るステップを組み込んでもよく、および/またはそれと併用されてもよい。
ディスプレイにおける色非均一性の量は、白色画像がディスプレイ上に示されるときの所望の白色点からの色座標における偏移の観点から、特性評価されることができる。FoVを横断した色の変動の量を捕捉するために、FoV内の各ピクセルにおける色座標の標的白色点(例えば、D65)からの逸脱の二乗平均平方根(RMS)が、計算されることができる。CIELUV色空間を使用するとき、RMS色誤差が、以下のように計算されてもよい。
式中、u’pxは、ピクセルpxにおけるu’値であって、v’pxは、ピクセルpxにおけるv’値であって、D65u’は、D65白色点に関するu’値であって、D65v’は、D65白色点に関するv’値であって、npx’は、ピクセルの数である。
色均一性補正の1つの目標は、ディスプレイ電力消費、ディスプレイ明度、および色ビット深度への負の影響を最小限にしながら、アイボックス内の眼位置のある範囲にわたって、可能な限りRMS色誤差を最小限にすることである。方法400の出力は、カラーチャネル毎のディスプレイの各ピクセルにおける0~1の値と、複数の標的ソース電流I、I、およびIとを含有する、補正行列CR,G,Bのセットであってもよい。
入力データのセットが、色非均一性を補正し、ディスプレイをホワイトバランスし、電力消費を最小限にするために、十分な詳細でディスプレイの出力を説明するために利用され得る。いくつかの実施形態では、入力データのセットは、FoVを横断したCIE XYZ三刺激値のマップと、各ディスプレイチャネルの輝度を照明源の電気駆動性質に関連させるデータとを含んでもよい。本情報は、下記に説明されるように、収集および処理されてもよい。
ステップ402では、複数の画像(例えば、画像450)が、画像捕捉デバイスを使用して、ディスプレイから捕捉される。複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応し得る。例えば、第1の画像は、第1のカラーチャネルに対応する第1の照明源を使用して表示する間、ディスプレイから捕捉されてもよく、第2の画像は、第2のカラーチャネルに対応する第2の照明源を使用して表示する間、ディスプレイから捕捉されてもよく、第3の画像は、第3のカラーチャネルに対応する第3の照明源を使用して表示する間、ディスプレイから捕捉されてもよい。
複数の画像は、特定の色空間内で捕捉されてもよい。例えば、各画像の各ピクセルは、特定の色空間に関する値を含んでもよい。色空間は、可能性の中でもとりわけ、CIELUV色空間、CIEXYZ色空間、sRGB色空間、またはCIELAB色空間であってもよい。例えば、各画像の各ピクセルは、CIE XYZ三刺激値を含んでもよい。値は、FoVを横断して、可能性の中でもとりわけ、測色計、分光放射計、または較正されたRGBカメラによって捕捉されてもよい。いくつかの実施例では、各カラーチャネルが、FoVを横断して、色度の強い変動を示さない場合、モノクロカメラによって捕捉された均一性パターンと単一フィールド点における色度の測定値を組み合わせる、より単純なオプションもまた、使用されてもよい。必要とされる分解能は、ディスプレイ内の色非均一性の角周波数に依存し得る。ディスプレイの出力を照明源の電気駆動性質に関連させるために、各ディスプレイチャネルの出力電力または輝度は、照明源の電流および温度を変動させながら、特性評価されてもよい。
XYZ三刺激画像は、以下のように示されてもよい。
式中、X、Y、およびZはそれぞれ、三刺激値であって、Rは、赤色カラー/ディスプレイチャネルを指し、Gは、緑色カラー/ディスプレイチャネルを指し、Bは、青色カラー/ディスプレイチャネルを指し、pxおよびpyは、FoV内のピクセルであって、Iは、照明源駆動電流であって、Tは、ディスプレイまたはディスプレイデバイスの特性温度である。
照明源を駆動するために使用される電力は、電流および電圧の関数であってもよい。電流-電圧関係は、把握され得、
が、電力を表すために使用されることができる。照明源電流と、特性温度と、平均ディスプレイ輝度との間の関係は、
を使用して使用および参照されることができる。
ステップ404では、大域的ホワイトバランスが、複数の画像に実施され、複数の正規化された画像(例えば、正規化された画像452)を取得する。複数の正規化された画像はそれぞれ、複数のカラーチャネルのうちの1つに対応し得る。大域的ホワイトバランスを実施する(またはディスプレイまたはディスプレイチャネルを大域的にホワイトバランスする)ために、いくつかの実施形態では、FoVの三刺激画像の平均は、
として示される標的照度値454のセットに向かって増加または減少されてもよい。D65標的白色点(100ニット輝度)に関して、標的照度値454は、以下の三刺激値を有する。
平均値測定三刺激値(電流および温度に関するいくつかの試験条件において)が、カラー/ディスプレイチャネル毎に、以下を使用して計算されてもよい。
次に、各カラー/ディスプレイチャネルの標的輝度が、以下の行列方程式を使用して解法されてもよい。
各カラー/ディスプレイチャネルの大域的にバランスされた輝度を使用して、正規化された画像452が、以下のように、画像450を正規化することによって計算されることができる。
ステップ406では、局所的ホワイトバランスが、複数の正規化された画像に実施され、複数の補正行列(例えば、補正行列456)を取得する。複数の補正行列はそれぞれ、複数のカラーチャネルのうちの1つに対応し得る。局所的ホワイトバランスを実施するために、補正行列は、大域的にホワイトバランスされた輝度標的に至るために、総電力消費を最小限にするように最適化されてもよい。
ステップ408では、WR,G,Bとして示される、加重係数(例えば、加重係数458)のセットが、定義される。加重係数のセットはそれぞれ、複数のカラーチャネルのうちの1つに対応し得る。加重係数のセットは、性能指数(例えば、性能指数464)に基づいて、定義されてもよい。ループ460を通した各反復の間、加重係数のセットは、最低効率を伴うカラー/ディスプレイチャネルに有利に働くように、補正行列をバイアスするために使用される。例えば、赤色チャネルの効率が、緑色および青色より実質的に低い場合、赤色のための補正行列は、FoV全体を横断して、1の値を有することが望ましい一方、より低い値が、より良好な局所的ホワイトバランスを達成するために、緑色および青色チャネルのために補正行列内で使用されるであろう。
ステップ410では、複数の加重された画像(例えば、加重された画像466)が、複数の正規化された画像および加重係数のセットに基づいて算出される。複数の加重された画像はそれぞれ、複数のカラーチャネルのうちの1つに対応し得る。複数の加重された画像は、XOptR,G,B,YOptR,G,B,ZOptR,G,Bとして示され得る。図示される実施例に示されるように、加重係数458は、その間、初期加重係数462が使用される、第1の反復を除き、ループ460を通した各反復の間、加重係数のセットとして使用されてもよい。局所的ホワイトバランスのために使用される、分解能は、ディスプレイデバイス(例えば、SLM)の分解能に合致するように選定され得、その必要がない、パラメータである。いくつかの実施形態では、補正行列456が計算された後、補間ステップが、算出された補正行列のサイズとSLMの分解能を合致させるために追加されてもよい。
加重された画像466は、以下のように算出されてもよい。
式中、cxおよびcyは、ncxおよびncy要素を伴う、補正行列内の座標である。
ステップ412では、複数の相対的比率マップ(例えば、相対的比率468)が、複数の加重された画像および複数の標的照度値に基づいて算出される。複数の相対的比率マップはそれぞれ、複数のカラーチャネルのうちの1つに対応し得る。複数の相対的比率マップは、l(cx,cy),l(cx,cy),l(cx,cy)として示され得る。補正(cx,cy)内のピクセル毎に、標的白色点に至るために要求されるカラーチャネルの相対的比率が、決定されることができる。大域的補正のためのプロセスと同様に、相対的比率468は、以下のように算出されることができる。
量lR,G,Bは、標的ホワイトバランス(例えば、D65)に至るために要求されるピクセルの相対的加重として解釈されることができる。大域的ホワイトバランス補正は、すでに実施され、正規化された画像452をもたらしているため、画像がcxおよびcyにわたって完璧に均一である場合、相対的比率468は、l=l=lとして算出されるであろう。cxおよびcyにわたる非均一性に起因して、変動が、lと、lと、lとの間に存在し得る。
ステップ414では、複数の補正行列が、複数の相対的比率マップに基づいて算出される。いくつかの実施形態では、補正行列が、カラーチャネル毎に、以下のように、各ピクセルにおいて算出されることができる。
補正行列の本定義を用いることで、cx、cyにおける点毎に、赤色、緑色、および青色チャネルの相対的比率は、標的白色点(例えば、D65)を正しく生成するであろう。加えて、少なくとも1つのカラーチャネルは、cx、cy毎に1の値を有し、これは、色非均一性の補正に起因してユーザに見える輝度の低減である、光学損失を最小限にする。
ステップ416では、性能指数(例えば、性能指数464)が、複数の補正行列および1つまたはそれを上回る性能指数入力(例えば、性能指数入力470)に基づいて算出される。算出された性能指数は、ステップ408と併用され、ループ460を通した次の反復のための加重係数のセットを算出する。実施例として、最小限にするための1つの性能指数は、電力消費である。最適化は、以下のように説明されることができる。
式中、fminは、多変数最適化関数であって、FOMは、性能指数関数であって、WRO,WGO,WBOは、前の反復または初期推定からの加重係数である。ループ460を通した各反復の間、算出された性能指数が収束しているかどうかが決定されてもよく、その場合、方法400は、ループ460を終了し、補正行列456を出力し得る。
使用され得る、性能指数の実施例は、可能性の中でもとりわけ、1)電力消費P(I,I,I)、2)電力消費と眼位置にわたるRMS色誤差の組み合わせ(この場合、補正行列内の低域通過フィルタの角周波数が、最適化内に含まれてもよい)、および3)電力消費と、RMS色誤差と、最小ビット深度の組み合わせを含む。
多くのシステム構成では、補正行列は、ディスプレイデバイス内のピクセルの最大ビット深度を低減させ得る。補正行列の値が低いほど、より低いビット深度をもたらし得る一方、1の値は、ビット深度を不変のままにするであろう。付加的制約が、SLMの線形体系で動作するために所望され得る。雑音は、LCoS等のデバイスが、液晶(LC)切替(電子ビデオ信号に起因するLCの動的光学応答)、温度効果、または電子雑音に起因して、より低いまたはより高いグレーレベルにおいて予測しにくい、応答を有するときに生じ得る。制約が、所望の閾値を下回ってビット深度を低減させる、またはSLMの望ましくない体系で動作することを回避するために、補正行列に課され得、RMS色誤差への影響が、最適化内に含まれることができる。
いくつかの実施形態では、大域的ホワイトバランスは、再び行われてもよく、要求されるソース電流が、新しく生成された補正行列が適用された状態で計算されてもよい。標的輝度が、チャネルLR,G,B毎に、事前に計算されている。しかしながら、補正行列ηcorrection R,G,Bに起因する効果的効率が、適用されてもよい。効果的効率は、以下のように算出されてもよい。
式中、・演算子は、要素毎乗算を指す。
輝度応答472とも称される、輝度曲線対電流(および必要な場合、温度)は、以下を使用して更新されてもよい。
カラーチャネルLR,G,B毎の事前に定義された標的D65輝度値に到達するために必要とされる電流IR,G,Bが、ここで、輝度応答472から見出されることができ、これは、Lcorrected R,G,B対IR,G,B曲線を含む。電流が把握された状態で、各カラーチャネルおよび総電力消費P(I,I,I)の有効性もまた、見出されることができる。
いくつかの実施形態では、いったん最適加重係数が、見出されると、上記に説明される同一方法が、最後に、最適補正行列を生産するために準拠されることができる。Lcorrected R,G,B(IR,G,B,T)を使用して、大域的ホワイトバランスが、全ての動作温度および標的ディスプレイ照度のための必要とされる照明源電流を求めるために実施されることができる。
いくつかの実施形態では、各カラーチャネルLcorrected R,G,Bの所望される輝度が、大域的ホワイトバランスを実施するために使用されたものと類似する行列方程式を使用して決定されることができる。しかしながら、標的白色点三刺激値
は、ここでは、標的ディスプレイ輝度LTargetによってスケーリングされることができる。D65白色点に関して、これは、以下につながる。
他の標的白色点は、
の値を変化させてもよい。ここで、Lcorrected R,G,Bは、以下のように解法されることができる。
式中、
は、ディスプレイカラーチャネル毎に事前に定義された平均値三刺激値である。
ディスプレイ輝度を電流および温度に関連させるデータは、関数
corrected R,G,B(IR,G,B,T)によって把握され、これは、輝度応答472内に含まれてもよい。本情報はまた、IR,G,B(Lcorrected R,G,B,T)として表され得、これは、輝度応答472内に含まれてもよい。本および上記の行列方程式からの結果を使用することは、LTargetおよび温度IR,G,B(LTarget,T)の関数として、ソース電流をもたらす。
ステップ418では、LTargetとして示される、ディスプレイの標的輝度(例えば、標的輝度472)が、決定される。いくつかの実施形態では、標的輝度472は、典型的モニタ輝度に対して(例えば、デスクトップモニタまたはテレビに対して)ウェアラブルデバイスの輝度をベンチマーキングすることによって決定されてもよい。
ステップ420では、IR,G,Bとして示される、複数の標的ソース電流(例えば、標的ソース電流474)が、標的輝度およびディスプレイの輝度と電流(随意に、温度)との間の輝度応答(例えば、輝度応答472)に基づいて決定される。いくつかの実施形態では、標的ソース電流474および補正行列456は、方法400の出力である。
種々の技法が、補正行列456の眼位置依存性に対処するために採用されてもよい。第1のアプローチでは、低域通過フィルタが、補正行列に適用され、眼位置に対する感度を低減させてもよい。フィルタの角周波数カットオフが、所与のディスプレイのために最適化されることができる。σ=2-10°を伴う、ガウスフィルタは、そのようなフィルタのための適正な範囲であり得る。第2のアプローチでは、画像は、約4mmの入射瞳直径を伴う、カメラを使用して、複数の眼位置において入手されてもよく、平均が、有効アイボックス画像を生成するために使用されてもよい。アイボックス画像は、特定の眼位置において撮影された画像ほど眼位置に敏感ではないであろう、補正行列を生成するために使用されることができる。
第3のアプローチでは、画像は、設計されたアイボックスと同程度の入射瞳直径(約10~20mm)を伴う、カメラを使用して、入手されてもよい。再び、アイボックス画像は、4mm入射瞳を伴って特定の眼位置において撮影された画像ほど眼位置に敏感ではない、補正行列を生産し得る。第4のアプローチでは、画像は、ユーザの眼回転の公称中心に位置する、約4mmの入射瞳直径を伴う、カメラを使用して入手され、ユーザが固視しているFoVの一部内の眼回転に対する色均一性補正の感度を低減させてもよい。第5のアプローチでは、画像は、約4mmの入射瞳直径を伴う、カメラを使用して、複数の眼位置において入手されてもよい。別個の補正行列が、カメラ位置毎に生成されてもよい。これらの補正は、ウェアラブルシステムからの眼追跡情報を使用して、眼位置依存色補正に適用するために使用されることができる。
図5は、本開示のいくつかの実施形態による、方法300および400を使用して改良された色均一性の実施例を図示する。図示される実施例では、色均一性補正アルゴリズムが、LED照明型LCOS SLM回折導波管ディスプレイシステムに適用された。画像のFoVは、45°×55°に対応する。σ=5°を伴う、ガウスフィルタが、補正行列に適用され、眼位置感度を低減させた。最小限化最適化関数内で使用される性能指数は、電力消費であった。両方の画像は、4mm入射瞳を伴う、カメラを使用して撮影された。色均一性補正アルゴリズムを実施することに先立って、およびその後、RMS色誤差は、それぞれ、0.0396および0.0191であった。色均一性における改良を示す、未補正および補正された画像が、それぞれ、図5の左側および右側に示される。図5は、再現目的のためにグレースケールに変換されている、カラー特徴を含む。
図6は、本開示のいくつかの実施形態による、図5に示される実施例に関する誤差ヒストグラムのセットを図示する。誤差ヒストグラムはそれぞれ、未補正および補正された画像のそれぞれ内の誤差範囲のセットのそれぞれ内のピクセルの数を示す。誤差は、FoV内のピクセルにわたるD65からのu’v’誤差である。図示される実施例は、補正を適用することが色誤差を有意に低減させることを実証する。
図7は、本開示のいくつかの実施形態による、RGB画像と見なされる、例示的補正行列700を図示する。補正行列700は、3つの別個の補正行列CR,G,Bの重畳であってもよい。図示される実施例では、補正行列700は、異なるカラーチャネルが、ディスプレイの異なる領域に沿って、異なるレベルの非均一性を呈し得ることを示す。図7は、再現目的のためにグレースケールに変換されている、カラー特徴を含む。
図8は、本開示のいくつかの実施形態による、1つのディスプレイカラーチャネルに関する輝度均一性パターンの実施例を図示する。各画像は、単一ディスプレイカラーチャネルのアイボックス内の異なる眼位置で撮影された45°×55°FoVに対応する。図8に観察され得るように、輝度均一性パターンは、複数の方向における眼位置に依存し得る。
図9は、アイボックス(またはアイボックス位置)内の複数の眼位置に関するディスプレイの色均一性を改良する方法900を図示する、本開示のいくつかの実施形態による。方法900の1つまたはそれを上回るステップは、方法900の実施の間、省略されてもよく、方法900のステップは、示される順序で実施される必要はない。方法900の1つまたはそれを上回るステップは、1つまたはそれを上回るプロセッサによって実施されてもよい。方法900は、プログラムが、1つまたはそれを上回るコンピュータによって実行されると、1つまたはそれを上回るコンピュータに、方法900のステップを行わせる、命令を備える、コンピュータ可読媒体またはコンピュータプログラム製品として実装されてもよい。方法900のステップは、本明細書に説明される種々の他の方法の1つまたはそれを上回るステップを組み込んでもよく、および/またはそれと併用されてもよい。
ステップ902では、第1の複数の画像が、画像捕捉デバイスを使用して、ディスプレイから捕捉される。第1の複数の画像は、アイボックス内の第1の眼位置において捕捉されてもよい。
ステップ904では、大域的ホワイトバランスが、第1の複数の画像に実施され、第1の複数の正規化された画像を取得する。
ステップ906では、局所的ホワイトバランスが、第1の複数の正規化された画像に実施され、第1の複数の補正行列、随意に、第1の複数の標的ソース電流を取得し、これは、メモリデバイス内に記憶されてもよい。
ステップ908では、画像捕捉デバイスの位置が、ディスプレイに対して変化される。ステップ902-906を通した後続反復の間、第2の複数の画像が、アイボックス内の第2の眼位置において、ディスプレイから捕捉され、局所的ホワイトバランスが、第2の複数の正規化された画像に実施され、第2の複数の補正行列、随意に、第2の複数の標的ソース電流を取得し、これは、メモリデバイス内に記憶されてもよい。同様に、ステップ902-906を通した後続反復の間、第3の複数の画像が、アイボックス内の第3の眼位置において、ディスプレイから捕捉され、局所的ホワイトバランスが、第3の複数の正規化された画像に実施され、第3の複数の補正行列、随意に、第3の複数の標的ソース電流を取得し、これは、メモリデバイス内に記憶されてもよい。
図10は、本開示のいくつかの実施形態による、アイボックス(またはアイボックス位置)内の複数の眼位置に関するディスプレイの色均一性を改良する方法1000を図示する。方法1000の1つまたはそれを上回るステップは、方法1000の実施の間、省略されてもよく、方法1000のステップは、示される順序で実施される必要はない。方法1000の1つまたはそれを上回るステップは、1つまたはそれを上回るプロセッサによって実施されてもよい。方法1000は、プログラムが、1つまたはそれを上回るコンピュータによって実行されると、1つまたはそれを上回るコンピュータに、方法1000のステップを行わせる、命令を備える、コンピュータ可読媒体またはコンピュータプログラム製品として実装されてもよい。方法100のステップは、本明細書に説明される種々の他の方法の1つまたはそれを上回るステップを組み込んでもよく、および/またはそれと併用されてもよい。
ステップ1002では、ユーザの眼の画像が、画像捕捉デバイスを使用して、捕捉される。画像捕捉デバイスは、ウェアラブルデバイスの眼に面したカメラであってもよい。
ステップ1004では、アイボックス内の眼の位置が、眼の画像に基づいて決定される。
ステップ1006では、複数の補正行列が、アイボックス内の眼の位置に基づいて読み出される。例えば、複数の眼位置に対応する、複数の補正行列は、図9を参照して説明されるように、メモリデバイス内に記憶されてもよい。決定された眼位置に最も近い、眼位置に対応する、複数の補正行列が、読み出されてもよい。随意に、ステップ1006では、複数の標的ソース電流もまた、アイボックス内の眼の位置に基づいて読み出される。例えば、複数の眼位置に対応する、複数の標的ソース電流のセットが、図9を参照して説明されるように、メモリデバイス内に記憶されてもよい。決定された眼位置に最も近い、眼位置に対応する、複数の標的ソース電流が、読み出されてもよい。
ステップ1008では、補正は、ステップ1006において読み出された複数の補正行列を使用して、表示されるためのビデオシーケンスおよび/または画像に適用される。いくつかの実施形態では、補正は、ビデオシーケンスをSLMに送信することに立って、ビデオシーケンスに適用されてもよい。いくつかの実施形態では、補正は、SLMの設定に適用されてもよい。他の可能性も、検討される。
ステップ1010では、ディスプレイと関連付けられる複数のソース電流が、ステップ1006において読み出された複数の標的ソース電流に設定される。
図11は、本明細書に説明される種々の方法を使用して複数の眼位置に関して改良された色均一性の実施例を図示する。図示される実施例では、色均一性補正アルゴリズムが、LED照明型LCOS SLM付き回折導波管ディスプレイシステムに適用された。色均一性における改良を示す、未補正および補正画像が、それぞれ、図11の左側および右側に示される。図11は、再現目的のためにグレースケールに変換されている、カラー特徴を含む。
図12は、本開示のいくつかの実施形態による、ディスプレイデバイスのソース電流を決定および設定する方法1200を図示する。方法1200の1つまたはそれを上回るステップは、方法1200の実施の間、省略されてもよく、方法1200のステップは、示される順序で実施される必要はない。方法1200の1つまたはそれを上回るステップは、1つまたはそれを上回るプロセッサによって実施されてもよい。方法1200は、プログラムが、1つまたはそれを上回るコンピュータによって実行されると、1つまたはそれを上回るコンピュータに、方法1200のステップを行わせる、命令を備える、コンピュータ可読媒体またはコンピュータプログラム製品として実装されてもよい。方法1200のステップは、本明細書に説明される種々の他の方法の1つまたはそれを上回るステップを組み込んでもよく、および/またはそれと併用されてもよい。
ステップ1202では、複数の画像が、画像捕捉デバイスによって、ディスプレイから捕捉される。複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応し得る。
ステップ1204では、複数の画像が、FoVにわたって平均される。
ステップ1206では、ディスプレイの輝度応答が、測定される。
ステップ1208では、複数の補正行列が、出力される。いくつかの実施形態では、複数の補正行列が、色補正アルゴリズムによって出力される。
ステップ1210では、輝度応答が、複数の補正行列を使用して調節される。
ステップ1212では、標的白色点が、決定される。
ステップ1214では、標的ディスプレイ輝度が、決定される。
ステップ1216では、要求されるディスプレイチャネル輝度は、標的白色点および標的ディスプレイ輝度に基づいて決定される。
ステップ1218では、ディスプレイの温度が、決定される。
ステップ1220では、複数の標的ソース電流が、輝度応答、要求されるディスプレイチャネル輝度、および/または温度に基づいて決定される。
ステップ1222では、複数のソース電流が、複数の標的ソース電流に設定される。
図13は、本発明の実施形態による、上記に説明される実施形態のうちの1つまたはそれを上回るものにおいて使用され得る、例示的ウェアラブルシステム1300の概略図を図示する。ウェアラブルシステム1300は、ウェアラブルデバイス1301と、ウェアラブルデバイス1301から遠隔の少なくとも1つの遠隔デバイス1303(例えば、別個のハードウェアであるが、通信可能に結合される)とを含んでもよい。ウェアラブルデバイス1301が、ユーザによって装着されている間(概して、ヘッドセットとして)、遠隔デバイス1303は、ユーザによって保持される(例えば、ハンドヘルドコントローラとして)、またはフレームに固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザに除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において等)等、種々の構成において搭載されてもよい。
ウェアラブルデバイス1301は、並置構成において配列され、左光学スタックを構成する、左接眼レンズ1302Aと、左レンズアセンブリ1305Aとを含んでもよい。左レンズアセンブリ1305Aは、遠近調節レンズを左光学スタックのユーザ側上に、および補償レンズを左光学スタックの世界側上に含んでもよい。同様に、ウェアラブルデバイス1301は、並置構成に配列され、右光学スタックを構成する、右接眼レンズ1302Bと、右レンズアセンブリ1305Bとを含んでもよい。右レンズアセンブリ1305Bは、遠近調節レンズを右光学スタックのユーザ側上に、および補償レンズを右光学スタックの世界側上に含んでもよい。
いくつかの実施形態では、ウェアラブルデバイス1301は、限定ではないが、直接、左接眼レンズ1302Aまたはその近くに取り付けられる、左正面に面した世界カメラ1306Aと、直接、右接眼レンズ1302Bまたはその近くに取り付けられる、右正面に面した世界カメラ1306Bと、直接、左接眼レンズ1302Aまたはその近くに取り付けられる、左側に面した世界カメラ1306Cと、直接、右接眼レンズ1302Bまたはその近くに取り付けられる、右側に面した世界カメラ1306Dと、左眼に向かって指向される、左眼追跡カメラ1326Aと、右眼に向かって指向される、右眼追跡カメラ1326Bと、接眼レンズ1302間に取り付けられる、深度センサ1328とを含む、1つまたはそれを上回るセンサを含む。ウェアラブルデバイス1301は、左接眼レンズ1302Aに光学的に連結される、左プロジェクタ1314A、および右接眼レンズ1302Bに光学的に連結される、右プロジェクタ1314B等の1つまたはそれを上回る画像投影デバイスを含んでもよい。
ウェアラブルシステム1300は、システム内のデータを収集、処理、および/または制御するための処理モジュール1350を含んでもよい。処理モジュール1350のコンポーネントは、ウェアラブルデバイス1301と遠隔デバイス1303との間に分散されてもよい。例えば、処理モジュール1350は、ウェアラブルシステム1300のウェアラブル部分上の局所的処理モジュール1352と、局所的処理モジュール1352と物理的に別個であって、それに通信可能に連結される、遠隔処理モジュール1356とを含んでもよい。局所的処理モジュール1352および遠隔処理モジュール1356はそれぞれ、1つまたはそれを上回る処理ユニット(例えば、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)等)と、不揮発性メモリ(例えば、フラッシュメモリ)等の1つまたはそれを上回る記憶デバイスとを含んでもよい。
処理モジュール1350は、カメラ1306、眼追跡カメラ1326、深度センサ1328、遠隔センサ1330、周囲光センサ、マイクロホン、慣性測定ユニット(IMU)、加速度計、コンパス、大域的ナビゲーション衛星システム(GNSS)ユニット、無線デバイス、および/またはジャイロスコープ等のウェアラブルシステム1300の種々のセンサによって捕捉されたデータを収集してもよい。例えば、処理モジュール1350は、画像1320をカメラ1306から受信してもよい。具体的には、処理モジュール1350は、左正面画像1320Aを左正面に面した世界カメラ1306Aから、右正面画像1320Bを右正面に面した世界カメラ1306Bから、左側画像1320Cを左側に面した世界カメラ1306Cから、および右側画像1320Dを右側に面した世界カメラ1306Dから受信してもよい。いくつかの実施形態では、画像1320は、単一画像、一対の画像、画像のストリームを含むビデオ、ペアリングされた画像のストリームを含むビデオ、および同等物を含んでもよい。画像1320は、ウェアラブルシステム1300が電源投入されている間、周期的に、生成され、処理モジュール1350に送信されてもよい、または処理モジュール1350によってカメラのうちの1つまたはそれを上回るものに送信される命令に応答して、生成されてもよい。
カメラ1306は、ユーザの周囲の画像を捕捉するように、ウェアラブルデバイス1301の外面に沿って、種々の位置および配向において構成されてもよい。いくつかのインスタンスでは、カメラ1306A、1306Bは、それぞれ、ユーザの左および右眼のFOVと実質的に重複する、画像を捕捉するように位置付けられてもよい。故に、カメラ1306の設置は、ユーザの眼の近くにあり得るが、ユーザのFOVを不明瞭にするほど近くない。代替として、または加えて、カメラ1306A、1306Bは、それぞれ、仮想画像光1322A、1322Bの内部結合場所と整合するように位置付けられてもよい。カメラ1306C、1306Dは、ユーザの側面、例えば、ユーザの周辺視覚内またはユーザの周辺視覚の外側の画像を捕捉するように位置付けられてもよい。カメラ1306C、1306Dを使用して捕捉された画像1320C、1320Dは、必ずしも、カメラ1306A、1306Bを使用して捕捉された画像1320A、1320Bと重複する必要はない。
いくつかの実施形態では、処理モジュール1350は、周囲光情報を周囲光センサから受信してもよい。周囲光情報は、ある明度値またはある範囲の空間的に分解された明度値を示し得る。深度センサ1328は、ウェアラブルデバイス1301の正面に面した方向において深度画像1332を捕捉してもよい。深度画像1332の各値は、特定の方向における深度センサ1328と最も近くの検出されたオブジェクトとの間の距離に対応し得る。別の実施例として、処理モジュール1350は、眼追跡データ1334を眼追跡カメラ1326から受信してもよく、これは、左および右眼の画像を含んでもよい。別の実施例として、処理モジュール1350は、投影された画像明度値をプロジェクタ1314の一方または両方から受信してもよい。遠隔デバイス1303内に位置する遠隔センサ1330は、類似機能性を伴う上記に説明されるセンサのいずれかを含んでもよい。
仮想コンテンツは、光学スタック内の他のコンポーネントとともに、プロジェクタ1314および接眼レンズ1302を使用して、ウェアラブルシステム1300のユーザに送達される。例えば、接眼レンズ1302A、1302Bは、それぞれ、プロジェクタ1314A、1314Bによって生成された光を指向および外部結合するように構成される、透明または半透明導波管を備えてもよい。具体的には、処理モジュール1350は、左プロジェクタ1314Aに、左仮想画像光1322Aを左接眼レンズ1302A上に出力させ得、右プロジェクタ1314Bに、右仮想画像光1322Bを右接眼レンズ1302B上に出力させ得る。いくつかの実施形態では、プロジェクタ1314は、微小電気機械システム(MEMS)空間光変調器(SLM)走査デバイスを含んでもよい。いくつかの実施形態では、接眼レンズ1302A、1302Bはそれぞれ、異なる色に対応する、複数の導波管を備えてもよい。いくつかの実施形態では、レンズアセンブリ1305A、1305Bは、接眼レンズ1302A、1302Bに結合され、および/または統合されてもよい。例えば、レンズアセンブリ1305A、1305Bは、多層接眼レンズの中に組み込まれてもよく、接眼レンズ1302A、1302Bのうちの1つを構成する、1つまたはそれを上回る層を形成してもよい。
図14は、本開示のいくつかの実施形態による、簡略化されたコンピュータシステム1400を図示する。図14に図示されるようなコンピュータシステム1400は、本明細書に説明されるようなデバイスの中に組み込まれてもよい。図14は、種々の実施形態によって提供される方法のステップの一部または全部を実施し得る、コンピュータシステム1400の一実施形態の概略化された例証を提供する。図14は、種々のコンポーネントの一般化された例証を提供するためだけに意図され、そのいずれかまたは全てが、必要に応じて利用されてもよいことに留意されたい。図14は、したがって、広義には、個々のシステム要素が比較的に分離された様式または比較的により統合された様式において実装され得る状況を図示する。
コンピュータシステム1400は、バス1405を介して電気的に結合されることができる、または必要に応じて別様に通信し得る、ハードウェア要素を備えるように示される。ハードウェア要素は、限定ではないが、デジタル信号処理チップ、グラフィック加速プロセッサ、および/または同等物等の、1つまたはそれを上回る汎用プロセッサおよび/または1つまたはそれを上回る特殊目的プロセッサを含む、1つまたはそれを上回るプロセッサ1410と、限定ではないが、マウス、キーボード、カメラ、および/または同等物を含むことができる、1つまたはそれを上回る入力デバイス1415と、限定ではないが、ディスプレイデバイス、プリンタ、および/または同等物を含むことができる、1つまたはそれを上回る出力デバイス1420とを含んでもよい。
コンピュータシステム1400はさらに、限定ではないが、局所的および/またはネットワークアクセス可能記憶装置を備えることができ、および/または、限定ではないが、プログラム可能である、フラッシュ更新可能である、および/または同等物であることができる、ディスクドライブ、ドライブアレイ、光学記憶デバイス、ランダムアクセスメモリ(「RAM」)等のソリッドステート記憶デバイス、および/または読取専用メモリ(「ROM」)を含むことができる、1つまたはそれを上回る非一過性記憶デバイス1425を含む、および/またはそれと通信してもよい。そのような記憶デバイスは、限定ではないが、種々のファイルシステム、データベース構造、および/または同等物を含む、任意の適切なデータ記憶を実装するように構成されてもよい。
コンピュータシステム1400はまた、限定ではないが、Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備等、および/または同等物等のモデム、ネットワークカード(無線または有線)、赤外線通信デバイス、無線通信デバイス、および/またはチップセットを含むことができる、通信サブシステム1419を含み得る。通信サブシステム1419は、1つまたはそれを上回る入力および/または出力通信インターフェースを含み、データが、一実施例として挙げるために以下に説明されるネットワーク、すなわち、他のコンピュータシステム、テレビ、および/または本明細書に説明される任意の他のデバイス等のネットワークと交換されることを可能にしてもよい。所望の機能性および/または他の実装懸念に応じて、ポータブル電子デバイスまたは類似デバイスは、通信サブシステム1419を介して、画像および/または他の情報を通信してもよい。他の実施形態では、ポータブル電子デバイス、例えば、第1の電子デバイスは、コンピュータシステム1400、例えば、電子デバイスの中に入力デバイス1415として組み込まれてもよい。いくつかの実施形態では、コンピュータシステム1400はさらに、作業メモリ1435を備え、これは、上記に説明されるようなRAMまたはROMデバイスを含むことができる。
コンピュータシステム1400はまた、種々の実施形態によって提供されるコンピュータプログラムを備え得る、および/または本明細書に説明されるような他の実施形態によって提供される方法を実装し、および/またはシステムを構成するように設計され得る、1つまたはそれを上回るアプリケーションプログラム1445等のオペレーティングシステム1440、デバイスドライバ、実行可能ライブラリ、および/または他のコードを含む、作業メモリ1435内に現在位置するものとして示される、ソフトウェア要素を含むことができる。単に、一例として、上記に議論される方法に関して説明される1つまたはそれを上回るプロシージャは、コンピュータまたはコンピュータ内のプロセッサによって実行可能なコードおよび/または命令として実装され得、ある側面では、次いで、そのようなコードおよび/または命令は、説明される方法に従って1つまたはそれを上回る動作を実施するように汎用コンピュータまたは他のデバイスを構成および/または適合するために使用されることができる。
これらの命令および/またはコードのセットは、上記に説明される記憶デバイス1425等の非一過性コンピュータ可読記憶媒体上に記憶されてもよい。ある場合には、記憶媒体は、コンピュータシステム1400等のコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムと別個である、例えば、コンパクトディスク等の可撤性媒体である、および/または記憶媒体が、汎用コンピュータをその上に記憶される命令/コードを用いてプログラム、構成、および/または適合するために使用され得るように、インストールパッケージ内に提供され得る。これらの命令は、コンピュータシステム1400によって実行可能である、実行可能コードの形態をとり得る、および/または、例えば、種々の概して利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティ等のいずれかを使用したコンピュータシステム1400上へのコンパイルおよび/またはインストールに応じて、次いで、実行可能コードの形態をとる、ソースおよび/またはインストール可能コードの形態をとり得る。
実質的な変形例が、具体的要件に従って構成されてもよいことが、当業者に明白となるであろう。例えば、カスタマイズされたハードウェアもまた、使用され得る、および/または特定の要素が、ハードウェア、アプレット等のポータブルソフトウェアを含む、ソフトウェア、または両方内に実装され得る。さらに、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続も、採用されてもよい。
上記に述べられたように、一側面では、いくつかの実施形態は、コンピュータシステム1400等のコンピュータシステムを採用し、本技術の種々の実施形態による方法を実施してもよい。一式の実施形態によると、そのような方法のプロシージャの一部または全部は、プロセッサ1410が、オペレーティングシステム1440の中に組み込まれ得る、1つまたはそれを上回る命令の1つまたはそれを上回るシーケンス、および/または作業メモリ1435内に含有される、アプリケーションプログラム1445等の他のコードを実行することに応答して、コンピュータシステム1400によって実施される。そのような命令は、記憶デバイス1425のうちの1つまたはそれを上回るもの等の別のコンピュータ可読媒体から作業メモリ1435の中に読み取られてもよい。単に、一例として、作業メモリ1435内に含有される命令のシーケンスの実行は、プロセッサ1410に、本明細書に説明される方法の1つまたはそれを上回るプロシージャを実施させ得る。加えて、または代替として、本明細書に説明される方法の一部は、特殊ハードウェアを通して実行されてもよい。
用語「機械可読媒体」および「コンピュータ可読媒体」は、本明細書で使用されるとき、機械を具体的方式で動作させるデータを提供することに関わる、任意の媒体を指す。コンピュータシステム1400を使用して実装される、ある実施形態では、種々のコンピュータ可読媒体は、実行のための命令/コードをプロセッサ1410に提供する際に関わり得る、および/またはそのような命令/コードを記憶および/または搬送するために使用され得る。多くの実装では、コンピュータ可読媒体は、物理的および/または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス1425等の光学および/または磁気ディスクを含む。揮発性媒体は、限定ではないが、作業メモリ1435等の動的メモリを含む。
一般的形態の物理的および/または有形コンピュータ可読媒体は、例えば、フロッピー(登録商標)ディスク、可撓性ディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップまたはカートリッジ、またはコンピュータが命令および/またはコードを読み取ることができる、任意の他の媒体を含む。
種々の形態のコンピュータ可読媒体が、実行のための1つまたはそれを上回る命令の1つまたはそれを上回るシーケンスをプロセッサ1410に搬送する際に関わってもよい。単に、一例として、命令は、最初に、遠隔コンピュータの磁気ディスクおよび/または光学ディスク上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリの中にロードし、コンピュータシステム1400によって受信および/または実行される伝送媒体を経由して、命令を信号として送信し得る。
通信サブシステム1419および/またはそのコンポーネントは、概して、信号を受信し、バス1405が、次いで、信号および/または信号によって搬送されるデータ、命令等を作業メモリ1435に搬送し得、そこから、プロセッサ1410が、命令を読み出し、実行する。作業メモリ1435によって受信された命令は、随意に、プロセッサ1410による実行前または後のいずれかにおいて、非一過性記憶デバイス1425上に記憶されてもよい。
上記に議論される方法、システム、およびデバイスは、実施例である。種々の構成は、必要に応じて、種々のプロシージャまたはコンポーネントを省略、代用、または追加してもよい。例えば、代替構成では、本方法は、説明されるものと異なる順序で実施されてもよく、および/または種々の段階は、追加される、省略される、および/または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられてもよい。構成の異なる側面および要素は、類似様式で組み合わせられてもよい。また、技術は、進歩するものであって、したがって、要素の多くは、実施例であって、本開示の範囲または請求項を限定するものではない。
具体的詳細が、実装を含む、例示的構成の完全な理解を提供するために説明に与えられる。しかしながら、構成は、これらの具体的詳細を伴わずに実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を曖昧にすることを回避するために、不必要な詳細を伴わずに示されている。本説明は、例示的構成のみを提供し、請求項の範囲、可用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に説明される技法を実装するための有効な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列に行われてもよい。
また、構成は、概略フローチャートまたはブロック図として描写される、プロセスとして説明され得る。それぞれ、順次プロセスとして動作を説明し得るが、動作の多くは、並行して、または同時に実施されることができる。加えて、動作の順序は、再配列されてもよい。プロセスは、図内に含まれない付加的ステップを有してもよい。さらに、本方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または任意のそれらの組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード内に実装されるとき、必要タスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体等の非一過性コンピュータ可読媒体内に記憶されてもよい。プロセッサは、説明されるタスクを実施してもよい。
いくつかの例示的構成が説明されたが、種々の修正、代替構造、および均等物が、本開示の精神から逸脱することなく、使用されてもよい。例えば、前述の要素は、より大きいシステムのコンポーネントであってもよく、他のルールが、本技術の用途に優先する、または別様にそれを修正してもよい。また、いくつかのステップは、前述の要素が検討される前、間、または後に行われてもよい。故に、前述の説明は、請求項の範囲を束縛するものではない。
本明細書および添付の請求項で使用されるように、単数形「a」、「an」、および「the」は、文脈によって明確に別様に示されない限り、複数参照を含む。したがって、例えば、「ユーザ」の言及は、複数のそのようなユーザを含み、「プロセッサ」の言及は、1つまたはそれを上回るプロセッサおよび当業者に公知のその均等物等の言及を含む。
また、単語「comprise(~を備える)」、「comprising(~を備える)」、「contains(~を含有する)」、「containing(~を含有する)」、「include(~を含む)」、「including(~を含む)」、および「includes(~を含む)」は、本明細書および以下の請求項で使用されるとき、述べられた特徴、整数、コンポーネント、またはステップの存在を規定するために意図されるが、それらは、1つまたはそれを上回る他の特徴、整数、コンポーネント、ステップ、行為、またはグループの存在または追加を除外するものではない。
また、本明細書に説明される実施例および実施形態は、例証目的のみのためのものであって、それに照らして、種々の修正または変更が、当業者に示唆され、本願の精神および権限および添付の請求項の範囲内に含まれることを理解されたい。

Claims (20)

  1. ディスプレイの色均一性を改良する方法であって、前記方法は、
    画像捕捉デバイスを使用して、ディスプレイデバイスのディスプレイの複数の画像を捕捉することであって、前記複数の画像は、色空間内で捕捉され、前記複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応する、ことと、
    大域的ホワイトバランスを前記複数の画像に実施し、それぞれが前記複数のカラーチャネルのうちの1つに対応する複数の正規化された画像を取得することと、
    局所的ホワイトバランスを前記複数の正規化された画像に実施し、それぞれが前記複数のカラーチャネルのうちの1つに対応する複数の補正行列を取得することであって、前記局所的ホワイトバランスを実施することは、
    性能指数に基づいて、加重係数のセットを定義することと、
    前記複数の正規化された画像および前記加重係数のセットに基づいて、複数の加重された画像を算出することと、
    前記複数の加重された画像に基づいて、前記複数の補正行列を算出することと
    を含む、ことと
    を含む、方法。
  2. 前記複数の補正行列を前記ディスプレイデバイスに適用することをさらに含む、請求項1に記載の方法。
  3. 前記性能指数は、
    電力消費、
    色誤差、または
    最小ビット深度
    のうちの少なくとも1つである、請求項1に記載の方法。
  4. 前記性能指数に基づいて、前記加重係数のセットを定義することは、
    前記加重係数のセットを変動させることによって、前記性能指数を最小限にすることと、
    前記性能指数が最小限にされる前記加重係数のセットを決定することと
    を含む、請求項1に記載の方法。
  5. 前記色空間は、
    CIELUV色空間、
    CIEXYZ色空間、または
    sRGB色空間
    のうちの1つである、請求項1に記載の方法。
  6. 前記大域的ホワイトバランスを前記複数の画像に実施することは、
    標的白色点に基づいて、前記色空間内の標的照度値を決定することを含み、前記複数の正規化された画像は、前記標的照度値に基づいて算出される、請求項1に記載の方法。
  7. 前記複数の補正行列は、前記標的照度値にさらに基づいて算出される、請求項6に記載の方法。
  8. 前記ディスプレイは、回折導波管ディスプレイである、請求項1に記載の方法。
  9. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を備え、前記命令は、1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
    画像捕捉デバイスを使用して、ディスプレイデバイスのディスプレイの複数の画像を捕捉することであって、前記複数の画像は、色空間内で捕捉され、前記複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応する、ことと、
    大域的ホワイトバランスを前記複数の画像に実施し、それぞれが前記複数のカラーチャネルのうちの1つに対応する複数の正規化された画像を取得することと、
    局所的ホワイトバランスを前記複数の正規化された画像に実施し、それぞれが前記複数のカラーチャネルのうちの1つに対応する複数の補正行列を取得することであって、前記局所的ホワイトバランスを実施することは、
    性能指数に基づいて、加重係数のセットを定義することと、
    前記複数の正規化された画像および前記加重係数のセットに基づいて、複数の加重された画像を算出することと、
    前記複数の加重された画像に基づいて、前記複数の補正行列を算出することと
    を含む、ことと
    を含む動作を実施させる、非一過性コンピュータ可読媒体。
  10. 前記動作はさらに、
    前記複数の補正行列を前記ディスプレイデバイスに適用することを含む、請求項9に記載の非一過性コンピュータ可読媒体。
  11. 前記性能指数は、
    電力消費、
    色誤差、または
    最小ビット深度
    のうちの少なくとも1つである、請求項9に記載の非一過性コンピュータ可読媒体。
  12. 前記性能指数に基づいて、前記加重係数のセットを定義することは、
    前記加重係数のセットを変動させることによって、前記性能指数を最小限にすることと、
    前記性能指数が最小限にされる前記加重係数のセットを決定することと
    を含む、請求項9に記載の非一過性コンピュータ可読媒体。
  13. 前記色空間は、
    CIELUV色空間、
    CIEXYZ色空間、または
    sRGB色空間
    のうちの1つである、請求項9に記載の非一過性コンピュータ可読媒体。
  14. 前記大域的ホワイトバランスを前記複数の画像に実施することは、
    標的白色点に基づいて、前記色空間内の標的照度値を決定することを含み、前記複数の正規化された画像は、前記標的照度値に基づいて算出される、請求項9に記載の非一過性コンピュータ可読媒体。
  15. 前記複数の補正行列は、前記標的照度値にさらに基づいて算出される、請求項14に記載の非一過性コンピュータ可読媒体。
  16. 前記ディスプレイは、回折導波管ディスプレイである、請求項9に記載の非一過性コンピュータ可読媒体。
  17. システムであって、
    1つまたはそれを上回るプロセッサと、
    非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を備え、前記命令は、前記1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
    画像捕捉デバイスを使用して、ディスプレイデバイスのディスプレイの複数の画像を捕捉することであって、前記複数の画像は、色空間内で捕捉され、前記複数の画像はそれぞれ、複数のカラーチャネルのうちの1つに対応する、ことと、
    大域的ホワイトバランスを前記複数の画像に実施し、それぞれが前記複数のカラーチャネルのうちの1つに対応する複数の正規化された画像を取得することと、
    局所的ホワイトバランスを前記複数の正規化された画像に実施し、それぞれが前記複数のカラーチャネルのうちの1つに対応する複数の補正行列を取得することであって、前記局所的ホワイトバランスを実施することは、
    性能指数に基づいて、加重係数のセットを定義することと、
    前記複数の正規化された画像および前記加重係数のセットに基づいて、複数の加重された画像を算出することと、
    前記複数の加重された画像に基づいて、前記複数の補正行列を算出することと
    を含む、ことと
    を含む動作を実施させる、非一過性コンピュータ可読媒体と
    を備える、システム。
  18. 前記動作はさらに、
    前記複数の補正行列を前記ディスプレイデバイスに適用することを含む、請求項17に記載のシステム。
  19. 前記性能指数は、
    電力消費、
    色誤差、または
    最小ビット深度
    のうちの少なくとも1つである、請求項17に記載のシステム。
  20. 前記性能指数に基づいて、前記加重係数のセットを定義することは、
    前記加重係数のセットを変動させることによって、前記性能指数を最小限にすることと、
    前記性能指数が最小限にされる前記加重係数のセットを決定することと
    を含む、請求項17に記載のシステム。
JP2022578994A 2020-06-26 2021-06-25 ディスプレイデバイスの色均一性補正 Pending JP2023531492A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063044995P 2020-06-26 2020-06-26
US63/044,995 2020-06-26
PCT/US2021/039233 WO2021263196A1 (en) 2020-06-26 2021-06-25 Color uniformity correction of display device

Publications (2)

Publication Number Publication Date
JP2023531492A true JP2023531492A (ja) 2023-07-24
JPWO2021263196A5 JPWO2021263196A5 (ja) 2024-06-21

Family

ID=79031265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022578994A Pending JP2023531492A (ja) 2020-06-26 2021-06-25 ディスプレイデバイスの色均一性補正

Country Status (7)

Country Link
US (1) US11942013B2 (ja)
EP (1) EP4172980A4 (ja)
JP (1) JP2023531492A (ja)
KR (1) KR20230027265A (ja)
CN (1) CN115867962A (ja)
IL (1) IL299315A (ja)
WO (1) WO2021263196A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11817065B2 (en) * 2021-05-19 2023-11-14 Apple Inc. Methods for color or luminance compensation based on view location in foldable displays
CN117575954A (zh) * 2022-08-04 2024-02-20 浙江宇视科技有限公司 一种颜色校正矩阵优化方法、装置、电子设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6995791B2 (en) * 2002-04-02 2006-02-07 Freescale Semiconductor, Inc. Automatic white balance for digital imaging
US20090147098A1 (en) * 2007-12-10 2009-06-11 Omnivision Technologies, Inc. Image sensor apparatus and method for color correction with an illuminant-dependent color correction matrix
US9036047B2 (en) * 2013-03-12 2015-05-19 Intel Corporation Apparatus and techniques for image processing
US9686448B2 (en) * 2015-06-22 2017-06-20 Apple Inc. Adaptive black-level restoration
AU2016349891B9 (en) * 2015-11-04 2021-05-06 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
US20170171523A1 (en) * 2015-12-10 2017-06-15 Motorola Mobility Llc Assisted Auto White Balance
US11270377B1 (en) * 2016-04-01 2022-03-08 Chicago Mercantile Exchange Inc. Compression of an exchange traded derivative portfolio
US10129485B2 (en) * 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
US10542243B2 (en) * 2018-04-10 2020-01-21 Intel Corporation Method and system of light source estimation for image processing

Also Published As

Publication number Publication date
US20210407365A1 (en) 2021-12-30
EP4172980A4 (en) 2023-12-20
US11942013B2 (en) 2024-03-26
WO2021263196A1 (en) 2021-12-30
EP4172980A1 (en) 2023-05-03
CN115867962A (zh) 2023-03-28
KR20230027265A (ko) 2023-02-27
IL299315A (en) 2023-02-01

Similar Documents

Publication Publication Date Title
EP3831053B1 (en) Method and system for subgrid calibration of a display device
US11176865B2 (en) Electronic device, display apparatus, and control method thereof
US12019239B2 (en) Method and system for color calibration of an imaging device
US9277209B2 (en) Pattern position detection method, pattern position detection system, and image quality adjustment technique using the method and system
US11494960B2 (en) Display that uses a light sensor to generate environmentally matched artificial reality content
JP2023531492A (ja) ディスプレイデバイスの色均一性補正
CN111095389B (zh) 显示系统和显示校正方法
WO2005002239A1 (ja) 画像表示装置における補正データ取得方法およびキャリブレーションシステム
JP2021101204A (ja) 制御装置の動作方法、プロジェクターの制御方法およびプロジェクター
US10360829B2 (en) Head-mounted display and chroma aberration compensation method using sub-pixel shifting
US20180077394A1 (en) Control device, method, and medium controlling display of images
JP2011150111A (ja) 画像処理装置、画像表示システム及び画像処理方法
US20200033595A1 (en) Method and system for calibrating a wearable heads-up display having multiple exit pupils
US9554102B2 (en) Processing digital images to be projected on a screen
US11483527B2 (en) Method of operation of a control device configured to control a plurality of projectors and control device
US20230300476A1 (en) Image correction apparatus that performs color matching between multiple image pickup apparatuses that take image of display apparatus, image pickup system, control method, and storage medium
KR20120012632A (ko) 카메라 모듈, 그의 렌즈 쉐이딩 보정 방법 및 그를 포함하는 장치
JP2009071783A (ja) 補正データ生成システム、補正データ生成方法
JP2010157900A (ja) 信号処理装置及び投写型映像表示装置
JP5857453B2 (ja) 画像処理装置、画像表示システム、画像表示装置、画像処理装置の制御方法、プログラム及び記録媒体
CN115053521A (zh) 用于均匀性校正的投影系统和方法
JP2010230800A (ja) プロジェクター、プロジェクター調整システム、プロジェクター調整方法、光源装置、色分離装置、及び光変調装置
JPWO2021263196A5 (ja)
JP2011150110A (ja) 画像処理装置、画像表示システム、画像処理方法及びむら補正値生成方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240613