JP2023546797A - ピクセル強度のデジタル制御およびアナログ制御を含む人工現実システム - Google Patents

Abstract

電子ディスプレイデバイスは、ピクセル強度のデジタル制御およびアナログ制御を含む。各ピクセル（６１２Ａ）内には、デジタルピクセル制御回路（６３０）とアナログピクセル制御回路（６５０）とが設けられている。デジタルピクセル制御回路は、デジタルＰＷＭ技術を使用して、ピクセル内の発光素子に駆動電流が供給される各フレーム内のサブフレーム数を制御する。アナログピクセル制御回路（６５０）は、フレーム中にピクセル内の発光素子に供給される駆動電流のレベルを制御する。一例では、デジタルピクセル制御回路（６３０）およびアナログピクセル制御回路（６５０）は、アナログピクセル制御回路（６５０）が色深度を増大させるための追加のピクセル内ビットを提供することによってピクセル強度を共に制御してもよい。あるいは、デジタルピクセル制御回路（６３０）がピクセル強度を制御し、アナログピクセル制御回路（６５０）が不均一性補償を制御してもよい。
【選択図】図６

Description

本開示は、一般に、拡張現実、複合現実、および／または仮想現実システムなどの人工現実システム、ならびにこれらおよび他の電子システムにおけるピクセル強度を制御するためのシステムおよび方法に関する。

人工現実システムは、コンピュータゲーム、安全衛生、産業、および教育などの多くの分野におけるアプリケーションによってますます広く普及している。いくつかの例として、人工現実システムは、モバイルデバイス、ゲーム機、パーソナルコンピュータ、映画館、およびテーマパークに組み込まれている。一般に、人工現実は、ユーザへの提示前に何らかの方法で調整された現実の形式であり、例えば、仮想現実、拡張現実、複合現実、ハイブリッド現実、またはこれらの何らかの組合せおよび／もしくはその派生物を含み得る。

典型的な人工現実システムは、コンテンツをレンダリングしてユーザに表示する１つまたは複数のデバイスを含む。一例として、人工現実システムは、ユーザによって装着され、人工現実コンテンツをユーザに出力するように構成された、ヘッドマウントディスプレイ（ＨＭＤ）を組み込んでもよい。人工現実コンテンツは、システムによって生成されたコンテンツを完全に含み得るか、またはキャプチャされたコンテンツ（例えば、現実世界のビデオおよび／または画像）と組み合わせられた生成されたコンテンツを含み得る。動作中に、ユーザは、一般に、コンテンツを選択し、アプリケーションを起動し、システムを構成し、概して、人工現実環境を経験するために、人工現実システムと対話する。一部の人工現実システムは、多くの場合システムオンチップ（ＳｏＣ）と呼ばれる専用集積回路を利用し、センサーデータを集約および処理し、人工現実コンテンツをユーザに表示するための複雑な機能を有する。

一例では、本開示は、人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイ（ＨＭＤ）を備える人工現実システムに関し、ＨＭＤは、複数のピクセルを備える少なくとも１つのディスプレイデバイスを含み、複数のピクセルの各々は、発光素子に駆動電流が供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成するデジタルピクセル制御回路と、フレームの発光素子に供給される駆動電流のレベルを制御するアナログピクセル制御回路とを含む。

別の例では、本開示は、複数のピクセルを備えるディスプレイデバイスに関し、複数のピクセルの各々は、発光素子と、発光素子に駆動電流が供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成するデジタルピクセル制御回路と、フレーム中に発光素子に供給される駆動電流のレベルを制御するアナログピクセル制御回路とを含む。

別の例では、本開示は、デジタルピクセル制御回路を使用して、駆動電流がディスプレイデバイスのピクセルの発光素子に供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成することと、アナログピクセル制御回路を使用して、フレーム中に発光素子に供給される駆動電流のレベルを制御することとを含む方法に関する。

添付の図面および以下の説明には、１つまたは複数の例に関する詳細が記載されている。他の特徴および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。
本開示の第１の態様によれば、人工現実システムが提供され、人工現実システムは、
人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイ（ＨＭＤ）を備え、ＨＭＤは、複数のピクセルを含む少なくとも１つのディスプレイデバイスを含み、複数のピクセルの各々は、
発光素子と、
発光素子に駆動電流が供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成するデジタルピクセル制御回路と、
フレームの発光素子に供給される駆動電流のレベルを制御するアナログピクセル制御回路と
を含む。
アナログピクセル制御回路は、フレームのピクセルの所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットに基づいて、フレーム中に発光素子に供給される駆動電流のレベルを制御し得る。
アナログピクセル制御回路は、
フレームの所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットに対応する駆動電圧に充電されるように構成された蓄積キャパシタであって、駆動電圧は、フレーム中に発光素子に供給される駆動電流のレベルを制御する、蓄積キャパシタを備えてもよい。
人工現実システムは、ピクセルドライバ回路をさらに備えてもよく、ピクセルドライバ回路は、
ＰＷＭ出力信号を受信するように接続された第１の制御端子、第１の入力端子、および発光素子に駆動電流が供給されるように接続された第１の出力端子を有する第１のトランジスタと、第１のトランジスタの第１の入力端子に接続された第２の出力端子、電圧源と蓄積キャパシタの出力端子との間の接続によって形成されるノードに接続された第２の入力端子、および蓄積キャパシタの入力端子に接続された第２の制御端子を有する第２のトランジスタとを含む。
アナログピクセル制御回路は、
スキャン信号を受信するように接続された第３の制御端子と、蓄積キャパシタの入力端子と第２のトランジスタの第２の制御端子との間の接続によって形成されるノードに接続された出力端子と、フレームのピクセルの所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットに対応する制御電圧を受信するように接続された入力端子とを有する第３のトランジスタをさらに備えてもよい。
第１のトランジスタおよび第２のトランジスタは、同じ型であってもよい。
第１のトランジスタおよび第２のトランジスタは、ｐ型トランジスタであってもよい。
デジタルピクセル制御回路は、フレームのピクセルの所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｎビットに基づいて、発光素子に駆動電流が供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成し得る。
アナログピクセル制御回路は、フレームのピクセルの所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットに基づいて、フレーム中に発光素子に供給される駆動電流のレベルを制御し得る。
ｎはｍより大きくてもよい。
ｎは５から１０の整数であってもよく、ｍは２から５の整数であってもよい。
ｎ＋ｍビットの制御ワードによって定義される強度レベルの数は、２ｎ＋ｍであってもよい。
ｎビットは、ｎ＋ｍビットの制御ワードの最上位ビットであってもよく、ｍビットは、ｎ＋ｍビットの制御ワードの最下位ビットであってもよい。
デジタルピクセル制御回路は、ｎ＋ｍビットの制御ワードのｎビットを記憶するように構成されたｎ個の１ビットメモリセルを含み得る。
ｎ個の１ビットメモリセルの各々は、１ビットのスタティックランダムアクセスメモリ（ＳＲＡＭ）セルであってもよい。
デジタルピクセル制御回路は、フレームのピクセルの所望の強度レベルに対応するｎビットの制御ワードに基づいて、発光素子に駆動電流が供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成し得、アナログピクセル制御回路は、ピクセルの不均一性補償値に対応するｍビットの制御ワードに基づいて、フレーム中に発光素子に供給される駆動電流のレベルを制御し得る。
本開示の第２の態様によれば、複数のピクセルを備えるディスプレイデバイスが提供され、複数のピクセルの各々は、
発光素子と、
発光素子に駆動電流が供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成するデジタルピクセル制御回路と、
フレーム中に発光素子に供給される駆動電流のレベルを制御するアナログピクセル制御回路と
を含む。
ＰＷＭ出力信号は、フレームのピクセルの所望の強度レベルに対応するｎビットのｎ＋ｍビットの制御ワードを備えるデジタルピクセル制御回路によって生成され得、アナログピクセル制御回路によって制御される駆動電流のレベルは、フレームのピクセルの所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットを含む。
デジタルピクセル制御回路によって生成されたＰＷＭ出力信号は、フレームのピクセルの所望の強度レベルに対応するｎビット制御ワードを含み得、
アナログピクセル制御回路によって制御される駆動電流のレベルは、ピクセルの不均一性補償値に対応するｍビットの制御ワードを含み得る。
本開示の第３の態様によれば、
デジタルピクセル制御回路を使用して、ディスプレイデバイスのピクセルの発光素子に駆動電流が供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成することと、
アナログピクセル制御回路を使用して、フレーム中に発光素子に供給される駆動電流のレベルを制御することと
を含む方法が提供される。

本開示に記載された技術による、ＨＭＤがピクセル強度のデジタル制御およびアナログ制御を含む例示的なマルチデバイス人工現実システムを示すブロック図である。 本開示に記載された技術による、ＨＭＤがピクセル強度のデジタル制御およびアナログ制御を含む別の例示的なマルチデバイス人工現実システムを示すブロック図である。 本開示に記載された技術による、ピクセル強度のデジタル制御およびアナログ制御を含む例示的なＨＭＤと、例示的な周辺デバイスとを示すブロック図である。 本開示に記載された技術による、ピクセル強度のデジタル制御およびアナログ制御を含む別の例示的なＨＭＤを示すブロック図である。 本開示に記載された技術による、図１Ａ、図１Ｂのマルチデバイス人工現実システムのコンソール、ピクセル強度のデジタル制御およびアナログ制御を含むＨＭＤ、および周辺デバイスの例示的な実装形態を示すブロック図である。 ジェスチャー検出、ユーザインターフェース生成、および仮想表面機能が図１Ａ、図１Ｂの人工現実システムのＨＭＤによって実行される一例を示すブロック図であり、ＨＭＤは、本開示に記載された技術によるピクセル強度のデジタル制御およびアナログ制御を含む。 本開示の技術による、１つまたは複数のディスプレイデバイスがピクセル強度のデジタル制御およびアナログ制御を含むマルチデバイス人工現実システムのための分散アーキテクチャの例示的な実装形態を示すブロック図である。 本開示に記載の技術によるデジタルピクセル制御回路およびアナログピクセル制御回路を含むディスプレイデバイスのブロック図である。 本開示に記載された技術によるピクセルのためのメモリを示す回路図である。 本開示に記載の技術による、例示的なピクセルのデジタルピクセル制御回路、アナログピクセル制御回路、およびドライバ回路を示す回路図である。 本開示に記載の技術による、例示的なピクセルのデジタルピクセル制御回路、アナログピクセル制御回路、およびドライバ回路のより詳細な例示的な実装形態を示す回路図である。 図１０Ａは本開示に記載された技術によるデジタルピクセル制御回路のデジタルプログラミング段階を示す図であり、図１０Ｂはアナログピクセル制御回路のアナログプログラミング段階を示す図である。 本開示に記載の技術によるディスプレイデバイスのピクセルのデジタルＰＷＭ制御のための例示的なプロセスを示すフローチャートである。 本開示に記載された技術によるディスプレイデバイスのピクセルへ供給される電流レベルのアナログ制御のための例示的なプロセスを示すフローチャートである。 本開示に記載の技術による、ピクセルに供給される電流レベルのアナログ制御と組み合わせた、ディスプレイデバイスのピクセルのデジタルＰＷＭ制御のための例示的なプロセスを示すフローチャートである。 本開示に記載された技術に従ってデジタルピクセル制御回路によって生成されたｎＤｒｉｖｅ信号の例示的な値の表である。 ｎ＋ｍビット制御ワードの例示的な総強度ビット値の表であり、ｎ＝３およびｍ＝２である。 本開示に記載の技術による、アナログピクセル制御回路を使用するディスプレイデバイスにおけるピクセルの輝度均一性補償のためのプロセスを示すフローチャートである。

詳細な説明
電子ディスプレイデバイスでは、ディスプレイの各ピクセル内の発光ダイオード（ＬＥＤ）の輝度または強度レベルは、デジタルピクセル駆動方式またはアナログピクセル駆動方式のいずれかによって制御され得る。デジタルパルス幅変調（ＰＷＭ）方式では、各ピクセルに一定の電流が供給され、制御ワードのビット値に基づいてピクセルの発光時間を変化させることによってピクセル強度が制御される。アナログ方式では、各ピクセルの発光時間は一定であり、ピクセルを駆動するために使用される電流を変化させることによってピクセル強度が制御される。しかしながら、デジタルＰＷＭ方式においてｎビットの強度制御を提供するために、各ピクセルは、各フレームのピクセル強度値を記憶するためにｎ個の１ビットメモリセルを必要とする。人工現実システムに関連する非常に小さいディスプレイサイズは、そのようなメモリセルに利用可能な物理的領域を制限する。例えば、人工現実ディスプレイの寸法は、２×２ミリメートル（ｍｍ）程度であり得る。したがって、強度値を記憶するために各ピクセルに適合し得るメモリセルの数が減るため、ディスプレイサイズが小さいほど利用可能なピクセル強度レベルが小さくなり得る。

さらに、ディスプレイデバイス内の異なるＬＥＤは、同じように駆動されても、異なる輝度レベルで発光し得る。この不均一性は、製造プロセスのばらつき、ディスプレイパネルアセンブリの不一致、または他の様々な理由に起因し得る。

一般に、本開示に記載の技術によれば、ディスプレイデバイスは、各ピクセル内にデジタルピクセル制御回路およびアナログピクセル制御回路を含むハイブリッドピクセル制御回路を使用して、ディスプレイ内のピクセルの強度の制御を提供する。デジタルピクセル制御回路は、デジタルＰＷＭ技術を使用して、駆動電流がピクセルに供給されるフレームのサブフレーム数（換言すれば、ピクセルが発光する各フレーム内のサブフレーム数）を制御する。アナログピクセル制御回路は、フレーム中にピクセルに供給される駆動電流のレベルを制御する。いくつかの例では、各ピクセルの階調強度レベルの総数は、バイナリｎ＋ｍビットの制御ワードによって定義され、ｎビットは、デジタルピクセル制御回路によって決定されるように駆動電流がピクセルに供給されるフレームのサブフレーム数を定義し、ｍビットは、アナログピクセル制御回路によってピクセルに供給される駆動電流のレベルを定義する。したがって、各ピクセルの強度レベルの総数は２^ｎ＋ｍである。

あるいは、他の例では、ｎビットは、ピクセル強度のデジタルＰＷＭ制御のためにデジタルピクセル制御回路によって使用されてもよく、ｍビットは、不均一性補償のために各ピクセル内の発光素子に供給される駆動電流を制御するためにアナログピクセル制御回路によって使用されてもよい。

いくつかの例では、アナログピクセル制御回路は、蓄積キャパシタおよびトランジスタを含む。蓄積キャパシタの入力端子は、トランジスタの出力端子に接続されている。いくつかの例では、フレームの始めに、キャパシタは、ピクセルの強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットに基づいて所定の電圧に充電される。各フレームの間、キャパシタに蓄積された電圧は、ピクセル内の発光素子に供給される駆動電流のレベルを決定する。他の例では、各フレームについて、キャパシタは、ピクセルの不均一性補償値に対応するｍビットの制御ワードのｍビットに基づいて同じ所定の電圧に充電される。キャパシタに蓄積された電圧は、ピクセルに供給される駆動電流のレベルを決定する。

このようにして、デジタルおよびアナログのハイブリッドピクセル駆動アーキテクチャは、ｎ＋ｍビットの強度制御を提供し得るが、各ピクセルのデジタルピクセル制御回路の実装のためにｎ個の１ビットメモリセルのみを必要とする。同時に、アナログピクセル制御回路は、単一のキャパシタおよび単一のトランジスタを使用して実装されてもよい。ｎ＋ｍビットの強度制御を提供し、各ピクセルに必要なメモリセルの数を減らすことによって、この実装形態は、非常に小さいディスプレイサイズに有利であり得る。あるいは、デジタルピクセル制御回路によって提供されるｎビットを強度制御に使用し、アナログピクセル制御回路によって提供されるｍビットを使用して、不均一性補償のためにディスプレイをプログラムし得る。

図１Ａは、本開示に記載された技術による、ＨＭＤがピクセル強度のデジタル制御およびアナログ制御を含む例示的なマルチデバイス人工現実システムを示すブロック図である。図１Ａの例では、人工現実システム１０は、ＨＭＤ１１２と周辺デバイス１３６とを含み、いくつかの例では、１つまたは複数の外部センサー９０および／またはコンソール１０６を含み得る。

示されているように、ＨＭＤ１１２は、一般に、ユーザ１１０によって装着され、ユーザ１１０に人工現実コンテンツ１２２を提示するための電子ディスプレイと光学アセンブリとを備える。さらに、ＨＭＤ１１２は、ＨＭＤ１１２の動きを追跡するための１つまたは複数のセンサー（例えば、加速度計）を含み、周囲の物理的環境の画像データをキャプチャするための１つまたは複数の撮像デバイス１３８（例えば、カメラ、ラインスキャナ）を含み得る。ヘッドマウントディスプレイとして示されているが、ＡＲシステム１０は、代替的に、または追加として、ユーザ１１０に人工現実コンテンツ１２２を提示するための眼鏡または他のディスプレイデバイスを含み得る。

本例において、コンソール１０６は、ゲーム機、ワークステーション、デスクトップコンピュータ、またはラップトップなどの単一のコンピューティングデバイスとして示されている。他の例では、コンソール１０６は、分散コンピューティングネットワーク、データセンター、またはクラウドコンピューティングシステムなど、複数のコンピューティングデバイスにわたって分散され得る。本例に示すように、コンソール１０６、ＨＭＤ１１２、およびセンサー９０は、ネットワーク１０４を介して通信可能に結合され得、ネットワーク１０４は、有線ネットワーク、またはＷｉ－Ｆｉ、メッシュネットワーク、もしくは短距離無線通信媒体、もしくはそれらの組合せなどの無線ネットワークであり得る。ＨＭＤ１１２は、この例では、コンソール１０６と通信しているものとして、例えば、コンソール１０６にテザリングされるかまたはコンソール１０６とワイヤレス通信しているものとして示されているが、いくつかの実装形態では、ＨＭＤ１１２は、スタンドアロンモバイル人工現実システムとして動作する。

概して、人工現実システム１０は、ユーザ１１０への表示のための人工現実コンテンツ１２２をレンダリングするために、現実世界の３Ｄ物理的環境からキャプチャされた情報を使用する。図１Ａの例では、ユーザ１１０は、ＨＭＤ１１２および／またはコンソール１０６上で実行している人工現実アプリケーションによって構築およびレンダリングされた人工現実コンテンツ１２２を観視する。いくつかの例では、人工現実コンテンツ１２２は、複合現実および／または拡張現実を作り出すために、現実世界の像（例えば、手１３２、周辺デバイス１３６、壁１２１）と、仮想オブジェクト（例えば、仮想コンテンツアイテム１２４、１２６および仮想ユーザインターフェース１３７）との混合物を含み得る。いくつかの例では、仮想コンテンツアイテム１２４、１２６は、人工現実コンテンツ１２２内の特定の位置にマッピング（例えば、ピニング、ロック、配置）され得る。仮想コンテンツアイテムについての位置は、例えば、壁１２１または地面のうちの１つに対するものとして固定され得る。仮想コンテンツアイテムについての位置は、例えば、周辺デバイス１３６またはユーザに対するものとして可変であり得る。いくつかの例では、人工現実コンテンツ１２２内の仮想コンテンツアイテムの特定の位置は、現実世界の物理的環境内の（例えば、物理的オブジェクトの表面上の）位置に関連する。

この例では、周辺デバイス１３６は、ＡＲシステム１０が仮想ユーザインターフェース１３７をその上にオーバーレイする表面を有する、物理的な現実世界のデバイスである。周辺デバイス１３６は、プレゼンスセンシティブ表面のロケーションにタッチするかまたはそのロケーション上をホバリングする１つまたは複数のオブジェクト（例えば、フィンガー（ｆｉｎｇｅｒ）、スタイラス）の存在を検出することによってユーザ入力を検出するための１つまたは複数のプレゼンスセンシティブ表面を含み得る。いくつかの例では、周辺デバイス１３６は、プレゼンスセンシティブディスプレイであり得る出力ディスプレイを含み得る。いくつかの例では、周辺デバイス１３６は、スマートフォン、タブレットコンピュータ、個人情報端末（ＰＤＡ）、または他のハンドヘルドデバイスであり得る。いくつかの例では、周辺デバイス１３６は、スマートウォッチ、スマートリング、または他のウェアラブルデバイスであり得る。周辺デバイス１３６はまた、キオスク、あるいは他の固定または移動システムの一部であり得る。周辺デバイス１３６は、コンテンツをスクリーンに出力するためのディスプレイデバイスを含むことも含まないこともある。

図１Ａにおいて示されている例示的な人工現実体験においては、仮想コンテンツアイテム１２４、１２６は、壁１２１上の位置にマッピングされている。図１Ａの例はまた、仮想コンテンツアイテム１２４が人工現実コンテンツ１２２内でのみ壁１２１上に部分的に現れることを示し、この仮想コンテンツが現実世界の物理的環境内に存在しないことを示す。仮想ユーザインターフェース１３７は、周辺デバイス１３６の表面にマッピングされる。その結果、ＡＲシステム１０は、人工現実環境中の周辺デバイス１３６の位置に対してロックされたユーザインターフェース位置において、ＨＭＤ１１２における表示のための仮想ユーザインターフェース１３７を人工現実コンテンツ１２２の一部としてレンダリングする。図１Ａは、仮想ユーザインターフェース１３７が、人工現実コンテンツ１２２内でのみ周辺デバイス１３６上に現れることを示しており、この仮想コンテンツは現実世界の物理的環境において存在しないことを示している。

人工現実システム１０は、仮想コンテンツアイテムのロケーションの少なくとも一部分がユーザ１１０の視野１３０中にあるという決定に応答して、１つまたは複数の仮想コンテンツアイテムをレンダリングし得る。例えば、人工現実システム１０は、周辺デバイス１３６がユーザ１１０の視野１３０内にある場合のみ、仮想ユーザインターフェース１３７を周辺デバイス１３６上にレンダリングし得る。

動作中に、人工現実アプリケーションは、基準系、一般にＨＭＤ１１２の観察パースペクティブについてのポーズ情報を追跡および計算することによって、ユーザ１１０への表示のための人工現実コンテンツ１２２を構築する。基準系としてＨＭＤ１１２を使用して、およびＨＭＤ１１２の現在の推定されたポーズによって決定された現在の視野１３０に基づいて、人工現実アプリケーションは３Ｄ人工現実コンテンツをレンダリングし、３Ｄ人工現実コンテンツは、いくつかの例では、少なくとも部分的に、ユーザ１１０の現実世界の３Ｄ物理的環境上にオーバーレイされ得る。このプロセス中、人工現実アプリケーションは、動き情報およびユーザコマンドなどのＨＭＤ１１２から受信した検知データ、いくつかの例では、外部カメラなどの任意の外部センサー９０からのデータを使用して、ユーザ１１０による動きなどの実世界の物理的環境内の３Ｄ情報および／またはユーザ１１０に関する特徴追跡情報を捕捉する。人工現実アプリケーションは、検知データに基づいて、ＨＭＤ１１２の参照フレームの現在の姿勢を決定し、現在の姿勢に従って、人工現実コンテンツ１２２をレンダリングする。

人工現実システム１０は、ユーザ１１０のリアルタイム視線追跡によって決定され得るようなユーザ１１０の現在の視野１３０または他の条件に基づいて、仮想コンテンツアイテムの生成およびレンダリングをトリガし得る。より詳細には、ＨＭＤ１１２の撮像デバイス１３８は、撮像デバイス１３８の視野１３０内にある、現実世界の物理的環境中のオブジェクトを表す画像データをキャプチャする。視野１３０は、典型的には、ＨＭＤ１１２の視点に対応する。いくつかの例では、人工現実アプリケーションは、複合現実および／または拡張現実を備える人工現実コンテンツ１２２を提示する。図１Ａに示されているように、人工現実アプリケーションは、人工現実コンテンツ１２２内でなど、仮想オブジェクトに沿った視野１３０内にある、ユーザ１１０の周辺デバイス１３６、手１３２、および／または腕１３４の部分など、現実世界のオブジェクトの画像をレンダリングし得る。他の例において、人工現実アプリケーションは、人工現実コンテンツ１２２内の視野１３０内にあるユーザ１１０の周辺デバイス１３６、手１３２、および／または腕１３４の一部分の仮想表現をレンダリングし得る（例えば、実世界の物体を仮想物体としてレンダリングする）。いずれの例においても、ユーザ１１０は、人工現実コンテンツ１２２内の視野１３０内にある自分の手１３２、腕１３４、周辺デバイス１３６、および／または他の任意の実世界の物体の一部分を観視することができる。他の例において、人工現実アプリケーションは、ユーザの手１３２または腕１３４の表現をレンダリングしない場合がある。

動作中に、人工現実システム１０は、随意にユーザ１１０の個々のフィンガーまたは親指、および／あるいは腕１３４のすべてまたは部分を識別することを含めて、周辺デバイス１３６、手１３２を識別するために、ＨＭＤ１１２の撮像デバイス１３８によってキャプチャされた画像データ内でオブジェクト認識を実施する。さらに、人工現実システム１０は、時間のスライディングウィンドウにわたって、周辺デバイス１３６、（随意に手の特定の指（ｄｉｇｉｔ）を含む）手１３２、および／または腕１３４の部分の位置、配向、および構成を追跡する。いくつかの例では、周辺デバイス１３６は、周辺デバイス１３６の動きまたは配向を追跡するための１つまたは複数のセンサー（例えば、加速度計）を含む。

上述したように、人工現実システム１０の複数のデバイスがＡＲ環境中で連携して作動し得、各デバイスは、別々の物理的電子デバイスおよび／または１つまたは複数の物理的デバイス内の別々の集積回路（例えば、システムオンチップ（ＳＯＣ））であり得る。この例では、周辺デバイス１３６は、人工現実体験を提供するためのＡＲシステム１０内で一緒に動作するように、ＨＭＤ１１２と動作可能にペアリングされる。例えば、周辺デバイス１３６およびＨＭＤ１１２は、共同処理デバイス（ｃｏ－ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅ）として互いに通信し得る。一例として、ユーザが、周辺デバイス１３６上にオーバーレイされた仮想ユーザインターフェース１３７の仮想ユーザインターフェース要素のうちの１つに対応するロケーションにおいて仮想環境中でユーザインターフェースジェスチャーを実施したとき、ＡＲシステム１０は、ユーザインターフェースを検出し、ＨＭＤ１１２にレンダリングされるアクションを実施する。

いくつかの例示的な実装形態では、本明細書で説明されるように、周辺デバイス１３６およびＨＭＤ１１２は各々、コアプリケーションプロセッサ、センサーアグリゲータ、ディスプレイコントローラなどとして動作するＳｏＣなど、人工現実／仮想現実アプリケーションをサポートするように構成されている１つまたは複数のシステムオンチップ（ＳｏＣ）集積回路を含み得る。

本開示の技術によれば、ＨＭＤ１１２は、ピクセル強度のデジタル制御およびアナログ制御を含む。例えば、ＨＭＤ１１２は、各ピクセル内にデジタルピクセル制御回路およびアナログピクセル制御回路を含むハイブリッドピクセル制御回路を含み得る。いくつかの例では、デジタルピクセル制御回路およびアナログピクセル制御回路は、各ピクセルに対してｎ＋ｍビットの階調強度制御を提供する。あるいは、階調ピクセル強度のデジタルＰＷＭ制御のためにデジタルピクセル制御回路によってｎビットが使用されてもよく、不均一性補償のためにピクセルに供給される駆動電流を制御するためにアナログピクセル制御回路によってｍビットが使用されてもよい。

図１Ｂは、本開示に記載された技術による、ＨＭＤがピクセル強度のデジタル制御およびアナログ制御を含む別の例示的なマルチデバイス人工現実システムを示すブロック図である。図１Ａの人工現実システム１０と同様に、いくつかの例では、図１Ｂの人工現実システム２０は、マルチユーザ人工現実環境内で仮想表面に関する仮想コンテンツアイテムを生成およびレンダリングし得る。人工現実システム２０はまた、様々な例において、ユーザによる周辺デバイス１３６との１つまたは複数の特定の対話の検知に応答して、特定の仮想コンテンツアイテムおよび／またはグラフィカルユーザインターフェース要素を生成してユーザに対してレンダリングすることが可能である。例えば、周辺デバイス１３６は、ユーザが「ステージングする」ためのステージデバイスとして働くか、または場合によっては仮想表面と対話し得る。

図１Ｂの例では、人工現実システム２０は、外部カメラ１０２Ａおよび１０２Ｂ（まとめて、「外部カメラ１０２」）と、ＨＭＤ１１２Ａ～１１２Ｃ（まとめて、「ＨＭＤ１１２」）と、コントローラ１１４Ａおよび１１４Ｂ（まとめて、「コントローラ１１４」）と、コンソール１０６と、センサー９０とを含む。図１Ｂに示されているように、人工現実システム２０は、コンソール１０６および／またはＨＭＤ１１２上で実行している人工現実アプリケーションが、ユーザ１１０Ａ～１１０Ｃ（まとめて、「ユーザ１１０」）の各々に、それぞれのユーザについての対応する基準系の現在の観察パースペクティブに基づいて人工現実コンテンツを提示する、マルチユーザ環境を表す。すなわち、この例では、人工現実アプリケーションは、ＨＭＤ１１２の各々についての基準系についてのポーズ情報を追跡および計算することによって、人工コンテンツを構築する。人工現実システム２０は、カメラ１０２、ＨＭＤ１１２、およびコントローラ１１４から受信されたデータを使用して、ＨＭＤ１１２の対応する基準フレームに関する更新された姿勢情報を算出する際に使用するために、ユーザ１１０による運動などの現実世界の環境内の３Ｄ情報、ならびに／またはユーザ１１０およびオブジェクト１０８に関する追跡情報を取り込む。一例として、人工現実アプリケーションは、ＨＭＤ１１２Ｃについて決定された現在の観察パースペクティブに基づいて、仮想オブジェクト１２８Ａ～１２８Ｂ（まとめて、「仮想オブジェクト１２８」）を、現実世界のオブジェクト１０８Ａ～１０８Ｂ（まとめて、「現実世界のオブジェクト１０８」）上に空間的にオーバーレイされたものとして有する、人工現実コンテンツ１２２をレンダリングし得る。さらに、ＨＭＤ１１２Ｃのパースペクティブから、人工現実システム２０は、それぞれ、ユーザ１１０Ａ、１１０Ｂについての推定された位置に基づいて、アバター１２０Ａ、１２０Ｂをレンダリングする。

ＨＭＤ１１２の各々は、人工現実システム２０内でコンカレントに動作する。図１Ｂの例では、ユーザ１１０の各々は、人工現実アプリケーション内の「プレーヤ」または「参加者」であってもよく、ユーザ１１０のいずれも、人工現実アプリケーション内の「見物人」または「観察者」であってもよい。ＨＭＤ１１２Ｃは、ユーザ１１０Ｃの手１３２および／または腕１３４を追跡し、視野１３０内にある手１３２の部分を人工現実コンテンツ１２２内の仮想手１３２としてレンダリングすることにより、図１ＡのＨＭＤ１１２と実質的に同様に動作し得る。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂによって保持されたコントローラ１１４からユーザ入力を受信し得る。いくつかの例では、コントローラ１１４Ａおよび／または１１４Ｂは、図１Ａの周辺デバイス１３６に対応し、図１Ａの周辺デバイス１３６と実質的に同様に動作することができる。ＨＭＤ１１２Ａも、図１ＡのＨＭＤ１１２と実質的に同様に動作し、ユーザ１１０Ａの手１３２Ａ、１３２Ｂによって周辺デバイス１３６上で、または周辺デバイス１３６を使用して実行されるジェスチャーの形態のユーザ入力を受信し得る。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂによって保持されたコントローラ１１４からユーザ入力を受信し得る。コントローラ１１４は、Ｂｌｕｅｔｏｏｔｈなどの短距離ワイヤレス通信のニアフィールド通信を使用して、ワイヤード通信リンクを使用して、または他のタイプの通信リンクを使用してＨＭＤ１１２Ｂと通信していることがある。

図１Ａに関して上記で説明された例と同様の様式で、人工現実システム２０のコンソール１０６および／またはＨＭＤ１１２Ｃは、仮想コンテンツアイテム１２９（例えば、ＧＩＦ、写真、アプリケーション、ライブストリーム、ビデオ、テキスト、ウェブブラウザ、描画、アニメーション、３Ｄモデル、（２次元および３次元のデータセットを含む）データファイルの表現、または任意の他の可視媒体）を含む仮想表面を生成およびレンダリングし、仮想コンテンツアイテム１２９は、仮想コンテンツアイテム１２９に関連する壁１２１の部分がＨＭＤ１１２Ｃの視野１３０内に来たとき、ユーザ１１０Ｃに表示された人工現実コンテンツ１２２上にオーバーレイされ得る。図１Ｂに示されているように、ＨＭＤ１１２Ｃのカメラ１３８を介してキャプチャされた画像データに加えてまたはその代替として、外部カメラ１０２からの入力データが、手の指（フィンガー、親指）の個体および／または組合せの移動を含む、ユーザ１１０Ｃの手１３２など、ユーザ１１０の周辺デバイス１３６ならびに／または手および腕の特定の動き、構成、位置、および／または配向を追跡および検出するために使用され得る。

いくつかの態様では、人工現実アプリケーションは、コンソール１０６上で稼働することができ、ＨＭＤ１１２Ａのユーザによって実施され得る入力ジェスチャーを識別するために、手１３２Ｂの構成、位置、および／または配向を分析するために撮像デバイス１０２Ａおよび１０２Ｂを利用することができる。同様に、ＨＭＤ１１２Ｃは、ＨＭＤ１１２Ｃのユーザによって実施され得るジェスチャーを入力するために、周辺デバイス１３６および手１３２Ｃの構成、位置および／または配向を分析するために撮像デバイス１３８を利用することができる。いくつかの例では、周辺デバイス１３６は、周辺デバイス１３６の動きまたは配向を追跡するための１つまたは複数のセンサー（例えば、加速度計）を含む。人工現実アプリケーションは、図１Ａに関して上述されているのと同様の様式で、そのようなジェスチャー、動き、および配向に応答して、仮想コンテンツアイテムおよび／またはＵＩ要素をレンダリングし得る。

撮像デバイス１０２および１３８は、可視光スペクトル、赤外スペクトル、または他のスペクトルにおいて画像をキャプチャし得る。オブジェクト、オブジェクトポーズ、およびジェスチャーを識別するための本明細書で説明される画像処理は、例えば、赤外画像、可視光スペクトル画像などを処理することを含み得る。

人工現実システム２０のデバイスは、ＡＲ環境中で連携して作動し得る。この例では、周辺デバイス１３６は、ＡＲシステム２０内で一緒に動作するように、ＨＭＤ１１２Ｃとペアリングされる。同様に、コントローラ１１４は、ＡＲシステム２０内で一緒に動作するように、ＨＭＤ１１２Ｂとペアリングされる。周辺デバイス１３６、ＨＭＤ１１２、およびコントローラ１１４はそれぞれ、人工現実アプリケーションのための動作環境を可能にするように構成されている１つまたは複数のＳｏＣ集積回路を含むことが可能である。

本開示の技術によれば、ＨＭＤ１１２Ａ、ＨＭＤ１１２Ｂおよび／またはＨＭＤ１１２Ｃのいずれかは、ピクセル強度のデジタル制御およびアナログ制御を含む。例えば、ＨＭＤ１１２のいずれかは、各ピクセル内にデジタルピクセル制御回路およびアナログピクセル制御回路を含むハイブリッドピクセル制御回路を含み得る。いくつかの例では、デジタルピクセル制御回路およびアナログピクセル制御回路は、各ピクセルに対してｎ＋ｍビットの階調強度制御を提供する。あるいは、階調ピクセル強度のデジタルＰＷＭ制御のためにデジタルピクセル制御回路によってｎビットが使用されてもよく、不均一性補償のためにピクセルに供給される駆動電流を制御するためにアナログピクセル制御回路によってｍビットが使用されてもよい。

図２Ａは、本開示に記載された技術による、ピクセル強度のデジタル制御およびアナログ制御を含む例示的なＨＭＤ１１２および例示的な周辺デバイスを示すブロック図である。図２ＡのＨＭＤ１１２は、図１Ａおよび図１ＢのＨＭＤ１１２のいずれかの一例であり得る。ＨＭＤ１１２は、図１Ａ、図１Ｂの人工現実システム１０、２０などの人工現実システムの一部であってもよく、本明細書に記載された技術を実装するように構成されたスタンドアロンモバイル人工現実システムとして動作してもよい。

本例において、ＨＭＤ１１２は、前部剛体と、ＨＭＤ１１２をユーザに固定するためのバンドとを含む。さらに、ＨＭＤ１１２は、ユーザに人工現実コンテンツを提示するように構成された内向き電子ディスプレイ２０３を含む。電子ディスプレイ２０３は、液晶ディスプレイ（ＬＣＤ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ブラウン管（ＣＲＴ）ディスプレイ、ｅ－ｉｎｋ、あるいは、モノクロ、カラー、または、視覚出力を生成可能な任意の他のタイプのディスプレイなどの、任意の好適なディスプレイ技術であってもよい。いくつかの例では、電子ディスプレイは、ユーザのそれぞれの目に別々の画像を与える立体ディスプレイである。いくつかの例では、ＨＭＤ１１２のフロント剛性体に対する向きおよび位置が分かっているディスプレイ２０３が、ＨＭＤ１１２およびユーザのその時の見る眺望に従って人工現実コンテンツをレンダリングするためのＨＭＤ１１２の位置および向きを追跡するとき、ローカルオリジンと言われることもある基準フレームとして使用される。他の例では、ＨＭＤ１１２は、眼鏡またはゴーグルなど、他の装着可能なヘッドマウントディスプレイの形態をとり得る。

図２Ａにさらに示されているように、この例では、ＨＭＤ１１２は、ＨＭＤ１１２の現在の加速度を示すデータを出力する（慣性測定ユニットまたは「ＩＭＵ」とも呼ばれる）１つまたは複数の加速度計、ＨＭＤ１１２のロケーションを示すデータを出力するＧＰＳセンサー、様々なオブジェクトからのＨＭＤ１１２の距離を示すデータを出力するレーダーまたはソナー、あるいは、ＨＭＤ１１２または物理的環境内の他のオブジェクトのロケーションまたは配向の指示を提供する他のセンサーなど、１つまたは複数の動きセンサー２０６をさらに含む。その上、ＨＭＤ１１２は、物理的環境を表す画像データを出力するように構成された、ビデオカメラ、レーザースキャナ、ドップラーレーダースキャナ、深度スキャナなど、統合された撮像デバイス１３８Ａおよび１３８Ｂ（まとめて、「撮像デバイス１３８」）を含み得る。より詳細には、撮像デバイス１３８は、一般にＨＭＤ１１２の観察パースペクティブと対応する、撮像デバイス１３８の視野１３０Ａ、１３０Ｂ内にある、物理的環境中の（周辺デバイス１３６および／または手１３２を含む）オブジェクトを表す画像データをキャプチャする。ＨＭＤ１１２は、内部制御ユニット２１０を含み、内部制御ユニット２１０は、内部電源と、検知データを処理してディスプレイ２０３上に人工現実コンテンツを提示するプログラム可能な動作を実行するための動作環境を提供するための、１つまたは複数のプロセッサ、メモリ、およびハードウェアを有する１つまたは複数のプリント回路基板とを含み得る。

一例では、制御ユニット２１０は、検知データ（例えば、撮像デバイス１３８および／または１０２によってキャプチャされた画像データ、ＧＰＳセンサーからの位置情報）に基づいて、ディスプレイ２０３に表示するために、撮像デバイス１３８の視野１３０Ａ、１３０Ｂ内に含まれる位置に関連付けられた１つまたは複数の仮想コンテンツアイテム（例えば、図１Ａの仮想コンテンツアイテム１２４、１２６）を含む仮想表面を生成しレンダリングするように構成される。図１Ａ～図１Ｂを参照して説明されたように、仮想コンテンツアイテムは仮想表面内の位置に関連付けられる場合があり、仮想表面は現実世界の環境内の物理表面に関連付けられる場合があり、制御ユニット２１０は、仮想コンテンツ（またはその一部分）に関連付けられた位置が現在の視野１３０Ａ、１３０Ｂ内にあるという決定に応答して、ディスプレイ２０３に表示するための仮想コンテンツアイテム（またはその一部分）をレンダリングするように構成することができる。同じ例では、仮想表面は、平面または他の表面（例えば、壁）上の位置に関連付けられ、制御ユニット２１０は、その仮想表面内に含まれる任意の仮想コンテンツアイテムの部分を、それらの部分が視野１３０Ａ、１３０Ｂ内にあるときに生成しレンダリングする。

一例では、制御ユニット２１０は、検知データに基づいて、ユーザによって実行された特定のジェスチャーまたはジェスチャーの組合せを識別し、それに応答してアクションを実行するように構成される。例えば、１つの識別されたジェスチャーに応答して、制御ユニット２１０は、周辺デバイス１３６の位置に対してロックされたユーザインターフェースの位置において、電子ディスプレイ２０３に表示するための特定のユーザインターフェースを生成しレンダリングすることができる。例えば、制御ユニット２１０は、周辺デバイス１３６の表面２２０または周辺デバイス１３６に近接する（例えば、周辺デバイス１３６の上、下、または近傍の）表面２２０に１つまたは複数のＵＩ要素（例えば、仮想ボタン）を含むユーザインターフェースを生成しレンダリングすることができる。制御ユニット２１０は、撮像デバイス１３８によって取り込まれた画像データ内のオブジェクト認識を実行して、周辺デバイス１３６、および／またはユーザの手１３２、指、親指、腕、もしくは別の部分を識別し、周辺デバイス１３６の動き、位置、構成など、および／またはユーザの識別された部分を追跡して、ユーザによって実行された事前定義ジェスチャーを識別することができる。事前定義ジェスチャーを識別したことに応答して、制御ユニット２１０は、ユーザインターフェースに関連付けられたオプションセットからオプションを選択すること（例えば、ＵＩメニューからオプションを選択すること）、ジェスチャーを入力（例えば、文字）に変換すること、アプリケーションを起動すること、仮想コンテンツを操作すること（例えば、仮想コンテンツアイテムを移動、回転させること）、仮想マーキングを生成しレンダリングすること、レーザーポインタを生成しレンダリングすること、またはさもなければコンテンツを表示することなどのいくつかのアクションを取る。例えば、制御ユニット２１０は、ユーザインターフェースを見せる（例えば、横向きまたは水平（図示せず）に周辺デバイスを回転する）ための「トリガ」として指定された事前定義ジェスチャーを検出したことに応答して、メニューなどのユーザインターフェースを動的に生成し提示することができる。いくつかの例では、制御ユニット２１０は、検知データに基づいて、レンダリングされたユーザインターフェースに対するユーザ入力（例えば、仮想ＵＩ要素に対して実行されたタッピングジェスチャー）を検出する。いくつかの例では、制御ユニット２１０は、オブジェクト認識、運動追跡、およびジェスチャー検出、またはそれらの任意の一部を実行することができる、コンソール１０６などの外部デバイスからの指示に応答して、そのような機能を実行する。

一例として、制御ユニット２１０は、撮像デバイス１３８Ａおよび１３８Ｂを利用して、周辺デバイス１３６、手１３２、および／または腕１３４の構成、位置、動き、および／または向きを分析し、周辺デバイス１３６に対してユーザによって実行され得る、ユーザインターフェースジェスチャー、選択ジェスチャー、スタンピングジェスチャー、並進ジェスチャー、回転ジェスチャー、描画ジェスチャー、指示ジェスチャーなどを識別することができる。制御ユニット２１０は、（ＵＩ要素を含む）ＵＩメニューおよび／または（任意の仮想コンテンツアイテムを含む）仮想表面をレンダリングし、以下にさらに詳細に記載されるように、周辺デバイスに対してユーザによって実行されたユーザインターフェースジェスチャー、選択ジェスチャー、スタンピングジェスチャー、並進ジェスチャー、回転ジェスチャー、および描画ジェスチャーの検出に基づいて、そのＵＩメニューおよび／または仮想表面とユーザがインターフェースすることを可能にすることができる。

一例では、周辺デバイス１３６の表面２２０は、静電、導電、抵抗、音響、または他の技術を使用してタッチ入力および／またはホバリング入力を検出する表面などの、存在検知表面である。いくつかの例では、周辺デバイス１３６の表面２２０は、タッチスクリーン（例えば、静電性タッチスクリーン、抵抗性タッチスクリーン、表面弾性波（ＳＡＷ）タッチスクリーン、赤外線タッチスクリーン、光学的画像タッチスクリーン、音響パルス認識タッチスクリーン、または任意の他のタッチスクリーン）である。そのような例では、周辺デバイス１３６は、タッチスクリーン２２０上にユーザインターフェースまたは他の仮想要素（例えば、仮想マーキング）をレンダリングし、タッチスクリーン２２０上のユーザ入力（例えば、タッチ入力および／またはホバリング入力）を検出することができる。その例においては、周辺デバイス１３６は、無線通信リンク（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈなどの短距離無線通信のニアフィールド通信）を使用して、有線通信リンク（図示せず）を使用して、またはその他のタイプの通信リンクを使用して、如何なる検出されたユーザ入力もＨＭＤ１１２（および／または図１Ａのコンソール１０６）へ通信することができる。いくつかの例では、周辺デバイスは、（例えば、仮想ＵＩ要素を選択し、仮想ＵＩ要素を介してスクロールするために）仮想コンテンツと対話するための１つまたは複数の入力デバイス（例えば、ボタン、トラックボール、スクロールホイール）を含むことができる。

本開示の技術によれば、図２ＡのＨＭＤ１１２は、ピクセル強度のデジタル制御およびアナログ制御を含む。例えば、ＨＭＤ１１２は、各ピクセル内にデジタルピクセル制御回路およびアナログピクセル制御回路を含むハイブリッドピクセル制御回路を含み得る。いくつかの例では、デジタルピクセル制御回路およびアナログピクセル制御回路は、各ピクセルに対してｎ＋ｍビットの階調強度制御を提供する。あるいは、階調ピクセル強度のデジタルＰＷＭ制御のためにデジタルピクセル制御回路によってｎビットが使用されてもよく、不均一性補償のためにピクセルに供給される駆動電流を制御するためにアナログピクセル制御回路によってｍビットが使用されてもよい。

図２Ｂは、本開示に記載された技術による、ピクセル強度のデジタル制御およびアナログ制御を含む別の例示的なＨＭＤ１１２を示すブロック図である。図２Ｂに示されているように、ＨＭＤ１１２は、眼鏡の形態をとり得る。図２ＡのＨＭＤ１１２は、図１Ａおよび図１ＢのＨＭＤ１１２のいずれかの一例であり得る。ＨＭＤ１１２は、図１Ａ、図１Ｂの人工現実システム１０、２０などの人工現実システムの一部であってもよく、本明細書に記載された技術を実装するように構成されたスタンドアロンモバイル人工現実システムとして動作してもよい。

本例において、ＨＭＤ１１２は、ＨＭＤ１１２をユーザの鼻に乗せることを可能にするためのブリッジを含む前部フレームと、ＨＭＤ１１２をユーザに固定するようにユーザの耳にわたって延在するテンプル（または「アーム」）とを備える眼鏡である。さらに、図２ＢのＨＭＤ１１２は、人工現実コンテンツをユーザに提示するように構成された内向き電子ディスプレイ２０３Ａおよび２０３Ｂ（まとめて、「電子ディスプレイ２０３」）を含む。電子ディスプレイ２０３は、液晶ディスプレイ（ＬＣＤ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ブラウン管（ＣＲＴ）ディスプレイ、ｅ－ｉｎｋ、あるいは、モノクロ、カラー、または、視覚出力を生成可能な任意の他のタイプのディスプレイなどの、任意の好適なディスプレイ技術であってもよい。図２Ｂに示された例では、電子ディスプレイ２０３は、ユーザの各眼に別々の画像を提供するための立体ディスプレイを形成する。いくつかの例では、ＨＭＤ１１２の前面フレームに対するディスプレイ２０３の知られている配向および位置は、ＨＭＤ１１２およびユーザの現在の観察パースペクティブに従って人工現実コンテンツをレンダリングするためにＨＭＤ１１２の位置および配向を追跡するとき、ローカル原点とも呼ばれる基準系として使用される。

図２Ｂにおいてさらに示されているように、この例においては、ＨＭＤ１１２はさらに、ＨＭＤ１１２の現在の加速度を示すデータを出力する１つもしくは複数の加速度計（慣性測定ユニットもしくは「ＩＭＵ」とも呼ばれる）、ＨＭＤ１１２のロケーションを示すデータを出力するＧＰＳセンサー、様々なオブジェクトからのＨＭＤ１１２の距離を示すデータを出力するレーダーもしくはソナー、または物理的環境内のＨＭＤ１１２もしくはその他のオブジェクトのロケーションもしくは配向の表示を提供するその他のセンサーなど、１つまたは複数の動きセンサー２０６を含む。その上、ＨＭＤ１１２は、物理的環境を表す画像データを出力するように構成された、ビデオカメラ、レーザースキャナ、ドップラーレーダースキャナ、深度スキャナなど、統合された撮像デバイス１３８Ａおよび１３８Ｂ（まとめて、「撮像デバイス１３８」）を含み得る。ＨＭＤ１１２は、内部制御ユニット２１０を含み、内部制御ユニット２１０は、内部電源と、検知データを処理してディスプレイ２０３上に人工現実コンテンツを提示するプログラム可能な動作を実行するための動作環境を提供するための、１つまたは複数のプロセッサ、メモリ、およびハードウェアを有する１つまたは複数のプリント回路基板とを含み得る。

本開示の技術によれば、図２ＢのＨＭＤ１１２は、ピクセル強度のデジタル制御およびアナログ制御を含む。例えば、ＨＭＤ１１２は、各ピクセル内にデジタルピクセル制御回路およびアナログピクセル制御回路を含むハイブリッドピクセル制御回路を含み得る。いくつかの例では、デジタルピクセル制御回路およびアナログピクセル制御回路は、各ピクセルに対してｎ＋ｍビットの階調強度制御を提供する。あるいは、階調ピクセル強度のデジタルＰＷＭ制御のためにデジタルピクセル制御回路によってｎビットが使用されてもよく、不均一性補償のためにピクセルに供給される駆動電流を制御するためにアナログピクセル制御回路によってｍビットが使用されてもよい。

図３は、本開示に記載された技術による、図１Ａ、図１Ｂのマルチデバイス人工現実システム１０、２０のコンソール１０６、ピクセル強度のデジタル制御およびアナログ制御を含むＨＭＤ１１２、および周辺デバイス１３６の例示的な実装形態を示すブロック図である。図３の例では、コンソール１０６は、ＨＭＤ１１２および／または外部センサーから受信された動きデータおよび画像データなどの検知データに基づいて、ＨＭＤ１１２のための姿勢追跡、ジェスチャー検出、およびユーザインターフェース、ならびに仮想表面の生成およびレンダリングを実行する。

本例において、ＨＭＤ１１２は、１つまたは複数のプロセッサ３０２およびメモリ３０４を含み、これらは、いくつかの例において、例えば、組み込みのリアルタイムマルチタスクオペレーティングシステムまたは他のタイプのオペレーティングシステムであり得るオペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供する。次に、オペレーティングシステム３０５は、アプリケーションエンジン３４０を含む１つまたは複数のソフトウェア構成要素３０７を実行するためのマルチタスク動作環境を提供する。図２Ａおよび図２Ｂの例に関して説明されるように、プロセッサ３０２は、電子ディスプレイ２０３と、動きセンサー２０６と、撮像デバイス１３８とに結合される。いくつかの例では、プロセッサ３０２とメモリ３０４とが、別々のディスクリート部品であることがあり得る。別の例では、メモリ３０４は、単一の集積回路内にプロセッサ３０２と併置されたオンチップメモリであることがあり得る。

一般に、コンソール１０６は、ＨＭＤ１１２のためにジェスチャー検出とユーザインターフェースおよび／または仮想コンテンツ生成とを実施するために、カメラ１０２（図１Ｂ）および／またはＨＭＤ１１２の撮像デバイス１３８（図１Ａ、図２Ａ、図２Ｂ）から受信された画像および追跡情報を処理するコンピューティングデバイスである。いくつかの例において、コンソール１０６は、ワークステーション、デスクトップコンピュータ、ラップトップ、またはゲームシステムなどの単一のコンピューティングデバイスである。いくつかの例において、プロセッサ３１２および／またはメモリ３１４などのコンソール１０６の少なくとも一部分は、クラウドコンピューティングシステム、データセンター全体にわたって、またはインターネット、別のパブリックもしくはプライベート通信ネットワーク、例えばブロードバンド、セルラ、Ｗｉ－Ｆｉ、ならびに／またはコンピューティングシステム、サーバ、およびコンピューティングデバイス間でデータを送信するための他のタイプの通信ネットワークなどのネットワーク全体にわたって分散され得る。

図３の例では、コンソール１０６は、１つまたは複数のプロセッサ３１２およびメモリ３１４を含み、１つまたは複数のプロセッサ３１２およびメモリ３１４は、いくつかの例では、オペレーティングシステム３１６を実行するためのコンピュータプラットフォームを提供し、オペレーティングシステム３１６は、例えば組み込みのリアルタイムマルチタスクオペレーティングシステム、または他のタイプのオペレーティングシステムであり得る。オペレーティングシステム３１６は、１つまたは複数のソフトウェア構成要素３１７を実行するためのマルチタスキング動作環境を提供する。プロセッサ３１２は、１つまたは複数のＩ／Ｏインターフェース３１５に結合され、１つまたは複数のＩ／Ｏインターフェース３１５は、キーボード、ゲームコントローラ、ディスプレイデバイス、撮像デバイス、ＨＭＤ、周辺デバイスなど、外部デバイスと通信するための１つまたは複数のＩ／Ｏインターフェースを提供する。さらに、１つまたは複数のＩ／Ｏインターフェース３１５は、ネットワーク１０４などのネットワークと通信するための１つまたは複数の有線または無線ネットワークインターフェースコントローラ（ＮＩＣ）を含み得る。

コンソール１０６のソフトウェア構成要素３１７は、人工現実アプリケーション全体をもたらすように動作する。この例では、ソフトウェア構成要素３１７は、アプリケーションエンジン３２０と、レンダリングエンジン３２２と、ジェスチャー検出器３２４と、姿勢トラッカ３２６と、ユーザインターフェースエンジンとを含む。

一般に、アプリケーションエンジン３２０は、人工現実アプリケーション、例えば、電話会議アプリケーション、ゲームアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、トレーニングまたはシミュレーションアプリケーションなどを提供および提示するための機能性を含む。アプリケーションエンジン３４０としては、例えば、１つまたは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／またはコンソール１０６において人工現実アプリケーションを実施するアプリケーションプログラムインターフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を挙げることができる。アプリケーションエンジン３２０による制御に応答して、レンダリングエンジン３２２が、ＨＭＤ１１２のアプリケーションエンジン３４０によるユーザへの表示の対象となる３Ｄ人工現実コンテンツを生成する。

アプリケーションエンジン３２０およびレンダリングエンジン３２２は、姿勢トラッカ３２６によって決定された、参照フレーム、典型的にはＨＭＤ１１２の視点の現在の姿勢情報に従って、ユーザ１１０に表示するための人工コンテンツを構築する。レンダリングエンジン３２２は、現在の視点に基づいて３Ｄの人工現実コンテンツを構築し、いくつかの事例において、３Ｄの人工現実コンテンツは、ユーザ１１０の実世界の３Ｄ環境に少なくとも部分的に重ね合わされ得る。このプロセス中、姿勢トラッカ３２６は、ユーザ１１０による動きおよび／またはユーザ１１０に関する特徴追跡情報などの、現実世界の環境内の３Ｄ情報をキャプチャするために、動き情報およびユーザコマンドなどのＨＭＤ１１２から受信された検知データ、ならびにいくつかの例では、外部カメラなどの任意の外部センサー９０（図１Ａ、図１Ｂ）からのデータに対して動作する。検知されたデータに基づいて、姿勢トラッカ３２６は、ＨＭＤ１１２の基準系についての現在のポーズを決定し、現在のポーズに従って、１つまたは複数のＩ／Ｏインターフェース３１５を介して、ユーザ１１０への表示のためのＨＭＤ１１２への通信のための人工現実コンテンツを構築する。

姿勢トラッカ３２６は、周辺デバイス１３６についての現在の姿勢を特定し、現在の姿勢に従って、任意のレンダリングされた仮想コンテンツに関連付けられたある特定の機能をトリガする（例えば、仮想表面上に仮想コンテンツアイテムを置く、仮想コンテンツアイテムを操作する、１つまたは複数の仮想マーキングを生成しレンダリングする、レーザーポインタを生成しレンダリングする）。いくつかの例において、姿勢トラッカ３２６は、ＨＭＤ１１２が仮想表面（例えば、仮想ピンボード）に対応する物理的位置に近接しているかどうかを検出して、仮想コンテンツのレンダリングをトリガする。

ユーザインターフェースエンジン３２８は、人工現実環境においてレンダリングするための仮想ユーザインターフェースを生成するように構成される。ユーザインターフェースエンジン３２８は、仮想描画インターフェース、選択可能なメニュー（例えば、ドロップダウンメニュー）、仮想ボタン、方向パッド、キーボード、または他のユーザ選択可能なユーザインターフェース要素、グリフ、表示要素、コンテンツ、ユーザインターフェース制御などの１つまたは複数の仮想ユーザインターフェース要素３２９を含むように、仮想ユーザインターフェースを生成する。レンダリングエンジン３２２は、周辺デバイス１３６についての現在の姿勢に基づいて、人工現実環境内の周辺デバイス１３６の位置に対して固定された人工現実環境内のユーザインターフェース位置に、仮想ユーザインターフェースをレンダリングするように構成される。ユーザインターフェース位置は、存在検知表面２２０の１つの位置であり得、レンダリングエンジン３２２は、存在検知表面２２０の姿勢、サイズ、および視点と一致するように投影を加えるために、仮想ユーザインターフェースをスケーリング、回転、およびさもなければ変形させることができ、その結果、仮想ユーザインターフェースは、存在検知表面２２０に重ね合わされるように人工現実環境内に現れる。ユーザインターフェースエンジン３２８は、部分的に透明になるように仮想ユーザインターフェースを生成することができ、存在検知表面２２０をユーザが見ることが可能になる。この透明度は構成可能であってもよい。

コンソール１０６は、この仮想ユーザインターフェースおよび他の人工現実コンテンツを、ＨＭＤ１１２での表示のために通信チャネルを介してＨＭＤ１１２に出力し得る。レンダリングエンジン３２２は、周辺デバイス１３６についての姿勢情報を受信して、存在検知表面２２０の１つの位置および姿勢などの周辺デバイス１３６の位置および姿勢と一致するように、ユーザインターフェースの位置および姿勢を継続的に更新する。

撮像デバイス１３８または１０２、プレゼンスセンシティブ表面２２０、あるいは他のセンサーデバイスのいずれかからの検知されたデータに基づいて、ジェスチャー検出器３２４は、ユーザ１１０によって実施された１つまたは複数のジェスチャーを識別するために、周辺デバイス１３６および／またはユーザのオブジェクト（例えば、手、腕、手首、フィンガー、手のひら、親指）の追跡された動き、構成、位置、および／または配向を分析する。より詳細には、ジェスチャー検出器３２４は、ＨＭＤ１１２の撮像デバイス１３８ならびに／またはセンサー９０および外部カメラ１０２によってキャプチャされた画像データ内で認識されたオブジェクトを分析して、周辺デバイス１３６ならびに／あるいはユーザ１１０の手および／または腕を識別し、ＨＭＤ１１２に対する周辺デバイス１３６、手、および／または腕の移動を追跡して、ユーザ１１０によって実施されたジェスチャーを識別する。いくつかの例では、ジェスチャー検出器３２４は、キャプチャされた画像データに基づいて、周辺デバイス１３６、手、指、および／または腕の位置および配向の変化を含む移動を追跡し、オブジェクトの動きベクトルをジェスチャーライブラリ３３０中の１つまたは複数のエントリと比較して、ユーザ１１０によって実施されたジェスチャーまたはジェスチャーの組合せを検出し得る。いくつかの例では、ジェスチャー検出器３２４は、周辺デバイスの（１つまたは複数の）プレゼンスセンシティブ表面によって検出されたユーザ入力を受信し、ユーザ入力を処理して、周辺デバイス１３６に関してユーザ１１０によって実施された１つまたは複数のジェスチャーを検出し得る。

ジェスチャー検出器３２４およびジェスチャーライブラリ３３０は、周辺デバイス１３６上でユーザ入力を処理して、ジェスチャーを検出するために、全体的にまたは部分的に、周辺デバイス１３６に分散され得る。そのような場合、（１つまたは複数の）プレゼンスセンシティブ表面２２０は、表面のロケーションにおけるユーザ入力を検出する。ジェスチャー検出器３２４を実行している周辺デバイス１３６は、ユーザ入力を処理して、ジェスチャーライブラリ３３０の１つまたは複数のジェスチャーを検出することができる。周辺デバイス１３６は、検出されたジェスチャーの指示をコンソール１０６および／またはＨＭＤ１１２に送って、コンソール１０６および／またはＨＭＤ１１２が応答して１つまたは複数のアクションを実施することを引き起こし得る。周辺デバイス１３６は、代替的に、または追加として、表面のロケーションにおけるユーザ入力の指示をコンソール１０６に送り得、ジェスチャー検出器３２４は、ユーザ入力を処理して、ジェスチャーライブラリ３３０の１つまたは複数のジェスチャーを検出し得る。

ジェスチャーライブラリ３３０中のいくつかのエントリが、各々、周辺デバイス１３６、ユーザの手、特定のフィンガー、親指、手首および／または腕の相対経路または空間的な並進運動および回転など、一連の動きまたは動きのパターンとしてジェスチャーを定義し得る。ジェスチャーライブラリ３３０中のいくつかのエントリは、各々、特定の時間における、またはある時間期間にわたる、周辺デバイス、ユーザの手および／または腕（またはそれらの部分）の構成、位置、および／または配向としてジェスチャーを定義し得る。ジェスチャーライブラリ３３０中のいくつかのエントリは、各々、経時的に、周辺デバイス１３６の（１つまたは複数の）プレゼンスセンシティブ表面２２０によって検出された１つまたは複数のユーザ入力としてジェスチャーを定義し得る。ジェスチャーのタイプの他の例が可能である。さらに、ジェスチャーライブラリ３３０中のエントリの各々が、定義されたジェスチャーまたは一連のジェスチャーについて、個人のリアルタイム視線追跡、表示されている人工コンテンツのタイプ、実行されているアプリケーションのタイプなどによって決定され得るような、ＨＭＤ１１２の現在の視野に対する空間関係、ユーザによって現在観測されている特定の区域に対する空間関係など、ジェスチャーまたは一連のジェスチャーがアクションをトリガするために必要とされる条件を指定し得る。

ジェスチャーライブラリ３３０中のエントリの各々は、定義されたジェスチャーまたはジェスチャーの組合せ／一連のジェスチャーの各々について、ソフトウェア構成要素３１７によって実施される所望の応答またはアクションをさらに指定し得る。例えば、いくつかの特殊なジェスチャーがあらかじめ定義され得、したがって、あらかじめ定義されたジェスチャーのうちの１つを検出したことに応答して、ユーザインターフェースエンジン３２８は、ユーザに表示されている人工現実コンテンツへのオーバーレイとしてユーザインターフェースを動的に生成し、それにより、人工現実コンテンツと対話している間でさえ、ユーザ１１０がＨＭＤ１１２および／またはコンソール１０６を構成するためのユーザインターフェースを容易に呼び出すことを可能にする。他の例では、いくつかのジェスチャーは、入力を提供すること、（仮想コンテンツアイテムおよび／またはＵＩ要素を含む）仮想オブジェクトを選択すること、仮想オブジェクトを並進運動させる（例えば、移動する、回転する）こと、仮想オブジェクトを変更する（例えば、スケーリングする、アノテーションを付ける）こと、仮想マーキングを行うこと、アプリケーションを起動することなど、他のアクションに関連し得る。

一例として、ジェスチャーライブラリ３３０は、ユーザインターフェースアクティブ化ジェスチャー、メニュースクロールジェスチャー、選択ジェスチャー、スタンピングジェスチャー、並進運動ジェスチャー、回転ジェスチャー、描画ジェスチャー、および／またはポインティングジェスチャーなど、周辺デバイスジェスチャーについて説明するエントリを含み得る。ジェスチャー検出器３２４は、撮像デバイス１３８からの画像データを処理して、周辺デバイス１３６および／またはユーザの手の構成、位置、動き、および／または配向を分析して、周辺デバイス１３６に関してユーザによって実施され得るユーザインターフェースジェスチャー、選択ジェスチャー、スタンピングジェスチャー、並進運動ジェスチャー、回転ジェスチャー、描画ジェスチャー、ポインティングジェスチャーなどを識別し得る。例えば、レンダリングエンジン３２２は、ジェスチャー検出器３２４によって、ユーザインターフェースジェスチャーが実施されていることを検出したことと、姿勢トラッカ３２６によって、ＨＭＤ１１２が仮想ピンボードの仮想位置に対応する物理的位置に近接していることを検出したこととに基づいて、ピンボードユーザインターフェースをレンダリングすることができる。ユーザインターフェースエンジン３２８は、表示されるメニューを定義することができ、選択ジェスチャーによって引き起こされる選択に応答して、実施されるアクションを制御することができる。

図３において示されている例においては、周辺デバイス１３６は、１つまたは複数のプロセッサ３４６およびメモリ３４４を含み、これらは、いくつかの例では、オペレーティングシステム３４２を実行するためのコンピュータプラットフォームを提供し、オペレーティングシステム３４２は、例えば、組み込みのリアルタイムマルチタスクオペレーティングシステム、またはその他のタイプのオペレーティングシステムであってもよい。次に、オペレーティングシステム３４６は、１つまたは複数のソフトウェア構成要素を実行するためのマルチタスキング動作環境を提供する。いくつかの例では、周辺デバイス１３６は、１つまたは複数のプレゼンスセンシティブ表面２２０（例えば、タッチおよび／またはホバー入力を検出するための、容量性技術、導電性技術、抵抗性技術、音響技術、および／または他の技術を使用する１つまたは複数の表面）を含む。１つまたは複数の態様では、周辺デバイス１３６は、プレゼンスセンシティブ表面２２０におけるタッチおよび／またはホバー入力を検出し、その入力を（例えば、プロセッサ３４６において）処理し、コンソール１０６および／またはＨＭＤ１１２に、タッチおよび／またはホバー入力を通信し、（その入力に関するロケーション情報を含む）その入力に関する情報を通信するように構成され得る。図２Ａの例に関して説明されるように、（１つまたは複数の）プレゼンスセンシティブ表面２２０は、タッチスクリーン（例えば、静電性タッチスクリーン、抵抗性タッチスクリーン、表面弾性波（ＳＡＷ）タッチスクリーン、赤外線タッチスクリーン、光学的画像タッチスクリーン、音響パルス認識タッチスクリーン、または任意の他のタッチスクリーン）を含むことができる。図３にさらに示されているように、この例では、周辺デバイス１３６は、周辺デバイス１３６の現在の加速度を示すデータを出力する（ＩＭＵとも呼ばれる）１つまたは複数の加速度計、周辺デバイスのロケーションおよび位置を示すデータを出力するＧＰＳセンサー、様々なオブジェクトからの（例えば、壁または他の表面からの）周辺デバイス１３６の距離を示すデータを出力するレーダーまたはソナー、あるいは、周辺デバイスまたは物理的環境内の他のオブジェクトのロケーション、位置、および／または配向の指示を提供する他のセンサーなど、１つまたは複数の動きセンサー３４８をさらに含む。いくつかの例では、プロセッサ３４６は、（１つまたは複数の）プレゼンスセンシティブ表面２２０と動きセンサー２４６とに結合される。いくつかの例においては、プロセッサ３４６およびメモリ３４４は、別々の、個別のコンポーネントであることが可能である。その他の例においては、メモリ３４４は、単一の集積回路内でプロセッサ３４６と併置されているオンチップメモリであることが可能である。１つまたは複数の態様では、周辺デバイス１３６はＨＭＤと共存し、いくつかの例では、仮想環境中のＨＭＤのための補助入出力デバイスとして動作することができる。いくつかの例では、周辺デバイス１３６は、ＨＭＤの機能のうちのいくつかがオフロードされる人工現実共同処理デバイスとして動作し得る。１つまたは複数の態様では、周辺デバイス１３６は、スマートフォン、タブレット、または他のハンドヘルドデバイスであり得る。

いくつかの例では、プロセッサ３０２、３１２、３４６の各々は、マルチコアプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは等価な個別論理回路または集積論理回路のうちの任意の１つまたは複数を含み得る。メモリ３０４、３１４、３４４は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電子的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリなど、データおよび実行可能ソフトウェア命令を記憶するための任意の形式のメモリを含み得る。

本開示の技術によれば、図３のＨＭＤ１１２の（１つまたは複数の）電子ディスプレイ２０３のいずれも、ピクセル強度のデジタル制御およびアナログ制御を含み得る。例えば、電子ディスプレイ２０３のうちの１つまたは複数は、各ピクセル内にデジタルピクセル制御回路およびアナログピクセル制御回路を含むハイブリッドピクセル制御回路を含み得る。いくつかの例では、デジタルピクセル制御回路およびアナログピクセル制御回路は、各ピクセルに対してｎ＋ｍビットの階調強度制御を提供する。あるいは、階調ピクセル強度のデジタルＰＷＭ制御のためにデジタルピクセル制御回路によってｎビットが使用されてもよく、不均一性補償のためにピクセルに供給される駆動電流を制御するためにアナログピクセル制御回路によってｍビットが使用されてもよい。

図４は、ジェスチャー検出、ユーザインターフェース生成、および仮想表面機能が図１Ａ、図１Ｂの人工現実システムのＨＭＤ１１２によって実行される例を示すブロック図であり、ＨＭＤは、本開示に記載された技術によるピクセル強度のデジタル制御およびアナログ制御を含む。

この例では、図３と同様に、ＨＭＤ１１２は、いくつかの例では、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供する１つまたは複数のプロセッサ３０２とメモリ３０４とを含み、オペレーティングシステム３０５は、例えば組み込みのリアルタイムマルチタスクオペレーティングシステム、または他のタイプのオペレーティングシステムであり得る。次に、オペレーティングシステム３０５は、１つまたは複数のソフトウェア構成要素４１７を実行するためのマルチタスク動作環境を提供する。その上、（１つまたは複数の）プロセッサ３０２は、電子ディスプレイ２０３と、動きセンサー２０６と、撮像デバイス１３８とに結合される。

図４の例では、ソフトウェア構成要素４１７は、全体的な人工現実アプリケーションを提供するように動作する。この例では、ソフトウェアアプリケーション４１７は、アプリケーションエンジン４４０と、レンダリングエンジン４２２と、ジェスチャー検出器４２４と、姿勢トラッカ４２６と、ユーザインターフェースエンジン４２８とを含む。様々な例では、ソフトウェア構成要素４１７は、図３のコンソール１０６の対応する構成要素（例えば、アプリケーションエンジン３２０、レンダリングエンジン３２２、ジェスチャー検出器３２４、姿勢トラッカ３２６、およびユーザインターフェースエンジン３２８）と同様に動作して、ユーザ１１０に表示するための人工コンテンツにオーバーレイされた、またはその一部として仮想ユーザインターフェースを構築する。

図３に関して記載された例と同様に、撮像デバイス１３８もしくは１０２、周辺デバイス１３６のプレゼンスセンシティブ表面、または他のセンサーデバイスのいずれかからの検知データに基づいて、ジェスチャー検出器４２４は、周辺デバイス１３６および／またはユーザのオブジェクト（例えば、手、腕、手首、フィンガー、手のひら、親指）の追跡された動き、構成、位置、および／または配向を分析して、ユーザ１１０によって実行された１つまたは複数のジェスチャーを識別する。

より詳細には、ジェスチャー検出器４２４は、ＨＭＤ１１２の撮像デバイス１３８ならびに／またはセンサー９０および外部カメラ１０２によってキャプチャされた画像データ内で認識されたオブジェクトを分析して、周辺デバイス１３６ならびに／あるいはユーザ１１０の手および／または腕を識別し、ＨＭＤ１１２に対する周辺デバイス１３６、手、および／または腕の移動を追跡して、ユーザ１１０によって実施されたジェスチャーを識別し得る。仮想表面アプリケーションは、ユーザ１１０に表示されるべき人工現実コンテンツの一部として、例えば、その上に重ね合わされた仮想表面を生成し、かつ／あるいはジェスチャー検出器４２４によって検出されたユーザ１１０の１つもしくは複数のジェスチャーまたはジェスチャーの組合せに基づいてアクションを実行する。ジェスチャー検出器４２４は、ユーザ１１０によって実施されたジェスチャーを識別するために、周辺デバイス１３６ならびに／あるいはユーザ１１０の手および／または腕を識別し、ＨＭＤ１１２に対する周辺デバイス１３６、手、および／または腕の移動を追跡するために、ＨＭＤ１１２の撮像デバイス１３８および／またはセンサー９０および外部カメラ１０２によってキャプチャされた画像データ内で認識されるオブジェクトを分析し得る。いくつかの例では、ジェスチャー検出器４２４は、キャプチャされた画像データに基づいて、周辺デバイス１３６、手、指、および／または腕の位置および配向の変化を含む移動を追跡し、オブジェクトの動きベクトルをジェスチャーライブラリ４３０中の１つまたは複数のエントリと比較して、ユーザ１１０によって実施されたジェスチャーまたはジェスチャーの組合せを検出し得る。いくつかの例では、ジェスチャー検出器４２４は、周辺デバイスの（１つまたは複数の）プレゼンスセンシティブ表面によって検出されたユーザ入力を受信し、ユーザ入力を処理して、周辺デバイス１３６に関してユーザ１１０によって実施された１つまたは複数のジェスチャーを検出し得る。ジェスチャーライブラリ４３０は図３のジェスチャーライブラリ３３０と同様である。ジェスチャー検出器４２４の機能性の全部のうちの一部が周辺デバイス１３６によって実行され得る。

図４の周辺デバイス１３６の構成要素は、図３の周辺デバイス１３６の構成要素と同様に動作し得る。ピクセル強度のデジタル制御およびアナログ制御に関して図３に関して説明した技術は、ＨＭＤ１１２においても実装され得る。例えば、電子ディスプレイ２０３のうちの１つまたは複数は、各ピクセル内にデジタルピクセル制御回路およびアナログピクセル制御回路を含むハイブリッドピクセル制御回路を含み得る。いくつかの例では、デジタルピクセル制御回路およびアナログピクセル制御回路は、各ピクセルに対してｎ＋ｍビットの階調強度制御を提供する。あるいは、階調ピクセル強度のデジタルＰＷＭ制御のためにデジタルピクセル制御回路によってｎビットが使用されてもよく、不均一性補償のためにピクセルに供給される駆動電流を制御するためにアナログピクセル制御回路によってｍビットが使用されてもよい。

図５は、１つまたは複数のデバイス（例えば、周辺デバイス１３６およびＨＭＤ１１２）が各デバイス内の１つまたは複数のシステムオンチップ（ＳｏＣ）集積回路を使用して実装される、マルチデバイス人工現実システムのための分散アーキテクチャのより詳細な例示的な実装形態を示すブロック図である。図５は、ＨＭＤ１１２が周辺デバイス１３６と連携して動作する例を示す。周辺デバイス１３６は、マルチデバイス人工現実システム１００または１２６が仮想コンテンツをオーバーレイする表面を有する物理的な現実世界のデバイスを表す。周辺デバイス１０４は、プレゼンスセンシティブ表面）２０４のロケーションにタッチするかまたはそのロケーション上をホバリングする１つまたは複数のオブジェクト（例えば、フィンガー、スタイラスなど）の存在を検出することによってユーザ入力を検出するための１つまたは複数のプレゼンスセンシティブ表面２０４を含み得る。いくつかの例では、周辺デバイス１０４は、スマートフォン、タブレットコンピュータ、個人情報端末（ＰＤＡ）、または他のハンドヘルドデバイスのいずれかと同様のフォームファクタを有してもよい。他の例では、周辺デバイス１０４は、スマートウォッチ、いわゆる「スマートリング」、または他のウェアラブルデバイスのフォームファクタを有してもよい。周辺デバイス１０４はまた、キオスク、あるいは他の固定または移動システムの一部であり得る。（１つまたは複数の）プレゼンスセンシティブ表面２０４は、視覚コンテンツをスクリーンに出力するための（１つまたは複数の）ディスプレイデバイスなどの出力構成要素を組み込み得る。上述したように、ＨＭＤ１０２は、人工現実アプリケーションの実行を可能にするように構築および構成される。

この例では、ＨＭＤ１１２および周辺デバイス１３６は、分散アーキテクチャに配置され、人工現実アプリケーションのための動作環境を提供するように構成された専用集積回路の集合を表すＳｏＣ５３０、ＳｏＣ５１０（のそれぞれ）を含む。例として、ＳｏＣ集積回路は、コアプリケーションプロセッサ、センサーアグリゲータ、暗号化／解読エンジン、セキュリティプロセッサ、手／眼／深度追跡およびポーズ計算要素、ビデオ符号化およびレンダリングエンジン、ディスプレイコントローラならびに通信制御構成要素として動作する、特殊な機能ブロックを含み得る。より詳細な例が図５に示されている。図５は、ＳｏＣ集積回路の１つの例示的な配列にすぎない。マルチデバイス人工現実システムのための分散アーキテクチャは、ＳｏＣ集積回路の任意の集合および／または配列を含み得る。

この例では、ＨＭＤ１１２のＳｏＣ５３０Ａは、追跡５７０と、暗号化／解読５８０と、コプロセッサ５８２と、インターフェース５８４とを含む機能ブロックを備える。追跡５７０は、眼追跡５７２（「眼５７２」）、手追跡５７４（「手５７４」）、深度追跡５７６（「深度５７６」）、ならびに／または同時位置特定およびマッピング（ＳＬＡＭ）５７８（「ＳＬＡＭ５７８」）のための機能ブロックを提供する。例えば、ＨＭＤ１１２は、ＨＭＤ１１２の現在の加速度を示すデータを出力する（慣性測定ユニットまたは「ＩＭＵ」とも呼ばれる）１つまたは複数の加速度計、ＨＭＤ１１２のロケーションを示すデータを出力するＧＰＳセンサー、様々なオブジェクトからのＨＭＤ１１２の距離を示すデータを出力するレーダーまたはソナー、あるいは、ＨＭＤ１１２または物理的環境内の他のオブジェクトのロケーションまたは配向の指示を提供する他のセンサーから、入力を受信し得る。ＨＭＤ１１２はまた、１つまたは複数の撮像デバイス５８８Ａ～５８８Ｎ（まとめて、「撮像デバイス５８８」）から画像データを受信し得る。撮像デバイスは、物理的環境を表す画像データを出力するように構成された、ビデオカメラ、レーザースキャナ、ドップラーレーダースキャナ、深度スキャナなどを含み得る。より具体的には、撮像デバイスは、通常、ＨＭＤ１１２の視点に対応する、撮像デバイスの視野内にある物理環境内の（周辺デバイス１３６および／または手を含む）オブジェクトを表す画像データを取り込む。検知されたデータおよび／または画像データに基づいて、追跡５７０は、例えば、ＨＭＤ１１２の基準系についての現在のポーズを決定し、現在のポーズに従って、人工現実コンテンツをレンダリングする。

ＳｏＣ５３０Ａの暗号化／解読５８０は、周辺デバイス１３６またはセキュリティサーバに通信される発信データを暗号化し、周辺デバイス１３６またはセキュリティサーバから通信された着信データを解読するための機能ブロックである。コアプリケーションプロセッサ５８２は、ビデオ処理ユニット、グラフィックス処理ユニット、デジタル信号プロセッサ、エンコーダおよび／またはデコーダなどの命令を実行するための１つまたは複数のプロセッサを含む。

ＳｏＣ５３０Ａのインターフェース５８４は、ＳｏＣ５３０Ａの機能ブロックに接続するための１つまたは複数のインターフェースを含む機能ブロックである。一例として、インターフェース５８４は、周辺構成要素相互接続エクスプレス（ＰＣＩｅ）スロットを含み得る。ＳｏＣ５３０Ａは、インターフェース５８４を使用してＳｏＣ５３０Ｂ、５３０Ｃと接続し得る。ＳｏＣ５３０Ａは、他のデバイス、例えば、周辺デバイス１３６と通信するためにインターフェース５８４を使用して通信デバイス（例えば、無線送信機）と接続し得る。

ＨＭＤ１１２のＳｏＣ５３０ＢおよびＳｏＣ５３０Ｃは、各々、それぞれのディスプレイ、例えば、ディスプレイ５８６Ａ、５８６Ｂ（まとめて、「ディスプレイ５８６」）上に人工現実コンテンツを出力するためのディスプレイコントローラを表す。この例では、ＳｏＣ５３０Ｂは、ユーザの左眼５８７Ａのための人工現実コンテンツを出力するための、ディスプレイ５６８Ａのためのディスプレイコントローラを含み得る。例えば、ＳｏＣ５３０Ｂは、人工現実コンテンツをディスプレイ５８６Ａ上に出力するための解読ブロック５９２Ａ、デコーダブロック５９４Ａ、ディスプレイコントローラ５９６Ａ、および／またはピクセルドライバ５９８Ａを含む。同様に、ＳｏＣ５３０Ｃは、ユーザの右眼５８７Ｂのための人工現実コンテンツを出力するための、ディスプレイ５６８Ｂのためのディスプレイコントローラを含み得る。例えば、ＳｏＣ５３０Ｃは、人工現実コンテンツを生成し、ディスプレイ５８６Ｂ上に出力するための解読５９２Ｂ、デコーダ５９４Ｂ、ディスプレイコントローラ５９６Ｂ、および／またはピクセルドライバ５９８Ｂを含む。ディスプレイ５６８は、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）、量子ドットＬＥＤ（ＱＬＥＤ）、電子ペーパー（Ｅ－ｉｎｋ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、またはＡＲコンテンツを表示するための他のタイプのディスプレイを含み得る。

本開示によれば、ＳｏＣ５３０ＢおよびＳｏＣ５３０Ｃのピクセルドライバ５９８Ａおよび５９８Ｂの各々は、各ピクセル内にデジタルピクセル制御回路およびアナログピクセル制御回路を含むハイブリッドピクセル制御回路をそれぞれ含み得る。いくつかの例では、デジタルピクセル制御回路およびアナログピクセル制御回路は、各ピクセルに対してｎ＋ｍビットの階調強度制御を提供する。あるいは、階調ピクセル強度のデジタルＰＷＭ制御のためにデジタルピクセル制御回路によってｎビットが使用されてもよく、不均一性補償のためにピクセルに供給される駆動電流を制御するためにアナログピクセル制御回路によってｍビットが使用されてもよい。

この例では、周辺デバイス１３６は、人工現実アプリケーションをサポートするように構成されたＳｏＣ５１０ＡおよびＳｏＣ５１０Ｂを含む。この例では、ＳｏＣ５１０Ａは、追跡５４０と、暗号化／解読５５０と、ディスプレイプロセッサ５５２と、インターフェース５５４とを含む機能ブロックを備える。追跡５４０は、眼追跡５４２（「眼５４２」）、手追跡５４４（「手５４４」）、深度追跡５４６（「深度５４６」）、ならびに／または同時位置特定およびマッピング（ＳＬＡＭ）５４８（「ＳＬＡＭ５４８」）を提供する機能ブロックである。例えば、周辺デバイス１３６は、周辺デバイス１３６の現在の加速度を示すデータを出力する（慣性測定ユニットまたは「ＩＭＵ」とも呼ばれる）１つまたは複数の加速度計、周辺デバイス１３６のロケーションを示すデータを出力するＧＰＳセンサー、様々なオブジェクトからの周辺デバイス１３６の距離を示すデータを出力するレーダーまたはソナー、あるいは、周辺デバイス１３６または物理的環境内の他のオブジェクトのロケーションまたは配向の指示を提供する他のセンサーから、入力を受信し得る。周辺デバイス１３６は、いくつかの例では、物理的環境を表す画像データを出力するように構成された、ビデオカメラ、レーザースキャナ、ドップラーレーダースキャナ、深度スキャナなど、１つまたは複数の撮像デバイスから画像データをも受信し得る。検知されたデータおよび／または画像データに基づいて、追跡ブロック５４０は、例えば、周辺デバイス１３６の基準系についての現在のポーズを決定し、現在のポーズに従って、ＨＭＤ１１２に人工現実コンテンツをレンダリングする。

ＳｏＣ５１０Ａの暗号化／解読５５０は、ＨＭＤ１１２またはセキュリティサーバに通信される発信データを暗号化し、ＨＭＤ１１２またはセキュリティサーバから通信された着信データを解読する。暗号化／解読５５０は、セッション鍵（例えば、秘密対称鍵）を使用してデータを暗号化／解読するために対称鍵暗号法をサポートし得る。ＳｏＣ５１０Ａのディスプレイプロセッサ５５２は、ＨＭＤ１１２に人工現実コンテンツをレンダリングするための、ビデオ処理ユニット、グラフィックス処理ユニット、エンコーダおよび／またはデコーダ、ならびに／あるいは他のものなど、１つまたは複数のプロセッサを含む。ＳｏＣ５１０Ａのインターフェース５５４は、ＳｏＣ５１０Ａの機能ブロックに接続するための１つまたは複数のインターフェースを含む。一例として、インターフェース５８４は、周辺構成要素相互接続エクスプレス（ＰＣＩｅ）スロットを含み得る。ＳｏＣ５１０Ａは、インターフェース５８４を使用してＳｏＣ５１０Ｂと接続し得る。ＳｏＣ５１０Ａは、他のデバイス、例えば、ＨＭＤ１１２と通信するためにインターフェース５８４を使用して１つまたは複数の通信デバイス（例えば、無線送信機）と接続し得る。

周辺デバイス１３６のＳｏＣ５１０Ｂは、コアプリケーションプロセッサ５６０およびアプリケーションプロセッサ５６２を含む。この例では、コアプリケーションプロセッサ５６０は、視覚処理ユニット（ＶＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、および／または中央処理ユニット（ＣＰＵ）など、様々なプロセッサを含む。アプリケーションプロセッサ５６２は、例えば、人工現実コンテンツを生成およびレンダリングするために、ならびに／または周辺デバイス１３６に関してユーザによって実行されたジェスチャーを検出および解釈するために、１つまたは複数の人工現実アプリケーションを実行し得る。

図６は、本開示に記載された技術によるディスプレイデバイス６００のブロック図である。ディスプレイデバイス６００は、例えば、図１～図５に関して図示および説明したディスプレイのいずれかを実装するために使用してもよい。ディスプレイデバイス６００は、複数のピクセル６１２Ａ～６１２Ｎ（まとめて「ピクセル６１２」または個別に「ピクセル６１２」と呼ばれる）を含むディスプレイパネル６３０を含む。図６は、ピクセル６１２Ａを制御するための詳細な構造を示しているが、他のピクセル６１２Ｂ～６１２Ｎは、ピクセル６１２Ａと同じ制御構造を有してもよい。各ピクセル６１２内のピクセルドライバ回路６０８は、発光ダイオード（ＬＥＤ）またはマイクロＬＥＤなどの発光素子を含み、デジタルピクセル制御回路６３０およびアナログピクセル制御回路６５０によって制御された強度を有する光を出力する。いくつかの例では、各フレームのピクセル強度は、ｎ＋ｍビットの制御ワードによって定義される。デジタルピクセル制御回路６３０は、ピクセル６１２の発光素子によって放出される光のｎビットのデジタルＰＷＭ制御を提供する。アナログピクセル制御回路６５０は、ピクセル６１２の発光素子に供給される２^ｍの異なるレベルの駆動電流の制御を提供する。いくつかの例では、デジタルピクセル制御回路６３０およびアナログピクセル制御回路６５０は、各ピクセルに対してｎ＋ｍビットの強度制御を提供する。あるいは、ｎビットは、ピクセル強度のデジタルＰＷＭ制御のためにデジタルピクセル制御回路６３０によって使用されてもよく、ｍビットは、不均一性補償のためにピクセルに供給される駆動電流を制御するためにアナログピクセル制御回路６５０によって使用されてもよい。

図６の例では、デジタルピクセル制御回路６３０は、メモリ６０２と、コンパレータ回路６０４と、ラッチ回路６０６とを含む。メモリ６０２は、コンパレータ回路６０４に接続されている。コンパレータ回路６０４はラッチ回路６０６に接続され、ラッチ回路６０６はドライバ回路６０８に接続されている。アナログピクセル制御回路６５０は、ドライバ回路６０８にも接続されている。

さらに、ディスプレイデバイス６００は、カウンタ６１０を含む行ドライバ６１４と、デジタル列ドライバ６１６と、アナログ列ドライバ６４６と、コントローラ６４０とを備える。いくつかの実施形態では、コントローラ６４０は、ディスプレイデバイス６００とは別々であってもよい。図６は、行ドライバ６１４、デジタル列ドライバ６１６、およびアナログ列ドライバ６４６をピクセル６１２Ａに接続されているものとして示しているが、それらは実際にはピクセル６１２Ａ～６１２Ｎの各々に接続されている。具体的には、行ドライバ６１４は、デジタルピクセル制御回路６３０のメモリ６０２、コンパレータ回路６０４、およびラッチ回路６０６に接続されている。行ドライバ６１４は、アナログピクセル制御回路６５０にさらに接続されている。デジタル列ドライバ６１６は、デジタルピクセル制御回路６３０のメモリ６０２に接続されている。コントローラ６４０は、プロセッサ６４２およびディスプレイメモリ６４４などの処理回路を含む。コントローラ６４０は、行ドライバ６１４、デジタル列ドライバ６１６、およびアナログ列ドライバ６４６にも接続されている。

デジタル列ドライバ６１６は、ｎ＋ｍ個の強度制御ワードのｎ個のデジタルビットを各ピクセルのメモリ６０２内のメモリセルにロードし、アナログ列ドライバ６４６は、ｎ＋ｍ個のビット強度制御ワードのｍビットに対応する単一の電圧をアナログピクセル制御回路６５０にロードする。行ドライバ６１４は、デジタルアナログ制御回路６３０に対するプログラミング段階およびアナログピクセル制御回路６５０に対するプログラミング段階がいつ開始および終了するか（例えば、図１０を参照）を制御する。アナログロード方式およびデジタルロード方式は、各ピクセルのアナログおよびデジタル制御が互いに完全に独立していることを意味する分離された構成要素／トランジスタ（すなわち、デジタルピクセル制御回路６３０およびアナログピクセル制御回路６５０）によって制御される。したがって、本開示の技術によって提供されるデジタル強度制御およびアナログ強度制御は、アナログ強度制御およびデジタル強度制御が任意の順序でロードされ得る（すなわち、アナログ強度制御が最初にロードされ、デジタル強度制御が２番目にロードされてもよく、またはデジタル強度制御が最初にロードされ、アナログ強度制御が２番目にロードされてもよい）、またはアナログ強度制御およびデジタル強度制御が同時にロードされ得るという点で柔軟である。順序の選択は、例えば、ピクセルの所望の性能および／またはアナログ方式が強度制御または均一性補償に使用されるか否かに基づいてもよい。

例示的なデジタルピクセル制御回路６３０のメモリ６０２は、ｎ個の１ビットスタティックランダムアクセスメモリ（ＳＲＡＭ）メモリセル、または他の何らかのタイプのメモリセルなど、ｎビットのデジタルデータ記憶デバイスを含み得る。メモリ６０２は、ワード線を介して行ドライバ６１４に接続され、ビット線および反転ビット線を介して列ドライバ６１６に接続されている。メモリ６０２は、メモリセル選択のためのワード線（ＷＬ）の信号を行ドライバ６１４から受信し、選択されたメモリセルに書き込むためのｎデータビットＤの形態の制御ワードを列ドライバ６１６から受信する。ｎ個のデータビットのビット値は、ピクセル内の発光素子に駆動電流が供給される各フレームのサブフレーム数を定義する。デジタルピクセル制御回路内のデータビット数ｎは変化してもよい。一例では、メモリ６０２は、デジタルピクセル制御回路６３０によって制御される８階調の輝度（例えば、０００、００１、０１０、０１１、１００、１０１、１１０、１１１）を提供するためにｎ＝３ビットを記憶する。別の例では、デジタルピクセル制御回路６３０によって制御される３２階調の輝度を提供するためにｎ＝５である。ｎは、特定の実装形態に好適に適した任意の整数のビット数であってもよく、本開示はこの点に関して限定されないことを理解されたい。メモリ６０２に関するさらなる詳細は、図７に関連して説明される。

行ドライバ６１４は、各ピクセル行またはピクセル行のグループに対してカウンタ６１０を含み得る。カウンタ６１０は、カウントビットのビット値を生成するための回路を使用して少なくとも部分的に具体化される。カウントビット数は、デジタルピクセル制御回路用の制御ワードにおけるデータビット数ｎに対応する。ｎ＝３の例では、カウンタ６１０は、ビット値０００、００１、０１０、０１１、１００、１０１、および１１１を含むフレームの各サブフレームについてシーケンスを生成する。ここで、カウンタ６１０は、０から７までをバイナリカウントしてシーケンスを生成する。いくつかの実施形態では、カウンタ６１０は、コンパレータ回路６０４による比較を容易にするために各カウントビットを反転する。

例示的な一実装形態では、例示的なデジタルピクセル制御回路６３０のコンパレータ回路６０４は、カウンタ６１０によって生成された行ドライバ６１４からカウントビットを受信し、メモリ６０２から制御ワードのｎ個のデータビットを受信し、カウントビットをデータビットと比較して比較結果を生成する。比較結果は、式１によって定義されるように、各データビットと対応するカウントビットとのＮＯＲに基づいて生成される。
（！ｃｏｕｎｔ［０］＆Ｄ［０］）｜（！ｃｏｕｎｔ［１］＆Ｄ［１］）｜ … ｜（！ｃｏｕｎｔ［ｎ－１］＆Ｄ［ｎ－１］）式（１）
式中、！ｃｏｕｎｔ［ｘ］はｘ番目の反転カウントビットであり、Ｄ［ｘ］は制御ワードのｘ番目のデータビットであり、ｎは制御ワードおよびカウントビットの長さである。式１によって定義される比較は、対応するデータビットとカウントビットとの順序付き比較であり、これにより、簡略化されたコンパレータ回路６０４が可能になる。コンパレータ回路６０４は、比較結果に従って高レベルと低レベルとの間でスイッチする動的比較ノードを含むことが可能であり、ラッチ回路６０６に比較結果を出力することが可能である。

例示的なデジタルピクセル制御回路６３０のラッチ回路６０６は、コンパレータ回路６０４から比較結果を受信し、ドライバ回路６０８の駆動トランジスタのためのゲート信号を生成する。ラッチ回路６０６は、コンパレータ回路６０４の動的比較ノードにおける比較結果のスイッチがあっても、ドライバ回路６０８に送られるゲート信号の所望の状態を保持する。ラッチ回路６０６の出力は、制御信号（ｎＤｒｉｖｅ）であり、本明細書で説明するようにドライバ回路６０８のスイッチを制御する。

ドライバ回路６０８は、ＬＥＤまたはマイクロＬＥＤなどの発光素子と、ＬＥＤに接続された端子（例えば、ソースまたはドレイン）を有する駆動トランジスタとを含む。駆動トランジスタは、ラッチ回路６０６に接続され、駆動トランジスタおよびＬＥＤのソースおよびドレイン端子を流れる電流を制御するためのゲート信号（ｎＤｒｉｖｅ）を受信するゲート端子をさらに含む。このように、駆動トランジスタは、デジタルピクセル制御回路６３０に与えられる制御ワードのｎビットによって決定されるＰＷＭタイミングに基づいて、ＬＥＤに電流が供給されるか否かを制御するスイッチとして機能する。ドライバ回路６０８に関するさらなる詳細は、図８および図９に関連して以下で説明される。

いくつかの実施形態では、ドライバ回路６０８、デジタルピクセル制御回路６３０、およびアナログピクセル制御回路６５０の少なくともいくつかの部分を含むピクセルの制御回路は、ディスプレイデバイス６００の薄膜トランジスタ（ＴＦＴ）層に配置される。

行ドライバ６１４およびデジタル列ドライバ６１６は、各ピクセル６１２Ａ～６１２Ｎ内のデジタルピクセル制御回路６３０の動作を制御する。例えば、列ドライバ６１６は、ピクセル６１２Ａのｎ＋ｍビットの制御ワードのｎ個のデータビットをメモリ６０２に提供し、これらは、行ドライバ６１４からのワード線（ＷＬ）による選択に基づいてメモリ６０２のｎ個の対応するメモリセルにプログラムされる。

コントローラ６４０は、（本明細書では一般にプロセッサ６４２と呼ばれる）１つまたは複数のプロセッサ６４２およびディスプレイメモリ６４４などの処理回路を含む。プロセッサ６４２は、デジタルピクセル制御回路６３０の動作を制御するために、行ドライバ６１４およびデジタル列ドライバ６１６に制御信号を提供する。プロセッサ６４２はまた、フレーム中に各ピクセルに供給される駆動電流の量またはレベルを制御するために、行ドライバ６１４およびアナログピクセル制御回路６５０に制御信号を提供する。

いくつかの例では、ｍビットがアナログ不均一性補償に使用される場合、ディスプレイメモリ６４４（本明細書では「データ記憶デバイス」とも呼ばれる）は、各ピクセルについてｍビットの不均一性補償値を記憶し得る。ｍビットの不均一性補償値は、不均一性補償のためにアナログピクセルドライバ回路６５０によってピクセルに供給される駆動電流の量またはレベルを制御するために、対応するアナログ電圧としてアナログピクセル制御回路６５０（キャパシタまたは他のアナログ記憶デバイスなど）に記憶されてもよい。

デジタルピクセル制御回路６３０を実装するために使用され得るピクセル強度のデジタルＰＷＭ制御のための回路の例は、それぞれその全体が参照により組み込まれる、２０２０年１月３１日に出願され、「Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ ｆｏｒ Ｄｒｉｖｉｎｇ Ｐｉｘｅｌ Ｕｓｉｎｇ Ｃｏｍｐａｒａｔｏｒ」と題する米国特許出願第１６／７７９，１６８号、２０２０年１月３１日に出願され、「Ｒｏｗ Ｂａｓｅｄ Ｂｒｉｇｈｔｎｅｓｓ Ｃａｌｉｂｒａｔｉｏｎ」と題する米国特許出願第１６／７７９，２０６号、および２０１９年２月４日に出願され、「Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ ｆｏｒ Ｄｒｉｖｉｎｇ Ｐｉｘｅｌ Ｕｓｉｎｇ Ｃｏｍｐａｒａｔｏｒ」と題する米国仮特許出願第６２／８００，９７９号に示され説明されている。しかしながら、ピクセル強度のデジタルＰＷＭ制御のための他の実装も使用されてもよく、本開示はこの点に関して限定されないことを理解されたい。

図７は、本開示に記載された技術による、個々のピクセル６１２のデジタルピクセル制御回路６３０の例示的なメモリ６０２を示す回路図である。特に、単一のピクセル６１２に対する例示的なメモリ６０２の一部分が示されている。メモリ６０２は、ピクセル強度制御ワードのｎビットを記憶し、制御ワードのｎビットをコンパレータ回路６０４に出力する。メモリ６０２は、ｎ個の１ビットメモリセル９０２（０）～９０２（ｎ－１）を含み、ｎはデジタルピクセル制御回路６３０の制御ワードのビット長である。各セル９０２（０）～９０２（ｎ－１）は、それぞれワード線９０８（０）～９０８（ｎ－１）を介して行ドライバ６１４に接続され、さらにビット線９０４および反転ビット線９０６を介して列ドライバ６１６に接続されている。各セル９０２（０）～９０２（ｎ－１）は、セルに記憶されたビット値をコンパレータ回路６０４に出力するために、それぞれのセル出力９１０（０）～９１０（ｎ－１）をさらに含む。

各セル９０２（０）－９０２（ｎ－１）は、例えば、１ビットＳＲＡＭメモリセルを使用して実装し得、しかしながら、メモリセル９０２（０）－９０２（ｎ－１）は、任意の好適なタイプのメモリセルを使用して実装されてもよいことを理解されたい。

セル９０２（０）を参照すると、各セル９０２（０）－９０２（ｎ－１）は、トランジスタ９１２、トランジスタ９１４、ならびに交差結合インバータ９１６および９１８を含み得る。この例では、トランジスタ９１２および９１４はＮＭＯＳトランジスタである。トランジスタ９１２は、反転ビット線９０６に接続された第１の端子と、交差結合インバータ９１６および９１８によって形成された第１のノードに接続された第２の端子とを含む。トランジスタ９１４は、ビット線９０４に接続された第１の端子と、交差結合インバータ９１６および９１８によって形成される第２のノードに接続された別の端子とを含む。トランジスタ９１２および９１４のゲート端子は各々、ワード線９０８（０）に接続されている。交差結合インバータ９１６および９１８によって形成される第２のノードは、セル出力９１０（０）に接続されている。

セル９０２（０）をビット値でプログラムするために、セル９０２（０）のワード線９０８（０）はハイ信号に設定され、ビット線９０４はビット値に設定され、反転ビット線９０６はビット値の逆数に設定される。これにより、ビット線９０４上のビット値がセル９０２（０）に記憶され、セル出力９１０（０）で出力される。メモリ６０２の他のセルは、セル９０２（０）について本明細書で説明したのと同様の構成要素および動作を含み得る。メモリ６０２は、ワード線９０８（０）～９０８（ｎ－１）のそれぞれを介して信号ＷＬ［０］～ＷＬ［ｎ－１］を受信し、ビット線９０４から信号ビットを受け、反転ビット線９０６から信号ｎビットを受けてｎビットの制御ワードを記憶し、セル出力９１０（０）～９１０（ｎ－１）を介してｎビットの制御ワードのビット値を出力する。メモリ６０２は、各フレームについて、制御ワードを記憶し、セル出力６１０（０）～６１０（ｎ－１）を介して制御ワードをデータ信号Ｄ［０］～Ｄ［ｎ－１］として出力する。

図８は、本開示に記載の技術による、デジタルピクセル制御回路６３０およびアナログピクセル制御回路６５０に接続された、個々のピクセル６１２の例示的なドライバ回路６０８を示す回路図である。例示的なドライバ回路６０８は、電流駆動トランジスタ８０２およびスイッチトランジスタ８０４を含む。この例では、駆動トランジスタ８０２およびスイッチトランジスタ８０４はＰＭＯＳトランジスタである。しかしながら、ドライバ回路６０８は、ＮＭＯＳトランジスタを使用して実装することができ、それに応じて回路素子の配置が調整され、本開示はこの点に関して限定されないことを理解されたい。スイッチトランジスタ８０４の第１の端子は駆動トランジスタ８０２の出力端子に接続され、スイッチトランジスタ８０４の第２の端子は発光ダイオード（ＬＥＤ）８０６に接続されている。いくつかの実施形態では、ＬＥＤ８０６はマイクロＬＥＤである。駆動トランジスタ８０２の入力端子は、供給信号バイアス（例えば、電圧源、Ｖｄｄ）とアナログピクセル制御回路６５０の第１の出力との接続により形成されるノードに接続されている。トランジスタ８０２の制御端子（例えば、ゲート）は、アナログピクセル制御回路６３０の第２の出力に接続されている。スイッチトランジスタ８０４の制御端子（例えば、ゲート）は、デジタルピクセル制御回路６３０から制御信号（ｎＤｒｉｖｅ）を受信する。

図９は、本開示に記載された技術による、デジタルピクセル制御回路６３０、ドライバ回路６０８、およびアナログピクセル制御回路６５０の例示的な実装形態を含む例示的なピクセル６１２を示す回路図である。例示的なアナログピクセル制御回路６５０は、蓄積キャパシタ９５４およびトランジスタ９５２を含む。この例では、トランジスタ９５２はＰＭＯＳトランジスタである。しかしながら、アナログピクセル制御回路６５０は、ＮＭＯＳトランジスタを使用して実装されてもよく、それに応じて回路素子の配置が調整され、本開示はこの点に関して限定されないことを理解されたい。蓄積キャパシタ９５４は、トランジスタ９５２の出力端子とドライバ回路６０８の駆動トランジスタ８０２の制御端子との間の接続によって形成される第１のノード９５６に接続された入力端子を含む。蓄積キャパシタ９５４は、ドライバ回路６０８の駆動トランジスタ８０２の入力端子と電圧源（Ｖｄｄ）との間の接続によって形成される第２のノード９５８に接続された出力端子をさらに含む。換言すれば、蓄積キャパシタ９５４は、蓄積キャパシタ９５４に蓄積される電圧が電流駆動トランジスタ８０２を流れる電流量を制御し得るように、電流駆動トランジスタ８０２の入力端子と制御端子との間に接続されている。

アナログピクセル制御回路６５０は、行ドライバ６１４からのスキャン信号およびアナログ列ドライバ６４６からのデータ信号（図６参照）の２つの入力を受信するように接続されている。トランジスタ９５２は、スキャン信号を受信するように接続された制御端子（例えば、ゲート）と、データ入力信号を受信するように接続された入力端子とを含む。ピクセル６１２がスキャン信号入力によって選択されると、アナログピクセル制御回路６５０は、ピクセルの所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットに基づいてピクセルのアナログ制御電圧（図９の「データ」）を受信する。トランジスタ９５２がオンにされ、フレームのピクセル強度に対応するアナログ制御電圧に基づいて蓄積キャパシタ９５４を所望の駆動電圧に充電する。駆動電圧は、デジタルピクセル制御回路６３０によって提供されるｎビットの強度制御と組み合わせて、ｎ＋ｍ個の制御ワードによって示される階調強度をもたらす電流レベルでＬＥＤを駆動するために必要な電圧である。キャパシタが充電され、デジタルピクセル制御回路６３０によって提供されるｎＤｒｉｖｅ信号がスイッチトランジスタ８０４をオンにすると、トランジスタ８０２は蓄積キャパシタ９５４に蓄積された電圧によってバイアスされる。キャパシタ９５４に蓄積されたこのバイアス電圧は、トランジスタ８０２によって、トランジスタ８０４を通って最終的にＬＥＤ８０６に供給される電流レベルを制御する。このように、アナログピクセル制御回路６５０は、蓄積キャパシタ９５４に蓄積される電圧を制御することにより、ピクセル６１２のＬＥＤ８０６に供給される電流の量またはレベルを制御する。

図１０Ａは、デジタルピクセル制御回路６３０のデジタルプログラミング段階を示す図であり、図１０Ｂは、アナログピクセル制御回路６５０のアナログプログラミング段階を示す図である。図１０Ａおよび図１０Ｂに示すデジタルプログラミング段階およびアナログプログラミング段階は、互いに完全に独立しており、図１０Ａおよび図１０Ｂは、デジタルプログラミング段階およびアナログプログラミング段階間のタイミング関係を伝達することを意図していないことを理解されたい。代わりに、デジタルプログラミング段階およびアナログプログラミング段階のタイミングは、本明細書でさらに説明するように、システムの設計上の考慮事項に基づいて選択され得る。

デジタルプログラミング段階（図１０Ａ）は、書き込みまたはワード線（ＷＬ（ｎ））信号によって制御される。ＷＬ信号がイネーブルされる（この例ではハイになる）と、そのビットロケーションに対応するデジタルピクセル制御回路６３０のメモリセルがプログラムされる。図１０ａのｎ＝３ビットの例では、第１のメモリセル（図７のセル９０２（０）など）は、第１のＷＬ（ｎ）イネーブル時間窓の間、ビット_ｎ信号の値でプログラムされ、第２のメモリセル（図７のメモリセル９０２（１）など）は、第２のＷＬ（ｎ）イネーブル時間窓の間、ビット_ｎ信号の値でプログラムされ、第３のメモリセル（図７のメモリセル９０２（２）など）は、第３のＷＬ（ｎ）イネーブル時間窓の間、ビット_ｎ信号の値でプログラムされる。

アナログプログラミング段階（図１０Ｂ）は、デジタルプログラミング段階と独立しており、スキャン信号によって制御される。スキャン信号がアクティブである（この例ではローになる）と、アナログピクセル制御回路６５０がイネーブルされ、ｍビットのアナログ強度に対応する２^ｍ個の異なる電圧レベルのうちの１つを有するアナログ電圧がアナログピクセル制御回路６５０の蓄積キャパシタ（例えば、Ｃ１）に蓄積される。アナログプログラミング段階の長さ（スキャン信号がアクティブである時間）は、蓄積されるアナログ電圧のサイズおよびアナログピクセル制御回路６５０内の蓄積キャパシタのキャパシタンスに依存する。一般に、アナログプログラミング段階の長さは、アナログ強度のｍビットによって定義される最高電圧レベル（２^ｍ）までキャパシタを充電するのに十分でなければならない。

デジタルプログラミング段階とアナログプログラミング段階の両方について、デジタルピクセル制御回路に記憶されたデータの破損および／またはアナログピクセル制御回路に記憶されている誤った電圧を防止するために、ビット_ｎ線およびデータ線は、対応するプログラムウィンドウが終了するまで、すなわち、この例ではＷＬ（ｎ）信号がローになるか、またはスキャン信号がハイになるまで変化することができない。

上述したように、図１０Ａに示すデジタルピクセル制御回路６５０のデジタルプログラミング段階と、図１０Ｂに示すアナログピクセル制御回路６３０のアナログプログラミング段階とは、互いに独立している。ユーザは、１つまたは複数の要因に応じて、デジタルプログラミング段階とアナログプログラミング段階との間の好適なタイミング関係を決定し得る。

例えば、アナログピクセル制御回路６５０が不均一性補償に使用される場合、アナログプログラミング段階（図１０Ｂ）は、フレームのデジタルプログラミング段階（図１０Ａ）の前に発生するように選択されてもよい。このような例では、キャリブレーション時の測定により、キャパシタにプログラム（充電）されるアナログ電圧が固定される。したがって、不均一性補償の例では、各フレームについて、ピクセルごとにキャパシタを充電するレベルが同じである。さらに、補償電圧およびキャパシタのサイズに応じて、キャパシタをフレームごとに充電する必要がないようにキャパシタが選択され得る。むしろ、キャパシタは、１フレームおきに、またはあらかじめ選択された数のフレームごとに充電されてもよい。キャパシタの充電のタイミングは、フレーム中のデッドタイムに重なるように充電してもよい。

別の例では、２^ｍの可能な電圧レベルに対応するｍ個の追加ビットの階調強度制御を提供するためにアナログピクセル制御回路６５０が使用される場合、デジタルプログラミング段階（図１０Ａ）は、フレームのアナログプログラミング段階（図１０Ｂ）の前に開始するように選択されてもよい。このような例では、キャパシタにプログラム（充電）されるアナログ電圧が各フレームについて異なり得るため、フレームごとにキャパシタを充電する必要がある。アナログプログラミング段階は、キャパシタの充電がデジタルプログラミング段階と重なり得るように、デジタルプログラミング段階の開始後に開始し得る。この例では、キャパシタの充電がデジタルプログラミング段階と重なるため、全体的なプログラミング段階（デジタル＋アナログ）はより短い。また、フレームの開始および終了はデジタル制御回路によって完全に制御されるため、フレームのタイミングは一般に、より正確で信頼性が高い。

いくつかの例では、行ドライバ６１４（図６参照）によって生成され、デジタルピクセル制御回路６３０およびアナログピクセル制御回路６５０によってそれぞれ受信されるＷＬ（ｎ）およびスキャン信号は、同じ信号のみを使用して実装されてもよい。例えば、ＷＬ（ｎ）信号は、別々のスキャン信号の代わりにアナログピクセル制御回路６３０に送られてもよい。これは、アナログピクセル制御回路６５０がｍ個の追加ビットの階調強度制御を提供するために使用され、アナログプログラミング段階が同時に開始し、デジタルプログラミング段階と重なる場合に有用であり得る。この例では、ＷＬ（ｎ）信号のタイミングは、アナログピクセル制御回路のキャパシタをｍビットのアナログ強度に対応する電圧に充電するのに十分な時間があるように設計される。図１０の例では、例えば、ＷＬ（ｎ）信号が非アクティブ（低）である合計時間は、キャパシタをｍビットのアナログ強度に対応する電圧に充電するのに十分であるように設計される。

図１１Ａは、本開示に記載の技術による、ディスプレイデバイスのピクセルのデジタルＰＷＭ制御のための例示的なプロセス（１１００）を示すフローチャートである。例示的なプロセス（１１００）は、ピクセル内の発光素子に駆動電流が供給されるフレームのサブフレーム数を制御し、したがって、ピクセル６１２が発光するフレーム内のサブフレーム数を制御するために、デジタルピクセル制御回路６３０によって実行されてもよい。このプロセス（１１００）は、より少ないまたは追加のステップを有してもよく、ステップは、異なる順序でまたは並行して実行されてもよい。

デジタルピクセル制御回路６３０は、フレームについてのピクセルの強度レベルに対応するｎ＋ｍビットの制御ワードのｎ個のデータビット値を受信する（１１０２）。デジタルピクセル制御回路６３０は、ｎ個のデータビット値に基づいてフレームの各サブフレーム中にピクセル内の各発光素子を制御する（１１０４）。例えば、ｎ個のデータビット値は、ピクセル内の発光素子に駆動電流が供給されるフレームのサブフレーム数を決定する。そして、デジタルピクセル制御回路６３０は、次の連続フレーム（１１０６）の処理を繰り返す。

図１２Ａは、本開示に記載された技術に従って、デジタルピクセル制御回路６３０によって生成され得るｎＤｒｉｖｅ信号の例示的な値（１２１０）の表であり、ｎ＝３である。第１のデジタル強度レベル（０００）では、第１のサブフレーム（サブフレーム０）の間、ｎＤｒｉｖｅ信号はハイであり、その結果、フレームのすべてのサブフレームについてピクセルがオフになる（換言すれば、ｎＤｒｉｖｅ信号は、フレームのすべてのサブフレームについてハイレベルである）。第２のデジタル強度レベル（００１）では、ｎＤｒｉｖｅ信号は、第１のサブフレーム（サブフレーム０）の間はローであり、その後、第２のサブフレームでハイになり、これは、ピクセルが第１のサブフレームのみについてオンになり（すなわち、ピクセル内の発光素子に駆動電流が供給され）、フレームの残りのすべてのサブフレームについてオフになることを意味する。同様の結果が、フレームの最後のサブフレーム（サブフレーム７）を除くすべてのサブフレームについてピクセルがオンにされる最高デジタル強度レベル（１１１）に達するまで、連続する各デジタル強度レベルについて発生する。

図１１Ｂは、本開示に記載された技術による、ディスプレイデバイスのピクセルへ供給される電流レベルのアナログ制御のための例示的なプロセス（１１５０）を示すフローチャートである。例示的なプロセス（１１５０）は、ディスプレイデバイスのピクセルに供給される電流量を制御するためにアナログピクセル制御回路６５０によって実行されてもよい。このプロセス（１１５０）は、より少ないまたは追加のステップを有してもよく、ステップは、異なる順序でまたは並行して実行されてもよい。

フレームの始めに、アナログピクセル制御回路６５０は、ピクセルの所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットに基づいてピクセルのアナログ制御電圧を受信する（１１５２）。アナログピクセル制御回路は、アナログ制御電圧に基づいて蓄積キャパシタを駆動電圧に充電する（１１５４）。駆動電圧は、ｎ＋ｍ個の制御ワードのｍビットによって示される強度をもたらす電流レベルでＬＥＤを駆動するのに必要な電圧である。キャパシタが充電されると、アナログピクセル制御回路６５０は、キャパシタに蓄積された駆動電圧に基づいて、フレーム中にピクセルのＬＥＤに供給される駆動電流のレベルを制御する（１１５６）。そして、アナログピクセル制御回路６５０は、次の連続フレーム（１１５８）の処理を繰り返す。

図１１Ｃは、本開示に記載の技術による、ピクセルに供給される電流レベルのアナログ制御と組み合わせた、ディスプレイデバイスのピクセルのデジタルＰＷＭ制御のための例示的なプロセス（１１８０）を示すフローチャートである。

例示的なプロセス（１１８０）は、ピクセル（すなわち、ピクセルがオンにされるサブフレーム数）に駆動電流が供給されるフレームのサブフレーム数を制御し、フレーム中にピクセルに供給される駆動電流の量またはレベルを制御するために、デジタルピクセル制御回路６３０およびアナログピクセル制御回路６５０によって実行されてもよい。プロセス（１１８０）は、より少ないまたは追加のステップを有してもよく、ステップは、異なる順序でまたは並行して実行されてもよい。

デジタルピクセル制御回路６３０は、フレームのピクセルの強度レベルに対応するｎ＋ｍビットの制御ワードのｎビットに基づいて、フレームのサブフレーム数分、ディスプレイデバイスの各ピクセルを駆動する（１１８２）。アナログピクセル制御回路６５０は、フレームのピクセルの強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットに基づいて、ディスプレイデバイスの各ピクセルを電流レベルで駆動する（１１８４）。駆動電流は、フレームのすべてのサブフレームについてピクセルに供給される。次いで、プロセス（１１８０）は、次の連続フレーム（１１８６）について繰り返す。

図１２Ｂは、ｎ＋ｍビット制御ワードの例示的な総強度ビット値を示す表１２２０を示し、ｎ＝３およびｍ＝２である。ｎビットまたは３ビットのデジタル強度値は、表１２２０の最初の列に示されている。ｍビットまたは２ビットのアナログ強度値は、表１２２０の最初の行に示されている。この例では、強度値の総数は、表に示すように、２^ｎ＋ｍ＝２^５＝３２個の可能な強度値である。この例では、ｎ＋ｍビットの制御ワードの最上位ビットとしてｎ個のデジタル強度ビットが割り当てられ、ｎ＋ｍビットの制御ワードの最下位ビットとしてｍ個のアナログ強度ビットが割り当てられた。しかしながら、最上位ビットと最下位ビットとは異なるように割り当てることができ、本開示はこの点に関して限定されないことを理解されたい。例えば、他の例では、ｎ個のデジタル強度ビットはｎ＋ｍビットの制御ワードの最下位ビットとして割り当てられてもよく、ｍ個のアナログ強度ビットはｎ＋ｍビットの制御ワードの最上位ビットとして割り当てられてもよい。

図１３は、本開示に記載された技術による、アナログピクセル制御回路６５０を使用するディスプレイデバイスにおける輝度均一性補償のためのプロセス（１３００）を示すフローチャートである。プロセス（１３００）は、より少ないまたは追加のステップを有してもよく、ステップは、異なる順序でまたは並行して実行されてもよい。

フレームの始めに、アナログピクセル制御回路６５０は、ピクセルのｍビットの不均一性補正値に対応する不均一性補正電圧を受信する（１３０２）。ｍビット不均一性補正値は、製造時のキャリブレーション中に、および／またはディスプレイデバイスの寿命中の任意の他の時点で決定されてもよい。アナログピクセル制御回路６５０は、ｍビットの不均一性補正値に基づいて、ピクセルに関連する蓄積キャパシタを不均一性補正電圧に充電する（１３０４）。アナログピクセル制御回路６５０は、蓄積キャパシタに蓄積された不均一性補正電圧に基づいて、フレーム中にピクセルに供給される駆動電流のレベルを制御する（１３０６）。フレームの終了時に、アナログピクセル制御回路６５０は、次の連続フレーム（１３０８）の処理を繰り返してもよい。しかしながら、不均一性補正のために、ピクセルごとの不均一性補正電圧は、必ずしも各フレームで変化するとは限らない。むしろ、特定のピクセルのｍビット不均一性補正値が決定されると、各フレーム中に同じ不均一性補正値が使用されて、ピクセルに関連付けられた蓄積キャパシタに蓄積された不均一性補正電圧の値が決定される。換言すれば、各ピクセルの不均一性補正値は、ディスプレイが再度キャリブレーションされるまで、各フレームで一定のままである。各ピクセルは、ディスプレイ内の他のピクセルと同じまたは異なる不均一性補正値を有してもよい。

輝度調整のための不均一性キャリブレーションは、様々な時点で実行することができる。一例では、キャリブレーションは、製造工程中に実行されてもよい。光学系を使用して各ピクセルの相対輝度を測定してもよく、または回路測定系を使用して各ピクセルのＬＥＤの駆動電流を測定してもよい。色の各セットは、測定された不均一性値のそれ自体のセットを有してもよい。各ピクセルについて測定された不均一性値に基づいて、ｍビットの不均一性補正値をピクセルごとに生成して、ディスプレイの輝度均一性を改善し得る。次いで、各ピクセルのｍビットの不均一性補正値を使用して、ピクセルに関連付けられた蓄積キャパシタの不均一性補正電圧を生成し得、これを使用してピクセルへの好適な駆動電流を生成する。別の例では、代替的または追加的に、キャリブレーションは、ＬＥＤ性能が低下するにつれて、ディスプレイデバイスの寿命の間の１つまたは複数の時間など、何らかの他の時間に実行されてもよい。

本明細書で様々な例により説明したように、本開示の技法は、人工現実システムを含むか、人工現実システムと相まって実施され得る。説明したように、人工現実は、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生形態を挙げることができる、ユーザに提示する前にある程度調整された現実形態である。人工現実コンテンツには、完全に生成されたコンテンツ、または捕捉されたコンテンツと組み合わせて生成されたコンテンツ（例えば、実世界の写真または映像）が含まれ得る。人工現実コンテンツは、映像、音声、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも単一チャネルまたは多重チャネル（視聴者に３次元効果を生じるステレオ映像など）で提示することができる。さらに、いくつかの例では、人工現実は、例えば、人工現実においてコンテンツを作成するのに使用されるかつ／または人工現実において（例えば、活動するのに）使用される、アプリケーション、製品、付属品、サービス、またはそれらの何らかの組合せに関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されているＨＭＤ、スタンドアロンのＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または１人もしくは複数の視聴者に人工現実コンテンツを提供することが可能な任意のその他のハードウェアプラットフォームを含む、様々なプラットフォーム上で実施されることが可能である。

本開示に記載の技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せにおいて少なくとも部分的に具体化されてもよい。例えば、記載の技法の様々な態様が、１つまたは複数のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の同等の如何なる集積論理回路もしくはディスクリート論理回路でも、さらにこのようなコンポーネントの如何なる組合せでも含む、１つまたは複数のプロセッサ内に具体化されてもよい。「プロセッサ」または「プロセッサ回路」という用語は、通常、これまで述べた論理回路、単独もしくは他の論理回路との組合せ、または他の如何なる同等の回路のことを言うことができる。ハードウェアで構成された制御ユニットも本開示の技法のうちの１つまたは複数を行うことができる。

このようなハードウェア、ソフトウェア、およびファームウェアは、同じデバイス内に具体化されることも、別々のデバイス内に具体化されることもあり、本開示に記載の様々な動作および機能に対応することができる。さらに、記載のユニット、モジュール、またはコンポーネントのいずれも、ディスクリートであるが相互運用可能な論理デバイスとして一緒にでも、別々にでも具体化されていてもよい。モジュールまたはユニットとしての様々な特徴の描写は、様々な機能上の側面を浮き彫りにすることを意図しており、このようなモジュールまたはユニットが別々のハードウェア構成要素またはソフトウェア構成要素によって実現されなければならないことを必ずしも暗に示してはいない。そうではなく、１つまたは複数のモジュールもしくはユニットに対応している機能が、別々のハードウェア構成要素によっても、ソフトウェア構成要素によっても果たされてもよく、共通でも別々でもハードウェア構成要素またはソフトウェア構成要素内に組み組まれていてもよい。

本開示に記載の技法は、命令が入っているコンピュータ可読記憶媒体などのコンピュータ可読媒体に具体化されていても符号化されていてもよい。コンピュータ可読記憶媒体に埋め込まれたまたは符号化された命令は、例えば、命令が実行されると、プログラマブルプロセッサなどのプロセッサに、方法を行わせることができる。コンピュータ可読記憶媒体としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピィディスク、カセット、磁気媒体、光媒体などのコンピュータ可読媒体を挙げることができる。

Claims (20)

1. 人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイ（ＨＭＤ）を備え、前記ＨＭＤが、複数のピクセルを含む少なくとも１つのディスプレイデバイスを含み、前記複数のピクセルの各々が、
   発光素子と、
   前記発光素子に駆動電流が供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成するデジタルピクセル制御回路と、
   前記フレームの前記発光素子に供給される前記駆動電流のレベルを制御するアナログピクセル制御回路と
   を含む、人工現実システム。
2. 前記アナログピクセル制御回路が、前記フレームの前記ピクセルの前記所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットに基づいて、前記フレーム中に前記発光素子に供給される前記駆動電流のレベルを制御する、請求項１に記載の人工現実システム。
3. 前記アナログピクセル制御回路が、
   前記フレームの前記所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｍビットに対応する駆動電圧に充電されるように構成された蓄積キャパシタであって、前記駆動電圧が、前記フレーム中に前記発光素子に供給される前記駆動電流のレベルを制御する、蓄積キャパシタ
   を備える、請求項１または２に記載の人工現実システム。
4. ピクセルドライバ回路をさらに備え、前記ピクセルドライバ回路が、
   前記ＰＷＭ出力信号を受信するように接続された第１の制御端子、第１の入力端子、および前記発光素子に前記駆動電流が供給されるように接続された第１の出力端子を有する第１のトランジスタと、
   前記第１のトランジスタの前記第１の入力端子に接続された第２の出力端子、電圧源と前記蓄積キャパシタの前記出力端子との間の接続によって形成されるノードに接続された第２の入力端子、および前記蓄積キャパシタの入力端子に接続された第２の制御端子を有する第２のトランジスタと
   を含む、請求項３に記載の人工現実システム。
5. 前記アナログピクセル制御回路が、
   スキャン信号を受信するように接続された第３の制御端子と、前記蓄積キャパシタの前記入力端子と前記第２のトランジスタの前記第２の制御端子との間の接続によって形成されるノードに接続された出力端子と、前記フレームの前記ピクセルの前記所望の強度レベルに対応する前記ｎ＋ｍビットの制御ワードのｍビットに対応する制御電圧を受信するように接続された入力端子とを有する第３のトランジスタ
   をさらに備える、請求項４に記載の人工現実システム。
6. 前記第１のトランジスタおよび前記第２のトランジスタが同じ型である、請求項４または５に記載の人工現実システム。
7. 前記第１のトランジスタおよび前記第２のトランジスタがｐ型トランジスタである、請求項４から６のいずれか一項に記載の人工現実システム。
8. 前記デジタルピクセル制御回路が、前記フレームの前記ピクセルの前記所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｎビットに基づいて、前記駆動電流が前記発光素子に提供される前記フレームのサブフレーム数を制御する前記パルス幅変調（ＰＷＭ）出力信号を生成する、請求項１から７のいずれか一項に記載の人工現実システム。
9. 前記アナログピクセル制御回路が、前記フレームの前記ピクセルの前記所望の強度レベルに対応する前記ｎ＋ｍビットの制御ワードのｍビットに基づいて、前記フレーム中に前記発光素子に供給される前記駆動電流のレベルを制御する、請求項８に記載の人工現実システム。
10. ｎがｍより大きい、請求項９に記載の人工現実システム。
11. ｎが５から１０の整数であり、ｍが２から５の整数である、請求項９または１０に記載の人工現実システム。
12. 前記ｎ＋ｍビットの制御ワードによって定義される強度レベルの数が２^ｎ＋ｍである、請求項９から１１のいずれか一項に記載の人工現実システム。
13. ｎビットが前記ｎ＋ｍビットの制御ワードの最上位ビットであり、ｍビットが前記ｎ＋ｍビットの制御ワードの最下位ビットである、請求項９から１２のいずれか一項に記載の人工現実システム。
14. 前記デジタルピクセル制御回路が、前記ｎ＋ｍビット制御ワードのｎビットを記憶するように構成されたｎ個の１ビットメモリセルを含む、請求項８から１３のいずれか一項に記載の人工現実システム。
15. 前記ｎ個の１ビットメモリセルの各々が、１ビットのスタティックランダムアクセスメモリ（ＳＲＡＭ）セルである、請求項１４に記載の人工現実システム。
16. 前記デジタルピクセル制御回路が、前記フレームの前記ピクセルの前記所望の強度レベルに対応するｎビットの制御ワードに基づいて、前記発光素子に前記駆動電流が供給される前記フレームのサブフレーム数を制御する前記パルス幅変調（ＰＷＭ）出力信号を生成し、
    前記アナログピクセル制御回路が、前記ピクセルの不均一性補償値に対応するｍビットの制御ワードに基づいて、前記フレーム中に前記発光素子に供給される駆動電流のレベルを制御する、
    請求項１に記載の人工現実システム。
17. 複数のピクセルを備え、前記複数のピクセルの各々が、
    発光素子と、
    前記発光素子に駆動電流が供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成するデジタルピクセル制御回路と、
    前記フレーム中に前記発光素子に供給される前記駆動電流のレベルを制御するアナログピクセル制御回路と
    を含む、ディスプレイデバイス。
18. 前記デジタルピクセル制御回路によって生成された前記ＰＷＭ出力信号が、前記フレームの前記ピクセルの所望の強度レベルに対応するｎ＋ｍビットの制御ワードのｎビットを含み、
    前記アナログピクセル制御回路によって制御される前記駆動電流の前記レベルが、前記フレームの前記ピクセルの前記所望の強度レベルに対応する前記ｎ＋ｍビットの制御ワードのｍビットを含む、
    請求項１７に記載のディスプレイデバイス。
19. 前記デジタルピクセル制御回路によって生成された前記ＰＷＭ出力信号が、前記フレームの前記ピクセルの所望の強度レベルに対応するｎビットの制御ワードを含み、
    前記アナログピクセル制御回路によって制御される前記駆動電流のレベルが、前記ピクセルの不均一性補償値に対応するｍビットの制御ワードを含む、
    請求項１７に記載のディスプレイデバイス。
20. デジタルピクセル制御回路を使用して、駆動電流がディスプレイデバイスのピクセルの発光素子に供給されるフレームのサブフレーム数を制御するパルス幅変調（ＰＷＭ）出力信号を生成することと、
    アナログピクセル制御回路を使用して、前記フレーム中に前記発光素子に供給される前記駆動電流のレベルを制御することと
    を含む、方法。

Images