JP7247336B2 - ディスプレイ処理回路網 - Google Patents

Description

（関連出願の相互参照）
特許のための本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、「ＤＩＳＰＬＡＹ ＰＲＯＣＥＳＳＩＮＧ ＣＩＲＣＵＩＴＲＹ」と題された、２０１９年７月２日に出願された、米国非仮出願第１６／４６０，８８０号、および「ＤＩＳＰＬＡＹ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ」と題され、２０１８年７月３日に出願された、米国仮出願第６２／６９３６０７号の優先権を主張する。

本開示の側面は、概して、ディスプレイに関し、より具体的には、ディスプレイ内でコンテンツを処理する、ディスプレイ処理ユニットに関する。

超高解像度ディスプレイ、高ダイナミックレンジ（すなわち、高コントラスト）ディスプレイ、および明視野（すなわち、眼鏡なしの３Ｄ）ディスプレイは、既存のコンテンツの欠如に悩まされる。新規カメラおよびコンピュータ生成コンテンツは、本コンテンツが、将来的に生産されることを可能にし得るが、例えば、解像度をアップサンプリングし、低ダイナミックレンジコンテンツを高ダイナミックレンジコンテンツに変換し、表示のために、深度情報を伴う２次元（２Ｄ）画像または２Ｄ画像を、高解像度、高ダイナミックレンジ、および／または明視野データに変換するために、旧来のコンテンツおよび他のタイプのコンテンツのオフラインかつオンザフライの処理の必要性が存在する。

さらに、既存の規格（例えば、ＨＤＭＩ（登録商標）またはディスプレイポート）によって提供される帯域幅は、中央処理ユニット（ＣＰＵ）またはグラフィック処理ユニット（ＧＰＵ）からのデータをディスプレイ自体に転送するために限定される。新興超高解像度ディスプレイパネル、高ダイナミックレンジディスプレイ、および明視野ディスプレイによって要求される帯域幅は、数桁を上回るデータがＣＰＵまたはＧＰＵとディスプレイとの間で転送されることを要求する。将来的規格または既存の規格の将来的進化は、より多くの帯域幅を可能にし得るが、現在の規格の限界は、データがディスプレイに転送された後、有意な量の画像処理がディスプレイ上で直接実施されることを余儀なくし得る。

いくつかの既存のディスプレイは、単純補間（例えば、線形、三次補間）を実施し、ビデオの空間および時間的解像度を改良し得、それらは、画像をスケーリングし、コントラストまたはダイナミックレンジを改良し得るが、短待ち時間で、低電力消費で、かつ高品質を伴う、より高度な画像およびビデオ処理の必要性が存在する。

スマートＴＶ（例えば、米国特許第５，９０５，５２１号参照）は、統合されたハードウェアを使用して、テレビディスプレイを処理ユニットおよびネットワーク接続に接続する。本技術は、マルチメディアコンテンツのストリーミングが、従来のブロードキャストに随伴することを可能にする。セットトップボックス（例えば、Ａｐｐｌｅ ＴＶ、Ｇｏｏｇｌｅ ＣｈｒｏｍｅＣａｓｔ、Ａｍａｚｏｎ ＦｉｒｅＴＶ）およびゲーム用コンソール（例えば、Ｍｉｃｒｏｓｏｆｔ ＸＢＯＸ（登録商標）、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ、Ｎｉｎｔｅｎｄｏ Ｗｉｉ Ｕ）は、専用中央処理ユニット／グラフィック処理ユニット（ＣＰＵ／ＧＰＵ）を使用して、無線通信、ケーブル、ゲーム、および共通インターフェースを伴うインターネットコンテンツの複数のソースを記録、ストリーミング、およびナビゲートする。しかしながら、これらのシステムの解像度は、依然として、現在のディスプレイプロトコルによって限定され、これらのシステムは、２Ｄ、３次元（３Ｄ）、および明視野コンテンツの処理を提供しない。

新しい規格が、付加的メタデータ、ビット深度、および伝送されるビデオ内のＳＭＰＴＥＳＴ２８０等の拡張伝達関数をエンコーディングすることによって、高ダイナミックレンジコンテンツの伝送およびストリーミングのために開発されている（ＨＤＲ１０、ＨＤＲ１０＋、ハイブリッドログガンマ）。新しいディスプレイにおいてこれらの規格をサポートすることは、新しく生成されたコンテンツのためのダイナミックレンジおよびコントラストを改良し得るが、本規格は、既存の低ダイナミックレンジの旧来のコンテンツを既存の低ダイナミックレンジの旧来のコンテンツに上方変換する必要性に対処しない。

故に、特に、大量のデータが必要とされるとき、異なるタイプのディスプレイ内の異なるタイプのコンテンツの効果的ハンドリングを可能にする、技法およびデバイスが、望ましい。

以下は、１つ以上の側面の簡略化された要約を、そのような側面の基本理解を提供するために提示する。本説明は、全ての検討される側面の広範な概要ではなく、全ての側面の重要または必須要素を識別する、もしくは任意または全ての側面の範囲を明示するように意図されるものでもない。その目的は、後に提示されるさらなる詳細な実施形態の前置きとして、１つ以上の側面のいくつかの概念を簡略化された形成で提示することである。

本開示のある側面では、複数のビューをサポートする、１つ以上のディスプレイであって、ピクセルの１つ以上のアレイと、ピクセルの１つ以上のアレイに結合される、１つ以上のバックプレーンと、１つ以上のバックプレーンに結合される、処理回路網であって、１つ以上のデータストリームを受信し、そこから処理回路網によってサポートされる動作モードを選択することになる、ポリシに基づいて、１つ以上のデータストリームの処理を制御し、各動作モードは、１つ以上のディスプレイ内のピクセルの１つ以上のアレイが特定のビューまたは複数のビューを生成することに寄与すべき、光の光線と、ピクセルの１つ以上のアレイが、動作モードの特定のビューまたは複数のビューを生成するであろう、光の光線に寄与するように、１つ以上のデータストリームを修正するために、処理回路網によって実施されるべきタスクとを定義し、ピクセルの１つ以上のアレイが動作モードの特定のビューまたは複数のビューを生成するであろう光線に寄与するために、１つ以上のバックプレーンの回路構成を通して、修正された１つ以上のデータストリームを表すシグナリングをピクセルの１つ以上のアレイに提供するように構成される、処理回路網とを含む、ディスプレイが、説明される。

本開示の別の側面では、複数のビューをサポートする１つ以上のディスプレイ上のデータストリームを処理するための方法であって、１つ以上のディスプレイの処理回路網上で１つ以上のデータストリームを受信するステップであって、処理回路網は、１つ以上のディスプレイの１つ以上のバックプレーンに結合され、これは、ひいては、１つ以上のディスプレイのピクセルの１つ以上のアレイに結合される、ステップと、処理回路網によって、そこから処理回路網によってサポートされる動作モードを選択することになる、ポリシに基づいて、１つ以上のデータストリームの処理を制御するステップであって、各動作モードは、１つ以上のディスプレイ内のピクセルの１つ以上のアレイが特定のビューまたは複数のビューを生成することに寄与すべき、光の光線と、ピクセルの１つ以上のアレイが、動作モードの特定のビューまたは複数のビューを生成するであろう、光の光線に寄与するように、１つ以上のデータストリームを修正するために処理回路網によって実施されるべき、タスクとを定義する、ステップと、ピクセルの１つ以上のアレイが、動作モードの特定のビューまたは複数のビューを生成するであろう、光線に寄与するために、処理回路網によって、１つ以上のバックプレーンの回路構成を通して、修正された１つ以上のデータストリームを表すシグナリングをピクセルの１つ以上のアレイに提供するステップとを含む、方法が、説明される。

本開示のある側面では、ディスプレイ（ディスプレイ処理回路網またはユニットとも称される）内でコンテンツを処理するための処理回路網は、コンテンツをソースから受信するように構成される、入力コンポーネントと、１つ以上のニューラルネットワークを実装および実行し、ディスプレイによる提示のためにコンテンツを修正する、タスクのセットを実施するように構成される、処理コンポーネントであって、１つ以上のニューラルネットワークは、ディスプレイのメモリ内に記憶される複数の加重を使用して実装される、処理コンポーネントと、修正されたコンテンツをディスプレイ内の個別のパネルに提供するように構成される、出力コンポーネントとを含む。

本開示のある側面では、処理回路網がディスプレイ（例えば、ディスプレイ処理回路網またはユニット）内のコンテンツを処理するための方法は、処理ユニットの入力コンポーネントにおいて、コンテンツをソースから受信するステップと、処理ユニットの処理コンポーネントにおいて、１つ以上のニューラルネットワークを実装するステップであって、１つ以上のニューラルネットワークは、ディスプレイのメモリ内に記憶される複数の加重を使用して実装される、ステップと、１つ以上のニューラルネットワークを実行することによって、ディスプレイによる提示のためのコンテンツを修正する、タスクのセットを実施するステップと、処理ユニットの出力コンポーネントによって、修正されたコンテンツをディスプレイ内の個別のパネルに提供するステップとを含む。
本発明は、例えば、以下を提供する。
（項目１）
複数のビューをサポートする１つ以上のディスプレイであって、
ピクセルの１つ以上のアレイと、
前記ピクセルの１つ以上のアレイに結合される１つ以上のバックプレーンと、
前記１つ以上のバックプレーンに結合される処理回路網であって、前記処理回路網は、
１つ以上のデータストリームを受信することと、
ポリシに基づいて、前記１つ以上のデータストリームの処理を制御することであって、前記ポリシから、前記処理回路網によってサポートされる動作モードを選択することになり、各動作モードは、前記１つ以上のディスプレイ内の前記ピクセルの１つ以上のアレイが特定のビューまたは複数のビューを生成することに寄与すべき光の光線と、前記動作モードの前記特定のビューまたは複数のビューを生成する前記光の光線に前記ピクセルの１つ以上のアレイが寄与するように、前記１つ以上のデータストリームを修正するために、前記処理回路網によって実施されるべきタスクとを定義する、ことと、
前記動作モードの前記特定のビューまたは複数のビューを生成する前記光線に前記ピクセルの１つ以上のアレイが寄与するために、前記１つ以上のバックプレーンの回路構成を通して、前記修正された１つ以上のデータストリームを表すシグナリングを前記ピクセルの１つ以上のアレイに提供することと
を行うように構成される、処理回路網と
を備える、１つ以上のディスプレイ。
（項目２）
前記処理回路網は、１つ以上の動作モードをサポートする、項目１に記載の１つ以上のディスプレイ。
（項目３）
前記１つ以上の動作モードは、
単一ビューが前記１つ以上のディスプレイの全ての視認者のために生成される第１の動作モード、
異なるビューが前記１つ以上のディスプレイの視認者毎に生成される第２の動作モード、
複数のビューが前記１つ以上のディスプレイの１人以上の視認者毎に生成される第３の動作モード、
１つ以上のビューが前記１つ以上のディスプレイの１人以上の視認者毎に生成される第４の動作モード、または
単一ビューが前記１つ以上のディスプレイの１人以上の視認者のために生成され、１つ以上のビューが前記１つ以上のディスプレイの残りの視認者毎に生成される第５の動作モード
のうちの１つ以上のものを含む、項目２に記載の１つ以上のディスプレイ。
（項目４）
前記１つ以上のバックプレーンの回路構成は、前記修正された１つ以上のデータストリームと関連付けられるシグナリングを前記ピクセルの１つ以上のアレイの規定された部分に分散させるように構成される論理配列である、項目１に記載の１つ以上のディスプレイ。
（項目５）
前記処理回路網の少なくとも一部のアーキテクチャは、
ニューラルネットワークアーキテクチャ、
固定関数論理信号処理アーキテクチャ、または
プログラマブルパイプラインアーキテクチャ
を含む、項目１に記載の１つ以上のディスプレイ。
（項目６）
前記ニューラルネットワークアーキテクチャは、入力データの１つ以上のストリームを出力データの１つ以上のストリームに処理するアルゴリズムを実施するように構成され、前記アルゴリズムが実施する算出は、訓練プロセスにおいて学習されており、前記訓練プロセスは、前記入力データの処理に先立って実施されている、項目５に記載の１つ以上のディスプレイ。
（項目７）
前記訓練プロセスは、前記アルゴリズムのネットワーク構成を前記処理回路網に転送することに先立って、前記１つ以上のディスプレイと異なるシステム内で実施される、項目６に記載の１つ以上のディスプレイ。
（項目８）
前記訓練プロセスは、前記１つ以上のディスプレイの前記処理回路網内で実施される、項目６に記載の１つ以上のディスプレイ。
（項目９）
前記訓練プロセスは、前記アルゴリズムのネットワーク構成を前記処理回路網に転送することに先立って、前記１つ以上のディスプレイと異なるシステム内で最初に実施され、続いて、前記１つ以上のデータストリームからの新しいデータが処理されるにつれて、前記１つ以上のディスプレイの前記処理回路網内で実施される、項目６に記載の１つ以上のディスプレイ。
（項目１０）
前記訓練プロセスにおける学習は、１つ以上のコストまたは目的関数の最適化を含む、項目６に記載の１つ以上のディスプレイ。
（項目１１）
前記アルゴリズムが実施する算出は、１つ以上のネットワークを使用して実装され、前記１つ以上のネットワークは、１つ以上の算出ユニットを備え、前記１つ以上の算出ユニットの機能は、１つ以上の数によって規定され、前記１つ以上のコストまたは目的関数は、これらの１つ以上の数を変動させることによって最適化される、項目１０に記載の１つ以上のディスプレイ。
（項目１２）
前記１つ以上のコストまたは目的関数は、勾配降下法ベースの最適化を数値的に適用することによって最適化される、項目１０に記載の１つ以上のディスプレイ。
（項目１３）
前記訓練プロセスは、入力データアイテムおよび出力データアイテムの対から成る訓練セットを提供することから成り、前記算出は、前記対の入力アイテムが前記算出への入力として提供されるとき、前記対の出力アイテムに実質的に類似する出力を生産するように最適化される、項目６に記載の１つ以上のディスプレイ。
（項目１４）
前記対の出力アイテムに実質的に類似する出力は、ユークリッド距離を含む、任意の１つの少なくとも１つの距離メトリックを使用する短離間距離を示す、項目１３に記載の１つ以上のディスプレイ。
（項目１５）
前記訓練プロセスは、入力データアイテムから成る訓練セットを提供することから成り、前記アルゴリズムが実施する算出は、１つ以上のネットワークを使用して実装され、
前記１つ以上のネットワークは、前記訓練プロセスに応答して、前記入力データアイテムを実質的に再現するように最適化される、項目６に記載の１つ以上のディスプレイ。
（項目１６）
前記入力データアイテムは、修正され、前記１つ以上のネットワークは、前記修正を除去し、前記未修正入力データアイテムを再現するように最適化される、項目１５に記載の１つ以上のディスプレイ。
（項目１７）
前記修正は、雑音を前記入力データアイテムに追加すること、歪曲を前記入力データアイテムに追加すること、前記入力データアイテム内の画像の一部を除去またはマスクすることのうちの１つ以上のものを含む、項目１６に記載の１つ以上のディスプレイ。
（項目１８）
前記訓練プロセスは、訓練セットを提供することから成り、前記訓練セットは、入力アイテムのみを含有するサンプルと、前記入力アイテムおよび所望の出力アイテムの両方を含有するサンプルとのハイブリッドであり、
前記アルゴリズムが実施する算出は、１つ以上のネットワークを使用して実装され、
前記１つ以上のネットワークは、出力アイテム対を有していないサンプルのための未修正入力アイテムを再現し、所望の出力アイテムを有するサンプルのための所望の出力アイテムを生産するように最適化される、項目６に記載の１つ以上のディスプレイ。
（項目１９）
前記アルゴリズムが実施する算出は、少なくとも２つのネットワークを使用して実装され、
前記２つのネットワークは、ともに訓練され、一方のネットワークは、訓練セットからのサンプルに類似するサンプルを生成するように訓練され、他方のネットワークは、前記サンプルが、前記訓練セットからのものであるかまたは前記他方のネットワークによって生成されたものであるかどうかを判定するように訓練される、項目６に記載の１つ以上のディスプレイ。
（項目２０）
前記アルゴリズムが実施する算出は、１つ以上のネットワークを使用して実装され、
前記１つ以上のネットワークは、前記１つ以上のネットワークによって生産された出力のシーケンスにわたって全体的コストまたは目的関数を最適化するように訓練される、項目６に記載の１つ以上のディスプレイ。
（項目２１）
前記アルゴリズムが実施する算出は、１つ以上のネットワークを使用して実装され、
前記１つ以上のネットワークは、数の集合である前記１つ以上のデータストリームによって提供される入力を、前記１つ以上のネットワークの１つ以上の相互接続層に、最終的に、前記１つ以上のネットワークの出力層に接続する、項目６に記載の１つ以上のディスプレイ。
（項目２２）
前記アルゴリズムが実施する算出は、１つ以上のネットワークを使用して実装され、
前記１つ以上のネットワーク内の層への入力は、前記１つ以上のネットワーク内の前の層、前記１つ以上のネットワーク内のさらに前の層へのスキップまたは残差接続、前記１つ以上のネットワーク内の後の層からのフィードバック接続、または、前記１つ以上のネットワーク内の任意の層の履歴値への再帰接続から生じることが可能である、項目６に記載の１つ以上のディスプレイ。
（項目２３）
各入力は、随意に、数値加重によって乗算される、項目２２に記載の１つ以上のディスプレイ。
（項目２４）
随意に加重された入力の和は、前記１つ以上のネットワークの非線形活性化層に渡され、前記非線形活性化層は、シグモイド関数、ｔａｎｈ関数、正規化線形ユニット（ＲｅＬＵ）、または、漏洩正規化線形ユニット（漏洩ＲｅＬＵ）のうちの１つを提供する、項目２３に記載の１つ以上のディスプレイ。
（項目２５）
前記アルゴリズムが実施する算出は、１つ以上のネットワークを使用して実装され、
前記１つ以上のネットワークは、いくつかの値を単一値に組み合わせる随意のプーリング層を含む、項目６に記載の１つ以上のディスプレイ。
（項目２６）
前記単一値へのいくつかの値の組み合わせは、入力の最大値または最小値を求めることによって、前記入力を総和することによって、または、前記入力を平均することによって行われる、項目２５に記載の１つ以上のディスプレイ。
（項目２７）
前記アルゴリズムが実施する算出は、１つ以上のネットワークを使用して実装され、
前記１つ以上のネットワークは、１つ以上の出力を層に含み、各出力は、その独自のセットの加重、非線形性、およびプーリングを有する、項目６に記載の１つ以上のディスプレイ。
（項目２８）
前記アルゴリズムが実施する算出は、前記処理回路網によって実施されるべき複数のタスクの同時処理を含み、各タスクの出力は、一意の出力データストリームによって表される、項目６に記載の１つ以上のディスプレイ。
（項目２９）
前記アルゴリズムが実施する算出は、１つ以上のネットワークを使用して実装され、前記１つ以上のネットワークは、複数のタスクによって共有される層と、タスク間で共有されないタスク特有の層とを含む、項目２８に記載の１つ以上のディスプレイ。
（項目３０）
前記複数のタスクの同時処理は、前記１つ以上のデータストリームからの複数の入力データストリームを複数の出力データストリームに処理することを含む、項目２８に記載の１つ以上のディスプレイ。
（項目３１）
前記処理回路網の少なくとも一部のアーキテクチャは、ニューラルネットワークアーキテクチャを含み、前記ニューラルネットワークは、１つ以上のニューラルネットワークを実装および実行し、前記選択された動作モードのために、前記１つ以上のデータストリームを修正するためのタスクを実施するように構成される、項目１に記載の１つ以上のディスプレイ。
（項目３２）
前記１つ以上のニューラルネットワークの複数の加重が、訓練データのセットにわたってコスト関数を最適化することによって判定される、項目３１に記載の１つ以上のディスプレイ。
（項目３３）
訓練データのセットは、実世界コンテンツ、合成データ、または両方を含む、項目３２に記載の１つ以上のディスプレイ。
（項目３４）
前記１つ以上のニューラルネットワークの複数の加重は、前記１つ以上のディスプレイの製造の間に設定され、または、前記１つ以上のディスプレイの動作の間に動的に更新され、前記動的更新は、ソフトウェア更新に応答して、前記１つ以上のデータストリームが受信されることに応答して、または、両方に応答して、生じる、項目３１に記載の１つ以上のディスプレイ。
（項目３５）
前記１つ以上のニューラルネットワークの複数の加重は、前記１つ以上のニューラルネットワークの実装の中にハードコーディングされる、または、前記１つ以上のニューラルネットワークの実装のために、メモリ内に記憶され、アクセスされる、項目３１に記載の１つ以上のディスプレイ。
（項目３６）
前記１つ以上のニューラルネットワークの複数の加重は、前記１つ以上のデータストリーム内で利用可能なデータストリーム、ディスプレイのための前記１つ以上のデータストリーム内のコンテンツ、前記１つ以上のデータストリームを修正するために実施されるべきタスク、または、前記１つ以上のディスプレイの出力モードのうちの１つ以上のものに基づいて、調節される、項目３１に記載の１つ以上のディスプレイ。
（項目３７）
前記１つ以上のニューラルネットワークのそれぞれの構成は、
１つ以上の畳み込み層、
１つ以上の全結合層、
１つ以上のプーリング層、
１つ以上のアップサンプリング層、
１つ以上のダウンサンプリング層、
１つ以上のスキップまたは残差接続、
１つ以上の稠密接続、
１つ以上のフィードバック接続、
１つ以上の疎接続層、
１つ以上の長期または短期メモリユニット、または
１つ以上の再帰接続
のうちの１つ以上のものを含む、項目３１に記載の１つ以上のディスプレイ。
（項目３８）
前記１つ以上のニューラルネットワークが、複数のニューラルネットワークを含むとき、前記複数のニューラルネットワークは、連結される、項目３１に記載の１つ以上のディスプレイ。
（項目３９）
前記１つ以上のニューラルネットワークは、複数のニューラルネットワークを含み、異なるニューラルネットワークは、前記１つ以上のデータストリームを修正するための異なるタスクを実施する、項目３１に記載の１つ以上のディスプレイ。
（項目４０）
前記ピクセルの１つ以上のアレイ内のピクセルの異なるサブセットは、異なる方向に向かって指向される光に寄与するように構成される、項目１に記載の１つ以上のディスプレイ。
（項目４１）
前記ピクセルの１つ以上のアレイ内のピクセルは、１つ以上の方向における光の異なる色および光の異なる強度に寄与するように構成される、項目１に記載の１つ以上のディスプレイ。
（項目４２）
前記ピクセルの１つ以上のアレイは、１つ以上の層を含み、各層は、光生産要素、吸光要素、光反射性要素、光透過性要素、光修正要素、または光学要素のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目４３）
前記光学要素は、レンズ、光学障壁、導波管、光ファイバ、切替可能な光学系、指向性修正要素、偏光修正要素、または光分裂要素のうちの１つ以上のものを含む、項目４２に記載の１つ以上のディスプレイ。
（項目４４）
前記処理回路網は、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、プログラマブル集積回路、中央処理ユニット、グラフィック処理ユニット、テンソル処理ユニット、ニューラルネットワーク集積回路、視覚処理ユニット、またはニューロモーフィックプロセッサのうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目４５）
前記処理回路網は、電子ハードウェアを含む、項目１に記載の１つ以上のディスプレイ。
（項目４６）
前記処理回路網は、前記ポリシおよび前記選択された動作モードに従って前記電子ハードウェアを動作させるための記憶された命令をさらに含む、項目４５に記載の１つ以上のディスプレイ。
（項目４７）
前記命令は、ソフトウェア、ファームウェア、または両方の形態である、項目４６に記載の１つ以上のディスプレイ。
（項目４８）
前記処理回路網内の電子ハードウェアは、前記１つ以上のバックプレーンを横断して空間的に分散されるトランジスタレベル回路網を含む、項目１に記載の１つ以上のディスプレイ。
（項目４９）
前記１つ以上のバックプレーンを横断して分散される前記トランジスタレベル回路網は、前記バックプレーンの回路構成のトランジスタレベル回路網と同一基板上に形成される、項目４８に記載の１つ以上のディスプレイ。
（項目５０）
前記処理回路網内の電子ハードウェアは、前記バックプレーンを横断して空間的に分散される複数の離散集積回路（ＩＣ）ユニットを含み、各ＩＣユニットは、前記ピクセルのアレイのサブセットと関連付けられる、項目１に記載の１つ以上のディスプレイ。
（項目５１）
前記ＩＣユニットは、同一機能性を実施するように構成される、項目５０に記載の１つ以上のディスプレイ。
（項目５２）
前記ＩＣユニットは、異なる機能性を実施するように構成される、項目５０に記載の１つ以上のディスプレイ。
（項目５３）
前記処理回路網内の電子ハードウェアは、前記１つ以上のバックプレーンを横断して空間的に分散される複数のＩＣユニットと、同様に前記１つ以上のバックプレーンを横断して空間的に分散されるトランジスタレベル回路網とを含む、項目１に記載の１つ以上のディスプレイ。
（項目５４）
前記処理回路網内の電子ハードウェアは、空間的に、角度的に、時間的に、ランダム分布によって、到着順序によって、前記１つ以上のデータストリームと関連付けられるある他の順序によって、またはそれらの組み合わせによって処理タスクを分離する回路の階層として、実装される、項目１に記載の１つ以上のディスプレイ。
（項目５５）
前記回路の階層内の別個の処理タスクは、同時に、順次、または両方で処理される、項目５４に記載の１つ以上のディスプレイ。
（項目５６）
前記１つ以上のデータストリームのうちの少なくとも１つは、前記処理回路網によって修正されると信号を生産する実世界コンテンツ、合成データ、または両方の表現を含み、前記信号は、前記１つ以上のバックプレーンの回路構成を通して前記ピクセルの１つ以上のアレイに提供され、前記特定のビューまたは複数のビューを生成する光の光線に寄与する、項目１に記載の１つ以上のディスプレイ。
（項目５７）
前記１つ以上のデータストリームは、
２次元（２Ｄ）画像または２Ｄビデオ、
マルチカラー画像またはマルチカラービデオ、
深度情報を伴う、マルチカラー画像またはマルチカラービデオ、
１つ以上の深度マップを含む深度情報、
明視野または明視野ビデオ、
複数のフレーム、
光線または光束、
光線または光束のシーケンスもしくは複数のシーケンス、
感覚データ、
オーディオデータ、
前記１つ以上のディスプレイからの明度、ディスプレイ環境の色、または両方、または
前記１つ以上のディスプレイに対する視認者の位置、視認者頭部配向、または視認者視線方向の推定
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目５８）
前記深度情報は、
データソース内の１つのカラーストリームに関する深度情報、
データソース内の複数のカラーストリームに関する深度情報、または
データソース内の全てのカラーストリームに関する深度情報、
のうちの１つ以上のものを含む、項目５７に記載の１つ以上のディスプレイ。
（項目５９）
前記１つ以上のデータストリームは、前記ピクセルの１つ以上のアレイ内のピクセルと関連付けられるチャネルを含み、各チャネルは、
１つ以上の色、
深度、
透明度、
埋込特徴、
画像セグメント化および標識化、
指向性データ、または
突極性または重要性加重
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目６０）
前記１つ以上のデータストリームは、場面説明を含み、前記場面説明は、
２Ｄまたは３Ｄオブジェクト、
材料性質、
照明、
カメラパラメータ、
ユーザまたは視認者位置、
タイムコード、
高レベル画像特徴、
画像セグメント化または標識化、または
コンテンツ説明
のうちの１つ以上のものである、項目１に記載の１つ以上のディスプレイ。
（項目６１）
前記１つ以上のデータストリームは、
１つ以上の画像、
視認位置または眼位置を表す画像、
眼位置を表す１つ以上のステレオ対、
視認位置または眼位置の規則的または不規則的サンプリング、または
１つ以上の明視野
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目６２）
前記１つ以上のデータストリームは、圧縮される、項目１に記載の１つ以上のディスプレイ。
（項目６３）
前記１つ以上のデータストリームは、解凍される、項目１に記載の１つ以上のディスプレイ。
（項目６４）
前記１つ以上のデータストリームは、前記１つ以上のディスプレイ内の１つ以上のセンサからの情報を含み、前記情報は、
前記ディスプレイ環境の明度および色の光センサ記録、
前記１つ以上のディスプレイの周囲の環境、ユーザ、または両方のカメラビュー、
前記１つ以上のディスプレイの周囲の環境、ユーザ、または両方のマイクロホン記録、または
ユーザ入力および選好
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目６５）
前記修正された１つ以上のデータストリームは、
２次元（２Ｄ）画像または２Ｄビデオ、
深度情報を伴う、マルチカラー画像またはマルチカラービデオ、
ステレオ画像またはステレオビデオ、
光線または光束、
光線のシーケンスまたは光束のシーケンス、
明視野または明視野ビデオ、または
３Ｄ場面の複数のマルチカラービューを伴う、明視野または明視野ビデオ
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目６６）
前記修正された１つ以上のデータストリームは、前記ピクセルの１つ以上のアレイ内のピクセルと関連付けられるチャネルを含み、各チャネルは、
１つ以上の色、
深度、
透明度、
埋込特徴、
画像セグメント化および標識化、
指向性データ、または
突極性または重要性加重
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目６７）
前記修正された１つ以上のデータストリームは、場面説明を含み、前記場面説明は、
２Ｄまたは３Ｄオブジェクト、
材料性質、
照明、
カメラパラメータ、
ユーザまたは視認者位置、
タイムコード、
高レベル画像特徴、
画像セグメント化または標識化、または
コンテンツ説明
のうちの１つ以上のものである、項目１に記載の１つ以上のディスプレイ。
（項目６８）
前記修正された１つ以上のデータストリームは、
１つ以上の画像、
視認位置または眼位置を表す画像、
眼位置を表す１つ以上のステレオ対、
視認位置または眼位置の規則的もしくは不規則的サンプリング、または
１つ以上の明視野、
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目６９）
前記修正された１つ以上のデータストリームは、圧縮される、項目１に記載の１つ以上のディスプレイ。
（項目７０）
前記修正された１つ以上のデータストリームは、解凍される、項目１に記載の１つ以上のディスプレイ。
（項目７１）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、
ピクセルのオリジナル数より高い総ピクセル数またはピクセルのオリジナル密度より高いピクセルの密度を有するより高い解像度に変換すること、
オリジナル範囲を越える範囲を外挿することによって、より高いダイナミックレンジを生産すること、
深度情報を伴う、マルチカラー画像またはマルチカラービデオを生産すること、
ステレオ画像またはステレオビデオを生産すること、
３Ｄ場面の１つまたは複数のマルチカラービューを生産すること、
３Ｄ場面の付加的マルチカラービューを生産すること、
複数のフレームからの視覚的詳細を組み合わせることによって、場面のより高い解像度モデルを推定すること、または
前記ビデオ内の場面コンテンツまたはビューの一方または両方内で生じる視覚的変化の大きさを測定することによって、ビデオ内のカットまたはジャンプの一方または両方を検出すること
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目７２）
前記３Ｄ場面の１つまたは複数のマルチカラービューを生産するタスクは、
ビュー合成動作、
穴埋め動作、
超解像技術動作、
深度調節動作、
中心窩化レンダリングによる帯域幅制御、または
低ダイナミックレンジ（ＬＤＲ）／高ダイナミックレンジ（ＨＤＲ）変換
のうちの１つ以上のものをさらに含む、項目７１に記載の１つ以上のディスプレイ。
（項目７３）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、
コンテンツ分類、
対応、
補間および超解像技術、
ディスプレイ再マッピング、
ユーザ追跡、
マルチビューへの変換、
深度推定、
画像セグメント化、または
場面性質の推定、
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目７４）
前記コンテンツ分類は、個々のピクセル、２Ｄ特徴、３Ｄ特徴、画像タイプ、またはそれらの組み合わせを分類するための寸法低減を提供する、項目７３に記載の１つ以上のディスプレイ。
（項目７５）
前記コンテンツ分類は、前記１つ以上のデータストリーム内のコンテンツの分類を提供し、前記処理回路網は、分類に応答して、前記処理回路網によってアクセス可能な異なるセットの複数の加重からの一意のセットの複数の加重を動的にロードするようにさらに構成され、１つ以上の処理ネットワークは、前記一意のセットの複数の加重を使用して前記処理回路網内に実装される、項目７３に記載の１つ以上のディスプレイ。
（項目７６）
前記ディスプレイ再マッピングは、
強度再マッピング、
明度再マッピング、
解像度再マッピング、
アスペクト比再マッピング、
色再マッピング、または
深度再マッピング、
のうちの１つ以上のものを含む、項目７３に記載の１つ以上のディスプレイ。
（項目７７）
前記ディスプレイ再マッピングは、深度再マッピングを含み、前記深度再マッピングは、前記補間の補間部分における加重の調節と、１つ以上の知覚メトリックを使用して、画像強度および不均衡をワーピングし、ディスプレイ深度予算内に適合させるための超解像技術とを提供する、項目７３に記載の１つ以上のディスプレイ。
（項目７８）
前記ディスプレイ再マッピングは、深度情報が利用可能であるときに適用可能である深度再マッピング、または、深度情報が利用不可能であるときに適用可能である不均衡再マッピングを含む、項目７３に記載の１つ以上のディスプレイ。
（項目７９）
前記不均衡再マッピングは、ステレオ画像またはステレオビデオと併用される、項目７８に記載の１つ以上のディスプレイ。
（項目８０）
前記処理回路網は、前記不均衡再マッピングを深度情報に変換するようにさらに構成される、項目７８に記載の１つ以上のディスプレイ。
（項目８１）
前記ディスプレイ再マッピングは、１つ以上の再マッピングパラメータに基づき、
前記１つ以上の再マッピングパラメータは、前記１つ以上のディスプレイのパラメータまたは前記１つ以上のディスプレイの能力の一方または両方と関連付けられ、
前記１つ以上のディスプレイのパラメータまたは前記１つ以上のディスプレイの能力の一方または両方は、空間解像度、角解像度、ダイナミックレンジ、または視野のうちの１つ以上のものを含む、項目７３に記載の１つ以上のディスプレイ。
（項目８２）
前記コンテンツ分類は、１つ以上の基準に基づいて、前記１つ以上のデータストリーム内のデータの分類を提供し、
前記処理回路網は、前記分類に応答して、前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクを動的に更新するように構成される、項目７３に記載の１つ以上のディスプレイ。
（項目８３）
前記補間および超解像技術は、２Ｄ／３Ｄ変換またはＬＤＲ／ＨＤＲ変換の一方または両方を提供する、項目７３に記載の１つ以上のディスプレイ。
（項目８４）
前記ディスプレイ再マッピングは、
強度再マッピング、
明度再マッピング、
解像度再マッピング、
アスペクト比再マッピング、
色再マッピング、または
コンテンツ深度再マッピング
のうちの１つ以上のものを含む、項目７３に記載の１つ以上のディスプレイ。
（項目８５）
前記処理回路網は、前記タスクを現在の場面コンテンツに適合させることによって、直近のフレームに基づいて、前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクを修正するようにさらに構成され、
前記修正されたタスクが補間を含むとき、前記補間は、空間補間、角度補間、または時間的補間のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目８６）
前記１つ以上のデータストリームは、複数のフレームを含み、
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、前記複数のフレームを組み合わせて経時的に整合させることによる、場面の持続的３Ｄモデルの推定を含む、項目１に記載の１つ以上のディスプレイ。
（項目８７）
前記１つ以上のデータストリームは、複数のフレームを含み、
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、前記複数のフレームからの視覚的詳細を経時的に組み合わせることによる、場面のより高い解像度モデルの推定を含む、項目１に記載の１つ以上のディスプレイ。
（項目８８）
前記１つ以上のデータストリームは、ビデオを含み、
前記処理回路網は、前記ビデオ内の場面コンテンツまたはビューの一方または両方において生じる視覚的変化の大きさを測定することによって、前記ビデオ内のカットまたはジャンプの一方または両方を検出するようにさらに構成される、項目１に記載の１つ以上のディスプレイ。
（項目８９）
前記１つ以上のデータストリームは、複数の場面を含み、
前記処理回路網は、以前に示された場面と関連付けられる特徴、加重、または情報のうちの１つ以上のものを維持するように構成される、項目１に記載の１つ以上のディスプレイ。
（項目９０）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、前記１つ以上のデータストリーム内の２Ｄ画像またはビデオからの複数のフレームに関する深度情報の推定を含む、項目１に記載の１つ以上のディスプレイ。
（項目９１）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、
空間解像度、
角解像度、
時間的解像度、
ビット深度、ダイナミックレンジ、または両方、
色、深度、スペクトルサンプリング、または透明度を含むピクセルチャネル、
指向性データ、または
突極性または重要性加重
のうちの１つ以上のものによって前記ピクセルデータを増加させることによって、付加的ピクセルデータを合成することを含む、項目１に記載の１つ以上のディスプレイ。
（項目９２）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクのうちの少なくともいくつかは、前記１つ以上のディスプレイのアーキテクチャと能力とに基づいて、前記１つ以上のデータストリーム内のコンテンツを適合させるように構成され、前記能力は、利用可能な空間解像度、利用可能な角解像度、リフレッシュレート、色域、またはダイナミックレンジのうちの１つ以上のものを含み、前記タスクのうちの少なくともいくつかは、
強度処理、
色処理、
ホワイトバランス、
ビューインターレース、
トーンマッピング、または
ディスプレイ光学系のための補正
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目９３）
前記１つ以上のディスプレイは、ディスプレイ能力と、ピクセル強度、色域、リフレッシュレート、またはダイナミックレンジのうちの１つ以上のものにおける変動とを測定するように較正され、前記較正は、前記１つ以上のディスプレイの製造の間または前記１つ以上のディスプレイの動作の間に実施される、項目１に記載の１つ以上のディスプレイ。
（項目９４）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、前記ピクセルのアレイ内のピクセルの１つ以上のサブセットに選択的に適用され、前記１つ以上のサブセットは、空間サブセット、角度サブセット、または時間的サブセットである、項目１に記載の１つ以上のディスプレイ。
（項目９５）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクのうちの少なくともいくつかは、複数のフレームを分析するように構成され、前記タスクのうちの少なくともいくつかは、ビデオコンテンツ内のフレームを横断して運動を追跡することを含む、項目１に記載の１つ以上のディスプレイ。
（項目９６）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクのうちの少なくとも１つは、前記１つ以上のディスプレイに対する１つ以上のユーザ位置の推定に少なくとも部分的に基づき、前記ユーザ位置は、２Ｄまたは３Ｄ頭部位置情報、２Ｄまたは３Ｄ眼位置情報、頭部配向情報、眼配向情報、視線方向、またはそれらの組み合わせによって示される、項目１に記載の１つ以上のディスプレイ。
（項目９７）
前記１つ以上のディスプレイの能力は、
超高解像度能力、または
高ダイナミックレンジ能力
のうちの１つ以上のものを含む、項目１に記載の１つ以上のディスプレイ。
（項目９８）
超高解像度能力は、８Ｋおよびより高い解像度をサポートすることを含む、項目９７に記載の１つ以上のディスプレイ。
（項目９９）
複数のビューをサポートする１つ以上のディスプレイ上のデータストリームを処理するための方法であって、
前記１つ以上のディスプレイの処理回路網上において、１つ以上のデータストリームを受信することであって、前記処理回路網は、前記１つ以上のディスプレイの１つ以上のバックプレーンに結合され、これは、ひいては、前記１つ以上のディスプレイのピクセルの１つ以上のアレイに結合される、ことと、
前記処理回路網によって、ポリシに基づいて、前記１つ以上のデータストリームの処理を制御することであって、前記ポリシから、前記処理回路網によってサポートされる動作モードを選択することになり、各動作モードは、前記１つ以上のディスプレイ内の前記ピクセルの１つ以上のアレイが特定のビューまたは複数のビューを生成することに寄与すべき光の光線と、前記動作モードの前記特定のビューまたは複数のビューを生成する前記光の光線に前記ピクセルの１つ以上のアレイが寄与するように、前記１つ以上のデータストリームを修正するために、前記処理回路網によって実施されるべきタスクとを定義する、ことと、
前記動作モードの前記特定のビューまたは複数のビューを生成する前記光線に前記ピクセルの１つ以上のアレイが寄与するために、前記処理回路網によって、前記１つ以上のバックプレーンの回路構成を通して、前記修正された１つ以上のデータストリームを表すシグナリングを前記ピクセルの１つ以上のアレイに提供することと
を含む、方法。
（項目１００）
前記処理回路網は、１つ以上の動作モードをサポートし、前記１つ以上の動作モードは、
単一ビューが前記１つ以上のディスプレイの全ての視認者のために生成される第１の動作モード、
異なるビューが前記１つ以上のディスプレイの視認者毎に生成される第２の動作モード、
複数のビューが前記１つ以上のディスプレイの１人以上の視認者毎に生成される第３の動作モード、
１つ以上のビューが前記１つ以上のディスプレイの１人以上の視認者毎に生成される第４の動作モード、または
単一ビューが前記１つ以上のディスプレイの１人以上の視認者のため生成され、１つ以上のビューが前記１つ以上のディスプレイの残りの視認者毎に生成される第５の動作モード
のうちの１つ以上のものを含む、項目９９に記載の方法。
（項目１０１）
前記１つ以上のバックプレーンの回路構成は、前記修正された１つ以上のデータストリームと関連付けられるシグナリングを前記ピクセルの１つ以上のアレイの規定された部分に分散させるように構成される論理配列である、項目９９に記載の方法。
（項目１０２）
前記処理回路網の少なくとも一部のアーキテクチャは、
ニューラルネットワークアーキテクチャ、
固定関数論理信号処理アーキテクチャ、または
プログラマブルパイプラインアーキテクチャ
を含む、項目９９に記載の方法。
（項目１０３）
前記ニューラルネットワークアーキテクチャによって、入力データの１つ以上のストリームを出力データの１つ以上のストリームに処理するためのアルゴリズムを実施することをさらに含み、前記アルゴリズムが実施する算出は、訓練プロセスにおいて学習されており、前記訓練プロセスは、前記入力データの処理に先立って実施されている、項目１０２に記載の方法。
（項目１０４）
前記アルゴリズムのネットワーク構成を前記処理回路網に転送することに先立って、前記１つ以上のディスプレイと異なるシステムにおいて前記訓練プロセスを実施することをさらに含む、項目１０３に記載の方法。
（項目１０５）
前記１つ以上のディスプレイの前記処理回路網内で前記訓練プロセスを実施することをさらに含む、項目１０３に記載の方法。
（項目１０６）
前記アルゴリズムのネットワーク構成を前記処理回路網に転送することに先立って、前記１つ以上のディスプレイと異なるシステム内で前記訓練プロセスを最初に実施することと、続いて、前記１つ以上のデータストリームからの新しいデータが処理されるにつれて、前記１つ以上のディスプレイの前記処理回路網内で前記訓練プロセスを実施することとをさらに含む、項目１０３に記載の方法。
（項目１０７）
前記訓練プロセスにおける学習は、１つ以上のコストまたは目的関数を最適化することを含む、項目１０３に記載の方法。
（項目１０８）
１つ以上のネットワークを使用して、前記アルゴリズムが実施する算出を実装することをさらに含み、前記１つ以上のネットワークは、１つ以上の算出ユニットを備え、前記１つ以上の算出ユニットの機能は、１つ以上の数によって規定され、前記１つ以上のコストまたは目的関数は、これらの１つ以上の数を変動させることによって最適化される、項目１０７に記載の方法。
（項目１０９）
勾配降下法ベースの最適化を数値的に適用することによって、前記１つ以上のコストまたは目的関数を最適化することをさらに含む、項目１０７に記載の方法。
（項目１１０）
前記訓練プロセスは、入力データアイテムおよび出力データアイテムの対から成る訓練セットを提供することから成り、前記算出は、前記対の入力アイテムが前記算出への入力として提供されるとき、前記対の出力アイテムに実質的に類似する出力を生産するように最適化される、項目１０３に記載の方法。
（項目１１１）
前記対の出力アイテムに実質的に類似する出力は、ユークリッド距離を含む、任意の１つの少なくとも１つの距離メトリックを使用する短離間距離を示す、項目１１０に記載の方法。
（項目１１２）
前記訓練プロセスは、入力データアイテムから成る訓練セットを提供することから成り、
前記方法は、１つ以上のネットワークを使用して、前記アルゴリズムが実施する算出を実装することをさらに含み、
前記方法は、前記訓練プロセスに応答して、前記１つ以上のネットワークを最適化し、前記入力データアイテムを実質的に再現することをさらに含む、項目１０３に記載の方法。
（項目１１３）
前記入力データアイテムを修正することをさらに含み、前記１つ以上のネットワークは、前記修正を除去し、前記未修正入力データアイテムを再現するように最適化される、項目１１２に記載の方法。
（項目１１４）
前記入力データアイテムを修正することは、雑音を前記入力データアイテムに追加すること、歪曲を前記入力データアイテムに追加すること、前記入力データアイテム内の画像の一部を除去またはマスクすることのうちの１つ以上のものを含む、項目１１３に記載の方法。
（項目１１５）
前記訓練プロセスは、訓練セットを提供することから成り、前記訓練セットは、入力アイテムのみを含有するサンプルと、前記入力アイテムおよび所望の出力アイテムの両方を含有するサンプルとのハイブリッドであり、
前記方法は、１つ以上のネットワークを使用して、前記アルゴリズムが実施する算出を実装することをさらに含み、
前記方法は、前記１つ以上のネットワークを最適化し、出力アイテム対を有していないサンプルのための未修正入力アイテムを再現し、所望の出力アイテムを有するサンプルのための所望の出力アイテムを生産することをさらに含む、項目１０３に記載の方法。
（項目１１６）
少なくとも２つのネットワークを使用して、前記アルゴリズムが実施する算出を実装するステップをさらに含み、前記２つのネットワークは、ともに訓練され、一方のネットワークは、訓練セットからのサンプルに類似するサンプルを生成するように訓練され、他方のネットワークは、前記サンプルが、前記訓練セットからのものであるかまたは前記他方のネットワークによって生成されたものであるかどうかを判定するように訓練される、項目１０３に記載の方法。
（項目１１７）
１つ以上のネットワークを使用して、前記アルゴリズムが実施する算出を実装することをさらに含み、
前記１つ以上のネットワークは、ネットワークによって生産された出力のシーケンスにわたって全体的コストまたは目的関数を最適化するように訓練される、
前記１つ以上のネットワークは、数の集合である前記１つ以上のデータストリームによって提供される入力を、前記ネットワークの１つ以上の相互接続層に、最終的に、前記１つ以上のネットワークの出力層に接続する、
前記１つ以上のネットワーク内の層への入力は、前記１つ以上のネットワーク内の前の層、前記１つ以上のネットワーク内のさらに前の層へのスキップまたは残差接続、前記１つ以上のネットワーク内の後の層からのフィードバック接続、または前記１つ以上のネットワーク内の任意の層の履歴値への再帰接続から生じることが可能である、または
それらの組み合わせである、項目１０３に記載の方法。
（項目１１８）
随意に、各入力を数値加重によって乗算することと、随意に加重された入力の和を前記１つ以上のネットワークの非線形活性化層に渡すこととをさらに含み、前記非線形活性化層は、シグモイド関数、ｔａｎｈ関数、正規化線形ユニット（ＲｅＬＵ）、または漏洩正規化線形ユニット（漏洩ＲｅＬＵ）のうちの１つを提供する、項目１１７に記載の方法。
（項目１１９）
１つ以上のネットワークを使用して、前記アルゴリズムが実施する算出を実装することをさらに含み、前記１つ以上のネットワークは、随意のプーリング層を含み、前記随意のプーリング層は、入力の最大値または最小値を求めることによって、または、前記入力を総和することによって、いくつかの値を単一値に組み合わせる、項目１０３に記載の方法。
（項目１２０）
１つ以上のネットワークを使用して、前記アルゴリズムが実施する算出を実装することをさらに含み、前記１つ以上のネットワークは、１つ以上の出力を層に含み、各出力は、その独自のセットの加重、非線形性、およびプーリングを有する、項目１０３に記載の方法。
（項目１２１）
前記アルゴリズムが実施する算出は、前記処理回路網によって実施されるべき複数のタスクの同時処理を含み、各タスクの出力は、一意の出力データストリームによって表される、項目１０３に記載の方法。
（項目１２２）
１つ以上のネットワークを使用して、前記アルゴリズムが実施する算出を実装することをさらに含み、前記１つ以上のネットワークは、複数のタスクによって共有される層と、タスク間で共有されないタスク特有の層とを含む、項目１２１に記載の方法。
（項目１２３）
前記複数のタスクの同時処理は、前記１つ以上のデータストリームからの複数の入力データストリームを複数の出力データストリームに処理することを含む、項目１２１に記載の方法。
（項目１２４）
前記処理回路網の少なくとも一部のアーキテクチャは、ニューラルネットワークアーキテクチャを含み、前記方法は、前記ニューラルネットワークアーキテクチャの一部として、前記選択された動作モードのために前記１つ以上のデータストリームを修正するためのタスクを実施するために、１つ以上のニューラルネットワークを実装および実行することをさらに含む、項目９９に記載の方法。
（項目１２５）
前記１つ以上のニューラルネットワークの複数の加重が、訓練データのセットにわたってコスト関数を最適化することによって判定される、項目１２４に記載の方法。
（項目１２６）
前記訓練データのセットは、実世界コンテンツ、合成データ、または両方を含む、項目１２５に記載の方法。
（項目１２７）
前記１つ以上のディスプレイの製造の間、前記１つ以上のニューラルネットワークの複数の加重を設定すること、または、前記１つ以上のディスプレイの動作の間、前記複数の加重を動的に更新することをさらに含み、前記動的更新は、前記１つ以上のデータストリームが受信されることに応答して、ソフトウェア更新に応答して、または両方に応答して、生じる、項目１２４に記載の方法。
（項目１２８）
前記１つ以上のニューラルネットワークの複数の加重を前記１つ以上のニューラルネットワークの実装の中にハードコーディングすること、または、前記複数の加重をメモリ内に記憶し、前記１つ以上のニューラルネットワークの実装のために前記メモリからの複数の加重にアクセスすることをさらに含む、項目１２４に記載の方法。
（項目１２９）
前記１つ以上のデータストリーム内で利用可能なデータストリーム、ディスプレイのための前記１つ以上のデータストリーム内のコンテンツ、前記１つ以上のデータストリームを修正するために実施されるべきタスク、または前記１つ以上のディスプレイの出力モードのうちの１つ以上のものに基づいて、前記１つ以上のニューラルネットワークの複数の加重を調節することをさらに含む、項目１２４に記載の方法。
（項目１３０）
前記１つ以上のニューラルネットワークのそれぞれの構成は、
１つ以上の畳み込み層、
１つ以上の全結合層、
１つ以上のプーリング層、
１つ以上のアップサンプリング層、
１つ以上のダウンサンプリング層、
１つ以上のスキップまたは残差接続、
１つ以上の稠密接続、
１つ以上のフィードバック接続、
１つ以上の疎接続層、
１つ以上の長期または短期メモリユニット、または
１つ以上の再帰接続
のうちの１つ以上のものを含む、項目１２４に記載の方法。
（項目１３１）
前記１つ以上のニューラルネットワークが、複数のニューラルネットワークを含むとき、前記複数のニューラルネットワークは、連結される、項目１２４に記載の方法。
（項目１３２）
前記１つ以上のニューラルネットワークは、複数のニューラルネットワークを含み、異なるニューラルネットワークは、前記１つ以上のデータストリームを修正するための異なるタスクを実施する、項目１２４に記載の方法。
（項目１３３）
前記１つ以上のデータストリームのうちの少なくとも１つは、前記処理回路網によって修正されると信号を生産する実世界コンテンツ、合成データ、または両方の表現を含み、前記信号は、前記１つ以上のバックプレーンの回路構成を通して前記ピクセルの１つ以上のアレイに提供され、前記動作モードの前記特定のビューまたは複数のビューを生成する光の光線に寄与する、項目９９に記載の方法。
（項目１３４）
前記１つ以上のデータストリームを受信することは、
２次元（２Ｄ）画像または２Ｄビデオ、
マルチカラー画像またはマルチカラービデオ、
深度情報を伴うマルチカラー画像またはマルチカラービデオ、
１つ以上の深度マップを含む深度情報、
明視野または明視野ビデオ、
複数のフレーム、
光線または光束、
光線または光束のシーケンスまたは複数のシーケンス、
感覚データ、
オーディオデータ、
前記１つ以上のディスプレイからの明度、ディスプレイ環境の色、または両方、または
前記１つ以上のディスプレイに対する視認者の位置、視認者頭部配向、または視認者視線方向の推定
のうちの１つ以上のものを受信することを含む、項目９９に記載の方法。
（項目１３５）
前記深度情報は、
データソース内の１つのカラーストリームに関する深度情報、
データソース内の複数のカラーストリームに関する深度情報、または
データソース内の全てのカラーストリームに関する深度情報
のうちの１つ以上のものを含む、項目１３４に記載の方法。
（項目１３６）
前記１つ以上のデータストリームは、前記ピクセルの１つ以上のアレイ内のピクセルと関連付けられるチャネルを含み、各チャネルは、
１つ以上の色、
深度、
透明度、
埋込特徴、
画像セグメント化および標識化、
指向性データ、または
突極性または重要性加重
のうちの１つ以上のものを含む、項目９９に記載の方法。
（項目１３７）
前記１つ以上のデータストリームは、場面説明を含み、前記場面説明は、
２Ｄまたは３Ｄオブジェクト、
材料性質、
照明、
カメラパラメータ、
ユーザまたは視認者位置、
タイムコード、
高レベル画像特徴、
画像セグメント化または標識化、または
コンテンツ説明
のうちの１つ以上のものである、項目９９に記載の方法。
（項目１３８）
前記１つ以上のデータストリームは、
１つ以上の画像、
視認位置または眼位置を表す画像、
眼位置を表す１つ以上のステレオ対、
視認位置または眼位置の規則的もしくは不規則的サンプリング、または
１つ以上の明視野
のうちの１つ以上のものを含む、項目９９に記載の方法。
（項目１３９）
前記１つ以上のデータストリームは、圧縮される、項目９９に記載の方法。
（項目１４０）
前記１つ以上のデータストリームは、解凍される、項目９９に記載の方法。
（項目１４１）
前記１つ以上のデータストリームは、前記１つ以上のディスプレイ内の１つ以上のセンサからの情報を含み、前記情報は、
前記ディスプレイ環境の明度および色の光センサ記録、
前記１つ以上のディスプレイの周囲の環境、ユーザ、または両方のカメラビュー、
前記１つ以上のディスプレイの周囲の環境、ユーザ、または両方のマイクロホン記録、または
ユーザ入力および選好
のうちの１つ以上のものを含む、項目９９に記載の方法。
（項目１４２）
前記１つ以上のデータストリームを修正することは、
２次元（２Ｄ）画像または２Ｄビデオ、
深度情報を伴う、マルチカラー画像またはマルチカラービデオ、
ステレオ画像またはステレオビデオ、
光線または光束、
光線のシーケンスまたは光束のシーケンス、
明視野または明視野ビデオ、または
３Ｄ場面の複数のマルチカラービューを伴う、明視野または明視野ビデオ
のうちの１つ以上のものを生産することを含む、項目９９に記載の方法。
（項目１４３）
前記修正された１つ以上のデータストリームは、前記ピクセルの１つ以上のアレイ内のピクセルと関連付けられるチャネルを含み、各チャネルは、
１つ以上の色、
深度、
透明度、
埋込特徴、
画像セグメント化および標識化、
指向性データ、または
突極性または重要性加重
のうちの１つ以上のものを含む、項目９９に記載の方法。
（項目１４４）
前記修正された１つ以上のデータストリームは、場面説明を含み、前記場面説明は、
２Ｄまたは３Ｄオブジェクト、
材料性質、
照明、
カメラパラメータ、
ユーザまたは視認者位置、
タイムコード、
高レベル画像特徴、
画像セグメント化または標識化、または
コンテンツ説明
のうちの１つ以上のものである、項目９９に記載の方法。
（項目１４５）
前記修正された１つ以上のデータストリームは、
１つ以上の画像、
視認位置または眼位置を表す画像、
眼位置を表す１つ以上のステレオ対、
視認位置または眼位置の規則的または不規則的サンプリング、または
１つ以上の明視野
のうちの１つ以上のものを含む、項目９９に記載の方法。
（項目１４６）
前記修正された１つ以上のデータストリームは、圧縮される、項目９９に記載の方法。
（項目１４７）
前記修正された１つ以上のデータストリームは、解凍される、項目９９に記載の方法。
（項目１４８）
前記処理回路網によって、前記１つ以上のデータストリームを修正するためのタスクを実施することは、
ピクセルのオリジナル数より高い総ピクセル数またはピクセルのオリジナル密度より高いピクセルの密度を有するより高い解像度に変換すること、
オリジナル範囲を越える範囲を外挿することによって、より高いダイナミックレンジを生産すること、
深度情報を伴う、マルチカラー画像またはマルチカラービデオを生産すること、
ステレオ画像またはステレオビデオを生産すること、
３Ｄ場面の１つまたは複数のマルチカラービューを生産すること、
３Ｄ場面の付加的マルチカラービューを生産すること、
複数のフレームからの視覚的詳細を組み合わせることによって、場面のより高い解像度モデルを推定すること、または
前記ビデオ内の場面コンテンツまたはビューの一方または両方内で生じる視覚的変化の大きさを測定することによって、ビデオ内のカットまたはジャンプの一方または両方を検出すること
のうちの１つ以上のものを実施することを含む、項目９９に記載の方法。
（項目１４９）
３Ｄ場面の１つまたは複数のマルチカラービューを生産することは、
ビュー合成動作、
穴埋め動作、
超解像技術動作、
深度調節動作、
中心窩化レンダリングによる帯域幅制御、または
低ダイナミックレンジ（ＬＤＲ）／高ダイナミックレンジ（ＨＤＲ）変換
のうちの１つ以上のものを実施することをさらに含む、項目１４８に記載の方法。
（項目１５０）
前記処理回路網によって、前記１つ以上のデータストリームを修正するためのタスクを実施することは、
コンテンツ分類、
対応、
補間および超解像技術、
ディスプレイ再マッピング、
ユーザ追跡、
マルチビューへの変換、
深度推定、
画像セグメント化、または
場面性質の推定
のうちの１つ以上のものを実施することを含む、項目９９に記載の方法。
（項目１５１）
前記コンテンツ分類を実施することは、個々のピクセル、２Ｄ特徴、３Ｄ特徴、画像タイプ、またはそれらの組み合わせを分類するための寸法低減を提供することを含む、項目１５０に記載の方法。
（項目１５２）
前記コンテンツ分類を実施することは、前記１つ以上のデータストリーム内のコンテンツを分類することと、前記分類に応答して、前記処理回路網によってアクセス可能な異なるセットの複数の加重から一意のセットの複数の加重を動的にロードすることと、前記一意のセットの複数の加重を使用して、前記処理回路網内の１つ以上の処理ネットワークを実装することとを含む、項目１５０に記載の方法。
（項目１５３）
ディスプレイ再マッピングを実施することは、
強度再マッピング、
明度再マッピング、
解像度再マッピング、
アスペクト比再マッピング、
色再マッピング、または
コンテンツ深度再マッピング
のうちの１つ以上のものを実施することを含む、項目１５０に記載の方法。
（項目１５４）
ディスプレイ再マッピングを実施することは、深度再マッピングを実施することを含み、前記深度再マッピングは、前記補間の補間部分内の加重の調節と、１つ以上の知覚メトリックを使用して、画像強度および不均衡をワーピングし、ディスプレイ深度予算内に適合させるための超解像技術とを提供する、項目１５０に記載の方法。
（項目１５５）
ディスプレイ再マッピングを実施することは、深度情報が利用可能であるときに適用可能である深度再マッピング、または、深度情報が利用不可能であるときに適用可能である不均衡再マッピングを実施することを含む、項目１５０に記載の方法。
（項目１５６）
前記不均衡再マッピングは、ステレオ画像またはステレオビデオと併用される、項目１５５に記載の方法。
（項目１５７）
前記不均衡再マッピングを深度情報に変換することをさらに含む、項目１５５に記載の方法。
（項目１５８）
前記ディスプレイ再マッピングは、１つ以上の再マッピングパラメータに基づき、
前記１つ以上の再マッピングパラメータは、前記１つ以上のディスプレイのパラメータまたは前記１つ以上のディスプレイの能力の一方または両方と関連付けられ、
前記１つ以上のディスプレイのパラメータまたは前記１つ以上のディスプレイの能力の一方または両方は、空間解像度、角解像度、ダイナミックレンジ、または視野のうちの１つ以上のものを含む、項目１５０に記載の方法。
（項目１５９）
前記コンテンツ分類を実施することは、１つ以上の基準に基づいて、前記１つ以上のデータストリーム内のデータの分類を提供し、前記方法は、前記処理回路網によって、前記分類に応答して、前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクを動的に更新することをさらに含む、項目１５０に記載の方法。
（項目１６０）
前記補間および超解像技術を実施することは、２Ｄ／３Ｄ変換またはＬＤＲ／ＨＤＲ変換の一方または両方を提供する、項目１５０に記載の方法。
（項目１６１）
ディスプレイ再マッピングを実施することは、
強度再マッピング、
明度再マッピング、
解像度再マッピング、
アスペクト比再マッピング、
色再マッピング、または
コンテンツ深度再マッピング
のうちの１つ以上のものを実施することを含む、項目１５０に記載の方法。
（項目１６２）
前記タスクを現在の場面コンテンツに適合させることによって、直近のフレームに基づいて、前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクを修正することをさらに含み、前記修正されたタスクが補間を含むとき、前記補間は、空間補間、角度補間、または時間的補間のうちの１つ以上のものを含む、項目９９に記載の方法。
（項目１６３）
前記１つ以上のデータストリームは、複数のフレームを含み、
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、前記複数のフレームを組み合わせて経時的に整合させることによる、場面の持続的３Ｄモデルの推定を含む、項目９９に記載の方法。
（項目１６４）
前記１つ以上のデータストリームは、複数のフレームを含み、
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、前記複数のフレームからの視覚的詳細を経時的に組み合わせることによる、場面のより高い解像度モデルの推定を含む、項目９９に記載の方法。
（項目１６５）
前記１つ以上のデータストリームは、ビデオを含み、
前記方法は、前記処理回路網によって、前記ビデオ内の場面コンテンツまたはビューの一方または両方において生じる視覚的変化の大きさを測定することによって、前記ビデオ内のカットまたはジャンプの一方または両方を検出することをさらに含む、項目９９に記載の方法。
（項目１６６）
前記１つ以上のデータストリームは、複数の場面を含み、
前記方法は、前記処理回路網によって、以前に示される場面と関連付けられる特徴、加重、または情報のうちの１つ以上のものを維持することをさらに含む、項目９９に記載の方法。
（項目１６７）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、前記１つ以上のデータストリーム内の２Ｄ画像またはビデオからの複数のフレームに関する深度情報の推定を含む、項目９９に記載の方法。
（項目１６８）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクは、
空間解像度、
角解像度、
時間的解像度、
ビット深度、ダイナミックレンジ、または両方、
色、深度、スペクトルサンプリング、または透明度を含むピクセルチャネル、
指向性データ、または
突極性または重要性加重
のうちの１つ以上のものによって前記ピクセルデータを増加させることによって、付加的ピクセルデータを合成することを含む、項目９９に記載の方法。
（項目１６９）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクのうちの少なくともいくつかは、前記１つ以上のディスプレイのアーキテクチャと能力とに基づいて、前記１つ以上のデータストリーム内のコンテンツを適合させることを含み、前記能力は、利用可能な空間解像度、利用可能な角解像度、リフレッシュレート、色域、またはダイナミックレンジのうちの１つ以上のものを含み、前記タスクのうちの少なくともいくつかは、
強度処理、
色処理、
ホワイトバランス、
ビューインターレース、
トーンマッピング、または
ディスプレイ光学系のための補正
のうちの１つ以上のものを含む、項目９９に記載の方法。
（項目１７０）
前記１つ以上のディスプレイによって、ディスプレイ能力と、ピクセル強度、色域、リフレッシュレート、またはダイナミックレンジのうちの１つ以上のものにおける変動とを測定するように較正されることをさらに含み、前記較正は、前記１つ以上のディスプレイの製造の間または前記１つ以上のディスプレイの動作の間に実施される、項目９９に記載の方法。
（項目１７１）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクを前記ピクセルのアレイ内のピクセルの１つ以上のサブセットに選択的に適用することをさらに含み、前記１つ以上のサブセットは、空間サブセット、角度サブセット、または時間的サブセットである、項目９９に記載の方法。
（項目１７２）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクのうちの少なくともいくつかは、複数のフレームを分析するように構成され、前記タスクのうちの少なくともいくつかは、ビデオコンテンツ内のフレームを横断して運動を追跡することを含む、項目９９に記載の方法。
（項目１７３）
前記１つ以上のデータストリームを修正するために前記処理回路網によって実施されるべきタスクのうちの少なくとも１つは、前記１つ以上のディスプレイに対する１つ以上のユーザ位置の推定に少なくとも部分的に基づき、前記ユーザ位置は、２Ｄまたは３Ｄ頭部位置情報、２Ｄまたは３Ｄ眼位置情報、頭部配向情報、眼配向情報、視線方向、またはそれらの組み合わせによって示される、項目９９に記載の方法。

添付の図面は、いくつかの実装のみを図示し、したがって、範囲の限定と見なされるものではない。

図１Ａは、本開示の側面による、ディスプレイと、ディスプレイのためのデータストリームのソースとの実施例を図示する。

図１Ｂは、本開示の側面による、ディスプレイ内のディスプレイ処理回路網の実施例を図示する。

図１Ｃは、本開示の側面による、ディスプレイ内の複数のディスプレイ処理回路の実施例を図示する。

図１Ｄは、本開示の側面による、共通または共有ディスプレイ処理回路網を伴う、１つ以上のディスプレイの実施例を図示する。

図２Ａは、本開示の側面による、複数のピクチャ要素を有する、明視野ディスプレイの実施例を図示する。

図２Ｂは、本開示の側面による、複数のピクチャ要素を有する、明視野ディスプレイの別の実施例を図示する。

図２Ｃは、本開示の側面による、明視野ディスプレイの一部の断面図の実施例を図示する。

図２Ｄは、本開示の側面による、ディスプレイ処理回路網と１つ以上のバックプレーンとの間の統合の実施例を図示する。

図２Ｅは、本開示の側面による、１つ以上のバックプレーンにわたるディスプレイ処理回路網の分布の実施例を図示する。

図３は、本開示の側面による、ディスプレイ処理ユニットのための処理パイプラインの実施例を図示する。

図４は、本開示の側面による、ディスプレイ処理回路の実施例を図示する、ブロック図である。

図５Ａおよび５Ｂは、本開示の側面による、ディスプレイ処理ユニットの処理エンジン内のプログラマブルニューラルネットワークの実施例を図示する。 図５Ａおよび５Ｂは、本開示の側面による、ディスプレイ処理ユニットの処理エンジン内のプログラマブルニューラルネットワークの実施例を図示する。

図５Ｃは、本開示の側面による、処理エンジンを図示する、ブロック図である。

図６Ａおよび６Ｂは、本開示の側面による、ニューラルネットワークのための異なるプログラマブル加重の実施例を図示する。 図６Ａおよび６Ｂは、本開示の側面による、ニューラルネットワークのための異なるプログラマブル加重の実施例を図示する。

図７は、本開示の側面による、処理回路網がディスプレイ内でコンテンツを処理するための方法の実施例を図示する、フローチャートである。

図８は、本開示の側面による、ディスプレイ処理回路の別の実施例を図示する、ブロック図である。

図９は、本開示の側面による、処理回路網が１つ以上のディスプレイ内で１つ以上のデータストリームを処理するための方法の実施例を図示する、フローチャートである。

添付の図面に関連して下記に記載される発明を実施するための形態は、種々の構成の説明として意図され、その中で本明細書に説明される概念が実践され得る唯一の構成を表すことを意図するものではない。発明を実施するための形態は、種々の概念の完全な理解を提供する目的のために、具体的詳細を含む。しかしながら、これらの概念は、これらの具体的詳細を伴わずに実践されてもよいことが当業者に明白であろう。いくつかのインスタンスでは、周知のコンポーネントは、そのような概念を不明瞭にすることを回避するために、ブロック図形態で示される。

現在のディスプレイシステムでは、コンテンツまたはデータのソースは、中央処理ユニット（ＣＰＵ）および／またはグラフィック処理ユニット（ＧＰＵ）（例えば、図１Ｂおよび１Ｃ参照）を含み得る。ソースは、ユーザ入力、３次元（３Ｄ）モデル、ビデオ、または他のコンテンツを受信することができ、コンピュータ生成（ＣＧ）コンテンツをレンダリングし、コンテンツまたはデータを処理することができる。ソースは、デジタルビジュアルインターフェース（ＤＶＩ）、高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））、ディスプレイポート（ＤＰ）、内蔵ディスプレイポート（ｅＤＰ）、またはコンテンツ／データをディスプレイに転送するために好適な任意の他のデータインターフェースを通して、コンテンツ／データをディスプレイに提供することができる。一実施例では、ＨＤＭＩ（登録商標）２．１が、コンテンツ／データ転送のために使用され得、これは、４２Ｇｂ／秒データレートおよび８－１６ビット／色（ｂｐｃ）をサポートする。８ｐｂｃに関して、４Ｋ＠ｌ４４Ｈｚおよび／または８Ｋ＠３０Ｈｚが、サポートされ得る一方、１０ｂｐｃ（ＨＤＲ１０）に関して、４Ｋ＠ｌ４４Ｈｚおよび／または８Ｋ＠３０Ｈｚが、サポートされ得る。別の実施例では、ディスプレイポート１．４が、コンテンツ／データ転送のために使用され得、これは、２５．９２Ｇｂ／秒および８－１０ｂｐｃをサポートする。８ｐｂｃに関して、４Ｋ＠ｌ４４Ｈｚおよび／または８Ｋ＠３０Ｈｚが、サポートされ得る。さらに別の実施例では、ＵＳＢ－Ｃ３．１が、コンテンツ／データをディスプレイに転送するためのＤＰ１．４の代替として使用され得る。

現在のディスプレイは、色管理と、データ変換と、随意に、パネルのためのＬＥＤバックライトドライバとを提供する、ドライバボードを含み得る。ドライバボードは、低電圧差シグナリング（ＬＶＤＳ）、ＭＩＰＩインターフェース、またはｅＤＰを通して、処理されたデータをタイマコントローラ（ＴＣＯＮ）（例えば、図１ＢにおけるＴＣＯＮ１４０参照）に提供し得、ＴＣＯＮは、ひいては、ディスプレイ内のパネルを駆動する。ＬＶＤＳは、シリアルバスであって、ＭＩＰＩディスプレイシリアルインターフェース（ＤＳＩ）は、ＬＶＤＳを伝送方法として使用する、プロトコルである（ＭＩＰＩ ＤＳＩは、最大ｌ，４４０ｐ＠６０Ｈｚをハンドリングする）。

上記に述べられたように、現在のディスプレイまたはディスプレイシステムは、新興超高解像度ディスプレイパネル、高ダイナミックレンジディスプレイ、および明視野ディスプレイによって要求される帯域幅をハンドリングことが不可能であって、また、異なるタイプのコンテンツまたはデータをハンドリングする、その能力が限定される。例えば、複数のビューが可能性として考えられる、明視野ディスプレイに関して、１００個のビュー、１０ビット／ピクセル（ｂｐｐ）、および６０Ｈｚを伴う、４Ｋディスプレイ（例えば、３，８４０×２，１６０＝８，２９４，４００，００ピクセルを伴う、４Ｋ ＵＨＤ）は、４９７，６６４，０００，０００ビット（または６２，２０８，０００，０００バイト、６０，７５０，０００ｋバイト、５９，３２７ｍバイト）／秒を要求するであろう。異なるタイプのディスプレイ内の異なるタイプのコンテンツの効果的ハンドリングを可能にするためにディスプレイ内に実装される種々の技法が、図１Ａ－９に関連して下記にさらに詳細に説明される。

図１Ａは、１つ以上のデータストリーム１２５内のコンテンツ／データまたは他の情報（例えば、画像コンテンツ、ビデオコンテンツ、または両方）をソース１２０から受信する、ディスプレイ１１０の実施例を図示する、略図１００ａを示す。ディスプレイ１１０は、１つ以上のパネル（例えば、要素のアレイ）を含み得、ディスプレイ１１０内の各パネルは、発光パネル、光反射性パネル、光透過性パネル、光修正パネルである。発光パネルが、使用されるとき、それらは、複数の発光要素（例えば、図２Ａにおける発光要素２２５参照）を含むことができる。これらの発光要素は、１つ以上の半導体材料から作製される、発光ダイオード（ＬＥＤ）であることができる。ＬＥＤは、無機ＬＥＤであることができる。ＬＥＤは、例えば、マイクロＬＥＤ、ｍＬＥＤ、またはμＬＥＤとも称される、マイクロＬＥＤであることができる。そこから光放出要素が作製され得る、他のディスプレイ技術は、液晶ディスプレイ（ＬＣＤ）技術または有機ＬＥＤ（ＯＬＥＤ）技術を含む。用語「発光要素」、「光エミッタ」、または単に「エミッタ」は、本開示では同義的に使用され得る。非放出要素に関しては、用語「光反射性要素」、「光透過性要素」、または「光修正要素」が、使用され得る。

ディスプレイ１１０は、超高解像度能力（例えば、８Ｋおよびより高い解像度をサポートする）、高ダイナミックレンジ（例えば、高コントラスト）能力、および／または明視野能力（例えば、１つ以上のビューとして知覚される、光線に寄与することが可能である）を含む、能力を有することができる。ディスプレイ１１０が、明視野能力を有し、明視野ディスプレイとして動作することができるとき、ディスプレイ１１０は、複数のピクチャ要素（例えば、スーパーラクセル）を含むことができ、各ピクチャ要素は、同一半導体基板上に統合される、個別の光操向光学要素と、発光要素のアレイ（例えば、サブラクセル）とを有し、アレイ内の発光要素は、別個の群（例えば、ラクセル）の中に配列され、明視野ディスプレイによってサポートされる複数のビューを提供する（例えば、図２Ａ－２Ｃ参照）。

略図１００ｂが、図１Ａにおけるディスプレイ１１０およびソース１２０の付加的詳細を図示するために図１Ｂに示される。単一ソース１２０が、示されるが、ディスプレイ１１０は、１つ以上のデータストリーム１２５を複数のソース１２０から受信することが可能であり得ることを理解されたい。本実施例では、ソース１２０は、データストリーム１２５（例えば、コンテンツ／データまたは他の情報を伴う）をディスプレイ１１０内に統合されたディスプレイ処理回路網１３０に提供する。用語「ディスプレイ処理回路網」および「処理回路網」は、本開示では同義的に使用され得る。ディスプレイソースのための上記に説明される機能性に加え、ソース１２０は、映画または特殊カメラからの赤色－緑色－青色および深度（ＲＧＢＤ）データをストリーミングするように構成されることができ、また、コンピュータ生成されたコンテンツからのＲＧＢＤデータをレンダリングし得る。本点では、ソース１２０は、深度情報を伴うマルチカラーデータを提供し得、マルチカラーデータは、ＲＧＢデータに限定される必要はない。ソース１２０は、ＨＤＭＩ（登録商標）／ＤＰを通して、データストリーム１２５を提供し得、例えば、データストリーム１２５は、１０ビット高ダイナミックレンジ（ＨＤＲ）データ、またはＲＧＢＤデータ、もしくはある他のタイプのデータを含むことができる。

ディスプレイ処理回路網１３０は、そこから動作モードをディスプレイ処理回路網１３０によってサポートされる複数の動作モードから選択することになる、ポリシ（例えば、決定を誘導するためにディスプレイ処理回路網１３０の動作内に埋込される、ルールまたは原理）に基づいて、１つ以上のデータストリーム１２５を処理するように構成される。ディスプレイ処理回路網１３０は、ニューラルネットワークアーキテクチャ、固定関数論理信号処理アーキテクチャ、プログラマブルパイプラインアーキテクチャ、またはいくつかのこれらの組み合わせに基づき得る。故に、ディスプレイ処理回路網１３０は、１つ以上のニューラルネットワークを実装および実行し、ディスプレイ１１０による提示のためのデータストリーム１２５内の画像またはビデオコンテンツ（またはある他のタイプの情報）を修正する、タスクのセットを実施するように構成され得る。１つ以上のニューラルネットワークは、ディスプレイメモリ１３５内に記憶される、ディスプレイ処理回路網１３０内に記憶される、またはディスプレイ処理回路網１３０内にハードコーディングされる、複数の加重を使用することによって実装されることができる。ディスプレイメモリ１３５、またはその少なくとも一部は、ディスプレイ処理回路網１３０と統合されることができる。ディスプレイ処理回路網１３０によって実施され得る、タスクのセットは、色管理、データ変換、および／またはマルチビュー処理動作と関連付けられる、タスクを含み得る。ディスプレイ処理回路網１３０によって実施され得る、タスクは、さらに詳細に下記に説明される種々かつ可変のタスクより広範かつ詳細であり得ることを理解されたい。これらのタスクはそれぞれ、ディスプレイ処理回路網１３０内で個々に選択される／有効にされる、または選択解除される／無効にされることができる。ある場合には、実施されるべきタスクまたは複数のタスクは、１つ以上の動作モードをサポートするように構成され得る、ディスプレイ処理回路網１３０の動作モードに基づいて選択される。複数の動作モードが、サポートされるとき、ポリシコントローラ（図示せず）が、ディスプレイ処理回路網１３０によって使用され、適切な動作モードを識別および実施し得る。

図１Ｂにおける略図１００ｂに示されるように、ディスプレイ処理回路網１３０は、タイミングコントローラ（ＴＣＯＮ）１４０の機能性を含み得、これは、ひいては、１つ以上のバックプレーン１５０を通して、適切な情報および／またはシグナリングをピクセルの１つ以上のアレイ１５１に提供する。ＴＣＯＮ１４０はまた、破線によって図示されるように、外側に実装される、またはディスプレイ処理回路網１３０と別個であり得る。ある場合には、ディスプレイ処理回路網１３０のアーキテクチャは、ＴＣＯＮ１４０またはその機能性が、適切ではなく、したがって、ディスプレイ処理回路網１３０と併用されないであろうようなものである。一実施例では、１つ以上のバックプレーン１５０（またはそのサブセット）とピクセルの１つ以上のアレイ１５１（またはそのサブセット）の組み合わせは、ディスプレイのパネルと称され得る。ある場合には、複数のＬＹＤＳおよび／またはＭＩＰＩインターフェースが、情報をＴＣＯＮ１４０に転送するために使用され得る。同様に、ＴＣＯＮ１４０からバックプレーン１５０およびピクセルのアレイ１５１への情報またはシグナリングは、複数の矢印によって図示されるように、並列化され得る。バックプレーン１５０は、単一バックプレーン１５０または単一バックプレーンとして論理的に動作するバックプレーン１５０の群から成り得ることを理解されたい。同様に、ピクセルのアレイ１５１は、ピクセルの単一アレイ１５１またはピクセルの単一アレイとして論理的に動作するピクセルのアレイ１５１の群から成り得ることを理解されたい。

ソース１２０は、ＧＰＵ１６０および／またはＣＰＵ１６５を含むことができる。ＧＰＵ１６０およびＣＰＵ１６５は、ホストプロセッサ１５５の一部であることができ、これは、ディスプレイ１１０と別個に実装されることができる、またはディスプレイ１１０の一体型コンポーネントとして実装されることができる。後者の場合、ホストプロセッサ１５５（したがって、ソース１２０の少なくとも一部）は、ディスプレイ１１０の一部であり得る。ホストプロセッサ１５５は、さらなるタスクがデータストリーム１２５上で実施される、ディスプレイ処理回路網１３０に送信される前に、いくつかのタスクをデータストリーム１２５上で実施するように構成され得る。一実施例では、ホストプロセッサ１５５は、１つ以上のＨＤＭＩ（登録商標）またはディスプレイポート接続を介して、画像またはビデオコンテンツをディスプレイ１１０内のディスプレイ処理回路網１３０に伝送または転送することができる。ホストプロセッサ１５５は、１０ビット高ダイナミックレンジデータとして、赤色、緑色、青色、および深度情報（ＲＧＢＤ）を含む、画像またはビデオコンテンツを、ディスプレイ１１０内のディスプレイ処理回路網１３０に伝送または転送することができる。ホストプロセッサ１５５は、レンダリングされた画像、深度センサ、またはカメラアレイが、実世界画像またはビデオコンテンツを生産するためのラスタ化または光線トレーシングを実施するように構成されることができる。さらに、ホストプロセッサ１５５は、画像またはビデオコンテンツもしくはある他のタイプの情報のデータ圧縮を実施するように構成されることができる。

加えて、または代替として、ソース１２０は、データストリーム１２５を通してディスプレイ１１０に提供されるべきコンテンツ／データを記憶する、ハードディスク１７０を含むことができる。加えて、または代替として、ソース１２０は、コンテンツ／データを、インターネット接続１８１、無線接続１８２（無線インターネットを含む）、およびデータインターフェース１８３等の種々の入力または接続から受信するように構成される、受信機１８０を含むことができ、コンテンツ／データは、ディスプレイ１１０に提供されることになる。データインターフェース１８３は、デジタルビデオインターフェースを含むことができる。データインターフェース１８３は、例えば、ユニバーサルシリアルインターフェース（ＵＳＢ）（例えば、ＵＳＢ－ＣまたはＵＳＢＣ）および／またはビデオグラフィックアレイ（ＶＧＡ）インターフェースであることができる。ホストプロセッサ１５５と同様に、ハードディスク１７０および／または受信機１８０は、ディスプレイ１１０と別個に実装されることができる、またはディスプレイ１１０の一体型コンポーネントとして実装されることができる。

ディスプレイ１１０はまた、ディスプレイ処理回路網１３０が本明細書に説明される種々のタスクのうちの１つ以上のものに関連して使用し得る、情報を、ディスプレイ処理回路網１３０に提供し得る、１つ以上のセンサ１５５（例えば、オーディオセンサ、マイクロホン、カメラ、光センサ等）を含むことができる。例えば、ディスプレイ処理回路網１３０は、下記にさらに詳細に説明される、ユーザ追跡等の視認者特有の動作の一部として、センサ情報を使用することができる。本実施例では、１つ以上のセンサ１５５は、ユーザまたは視認者追跡を有効にすることが可能なセンサを含んでもよい。

図１Ｃは、複数のディスプレイ処理回路１３０を有するディスプレイ１１０の実施例を図示する、略図１００ｃを示す。本実施例では、ソース１２０は、データストリームｌ２５ａ、．．．、データストリーム１２５ｎ等の複数のデータストリームを、ディスプレイ１１０に提供することができる。これらのデータストリーム毎に、略図１００ｃでは、データストリームｌ２５ａが、ディスプレイ処理回路網ｌ３０ａによって受信および処理され、データストリーム１２５ｎが、ディスプレイ処理回路網１３０ｎによって受信および処理されるように、個別のディスプレイ処理回路網１３０が存在する。ディスプレイ処理回路ｌ３０ａ、．．．、１３０ｎはそれぞれ、対応するＴＣＯＮ１４０（またはＴＣＯＮ１４０の内蔵機能性）と、対応するバックプレーン１５０およびピクセルのアレイ１５１とを有する（但し、上記に述べられたように、ＴＣＯＮは、ディスプレイ処理回路網１３０のいくつかの実装では、必要ではない場合がある）。すなわち、ディスプレイ処理回路網ｌ３０ａは、ＴＣＯＮｌ４０ａを通して、データストリームｌ２５ａの修正から生じる処理されたコンテンツ／データを対応するバックプレーンｌ５０ａおよびピクセルのアレイｌ５ｌａに提供し得る。同様に、ディスプレイ処理回路網１３０ｎは、ＴＣＯＮ１４０ｎを通して、データストリーム１２５ｎの修正から生じる処理されたものを対応するバックプレーン１５０ｎおよびピクセルのアレイ１５１ｎに提供し得る。異なるディスプレイ処理回路１３０によってサポートされる、バックプレーン／ピクセルのアレイは、同一サイズであってもよい、または異なるサイズを備えてもよい。ディスプレイ処理回路ｌ３０ａ、．．．、１３０ｎはそれぞれ、ディスプレイメモリ１３５内に記憶される情報を使用してもよい。

略図１００ｃに図示される実施例では、複数のディスプレイ処理回路１３０、複数のバックプレーン１５０、および複数のピクセルのアレイ１５１は、ディスプレイ１１０と統合され得る。いくつかのインスタンスでは、そのような統合されたディスプレイ１１０は、例えば、無線通信デバイス、または接眼デバイス等のハンドヘルドデバイス、もしくははるかに大きいディスプレイの一部であってもよい。

図１Ｄは、ディスプレイ処理回路網１３０が１つを上回るディスプレイ１１０と併用されるように構成される場合を図示する、略図１００ｄを示す。本実施例では、ディスプレイ処理回路網１３０は、バックプレーンｌ５０ａと、ピクセルのアレイ１５１ａとを含む、第１のディスプレイ１１０ａ内で使用され得る一方、並行して、バックプレーンｌ５０ｂと、ピクセルのアレイ１５１ｂとを含む、第２のディスプレイ１１０ｂ内でも使用され得る。各ディスプレイは、その独自のメモリ（例えば、ディスプレイメモリ１３５）および／またはその独自のセンサ（例えば、センサ１５５）を含み得る。本実施例におけるディスプレイ処理回路網１３０は、処理するための１つ以上のデータストリーム１２５を受信し、表示のために、データストリーム（例えば、データストリーム内のコンテンツ／データ）への任意の修正を個別のバックプレーン／ピクセルのアレイに提供させ得る。

上記に説明されるように、ディスプレイ１１０は、超高解像度能力、高ダイナミックレンジ（コントラスト）能力、および／または明視野能力を含む、異なる能力を有することができる。ディスプレイ１１０が、明視野ディスプレイとして動作することができるとき、他のタイプのディスプレイが生産することが不可能であり得る、ユーザまたは視認者に見える複数のフィールドまたはビューの生成を可能にする、アーキテクチャ構成を有し得る。下記の図２Ａ－２Ｃは、明視野能力を可能にするアーキテクチャを有するディスプレイ１１０等のディスプレイ（例えば、明視野ディスプレイ）に関する付加的詳細を提供する。

図２Ａにおける略図２００ａは、ディスプレイが、明視野動作を可能にし、またはそのための能力をサポートし、そのような能力が、有効にされる、図１Ａ－１Ｄにおけるディスプレイ１１０の実施例である、明視野ディスプレイ２１０を示す。したがって、明視野ディスプレイ２１０は、１つ以上のディスプレイ処理回路１３０を含み、例えば、色管理、コンテンツまたはデータ変換、およびマルチビュー処理を含む、種々のタスクを実施し得る。明視野ディスプレイ２１０は、複数のピクチャ要素またはスーパーラクセル２２０を有し得る。本開示では、用語「ピクチャ要素」および用語「スーパーラクセル」は、明視野ディスプレイ内の類似構造ユニットを説明するために同義的に使用され得る。明視野ディスプレイ２１０は、異なるタイプの用途のために使用されることができ、そのサイズは、適宜、変動し得る。例えば、明視野ディスプレイ２１０は、いくつか挙げると、腕時計、接眼用途、電話、タブレット、ラップトップ、モニタ、テレビ、および広告板のためのディスプレイとして使用されるとき、異なるサイズを有することができる。故に、用途に応じて、明視野ディスプレイ２１０内のピクチャ要素２２０は、異なるサイズのアレイ、グリッド、または他のタイプの順序付けられた配列の中に編成されることができる。明視野ディスプレイ２１０のピクチャ要素２２０は、図１Ｂ－１Ｄに図示されるように、ピクセルのアレイの中に配列されることができる。

図２Ａに示される実施例では、ピクチャ要素２２０は、それ自体が発光要素２２５のアレイまたはグリッドを有する、アレイ内の各ピクチャ要素２２０を伴う、Ｎ×Ｍのアレイの中に編成または位置付けられることができる。

より具体的実施例では、従来的ディスプレイ内のピクセルがピクチャ要素２２０によって置換される、４Ｋ明視野ディスプレイに関して、ピクチャ要素２２０のＮ×Ｍのアレイは、約８３０００００個のピクチャ要素２２０を含む、２，１６０×３，８４０のアレイであり得る。ピクチャ要素２２０のそれぞれ内の発光要素２２５の数に応じて、４Ｋ明視野ディスプレイは、対応する従来的ディスプレイのものの１または２桁を上回る、解像度を有することができる。ピクチャ要素またはスーパーラクセル２２０が、赤色（Ｒ）光、緑色（Ｇ）光、および青色（Ｂ）光を生産する、発光要素２２５として、異なるＬＥＤを同一半導体基板上に含むとき、４Ｋ明視野ディスプレイは、統合されたＲＧＢ ＬＥＤスーパーラクセルから作製されると言われ得る。詳細に説明されないが、８Ｋまたはより大きい明視野ディスプレイもまた、類似アーキテクチャを使用して可能性として考えられる。

その対応する光操向光学要素２１５（図２Ｂにおける略図２００ｂに図示される一体型結像レンズ）を含む、明視野ディスプレイ２１０内のピクチャ要素２２０はそれぞれ、ディスプレイ解像度によって限定される、最小ピクチャ要素サイズを表すことができる。本点では、ピクチャ要素２２０の発光要素２２５のアレイまたはグリッドは、そのピクチャ要素のための対応する光操向光学要素２１５より小さくあることができる。しかしながら、実践では、ピクチャ要素２２０の発光要素２２５のアレイまたはグリッドのサイズが、対応する光操向光学要素２１５（例えば、マイクロレンズまたはレンズレットの直径）のサイズに類似し、これが、ひいては、ピクチャ要素２２０間のピッチ２３０と類似または同一であることも可能性として考えられる。

上記に述べられたように、ピクチャ要素２２０のための発光要素２２５のアレイの拡大されたバージョンが、略図２００ａの右に示される。発光要素２２５のアレイは、Ｐ×Ｑのアレイであることができ、Ｐは、アレイ内の発光要素２２５の行の数であって、Ｑは、アレイ内の発光要素２２５の列の数である。アレイサイズの実施例は、Ｐ≧５およびＱ≧５、Ｐ≧８およびＱ≧８、Ｐ≧９およびＱ≧９、Ｐ≧１０およびＱ≧１０、Ｐ≧１２およびＱ≧１２、Ｐ≧２０およびＱ≧２０、ならびにＰ≧２５およびＱ≧２５を含むことができる。ある実施例では、Ｐ×Ｑのアレイは、８１個の発光要素またはサブラクセル２２５を含む、９×９のアレイである。

ピクチャ要素２２０毎に、アレイ内の発光要素２２５は、空間および角度近接度に基づいて配分または群化され（例えば、論理的に群化され）、明視野ディスプレイ２１０によって視認者に提供される明視野ビューを生産することに寄与する、異なる光出力（例えば、指向性光出力）を生産するように構成される、発光要素２２５の別個かつ明確に異なる群（例えば、図２Ｃにおける発光要素２６０の群参照）を含むことができる。ラクセルの中へのサブラクセルまたは発光要素の群化は、一意である必要はない。例えば、組立または製造の際、ディスプレイ体験を最良に最適化する、特定のラクセルの中へのサブラクセルのマッピングが、存在し得る。類似再マッピングは、いったん展開されてから、例えば、異なる色の発光要素の明度および／または光操向光学要素の変化する特性における経時的変動を含む、ディスプレイの種々の部分または要素の劣化を考慮するために、ディスプレイによって実施されることができる。本開示では、用語「発光要素の群」および用語「ラクセル」は、明視野ディスプレイ内の類似構造ユニットを説明するために同義的に使用され得る。発光要素またはラクセルの種々の群の寄与によって生産される、明視野ビューは、視認者によって持続または非持続ビューとして知覚されることができる。

発光要素２２５のアレイ内の発光要素２２５の群はそれぞれ、光の少なくとも３つの異なる色（例えば、赤色光、緑色光、青色光、およびおそらくまた、白色光）を生産する、発光要素を含む。一実施例では、これらの群またはラクセルはそれぞれ、赤色光を生産する、少なくとも１つの発光要素２２５と、緑色光を生産する、１つの発光要素２２５と、青色光を生産する、１つの発光要素２２５とを含む。別の実施例では、これらの群またはラクセルはそれぞれ、赤色光を生産する、２つの発光要素２２５と、緑色光を生産する、１つの発光要素２２５と、青色光を生産する、１つの発光要素２２５とを含む。さらに別の実施例では、これらの群またはラクセルはそれぞれ、赤色光を生産する、１つの発光要素２２５と、緑色光を生産する、１つの発光要素２２５と、青色光を生産する、１つの発光要素２２５と、白色光を生産する、１つの発光要素２２５とを含む。

上記に説明される、種々の用途（例えば、異なるサイズの明視野ディスプレイ）のため、明視野ディスプレイ２１０に関連して説明される構造ユニットのうちのいくつかのサイズまたは寸法は、有意に変動し得る。例えば、ピクチャ要素２２０内の発光要素２２５のアレイまたはグリッドのサイズ（例えば、アレイまたはグリッドの直径、幅、または径間）は、約１０ミクロン～約１，０００ミクロンに及び得る。すなわち、ピクチャ要素またはスーパーラクセル２２０と関連付けられるサイズは、本範囲内にあり得る。本開示で使用されるような用語「約」は、公称値または公称値から１％、２％、３％、４％、５％、１０％、１５％、２０％、もしくは２５％以内の変動を示す。

別の実施例では、ピクチャ要素２２０内の発光要素２２５の各群のサイズ（例えば、群の直径、幅、または径間）は、約１ミクロン～約１０ミクロンに及び得る。すなわち、発光要素２２５（例えば、ラクセル２６０）の群と関連付けられるサイズは、本範囲内にあり得る。

さらに別の実施例では、各発光要素２２５のサイズ（例えば、発光要素またはサブラクセルの直径、幅、または径間）は、約０．４ミクロン～約４ミクロンに及び得る。同様に、各発光要素２２５のサイズ（例えば、発光要素またはサブラクセルの直径、幅、または径間）は、約１ミクロン未満であり得る。すなわち、発光要素またはサブラクセル２２５と関連付けられるサイズは、上記に説明される範囲内であり得る。

さらに別の実施例では、光操向光学要素２１５のサイズ（例えば、マイクロレンズまたはレンズレットの直径、幅、または径間）は、約１０ミクロン～約１，０００ミクロンに及び得、これは、ピクチャ要素またはスーパーラクセルのためのサイズの範囲に類似する。

図２Ｂでは、略図２００ｂは、上記に説明されるような対応する光操向光学要素２１５を伴う、ピクチャ要素２２０のアレイの一部の拡大図を図示する、明視野ディスプレイ２１０の別の実施例を示す。ピッチ２３０は、ピクチャ要素２２０間の間隔または距離を表し得、ほぼ光操向光学要素２１５のサイズ（例えば、マイクロレンズまたはレンズレットのサイズ）であり得る。

本実施例では、図２Ｂにおける明視野ディスプレイ２１０は、ピクチャ要素またはスーパーラクセル２２０の２，１６０×３，８４０のアレイを伴う、４Ｋ明視野ディスプレイであることができる。そのような場合、約１．５メートルまたは約５フィートの視認者距離に関して、光操向光学要素１１５のサイズは、約０．５ミリメートルであり得る。そのようなサイズは、約１弧分／ピクチャ要素のヒトの視力と一致し得る。本実施例における視認者の視野（ＦＯＶ）は、ピクチャ要素によって提供される視認角度未満（例えば、視認角度＞ＦＯＶ）であり得る。さらに、本実施例における４Ｋ明視野ディスプレイによって提供される、複数のビューは、ヒトの瞳孔の直径と一致する、４ミリメートル間隔を有することができる。これは、光操向光学要素２１５が、例えば、３１^２個の発光要素２２５を有するピクチャ要素２２０によって生産された出力光を操向することになり得る。故に、本実施例における４Ｋ明視野ディスプレイは、明視野相を伴う、持続視差を提供することができる。類似結果は、８Ｋまたはより大きいサイズの明視野ディスプレイによっても提供され得る。

図２Ｃにおける略図２００ｃは、明視野ディスプレイ（例えば、明視野ディスプレイ２１０）の一部の断面図を示し、図１Ａにおけるディスプレイ１１０が明視野ディスプレイとして構成されるときの、本開示に説明される構造ユニットのうちのいくつかを図示する。例えば、略図２００ｃは、それぞれ、対応する光操向光学要素２１５を有する、３つの隣接するピクチャ要素またはスーパーラクセル２２０ａを示す。本実施例では、光操向光学要素２１５は、ピクチャ要素２２０ａと別個と見なされ得るが、他のインスタンスでは、光操向光学要素２１５は、ピクチャ要素の一部と見なされ得る。

図２Ｃに示されるように、各ピクチャ要素２２０ａは、複数の発光要素２２５（例えば、複数のサブラクセル）を含み、異なるタイプのいくつかの発光要素２２５（例えば、いくつかのサブラクセル）は、群２６０の中に（例えば、ラクセルの中に）ともに群化されることができる。群またはラクセルは、中央ピクチャ要素２２０ａ内の最右群またはラクセルによって示されるように、特定の光線要素（光線）２０５に寄与する、種々の成分を生産することができる。異なるピクチャ要素内の異なる群またはラクセルによって生産された光線要素２０５は、明視野ディスプレイから離れた視認者によって知覚されるビューに寄与することができることを理解されたい。

図２Ｃに説明される付加的構造ユニットは、サブピクチャ要素２７０の概念であって、これは、同一タイプの（例えば、同一色の光を生産する）ピクチャ要素２２０ａの発光要素２２５の群化を表す。

明視野ディスプレイに関して、１つ以上のディスプレイ処理回路１３０は、ピクチャ要素２２０内の発光要素２２５または発光要素の群２６０を駆動するために使用される、コンテンツまたはデータを処理または修正するために使用されることができる。故に、図１Ａ－１Ｃに関連して上記に説明される、種々のアーキテクチャ特徴は、図２Ａ－２Ｃに関連して上記に説明されるアーキテクチャ特徴と組み合わせられ、明視野能力を伴う、向上されたディスプレイを提供することができる。本点では、ディスプレイ処理回路網１３０は、スーパーラクセルレベル（ピクチャ要素２２０）、ラクセルレベル（発光要素の群２６）、および／またはサブラクセルレベル（発光要素２２５）で適切な情報を生成するように構成され得る。すなわち、ディスプレイ処理回路網１３０は、１つ以上のタスクを実施しながら、データストリームを受信し、データストリームを修正するように構成され得、修正されたデータストリームは、アレイ内のピクセルが、それらが、スーパーラクセル、ラクセル、またはサブラクセルであるかどうかにかかわらず、適切な信号または命令を受信し、明視野ディスプレイの所望のビューまたは複数のビューを生産するために必要とされる、光線要素または光線２０５に寄与するように、信号または他の命令をバックプレーン１５０およびピクセルのアレイ１５１に提供するために使用され得る。

図２Ｄは、ディスプレイ２１０等の明視野ディスプレイ内のディスプレイ処理回路網１３０とバックプレーン１５０との間の統合の実施例を図示する、略図２００ｄを示す。示されるように、ディスプレイ処理回路網１３０は、１つ以上のバックプレーン１５０に結合され、これは、ひいては、ピクセルの１つ以上のアレイ１５１に結合される。

略図２００ｄ内のピクセルの１つ以上のアレイ１５１は、指向性ピクセルを含み得る。さらに、ピクセルの１つ以上のアレイ１５１内のピクセルの異なるサブセットは、異なる方向に向かって指向される光に寄与するように構成される。すなわち、ピクセルの１つ以上のアレイ１５１内のピクセルは、１つ以上の方向における光の異なる色および光の異なる強度に寄与するように構成される。

ピクセルの１つ以上のアレイ１５１は、１つ以上の層（図示せず）を含み得、各層は、光生産要素（例えば、発光要素２２５参照）、吸光要素、光反射性要素、光透過性要素、光修正要素、または光学要素のうちの１つ以上のものを含む。光学要素は、レンズ、光学障壁、導波管、光ファイバ、切替可能な光学系、指向性修正要素、偏光修正要素、または光分裂要素のうちの１つ以上のものを含む。

ディスプレイ処理回路網１３０は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル集積回路、中央処理ユニット、グラフィック処理ユニット、テンソル処理ユニット、ニューラルネットワーク集積回路、視覚処理ユニット、またはニューロモーフィックプロセッサのうちの１つ以上のものを含んでもよい。言い換えると、ディスプレイ処理回路網１３０は、ある形態の電子ハードウェアを含んでもよい。いくつかの実装では、ディスプレイ処理回路網はまた、ポリシおよび選択された動作モードに従って電子ハードウェアを動作させるために記憶された命令を含んでもよい。命令は、ソフトウェア、ファームウェア、または両方の形態である。ディスプレイ処理回路網１３０が記憶された命令を伴わずに動作し得る、実装が存在してもよい。例えば、動作の論理は、ＡＳＩＣまたはＦＰＧＡの中に構築されてもよく、ニューラルネットワークチップは、その論理をＡＳＩＣまたはＦＰＧＡ内に実装させ、その加重を記憶させるが、命令の必要はなくてもよい。

図２Ｅは、本開示の側面による、バックプレーン１５０にわたるディスプレイ処理回路網１３０の分布の実施例を図示する、略図２００ｅを示す。例えば、ディスプレイ処理回路網１３０内の電子ハードウェアは、１つ以上のバックプレーン１５０を横断して空間的に分散される、トランジスタレベル回路網を含む。いくつかの実装では、１つ以上のバックプレーン１５０を横断して分散される、トランジスタレベル回路網は、バックプレーン１５０の回路構成のトランジスタレベル回路網と同一基板上に形成される（例えば、図２Ｄにおける略図２００ｄ内のバックプレーン１５０内に形成される、ディスプレイ処理回路網１３０の部分２８０参照）。

略図２００ｅは、ディスプレイ処理回路網１３０内の電子ハードウェアが、バックプレーンを横断して空間的に分散される、複数の離散集積回路（ＩＣ）ユニット２８５を含み得、各ＩＣユニット２８５が、ピクセルのアレイのサブセットと関連付けられ得ることを示す。いくつかのインスタンスでは、ＩＣユニットは、同一機能性を実施するように構成される。他のインスタンスでは、ＩＣユニットは、異なる機能性を実施するように構成される。

別の実装では、ディスプレイ処理回路網１３０内の電子ハードウェアは、１つ以上のバックプレーン１５０を横断して空間的に分散される、複数のＩＣユニット２８５と、同様に１つ以上のバックプレーン１５０を横断して空間的に分散される、トランジスタレベル回路網とを含み得る。

ディスプレイ処理回路網１３０内の電子ハードウェアは、処理タスクを、空間的に、角度的に、時間的に、ランダム分布によって、到着順序によって、１つ以上のデータストリームと関連付けられるある他の順序によって、またはそれらの組み合わせによって分離する、回路の階層として実装されてもよい。回路の階層内の別個の処理タスクは、同時に、順次、または両方で処理されてもよい。略図２００ｅは、ＩＣユニットを使用して実装され得る、より高いレベルと、ＩＣユニット２８５のうちの１つ以上のものを使用して実装されるように示される、より低いレベルとを伴う、階層を示す。これは、例証的実施例としてのみ提供され、ディスプレイ処理回路網１３０のための階層配列の他の実装もまた、可能性として考えられることを理解されたい。

図３は、ディスプレイ内で使用されるデータを処理するための処理パイプラインの実施例を図示する、略図３００を示す。処理パイプラインは、コンテンツホストパイプライン３１０を含むことができ、これは、例えば、ホストプロセッサ１５５（またはソース１２０のある部分）等の処理ホストによって実施され得る、タスクの実施例を含む。処理パイプラインはまた、ディスプレイ側パイプライン３３０を含むことができ、これは、例えば、ディスプレイ１１０内のディスプレイ処理回路網１３０（または複数のディスプレイ処理回路１３０）等のディスプレイ内の処理エンジンによって実施され得る、タスクの実施例を含む。実施例は、処理ホストによって実施されるタスクとディスプレイ側上で実施されるタスクとの間の処理パイプライン分裂を示すが、処理ホストがディスプレイの中に統合されるとき、処理パイプライン全体が、ディスプレイ側上で実施されることができる。

コンテンツホストパイプライン３１０は、１つ以上のタスクを含むことができる。本実施例では、コンテンツホストパイプライン３１０は、随意に、レンダリング／捕捉３１５および／またはデータ圧縮３２０を含むことができ、これは、ホストプロセッサ１５５によって実施されることができる。上記に説明されるように、ホストプロセッサ１５５は、映画またはＲＧＢＤカメラからのＲＧＢＤデータをストリーミングすることができる、もしくはコンピュータ生成コンテンツからのＲＧＢＤデータをレンダリングすることができる。同様に、ホストプロセッサ１５５は、データ圧縮動作を実施し、ＨＤＭＩ（登録商標）／ＤＰ接続を通して、データストリーム１２５内のコンテンツ／データをディスプレイ処理回路網１３０に送信することが可能であり得る。

コンテンツホストパイプライン３１０が、ディスプレイ側で実施されるとき、ディスプレイ処理回路網１３０は、いくつかのアーキテクチャのうちの１つを使用して、タスクを実施することができる。一実施例では、ディスプレイ処理回路網１３０は、複数の加重の一意のセットを使用して、１つ以上のニューラルネットワーク（例えば、図５Ａおよび５Ｂ参照）を実装および実行し、タスクを実施し得る。ある場合には、単一ニューラルネットワークが、実装および実行されてもよい一方、他の場合では、複数のニューラルネットワークが、実装および実行されてもよい。

ディスプレイ側パイプライン３３０は、１つ以上のタスクを含むことができる。本実施例では、ディスプレイ側パイプライン３３０は、随意に、コンテンツ分類３４０、対応３５０、補間／超解像技術３６０、および／またはディスプレイ再マッピング３７０を含むことができる。加えて、ディスプレイ側パイプライン３３０はまた、ユーザ追跡３８０を含むことができ、これは、フィードバックを補間／超解像技術３６０およびディスプレイ再マッピング３７０の一方または両方に提供するために使用され得る。

コンテンツホストパイプライン３１０およびディスプレイ側パイプライン３３０に示される、種々のタスクは、特定の順序またはシーケンスで説明されるが、同一タスクまたは同一タスクのサブセットは、略図３００に示されるものと異なる順序またはシーケンスで実施されてもよいことを理解されたい。さらに、示されるタスクはそれぞれ、コンテンツホストパイプライン３１０およびディスプレイ側パイプライン３３０が、略図３００に示されるものより少ないタスクを含有し得るように、随意であり得る。加えて、略図３００は、例証として提供され、限定ではない。下記にさらに詳細に説明されるように、略図３００に示されるものと異なるタスクもまた、実施されてもよく、これらの異なるタスクは、略図３３０に説明されるタスクの側面または特徴を含んでもよく、および／または略図３００に説明されるタスクのうちのいくつかに加え、使用されてもよい。例えば、補間／超解像技術３６０の側面は、下記にさらに詳細に説明される、複数の変換タスクにおいて使用されてもよい。

ディスプレイ側パイプライン３３０に戻ると、コンテンツ分類３４０は個々のピクセル、２次元（２Ｄ）特徴、３次元（３Ｄ）特徴、画像タイプ、またはそれらの組み合わせを分類するために、寸法低減を提供することができる。一実施例では、コンテンツ分類３４０は、１つ以上の基準に基づいて、ソース（例えば、ソース１２０）からのコンテンツ（例えば、コンテンツ／データ１２５）の分類を提供し、そのような分類は、分類の結果と一致する適切な処理動作を識別するために使用されることができる。いくつかの実装では、コンテンツ分類３４０は、編集（カット）、照明、画像処理をもたらすカメラフレーミング（拡大／広角）、またはコンテンツのタイプ（スポーツ、映画、デスクトップ処理、ゲーム等）の高レベル特性、もしくは低レベル画像特徴を識別し得る。一実施例では、ディスプレイ処理回路網１３０が、ニューラルネットワークを使用するとき、ディスプレイ処理回路網１３０は、分類に応答して、複数の加重の一意のセットをディスプレイのメモリ（例えば、メモリ１３５）内に記憶される複数の加重の異なるセットから動的にロードするように構成されることができる。さらに、ディスプレイ処理回路網１３０は、次いで、複数の加重の一意のセットを使用して、１つ以上のニューラルネットワーク（例えば、図５Ａおよび５Ｂ参照）を実装および実行することができる。ある場合には、単一ニューラルネットワークが、実装および実行されてもよい一方、他の場合では、複数のニューラルネットワークが、実装および実行されてもよい。

上記に説明されるコンテンツ分類３４０は、以下、すなわち、用途（例えば、ゲーム、文書処理、スポーツ、遠隔会議等）別にコンテンツを分類する、対象（ヒト、テキスト、景色、屋内、屋外等）別にコンテンツを分類する、推定される深度、運動に基づいて、分類を実施する、場面パラメータ（例えば、照明、カメラ、幾何学形状）の推定／分類を実施する、および場面カット（例えば、変化、強度、運動の大きさに起因する）の推定を実施することのうちの１つ以上のものを含んでもよい。場面推定は、コンテンツ分類だけではなく、また、一般的深度／３Ｄ推定の両方に関連する。深度の推定は、各フレームが、分離して取り扱われず、付加的情報を使用して、穴を埋め、深度を運動から推定し、雑音を低減させること等を行う場合、よりロバストとなる。文書処理等のいくつかの用途では、２Ｄテキストに左右される傾向となり、その場合、コンテンツは、空間分解能、コントラスト、および視認性に焦点を当てて、ディスプレイ平面において視認されるように最適化される可能性が最も高い。遠隔会議は、人体に焦点を当てる傾向にあり、眼および口の詳細を捕捉することが、最も重要である。ゲームまたはスポーツ等の他の用途は、より動的であって、分類の目的のために、はるかに大きい範囲のコンテンツを有するであろう。実践では、ニューラルネットワークをデータの具体的クラス（例えば、顔、スポーツ、テキスト）上で訓練し、処理されているデータに基づいて、ランタイム時にニューラルネットワークによって必要とされる加重を切り替えることが可能性として考えられるであろう。

対応３５０は、ステレオマッチングまたはオプティカルフローのうちの１つ以上のものを実施することができる。補間／超解像技術３６０は、２Ｄ／３Ｄ変換または低ダイナミックレンジ／高ダイナミックレンジ（ＬＤＲ／ＨＤＲ）変換の一方もしくは両方を実施することができる。いくつかの実装では、対応３５０および補間／超解像技術３６０は、空間次元、時間的次元、または角度次元のうちの１つ以上のものに及び得る。

ディスプレイ再マッピング３７０は、受信されたコンテンツ／データがディスプレイの能力に直接マッピングされない場合、強度再マッピング、明度再マッピング、解像度再マッピング、アスペクト比再マッピング、色再マッピング、またはコンテンツ深度再マッピングのうちの１つ以上のものを実施することができる。

ディスプレイ再マッピング３７０は、補間／超解像技術３６０の補間部分のニューラルネットワーク実装において使用される加重の調節を提供し、１つ以上の知覚メトリック（例えば、ユーザ追跡３８０によって提供される知覚メトリック）を使用して、画像強度および不均衡をワーピングし、ディスプレイ深度予算内に適合させる、深度再マッピングを実施することができる。

別の側面では、ディスプレイ再マッピング３７０は、深度情報が利用可能である（例えば、コンテンツまたはデータが深度情報を含む）ときに適用可能である、深度再マッピング、または深度情報が利用不可能であるときに適用可能である、不均衡再マッピングを実施することができる。不均衡再マッピングは、ステレオ画像またはステレオビデオを含む、コンテンツまたはデータと併用されることができる。ある実装では、不均衡再マッピングは、深度情報に変換されてもよく、その場合、深度再マッピングは、不均衡再マッピングの変換の結果として実施されてもよい。

深度再マッピングに関して、明視野ディスプレイは、コンテンツが物理的ディスプレイの平面の近くに設置されるとき、３Ｄコンテンツを最高解像度および正確度で表すことができる。ディスプレイ平面のますます背後またはディスプレイのますます正面となる、コンテンツは、低減された解像度および正確度を伴ってのみ表され、表示されることができる。表示されるべき場面の一部が、ディスプレイ平面から遠い場合、多くの場合、ぼけて現れる。深度再マッピングのプロセスは、場面の一部がディスプレイ平面のより近くに移動されるように、場面の３Ｄ構造の修正を伴う。これを達成するためのいくつかの方法は、場面全体または場面内の個々のオブジェクトを移動させる、場面またはオブジェクトのサイズを均一にスケーリングする、場面またはオブジェクトの深度方向のみをスケーリングする、もしくは場面全体または場面の一部のための非線形空間変換を適用することを含む。

ディスプレイ再マッピング３７０は、ディスプレイのパラメータまたはディスプレイの能力の一方もしくは両方と関連付けられる、１つ以上の再マッピングパラメータに基づき得、ディスプレイのパラメータまたはディスプレイの能力の一方もしくは両方は、空間解像度、角解像度、ダイナミックレンジ、または視野のうちの１つ以上のものを含む。言い換えると、着信コンテンツまたはデータが、空間解像度、角解像度、ダイナミックレンジ、および／または視野（またはディスプレイの他の類似パラメータもしくは能力）内に適合しないとき、ディスプレイ再マッピング３６０は、コンテンツまたはデータをディスプレイの物理的および性能限界により良好に適合させるように実施され得る。

ディスプレイ処理回路網１３０が、１つ以上のニューラルネットワークを実装および実行し、ディスプレイ側パイプライン３３０内でタスクを実施するために使用されるとき、ディスプレイ処理回路網１３０は、１つのニューラルネットワークを実装および実行し、ディスプレイ再マッピング３７０および１つ以上の付加的ニューラルネットワークを実施し、ディスプレイ側パイプライン３３０内で他のタスクのいずれかまたは全てを実施し得る。

別の側面では、ディスプレイ処理回路網１３０は、単一ニューラルネットワークを実装および実行し、コンテンツ分類３４０、補間／超解像技術３６０、およびディスプレイ再マッピング３７０を実施することができる。単一ニューラルネットワークを使用することによって、これらのタスクは全て、別個かつシーケンシャルなニューラルネットワーク動作として実施される代わりに、単一ニューラルネットワーク動作に組み合わせられることができる。

ユーザ追跡３８０は、予期される視認位置に関する算出リソースおよび知覚メトリックの最適化を提供し、例えば、センサフィードバックに基づき得る。

実施され得る、広範囲の可能性として考えられるタスクに照らして、本開示は、ディスプレイ上での、すなわち、ＣＰＵ／ＧＰＵまたはある他のソースからのデータ転送後の、画像およびビデオ処理のために、ニューラルネットワークの使用を提案する。ニューラルネットワークは、種々の用途のために、コンピュータビジョンおよびカメラ中心タスクにおける画像処理のための最先端の品質を実証しているが、これらの技法は、ディスプレイ中心処理のためにはまだ使用されていない。故に、本開示は、本明細書に説明されるいくつかの具体的タスクをディスプレイ上で実施するために、ニューラルネットワークの使用を提案する。これらの具体的タスクまたはアルゴリズムは、ディスプレイ上の専用プロセッサ、すなわち、ＰＵ（処理ユニット）またはディスプレイ処理ユニット（ＤＰＵ）とも称され得る、ディスプレイ処理回路網１３０上に実装されることになる。本明細書に説明されるようなディスプレイ中心タスクを使用することによって、帯域幅を節約し、可能な限り少ないコンテンツ／データをソース１２０（例えば、ＣＰＵ１６５／ＧＰＵ１６０）からディスプレイ１１０に伝送することが可能性として考えられ得る。

図１Ｂおよび１Ｃに関連して上記に説明されるように、１つ以上のディスプレイ処理回路１３０は、ディスプレイ１１０または複数のディスプレイ１１０上にインストールもしくは統合されることができ、これらのディスプレイ処理回路１３０は、プログラマブルであることができ、ある場合には、ニューラルネットワーク特有の算出のため等の具体的アーキテクチャのためのハードウェア加速を含む、ハードウェア加速を提供し得る。ニューラルネットワークアーキテクチャ（ディスプレイ処理回路網１３０はまた、固定関数論理信号処理アーキテクチャまたはプログラマブルパイプラインアーキテクチャを使用し得る）を使用するとき、ディスプレイ処理回路網１３０は、カスタム設計チップであってもよい、または汎用ニューラルネットワークアクセラレータ（例えば、Ｇｏｏｇｌｅのテンソル処理ユニットまたはＩｎｔｅｌのＭｏｖｉｄｉｕｓチップ）を使用して実装されてもよい。別の実施例では、ディスプレイ処理回路網１３０は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ＡＲＭプロセッサ、またはＧＰＵ内に実装されることができる。これらの場合のいずれかでは、ディスプレイ処理回路網１３０は、本明細書に説明される種々のタスク（コンテンツホストパイプライン３１０および／またはディスプレイ側パイプライン３３０内のタスクを含む）および／または他のディスプレイ関連タスクを含む、ディスプレイ中心画像またはビデオ処理のために使用されてもよい。

図４は、ディスプレイ１１０内のディスプレイ処理回路網１３０のアーキテクチャの一実施例を図示する、ブロック図４００を示す（下記の図８は、ディスプレイ処理回路網１３０のための別のアーキテクチャを説明する）。ディスプレイ処理回路網１３０は、入力コンポーネント４１０と、処理コンポーネント４２０と、出力コンポーネント４３０とを含むことができる。入力コンポーネント４１０は、ソースからのコンテンツ（例えば、ソース１２０からの１つ以上のデータストリーム１２５内のコンテンツ／データまたは他の情報）を受信するように構成される。処理コンポーネント４２０は、１つ以上のニューラルネットワークを実装および実行し、データストリーム１２５を修正し、ディスプレイ１１０による提示のためのデータおよび／またはシグナリングを伴う、修正されたデータストリーム４５０を生成する、タスクのセットを実施するように構成される。１つ以上のニューラルネットワークは、畳み込みニューラルネットワークを含むことができる。畳み込みニューラルネットワークは、１つ以上の畳み込み層から成る。畳み込みニューラルネットワークはまた、１つ以上のダウンサンプリング層を含んでもよい。随意に、畳み込み層および／またはサブサンプリング層の後に、全結合層が続くことができる。畳み込みニューラルネットワークは、例えば、関連付けられる２Ｄ、３Ｄ、４Ｄ、または５Ｄ畳み込み動作を実施するために使用されることができる。

１つ以上のデータストリーム１２５が、例えば、画像を含むとき、１つ以上のデータストリーム１２５の修正は、処理コンポーネント４２０によって、画像全体もしくは画像の１つ以上の部分上で選択的に実施されることができる。

処理コンポーネント４２０は、１つ以上のニューラルネットワークの実装を可能にする、処理エンジン４２５を含むことができる。一実施例では、処理エンジン４２５は、それを用いて加重の異なるセットに基づいて異なるニューラルネットワーク構成を実装することになる、動的に構成可能なファブリックを含む。異なる構成は、異なる数の層、ノード、および／または加重を有し得る。ニューラルネットワークは、ディスプレイメモリ１３５内に記憶され、ディスプレイ１１０に提供される、加重を使用して、処理コンポーネント４２０および／または処理エンジン４２５内に実装される。出力コンポーネント４３０は、修正されたコンテンツ（例えば、修正されたデータストリーム４５０）をディスプレイ１１０内の個別のバックプレーン１５０およびピクセルのアレイ１５１に提供するように構成される。

上記に説明されるように、ディスプレイ処理回路網１３０（および処理エンジン４２５）は、動作前および／または動作の間、動的にプログラムまたは構成されることができる。したがって、ディスプレイ処理回路網１３０は、ディスプレイ処理回路網１３０によって実施されるべき種々のタスクに従って処理コンポーネント４２０および／または処理エンジン４２５を構成する、構成コンポーネント４４０を含むことができる。ある側面では、構成コンポーネント４４０は、ニューラルネットワーク加重の１つ以上のセットをディスプレイメモリ１３５から受信または取得し、加重をプログラマブル加重コンポーネント４４５等の内部メモリ構造内に記憶することができる。プログラマブル加重コンポーネント４４５内の加重は、異なるニューラルネットワーク構成を処理コンポーネント４２０および／または処理エンジン４２５内にプログラムするために使用されることができる。

ある側面では、構成コンポーネント４４０は、入力コンポーネント４１０から、データストリーム１２５と関連付けられる情報を受信し得る。構成コンポーネント４４０は、出力コンポーネント４３０から、修正されたコンテンツ／データ４５０と関連付けられる情報を受信し得る。構成コンポーネント４４０は、それが受信する情報に基づいて、特定のタスク（または特定のセットのタスク）のために使用すべき加重のセットを判定し得る。言い換えると、構成コンポーネント４４０は、入力情報および／または出力情報を使用して、条件付き基準を判定し、加重の最も適切なセット、その結果、あるタスクのために使用するための最も適切なニューラルネットワーク構成を判定し得る。例えば、ディスプレイ１１０による提示のための処理コンポーネント４２０によるデータストリーム１２５の修正または処理は、少なくとも部分的に、コンテンツ自体、推定される突極性、または（例えば、１つ以上のセンサ１５５からの）知覚メトリックに基づき得る。突極性に関して、ディスプレイ処理回路網１３０の一側面は、注意をそれ自体に引き付け得る、低ビットレートＪＰＥＧ圧縮における直線縁ブロック等のスプリアス突極性キューを導入し得る、圧縮／ディスプレイアーチファクトを最小限にすることである。

処理コンポーネント４２０は、図３における略図３００内のディスプレイ側パイプライン３３０に関連して上記に説明されるタスク、ならびに下記に説明されるタスクのうちの１つ以上のものを含む、１つ以上のタスクを実施するように構成される。

例えば、処理コンポーネント４２０、したがって、ディスプレイ処理回路網１３０は、画像およびビデオ超解像技術（例えば、補間／超解像技術３６０またはある他のタスクの一部として）を実施するように構成されることができる。画像およびビデオ超解像技術は、単一２Ｄ画像、ビデオ、または複数の画像もしくはビデオを入力としてとり、単一高解像度画像または高解像度ビデオを出力として生成することによって、本データの解像度またはピクセル数を改良する、技法を指し得る。本技法は、入力画像またはビデオがディスプレイより低い解像度を有するとき、必要である。既存のディスプレイは、超解像技術用途のために、線形または三次アップサンプリング等の単純アルゴリズムを使用し得る。しかしながら、ニューラルネットワーク技法を使用することによって、より広い範囲のアルゴリズムが、使用され得る。さらに、ニューラルネットワークは、大訓練データセットから学習された自然画像統計を適用することによって、単純補間に優り得る。ニューラルネットワークは、独立して、例えば、低解像度／高解像度対、または対応するＲＧＢ、ＲＧＢＤ、ステレオ、明視野データ上で訓練され得る。訓練のために使用される、データは、合成または記録され得る。また、複数のタスクを単一ネットワークの中に組み込むことによって、ネットワークを全体として訓練することが可能性として考えられる。

別の実施例では、処理コンポーネント４２０、したがって、ディスプレイ処理回路網１３０は、低ダイナミックレンジ／高ダイナミックレンジ（ＬＤＲ／ＨＤＲ）画像およびビデオ変換を実施するように構成されることができる。従来の画像およびビデオコンテンツは、カラーチャネルあたり８ビット、すなわち、赤色、緑色、および青色カラーチャネル毎に８ビットを使用して、デジタル的にエンコーディングされる。新興高コントラストまたは高ダイナミックレンジディスプレイ（例えば、高コントラストまたは高ダイナミックレンジ能力を有する、ディスプレイ１１０）は、ディスプレイによってアドレス指定可能な輝度／色／強度値の範囲を適正にエンコーディングするために、カラーチャネルあたりより多くのビットを要求する。十分なビット深度がない場合、輪郭化等の強度／色アーチファクトが、観察可能となるであろう。高ダイナミックレンジ画像およびビデオは、典型的には、チャネルあたり１０、１６、または３２ビットでエンコーディングされて生産されることができるが、本フォーマットにおけるコンテンツは、現在、稀であって、全てのディスプレイデータ通信規格が、これらのデータフォーマットをサポートするわけではない。旧来の低ダイナミックレンジ画像またはビデオを高ダイナミックレンジ画像またはビデオに変換するためのアルゴリズムいくつかのが、画像およびビデオ処理のために提案されているが、これらのアルゴリズムは、限界を有し得る。処理コンポーネント４２０内に実装されるニューラルネットワークを使用することによって、広範囲のディスプレイ中心ＬＤＲ／ＨＤＲ動作をディスプレイ上で直接実施することが可能である。アルゴリズムの入力は、単一低ダイナミックレンジ画像、複数の低ダイナミックレンジ画像、または低ダイナミックレンジビデオであって、出力は、単一高ダイナミックレンジ画像またはビデオであろう。

別の実施例では、処理コンポーネント４２０、したがって、ディスプレイ処理回路網１３０は、深度推定を単一画像またはビデオから実施するように構成されることができる。明視野または眼鏡なし３Ｄディスプレイは、典型的には、３Ｄ画像コンテンツ、例えば、深度情報または明視野画像もしくはビデオを入力として伴う、画像またはビデオを要求する。旧来の２Ｄ画像またはビデオは、通常、本情報を提供しない。処理コンポーネント４２０は、ニューラルネットワークをディスプレイ上で使用して、単一２Ｄ画像またはビデオを入力としてとり、フレーム毎に本画像またはビデオの深度情報を推定するように構成され得る。出力は、したがって、深度マップまたは深度情報のビデオであって、カメラまたは視認者までのピクセル毎の距離を与える。本深度情報は、次いで、直接使用される、または明視野合成のためにさらに処理され得る。

別の実施例では、処理コンポーネント４２０、したがって、ディスプレイ処理回路網１３０は、明視野合成を単一画像またはビデオから実施するように構成されることができる。明視野ディスプレイは、複数の異なる画像をディスプレイの異なる方向に表示することを目的として、光線または光束を物理的にアドレス指定する（例えば、図２Ｃにおける光線２０５参照）。これは、１人または複数のユーザによるコンテンツの眼鏡なし３Ｄ視認を可能にする、もしくは、また、ユーザが、その眼を、ディスプレイの物理的距離だけではなく、異なる距離にも遠近調節（例えば、合焦）させることを可能にし得る、もしくはユーザの視覚的欠点が補正されること（例えば、近視、遠視、老眼、または他の光学収差の処方箋補正）を可能にし得る。

明視野は、ディスプレイの表面（例えば、通常のディスプレイにおけるようなピクセル）にわたって変動する、強度および色情報を含有するが、ピクセル毎に、明視野はまた、指向性情報を含有する。すなわち、ディスプレイピクセルは、異なる強度または色を異なる方向に放出することが可能である。図２Ａ－２Ｃに示されるように、明視野ディスプレイは、ピクチャ要素２２０（スーパーラクセル）、発光要素２６０（ラクセル）の群、および発光要素２２５（サブラクセル）を有することができる。明視野ディスプレイは、個々の発光要素２２５、発光要素２６０の群、およびピクチャ要素２２０のために、異なる強度または色を異なる方向に制御し得る。

明視野は、専用明視野カメラを用いて記録される、またはコンピュータ生成されることができる。しかしながら、大部分の既存のコンテンツは、明視野フォーマットにおいて利用不可能である。処理コンポーネント４２０は、ディスプレイ上でのニューラルネットワークの使用が、２Ｄ画像またはビデオを入力としてとり、明視野画像またはビデオをそれから直接算出するように構成されることができる。これは、直接、ニューラルネットワークを使用して、または複数の段階において、行われ得、各段階は、ニューラルネットワークまたは別のアルゴリズムを使用し得る。これらの段階は、以下の動作、すなわち、（ａ）単一画像またはビデオからの深度推定（上記に説明されるように）、（ｂ）ビューワーピングまたは深度ベースの画像ワーピング、（ｃ）穴埋め、（ｄ）色または強度処理、もしくは（ｅ）ビューインターレースのうちの１つ以上のものを含むことができるが、これらに限定ではない。

別の実施例では、処理コンポーネント４２０、したがって、ディスプレイ処理回路網１３０は、明視野合成を画像および深度またはビデオおよび深度から実施するように構成されることができる。しかしながら、上記に説明される概念と同様に、２Ｄ画像またはビデオを入力としてとり、明視野を出力する代わりに、処理コンポーネント４２０は、深度情報を伴う単一２Ｄ画像、深度情報を伴う複数の２Ｄ画像、または深度情報を伴う３Ｄビデオのいずれかを入力としてとり、明視野画像またはビデオを出力することによって、明視野合成のためにニューラルネットワークを使用するように構成されることができる。段階は、請求項４に説明されるものと同一である、上記に説明されるものと同一または類似し得るが、情報がすでに提供されている、すなわち、以前に算出されているか、ＧＰＵからストリーミングされているか、または別様にアプリケーションによって提供されているかのいずれかであるため、単一画像またはビデオからの深度推定は、必要ない場合がある。

別の実施例では、処理コンポーネント４２０、したがって、ディスプレイ処理回路網１３０は、明視野合成をステレオ画像またはビデオから実施するように構成されることができる。これは、再び、上記に説明される概念に類似するが、この場合、深度情報を伴う２Ｄ画像またはビデオもしくは２Ｄ画像またはビデオを入力としてとる代わりに、処理コンポーネント４２０は、ステレオ対の画像またはビデオを入力としてとることによって、明視野合成のためのニューラルネットワークを使用するように構成されることができる。本タイプのコンテンツは、立体視ディスプレイと併用するために広く利用可能であって、画像対はそれぞれ、それぞれ、ユーザの左または右眼のために１つの画像をエンコーディングする。本タイプのコンテンツを明視野に変換するための必要なステップは、ステレオ画像／深度変換後、次いで、（ｂ）ビューワーピングまたは深度ベースの画像ワーピング、（ｃ）穴埋め、（ｄ）色または強度処理、および／または（ｅ）ビューインターレースが続く、またはステレオ画像からの直接明視野ビュー合成後、次いで、（ｃ）穴埋め、（ｄ）色または強度処理、および／または（ｅ）ビューインターレースが続くことのいずれかを含んでもよい。代替として、本変換は、ニューラルネットワークを使用して、単一ステップにおいて行われることができる。

別の実施例では、処理コンポーネント４２０、したがって、ディスプレイ処理回路網１３０は、ビデオ運動および形状の時間的追跡を実施するように構成されることができる。画質は、ビデオ内のフレームを横断して運動を追跡することによってさらに改良されることができる。本情報は、高リフレッシュレートを伴ってディプレイのための時間的フレームレートをアップサンプリングする、圧縮アーチファクトを低減させる、または３Ｄ穴を埋める（例えば、穴埋め）ために使用され得る。３Ｄまたは明視野データに関して、追跡アルゴリズムは、２Ｄおよび３Ｄ深度特徴の両方を利用して、より正確な時間的対応を確立し得る。対応される特徴の検出および補間もまた、ニューラル－ネットワークベースのアーキテクチャを利用してもよい。

別の実施例では、処理コンポーネント４２０、したがって、ディスプレイ処理回路網１３０は、明視野ビューのインターレースならびに明視野強度および色処理を実施するように構成されることができる。処理コンポーネント４２０は、明視野のディスプレイ中心ニューラルネットワークベースの処理を実施することができ、これは、強度または色処理、ホワイトバランス、ビューインターレース、ディスプレイパネル内のマイクロ光学系のビネット補正、トーンマッピング、または他のディスプレイパネル特有の処理を含んでもよい。

別の実施例では、処理コンポーネント４２０、したがって、ディスプレイ処理回路網１３０は、ユーザ、頭部、または眼追跡（例えば、センサ１５５を使用することによって）に伴って、視認者特有または視線随伴性処理を実施するように構成されることができる。上記に説明される処理タスクのそれぞれおよび下記にさらに詳細に説明されるものもまた、ユーザの具体的位置、頭部配向、または視線方向を把握することから利点を享受し得る。例えば、全ての３Ｄ画像処理は、ディスプレイまたはその視線方向に対するユーザの位置が把握される場合、加速される、または品質が改良され得る。ユーザ位置、頭部配向、または視線方向は、１つ以上のカメラもしくは他のセンサの使用を用いて推定され得る。顔および／またはユーザの検出もまた、ニューラルネットワーク処理を活用してもよい。

さらに、処理コンポーネント４２０は、ディスプレイ１１０内の１つ以上のセンサ１５５からの情報をさらに受信するように構成されることができ、情報は、ディスプレイ環境の明度または色のうちの１つ以上のものを含み、情報は、データストリーム１２５を修正し、ディスプレイ１１０による提示のための修正されたデータストリーム４５０を生産する、タスクのセットを実施するステップと併用されることができる。

図４に戻ると、処理コンポーネント４２０内の処理エンジン４２５は、ディスプレイ処理回路網１３０が本開示に説明される種々のタスクを実施するために使用する、１つ以上のニューラルネットワークを実装および実行するために使用されることができる。図５Ａおよび５Ｂにおける略図５００ａおよび５００ｂは、それぞれ、処理エンジン４２５内で実装および実行される、ニューラルネットワークの実施例を図示する。ニューラルネットワークのこれらの実施例およびその変形例もまた、図８に関連して下記に説明される、ディスプレイ処理回路網１３０のアーキテクチャによって実装されてもよい。１つの実装では、処理エンジン４２５は、例えば、図４に示される構成コンポーネント４４０内のプログラマブル加重コンポーネント４４５からのニューラルネットワーク加重の異なるセットを使用することによって、動的に構成可能またはプログラマブルである、プログラマブルニューラルネットワークファブリック５１０を含むことができる。

一般に、ニューラルネットワークは、数の集合であり得る入力を、１つ以上の相互接続層に、最終的に、出力層に接続する。層への入力は、前の層、またはある他のより前の層（スキップまたは残差接続）、もしくは後の層（再帰接続）から生じることができる。入力は、随意に、数値加重で乗算されることができる。随意に加重された入力の和は、シグモイド関数または正規化線形ユニット（ＲｅＬＵ）等の非線形活性化層に渡され得る。例えば、入力の最大値または最小値を求めることによって、もしくはそれらを総和することによって、もしくはそれらを平均することによって、いくつかの値を単一値に組み合わせる、随意のプーリング層が、存在することができる。１つ以上の出力が、それぞれ、その独自のセットの加重、非線形性、およびプーリングを伴う層に、存在することができる。

略図５００ａは、プログラマブルニューラルネットワークファブリック５１０内で実装および実行され得る、ニューラルネットワーク構成の実施例の結合を示す。

ある実施例では、入力層と、第１の中間層（隠れ層１）と、第２の中間層（隠れ層２）と、出力層とを含む、第１のニューラルネットワーク構成（構成１ ５１５）が、示される。これらの層はそれぞれ、個別のノード毎に円形によって略図５００ａ内に表される、１つ以上のノードを含むことができる。例えば、入力層は、３つのノードを有し、隠れ層１は、４つのノードを有し、隠れ層２は、４つのノードを有し、出力層は、３つのノードを有する。本構成を実装するためにプログラマブルニューラルネットワークファブリック５１０によって使用される、加重の特定のセットは、各層内のノードの数および１つの層内のノードと別の層内のノードとの間の関係を確立する。これらの関係は、別個の層内の任意の２つの特定のノードを接続する線によって略図５００ａ内に表される。

別の実施例では、入力層と、第１の中間層（隠れ層１）と、第２の中間層（隠れ層２）と、第３の中間層（隠れ層３）と、出力層とを含む、第２のニューラルネットワーク構成（構成２ ５２０）が、示される。これらの層はそれぞれ、１つ以上のノードを含むことができる。例えば、入力層は、４つのノードを有し、隠れ層１は、６つのノードを有し、隠れ層２は、４つのノードを有し、隠れ層３は、３つのノードを有し、出力層は、１つのノードを有する。本構成を実装するためにプログラマブルニューラルネットワークファブリック５１０によって使用される、加重の特定のセットは、各層内のノードの数および１つの層内のノードと別の層内のノードとの間の関係を確立する。故に、構成１ ５１５を実装するために使用される、加重のセットは、構成２ ５２０を実装するために使用される加重のセットと異なる。

略図５００ｂは、プログラマブルニューラルネットワークファブリック５１０が１つを上回るニューラルネットワークを実装および実行するために使用され得る、別の実施例を示す。本実施例では、２つのニューラルネットワーク構成、すなわち、構成３ ５２５ａおよび構成４ ５２５ｂが、示され、これは、プログラマブルニューラルネットワークファブリック５１０内に実装されることができる。例証目的のためにのみ、構成３ ５２５ａおよび構成４ ５２５ｂは、略図５００ａにおいて構成１ ５１５に類似する。しかしながら、実装および実行され得る、構成および構成の数は、変動し得る。さらに、構成３ ５２５ａおよび構成４ ５２５ｂは、並行して、実装され、順次、実施または実行されることができる（例えば、構成３ ５２５ａが、最初に実施され、その出力は、次に実施される、構成４ ５２５ｂへの入力として提供される）、またはそれらは、順次、実装および実行されることができる（例えば、構成３ ５２５ａが、最初に実装され、最初に実行され、その出力は、次に実装され、次に実行される、構成４ ５２５ｂへの入力として記憶および提供される）。類似アプローチは、実装されるべきニューラルネットワークの数が２を上回るとき、使用され得る。

図５Ａおよび５Ｂに示される実施例は、例証として提供され、限定ではなく、多くの異なる構成のニューラルネットワークが、プログラマブルニューラルネットワークファブリック５１０内で実装および実行されることができる。すなわち、特定のニューラルネットワーク構成内で必要とされる、層内のノードの数および層の数（すなわち、使用されている加重のセット）は、実施されているタスクおよびタスクを実施するための条件に従って変動し得る。さらに、順次、実装および／または実行され得る、ニューラルネットワークの数およびサイズ（例えば、層の数および／または層あたりのノード）は、プログラマブルニューラルネットワークファブリック５１０の能力に依存し得る。例えば、プログラマブルニューラルネットワークファブリック５１０が、大ニューラルネットワーク構成をサポートし得る場合、複数のタスクが、単一またはいくつかのニューラルネットワークに組み合わせられてもよい。他方では、プログラマブルニューラルネットワークファブリック５１０が、限定されたサイズのニューラルネットワーク構成をサポートし得る場合、異なるタスクは、分離され、個別のニューラルネットワーク構成を使用して、独立して、かつ順次、実装されてもよい。

図５Ａおよび５Ｂにおける略図５００ａおよび５００ｂの別の側面では、各ニューラルネットワーク構成は、異なるタイプの層および／または接続を含むことができる。例えば、構成は、少なくとも１つの畳み込み層、少なくとも１つの全結合層、少なくとも１つの非線形活性化層、少なくとも１つのプーリング層、少なくとも１つのアップサンプリング層、少なくとも１つのダウンサンプリング層、少なくとも１つのスキップまたは残差接続、少なくとも１つの稠密接続、もしくは少なくとも１つのフィードバック接続を含むことができる。

プログラマブルニューラルネットワークファブリック５１０内のおよびそれによるニューラルネットワークの実装および実行の別の側面では、処理されているデータストリーム１２５内のコンテンツ／データまたは他の情報が、時間的ビデオコンテンツを含むとき、１つ以上のニューラルネットワークは、時間的ビデオコンテンツのフレーム間のある情報を維持する、再帰ニューラルネットワークを含むことができる。

プログラマブルニューラルネットワークファブリック５１０内のおよびそれによるニューラルネットワークの実装および実行のさらに別の側面では、処理されているデータストリーム１２５内のコンテンツ／データまたは他の情報が、時間的ビデオコンテンツを含むとき、１つ以上のニューラルネットワークは、少なくとも部分的に、時間的ビデオコンテンツで訓練される、オンボードネットワークを含むことができる。

プログラマブルニューラルネットワークファブリック５１０内のおよびそれによるニューラルネットワークの実装および実行のさらに別の側面では、直近のフレームに基づいて、使用されている加重のうちの１つ以上のものをオンザフライで修正または変更し、１つ以上のニューラルネットワークを現在の場面コンテンツに適合させることが可能である。この場合、適合されるニューラルネットワークによって実施され得る、タスクのタイプは、補間、超解像技術、または両方を含み得、補間タスクは、空間補間、角度補間、または時間的補間のうちの１つ以上のものを含むことができる。

プログラマブルニューラルネットワークファブリック５１０内のおよびそれによるニューラルネットワークの実装および実行のさらに別の側面では、データストリーム１２５内のコンテンツ／データまたは他の情報が、複数のフレームを含むとき、１つ以上のニューラルネットワークによって実施されるタスクのセットは、複数のフレームを組み合わせ、経時的に整合させることによる、場面の持続的３Ｄモデルの推定を含むことができる。

プログラマブルニューラルネットワークファブリック５１０内のおよびそれによるニューラルネットワークの実装および実行のさらに別の側面では、データストリーム１２５内のコンテンツ／データまたは他の情報が、複数のフレームを含むとき、１つ以上のニューラルネットワークによって実施されるタスクのセットは、複数のフレームからの視覚的詳細を経時的に組み合わせることによる、場面のより高い解像度モデルの推定を含むことができる。

プログラマブルニューラルネットワークファブリック５１０内のおよびそれによるニューラルネットワークの実装および実行のさらに別の側面では、データストリーム１２５内のコンテンツ／データまたは他の情報が、ビデオを含むとき、処理コンポーネント４２０内の処理エンジン４２５は、ビデオ内の場面コンテンツまたはビューの一方もしくは両方において生じる視覚的変化の大きさを測定することによって、ビデオ内のカットまたはジャンプの一方もしくは両方を検出するように構成されることができる。プログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークは、ビデオ内のカットまたはジャンプの検出に基づいて適合または変更され得る。

プログラマブルニューラルネットワークファブリック５１０内のおよびそれによるニューラルネットワークの実装および実行のさらに別の側面では、データストリーム１２５内のコンテンツ／データまたは他の情報が、複数の場面を含むとき、１つ以上のニューラルネットワークは、短期メモリ内に、コンテンツからの直近で示された場面と関連付けられる特徴、加重、または情報のうちの１つ以上のものを維持するように構成される。短期メモリは、ディスプレイ処理回路網１３０のコンポーネントのいずれか内、ある場合には、処理コンポーネント４２０または処理コンポーネント４２０内の処理エンジン４２５内に実装されてもよい。

図５Ｃは、処理エンジン４２５の実施例を図示する、ブロック図５００ｃを示す。プログラマブルニューラルネットワークファブリック５１０に加え、処理エンジン４２５は、随意に、ディスプレイ側パイプライン３３０に関連して上記に説明されるタスクを可能にし、制御するように構成される、一般的コンテンツ修正コンポーネント５３０を含むことができる。例えば、一般的コンテンツ修正コンポーネント５３０は、プログラマブルニューラルネットワークファブリック５１０内の異なるニューラルネットワーク構成の実装および実行を可能にし、制御し、図３における略図３００に関連して上記に説明される、コンテンツ分類３４０、対応３５０、補間／超解像技術３６０、ディスプレイ再マッピング３７０、またはユーザ追跡３８０のうちの１つ以上のものの特徴を実施するために使用されることができる。本点では、一般的コンテンツ修正コンポーネント５３０は、プログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを用いてコンテンツ分類３４０の特徴の実装および実行の側面と協調するためのコンテンツ分類５３５、プログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを用いて対応５３０の特徴の実装および実行の側面と協調するための対応５４０、プログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを用いて補間／超解像技術３６０の特徴の実装および実行の側面と協調するための補間／超解像技術５４５、プログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを用いてディスプレイマッピング３７０の特徴の実装および実行の側面と協調するためのディスプレイ再マッピング５５０、および／またはプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを用いてユーザ追跡３８０の特徴の実装および実行の側面と協調するためのユーザ追跡５５５を含むことができる。

処理エンジン４２５はまた、随意に、図６Ａおよび６Ｂに関連して下記にさらに詳細に説明されるもの等のより多くの特定のタスクを可能にし、制御するように構成される、具体的コンテンツ修正コンポーネント５６０を含んでもよい。

図６Ａおよび６Ｂは、それぞれ、ディスプレイ処理回路網１３０によって実施され得る種々のタスクと併用される、ニューラルネットワークのための異なるプログラマブル加重の実施例を図示する、略図６００ａおよび６００ｂを示す。

略図６００ａは、構成コンポーネント４４０の一部であり得、異なるタスクのための加重の異なるセットを記憶するために使用され得る、プログラマブル加重コンポーネント４４５を示す。これらの加重のセットは、次いで、処理エンジン４２５内のプログラマブルニューラルネットワークファブリック５１０による使用のために、処理コンポーネント４２０に提供され、またはそれによってアクセスされ、特定のニューラルネットワーク構成を実装および実行し、種々のディスプレイ中心タスクをディスプレイ処理回路網１３０によって受信されたコンテンツ／データ上で実施することができる。

プログラマブル加重コンポーネント４４５の本実施例では、随意に、ディスプレイ側パイプライン３３０に関連して上記に説明されるタスクのうちの任意の１つを実施するためのニューラルネットワーク加重を含み得る、別のコンテンツ修正加重６６５が存在することができる。本点では、処理エンジン４２５内の一般的コンテンツ修正コンポーネント５３０は、他のコンテンツ修正加重６６５内の加重を使用して、コンテンツ分類３４０（コンテンツ分類５３５を介して）、対応３５０（対応５４０を介して）、補間／超解像技術３６０（補間および超解像技術５４５を介して）、ディスプレイ再マッピング３７０（ディスプレイ再マッピング５５０を介して）、またはユーザ追跡３８０（ユーザ追跡５５５を介して）のうちの１つ以上のものを実施するためのニューラルネットワークの実装および実行を可能にし、制御し得る。

プログラマブル加重コンポーネント４４５は、随意に、下記に説明される具体的または特定のタスクを実施するためのニューラルネットワーク加重を含み得る、具体的コンテンツ修正加重６０５を含んでもよい。本点では、処理エンジン４２５内の具体的コンテンツ修正コンポーネント５６０は、具体的コンテンツ修正加重６０５内の加重を使用して、これらの他のタスクのうちの１つ以上のものを実施するためのニューラルネットワークの実装および実行を可能にし、制御し得る。

いくつかのインスタンスでは、具体的コンテンツ修正加重６０５と関連付けられる、具体的タスクは、ディスプレイ側パイプライン３３０内のタスクを含む、上記に説明されるタスクの同一または類似機能性、機能性のサブセット、または機能性の組み合わせを含んでもよく、また、上記に説明されるタスクのものの付加的またはそれと異なる機能性を含んでもよい。

具体的タスクの第１の実施例では、２Ｄ超解像技術を伴うタスクは、処理コンポーネント４２０の一部であり得る、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内の２Ｄ超解像技術６１０からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリーム１２５は、２Ｄ画像または２Ｄビデオを含み、処理コンポーネント４２０によって生産された修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、ソースからのコンテンツの解像度より高い解像度における２Ｄ画像または２Ｄビデオを含み、加重（例えば、２Ｄ超解像技術６１０からの加重のセット）は、１つ以上のニューラルネットワークが、ソース１２０からのコンテンツをアップサンプリングし、より高い解像度を生産するように訓練されるように判定される。より高い解像度は、ソース１２０のデータストリーム１２５内の総ピクセルの数より高い総ピクセル数を含む、またはより高い解像度は、ソース１２０のデータストリーム１２５内のピクセルの密度より高いピクセルの密度を含む。

具体的タスクの第２の実施例では、２Ｄハイダイナミックレンジ（ＨＤＲ）を伴うタスクは、処理コンポーネント４２０の一部である、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内の２Ｄ ＨＤＲ６１５からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリーム１２５は、２Ｄ画像または２Ｄビデオを含み、処理コンポーネント１２０によって生産された修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、ソースからのコンテンツのダイナミックレンジより高いダイナミックレンジにおける２Ｄ画像または２Ｄビデオを含み、加重（例えば、２Ｄ ＨＤＲ６１５からの加重のセット）は、１つ以上のニューラルネットワークが、ソース１２０からのデータストリーム１２５を処理し、より高いダイナミックレンジを生産するように訓練されるように判定される。

具体的タスクの第３の実施例では、２Ｄ超解像技術およびＨＤＲを伴うタスクは、処理コンポーネント４２０の一部であり得る、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内の２Ｄ超解像技術およびＨＤＲ６２０からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリーム１２５は、２Ｄ画像または２Ｄビデオを含み、処理コンポーネント４２０によって生産された修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、ソース１２０からのコンテンツ／データ１２５の解像度およびダイナミックレンジより高い解像度およびより高いダイナミックレンジにおける２Ｄ画像または２Ｄビデオを含み、加重（例えば、２Ｄ超解像技術およびＨＤＲ６２０からの加重のセット）は、１つ以上のニューラルネットワークが、ソースからのコンテンツを処理し、より高い解像度およびより高いダイナミックレンジを生産するように訓練されるように判定される。１つの実装では、１つ以上のニューラルネットワークは、より高い解像度を生産するための第１のニューラルネットワークと、より高いダイナミックレンジを生産するための第２のニューラルネットワークとを含むことができ、第１のニューラルネットワークおよび第２のニューラルネットワークは、連結される（例えば、シーケンスで使用される２つの構成）。別の実装では、１つ以上のニューラルネットワークは、単一ニューラルネットワークを含み、より高い解像度およびより高いダイナミックレンジを生産する。

具体的タスクの第４の実施例では、赤色－緑色－青色（赤色、緑色、青色またはＲＧＢとも称される）コンテンツから深度情報を伴うＲＧＢ（ＲＧＢ＋深度）コンテンツへの変換を伴うタスクは、処理コンポーネント４２０の一部であり得る、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内のＲＧＢ／ＲＧＢ＋深度６２５からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリーム１２５は、ＲＧＢ画像またはビデオを含み、処理コンポーネント４２０によって生産された修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、深度情報を伴うＲＧＢ画像またはビデオを含み、加重（例えば、ＲＧＢ／ＲＧＢ＋深度６２５からの加重のセット）は、１つ以上のニューラルネットワークが、ソース１２０からのデータストリーム１２５を処理し、深度情報を伴うＲＧＢ画像またはビデオを生産するように訓練されるように判定される。処理コンポーネント４２０はさらに、ディスプレイ１１０による提示のためのコンテンツ／データ１２５を修正するとき、レンダリングエンジンを実装および実行し、深度情報を伴うＲＧＢ画像またはビデオを処理するように構成されることができる。深度情報は、１つ以上の深度マップの形態であることができる。

具体的タスクの第５の実施例では、深度情報を伴うＲＧＢ（ＲＧＢ＋深度）コンテンツから明視野コンテンツへの変換を伴うタスクは、処理コンポーネント４２０の一部である、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。本明細書に説明されるような明視野コンテンツは、図２Ａ－２Ｃに関連して上記に説明されるもの等の明視野ディスプレイ内で使用される明視野コンテンツを指し得る。故に、明視野コンテンツは、ピクチャ要素、発光要素の群、または発光要素（例えば、図２Ｃ参照）のうちの１つ以上のもののための色および指向性情報を含み得る。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内のＲＧＢ＋深度および明視野６３０からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリーム１２５は、深度情報を伴うＲＧＢ画像またはビデオを含み、処理コンポーネント４２０によって生産された修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、３次元（３Ｄ）場面の複数のＲＧＢビューを伴う明視野または明視野ビデオを含み、加重（例えば、ＲＧＢ＋深度および明視野６３０からの加重のセット）は、１つ以上のニューラルネットワークが、ソース１２０からのデータストリーム１２５を処理し、３Ｄ場面の複数のＲＧＢビューを生産するように訓練されるように判定される。この場合に使用される、１つ以上のニューラルネットワークはさらに、ソース１２０からのコンテンツ／データ１２５を処理し、３Ｄ場面の複数のＲＧＢビューを生産し、ビュー合成動作、穴埋め動作、超解像技術動作、または低ダイナミックレンジ（ＬＤＲ）／高ダイナミックレンジ（ＨＤＲ）動作（ＬＤＲ／ＨＤＲ動作）のうちの１つ以上のものを実施するように訓練されることができる。

具体的タスクの第６の実施例では、ＲＧＢコンテンツから明視野コンテンツへの変換を伴うタスクは、処理コンポーネント４２０の一部であり得る、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内のＲＧＢ／明視野６３５からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリーム１２５は、ＲＧＢ画像またはビデオを含み、処理コンポーネント４２０によって生産された修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、３Ｄ場面の複数のＲＧＢビューを伴う明視野または明視野ビデオを含み、加重（例えば、ＲＧＢ／明視野６３５からの加重のセット）は、１つ以上のニューラルネットワークが、ソース１２０からのデータストリームを処理し、３Ｄ場面の複数のＲＧＢビューを生産するように訓練されるように判定される。１つ以上のニューラルネットワークはさらに、ソース１２０からのコンテンツ／データ１２５を処理し、深度情報を含む、修正されたコンテンツの中間結果を生産するように訓練されることができる。

具体的タスクの第７の実施例では、ＲＧＢコンテンツからステレオコンテンツへの変換を伴うタスクは、処理コンポーネント４２０の一部であり得る、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内のＲＧＢ／ステレオ６４０からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリームは、ＲＧＢ画像またはビデオを含み、処理コンポーネント４２０によって生産された修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、ステレオ画像またはステレオビデオを含み、加重（例えば、ＲＧＢ／ステレオ６４０からの加重のセット）は、１つ以上のニューラルネットワークが、ソース１２０からのデータストリーム１２５を処理し、ステレオ画像またはステレオビデオを生産するように訓練されるように判定される。ステレオ画像またはステレオビデオは、３Ｄ場面の２つのビューを含む。

具体的タスクの第８の実施例では、深度情報を伴うＲＧＢコンテンツからステレオコンテンツへの変換を伴うタスクは、処理コンポーネント４２０の一部であり得る、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内のＲＧＢ＋深度およびステレオ６４５からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリーム１２５は、深度情報を伴うＲＧＢ画像またはビデオを含み、処理コンポーネント４２０によって生産された修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、ステレオ画像またはステレオビデオを含み、加重（例えば、ＲＧＢ＋深度およびステレオ６４５からの加重のセット）は、１つ以上のニューラルネットワークが、ソース１２０からのデータストリーム１２５を処理し、ステレオ画像またはステレオビデオを生産するように訓練されるように判定される。上記に述べられたように、ステレオ画像またはステレオビデオは、３Ｄ場面の２つのビューを含む。

具体的タスクの第９の実施例では、明視野コンテンツから明視野コンテンツへの変換を伴うタスクは、処理コンポーネント４２０の一部であり得る、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内の明視野／明視野６５０からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリーム１２５は、明視野または明視野ビデオを含み、処理コンポーネント４２０によって生産された修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、ソースからのコンテンツ内のＲＧＢビューの数と比較して３Ｄ場面の付加的ＲＧＢビュー、ソースのコンテンツの解像度より高い解像度、またはソースのコンテンツのダイナミックレンジより高いダイナミックレンジのうちの１つ以上のものを伴う、修正された明視野または明視野ビデオを含み、加重（例えば、明視野／明視野６５０からの加重のセット）は、１つ以上のニューラルネットワークが、ソース１２０からのデータストリーム１２５を処理し、修正された明視野または明視野ビデオを生産するように訓練されるように判定される。

具体的タスクの第１０の実施例では、ステレオコンテンツから明視野コンテンツへの変換を伴うタスクは、処理コンポーネント４２０の一部であり得る、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内のステレオ／明視野６５５からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリーム１２５は、ステレオ画像またはステレオビデオを含み、修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、ソースからのコンテンツ内のＲＧＢビューの数と比較して３Ｄ場面の付加的ＲＧＢビュー、ソースのコンテンツの解像度より高い解像度、またはソースのコンテンツのダイナミックレンジより高いダイナミックレンジのうちの１つ以上のものを伴う、明視野または明視野ビデオを含み、加重（例えば、ステレオ／明視野６５５からの加重のセット）は、１つ以上のニューラルネットワークが、ソース１２０からのデータストリーム１２５を処理し、明視野または明視野ビデオを生産するように訓練されるように判定される。

具体的タスクの第１１の実施例では、深度情報を伴う明視野（明視野＋深度）コンテンツから明視野コンテンツへの変換を伴うタスクは、処理コンポーネント４２０の一部である、処理エンジン４２５のプログラマブルニューラルネットワークファブリック５１０内の１つ以上のニューラルネットワークを実装および実行することによって実施されてもよい。１つ以上のニューラルネットワークは、具体的コンテンツ修正加重６０５内の明視野＋深度および明視野６６０からの加重のセットを使用して実装される。

本実施例では、ソース１２０からのデータストリーム１２５は、深度情報を伴う明視野または明視野ビデオを含み、処理コンポーネント４２０によって生産された修正されたコンテンツ（例えば、修正されたデータストリーム４５０）は、ソースからのコンテンツ内のＲＧＢビューの数と比較して３Ｄ場面の付加的ＲＧＢビュー、ソースのコンテンツの解像度より高い解像度、またはソースのコンテンツのダイナミックレンジより高いダイナミックレンジのうちの１つ以上のものを伴う、修正された明視野または明視野ビデオを含み、加重（例えば、明視野＋深度および明視野６６０からの加重のセット）は、１つ以上のニューラルネットワークが、ソース１２０からのデータストリーム１２５を処理し、修正された明視野または明視野ビデオを生産するように訓練されるように判定される。深度情報は、ソースのコンテンツ内の１つのＲＧＢビューに関する深度情報、ソースのコンテンツ内の複数のＲＧＢビューに関する深度情報、またはソースのコンテンツ内の全てのＲＧＢビューに関する深度情報のうちの１つを含むことができる。

これらの具体的タスクのいずれかまたは上記に説明される他のタスクのいずれかからの側面は、組み合わせられた側面を実施するために使用されるように対応するニューラルネットワークの訓練から生じる、加重の適切なセットを使用することによって、組み合わせられることができる。

図６Ｂにおける略図６００ｂは、具体的タスクに関して、そこから種々の条件または基準に基づいてタスクを実施するために選択または識別されることになる、利用可能な加重の複数のセットが存在し得る様子を示す。例えば、ディスプレイ能力における限界、ユーザ動作（例えば、ユーザ追跡）の変化、または環境変化が、特定のタスクを実施するために使用すべき加重の最良セットを判定するために使用され得る。略図６００ｂに示される実施例では、具体的タスク毎に、そこから選択され得る、加重のａ、．．．、ｎ個の可能性として考えられるセットが存在し得る。加重のセットの数は、１つのタスクが別のタスクより少ないまたはより多い加重のセットを有し得るように、タスク毎に異なり得る。

図７は、ディスプレイ処理回路網１３０等の処理ユニットがディスプレイ内でコンテンツを処理するための方法７００の実施例を図示する、フローチャートを示す。方法７００の側面は、入力コンポーネント４１０、処理コンポーネント４２０、出力コンポーネント４３０、処理エンジン４２５、構成コンポーネント４４０、および／またはプログラマブル加重コンポーネント４４５等のそのコンポーネントおよびサブコンポーネントの１つ以上のものを含む、ディスプレイ処理回路網１３０（例えば、図４に示されるもの）によって実施されてもよい。方法７００はまた、例えば、図８に示されるディスプレイ処理回路網１３０によって実施されてもよい。

７１０では、方法７００は、処理ユニットの入力コンポーネント（例えば、入力コンポーネント４１０）において、ソースからのコンテンツ（例えば、ソース１２０からの１つ以上のデータストリーム１２５からのコンテンツ／データまたは他の情報）を受信するステップを含む。

７２０では、方法７００は、処理ユニットの処理コンポーネント（例えば、処理コンポーネント４２０）において、１つ以上のニューラルネットワーク（例えば、図５Ａおよび５Ｂ参照）を実装するステップを含み、１つ以上のニューラルネットワークは、ディスプレイのメモリ内に記憶される複数の加重を使用して実装される（例えば、図４、６Ａ、および６Ｂ参照）。

７３０では、方法７００は、１つ以上のニューラルネットワーク（例えば、処理コンポーネント４２０、処理エンジン４２５）を実行することによって、ディスプレイによる提示のためのコンテンツを修正する、タスクのセットを実施するステップを含む。

７４０では、方法７００は、処理ユニットの出力コンポーネント（例えば、出力コンポーネント４３０）によって、修正されたコンテンツ（例えば、修正された１つ以上のデータストリーム４５０内の修正されたコンテンツ／データ）をディスプレイ内の個別のパネル（例えば、ディスプレイ１１０内の個別のバックプレーン１５０およびピクセルのアレイ１５１）に提供するステップを含む。

方法７００のある側面では、コンテンツは、画像コンテンツ、ビデオコンテンツ、または両方を含む。

方法７００の別の側面では、タスクのセットを実施するステップは、コンテンツを修正し、２Ｄ画像または２Ｄビデオの解像度を増加させるステップを含む。

方法７００の別の側面では、タスクのセットを実施するステップは、コンテンツを修正し、２Ｄ画像または２Ｄビデオのダイナミックレンジを増加させるステップを含む。

方法７００の別の側面では、タスクのセットを実施するステップは、コンテンツを修正し、２Ｄ画像または２Ｄビデオの解像度およびダイナミックレンジを増加させるステップを含む。

方法７００の別の側面では、タスクのセットを実施するステップは、ＲＧＢ画像またはビデオを有する、コンテンツを修正し、深度情報を伴うＲＧＢ画像またはビデオを生産するステップを含む。

方法７００の別の側面では、タスクのセットを実施するステップは、深度情報を伴うＲＧＢ画像またはビデオを有する、コンテンツを修正し、３Ｄ場面の複数のＲＧＢビューを伴う明視野または明視野ビデオを生産するステップを含む。

方法７００の別の側面では、タスクのセットを実施するステップは、ＲＧＢ画像またはビデオを有する、コンテンツを修正し、３Ｄ場面の複数のＲＧＢビューを伴う明視野または明視野ビデオを生産するステップを含む。

方法７００のさらに別の側面では、タスクのセットを実施するステップは、明視野または明視野ビデオを有する、コンテンツを修正し、コンテンツ内のＲＧＢビューの数と比較して３Ｄ場面の付加的ＲＧＢビュー、コンテンツの解像度より高い解像度、またはコンテンツのダイナミックレンジより高いダイナミックレンジのうちの１つ以上のものを含む、修正された明視野または明視野ビデオを生産するステップを含む。

方法７００のさらに別の側面では、タスクのセットを実施するステップは、ＲＧＢ画像またはビデオを有する、コンテンツを修正し、ステレオ画像またはステレオビデオを生産するステップを含む。

方法７００のさらに別の側面では、タスクのセットを実施するステップは、深度情報を伴うＲＧＢ画像またはビデオを有する、コンテンツを修正し、ステレオ画像またはステレオビデオを生産するステップを含む。

方法７００の別の側面では、タスクのセットを実施するステップは、ステレオ画像またはステレオビデオを有する、コンテンツを修正し、コンテンツ内のＲＧＢビューの数と比較して３Ｄ場面の付加的ＲＧＢビュー、コンテンツの解像度より高い解像度、またはコンテンツのダイナミックレンジより高いダイナミックレンジのうちの１つ以上のものを含む、明視野または明視野ビデオを生産するステップを含む。

方法７００の別の側面では、タスクのセットを実施するステップは、深度情報を伴う明視野または明視野ビデオを有する、コンテンツを修正し、コンテンツ内のＲＧＢビューの数と比較して３Ｄ場面の付加的ＲＧＢビュー、コンテンツの解像度より高い解像度、またはコンテンツのダイナミックレンジより高いダイナミックレンジのうちの１つ以上のものを含む、修正された明視野または明視野ビデオを生産するステップを含む。

上記に説明される方法７００は、ディスプレイ処理回路網１３０および／またはそのコンポーネントのいずれかに関連して上記に説明される動作と関連付けられる、付加的側面を含むことができることを理解されたい。さらに、ディスプレイ処理回路網１３０および／またはそのコンポーネントのいずれかのためのアーキテクチャの実施例は、例証として提供され、２つ以上のコンポーネントもしくはサブコンポーネントの機能性は、種々の設計考慮点に従って、本開示によって被覆される全体的特徴から逸脱することなく、組み合わせられる、または分散されることができる。

図８は、例えば、１つ以上のディスプレイ１１０と併用され得る、ディスプレイ処理回路１３０の別の実施例を図示する、ブロック図８００であって、ディスプレイ１１０は、明視野能力を有する（例えば、ディスプレイ２１０）。図８におけるディスプレイ処理回路網１３０は、１つ以上のデータストリーム１２５を受信し、１つ以上の修正されるデータストリーム８５０を生成し得る。いくつかの実装では、ディスプレイ処理回路網１３０は、例えば、ポリシ動作、動作モード、およびタスクを含む、ディスプレイ処理回路網１３０と関連付けられる種々の動作を実施するように構成される、ディスプレイ処理回路網アーキテクチャ８１０を含み得る。ディスプレイ処理回路網１３０は、データ、シグナリング、または他の情報を、ディスプレイメモリ１３５および／または随意にセンサ１５５（例えば、図１Ｂ－１Ｄ参照）から受信するように構成されてもよい。

図８におけるディスプレイ処理回路網１３０の側面は、図４におけるディスプレイ処理回路網１３０の側面と組み合わせられてもよい。例えば、１つのものに関連して説明される入力、出力、および処理のタイプは、他のものに関しても適用可能であり得る。例えば、図８におけるディスプレイ処理回路網１３０が、１つ以上のニューラルネットワークを実装するように構成されるとき、図８におけるディスプレイ処理回路網１３０は、例えば、図５Ａ－６Ｂに説明される側面のうちの１つ以上のものを実装するように構成され得る。

図８におけるディスプレイ処理回路網１３０は、１つ以上のディスプレイ（例えば、図１Ｄにおけるディスプレイ１１０ａおよび１１０ｂ参照）と併用され得、これらのディスプレイは、複数のビューをサポートし得る（例えば、明視野ディスプレイ２１０）。１つ以上のディスプレイは、ピクセルの１つ以上のアレイ（例えば、ピクセル１５１のアレイ）と、ピクセルの１つ以上のアレイに結合される、１つ以上のバックプレーン（例えば、バックプレーン１５０）と、１つ以上のバックプレーンに結合される、処理回路網（例えば、図８におけるディスプレイ処理回路網１３０）とを含み得る。処理回路網は、１つ以上のデータストリーム（例えば、データストリーム１２５）を受信するように構成される。処理回路網はさらに、そこから処理回路網によってサポートされる動作モードを選択することになる、ポリシに基づいて、１つ以上のデータストリームの処理を制御するように構成され、各動作モードは、１つ以上のディスプレイ内のピクセルの１つ以上のアレイが特定のビューまたは複数のビューを生成することに寄与することになる、光の光線（例えば、図２Ｃにおける光線２０５）と、ピクセルの１つ以上のアレイが、動作モードの特定のビューまたは複数のビューを生成するであろう、光の光線に寄与するように、１つ以上のデータストリームを修正するために（例えば、修正されたデータストリーム８５０）処理回路網によって実施されるべき、タスク（例えば、動作、算出、アルゴリズム）とを定義する。処理回路網はさらに、動作モードの特定のビューまたは複数のビューを生成するであろう、ピクセルの１つ以上のアレイが光線に寄与するために、１つ以上のバックプレーンの回路構成を通して、修正された１つ以上のデータストリームを表すシグナリング（例えば、電気、光学シグナリング）をピクセルの１つ以上のアレイに提供するように構成される。

１つ以上のディスプレイ内の処理回路網は、１つ以上の動作モードをサポートし、１つ以上の動作モードは、単一ビューが１つ以上のディスプレイの全ての視認者のために生成される、第１の動作モード、異なるビューが１つ以上のディスプレイの視認者毎に生成される、第２の動作モード、複数のビューが１つ以上のディスプレイの１人以上の視認者毎に生成される、第３の動作モード、１つ以上のビューが１つ以上のディスプレイの１人以上の視認者毎に生成される、第４の動作モード、もしくは単一ビューが１つ以上のディスプレイの１人以上の視認者のために生成され、１つ以上のビューが１つ以上のディスプレイの残りの視認者毎に生成される、第５の動作モードのうちの１つ以上のものを含んでもよい。

ある側面では、１つ以上のバックプレーンの回路構成は、修正された１つ以上のデータストリームと関連付けられるシグナリングをピクセルの１つ以上のアレイの規定された部分に分散させるように構成される、論理配列である。

ある側面では、１つ以上のディスプレイ内の処理回路網の少なくとも一部のアーキテクチャ（例えば、ディスプレイ処理回路網アーキテクチャ８１０）は、ニューラルネットワークアーキテクチャ、固定関数論理信号処理アーキテクチャ、またはプログラマブルパイプラインアーキテクチャを含んでもよい。いくつかのインスタンスでは、処理回路網のアーキテクチャは、上記に説明されるアーキテクチャの組み合わせを含んでもよい。

ある側面では、アーキテクチャが、ニューラルネットワークアーキテクチャを含むとき、ニューラルネットワークアーキテクチャは、入力データ（例えば、データストリーム１２５）の１つ以上のストリームを出力データの１つ以上のストリーム（例えば、修正されたデータストリーム８５０）に処理する、アルゴリズムを実施するように構成され、アルゴリズムが実施する、算出は、訓練プロセスにおいて学習されており、訓練プロセスは、入力データの処理に先立って実施されている。

訓練プロセスは、アルゴリズムのネットワーク構成を処理回路網に転送することに先立って、１つ以上のディスプレイと異なるシステム内で実施されてもよい。代替として、訓練プロセスは、１つ以上のディスプレイの処理回路網内で実施される。さらに別の代替では、訓練プロセスは、最初に、アルゴリズムのネットワーク構成を処理回路網に転送することに先立って、１つ以上のディスプレイと異なるシステム内で実施され、続いて、１つ以上のデータストリームからの新しいデータが処理されるにつれて、１つ以上のディスプレイの処理回路網内で実施されてもよい。訓練プロセスにおける学習は、１つ以上のコストまたは目的関数の最適化を含んでもよい。アルゴリズムが実施する、算出は、１つ以上のネットワーク（例えば、図５Ａおよび５Ｂにおけるニューラルネットワーク）を使用して実装されてもよく、１つ以上のネットワークは、１つ以上の算出ユニットを含み、その機能は、１つ以上の数によって規定され、１つ以上のコストまたは目的関数は、これらの１つ以上の数を変動させることによって最適化される。１つ以上のコストまたは目的関数は、勾配降下法ベースの最適化を数値的に適用することによって最適化される。

訓練プロセスは、入力データアイテムおよび出力データアイテム対から成る、訓練セットを提供するステップから成ってもよく、算出は、対の入力アイテムが算出への入力として提供されるとき、対の出力アイテムに実質的に類似する出力を生産するように最適化される。対の出力アイテムに実質的に類似する出力は、ユークリッド距離を含む、任意の１つの少なくとも１つの距離メトリックを使用する、短離間距離を示す。

訓練プロセスは、入力データアイテムを含む、訓練セットを提供するステップから成ってもよく、アルゴリズムが実施する、算出は、１つ以上のネットワークを使用して実装され、１つ以上のネットワークは、訓練プロセスに応答して、入力データアイテムを実質的に再現するように最適化される。入力データアイテムは、修正され、１つ以上のネットワークは、修正を除去し、未修正入力データアイテムを再現するように最適化される。入力データアイテムへの修正は、雑音を入力データアイテムに追加する、歪曲を入力データアイテムに追加する、入力データアイテム内の画像の一部を除去またはマスクすることのうちの１つ以上のものを含むが、それらに限定される必要はない。

訓練プロセスは、訓練セットを提供するステップから成ってもよく、訓練セットは、入力アイテムのみを含有する、サンプルと、入力アイテムおよび所望の出力アイテムの両方を含有する、サンプルのハイブリッドであって、アルゴリズムが実施する、算出は、１つ以上のネットワークを使用して実装され、１つ以上のネットワークは、出力アイテム対を有していないサンプルのための未修正入力アイテムを再現し、所望の出力アイテムを有するサンプルのための所望の出力アイテムを生産するように最適化される。

別の側面では、アルゴリズムが実施する、算出は、少なくとも２つのネットワークを使用して実装されてもよく、２つのネットワークは、ともに訓練され、一方のネットワークは、訓練セットからのサンプルに類似するサンプルを生成するように訓練され、他方のネットワークは、サンプルが、訓練セットからのものであるか、または他方のネットワークによって生成されたものであるかどうかを判定するように訓練される。

別の側面では、アルゴリズムが実施する、算出は、１つ以上のネットワークを使用して実装されてもよく、１つ以上のネットワークは、１つ以上のネットワークによって生産された出力のシーケンスにわたって全体的コストまたは目的関数を最適化するように訓練される。

さらに別の側面では、アルゴリズムが実施する、算出は、１つ以上のネットワークを使用して実装されてもよく、１つ以上のネットワークは、数の集合である、１つ以上のデータストリームによって提供される入力を、１つ以上のネットワークの１つ以上の相互接続層に、最終的に、１つ以上のネットワークの出力層に接続する。

別の側面では、アルゴリズムが実施する、算出は、１つ以上のネットワークを使用して実装されてもよく、１つ以上のネットワーク内の層（例えば、図５Ａおよび５Ｂにおけるニューラルネットワーク内の層参照）への入力は、１つ以上のネットワーク内の前の層、１つ以上のネットワーク内のさらに前の層へのスキップまたは残差接続、１つ以上のネットワーク内の後の層からのフィードバック接続、または１つ以上のネットワーク内の任意の層の履歴値への再帰接続から生じ得る。これらの入力はそれぞれ、随意に、数値加重によって乗算されてもよい。さらに、随意に加重された入力の和は、１つ以上のネットワークの非線形活性化層に渡されてもよく、非線形活性化層は、シグモイド関数、ｔａｎｈ関数、正規化線形ユニット（ＲｅＬＵ）、または漏洩正規化線形ユニット（漏洩ＲｅＬＵ）のうちの１つを提供する。階層アプローチが、ディスプレイ処理回路網１３０（例えば、異なるＩＣおよび／または異なるトランジスタレベル回路網にわたって分散される複数の処理レベルもしくは層）と併用されるとき、算出ネットワーク（例えば、ニューラルネットワーク）の異なる層を階層の異なるレベルまたは層内に実装することが可能である。例えば、ディスプレイ処理回路網１３０の上位レベルまたは層は、ニューラルネットワークの１つの層を実装および実行してもよい一方、ディスプレイ処理回路網１３０のより低いレベルまたは層は、ニューラルネットワークの異なる層または複数の層を実装してもよい。

別の側面では、アルゴリズムが実施する、算出は、１つ以上のネットワークを使用して実装されてもよく、１つ以上のネットワークは、いくつかの値を単一値に組み合わせる、随意のプーリング層を含む。単一値へのいくつかの値の組み合わせは、入力の最大値または最小値を求めることによって、入力を総和することによって、もしくは入力を平均することによって行われる。

別の側面では、アルゴリズムが実施する、算出は、１つ以上のネットワークを使用して実装され、１つ以上のネットワークは、１つ以上の出力を層に含み、各出力は、その独自のセットの加重、非線形性、およびプーリングを有する。

さらに別の側面では、アルゴリズムが実施する、算出は、処理回路網によって実施されるべき複数のタスクの同時（または並列）処理を含んでもよく、各タスクの出力は、一意の出力データストリームによって表される。複数のタスクの同時処理は、１つ以上のデータストリームからの複数の入力データストリームを複数の出力データストリームに処理するステップを含んでもよい。

別の側面では、アルゴリズムが実施する、算出は、１つ以上のネットワークを使用して実装され、１つ以上のネットワークは、複数のタスクによって共有される層と、タスク間で共有されないタスク特有の層とを含む。

１つ以上のディスプレイ内の処理回路網のアーキテクチャ（例えば、ディスプレイ処理回路網アーキテクチャ８１０）が、ニューラルネットワークアーキテクチャを含む、それらのインスタンスでは、ニューラルネットワークアーキテクチャは、１つ以上のニューラルネットワーク（例えば、図５Ａおよび５Ｂにおけるニューラルネットワーク）を実装および実行し、選択された動作モードのために、１つ以上のデータストリームを修正するためのタスクを実施するように構成される。１つ以上のニューラルネットワークの複数の加重は、訓練データのセットにわたってコスト関数を最適化することによって判定されてもよく、訓練データのセットは、実世界コンテンツ、合成データ、または両方を含んでもよい。１つ以上のニューラルネットワークの複数の加重は、１つ以上のディスプレイの製造の間に設定され得、または、１つ以上のディスプレイの動作の間に動的に更新され得、動的更新は、ソフトウェア更新に応答して、１つ以上のデータストリームが受信されることに応答して、または、両方に応答して、生じる。１つ以上のニューラルネットワークの複数の加重は、１つ以上のニューラルネットワークの実装の中にハードコーディングされてもよい、または１つ以上のニューラルネットワークの実装のためにメモリ（例えば、ディスプレイメモリ１３５）内に記憶され、アクセスされてもよい。１つ以上のニューラルネットワークの複数の加重は、１つ以上のデータストリーム内で利用可能なデータストリーム、ディスプレイのための１つ以上のデータストリーム内のコンテンツ、１つ以上のデータストリームを修正するために実施されるべきタスク、もしくは１つ以上のディスプレイの出力モードのうちの１つ以上のものに基づいて、調節されてもよい。さらに、上記に議論されるように、階層アプローチが、ディスプレイ処理回路網１３０（例えば、異なるＩＣおよび／または異なるトランジスタレベル回路網にわたって分散される複数の処理レベルもしくは層）と併用されるとき、算出ネットワーク（例えば、ニューラルネットワーク）の異なる層を階層の異なるレベルまたは層内に実装することが可能である。

ニューラルネットワークアーキテクチャ内の１つ以上のニューラルネットワークのそれぞれの構成は、１つ以上の畳み込み層、１つ以上の全結合層、１つ以上のプーリング層、１つ以上のアップサンプリング層、１つ以上のダウンサンプリング層、１つ以上のスキップまたは残差接続、１つ以上の稠密接続、１つ以上のフィードバック接続、１つ以上の疎接続層、１つ以上の長期または短期メモリユニット、もしくは１つ以上の再帰接続のうちの１つ以上のものを含む。

別の側面では、１つ以上のニューラルネットワークは、複数のニューラルネットワークを含み、複数のニューラルネットワークは、連結される。１つ以上のニューラルネットワークは、複数のニューラルネットワークを含み、異なるニューラルネットワークは、１つ以上のデータストリームを修正するための異なるタスクを実施する。

さらに図８に関して、ディスプレイ処理回路網１３０が、１つ以上のディスプレイと併用されるとき、１つ以上のディスプレイはまた、ピクセルの１つ以上のアレイ（例えば、ピクセル１５１のアレイ）を含んでもよい。図２Ａ－２Ｃは、明視野ディスプレイ（例えば、明視野ディスプレイ２１０）内のピクセルのアレイは、ピクチャ要素２２０のアレイまたは発光要素２２５のアレイを指し得る、実施例を図示するが、しかしながら、１つ以上のディスプレイ内のディスプレイ処理回路網１３０と併用され得る、ピクセルのアレイは、そのように限定される必要はない。アレイ内のピクセルは、指向性ピクセル（例えば、図２Ｃ参照）であってもよい。すなわち、ピクセルの１つ以上のアレイ内のピクセルの異なるサブセットは、異なる方向に向かって指向される光に寄与するように構成されてもよい。さらに、ピクセルの１つ以上のアレイ内のピクセルは、１つ以上の方向における光の異なる色および光の異なる強度に寄与するように構成されてもよい。

図８におけるディスプレイ処理回路網１３０および１つ以上のディスプレイと併用される、ピクセルの１つ以上のアレイは、１つ以上の層を含んでもよく、各層は、光生産要素、吸光要素、光反射性要素、光透過性要素、光修正要素、または光学要素のうちの１つ以上のものを含む。光学要素は、レンズ、光学障壁、導波管、光ファイバ、切替可能な光学系、指向性修正要素、偏光修正要素、または光分裂要素のうちの１つ以上のものを含んでもよい。

図８におけるディスプレイ処理回路網１３０の別の側面では、ディスプレイ処理回路網１３０は、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、プログラマブル集積回路、中央処理ユニット、グラフィック処理ユニット、テンソル処理ユニット、ニューラルネットワーク集積回路、視覚処理ユニット、またはニューロモーフィックプロセッサのうちの１つ以上のものを含んでもよい。例えば、ディスプレイ処理回路網１３０のディスプレイ処理回路網アーキテクチャ８１０は、上記の列挙されたデバイスのうちの１つ以上のものを含む、もしくは上記の列挙されたデバイスのうちの１つ以上のものを使用して実装される。

図２Ｄおよび２Ｅに関連して上記に説明されるように、処理回路網（例えば、図８におけるディスプレイ処理回路網１３０）は、ポリシおよび選択された動作モードに従って動作する、電子ハードウェアを含む。処理回路網はさらに、ポリシおよび選択された動作モードに従って電子ハードウェアを動作させるための記憶された命令を含んでもよい。命令は、ソフトウェア、ファームウェア、または両方の形態であってもよい。処理回路網内の電子ハードウェアは、１つ以上のバックプレーンを横断して空間的に分散される、トランジスタレベル回路網を含んでもよい。１つ以上のバックプレーンを横断して分散される、トランジスタレベル回路網は、バックプレーンの回路構成のトランジスタレベル回路網と同一基板上に形成されてもよい。処理回路網内の電子ハードウェアは、バックプレーンを横断して空間的に分散される、複数の離散集積回路（ＩＣ）ユニット（例えば、図２Ｅ参照）を含んでもよく、各ＩＣユニットは、ピクセルのアレイのサブセットと関連付けられる。ＩＣユニットはそれぞれ、同一機能性を実施するように構成されてもよい、または代替として、異なるＩＣユニットは、異なる機能性を実施するように構成されてもよい。異なる実装では、処理回路網内の電子ハードウェアは、１つ以上のバックプレーンを横断して空間的に分散される、複数のＩＣユニットを含んでもよく、また、同様に１つ以上のバックプレーンを横断して空間的に分散される、トランジスタレベル回路網を含んでもよい。さらに、処理回路網内の電子ハードウェアは、空間的に、角度的に、時間的に、ランダム分布によって、到着順序によって、１つ以上のデータストリームと関連付けられるある他の順序によって、もしくはそれらの組み合わせによって、処理タスクを分離する、回路の階層（例えば、図２Ｅ参照）として実装されてもよい。回路の階層内の別個の処理タスクは、同時に、順次、または両方で処理されてもよい。

さらに図８に関して、ディスプレイ処理回路網１３０が、１つ以上のディスプレイと併用されるとき、ディスプレイ処理回路網１３０によって受信される、１つ以上のデータストリーム（例えば、データストリーム１２５）のうちの少なくとも１つは、処理回路網によって修正されると、１つ以上のバックプレーンの回路構成を通してピクセルの１つ以上のアレイに提供され、特定のビューまたは複数のビューを生成するであろう光の光線に寄与する、信号を生産する、実世界コンテンツ、合成データ、または両方の表現を含む。

ディスプレイ処理回路網１３０によって受信される、１つ以上のデータストリームは、２次元（２Ｄ）画像または２Ｄビデオ、マルチカラー画像またはマルチカラービデオ（例えば、ＲＧＢ画像またはＲＧＢビデオ）、深度情報を伴う、マルチカラー画像またはマルチカラービデオ、１つ以上の深度マップを含む、深度情報、明視野または明視野ビデオ、複数のフレーム、光線または光束、光線または光束のシーケンスもしくは複数のシーケンス、感覚データ、オーディオデータ、１つ以上のディスプレイからの明度、ディスプレイ環境の色、または両方、もしくは１つ以上のディスプレイに対する視認者の位置、視認者頭部配向、または視認者視線方向の推定のうちの１つ以上のものを含む。感覚データは、例えば、データストリーム１２５を通して、センサ１５５から、および／または直接、センサ１５５から、受信されてもよい。深度情報は、データソース内の１つのカラーストリームに関する深度情報、データソース内の複数のカラーストリームに関する深度情報、またはデータソース内の全てのカラーストリームに関する深度情報のうちの１つ以上のものを含んでもよい。

ディスプレイ処理回路網１３０によって受信される、１つ以上のデータストリームは、ピクセルの１つ以上のアレイ内のピクセルと関連付けられる、チャネルを含んでもよく、各チャネルは、１つ以上の色、深度、透明度、埋込特徴、画像セグメント化および標識化、指向性データ、もしくは突極性または重要性加重のうちの１つ以上のものを含む。突極性に関して、残りから知覚的に際立っている、３Ｄ場面または２Ｄ画像の一部は、顕著であると称される。時間または空間のいずれかにおける、色もしくは強度の高速変化は、均一エリアより顕著となる傾向にある。ヒト観察者に関して、ヒトの顔は、顕著となる傾向にある。一般に、視認者は、より多くの注意を顕著な領域に払い、したがって、非顕著な領域より高い忠実性を伴って顕著な領域を表示することが、より重要である。

ディスプレイ処理回路網１３０によって受信される、１つ以上のデータストリームは、場面説明を含んでもよく、場面説明は、２Ｄまたは３Ｄオブジェクト、材料性質、照明、カメラパラメータ、ユーザまたは視認者位置、タイムコード、高レベル画像特徴、画像セグメント化または標識化、もしくはコンテンツ説明のうちの１つ以上のものである。

ディスプレイ処理回路網１３０によって受信される、１つ以上のデータストリームは、１つ以上の画像、視認位置または眼位置を表す、画像、眼位置を表す、１つ以上のステレオ対、視認位置または眼位置の規則的もしくは不規則的サンプリング、もしくは１つ以上の明視野を含んでもよい。

ある側面では、ディスプレイ処理回路網１３０によって受信される、１つ以上のデータストリームはそれぞれ、圧縮または解凍されてもよい。

ディスプレイ処理回路網１３０によって受信される、１つ以上のデータストリームは、１つ以上のディスプレイ内の１つ以上のセンサ（例えば、センサｓ０ １５５）からの情報を含んでもよく、情報は、ディスプレイ環境の明度および色の光センサ記録、１つ以上のディスプレイの周囲の環境、ユーザ、または両方のカメラビュー、１つ以上のディスプレイの周囲の環境、ユーザ、または両方のマイクロホン記録、もしくはユーザ入力および選好のうちの１つ以上のものを含む。故に、センサ１５５は、光センサ、カメラ、マイクロホン、および／または入力デバイスを含んでもよい。

さらに図８に関して、ディスプレイ処理回路網１３０が、１つ以上のディスプレイと併用されるとき、ディスプレイ処理回路網１３０によって生成、生産、または形成される、１つ以上の修正されたデータストリーム（例えば、修正されたデータストリーム８５０）は、２次元（２Ｄ）画像または２Ｄビデオ、深度情報を伴うマルチカラー画像またはマルチカラービデオ（例えば、ＲＧＢ画像またはＲＧＢビデオ）、ステレオ画像またはステレオビデオ、光線または光束、光線のシーケンスまたは光束のシーケンス、明視野または明視野ビデオ、もしくは３Ｄ場面の複数のマルチカラービューを伴う、明視野または明視野ビデオのうちの１つ以上のものを含む。

修正された１つ以上のデータストリームは、ピクセルの１つ以上のアレイ内のピクセルと関連付けられる、チャネルを含んでもよく、各チャネルは、１つ以上の色、深度、透明度、埋込特徴、画像セグメント化および標識化、指向性データ、もしくは突極性または重要性加重のうちの１つ以上のものを含む。透明度に関して、オブジェクトまたは画像層は、不透明であることができ、それらが、全ての光を遮断し、視認者が、それらを通して見ることができないことを意味する。完全に透明である、オブジェクトまたは画像層は、不可視である。部分的に透明なオブジェクトまたは層は、その背後の場面の一部を示し、その独自の色を追加する。透明度は、多くの場合、アルファチャネルと呼ばれる、付加的カラーチャネルでエンコーディングされ、アルファ値１は、完全に不透明であることを意味し、ゼロは、完全に透明であることを意味し、１とゼロとの間の値は、部分的に、透明である。

修正された１つ以上のデータストリームは、場面説明（例えば、ある形態のメタデータ）を含んでもよく、場面説明は、２Ｄまたは３Ｄオブジェクト、材料性質、照明、カメラパラメータ、ユーザまたは視認者位置、タイムコード、高レベル画像特徴、画像セグメント化または標識化、もしくはコンテンツ説明のうちの１つ以上のものである。

別の側面では、修正された１つ以上のデータストリームは、１つ以上の画像、視認位置または眼位置を表す、画像、眼位置を表す、１つ以上のステレオ対、視認位置または眼位置の規則的もしくは不規則的サンプリング、もしくは１つ以上の明視野のうちの１つ以上のものを含んでもよい。

さらに、修正された１つ以上のデータストリームはそれぞれ、圧縮または解凍される。

さらに図８に関して、ディスプレイ処理回路網１３０が、１つ以上のディスプレイと併用されるとき、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクまたは複数のタスクは、ピクセルのオリジナル数より高い総ピクセル数またはピクセルのオリジナル密度より高いピクセルの密度を有する、より高い解像度に変換するステップ、オリジナル範囲を越える範囲を外挿することによって、より高いダイナミックレンジを生産するステップ、深度情報を伴う、マルチカラー画像またはマルチカラービデオを生産するステップ、ステレオ画像またはステレオビデオを生産するステップ、３Ｄ場面の１つまたは複数のマルチカラービューを生産するステップ、３Ｄ場面の付加的マルチカラービューを生産するステップ、複数のフレームからの視覚的詳細を組み合わせることによって、場面のより高い解像度モデルを推定するステップ、もしくはビデオ内の場面コンテンツまたはビューの一方もしくは両方内で生じる視覚的変化の大きさを測定することによって、ビデオ内のカットまたはジャンプの一方もしくは両方を検出するステップのうちの１つ以上のものを含んでもよい。

３Ｄ場面の１つまたは複数のマルチカラービューを生産するタスクはさらに、ビュー合成動作、穴埋め動作、超解像技術動作、深度調節動作、中心窩化レンダリングによる帯域幅制御、または低ダイナミックレンジ（ＬＤＲ）／高ダイナミックレンジ（ＨＤＲ）変換のうちの１つ以上のものを含む。

１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクまたは複数のタスクは、コンテンツ分類、対応、補間および超解像技術、ディスプレイ再マッピング、ユーザ追跡、マルチビューへの変換、深度推定、画像セグメント化、または場面性質の推定のうちの１つ以上のものを含んでもよい。

上記に説明されるコンテンツ分類のタスクは、個々のピクセル、２Ｄ特徴、３Ｄ特徴、画像タイプ、またはそれらの組み合わせを分類するための寸法低減を提供する。寸法低減は、処理がより容易であって、および／またはより標的化される、より少ない情報を伴う情報の表現を可能にする。

別の側面では、上記に説明されるコンテンツ分類のタスクは、１つ以上のデータストリーム内のコンテンツの分類を提供し、処理回路網はさらに、分類に応答して、処理回路網によってアクセス可能な異なるセットの複数の加重からの一意のセットの複数の加重を動的にロードするように構成され（例えば、ディスプレイメモリ１３５から）、１つ以上の処理ネットワーク（例えば、ニューラルネットワーク）は、一意のセットの複数の加重を使用して処理回路網内に実装される。

別の側面では、上記に説明されるコンテンツ分類は、以下、すなわち、用途（例えば、ゲーム、文書処理、スポーツ、遠隔会議等）別にコンテンツを分類する、対象（ヒト、テキスト、景色、屋内、屋外等）別にコンテンツを分類する、推定される深度、運動に基づいて、分類する、場面パラメータ（例えば、照明、カメラ、幾何学形状）の推定／分類を実施する、および場面カット（例えば、変化、強度、運動の大きさに起因する）の推定を実施することのうちの１つ以上のものを含んでもよい。場面推定は、コンテンツ分類だけではなく、また、一般的深度／３Ｄ推定の両方に関連する。深度の推定は、各フレームが、分離して取り扱われず、付加的情報を使用して、穴を埋め、深度を運動から推定し、雑音を低減させること等を行う場合、よりロバストとなる。文書処理等のいくつかの用途では、２Ｄテキストに左右される傾向となり、その場合、コンテンツは、空間分解能、コントラスト、および視認性に焦点を当てて、ディスプレイ平面において視認されるように最適化される可能性が最も高い。遠隔会議は、人体に焦点を当てる傾向にあり、眼および口の詳細を捕捉することが、最も重要である。ゲームまたはスポーツ等の他の用途は、より動的であって、分類の目的のために、はるかに大きい範囲のコンテンツを有するであろう。実践では、ニューラルネットワークをデータの具体的クラス（例えば、顔、スポーツ、テキスト）上で訓練し、処理されているデータに基づいて、ランタイム時にニューラルネットワークによって必要とされる加重を切り替えることが可能性として考えられるであろう。

上記に説明されるディスプレイ再マッピングのタスクは、強度再マッピング、明度再マッピング、解像度再マッピング、アスペクト比再マッピング、色再マッピング、または深度再マッピングのうちの１つ以上のものを含む。ディスプレイ再マッピングは、補間および超解像度技術の補間部分において使用される加重の調節を提供し、１つ以上の知覚メトリックを使用して、画像強度および不均衡をワーピングし、ディスプレイ深度予算内に適合させる、深度再マッピングを含んでもよい。上記に説明されるように、深度再マッピングのプロセスは、場面の一部がディスプレイ平面のより近くに移動されるように、場面の３Ｄ構造を修正するステップを伴う。ディスプレイ再マッピングは、深度情報が利用可能であるときに適用可能である、深度再マッピング、または深度情報が利用不可能であるであるときに適用可能である、不均衡再マッピングを含んでもよい。不均衡再マッピングは、例えば、ステレオ画像またはステレオビデオと併用されてもよい。加えて、処理回路網はさらに、不均衡再マッピングを深度情報に変換するように構成される。

上記に説明されるディスプレイ再マッピングのタスクは、１つ以上の再マッピングパラメータに基づいてもよく、１つ以上の再マッピングパラメータは、１つ以上のディスプレイのパラメータもしくは１つ以上のディスプレイの能力の一方もしくは両方と関連付けられ、１つ以上のディスプレイのパラメータもしくは１つ以上のディスプレイの能力の一方もしくは両方は、空間解像度、角解像度、ダイナミックレンジ、または視野のうちの１つ以上のものを含む。

上記に説明されるコンテンツ分類のタスクは、１つ以上の基準に基づいて、１つ以上のデータストリーム内のデータの分類を提供し、処理回路網は、分類に応答して、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクを動的に更新するように構成される。

上記に説明される補間および超解像技術のタスクは、２Ｄ／３Ｄ変換またはＬＤＲ／ＨＤＲ変換の一方もしくは両方を提供する。

上記に説明されるディスプレイ再マッピングのタスクは、強度再マッピング、明度再マッピング、解像度再マッピング、アスペクト比再マッピング、色再マッピング、またはコンテンツ深度再マッピングのうちの１つ以上のものを含んでもよい。

別の側面では、処理回路網（例えば、図８におけるディスプレイ処理回路網１３０）はさらに、タスクを現在の場面コンテンツに適合させることによって、直近のフレームに基づいて、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクを修正するように構成され、修正されたタスクが補間を含むとき、補間は、空間補間、角度補間、または時間的補間のうちの１つ以上のものを含んでもよい。

別の側面では、処理回路網によって受信される、１つ以上のデータストリームは、複数のフレームを含んでもよく、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクは、複数のフレームを組み合わせ、経時的に整合させることによる、場面の持続的３Ｄモデルの推定を含んでもよい。

さらに別の側面では、処理回路網によって受信される、１つ以上のデータストリームは、複数のフレームを含んでもよく、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクは、複数のフレームからの視覚的詳細を経時的に組み合わせることによる、場面のより高い解像度モデルの推定を含んでもよい。

さらに別の側面では、処理回路網によって受信される、１つ以上のデータストリームは、ビデオを含んでもよく、処理回路網はさらに、ビデオ内の場面コンテンツまたはビューの一方もしくは両方において生じる視覚的変化の大きさを測定することによって、ビデオ内のカットまたはジャンプの一方もしくは両方を検出するように構成される。

別の側面では、処理回路網によって受信される、１つ以上のデータストリームは、複数の場面を含んでもよく、処理回路網は、以前に示された場面と関連付けられる、特徴、加重、または情報のうちの１つ以上のものを維持するように構成される。

さらに図８に関して、ディスプレイ処理回路網１３０が、１つ以上のディスプレイと併用されるとき、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクまたは複数のタスクは、１つ以上のデータストリーム内の２Ｄ画像またはビデオからの複数のフレームに関する深度情報の推定を含んでもよい。

さらに、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクまたは複数のタスクは、空間解像度、角解像度、時間的解像度、ビット深度、ダイナミックレンジ、または両方、色、深度、スペクトルサンプリング、または透明度を含む、ピクセルチャネル、指向性データ、もしくは突極性または重要性加重のうちの１つ以上のものによってピクセルデータを増加させることによって、付加的ピクセルデータを合成するステップを含んでもよい。

１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクのうちの少なくともいくつかは、１つ以上のディスプレイのアーキテクチャと、利用可能な空間解像度、利用可能な角解像度、リフレッシュレート、色域、またはダイナミックレンジのうちの１つ以上のものを含む、能力とに基づいて、１つ以上のデータストリーム内のコンテンツを適合させるように構成されてもよく、タスクのうちの少なくともいくつかは、強度処理、色処理、ホワイトバランス、ビューインターレース、トーンマッピング、またはディスプレイ光学系のための補正のうちの１つ以上のものを含んでもよい。

１つ以上のディスプレイ（例えば、ディスプレイ１１０、２１０）は、ディスプレイ能力およびピクセル強度、色域、リフレッシュレート、またはダイナミックレンジのうちの１つ以上のものにおける変動を測定するように較正されてもよく、１つ以上のディスプレイの較正は、１つ以上のディスプレイの製造の間または１つ以上のディスプレイの動作の間に実施される。

１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクは、ピクセルのアレイ内のピクセルの１つ以上のサブセットに選択的に適用されてもよく、１つ以上のサブセットは、空間サブセット、角度サブセット、または時間的サブセットである。

別の側面では、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクのうちの少なくともいくつかは、複数のフレームを分析するように構成されてもよく、これらのタスクは、ビデオコンテンツ内のフレームを横断して運動を追跡するステップを含んでもよい。

さらに別の側面では、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクのうちの少なくとも１つは、少なくとも部分的に、１つ以上のディスプレイに対する１つ以上のユーザ位置の推定に基づいてもよく、ユーザ位置は、２Ｄまたは３Ｄ頭部位置情報、２Ｄまたは３Ｄ眼位置情報、頭部配向情報、眼配向情報、視線方向、もしくはそれらの組み合わせによって示される。

さらに図８に関して、ディスプレイ処理回路網１３０は、１つ以上のディスプレイと併用され、１つ以上のディスプレイの能力は、超高解像度能力、または高ダイナミックレンジ能力のうちの１つ以上のものを含む。ある実施例では、超高解像度能力は、８Ｋおよびより高い解像度のサポートを含んでもよい。

図９は、処理回路網が１つ以上のディスプレイ（例えば、ディスプレイ１１０、２１０）内で１つ以上のデータストリームを処理するための方法９００の実施例を図示する、フローチャートである。方法９００は、図８に示されるディスプレイ処理回路網１３０によって実施されてもよい。加えて、方法９００の側面はまた、図４に示されるディスプレイ処理回路網１３０によって実施されてもよい。方法９００は、複数のビューをサポートする、１つ以上のディスプレイ（例えば、ディスプレイ２１０）上でのデータストリーム（例えば、データストリーム１２５）の処理を可能にする。

９１０では、方法９００は、１つ以上のディスプレイの処理回路網（例えば、ディスプレイ処理回路網１３０）上で１つ以上のデータストリームを受信するステップを含み、処理回路網は、１つ以上のディスプレイの１つ以上のバックプレーン（例えば、バックプレーン１５０）に結合され、これは、ひいては、１つ以上のディスプレイのピクセルの１つ以上のアレイ（例えば、ピクセルのアレイ１５１）に結合される。

９２０では、方法９００は、処理回路網によって、そこから処理回路網によってサポートされる動作モードを選択することになる、ポリシに基づいて、１つ以上のデータストリームの処理を制御するステップを含み、各動作モードは、１つ以上のディスプレイ内のピクセルの１つ以上のアレイが特定のビューまたは複数のビューを生成することに寄与することになる、光の光線（例えば、図２Ｃにおける光線２０５参照）と、ピクセルの１つ以上のアレイが、動作モードの特定のビューまたは複数のビューを生成するであろう、光の光線に寄与するように、１つ以上のデータストリームを修正するために（例えば、修正されたデータストリーム８５０）処理回路網によって実施されるべき、タスクとを定義する。

９３０では、方法９００は、ピクセルの１つ以上のアレイが、動作モードの特定のビューまたは複数のビューを生成するであろう、光線に寄与するために、処理回路網によって、１つ以上のバックプレーンの回路構成を通して、修正された１つ以上のデータストリームを表すシグナリングをピクセルの１つ以上のアレイに提供するステップを含む。

方法９００のある側面では、処理回路網は、１つ以上の動作モードをサポートし、１つ以上の動作モードは、単一ビューが１つ以上のディスプレイの全ての視認者のために生成される、第１の動作モード、異なるビューが１つ以上のディスプレイの視認者毎に生成される、第２の動作モード、複数のビューが１つ以上のディスプレイの１人以上の視認者毎に生成される、第３の動作モード、１つ以上のビューが１つ以上のディスプレイの１人以上の視認者毎に生成される、第４の動作モード、もしくは単一ビューが１つ以上のディスプレイの１人以上の視認者のため生成され、１つ以上のビューが１つ以上のディスプレイの残りの視認者毎に生成される、第５の動作モードのうちの１つ以上のものを含む。

方法９００の別の側面では、１つ以上のバックプレーンの回路構成は、修正された１つ以上のデータストリームと関連付けられるシグナリングをピクセルの１つ以上のアレイの規定された部分に分散させるように構成される、論理配列である。

方法９００の別の側面では、処理回路網の少なくとも一部のアーキテクチャ（例えば、ディスプレイ処理回路網アーキテクチャ８１０）は、ニューラルネットワークアーキテクチャ、固定関数論理信号処理アーキテクチャ、またはプログラマブルパイプラインアーキテクチャを含む。

方法９００の別の側面では、アーキテクチャが、ニューラルネットワークアーキテクチャであるとき、方法９００はさらに、ニューラルネットワークアーキテクチャによって、入力データの１つ以上のストリームを出力データの１つ以上のストリームに処理するためのアルゴリズムを実施するステップを含み、アルゴリズムが実施する、算出は、訓練プロセスにおいて学習されており、訓練プロセスは、入力データの処理に先立って実施されている。

方法９００の別の側面では、方法９００は、アルゴリズムのネットワーク構成を処理回路網に転送することに先立って、１つ以上のディスプレイと異なるシステムにおいて訓練プロセスを実施するステップを含む。代替として、訓練プロセスは、１つ以上のディスプレイの処理回路網内で実施されてもよい。さらに、訓練プロセスは、最初に、アルゴリズムのネットワーク構成を処理回路網に転送することに先立って、１つ以上のディスプレイと異なるシステム内で実施されてもよく、続いて、１つ以上のデータストリームからのデータ新しいが処理されるにつれて、１つ以上のディスプレイの処理回路網内で実施されてもよい。

方法９００の別の側面では、訓練プロセスにおける学習は、１つ以上のコストまたは目的関数を最適化するステップを含んでもよい。

方法９００の別の側面では、方法９００はさらに、１つ以上のネットワークを使用して、アルゴリズムが実施する算出を実装するステップを含んでもよく、１つ以上のネットワークは、１つ以上の算出ユニットを含み、その機能は、１つ以上の数によって規定され、１つ以上のコストまたは目的関数は、これらの１つ以上の数を変動させることによって最適化される。方法はさらに、勾配降下法ベースの最適化を数値的に適用することによって、１つ以上のコストまたは目的関数を最適化するステップを含んでもよい。

方法９００の別の側面では、訓練プロセスは、入力データアイテムおよび出力データアイテム対から成る、訓練セットを提供するステップから成ってもよく、算出は、対の入力アイテムが算出への入力として提供されるとき、対の出力アイテムに実質的に類似する出力を生産するように最適化される。対の出力アイテムに実質的に類似する出力は、ユークリッド距離を含む、任意の１つの少なくとも１つの距離メトリックを使用する、短離間距離を示す。

方法９００の別の側面では、訓練プロセスは、入力データアイテムから成る、訓練セットを提供するステップから成ってもよく、方法はさらに、１つ以上のネットワークを使用して、アルゴリズムが実施する算出を実装するステップ（例えば、図５Ａおよび５Ｂにおけるようなニューラルネットワーク）を含み、方法はさらに、訓練プロセスに応答して、１つ以上のネットワークを最適化し、入力データアイテムを実質的に再現するステップを含む。方法はさらに、入力データアイテムを修正するステップを含んでもよく、１つ以上のネットワークは、修正を除去し、未修正入力データアイテムを再現するように最適化される。加えて、入力データアイテムを修正するステップは、雑音を入力データアイテムに追加する、歪曲を入力データアイテムに追加する、入力データアイテム内の画像の一部を除去またはマスクすることのうちの１つ以上のものを含んでもよい。

方法９００の別の側面では、訓練プロセスは、訓練セットを提供するステップから成ってもよく、訓練セットは、入力アイテムのみを含有する、サンプルと、入力アイテムおよび所望の出力アイテムの両方を含有する、サンプルのハイブリッドであって、方法はさらに、１つ以上のネットワークを使用して、アルゴリズムが実施する算出を実装するステップを含んでもよく、方法はさらに、１つ以上のネットワークを最適化し、出力アイテム対を有していないサンプルのための未修正入力アイテムを再現し、所望の出力アイテムを有するサンプルのための所望の出力アイテムを生産するステップを含む。

方法９００の別の側面では、方法９００はさらに、少なくとも２つのネットワークを使用して、アルゴリズムが実施する算出を実装するステップを含んでもよく、２つのネットワークは、ともに訓練され、一方のネットワークは、訓練セットからのサンプルに類似するサンプルを生成するように訓練され、他方のネットワークは、サンプルが、訓練セットからのものであるか、または他方のネットワークによって生成されたものであるかどうかを判定するように訓練される。

方法９００の別の側面では、方法９００はさらに、１つ以上のネットワークを使用して、アルゴリズムが実施する算出を実装するステップを含んでもよく、１つ以上のネットワークは、ネットワークによって生産された出力のシーケンスにわたって全体的コストまたは目的関数を最適化するように訓練され、数の集合である、１つ以上のデータストリームによって提供される入力を、ネットワークの１つ以上の相互接続層に、最終的に、１つ以上のネットワークの出力層に接続し、１つ以上のネットワーク内の層への入力は、１つ以上のネットワーク内の前の層、１つ以上のネットワーク内のさらに前の層へのスキップまたは残差接続、１つ以上のネットワーク内の後の層からのフィードバック接続、または１つ以上のネットワーク内の任意の層の履歴値への再帰接続、またはそれらの組み合わせから生じ得る。方法はさらに、随意に、各入力を数値加重によって乗算するステップと、随意に加重された入力の和を１つ以上のネットワークの非線形活性化層に渡すステップとを含んでもよく、非線形活性化層は、シグモイド関数、ｔａｎｈ関数、正規化線形ユニット（ＲｅＬＵ）、または漏洩正規化線形ユニット（漏洩ＲｅＬＵ）のうちの１つを提供する。

方法９００の別の側面では、方法９００はさらに、１つ以上のネットワークを使用して、アルゴリズムが実施する算出を実装するステップを含んでもよく、１つ以上のネットワークは、入力の最大値または最小値を求めることによって、もしくは入力を総和することによって、いくつかの値を単一値に組み合わせる、随意のプーリング層を含む。

方法９００の別の側面では、方法９００はさらに、１つ以上のネットワークを使用して、アルゴリズムが実施する算出を実装するステップを含んでもよく、１つ以上のネットワークは、１つ以上の出力を層に含み、各出力は、その独自のセットの加重、非線形性、およびプーリングを有する。

方法９００の別の側面では、アルゴリズムが実施する、算出は、処理回路網によって実施されるべき複数のタスクの同時処理を含み、各タスクの出力は、一意の出力データストリームによって表される。方法はさらに、１つ以上のネットワークを使用して、アルゴリズムが実施する算出を実装するステップを含んでもよく、１つ以上のネットワークは、複数のタスクによって共有される層と、タスク間で共有されないタスク特有の層とを含む。さらに、複数のタスクの同時処理は、１つ以上のデータストリームからの複数の入力データストリームを複数の出力データストリームに処理するステップを含んでもよい。

方法９００の別の側面では、処理回路網の少なくとも一部のアーキテクチャは、ニューラルネットワークアーキテクチャを含み、方法はさらに、ニューラルネットワークアーキテクチャの一部として、選択された動作モードのために１つ以上のデータストリームを修正するためのタスクを実施するために、１つ以上のニューラルネットワークを実装および実行するステップを含む。この場合、１つ以上のニューラルネットワークの複数の加重は、訓練データのセットにわたってコスト関数を最適化することによって判定されてもよく、訓練データのセットは、実世界コンテンツ、合成データ、または両方を含む。方法はさらに、１つ以上のディスプレイの製造の間、１つ以上のニューラルネットワークの複数の加重を設定するステップ、もしくは１つ以上のディスプレイの動作の間、複数の加重を動的に更新するステップであって、動的更新は、１つ以上のデータストリームが受信されることに応答して、ソフトウェア更新に応答して、または両方に応答して生じる、ステップを含んでもよい。方法はさらに、１つ以上のニューラルネットワークの複数の加重を１つ以上のニューラルネットワークの実装の中にハードコーディングするステップ、もしくは複数の加重をメモリ内に記憶し、１つ以上のニューラルネットワークの実装のために、メモリからの複数の加重にアクセスするステップを含んでもよい。方法はさらに、１つ以上のデータストリーム内で利用可能なデータストリーム、ディスプレイのための１つ以上のデータストリーム内のコンテンツ、１つ以上のデータストリームを修正するために実施されるべきタスク、もしくは１つ以上のディスプレイの出力モードのうちの１つ以上のものに基づいて、１つ以上のニューラルネットワークの複数の加重を調節するステップを含んでもよい。

１つ以上のニューラルネットワークのそれぞれの構成は、１つ以上の畳み込み層、１つ以上の全結合層、１つ以上のプーリング層、１つ以上のアップサンプリング層、１つ以上のダウンサンプリング層、１つ以上のスキップまたは残差接続、１つ以上の稠密接続、１つ以上のフィードバック接続、１つ以上の疎接続層、１つ以上の長期または短期メモリユニット、もしくは１つ以上の再帰接続のうちの１つ以上のものを含み、１つ以上のニューラルネットワークは、複数のニューラルネットワークを含んでもよく、複数のニューラルネットワークは、連結される。１つ以上のニューラルネットワークは、複数のニューラルネットワークを含んでもよく、異なるニューラルネットワークは、１つ以上のデータストリームを修正するための異なるタスクを実施する。

方法９００の別の側面では、１つ以上のデータストリームのうちの少なくとも１つは、処理回路網によって修正されると、１つ以上のバックプレーンの回路構成を通してピクセルの１つ以上のアレイに提供され、動作モードの特定のビューまたは複数のビューを生成するであろう光の光線に寄与する、信号を生産する、実世界コンテンツ、合成データ、または両方の表現を含む。

方法９００の別の側面では、１つ以上のデータストリームを受信するステップは、２次元（２Ｄ）画像または２Ｄビデオ、マルチカラー画像またはマルチカラービデオ（例えば、ＲＧＢ画像またはＲＧＢビデオ）、深度情報を伴う、マルチカラー画像またはマルチカラービデオ、１つ以上の深度マップを含む、深度情報、明視野または明視野ビデオ、複数のフレーム、光線または光束、光線または光束のシーケンスもしくは複数のシーケンス、感覚データ、オーディオデータ、１つ以上のディスプレイからの明度、ディスプレイ環境の色、または両方、もしくは１つ以上のディスプレイに対する視認者の位置、視認者頭部配向、または視認者視線方向の推定のうちの１つ以上のものを受信するステップを含む。ある実施例では、深度情報は、データソース内の１つのカラーストリームに関する深度情報、データソース内の複数のカラーストリームに関する深度情報、またはデータソース内の全てのカラーストリームに関する深度情報のうちの１つ以上のものを含む。

方法９００の別の側面では、１つ以上のデータストリームは、ピクセルの１つ以上のアレイ内のピクセルと関連付けられる、チャネルを含み、各チャネルは、１つ以上の色、深度、透明度、埋込特徴、画像セグメント化および標識化、指向性データ、もしくは突極性または重要性加重のうちの１つ以上のものを含む。

方法９００の別の側面では、１つ以上のデータストリームは、場面説明（例えば、メタデータ）を含み、場面説明は、２Ｄまたは３Ｄオブジェクト、材料性質、照明、カメラパラメータ、ユーザまたは視認者位置、タイムコード、高レベル画像特徴、画像セグメント化または標識化、もしくはコンテンツ説明のうちの１つ以上のものである。

方法９００の別の側面では、１つ以上のデータストリームは、１つ以上の画像、視認位置または眼位置を表す、画像、眼位置を表す、１つ以上のステレオ対、視認位置または眼位置の規則的もしくは不規則的サンプリング、もしくは１つ以上の明視野のうちの１つ以上のものを含む。

方法９００の別の側面では、１つ以上のデータストリームはそれぞれ、圧縮または解凍される。

方法９００の別の側面では、１つ以上のデータストリームは、１つ以上のディスプレイ内の１つ以上のセンサからの情報を含み、情報は、ディスプレイ環境の明度および色の光センサ記録、１つ以上のディスプレイの周囲の環境、ユーザ、または両方のカメラビュー、１つ以上のディスプレイの周囲の環境、ユーザ、または両方のマイクロホン記録、もしくはユーザ入力および選好のうちの１つ以上のものを含む。１つ以上のセンサ（例えば、センサ１５５）からの情報は、処理回路網（例えば、ディスプレイ処理回路網１３０）によって、１つ以上のデータストリームを通して、直接センサから、またはそれらの組み合わせにおいて受信されてもよい。

方法９００の別の側面では、１つ以上のデータストリームを修正するステップ（例えば、修正されたデータストリーム８５０）は、２次元（２Ｄ）画像または２Ｄビデオ、深度情報を伴う、マルチカラー画像またはマルチカラービデオ、ステレオ画像またはステレオビデオ、光線または光束、光線のシーケンスまたは光束のシーケンス、明視野または明視野ビデオ、もしくは３Ｄ場面の複数のマルチカラービューを伴う、明視野または明視野ビデオのうちの１つ以上のものを生産するステップを含んでもよい。

方法９００の別の側面では、修正された１つ以上のデータストリームは、ピクセルの１つ以上のアレイ内のピクセルと関連付けられる、チャネルを含んでもよく、各チャネルは、１つ以上の色、深度、透明度、埋込特徴、画像セグメント化および標識化、指向性データ、もしくは突極性または重要性加重のうちの１つ以上のものを含む。

方法９００の別の側面では、修正された１つ以上のデータストリームは、場面説明（例えば、メタデータ）を含んでもよく、場面説明は、２Ｄまたは３Ｄオブジェクト、材料性質、照明、カメラパラメータ、ユーザまたは視認者位置、タイムコード、高レベル画像特徴、画像セグメント化または標識化、もしくはコンテンツ説明のうちの１つ以上のものである。

方法９００のさらに別の側面では、修正された１つ以上のデータストリームは、１つ以上の画像、視認位置または眼位置を表す、画像、眼位置を表す、１つ以上のステレオ対、視認位置または眼位置の規則的もしくは不規則的サンプリング、もしくは１つ以上の明視野のうちの１つ以上のものを含んでもよい。さらに、修正された１つ以上のデータストリームはそれぞれ、圧縮または解凍される。

方法９００のさらに別の側面では、処理回路網によって、１つ以上のデータストリームを修正するためのタスクを実施するステップは、ピクセルのオリジナル数より高い総ピクセル数またはピクセルのオリジナル密度より高いピクセルの密度を有する、より高い解像度に変換するステップ、オリジナル範囲を越える範囲を外挿することによって、より高いダイナミックレンジを生産するステップ、深度情報を伴う、マルチカラー画像またはマルチカラービデオを生産するステップ、ステレオ画像またはステレオビデオを生産するステップ、３Ｄ場面の１つまたは複数のマルチカラービューを生産するステップ、３Ｄ場面の付加的マルチカラービューを生産するステップ、複数のフレームからの視覚的詳細を組み合わせることによって、場面のより高い解像度モデルを推定するステップ、もしくはビデオ内の場面コンテンツまたはビューの一方もしくは両方内で生じる視覚的変化の大きさを測定することによって、ビデオ内のカットまたはジャンプの一方もしくは両方を検出するステップのうちの１つ以上のものを実施するステップを含む。

方法９００の一部として、３Ｄ場面の１つまたは複数のマルチカラービューを生産するステップはさらに、ビュー合成動作、穴埋め動作、超解像技術動作、深度調節動作、中心窩化レンダリングによる帯域幅制御、または低ダイナミックレンジ（ＬＤＲ）／高ダイナミックレンジ（ＨＤＲ）変換のうちの１つ以上のものを実施するステップを含む。

方法９００の別の側面では、処理回路網によって、１つ以上のデータストリームを修正するためのタスクを実施するステップは、コンテンツ分類、対応、補間および超解像技術、ディスプレイ再マッピング、ユーザ追跡、マルチビューへの変換、深度推定、画像セグメント化、または場面性質の推定のうちの１つ以上のものを実施するステップを含む。

方法９００の一部として、上記に説明されるコンテンツ分類を実施するステップは、個々のピクセル、２Ｄ特徴、３Ｄ特徴、画像タイプ、またはそれらの組み合わせを分類するための寸法低減を提供するステップを含む。

方法９００の一部として、上記に説明されるコンテンツ分類を実施するステップは、１つ以上のデータストリーム内のコンテンツを分類するステップと、分類に応答して、処理回路網によってアクセス可能な複数の加重の異なるセットからの複数の加重の一意のセットを動的にロードするステップと、一意のセットの複数の加重を使用して、処理回路網内の１つ以上の処理ネットワークを実装するステップとを含んでもよい。

方法９００の一部として、上記に説明されるディスプレイ再マッピングを実施するステップは、強度再マッピング、明度再マッピング、解像度再マッピング、アスペクト比再マッピング、色再マッピング、またはコンテンツ深度再マッピングのうちの１つ以上のものを実施するステップを含んでもよい。

方法９００の一部として、上記に説明されるディスプレイ再マッピングを実施するステップは、補間の補間部分内の加重の調節と、１つ以上の知覚メトリックを使用して、画像強度および不均衡をワーピングし、ディスプレイ深度予算内に適合させるための、超解像技術とを提供する、深度再マッピングを実施するステップを含んでもよい。

方法９００の一部として、上記に説明されるディスプレイ再マッピングを実施するステップは、深度情報が利用可能であるときに適用可能である、深度再マッピング、または深度情報が利用不可能であるときに適用可能である、不均衡再マッピングを実施するステップを含んでもよく、不均衡再マッピングは、ステレオ画像またはステレオビデオと併用され、方法はさらに、不均衡再マッピングを深度情報に変換するステップを含んでもよい。

上記に説明されるディスプレイ再マッピングは、１つ以上の再マッピングパラメータに基づいてもよく、１つ以上の再マッピングパラメータは、１つ以上のディスプレイのパラメータもしくは１つ以上のディスプレイの能力の一方もしくは両方と関連付けられ、１つ以上のディスプレイのパラメータもしくは１つ以上のディスプレイの能力の一方もしくは両方は、空間解像度、角解像度、ダイナミックレンジ、または視野のうちの１つ以上のものを含む。

方法９００の一部として、上記に説明されるコンテンツ分類を実施するステップは、１つ以上の基準に基づいて、１つ以上のデータストリーム内のデータの分類を提供し、方法はさらに、処理回路網によって、分類に応答して、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクを動的に更新するステップを含む。

方法９００の一部として、上記に説明される補間および超解像技術を実施するステップは、２Ｄ／３Ｄ変換またはＬＤＲ／ＨＤＲ変換の一方もしくは両方を提供する。

方法９００の一部として、上記に説明されるディスプレイ再マッピングを実施するステップは、強度再マッピング、明度再マッピング、解像度再マッピング、アスペクト比再マッピング、色再マッピング、またはコンテンツ深度再マッピングのうちの１つ以上のものを実施するステップを含む。

方法９００の別の側面では、方法９００はさらに、タスクを現在の場面コンテンツに適合させることによって、直近のフレームに基づいて、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクを修正するステップを含んでもよく、修正されたタスクが補間を含むとき、補間は、空間補間、角度補間、または時間的補間のうちの１つ以上のものを含んでもよい。

方法９００の別の側面では、１つ以上のデータストリームは、複数のフレームを含んでもよく、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクは、複数のフレームを組み合わせ、経時的に整合させることによる、場面の持続的３Ｄモデルの推定を含んでもよい。

方法９００の別の側面では、１つ以上のデータストリームは、複数のフレームを含んでもよく、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクは、複数のフレームからの視覚的詳細を経時的に組み合わせることによる、場面のより高い解像度モデルの推定を含んでもよい。

方法９００のさらに別の側面では、１つ以上のデータストリームは、ビデオを含んでもよく、方法はさらに、処理回路網によって、ビデオ内の場面コンテンツまたはビューの一方もしくは両方において生じる視覚的変化の大きさを測定することによって、ビデオ内のカットまたはジャンプの一方もしくは両方を検出するステップを含んでもよい。

方法９００の別の側面では、１つ以上のデータストリームは、複数の場面を含んでもよく、方法はさらに、処理回路網によって、以前に示される場面と関連付けられる、特徴、加重、または情報のうちの１つ以上のものを維持するステップを含んでもよい。

方法９００の別の側面では、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクは、１つ以上のデータストリーム内の２Ｄ画像またはビデオからの複数のフレームに関する深度情報の推定を含んでもよい。

方法９００の別の側面では、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクは、空間解像度、角解像度、時間的解像度、ビット深度、ダイナミックレンジ、または両方、色、深度、スペクトルサンプリング、または透明度を含む、ピクセルチャネル、指向性データ、もしくは突極性または重要性加重のうちの１つ以上のものによってピクセルデータを増加させることによって、付加的ピクセルデータを合成するステップを含んでもよい。

方法９００のさらに別の側面では、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクのうちの少なくともいくつかは、１つ以上のディスプレイのアーキテクチャと、利用可能な空間解像度、利用可能な角解像度、リフレッシュレート、色域、またはダイナミックレンジのうちの１つ以上のものを含む、能力とに基づいて、１つ以上のデータストリーム内のコンテンツを適合させるステップを含んでもよい。タスクのうちの少なくともいくつかは、強度処理、色処理、ホワイトバランス、ビューインターレース、トーンマッピング、またはディスプレイ光学系のための補正のうちの１つ以上のものを含んでもよい。

方法９００の別の側面では、方法９００はさらに、１つ以上のディスプレイによって、ディスプレイ能力およびピクセル強度、色域、リフレッシュレート、またはダイナミックレンジのうちの１つ以上のものにおける変動を測定するように較正されるステップを含んでもよく、較正は、１つ以上のディスプレイの製造の間または１つ以上のディスプレイの動作の間に実施される。

方法９００の別の側面では、方法９００はさらに、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクをピクセルのアレイ内のピクセルの１つ以上のサブセットに選択的に適用するステップを含んでもよく、１つ以上のサブセットは、空間サブセット、角度サブセット、または時間的サブセットである。

方法９００の別の側面では、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクのうちの少なくともいくつかは、複数のフレームを分析するように構成され、タスクのうちの少なくともいくつかは、ビデオコンテンツ内のフレームを横断して運動を追跡するステップを含む。

方法９００のさらに別の側面では、１つ以上のデータストリームを修正するために処理回路網によって実施されるべきタスクのうちの少なくとも１つは、少なくとも部分的に、１つ以上のディスプレイに対する１つ以上のユーザ位置の推定に基づき、ユーザ位置は、２Ｄまたは３Ｄ頭部位置情報、２Ｄまたは３Ｄ眼位置情報、頭部配向情報、眼配向情報、視線方向、もしくはそれらの組み合わせによって示される。

故に、本開示は、示される実装に従って提供されたが、当業者は、実施形態の変形例が存在し得、それらの変形例が本開示の範囲内にあるであろうことを容易に認識するであろう。したがって、多くの修正が、添付の請求項の範囲から逸脱することなく、当業者によって成され得る。

Claims (20)

1. 複数のビューをサポートするように構成されるディスプレイであって、前記ディスプレイは、
   光の光線を生産するように構成される少なくとも１つのピクセルのアレイと、
   前記少なくとも１つのピクセルのアレイと電子的に結合される少なくとも１つのバックプレーンと、
   前記少なくとも１つのバックプレーンと電子的に結合される処理回路網とを備え、
   前記処理回路網は、前記ディスプレイにおいて受信される入力データのデータストリームを処理するように構成されるニューラルネットワークアーキテクチャを含み、
   前記処理回路網は、
   前記入力データのデータストリームを受信することと、
   前記処理回路網によってサポートされる複数の動作モードから１つの動作モードを選択することであって、前記複数の動作モードの各々は、特定のビューを生成する光の光線と、前記特定のビューを生成するように、前記入力データのデータストリームを修正するために、前記処理回路網によって実施されるべきタスクとを定義する、ことと、
   前記特定のビューを生成するように前記光の光線に寄与するために、前記少なくとも１つのバックプレーンの回路構成を通して、前記修正されたデータストリームを表すシグナリングを前記少なくとも１つのピクセルのアレイに提供することと
   を行うように構成され、
   前記処理回路網は、前記ニューラルネットワークアーキテクチャを使用して、前記入力データのデータストリームを、前記修正されたデータストリームを含む出力データのストリームに処理するように構成される、ディスプレイ。
2. 前記ニューラルネットワークアーキテクチャは、前記ディスプレイの前記処理回路網内に記憶される複数の加重を含み、
   前記処理回路網は、その中に記憶される前記複数の加重のうちの少なくとも１つに従って、前記入力データのデータストリームを修正するようにさらに構成される、請求項１に記載のディスプレイ。
3. 複数のビューをサポートするディスプレイ上で少なくとも１つのデータストリームを処理するための方法であって、前記ディスプレイは、光の光線を生産するためのピクセルのアレイと、前記ピクセルのアレイと電子的に結合されるバックプレーンと、前記バックプレーンと電子的に結合される処理回路網とを含み、前記方法は、
   前記処理回路網においてデータストリームを受信することと、
   前記処理回路網によってサポートされる複数の動作モードから１つの動作モードを選択することであって、前記複数の動作モードの各々は、特定のビューを生成する光の光線と、前記特定のビューを生成するように、前記データストリームを修正するために、前記処理回路網によって実施されるべきタスクとを定義する、ことと、
   修正されたデータストリームを取得するために、前記選択された動作モードに従って、前記データストリームを処理することと、
   前記ピクセルのアレイが前記特定のビューを生成するために、前記バックプレーンの回路構成を通して、前記修正されたデータストリームを表すシグナリングを前記ピクセルのアレイに提供することと
   を含み、
   前記複数の動作モードは、ニューラルネットワークアーキテクチャを使用して実装される、方法。
4. 前記データストリームを処理することは、前記ディスプレイの製造、前記ディスプレイの動作、前記データストリームの受信、および前記データストリームの一部としてのソフトウェア更新の受信のうちの少なくとも１つの間、前記ニューラルネットワークアーキテクチャの複数の加重を設定することを含む、請求項３に記載の方法。
5. 前記ニューラルネットワークアーキテクチャの複数の加重を設定することは、前記ニューラルネットワークアーキテクチャの複数の加重を前記処理回路網の中にハードコーディングすることを含む、請求項４に記載の方法。
6. 前記データストリームを処理することは、前記データストリーム、前記データストリーム内のコンテンツ、前記選択された動作モード、および前記ディスプレイの出力モードのうちの少なくとも１つに基づいて、前記ニューラルネットワークアーキテクチャの複数の加重を調節することを含む、請求項３に記載の方法。
7. 前記ニューラルネットワークアーキテクチャは、
   畳み込み層、
   全結合層、
   プーリング層、
   アップサンプリング層、
   ダウンサンプリング層、
   スキップ接続、
   残差接続、
   稠密接続、
   フィードバック接続、
   疎接続層、
   長期または短期メモリユニット、および
   再帰接続
   のうちの少なくとも１つを含む、請求項３に記載の方法。
8. 前記ニューラルネットワークアーキテクチャは、複数の連結されたニューラルネットワークを含む、請求項３に記載の方法。
9. 前記ニューラルネットワークアーキテクチャは、複数のニューラルネットワークを含み、前記複数のニューラルネットワークの各々は、前記データストリームを修正するために異なるタスクを実施する、請求項３に記載の方法。
10. 複数のビューをサポートするように構成されるディスプレイであって、前記ディスプレイは、
    光の光線を生産するためのピクセルのアレイと、
    前記ピクセルのアレイと電子的に結合されるバックプレーンと、
    前記バックプレーンと電子的に結合される処理回路網と
    を備え、
    前記処理回路網は、前記ディスプレイにおいて受信される入力データストリームを処理するように構成されるニューラルネットワークアーキテクチャを含み、
    前記処理回路網は、複数の動作モードをサポートするように構成され、前記複数の動作モードは、特定のビューを生成する特定の光線のセットと、前記特定のビューを生成するように、前記入力データストリームを修正するために、前記ニューラルネットワークアーキテクチャによって実施されるべきタスクとを定義し、
    前記処理回路網は、
    前記入力データストリームを受信することと、
    前記入力データストリームに従って、前記複数の動作モードから特定の動作モードを選択することと、
    出力データストリームを生成するように、前記特定の動作モードに従って、前記入力データストリームを処理することと、
    前記バックプレーンを通して、前記出力データストリームを表すシグナリングを前記ピクセルのアレイに提供することと
    を行うようにさらに構成され、
    前記ピクセルのアレイは、前記特定のビューを生成するように前記特定の光線のセットに寄与するように構成される、ディスプレイ。
11. 前記ディスプレイは、複数の視認者が視認するために構成され、前記複数の動作モードは、
    単一ビューが前記複数の視認者のために生成される第１の動作モード、
    異なるビューが前記複数の視認者の各々のために生成される第２の動作モード、および
    複数のビューが前記複数の視認者の各々のために生成される第３の動作モード
    のうちの少なくとも１つを含む、請求項１０に記載のディスプレイ。
12. 前記ニューラルネットワークアーキテクチャは、前記ディスプレイの前記処理回路網内に記憶される複数の加重を含み、
    前記処理回路網は、その中に記憶される前記複数の加重のうちの少なくとも１つに従って、前記入力データストリームを修正するようにさらに構成される、請求項１０に記載のディスプレイ。
13. 前記ピクセルのアレイ内の異なるピクセルは、異なる方向に向かって指向される光線を生産する、請求項１０に記載のディスプレイ。
14. 前記ピクセルのアレイは、少なくとも２つの異なる色を含む光線を生産する、請求項１０に記載のディスプレイ。
15. 前記処理回路網は、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、プログラマブル集積回路、中央処理ユニット、グラフィック処理ユニット、テンソル処理ユニット、ニューラルネットワーク集積回路、視覚処理ユニット、およびニューロモーフィックプロセッサのうちの少なくとも１つを含む、請求項１０に記載のディスプレイ。
16. 前記処理回路網は、前記バックプレーンを横断して分散されるトランジスタレベル回路網を含む、請求項１０に記載のディスプレイ。
17. 前記トランジスタレベル回路網は、前記バックプレーンと同一基板上に形成される、請求項１６に記載のディスプレイ。
18. 前記入力データストリームは、実世界コンテンツおよび合成データのうちの少なくとも１つを含む、請求項１０に記載のディスプレイ。
19. 前記入力データストリームは、
    ２次元（２Ｄ）画像、
    ２Ｄビデオ、
    マルチカラー画像、
    マルチカラービデオ、
    深度情報、
    深度マップ、
    明視野画像、
    明視野ビデオ、
    感覚データ、
    オーディオデータ、
    明度データ、
    ディスプレイ環境データの色、
    前記ディスプレイに対する視認者の位置の推定、
    視認者頭部配向データ、および
    視認者視線方向データ
    のうちの少なくとも１つを含む、請求項１８に記載のディスプレイ。
20. 前記処理回路網は、
    コンテンツ分類、
    対応、
    補間、
    ディスプレイ再マッピング、
    ユーザ追跡、
    マルチビューへの変換、
    深度推定、
    画像セグメント化、
    場面性質の推定、
    ビュー合成、
    穴埋め、
    超解像技術、
    深度調節、
    中心窩化レンダリングによる帯域幅制御、および
    低ダイナミックレンジ（ＬＤＲ）／高ダイナミックレンジ（ＨＤＲ）変換
    のうちの少なくとも１つを実施することによって、前記入力データストリームを処理するように構成される、請求項１０に記載のディスプレイ。

Images