JP2024510455A - 顕著性ベースのフレーム色強調のための方法および装置 - Google Patents

Abstract

本開示は、装置、たとえば、ＤＰＵを含む、表示処理のための方法およびデバイスに関する。装置は、複数のフレームの連続するフレーム間のシーン変化または複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出することができる。装置はまた、第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つを生成することができる。装置はまた、複数のフレームの１つまたは複数の後続のフレーム内の複数のピクセルに、複数のフレームに関連付けられた色空間のためのＣＭＦを適用することができ、ＣＭＦは、後続のシーン変化または後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される。

Description

[0001]本開示は、一般に処理システムに関し、より詳細には、表示処理または画像処理のための１つまたは複数の技法に関する。

[0002]コンピューティングデバイスは、ビジュアルコンテンツをレンダリングおよび表示するために、（たとえば、グラフィックス処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、ディスプレイプロセッサなどを利用して）グラフィックス処理および／または表示処理を実行することが多い。そのようなコンピューティングデバイスには、たとえば、コンピュータワークステーション、スマートフォンなどのモバイルフォン、組込み型システム、パーソナルコンピュータ、タブレットコンピュータ、およびビデオゲームコンソールが含まれる場合がある。ＧＰＵは、グラフィックス処理コマンドを実行し、フレームを出力するために一緒に動作する１つまたは複数の処理段階を含むグラフィックス処理パイプラインを実行するように構成される。中央処理ユニット（ＣＰＵ）は、１つまたは複数のグラフィックス処理コマンドをＧＰＵに発行することにより、ＧＰＵの動作を制御することができる。現代のＣＰＵは、通常、それらの各々が実行中にＧＰＵを利用する必要があり得る、複数のアプリケーションを同時に実行することが可能である。ディスプレイプロセッサは、ＣＰＵから受け取ったデジタル情報をアナログ値に変換するように構成され、ビジュアルコンテンツを表示するためのディスプレイパネルにコマンドを発行することができる。ディスプレイ上の視覚的表現のためのコンテンツを提供するデバイスは、ＧＰＵおよび／またはディスプレイプロセッサを利用することができる。

[0003]デバイスのＧＰＵは、グラフィックス処理パイプライン内のプロセスを実行するように構成される場合がある。さらに、ディスプレイプロセッサまたは表示処理ユニット（ＤＰＵ）は、表示処理のプロセスを実行するように構成される場合がある。しかしながら、ワイヤレス通信、および小型のハンドヘルドデバイスの出現とともに、改善されたグラフィックス処理または表示処理に対する必要性の増加が生じている。

[0004]以下は、１つまたは複数の態様の基本的理解を提供するために、そのような態様の簡略化された概要を提示する。この概要は、すべての企図された態様の包括的な概観ではなく、すべての態様の主要または重要な要素を識別するものでも、いずれかまたはすべての態様の範囲を定めるものでもない。その唯一の目的は、後で提示されるより詳細な説明への導入として、１つまたは複数の態様のいくつかの概念を簡略化された形で提示することである。

[0005]本開示の一態様では、方法、コンピュータ可読媒体、および装置が提供される。装置は、表示処理ユニット（ＤＰＵ）または表示処理もしくは画像処理を実行することができる任意の装置であってもよい。装置は、複数のフレームの連続するフレーム間のシーン変化または複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出することができ、複数のフレームの各々は複数のピクセルを含み、複数のフレームの第１のフレームは、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームに対応する。装置はまた、第１のフレームのダウンサンプリングされた画像を生成するために第１のフレームの画像をダウンサンプリングすることができ、ダウンサンプリングされた画像は、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームのうちの少なくとも１つを検出すると生成される。装置はまた、第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップまたは深度マップのうちの少なくとも１つを生成することができ、第１のフレームは複数の第１のピクセルを含み、ダウンサンプリングされた画像は複数のダウンサンプリングされたピクセルを含む。その上、装置は、複数のフレームの１つまたは複数の後続のフレーム内の複数のピクセルに、複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を適用することができ、ＣＭＦは、複数のフレーム内の後続のシーン変化または複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される。装置はまた、複数のダウンサンプリングされたピクセルの１つもしくは複数の低顕著性色、１つもしくは複数の高顕著性色、または深度情報のうちの少なくとも１つを調整することができ、深度情報は、深度範囲内の深度を含む１つもしくは複数の色、または深度範囲外の深度を含む１つもしくは複数の色に対応する。

[0006]本開示の１つまたは複数の例の詳細が、添付の図面および以下の説明に記載されている。本開示の他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになろう。

[0007]本開示の１つまたは複数の技法による、例示的なコンテンツ生成システムを示すブロック図。 [0008]本開示の１つまたは複数の技法による、例示的なＧＰＵの図。 [0009]本開示の１つまたは複数の技法による、表示処理または画像処理の構成要素の図。 [0010]本開示の１つまたは複数の技法による、例示的な顕著性マップの図。 [0011]本開示の１つまたは複数の技法による、色変換プロセスのための構成要素の図。 [0012]本開示の１つまたは複数の技法による、ＧＰＵ／ＣＰＵ、ＤＰＵ、およびディスプレイの間の例示的な通信を示す通信フロー図。 [0013]本開示の１つまたは複数の技法による、表示処理の例示的な方法のフローチャート。

[0014]表示処理のいくつかの態様は、画像を計算するためのいくつかの可視化技法、たとえば、顕著性マップを利用する。顕著性マップは画像内の顕著性の概念を利用し、顕著性は、表示処理のコンテキストにおける画像またはフレームのいくつかの特徴、たとえば、ピクセル、解像度などを指すことができる。前述の特徴は、画像またはフレーム内の視覚的に魅力的な位置、すなわち、「顕著な」位置を描写することができる。顕著性マップは、画像またはフレーム内のこれらの視覚的に魅力的または顕著な位置の地形表現である。たとえば、顕著性マップは、画像の背景と比較して画像の前景を強調表示する助けになることができる。写真画像は、画像内のオブジェクトおよびシーンの厳密な色を正確に描写することができる。しかしながら、写真画像は、画像内のオブジェクトの深度または画像内の視覚的に魅力的な位置の深度を容易に描写することができない。対照的に、特定のペインティング技法は、遠くから見られたときにオブジェクトの外観に対して大気が有する効果を指す空気遠近感または大気遠近感に基づいて画像内の深度を描写することができる。たとえば、画像内のオブジェクトと見る人との間の距離が大きくなるにつれて、オブジェクトとその背景との間のコントラストは減少し、オブジェクト内の任意のマーキングまたは詳細のコントラストも減少する。画像内のこの空気遠近感または大気遠近感を描写するために、遠くのオブジェクトは、寒色、すなわち青みがかった色合いを有する色で描写される場合があり、より近くのオブジェクトは、暖色、すなわち赤みがかった色合いを有する色で描写される場合がある。さらに、空気遠近感または大気遠近感を利用するとき、画像内のオブジェクトの色はまた、あまり飽和せず、色の青みがかった色合いに対応することができる背景色に向かってシフトする場合がある。しかしながら、深度の錯覚を生み出すことから恩恵を受けるはずの画像内の他のオブジェクトまたは色が存在する場合がある。本開示の態様は、特定の画像、たとえば写真画像内の対象領域を検出し、深度の錯覚を生み出すことによってこれらの対象領域に焦点を合わせることができる。たとえば、本開示の態様は、空気遠近感または大気遠近感を介して画像内の対象領域に対して深度の錯覚を生み出すことができる。さらに、本開示の態様は、顕著性マップなどを介してピクセルの顕著性情報に基づいて、画像内のピクセル色を適応的に調整することができる。そうすることにより、本開示の態様は、画像内の大気遠近感または空気遠近感を生成することができる。さらに、本開示の態様は、画像の背景内の色飽和度を減少させ、画像の前景内の色飽和度を増加させることができる。

[0015]システム、装置、コンピュータプログラム製品、および方法の様々な態様が、添付の図面を参照して以下でより完全に記載される。しかしながら、本開示は多くの異なる形態で具現化されてもよく、本開示全体にわたって提示される任意の特定の構造または機能に限定されると解釈されるべきではない。むしろ、これらの態様は、本開示が完璧および完全になり、本開示の範囲を当業者に完全に伝達するように提供される。本明細書の教示に基づいて、当業者は、本開示の範囲が、本開示の他の態様とは無関係に実装されるか、本開示の他の態様と組み合わされるかにかかわらず、本明細書に開示されたシステム、装置、コンピュータプログラム製品、および方法のいかなる態様もカバーするものであることを諒解するべきである。たとえば、本明細書に記載された任意の数の態様を使用して、装置が実装され得るか、または方法が実践され得る。加えて、本開示の範囲は、本明細書に記載された本開示の様々な態様に加えて、またはそれら以外に、他の構造、機能、または構造および機能を使用して実践されるそのような装置または方法をカバーするものである。本明細書に開示されたいかなる態様も、請求項の１つまたは複数の要素によって具現化され得る。

[0016]様々な態様が本明細書に記載されるが、これらの態様の多くの変形および置換は本開示の範囲内に入る。本開示の態様のいくつかの潜在的な利益および利点が述べられるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、異なるワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能なものであり、それらのうちのいくつかが、例として、図および以下の説明に示される。発明を実施するための形態および図面は、本開示を限定するのではなく例示するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。

[0017]様々な装置および方法に関していくつかの態様が提示される。これらの装置および方法は、以下の発明を実施するための形態に記載され、（「要素」と総称される）様々なブロック、構成要素、回路、プロセス、アルゴリズムなどによって添付の図面に示される。これらの要素は、電子ハードウェア、コンピュータソフトウェア、またはそれらの任意の組合せを使用して実装される場合がある。そのような要素がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。

[0018]例として、要素、または要素の任意の部分、または要素の任意の組合せは、（処理ユニットと呼ばれる場合もある）１つまたは複数のプロセッサを含む「処理システム」として実装される場合がある。プロセッサの例には、マイクロプロセッサ、マイクロコントローラ、グラフィックス処理ユニット（ＧＰＵ）、汎用ＧＰＵ（ＧＰＧＰＵ）、中央処理ユニット（ＣＰＵ）、アプリケーションプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、システムオンチップ（ＳＯＣ）、ベースバンドプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、状態機械、ゲート論理、個別ハードウェア回路、および本開示全体にわたって記載された様々な機能を実行するように構成された他の適切なハードウェアが含まれる。処理システム内の１つまたは複数のプロセッサはソフトウェアを実行することができる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェア構成要素、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、プロシージャ、関数などを意味するように広く解釈され得る。アプリケーションという用語は、ソフトウェアを指す場合がある。本明細書に記載されたように、１つまたは複数の技法は、アプリケーション、すなわち、ソフトウェアが１つまたは複数の機能を実行するように構成されることを指す場合がある。そのような例では、アプリケーションは、メモリ、たとえば、プロセッサのオンチップメモリ、システムメモリ、または任意の他のメモリに記憶される場合がある。プロセッサなどの本明細書に記載されたハードウェアは、アプリケーションを実行するように構成される場合がある。たとえば、アプリケーションは、ハードウェアによって実行されると、本明細書に記載された１つまたは複数の技法をハードウェアに実行させるコードを含むものとして記載される場合がある。一例として、ハードウェアは、本明細書に記載された１つまたは複数の技法を実行するために、メモリからコードにアクセスし、メモリからアクセスされたコードを実行することができる。いくつかの例では、構成要素は本開示において識別される。そのような例では、構成要素は、ハードウェア、ソフトウェア、またはそれらの組合せであり得る。構成要素は、別々の構成要素または単一の構成要素の副構成要素であり得る。

[0019]したがって、本明細書に記載された１つまたは複数の例では、記載された機能は、ハードウェア、ソフトウェア、またはそれらの任意の組合せで実装される場合がある。ソフトウェアで実装される場合、機能は、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体上に１つもしくは複数の命令またはコードとして符号化される場合がある。コンピュータ可読媒体はコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ（登録商標））、光ディスクストレージ、磁気ディスクストレージ、他の磁気ストレージデバイス、前述のタイプのコンピュータ可読媒体の組合せ、またコンピュータによってアクセスされ得る命令もしくはデータ構造の形態のコンピュータ実行可能コードを記憶するために使用され得る任意の他の媒体を備えることができる。

[0020]概して、本開示は、単一のデバイスまたは複数のデバイス内のグラフィックス処理パイプラインを有し、グラフィカルコンテンツのレンダリングを改善し、および／または処理ユニット、すなわち、ＧＰＵなどの本明細書に記載された１つもしくは複数の技法を実行するように構成された任意の処理ユニットの負荷を低減するための技法を記載する。たとえば、本開示は、グラフィックス処理を利用する任意のデバイスにおけるグラフィックス処理のための技法を記載する。他の例示的な利益が本開示全体にわたって記載される。

[0021]本明細書で使用される「コンテンツ」という用語のインスタンスは、「グラフィカルコンテンツ」、「画像」を指す場合があり、その逆も同様である。これは、用語が形容詞として使用されているか、名詞として使用されているか、他の品詞として使用されているかにかかわらず当てはまる。いくつかの例では、本明細書で使用される「グラフィカルコンテンツ」という用語は、グラフィックス処理パイプラインの１つまたは複数のプロセスによって生成されたコンテンツを指す場合がある。いくつかの例では、本明細書で使用される「グラフィカルコンテンツ」という用語は、グラフィックス処理を実行するように構成された処理ユニットによって生成されたコンテンツを指す場合がある。いくつかの例では、本明細書で使用される「グラフィカルコンテンツ」という用語は、グラフィックス処理ユニットによって生成されたコンテンツを指す場合がある。

[0022]いくつかの例では、本明細書で使用される「表示コンテンツ」という用語は、表示処理を実行するように構成された処理ユニットによって生成されたコンテンツを指す場合がある。いくつかの例では、本明細書で使用される「表示コンテンツ」という用語は、表示処理ユニットによって生成されたコンテンツを指す場合がある。グラフィカルコンテンツは、表示コンテンツになるように処理される場合がある。たとえば、グラフィックス処理ユニットは、（フレームバッファと呼ばれる場合がある）バッファにフレームなどのグラフィカルコンテンツを出力することができる。表示処理ユニットは、バッファから１つまたは複数のフレームなどのグラフィカルコンテンツを読み取り、表示コンテンツを生成するために、それらに対して１つまたは複数の表示処理技法を実行することができる。たとえば、表示処理ユニットは、フレームを生成するために、１つまたは複数のレンダリングされたレイヤに対して合成を実行するように構成される場合がある。別の例として、表示処理ユニットは、２つ以上のレイヤを一緒に単一のフレームに合成するか、ブレンドするか、またはさもなければ結合するように構成される場合がある。表示処理ユニットは、フレームに対してスケーリング、たとえば、アップスケーリングまたはダウンスケーリングを実行するように構成される場合がある。いくつかの例では、フレームはレイヤを指す場合がある。他の例では、フレームは、フレームを形成するためにすでに一緒にブレンドされている２つ以上のレイヤを指す場合があり、すなわち、フレームは２つ以上のレイヤを含み、２つ以上のレイヤを含むフレームは、その後ブレンドされる場合がある。

[0023]図１は、本開示の１つまたは複数の技法を実施するように構成された例示的なコンテンツ生成システム１００を示すブロック図である。コンテンツ生成システム１００はデバイス１０４を含む。デバイス１０４は、本明細書に記載された様々な機能を実行するための１つまたは複数の構成要素または回路を含む場合がある。いくつかの例では、デバイス１０４の１つまたは複数の構成要素は、ＳＯＣの構成要素であり得る。デバイス１０４は、本開示の１つまたは複数の技法を実行するように構成された１つまたは複数の構成要素を含む場合がある。図示された例では、デバイス１０４は、処理ユニット１２０と、コンテンツエンコーダ／デコーダ１２２と、システムメモリ１２４とを含む場合がある。いくつかの態様では、デバイス１０４は、いくつかのオプションの構成要素、たとえば、通信インターフェース１２６、トランシーバ１３２、受信機１２８、送信機１３０、ディスプレイプロセッサ１２７、および１つまたは複数のディスプレイ１３１を含むことができる。ディスプレイ１３１への言及は、１つまたは複数のディスプレイ１３１を指す場合がある。たとえば、ディスプレイ１３１は、単一のディスプレイまたは複数のディスプレイを含む場合がある。ディスプレイ１３１は、第１のディスプレイと第２のディスプレイとを含む場合がある。第１のディスプレイは左眼ディスプレイであり得、第２のディスプレイは右眼ディスプレイであり得る。いくつかの例では、第１および第２のディスプレイは、その上での提示のための異なるフレームを受け取る場合がある。他の例では、第１および第２のディスプレイは、その上での提示のための同じフレームを受け取る場合がある。さらなる例では、グラフィックス処理の結果はデバイス上に表示されない場合があり、たとえば、第１および第２のディスプレイは、その上での提示のためのいかなるフレームも受け取らない場合がある。代わりに、フレームまたはグラフィックス処理結果は、別のデバイスに転送される場合がある。いくつかの態様では、これは、スプリットレンダリングと呼ばれ得る。

[0024]処理ユニット１２０は内部メモリ１２１を含む場合がある。処理ユニット１２０は、グラフィックス処理パイプライン１０７などにおいてグラフィックス処理を実行するように構成される場合がある。コンテンツエンコーダ／デコーダ１２２は内部メモリ１２３を含む場合がある。いくつかの例では、デバイス１０４は、１つまたは複数のディスプレイ１３１による提示の前に処理ユニット１２０によって生成された１つまたは複数のフレームに対して１つまたは複数の表示処理技法を実行するために、ディスプレイプロセッサ１２７などのディスプレイプロセッサを含む場合がある。ディスプレイプロセッサ１２７は、表示処理を実行するように構成される場合がある。たとえば、ディスプレイプロセッサ１２７は、処理ユニット１２０によって生成された１つまたは複数のフレームに対して１つまたは複数の表示処理技法を実行するように構成される場合がある。１つまたは複数のディスプレイ１３１は、ディスプレイプロセッサ１２７によって処理されたフレームを表示するか、またはさもなければ提示するように構成される場合がある。いくつかの例では、１つまたは複数のディスプレイ１３１は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、投影ディスプレイデバイス、拡張現実ディスプレイデバイス、仮想現実ディスプレイデバイス、ヘッドマウントディスプレイ、または任意の他のタイプのディスプレイデバイスのうちの１つまたは複数を含む場合がある。

[0025]システムメモリ１２４などの、処理ユニット１２０およびコンテンツエンコーダ／デコーダ１２２の外部のメモリは、処理ユニット１２０およびコンテンツエンコーダ／デコーダ１２２がアクセス可能であり得る。たとえば、処理ユニット１２０およびコンテンツエンコーダ／デコーダ１２２は、システムメモリ１２４などの外部メモリから読み取り、および／または外部メモリに書き込むように構成される場合がある。処理ユニット１２０およびコンテンツエンコーダ／デコーダ１２２は、バスを介してシステムメモリ１２４に通信可能に結合される場合がある。いくつかの例では、処理ユニット１２０およびコンテンツエンコーダ／デコーダ１２２は、バスまたは異なる接続を介して互いに通信可能に結合される場合がある。

[0026]コンテンツエンコーダ／デコーダ１２２は、システムメモリ１２４および／または通信インターフェース１２６などの任意のソースからグラフィカルコンテンツを受け取るように構成される場合がある。システムメモリ１２４は、受け取った符号化または復号されたグラフィカルコンテンツを記憶するように構成される場合がある。コンテンツエンコーダ／デコーダ１２２は、符号化されたピクセルデータの形式で、たとえば、システムメモリ１２４および／または通信インターフェース１２６から、符号化または復号されたグラフィカルコンテンツを受け取るように構成される場合がある。コンテンツエンコーダ／デコーダ１２２は、任意のグラフィカルコンテンツを符号化または復号するように構成される場合がある。

[0027]内部メモリ１２１またはシステムメモリ１２４は、１つまたは複数の揮発性または不揮発性のメモリまたはストレージデバイスを含む場合がある。いくつかの例では、内部メモリ１２１またはシステムメモリ１２４は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気データ媒体もしくは光記憶媒体、または任意の他のタイプのメモリを含む場合がある。

[0028]内部メモリ１２１またはシステムメモリ１２４は、いくつかの例によれば、非一時的記憶媒体であり得る。「非一時的」という用語は、記憶媒体が搬送波または伝搬信号では具現化されないことを示すことができる。しかしながら、「非一時的」という用語は、内部メモリ１２１もしくはシステムメモリ１２４が非可動であること、またはそれのコンテンツが静的であることを意味すると解釈されるべきではない。一例として、システムメモリ１２４は、デバイス１０４から取り外され、別のデバイスに移動される場合がある。別の例として、システムメモリ１２４は、デバイス１０４から取外し可能でない場合がある。

[0029]処理ユニット１２０は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、汎用ＧＰＵ（ＧＰＧＰＵ）、またはグラフィックス処理を実行するように構成される場合がある任意の他の処理ユニットであり得る。いくつかの例では、処理ユニット１２０は、デバイス１０４のマザーボードに組み込まれる場合がある。いくつかの例では、処理ユニット１２０は、デバイス１０４のマザーボード内のポートに設置されたグラフィックスカード上に存在する場合があるか、またはさもなければ、デバイス１０４と相互動作するように構成された周辺デバイス内に組み込まれる場合がある。処理ユニット１２０は、１つまたは複数のマイクロプロセッサ、ＧＰＵ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、算術論理ユニット（ＡＬＵ）、デジタル信号プロセッサ（ＤＳＰ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、他の均等な集積回路もしくはディスクリート論理回路、またはそれらの任意の組合せなどの、１つまたは複数のプロセッサを含む場合がある。本技法が部分的にソフトウェアに実装される場合、処理ユニット１２０は、適切な非一時的コンピュータ可読記憶媒体、たとえば、内部メモリ１２１にソフトウェア用の命令を記憶することができ、本開示の技法を実行するために１つまたは複数のプロセッサを使用してハードウェア内で命令を実行することができる。ハードウェア、ソフトウェア、ハードウェアとソフトウェアの組合せなどを含む上記のいずれも、１つまたは複数のプロセッサであると見なされてもよい。

[0030]コンテンツエンコーダ／デコーダ１２２は、コンテンツ復号を実行するように構成された任意の処理ユニットであり得る。いくつかの例では、コンテンツエンコーダ／デコーダ１２２は、デバイス１０４のマザーボードに組み込まれる場合がある。コンテンツエンコーダ／デコーダ１２２は、１つまたは複数のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、算術論理ユニット（ＡＬＵ）、デジタル信号プロセッサ（ＤＳＰ）、ビデオプロセッサ、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、他の均等な集積回路もしくはディスクリート論理回路、またはそれらの任意の組合せなどの、１つまたは複数のプロセッサを含む場合がある。本技法が部分的にソフトウェアに実装される場合、コンテンツエンコーダ／デコーダ１２２は、適切な非一時的コンピュータ可読記憶媒体、たとえば、内部メモリ１２３にソフトウェア用の命令を記憶することができ、本開示の技法を実行するために１つまたは複数のプロセッサを使用してハードウェア内で命令を実行することができる。ハードウェア、ソフトウェア、ハードウェアとソフトウェアの組合せなどを含む上記のいずれも、１つまたは複数のプロセッサであると見なされてもよい。

[0031]いくつかの態様では、コンテンツ生成システム１００は、オプションの通信インターフェース１２６を含むことができる。通信インターフェース１２６は、受信機１２８と送信機１３０とを含む場合がある。受信機１２８は、デバイス１０４に関して本明細書に記載された任意の受信機能を実行するように構成される場合がある。さらに、受信機１２８は、別のデバイスから、情報、たとえば、眼もしくは頭部の場所情報、レンダリングコマンド、または位置情報を受信するように構成される場合がある。送信機１３０は、デバイス１０４に関して本明細書に記載された任意の送信機能を実行するように構成される場合がある。たとえば、送信機１３０は、コンテンツに対する要求を含む場合がある情報を別のデバイスに送信するように構成される場合がある。受信機１２８および送信機１３０は、組み合わされてトランシーバ１３２になり得る。そのような例では、トランシーバ１３２は、デバイス１０４に関して本明細書に記載された任意の受信機能および／または送信機能を実行するように構成される場合がある。

[0032]再び図１を参照すると、いくつかの態様では、ディスプレイプロセッサ１２７は、複数のフレームの連続するフレーム間のシーン変化または複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出するように構成された決定構成要素１９８を含む場合があり、複数のフレームの各々は複数のピクセルを含み、複数のフレームの第１のフレームは、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームに対応する。決定構成要素１９８はまた、第１のフレームのダウンサンプリングされた画像を生成するために第１のフレームの画像をダウンサンプリングするように構成される場合があり、ダウンサンプリングされた画像は、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームのうちの少なくとも１つを検出すると生成される。決定構成要素１９８はまた、第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップまたは深度マップのうちの少なくとも１つを生成するように構成される場合があり、第１のフレームは複数の第１のピクセルを含み、ダウンサンプリングされた画像は複数のダウンサンプリングされたピクセルを含む。決定構成要素１９８はまた、複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を複数のフレームの１つまたは複数の後続のフレーム内の複数のピクセルに適用するように構成される場合があり、ＣＭＦは、複数のフレーム内の後続のシーン変化または複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される。決定構成要素１９８はまた、複数のダウンサンプリングされたピクセルの１つもしくは複数の低顕著性色、１つもしくは複数の高顕著性色、または深度情報のうちの少なくとも１つを調整するように構成される場合があり、深度情報は、深度範囲内の深度を含む１つもしくは複数の色、または深度範囲外の深度を含む１つもしくは複数の色に対応する。以下の説明は表示処理または画像処理に焦点を当てる場合があるが、本明細書に記載された概念は他の同様の処理技法に適用可能であり得る。

[0033]本明細書に記載されたように、デバイス１０４などのデバイスは、本明細書に記載された１つまたは複数の技法を実行するように構成された任意のデバイス、装置、またはシステムを指す場合がある。たとえば、デバイスは、サーバ、基地局、ユーザ機器、クライアントデバイス、局、アクセスポイント、コンピュータ、たとえば、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、コンピュータワークステーション、もしくはメインフレームコンピュータ、最終製品、装置、電話、スマートフォン、サーバ、ビデオゲームプラットフォームもしくはコンソール、ハンドヘルドデバイス、たとえば、ポータブルビデオゲームデバイスもしくは携帯情報端末（ＰＤＡ）、ウェアラブルコンピューティングデバイス、たとえば、スマートウォッチ、拡張現実デバイス、もしくは仮想現実デバイス、非ウェアラブルデバイス、ディスプレイもしくはディスプレイデバイス、テレビジョン、テレビジョンセットトップボックス、中間ネットワークデバイス、デジタルメディアプレーヤ、ビデオストリーミングデバイス、コンテンツストリーミングデバイス、車内コンピュータ、任意のモバイルデバイス、グラフィカルコンテンツを生成するように構成された任意のデバイス、または本明細書に記載された１つもしくは複数の技法を実行するように構成された任意のデバイスであり得る。本明細書のプロセスは、特定の構成要素（たとえば、ＧＰＵ）によって実行されるものとして記載される場合があるが、さらなる実施形態では、開示された実施形態と一致する他の構成要素（たとえば、ＣＰＵ）を使用して実行され得る。

[0034]ＧＰＵは、ＧＰＵパイプラインにおいて複数のタイプのデータまたはデータパケットを処理することができる。たとえば、いくつかの態様では、ＧＰＵは、２つのタイプのデータまたはデータパケット、たとえば、コンテキストレジスタパケットおよび描画呼出しデータを処理することができる。コンテキストレジスタパケットは、グラフィックスコンテキストがどのように処理されるかを調整することができる、一組のグローバル状態情報、たとえば、グローバルレジスタ、シェーディングプログラム、または定数データに関する情報であり得る。たとえば、コンテキストレジスタパケットは、色フォーマットに関する情報を含むことができる。コンテキストレジスタパケットのいくつかの態様では、どの作業負荷がコンテキストレジスタに属するかを示すビットがあり得る。また、同時および／または並列に稼働する複数の機能またはプログラミングがあり得る。たとえば、機能またはプログラミングは、ある特定の動作、たとえば、色モードまたは色フォーマットを記述することができる。したがって、コンテキストレジスタは、ＧＰＵの複数の状態を定義することができる。

[0035]コンテキスト状態は、個々の処理ユニット、たとえば、頂点フェッチャ（ＶＦＤ）、頂点シェーダ（ＶＳ）、シェーダプロセッサ、もしくは幾何形状プロセッサがどのように機能するか、および／または処理ユニットがどのモードで機能するかを決定するために利用され得る。そうするために、ＧＰＵは、コンテキストレジスタとプログラミングデータとを使用することができる。いくつかの態様では、ＧＰＵは、モードまたは状態のコンテキストレジスタ定義に基づいて、パイプラインにおいて、作業負荷、たとえば、頂点またはピクセルの作業負荷を生成することができる。いくつかの処理ユニット、たとえば、ＶＦＤは、いくつかの機能、たとえば、頂点がどのようにアセンブルされるかを決定するために、これらの状態を使用することができる。これらのモードまたは状態は変化することができるので、ＧＰＵは、対応するコンテキストを変更する必要があり得る。さらに、モードまたは状態に対応する作業負荷は、変化するモードまたは状態に従う場合がある。

[0036]図２は、本開示の１つまたは複数の技法による、例示的なＧＰＵ２００を示す。図２に示されたように、ＧＰＵ２００は、コマンドプロセッサ（ＣＰ）２１０と、描画呼出しパケット２１２と、ＶＦＤ２２０と、ＶＳ２２２と、頂点キャッシュ（ＶＰＣ）２２４と、三角形セットアップエンジン（ＴＳＥ）２２６と、ラスタライザ（ＲＡＳ）２２８と、Ｚプロセスエンジン（ＺＰＥ）２３０と、ピクセル補間器（ＰＩ）２３２と、フラグメントシェーダ（ＦＳ）２３４と、レンダバックエンド（ＲＢ）２３６と、レベル２（Ｌ２）キャッシュ（ＵＣＨＥ）２３８と、システムメモリ２４０とを含む。図２は、ＧＰＵ２００が処理ユニット２２０～２３８を含むことを表示するが、ＧＰＵ２００は、いくつかのさらなる処理ユニットを含むことができる。さらに、処理ユニット２２０～２３８は一例にすぎず、本開示によれば、処理ユニットの任意の組合せまたは順序がＧＰＵによって使用され得る。ＧＰＵ２００はまた、コマンドバッファ２５０と、コンテキストレジスタパケット２６０と、コンテキスト状態２６１とを含む。

[0037]図２に示されたように、ＧＰＵは、ＣＰ、たとえば、ＣＰ２１０、またはハードウェアアクセラレータを利用して、コマンドバッファをコンテキストレジスタパケット、たとえば、コンテキストレジスタパケット２６０、および／または描画呼出しデータパケット、たとえば、描画呼出しパケット２１２に構文解析することができる。ＣＰ２１０は、次いで、コンテキストレジスタパケット２６０または描画呼出しデータパケット２１２を、別々の経路を通して、ＧＰＵ内の処理ユニットまたは処理ブロックに送ることができる。さらに、コマンドバッファ２５０は、コンテキストレジスタおよび描画呼出しの異なる状態を交互にすることができる。たとえば、コマンドバッファは、以下の方式：コンテキストＮのコンテキストレジスタ、コンテキストＮの描画呼出し、コンテキストＮ＋１のコンテキストレジスタ、およびコンテキストＮ＋１の描画呼出しで構造化され得る。

[0038]表示処理または画像処理の態様では、いくつかの異なるオブジェクトまたは色が画像またはフレーム内で調整または強調される場合がある。そうすることにより、画像内のオブジェクトまたは色が改善される場合があり、それにより、画像の全体的な外観が改善される場合がある。画像内のオブジェクトまたは色を調整または強調するために、オブジェクトまたは色は、調整または強調より前に識別される必要があり得る。いくつかの事例では、このプロセスは、画像処理パイプラインまたは表示処理パイプラインにおいて実行される場合がある。その上、このプロセスは、オブジェクトまたは色の識別プロセスと呼ばれる場合がある。

[0039]図３は、表示処理または画像処理のための構成要素の図３００を示す。たとえば、図３は、オブジェクトまたは色の分類プロセスのための例示的な構造を示す。図３に示されたように、図３００は、入力３１０と、画像ダウンスケーラ３２０と、フレーム選択ステップ３２２と、ピクセル分類器３３０と、マルチプレクサ（ＭＵＸ）３４０とを含む場合がある。図３００はまた、ＧＰＵ３５０および／またはビデオデコーダ３５２を含むことができるコンテンツソースを含むことができる。さらに、図３００は、人工知能（ＡＩ）プロセッサまたはＡＩ処理ユニット３６０と、ＣＰＵソフトウェア３７０と、メモリ３８０と、画像後処理ユニット３９０と、出力３９２とを含む場合がある。図３００の入力３１０は、画像または画像シーケンスを含む場合がある。また、図３００の出力３９２は、処理後の画像または画像シーケンスを含む場合がある。

[0040]図３に示されたように、入力３１０は、画像ダウンスケーラ３２０、ピクセル分類器３３０、および画像後処理ユニット３９０と通信することができる。また、画像ダウンスケーラ３２０は、たとえば、フレームまたは画像を選択するために、フレーム選択ステップ３２２と通信することができる。さらに、フレーム選択ステップ３２２は、たとえば、メモリ３８０を介して、ＡＩプロセッサ３６０および／またはＣＰＵソフトウェア３７０と、たとえば、低減された解像度の画像を通信することができる。ＡＩプロセッサ３６０はまた、メモリ３８０を介してＣＰＵソフトウェア３７０と通信することができる。ＧＰＵ３５０およびビデオデコーダ３５２は、たとえば、メモリ３８０を介して、ＭＵＸ３４０と通信することができる。ＭＵＸ３４０はまた、入力３１０と通信することができる。また、ＣＰＵソフトウェア３７０は、たとえば、構成更新をピクセル分類器３３０および／または画像後処理ユニット３９０と通信することができる。ピクセル分類器３３０はまた、画像後処理ユニット３９０と通信することができる。この後、画像後処理ユニット３９０は、たとえば、画像または画像シーケンスを出力３９２と通信することができる。

[0041]図３にさらに描写されたように、画像後処理ユニット３９０は、前フレーム合成または後フレーム合成であり得る。いくつかの態様では、図３００は、低電力リアルタイムピクセル処理パイプラインを含む場合があり、それは、入力３１０、画像ダウンスケーラ３２０、ピクセル分類器３３０、および／または画像後処理ユニット３９０を含む場合がある。また、図３００は非リアルタイム処理を含む場合があり、それは選択された画像またはフレームに対して実行される場合がある。この非リアルタイム処理は、フレーム選択ステップ３２２と、ＭＵＸ３４０と、ＧＰＵ３５０と、ビデオデコーダ３５２と、ＡＩプロセッサ３６０と、ＣＰＵソフトウェア３７０と、メモリ３８０とを含む場合がある。いくつかの態様では、ＡＩプロセッサ３６０は、ニューラルネットワークプロセッサと呼ばれる場合がある。また、ＣＰＵソフトウェア３７０は、統計分析に利用される場合がある。

[0042]表示処理のいくつかの態様は、画像を計算するためのいくつかの可視化技法、たとえば、顕著性マップを利用する。顕著性マップは画像内の顕著性の概念を利用し、顕著性は、表示処理のコンテキストにおける画像またはフレームのいくつかの特徴、たとえば、ピクセル、解像度などを指すことができる。前述の特徴は、画像またはフレーム内の視覚的に魅力的な位置、すなわち、「顕著な」位置を描写することができる。顕著性マップは、画像またはフレーム内のこれらの視覚的に魅力的または顕著な位置の地形表現である。たとえば、顕著性マップは、画像の背景と比較して画像の前景を強調表示する助けになることができる。いくつかの事例では、顕著性マップを生成するために、ニューラルネットワーク（ＮＮ）または畳み込みニューラルネットワーク（ＣＮＮ）が利用される場合がある。本開示の態様はまた、オブジェクトセグメンテーションマップを利用することができる。オブジェクトセグメンテーションマップは、各ピクセルについてのバイナリ分類を含み、各ピクセルは、画像の前景または背景のいずれかにあるものとして分類される。以下の図４は例示的なオブジェクトセグメンテーションマップであり、それは画像またはフレーム内の前景／背景セグメンテーションに使用される別の用語であってもよい。

[0043]図４は、表示処理または画像処理のための例示的な顕著性マップまたはオブジェクトセグメンテーションマップ４００である。図４に示されたように、顕著性／オブジェクトセグメンテーションマップ４００は、それぞれの画像または写真画像に対応する。たとえば、図４は、猫４１０と月４２０とを含む写真画像用の顕著性／オブジェクトセグメンテーションマップ４００である。図４に示されたように、顕著性マップは、画像内の対象のオブジェクト、すなわち顕著なオブジェクトを強調表示する。顕著性／オブジェクトセグメンテーションマップ４００によって描写されたように、猫４１０および月４２０は、対応する写真画像内の対象のオブジェクト、すなわち顕著なオブジェクトである。

[0044]写真画像は、画像内のオブジェクトおよびシーンの厳密な色を正確に描写することができる。しかしながら、写真画像は、画像内のオブジェクトの深度または画像内の視覚的に魅力的な位置の深度を容易に描写することができない。対照的に、特定のペインティング技法は、遠くから見られたときにオブジェクトの外観に対して大気が有する効果を指す空気遠近感または大気遠近感に基づいて画像内の深度を描写することができる。たとえば、画像内のオブジェクトと見る人との間の距離が大きくなるにつれて、オブジェクトとその背景との間のコントラストは減少し、オブジェクト内の任意のマーキングまたは詳細のコントラストも減少する。

[0045]画像内のこの空気遠近感または大気遠近感を描写するために、遠くのオブジェクトは、寒色、すなわち青みがかった色合いを有する色で描写される場合があり、より近くのオブジェクトは、暖色、すなわち赤みがかった色合いを有する色で描写される場合がある。さらに、空気遠近感または大気遠近感を利用するとき、画像内のオブジェクトの色はまた、あまり飽和せず、青みがかった色合いに対応することができる背景色に向かってシフトする場合がある。しかしながら、深度の錯覚を生み出すことから恩恵を受けるはずの画像内の他のオブジェクトまたは色が存在する場合がある。上記に基づいて、特定の画像、たとえば写真画像内の対象領域を検出することは有利であり得る。深度の錯覚を生み出すことによってこれらの対象領域に焦点を合わせることも有利であり得る。その上、空気遠近感または大気遠近感を介して画像内の対象領域に対して深度の錯覚を生み出すことは有利であり得る。

[0046]本開示の態様は、特定の画像、たとえば写真画像内の対象領域を検出し、深度の錯覚を生み出すことによってこれらの対象領域に焦点を合わせることができる。たとえば、本開示の態様は、空気遠近感または大気遠近感を介して画像内の対象領域に対して深度の錯覚を生み出すことができる。さらに、本開示の態様は、顕著性マップなどを介してピクセルの顕著性情報に基づいて、画像内のピクセル色を適応的に調整することができる。そうすることにより、本開示の態様は、画像内の大気遠近感または空気遠近感を生成することができる。さらに、本開示の態様は、画像の背景内の色飽和度を減少させ、画像の前景内の色飽和度を増加させることができる。

[0047]いくつかの事例では、画像内のシーン変化を検出した後などに、本開示の態様は、画像をダウンスケールまたはダウンサンプリングすることができる。本開示の態様は、ダウンサンプリングされた画像をニューラルネットワーク（ＮＮ）プロセッサ、たとえば、畳み込みニューラルネットワーク（ＣＮＮ）または人工知能（ＡＩ）分析器に供給することができる。結果として、ニューラルネットワークプロセッサは、顕著性マップまたはオブジェクトセグメンテーションマップを生成（produce）または生成（generate）することができる。次いで、顕著性マップまたはオブジェクトセグメンテーションマップは、たとえば、ソフトウェアを使用してダウンサンプリングされた画像と比較される場合があり、本開示の態様は、顕著性マップ内の顕著なオブジェクトと比較されたダウンサンプリングされた画像の色を分析することができる。そのため、本開示の態様は、どの色が顕著性マップ内の顕著性グループの一部であるか、ならびにどの色が顕著性グループの一部でないかを決定することができる。顕著な色の分析に基づいて、顕著性マップは、一組の高顕著性色および一組の低顕著性色に変換される場合がある。

[0048]顕著な色の分析の後、本開示の態様は、色マッピング関数（ＣＭＦ）または色処理エンジン、たとえば、３次元（３Ｄ）参照テーブル（ＬＵＴ）を利用して、画像内の色を調整または再マッピングすることができる。いくつかの事例では、色マッピング関数、たとえば３Ｄ ＬＵＴは、高顕著性色をより高く飽和した高顕著性色に再マッピングし、ならびに低顕著性色をより低く飽和した低顕著性色に再マッピングすることができる。たとえば、色マッピング関数、たとえば３Ｄ ＬＵＴは、前景オブジェクトをより高く飽和した高顕著性色に再マッピングし、ならびに背景オブジェクトをより低く飽和した低顕著性色に再マッピングすることができる。そうするために、本開示の態様は、前景オブジェクトの飽和度を上げるか、または前景オブジェクトの色を暖色（すなわち、赤みがかった色）に向かってシフトすることができる。また、本開示の態様は、背景オブジェクトの飽和度を下げるか、または背景オブジェクトの色を寒色（すなわち、青みがかった色）に向かってシフトすることができる。

[0049]さらに、本開示の態様は、たとえば、ＤＰＵにおいて、各フレーム内の色の飽和度をシフトするために利用される電力量を削減することができる。たとえば、シーン変化を検出すると顕著性マップまたはオブジェクトセグメンテーションマップを分析し、色マッピング関数、たとえば３Ｄ ＬＵＴを利用して高顕著性色および低顕著性色を再マッピングすることにより、各フレーム内の色の飽和度をシフトするために利用される電力量が削減される場合がある。たとえば、色マッピング関数、たとえば３Ｄ ＬＵＴの構成は、たとえば、ニューラルネットワークによる新しい顕著性マップの分析がフレーム単位ごとに利用されない場合があるように、検出されたシーン変化の後のいくつかのフレームに使用されない場合がある。むしろ、本開示の態様は、これらのフレームに利用される電力量を削減するために、シーン変化またはしきい値量のフレーム、たとえばＮ個のフレームの後のいくつかのフレームに対して顕著性およびニューラルネットワークの分析を実行することができる。そのため、本開示の態様は、たとえば、ＤＰＵにおいて、特定のシーン内の色がかなりの量変化しない場合があるので、特定のシーン内のいくつかのフレームに対する顕著性およびニューラルネットワークの分析を利用することによって電力を節約することができる。したがって、本開示の態様は、別のシーン変化があるまで、またはしきい値量のフレーム、たとえばＮ個のフレームまで、同じ顕著性分析を利用することができる。

[0050]いくつかの事例では、本開示の態様は、ニューラルネットワークを利用して、空間マップ、たとえば、深度マップ、オブジェクトセグメンテーションマップ、または顕著性マップを計算することができる。この空間マップは、フレーム内の対象のオブジェクト、すなわち、前景／背景オブジェクトおよび／または顕著なオブジェクトを識別することができる。たとえば、本開示の態様は、統計分析を実行して、どのオブジェクトが画像の前景または背景にあるか、ならびにどのオブジェクトが顕著なオブジェクトであるかを決定することができる。次いで、本開示の態様は、空間マップ、たとえば、深度マップまたは顕著性マップを色マップに変換することができる。次いで、色マップは、シーン内の各フレームにおいて、またはしきい値量のフレームに達するまで、色を調整するために利用される場合がある。さらに、この色マップは、フレーム内の移動に耐性があり得るので、同じシーン内のフレームに新しい色マップが必要とされない場合があり、こうして電力が節約される。

[0051]図５は、本開示の１つまたは複数の技法による、色変換プロセスのための構成要素の図５００である。図５に示されたように、図５００は、色変換セクション５０２と、人工知能（ＡＩ）分析セクション５０４と、入力画像５１０と、ダウンサンプリングされた画像５２０と、ニューラルネットワークまたはＡＩ分析器５３０と、顕著性／オブジェクトセグメンテーションマップ５４０と、顕著性／オブジェクトセグメンテーションマップ分析および色マッピング機能（ＣＭＦ）ジェネレータ５５０と、色マッピング関数５６０と、出力画像５７０とを含む。より具体的には、図５の図５００は、顕著性／オブジェクトセグメンテーションマップ分析およびＣＭＦ、たとえば、３次元（３Ｄ）参照テーブル（ＬＵＴ）を利用する色変換プロセスを含む。図５の色変換プロセスは、画像の高顕著性色または低顕著性色を調整するために利用される場合がある。

[0052]図５に示されたように、本開示の態様は、ダウンサンプリングされた画像５２０を生成するために入力画像５１０をダウンサンプリングすることができる。次いで、このダウンサンプリングされた画像５２０は、ニューラルネットワーク５３０などを介して、顕著性／オブジェクトセグメンテーションマップ５４０を生成するために使用される場合がある。次に、本開示の態様は、顕著性／オブジェクトセグメンテーションマップ５４０の顕著性／オブジェクトセグメンテーションマップ分析５５０を実行し、ならびにＣＭＦジェネレータを含むことができる。さらに、顕著性／オブジェクトセグメンテーションマップ分析５５０は、画像の低顕著性色または高顕著性色を決定するために、ＣＭＦ５６０と組み合わされる場合がある。最後に、本開示は、画像の低顕著性色または高顕著性色を調整し、出力画像５７０を生成することができる。図５に示されたように、本開示の態様は、画像内の大気遠近感または空気遠近感を生成するように、画像の低顕著性色または高顕著性色を調整することができる。

[0053]いくつかの態様では、図５に示されたように、画像内のシーン変化を検出すると、本開示の態様は、ＡＩ分析セクション５０４内の構成要素、たとえば、ダウンサンプリングされた画像５２０、ニューラルネットワーク５３０、顕著性／オブジェクトセグメンテーションマップ５４０、および顕著性／オブジェクトセグメンテーションマップ分析５５０を利用する。シーン内の残りのフレームに対して、または別のシーン変化があるまで、本開示の態様は、ＡＩ分析セクション５０４内のステップを実行しない場合がある。すなわち、ＡＩ分析セクション５０４内のステップを実行した後、シーン内の各画像またはフレームは、色変換セクション５０２内の構成要素、たとえば、ＣＭＦ５６０によって処理される場合がある。したがって、本開示の態様は、別のシーン変化があるまで、またはしきい値量のフレーム、たとえばＮ個のフレームまで、同じ顕著性分析、たとえば、色変換セクション５０２内のステップを利用することができる。そのため、色変換セクション５０２内のステップは、リアルタイム分析であり得る。そうすることにより、本開示の態様は、シーン内のフレームごとに色変換プロセスを実行するために利用される電力量を削減することができる。別のシーン変化を検出すると、本開示の態様は、ＡＩ分析セクション５０４内のステップを実行することができる。

[0054]上記に示されたように、本開示の態様は、画像内の高顕著性ピクセルまたは低顕著性ピクセルを検出するために、顕著性／オブジェクトセグメンテーションマップを分析することができる。次いで、これらの高顕著性ピクセルまたは低顕著性ピクセルは、画像内の高顕著性色または低顕著性色を決定するために、色ヒストグラムまたはＣＭＦとともに分析される場合がある。たとえば、本開示の態様は、特定の色がフレーム内の高顕著性ピクセルまたは低顕著性ピクセルと関連付けられる相対的な確率を示す統計データを分析することができる。一例では、ある特定の色が、その色を有するピクセルがシーン内に現れる事例のある特定のレート、たとえば９０％でその色が高顕著性ピクセルと関連付けられる場合、それは高顕著性色として識別され得る。また、ある色が事例のある特定の割合で低顕著性ピクセルと関連付けられる場合、それは低顕著性色として識別され得る。これらの高顕著性色および低顕著性色は、出力画像を生成するために調整される場合がある。

[0055]いくつかの事例では、本開示の態様は、どちらが最初に発生しても、連続するフレームの中でシーン変化を検出するか、またはしきい値数の受信されたフレーム（たとえば、Ｎ個のフレーム）を識別することができる。そうすると、本開示の態様は、特定のフレーム、たとえば、連続するフレームの中でのシーン変化の検出、またはしきい値数の受信されたフレームの識別をトリガするフレームのための顕著性／オブジェクトセグメンテーションマップを生成することができる。さらに、顕著性マップは、人工知能（ＡＩ）分析またはニューラルネットワーク（ＮＮ）、たとえば、畳み込みニューラルネットワーク（ＣＮＮ）を利用することなどにより、フレームのダウンサンプリングされた画像に基づいて生成される場合がある。

[0056]さらに、本開示の態様は、特定のフレームの低顕著性色または高顕著性色を識別することができる。これらの色は、フレームの顕著性／オブジェクトセグメンテーションマップおよびダウンサンプリングされた画像の分析に基づいて識別される場合がある。そうするために、本開示の態様は、フレーム内の高顕著性の領域に関連付けられた色、すなわち、高顕著性色を検出することなどにより、フレームの顕著性／オブジェクトセグメンテーションマップをダウンサンプリングされた画像と比較することができる。本開示の態様はまた、フレーム内の低顕著性の領域に関連付けられた色、すなわち、低顕著性色を検出することなどにより、顕著性マップをダウンサンプリングされた画像と比較することができる。

[0057]上記に示されたように、本開示の態様はまた、フレームのダウンサンプリングされた画像と比較された顕著性／オブジェクトセグメンテーションマップの分析に基づいて、色マッピング関数（ＣＭＦ）、たとえば、３Ｄ参照テーブル（ＬＵＴ）を生成することができる。さらに、本開示の態様は、ＣＭＦまたは３Ｄ ＬＵＴなどを介して、低顕著性色および／または高顕著性色を調整することができる。たとえば、本開示の態様は、低顕著性色、すなわち画像の背景内のオブジェクトについての色飽和度を下げ、高顕著性色、すなわち画像の前景内のオブジェクトについての色飽和度を上げることができる。本開示の態様はまた、高顕著性色が飽和度の増加および／または暖色（すなわち、赤みがかった色）に向かうシフトを受けることができるように、ＣＭＦ、たとえば、３Ｄ ＬＵＴの構成を生成することができる。また、生成されたＣＭＦ、たとえば、３Ｄ ＬＵＴの構成は、低顕著性色が飽和度の減少および寒色（すなわち、青みがかった色）に向かうシフトを受けることをもたらすことができる。本開示の態様はまた、新しく生成された色構成でＣＭＦ、たとえば、３Ｄ ＬＵＴを更新することができる。

[0058]本開示の態様は、初期画像を入力し、前述の技法に基づいて調整された画像を出力することができる。調整された画像は、初期画像内のピクセルの顕著性ベースの色調整に基づいて生成される場合がある。本明細書に示されたように、出力画像は、画像内の高顕著性色向けの飽和度の増加および／または暖色シフトを受けることができる。さらに、出力画像は、画像内の低顕著性色向けの飽和度の減少および／または寒色シフトを受けることができる。

[0059]本開示の態様は、いくつかの利益または利点を含む場合がある。たとえば、本開示の態様は、人工知能（ＡＩ）分析またはニューラルネットワーク（ＮＮ）を使用して強調された表示のための低電力方法を含む場合がある。いくつかの事例では、ＡＩ分析は、少量の入力フレーム、たとえば、シーン変化に対応するフレームに対して実行される場合がある。また、ＮＮまたは畳み込みＮＮ（ＣＮＮ）は、入力フレームのダウンサンプリングされたバージョンに対して動作することができる。ピクセルは、低電力色変換ブロックを使用してフル解像度で処理される場合がある。したがって、本開示の態様は、たとえば、ＤＰＵにおいて画像処理に利用される電力量を削減することができる。その上、ピクセルは、ＣＭＦ、たとえば、３Ｄ ＬＵＴに基づいてハードウェアを使用して処理される場合がある。本開示の態様は、画像またはフレーム内の対象領域を検出し、深度の錯覚を生み出すことによってそれらに焦点を合わせることができる。前述されたように、本開示のこの技法は、大気遠近法または空気遠近法と呼ばれる技法に対応することができる。

[0060]図６は、本開示の１つまたは複数の技法による、表示処理の通信フロー図６００である。図６に示されたように、図６００は、本開示の１つまたは複数の技法による、ＤＰＵ／ＡＩ分析器６０２、ＧＰＵ／ＣＰＵ６０４、およびディスプレイ６０６の間の例示的な通信を含む。

[0061]６１０において、ＤＰＵ６０２は、複数のフレーム、たとえばフレーム６１２の連続するフレーム間のシーン変化または複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出することができ、複数のフレームの各々は複数のピクセルを含み、複数のフレームの第１のフレームは、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームに対応する。また、複数のフレーム、たとえばフレーム６１２の各々は、ＤＰＵ、たとえばＤＰＵ６０２において、ＧＰＵまたはＣＰＵ、たとえばＧＰＵ／ＣＰＵ６０４から受信される場合がある。

[0062]６２０において、ＤＰＵ６０２は、第１のフレームのダウンサンプリングされた画像を生成するために第１のフレームの画像をダウンサンプリングすることができ、ダウンサンプリングされた画像は、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームのうちの少なくとも１つを検出すると生成される。

[0063]６３０において、ＤＰＵ／ＡＩ分析器６０２は、第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つを生成することができ、第１のフレームは複数の第１のピクセルを含み、ダウンサンプリングされた画像は複数のダウンサンプリングされたピクセルを含む。顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つは、ニューラルネットワーク（ＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、または人工知能（ＡＩ）分析を使用して生成される場合がある。いくつかの態様では、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つは、第１のフレームの顕著性情報、第１のフレームの深度情報、または第１のフレームのオブジェクト情報のうちの少なくとも１つに基づく場合がある。また、データ６３２は、ＤＰＵ／ＡＩ分析器６０２とＧＰＵ／ＣＰＵ６０４との間で転送される場合がある。

[0064]６４０において、ＣＰＵ６０４は、ダウンサンプリングされた画像内の１つまたは複数のピクセルと、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つの中の１つまたは複数のピクセルとを分析することができる。いくつかの事例では、ＤＰＵ６０２は、ダウンサンプリングされた画像および顕著性マップまたは深度マップのうちの少なくとも１つに対して統計分析を実行することができる。たとえば、ダウンサンプリングされた画像内の１つまたは複数のピクセルと、顕著性マップまたは深度マップのうちの少なくとも１つの中の１つまたは複数のピクセルとを分析することは、ダウンサンプリングされた画像および顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つに対して統計分析を実行することを備える場合がある。

[0065]６５０において、ＣＰＵ６０４は、ダウンサンプリングされた画像と、顕著性マップまたは深度マップのうちの少なくとも１つとに基づいて、複数のダウンサンプリングされたピクセルの第１のグループの色または複数のダウンサンプリングされたピクセルの第２のグループの色のうちの少なくとも１つを識別することができる。いくつかの態様では、第１のグループの色は、１つもしくは複数の低顕著性色または深度範囲内の深度を含む１つもしくは複数の色であり得、第２のグループの色は、１つもしくは複数の高顕著性色または深度範囲外の深度を含む１つもしくは複数の色であり得る。

[0066]６６０において、ＣＰＵ６０４は、ダウンサンプリングされた画像と、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つとに基づいて、複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を決定することができる。いくつかの事例では、顕著性値、オブジェクトセグメンテーション分類、または深度値のうちの少なくとも１つは、複数のフレームに関連付けられた色空間の各色に対応することができ、ＣＭＦは、色空間の色ごとの顕著性値または深度値のうちの少なくとも１つに基づいて決定される場合がある。さらに、ＣＭＦは、多項式または３次元（３Ｄ）参照テーブル（ＬＵＴ）であり得る。データ６６２は、ＤＰＵ／ＡＩ分析器６０２とＧＰＵ／ＣＰＵ６０４との間で転送される場合がある。

[0067]６７０において、ＤＰＵ６０２は、複数のフレームの１つまたは複数の後続のフレーム内の複数のピクセルにＣＭＦを適用することができ、ＣＭＦは、複数のフレーム内の後続のシーン変化または複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される。

[0068]６８０において、ＤＰＵ６０２は、１つもしくは複数の低顕著性色または１つもしくは複数の高顕著性色のうちの少なくとも１つを調整することができ、複数のダウンサンプリングされたピクセルの深度情報は、深度範囲内の深度を含む１つもしくは複数の色、または深度範囲外の深度を含む１つもしくは複数の色に対応する。１つもしくは複数の低顕著性色または１つもしくは複数の高顕著性色のうちの少なくとも１つを調整した後、ＤＰＵ６０２は、１つまたは複数の調整されたフレーム、たとえばフレーム６８２をディスプレイ、たとえばディスプレイ６０６に送信することができる。

[0069]本開示の態様は、深度情報を分析して、どの深度値が所与のシーン内の低顕著性または高顕著性を有するピクセルと相関させられるかを決定することができる。ダウンサンプリングされたピクセルごとに、本開示の態様は、深度情報と、顕著性情報と、前景／背景分類とを決定することができる。これに基づいて、本開示の態様は、どの深度値が低顕著性または高顕著性と関連付けられるかの統計データを分析することができる。高顕著性に関連付けられた深度（または深度の範囲）が決定されると、本開示の態様は、この情報を使用して顕著性マップをクリーンアップすることができる。たとえば、特定の深度が高顕著性のオブジェクトを有する可能性が高い場合、本開示の態様は、そのオブジェクトを表現するピクセルにわたってより大きい一貫性を実現するために、その特定の深度を有するピクセルに顕著性を再割当てすることができる。

[0070]いくつかの態様では、ＤＰＵ６０２は、１つもしくは複数の低顕著性色の飽和度を減少させ、１つもしくは複数の低顕著性色の輝度を減少させ、および／または１つもしくは複数の低顕著性色の色温度を寒色温度に向かってシフトすることができる。たとえば、１つまたは複数の低顕著性色を調整することは、１つもしくは複数の低顕著性色の飽和度を減少させること、１つもしくは複数の低顕著性色の輝度を減少させること、または１つもしくは複数の低顕著性色の色温度を寒色温度に向かってシフトすることのうちの少なくとも１つを備える場合がある。さらに、ＤＰＵ６０２は、１つもしくは複数の高顕著性色の飽和度を増加させ、１つもしくは複数の高顕著性色の輝度を増加させ、および／または１つもしくは複数の高顕著性色の色温度を暖色温度に向かってシフトすることができる。たとえば、１つまたは複数の高顕著性色を調整することは、１つもしくは複数の高顕著性色の飽和度を増加させること、１つもしくは複数の高顕著性色の輝度を増加させること、または１つもしくは複数の高顕著性色の色温度を寒色温度に向かってシフトすることのうちの少なくとも１つを備える場合がある。

[0071]その上、１つもしくは複数の低顕著性色または１つもしくは複数の高顕著性色のうちの少なくとも１つは、複数のダウンサンプリングされたピクセルの深度情報に基づいて調整される場合がある。さらに、ＤＰＵ６０２は、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つに関連付けられた１つまたは複数のピクセルを調整することができる。たとえば、１つもしくは複数の低顕著性色または１つもしくは複数の高顕著性色のうちの少なくとも１つを調整することは、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つに関連付けられた１つまたは複数のピクセルを調整することを備える場合がある。

[0072]図７は、本開示の１つまたは複数の技法による、グラフィックス処理の例示的な方法のフローチャート７００である。方法は、表示処理もしくは画像処理用の装置、ＤＰＵ、ディスプレイもしくは画像プロセッサ、ディスプレイパイプライン、ワイヤレス通信デバイス、および／または図１～図６の例に関して使用される表示処理もしくは画像処理を実行することができる任意の装置などの装置によって実行される場合がある。

[0073]７０２において、装置は、図１～図６の例に関して記載されたように、複数のフレームの連続するフレーム間のシーン変化または複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出することができ、複数のフレームの各々は複数のピクセルを含み、複数のフレームの第１のフレームは、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームに対応する。たとえば、ＤＰＵ６０２は、複数のフレームの連続するフレーム間のシーン変化または複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出することができ、複数のフレームの各々は複数のピクセルを含み、複数のフレームの第１のフレームは、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームに対応する。さらに、ディスプレイプロセッサ１２７は７０２を実行することができる。また、複数のフレームの各々は、ＤＰＵにおいて、ＧＰＵまたはＣＰＵから受け取られ得る。

[0074]７０４において、装置は、図１～図６の例に関して記載されたように、第１のフレームのダウンサンプリングされた画像を生成するために第１のフレームの画像をダウンサンプリングすることができ、ダウンサンプリングされた画像は、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームのうちの少なくとも１つを検出すると生成される。たとえば、ＤＰＵ６０２は、第１のフレームのダウンサンプリングされた画像を生成するために第１のフレームの画像をダウンサンプリングすることができ、ダウンサンプリングされた画像は、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームのうちの少なくとも１つを検出すると生成される。さらに、ディスプレイプロセッサ１２７は７０４を実行することができる。

[0075]７０６において、装置は、図１～図６の例に関して記載されたように、第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップまたは深度マップのうちの少なくとも１つを生成することができ、第１のフレームは複数の第１のピクセルを含み、ダウンサンプリングされた画像は複数のダウンサンプリングされたピクセルを含む。たとえば、ＤＰＵ６０２は、第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップまたは深度マップのうちの少なくとも１つを生成することができ、第１のフレームは複数の第１のピクセルを含み、ダウンサンプリングされた画像は複数のダウンサンプリングされたピクセルを含む。さらに、ディスプレイプロセッサ１２７は７０６を実行することができる。顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つは、ニューラルネットワーク（ＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、または人工知能（ＡＩ）分析を使用して生成される場合がある。いくつかの態様では、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つは、第１のフレームの顕著性情報、第１のフレームの深度情報、または第１のフレームのオブジェクト情報のうちの少なくとも１つに基づく場合がある。

[0076]さらに、ダウンサンプリングされた画像内の１つまたは複数のピクセル、および顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つの中の１つまたは複数のピクセルは、図１～図６の例に関して記載されたように、分析される場合がある。いくつかの事例では、ダウンサンプリングされた画像および顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つに対して、統計分析が実行される場合がある。

[0077]さらに、複数のダウンサンプリングされたピクセルの第１のグループの色または複数のダウンサンプリングされたピクセルの第２のグループの色のうちの少なくとも１つは、図１～図６の例に関して記載されたように、ダウンサンプリングされた画像と、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つとに基づいて識別される場合がある。いくつかの態様では、第１のグループの色は、１つもしくは複数の低顕著性色または深度範囲内の深度を含む１つもしくは複数の色であり得、第２のグループの色は、１つもしくは複数の高顕著性色または深度範囲外の深度を含む１つもしくは複数の色であり得る。

[0078]いくつかの事例では、顕著性値、オブジェクトセグメンテーション分類、または深度値のうちの少なくとも１つは、複数のフレームに関連付けられた色空間の各色に対応することができ、複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）は、色空間の色ごとの顕著性値または深度値のうちの少なくとも１つに基づいて決定される場合がある。さらに、ＣＭＦは、多項式または３次元（３Ｄ）参照テーブル（ＬＵＴ）であり得る。

[0079]７０８において、装置は、図１～図６の例に関して記載されたように、複数のフレームの１つまたは複数の後続のフレーム内の複数のピクセルに、複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を適用することができ、ＣＭＦは、複数のフレーム内の後続のシーン変化または複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される。たとえば、ＤＰＵ６０２は、複数のフレームの１つまたは複数の後続のフレーム内の複数のピクセルに、複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を適用することができ、ＣＭＦは、複数のフレーム内の後続のシーン変化または複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される。さらに、ディスプレイプロセッサ１２７は７０８を実行することができる。

[0080]７１０において、装置は、図１～図６の例に関して記載されたように、１つもしくは複数の低顕著性色または１つもしくは複数の高顕著性色のうちの少なくとも１つを調整することができ、複数のダウンサンプリングされたピクセルの深度情報は、深度範囲内の深度を含む１つもしくは複数の色、または深度範囲外の深度を含む１つもしくは複数の色に対応する。たとえば、ＤＰＵ６０２は、複数のダウンサンプリングされたピクセルの１つもしくは複数の低顕著性色、１つもしくは複数の高顕著性色、または深度情報のうちの少なくとも１つを調整することができ、深度情報は、深度範囲内の深度を含む１つもしくは複数の色、または深度範囲外の深度を含む１つもしくは複数の色に対応する。さらに、ディスプレイプロセッサ１２７は７１０を実行することができる。複数のダウンサンプリングされたピクセルの１つもしくは複数の低顕著性色、１つもしくは複数の高顕著性色、または深度情報のうちの少なくとも１つを調整した後、装置は、１つまたは複数の調整されたフレームをディスプレイに送信することができる。

[0081]いくつかの態様では、装置は、１つもしくは複数の低顕著性色の飽和度を減少させ、１つもしくは複数の低顕著性色の輝度を減少させ、および／または１つもしくは複数の低顕著性色の色温度を寒色温度に向かってシフトすることができる。たとえば、１つまたは複数の低顕著性色を調整することは、１つもしくは複数の低顕著性色の飽和度を減少させること、１つもしくは複数の低顕著性色の輝度を減少させること、または１つもしくは複数の低顕著性色の色温度を寒色温度に向かってシフトすることのうちの少なくとも１つを備える場合がある。さらに、装置は、１つもしくは複数の高顕著性色の飽和度を増加させ、１つもしくは複数の高顕著性色の輝度を増加させ、および／または１つもしくは複数の高顕著性色の色温度を暖色温度に向かってシフトすることができる。たとえば、１つまたは複数の高顕著性色を調整することは、１つもしくは複数の高顕著性色の飽和度を増加させること、１つもしくは複数の高顕著性色の輝度を増加させること、または１つもしくは複数の高顕著性色の色温度を暖色温度に向かってシフトすることのうちの少なくとも１つを備える場合がある。

[0082]さらに、１つもしくは複数の低顕著性色または１つもしくは複数の高顕著性色のうちの少なくとも１つは、複数のダウンサンプリングされたピクセルの深度情報に基づいて調整される場合がある。その上、装置は、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つに関連付けられた１つまたは複数のピクセルを調整することができる。たとえば、１つもしくは複数の低顕著性色または１つもしくは複数の高顕著性色のうちの少なくとも１つを調整することは、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つに関連付けられた１つまたは複数のピクセルを調整することを備える場合がある。

[0083]構成において、表示処理のための方法または装置が提供される。装置は、ＤＰＵ、ディスプレイもしくは画像プロセッサ、または表示処理もしくは画像処理を実行することができる何らかの他のプロセッサであってもよい。態様では、装置は、デバイス１０４内のディスプレイプロセッサ１２７であってもよく、デバイス１０４または別のデバイス内の何らかの他のハードウェアであってもよい。装置、たとえばディスプレイプロセッサ１２７は、複数のフレームの連続するフレーム間のシーン変化または複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出するための手段と、複数のフレームの各々が複数のピクセルを含み、複数のフレームの第１のフレームが、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームに対応する、第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップまたは深度マップのうちの少なくとも１つを生成するための手段と、第１のフレームが複数の第１のピクセルを含み、ダウンサンプリングされた画像が複数のダウンサンプリングされたピクセルを含む、ダウンサンプリングされた画像と、顕著性マップまたは深度マップのうちの少なくとも１つとに基づいて、複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を決定するための手段と、複数のフレームの１つまたは複数の後続のフレーム内の複数のピクセルにＣＭＦを適用するための手段と、ＣＭＦが、複数のフレーム内の後続のシーン変化または複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される、ダウンサンプリングされた画像および顕著性マップまたは深度マップのうちの少なくとも１つに基づいて、複数のダウンサンプリングされたピクセルの第１のグループの色、または複数のダウンサンプリングされたピクセルの第２のグループの色のうちの少なくとも１つを識別するための手段と、複数のダウンサンプリングされたピクセルの１つもしくは複数の低顕著性色、１つもしくは複数の高顕著性色、または深度情報のうちの少なくとも１つを調整するための手段と、ここにおいて、深度情報が、深度範囲内の深度を含む１つもしくは複数の色、または深度範囲外の深度を含む１つもしくは複数の色に対応する、１つまたは複数の低顕著性色の飽和度を減少させるための手段と、１つまたは複数の低顕著性色の輝度を減少させるための手段と、１つまたは複数の低顕著性色の色温度を寒色温度に向かってシフトするための手段と、１つまたは複数の高顕著性色の飽和度を増加させるための手段と、１つまたは複数の高顕著性色の輝度を増加させるための手段と、１つまたは複数の高顕著性色の色温度を暖色温度に向かってシフトするための手段と、深度範囲内の深度を含む１つまたは複数の色に対応する深度情報を増加させるための手段と、深度範囲外の深度を含む１つまたは複数の色に対応する深度情報を増加させるための手段と、深度範囲内の深度を含む１つまたは複数の色に対応する深度情報を減少させるための手段と、深度範囲外の深度を含む１つまたは複数の色に対応する深度情報を減少させるための手段と、顕著性マップ内の１つもしくは複数のピクセルまたは深度マップ内の１つもしくは複数のピクセルのうちの少なくとも１つを調整するための手段と、ダウンサンプリングされた画像内の１つもしくは複数のピクセルと、顕著性マップまたは深度マップのうちの少なくとも１つの中の１つもしくは複数のピクセルとを分析するための手段と、ダウンサンプリングされた画像および顕著性マップまたは深度マップのうちの少なくとも１つに対して統計分析を実行するための手段と、第１のフレームのダウンサンプリングされた画像を生成するために第１のフレームの画像をダウンサンプリングするための手段と、ここにおいて、ダウンサンプリングされた画像が、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームのうちの少なくとも１つを検出すると生成される、を含む場合がある。

[0084]本明細書に記載された主題は、１つまたは複数の利益または利点を実現するために実装され得る。たとえば、記載された表示処理技法は、ＤＰＵ、ディスプレイプロセッサ、または本明細書に記載された顕著性ベースの色強調技法を実施するために表示処理もしくは画像処理を実行することができる何らかの他のプロセッサによって使用され得る。これはまた、他の表示処理技法と比較して低いコストで達成され得る。その上、本明細書の表示処理技法は、データ処理または実行を改善または加速することができる。さらに、本明細書の表示処理技法は、リソースもしくはデータの利用率および／またはリソース効率を改善することができる。さらに、本開示の態様は、ＤＰＵにおいて電力消費を削減し、メモリ帯域幅を改善し、および／またはパフォーマンスオーバーヘッドを低減するために、顕著性ベースの色強調技法を利用することができる。

[0085]開示されたプロセス／フローチャート内のブロックの特定の順序または階層は、例示的な手法の説明であることを理解されたい。設計選好に基づいて、プロセス／フローチャート内のブロックの特定の順序または階層は再構成される場合があることを理解されたい。さらに、いくつかのブロックは組み合わされるかまたは省略される場合がある。添付の方法クレームは、様々なブロックの要素をサンプルの順序で提示したものであり、提示された特定の順序または階層に限定されるものではない。

[0086]これまでの説明は、当業者が本明細書に記載された様々な態様を実践することを可能にするために提供されている。これらの態様への様々な修正は当業者には容易に明らかであり、本明細書で定義された一般原理は他の態様に適用されてもよい。したがって、特許請求の範囲は、本明細書に示された態様に限定されるものではなく、特許請求の範囲の文言と一致する全範囲を与えられるべきであり、単数形の要素への言及は、そのように明記されていない限り、「唯一無二」を意味するものではなく、むしろ「１つまたは複数」を意味するものである。「例示的」という単語は、「例、事例、または例示の働きをすること」を意味するために本明細書で使用される。「例示的」として本明細書に記載されたいかなる態様も、必ずしも他の態様よりも好ましいかまたは有利であると解釈されるべきではない。

[0087]別段に明記されていない限り、「いくつかの」という用語は１つまたは複数を指し、「または」という用語は、文脈が別段に規定しない場合、「および／または」として解釈されてもよい。「Ａ、Ｂ、またはＣのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣのうちの１つまたは複数」、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、およびＣのうちの１つまたは複数」、および「Ａ、Ｂ、Ｃ、またはそれらの任意の組合せ」などの組合せは、Ａ、Ｂ、および／またはＣの任意の組合せを含み、複数のＡ、複数のＢ、または複数のＣを含む場合がある。具体的には、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」、「Ａ、Ｂ、またはＣのうちの１つまたは複数」、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、およびＣのうちの１つまたは複数」、および「Ａ、Ｂ、Ｃ、またはそれらの任意の組合せ」などの組合せは、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、またはＡおよびＢおよびＣであり得、任意のそのような組合せは、Ａ、Ｂ、またはＣのうちの１つまたは複数のメンバを含む場合がある。本開示全体にわたって記載された様々な態様の要素に対するすべての構造的および機能的な均等物は、当業者に知られているか、または後で知られるようになり、参照により本明細書に明確に組み込まれ、特許請求の範囲によって包含されるものである。その上、本明細書に開示されたいかなることも、そのような開示が特許請求の範囲に明示的に列挙されているかどうかにかかわらず、公に供されるものではない。「モジュール」、「機構」、「要素」、「デバイス」などという単語は、「手段」という単語の代用ではない場合がある。そのため、いかなるクレーム要素も、その要素が「ための手段」という語句を使用して明示的に列挙されていない限り、ミーンズプラスファンクションとして解釈されるべきではない。

[0088]１つまたは複数の例では、本明細書に記載された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装される場合がある。たとえば、「処理ユニット」という用語が本開示全体にわたって使用されているが、そのような処理ユニットは、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装される場合がある。本明細書に記載された任意の機能、処理ユニット、技法、または他のモジュールがソフトウェアで実装される場合、本明細書に記載された機能、処理ユニット、技法、または他のモジュールは、１つもしくは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信される場合がある。

[0089]本開示によれば、文脈が別段に規定しない場合、「または」という用語は「および／または」として解釈されてもよい。さらに、「１つまたは複数」または「少なくとも１つ」などの句が、本明細書に開示されたいくつかの特徴に使用されいるが、他の特徴に使用されていない場合があり、そのような文言がそれのために使用されなかった特徴は、文脈が別段に規定しない場合、そのような暗示される意味を有するように解釈されてもよい。

[0090]１つまたは複数の例では、本明細書に記載された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装される場合がある。たとえば、「処理ユニット」という用語が本開示全体にわたって使用されているが、そのような処理ユニットは、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装される場合がある。本明細書に記載された任意の機能、処理ユニット、技法、または他のモジュールがソフトウェアで実装される場合、本明細書に記載された機能、処理ユニット、技法、または他のモジュールは、１つもしくは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信される場合がある。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータデータ記憶媒体または通信媒体を含む場合がある。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示に記載された技法の実装のための命令、コード、および／またはデータ構造を取り出すために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイスを備えることができる。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ－ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。コンピュータプログラム製品はコンピュータ可読媒体を含む場合がある。

[0091]コードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、算術論理ユニット（ＡＬＵ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の均等な集積回路もしくはディスクリート論理回路などの１つまたは複数のプロセッサによって実行される場合がある。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、または本明細書に記載された技法の実装に適した任意の他の構造のいずれかを指す場合がある。また、本技法は、１つまたは複数の回路または論理要素内に完全に実装される可能性がある。

[0092]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット、たとえばチップセットを含む、多種多様なデバイスまたは装置内に実装される場合がある。開示された技法を実行するように構成されたデバイスの機能的な態様を強調するために、様々な構成要素、モジュール、またはユニットが本開示に記載されたが、それらは、必ずしも異なるハードウェアユニットによる実現を必要としない。むしろ、上述されたように、様々なユニットは、適切なソフトウェアおよび／またはファームウェアとともに上述された１つまたは複数のプロセッサを含む、任意のハードウェアユニット内で組み合わされるか、または相互動作可能なハードウェアユニットの集合によって提供される場合がある。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、または本明細書に記載された技法の実装に適した任意の他の構造のいずれかを指す場合がある。また、本技法は、１つまたは複数の回路または論理要素内に完全に実装される場合がある。

[0093]以下の態様は、例示的なものにすぎず、限定はしないが、本明細書に記載された他の態様または教示と組み合わされてもよい。

[0094]態様１は、表示処理または画像処理の方法である。方法は、複数のフレームの連続するフレーム間のシーン変化または複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出することと、複数のフレームの各々が複数のピクセルを含み、複数のフレームの第１のフレームが、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームに対応する、第１のフレームのダウンサンプリングされた画像に基づいて、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つを生成することと、第１のフレームが複数の第１のピクセルを含み、ダウンサンプリングされた画像が複数のダウンサンプリングされたピクセルを含む、複数のフレームの１つまたは複数の後続のフレーム内の複数のピクセルに、複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を適用することと、ＣＭＦが、複数のフレーム内の後続のシーン変化または複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される、を含む。

[0095]態様２は、複数のダウンサンプリングされたピクセルの第１のグループの色または複数のダウンサンプリングされたピクセルの第２のグループの色のうちの少なくとも１つが、ダウンサンプリングされた画像と、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つとに基づいて識別される、態様１に記載の方法である。

[0096]態様３は、第１のグループの色が、１つもしくは複数の低顕著性色または深度範囲内の深度を含む１つもしくは複数の色であり、第２のグループの色が、１つもしくは複数の高顕著性色または深度範囲外の深度を含む１つもしくは複数の色である、態様１および２のいずれかに記載の方法である。

[0097]態様４は、１つもしくは複数の低顕著性色または１つもしくは複数の高顕著性色のうちの少なくとも１つを調整することをさらに含み、複数のダウンサンプリングされたピクセルの深度情報が、深度範囲内の深度を含む１つもしくは複数の色、または深度範囲外の深度を含む１つもしくは複数の色に対応する、態様１から３のいずれかに記載の方法である。

[0098]態様５は、１つまたは複数の低顕著性色を調整することが、１つもしくは複数の低顕著性色の飽和度を減少させること、１つもしくは複数の低顕著性色の輝度を減少させること、または１つもしくは複数の低顕著性色の色温度を寒色温度に向かってシフトすることのうちの少なくとも１つを備える、態様１から４のいずれかに記載の方法である。

[0099]態様６は、１つまたは複数の高顕著性色を調整することが、１つもしくは複数の高顕著性色の飽和度を増加させること、１つもしくは複数の高顕著性色の輝度を増加させること、または１つもしくは複数の高顕著性色の色温度を暖色温度に向かってシフトすることのうちの少なくとも１つを備える、態様１から５のいずれかに記載の方法である。

[0100]態様７は、１つもしくは複数の低顕著性色または１つもしくは複数の高顕著性色のうちの少なくとも１つが、複数のダウンサンプリングされたピクセルの深度情報に基づいて調整される、態様１から６のいずれかに記載の方法である。

[0101]態様８は、１つもしくは複数の低顕著性色または１つもしくは複数の高顕著性色のうちの少なくとも１つを調整することが、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つに関連付けられた１つまたは複数のピクセルを調整することを備える、態様１から７のいずれかに記載の方法である。

[0102]態様９は、顕著性値、オブジェクトセグメンテーション分類、または深度値のうちの少なくとも１つが、複数のフレームに関連付けられた色空間の各色に対応し、ＣＭＦが、色空間の色ごとの顕著性値または深度値のうちの少なくとも１つに基づいて決定される、態様１から８のいずれかに記載の方法である。

[0103]態様１０は、ダウンサンプリングされた画像内の１つまたは複数のピクセル、および顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つの中の１つまたは複数のピクセルが分析される、態様１から９のいずれかに記載の方法である。

[0104]態様１１は、統計分析が、ダウンサンプリングされた画像、および顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つに対して実行される、態様１から１０のいずれかに記載の方法である。

[0105]態様１２は、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つが、第１のフレームの顕著性情報、第１のフレームの深度情報、または第１のフレームのオブジェクト情報のうちの少なくとも１つに基づく、態様１から１１のいずれかに記載の方法である。

[0106]態様１３は、顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つが、ニューラルネットワーク（ＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、または人工知能（ＡＩ）分析を使用して生成される、態様１から１２のいずれかに記載の方法である。

[0107]態様１４は、ＣＭＦが、多項式または３次元（３Ｄ）参照テーブル（ＬＵＴ）である、態様１から１３のいずれかに記載の方法である。

[0108]態様１５は、第１のフレームのダウンサンプリングされた画像を生成するために第１のフレームの画像をダウンサンプリングすることをさらに含み、ダウンサンプリングされた画像が、連続するフレーム間のシーン変化またはしきい値数の受信されたフレームのうちの少なくとも１つを検出すると生成される、態様１から１４のいずれかに記載の方法である。

[0109]態様１６は、複数のフレームの各々が表示処理ユニット（ＤＰＵ）において受信される、態様１から１５のいずれかに記載の方法である。

[0110]態様１７は、メモリに結合され、態様１から１６のいずれかに記載の方法を実施するように構成された少なくとも１つのプロセッサを含む、表示処理のための装置である。

[0111]態様１８は、態様１から１６のいずれかに記載の方法を実施するための手段を含む、表示処理のための装置である。

[0112]態様１９は、コンピュータ実行可能コードを記憶するコンピュータ可読媒体であって、コードが、少なくとも１つのプロセッサによって実行されると、態様１から１６のいずれかに記載の方法を少なくとも１つのプロセッサに実施させる、コンピュータ可読媒体である。

Claims (34)

1. 表示処理の方法であって、
   複数のフレームの連続するフレーム間のシーン変化または前記複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出することと、前記複数のフレームの各々が複数のピクセルを含み、前記複数のフレームの第１のフレームが、連続するフレーム間の前記シーン変化または前記しきい値数の受信されたフレームに対応する、
   前記第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つを生成することと、前記第１のフレームが複数の第１のピクセルを含み、前記ダウンサンプリングされた画像が複数のダウンサンプリングされたピクセルを含む、
   前記複数のフレームの１つまたは複数の後続のフレーム内の前記複数のピクセルに、前記複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を適用することと、前記ＣＭＦが、前記複数のフレーム内の後続のシーン変化または前記複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される、
   を備える、方法。
2. 前記複数のダウンサンプリングされたピクセルの第１のグループの色または前記複数のダウンサンプリングされたピクセルの第２のグループの色の少なくとも１つが、前記ダウンサンプリングされた画像と、前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つとに基づいて識別される、請求項１に記載の方法。
3. 前記第１のグループの色が、１つもしくは複数の低顕著性色または深度範囲内の深度を含む１つもしくは複数の色であり、前記第２のグループの色が、１つもしくは複数の高顕著性色または深度範囲外の深度を含む１つもしくは複数の色である、請求項２に記載の方法。
4. 前記１つもしくは複数の低顕著性色または前記１つもしくは複数の高顕著性色のうちの少なくとも１つを調整すること、ここにおいて、前記複数の前記ダウンサンプリングされたピクセルの深度情報が、前記深度範囲内の深度を含む前記１つもしくは複数の色、または前記深度範囲外の深度を含む前記１つもしくは複数の色に対応する、
   をさらに備える、請求項３に記載の方法。
5. 前記１つまたは複数の低顕著性色を調整することが、
   前記１つもしくは複数の低顕著性色の飽和度を減少させること、
   前記１つもしくは複数の低顕著性色の輝度を減少させること、または
   前記１つもしくは複数の低顕著性色の色温度を寒色温度に向かってシフトすること
   のうちの少なくとも１つを備える、請求項４に記載の方法。
6. 前記１つまたは複数の高顕著性色を調整することが、
   前記１つもしくは複数の高顕著性色の飽和度を増加させること、
   前記１つもしくは複数の高顕著性色の輝度を増加させること、または
   前記１つもしくは複数の高顕著性色の色温度を暖色温度に向かってシフトすること
   のうちの少なくとも１つを備える、請求項４に記載の方法。
7. 前記１つもしくは複数の低顕著性色または前記１つもしくは複数の高顕著性色のうちの少なくとも１つが、前記複数のダウンサンプリングされたピクセルの前記深度情報に基づいて調整される、請求項４に記載の方法。
8. 前記１つもしくは複数の低顕著性色または前記１つもしくは複数の高顕著性色のうちの少なくとも１つを調整することが、
   前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つに関連付けられた１つまたは複数のピクセルを調整すること
   を備える、請求項４に記載の方法。
9. 顕著性値、オブジェクトセグメンテーション分類、または深度値のうちの少なくとも１つが、前記複数のフレームに関連付けられた前記色空間の各色に対応し、前記ＣＭＦが、前記色空間の色ごとの前記顕著性値または前記深度値のうちの少なくとも１つに基づいて決定される、請求項１に記載の方法。
10. 前記ダウンサンプリングされた画像内の１つまたは複数のピクセル、および前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つの中の１つまたは複数のピクセルが分析される、請求項１に記載の方法。
11. 統計分析が、前記ダウンサンプリングされた画像、および前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つに対して実行される、請求項１０に記載の方法。
12. 前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つが、前記第１のフレームの顕著性情報、前記第１のフレームの深度情報、または前記第１のフレームのオブジェクト情報のうちの少なくとも１つに基づく、請求項１に記載の方法。
13. 前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つが、ニューラルネットワーク（ＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、または人工知能（ＡＩ）分析を使用して生成される、請求項１に記載の方法。
14. 前記ＣＭＦが、多項式または３次元（３Ｄ）参照テーブル（ＬＵＴ）である、請求項１に記載の方法。
15. 前記第１のフレームの前記ダウンサンプリングされた画像を生成するために前記第１のフレームの画像をダウンサンプリングすること、ここにおいて、前記ダウンサンプリングされた画像が、連続するフレーム間の前記シーン変化または前記しきい値数の受信されたフレームのうちの少なくとも１つを検出すると生成される、
    をさらに備える、請求項１に記載の方法。
16. 前記複数のフレームの各々が表示処理ユニット（ＤＰＵ）において受信される、請求項１に記載の方法。
17. 表示処理のための装置であって、
    メモリと、
    前記メモリに結合され、
    複数のフレームの連続するフレーム間のシーン変化または前記複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出することと、前記複数のフレームの各々が複数のピクセルを含み、前記複数のフレームの第１のフレームが、連続するフレーム間の前記シーン変化または前記しきい値数の受信されたフレームに対応する、
    前記第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つを生成することと、前記第１のフレームが複数の第１のピクセルを含み、前記ダウンサンプリングされた画像が複数のダウンサンプリングされたピクセルを含む、
    前記複数のフレームの１つまたは複数の後続のフレーム内の前記複数のピクセルに、前記複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を適用することと、前記ＣＭＦが、前記複数のフレーム内の後続のシーン変化または前記複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される、
    を行うように構成された少なくとも１つのプロセッサと
    を備える、装置。
18. 前記複数のダウンサンプリングされたピクセルの第１のグループの色または前記複数のダウンサンプリングされたピクセルの第２のグループの色のうちの少なくとも１つが、前記ダウンサンプリングされた画像と、前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つとに基づいて識別される、請求項１７に記載の装置。
19. 前記第１のグループの色が、１つもしくは複数の低顕著性色または深度範囲内の深度を含む１つもしくは複数の色であり、前記第２のグループの色が、１つもしくは複数の高顕著性色または深度範囲外の深度を含む１つもしくは複数の色である、請求項１８に記載の装置。
20. 前記少なくとも１つのプロセッサが、
    前記１つもしくは複数の低顕著性色または前記１つもしくは複数の高顕著性色のうちの少なくとも１つを調整すること、ここにおいて、前記複数の前記ダウンサンプリングされたピクセルの深度情報が、前記深度範囲内の深度を含む前記１つもしくは複数の色、または前記深度範囲外の深度を含む前記１つもしくは複数の色に対応する、
    を行うようにさらに構成される、請求項１９に記載の装置。
21. 前記１つまたは複数の低顕著性色を調整することが、
    前記１つもしくは複数の低顕著性色の飽和度を減少させること、
    前記１つもしくは複数の低顕著性色の輝度を減少させること、または
    前記１つもしくは複数の低顕著性色の色温度を寒色温度に向かってシフトすること
    のうちの少なくとも１つを行うようにさらに構成された前記少なくとも１つのプロセッサを備える、請求項２０に記載の装置。
22. 前記１つまたは複数の高顕著性色を調整することが、
    前記１つもしくは複数の高顕著性色の飽和度を増加させること、
    前記１つもしくは複数の高顕著性色の輝度を増加させること、または
    前記１つもしくは複数の高顕著性色の色温度を暖色温度に向かってシフトすること
    のうちの少なくとも１つを行うようにさらに構成された前記少なくとも１つのプロセッサを備える、請求項２０に記載の装置。
23. 前記１つもしくは複数の低顕著性色または前記１つもしくは複数の高顕著性色のうちの少なくとも１つが、前記複数のダウンサンプリングされたピクセルの前記深度情報に基づいて調整される、請求項２０に記載の装置。
24. 前記１つもしくは複数の低顕著性色または前記１つもしくは複数の高顕著性色のうちの少なくとも１つを調整することが、
    前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つに関連付けられた１つまたは複数のピクセルを調整する
    ようにさらに構成された前記少なくとも１つのプロセッサを備える、請求項２０に記載の装置。
25. 顕著性値、オブジェクトセグメンテーション分類、または深度値のうちの少なくとも１つが、前記複数のフレームに関連付けられた前記色空間の各色に対応し、前記ＣＭＦが、前記色空間の色ごとの前記顕著性値または前記深度値のうちの少なくとも１つに基づいて決定される、請求項１７に記載の装置。
26. 前記ダウンサンプリングされた画像内の１つまたは複数のピクセル、および前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つの中の１つまたは複数のピクセルが分析される、請求項１７に記載の装置。
27. 統計分析が、前記ダウンサンプリングされた画像、および前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つに対して実行される、請求項２６に記載の装置。
28. 前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つが、前記第１のフレームの顕著性情報、前記第１のフレームの深度情報、または前記第１のフレームのオブジェクト情報のうちの少なくとも１つに基づく、請求項１７に記載の装置。
29. 前記顕著性マップ、前記オブジェクトセグメンテーションマップ、または前記深度マップのうちの少なくとも１つが、ニューラルネットワーク（ＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、または人工知能（ＡＩ）分析を使用して生成される、請求項１７に記載の装置。
30. 前記ＣＭＦが、多項式または３次元（３Ｄ）参照テーブル（ＬＵＴ）である、請求項１７に記載の装置。
31. 前記少なくとも１つのプロセッサが、
    前記第１のフレームの前記ダウンサンプリングされた画像を生成するために前記第１のフレームの画像をダウンサンプリングすること、ここにおいて、前記ダウンサンプリングされた画像が、連続するフレーム間の前記シーン変化または前記しきい値数の受信されたフレームのうちの少なくとも１つを検出すると生成される、
    を行うようにさらに構成される、請求項１７に記載の装置。
32. 前記複数のフレームの各々が表示処理ユニット（ＤＰＵ）において受信される、請求項１７に記載の装置。
33. 表示処理のための装置であって、
    複数のフレームの連続するフレーム間のシーン変化または前記複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出するための手段と、前記複数のフレームの各々が複数のピクセルを含み、前記複数のフレームの第１のフレームが、連続するフレーム間の前記シーン変化または前記しきい値数の受信されたフレームに対応する、
    前記第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つを生成するための手段と、前記第１のフレームが複数の第１のピクセルを含み、前記ダウンサンプリングされた画像が複数のダウンサンプリングされたピクセルを含む、
    前記複数のフレームの１つまたは複数の後続のフレーム内の前記複数のピクセルに、前記複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を適用するための手段と、前記ＣＭＦが、前記複数のフレーム内の後続のシーン変化または前記複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される、
    を備える、装置。
34. 表示処理のためのコンピュータ実行可能コードを記憶するコンピュータ可読媒体であって、前記コードが、プロセッサによって実行されると、
    複数のフレームの連続するフレーム間のシーン変化または前記複数のフレームのしきい値数の受信されたフレームのうちの少なくとも１つを検出することと、前記複数のフレームの各々が複数のピクセルを含み、前記複数のフレームの第１のフレームが、連続するフレーム間の前記シーン変化または前記しきい値数の受信されたフレームに対応する、
    前記第１のフレームのダウンサンプリングされた画像に基づいて顕著性マップ、オブジェクトセグメンテーションマップ、または深度マップのうちの少なくとも１つを生成することと、前記第１のフレームが複数の第１のピクセルを含み、前記ダウンサンプリングされた画像が複数のダウンサンプリングされたピクセルを含む、
    前記複数のフレームの１つまたは複数の後続のフレーム内の前記複数のピクセルに、前記複数のフレームに関連付けられた色空間のための色マッピング関数（ＣＭＦ）を適用することと、前記ＣＭＦが、前記複数のフレーム内の後続のシーン変化または前記複数のフレームの後続のしきい値数の受信されたフレームのうちの少なくとも１つまで適用される、
    を前記プロセッサに実行させる、コンピュータ可読媒体。

Images