JP5934363B2 - インタラクティブな画面閲覧 - Google Patents

Description

本発明は、包括的にはコンピューターシステムに関し、詳細には、それらのコンピューターシステムの表示及びグラフィックス処理に関する。

通常、コンピューターシステムは、様々な異なる画像を表示することができる。例えば、コンピューターシステムは、数例を挙げれば、テキスト、静止画像若しくはビデオ画像等のピクチャを表示することができるか、又はアニメーション化されたグラフィックスを表示することができる。

例として、静止写真を取り上げると、一般に、複数の設定を用いて、画像を捕捉する。これらの設定が、画像を捕捉する人物によって行われると、結果として生成される描写の性質は固定される。幾つかの場合では、事後処理を適用して、画像にわたる描写を変更することができる。例えば、完成したピクチャにコントラスト向上を適用し、照明の変更を行い、他の変更を行うことができる。

本発明の一実施形態のシステム図である。 本発明の一実施形態によるカメラのフローチャートである。 本発明の一実施形態による画像表示システムのフローチャートである。 本発明の一実施形態による図３に示される実施形態のセットアップシーケンスである。 本発明の一実施形態によるカメラの概略図である。

本発明の幾つかの実施形態によれば、任意のタイプのコンピューター表示画像の描写は、その画像が既に表示された後、局所的に変更することができる。幾つかの実施形態では、局所的な変更は、ユーザーが全体描写内の特定の領域を選択した結果であることができる。次に、これらの領域を再表示して、領域の特性を向上させることができる。例えば、ユーザーがコンピューター描写の特定の領域を見る場合、例として、解像度、焦点深度、露出、及び視差を含め、その領域の様々な特性を調整することができる。その結果、画像を、現在の関心エリア内で局所的に向上させることができる。

多くの場合、画像にわたり任意のコンピューターディスプレイ描写の調整可能な全ての特性を最適化することは不可能である。画像の異なる領域に描写されるオブジェクトは、画像捕捉装置（又はグラフィカル描写の視点）から異なる距離の箇所にあることがあり、したがって、多少なりともピンぼけすることがある。視差は、描写が捕捉された方法に基づいて描写にわたり異なることがある。同様に、照明は、様々な局所的な照明の影響によって影響を受けることがある。最後に、露出は、描写内の様々な場所で異なることがある。

したがって、現在の関心がより大きな領域内の選択的な向上が可能なことが有利なことがある。これは、ユーザーが関心のある領域を判断することによって、例えば、入出力装置を通してユーザー選択によって、又は視線検出を用いて、ユーザーが実際に何を見ているかを判断することによって行うことができる。次に、これらの領域は、ユーザーが望むように様々な特性が向上されるように再レンダリングすることができる。これは、幾つかの実施形態では自動的に行うことができる。

図１を参照すると、コンピューターシステム１０は、カメラ１４が搭載されたディスプレイ１２を含むことができる。コンピューターシステム１０は、例として、デスクトップコンピューター等の固定される装置若しくは有線装置とすることができるか、又はラップトップ、モバイルインターネット装置、携帯電話、テレビ、撮像装置、若しくは娯楽システム等のモバイルシステム若しくは電池給電システムとすることができる。

幾つかの実施形態では、カメラ１４は、ユーザー視線検出に用いられるビデオカメラである。本明細書で用いられる場合、「視線検出」は、任意の瞬間にユーザーが見ているディスプレイ１２の部分を判断することを意味する。「視線検出」は、頭部、顔、及び／又は目の追跡を包含する。視線検出システムは赤外線光源を含むこともでき、赤外線光源はユーザーの目を赤外線光で照明する。この照明は、目の追跡を改善することができる「赤目」効果を生じさせる。カメラ１４の近傍に位置決めされる軸上赤外線光源を用いることができる。また、カメラから離れて配置される軸外光源を代わりに用いることもできる。ディスプレイ１２はプロセッサ１６に結合することができ、プロセッサ１６は関心領域識別モジュール１８を含み、関心領域識別モジュール１８は、一実施形態では、視線検出器からの入力を用いて、ユーザーがディスプレイのどの領域を見ているかを判断する。

関心領域識別モジュール１８は、ハードウェア、ソフトウェア、又はファームウェアを用いて実施することができる。視線検出を用いることに加えて、又は視線検出を用いることに代えて、ディスプレイ１２がタッチスクリーンである場合、ディスプレイ画面へのユーザー接触に基づいて、カーソル入力の形態のユーザー入力を受信することができる。関心領域を示す他の方法を適用することもできる。

関心領域識別モジュール１８は、一実施形態では、同様にプロセッサ１６内に含まれる画像変換モジュール２０に結合される。モジュール２０は、例として、静止画像、動画像、又はアニメ−ションを変換することができる。写真変換モジュール２０は、一実施形態では、ピクチャ２４のデータベースに頼り、関心領域を変換することができる。関心領域は、露出、焦点深度、視差、解像度、又は任意の他の特性に関して変換することができる。幾つかの実施形態では、データベース２４は、特性を変更して捕捉した同じシーンの幾つかの描写を含むことができる。例えば、露出、焦点深度、視差、照明、又は解像度のうちの１つ又は複数を変更することができ、したがって、特定の関心領域は、ピクチャデータベース２４内の異なるバージョンの描写を選択することによって調整された特性を有することができる。次に、変換された画像をディスプレイドライバ２２に送り、そして、ディスプレイ１２に提供して、現在の表示を変更する。

幾つかの実施形態では、関心領域に適用される変更の性質は予めプログラムすることができる。したがって、ユーザーは、関心領域で何の特性を変更することができるかを厳密にプログラムすることができる。加えて、ユーザーは、ユーザーが特定の関心領域をいかに変更したいかを示すリアルタイムコマンドを提供することができる。これらは、任意の入力装置によって提供することができ、更なる例を挙げると、音声コマンド又はジェスチャコマンドによってさえも示すことができる。

更に別の代替として、システムは、特性のうちのどれを特定の領域で向上させることができるかを決定することができる。システムは、幾つかの実施形態では、それらの向上可能な特性のうちのありとあらゆる特性を自動的に向上させることができる。

図２を参照すると、シーケンス２６は、カメラ１４を含むプロセッサに基づくシステム１０によって実施することができる。したがって、プロセッサに基づくシステムは、静止カメラ、ビデオカメラ、又は撮像能力を有する任意のタイプのコンピューターとすることができる。プロセッサに基づくシステムは、ハードウェア、ソフトウェア、及び／又はファームウェアで実施することができる。ソフトウェア及びファームウェア実施形態では、シーケンスは、半導体記憶媒体、磁気記憶媒体、又は光学記憶媒体等の非一時的なコンピューター可読媒体に記憶されたコンピューター可読命令によって実施することができる。

幾つかの実施形態では、シーケンスは、菱形２８に示されるように、映画を構成するフレーム又はフレームシーケンス等の画像を捕捉するコマンドを受信したか否かを判断することによって開始することができる。受信した場合、ブロック３０に示されるように、他の特徴の中でも特に、焦点、照明、及び／又はステレオ対応が異なる複数のピクチャを自動的に捕捉することができる。次に、これらのピクチャは、ブロック３２に示されるように、データベース２４に記憶することができる。幾つかの実施形態では、ピクチャは、どのピクチャがどの効果に対応するかがわかるように編成するか、又はラベルを付けることができる。

次に図３を参照すると、コンピューター制御の表示が、シーケンスによって示され、シーケンスは、ソフトウェア、ハードウェア、及び／又はファームウェアで実施することができる。ソフトウェア及びファームウェア用途では、シーケンスは、非一時的なコンピューター可読媒体に記憶された命令によって実施することができる。

まず、菱形３４に示されるように、関心領域が識別される。ここでも、関心領域は、数例を挙げると、視線検出モジュールからのユーザー入力、ユーザーのタッチスクリーン入力、又はカーソル入力を受信することを含め、幾つかの異なる方法で識別することができる。

幾つかの場合、関心領域は、何らかの予めプログラムされたシーケンスを用いて判断することができる。例えば、ユーザーに表示内の様々な領域を見せることが望ましいことがある。したがって、関心領域は、システムが実施するようにプログラムされた内容又は何らかのパターンによって統制することができる。したがって、幾つかの実施形態では、ユーザーを、領域ごとの画面上の描写に通すことができる。例えば、描写は、ユーザーが所与の方法でピクチャを見ることを促進するように変更することができる。逆に、描写は、閲覧者の注意を、ユーザーが見ているシーン内の或るオブジェクトから離すように、例えば、そのオブジェクトの外見を劣化させることによって変更することができる。例えば、オブジェクトをピンぼけさせることができ、一方、別のオブジェクトはより鮮鋭に示される。

次に、ブロック３６において、画像の選択、変換、及び組み合わせを達成することができる。これは、所望の向上に対応するデータベース内の画像を選択し、次に、それらの画像を組み合わせて、ディスプレイ１２に表示される１つのピクチャにすることによって行うことができる。

幾つかの実施形態では、ブロック３８に示されるように、動的写真レンダリングを用いることができる。動的レンダリングは、既存のフレームに取って代わり、ユーザーが見ているオブジェクトの外観を変更する、捕捉された１つ又は複数のフレームの選択を含むことができる。

一手法では、描写の異なるバージョンが、現在の描写に取って代わり、ユーザー関心のエリア又は焦点で所望の効果を提供することができる。別の手法では、関心領域は、コンピューターグラフィックス技法を用いて再レンダリングし、所望の効果を提供することができる。例えば、撮像オブジェクトのモザイクを提供して、全体シーンを構成することができる。これらのモザイクのそれぞれは、変更されたコンピューターレンダリング描写で置き換えることができる。また、幾つかの実施形態では、コンピューターレンダリングされる変更と、異なるカメラ設定を用いて画像の異なるバージョンを捕捉することによって生成される変更との組み合わせを組み合わせることができる。最後に、ブロック４０において、表示は、所望される向上を伴った選択された領域を示すように変換される。

幾つかの実施形態では、ユーザー視線検出に基づくシーンの変更は、裸眼が機能する方法に関してシーンの閲覧を模倣するように実施することができる。これは、裸眼が機能する方法を模倣すること、又は裸眼が機能する方法とは逆の効果を意図的に提供することを意味することができる。例として、ユーザーが明るい光を見る場合、目が調整し、目の中に放たれる光が少なくなるにつれて、輝度は徐々に低減する。

人間の目は、或る特定の順応速度を有する。シーン内のライティングが変更される際に、これと同じ順応を電子的に適用して、ユーザーがシーンを見る方法を変更することができる。例えば、ユーザーが、シーン内の明るい光を見るように自身の焦点を変更する際、その明るい光はまず、明るく見え、次に、例えばコンピューターレンダリング技法を用いて徐々に薄暗くすることができる。これが生じる速度は、裸眼が光に順応する速度に対応することができるか、又は所望の効果を生み出すために、その順応とは異なる速度で行うことができる。

描写のソースが、カメラ等の撮像装置である実施形態を説明したが、他の実施形態では、ソースは、放送、ケーブル、又は衛星ソース等のテレビソース、及びＤＶＤディスク、又は他の記憶媒体等のデジタル媒体を含め、閲覧可能な媒体の任意のソースとすることができる。一実施形態では、テレビを用いて、ユーザーが何を見ているかに応答して、ユーザーの受信機に送信されるコンテンツを、例えば、ヘッドエンドから変更することができる。したがって、視線検出に基づく本明細書に記載の変形例は、ユーザーの現在の焦点が何にあるかに従って、ヘッドエンドから描写の異なるバージョンを送信することによって実施することができる。

幾つかの実施形態では、視線検出の正確性はより低くすることができる。そのような場合、コンピュータービジョン技法を利用して、システムの動作を向上させることができる。例として、ユーザーがシーン内に示される人物の頭部を見ていると考える。しかし、視線検出が誤ることがあり、実際には、焦点が、撮像された人物の頭部の近傍ではあるが、頭部に対応しない空白のエリアにあると判断してしまうことがある。コンピューター内容分析を提供して、概して人々は画面の空白エリアを見ないため、視線追跡を用いて特定されたエリアの近傍のエリアを検索し、その実際の焦点がユーザーの頭部に違いないと判断することができる。したがって、ユーザーの視線の焦点が空白のエリアにあることのアイトラッカーの表示に応答して、撮像シーンを検索して、近傍のオブジェクトを見つけ、ユーザーの視線のより可能性の高いオブジェクトを判断することができる。このようにして、内容分析を用いて、検出された視線方向を調整することができる。

図３のシーケンスは、一実施形態では、図４に示されるセットアップシーケンス４２を用いて可能にすることができる。システムを実際に用いる前に、図３のシーケンスは、そのシーケンスの入力データを提供することによって可能にすることができる。セットアップシーケンス４２は、ハードウェア、ソフトウェア、及び／又はファームウェアで実施することもでき、ソフトウェア及びファームウェア実施形態は、非一時的なコンピューター可読媒体に記憶されたコンピューター実行可能命令によって実施することができる。

まず、ブロック４４において、関心領域サイズの選択が受信される。したがって、ユーザーは、画面上の特定のエリアが識別される場合、厳密な視線ターゲットの周りの、変更すべき周囲エリアの大きさを示すことができる。したがって、入力ピクセルを中心にセンタリングされる円形領域、正方形領域、又は矩形領域等の所与の幾何学的形状の領域は、ユーザー選択に基づいて自動的に適用することができる。受信することができる他の入力は、焦点、照明、及びステレオ対応の感度設定の粒度である。したがって、一連の増大又は低減する解像度、焦点、照明、及びステレオ対応で画像を捕捉することができる。ブロック４６において、これらの設定の範囲又は連続する各捕捉画像間の変更量は、ユーザーによって設定することができる。

ブロック４８において、ユーザーは記録される幾つかの露出設定を設定することができる。この情報の全ては、場合によっては、カメラ又はシステム１０のいずれかに関連付けて記憶することができる。幾つかの実施形態では、セットアップシーケンスは、カメラ及びコンピューター１０において別個に実施することができる。

最後に、図５を参照して、カメラ１４の一例を示す。一実施形態では、カメラ１４は、異なる設定（すなわち、焦点深度）で複数のピクチャを同時に撮影することができるプレノプティックカメラ５０とすることができる。別の実施形態は単純に、ピントブラケットを用いて、異なるカメラ設定を用いて同じシーンの一連のショットを撮影することができる。更に別の実施形態では、オートブラケットを用いて、異なる設定で同じシーンの一連のショットを自動的に捕捉することができる。

カメラ５０は、記憶装置６０に結合されるプロセッサ５２を含むことができる。記憶装置６０は、データをセットアップシーケンス４２から受信することができ、ソフトウェア又はファームウェア実施の実施形態では、シーケンス２６を含むことができる。プロセッサ５２は、一実施形態では、そのようなシーケンスを実行することができる。また、プロセッサ５２には、画像センサ５４も結合され、画像センサ５４を用いて、静止画像又は動画像を実際に捕捉することができる。レンズ系５６は、プロセッサ５２によって制御することができる。レンズ系は、一連の高速露出のそれぞれにおいて、プロセッサ５２によって電子的に、解像度、焦点深度、又は焦点のうちの１つ又は複数を連続して自動的に変更することができる。最後に、照明系又はライティング５８は、プロセッサ５２によって動的に調整することができる。

本明細書に記載のグラフィックス処理技法は、様々なハードウェアアーキテクチャで実施することができる。例えば、グラフィックス機能はチップセット内に統合することができる。代替的には、離散グラフィックスプロセッサを用いることができる。更に別の実施形態として、グラフィックス機能は、マルチコアプロセッサを含め、汎用プロセッサによって実施することができる。

本明細書全体を通しての「一実施形態」又は「一実施形態」の言及は、その実施形態に関連して説明される特定の特徴、構造、又は特性が、本発明内に包含される少なくとも１つの実施態様に含まれることを意味する。したがって、語句「一実施形態」又は「一実施形態では」の出現は、必ずしも同じ実施形態を参照しない。さらに、特定の特徴、構造、又は特性は、示される特定の実施形態以外の他の適する形態で導入することができ、そのような全ての形態は本願の特許請求の範囲内に包含することができる。

限られた数の実施形態に関して本発明を説明してきたが、当業者であれば、これらの実施形態から多数の変更及び変形を認識するであろう。添付の特許請求の範囲は、本発明の真の趣旨及び範囲に含まれる全ての変更及び変形をカバーすることを意図している。
（項目１）
ユーザーがコンピューターディスプレイをいかに見ているかに基づいて、上記コンピューターディスプレイの表示を変更する段階を備える、方法。
（項目２）
異なる撮像装置設定で撮影された同じシーンの複数の記憶される描写を用いて上記表示を変更する段階を備える、項目１に記載の方法。
（項目３）
コンピューターレンダリングを用いて上記表示を変更する段階を備える、項目１に記載の方法。
（項目４）
視線検出を用いて、上記ユーザーが何を見ているかを判断する段階と、
上記ユーザーの視線が検出された領域の上記表示を変更する段階と
を備える、項目１に記載の方法。
（項目５）
上記ユーザーの視線が検出された上記領域内の焦点、照明、又はステレオ対応のうちの１つ又は複数を変更する段階を備える、項目４に記載の方法。
（項目６）
上記ユーザーが見ている上記領域から離れた領域での上記コンピューターディスプレイの上記表示を変更して、上記ユーザーの注意を別の領域に向ける段階を備える、項目４に記載の方法。
（項目７）
上記ユーザーが見ている上記領域の外観を改善する段階を備える、項目５に記載の方法。
（項目８）
上記ユーザーが見ている上記領域の外観を劣化させる段階を備える、項目５に記載の方法。
（項目９）
視線検出技術を用いて、上記ユーザーがどこを見ているかを判断する段階と、
ビデオ分析を用いて上記視線検出技術の結果を調整する段階と
を備える、項目５に記載の方法。
（項目１０）
命令を記憶する非一時的なコンピューター可読媒体であって、上記命令は、コンピューターによって実行されて、
ユーザーがコンピューターディスプレイをいかに見ているかの検出に応答して、上記コンピューターディスプレイに示されるオブジェクトの外観を変更する命令を記憶する非一時的なコンピューター可読媒体。
（項目１１）
異なる撮像装置設定で撮影された同じシーンの複数の記憶される描写を用いる命令を更に記憶する、項目１０に記載のコンピューター可読媒体。
（項目１２）
コンピューターレンダリングを用いて、上記コンピューターディスプレイでの撮像オブジェクトの描写を変更する命令を更に記憶する、項目１０に記載のコンピューター可読媒体。
（項目１３）
視線検出を用いて、上記ユーザーが何を見ているかを判断し、上記ユーザーの視線のターゲットである領域の上記外観を変更する命令を更に記憶する、項目１０に記載のコンピューター可読媒体。
（項目１４）
上記領域内の焦点、照明、又はステレオ対応のうちの１つ又は複数を変更する命令を更に記憶する、項目１３に記載のコンピューター可読媒体。
（項目１５）
上記領域から離れた撮像オブジェクトの外観を変更して、上記ユーザーの注意を上記撮像オブジェクトに向ける命令を更に記憶する、項目１４に記載のコンピューター可読媒体。
（項目１６）
上記領域の上記外観を改善する命令を更に記憶する、項目１５に記載のコンピューター可読媒体。
（項目１７）
上記領域の上記外観を劣化させる命令を更に記憶する、項目１６に記載のコンピューター可読媒体。
（項目１８）
視線検出技術を用いて、上記ユーザーがどこを見ているかを判断し、ビデオ分析を用いて上記視線検出技術の結果を調整する命令を更に記憶する、項目１０に記載のコンピューター可読媒体。
（項目１９）
ユーザーがコンピューターディスプレイ上の何を見ているかの検出に応答して、上記コンピューターディスプレイに示されているオブジェクトの外観を変更するプロセッサと、
上記コンピューターディスプレイに結合される撮像装置と
を備える、装置。
（項目２０）
上記プロセッサに結合されるコンピューターディスプレイを備える、項目１９に記載の装置。
（項目２１）
上記撮像装置は上記コンピューターディスプレイに搭載される、項目２０に記載の装置。
（項目２２）
上記プロセッサは、上記ユーザーが上記コンピューターディスプレイ上で見ているオブジェクトの外観を変更する、項目１９に記載の装置。
（項目２３）
上記撮像装置はプレノプティックカメラである、項目１９に記載の装置。
（項目２４）
上記カメラは、異なる撮像装置設定で同じシーンの複数の記憶される描写を自動的に捕捉する、項目２３に記載の装置。
（項目２５）
上記プロセッサは、上記ユーザーが見ている領域内の焦点、照明、又はステレオ対応のうちの１つ又は複数を変更する、項目１９に記載の装置。
（項目２６）
上記プロセッサは、上記ユーザーが見ているものから離れた撮像オブジェクトの外観を変更する、項目２５に記載の装置。
（項目２７）
上記プロセッサは、上記ユーザーが見ているものの外観を改善する、項目２６に記載の装置。
（項目２８）
上記プロセッサは、上記ユーザーが見ているものの上記外観を劣化させる、項目２７に記載の装置。
（項目２９）
上記プロセッサは、視線検出技術を用いて、上記ユーザーがどこを見ているかを判断し、ビデオ分析を用いて上記視線検出技術の結果を調整する、項目１９に記載の装置。
（項目３０）
上記プロセッサは、上記視線検出技術の上記判断を分析し、上記判断をディスプレイ画面上の近傍オブジェクトと比較して、上記視線検出技術が上記ユーザーの視線を不正確に判断したか否かを判断することによって、上記視線検出技術を修正する、項目２９に記載の装置。

Claims (20)

1. 視線検出を用いて、ディスプレイ上のユーザーが見ている領域を検出する段階と、
   前記ユーザーが見ている前記領域が空白であるかどうかを判断する段階と、
   前記領域が空白である場合、前記領域の近傍を検索して、近傍のオブジェクトがあるかどうかを判断する段階と、
   前記近傍のオブジェクトがある場合、前記ユーザーが見ているオブジェクトとして、前記近傍のオブジェクトを特定し、前記近傍のオブジェクトの外観を変更する段階と
   を備える、方法。
2. 異なる撮像装置設定で撮影された同じシーンの複数の記憶される描写を用いて前記ディスプレイの表示を変更する段階を備える、請求項１に記載の方法。
3. コンピューターレンダリングを用いて前記ディスプレイの表示を変更する段階を備える、請求項１または２に記載の方法。
4. 視線検出を用いて、前記ユーザーが何を見ているかを判断する段階と、
   前記ユーザーの視線が検出された領域での前記ディスプレイの表示を変更する段階と
   を備える、請求項１から３のいずれか１項に記載の方法。
5. 前記ユーザーの視線が検出された前記領域内の焦点、照明、又はステレオ対応のうちの１つ又は複数を変更する段階を備える、請求項４に記載の方法。
6. 前記ユーザーが見ている前記領域から離れた領域での前記ディスプレイの前記表示を変更して、前記ユーザーの注意を別の領域に向ける段階を備える、請求項４または５に記載の方法。
7. 前記ユーザーが見ている前記領域の外観を改善する段階を備える、請求項５または６に記載の方法。
8. 視線検出を用いて、ディスプレイ上のユーザーが見ている領域を検出する手順と、
   前記ユーザーが見ている前記領域が空白であるかどうかを判断する手順と、
   前記領域が空白である場合、前記領域の近傍を検索して、近傍のオブジェクトがあるかどうかを判断する手順と、
   前記近傍のオブジェクトがある場合、前記ユーザーが見ているオブジェクトとして、前記近傍のオブジェクトを特定し、前記近傍のオブジェクトの外観を変更する手順と
   をコンピューターに実行させるプログラム。
9. 異なる撮像装置設定で撮影された同じシーンの複数の記憶される描写を用いる手順を更に前記コンピューターに実行させる、請求項８に記載のプログラム。
10. コンピューターレンダリングを用いて、前記ディスプレイでの撮像オブジェクトの描写を変更する手順を更に前記コンピューターに実行させる、請求項８または９に記載のプログラム。
11. 視線検出を用いて、前記ユーザーが何を見ているかを判断し、前記ユーザーの視線のターゲットである領域の前記外観を変更する手順を更に前記コンピューターに実行させる、請求項８から１０のいずれか１項に記載のプログラム。
12. 前記領域内の焦点、照明、又はステレオ対応のうちの１つ又は複数を変更する手順を更に前記コンピューターに実行させる、請求項１１に記載のプログラム。
13. 前記領域から離れた撮像オブジェクトの外観を変更して、前記ユーザーの注意を前記撮像オブジェクトに向ける手順を更に前記コンピューターに実行させる、請求項１２に記載のプログラム。
14. 前記領域の前記外観を改善する手順を更に前記コンピューターに実行させる、請求項１３に記載のプログラム。
15. 視線検出を用いて、ディスプレイ上のユーザーが見ている領域を検出し、前記ユーザーが見ている前記領域が空白であるかどうかを判断し、前記領域が空白である場合、前記領域の近傍を検索して、近傍のオブジェクトがあるかどうかを判断し、前記近傍のオブジェクトがある場合、前記ユーザーが見ているオブジェクトとして、前記近傍のオブジェクトを特定し、前記近傍のオブジェクトの外観を変更するプロセッサを備える、装置。
16. 前記ディスプレイに結合される撮像装置をさらに備える、請求項１５に記載の装置。
17. 前記プロセッサに結合される前記ディスプレイを備える、請求項１５または１６に記載の装置。
18. 前記プロセッサは、前記ユーザーが前記ディスプレイ上で見ているオブジェクトの外観を改善する、請求項１５から１７のいずれか１項に記載の装置。
19. 前記撮像装置はプレノプティックカメラである、請求項１６に記載の装置。
20. 前記カメラは、異なる撮像装置設定で同じシーンの複数の記憶される描写を自動的に捕捉する、請求項１９に記載の装置。

Images