JP6909554B2 - 視覚効果を有するオブジェクトを表示する装置及び方法 - Google Patents

視覚効果を有するオブジェクトを表示する装置及び方法 Download PDF

Info

Publication number
JP6909554B2
JP6909554B2 JP2015125252A JP2015125252A JP6909554B2 JP 6909554 B2 JP6909554 B2 JP 6909554B2 JP 2015125252 A JP2015125252 A JP 2015125252A JP 2015125252 A JP2015125252 A JP 2015125252A JP 6909554 B2 JP6909554 B2 JP 6909554B2
Authority
JP
Japan
Prior art keywords
virtual
light source
virtual light
processor
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015125252A
Other languages
English (en)
Other versions
JP2016018560A (ja
Inventor
基 彰 李
基 彰 李
民 修 安
民 修 安
仁 友 河
仁 友 河
陞 忍 朴
陞 忍 朴
炯 旭 李
炯 旭 李
喜 世 李
喜 世 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140097313A external-priority patent/KR102235679B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2016018560A publication Critical patent/JP2016018560A/ja
Application granted granted Critical
Publication of JP6909554B2 publication Critical patent/JP6909554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Description

以下、視覚効果を有するオブジェクトを表示する装置及び方法が開示される。
モバイルＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）技術が発達し、モバイル装置に３Ｄグラフィックス技術を活用することで、コンテンツ提供者は仮想環境コンテンツの提供が可能になった。
スマートフォン以前のモバイル装置として、２Ｄグラフィックス技術を活用した平面的かつ簡単な２Ｄコンテンツのみが提供されたが、スマートフォンのような最近のモバイル装置では、高性能ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵがサポートされている。このように最近のモバイル装置は、３Ｄグラフィックスをサポートすることのできるハードウェア環境及びハードウェア環境に関するソフトウェア的な標準がサポートされている。ソフトウェア的な標準は、例えば、ＯｐｅｎＧＬ ＥＳなどのような業界標準がある。
また、このようなモバイル装置の３Ｄグラフィックス技術は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、及び仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）などで実感かつ没入感が最大となるように、仮想オブジェクトを生成してユーザに提供できる基盤を提供することである。
本発明の目的は、明るい特性を有するオブジェクトによる視覚効果をオブジェクト周辺の画面に反映できるディスプレイ装置及び方法を提供する。
一実施形態によると、ディスプレイ方法は、光源が設定されたオブジェクトを仮想環境に表示するステップと、前記光源に基づいて、前記オブジェクト周辺の領域を照明するステップと、を含む。
ディスプレイ方法は、前記オブジェクトに前記光源を設定するステップをさらに含んでもい。
前記オブジェクトに前記少なくとも１つの仮想光源を設定するステップは、前記オブジェクトのオブジェクト領域で格子形態に光源の位置を設定するステップを含んでもい。
ディスプレイ方法は、前記光源の照明方向及び位置を設定するステップと、前記照明方向に基づいて前記光源のカットオフ角度及び強度減衰を設定するステップとを含んでもよい。
前記少なくとも１つの仮想光源に基づいて、前記仮想環境で前記オブジェクト周辺の仮想領域を照明するステップは、前記照明方向及び前記カットオフ角度に基づいて前記領域を算出するステップを含んでもよい。
ディスプレイ方法は、前記オブジェクトから前記光源の位置の色を抽出するステップをさらに含み、前記少なくとも１つの仮想光源に基づいて、前記仮想環境で前記オブジェクト周辺の仮想領域を照明するステップは、前記色を前記光源に反映するステップを含んでもよい。
前記オブジェクトから前記少なくとも１つの仮想光源の位置に対応する色を抽出するステップは、前記光源の位置周辺の色値の平均値、加重平均、又は中間値のうちの１つを前記色の値として抽出するステップを含んでもよい。
前記少なくとも１つの仮想光源に基づいて、前記仮想環境で前記オブジェクト周辺の仮想領域を照明するステップは、制御信号に応答して、前記領域の前記照明の程度及び前記照明された領域の大きさのうち１つ又は２つを制御するステップを含んでもよい。
前記オブジェクトは、静画オブジェクト及びビデオオブジェクトのうちの１つ又は２つを含んでもよい。
ディスプレイ方法は、前記オブジェクトの内部上の前記光源の視覚効果を排除するステップを含んでもよい。
一実施形態に係るディスプレイ装置は、ディスプレイ及びプロセッサを含み、
前記プロセッサは、前記ディスプレイ上の仮想環境に光源が設定されたオブジェクトを表示し、前記光源に基づいて前記オブジェクト周辺の領域を前記ディスプレイ上に照明する。
前記プロセッサは、前記光源の照明方向、位置、カットオフ角度、及び強度減衰のうち少なくとも１つを設定してもよい。
前記プロセッサは、照明方向、位置、カットオフ角度、及び強度減衰のうち少なくとも１つに基づいて前記領域を算出してもよい。
前記プロセッサは、前記オブジェクトから前記光源の位置の色を抽出して前記色を前記光源に反映してもよい。
前記プロセッサは、前記オブジェクトから前記光源の位置周辺の色値の平均値、加重平均又は中間値のうちの１つを前記色の値として抽出してもよい。
前記プロセッサは、前記領域の前記照明の程度を制御信号に応答して調整してもよい。
前記オブジェクトは動画オブジェクトを含み、前記仮想環境は前記動画オブジェクトが提供される仮想空間を含み、前記プロセッサは、前記動画オブジェクトのフレームごとに前記フレームで前記光源の位置の色を前記光源に反映してもよい。
前記オブジェクトは写真オブジェクトを含み、前記仮想環境は、前記写真オブジェクトが予め決定した配置により提供される仮想空間を含み、前記プロセッサは、前記光源に基づいて前記仮想空間を前記ディスプレイ上に照明してもよい。
前記プロセッサは、前記仮想環境でオブジェクトの前記オブジェクトに設定された前記光源の明るさを前記オブジェクトの他のオブジェクトに設定された異なる光源の明るさよりも明るく設定してもよい。
前記ディスプレイは、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、立体ディスプレイ、又はタッチスクリーンの１つを含んでもよい。
一実施形態に係るディスプレイ装置は、オブジェクトを含む映像を表示するディスプレイと、入力を受信するインターフェースと、前記入力により前記オブジェクトに対する視覚効果は保持し、前記オブジェクトの周辺に対する視覚効果を変更するプロセッサとを含む。
前記プロセッサは、前記オブジェクトの周辺に対する視覚効果を前記オブジェクトに基づいて算出してもよい。
前記プロセッサは、前記入力に応答して前記オブジェクトに設定された光源による前記オブジェクトの周辺に対する照明効果の程度を変更してもよい。
前記プロセッサは、前記入力に応答して前記オブジェクトの周辺に対する視覚効果をターンオン及びターンオフしてもよい。
前記プロセッサは、前記オブジェクトの一部から色を抽出し、前記オブジェクトの前記周辺上の前記視覚効果に前記色を反映してもよい。
一実施形態に係るディスプレイ装置は、動画オブジェクトを含む映像を表示するディスプレイと、前記動画オブジェクトの再生中に前記動画オブジェクトのフレームごとに前記動画オブジェクトの周辺に対する視覚効果を変更するプロセッサとを含む。
前記プロセッサは、前記動画オブジェクトに設定された光源に基づいて前記視覚効果を生成してもよい。
前記プロセッサは、前記動画オブジェクトの再生中、前記動画オブジェクトのフレームごとに、前記フレームで前記光源の位置の色を前記動画オブジェクトに設定された光源に反映してもよい。
一実施形態に係るディスプレイ装置は、光源の位置及びタイプを仮想環境におけるオブジェクトに設定し、前記光源を有する前記オブジェクト周辺の領域を照明するプロセッサを含む。
前記プロセッサは、スポットライトである前記光源に応答して前記光源の強度減衰、カットオフ角度、及び方向を設定してもよい。
前記プロセッサは、前記光源の位置の色を前記オブジェクトから抽出し、前記光源に前記色を適用してもよい。
本発明によると、明るい特性を有するオブジェクトによる視覚効果をオブジェクト周辺の画面に反映できるディスプレイ装置及び方法を提供することができる。
一実施形態に係るオブジェクト及び視覚効果が表示された例示を示す図である。 一実施形態に係る仮想光源が反映された仮想環境を示す図である。 一実施形態に係る仮想光源のタイプを示す図である。 一実施形態に係る仮想光源のタイプを示す図である。 一実施形態に係る仮想光源が設定されたオブジェクトを示す図である。 一実施形態に係るオブジェクトに設定された仮想光源及び仮想領域を示す図である。 一実施形態に係るオブジェクトに設定された仮想光源及び仮想領域を示す図である。 一実施形態に係る仮想光源が設定されたオブジェクトを表示する方法を示すフローチャートである。 一実施形態に係る仮想光源が設定されたオブジェクトを表示する方法を示すフローチャートである。 一実施形態に係る仮想光源が設定されたオブジェクトを表示する方法を示すフローチャートである。 一実施形態に係るディスプレイ装置の細部的な構成を示すブロック図である。 一実施形態に係るディスプレイ装置の例示的な構成を示す図である。 一実施形態に係るディスプレイ装置の例示的な構成を示す図である。 一実施形態に係る仮想光源による視覚効果が表示される例示的な画面を示す図である。 一実施形態に係る仮想光源による視覚効果が表示される例示的な画面を示す図である。 一実施形態に係る仮想光源による視覚効果が表示される例示的な画面を示す図である。 一実施形態に係る仮想光源による視覚効果が表示される例示的な画面を示す図である。 一実施形態に係る仮想光源による視覚効果が表示される例示的な画面を示す図である。 一実施形態に係る仮想光源による視覚効果が表示される例示的な画面を示す図である。 一実施形態に係る仮想光源による視覚効果が表示される例示的な画面を示す図である。 一実施形態に係る仮想光源による視覚効果が表示される例示的な画面を示す図である。
以降の詳細な説明は、ここに記載される方法、装置、及び／又はシステムの包括的な理解を取得しようするユーザをサポートするために提供される。しかし、ここに記述されたシステム、装置及び／又は方法の様々な変更、修正、及び均等物は当業者にとって明白なものである。処理ステップ及び／又は説明された動作の進行は例示である。しかし、「及び／又は」動作の順序がここに示すものに限定されることなく、当該分野で知られているように、特定順序で必須に発生するステップ及び／又は動作を除いて変更されてもよい。また、当該分野の当業者に公示された構造及び機能の説明は、明確性及び一貫性を改善するために省略されてもよい。
下記で説明する構成は異なる形態でも実現され、下記に記載した実施形態に限定されるものとして解釈されることはない。かえって、ここに記載された例示は、当該の開示が徹底かつ完全ながら、当業者に発明の全体範囲を伝達するように提供される。
メガネ型ディスプレイ（Ｇｌａｓｓ−ｔｙｐｅ Ｄｉｓｐｌａｙ）及びＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などのような没入型装置で拡張現実及び仮想現実に関する応用を用いてもよい。このような拡張現実及び仮想現実に関する応用として、実感にあふれ没入感の最大化された３Ｄグラフィックス技術が求められる。
例えば、大部分のモバイル装置及び一般のＰＣは、ＧＰＵを含むハードウェアと共に３Ｄグラフィックスを表現できるソフトウェア標準（例えば、ＤｉｒｅｃｔＸ、ＯｐｅｎＧＬ、ＯｐｅｎＧＬ ＥＳ）を提供している。ただし、ソフトウェア標準だけでは簡単な光効果表現のみが実現可能で、複雑な光効果は実現し難く、高い複雑度の計算が求められることがある。
例えば、上述したソフトウェア標準が提供されるモバイル装置は、仮想環境で明るい特性（ｂｒｉｇｈｔ ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有するオブジェクトによって周辺に及ぼす視覚変化をリアルタイムに表現できない場合もある。ソフトウェア標準のみを利用する場合に複雑な物理演算が求められるため、モバイル環境及び一般のＰＣ環境で発光するオブジェクトによる視覚効果をリアルタイムに表現し難い場合もある。
以下、本明細書において視覚効果は、画面内にオブジェクトに関して表示される全ての視覚的な変更を示す。
例えば、上述したソフトウェア標準が提供されるモバイル装置は、太陽、電球などのような直接的な光効果は表現するが、自己的に明るい特性を有し、周辺に視覚効果を及ぼすオブジェクトを表現することは困難である。
以下、実施形態を添付する図面を参照しながら詳細に説明する。
図１は、一実施形態に係るオブジェクト及び視覚効果が表示された例示を示す図である。
一実施形態によると、上述したソフトウェア標準で基本的に提供する光の表現方式などを活用し、モバイル装置（例えば、スマートフォン、タブレットＰＣなど）においても複雑な物理演算を行うことなく、仮想環境１００で明るい特性を有するオブジェクト１１０による視覚効果１２０を表現する方法が提供される。ここで、ソフトウェア標準で提供される光の表現方式は、下記の図３及び図４を参照して詳細に説明する。
仮想環境１００は、ディスプレイ装置の画面でオブジェクト１１０を除いて表示される残りの空間である。例えば、仮想環境１００は、オブジェクト１１０が位置する仮想空間を含んでもよい。例えば、仮想環境１００は、バーチャルリアリティ映画館、バーチャルリアリティギャラリ、バーチャルリアリティ博物館、及び３Ｄグラフィックス技術でレンダリングされた仮想空間などの３次元空間を含んでもよく、視覚的オペレーティングシステムにおけるデスクトップなどの２次元空間を含んでもよい。ここで、３Ｄグラフィックス技術でレンダリングされた仮想空間は、任意の環境を３Ｄグラフィックスに表現したものであってもよい。
オブジェクト１１０は、ディスプレイ装置画面のオブジェクト領域に表示されてもよい。オブジェクト領域は、画面でオブジェクトが表示されるように設定された領域を示してもよく、オブジェクト１１０は、例えば、仮想環境１００内に位置するよう表示されてもよい。オブジェクト１１０は、動画オブジェクト及び写真オブジェクトなどを含んでもよく、明るい特性を有してもよい。
明るい特性は、オブジェクト１１０の周辺の仮想領域に視覚効果１２０を及ぼす特性を示す。例えば、仮想光源が設定されたオブジェクト１１０は、明るい特性を有するものと示してもよい。視覚効果１２０は、画面に表示される仮想領域に明るさ及び色が表現される照明効果を含んでもよい。このような照明効果は、例えば、仮想光源に基づいてディスプレイ装置のプロセッサによって算出されて仮想領域に表現されてもよい。
仮想光源は、オブジェクト１１０の周辺の仮想領域を照明するためにオブジェクト１１０に設定される光源を示す。仮想光源は、オブジェクト１１０に１つ又は複数設定されてもよい。仮想光源は、オブジェクト１１０に直接設定されてもよく、ディスプレイ領域に先に設定された後、オブジェクトに設定されてもよい。ディスプレイ領域に仮想光源が設定された場合、ディスプレイ装置は自動で仮想光源をオブジェクトに設定してもよい。例えば、任意のオブジェクトが受信される場合、プロセッサは、ディスプレイ領域に設定された仮想光源の位置に該当するオブジェクト上の位置に自動で仮想光源を設定してもよい。
図２は、一実施形態に係る仮想光源が反映された仮想環境を示す図である。
図２に示されたオブジェクト２１０は仮想光源２２１が設定され、仮想環境２００の仮想領域２２０が照明されてもよい。例えば、仮想環境２００は、図２に示す直方体状の３次元空間であってもよい。図２に示す仮想光源２２１は、下記の図４に示すスポットライトタイプ（ｓｐｏｔ ｌｉｇｈｔ ｔｙｐｅ）の例示である。
仮想領域２２０は、図２に示すように、仮想光源２２１による光が投射される領域として、ディスプレイ装置のプロセッサによって算出されてもよい。具体的に、図２に示す仮想領域２２０は、仮想光源２２１からの照明方向２２４に対応する中心地点２２３を基準として、カットオフ角度２２２内の領域に図示されてもよい。
図３及び図４は、一実施形態に係る仮想光源のタイプを示す図である。
図３は、ポイントライトタイプ（ｐｏｉｎｔ ｌｉｇｈｔ ｔｙｐｅ）の仮想光源３２１を示す。ポイントライトタイプの仮想光源３２１は、特定地点から全方向３２４に光が投射される光源を示す。ポイントライトタイプの仮想光源３２１による仮想領域は、仮想光源３２１の位置を基準として全方向３２４に対して算出される。例えば、ポイントライトタイプの仮想光源３２１によって投射される仮想領域は仮想環境全体であってもよい。
図４は、スポットライトタイプの仮想光源４２１を示す。例えば、スポットライトタイプの仮想光源４２１は、特定地点で制限された角度（例えば、カットオフ角度４２２）内で光が投射される光源を示す。ここで、スポットライトタイプの仮想光源４２１による照明効果は、カットオフ角度４２２内で強度減衰により表示されてもよい。
強度減衰は、仮想領域４２０で仮想光源４２１の位置から遠くなるほど光量が減少し、照明効果が減少する程度を示す。例えば、スポットライトタイプの仮想光源４２１から遠くなるほど光量は減少し、仮想光源４２１の位置から照明方向４２４に沿って投射された中心地点４２３を基準として、カットオフ角度４２２の範囲内で照明効果を有することを表現する。言い換えると、カットオフ角度４２２以外の領域には、照明効果がないものとして、スポットライトの仮想光源４２１が表現されてもよい。
図３及び図４に示すポイントライトタイプ及びスポットライトタイプの仮想光源は、例えば、ソフトウェア標準によって実現されてもよい。また、ソフトウェア標準は、方向性のみを有する指向性タイプの仮想光源も実現できる。
図５は、一実施形態に係る仮想光源が設定されたオブジェクトを示す図である。
図５に示すように、仮想環境５００に位置するオブジェクト５１０に仮想光源５２１が設定されている。例えば、仮想光源５２１を含む複数の仮想光源がオブジェクト５１０に設定されてもよい。仮想光源５２１は、オブジェクト５１０に直接設定されたり、ディスプレイのオブジェクト領域に先に設定された後、オブジェクト５１０に設定されてもよい。例えば、仮想光源５２１がオブジェクト領域に設定された場合、ディスプレイ装置のプロセッサは、オブジェクト領域に設定された仮想光源５２１の位置に基づいてオブジェクト５１０に仮想光源５２１を自動設定してもよい。仮想光源５２１が設定されるオブジェクト又はオブジェクト領域は、コンテンツ提供者及びユーザなどによって任意に決定されてもよく、プロセッサによって自動決定されてもよい。ここで、コンテンツ提供者は、オブジェクト５１０を構成しているコンテンツを提供する者を示し、ユーザはディスプレイ装置を用いる者を示してもよい。
図５は、オブジェクト５１０又はオブジェクト領域内に一定間隔を置いて仮想光源５２１の位置が自動設定される例示を示す。例えば、仮想光源５２１は、グリッド形態でオブジェクト５１０又はオブジェクト領域に等しく分布するように設定されてもよい。
図６及び図７は、一実施形態に係るオブジェクトに設定された仮想光源及び仮想領域を示す図である。
図６は、上述した図５に示す仮想環境５００及びオブジェクト５２１の一部領域５０１を拡大して示すものである。図６に示す例示として、オブジェクト６１０は、直方体形態を有して表示されるオブジェクト６１０として仮定してもよい。
仮想光源６２１は全ての情報が自動設定されたり、仮想光源６２１の強度減衰に関する情報が自動設定されたり、仮想光源６２１を含む仮想光源のそれぞれの対の間隔６１９が自動設定されてもよい。また、仮想光源６２１の全ての情報がコンテンツ提供者及び／又はディスプレイ装置のユーザなどによって設定されてもよい。
まず、仮想光源６２１の全ての情報が自動設定される場合、ディスプレイ装置のプロセッサは、例えば、オブジェクト６１０の横幅に基づいて仮想光源を含む仮想光源のそれぞれの対の間隔６１９を自動設定してもよい。具体的に、仮想光源６２１の位置は、それぞれの対間に一定間隔６１９を有するグリッド形態に設定されてもよい。例えば、プロセッサは、数式「間隔＝（オブジェクトの横幅）／５」、「（強度減衰が１／４である半径ｒ）＝間隔／２」、「（仮想領域のカットオフ半径ｃｕｔ−ｏｆｆ）＝間隔＊２」と算出してもよい。図６に示す仮想光源６２１に対して、カットオフ半径６２６及び強度減衰が１／４である半径６２５は、間隔６１９及び上述した数式に基づいてプロセッサにより算出されてもよい。１／４の強度減衰を有する半径６２５は、仮想光源６２１の光量が１／４に減少して仮想領域６２０の照明効果が１／４に減少する地点を示す。
他の例として、仮想光源６２１を含む仮想光源の各対の間隔６１９は、ユーザ及び／又はコンテンツ提供者により任意に設定され、減衰に関する情報は自動設定されてもよい。例えば、仮想光源の間の間隔６１９＝１０として、ユーザ又はコンテンツ提供者によって設定されてもよい。間隔６１９は、仮想環境内の座標系における長さを示すものとして、物理的な長さ又は非物理的な長さであってもよい。この場合、数式「（強度減衰が１／４である半径ｒ６２５）＝間隔／２」、「（仮想領域のカットオフ半径ｃｕｔ−ｏｆｆ６２６）＝間隔＊２」とプロセッサによって算出されてもよい。
更なる例として、強度減衰が１／４である半径６２５は、ユーザ又はコンテンツ提供者により任意に設定されて間隔６１９は自動設定されてもよい。例えば、強度減衰が１／４である半径６２５＝５にユーザ及び／又はコンテンツ提供者によって設定されてもよい。強度減衰が１／４である半径６２５は、仮想環境内の座標系における長さを示すものとして、物理的な長さ又は非物理的な長さであってもよい。この場合、仮想領域のカットオフ半径６２６及び間隔６１９は、数式「カットオフ半径＝ｒ＊４」、「間隔＝ｒ＊２」とプロセッサによって自動設定されてもよい。
更なる例として、仮想光源６２１の全ての情報がコンテンツ提供者及び／又はユーザなどによって設定される場合には、下記の通りである。例えば、強度減衰が１／４である半径６２５であるｒ及びカットオフ半径６２６は、コンテンツ提供者及び／又はユーザが任意に設定して仮想領域６２０内で照明効果の程度（例えば、光量）を算出するために用いてもよい。画面で仮想光源６２１の位置から画素までの距離ｄに対応する光量は、ディスプレイ装置がリアルタイムに動作するときにフレームごとにプロセッサによって算出されてもよい。例えば、仮想領域６２０内（ｄ＜カットオフ半径６２６である場合）で減衰式（例えば、減衰式は光量＝１／（１＋２＊（ｄ／ｒ）＋（ｄ／ｒ）＊（ｄ／ｒ））と示してもよい）によりプロセッサによって算出されてもよい。仮想領域６２０外（ｄ≧カットオフ半径６２６である場合）で光量＝０に算出されてもよい。
一実施形態によると、仮想領域６２０は減衰領域として示してもよく、仮想光源６２１による照明効果が及ぼす領域を示してもよい。仮想領域６２０の大きさは、カットオフ半径６２６によって決定されてもよい。例えば、仮想光源がスポットライトタイプである場合の仮想領域６２０は、コーン（Ｃｏｎｅ）が仮想環境６００に投射された形態であり、仮想領域６２０がカットオフ角度に応じて制限されてもよい。具体的に、カットオフ角度以外の領域については照明効果が反映されなくてもよい。
強度減衰は、仮想領域６２０内で照明方向に沿って距離が遠いほど照明効果は減少する程度を表す。強度減衰の値が大きければ、仮想光源６２１の位置に隣接する領域に照明効果が集中して反映され、強度減衰の値が小さければ、仮想領域内で全体的に等しく照明効果が反映される。
仮想光源６２１がポイントライトタイプである場合、照明方向、カットオフ半径、及び強度減衰などが設定される必要がない場合もある。
図７は、仮想光源によって仮想領域に反映される色を示している。
ディスプレイ装置のプロセッサは、オブジェクト（例えば、イメージオブジェクト又は動画オブジェクト）から照明効果の色に反映するための色値を抽出する。例えば、プロセッサは、仮想光源７２１、７３１、７４１の位置に対応するオブジェクトの一部に対応する画素の色値をそのまま抽出してもよく、仮想光源７２１、７３１、７４１の位置周辺に対応するオブジェクトの画素から色値をサンプリングして色値を抽出してもよい。
仮想光源７２１、７３１、７４１が設定されたオブジェクト（例えば、イメージオブジェクト又は動画オブジェクト）が複雑で時間に応じる変化が大きい場合、プロセッサはサンプリングを用いて抽出された色値を照明効果の色に反映する。例えば、サンプリングは動画オブジェクトである場合、予め決定した個数のフレームの仮想光源７２１、７３１、７４１の位置に対応する画素の色値の統計値（例えば、平均値、加重平均、中間値など）を算出することを含んでもよく、または、予め決定した個数のフレームに対してオブジェクト上の仮想光源７２１、７３１、７４１の位置周辺の領域に対応する画素の色値の統計値（例えば、平均値、加重平均、中間値）を算出することを含んでもよい。ここで、動画オブジェクトでプロセッサがサンプリングによって照明効果の色を決定する場合、場面の継続的な変換により継続的に方向指示器はフリッカ（ｆｌｉｃｋｅｒｉｎｇ）を防止することができる。
図７に示すように、プロセッサは、第１仮想光源７２１に基づいて第１仮想領域７２０に第１色値から抽出された視覚効果（例えば、照明効果）を反映してもよく、第２仮想光源７３１に基づいて第２仮想領域７３０に第２色値から抽出された視覚効果を反映してもよく、第３仮想光源７４１に基づいて第３仮想領域７４０に第３色値から抽出された視覚効果を反映してもよい。図７では、一部の仮想光源による仮想領域の色を斜線などで図示したが、これに限定することなく、プロセッサは、全ての仮想光源からそれぞれの色をそれぞれの仮想領域に反映してもよい。
また、第１仮想領域７２０、第２仮想領域７３０、及び第３仮想領域７４０がオーバラップされる領域では、各仮想領域の色値の統計値（例えば、平均値、加重平均、中間値、合算値など）からなる視覚効果が反映されてもよい。ここで、プロセッサは、オーバラップされる領域に反映される照明効果の程度（例えば、光量）が、オーバラップされる各仮想領域の照明効果の程度を合算した値になるよう算出してもよい。
図８〜図１０は、一実施形態に係る仮想光源が設定されたオブジェクトを表示する方法を示すフローチャートである。
図８は、一実施形態に係る仮想光源が設定されたオブジェクトを表示する方法を概略的に示したフローチャートである。
まず、ステップＳ８１０において、ディスプレイ装置のプロセッサがディスプレイによって仮想光源の設定されたオブジェクトを表示する。例えば、仮想光源が設定されたオブジェクトは、仮想環境内のオブジェクト領域に表示されてもよい。
ここで、仮想環境は、動画オブジェクト及び／又は写真オブジェクトが提供される仮想空間を含んでもよい。例えば、仮想環境は、少なくとも１つの写真オブジェクトが予め決定した配置により提供される仮想空間を含んでもよい。ここで、予め決定した配置は、複数の写真オブジェクトを一列に羅列する配置、及び／又は仮想空間内の仮想壁に羅列する配置などを含んでもよい。下記の図２０及び図２１を参照して例示的な予め決定した配置について詳細に説明する。
そして、ステップＳ８２０において、プロセッサが仮想光源に基づいてオブジェクト周辺を照明する。例えば、プロセッサは、仮想光源による照明効果が反映された仮想環境を表示してもよい。照明効果は仮想領域内にのみ反映され、仮想領域の他には反映されなくてもよい。
ここで、プロセッサは、照明効果が反映される仮想領域を仮想光源の照明方向、位置、カットオフ角度及び／又は強度減衰に基づいて算出してもよい。例えば、プロセッサは、仮想光源の照明方向、位置、カットオフ角度及び／又は強度減衰に基づいて、仮想光源による光が投射される仮想領域を算出してもよい。
また、プロセッサは、オブジェクトから仮想光源のそれぞれの位置に対応する色を抽出し、抽出された色を仮想光源のそれぞれに反映する。例えば、プロセッサは、仮想光源のそれぞれの位置周辺の色値の統計値（例えば、平均値、加重平均及び中間値）を色の値に抽出してもよい。
例えば、ディスプレイ装置が動画オブジェクトを表示する場合、プロセッサは、動画オブジェクトのフレームごとに、フレームで仮想光源の位置に対応する色を仮想光源に反映し、ディスプレイを用いて仮想環境を表示してもよい。他の例として、ディスプレイ装置が複数の写真オブジェクトを表示する場合、プロセッサはディスプレイを用いて複数の写真オブジェクトのそれぞれに設定された仮想光源による視覚効果を仮想空間に表示してもよい。
一実施形態によると、プロセッサは、仮想光源による照明効果の程度（ｌｅｖｅｌ）を、ユーザから受信された制御信号に応答して調整する。例えば、制御信号は、オブジェクト領域に表示されるオブジェクト自体の明るさを保持し、オブジェクトに設定された仮想光源による照明効果の程度のみを変更するための信号であってもよい。
また、プロセッサは、仮想空間でオブジェクトが複数である場合、複数のオブジェクトのうち、予め決定したオブジェクトに設定された仮想光源の明るさを複数のオブジェクトのうち他のオブジェクトに設定された仮想光源の明るさよりも明るく設定してもよい。ここで、予め決定したオブジェクトは、画面の中央に表示すると判断されるオブジェクト、任意の基準によって自動選択されたオブジェクト及びユーザによって選択されたオブジェクトなどであってもよい。
図９は、一実施形態に係る仮想光源が設定されたオブジェクトを表示する方法を細部的に示したフローチャートである。
ステップＳ９１０において、ユーザ及び／又はディスプレイ装置のプロセッサによって明るいオブジェクト（ｂｒｉｇｈｔ ｏｂｊｅｃｔ）が設定される。ここで、ユーザ又はプロセッサは明るい特性を有するオブジェクトとして、オブジェクト周辺の仮想環境に影響を及ぼす明るいオブジェクトを設定してもよい。プロセッサは、ディスプレイ装置に受信される全てのオブジェクト（又は予め決定した基準によって選択されたオブジェクト）又はユーザによって選択されたオブジェクトを明るい特性を有する明るいオブジェクトに設定してもよい。例えば、オブジェクトは、ネオンサインオブジェクト、動画オブジェクト、写真オブジェクト、静画オブジェクトなどを含んでもよい。
そして、ステップＳ９２０において、ユーザ又はプロセッサは、仮想光源タイプを設定する。または、ユーザによってオブジェクトに設定される仮想光源のタイプが決定されてもよい。例えば、プロセッサ又はユーザによって仮想光源のタイプは、仮想環境でオブジェクト周辺の一部領域にのみ影響を及ぼして減衰するスポットライトタイプ、または、減衰なしで全体の仮想環境に均一に影響を及ぼすポイントライトタイプのように設定されてもよい。上述した２つの仮想光源タイプは、グラフィックスエンジン及び／又はソフトウェア標準で提供されるものとして、一般的なＰＣやモバイル装置でも使用可能である。仮想光源がポイントライトタイプとして提供される場合、ユーザ又はプロセッサはステップＳ９３１に進む。仮想光源のタイプがスポットライトタイプとして提供される場合、ユーザ又はプロセッサはステップＳ９４１に進む。
続いて、ステップＳ９３１において、プロセッサ又はユーザが仮想光源タイプがポイントライトタイプである場合、仮想光源位置を設定する。例えば、ポイントライトタイプは仮想環境の全体が仮想領域になるため、プロセッサ又はユーザは仮想光源の位置のみを設定してもよい。ここで、仮想光源の位置はオブジェクト内に設定されてもよい。
そして、ステップＳ９４１〜Ｓ９４３では、プロセッサ又はユーザが仮想光源タイプがスポットライトタイプである場合、仮想光源に関する情報を設定する。例えば、ステップＳ９４１において、プロセッサ又はユーザが仮想光源位置を設定する。ステップＳ９４２において、プロセッサ又はユーザが仮想光源方向（例えば、照明方向）を設定する。ステップＳ９４３において、プロセッサ又はユーザが仮想光源のカットオフ角度及び強度減衰を設定する。プロセッサは、スポットライトタイプによる照明効果が照明方向に光が向かいながら、仮想光源の位置から遠くなるほど照明効果の強度は減衰するように表示してもよい。カットオフ角度は、照明方向を基準とする角度であってもよい。例えば、照明方向を基準としてカットオフ角度が４５度である場合、照明方向を基準として４５度以上の仮想環境の領域は、オブジェクトに設定された仮想光源による照明効果が反映されないことがある。
続いて、ステップＳ９５０において、プロセッサは、オブジェクトから色を抽出する。ここで、プロセッサは、仮想光源の色をオブジェクト（例えば、動画オブジェクト及び／又は写真オブジェクト）に指定された色からリアルタイムに抽出してもよい。例えば、プロセッサは、仮想光源が指定されたオブジェクト又はオブジェクト領域の位置に対応する色値をそのまま抽出してもよい。他の例として、プロセッサは、上述した位置周辺値の平均値、加重平均、中間値などの統計値をサンプリングすることで、仮想光源の色を抽出してもよい。
そして、ステップＳ９６０において、プロセッサは、仮想領域を照明する。ここで、仮想領域は、オブジェクト又はオブジェクト領域に設定された仮想光源の位置、方向、カットオフ角度、強度減衰、及び色値などの情報に基づいてプロセッサにより算出されてもよい。例えば、プロセッサは、上述した仮想光源に関する情報に基づいて、グラフィックスエンジン及び／又はソフトウェア標準（例えば、ＤｉｒｅｃｔＸ、ＯｐｅｎＧＬ、ＯｐｅｎＧＬ ＥＳなど）で一般的に提供される光計算（ｌｉｇｈｔ ｃａｌｃｕｌａｔｉｏｎ）を行うことで、オブジェクトに設定された仮想光源による仮想環境の照明効果を仮想環境にリアルタイムに反映できる。
図１０は、一実施形態に係るユーザの制御信号によるディスプレイ方法を示すフローチャートである。
ステップＳ１０５１において、プロセッサは、制御信号に応答して仮想光源をリアルタイムに変更する。例えば、プロセッサは上述した図９に示すステップＳ９６０において、照明効果を仮想環境に反映する前に、ユーザの制御信号を受信してもよい。ここで、ユーザは、上述した制御信号をインターフェースを介してディスプレイ装置に入力することで、オブジェクトによる仮想環境の変化程度をリアルタイムに調整できる。ユーザ入力を受信するユニットのインターフェースは、タッチスクリーン、タッチパッド、及びボタンなどを含んでもよい。
プロセッサは、ユーザから受信された制御信号に応答して、仮想光源が仮想領域に影響を与える程度（例えば、照明の程度）及び仮想光源が影響（例えば、照明）を与える仮想領域の大きさなどを制御する。例えば、ディスプレイ装置がスマートフォンである場合、スマートフォンのタッチインターフェースによって仮想光源の明るさ程度が０〜１の間に調整されてもよい。ユーザは、必要に応じて仮想光源が仮想領域に影響を与える程度を０に調整することで、オブジェクトによる照明効果の程度をオフしてもよい。
ディスプレイ装置は、ユーザから受信された制御信号に基づいて仮想光源がオブジェクト周辺の仮想領域に影響を与える程度のみを変化させ、オブジェクト自体の明るさは保持して表示する。
図１１は、一実施形態に係るディスプレイ装置１１００の細部的な構成を示すブロック図である。
一実施形態に係るディスプレイ装置１１００は、ディスプレイ１１１０及びプロセッサ１１２０を含む。
ディスプレイ１１１０は、仮想光源が設定されたオブジェクトを仮想環境に表示する。例えば、ディスプレイ１１１０は、明るい特性を有するオブジェクトの視覚効果を表示するためのユニットとして、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、立体ディスプレイ及び／又はタッチスクリーンなどを含んでもよい。
ここで、仮想光源は、ユーザ又はプロセッサ１１２０によってオブジェクト又はオブジェクト領域に設定されてもよい。例えば、プロセッサ１１２０は、オブジェクトのオブジェクト領域で複数の仮想光源の位置を格子（例えば、グリッド）形態に設定してもよい。また、プロセッサ１１２０は、仮想光源のそれぞれの照明方向及び位置を設定し、仮想光源のそれぞれに対して照明方向を基準としてカットオフ角度及び強度減衰を設定してもよい。
プロセッサ１１２０は、仮想光源に基づいて仮想環境でオブジェクト周辺の仮想領域を照明する。例えば、プロセッサ１１２０は、照明方向及びカットオフ角度に基づいて、少なくとも１つの仮想光源のそれぞれに対応する仮想領域を算出してもよい。プロセッサ１１２０は、オブジェクトの内部上に仮想光源の視覚的効果を排除し、オブジェクト周辺の仮想領域上に仮想光源の視覚的効果を含むことで仮想領域を照明することができる。
また、プロセッサ１１２０は、オブジェクトから仮想光源の位置に対応する色を抽出し、抽出された色を仮想光源に反映して仮想領域を照明することができる。例えば、プロセッサ１１２０は、仮想光源の位置周辺の色値の平均値、加重平均又は中間値のうちの１つを仮想光源の色の値に抽出してもよい。
一実施形態によると、ディスプレイ装置１１００は、ユーザの制御信号を受信するためのインターフェース（図示せず）をさらに含んでもよい。ここで、プロセッサ１１２０は、ユーザから受信された制御信号に応答して、仮想光源が仮想領域に影響を与える程度（例えば、照明の程度）及び仮想光源（例えば、照明）が影響を与える仮想領域の大きさなどを制御してもよい。
また、プロセッサ１１２０は、仮想光源がオブジェクト内に及ぼす視覚効果は排除し、仮想光源がオブジェクト周辺の仮想領域に及ぼす視覚効果は含むように、仮想領域を照明することができる。
図１２及び図１３は、一実施形態に係るディスプレイ装置の例示的な構成を示す図である。
図１２に示されたディスプレイ装置１２００のディスプレイは、ＨＭＤを含んでもよい。例えば、図１２に示すディスプレイ装置１２００のＨＭＤは、ヘッド装着部１２１０にスマートフォン１２２０が装着された形態に構成している。
一実施形態によると、ヘッド装着部１２１０は、外部にインターフェース１２１１を含んでいる。例えば、インターフェース１２１１は、タッチパッド及びボタンなどを含んでもよい。ヘッド装着部１２１０のインターフェース１２１１から制御信号を受信すると、スマートフォン１２２０のプロセッサは仮想光源の明るさ程度を調整してもよい。
例えば、明るさ程度の連続的な０〜１間の調整は、インターフェース１２１１（例えば、タッチパッド）を上部又は下部にドラッグする動作をユーザから受信することにより行われてもよい。また、明るい特性を有するオブジェクトの時間効果のオンオフ動作は、インターフェース１２１１（例えば、ボタン）を用いてトグル（ｔｏｇｇｌｅ）される。
ただし、インターフェース１２１１を上述したものに限定することなく、図１２に示されたディスプレイ装置１２００の例示の他にも、様々なインターフェース１２１１を用いてリモコンの制御信号、手動作などのジェスチャに対応する制御信号を受信し、プロセッサはオブジェクトに割り当てられた仮想光源による視覚効果（例えば、照明効果）を変更して表示してもよい。
図１３は、図１２に示すディスプレイ装置１２００で、ディスプレイ装置１３００（例えば、スマートフォン）が出力する画面を例示的に図示している。ディスプレイ装置１３００は、ユーザに仮想環境を立体的に提供するための左映像１３１０及び右映像１３２０を図１３に提供する。ここで、例えば、左映像１３１０及び右映像１３２０は、それぞれ明るい特性を有するオブジェクト及びオブジェクトが位置する仮想環境を含んでもよい。
例えば、図１２に示すヘッド装着部１２１０は、ディスプレイ装置１３００から出力される左映像１３１０及び右映像１３２０がそれぞれユーザの左眼及び右眼に提供されるように構成してもよい。ヘッド装着部１２１０は、左映像１３１０及び右映像１３２０をそれぞれユーザの左眼及び右眼に提供することで、ユーザが立体映像を視聴できるようにする。
図１４〜図２１は、一実施形態に係る仮想光源による視覚効果が表示される例示的な画面（ｓｃｒｅｅｎ）を示す図である。
図１４は及び図１５は、それぞれオブジェクト照明効果が適用された前後の例示的な画面を示す図である。例えば、図１４では、仮想環境（例えば、黒い背景画面）にオブジェクト１４１０のみを表示したものであって、ユーザはオブジェクト１４１０と仮想環境との間の異質感を感じる。
これとは異なって、図１５において仮想環境に照明効果１５２０が反映されることにより、オブジェクト１５１０が仮想環境に自然に表示される。例えば、プロセッサは、明るい特性を有するオブジェクト１５１０に必要な仮想光源を設定及び生成し、ソフトウェア標準を活用して、図１５に示すように、照明効果１５２０の反映された仮想環境を画面に表示してもよい。上述したようにディスプレイ装置が仮想環境の明るい特性を有するオブジェクト１５１０により影響を受けた画面を表示することで、図１４に比べて、オブジェクト１５１０と仮想環境がよりリアリスティックに表現される。
図１６〜図１９は、一実施形態に係る仮想環境として仮想映画館を表示するディスプレイ装置の例示的な画面を示す。
例えば、プロセッサは仮想環境として、実際の映画館と類似の仮想空間をモデリングしてもよい。ここで、仮想空間の中央にオブジェクト領域が配置し、プロセッサが動画オブジェクトをオブジェクト領域に再生すれば、ユーザは没入感があるように映画を鑑賞することができる。
例えば、図１２及び図１３に示したようなディスプレイ装置１２００、１３００をディスプレイ装置として用いる場合、ディスプレイ装置は、ユーザの上下左右の視線移動ないし頭動作を検出し、それに応答した仮想環境を表示してもよい。これによって、ユーザは仮想映画館の内部を見回すことができ、仮想映画館の中央に位置するオブジェクト領域を凝視する場合に映画を視聴することができる。
図１６は、照明効果が適用されていない仮想環境（例えば、仮想映画館）として、オブジェクト１６１０の周辺の仮想環境が動画オブジェクト１６１０の色変化や明るさ変化と関係なく一定に表示されてもよい。
図１７〜図１９は、照明効果１７２０、１８２０、１９２０の適用された仮想環境として、動画オブジェクト１７１０、１８１０、１９１０の色変化や明るさ変化に応じて照明効果１７２０、１８２０、１９２０がオブジェクト１７１０、１８１０、１９１０の周辺の仮想環境に反映されてもよい。例えば、茶色系統の色を有する動画オブジェクト１７１０、１８１０、１９１０が再生されている場合、仮想環境が茶色トーンに変化し、青い系統の色を有する動画オブジェクト１７１０、１８１０、１９１０が再生されている場合は、仮想環境が青いトーンに変化してもよい。また、動画オブジェクト１７１０、１８１０、１９１０の枠の部分の色や明るさに応じて周辺の仮想環境が多様に変化して表示されることができる。
例えば、プロセッサは、仮想環境が実際の映画館内部と類似するよう、照明効果を仮想環境に反映してもよい。また、プロセッサは、動画オブジェクトに応じて仮想環境の照明効果をリアルタイムに反映できることから、動画オブジェクトが明るくなれば周辺の仮想領域も明るくなり、暗くなれば周辺の仮想領域も共に暗くなるように表示されてもよい。これによって、ディスプレイ装置は、ユーザに実際映画館にいるような没入感を提供することができる。
また、図１７〜図１９は、ユーザの制御信号に応答して照明効果の程度が相異に適用された例示的な画面を示している。例えば、ディスプレイ装置は、ユーザの制御信号に応答して、図１７では照明効果１７２０の程度を低く（例えば、０に近く）反映し、図１８では照明効果１８２０の程度を中間（例えば、０及び１の間）に反映し、図１９では照明効果１９２０の程度を高く（例えば、１に近く）反映してもよい。例えば、図１７に比べて図１８が、図１８に比べて図１９がオブジェクトによる照明効果が明るく適用されてもよい。照明効果の程度は、ユーザの選好による制御信号に応答して自由に変更され得る。
上述したように、プロセッサがユーザの制御信号に応答して照明効果の程度を変更することは、仮想映画館だけではない全ての仮想環境及びオブジェクトにも適用され得る。
図２０は、一実施形態に係る仮想環境として仮想ギャラリーを表示するディスプレイ装置の例示的な画面を示す。
例えば、仮想ギャラリーは、ディスプレイ装置（例えば、スマートフォン）の写真ギャラリーを３次元の仮想空間に表示したものであってもよい。ディスプレイ装置は、写真オブジェクト２０１１、２０１２、２０１３の色や明るさに応じてオブジェクト２０１１、２０１２、２０１３の周辺の仮想環境を変化させることで、ユーザに実際空間のような感じを提供することができる。
例えば、図２０に示す仮想ギャラリーは、底のある仮想空間を含む仮想環境として、プロセッサは写真オブジェクト２０１１、２０１２、２０１３を立てて表示し、写真オブジェクト２０１１、２０１２、２０１３の色、明るさなどを仮想環境の底に対応する仮想領域に反映してもよい。一実施形態によると、ユーザは、写真オブジェクト２０１１、２０１２、２０１３とオブジェクト周辺の仮想環境との間の異質感を感じることなく、実際空間に写真が存在するという感じを提供することができる。
また、図２０に示すプロセッサは、例示的にディスプレイによって３つの写真オブジェクト２０１１、２０１２、２０１３を仮想環境に立ち並んで表示してもよい。例えば、プロセッサは、仮想空間で写真オブジェクト２０１１、２０１２、２０１３のうち予め決定したオブジェクト２０１１（例えば、画面の中央に位置する写真オブジェクト２０１１）に設定された仮想光源の明るさを他のオブジェクト２０１２、２０１３に設定された仮想光源の明るさよりも明るく設定してもよい。図２０に示すように、中央に位置する写真オブジェクト２０１１による視覚効果２０２０が他の写真オブジェクト２０１２、２０１３に比べて明るく仮想環境に反映されてもよい。上述したように、選択された中心の写真オブジェクト２０１１による照明効果を周辺写真オブジェクト２０１２、２０１３よりも大きく表示することで、ディスプレイ装置は没入感を高めることができる。
例えば、ディスプレイ装置は、仮想ギャラリーで写真オブジェクト２０１１、２０１２、２０１３と写真オブジェクトの周辺の仮想領域及び仮想環境が連続的につながる感じをユーザに提供することができる。
図２１は、一実施形態に係る仮想環境として仮想博物館を表示するディスプレイ装置の例示的な画面を示している。
例えば、仮想博物館は、仮想ギャラリーの実施形態の１つとして、実際博物館と類似する構造の仮想空間に複数のオブジェクトが展示されるように構成した仮想環境であってもよい。図２１に示すように、オブジェクト２１１０が仮想博物館の仮想壁に配置すれば、プロセッサは仮想壁の仮想領域にオブジェクト２１１０による照明効果を反映してもよい。
一実施形態に係るディスプレイ装置は、３Ｄグラフィックス及び仮想現実映像が実現されなければならないモバイル装置及びこれを用いた様々な応用製品に適用されてもよい。
例えば、ディスプレイ装置はソフトウェア標準の光効果表現を活用して、オブジェクトによる仮想環境の照明効果を表現してもよい。ディスプレイ装置は、仮想環境におけるネオンサイン広告、仮想映画館、仮想ギャラリーなどをモバイル装置においてもリアリスティックにリアルタイムに表示することができる。
ディスプレイ装置は、レイトレーシング（ｒａｙｔｒａｃｉｎｇ）、ラジオシティー（ｒａｄｉｏｓｉｔｙ）、光子マッピング（ｐｈｏｔｏｎ ｍａｐｐｉｎｇ）のような高い複雑度の演算を行わず、ソフトウェア標準を活用して実際のような事実感をユーザにリアルタイムに提供することができる。演算の複雑度が低いため、ディスプレイ装置は、モバイル装置でもリアルタイムに明るいオブジェクトによる照明効果を仮想環境に反映して表示することができる。
例えば、ディスプレイ装置は、明るい特性を有するオブジェクトに仮想光源を設定した後、ソフトウェア標準で提供している光効果表現を介して低い複雑度の演算にオブジェクトによる仮想環境の照明効果を表示することができる。
また、ディスプレイ装置は、既存のＧＰＵ加速機能を活用するソフトウェア標準を使用することができることから、スマートフォンなどのようなモバイル装置でもリアルタイムに照明効果を表示することができる。
一実施形態に係るソフトウェア標準を活用して明るいオブジェクトによる視覚効果を表示するディスプレイ装置は、仮想光源に対して下記の表１のようなプログラミング的な定義を用いてもよい。
Figure 0006909554
 以上で説明された装置は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組合で実現してもよい。例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、または、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
１１００：ディスプレイ装置
１１１０：ディスプレイ
１１２０：プロセッサ

Claims (16)

  1. ディスプレイ方法であって、
    オブジェクトに少なくとも１つの仮想光源を設定するステップと、
    前記少なくとも１つの仮想光源が設定された前記オブジェクトを仮想環境に表示するステップと、
    前記少なくとも１つの仮想光源に基づいて、前記仮想環境で前記オブジェクト周辺の仮想領域を照明するステップと、
    を含み、
    前記オブジェクトに少なくとも１つの仮想光源を設定するステップは、
    前記オブジェクトのオブジェクト領域で格子形態に前記仮想光源の位置を設定するステップと、
    前記仮想光源の照明方向を設定するステップと、
    前記照明方向に基づいて、前記仮想光源のカットオフ角度及び強度減衰を設定するステップと、を含み、
    前記格子形態の間隔は、前記仮想光源の強度減衰に基づいて決定される、
    ディスプレイ方法。
  2. 前記少なくとも１つの仮想光源に基づいて、前記仮想環境で前記オブジェクト周辺の仮想領域を照明するステップは、
    前記照明方向及び前記カットオフ角度に基づいて前記仮想領域を算出するステップを含む、
    請求項１に記載のディスプレイ方法。
  3. 前記オブジェクトから前記少なくとも１つの仮想光源に対応する位置の色を抽出するステップを、さらに含み、
    前記少なくとも１つの仮想光源に基づいて、前記仮想環境で前記オブジェクト周辺の仮想領域を照明するステップは、
    前記色を前記仮想光源に反映するステップを含む、
    請求項１または２に記載のディスプレイ方法。
  4. 前記オブジェクトから前記少なくとも１つの仮想光源の位置に対応する色を抽出するステップは、
    前記仮想光源の位置周辺の色値の平均値、加重平均、又は中間値のうちの１つを前記色の値として抽出するステップを含む、
    請求項３に記載のディスプレイ方法。
  5. 前記少なくとも１つの仮想光源に基づいて、前記仮想環境で前記オブジェクト周辺の仮想領域を照明するステップは、
    制御信号に応答して、前記仮想領域の前記照明の程度及び前記照明された領域の大きさのうち１つ又は２つを制御するステップを含む、
    請求項１乃至４いずれか一項に記載のディスプレイ方法。
  6. 前記オブジェクトは、静画オブジェクト及びビデオオブジェクトのうちの１つ又は２つを含む、
    請求項１乃至５いずれか一項に記載のディスプレイ方法。
  7. 前記オブジェクトの内部上の前記仮想光源の視覚効果を排除するステップを含む、
    請求項１乃至６いずれか一項に記載のディスプレイ方法。
  8. ディスプレイ装置であって、
    ディスプレイ及びプロセッサを含み、
    前記プロセッサは、
    オブジェクトに少なくとも１つの仮想光源を設定し、
    前記ディスプレイ上の仮想環境に前記少なくとも１つの仮想光源が設定された前記オブジェクトを表示し、
    前記少なくとも１つの仮想光源に基づいて、前記仮想環境で前記オブジェクト周辺の仮想領域を前記ディスプレイ上に照明し、
    前記プロセッサは、さらに、
    前記オブジェクトのオブジェクト領域で格子形態に前記仮想光源の位置を設定し、
    前記仮想光源の照明方向を設定し、
    前記照明方向に基づいて、前記仮想光源のカットオフ角度及び強度減衰を設定し、
    前記格子形態の間隔は、前記仮想光源の強度減衰に基づいて決定される、
    ディスプレイ装置。
  9. 前記プロセッサは、前記仮想光源の照明方向及び位置に基づいて前記仮想領域を算出する、
    請求項８に記載のディスプレイ装置。
  10. 前記プロセッサは、前記オブジェクトから前記仮想光源の位置の色を抽出して前記色を前記仮想光源に反映する、
    請求項８または９に記載のディスプレイ装置。
  11. 前記プロセッサは、前記オブジェクトから前記仮想光源の位置周辺の色値の平均値、加重平均又は中間値のうちの１つを前記色の値として抽出する、
    請求項１０に記載のディスプレイ装置。
  12. 前記プロセッサは、前記仮想領域の前記照明の程度を制御信号に応答して調整する、
    請求項８乃至１１いずれか一項に記載のディスプレイ装置。
  13. 前記オブジェクトは、動画オブジェクトを含み、
    前記仮想環境は、前記動画オブジェクトが提供される仮想空間を含み、
    前記プロセッサは、前記動画オブジェクトのフレームごとに前記フレームで前記仮想光源の位置の色を前記仮想光源に反映する、
    請求項８乃至１２いずれか一項に記載のディスプレイ装置。
  14. 前記オブジェクトは、写真オブジェクトを含み、
    前記仮想環境は、前記写真オブジェクトが予め決定した配置により提供される仮想空間を含み、
    前記プロセッサは、前記仮想光源に基づいて前記仮想空間を前記ディスプレイ上に照明する、
    請求項８乃至１３いずれか一項に記載のディスプレイ装置。
  15. 前記プロセッサは、前記仮想環境でオブジェクトの前記オブジェクトに設定された前記仮想光源の明るさを前記オブジェクトの他のオブジェクトに設定された異なる仮想光源の明るさよりも明るく設定する、
    請求項８乃至１４いずれか一項に記載のディスプレイ装置。
  16. 前記ディスプレイは、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、立体ディスプレイ、又はタッチスクリーンの１つを含む、
    請求項８乃至１５いずれか一項に記載のディスプレイ装置。
JP2015125252A 2014-07-08 2015-06-23 視覚効果を有するオブジェクトを表示する装置及び方法 Active JP6909554B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0085024 2014-07-08
KR20140085024 2014-07-08
KR1020140097313A KR102235679B1 (ko) 2014-07-08 2014-07-30 시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법
KR10-2014-0097313 2014-07-30

Publications (2)

Publication Number Publication Date
JP2016018560A JP2016018560A (ja) 2016-02-01
JP6909554B2 true JP6909554B2 (ja) 2021-07-28

Family

ID=53502441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015125252A Active JP6909554B2 (ja) 2014-07-08 2015-06-23 視覚効果を有するオブジェクトを表示する装置及び方法

Country Status (4)

Country Link
US (2) US10593113B2 (ja)
EP (1) EP2966620A3 (ja)
JP (1) JP6909554B2 (ja)
CN (1) CN105278905B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354449B2 (en) * 2015-06-12 2019-07-16 Hand Held Products, Inc. Augmented reality lighting effects
USD815648S1 (en) * 2016-04-11 2018-04-17 Mangala Iyer Display screen or portion thereof with graphical user interface
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
CN106200946A (zh) * 2016-06-30 2016-12-07 乐视控股（北京）有限公司 一种亮度调节方法及装置
JP6306678B1 (ja) * 2016-12-20 2018-04-04 株式会社コロプラ 仮想空間にオブジェクトを提示するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、コンピュータ装置
CN107046104A (zh) * 2017-01-10 2017-08-15 广东欧珀移动通信有限公司 Oled封装结构及其制备方法
KR102161734B1 (ko) * 2017-04-11 2020-10-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 계층화된 증강 엔터테인먼트 경험
JP6921606B2 (ja) * 2017-04-24 2021-08-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10274320B2 (en) 2017-08-04 2019-04-30 Motorola Solutions, Inc. Method and device for providing safe zone information for incident area
JP7259753B2 (ja) * 2017-08-29 2023-04-18 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US20210065659A1 (en) * 2018-01-25 2021-03-04 Sony Corporation Image processing apparatus, image processing method, program, and projection system
JP2019185072A (ja) * 2018-03-30 2019-10-24 東京ガスｉネット株式会社 情報処理システム及びプログラム
US10818093B2 (en) * 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
JP7262976B2 (ja) * 2018-11-02 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN111489448B (zh) * 2019-01-24 2024-08-20 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
JP7292905B2 (ja) * 2019-03-06 2023-06-19 キヤノン株式会社 画像処理装置及び画像処理方法、及び撮像装置
WO2020242047A1 (en) 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
US20210097776A1 (en) * 2019-09-28 2021-04-01 Apple Inc. Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
JPWO2023276156A1 (ja) * 2021-07-02 2023-01-05
WO2023049671A1 (en) * 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications
WO2023126984A1 (en) * 2021-12-31 2023-07-06 Adloid Technologies Private Limited Automatic and dynamic generation of modelling inputs based atleast upon a defined set of rendering variables, and rendering a reconstructed and optimized model in realtime
USD1032635S1 (en) * 2022-02-21 2024-06-25 Beijing Zitiao Network Technology Co., Ltd. Display screen or portion thereof with a graphical user interface
US20240144604A1 (en) * 2022-10-28 2024-05-02 At&T Intellectual Property I, L.P. Systems and methods for facilitating immersive exhibits

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281652A (ja) 1994-04-07 1995-10-27 Sony Corp 画像処理装置
JPH10222701A (ja) 1997-02-05 1998-08-21 Toto Ltd コンピュータグラフィック装置および画像データの作成方法
JP4527853B2 (ja) * 2000-07-28 2010-08-18 株式会社バンダイナムコゲームス ゲームシステム及び情報記憶媒体
US6639595B1 (en) * 2000-08-23 2003-10-28 Nintendo Co., Ltd. Achromatic lighting in a graphics system and method
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP4827217B2 (ja) 2001-09-28 2011-11-30 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
AT6405U1 (de) * 2002-06-05 2003-10-27 Card Casinos Austria Res & Dev Chipsortiervorrichtung
JP4200858B2 (ja) 2003-08-25 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
HU0401057D0 (en) 2004-05-26 2004-08-30 Balogh Tibor Method and apparatus for generating 3d images
EP1754382B1 (en) * 2004-05-26 2010-09-01 Tibor Balogh Method and apparatus for generating 3d images
DE602005013752D1 (de) 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
US8593476B2 (en) * 2008-02-13 2013-11-26 Gary Demos System for accurately and precisely representing image color information
US8451270B2 (en) 2008-06-25 2013-05-28 Microsoft Corporation Real-time radiosity system in a video game environment
JP5237066B2 (ja) 2008-11-28 2013-07-17 キヤノン株式会社 複合現実感提示システムおよび複合現実感提示方法、プログラム
US8542231B2 (en) 2009-06-29 2013-09-24 Crytek Gmbh Method, computer graphics image rendering system and computer-readable data storage medium for computing of indirect illumination in a computer graphics image of a scene
CN101650837A (zh) * 2009-07-16 2010-02-17 浙江大学 一种海洋水体虚拟现实的建模方法
KR101266360B1 (ko) 2009-08-24 2013-05-22 한국전자통신연구원 전역조명을 지원하는 그래픽 처리 장치 및 이를 이용한 그래픽 처리 방법
KR101601687B1 (ko) 2009-09-22 2016-03-09 삼성전자주식회사 영상 처리 장치 및 방법
US20110083108A1 (en) 2009-10-05 2011-04-07 Microsoft Corporation Providing user interface feedback regarding cursor position on a display screen
EP2320381A1 (en) * 2009-11-04 2011-05-11 TomTec Imaging Systems GmbH Method and device for visualizing surface-like structures in volumetric data sets
JP5740822B2 (ja) 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20110107545A (ko) 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치
KR20120004227A (ko) 2010-07-06 2012-01-12 삼성전자주식회사 영상 처리 장치 및 방법
JP5646263B2 (ja) 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
CN102769822A (zh) 2011-05-05 2012-11-07 广州三星通信技术研究有限公司 视觉效果显示方法以及使用该方法的移动通信终端
CN102509348B (zh) * 2011-09-26 2014-06-25 北京航空航天大学 一种共享增强现实场景的真实物体多方位表示方法
GB2501925B (en) * 2012-05-11 2015-04-29 Sony Comp Entertainment Europe Method and system for augmented reality
US9076247B2 (en) * 2012-08-10 2015-07-07 Ppg Industries Ohio, Inc. System and method for visualizing an object in a simulated environment
JP6214981B2 (ja) 2012-10-05 2017-10-18 株式会社ファイン 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
US9459820B2 (en) * 2012-11-08 2016-10-04 Ricoh Company, Ltd. Display processing apparatus, display processing method, and computer program product
CN103606182B (zh) 2013-11-19 2017-04-26 华为技术有限公司 图像渲染方法及装置

Also Published As

Publication number Publication date
US10593113B2 (en) 2020-03-17
US20200175771A1 (en) 2020-06-04
US20160012642A1 (en) 2016-01-14
CN105278905A (zh) 2016-01-27
EP2966620A3 (en) 2016-07-06
EP2966620A2 (en) 2016-01-13
JP2016018560A (ja) 2016-02-01
US11200746B2 (en) 2021-12-14
CN105278905B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
JP6909554B2 (ja) 視覚効果を有するオブジェクトを表示する装置及び方法
JP5531093B2 (ja) コンピュータグラフィックスでオブジェクトにシャドウを付ける方法
US20110084983A1 (en) Systems and Methods for Interaction With a Virtual Environment
CN108475180B (zh) 在多个显示区域之间分布视频
KR102474088B1 (ko) 이미지를 합성하기 위한 방법 및 디바이스
US10719912B2 (en) Scaling and feature retention in graphical elements defined based on functions
US20120188279A1 (en) Multi-Sensor Proximity-Based Immersion System and Method
CN110869884A (zh) 用于注视点渲染系统的时间超级采样
US10628995B2 (en) Anti-aliasing of graphical elements defined based on functions
CN103988234A (zh) 经由透视显示器来显示阴影
US10895909B2 (en) Gaze and saccade based graphical manipulation
US11238572B2 (en) Device and method for dynamic range expansion in a virtual reality scene
KR20180098065A (ko) 디스플레이 장치 및 그 제어 방법
CN112262413A (zh) 混合现实中的实时合成
US10708597B2 (en) Techniques for extrapolating image frames
KR102174264B1 (ko) 그림자 렌더링 방법 및 그림자 렌더링 장치
CN113552942A (zh) 一种基于光照强度显示虚拟对象的方法及设备
KR102235679B1 (ko) 시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법
WO2012047905A2 (en) Head and arm detection for virtual immersion systems and methods
KR102197504B1 (ko) 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
US12002165B1 (en) Light probe placement for displaying objects in 3D environments on electronic devices
US20170351415A1 (en) System and interfaces for an interactive system
JP2023529073A (ja) 距離メトリックに基づくエンターテイメント照明のための画像分析領域の決定
JP4479003B2 (ja) 画像処理
US11562529B2 (en) Generating and modifying an artificial reality environment using occlusion surfaces at predetermined distances

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190927

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200521

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200521

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200601

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200602

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200717

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200721

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201215

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210419

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210511

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210608

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210705

R150 Certificate of patent or registration of utility model

Ref document number: 6909554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150