JP6862569B2 - 仮想光線追跡方法および光照射野の動的リフォーカス表示システム - Google Patents

Description

本発明は画像生成技術分野に関し、具体的には、仮想の光線追跡方法および光照射野（Ｌｉｇｈｔ Ｆｉｅｌｄ）の動的リフォーカス表示システムに関する。

光線追跡（Ｒａｙ Ｔｒａｃｉｎｇ）アルゴリズムは１９８０年に提出された迫真性のある画像の生成方法であって、高品質の迫真性画像を生成することができ、現在は三次元迫真性画像の一般的なアルゴリズムの１つである。光線追跡アルゴリズムは、実質的には光照射の物理過程の近似逆過程であり、物体間の鏡面反射光線および正透過を追跡することができ、理想な表面における光伝搬をシミュレーションする。

図１の（ａ）にはピンホールによる画像および深度図における光線追跡方法が示されており、仮想被写界深度範囲は［ｚ_０，ｚ_１］（ｚ_１＞ｚ_０＞０）であり、ここで、ｚ_１は無限大であってもよく、感光板からピンホールまでの距離はｓである。

続いて、図１の（ｂ）に示すように、被写界深度効果をレンダリングする際、ピンホールの位置に仮想の薄レンズを設けると仮定する場合、仮想の薄レンズの焦点距離はｆであり、ｆは１／ｆ＝（１／ｓ）＋（１／ｚ_１）を満たし、即ち、最も遠い平面ｚ_１は感光板にフォーカスされる。さらに、レンズの直径がＲであると仮定する場合、このような仮想の結像システムにおいて、平面ｚ∈［ｚ_０，ｚ_１］内の点は感光板においてぼやけた画像に結像され、その錯乱円の大きさは、
ｋ＝ｓ×Ｒ×（（１／ｚ）−（１／ｚ_１）） （２）
である。

式（２）から分かるように、平面ｚ_０上の点が感光板において結像される錯乱円の半径は最大でＫ＝ｓ×Ｒ×（（１／ｚ_０）−（１／ｚ_１））であり、同時に錯乱円の半径の大きさは光線円錐（例えば、図１の（ｂ）における大円錐）をｚ_０平面で切断する円形切断面にもよる。図１の（ｂ）に示すように、相似三角形の変換関係によれば、円形切断面の半径はＲ×（ｚ_１−ｚ_０）／ｚ_１または（ｚ_０／ｓ）×Ｋであってよい。

上記システム設定に基づき、我々は感光板の位置ｓ_ｆを動的に調整することによって平面ｚ_ｆにフォーカスされる画像をレンダリングすることができ、ここで、ｚ_ｆは（１／ｓ_ｆ）＋（１／ｚ_ｆ）＝１／ｆを満たす。図１の（ｃ）に示すように、画素を使用して原画像をインデックスして中央光線の光円錐指数（ｌｉｇｈｔ ｃｏｎｅ ｓｉｚｅ）を算出する。このようにすれば、レンダリング後の画像と原画像とが同じ解像度を有するように保証することができ、同じ画素の位置が空間においても同じ位置に対応するように保証する。

最終的な結像結果において、各画素ｐの最終色は光円錐内の全ての光線の積分によって得られる。従来の光線追跡アルゴリズムでは、各光線をシーンまで追跡しなければならない。しかし、画像空間における光線追跡アルゴリズムでは、１本の光線をシーンまで追跡し、シーンにおける三次元座標によって原画像まで逆追跡する。ランバート（ｌａｍｂｅｒｔｉａｎ）反射に基づき、画素の色を逆追跡された光線の色として直接使用することができる。

該光線の色を決定するためには、光線と空間における物体との交差点を位置決めすることが不可欠である。光照射野に基づくアルゴリズムにおいて、光線追跡は主に前方湾曲に基づいて取得され、中央図に対してその深度図を使用して周りの光照射野図を歪める。該方法の適用可能な前提としては、光線が高密度にサンプリングされなければならない。他の態様において、１枚の画像をレンダリングするたびには大量の仮想視角を作成する必要があるため、アルゴリズムは非常に複雑である。このため、光線追跡リフォーカスの計算の複雑性を低減する必要がある。

また、光線追跡計算方法の具体的な適用として、従来の仮想現実装置は全焦点画像または全焦点仮想現実シーンしか表示することができず、体験者の頭部が向いている方向の内容しか表示せず、人間の目の結像原理に適合する体験内容および人間の目の関心領域の内容を提供することができない。このため、完全に人間の目の注視方向に従って内容の表示およびリフォーカスを実現することができない。図１３に示すように、人間の目３１０における毛様体筋は拡張および収縮することができるため、人間の目３１０を距離が異なる物体にフォーカスさせることができ、人間の目３１０は異なる半径の球面にフォーカスすることを選択することができる。遠い所（即ち、半径が大きい球面３２０）にフォーカスする際は毛様体筋が拡張し、近い所（即ち、半径が小さい球面３４０、３３０）にフォーカスする際は毛様体筋が収縮する。しかし、従来の仮想現実装置には効果的なデータ処理方法が欠けているため、人間の目３１０は全焦点または固定焦点平面の画像しか見ることができない。図１２に示す固定焦点画像のように、リフォーカスすることができず、これは人間の目３１０の三次元世界を見る視覚特性に適合せず、人間の目３１０の仮想現実内容を見る視覚体験を低下させる。このため、計算の複雑性を簡略化する必要があるほか、人間の目の注視方向によって動的にフォーカスすることにより複数の固定焦点面が見れる仮想現実表示システムを開発することが切実に必要である。

本発明は上記従来技術における問題点に鑑みてなされたものであり、仮想光線追跡方法および光照射野の動的リフォーカス表示システムを提供することを目的とする。

本発明に係る仮想光線追跡方法は、
全焦点画像およびその深度情報を得るステップと、
全焦点画像における画素をランダムに検索することにより光線のサンプリング数を低減させる、および／または、物体表面が滑らかであると仮定して交差点の検索を簡略化させることによって光線情報を収集するステップと、
上記光線情報に基づいて混色を行い、最終表示結果を得るステップと、
を含む。

光線の収集は、絞りを複数の等分領域に分割し、各前記等分領域内において１つの画素を収集するといった振動サンプリングにより行われる。

前記交差点の検索を簡略化させることは、ｌ_ｐｑ＝（ｒ／Ｒ）×Ｋ×（ｄ_ｆ−ｄ_ｑ）および固定のｄ_ｑによってｌ_ｐｑを直接計算し、半径ｒ内の光線をサンプリングし、ｌ_ｐｑ０画素のオフセットとして１つのｄ^ｔ _ｑを初期化し、ｌ^ｔ _ｐｑ画素の変位がｌ^ｔ _ｐｑに等しい場合、交差点の位置を決定でき、そうでない場合、そのｌ^ｔ _ｐｑ画素の変位をｄ^{（ｔ＋１）} _ｑに設定して、結果が｜ｌ_ｐｑ−（ｒ／Ｒ）×Ｋ×（ｄ_ｆ−ｄ_ｑ）｜≦１の式を満たすまで反復計算し、反復計算終了の際の画素の色をリターンする。

本発明に係る仮想現実光照射野の動的リフォーカス表示システムは、
仮想現実表示内容プロセッサと、
仮想現実表示装置と、
眼球回転方向を得ることができる眼球追跡装置と、
眼球追跡情報プロセッサと、
光照射野の動的リフォーカス処理機能を有する光照射野リフォーカスプロセッサと、
を含み、
仮想現実表示内容プロセッサは表示内容を取得し、仮想現実表示装置、眼球追跡装置、眼球追跡情報プロセッサおよび光照射野リフォーカスプロセッサとこの順にデータ線によって接続されている。

仮想現実表示装置は、左右の目に対応する結像ディスプレイ、拡大機能を有する光学レンズおよび位置決めセンサを含み、仮想現実表示内容プロセッサの処理によって得られる両目の三次元画像を表示する。

前記仮想現実表示装置において、光学レンズの周縁にはマイクロＬＥＤランプが設けられており、光学レンズの上方には人間の目の画像を収集するカメラが設けられている。

従来技術と比較すれば、本発明はランダムに検索することによって光線情報に対するサンプリング数を低減しおよび交差点の検索過程を簡略化することによって計算の複雑性を低減し、かつ自動的に間違ったサンプリングを置き換えることができるため、真実で正確にリフォーカスを行なえる。また、仮想現実光照射野の動的リフォーカス表示システムは、人間の目の注視方向に基づいて動的にフォーカスすることができるため、使用者は距離の異なる物体にフォーカスでき、人間の肉眼の観察特徴に適合する。

（ａ）はピンホールによる結像原理を示す図であり、（ｂ）は仮想の薄レンズを加える結像方法を示す図であり、（ｃ）は画像空間における光像追跡を示す図であり、（ｄ）は本発明に係る方法を示す図である。 光線の振動サンプリングを示す図である。 （ａ）および（ｂ）は光線の間違ったサンプリングの分析を示す図である。 （ａ）はｇａｍｍａ２．２曲線および勾配図であり、（ｂ）はトーンマッピング矯正画像の輝度を示す図である。 本発明の実施例における異なる色の混色効果を示す図である。 レンダリング効果の比較図である。 一眼レフカメラおよびＬｙｔｒｏカメラの被写界深度効果図を比較するための図である。 本発明の実施例に係るレンダリングの特別フォーカス効果図である。 仮想現実光照射野の動的リフォーカス表示システムの構成を示す図である。 仮想現実ヘルメットの構成を示す図である。 仮想現実表示装置の構成を示す図である。 単一固定焦点面を示す図である。 複数の固定焦点面を示す図である。

以下、図面を参照しながら本発明についてさらに説明する。
本実施例は従来の光線追跡アルゴリズムと異なって、一枚の全焦点写真およびそれに対応する被写界深度図だけで同じ効果を実現することができ、計算が大幅に簡略化される。下記の説明においては、事前確率（ｐｒｉｏｒ ｐｒｏｂａｂｉｌｉｔｙ）を統計するランダム検索アルゴリズムを示すことにより、最終的には一眼レフカメラに匹敵する効果を生成することができる仮想光線追跡方法を完全に説明する。

現実の世界において、人間の目３１０で三次元世界を見る際には、上、下直筋、内、外直筋および上、下斜紋筋により眼球の回転を制御することができるため、人間の目３１０は異なる方向のシーンまたは目標を見ることができる。しかし、従来の仮想現実ヘルメットは人間の目の回転方向に位置決められることができないため、内蔵または外部のセンサを介して人間の頭部の回転方向を決定することにより人間の目３１０の注視方向を判断するしかできないが、人間の目３１０の柔軟性により人間の目３１０の注視方向と頭部の方向とは完全一致にならず、人間の目の注視方向の情報が正確に得られず、さらには正確な画像を表示することができない。

図９乃至図１１に示すように、上記問題を解決するための本発明の実施例に係る仮想現実光照射野の動的リフォーカス表示システムは、主に五つのモジュールとして、仮想現実表示内容プロセッサ１００と、仮想現実表示装置２００（仮想現実ヘルメット、たとえばＨＴＣ ＶＩＶＥのようなＶＲ表示ヘルメット）と、眼球回転方向を得ることができる眼球追跡装置１１０と、眼球追跡情報プロセッサ１２０と、光照射野の動的リフォーカス処理機能を有する光照射野リフォーカスプロセッサ１３０と、を含む。

ここで、仮想現実表示内容プロセッサ１００は、主に表示内容におけるシーンをコンピュータ視覚におけるカメラ結像原理に基づき投影変換して左、右両眼に対する２枚の異なる画像を取得する。画像間には視差が有るため、表示される画像にシーンの三次元情報を記憶する。

図１１、図１０に示すように、仮想現実表示装置２００は、主に左右の目に対応する結像ディスプレイ２１０１、拡大機能を有する光学レンズ２２０１およびジャイロスコープ等の位置決めセンサを含み、仮想現実表示内容プロセッサの処理によって得られる両目の三次元画像を表示する。光学レンズ２２０１の周縁にはマイクロＬＥＤランプ１１０２が設けられており、光学レンズ１１０２の上方には人間の目の画像を収集するカメラ１１０１が設けられている。

眼球の回転方向を検出する眼球追跡装置１１０は、主に仮想現実設備におけるカメラ１１０１により人間の目３１０の回転状況を監視し、リアルタイムに眼部の画像を収集して眼球方向情報プロセッサ１２０に送信する。

眼球方向情報プロセッサ１２０は、主に人間の目の領域画像２２０２に基づいて眼球運動追跡技術によって眼球の回転方向情報を取得し、Ｏ_ｅｙｅと記録し、即ち、現在の体験者が興味を持っている方向である。

人間の目３１０の注視方向情報を取得した後、方向情報によって人間の目の視線と表示システムの内部の表示内容（即ち、表示される画像）との交差点位置Ｐを決定することができ、さらに、Ｐの位置によって、Ｐが位置するシーンの深度情報、即ち、フォーカス平面の位置を知ることができる。そして、仮想光線追跡アルゴリズムを利用して人間の目の関心領域または関心平面のリフォーカス結像結果を算出し、無関心領域においてはファジー処理を行うことにより、現実の世界における人間の目の視覚効果を実現する。この部分の作業は、主に最後の光照射野リフォーカスプロセッサ１３０において行われる。

光照射野リフォーカスプロセッサ１３０によって処理された後の表示内容を得た後、表示内容を仮想現実表示内容プロセッサ１００に伝送して処理し、シーンの両目の三次元画像を取得することにより、最終的な仮想現実光照射野の動的リフォーカス表示を実現する。

本実施例に係る装置の部分は、人間の目３１０の回転方向情報を検出することで、人間の目の関心領域に基づいて表示内容に対して光照射野の動的リフォーカス処理を行うことができ、表示された内容が人間の目の注視原理に適応するようにし、体験者が体験する際により優れた体験を得ることができるようにする。

本実施例に係る上記装置に基づき、方法に係る部分は主に、全焦点画像およびその深度情報を得るステップと、全焦点画像における画素をランダムに検索することにより光線のサンプリング数を低減させる、および／または、物体表面を滑らかであると仮定して交差点の検索を簡略化させることによって光線情報を収集するステップと、上記光線情報に基づいて混色を行い、最終表示結果を得るステップと、を含む。

一般的に、上記操作において、光線方向に沿って離散的に交差点を決定することができるが、その目的は光線方向における各離散深度ｚが空間における点に対応しているか否かを決定するためであり、点が存在する場合、該点を画像に逆投影させ、該画素の深度をｚに決定することができる。光線が薄レンズの中心からｒ離れるところで「停止する」と仮定する場合、該光線方向には深度がｚ_Ｑ∈（ｚ_０，ｚ_１）である点Ｑが存在し、相似三角形に基づくと、Ｑの薄レンズの中間軸からの距離はｒ×（ｚ_Ｑ−ｚ_ｆ）／ｚ_ｆである。従って、画像の中心画素をｐと仮定する場合、Ｑの画像における投影点はｑであり、ｐ、ｑの距離はｌ_ｐｑ＝（ｓ／ｚ_Ｑ）×ｒ×（ｚ_Ｑ−ｚ_ｆ）／ｚ_ｆ＝ｓ×ｒ×（（１／ｚ_ｆ）−（１／ｚ_Ｑ））である。

シーンの深度範囲は［ｚ_０，ｚ_１］であり、図１の（ｄ）に示すように、異なる深度の光線部分は線［ｑ_０，ｑ_１］に投影され、ｑ_０、ｑ_１はそれぞれＱ_０、Ｑ_１の画像における投影点であり、その深度はそれぞれｚ_０、ｚ_１である。画像における光線追跡アルゴリズムでは、我々は画像から光線と空間における物体との最も近い交差点に対応する画素ｑ∈［ｑ_０，ｑ_１］を見つけなければならない。最も近い交差点の投影点がｑであると仮定する場合、ｑは、
ｌ_ｐｑ＝ｓ×ｒ×（（１／ｚ_ｆ）−（１／ｚ_ｑ）） （３）
を満たす。ここで、ｚ_ｑの大きさは深度図から抽出することができる。

上記全ての分析は深度情報に基づいて行ったものであり、続いて深度情報を画像における画素のオフセットに変換する。相似三角形関係ｄ＝１／ｚによってオフセットを［０，１］に正規化し、オフセット０は∞の深度を表し、１は最も近い深度を表す。大きさがＫ（＝ｓ×Ｒ）であるマスクを使用すると仮定する場合、式（３）を、
ｌ_ｐｑ＝（ｒ／Ｒ）×Ｋ×（ｄ_ｆ−ｄ_ｑ） （４）
に簡略化することができる。ここで、ｄ_ｆ＝１／ｚ_ｆ、ｄ_ｑ＝１／ｚ_ｑである。式（４）の左右両側はいずれも深度情報によって算出することができ、画像空間における光線追跡はシーンの三次元モデルを再構築することが避けられる。

事実上、このような計算方法の複雑性はＯ（ＮＭＫ）であり、Ｎは入力画像の画素数であり、Ｍはマスクの画素数であり（Ｍは絞りの大きさと一致し、即ち、Ｋ^２に正比例する）、Ｋは最も近い交差点の検出に関わる。三次元モデルの光線追跡アルゴリズムと異なって、画像における光線追跡アルゴリズムには２つの主な問題がある。

本実施例では色画像および深度画像を二次元空間に離散させると仮定しているため、式（３）の制約条件を満たしても、光線が空間における物体と交差すると確保することができない。この問題を解決するために、本実施例では制約条件を、
｜ｌ_ｐｑ−（ｒ／Ｒ）×Ｋ×（ｄ_ｆ−ｄ_ｑ）｜≦１ （５）
まで制約を緩和している。

即ち、１つの画素より小さい。本発明は１枚の色画像だけ入力するため、シーンの遮蔽領域の内容（色および幾何）を検出することができない。本実施例の解決手段は、表面（幾何および模様）が薄膜レンズの中心に対して対称すると仮定しており、ｌ_ｐｑが遮蔽されたと仮定しており、本実施例では−ｌ_ｐｑの画素を使用している。

本発明の画像フィールドにおける光線追跡は従来の幾何空間における光線追跡に類似し、その計算の複雑性はいずれも高く、特にリフォーカスの適用において高い。上記説明においてＭがＫ^２に正比例するため、計算の複雑性は半径の拡大に伴って（Ｏ（ＮＭＫ）＝Ｏ（ＮＫ^３）のように指数成長する。大口径の絞りに対し、計算の複雑性が非常に高くなり、リアルタイムなレンダリング効果に達することが難しい。

光線情報収集において、ランダムにサンプリングする方式によって光線情報に対するサンプリングを減少させることで、Ｍを大幅に減少させることができる。図２に示すように、本実施例では振動サンプリングの方式を採用する。

第１ステップであって、絞りを複数の格子に均等に分割する。
第２ステップであって、各格子において１つの画素をランダムにサンプリングする。

格子のサイズが元の絞りのサイズの１／ａ倍であると仮定する場合、計算の複雑性はＯ（ＮＭＫ／ａ^２）に減少する。

しかしながら、振動によるランダムなサンプリングは各サンプリングポイントの正確性を保証することができるが、サンプリングの稀およびランダム性はシーンのコントラストが高く色が豊富である場合において比較的に良い視覚効果を生成する。しかし、下記のような問題も存在する。まず、各格子を１本の光線だけで示すべきでない。次に、ランダムなサンプリングはサンプリング光線の品質を保証することができない。この２つの原因により、隣接する２つの画素のファジー度が一致せず、ランダムなノイズが生じてしまう。

本発明はさらに交差点の検索を簡略化するプロセスを提供し、即ちＫを減少させ、空間における物体の表面が滑らかであると仮定することにより交差点の検索を加速化させている。交差点を検出する際にｑ∈［ｑ_０，ｑ_１］のように各画素に対してｑが式（４）の制約を満たすか否かを検出するのではなく、式（４）と固定のｄ_ｑとによって直接ｌ_ｐｑを計算する。図１の（ｄ）に示すように、半径ｒ以内の光線をサンプリングし、ｌ_ｐｑ０画素のオフセットとして１つのｄ^ｔ _ｑ（ｔは反復の回数である）を初期化する。１つのｄ^ｔ _ｑを与えるとｌ^ｔ _ｐｑを計算することができ、ｌ^ｔ _ｐｑ画素の変位がｌ^ｔ _ｐｑに等しい場合、交差点の位置を決定することができ、そうでない場合、そのｌ^ｔ _ｐｑ画素の変位をｄ^{（ｔ＋１）} _ｑと設定し、結果が式（５）を満たすまで、反復計算し、反復計算終了の際の画素の色をリターンする。

現実のシーンにおいて、物体表面は通常は滑らかであり連続しているため、隣接する画素は同じ深度値を有する確率が非常に大きい。即ち、ｌ^ｔ _ｐｑ＝ｄ^{（ｔ＋１）} _ｑの可能性が非常に高く、この場合、反復の回数が少ない間に交差点を見つけることができる。

図３の（ａ）、（ｂ）に示すように、さらに、本発明はランダム検索の方法によって加速化することができ、１本の光線をランダムに検索するだけで毎回完全に正確な交差点を見つけることができるとは保証できないが、ミスの確率は非常に低い。それはミスをリターンする画素が他の光線に対する正確なサンプリングであるかも知れず、即ち、１つの間違ったサンプリングを異常値と見なす必要がなく、それが交差点である可能性は依然として非常に高く、最後のリフォーカスレンダリングに対して依然として有効である。

前の被写体にフォーカスされる場合をより好適に処理するために、リターンされる画素ｑが間違った交差点であり、同時にｑ点の深度がｐ点に対してさらに深いと仮定する場合、即ちｄ_ｐ＞ｄ_ｑである場合、ｐの色値によってｑを置き換える。従って、交差点のランダムな検索が間違った交差点値をリターンしても、全てのサンプリング光線が融合した後、依然として比較的に真実で正確なリフォーカス効果を得ることができ、同時に計算の複雑性もＯ（ＮＭ）に低下される。

図３の（ａ）、（ｂ）は、本実施例に係る方法によって光線をサンプリングする結果を示し、本実施例では様々な色シェーディングによって正確なサンプリングおよび間違ったサンプリングを区別している。上記のように、間違ったサンプリングポイントはファジー畳み込みカーネルの外部にある可能性があり、間違ったサンプリングはすべての光線サンプリングに対して非常に少ない。

実際の撮影において、高い動的範囲で圧縮されるため、線形シーンラジオシティＪがデジタル画像強度Ｉに変転されることは高度の非線形的なものである。一眼レフデジタルカメラにおけるこのような非線形圧縮プロセスは関数ｆ：Ｉ＝ｆ（Ｊ）で表示することができる。最も好ましい深度合成はＪ＝ｆ^−１（Ｉ）であり、最後の画像Ｉ’は積分Ｉ’（ｐ）＝ｇ_ｐ（Ｉ）＝ｆ（（１／｜Ω_ｐ｜）×Σ_ｑεΩｐｆ^−１（Ｉ（ｑ）））によって得ることができ、ｐ、ｑは画像における座標を表し、Ω_ｐは中心点のｐにおける畳み込みカーネルを表し、ｇ_ｐ（Ｉ）は画像に対するすべての変換を表す。

しかしながら、ｇ_ｐ（Ｉ）を直接計算するには下記のような２つの問題がある。まず、入力画像の応答関数が未知であり、通常はｇａｍｍａ色調曲線パラメータが２．２に等しいことで近似することを示すが、カメラの応答関数はｇａｍｍａ２．２と差がある。次に、単一応答関数は色処理モデルを表示するのに不十分である。図５に示すように、ｇａｍｍａ２．２によって近似する結果を示し、結果に色収差があることがわかる。色収差および非線形効果を低減するために、画像内容に基づき画素の色に対して直接重み付けて積分することにより得られる。

本実施例では、先ず、ｇａｍｍａ２．２関数曲線によってｇ_ｐ（Ｉ）を近似する応答の性能を分析し、図４の（ａ）に示すように、曲線の高輝度領域における勾配は、低輝度領域における勾配よりも険しく、これは高輝度領域がより多く圧縮されることを意味し、相対的に強度を直接積分する。図４の（ｂ）に示すように、ｇａｍｍａ２．２曲線が高輝度および低輝度を融合する際に、高輝度部分に更に高い重みをつける。本実施例では、式
Ｉ’（ｐ）＝（１／ｗ）×Σ_ｑεｋｐｗ_ｑＩ（ｑ）、ｗ_ｑ＝ｅｘｐ（−（Ｉ（ｑ）^ｍａｘ−２５５）^２／２σ^２） （６）
を用いて混色を行う。

ここで、Ｉ（ｑ）^ｍａｘ＝ｍａｘ｛Ｉ_ｒ（ｑ），Ｉ_ｇ（ｑ），Ｉ_ｂ（ｑ）｝は、該積分画素の色チャネルの最大値である。Σ_ｑεｋｐｗ_ｑおよびσの値は色の表現を制御することができる。図５は様々な混色方法を示し、線形混合は直接積分領域に対する平均値を取ることであり、ｇａｍｍａ２．２は色を青味にすることができ、本実施例ではガウス重みによる混色が好ましく、その混合効果は比較的に迫真性がある。

図７、図６に示すように、比較によって本実施例は品質の非常に高い被写界深度効果を実現することができることがわかり、特に、一眼レフ、Ｌｙｔｒｏカメラと効果が同じであるが、本実施例では普通の携帯用カメラだけでも上記効果（図面におけるグレースケール効果であっても、本発明の技術的優位性を表現することができる。以下同様）を実現することができる。図８に示すように、さらに、本発明はＴｉｌｔ−ｓｈｉｆｔ撮影に適用されることができ、Ｔｉｌｔ−ｓｈｉｆｔ撮影とは特に小さいシーンにフォーカスする必要のある技術である。図８における４組の比較図からわかるように、従来技術のように一般的に特別なレンズによってＴｉｌｔ−ｓｈｉｆｔ効果を取得する必要がなく、ユーザが深度図を簡単に補正すればよく、本発明は非常に簡単にＴｉｌｔ−ｓｈｉｆｔ効果をシミュレーションすることができる。そのプロセスは上記と同様であるため、説明を省略する。

要するに、本実施例はランダムに検索することによって光線情報に対するサンプリングを減少させるおよび交差点の検索プロセスを簡略化させることによって計算の複雑性を低減し、間違ったサンプリングを自動的に置き換えるため、真実で正確にリフォーカスできる。また、仮想現実光照射野の動的リフォーカス表示システムは、人間の目の注視方向によって動的にフォーカスし、ユーザが距離の異なる物体にフォーカスできるため、人間の目の観察特徴に適合する。

以上、図面および実施例に合わせて本発明の実施形態を説明したが、実施例により提供される構造は本発明を限定するものではなく、当業者であれば必要に応じて様々な調整を行うことができ、特許請求の範囲内で行われた様々な変形や補正はいずれも本発明の保護範囲内である。

１００ 仮想現実表示内容プロセッサ、
２００ 仮想現実表示装置、
１１０ 眼球追跡装置、
１２０ 眼球方向情報プロセッサ、
１３０ 光照射野のリフォーカスプロセッサ、
１１０１ カメラ、
１１０２ マイクロＬＥＤランプ、
２２０１ 光学レンズ、
３１０ 人間の目、
２１０１ 結像ディスプレイ、
２２０２ 人間の目の領域画像、
５１０１ 左目の画像、
５１０２ 右目の画像。

Claims (5)

1. 仮想光線追跡方法であって、
   全焦点画像、および人間の目の視線と表示される画像との交差点の位置を決定して当該交差点が位置するフォーカス平面の位置から得られる深度情報を得るステップと、
   絞りを複数の等分領域に分割し、各前記等分領域内において１つの画素を収集するといった振動サンプリングによって全焦点画像における画素をランダムに検索することにより光線のサンプリング数を低減させる、および／または、物体表面が滑らかであると仮定して前記交差点の検索を簡略化させることによってリフォーカスするための光線情報を収集するステップと、
   上記深度情報及び光線情報に基づいてリフォーカスを行い、最終表示結果を得るステップと、
   を含む、ことを特徴とする仮想光線追跡方法。
2. 前記交差点の検索を簡略化させることは、ｌ_ｐｑ＝（ｒ／Ｒ）×Ｋ×（ｄ_ｆ−ｄ_ｑ）および固定のｄ_ｑによってｌ_ｐｑを直接計算し、半径ｒ内の光線をサンプリングし、ｌ_ｐｑ０画素のオフセットとして１つのｄ^ｔ _ｑを初期化し、ｌ^ｔ _ｐｑ画素の変位がｌ^ｔ _ｐｑに等しい場合、交差点の位置を決定でき、そうでない場合、そのｌ^ｔ _ｐｑ画素の変位をｄ^{（ｔ＋１）} _ｑに設定して、結果が｜ｌ_ｐｑ−（ｒ／Ｒ）×Ｋ×（ｄ_ｆ−ｄ_ｑ）｜≦１の式を満たすまで反復計算し、反復計算終了の際の画素の色をリターンする、
   ここで、Ｒは、仮想の薄レンズの直径、ｒは、仮想の薄レンズの中心からの距離、Ｋは、錯乱円の最大半径、ｌ _ｐｑ は、中心画素ｐと投影点ｑの距離、ｄ _ｆ は、仮想の薄レンズの焦点距離ｆの深度、ｄ _ｑ は、投影点ｑの深度、ｌ ^ｔ _ｐｑ は、ｔ回反復計算したｌ _ｐｑ 、ｄ ^ｔ _ｑ は、ｔ回反復計算したｄ _ｑ 、ｌ _ｐｑ０ は、オフセットとしてｄ ^ｔ _ｑ を初期化するｌ _ｐｑ 、である、
   ことを特徴とする請求項１に記載の仮想光線追跡方法。
3. 請求項１〜２のいずれか一項に記載の仮想光線追跡方法を採用する仮想現実光照射野の動的リフォーカス表示システムであって、
   左右の目に対して表示する画像を取得する仮想現実表示内容プロセッサと、
   前記左右の目に対して表示する画像を表示する仮想現実表示装置と、
   眼球の回転方向を検出する眼球追跡装置と、
   前記眼球の回転方向から眼球の回転方向情報を取得する眼球追跡情報プロセッサと、
   前記眼球の回転方向情報に基づいて、人間の目の視線と表示される画像との交差点の位置を決定して当該交差点が位置するフォーカス平面の位置から得られる深度情報を得て、光照射野の動的リフォーカス処理機能を有する光照射野リフォーカスプロセッサと、
   を含み、
   仮想現実表示内容プロセッサ、仮想現実表示装置、眼球追跡装置、眼球追跡情報プロセッサおよび光照射野リフォーカスプロセッサとこの順にデータ線によって接続されている、ことを特徴とする仮想現実光照射野の動的リフォーカス表示システム。
4. 前記仮想現実表示装置は、左右の目に対応する結像ディスプレイ、拡大機能を有する光学レンズおよび位置決めセンサを含み、前記仮想現実表示内容プロセッサの処理によって得られる両目の三次元画像を表示する、ことを特徴とする請求項３に記載の仮想現実光照射野の動的リフォーカス表示システム。
5. 前記仮想現実表示装置において、光学レンズの周縁にはマイクロＬＥＤランプが設けられており、光学レンズの上方には人間の目の画像を収集するカメラが設けられている、ことを特徴とする請求項３に記載の仮想現実光照射野の動的リフォーカス表示システム。

Images