JP7304985B2 - 光学画像表現をシミュレートする方法 - Google Patents

Description

本発明は、輝度寄与を生成する方法、画素を生成する方法、画像を生成する方法、画像シーケンスを生成する方法、及びコンピュータプログラム製品に関する。

カメラモジュールと、レンズとを含む画像記録システムは、画像の写真記録に使用され、特に画像シーケンスの記録にも使用される。カメラモジュールは画像レコーダを含み、画像レコーダは、電子画像記録センサ又は感光化学フィルムであることができる。レンズは通常、光学レンズ要素、絞り、及び／又はミラー等の複数の光学要素を含む。そのようなレンズは往々にして、サイズを変更することができる絞り、いわゆる開口絞りを含む。光学画像表現は、イメージングする物体からの光がこれらの要素を通り、画像記録センサ又はフィルム材料上に到達することによって生じる。そのような光学画像表現は通常、光学イメージング収差、例えば、デフォーカス、コマ、球面収差、幾何学的歪み、又はビネッティングとして知られるものの結果としての半径方向輝度低下に苛まれる。これらのいわゆる幾何学的イメージング収差は往々にして、フォーカス設定、レンズの設定された開口絞り、及び／又は他のパラメータ、例えばレンズの焦点距離に依存する。全体として、あらゆる所与のレンズのイメージング収差は、その具体的な光学レンズ設計に起因して特徴的な幾何学的イメージング挙動を生じさせる。その影響は特に、焦点外の物体特徴の画像表現で目立ち、その理由は、そのような物体特徴がぼやけた複製（ｂｌｕｒｒｅｄ ｒｅｐｒｏｄｕｃｔｉｏｎ）を有するためであり、厳密には、そのような物体特徴が理想的に合焦されるエリアから離れるにつれてぼやけが酷くなるとともに、レンズの開口絞りの設定が大きくなるほどぼやけが酷くなる。

そのようなデフォーカス物体点がイメージングされる特性は通常、ボケと呼ばれる。例として、光軸からかなり離れて配置されるデフォーカス物体点が、伸張しわずかに湾曲した焦点外領域にイメージングされるレンズが知られている。例として、これは、例えば（特許文献１）に記載のように、ビオター式レンズとして知られているものに当てはまり得る。

例として、１つが（特許文献２）に例示的に記載されている反射レンズ式レンズは、完全に異なる特性を有する。そのようなレンズは通常、デフォーカス物体点をリング形焦点外領域にイメージングする。そのようなレンズを使用した画像表現の場合、ボケは往々にして、特にはっきりしたハイライトを有する物体の場合、著しく不安定なリングパターンを示す。

移動写真記録は往々にして、動画等の製作中、仮想画像及び／又は仮想画像シーケンスと混ぜられる。この方法は往々にしてレンダリングと呼ばれる。そのようなレンダリングの結果はデジタル生成画像又はデジタル生成画像シーケンスである。そのような画像又はそのような画像シーケンスは、提示するシーンの数学的モデルからの計算により生成される。シーンのそのようなモデルはとりわけ、モデリングされるシーンにおいてモデリングされる物体の特性、例えば、形状、色、及び光学表面特性についての情報項目を含む。特にモデリングされる個々の光源の場所、タイプ、色、及び方向からなる照明の数学的モデルが、シーンのこのモデルに当てはまる。画像の実際の計算では、少なくとも、仮想カメラのシーンにおける位置、記録方向、及び視野が必要とされる。仮想カメラを使用して、モデリングされたシーンの画像又は画像シーケンスを計算することによる生成及び計算による生成の部分ステップは、本明細書ではシミュレーションと呼ばれる。切片定理の数理による単純な幾何学的投影に基づく単純なピンホールカメラ原理（暗箱）が多くの場合、この計算に使用される。非常に単純であるが、これは理想的で典型的な写真画像表現のシミュレーションの基礎をなし、その理由は、この場合、幾何学的画像収差が生じないためである。

仮想画像のレンダリングシーケンスを実際に記録された画像シーケンスと混ぜるプロセスは、リアルタイム３Ｄコンピュータグラフィックスの分野及び映画での視覚効果の分野で普通に見られる手順を表す。このようにして生成される効果はＶＦＸ（「視覚効果（ｖｉｓｕａｌ ｅｆｆｅｃｔｓ）」から）と呼ばれる。実際の画像を仮想画像と混ぜることは、拡張としても知られている。拡張は往々にして、異なるソースからの画像が一緒になる、映画フィルムの事後処理又は製作後のステップである合成として知られるものの一環である。特に写真撮影によって得られた実際のシーンの画像又は画像シーケンスを仮想的に生成されたコンテンツと混ぜる際、最終的な画像又は画像シーケンスでのこの仮想生成コンテンツが、写真撮影によって得られた実際のシーンの画像又は画像シーケンスからの違いを有さないか、又は違いが略認識できず、したがって、可能な限り写真のような現実感を有する印象を与えることが望ましい。これは、実際の画像記録の境界条件に可能な限り近い境界条件で生成されるデジタル生成コンテンツによって達成される。実際のイメージングチェーンの正しいシミュレーションは、まず、シーン及び照明の数学的記述の境界条件を含むが、次に、記録に関連する境界条件、すなわち特に、画像レコーダ又はセンサでの光学画像表現の境界条件も含む。これらは、単純な幾何学的カメラモデル、すなわち、ピンホールカメラのシミュレーションによって再現されない。

レンダリング画像又はレンダリング画像シーケンスの更に重要な用途は、完全にアニメーション化された画像又は画像シーケンス、すなわち、情報コンテンツ全体が仮想シーンを発端とし、実際の画像又は実際の画像シーケンスとの混合が行われないものである。これは、アニメーション動画製作の分野又は仮想現実の分野を含み、仮想現実は、例えばコンピュータゲームの分野で使用されるが、例えば訓練シミュレータの分野、例えばパイロット訓練用のフライトシミュレータ又は機関手訓練用のトレインシミュレータでも使用される。特にアニメーション動画及びコンピュータゲームの分野では、シーンの特定の写真のような現実感のある印象を生み出すことが望ましい。さらに、この方法は、例えば、実際の医療画像記録をコンピュータ生成画像表現と混合するために、医療撮像の分野で使用することができる。

レンダリング画像は通常、レイトレーシング等の技法を使用して生成される。レイトレーシングの場合、光線路は光源から物体まで及び物体から画像レコーダまで計算される。実際には、この計算ステップは往々にして、光線が画像レコーダから物体に、すなわち、光学デバイス自体内の物理的光線の伝播とは逆方向にトレースされるように実行される。当然ながら、光方向に沿ったトレースも同等であり、同様に可能である。

往々にして、上記の単純なピンホールカメラモデルは、画像レコーダ上の光学画像表現のシミュレーションでそのようなレイトレーシング計算に使用される。ここで、利点の１つは、幾何学的イメージング収差を含まないいわゆる理想的な画像が生じることからなる。このモデルでは、レイトレーシング計算の全ての光線は、シミュレーションでシミュレートされる画像レコーダの上流に配置される点を通して計算され、画像レコーダからの上記点の距離は、幾何学的に計算される視野が、シミュレートされるカメラシステムの視野に対応するような大きさであるように選ばれる。このシミュレーション点は、実際のピンホールカメラの非常に小さな穴の中心に対応する。ピンホールカメラをシミュレートすることの利点は、数学的モデルの単純性のみならず、そのような計算を実行することができる高速さにもある。特に、特別なグラフィックスプロセッサ又はグラフィカル処理ユニット（ＧＰＵ）は、そのようなイメージングシミュレーションを特に高速に、多くの画素で並行して実行することができる。この並行化は、リアルタイムで複雑な仮想シーン全体を計算するまで、速度での大きな利得を生じさせる。

しかしながら、原理上、実際のレンズを有する実際のカメラを使用した実際の記録の場合に生じる上記画像収差又は画像特性は考慮に入れられず、シミュレーションで生成される画像の印象は多くの場合、同等の実際の画像を観察する際に生じる印象とはかけ離れたままである。これは特に、レンダリング画像コンテンツ及び実際に記録された画像又は画像シーケンスの混合が意図される場合、問題であり得る。これを補償するために、二次元画像処理手段及び芸術的手段が往々にして使用される。例として、ぼやけが続けて、ピンホールカメラのシミュレーションによって得られた理想的な１つ又は複数の画像に計算によって導入され、ぼやけは、実際のカメラによって生成されるぼやけと可能な限り類似することが意図される。幾何学的歪み及びビネッティングの形態での輝度低下の補正又は導入は、単に計算によって追加することができる更なる効果である。一般に、そのような補正は、シミュレーションによって得られた画像の画像印象が、実際の記録によって得られた画像のものに可能な限り近くなるように現象学的に調整される。

したがって、実際の画像の記録に使用される実際の記録レンズの特性を可能な限り多く、シミュレーションで再現することが望ましい。第１に、可能な限り正確なボケ等の特性の対応性を得るために、第２に、パラメータの経験的試用、又は芸術的技能さえも必要とせず、代わりに決定論的に理解可能であり、したがって予測可能な簡単なプロセスで機能できるように。当然ながら、原理上、レイトレーシング技法を画像記録システムの光学的部分全体に適用することも同様に可能である。実際に、そのようなレイトレーシングは、長年にわたり光学システムの設計及び最適化に広く応用されてきている。しかしながら、ＶＦＸ又は３Ｄコンピュータグラフィックスの分野での使用は希であり、その理由は、これらの技法が非常に多くの計算動作を含み、したがって、非常にリソース及び時間集約的であり、それ故、高価であるためである。レンダリングに通常使用される上記ＧＰＵは、そのような複雑なイメージングシミュレーション用に設計されていない。

レイトレーシングシミュレーション中、シミュレートされるレンズの現実的モデルの実質的な計算コストの大半は、シミュレートされるレンズ内部での非常に多数の光線偏向を、幾何学的光学系からの屈折の法則に従って計算する必要があることによって生じる。そのような偏向は、光学材料と空気との間の各界面で生じるとともに、例えばいわゆる接合要素の場合、異なる光学材料間の各界面でも生じる。そのようなレイトレーシングは、シミュレートされるレンズの開口絞りの透過領域が上手くラスタ化されるように、画像レコーダへの異なる入射角度で各画素について複数回実行されなければならない。プロセスにおいて、高質画像を生成するためには、各画素で約１０００以上の光線の計算が必要であり得る。さらに、光学材料は分散特性に起因して波長依存屈折率を有し、それ故、波長依存光線ずれを有するため、レイトレーシングの範囲内で、そのような計算は通常、異なる波長の光に対して実行されなければならない。さらに、例えば開口絞りのみならず、例えばレンズ要素マウントにおいても、レンズ内の光線吸収、いわゆる遮光（ｓｈａｄｉｎｇ）がある。この光線吸収も同様に、ボケ及びレンズのビネッティングに大きく寄与するため、シミュレーションによって捕捉されなければならない。

レイトレーシングは、各センサピクセルに入射した光線が十分に高密度のビームとして、シミュレートされるレンズの射出瞳に浸透するように、画像センサの各ピクセルについて複数回実行する必要がある。これは、幾何学的効果によって生じる、シミュレートされるレンズのイメージング特性の現実的なシミュレーションを可能にする唯一の手順である。

高計算コストに加えて、特にＶＦＸ分野でのレンズのレイトレーシングシミュレーションの欠点は、シミュレートされるレンズの光学セットアップの正確な知識を必要とすることである。例として、これは、レンズ要素材料、レンズ要素半径、曲率半径、非球面パラメータ、及び／又は特にレンズの光学要素間の距離が可変である場合、レンズの光学要素間の距離等の変数を含む。これは、レイトレーシング法のオペレータ又はユーザがこれら全てのパラメータの知識を必要とすることを意味する。逆に、レイトレーシングによるレンズのイメージング特性のシミュレーションは、これらのパラメータの知識なしでは不可能である。したがって、シミュレートされるレンズの構造についての詳細を共有する必要がないように、第三者が、このために構造についての詳細を全く必要とせずに、シミュレートされるレンズのイメージング特性の現実的なシミュレーションを実行できるようにする選択肢を有することが望ましい。

計算コストを軽減する既知の方法は、（非特許文献１）に記載の方法である。ここでは、変換規則の複数の多項式の係数が、シミュレートされるレンズに入射する光線の場所及び方向が入力されるとき、シミュレートされるレンズから出る対応する光線の場所及び方向が出力されるように選ばれる抽象的レンズモデルが利用される。そのようなレンズモデル又はシミュレートされるレンズは、モデリングされるレンズ又はシミュレートされるレンズの物理的構造についての情報を含まないため、抽象的であり、モデルの係数からの逆算によってその構造を推測又は取得することができない理由である。必要なのは、レンズを伝播している間、光線がいかに偏向されるかの規則だけである。このようにして、Ｓｃｈｒａｄｅらは、光学イメージングシステムでのレンズのイメージング特性の抽象化されたシミュレーションを記述している。

シミュレートされたレンズによる画像表現のシミュレーションは、適した係数を有する変換規則を、画像レコーダの方向に出射するシミュレートされる光線のシミュレートされる場所及びシミュレートされる方向に適用することによって実行される。シミュレーション結果は、物体から入射するシミュレーション光線のシミュレーション場所及びシミュレーション方向である。シミュレーション方法はまた、逆方向にレイトレーシングを制限せずに適用することもでき、その結果、シミュレートされた出射光線の場所及び方向を供給することができる。当然ながら、その場合、適宜反転した変換規則を使用すべきである。

Ｓｃｈｒａｄｅらによるシミュレーション法は、シミュレートされるレンズの一定のフォーカス位置及び一定の焦点距離を仮定している。これらのパラメータの１つが変わる場合、利用される変換規則の係数によって表される抽象的レンズモデル全体を再計算する必要がある。この手順は非常に計算集約的であり、したがって、時間がかかる。

Ｓｃｈｒａｄｅらによるシミュレーション法で行われる更なる仮定は、レンズに入射した光線が第１のレンズ表面に衝突し、そこから光線へのレンズの効果が始まるというものである。その結果、Ｓｃｈｒａｄｅら記載のシミュレーション法は、シミュレートされるレンズについての情報、具体的にはシミュレートされるレンズの前面の形状を方法のユーザに開示する。その結果として、これはレンズの完全な抽象化ではない。

シミュレートされるレンズのフォーカス設定に関して、Ｓｃｈｒａｄｅらによる方法は、シミュレートされるレンズに対するシミュレーション画像レコーダの平面の変位を使用する。このタイプのフォーカス設定は、単純なレンズ、例えば上記ビオターレンズの場合でのみ実現される。近代のレンズでは、フォーカスは多くの場合、１つ又は複数のレンズ要素をレンズの他の光学要素に対して変位させることによって調整される。この場合、レンズ要素は、ユニット全体として変位するレンズ要素群として結合し得る。そのような複雑なレンズの高速シミュレーション解決策は、Ｓｃｈｒａｄｅらによる教示からは収集することができない。

調節自在レンズ（ｐａｎｃｒａｔｉｃ ｌｅｎｓ）、バリファーカルレンズ、又はズームレンズとも呼ばれる可変焦点距離を有するレンズも、焦点距離を変えるために他の要素に対して変位可能な光学レンズ要素及び光学レンズ要素群を利用する。Ｓｃｈｒａｄｅらによる教示が、そのようなズームレンズのシミュレートに使用されたならば、適した係数を有する別個の変換規則をシミュレートされる個々の各変位可能組立体に提供しなければならない。さらに、組立体の変位は開示されなければならない。その結果として、ズームレンズでは、シミュレートされるレンズの効果の完全な抽象化はない。さらに、Ｓｃｈｒａｄｅらによる教示に従ったシミュレーションは、画像空間における位置及び方向に依存する開口絞りの設置サイズ及び光線によるその浸透についての結論を導き出すことができ、そこから、機密扱いのレンズの特性を導出することができる。さらに、レンズの異なる位置、例えば絞り又はマウント部品において遮光される光線、すなわち、吸収され、画像生成に寄与しない光線にいかに対処するかは示されていない。

米国特許第１，７８６，９１６号明細書 旧東ドイツ国経済特許第２６３６０４Ａ１号明細書

Ｓｃｈｒａｄｅら，Ｅ．Ｓｃｈｒａｄｅ，Ｊ．Ｈａｎｉｋａ，Ｃ．Ｄａｃｈｓｂａｃｈｅｒ，Ｓｐａｒｓｅ ｈｉｇｈ－ｄｅｇｒｅｅ ｐｏｌｙｎｏｍｉａｌｓ ｆｏｒ ｗｉｄｅ－ａｎｇｌｅ ｌｅｎｓｅｓ，Ｅｕｒｏｇｒａｐｈｉｃｓ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｒｅｎｄｅｒｉｎｇ ２０１６，Ｖｏｌ．３５，Ｎｏ．４

したがって、本発明の目的は、レンズを記述する１組の係数がレンズの構造から完全に抽象化され、したがって、シミュレートされるレンズの構造について結論を導き出すことができないような、従来技術で教示されるシミュレーション法を開発することである。本発明の目的はまた、シミュレートされるレンズのフォーカス、焦点距離、又は１つ若しくは複数の連続パラメータが変わる場合、変換規則の係数の計算集約的な再計算が必要ないような従来技術で教示されるシミュレーション法を開発することでもある。

最初の目的は、請求項１に記載の特徴によって達成される。２番目の目的は、請求項２に記載に特徴によって達成される。更なる有利な実施形態が、従属請求項の特徴によって記載される。本発明の更なる特徴は、以下の説明、以下の特許請求の範囲、及び／又は添付図から明らかである。

本発明及びその実施形態について以下の図に基づいて説明する。

画像記録の原理を概略的に示す。 本発明によるシミュレーションの原理を概略的に示す。 レンズの光学イメージングの効果を概略的に示す。 第１のデータ記録の構築を概略的に示す。 第２のデータ記録の構築を概略的に示す。 レイトレーシングシミュレーションの原理を概略的に示す。 例示的なシミュレートされるレンズの光学構造を概略的に示す。 入射瞳に対するピンホールカメラ画像のポジショニングを概略的に示す。 フィボナッチ螺旋の形態の入射瞳に対するピンホールカメラ画像の配置を概略的に示す。 入射瞳に対するピンホールカメラ画像のランダム配置を概略的に示す。 抽象階段物体及びこの階段物体の関連付けられたピンホールカメラ画像に基づく画像シミュレーションの例示的な構築を概略的に示す。 本発明によりシミュレートされた抽象階段物体の画像を概略的に示し、このために１つ、少数、及び多数のピンホールカメラ画像並びに入射瞳に対するピンホールカメラのポジショニングが使用されている。

画像記録原理を図１に概略的に示す。写真画像記録についてシミュレートされる所与のレンズ１は、レンズ要素２及び往々にしてサイズ調整可能な開口絞り３を備える。各レンズは特定の半径を有し、非透明マウント４によって保持される。画像レコーダ１００は、以下、センサとも呼ばれ、シミュレートされるレンズ１の光学系の具体的な設計に依存する位置に取り付けられる。シミュレートされるセンサ１００は、通常、格子の形態に配置される複数の光検出器、いわゆるピクセル５からなり得る。これらのピクセルのそれぞれは、記録中、画素を記録する。画像は、センサ１００の場所で光学的に生成され、実際のカメラシステムにおいて、各ピクセル又は画素での各入射ルミナンス強度が電子的又は化学的に検出される：画素が記録されるのはそこである。センサは、各ピクセル５が特定の色のみを検出することができるように、例えばベイヤーパターンに配置された格子形カラーフィルタ１０１を装備し得る。別の可能性として、各ピクセル５は例えば、三原色、例えば赤、緑、及び青の全てを検出することができる。シミュレーションでは、これは、少なくとも計算された強度の処理済みコンピュータシステムでのレジストレーション及び記憶、並びに必要な場合には、シミュレートされる入射光線の色に対応する。記憶は好ましくは、いわゆるランダムアクセスメモリＲＡＭで実施されるが、例えば、フラッシュメモリとして知られるもの又は磁気ディスクで実施してもよい。イメージングするシーンにおける一点から発せられ、潜在的に画像表現に寄与する光線は、レンズを通り，プロセスにおいてレンズ要素の界面において屈折し、すなわち、光線の方向は各事例で、屈折の光学的法則に従って変わる。これらの光線の一部分は、レンズ１のマウント４の部分に入射し、吸収され、画像表現に寄与しない。レンズの部分における光線の吸収は遮光と呼ばれ、ビネッティングと呼ばれるものを生じさせる。光線の別の部分は開口絞り３に入射し得、そこで吸収され、画像表現に寄与しない。光線の更なる部分はレンズを通り、画像レコーダ１００に衝突する。これらの光線は画像表現に寄与する。

シミュレートされるレンズ１は、レンズ１上で調整可能な１つ又は複数のパラメータを有し得る。とりわけ、これらは以下の１つ又は複数であり得る。
－開口絞り：少なくとも１つの概ね円形の絞りがレンズに搭載され、上記絞りの光学的透過直径はユーザによって変えることができる。多くの場合、これは虹彩絞りとして知られるもので作られる。
－フォーカスを設定するために、レンズは、画像検出面に対して光軸に沿って変位可能であり、好ましくは他の光学要素に対しても変位可能な１つ又は複数のレンズ要素を装備し得る。
－焦点距離を可変調整するために、レンズは、画像検出面に対して光軸に沿って変位可能であり、好ましくは他の光学要素に対しても変位可能な１つ又は複数のレンズ要素を装備し得る。焦点距離の代わりに、レンズの倍率は連続入力変数として使用することもできる。倍率は、センサ又はフィルム面上の物体の画像のサイズとこのイメージングされフォーカスされた物体のサイズとの比率から生じるスケーリングファクタである。入力変数としての倍率の選択が、本発明による方法に特によく適することが分かった。
－フィールド曲率を可変調整するために、レンズは、画像検出面に対して光軸に沿って変位可能であり、好ましくは他の光学要素に対しても変位可能な１つ又は複数のレンズ要素を装備し得る。
－レンズを通る光の波面を可変操作するために、レンズは変位可能自由形態要素を装備し得る。例として、これらは、光軸に垂直に変位可能な１つ又は２つのいわゆるアルバレス（Ａｌｖａｒｅｚ）要素であることができる。

シミュレートされるレンズ１上で調整可能なそのようなパラメータは好ましくは、レンズシミュレーションでの連続調整可能な入力変数に対応する。Ｓｃｈｒａｄｅらからのレンズによる光学イメージングのシミュレーションに関する既知の技法は、本発明による方法の開始点として働く。この既知の教示では、連続調整可能な入力変数は、レンズをモデリングし、レンズの値を決定する係数の計算前に定義される。これらの値が変わったなら、このシミュレーション法では、レンズをモデリングする係数を再計算する必要がある。

シミュレートされるレンズの光学イメージングの本発明によるシミュレーションは、変換規則９００に基づく。これを図２に概略的に示す。コンピュータ３００によって実行される計算４０００では、この変換規則９００は１つ又は複数入力データ記録１０００からのデータを処理し、これらを出力データ記録２０００に変換する。変換規則９００はとりわけ多項式を含み得る。変換規則９００はとりわけスプライン関数を含み得る。図３に示す光学イメージングの効果は、シミュレートされる物体によって発せられ、レンズを通った後、入射光線２０１０として特定の位置及び特定の方向で、シミュレートされるセンサ１００と異なる表面と交わるシミュレートされる光線８００が、特定の方向で出射光線２０２０としてシミュレートされるセンサ１００の一点に入射するという点で表現され、この方向は概して、元の光線方向からずれる。通過する光線８００のその結果生成されるビームオフセット及びその結果生成される方向変化は、レンズ１の効果である。入射光線２０１０及び出射光線２０２０と呼ばれる光線は、レンズを通る光線８００の部分光線である。光線８００の完全な記述に必要な情報の幾らかは、それぞれの事例で強度と関連がある偏光、１つ又は複数の波長又は色に関する情報であることもある。

レンズ１によって生じる通過光線８００への効果は、光線オフセット、方向変化、偏光変化、色変化、光線強度の減衰、部分光線への光線の分割、又は他の変化を含み得る。複数のこれらの効果は、１つの光線８００に関連して同時に生じることもある。例として、部分光線への分割は、光学的屈折面若しくはコート面での部分的透過及び反射、光学的異方性結晶での常光線及び異常光線への分割、又は回折構造若しくはホログラムでの回折によって生じ得る。これらの効果は全て、本発明により検出されるレンズ１の効果である。

実用的な理由から、光学シミュレーションは多くの場合、光線が逆方向に、すなわち、センサから始まってトレースされるように実行される。本発明のこの説明はこの手法に従うが、本発明によれば、光方向での光線シミュレーションも本発明により捕捉されることにもう一度明確に言及しておく。

本発明によれば、シミュレートされるセンサ１００は第１の表面であるセンサ面１１０に配置される。シミュレートされる光線８００は、入射点１１１においてこの表面に入射する。

本発明によれば、第１のデータ記録１０１０である入力データ記録はとりわけ、変換規則９００と併せて、シミュレートされるレンズを通るシミュレートされる光線８００に対するシミュレートされるレンズの効果を記述するのに適したデータを含む。この場合、シミュレートされるレンズの特性は、第１のデータ記録１０１０のみに含まれ、変換規則９００には含まれない。これとは対照的に、変換規則９００のデータ記録１０１０は、シミュレートされる光線についてのデータも含まなければ、シミュレートされるレンズで調整可能なパラメータについてのデータも含まない。変換規則９００及びデータ記録１０１０は一緒に、仮想レンズ９０１と呼ばれ得、その理由は、ユーザがユーザ自体のデータを用いて仮想シーンのレンダリングを作成できるようにするには、これらの情報項目のみの共有だけで十分であるためである。図４に概略的に示すように、第１のデータ記録１０１０は、光の特定の波長又は特定の波長帯域にそれぞれ割り当てられる１つ又は複数の部分データ記録１０１０ｒ、１０１０ｇ、１０１０ｂを含み得る。これは、物理的理由で実際のレンズで生じるイメージング色収差を考慮に入れる。好ましくは、３つのこのような部分データ記録１０１０ｒ、１０１０ｇ、１０１０ｂは、特に赤、緑、及び青で利用可能なように保たれる。しかしながら、より多数又はより少数のそのような部分データ記録を利用することも可能である。本発明によれば、特に色収差が小さい場合、１つのみのデータ記録１０１０から微分手法により色効果を計算することもできる。

本発明によれば、第１のデータ記録１０１０は、第１の交点１０１３においてイメージングビーム路又はその続きのシミュレートされる光線と交わる第１の表面、仮想入射面、又は仮想前面１０１１についての情報を含むデータを更に含む。この表面は好ましくは、シミュレートされるセンサの上流又は下流に置かれる。好ましくは、この第１の表面又は仮想前面１０１１は回転対称面であり、その対称軸はシミュレートされるレンズの光軸ＯＡに対応し、好ましくは、シミュレートされるレンズの実際の表面の上流に置かれる。特に、しかし網羅的列挙ではなく、第１の表面又は仮想前面１０１１は球面、円錐曲線によって形成される他の表面、及び平面を含む。第１の表面又は仮想前面１０１１は、シミュレートされるレンズのレンズ要素面と一致し得るが、これが該当する必要はない。好ましくは、仮想前面１０１１は精密には、シミュレートされるレンズのレンズ要素面と一致しない。仮想前面の別の好ましい位置はレンズの入射瞳である。特に好ましくは、仮想前面１０１１は、センサから最も遠いレンズ要素面よりもセンサ１００から離れるように置かれる。好ましくは、仮想前面は、焦点距離、フォーカス、又は他の調整可能なレンズパラメータが変化するとき、その位置及び形状が一定のままであるように選ばれる。それにより、仮想前面１０１１はシミュレートされるレンズの実際の構築が何であれ、それについての情報を含まないため、これはシミュレーションの複雑さを低減するとともに、機密性を上げる。

データ記録は多項式を含み得る。光線位置又は光線方向の所望のフィッティング精度及びビネッティングを生成する遮光面に関する情報に応じて、多項式は少なくとも５、少なくとも１０、少なくとも２０、又は少なくとも３０の係数を含み得る。例として、光線位置及び光線方向に６次以下の２０の係数と、遮光情報に３次以下の５つの係数とを有するスパース多項式を使用し得る。

第２のデータ記録１０２０は、図５に概略的に示され、とりわけ、センサ面１１０へのこのシミュレートされる光線８００の入射点１１１についての情報及びこの光線の方向情報項目１１２からなるシミュレートされる光線８００についての情報項目１０２１を含む。入射点１１１についての情報は、シミュレートされるレンズにリンクされた座標系における三次元ベクトルにより又は図６に示すように、パラメータ化されてセンサ面１１０上の位置を記述する二次元パラメータによって提供し得る。網羅的列記ではなく例として、これは、方位角及び半径、又は正規化半径、又は仰角であり得る。シミュレートされる光線の方向情報項目１１２は、必ずしも網羅的列記ではなく例示的に、シミュレートされるレンズにリンクされる座標系に関連した三次元ベクトルの仕様又は２つの角度の仕様によって与え得る。本発明による方向の更なる特に好ましい表現はまた、図６に示される第２の表面２００との第２の入射点２０１のパラメータ化された仕様からなることもでき、これは入射点１１１と併せて、方向情報項目１１２に全単射関係をもたらす。第２の表面２００との第２の入射点２０１のパラメータ化された仕様では、１に正規化された半径ｒ_ｎの仕様が特に有利であることが分かり、その理由は、その場合の方向情報項目１１２が単に０度から３６０度の角度及び範囲０＜ｒ_ｎ≦１の半径ｒ_ｎからなり、第２の表面２００の軸方向位置の仕様ももはや必要ないためである。更なる計算に必要なのは、２つ１組のパラメータ、例えば角度及び正規化半径だけであり、一方、軸方向位置は考慮されないままであり得る。第２の表面２００での開口絞りの位置を選ぶことが有利であることが分かり、その理由は、特にレンズが絞られる場合、大半の光線が往々にしてそこで遮光されるためである。次いで、最大正規化半径ｒ_ｎ＝１が、開いた絞りを有するレンズのシミュレーションに選ばれ、一方、絞られたレンズをシミュレートする場合、ｒ_ｎにはそれに対応してより小さな値が選ばれる。第２のデータ記録１０２０は、シミュレートされるレンズを絞ることについてのこれらの情報項目１０２２を含み得る。パラメータ化により、第２の表面２００の実際の軸方向位置及び開口絞りの実際のサイズは未知であるか、又は少なくとも知る必要はなく、一方、開口絞りの効果は半径ｒ_ｎの適宜選択によって再現され、開口絞りの実際の位置に関する最大機密性を保証することができる。

概ね円形のアパーチャの半径についての好ましい情報に加えて、開口絞りの形状変化を記述するデータを含むこともできる。例として、Ｃ／Ｙマウント及び設定Ｆ値４を有するＣａｒｌ Ｚｅｉｓｓソナー２．８／１３５の虹彩絞りが、回転対称性からの顕著なずれを示す。絞り又は開口絞りの透過領域は少なくとも１つの寸法、例えば半径によって記述されるが、より複雑な形態の絞りを記述するのに他の寸法を使用することもできる。

さらに、第２のデータ記録１０２０は、レンズで調整可能であり、イメージングに影響を及ぼす１つ又は複数の更なるイメージングパラメータに関する情報項目１０２３を含み得る。本発明によれば、これは、網羅的列挙ではなく例として、シミュレートされるレンズの焦点距離及び／又はフォーカス距離及び／又はフィールド曲率の可変調整のパラメータを含む。レンズの焦点距離への代替として、センサ面に合焦してイメージングされる物体のイメージングスケールに関連して、イメージングスケールを含むこともできる。さらに、データ記録１０２０は、可変ミラー又は回折要素、偏光子、減光フィルタ等の光学フィルタ、周波数フィルタ、可変ビームスプリッタ、若しくはアルバレス（Ａｌｖａｒｅｚ）プレート、又は他の可動式自由形態表面等の他の光学要素によるビーム偏向についての情報を含み得る。

さらに、第２のデータ記録１０２０は、シミュレートする光線の１つ又は複数の波長、波長領域、又は色に関する情報項目１０２４を含み得る。

その結果として、第２のデータ記録１０２０は、シミュレートされるレンズで調整可能なパラメータ等のシミュレーションのユーザによって選ばれるか、又は影響を受ける全ての変数及びシミュレートされる光線についての情報１０２１、１０２４を含む。これとは対照的に、第１のデータ記録１０１０は、調整可能パラメータ１０２２、１０２３の考えられる全ての組合せでのレンズのイメージング挙動を含むデータのみを含む。第１のデータ記録１０１０を作成するために、トレーニング又は最適化フェーズ中、認められるべき全範囲のパラメータ１０２２、１０２３が考慮されることが自明である。通常、この範囲は、シミュレートされるレンズの実際のモデルの可能性によって指定される。

所与のレンズの本発明によるシミュレーションを実行するために、実際のシミュレーションが実行される前、第１のデータ記録１０１０がまず必要とされ、上記第１のデータ記録は、変換規則９００の適用により、シミュレートされるレンズのイメージング挙動及びシミュレートされるレンズ１の仮想前面１０１１を記述する。データ記録１０１０は、以下に記載のように計算によって取得することができる。

まず、第２の表面２００は、センサの位置と仮想前面との間で選ばれる。データ記録１０１０は、考えられる調整可能パラメータ１０２２、１０２３及び第２の表面２００を考慮に入れながら予め計算される。このために、以下のステップが、１つ又は複数の波長又は波長範囲について実行される。
－複数の光線及びフォーカス距離又は焦点距離等の調整可能な１つ又は複数のパラメータの複数の設定について、シミュレートされるレンズの厳密な光学構築を用いてレイトレーシングが実行される。
－データ記録１０１０が最適化アルゴリズムによって計算される。このために、従来技術からの既知の反復最適化アルゴリズム又はフィットアルゴリズムを利用することができる。特に適したアルゴリズムは「直交マッチング追跡」アルゴリズムとして既知である。このフィッティング又は最適化プロセスの結果はデータ記録１０１０であり、第２のデータ記録１０２０を考慮に入れながら、所与の入力光線及び所与の調整可能レンズパラメータでの出力光線の位置及び方向を供給する。
－この最適化プロセスに加えて、シミュレートされるレンズ１において１つ又は複数の場所を識別し得、上記場所で光線は、例えばレンズの筐体内又は絞り内に入るため、遮光され、それ故、吸収される。直径及び／又は形状を選ぶことができる開口絞り３は、別個にラベリングされた好ましい絞り又は遮光面２１０である。多くのレンズはそのような絞りを含む。考慮される全ての遮光面２１０についての情報は、複数の部分データ記録１０３０が形成されることにより、データ記録の一部になる。これらの部分データ記録１０３０のそれぞれは、センサ面から各遮光面２１０までのシミュレートされるレンズの部分シミュレーションに適した係数についての情報を含む。これらの遮光面２１０の実際の軸方向位置は関連しない。光線位置はパラメータ化手法によって各遮光面２１０に指定することができ、パラメータは例えば、方位角及び半径、又は仰角、又は特に好ましくは正規化半径からなる。
－データ記録１０１０は少なくとも、センサ面から仮想前面１０１１、レンズ前面、又はレンズ１の入射瞳までの光線路をシミュレートするのに適する係数についての情報を含まなければならない。
－仮想前面１０１１は事前に定義し得る。しかしながら、データ記録１０１０の最適化プロセスの一環として、仮想前面１０１１を最適化することもまた可能である。

最適化計算のこの方法への代替として、データ記録１０１０は、シミュレートされるレンズの少なくとも１つの物理的実施形態での測定を用いて取得することもできる。このために、レンズを使用して例示的な物体をイメージングすることができ、生成された画像を記録することができる。これは、レンズで調整可能なパラメータ、例えば、フォーカス、焦点距離／倍率、及び／又は開口絞りの開口の複数の設定について実行し得る。次いで、得られた画像からの逆算により、データ記録１０１０を形成する必要とされる１組の係数を確立することができる。測定によってデータ記録を取得する更なる選択肢は、シミュレートされるレンズの物理的実施形態を通して、適した波長の単一光ビーム、例えばレーザビームを光らせることである。測定により、ビームへのレンズの効果をレンズの他端部で検出することができる。これは、光ビームの更なる波長、異なる入射点、及び方向について実行することができる。次いで、そうして得られた測定値からの逆算により、データ記録１０１０を形成する必要とされる１組の係数を確立することができる。

例えば、レンズの物理的実施形態の製造公差又は不完全性を再現するために、計算及び／又は測定によって得られるデータ記録１０１０の値がなお続けて、経験的に変更することができることが自明である。

所与のレンズ１のイメージングの本発明によるシミュレーションを実行するために、コンピュータプログラム製品がコンピュータ３００にロードされ、上記コンピュータプログラム製品は、コンピュータ３００が、変換規則９００に従って計算を実行できるようにする。シミュレートされるレンズ及び仮想前面１０１１についての情報を含む、前の予め計算された第１のデータ記録１０１０も同様に、コンピュータ３００にロードされる。

データ記録１０２０が生成され、上記データ記録は、センサに入射する、シミュレートされる光線２０１０についての情報項目１０２１及びレンズで調整可能な１つ又は複数のパラメータ１０２２、１０２３についての情報項目からなる。色又は波長に加えて、シミュレートされる光線２０１０についての情報項目１０２１は、センサ１００への光線の入射点１１１及び方向情報項目１１１を含み、これは、開口絞りを含み得る第２の表面２００との第２の交点２０１についての情報項目から提供することもできる。入射点１１１は好ましくは、シミュレートされるセンサ１００のシミュレートされるピクセルの位置に対応する。好ましくは、設定された絞りについての情報項目１０２２に従って透過する領域内のみで第２の表面２００に入射する光線のみが考慮される。正規化半径ｒ_ｂを有する円形開口絞りの場合、これは、半径ｒ＜ｒ_ｂの入射点を有するシミュレートされる光線のみが生成され、レースされるように実現し得る。複雑なジオメトリの開口絞り３又は遮光面２１０の場合、設定された絞りについての情報項目１０２２に従って透過する領域外で第２の表面２００に衝突する光線を生成することが可能であるが、これらは、絞りの透過領域からの光線のみがセンサに到達することができるため、破棄される。開口絞りについてここで説明した手順は、レンズに恐らく存在する他の全ての遮光面２１０でも同様に実行することができる。

次いで、選ばれるピクセルでシミュレートされる画像表現に寄与する個々の光線８００をシミュレートするために、コンピュータ３００の計算ユニットは、入力データ記録１０１０、１０２０を用いて変換規則９００に従って計算を実行し、これは出力データ記録２０００をもたらし、出力データ記録２０００は、どの入射光線２０１０が、シミュレートされるレンズによって、センサに入射する入力データ記録１０２１の光線２０２０に変換されるかを含む。１つ又は複数の遮光面、例えば開口絞りがシミュレートされるレンズに存在する場合、シミュレーションは複数の部分ステップで実行することができ、計算は、センサ面１１０から遮光面２１０の１つに各事例で実行される。遮光面２１０のそれぞれに別個の部分ステップが計算され、これらの部分ステップが実行される順序は重要ではない。好ましくは、大きな遮光を生じさせる表面は、わずかな遮光を生じさせる表面よりも先に考慮される。部分ステップは並行に実行することもできる。光線が第３の交点２１１において遮光面により吸収されるか、それとも遮光面を透過するかに関してテストステップが各事例で続く。吸収された光線は破棄され、透過した光線は更にトレースされる。レイトレーシングはまた、センサ面から仮想前面１０１１、レンズ前面、又は入射瞳まで実施される。このようにして得られた出力データ記録２０００は、仮想前面１０１１、レンズ前面、又は入射瞳に入射する光線２０１０についての情報項目を含む。これらは、仮想前面１０１１との光線２０１０の第１の交点１０１３及び例えば、三次元ベクトル、別の表面による交点のパラメータ化表現、又はシミュレートされるレンズにリンクされる座標系に関連する２つの角度によって記述される方向情報項目を含む。

カラー画像を計算するために、個々の光線をシミュレートするシミュレーションステップを任意選択的に複数回、好ましくは３回実行することができ、シミュレートされる光の異なる波長又は異なる波長帯域がこれらのレイトレーシング計算のそれぞれで仮定され、異なる部分データ記録１０１０ｒ、１０１０ｇ、１０１０ｂをシミュレーションに使用することが可能である。色収差が小さなシミュレートされるレンズの場合、１つのみのデータ記録１０１０のレイトレーシングで十分であり得、結果としての光線方向及び／又は結果としての位置の微分補正が、考慮される波長の少なくとも１つに対して実行される。異なる波長の複数の個々の光線シミュレーションからなる又は更なる色の微分補正ステップが続く単一光線シミュレーションからなるシミュレーションステップは、以下、多色光線シミュレーションステップと呼ぶものとする。

所与の光線２０２０の出力データ記録に基づいて、イメージングされるシーンのモデルに基づいて入射光２０１０の強度を推測することができ、そこから、それぞれ考慮される波長又は色での考慮されるピクセルの信号へのこのシミュレートされる光線の強度寄与又は同等の輝度寄与が生じる。

同じターゲットピクセルについて、記載の単色又は多色光線シミュレーションステップは、シミュレートされる複数の光線に対して実行される。これらは、第２の表面２００、好ましくは開口絞り３上の異なる位置から出るように選ばれる。

輝度寄与、所与の波長の入射光線２０１０の強度は、これらのシミュレートされる光線のそれぞれについてこの方向で観察されるモデリングされるシーンの物体特徴からの光についての情報から決定され、画素の全ての輝度寄与が合算される。遮光される光線の輝度寄与は、寄与しないように破棄されるか、又はゼロに設定される。そうして得られた強度又は輝度レベルはコンピュータメモリ、好ましくはランダムアクセスメモリＲＡＭ、又はフラッシュメモリ、又は磁気ディスクに記憶される。

記載のシミュレーションステップは、第１の画像が完全に構築されるまで、センサの更なるピクセルについて繰り返される。

映画画像シーケンスの画像シーケンスを生成するには、記載のステップは更なる画像について繰り返される。この場合、モデリングされるシーン、シミュレートされるカメラの位置、並びに／或いは例えば、フォーカス、焦点距離、及び／又は開口絞り等の調整可能なレンズパラメータは変わり得る。そのような変更は、例えば、観察者の注意が焦点シフトによってある物体特徴から別の物体特徴に誘導される場合、特に映画効果で必要とされる。記載のように、そのような変更の場合、データ記録１０１０の再計算はない。調整可能なレンズパラメータの変更のみがデータ記録１０２０に組み込まれ、それにより、従来技術からの方法よりも優れた実質的な速度利点がもたらされ、本発明による方法によるそのようなシーンのレンダリングが特に効率的になる。

記載のように、この後になお、合成方法ステップが続き得、このステップでは、シミュレートされた画像又はシミュレートされた画像シーケンスが実際に記録された画像と融合される。

図７は、例えば「無限遠」フォーカス設定で例示的なシミュレートされるレンズの概略レンズ要素断面を示す。図７の図から推測し得るように、レンズ１は第１、第２、第３、及び第４のレンズ要素７、８、９、１０を備え、これらのレンズ要素は、物体側からレンズ１の光軸ＯＡに沿ってこの順に連続して配置される。第１及び第３のレンズ要素７、９はそれぞれ、正の屈折力を有し、第２の及び第４のレンズ要素８、１０はそれぞれ、負の屈折力を有する。

したがって、図７のレンズの効果をシミュレートする本発明による方法は以下のステップを含み得る。

仮想前面１０１１がまず定義される。仮想前面１０１１は、画像センサ１００の前方の予め定義された距離に配置され、予め定義且つ／又は最適化された曲率半径を有する。例示的な実施形態では、センサからの距離は６０．０ｍｍであり、曲率半径は１３．３６５ｍｍであるが、用途及び／又はニーズに応じて他の値をこれに選ぶこともできる。第２のステップにおいて、レンズモデルがトレーニングフェーズによって作成される。このために、それぞれが定義された波長を有する複数のトレーニング又は検証光線が生成される。例として、これらは波長、フォーカス、及び／又は１つ又は複数の他の可変レンズパラメータの考慮される値につき、５０００を超えるトレーニング光線であり得るが、好ましくは１００００を超えるトレーニング光線及び／又は２０００を超える検証光線であるが、好ましくは４０００を超える検証光線であり得る。例示的な実施形態では、フォーカス設定が生成された。例示的な実施形態では、９つの概ね等しく分布したフォーカス設定及びシミュレートされる光４４０ｎｍ波長を仮定した。

次のステップにおいて、遮光面が識別される。例示的な実施形態では、これらは第１のレンズ要素７の前面の半径８．７ｍｍ及び半径６．０ｍｍを有する更なる遮光面１１である。

次のステップにおいて、変換規則によって与えられる抽象数学的モデルのパラメータセットが、最適化法によって作成される。例示的な実施形態では、これは、光線の位置及び方向に６次以下の２０の係数を有し、遮光情報に３次以下の５つの係数を有するスパース多項式である。

この例示的なモデルは、直交マッチング追跡法を使用して最適化され、指定された係数はプロセスで計算される。

その結果として生成された出力データは、以下のデータからの値の少なくとも１つを含む：仮想前面の曲率半径、仮想前面とセンサとの間の距離、最小Ｆ値（Ｆ_ｍｉｎ）、サポートされる焦点範囲（ｄ）、焦点距離（ｆ）。

例示的なレンズモデルのユーザは以下のメタデータを取得する。
－仮想前面の曲率半径：１３．３６５ｍｍ
－仮想前面とセンサとの間の距離：６０．０ｍｍ
－最小Ｆ値：Ｆ_ｍｉｎ＝２．８７
－サポートされる焦点範囲：ｄ＝５０７ｍｍから無限
－焦点距離：ｆ＝５０．０ｍｍ

例示的なレンズモデルの入力変数：
－ｘ_ｓ、ｙ_ｓ：センサの光線位置、定義範囲－１８．０ｍｍ≦ｘ_ｓ≦１８．０ｍｍ及び－１２ｍｍ≦ｙ_ｓ≦１２ｍｍ
－ｘ_ａ、ｙ_ａ：仮想絞りでの光線位置、定義範囲：Ｆ値Ｆについてｘ_ａ ^２＋ｙ_ａ ^２＜（Ｆ_ｍｉｎ／Ｆ）^２
－β＝ｆ／（ｆ－ｄ）

例示的なレンズモデルの出力変数：
－ｘ_ｆ、ｙ_ｆ：ｍｍ単位の仮想前面の頂点における接平面に投影される光線位置
－ｕ_ｆ、ｖ_ｆ：光線点における仮想前面の接平面に投影される光線位置
－ｘ_ｖ１、ｙ_ｖ１、ｘ_ｖ２、ｙ_ｖ２：遮光面上の光線位置。ビネッティングを生成する遮光面の１つにおいてｘ^２＋ｙ^２＞１である場合、光線は遮光される。

これに、例示的な実施形態でのシミュレートされるレンズのパラメータ化された光学系のフィッティングデータが追加される。

ｙ_ｆ、ｖ_ｆ、ｙ_ｖ１の係数は、対称性のため、ｘ_ｆ、ｕ_ｆ、ｘ_ｖ１、及びｘ_ｖ２から直接現れることから示されていない。ここで、

であり、係数ｃ、ｘ_ｓの指数ｉ、ｙ_ｓの指数ｊ、ｘ_ａの指数ｋ、ｙ_ａの指数ｌ、及びβの指数ｍを有する。これは同様に第２の表のｕ_ｆに適用される。下記のように書くこともできる。

ピクセルの強度又は輝度及び色を計算するために、イメージングされるシーンについての情報が必要とされることが理解される。仮想前面１０１１に入射するシミュレートされる光線の第１の交点１０１３についての方向情報項目が利用可能な場合、光入射が出射するモデリングされる物体上の点について逆算を実行することが可能である。シミュレートされる光線の方向及び入射点又は第１の交点１０１３についての情報は、例えば、本発明によるシミュレーション方法によって実施することができるが、同等の結果を供給する他の方法によっても実施することができる。従来のレイトレーシングは一例である。仮想前面１０１１との第１の交点１０１３の代わりに、シミュレートされるレンズの第１の光学的有効面上の入射点、シミュレートされるレンズの入射瞳への入射点、又はレンズの前方遠くに配置され、且つ／又はモデリングされるシーンの近くに配置された表面への入射点を使用することも可能である。

光線２０１０がレンズに入射する物体点を決定する一選択肢は、従来のレイトレーシングにある。その利点は、そうして得られた表現が物理的に正確であり、それ故、写実的であることである。欠点は、そのような計算が非常に複雑であり、したがって、長い計算時間を必要とすることである。モデリングされた物体から出射し、シミュレートされたレンズ１又はレンズの前方の仮想前面１０１１に入射する光線に適用される色及び強度又は輝度に関する情報を、レイトレーシングを使用する場合よりもはるかに高速に提供する方法を提供することが望ましい。

したがって、本発明の目的は、レイトレーシングを使用する場合よりもはるかに高速に、モデリングされた物体から出射し、シミュレートされたレンズ又はレンズの前方の仮想前面に入射する光線に適用される色及び強度又は輝度に関する物理的に略正確な情報を提供する方法を提供することでもある。

本発明によるこの目的は、レンズをシミュレートする記載の方法と併せて、請求項１０に記載の特徴及びこの請求項を参照する従属請求項によって達成される。

これに関連して、本発明によるこの方法が、速度及び並行化に関連してＧＰＵの特定の特性から恩恵を受けることができることが望ましい。

入射面３０００に入射する光線８００の光線方向、強度、及び色の知識は、この入射面での光場として知られるものの知識と同等である。入射面３０００の性質は、例えば、入射瞳、前部レンズ要素の前面、又は仮想前面１０１１を含み得るようなものである。原理上、任意の他の表面を選ぶことも、画像の作成に寄与する光線８００がこの表面を通る場合、可能である。入射面３０００が例えば入射瞳、前部レンズ要素の前面、又は仮想前面１０１１よりも大きいように選ばれる場合、有利である。レンズによる画像作成のシミュレーションが本発明による記載のシミュレーション方法を使用して実行されるならば、シミュレートされるレンズの入射瞳、シミュレートされるレンズ１の前面、又は仮想前面１０１１を含むような入射面３０００を選ぶことが特に有利であり，その理由は、この場合、画像作成のシミュレーションのために更なる変換ステップなしで、入射面３０００において近似された光場を使用することができるためである。

光場が既知の場合、シミュレートされるレンズ１による画像作成は光場を用いて正確にモデリングすることができる。画像表現に関連する光場又は光場の部分の知識は、レイトレーシングによって取得することができる。しかしながら、これは非常に計算集約的であり、したがって、遅い。しかしながら、現実的な画像を計算するために、光場の完全な知識が必ずしも必要であるわけではなく、代わりに十分に良好な近似で事足りる。

そのような十分に良好な近似を得る本発明による方法は、以下説明する方法である。

入射面３０００の異なる位置で複数の理想的な画像が生成される。これは、各位置に取り付けられたピンホールカメラのピンホールカメラモデルによってこれらの画像を計算することによって実施することができる。理想的な画像に加えて、モデリングされるシーンの深度マップの各作成も有用である。有利なことには、ピンホールカメラ画像は、それぞれが、シミュレートされた入射光線が入射面３０００に衝突する位置に置かれるように配置することができる。この場合、このビームの方向の知識から、光線の強度及び色についての情報をピンホールカメラ画像から直接収集することができる。まず、これは、ピンホールカメラ画像が各位置で生成され、続けて、レイトレーシングがピンホールカメラの位置から特定のピクセルにレンズを通して実行されることによって達成することができ、又はレイトレーシングがまず、入射面３０００上の特定の位置に対して実行され、対応するピンホールカメラ画像が続けて生成される。

利用可能なピンホールカメラ画像の数を増やすために、既存のピンホールカメラ画像からの補間又は外挿及び少なくとも１つの関連付けられた深度マップにより、新しいピンホールカメラ画像を計算することができる。ここで、正確な遠近感を有する補間されたピンホールカメラ画像を生成するために、少なくとも１つの深度マップが必要である。これらの補間画像は、例えば、「画面空間レイトレーシング」として既知の方法を使用することにより生成することができる。

原理上、関連付けられた深度マップを用いて単一ピンホールカメラ画像からそのような補間を実行することが既に可能である。しかしながら、少なくとも２つ、特に好ましくは３つ以上のピンホールカメラ画像が好ましい。図８は、入射瞳５０００に関連した、４つ、２つ、及び１つのレンダリングされたピンホールカメラ画像５１００及びそこから生じる、補間又は外挿されたピンホールカメラ画像５２００での状況を例示的に示す。

新しいピンホールカメラ画像は、例えばニューラルネットワークを用いて、利用可能な深度マップあり又はなしで人工知能（ＡＩ）方法によって取得することもできる。

ピンホールカメラの位置は特に有利なことに、以下のセットアップの１つで配置することができる。
－図９に示すような、例えばいわゆるフィボナッチ螺旋の形態の一定密度の固定された螺旋格子。そのようなピンホールカメラの位置は好ましくは、入射面３０００の透過領域内に配置される。
－図１０に示すような純粋にランダムな配置。
－入射瞳、前面、又は仮想前面１０１１が、ピンホールカメラの位置によって記述される多角形内にあるような、入射面３０００の透過領域外の位置に少なくとも３台のピンホールカメラ。

十分な数の透視図を提供するとともに、アーチファクトを回避するために、使用すべきピンホールカメラ画像の位置をモデリングされるシーンにフィッティングすることができる。例として、細いパイプを通した注視は、パイプの中を見る視点及び外部からパイプを見る他の視点を必要とし得る。

当然ながら、任意の他の配置のピンホールカメラも本発明に含まれる。概ね一定密度を有する固定位置は、特にＧＰＵ支援計算システムにおいて方法の並行化を改善し、生成される画像中のノイズを低減する。生成される画像の品質は、使用される理想的な画像の数に伴って上がる。これは特に、著しいぼやけがある領域に当てはまり、その理由は、ボケを形成するデフォーカス物体点の画像が特に複雑であるためである。深度マップからの情報を使用し、これをシミュレートされるレンズのシミュレートされるフォーカス設定と比較することにより、位置の密度をヒューリスティックに適応させることが有利であることが分かった。ピンホールカメラ格子の位置は回転又はランダムに乱すこともでき、より高い画質に繋がり得る。生成される画素のヒューリスティック品質尺度にピンホールカメラの密度を静的又は動的に適応させることも有利である。

光場についての情報は、個々の理想的な画像からの情報の補間によって取得される。これは、必要とされる各波長について個々に実行してもよく、又は厳密に１つのみの波長について実行してもよく、その他の必要とされる波長の情報は微分的にそこから近似される。

画像生成のシミュレーションは、シミュレートされるセンサ１００の全ての画素又はピクセルの寄与をシミュレートすることによって実施される。このために、ピクセルの光寄与は、まず、このピクセルに入射する複数の光線について入射面３０００へのこれらの光線の入射方向を決定することによって積分される。物体１で遮光される光線は破棄される。複数の光線は好ましくは、入射面３０００が光線によって十分に均一に浸透されるように選ぶことができる。別の好ましい複数の光線は、精密に、理想的な画像が存在する位置で入射面３０００と交わるように選ぶことができる。補間された理想的な画像を光線の色及び強度に変換する場合、各画像ピクセルは異なるサイズの光錐に対応するため、加重ファクタを包含することが有利であり得る。例として、画像レコーダのちょうどエッジにおけるピクセルは、中心におけるピクセルよりも小さな角度範囲をカバーする。

このシミュレーションは好ましくは、本発明による記載のパラメータ化方法を使用して実行されるが、レイトレーシング等の他のシミュレーションを使用することもできる。

シミュレートされる各光線について、対応するピクセルでのこの光線の輝度寄与は、光線の方向、入射面３０００上の位置の知識及び光場又は近似の光場の知識から推測される。これは、それぞれ関連付けられたピンホールカメラ画像を評価することによって実施される。シミュレートされる全ての光線の輝度寄与はそれぞれ対応するピクセルで合算され、その結果、モデリングされるシーンの画像が生成される。

イメージングシステム及び入射面３０００への所与の入射点のビーム方向は、波長に依存する。光場又は近似された光場から光線の輝度寄与を決定するために、必要とされる各波長又は色で別個に計算を実行することが可能である。方向変化がごくわずかである場合、主波長に対する１つのみの計算規則を仮定し、他の波長ではこの計算規則に小さな変更を行うだけで十分であり得る。光場における相対位置はまず、主波長Ｗ１について決定され、そこから輝度寄与又は強度寄与が決定される。次いで、イメージングシステム及び入射面３０００でのシミュレートされる光線の同じ入射点で、Ｗ１で利用された相対位置は、更なる波長の正しい相対位置を探すための開始点として使用される。次いで、１つ又は複数の波長での１つ又は複数の輝度寄与を計算することができる。例として、これは、選択された波長での補間、好ましくは線形補間により実施することができる。この手順をイメージングシステムの複数の画素に適用することにより、レンズの多色収差を含むモデリングされるシーンの画像を取得することが可能である。

ビーム方向がパラメトリック光学系によって決定される精度は、その結果生成されるシミュレーション画像の品質にとって決定的である。これは、幾何光学の法則から、特に切片定理から明らかになる。イメージングシステム及び入射面３０００への同じ入射点の場合での異なる波長又は色の光線の方向差は、一次近似で線形である。選ばれるパラメトリック表現に応じて、これらの差は、変わらない全体精度でより少ない数のパラメータのセットを使用してフィッティングすることができ、その結果、パラメトリック関数の評価中、必要な計算時間が短縮される。

図１１は、抽象階段物体及びこの階段物体の関連付けられたピンホールカメラ画像に基づく画像シミュレーションの例示的な構築を概略的に示す。階段のように配置された１組の物体５６００の記録がシミュレートされ、上記物体は、個々の段がカメラ５５００から異なる距離を有するようにカメラ５５００によって記録される。段の１つはカメラのピントが合っており、一方、他の段は焦点外である。任意の小さな開口絞りで記録された階段物体５７００の画像は、無限遠視野を有するピンホールカメラ画像に対応する。この場合、個々の段は全て、同じ鮮鋭度でイメージングされる。図１２は、本発明による方法を使用した３つのシミュレーションの比較を示す。

シミュレーションから生成された画像は、実際に記録された画像と合成することによって混合し得る。本発明によれば、シミュレートされた画像は、実際に記録に使用されるレンズをシミュレートするレンズシミュレーションによって生成され、その結果生成される混合画像の画像印象は特に調和している。

本発明による解決策の概説
Ａ）第１の表面（１１０）上に配置された画像レコーダ（１００）と、レンズ（１）とを備えた光学イメージングシステムを使用してシーンの画像表現をシミュレートすることによって画像の画素の輝度寄与を生成する方法であって、
－シミュレートされるレンズ（１）の光線（８００）への効果を記述するデータを含む第１のデータ記録（１０１０）を提供するステップと、
－画像レコーダ（１００）への光線（８００）の入射点（１１１）及び仮想前面（１０１１）についてのデータを含む第２のデータ記録（１０２０）を提供するステップと、
－変換規則（９００）を提供するステップと、
－変換規則（９００）を第１のデータ記録（１０１０）及び第２のデータ記録（１０２０）に適用することにより、仮想前面（１０１１）との光線（８００）の第１の交点（１０１３）及び第１の交点（１０１３）での光線（８００）の方向を計算するステップと、
－光線（８００）の輝度寄与を決定するステップと、
－光線（８００）の計算された輝度寄与に関する情報項目を記憶するステップと、
を含み、
－第１のデータ記録（１０２０）は第２の表面（２００）についてのデータを含み、
－第２のデータ記録は、第２の表面（２００）との光線（８００）の第２の交点（２０１）についてのデータを含む、方法。

Ｂ）－レンズ（１）は、少なくとも１つの調整可能なイメージングパラメータ（１０２２、１０２３）を有し、
－第２のデータ記録（１０２０）は、レンズ（１）の少なくとも１つの調整可能なイメージングパラメータ（１０２２、１０２３）についての情報項目を含む、Ａ）に記載の方法。

Ｃ）調整可能なイメージングパラメータ（１０２３）は、レンズ（１）のフォーカス設定、焦点距離、倍率、及び／又はフィールド曲率を含む、Ｂ）に記載の方法。

Ｄ）レンズ（１）は、絞り、好ましくは開口絞り（３）を備え、
第２の表面（２００）は、絞り、好ましくは開口絞り（３）と一致する、Ａ）、Ｂ）、又はＣ）に記載の方法。

Ｅ） 調整可能なイメージングパラメータの１つ（１０２２）は、開口絞り（３）の寸法の少なくとも１つを記述する、Ｄ）に記載の方法。

Ｆ）開口絞り（３）は少なくとも概ね円形であり、第２の表面（２００）との光線（８００）の第２の交点（２０１）に関する情報項目は、正規化半径を含む、Ｅ）に記載の方法。

Ｇ）第１のデータ記録（１０１０）は、
－レンズ（１）における少なくとも１つの遮光エリア（２１０）に関連するデータ及び
－少なくとも１つの光線（８００）に対する、少なくとも１つの遮光エリア（２１０）と画像レコーダ（１００）との間に延在するレンズ（１）の一部の効果に関連するデータ
を含み、方法は、少なくとも１つの光線（８００）の輝度寄与を記憶する前、
－少なくとも１つの遮光エリア（２１０）との第３の交点（２１１）を計算するステップと、
－少なくとも１つの光線（８００）が第３の交点（２１１）によって吸収されるか、それとも透過するかをチェックするステップと、
－少なくとも１つの光線（８００）が吸収される場合、光線（８００）を破棄するか、又は輝度寄与をゼロに設定するステップと、
を含む、Ａ）～Ｆ）の何れか一つに記載の方法。

Ｈ）画像の画素を生成する方法であって、
－画像レコーダ（１００）への光線（８００）の入射点（１１１）を選択するステップと、
－第２の表面（２００）への複数の異なる第２の交点（２０１）を選択するステップと、
－第２の交点（２０１）のそれぞれについて、Ａ）～Ｇ）に記載のレイトレーシングを実行するステップと、
－生じた輝度寄与を合算するステップと、
－合算の結果を記憶するステップと、
を含む方法。

Ｊ）画像を生成する方法であって、
－画像レコーダ上の複数の画素を選択するステップと、
－Ｈ）に記載の方法を使用して、画素のそれぞれに入射する光線（８００）の輝度寄与を計算するステップと、
－結果を記憶するステップと、
を特徴とする方法。

Ｋ）第１の交点（１０１３）において仮想前面（１０１１）と交わる、このためにシミュレートされる光線（８００）のそれぞれの輝度寄与は、各事例でピンホールカメラ画像を用いて決定され、
画像の性質は、第１の交点（１０１３）のそれぞれに配置されたピンホールカメラによって生成される画像に対応するようなものである、Ｊ）に記載の方法。

Ｌ）仮想前面（１０１１）及びレンズの入射瞳は同時にシミュレートされる、Ｋ）に記載の方法。

Ｍ）第２の表面（２００）は仮想前面と一致する、Ｌ）に記載の方法。

Ｐ）ピンホールカメラ画像の少なくとも１つは、他のピンホールカメラ画像からの補間又は外挿によって計算された、Ｋ）、Ｌ）、又はＭ）に記載の方法。

Ｑ）画像を生成する方法であって、
－実際のカメラによって記録された実際の画像を提供するステップと、
－Ｋ）、Ｌ）、Ｍ）、又はＰ）の何れか一つに記載の方法により生成された仮想画像を提供するステップと、
－実際の画像の少なくとも一部と仮想画像の少なくとも一部を融合又は重ねるステップと、
－作成された画像を記憶するステップと、
を含み、
シミュレーションに使用される調整可能なレンズパラメータは少なくとも概ね、実際の記録中に使用される調整可能なレンズパラメータに対応する、方法。

Ｒ）個々の画像からなる画像シーケンスを生成する方法であって、
－仮想シーンを提供するステップと、
－仮想シーンに関連したカメラ位置を提供するステップと、
－Ｋ）、Ｌ）、Ｍ）、Ｐ）、又はＱ）の何れか一つに記載の方法の１つに従って、画像シーケンスの個々の画像を計算するステップと、
－画像シーケンスを記憶するステップと、
を含む方法。

Ｓ）コンピュータにロードされた後、Ａ）～Ｒ）の何れか一つに記載の方法を実行するのに適したコンピュータプログラム製品。

１ レンズ
２ レンズ要素
３ 開口絞り
４ マウント
５ ピクセル
１００ 画像レコーダ／センサ
１１０ センサ面
１１１ センサへのシミュレートされる光線の入射点
１１２ センサに入射した光線に関する方向情報項目
２００ 第２の表面
２０１ 第２の交点
２１０ 遮光面
２１１ 第３の交点
３００ コンピュータ
８００ シミュレートされる光線
９００ 変換規則
９０１ 仮想レンズ
１０００ 入力データ記録
１０１０ 第１のデータ記録（「仮想レンズ」）
１０１０ｒ、１０１０ｇ、１０１０ｂ 異なる色の部分データ記録
１０１１ 仮想前面
１０１２ 対称軸
１０１３ 第１の交点
１０２０ 第２のデータ記録
１０２１ シミュレートされる光線に関する情報項目
１０２２ 設定された絞りに関する情報項目
１０２３ レンズで調整可能な更なるイメージングパラメータに関する情報項目
１０２４ シミュレートされる光の波長又は色に関する情報項目
１０３０ 部分データ記録
２０００ 出力データ記録
２０１０ 入射光線
３０００ 入射面

Claims (16)

1. 第１の表面（１１０）上に配置された画像レコーダ（１００）と、レンズ（１）とを備えた光学イメージングシステムを使用してシーンの画像表現をシミュレートすることによって画像の画素の輝度寄与を生成する方法であって、
   －シミュレートされる前記レンズ（１）の光線（８００）への効果を記述するデータを含む第１のデータ記録（１０１０）を提供するステップと、
   －前記画像レコーダ（１００）への光線（８００）の入射点（１１１）及び仮想前面（１０１１）についてのデータを含む第２のデータ記録（１０２０）を提供するステップと、
   －変換規則（９００）を提供するステップと、
   －前記変換規則（９００）を前記第１のデータ記録（１０１０）及び前記第２のデータ記録（１０２０）に適用することにより、前記仮想前面（１０１１）との前記光線（８００）の第１の交点（１０１３）及び前記第１の交点（１０１３）での前記光線（８００）の方向を計算するステップと、
   －前記光線（８００）の前記輝度寄与を決定するステップと、
   －前記光線（８００）の前記計算された輝度寄与に関する情報項目を記憶するステップと、
   を含み、
   －前記第１のデータ記録（１０１０）は第２の表面（２００）についてのデータを含み、
   －前記第２のデータ記録（１０２０）は、前記第２の表面（２００）との前記光線（８００）の第２の交点（２０１）についてのデータを含む、方法。
2. －前記レンズ（１）は、少なくとも１つの調整可能なイメージングパラメータ（１０２２、１０２３）を有し、
   －前記第２のデータ記録（１０２０）は、前記レンズ（１）の前記少なくとも１つの調整可能なイメージングパラメータ（１０２２、１０２３）についての情報項目を含む、請求項１に記載の方法。
3. 前記調整可能なイメージングパラメータ（１０２３）は、前記レンズ（１）のフォーカス設定、及び／又は、焦点距離、及び／又は、倍率、及び／又はフィールド曲率を含む、請求項２に記載の方法。
4. 前記レンズ（１）は、開口絞り（３）を備え、
   前記第２の表面（２００）は、前記開口絞り（３）と一致する、請求項１～３の何れか一項に記載の方法。
5. 前記調整可能なイメージングパラメータの１つ（１０２２）は、前記開口絞り（３）の寸法の少なくとも１つを記述する、請求項２を引用する請求項４に記載の方法。
6. 前記開口絞り（３）は少なくとも円形であり、前記第２の表面（２００）との前記光線（８００）の前記第２の交点（２０１）に関する前記情報項目は、正規化半径を含む、請求項５に記載の方法。
7. 前記第１のデータ記録（１０１０）は、
   －前記レンズ（１）における少なくとも１つの遮光エリア（２１０）に関連するデータ及び
   －少なくとも１つの前記光線（８００）に対する、前記少なくとも１つの遮光エリア（２１０）と前記画像レコーダ（１００）との間に延在する前記レンズ（１）の一部の効果に関連するデータ
   を含み、前記方法は、前記少なくとも１つの前記光線（８００）の前記輝度寄与を記憶する前、
   －前記少なくとも１つの遮光エリア（２１０）との第３の交点（２１１）を計算するステップと、
   －前記少なくとも１つの前記光線（８００）が前記第３の交点（２１１）によって吸収されるか、それとも透過するかをチェックするステップと、
   －前記少なくとも１つの前記光線（８００）が吸収される場合、前記光線（８００）を破棄するか、又は前記輝度寄与をゼロに設定するステップと、
   を含む、請求項１～６の何れか一項に記載の方法。
8. 画像の画素を生成する方法であって、
   －画像レコーダ（１００）への光線（８００）の入射点（１１１）を選択するステップと、
   －第２の表面（２００）への複数の異なる第２の交点（２０１）を選択するステップと、
   －前記第２の交点（２０１）のそれぞれについて、請求項１～７の何れか一項に記載の方法を実行するステップと、
   －生じた前記輝度寄与を合算するステップと、
   －前記合算の結果を記憶するステップと、
   を含む方法。
9. 画像を生成する方法であって、
   －画像レコーダ上の複数の画素を選択するステップと、
   －請求項８に記載の方法を使用して、前記画素のそれぞれに入射する光線（８００）の輝度寄与を計算するステップと、
   結果を記憶するステップと、
   を特徴とする方法。
10. 第１の交点（１０１３）において仮想前面（１０１１）と交わる、このためにシミュレートされる前記光線（８００）のそれぞれの前記輝度寄与は、各事例でピンホールカメラ画像を用いて決定され、
    前記画像の性質は、前記第１の交点（１０１３）のそれぞれに配置されたピンホールカメラによって生成される画像に対応するようなものである、請求項９に記載の方法。
11. 前記仮想前面（１０１１）及びレンズの入射瞳は同時にシミュレートされる、請求項１０に記載の方法。
12. 前記第２の表面（２００）は前記仮想前面と一致する、請求項１１に記載の方法。
13. 前記ピンホールカメラ画像の少なくとも１つは、他のピンホールカメラ画像からの補間又は外挿によって計算された、請求項１０～１２の何れか一項に記載の方法。
14. 画像を生成する方法であって、
    －実際のカメラによって記録された実際の画像を提供するステップと、
    －請求項１０～１３の何れか一項に記載の方法により仮想画像を生成するステップと、
    －前記実際の画像の少なくとも一部と前記仮想画像の少なくとも一部を融合又は重ねるステップと、
    を含み、
    シミュレーションに使用される調整可能なレンズパラメータは少なくとも、前記実際の記録中に使用される調整可能なレンズパラメータに対応する、方法。
15. 個々の画像からなる画像シーケンスを生成する方法であって、
    －仮想シーンを提供するステップと、
    －前記仮想シーンに関連したカメラ位置を提供するステップと、
    －請求項１０～１４の何れか一項に記載の方法の１つに従って、前記画像シーケンスの前記個々の画像を計算するステップと、
    －前記画像シーケンスを記憶するステップと、
    を含む方法。
16. コンピュータにロードされた後、コンピュータに、請求項１～１５の何れか一項に記載の方法を実行させるためのプログラム。

Images