JP6023087B2 - 画像を記録する方法、画像から３ｄ情報を得る方法、カメラシステム - Google Patents

Description

本発明は、画像を記録する方法、及びその画像から３Ｄ情報を得る方法に関する。本発明は、カメラシステムにも関する。

現代の撮像技法における注目の話題の１つは３Ｄ撮像である。

３Ｄ画像を得る最も簡単な方法は、異なる視点（view points）から２つ以上の画像を撮り、その２つ以上の画像から３Ｄ画像を構築することによるものである。かかる技法は、基本的に人間の視覚系を模倣する。

この技法の不都合な点は、３Ｄ情報を作成するためにカメラが２台必要であり、２台のカメラ間の距離、それらのカメラの焦点距離、及びレンズ収差を知り、撮った画像を組み合わせる必要があることである。

単一のカメラ又は少なくとも単一のレンズを用いて、３Ｄ情報が取得されることを可能にする撮像技法が求められている。

単一のカメラ、又は静的パターンプロジェクタによって支援されるカメラしか用いないいくつかの方法が知られている。それらの方法は、三角測量ベース、焦点ぼけ（de-focus）ベース、及び飛行時間（time-of-flight）の３つのグループに分けることができる。

三角測量ベースの方法では、投影パターンと取得パターン、すなわち画像内の物体について投影パターンが与える画像との間の局所的相違から奥行きが推定される。そのようなパターンの歪みは、距離の推定を可能にする。不都合な点は、パターンが投影されなければならず、最善でも確率的推定を与え、又は実際の推定を与えない、何らかの間接的推定を可能にする推定がなされることである。

焦点深度の方法では、一定の距離にカメラの焦点が合わせられ、物体までの実際の距離の完璧な焦点距離からのずれによって引き起こされる焦点ぼけの量を局所的に計算することにより、奥行きマップが推定され得る。この場合も確率的推定が与えられ、奥行きの狂いが、物体が焦点面の前にあることに起因するのか、焦点面のさらに遠くにあることに起因するのかを区別する方法がいかなる確実性をもってもないので、原則として結果に二重性が生じる。

これとは対照的に、飛行時間方法は、カメラまでの現実的な距離の推定を与える。「飛行時間」方法では、物体が５〜５０ｎｓの光パルスで照らされる。次いで、放出パルスと反射パルスとの間の遅延を専用のカメラセンサが測定し、この遅延は物体までの距離とともに長くなる。そのようなカメラシステムの一例が、Ringbeckらによる「A 3-D time of flight camera for object detection」、Optical 3D measurement techniques 09-12.07.2007 ETH, plenary session 1: Range Imaging 1の中に記載されている。しかし、この方法は高度なテクニックを必要とし、全ての距離に適しているわけではなく、距離は典型的には数メートルから６０メートルであり、短い距離を測定するのは困難である。

したがって、画像を記録し、３Ｄ情報を得るための代替的方法が求められている。

このために、本発明の方法は、第１の画像データ及び第２の画像データが撮られ、撮像中、集束範囲にわたってフォーカススイープが行われ、フォーカススイープ中に第１の画像及び第２の画像について露光強度が異なるように変調されることを特徴とする。

露光とは１回の撮影（shot）ごとに捕捉される光の量である。最良焦点の位置は空間的高周波の最大密度に対応するので、フォーカススイープ中に露光強度を変調すること（modulating）により、実際の物体−カメラ間距離で空間的高周波が変調されることになる。それゆえ、取得画像の高周波内に奥行き（depth）情報が透かしとして入れられる。異なるように変調することにより、奥行き情報が両方の画像内で異なるように透かしとして入れられる。高周波情報を比較することによって奥行き情報を得ることができ、３Ｄ奥行きマップが計算され得る。

画像の一方について、露光は変調されていなくてもよい。その場合の変調の違いは、画像の一方が変調された露光を有するのに対し、他方が変調された露光を有さないことである。

しかしながら、好ましくは、一方の画像の変調が他方の画像の変調に対して逆にされるような方法で、両方の画像の露光が変調される。例えば、一方の画像では変調が短焦点から遠焦点に進む高露光から低露光であるのに対し、他方の画像では変調が逆である。

これにより、正確な３Ｄ情報が得られるようになる。

実施形態では、両方の画像の露光の和が一定である。

露光強度の変調は、以下のように様々な方法で行われてもよい。

シーンから捕捉される光は、光源の強度を変調することによって変調されてもよい。

捕捉される光は、カメラのレンズの前の又はセンサの前の時間変調された調光器（time modulated dimmer）によって変調されてもよい。

第１の画像及び第２の画像は、同時に並びに連続して撮られてもよい。

３つ以上の画像が撮られてもよい。これは、割と少ない光しかなく、雑音低減が重要な状況において興味深い場合がある。

画像を提供するこの方法は、生データ、すなわち、そこから３Ｄ情報が計算され得る２つの画像を提供した。

本発明は、第１の画像及び第２の画像内の高周波情報を比較し、その比較から奥行き情報を計算することによる、画像を記録する上述の方法のいずれかによって撮られる画像から３Ｄ情報を得る方法にも具体化される。

画像を提供する方法及び３Ｄ画像情報を得る方法の２つの方法は、単一の方法に統合されてもよいが、画像情報を得る方法自体が本発明の一態様の実施形態も提供する。

この方法は、そこから３Ｄ画像情報が得られるデータを提供する。この方法は、従来技術では知られていない方法で得られる１組の画像を提供する。

準備段階、すなわち第１の画像及び第２の画像の撮像は、例えばカメラによって１つの位置において撮られ、カメラ内の記憶媒体上に記憶されてもよい。画像データは後で中央処理装置に転送され、中央処理装置はデータを解析して３Ｄ情報を得る。画像データは、サイトに関連し得る中央処理装置に例えばインターネットにより無線で直接転送されてもよく、別の国に位置する中央処理装置において３Ｄ情報が取得される。そのため、画像を提供する方法及び撮られた画像から３Ｄ情報を得る方法のどちらの方法も本発明の態様である。

本発明はカメラシステムによっても具体化され、カメラシステムはレンズ、センサ、及びフォーカススイープを行うための手段を含み、カメラシステムはフォーカススイープ中に露光強度を変調するための手段を含む。

本発明のこれら及び他の態様が、例示により添付図面を参照してより詳細に説明される。

センサとレンズとの間の距離を変えることによりスイープする焦点を示す。 レンズＬの焦点距離を変えることによりスイープする焦点を示す。 センサ平面が画像平面をスイープスルー（sweep through）するときのブラーカーネルを示し、画像平面はスイープ範囲の中心に位置する。 図３に関する実際のシステムのブラーカーネルを示す。 センサ平面が画像平面をスイープスルーするときのブラーカーネルを示し、画像平面はスイープ範囲の一端の近くに位置する。 図５に関する実際のシステムのブラーカーネルを示す。 異なるように変調された露光強度により２つの画像を取得することを示す。 本発明によるカメラシステムを示す。 異なるように変調された露光強度により２つの画像を取得することを示す。 本発明によるカメラシステムの他の例を示す。 本発明によるカメラシステムの他の例を示す。 本発明によるカメラシステムの他の例を示す。 フォーカススイープ中に増加する露光強度に関する、空間周波数に対する振幅の周波数分布を示す。 フォーカススイープ中に減少する露光強度に関する、空間周波数に対する振幅の周波数分布を示す。 空間周波数に応じた振幅比を示す。 フォーカススイープにおける位置に応じた振幅比を示す。 フォーカススイープ中に異なるように変調された露光強度により、２つの画像に関して取られた画像データから距離を計算することを概略的に示す。

本発明を特定の実施形態に関して、及び一定の図面を参照して説明するが、本発明はこれに限定されず特許請求の範囲によってのみ限定される。記載する図面は概略的に過ぎず非限定的である。図面では、説明目的で一部の要素の大きさが誇張され、縮尺通り描かれていないことがある。本明細書及び特許請求の範囲で「含む」という用語が使われる場合、その用語が他の要素又はステップを除外することはない。単数名詞に言及するときに不定冠詞又は定冠詞、例えば「a」、「an」、「the」が使われる場合、別段の定めがない限りその単数名詞はその名詞の複数形を含む。

特許請求の範囲の中で使われる「含む」という用語は、その後に記載される手段に限定されるものとして解釈されるべきでなく、他の要素又はステップを除外することもない。したがって、「手段Ａ及びＢを含む装置」という表現の範囲は、コンポーネントＡ及びＢだけからなる装置に限定されるべきではない。この表現は、本発明に関して、装置の単に関連があるに過ぎないコンポーネントがＡ及びＢであることを意味する。

さらに、本明細書及び特許請求の範囲における第１の、第２の、第３の等の用語は、同様の要素を区別するために使われており、必ずしも順番又は時系列順を表すために使われるのではない。そのように使用される用語は適切な状況下で置き替え可能であり、本明細書に記載する本発明の実施形態は、本明細書で説明し又は図示する以外の順序で実施できることを理解されたい。

本発明は、スイーピングフォーカスカメラの２回の撮影による距離画像計算の新概念を提供する。スイーピングフォーカスカメラとは、画像を取得する間に集束距離を変えるカメラである。これは、センサの平行移動について図１に示すように、光軸に沿ってセンサ又はレンズを平行移動させることにより、又は図２に示すようにレンズのＦ値を変えることによって行われてもよい。

図１は、センサＳとレンズＬとの間の距離を変えることによりスイープする焦点を示す。センサが画像平面の前の位置から画像平面の後ろの位置に移動され、これにより画像平面ＩＰをスイープスルーしている。当然ながら、図１に示すようにセンサを移動させる代わりにレンズＬを移動させてもよい。

図２は、レンズＬの焦点距離を変えることによりスイープする焦点を示し、センサ平面ＳＰは１つの位置にとどまるが、レンズＬの焦点距離を変えることにより、画像平面がセンサ平面の前の位置からセンサ平面の後ろの位置に移動される。ＩＰは画像平面を表す。ＳＰは物体位置を表す。フォーカススイープは、レンズの前の位置で焦点が合う物体位置におけるスイープにも対応し、２つの間には１対１の関係があることに留意されたい。

従来の撮像ではセンサの位置が固定されており、そのため一定の公称距離にある物体だけがセンサ上に鮮明に現れる。他の距離にある物体はセンサ上で焦点がぼけて現れ、焦点ぼけの量はセンサと公称画像平面との間の距離に比例する。

「スイーピングフォーカス」カメラでは、センサ平面が様々な範囲の画像平面を露光中にスイープスルーし（図１）、あるいは、画像平面がセンサ平面の周りの様々な範囲の位置をスイープスルーする（図２）。

従来のカメラとは対照的に、物体がセンサ上にはっきりと焦点が合って現れる、カメラまでの単一の距離はない。代わりに、捕捉される画像は常にぼやける。

どちらの実装形態でも、物体の焦点が完璧に合う画像平面をセンサがスイープスルーする。したがって、ある時点においてのみ物体の焦点が合ったままとなり、残りの取得時間については多かれ少なかれ物体の焦点がぼける。焦点ぼけの量は、センサと画像平面との間の距離に直接比例する。瞬時のブラーリング（ぼやけ）（instant blurring）は、ディスク形状に近い形状をほとんどの場合に有する、レンズ口径の形を有する均一のカーネルに対する鮮明な画像の畳み込みとして表され得る。センサが画像平面をスイープスルーするとき、ブラーカーネルが空間的にスケール変更される。カーネルの半径は、センサ平面と画像平面とが一致する位置においてまず（ほぼ）ゼロまで低下し、その後再び増加する。以下、線形のフォーカススイープが検討され、ブラーカーネルＫの半径Ｒは時間ｔとともに線形に変化し、開始時と終了時のブラー半径は等しい。これは図３に示されている。図３を見ることにより、このブラー図は２つの円錐が画像平面の方を向いている形を有することが分かる。先に述べたように、時間についてのスイープは、レンズの前の位置を通る、すなわちフォーカススイープ範囲を通るスイープに対応し、したがって垂直軸はｔ（時間）及びｄ（フォーカススイープ範囲内の位置）として与えられる。システムがセンサ上にもたらす総ブラーリングは、線形に増加する半径を有するディスクカーネルについての時間的積分である。図４に、実際のシステムのブラーカーネルを示す、このシステムカーネルの図が与えられる。このシステムカーネルの形は、はっきりと焦点が合った画像に対応するディラックのデルタ（Dirac delta）と、従来のカメラのフラットディスク焦点ぼけカーネルとの中間にあることが見て取れる。垂直軸はブラーカーネルの強度であり、ｘ軸及びｙ軸は、ｘ方向及びｙ方向のブラーカーネルの程度を任意の単位で示す。

一例として、以下の設定が説明され得る。

移動センサを有するシステムであって、レンズがｆ＝１２ｍｍの焦点距離及びＦ＝１．４のＦ値を有し、これらの値はａ＝ｆ／（２^＊Ｆ）＝１２／（１．４^＊２）、約４．３ｍｍの開口半径を与える、システムを検討されたい。スイーピングフォーカス範囲は、レンズから２５０〜７５０ｍｍであると仮定する。

レンズから距離ｘにある物体は、レンズの後ろのｙ＝ｆｘ／（ｘ−ｆ）の距離においてはっきりと焦点が合うので、スイーピングフォーカス範囲は、センサ−レンズ間の距離の１２．６〜１２．２ｍｍの範囲に対応すると計算する。１０ｍｓの露光時間では、スイープ速度は（１２．６−１２．２）／０．０１＝４０ｍｍ／ｓになるはずである。スイープ距離の中心（すなわちレンズの１２．４ｍｍ後ろ）にある物体の画像では、（スイープ間隔の開始時の集束での）最大ブラー半径は、（１２．４−１２．２）^＊ａ／１２．２＝０．０７０５ｍｍ、又は６μｍピクセルを有するセンサ上では１１．７ピクセルであり、半分の大きさのピクセルでは２倍となる。当然ながら、より大きいスイープ範囲ではカーネルの大きさも変わる。

従来のカメラでは、焦点ぼけの量は、画像平面までの距離とともに線形に増加する。カメラまでのある特定の距離にある物体は鮮明に撮像されるが、物体がカメラから離れ又は近づくにつれ、ブラーリングが増加する。以下、スイーピングフォーカスカメラ設計におけるブラーの量が、物体−カメラ間の距離の変化の影響をはるかに受けにくいこと、又は換言すれば、レンズからの距離がどのようなものであれ、どんな物体でもブラーが多かれ少なかれ同じであることを示す。

物体までの距離が公称とは異なるが、依然としてスイープ範囲内にある（すなわち正確に中間ではないとはいえ画像平面がフォーカススイープの一端に近くにあるが、カメラがスイープ中に物体の画像平面を横切る）事例を検討されたい。この事例は、センサが実際の画像平面を横切る瞬間のテンポラルオフセットをもたらす。したがって、実際の画像平面の近くにある２つの部分からなる円錐のブラー図の形は同じままだが、開始時及び終了時のブラー半径は異なる（図５参照）。図６は、システムカーネルを示す上記の図４と似ている。

図４及び図６に示すシステムカーネルは点光源によって与えられるブラー画像であり、したがって関数は点広がり関数（すなわち点が複合画像にわたってどのように散らばるか）とも呼ばれる。

カメラまでの距離に関係なく、物体位置がフォーカススイープに対応する範囲内にある限り、各物体は、ある瞬間においてはっきりと焦点が合って現れ、さらに、この時間の前後で、物体が同じブラー効果を受けると考える。各瞬間のブラーカーネルのエネルギーは一定であることに留意されたい。物体がその画像平面に近いとき、はっきり合う焦点の瞬間がディラックのデルタカーネルに対応するように、フィルタエネルギーが高度に集中される。時空間積分領域のこの部分は、時間積分の結果を支配する。したがって、カメラまでの距離にほぼ関係なく、物体がセンサ上で同様にぼやける。

スイーピングフォーカスカーネルの最も優れた利点の１つは、その応答が周波数応答において「ゼロ」を有さないことであり、そのため、あらゆる空間周波数についてその逆演算が存在し、よってスイーピングカーネルは、明確に定義されコンパクトな逆フィルタを可能にする。標準のカーネルではこれは不可能である。これにより、スイープ範囲の全体にわたって焦点が合った画像が作成できるようになる。

しかしながら、単一のスイープに由来するほとんど奥行きが不変のブラーカーネルからは、いかなる精度でも奥行きを推定することができない。実際にスイーピングフォーカス手法は、何よりもまずあらゆる奥行きにおいて焦点が合った画像を画像から抽出する可能性を与えるために開発されている。したがって、奥行き情報を与えることは、スイーピングフォーカス手法を用いる非常に基本的な理由とは実際には逆の目標なので、スイーピングフォーカスカメラを使用することは、信頼できる奥行き情報を得る希望をそれほど与えないように思われる。

しかしながら、本発明者らは、フォーカススイープ中に露光を変調することにより、フォーカススイープ手法を用いて取得画像内に高周波の透かしを入れることが可能だと気付いた。スイーピングフォーカスカメラで撮られる２つの画像において露光強度を異なるように変調することにより、奥行き情報を抽出することが可能である。さらに、全焦点画像を依然として再構成することも可能である。そのため、最も満足のいく２つの世界を達成することができ、あらゆる距離において焦点が合った画像を作成することができ、加えて、フォーカススイープ距離内のあらゆる距離における奥行き情報を得ることができる。

変調される露光はいくつかの異なる方法で実施されてもよく、そのうち以下のものを例として与えることができる。
１）一定速度のフォーカススイープの代わりに、指数関数的加速又は一定の加速を用いる（集束距離が時間の指数関数として変化する）ことであり、指数関数的加速では、フォーカススイープ速度が時間の関数として指数関数的に増減し、一定の加速では、フォーカススイープが時間とともに線形に増減する。
２）一定のスイープ速度のフォーカススイープとともに口径を変調すること。
３）一定のスイープ速度のフォーカススイープとともに周囲照明を変調すること。
４）一定のスイープ速度のフォーカススイープとともに光の透過を変調すること。
５）上記のものの任意の組合せ。

カメラシステムに関するいくつかの実施形態、及び奥行きマップを抽出するための実施形態を以下で説明する。

全ての実施形態において、画像輝度、すなわち、焦点位置当たりの露光が、光源又はシャッタを制御することによって直接修正され、又はシステムがある位置に焦点を合わせる時間を変えることによって修正される。輝度は、１組の限られた波長によって変調されてもよい（色を使った透かし入れ）。

図７は、２つの画像を撮ることを示す。ステップ７１、７２で、第１の画像の取得が開始される。図１では、これはシャッターボタンを押すことによって行われる。当然ながら、この取得プロセスを開始するためにボタンを押す以外の手段が用いられてもよい。例えば野生の動物の画像を撮るための動き検出、又は交通違反の画像を撮るための車のスピード違反検出がこの取得を開始し得る。ステップ７３で、指数関数的加速とともにスイープの初めから終りまで、画像１を取得するためにフォーカススイープされる。指数関数的加速は、スイープにわたりある値から終了値まで指数関数的に増加するスイープ速度をもたらす。露光中、システムはスイープ速度が遅いフォーカススイープの開始近くでその時間のほとんどを消費する。しかしながら、実際には時間尺度ｔ、ｄが変えられているので、これは単に図５の再現ではない。画像の取得が終了し（ステップ７４）、画像が保存される（ステップ７５）。ステップ７６から８０で、同じ手順が真逆に（すなわち指数関数的加速とともに終了位置から開始位置にフォーカススイープすることにより）繰り返される。このプロセスの第２の部分の間、システムは、画像２を取得する際にスイープ速度が遅いフォーカススイープの終了近くでその時間のほとんどを消費する。このようにして２つの画像が取得される。この例では指数関数的加速が使用されるが、他の例では一定の加速が用いられてもよい。

したがって、画像１及び画像２を取得する間、露光が変調され、一方の画像では露光のほとんどが画像平面を横切る前に行われ、他方の画像では逆に行われる。この例では、フォーカススイープが指数関数的加速によって行われる。指数関数的加速は、一定ではないが、時間とともに指数関数的方法で変化するスイープ速度をもたらす。当然ながら、スイープ速度は別の時間関数でもよい。そのような１つの改変形態は、スイープ速度の一定の加速を用いることであり、その場合、スイープ速度は時間とともに線形に増減する。好ましくは、いかなる改変形態であれ、一方の画像ではスイープの一端から反対側にスイープ速度が増加し、もう一方の画像ではその逆である。

スイープ速度を制御するための代替形態は、両方の画像を撮るために一定のスイープ速度が用いられるが照明が異なる設定を使用することである。

図８及び図９にそのような実施形態を示す。図９では、画像１及び画像２を取得するためのスイープ速度が同じかつ一定である。ステップの番号を付け直したことは別にして、図７の方式との唯一の違いは一定の速度でフォーカススイープされることである。一定のスイープ速度で２つの画像を撮ることは、何か特別なことがなされない限り、奥行き情報を抽出する可能性を与えない。

しかしながら、図８が示すように、本システムは、カメラＣ、フォーカススイープのためにその焦点距離が調整され得るレンズＬを有する。本システムは、レンズの焦点距離を調整するための手段８１を有する。実際に、自動／フォーカスを有するカメラは、フォーカススイープして正しい焦点距離を見つけるための手段を既に有する。本システムはさらに、ランプ８３による画像の照明を手段８２によって調整する。照明の強度が調整され、その結果、照明の強度はステップ９８中とステップ９３中とで異なるように変調される。例えば、照明は、例えば指数関数的に増加するように調整されるが、スイープの初めから終りまで別の時間の関数でもよい。その結果、ステップ９３、したがって、画像１ではスイープの終了位置の近くで照明が最も顕著となるのに対し、ステップ９８、したがって、画像２では開始位置の近くで照明が最も顕著となる。

別の言い方をすれば、焦点が合っている近くの物体に開始位置が対応し、焦点が合っている遠く離れた物体に終了位置が対応する場合、画像１では遠く離れた物体がよりハイライトされるのに対し、画像２では近くの物体がよりハイライトされる。

図１０は、図８の方式に対する改変形態を示す。照明にパターンを伝えるための手段１０４がランプ１０３の前に設けられる。

図１１は、図８の方式に対する改変形態を示す。照明を調整する代わりに、変更され得る透明度を有するプレート１１３により、レンズＬに入る光が調整される。そのような設定は、例えば、照明が太陽のように制御不能な光源によるものである屋外のシーンで使用され得る。

制御可能な透明度を有するかかる手段は、レンズとセンサとの間で使用されてもよく、図１２では、センサＳの前にある手段１２３によって概略的に図示されている。

先の例は、２つの画像が連続して撮られる例を全て示している。多くの好ましい実施形態がそのような方法で機能するが、これは本発明を実行する唯一の方法ではない。

図１２のシステムは、制御可能な透明度を有する手段を使うことにより、２つの画像が同時に撮られることを可能にするように構成されてもよく、各ピクセル、ライン、又は画像の一部の透明度が制御されてもよく、例えば奇数及び偶数のラインでは、ラインの組の１つに対するフォーカススイープ中は透明度が低から高に移り、残りの組のラインに対するフォーカススイープ中は高から低に移るように透明度が制御される。当然ながらこの方式は、例えばピクセルが２つのグループに分けられ、その２つのグループがセンサ上でチェッカーボードを形成するチェッカーボード手法によってさらに洗練され得る。

その結果、２つの画像が同時に撮られる。

この方式に対する改変形態は、単一のレンズと、１つの画像を２つの画像に分割する分割ミラーとを使用することであり、それらの画像は別々のセンサに送られ、センサのそれぞれについて制御された透明度を有する手段が設けられ、フォーカススイープ中にプレートの透明度が変調され、センサの一方ではフォーカススイープ中に低下し、他方ではフォーカススイープ中に増加する。

２つの画像を相次いで撮ることは、画像間の画像の変化が小さい場合に有利である。利点は、２つの画像が非常に正確に相関され得ることである。２つの画像を同時に撮ることは、センサ上の位置が一致することを確実にする追加のステップを提供する。ただしこのような設定は、比較的速く移動する物体の画像が撮られる場合に有利である。

フォーカススイープ中に異なるように変調された露光で２つの画像を撮ったら、次にとるべきステップは、２つの画像から奥行き情報を抽出することである。

シーンの奥行きマップは、１対の異なるように変調されたフォーカススイープ画像から計算され得る。さらに、奥行きマップ（及びその誤り限界）は１対の画像から較正によって直接計算されてもよく、これは、完全に間違った奥行きマップを与える可能性があり、又は２つの異なる奥行きを区別することさえできない可能性がある、焦点深度による奥行きの推定など、一般に使用される「確率論」的方法に優る利点である。

これを示すために、図１３Ａ及び図１３Ｂは、空間周波数成分の測定値、すなわち、いくつかの状況についてのスペクトルプロットを示し、図１３Ａでは増加する露光が使用され、図１３Ｂでは減少する露光が使用される。増加する露光は、スイープ終了時に露光が最も高いのに対し、スイープ開始時には露光が最も低いことを意味し、減少する露光はその逆を意味する。

これらの線は、撮られた物体の画像に関する分布を示す。凡例は物体位置を示す。「中心」という表示は、物体がスイープ中にスイープ範囲の中心に位置していたことを意味する。物体が中心位置にあり、焦点が合っている場合、フォーカススイープ範囲のいずれかの端にある物体は、最大ブラー効果の約１００％を受ける。０．８という数は、フォーカススイープの終り近くの位置に物体があったことを意味し、前述の物体の焦点が合っている場合、「中心」位置にある物体は最大ブラー効果の８０％を受け、−０．８という数は、フォーカススイープの始まり近くに対称的に位置する物体に対応する。

図１３Ａは、フォーカススイープ中に増加する露光強度について、高空間周波数成分がスイープ範囲の終り近くに位置する物体について最大であり、フォーカススイープの反対側に位置する物体については最低であることを示す。フォーカススイープの始めは強度が低く、そのためフォーカススイープの始まり近くに位置する物体は限られた高周波成分しか有さず（それらの物体は限られた光量しか受け取らず）、フォーカススイープの終り近くでは露光強度が高く、物体は大量の高周波成分を有する。

図１３Ｂは、フォーカススイープ中に減少する露光について、逆のことが言えることを示す。

グラフ１３Ａの結果をグラフ１３Ｂの結果で除算することは、図１４Ａに示すグラフをもたらす。（水平軸上に与えられる）空間周波数の関数として、絶対振幅比の対数は小さい空間周波数では著しく変化するが、垂直の点線によって概略的に示される空間周波数よりも高い空間周波数では、多かれ少なかれ比較的小幅のうちにあり、一定である。高周波部分ではこの比率がほとんど周波数に関係なく、すなわち、フォーカススイープ範囲内の位置、したがってレンズの物体までの距離だけに依存することが見て取れる。スイーピングフォーカスカーネルの形はスケールの影響を受けない。

図１４Ａは、比率が平らになる周波数パーセンテージの兆候（indication）を大まかに示す。高空間周波数は、空間波長がブラーカーネルサイズの約１０％より小さい空間周波数に対応する。したがって、ブラーカーネルが６０ピクセルのサイズをセンサ上で有する場合、最も高い空間周波数は６０サイクル／カーネル、すなわち１ピクセルの空間波長を有するディテール（detail）であり、最低は全体的なディテール、すなわち１サイクル／カーネルである。高空間周波数と低空間周波数との間のカットオフ（cut-off）は、この例ではブラーカーネルサイズの約１０％、すなわち約６サイクル／カーネル、約６から１０ピクセル以下のディテールにある。上記で述べたように、ブラーカーネル自体はスケールの影響を受けず、そのためあらゆる測度が有効ブラーカーネルサイズに対応する。区切りは、使用される変調、ブラーカーネルサイズの約６％から１０％前後にある程度依存して存在する。特定のカメラシステムでは、図１４Ａのグラフは、高空間周波数と低空間周波数との間の変わり目、すなわち周波数範囲であって、それより上で比率が奥行きに関する優れた測度である、周波数範囲を見つけるために計算され得ることを述べておく。

図１４Ｂは、水平軸上のフォーカススイープにおける物体位置Ｐの関数として、この空間周波数不変比率Ｒの対数を垂直軸上にプロットする。

この比率は、フォーカススイープ範囲内の物体位置、すなわち、レンズまでの距離ｄの関数であることが見て取れる。

この例では指数関数的に増加する露光により、スイーピングフォーカスカメラで取得される画像の高周波エネルギーが、

としてパーセバルの等式に従って概算されてもよく、ただし、Ｆ_Ｈ（ω）は高域フィルタのフーリエ変換であり、Ｆ_ＳＦ１（ω）は、増加する露光に対応するスイーピングフォーカスブラーカーネルのフーリエ変換であり、Ｆ_{ｉｍａｇｅ}（ω）はテクスチャのフーリエ変換であり、Ｆ_Ｎ１（ω）は画像１内の相加性雑音のフーリエ変換である。指数関数的に減少する露光により、スイーピングフォーカスカメラで取得される画像の高周波エネルギーは、

として同様に概算されてもよく、ただし、Ｆ_ＳＦ２（ω）は、減少する露光に対応するスイーピングフォーカスブラーカーネルのフーリエ変換であり、Ｆ_Ｎ２（ω）は画像２内の相加性雑音のフーリエ変換である。

図１４Ａに示すように、高周波について次式が成立し、

ただしＦ（ｄ）は、距離ｄにおける瞬時の照度間の比率である。Ｆ（ｄ）は、物体−カメラ間の距離に依存する関数であり、周波数ωには依存しないことに留意されたい。スイープが指数関数的である場合、Ｆ（ｄ）も指数関数的であり、Ｌｏｇ（Ｆ（ｄ））は、図１４Ｂに示すようにｄの線形関数である。したがって、画像の高周波エネルギー間の比率について次式が成立し、


ただし、Ｓはテクスチャの高周波エネルギーであり、η_１、η_２は第１の取得及び第２の取得における雑音エネルギーである。テクスチャからの信号が雑音レベルよりもはるかに高い、すなわちＳ＞＞η_１、η_２が成立する場合、又は両方の画像内の雑音のエネルギーがほぼ等しい場合、次式が成立する。

したがって、高周波成分の比率をとることは、物体までの距離の信頼できる推定をもたらす。実験ＩＤ（Experiments ID）は、畳み込みが特定の画像座標の周りの小さいウィンドウに限定される場合、提案される方法がカメラまでの可変距離を有する物体にも機能することを示す。上記の例は、指数関数的に変化するスイープ速度について与えられた。しかし、線形に変化するスイープ速度でもほぼ同じ結果が得られる。

好ましくは、２つの露光の和が一定である。

この条件が保たれる場合、画像の全ての部分が鮮明な全焦点画像である画像を（逆の点広がり関数でフィルタすることにより）もたらすように、２つの画像を合計することができる。

そのため、スイープ範囲の中心をｘ＝０としてとり、好ましくはｆ（ｘ）＋ｆ（−ｘ）＝定数（一定）が成立し、ただしｆ（ｘ）及び（ｆ（−ｘ））はスイープ範囲の中心の両側における露光強度である。

一定のスイープ速度を使用し、スイープ中に照明又は透明度を変える場合、この式は比較的容易に得ることができる。

指数関数的なスイープでは、以下の高周波の振幅が得られ、
ｅｘｐ（Ａｘ）＋ｅｘｐ（−Ａｘ）、ただし、ｘ＝０はスイープ範囲の中心に対応する。

ｅｘｐ（Ａｘ）＋ｅｘｐ（−Ａｘ）は、ｘの狭い範囲についてのみ一定に近く、ｘは同じく指数関数的挙動、すなわちＡの値に依存する。

２つの指数関数的露光の、フィルタされ合計された画像では、スイープ範囲の境界において物体の僅かな過度の鮮明化があり、すなわちフォアグラウンド及びバックグラウンドにある物体は、スイープ範囲の中心にある物体よりもある程度鮮明になる。

指数関数的露光変調及び線形露光変調はどちらもｘ＝０における等式に近いが、そのどちらも、線形変調が指数関数的露光変調よりも概して一定の鮮明化を実現するとはいえ、全範囲には最適でない。

露光はスイープ速度に反比例するので、線形の又は指数関数的な露光は、好ましくは可能な最大スイープ速度に対応する０を超える低値から始まる。他の実施形態（グローバルシャッターの変調された光源）では、露光が０から始まってもよい。

図１５は、これを概略的に示す。ステップ１５１、１５２で、各画像、画像１及び画像２が空間的高域フィルタによって畳み込まれ、ステップ１５３及び１５４で、そのようにフィルタされた値が２乗され（又はその絶対値がとられ）、ステップ１５５及び１５６で、それらの値が低域フィルタされる。結果は、（画像１については）高周波エネルギーｅ１、及び（画像２については）ｅ２である。ステップ１５９で奥行きマップＤＭを作成するためにこれらの結果が使用される。図１４Ａ、図１４Ｂ、図１５Ａ、及び図１５Ｂに対応する例では、比率ｅ１／ｅ２の対数がとられ、ステップ１５８においてルックアップテーブルＬＵＴ内で奥行き値を探索するためにこの対数が使われ、この対数はレンズまでの距離、したがって、奥行きマップを与える。指数関数的なスイープでは、比率ｅ１／ｅ２の対数は物体距離ｄの線形関数を与え、したがって、ＬＵＴは線形マッピングに単純化され得ることに注目されたい。奥行きマップが高周波エネルギーの比率の関数である場合、例えば、比率ｅ１／ｅ２から奥行きマップＤＭを直接探すためにＬＵＴを使用することや、スイープが指数関数的とは異なり、ｅ１／ｅ２の関数として距離を表すことができる場合、比率ｅ１／ｅ２から奥行きマップを直接計算することなど、様々な方法が使用され得ることが明らかである。

本発明は、計算装置上で実行されるときに本発明による方法のいずれかの機能を提供するコンピュータプログラム製品も含む。

かかるコンピュータプログラム製品は、プログラム可能プロセッサによって実行されるための機械可読コードを運ぶ搬送媒体によって有形に具体化され得る。したがって本発明は、計算手段上で実行されるとき、上記の方法のいずれかを実行するための命令を提供するコンピュータプログラム製品を運ぶ搬送媒体に関する。「搬送媒体」という用語は、任意の機械可読信号記憶媒体など、実行用の命令をプロセッサに与えることに関与する任意の媒体を指す。そのような媒体は、これだけに限定されないが、不揮発性媒体や伝送媒体を含む多くの形をとることができる。不揮発性媒体は、例えば大容量記憶域の一部である記憶装置など、光ディスクや磁気ディスクを含む。コンピュータ可読媒体の一般的な形態は、ＣＤ−ＲＯＭ、ＤＶＤ、フレキシブルディスク、フロッピディスク、テープ、メモリチップ、カートリッジ、又はコンピュータが読取可能な他の任意の媒体を含む。実行用に１つ又は複数の命令の１つ又は複数のシーケンスをプロセッサに運ぶ際、様々な形態のコンピュータ可読媒体が関与してもよい。コンピュータプログラム製品は、ＬＡＮ、ＷＡＮ、インターネットなどのネットワーク内の搬送波を介して伝送されてもよい。伝送媒体は、電波データ通信や赤外線データ通信中に生成されるものなど、音波又は光波の形をとることができる。伝送媒体は、コンピュータ内のバスを構成する線を含む、同軸ケーブル、銅線、及び光ファイバを含む。コンピュータはカメラなどの撮像装置に組み込まれてもよく、又はカメラが撮像し、後で処理されるようにそれを記憶し、又は有線若しくは無線によって画像データをコンピュータに伝送してもよく、そのコンピュータ内では奥行きマップを抽出するために画像データが処理される。

特許請求の範囲内で他の改変形態が考えられる。

例えばこの例において、露光の変調の違いは、画像のうちの１つでは露光が増加する一方で、他の画像では露光が減少するものである。この実施形態は、高周波成分の比率をとることにより高精度を可能にするので、好ましい実施形態である。しかしながら、一方の画像を変調し、他方を変調しないことも可能である。そこで図１４Ｂに概略的に示すのと同様の比率をとる場合、依然として同じ結果を得ることになるが（すなわち比率は距離だけに依存する）、値は半分しかなく、その結果精度が低下する。

実施形態では２つの画像しか撮られない。これは本発明の最も広い意味に対する制限ではなく、それぞれが異なる変調を伴う３つ以上の画像が撮られてもよい。例えば、露光が変調された２つの画像と一定の露光による１つの画像を使うことができる。又は低下する露光の２つの画像と増加する露光の２つの画像だが、異なる増加率を有する４つの画像を撮ることができる。こうすることはシステムに冗長性を加え、たとえデータ取得チャネルの１つが故障しても意味のある奥行きデータが得られることを可能にする。

要約すれば、本発明の様々な態様は以下のように説明され得る。

２つ以上の画像が撮られ、撮像中にフォーカススイープが行われる。露光強度がフォーカススイープ中に変調され、それらの画像に対して異なるように変調される。この変調は、画像内に奥行き情報の透かしを入れることを可能にする。スイープ中の露光の違いは、画像内に奥行き情報の透かしを異なるように入れる。これが本発明の一態様である。画像を比較することにより、画像の奥行きマップが計算され得る。これが本発明のもう１つの態様である。本発明のカメラシステムは、レンズ、センサ、フォーカススイープを行うための手段、及びフォーカススイープ中に露光強度を変調するための手段を有する。露光強度の変調は、光源若しくはフォーカススイープを変調することにより、又は光路内の透明体の透明度を変調することによって行われ得る。

本発明によるカメラシステムは、好ましい実施形態では、スイープ範囲の中心を設定し、スイープ範囲の程度を設定するための手段を備える。こうすることで、レンズからの特定の距離の周辺における、特定の奥行き範囲に関する３Ｄ情報をより効率的に集めることが可能になる。

Claims (17)

1. 撮像中、フォーカススイープ範囲にわたってフォーカススイープが行われて、少なくとも第１の画像及び第２の画像が撮られ、前記フォーカススイープ中に時間に応じて前記第１の画像及び前記第２の画像について露光強度がそれぞれ異なるように変化することで変調される、３Ｄ情報を得るための画像を記録する方法。
2. 前記フォーカススイープは、レンズと画像を記録するセンサとの間の距離を変化させることにより行われる、請求項１に記載の画像を記録する方法。
3. 前記露光強度が、前記フォーカススイープ中に時間に応じて前記フォーカススイープの速度を変調することによって変調され、前記変調は前記第１の画像及び前記第２の画像で異なる、請求項１に記載の画像を記録する方法。
4. 前記露光強度が、前記フォーカススイープ中に光源の時間変調によって変調され、前記時間変調は前記第１の画像及び前記第２の画像で異なる、請求項１に記載の画像を記録する方法。
5. 前記露光強度が、前記フォーカススイープ中に光路内の透明手段の透明度の時間変調によって変調され、前記時間変調は前記第１の画像及び前記第２の画像で異なる、請求項１に記載の画像を記録する方法。
6. 前記画像がレンズを介して撮られ、前記レンズの前に前記透明手段が設けられる、請求項５に記載の画像を記録する方法。
7. 前記画像がレンズを介して撮られ、センサによって記録され、前記透明手段が前記レンズと前記センサとの間の前記光路内に設けられる、請求項５に記載の画像を記録する方法。
8. 前記第１の画像及び前記第２の画像の一方の画像の前記変調が前記第１の画像及び前記第２の画像の他方の画像の前記変調に対して逆にされるような態様で、両方の画像の露光が前記フォーカススイープ中に時間に応じて変調され、前記第１の画像及び前記第２の画像の和に対する露光が前記フォーカススイープにわたってほぼ一定である、請求項１乃至７の何れか一項に記載の画像を記録する方法。
9. 第１の画像及び第２の画像内の高周波情報を比較することと、前記比較から奥行きマップを計算することとにより、請求項１乃至８の何れか一項に記載の画像を記録する方法によって撮られる画像から３Ｄ情報を得る方法。
10. コンピュータ上で実行されるときに請求項１乃至９の何れか一項に記載の方法を実行するための、コンピュータ可読媒体上に記憶されるプログラムコード手段を含む、コンピュータプログラム。
11. コンピュータ上で実行されるときに請求項１乃至９の何れか一項に記載の方法を実行するための、処理手段を含むコンピュータ構成によってロードされる、コンピュータプログラム。
12. レンズ、画像を記録するセンサ、及びフォーカススイープを行うための手段を含むカメラシステムであって、前記カメラシステムは、前記フォーカススイープ中に時間に応じて露光強度を変調するための手段を含み、
    前記変調するための手段が、前記フォーカススイープ中に取る第１の画像及び第２の画像について露光強度がそれぞれ異なるように変化させる、３Ｄ情報を得るための画像を記録するカメラシステム。
13. 前記フォーカススイープを行うための手段が、前記レンズと前記センサとの間の距離を変化させることにより前記フォーカススイープを行う、請求項１２に記載のカメラシステム。
14. 前記カメラシステムが光源を含み、前記変調するための手段が、前記フォーカススイープ中に前記光源の前記強度を時間変調するための手段である、請求項１２に記載のカメラシステム。
15. 前記カメラシステムが、前記レンズの前に又は前記レンズと前記センサとの間に透明なプレートを含み、前記変調するための手段が、前記フォーカススイープ中に前記透明なプレートの透明度を時間変調するための手段である、請求項１２に記載のカメラシステム。
16. 前記カメラシステムが、単一のフォーカススイープ中に第１の画像及び第２の画像を同時に撮り、前記変調するための手段が、前記第１の画像及び前記第２の画像について前記露光強度を異なるように変調する、請求項１２に記載のカメラシステム。
17. 前記カメラシステムが、連続したフォーカススイープ中に第１の画像及び第２の画像を連続して撮り、前記変調するための手段が、前記第１の画像及び前記第２の画像について前記露光強度を異なるように変調する、請求項１２に記載のカメラシステム。