JP5762356B2 - 焦点に基づく動的シーンの深度再構成のための装置および方法 - Google Patents

Description

この発明は、包括的にはビデオ再構成に関し、より詳細には、深度および拡張被写界深度（ＥＤＯＦ）ビデオを再構成するための装置および方法に関する。

カメラは至る所にある。数十億台もの携帯電話カメラ、５億台を超える監視カメラ、車内カメラ、および家庭用カメラが存在する。大抵の場合に、それらのカメラは、受動的なデバイスであり、ビデオを録画するにすぎない。これにより、取得されたビデオの大部分は、処理されないままである。情景解釈を自動化することに向けての主な障害は、シーンを理解する上で極めて重大である３Ｄ情報の不足である。従来のビデオカメラを、ビデオの取得中に意味のある３Ｄ情報を提供できるように適合させることが望ましい。

可変焦点によってカメラを３Ｄ化する
大部分の最新のカメラは、自動焦点、可変焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）およびズームなどの機構を備えており、その機構のすべてが焦点距離（ｆｏｃａｌ ｄｉｓｔａｎｃｅ）の変更を必要とする。残念なことに、カメラのこの能力は、十分に活用されていない。通常、自動焦点は、対象物に焦点が合っている画像を得るためにしか用いられない。

デプス・フロム・デフォーカス（ＤＦＤ（ｄｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ）：焦点ぼけからの深度計算）
深度を推定するためのデプス・フロム・デフォーカス（ＤＦＤ）解析は、ステレオ解析に必要とされる対応問題（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｐｒｏｂｌｅｍ）を回避するので、動きからのステレオおよび構造解析よりも、はるかに有利である。ＤＦＤがステレオよりも優れている別の利点は、ＤＦＤでは、１台のカメラしか必要としないことである。

ＤＦＤを解決するためのいくつかの方法が既知である。通常、それらの方法は、データ項および空間正則化項を含む費用関数を最小にする。データ項は、テクスチャが深度に対応する既知の焦点距離の関数としていかにぼけるかを抑制する。正則化項は、シーンの深度マップ内の空間的な平滑度制約をモデル化する。しかしながら、すべての既存の方法は、カメラおよびシーンが静止していると仮定する。これらの方法は、いずれも動的シーンの場合にＤＦＤを用いることができない。定義されるように（Ａｓ ｄｅｆｉｎｅｄ）、動的シーンは、シーンの動きおよび／またはカメラの動きのいずれかを有する。

可変被写界深度撮像
撮像システムの被写界深度（ＤＯＦ）は、アパーチャを小さくすることによって拡張することができる。しかしながら、これは、カメラセンサによって受光される光の量を少なくするので、結果として信号対雑音比（ＳＮＲ）が低くなる。アパーチャを大きくする場合には、センサ雑音は減少するが、それと引き換えにＤＯＦが小さくなる。

理想的には、大きなＤＯＦが望ましいが、センサ雑音は低くしたい。センサ雑音とＤＯＦとの間のこの根本的なトレードオフを克服するいくつかの方法が既知である。たとえば、アパーチャにおける広帯域マスクによって、ぼけの点像分布関数がより良好に機能する。これにより、計算によってぼけを除去し、ＤＯＦを拡張できるようになる。

ＤＯＦは、レンズの近くに立方位相板を挿入することによって、または露出時間中にセンサを動かすことによって大きくすることもできる。いずれの方法においても、取得された画像がぼけるが、ぼけカーネルは、深度から独立しているので、ぼけ除去方法を用いて、ぼけを除去することができる。

ＤＦＤの基本および限界
カメラが或るシーンから光を取得し、その光をセンサに投影する。或るシーンの焦点が合っている部分は、薄レンズの法則（ｔｈｉｎ ｌｅｎｓ ｌａｗ）

によって与えられる深度（ｓ_０）にある。ただし、Ｆ_ｌはレンズの焦点距離であり、νはレンズとセンサとの間の距離である。距離ｓ≠ｓ_０にあるシーン点は、像平面内に錯乱円（ａ ｃｉｒｃｌｅ ｏｆ ｃｏｎｆｕｓｉｏｎ（ｂｕｌｒ））を有する。この錯乱円（ｂｌｕｒ ｃｉｒｃｌｅ）内の光の分布は、点像分布関数（ＰＳＦ）と呼ばれる。ＰＳＦは、半径σを有する円板であり、その半径は、シーン点の深度に依拠する。

ただし、Ｄはレンズ口径である。

通常のＤＦＤ法は、種々の焦点設定において取得された一連のＭ個のフレームＦ_ｊ（ビデオ）からなる焦点スタックＦ＝｛Ｆ_１，Ｆ_２，・・・，Ｆ_Ｍ｝を取得する。すなわち、この技術分野において既知であるような焦点スタック内の画像が、本質的に、異なる焦点深度または焦点面において取得される。

従来のＤＦＤ法における基本的な仮定は、シーンおよびカメラが静止していることである。動的シーンは、ＤＦＤの対応誤りを引き起こし、結果として深度およびテクスチャに誤差が生じる。拡張ＤＯＦ（ＥＤＯＦ）画像では、その誤りは、移動物体の複数のコピーとして現れ、一方、深度マップにおいては、動きのあるシーンの部分の上、および周囲に偽の（ｓｐｕｒｉｏｕｓ）深度エッジが存在する。

これらの従来技術の問題を修正することが望ましい。

従来のデプス・フロム・デフォーカス（ＤＦＤ）法は、ビデオを取得している間、カメラおよびシーンが静止していると仮定する。この発明の実施の形態は、ＤＦＤを動的シーンに適用し、深度マップおよび拡張ＤＯＦビデオを生成する方法を記述する。

正確なオプティカルフロー（ＯＦ）が与えられると、フレームの焦点スタック（Ｆ）をワープして仮想静的焦点スタックを得ることができ、その仮想静的焦点スタックにＤＦＤ法を適用することができる。

変化する焦点ぼけがある場合に、正確なＯＦを取得することは難しい作業である。焦点ぼけ変動は、オプティカルフローを推定する際に本質的な偏りを引き起こす。

この発明によれば、変化する焦点ぼけが存在する場合でも、これらの偏りが正確に処理され、ＯＦが求められる。これにより、従来の３０ｆｐｓビデオカメラを、並置された３０ｆｐｓの撮像デバイスおよび距離センサに変換するシステムおよび方法がもたらされる。

さらに、距離および画像情報を抽出できることによって、取得された画像の被写界深度を拡張または縮小し、取得後のデジタルリフォーカスを実行するなど、芸術的な被写界深度効果を有する画像をレンダリングすることができるようになる。

この発明の実施の形態１による、深度および拡張被写界深度ビデオを再構成するための方法の流れ図である。 この発明の実施の形態１によるビデオカメラの概略図である。

実施の形態１．
この発明の実施の形態１は、ビデオカメラによって取得された一連のフレームから深度および拡張被写界深度（ＥＤＯＦ）ビデオを再構成するための方法を提供する。本明細書において、用語「フレーム」および「画像」は、交換可能に用いられる。

動的シーンにおけるＤＦＤ
この発明では、従来のデプス・フロム・デフォーカス（ＤＦＤ）法を、動的シーン、すなわち、カメラまたはシーンのいずれか、または両方に動きがあるシーンを処理するように適合させる。この発明では、焦点スタックＦ内のフレームＦ_ｉと他のすべてのフレームとの間の動き情報を有するものと仮定する。直観的に、この情報を用いて、フレーム｛Ｆ_ｊ｝をＦ_ｉにワープすることができる。ただし、ｊ＝１〜Ｍである。

これは、時刻ｉに対応する仮想静的焦点スタックＺ_ｉを生成する。仮想静的焦点スタック内で動きが補償されているので、シーン点はすべて対応状態にある。その際、この発明による仮想静的焦点スタックから、時刻ｉの深度マップおよびテクスチャマップを得ることができる。

これらのマップを得るために、空間情報または時間情報がトレードオフされていないことは、注目に値する。動き推定における中心的な問題は、複数のフレームにわたって、変化する焦点外れぼけが存在することである。

２つの画像間のオプティカルフロー（ＯＦ）を求めるための従来の動き推定法は、明るさの恒常性の仮定に依存する。

ただし、（ｘ，ｙ）はピクセル位置であり、ｔは時刻であり、（δｘ，δｙ）は、対応するピクセルの変位（すなわち、オプティカルフロー）であり、δｔは、画像間の時間差である。

この発明では、変化する焦点外れぼけがＯＦを推定することに及ぼす影響を解析する。２つの画像が異なる深度において合焦するとき、同じ場所にあるシーン内の点は、異なる輝度を有する。これは、変化する焦点設定によって、異なるカーネルを有するぼけが生じ、結果として上記の明るさの恒常性が破られるためである。取得されたビデオデータに従来のＯＦ法がそのまま適用される場合には、明るさの恒常性が破られることによって、偽のオプティカルフローが引き起こされる。

さらなる情報がない場合には、ぼけレベルが変化している場合にＯＦを求めることは、難しい作業である。しかしながら、時刻ｔにおけるシーンの深度マップおよびテクスチャマップが与えられると、再ぼかしを用いてオプティカルフローを正確に求めることができる。所与のテクスチャマップおよび深度マップを用いて、任意の焦点設定を有する画像をシミュレートすることができる。このようにして、この発明では、隣り合う時刻において、同一の焦点設定を有する２つの画像を生成することができる。任意のシーン点の場合のぼけの量は、焦点設定が同一であるので、両方の画像について同じである。このようにして、明るさの恒常性が保存され、結果としてオプティカルフローが正確に推定される。さらに、フロー情報が与えられると、ＤＦＤを用いて、深度マップおよびテクスチャマップを再生することができる。これにより、段階的な最適化を介して動的シーンの深度およびテクスチャを推定するための反復改良法がもたらされる。

深度およびフローの反復再構成
図１は、この発明の実施の形態１による、被写界深度およびＥＤＯＦビデオを再構成するための方法１００を示す。

この発明では、カメラ２００を用いて、一連のフレームを動的シーン１０１の焦点スタック（Ｆ）１１０として取得する。すなわち、フレームは、本質的に、異なる焦点深度において取得される。Ｆが与えられると、まず、焦点スタック内の連続したフレームのすべてのフレーム対間のオプティカルフロー（ＯＦ）１２１を求める（１２０）。その後、ＯＦにしたがってフレームをワープしてフレームを位置合わせし（１３０）、時刻ごとの仮想静的焦点スタック（Ｚ）１３１を生成する。

仮想静的焦点スタックにＤＦＤ法１４０を適用して、時刻ごとの深度マップおよびテクスチャマップ１５０を生成する（１５０）。好ましい実施形態では、ＤＦＤ法は、以下に記述されるように、エネルギー関数によって最小にされる時空間マルコフ確率場（ＭＲＦ）を用いる。他のＤＦＤ法も適用可能である。

深度マップおよびテクスチャマップは、反復１６０によって改良される。最終的に、出力１７０において、時刻ごとの深度マップおよびテクスチャマップが得られる。テクスチャマップは、元の入力画像よりも大きなＤＯＦを有するので、拡張被写界深度（ＥＤＯＦ）ビデオに対応する。上記のステップは、この技術分野において既知であるようなメモリおよび入力／出力インターフェースに接続されるプロセッサ１０２において実行することができる。プロセッサは、カメラの内部に存在することもできるし、カメラの外部に存在することもできる。

初期オプティカルフロー
初期オプティカルフローを求めている間、深度マップおよびテクスチャマップを入手することはできない。初期ＯＦを再生するために、この発明では、以下のことを仮定する。フローは、焦点スタックの期間Ｍ内で一定の速度を有する。ビデオの２つの連続した焦点スタックからのフレーム、たとえば、フレームｉおよびＭ＋ｉは、同じぼけレベルを有し、それゆえ、明るさの恒常性を満たす。

この発明では、第ｉのフレームと第（Ｍ＋ｉ）のフレームとの間のＯＦを求め、中間のフレームのためのフローを線形に補間する。速度が一定であるという仮定に起因して、初期オプティカルフローは粗いが、ＯＦは、後続の反復中に、再ぼかしによって改良される。

深度およびテクスチャを与えられたときのフロー
本方法は、ＤＦＤの初期反復後に、シーンの深度マップおよびテクスチャマップの粗い推定値を生成する。Ｄ_ｉおよびＴ_ｉをそれぞれ時刻ｉにおけるシーンの深度マップおよびテクスチャマップとする。深度マップＤ_ｉによって、カーネルを用いてテクスチャマップＴ_ｉをぼかすことができるようになる。ただし、カーネルは、深度マップに依拠する。フレームのぼけレベルが一致した後に、明るさの恒常性が満たされ、それゆえ、より高い精度でＯＦを求めることができる。

遮蔽
ここで、動き補償における遮蔽問題を記述する。焦点スタックＦの２つの連続したフレームＦ_ｉおよびＦ_ｊについて考える。動きは、前景ピクセルによる背景ピクセルの領域の遮蔽を引き起こす可能性がある。Ｆ_ｉにおいて、背景領域がぼかされる場合があり、一方、背景は、焦点スタックの後のフレームＦ_ｊにおいて遮蔽される場合がある。これは、この遮蔽された領域の合焦した背景に関する情報が入手できないことを意味する。

フレームＦ_ｊをＦ_ｉにワープして動きを補償する間に、遮蔽領域を検出し、埋める必要がある。遮蔽領域は、先行するＯＦと後続のＯＦとの間の不一致によって検出される。

先行−後続ＯＦ追跡の結果として相違が生じるとき、或る領域内のピクセルが遮蔽されたと仮定する。遮蔽された領域は、その領域が遮蔽されていないビデオの他のフレームから、ピクセルをコピーすることによって埋めることができる。遮蔽された領域が静止している場合には、この発明では、異なる焦点スタックからのぼけのないフレームを用いることによって、それらの遮蔽を埋める。そうでない場合には、現在の焦点スタック内の元のぼけたフレームを用いて、それらの領域を埋める。後者の場合、遮蔽された領域内に依然としてぼけアーティファクトが存在する。

オプティカルフローを与えられたときの深度およびテクスチャ
ＯＦを用いて焦点スタック内のフレームを位置合わせした後に、焦点スタック内の各フレームＦ_ｉに対応する深度マップＤ＝｛Ｄ_１，Ｄ_２，・・・，Ｄ_Ｍ｝およびテクスチャマップＴ＝｛Ｔ_１，Ｔ_２，・・・，Ｔ_Ｍ｝を推定する。時空間マルコフ確率場（ＭＲＦ）を用いて、深度推定の問題を定式化する。

ノードとしてフレームのスーパーピクセルを用いてＭＲＦを定義する。マルコフ確率場は、１組の確率変数が無向グラフによって記述されるマルコフ特性を有するグラフィカルモデルである。各スーパーピクセルが単一の深度値を有する前方平行面（ｆｒｏｎｔ−ｐａｒａｌｌｅｌ ｐｌａｎｅ）によって表されると仮定する。フレームごとのスーパーピクセルセグメンテーションは、反復法を用いて得られる。

スーパーピクセルを規則的な格子として初期化し、各セグメントの形状および色分布の現在のガウス推定に基づいて、その形状を更新する。

これにより、規則的な形状のスーパーピクセルが生成される。スーパーピクセルの集合Ｐおよび深度ラベルの有限集合Ｓが与えられるとき、その目的は、深度ラベルｓを各スーパーピクセルｐに割り当てることである。

ＭＲＦのエネルギー関数Ｅ（ｓ）は、以下の通りである。

ただし、データ項Ｄ_ｐ（ｓ_ｐ）は、深度レベルｓ_ｐを有するスーパーピクセルｐのための項であり、平滑化項Ｖ_ｐｑ（ｓ_ｐ，ｓ_ｑ）は、隣接するスーパーピクセルｐおよびｑのための項であり、αは正則化の程度を制御する。

データ項Ｄ_ｐ（ｓ_ｐ）を求めるために、焦点スタックフレームＦ_ｉごとにテクスチャマップＴ_ｉが入手可能であると仮定する。最初に、仮想静的焦点スタックＺ_ｉにフォトモンタージュ法を適用することによって、これらのテクスチャマップが得られる。フォトモンタージュ法は、或る局所的な領域のための鮮鋭度指標を求め、その領域が鮮鋭であるフレームからピクセルを選択する。

最初の反復後に、生成された深度マップの先行する推定を用いて求められたテクスチャマップを用いる。

テクスチャを与えられると、データ項は、深度レベルｓ_ｐごとの観測されたスーパーピクセルと再度ぼかされたスーパーピクセルとの間の差の二乗和によって求められる。ＰＳＦは、テクスチャを再度ぼかすためのディスクカーネル（ｄｉｓｋ ｋｅｒｎｅｌ）であると仮定される。

この発明のＭＲＦ定式化では、空間および時間両方の平滑度について考える。平滑度項は、以下の通りである。

Ｖ_ｐｑ（ｓ_ｐ，ｓ_ｑ）＝ｗ_ｐｑ｜ｓ_ｐ-ｓ_ｑ｜ ・・・（５）

ただし、｜ｓ_ｐ−ｓ_ｑ｜は、隣接するスーパーピクセルｐとｑとの間の深度不連続にペナルティーを科し、ｗ_ｐｑは時空間重み係数である。

空間的に隣接する２つのスーパーピクセルｐとｑとの間の重みｗ_ｐｑは、２つのスーパーピクセルの平均色の類似度によって求められる。

ただし、Ｉ_ｐおよびＩ_ｑは、スーパーピクセルｐおよびｑの平均色であり、τは色の類似度に関する制御パラメータである。

時間的に隣接するスーパーピクセルのための重みは、以下のように求められる。フレームＡおよびＢについて考える。ｕをこれら２つのフレーム間のＯＦとする。ＯＦ ｕを用いて、フレームＡ内のスーパーピクセルｐがフレームＢにワープされる。その際、スーパーピクセルｐと、フレームＢのスーパーピクセルとの重なりが、時間的に隣接するスーパーピクセル間の重みとして用いられる。

この発明者らは、グラフカット法を用いて、エネルギー関数を最小にする。グラフ理論において、カットは、グラフの頂点を２つの互いに素な部分集合に分割することである。カットのカット集合は、その終点が分割の異なる部分集合内にあるエッジの集合である。エッジがそのカット集合内にある場合には、そのエッジは、カットを横切っていると言われる。

カメラ
図２は、この発明の１つの実施の形態によるカメラ２００を概略的に示す。カメラは、レンズ２１０およびアパーチャ２１１と、順次走査ＣＣＤセンサ２２０と、ステッピングモータ（ｓｔｅｐｐｅｒ ｍｏｔｏｒ）２３０とを含む。ステッピングモータ（ｓｔｅｐｐｉｎｇ ｍｏｔｏｒ）は、マイクロプロセッサ（μＰ）１０２によって制御することができる。大部分の最新のデジタルカメラは、プログラムすることができる１つまたは複数のマイクロプロセッサを含む。カメラは較正される。１２．５ｍｍの焦点距離を有するＣマウントレンズが、カメラに対して固定される。

その記述は、センサを動かすことによって焦点スタックのための焦点制御を達成することに限定されるが、この発明が、レンズを動かすこと、液体レンズを用いること、バリオプティック（Ｖａｒｉｏｐｔｉｃ：登録商標）レンズを用いること、レンズアセンブリのいくつかの部品を動かすこと、多素子レンズ内の１つのレンズ素子を動かすことなどを含む、焦点深度を変更する他の手段にも同じく当てはまることは理解されたい。

ステッピングモータは、各ステップにおいて、センサを２μｍ駆動することができる。このようにして、１フレームを取得するための２つの連続したセンサ位置間の距離は、２μｍの倍数において変更することができる。これは、取得されることになるシーン１０１内のＤＯＦ、および焦点スタック１１０あたりの必要とされるフレームの数にしたがって制御することができる。１つの実施の形態では、２つの連続したセンサ位置間で６７ステップ（１３４μｍ）１０３が用いられる。ビデオを取得する間に、連続してセンサを動かし、通常、露出時間を１０ｍｓｅｃになるように維持する。カメラセンサが僅かに並進するだけで、広範囲の焦点深度が網羅される。

センサは、一定の速度でレンズの光軸２０１に沿って並進する。センサが１つの方向において所定の極値（最大値または最小値）に達するとき、センサは、反対の方向に並進する。それゆえ、カメラは、毎秒３０フレームで連続してフレームを取得することができる。

１つの実施の形態では、センサが動く周期の半分において、カメラは、５フレームを取得し、それが焦点スタック１１０のサイズである。

別の実施の形態では、カメラの出力がＥＤＯＦビデオ１７０であるように、方法１００がマイクロプロセッサ１０２において実施される。すなわち、マイクロプロセッサは、オプティカルフローを求めるための手段、画像を位置合わせするための手段、ＤＦＤ法、並びに深度マップおよびテクスチャマップを生成するための手段を実現する。

被写界深度制御
本カメラおよび本方法によれば、動的シーンのための深度およびテクスチャの両方が同時に得られるようになるので、これにより、取得された画像の被写界深度（ＤＯＦ）を合成的に操作できるようになる。たとえば、ＤＯＦを小さくすることによって非常に浅いＤＯＦを有する芸術的な画像を生成することができる。また、取得後のデジタルリフォーカスを実行することもでき、これは自動的に、またはユーザ入力を用いてインタラクティブに行なうことができる。ＤＦＤ法の深度量子化は、取得された各焦点スタックのＤＯＦよりも、はるかに細かい。

従来のＤＦＤ法は、フレームが取得される間、カメラおよびシーンが静止していると仮定する。この発明では、カメラおよびシーンの動きがこれらのＤＦＤ法に及ぼす影響を記述し、ＤＦＤおよびＥＤＯＦ撮像の問題を動的シーンに拡張することに向けて、オプティカルフロー解析および動き推定をいかに利用することができるかを記述する。正確なＯＦが与えられると、この発明によれば、焦点スタック内のフレームを正確にワープして、仮想静的焦点スタックを得ることができ、仮想静的焦点スタックにＤＦＤを適用することができる。明確な動き補償を実行するこの発明の着想は、汎用的である。この発明のＤＦＤ実施態様は、グラフカットによる定式化に基づくが、本明細書において記述される実施の形態は、他のＤＦＤ手法に対して自明に拡張することができる。

変化する焦点ぼけがある場合に、正確なＯＦを取得することは、難しい作業である。この発明では、焦点ぼけ変動がＯＦを推定する際にいかに本質的な偏りを引き起こすか、および変化する焦点ぼけが存在する場合に、これらの偏りを処理し、正確なＯＦを求める方法を記述する。この発明により複数のフレームを正確に位置合わせすることができることの直接の結果として、この発明によれば、カメラの固有のフレームレートにおいて深度情報およびテクスチャマップを抽出することができ、それにより、従来の３０ｆｐｓカメラを、３０ｆｐｓ拡張被写界深度（ＥＤＯＦ）カメラおよび３０ｆｐｓ距離センサに同時に変換することができる。

また、距離および画像情報を抽出できることによって、取得された画像の被写界深度を拡張または縮小し、取得後のデジタルリフォーカスを実行するなど、芸術的な被写界深度効果を有する画像をレンダリングすることができるようになる。

Claims (16)

1. 動的シーンを深度および拡張被写界深度（ＥＤＯＦ）ビデオとして再構成するための方法であって、
   ビデオカメラを用いて前記動的シーンの焦点スタックを取得するステップであって、前記焦点スタックは、連続した時刻における一連のフレームを含む、取得するステップと、
   前記焦点スタックの前記フレーム間のオプティカルフローを求めるステップと、
   前記オプティカルフローにしたがって前記フレームをワープし、前記フレームを位置合わせし、時刻ごとの仮想静的焦点スタックを生成する、ワープするステップと、
   デプス・フロム・デフォーカス（ＤＦＤ）法を用いて、前記仮想静的焦点スタックごとの深度マップおよびテクスチャマップを生成するステップであって、前記テクスチャマップはＥＤＯＦ画像に対応する、生成するステップと、
   を含み、
   前記ＤＦＤは、エネルギー関数Ｅ（ｓ）
   

   

   によって最小にされる時空間マルコフ確率場（ＭＲＦ）を用い、
   データ項Ｄ _ｐ （ｓ _ｐ ）は、深度レベルｓ _ｐ を有するスーパーピクセルｐのための項であり、平滑化項Ｖ _ｐｑ （ｓ _ｐ ，ｓ _ｑ ）は、隣接するスーパーピクセルｐおよびｑのための項であり、αは正則化の程度を制御し、
   前記平滑化項は、
   Ｖ _ｐｑ （ｓ _ｐ ，ｓ _ｑ ）＝ｗ _ｐｑ ｜ｓ _ｐ −ｓ _ｑ ｜
   であり、｜ｓ _ｐ −ｓ _ｑ ｜は、隣接するスーパーピクセルｐとｑとの間の深度不連続にペナルティーを科し、ｗ _ｐｑ は時空間重み係数であり、空間的に隣接する２つのスーパーピクセルｐとｑとの間の重みｗ _ｐｑ は、２つのスーパーピクセルの平均色の類似度によって求められ、
   

   

   ただし、Ｉ _ｐ およびＩ _ｑ は、スーパーピクセルｐおよびｑの平均色であり、τは、平均色の類似度に関する制御パラメータである
   動的シーンを深度および拡張被写界深度（ＥＤＯＦ）ビデオとして再構成するための方法。
2. 前記求めるステップ、前記ワープするステップおよび前記生成するステップを繰り返して、前記深度マップおよび前記テクスチャマップを改良する、繰り返すステップをさらに含む、請求項１に記載の方法。
3. 前記時刻は、前記カメラの固有のフレームレートによって決まる、請求項１に記載の方法。
4. 前記オプティカルフローは、連続したフレーム対間で求められる、請求項１に記載の方法。
5. カーネルを用いて前記各テクスチャマップをぼかすステップであって、前記カーネルは、対応する前記深度マップに依拠する、ぼかすステップをさらに含む、請求項１に記載の方法。
6. 前記フレーム内の遮蔽されたピクセルを検出するステップと、
   前記遮蔽されたピクセルを遮蔽されていない他のフレームからの対応するピクセルで埋めるステップと、
   をさらに含む、請求項１に記載の方法。
7. 前記ＭＲＦは、前記フレームのスーパーピクセルのセグメントに対応するノードによって、前記各セグメントの形状および色分布の現在のガウス推定に基づいて定義される、請求項１に記載の方法。
8. 初期テクスチャマップは、前記仮想静的焦点スタックにフォトモンタージュ法を適用することによって得られる、請求項１に記載の方法。
9. 前記テクスチャマップは、以前に生成された深度マップを用いて求められる、請求項１に記載の方法。
10. 前記エネルギー関数は、グラフカット法を用いて最小にされる、請求項１に記載の方法。
11. 並進は、一定の速度であり、前記カメラのセンサは、１つの方向において所定の極値に達し、前記センサは、反対の方向に並進する、請求項１に記載の方法。
12. 前記焦点スタックは、静止しているレンズ素子に対してセンサ素子を動かすことによって得られる、請求項１に記載の方法。
13. 前記焦点スタックは、多レンズアセンブリのレンズ全体または一部のいずれかを動かすことによって得られる、請求項１に記載の方法。
14. 前記焦点スタックは、液体レンズの焦点を制御することによって得られる、請求項１に記載の方法。
15. 前記求めるステップ、前記ワープするステップ、および前記生成するステップは、マイクロプロセッサによって実行される、請求項１に記載の方法。
16. 動的シーンを深度および拡張被写界深度（ＥＤＯＦ）ビデオとして再構成するための装置であって、
    レンズおよびセンサを含むカメラと、
    連続した時刻において一連のフレームを含む焦点スタックを取得するように構成されるセンサと、
    前記焦点スタックの前記フレーム間のオプティカルフローを求める手段と、
    前記オプティカルフローにしたがって前記フレームをワープして、前記フレームを位置合わせし、時刻ごとの仮想静的焦点スタックを生成する、ワープする手段と、
    デプス・フロム・デフォーカス（ＤＦＤ）法を用いて、仮想静的焦点スタックごとの深度マップおよびテクスチャマップを生成する手段であって、前記テクスチャマップは、ＥＤＯＦ画像に対応する、生成する手段と、
    を備え、
    前記ＤＦＤは、エネルギー関数Ｅ（ｓ）
    

    

    によって最小にされる時空間マルコフ確率場（ＭＲＦ）を用い、
    データ項Ｄ _ｐ （ｓ _ｐ ）は、深度レベルｓ _ｐ を有するスーパーピクセルｐのための項であり、平滑化項Ｖ _ｐｑ （ｓ _ｐ ，ｓ _ｑ ）は、隣接するスーパーピクセルｐおよびｑのための項であり、αは正則化の程度を制御し、
    前記平滑化項は、
    Ｖ _ｐｑ （ｓ _ｐ ，ｓ _ｑ ）＝ｗ _ｐｑ ｜ｓ _ｐ −ｓ _ｑ ｜
    であり、｜ｓ _ｐ −ｓ _ｑ ｜は、隣接するスーパーピクセルｐとｑとの間の深度不連続にペナルティーを科し、ｗ _ｐｑ は時空間重み係数であり、空間的に隣接する２つのスーパーピクセルｐとｑとの間の重みｗ _ｐｑ は、２つのスーパーピクセルの平均色の類似度によって求められ、
    

    

    ただし、Ｉ _ｐ およびＩ _ｑ は、スーパーピクセルｐおよびｑの平均色であり、τは、平均色の類似度に関する制御パラメータである
    動的シーンを深度および拡張被写界深度（ＥＤＯＦ）ビデオとして再構成するための装置。

Images