JP6259758B2 - ステレオフィルムのシーン間の遷移を滑らかにし、複数の３ｄカメラを制御または調整する方法 - Google Patents

Description

本発明は、少なくとも２つのカメラを有する第１のカメラリグによって供給される第１の画像が、第２のカメラリグからの第２の画像によって後続され、さらに、第１のサブフレームおよび第２のサブフレームから構成された第１の画像の深度に関する情報を取得するため、第１のカメラリグの第１のカメラによって供給された第１のサブフレーム内の規定された像点の、第１のカメラリグの第２のカメラによって供給された第２のサブフレーム内の同様の像点に対する変位を規定する視差表が決定される場合の、ステレオフィルムを製造する方法に関する。

カメラリグ、および３Ｄフィルム、または、いわゆるステレオフィルムを製造する方法は、従来技術から公知である。そのようなフィルムは、観察者の各々の眼に特定の画像を投影し、３次元画像が観察者のために構成される。

通常、シーンの記録に使用されるカメラリグの場合、各々のカメラリグ内に２つのカメラが組み合わせられる。２つのカメラを有する第１のカメラリグは、撮影されるべきシーンの方へ第１の視角から向けられ、さらに組み合わせられた２つのカメラを有する第２のカメラは、異なる視角でシーンの方へ向けられる。もし、ここで第１のカメラリグから第２のカメラリグへの「カット」が遂行されるならば、すなわち、もし、画像が第１のカメラリグによって供給され、系列がカットに続く画像の系列であり、この系列が他のカメラリグによって供給されるような、画像の系列が続くならば、３次元フィルムの場合、カットに起因して、所望されない効果が観察者に対して度々起こる。

こうして、第１のカメラリグがシーンの方へ向けられたとき、はるかに大きな深度印象が達成され、たとえば、シーンの物体は、スクリーンの仮想平面よりも、はるか前方にあるように観察者によって知覚され、カットが起こると、物体はスクリーンの平面よりも、はるか後方にあるように知覚されるか、少なくとも、少し前の他の視点から観察された位置にはないように知覚されることが起こり得る。

実生活では不愉快な効果は起こらないが、もし物体が観察者へ突然に向かって来るならば、関連情報を再生している間の深度印象の急激な変化は、観察者の不快感をもたらす。

これは、とりわけ、実生活、たとえばボールのような物体が観察者の方へ自然にスピードを出して来るような情景を観察している場合、最初、このボールは合焦されていないので、フィルムを観察しているときに起こる負の効果は現れない。

それゆえに、本発明の目的は、少なくとも２つのカメラを有する第１のカメラリグによって供給された第１の画像が、第２のカメラリグからの第２の画像によって後続されることができるようにステレオフィルム内でのカットの実行を可能にし、双方の画像内に創出された深度印象が観察者への不愉快な副作用を引き起こさないようにすることである。

この目的は、本発明に従って、第１のカメラリグの第１の画像の視差表の深度情報が第２のカメラリグの第２の画像の処理に使用されることで解決される。

視差表は、第１の画像の深度印象の評価を可能にする情報の編集物を意味するものと理解される。深度印象は画像深度解析によって創出され、横方向視差または視差とも呼ばれ得る。そのような視差は、画面内の同じ物体が２つの異なる画像平面上で占拠する位置のオフセットである。このように、レンズの像平面の光心は、ベースｂだけ相互から空間的に分離されている。もし双方のレンズが焦点距離ｆを有するならば、距離ｒ＝ｂ・ｆ／ｄが適用される。ここで、ｄは視差を表す。この式は、ステレオノーマルの場合、すなわち２つのカメラが並列に整列されるときにのみ適用される。もし双方のカメラが相互に少しだけ旋回、すなわち収束するように整列されていれば、修正された式が適用され得る。

それゆえに、立体画像内の視差を測定することによって、物体への距離ｒを決定し得る。したがって、立体画像の視差マップまたは視差表は深度図と同義である。

ここで注意すべきは、画像が２つのサブフレームの編集物を意味するものと理解されることである。２つのサブフレームの各々は、規定されたカメラリグの２つのカメラの１つによって供給される。

立体画像プロセッサ（ＳＩＰ）の中で実現され得る本発明は、シーンを解析し、近い物体および遠い物体の深度または深度情報に関するメタデータを提供し、さらに、全空間／全ボリュームに関する情報をリアルタイムで供給し得る。加えて、さらに、ＳＩＰは画像処理および画像操作を遂行し得る。提案された発明を用いることによって、提供されたデータに基づき、シーン内の３Ｄ変化が確実に深度予定量の中に残ることが達成される。

有利な実施形態は、従属請求項で請求され、下記で詳細に説明される。

第２のサブフレームが、２つのカメラの第１のカメラから供給された第１のサブフレームに対して変位され、前記第１のサブフレームが、第２のカメラリグの第２のカメラから供給された第２のサブフレームと一緒に第２の画像を形成することが有利である。第２のカメラリグの双方のサブフレームを相互に対して変位することによって、深度印象が変化する。こうして、前に存在した第１の画像の深度印象と適合するように深度印象が調整され得る。

第２のサブフレームが水平に変位されるとき、標準の深度効果の生成に頼り得る。もし第２のサブフレーム、たとえば右側のサブフレームが左側のサブフレームから右方へ変位されるならば、深度効果は増加し、逆の場合には減少する。これは、遠い物体を観察しているとき、視線が相互にほとんど平行して走るのに対し、非常に近い物体の場合には、視線の交差が生じ得ることに起因する。視差はゼロ点の周りに配列され、したがって負値および正値を取り得る。

第２のカメラリグの第２のサブフレームは、第１の画像の２つのサブフレーム間と同じ視差が第２の画像の２つのサブフレーム間に存在するようになる距離だけ、変位ステップで変位されることが、さらに有利である。その場合、観察者の眼は調整を必要とせず、負の効果は、ほとんど完全に除去される。

第２の画像の前景内の点と背景内の点との間の深度距離が第２の画像内のこれら２つの点の深度距離に対応するまで、もし第２の画像が第１の画像の視差表に依存して補正ステップのズーム設定により拡大または縮小されるならば、さらに本方法は改善され得る。ズーム設定を変更することによって、シーン内の第１の物体からシーン内の第２の物体までの知覚された深度距離は変化する。

ズーム設定がディジタルズームとしてのみ動作し、第２のカメラリグの物理レンズ上では機械的に動作しないとき、視差はさらに低減する。

ここで、第２の画像の第１および第２のサブフレームが拡大または縮小されることが、さらに有利である。第２の画像を縮小することによって、視差も、画像の縮小と線形に縮小し、カットのときの高すぎる視差によって引き起こされる負の副作用は、ユーザへ現れない。

補正ステップが変位ステップと同時に遂行されるか、後続して遂行されるとき、２つの場合の最初の場合には、肯定的な結果が特に迅速に達成され、２番目の場合には、特に正確な結果が達成され得る。

視差表の中に置かれた深度予定量が第２の画像へ適用され、深度予定量を超えて存在する第２の画像の全ての区域がぼかされて表示されることが、さらに有利である。深度予定量は、視差によって引き起こされる範囲／視差によって引き起こされる領域を意味するものと理解される。それゆえに、最小の視差が、たとえば−５０であり、最大の視差が０であるとき、画像は−５０から０までの深度予定量を備える。

特に効率的なぼかしを達成するため、ガウスぼかしアルゴリズムが使用され、第２の画像の１つまたは複数の領域でぼかしが達成される。それゆえに、第２の画像の深度予定量が第１の画像の深度予定量と比較して大きすぎる区域が同定され、同定された区域はぼかされて表示される。ガウスぼかしアルゴリズムのもとでは、周囲のピクセルが使用され、過度にぼかされて表示されるべきピクセルは、ガウス正規分布に従って再計算される。

本発明は、さらに、ステレオフィルムの記録に適した複数の３Ｄカメラの制御または調整に関連する。制御または調整は、本発明に従った方法を遂行し得るように構成される。

続いて、本発明は、図の助けを借りて詳細に説明される。第１の例示的実施形態は、図１の概略的に描かれたフローチャートで図示され、第２の例示的実施形態は、更なる図で図示される。

図１は、本発明に従った方法の第１の例示的実施形態のフローチャートを示す。

第１のステップ１０では、２つのカメラを備える第１のカメラリグを用いて、第１の画像の記録が行われる。続く第２のステップ２０では、第１の画像内の視差が確認される。

続く第３のステップ３０では、視差表のセットアップが起こる。視差表は視差マップとも呼ばれ得る。

ステップ４０では、ステレオフィルムのフィルム系列を製造している間に、第１のカメラリグから第２のカメラリグへのカットが行われる。第２のカメラリグも２つのカメラを含む。

続くステップ５０では、第２のカメラおよびその２つのカメラを用いて、第２の画像の記録が行われる。

続くステップ６０では、第２の画像を処理するため、視差表の使用が行われる。

ここで描かれた例示的実施形態において、続くステップ６２によって後続されるサブステップ６１では、第２の画像の他のサブフレームへの、第２の画像のサブフレームの変位が行われる。これらの２つのサブフレームの双方は全体で第２の画像を形成する。サブステップ６２では、補正ステップが遂行される。言い換えれば、第２の画像のズーム設定が変更される。したがって、変位ステップ６１では、全体としての視差分布が変更され、補正ステップ６２では、現在の視差自体が変更される。

さらに、これと平行して、または後続して、または代替として、ぼかしステップ６３が遂行され得る。ぼかしステップは、第１の画像の視差と比較して大きすぎるか小さすぎる視差を有する第２の画像の区域を同定することを備える。これらの区域のぼかしは、たとえば、ガウスぼかしアルゴリズムによって実現される。
本発明に従った第２の例示的実施形態の概略的構成は、図２に描かれる。

各々のカメラリグ１００の中に、２つのカメラ１１０および１２０が含まれる。これらのカメラは、立体画像対の画像データを画像解析ユニット１３０へ送る。画像解析ユニット１３０は、近い区域、中間の区域、および遠い区域に関して、シーン深度をリアルタイムで決定する。

これらの取得されたメタデータは、立体画像対の１つまたは他の画像の画像データの中に埋め込まれるか、双方の画像の画像データの中に埋め込まれる。これらの処理されたデータは、スイッチ１４０へ渡される。スイッチ１４０は切替器とも呼ばれる。

スイッチ１４０は、ユーザが、画像プロセッサ１５０の介在のもとで、出力インタフェース１６０のために原始データの中から選択することを可能にする。画像プロセッサ１５０は、統計的深度予定量パラメータ、特に単位時間当たりの最大許容変化に関連する背景データを含む。

画像プロセッサ１５０は、メタデータから取得された深度情報からの動的統計値を管理し、変化率および変化量を計算し、これらの値が、使用されるべき深度予定量の中にあることを確実にする。

もし結果の深度変化が所定の包絡線の中にあれば、画像対は変更されないで出力インタフェース１６０へ渡される。もし、これが次から次へと反復して行われるならば、結果はビデオ系列である。

もし深度変化が既定の深度予定量の中に収まらないならば、画像は、調整、たとえば、ぼかされ、不鮮明、不明瞭、彩度が減らされ、および／またはマスク／マークされる。たとえば、深度予定量からの偏差が大きくなれば、ぼかしの補正動作は大きくなる。動作は、さらに、ブラックフラッシュまたはホワイトフラッシュ、言い換えれば、黒または白から新しい画像内容への遷移を含み得る。規定された区域のみを処理する代わりに、画像対の画像全体がぼかされ得る。これは、正確な視差マップを利用できないとき、特に有利である。

本方法は、各々の立体画像対について反復される。

Claims (44)

1. モーションビデオ録画を製造する方法であって、
   少なくとも２つのカメラを有する第１のカメラリグによってキャプチャされ、第１画像第１サブフレーム及び第１画像第２サブフレームを少なくとも有する第１の画像を取得し、
   少なくとも２つのカメラを有する第２のカメラリグによってキャプチャされ、第２画像第１サブフレーム及び第２画像第２サブフレームを少なくとも有する第２の画像を取得し、
   前記第１のカメラリグの第１のカメラから得られた前記第１画像第１サブフレームに含まれる少なくとも第１の像点の、前記第１のカメラリグの第２のカメラから得られた前記第１画像第２サブフレームに含まれる第２の像点（少なくとも前記第１の像点に対応する）に対する第１の変位を少なくとも画像プロセッサで計算し、
   少なくとも前記第１の変位を視差表に記憶し、
   前記視差表を用いて前記第２の画像を処理し、
   前記第１画像第２サブフレームを前記第１画像第１サブフレームに対して変位させる、方法。
2. 前記第１画像第２サブフレームは水平に変位される、請求項１に記載の方法。
3. 第２の変位を生成するために、前記第２のカメラリグの第２のカメラから得られた前記第２画像第２サブフレームを、前記第２のカメラリグの第１のカメラから得られた前記第２画像第１サブフレームに対して変位させる、請求項１に記載の方法。
4. 前記第２の画像の前記第２画像第１サブフレームにおける第２前景点と前記第２の画像の前記第２画像第２サブフレームにおける第２背景点との間の第２の深度距離が、前記第１の画像の前記第１画像第１サブフレームにおける第１前景点と前記第１の画像の前記第１画像第２サブフレームにおける第１背景点との間の第１の深度距離に実質的に同一になるまで、前記第２の画像の拡大率を、前記視差表に応じて変更する、請求項１に記載の方法。
5. 前記拡大率はデジタル処理で変更される、請求項４に記載の方法。
6. 前記第２画像第１サブフレームおよび前記第２画像第２サブフレームの双方の拡大率が変更される、請求項４に記載の方法。
7. 前記第２の画像に対する処理は、前記第１画像第１サブフレームに対する前記第１画像第２サブフレームの変位と同時に実行される、請求項１に記載の方法。
8. 前記第２の画像のうち、前記視差表における深度予定量を超える全ての区域をぼかす、請求項１に記載の方法。
9. 前記ぼかしは、ガウスぼかしアルゴリズムを使用してなされる、請求項８に記載の方法。
10. 少なくとも前記第１の変位は、前記第１の画像の深度に対応している、請求項１に記載の方法。
11. 前記第２の変位は、少なくとも前記第１の変位と実質的に同じである、請求項３に記載の方法。
12. 前記第２の画像の処理は、前記第１画像第１サブフレームに対する前記第１画像第２サブフレームの変位の後で実行される、請求項１に記載の方法。
13. モーションビデオ録画を製造するシステムであって、
    第１のカメラリグの第１のカメラから得られた第１画像第１サブフレーム及び第１のカメラリグの第２のカメラから得られた第１画像第２サブフレームを少なくとも有する第１の画像を受け取り、
    第２のカメラリグの第１のカメラから得られた第２画像第１サブフレーム及び第２のカメラリグの第２のカメラから得られた第２画像第２サブフレームを少なくとも有する第２の画像を受け取り、
    前記第１画像第１サブフレームにおける少なくとも第１の像点と、前記第１画像第２サブフレームにおける対応する少なくとも第２の像点との間の第１の変位を少なくとも計算し、
    少なくとも前記第１の変位を視差表に記憶し、
    前記視差表に応じて、前記第２画像第１サブフレームおよび前記第２画像第２サブフレームの少なくともいずれか一つを処理し、
    前記第１画像第２サブフレームを前記第１画像第１サブフレームに対して変位させる
    ように構成された画像プロセッサを備える、システム。
14. 前記画像プロセッサは、少なくとも第２の変位を生成するために、前記第２画像第２サブフレームを前記第２画像第１サブフレームに対して変位させるように構成されている、請求項１３に記載のシステム。
15. 前記画像プロセッサは、
    前記第２画像第１サブフレームにおける第２前景点と前記第２画像第２サブフレームにおける第２背景点との間の第２の深度距離が、前記第１画像第１サブフレームにおける第１前景点と前記第１画像第２サブフレームにおける第１背景点との間の第１の深度距離に実質的に同一になるまで、
    少なくとも前記第１の変位に応じて前記第２の画像の拡大率を変更するように構成されている、請求項１３に記載のシステム。
16. 前記画像プロセッサは、
    前記第２の画像のうち、前記視差表における深度予定量を超える全ての区域をぼかすように構成されている、請求項１３に記載のシステム。
17. モーションビデオ録画を製造する方法であって、
    少なくとも２つのカメラを有する第１のカメラリグによってキャプチャされ、第１画像第１サブフレーム及び第１画像第２サブフレームを少なくとも有する第１の画像を取得し、
    少なくとも２つのカメラを有する第２のカメラリグによってキャプチャされ、第２画像第１サブフレーム及び第２画像第２サブフレームを少なくとも有する第２の画像を取得し、
    前記第１のカメラリグの第１のカメラから得られた前記第１画像第１サブフレームに含まれる少なくとも第１の像点の、前記第１のカメラリグの第２のカメラから得られた前記第１画像第２サブフレームに含まれる第２の像点（少なくとも前記第１の像点に対応する）に対する第１の変位を少なくとも画像プロセッサで計算し、
    少なくとも前記第１の変位を視差表に記憶し、
    前記視差表を用いて前記第２の画像を処理し、
    第２の変位を生成するために、前記第２のカメラリグの第２のカメラから得られた前記第２画像第２サブフレームを、前記第２のカメラリグの第１のカメラから得られた前記第２画像第１サブフレームに対して変位させる、方法。
18. 前記第１画像第２サブフレームを前記第１画像第１サブフレームに対して変位させる、請求項１７に記載の方法。
19. 前記第１画像第２サブフレームは水平に変位される、請求項１７に記載の方法。
20. 前記第２の画像の前記第２画像第１サブフレームにおける第２前景点と前記第２の画像の前記第２画像第２サブフレームにおける第２背景点との間の第２の深度距離が、前記第１の画像の前記第１画像第１サブフレームにおける第１前景点と前記第１の画像の前記第１画像第２サブフレームにおける第１背景点との間の第１の深度距離に実質的に同一になるまで、前記第２の画像の拡大率を、前記視差表に応じて変更する、請求項１７に記載の方法。
21. 前記拡大率はデジタル処理で変更される、請求項２０に記載の方法。
22. 前記第２画像第１サブフレームおよび前記第２画像第２サブフレームの双方の拡大率が変更される、請求項２０に記載の方法。
23. 前記第２の画像に対する処理は、前記第１画像第１サブフレームに対する前記第１画像第２サブフレームの変位と同時に実行される、請求項１７に記載の方法。
24. 前記第２の画像のうち、前記視差表における深度予定量を超える全ての区域をぼかす、請求項１７に記載の方法。
25. 前記ぼかしは、ガウスぼかしアルゴリズムを使用してなされる、請求項２４に記載の方法。
26. 少なくとも前記第１の変位は、前記第１の画像の深度に対応している、請求項１７に記載の方法。
27. 前記第２の変位は、少なくとも前記第１の変位と実質的に同じである、請求項１７に記載の方法。
28. 前記第２の画像の処理は、前記第１画像第１サブフレームに対する前記第１画像第２サブフレームの変位の後で実行される、請求項１７に記載の方法。
29. モーションビデオ録画を製造する方法であって、
    少なくとも２つのカメラを有する第１のカメラリグによってキャプチャされ、第１画像第１サブフレーム及び第１画像第２サブフレームを少なくとも有する第１の画像を取得し、
    少なくとも２つのカメラを有する第２のカメラリグによってキャプチャされ、第２画像第１サブフレーム及び第２画像第２サブフレームを少なくとも有する第２の画像を取得し、
    前記第１のカメラリグの第１のカメラから得られた前記第１画像第１サブフレームに含まれる少なくとも第１の像点の、前記第１のカメラリグの第２のカメラから得られた前記第１画像第２サブフレームに含まれる第２の像点（少なくとも前記第１の像点に対応する）に対する第１の変位を少なくとも画像プロセッサで計算し、
    少なくとも前記第１の変位を視差表に記憶し、
    前記視差表を用いて前記第２の画像を処理し、
    前記第２の画像の前記第２画像第１サブフレームにおける第２前景点と前記第２の画像の前記第２画像第２サブフレームにおける第２背景点との間の第２の深度距離が、前記第１の画像の前記第１画像第１サブフレームにおける第１前景点と前記第１の画像の前記第１画像第２サブフレームにおける第１背景点との間の第１の深度距離に実質的に同一になるまで、前記第２の画像の拡大率を、前記視差表に応じて変更する、方法。
30. 前記第１画像第２サブフレームを前記第１画像第１サブフレームに対して変位させる、請求項２９に記載の方法。
31. 前記第１画像第２サブフレームは水平に変位される、請求項２９に記載の方法。
32. 第２の変位を生成するために、前記第２のカメラリグの第２のカメラから得られた前記第２画像第２サブフレームを、前記第２のカメラリグの第１のカメラから得られた前記第２画像第１サブフレームに対して変位させる、請求項２９に記載の方法。
33. 前記拡大率はデジタル処理で変更される、請求項２９に記載の方法。
34. 前記第２画像第１サブフレームおよび前記第２画像第２サブフレームの双方の拡大率が変更される、請求項２９に記載の方法。
35. 前記第２の画像に対する処理は、前記第１画像第１サブフレームに対する前記第１画像第２サブフレームの変位と同時に実行される、請求項２９に記載の方法。
36. 前記第２の画像のうち、前記視差表における深度予定量を超える全ての区域をぼかす、請求項２９に記載の方法。
37. 前記ぼかしは、ガウスぼかしアルゴリズムを使用してなされる、請求項３６に記載の方法。
38. 少なくとも前記第１の変位は、前記第１の画像の深度に対応している、請求項２９に記載の方法。
39. 前記第２の変位は、少なくとも前記第１の変位と実質的に同じである、請求項３２に記載の方法。
40. 前記第２の画像の処理は、前記第１画像第１サブフレームに対する前記第１画像第２サブフレームの変位の後で実行される、請求項２９に記載の方法。
41. モーションビデオ録画を製造するシステムであって、
    第１のカメラリグの第１のカメラから得られた第１画像第１サブフレーム及び第１のカメラリグの第２のカメラから得られた第１画像第２サブフレームを少なくとも有する第１の画像を受け取り、
    第２のカメラリグの第１のカメラから得られた第２画像第１サブフレーム及び第２のカメラリグの第２のカメラから得られた第２画像第２サブフレームを少なくとも有する第２の画像を受け取り、
    前記第１画像第１サブフレームにおける少なくとも第１の像点と、前記第１画像第２サブフレームにおける対応する少なくとも第２の像点との間の第１の変位を少なくとも計算し、
    少なくとも前記第１の変位を視差表に記憶し、
    前記視差表に応じて、前記第２画像第１サブフレームおよび前記第２画像第２サブフレームの少なくともいずれか一つを処理し、
    少なくとも第２の変位を生成するために、前記第２画像第２サブフレームを前記第２画像第１サブフレームに対して変位させる
    ように構成された画像プロセッサを備える、システム。
42. 前記画像プロセッサは、前記第１画像第２サブフレームを前記第１画像第１サブフレームに対して変位させるように構成されている、請求項４１に記載のシステム。
43. 前記画像プロセッサは、
    前記第２画像第１サブフレームにおける第２前景点と前記第２画像第２サブフレームにおける第２背景点との間の第２の深度距離が、前記第１画像第１サブフレームにおける第１前景点と前記第１画像第２サブフレームにおける第１背景点との間の第１の深度距離に実質的に同一になるまで、
    少なくとも前記第１の変位に応じて前記第２の画像の拡大率を変更するように構成されている、請求項４１に記載のシステム。
44. 前記画像プロセッサは、
    前記第２の画像のうち、前記視差表における深度予定量を超える全ての区域をぼかすように構成されている、請求項４１に記載のシステム。

Images