JP5429911B2

JP5429911B2 - 立体映像のデジタル映画に於ける最適な動き再生のための方法と装置

Info

Publication number: JP5429911B2
Application number: JP2012545456A
Authority: JP
Inventors: チョウカレイスキー，エミル
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2009-12-22
Filing date: 2009-12-22
Publication date: 2014-02-26
Anticipated expiration: 2029-12-22
Also published as: US20120300025A1; WO2011077177A8; KR20120106829A; WO2011077177A1; US9030525B2; JP2013515422A; CA2783588C; CA2783588A1; CN102668572A; CN102668572B; EP2517472B1; KR101630444B1; EP2517472A1

Description

本発明は、映画に関し、特に、シーン（場面）オブジェクトについてモーション・ブラー（ｍｏｔｉｏｎｂｌｕｒ：動きのボケ）を適応的に調整することによって、立体映像のデジタル映画に於いて動きを最適に再生することに関する。

立体映像のデジタル映画に於ける技術進展は、映画館の観客に対してより近くに見えるシーン・オブジェクト、即ち、前方の映像面オブジェクトの再生に幾つかの新たな課題をもたらしている。これらの映像構成要素は、ダイナミック（動的）に動く場合、何等かの飛躍した動き（「ジャダー」とも言う）として、スクリーンに表示、即ち、映写されることがある。或いは、観察者に対してより近くに見える当該オブジェクトがある基準値より低い速度で動く場合、自然に捉えられたモーション・ブラーが、より顕著に見えてしまう。伝統的な様式のフィルム映画や２Ｄのデジタル映画は、モーション・ブラー量と映像の奥行との間の上述のような相互関係に影響されることはない。しかしながら、この相互関係は、３Ｄ映像に於いては、変動的な習性を有している。この現象に伴い、立体映像の３次元（Ｓ３Ｄ）の奥行の描写に属する新たな問題が生じている。それは、モーション・ブラーと映像の奥行との相互関係の不具合に因る若干の苛立ちを観客に起こさせる作用があり、その作用が、３Ｄの映写中に特殊なメガネを装着するという不快感に加わることになる。

立体映像の映画の映写の前方観察面に見える動的なシーン・オブジェクトの不規則な動きの特質に関する出版物は殆ど無い。本方法は、映画館で現に用いられて周知の映像処理技術の一部を使用する。本方法は、立体映像の表現のために、モーション・ブラーの原理を異なる仕様で使用する。

本発明と比較可能な、動き再生の改善を目的とした各方法のカテゴリーは、２つある。

第１のカテゴリーには、立体映像の３Ｄデジタル映画に於いて毎秒フレーム数（ＦｒａｍｅｓＰｅｒＳｅｃｏｎｄ）のレートを低減してモーション・ブラーを付加する各方法が含まれている。これらの方法は、片眼毎のフレーム反復レートを７２ＦＰＳから４８ＦＰＳに低減することによって、方向性のフレーム間シーン・オブジェクトの軌跡を強調することを狙っている。映画のマスタリングのポストプロダクションの際に、モーション・ブラー・フィールドが、各々のアイ・イメージ（ｅｙｅｉｍａｇｅ：眼映像）について、抽出される。フレーム反復が４８ＦＰＳの標準値である場合、この付加される画像コンポーネントは、ごく僅かではあるが、左眼（ＬＥ）―右眼（ＲＥ）フレームのシーケンスに於ける高速度のオブジェクトに伴う動き破壊効果（ｍｏｔｉｏｎｂｒｅａｋｉｎｇｅｆｆｅｃｔ）の解消に貢献する。これらの方法のカテゴリーの利点は、モーション・ブラーを適応的に付加して、従って、ジャダー・アーティファクトを低減する立体映像の表現である。これらの方法の欠点は、動きの分析が、３Ｄ画像の各特質を包含しない（加味しない）古典的なフレーム間差異のみだけに基づいていることである。

第２のカテゴリーには、観察者に対する３Ｄシーン・オブジェクトの近接（近さ）を制限する各方法が含まれている。このアプローチは、集束オフセット範囲の値を制限する、即ち、映画館内の観察者が、立体映像の各画像を３Ｄ現象として知覚できるように、両眼の視線を交差させる必要がある限度を制限する。最初の集束は、カメラ撮像の際に決定されるが、ポストプロダクションの際に、ある程度は修正できる。観察者に対する近接（或いは、寧ろ、近さの見え方）を制限することによって、動きのアーティファクトも低減される。その理由は、映写スクリーンと観客との間の仮想空間に於いてオブジェクトが近いほど、より多くのアーティファクトが見えるからである。これらの方法のカテゴリーの利点は、改善された動き再生を実現するための構成が比較的簡単なことである。即ち、改善された動き再生は、平行映像シフト処理である集束補正によって実現される。これらの方法の欠点は、これらの方法が、集束を操作するので、従って、映写の立体映像の意図を操作するので、映画の製作者及び監督の創造的な決定事項に影響を及ぼすことである。

モーション・ブラー量の作用のもう一つの重要性は、電子式集束である。一方の眼映像が他方の眼映像に対して水平方向にシフトするに従って、シーン・オブジェクトは、観察者に対してより近くに見える。人間の脳は、より近くのゾーンに、より良く集中するので、人間の視覚系統（ＨＶＳ）の鋭さは、任意の動きの不均衡を目立たせる。この問題を抑制するためには、モーション・ブラーと変更（修正、補正）される電子式集束との関係を認識して最適化する方法と装置が必要である。ここでいう電子式集束とは、ポストプロダクションに於いて実施される、ビデオ領域に於けるＬＥ映像とＲＥ映像との間のシフト処理を定めるものである。

本発明の方法と装置は、映画館の観客が、３次元映画の映写に於ける構成要素を、特に、観察者の眼に近くに見えるシーン・オブジェクトであって、基準速度よりも速く、或いは、基準速度よりも遅く動くオブジェクトを、よりリアルに知覚できることに貢献する。本方法は、所与の動的なシーン・オブジェクトについて最適なモーション・ブラーを推定して、左眼の映像と右眼の映像とについて、その推定したモーション・ブラーをモーション・ブラーの測定値と比較することに基づいている。本発明の映像処理は、その差を重み付けして、両眼の映像についてブラーを低減、或いは、両眼の映像に少量のブラーを付加することによって、毎秒２４フレームのスムーズなオブジェクト変位を得ようとするものである。この２４ＦＰＳの速度は、撮像及び映写について同じである。本発明は、３Ｄ集束と視差描画とを使用するポストプロダクションに於ける立体画像の描画についての新たな可能性に向けられたものである。本発明の根本的な動機は、人間の視覚系統が、ある程度のモーション・ブラーを知覚する必要があること、及び、それを満足する映像フレーム・シーケンスの機能が不規則であることから生じている。デジタル映画に於ける立体映像の画像化によって、この不具合が断然と目立つようになる。映像フレーム・シーケンスに於ける自然に展開するシーンの離散的な映写は、ジャダー効果（ビデオ映像に於ける振動、或いは、ぐらつきの効果）、或いは、ストロボ効果のような動きアーティファクトを伴う。本発明は、この動きアーティファクトを低減する。

３Ｄデジタル映画は、映画製作者にとって新たな可能性をもたらしている。これらの可能性の中に、集束の処理と操作が含まれている。フレーム・バッファに於いて、或いは、コンピュータ・グラフィックス・アプリケーションによって、一方の眼映像を水平方向に左に、或いは、右にシフトすることによって、画像オブジェクトは、観察者に対してより近くに、或いは、より遠くに見える。人間は、両眼の視線を交差させて、Ｚ軸に沿って両眼に近づいて来るオブジェクトを追跡するが、この作用は、動く要素に対する不安定な知覚の問題を生じさせる。これを解消するために、本発明が提案するアプローチによって知覚シフトを分析して、それに応じて、本発明の方法及び装置によって、モーション・ブラーを補償する。

そのための課題は、立体映像の再生に於けるモーション・ブラーと映像面との関係を分析する手段を見出し、更に、３Ｄの動的なオブジェクトを毎秒２４フレーム（即ち、２４ＦＰＳ）の速度の映画の映写により良く適合させる方法と装置を提供することである。この３Ｄの動的なオブジェクトの適合処理は、創造的な映像コンテンツを変質させてはならない。所望のモーション・ブラーは、ポストプロダクションの施設でのマスタリング処理の際、及び、コンピュータ・グラフィックス段階でのマスタリング処理の際、製作者によって、映写ファイルに対して付加、或いは、低減できる。

本発明の方法は、毎秒２４フレームのシーケンスに於ける、閾値（基準）速度よりも遅く動く前方面３Ｄオブジェクトについてモーション・ブラーを低減する、或いは、該閾値速度を超えて動く高速度のオブジェクトについてモーション・ブラーを付加する。該閾値速度は、１つのオブジェクトが１２分の１秒の間にビデオ・フレームの１０分の１を横断する速度である。それは、また、集束処理の際に、オブジェクトの軌跡の持続時間を最適化する。ブラー量の変更は、両方の眼映像（左眼及び右眼）について同じであり、従って、当該変更は、映画監督の創造的な意図を維持するために、且つ、眼の追跡の場合についての動的な解像度を保つために、最小限にする。

ここに開示する方法と装置は、左眼映像フレーム・ペアに於けるオブジェクト毎のフレーム間オブジェクト変位を特定し、右眼映像フレーム・ペアに於けるオブジェクト毎のフレーム間オブジェクト変位を特定し、左眼映像と右眼映像とのペアに於ける各々のオブジェクト相互間の集束シフト・フィールドを特定し、左眼映像フレーム・ペアに於けるオブジェクト毎のフレーム間オブジェクト変位、右眼映像フレーム・ペアに於けるオブジェクト毎のフレーム間オブジェクト変位、及び、左眼映像と右眼映像とのペアに於ける各々のオブジェクト相互間の集束シフト・フィールドに応じて、モーション・ブラー量を特定し、モーション・ブラーをそのモーション・ブラー量だけ調整する。

本発明は、添付の各図面と共に読むべき以下の詳しい説明から最も良く理解できる。各図面には、以下に簡単に説明する図が含まれている。

図１は、ＬＥ映像とＲＥ映像との間の最初の集束を各シーン・オブジェクトのベクトル変位フィールドとして示す図である。図２は、最初は、観察者に対してより近くに見えており、ＬＥ映像を右に移動した後に、更により近くに見えるオブジェクトを示す図である。図３は、動きが速いオブジェクトについてのモーション・ブラー量を表す図である。図４は、オブジェクトの速度と修正モーション・ブラー量との間の非線形的な関係を示す図である。図５は、オブジェクトが観客から同一距離に位置している場合の該オブジェクトの速度に依存するモーション・ブラー量を描写した図である。図６Ａと図６Ｂは、共に、本発明の原理に従う代表的な実施形態の方法のフローチャートである。図７は、本発明の代表的な実施形態のブロック図である。

立体映像のデジタル映画に於ける進展に伴って、映画館の観客に対してより近くに知覚される各シーン・オブジェクトの映写に於ける新たな諸問題が明らかになった。これらのオブジェクトは、フレーム・シーケンスの最大再生可能速度に相当する速度で動く場合、その動きがある程度分断されてスクリーン上に表示されることがある。逆に、観察者に対してより近い同一オブジェクトが基準値より低い速度で動く場合、その軌跡の構成要素、即ち、モーション・ブラーは、より一層明示的に視覚化されることになる。

２次元の映像処理から知られていることであるが、モーション・ブラーは、適切に増大、或いは、低減すると、動的なシーンの再生を強調するための貴重なツールと成り得る。一部の自然なモーション・ブラーは、元のカメラ撮像（デジタルとアナログの両方の撮像）の際に、生じる。それは、各オブジェクトが動くか、或いは、その形を変える間に、オブジェクトの軌跡として現われる。この物理的な事象は、画像取得について限定された毎秒のフレーム数、例えば、２４ＦＰＳによって、現れ、各シーン・コンポーネントが１フレームの期間中動き続けて、露光プロセス（デジタル或いはフィルム撮像についての露光プロセス）によって個別のフレーム内に動きの軌跡が残る。この現象は、フレーム内モーション・ブラーを生じさせる。例えば、ポストプロダクションに於いて、或いは、コンピュータ・グラフィックス・ステーションに於いて、所与のフレーム・ペア内でフレーム間差異を分析して、画素単位のモーション・ブラー量を付加、或いは、低減できる映像処理システムがある。フレーム・ペアは、例えば、フレーム１とフレーム２である。次のフレーム・ペアは、フレーム２とフレーム３である。

立体映像の３Ｄデジタル映画は、各眼映像を、左眼について、次に右眼についてシーケンスの形態で映写する場合がある。これは、一方の眼映像が覆われるか、或いは、ダーク化（暗化）されて、他方の眼についてのビデオ・フレームがスクリーン上に映写されることを意味する。その結果、観客は、ある程度の動きの破断に気付く。また、３Ｄ映画館は、映写スクリーンと観察者との間の仮想空間に於いて、各３次元シーン・オブジェクトを視覚化し、その各３次元シーン・オブジェクトは、ＨＶＳに対してより近くに見える。「最も近い」オブジェクトは、動きが飛躍して見えることがあり、そのような場合は、追加のモーション・ブラーによって、モーション・ブラーを滑らかに出来る。逆に、オブジェクトの動きが遅いと、ブラーは、より近いゾーンに於いて、甚だしく目立つことがあり、そのような場合は、ブラー量を低減すべきである。本発明の目的は、適応的なモーション・ブラーを使用して、動的な各シーンの最適な再生を実現することである。

適応的なモーション・ブラーの課題を解決するために、３つのステップが行われる。即ち、
・ＬＥ映像とＲＥ映像とについて個別に合成フレーム間オブジェクト変位を特定し、
・ＬＥ映像とＲＥ映像との間の集束シフト・フィールドを特定し、
・モーション・ブラー量を、ＬＥ映像とＲＥ映像との間の集束シフト・フィールドと、ＬＥ映像とＲＥ映像とについてのフレーム間オブジェクト変位との関数として特定する。

映像処理に於ける各シーン・オブジェクトの速度は、画素単位（画素数）で測定された、各シーン・オブジェクトのフレーム間の動き、即ち、フレーム間変位によって定められる。これは、両方の眼映像についての立体映像の３次元（Ｓ３Ｄ）画像形成に於いても同じである。Ｓ３Ｄに於いて加わるファクタは、集束の変更によって生じる、奥行きに於ける、即ち、Ｚ軸に沿うオブジェクトの移動である。本発明を考案する際に、両方の現象、即ち、２次元のオブジェクト速度（最適なモーション・ブラー量の関数の変数として）とＬＥ画像及びＲＥ画像相互間の集束（各眼映像相互間の水平方向のシフト処理に基づく）とを分析した。ビデオ・フレーム・レートによって、スクリーン及びディスプレイ上での最大オブジェクト速度の視覚化についてのオプションが決定される。２４ＦＰＳ（或いは、２４ＦＰＳの倍数の映写フレーム数）での映画再生については、映画撮影技術協会（ｃｉｎｅｍａｔｏｇｒａｐｈｅｒｓｏｃｉｅｔｙ）が定めた、撮像シーン・オブジェクトの移動についての制限がある。Ｓ３Ｄに於いて、更なるステップ、即ち、動的なオブジェクトを観察者に近い仮想空間内に配置する際に、モーション・ブラー量とオブジェクト速度との最適な相互関係を見出すステップが必要になる。即ち、
・３Ｄオブジェクトの速度が中間速度に比べて（１０％を超える分だけ）低い場合、上述の近い仮想空間についてのモーション・ブラー量はそれに応じて低減する必要がある。ＨＶＳは、近くのオブジェクトに集中する傾向があり、通常、その動きの軌跡を見ることになる。
・３Ｄオブジェクトの速度が中間速度のプラス・マイナス１０％程度である場合、上述の近い仮想空間についてのモーション・ブラー量は、そのまま（変更せずに）維持する必要がある。
・３Ｄオブジェクトの速度が中間速度に比べて（１０％を超える分だけ）高い場合、上述の近い仮想空間についてのモーション・ブラー量はそれに応じて増大する必要がある。これは、観察者が、映画館に於ける映写スクリーン上で動き破断（飛躍的なもの、即ち、ジャダー）を見ることを防ぐものである。増大量は、各シーン・オブジェクトに対する、眼による可能な追跡を考慮して、最小限にする。

上述の説明から、モーション・ブラーが、所与の集束値で、オブジェクト速度に応じて増大、或いは、低減されることは、明らかである。また、モーション・ブラーは、所与のオブジェクト速度で、集束値に応じて増大、或いは、低減される。その関係も比例している、即ち、集束が基準集束（閾値集束）より大きい場合、モーション・ブラーを増大し、その逆もまた同様である。画素単位（画素数）で測定される基準集束（閾値集束）は、１つのフレーム・ペアのＬＥ映像とＲＥ映像との間の約５０画素の距離である。即ち、速度と集束の両方がモーション・ブラーに影響を及ぼす。

合成フレーム間オブジェクト変位は、それ自体映像であって、動きに依存する値を有する一連の構成要素を含んでいる。最も簡単な事例では、各々の構成要素の値は、同一フレーム・ペアの連続フレーム相互間の画素差を反映している。このフレーム・ペアは、連続した左眼の映像同士、及び、連続した右眼の映像同士である。即ち、例えば、ＬＥ映像フレーム１とＬＥ映像フレーム２とを比較して、このフレーム・ペアの両フレームに於ける同一オブジェクト相互間の距離を特定する。同様に、ＲＥ映像フレーム１とＲＥ映像フレーム２とを比較して、このフレーム・ペアの両フレームに於ける同一オブジェクト相互間の距離を特定する。この変位を、ＩＦＤｉｓｐ (Ｉｎｔｅｒ−ＦｒａｍｅＯｂｊｅｃｔＤｉｓｐｌａｃｅｍｅｎｔ（フレーム間オブジェクト変位）の略)と表すことにする。尚、オブジェクトの線形的な速度は、オブジェクトが観察者から遠のくのに従って、増大することがあるが、その角速度は同じままである。

図１には、ＬＥ映像とＲＥ映像との間の最初の集束が、以下に述べる如く分析される、各シーン・オブジェクトのベクトル変位フィールドとして示されている。

次に、この最初の集束分布フィールドをＩｎＣｏｎｖ（ＩｎｉｔｉａｌＣｏｎｖｅｒｇｅｎｃｅ（最初の集束）の略）と表すことにする。このＩｎＣｏｎｖは、ＬＥとＲＥとについての２つの撮像映像の各オブジェクト・インスタンス間値を表す一連の値である。

５画素から１００画素の画素シフトの範囲が良好な結果をもたらすことが研究で判明している。画素シフトは、何れの方向でも可能である。即ち、例えば、オブジェクトは左から右の方向、或いは、右から左の方向に進行しており、従って、モーション・ブラーがオブジェクトと共に進行していることがある（モーション・ブラーは、一般的にオブジェクトの後ろに在る）。従って、画素シフトは、オブジェクトの進行方向しだいで、何れの方向でも可能である。画素シフトは、最初の奥行き位置に適用される。画素シフトの結果、補正された奥行き位置が得られる。

一方の眼映像の、他方の眼映像に対する、パラレル（平行）シフトによって、再生３Ｄシーンに於ける全てのオブジェクトについての新たな視覚集束点が決定される。ポストプロダクションに於いて、このプロセスは、通常、立体映像の色補正システムによって実施される。Ｓ３Ｄ映画に於ける視線集束、即ち、視線交差は、映写スクリーンと観察者との間で、該スクリーンに対して垂直な軸（Ｚ軸）に沿って、生じる。このプロセスは、負集束（ｎｅｇａｔｉｖｅｃｏｎｖｅｒｇｅｎｃｅ）として知られており、ＨＶＳによる立体オブジェクトの知覚に寄与する、即ち、奥行の感覚を与える。

デジタル色補正器（集束補正器）による処理の際、ＬＥ映像とＲＥ映像とに於けるオブジェクトの同一構成要素相互間の距離は、画素単位（画素数）で測定される。立体シーンが、２台のビデオカメラの立体映像用装置を介して撮像されて２つの平坦な（即ち、２Ｄの）デジタル画素面に変換される際、空間情報は、ＬＥ映像及びＲＥ映像内の２つのオブジェクト・インスタンス相互間の可変位置シフトによって伝えられる。オブジェクトのシフトを増大するには、視線交差を増大する必要がり、このオブジェクトは観察者に対してより近くに見えるようになる一方、２つのオブジェクト・インスタンス相互間のシフトを低減すると、シーン構成要素が遠のくような感覚がもたらされる。

一方の眼映像のパラレル・シフトによって、オブジェクト・インスタンス間距離が、全てのオブジェクトについて同一の絶対画素数だけ変化する。１０画素から７０画素の範囲内に於けるパラレル・シフトが何れの方向に於いても許容できることが、研究によって判明している。即ち、例えば、オブジェクトは左から右の方向、或いは、右から左の方向に進行しており、モーション・ブラーがオブジェクトと共に進行していることがある（モーション・ブラーは、一般的にオブジェクトの後ろに在る）。従って、画素シフトは、オブジェクトの進行方向しだいで、何れの方向でも可能である。差異を生じさせるのは、相対的な画素数である。パラレル・シフトは、補正される奥行き位置に適用される。図２は、この事象を示している。即ち、最初、観察者に対してより近くに見えていたオブジェクトが、顕著な立体映像効果を得るためにＬＥ映像を右に移動させた後、今は、一層より近くになっている。図２に於いて、オブジェクトＯ１が右に移動しており、そして、オブジェクトＯ２とＯ３も、オブジェクトＯ１、Ｏ２及びＯ３の間の同じ相対的な距離を維持して、右に移動している。また、最初、負集束空間内には在るが、少しより遠くに見えていたオブジェクトが、立体映像効果は前述のオブジェクトほど顕著ではないものの、今は、観察者に対して少しより近くになっている。映像のシフトは、色補正器のフレーム・バッファ、或いは、フレーム記憶装置に於いて、行われる。

ポストプロダクションの施設に於ける色補正器に於いて行われる集束シフトを、ＣｏｒｒＣｏｎｖ（ＣｏｒｒｅｃｔｅｄＣｏｎｖｅｒｇｅｎｃｅ（補正集束）の略）と表すことにする。このシフトの値は、画素単位（画素数）で測定されるが、パラレル（平行）シフトであるが故に、画像内の全てのオブジェクトについて一定である。これを最初の集束分布フィールドに加えることによって、仮想３Ｄ空間に於ける制御の所望の効果が得られる。

最適なモーション・ブラーの計算用の各変数を上述の如く定義すると、その関数は、以下のようになる。

・モーション・ブラー＝Ｆ（最初の集束，補正集束，フレーム間オブジェクト変位）、即ち、
・モーション・ブラー＝Ｆ（Ｋ１.ＩｎＣｏｎｖ，Ｋ２.ＣｏｒｒＣｏｎｖ，Ｋ３.（ＩＦＤｉｓｐ））

ここで、Ｋ１、Ｋ２及びＫ３は、関数係数である。モーション・ブラーは、映像フレームの画素毎に定められ、そしてＬＥ画像とＲＥ画像とについて同じである。それは、その最初の値に比べて小さい、或いは、大きいことがあり得る。通常、少量のモーション・ブラーによって、ＨＶＳによる知覚に差異が生じる。

フレーム間変位、即ち、ＩＦＤｉｓｐは、２つの連続ビデオ・フレームに於ける各シーン・オブジェクトの位置相互間の、画素単位（画素数）で測定される距離によって定められる。それは、ＬＥ映像内の各オブジェクトとＲＥ映像内の各オブジェクトとについて、別々に、測定される。最も単純な事例では、ＩＦＤｉｓｐは、両眼についての映像シーケンスについて、同じである。

上記のモーション・ブラーの関数に於ける最初の集束、即ち、ＩｎＣｏｎｖは、
１）ＬＥカメラとＲＥカメラとの軸間距離、即ち、２台のカメラのレンズ相互間の距離（これは、通常、６５ｍｍであり、人間の両眼相互間の眼間距離でもある）と、
２）当該シーンに於ける各オブジェクトの奥行き位置（これは、ビデオ領域に於いて、各オブジェクトの、ＬＥ映像とＲＥ映像との間での画素距離として測定される。この値は、数画素から数百画素の値を取り得る。カメラ撮像時のオブジェクトの奥行き位置（奥行きマップ発生器によって決定される）は、フレーム内の各オブジェクトの、ＬＥ映像とＲＥ映像との間での画素距離を測定することによって、特定できる）と、
によって決定される。上記１）と上記２）から得られる各値を、本発明の方法と、それに対応する装置とに入力する。

補正集束、即ち、ＣｏｒｒＣｏｎｖの値は、ポストプロダクションのワーク・フロー（作業の流れ）に於いて、Ｓ３Ｄ色補正器によって加えられ、手作業でオペレーターによって制御される。これは、創造的な範囲内で最初の集束を修正したものであり、ＩｎＣｏｎｖに対して数画素から数百画素を加算、或いは、減算したものである。オペレーターがＬＥ−ＲＥ集束の値を変更する際は、この値をメニュー・モニター上に表示して、本発明の処理に入力できる。

モーション・ブラーの関数は、元のシーンのモーション・ブラーの量に対する加算器（加算機構）或いは減算器（減算機構）である。この関数（機能）は、本発明の中枢であり、係数Ｋ１、Ｋ２及びＫ３によって重み付けられたＩｎＣｏｎｖ、ＣｏｒｒＣｏｎｖ及びＩＦＤｉｓｐからデータを得て、シーンのブラーの量に加算、或いは、減算する。一例として、上記各係数は数値であり得て、従って、モーション・ブラーの関数は、自己の３つの変数の線形関数である。公称上、Ｋ１、Ｋ２及びＫ３は、全て、０.９から１.１の範囲内に在り、互いに等しい場合もあり、また、互いに等しくない場合もある。

本発明は、各シーン・オブジェクトの速度を、それらのＳ３Ｄ変位と共に、分析し、その両方に、係数に基づく関数処理を使用して、動的な各シーンのより鮮明な、そして、より滑らかな再生について最適なモーション・ブラーを提供する。本発明は、観察者に対してより近いように見える速度の遅い各オブジェクトについては、モーション・ブラーを低減し、速度が速い各オブジェクトについては、それらが観客に対してより近い場合、モーション・ブラーを少し増大する。本方法は、各シーン・オブジェクト、オブジェクト速度、及び、Ｓ３Ｄ集束に適応できる。

図３は、観察者の眼からの距離に依存する、動きが速い１つのオブジェクトについてのモーション・ブラー量を描写している。水平方向の各線の長さは、モーション・ブラーの調整を示している。一番上のオブジェクトでは、モーション・ブラーが低減されている。この３Ｄオブジェクトの速度は中間（基準、閾値）速度よりも遅いと判明したので、当該モーション・ブラーは低減された。真ん中のオブジェクトでは、当該３Ｄオブジェクトの速度は中間（基準、閾値）速度に等しいか、或いは、近いと判明したので、当該モーション・ブラーは変更されなかった。一番下のオブジェクトでは、当該３Ｄオブジェクトの速度は中間（基準、閾値）速度よりも速いと判明したので、当該モーション・ブラーは増大された。

図４は、本発明の方法に従う、オブジェクト速度と修正モーション・ブラー量との間の非線形的関係を示している。

図５は、オブジェクトが観客から同一距離に位置している場合の、オブジェクト速度に依存するモーション・ブラー量を表現している。一番上のオブジェクトについて示されているように、速度が比較的遅い３Ｄオブジェクトは、より少ないモーション・ブラーを必要とする。真ん中のオブジェクトについて示されているように、速度が速い３Ｄオブジェクトは、より多くのモーション・ブラーを必要とする。一番下のオブジェクトについて示されているように、中間の速度（中間（基準、閾値）速度に等しいか、或いは、それに近い速度）の３Ｄオブジェクトは、そのモーション・ブラーに対する変更を必要としない。

図６は、上述の開示事項に従って実施される本発明の代表的な方法のフローチャートを示している。６０５に於いて、１つのビデオ・フレームが、フレーム・ペアの一部として受信（入力）される。６１０に於いて、当該入力（データ）が左眼映像であるか否か判定する調査が行なわれる。当該入力が左眼映像である場合、６１５に於いて、その左眼映像入力はバッファに格納される。ここで使用されるバッファは、任意の記憶装置、或いは、記憶手段でよい。６２０に於いて、オブジェクトのフレーム間変位が、連続したＬＥ映像のフレーム・ペアの間で特定される。一方、当該入力が左眼映像でない場合、それは右眼映像に違いないので、６２５に於いて、その右眼映像入力はバッファに格納される。ここで使用されるバッファは、任意の記憶装置、或いは、記憶手段でよい。６３０に於いて、オブジェクトのフレーム間変位が、連続したＲＥ映像のフレーム・ペアの間で特定される。６３５に於いて、各ビデオ・フレーム・ペアについての最初のＬＥ−ＲＥ集束が特定される。オブジェクトの進行方向に従う何れの方向に於いても、５画素から１００画素の間の画素シフトがある。６４０に於いて、補正集束が特定（決定）される。これは、１０画素から７０画素の水平方向に沿うパラレル・シフトである。６４５に於いて、重み付けされる各値を増大、或いは、低減することによって、フレーム間変位と最初の集束と補正集束との関数として、モーション・ブラーが特定（決定）される。この結果によって、オブジェクト毎の必要なモーション・ブラーが特定（決定）される。６５０に於いて、当該フレームが最後のフレームであるか否かを判定する調査が行われる。当該フレームが最後のフレームでない場合、６０５に於いて、処理が続けられる。

図７は、ポストプロダクション環境に於いて最良に実施される、本発明の代表的な実施形態のブロック図である。本発明は、既存のポストプロダクション装置に対するアドオン・ユニットとして、或いは、ポストプロダクション処理に組み込まれる別個のユニットとして実施してもよい。本発明の装置に含まれるモジュールは、図７に例示されたものよりも多くても、或いは、少なくてもよい。図７のモジュールは、本発明の方法の各機能に対応している。入力が受信されて装置内に供給され、バッファに格納される。２つのバッファ、即ち、左と右眼映像相互間でのデータの分離が望ましいけれども、２つのバッファは、１つであってもよい。データの格納は、オプションにしてもよい。連続するＬＥ映像フレームについてのフレーム間変位は、当該装置の上部の微分器によって特定される。連続するＲＥ映像フレームについてのフレーム間変位は、当該装置の下部の微分器によって特定される。最初の集束は、奥行きマップ発生器によって特定され、ＬＥ映像データとＲＥ映像データの両方が使用される。補正集束は、オペレーター入力に従って、集束補正器によって特定（決定）される。次に、モーション・ブラーが、モーション・ブラー計算器によって特定（決定）され、（各オブジェクトがモーション・ブラーについて調整されて）各ビデオ・フレームが出力される。

尚、本発明は、ハードウェア、ソフトウェア、ファームウェア、特別な目的のプロセッサ、或いは、それらの組み合わせの形態で実施できる。望ましくは、本発明は、ハードウェアとソフトウェアの組み合わせとして実施される。更に、そのソフトウェアは、プログラム記憶装置に具体的に組み入れられるアプリケーション・プログラムとして実施される。そのアプリケーション・プログラムは、任意の適当なアーキテクチャから成るマシンにアップロードされて、実行されてもよい。望ましくは、そのマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、及び、入力／出力（Ｉ／Ｏ）インタフェースのようなハードウェアを有するコンピュータ・プラットフォーム上で実施してもよい。このコンピュータ・プラットフォームには、オペレーティング・システムとマイクロ命令コードも含まれている。ここで説明した種々のプロセスと機能は、オペレーティング・システムを介して実行される、マイクロ命令コードの一部、或いは、アプリケーション・プログラムの一部（或いは、それらの組み合わせ）であってもよい。更に、種々の他の周辺装置、例えば、追加のデータ記憶装置や印刷装置等をコンピュータ・プラットフォームに接続してもよい。

更に、添付図面に描写された各システム構成要素及び各方法ステップはソフトウェアで実施されることが望ましいので、各システム構成要素（或いは、各処理ステップ）相互間の実際の接続関係は、本発明がプログラムされる様態に従って異なる場合がある。当業者であれば、ここに開示された各事項から、本発明の上述の、及び、同様の具体的な各実施形態、或いは、各構成を考案できるであろう。

Claims

モーション・ブラーを調整する方法であって、
左眼映像フレーム・ペアに於けるオブジェクト毎のフレーム間オブジェクト変位を特定するステップと、
右眼映像フレーム・ペアに於けるオブジェクト毎のフレーム間オブジェクト変位を特定するステップと、
前記左眼映像と前記右眼映像とのペアに於ける各々のオブジェクト相互間の集束シフト・フィールドを特定するステップと、
前記左眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位、前記右眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位、及び、前記左眼映像と前記右眼映像とのペアに於ける各々のオブジェクト相互間の前記集束シフト・フィールドに応じて、モーション・ブラー量を特定するステップと、
前記モーション・ブラーを前記モーション・ブラー量だけ調整するステップと、
を含む方法。
請求項１に記載の方法であって、
左眼映像データを受信するステップと、
右眼映像データを受信するステップと、
を更に含む方法。
請求項１に記載の方法であって、３番目の前記特定するステップが、
最初の集束を特定するステップと、
補正集束を特定するステップと、
を更に含む、方法。
請求項３に記載の方法であって、前記最初の集束には、各々の前記オブジェクトの最初の奥行位置の画素シフトが更に含まれる、方法。
請求項３に記載の方法であって、前記補正集束には、各々の前記オブジェクトの補正奥行位置のパラレル・シフトが更に含まれる、方法。
請求項３に記載の方法であって、４番目の前記特定するステップが、前記左眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位、前記右眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位、前記最初の集束、及び、前記補正集束の各々を重み付けし、その重み付けが０．９から１．１までの範囲内である、方法。
請求項１に記載の方法であって、前記モーション・ブラー量が、更に、各々のオブジェクトの速度とその集束とに関係付けられ、前記速度が、所与の集束値について、前記左眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位と前記右眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位とによって特定され、更に、前記関係付けが、前記速度が閾値速度より低い場合は前記モーション・ブラー量がそれに応じて低減される、前記速度が前記閾値速度より高い場合は前記モーション・ブラー量がそれに応じて増大される、及び、前記速度が前記閾値速度に近い場合は前記モーション・ブラー量が変更されずに維持される、うちの１つである、方法。
請求項３に記載の方法であって、前記補正集束がユーザ入力を受け入れる、方法。
請求項１に記載の方法であって、前記モーション・ブラー量が、更に、各々のオブジェクトの速度とその集束とに関係付けられ、前記速度が、所与の集束値について、前記左眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位と前記右眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位とによって特定され、更に、前記関係付けが、前記集束が閾値集束より大きい場合は前記モーション・ブラー量がそれに応じて増大される、前記集束が前記閾値集束より小さい場合は前記モーション・ブラー量がそれに応じて低減される、及び、前記集束が前記閾値集束に近い場合は前記モーション・ブラー量が変更されずに維持される、うちの１つである、方法。
モーション・ブラーを調整する装置であって、
左眼映像フレーム・ペアに於けるオブジェクト毎のフレーム間オブジェクト変位を特定する手段と、
右眼映像フレーム・ペアに於けるオブジェクト毎のフレーム間オブジェクト変位を特定する手段と、
前記左眼映像と前記右眼映像とのペアに於ける各々のオブジェクト相互間の集束シフト・フィールドを特定する手段と、
前記左眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位、前記右眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位、及び、前記左眼映像と前記右眼映像とのペアに於ける各々のオブジェクト相互間の前記集束シフト・フィールドに応じて、モーション・ブラー量を特定する手段と、
前記モーション・ブラーを前記モーション・ブラー量だけ調整する手段と、
を含む装置。
請求項１０に記載の装置であって、
左眼映像データを受信する手段と、
右眼映像データを受信する手段と、
を更に含む装置。
請求項１０に記載の装置であって、３番目の前記特定する手段が、
最初の集束を特定する手段と、
補正集束を特定する手段と、
を更に含む、装置。
請求項１２に記載の装置であって、前記最初の集束には、各々の前記オブジェクトの最初の奥行位置の画素シフト用手段が更に含まれる、装置。
請求項１２に記載の装置であって、前記補正集束には、各々の前記オブジェクトの補正奥行位置のパラレル・シフト用手段が更に含まれる、装置。
請求項１２に記載の装置であって、４番目の前記特定する手段が、前記左眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位、前記右眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位、前記最初の集束、及び、前記補正集束の各々を重み付けし、その重み付けが０．９から１．１までの範囲内である、装置。
請求項１０に記載の装置であって、前記モーション・ブラー量が、更に、各々のオブジェクトの速度とその集束とに関係付けられ、前記速度が、所与の集束値について、前記左眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位と前記右眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位とによって特定され、更に、前記関係付けが、前記速度が閾値速度より低い場合は前記モーション・ブラー量がそれに応じて低減される、前記速度が前記閾値速度より高い場合は前記モーション・ブラー量がそれに応じて増大される、及び、前記速度が前記閾値速度に近い場合は前記モーション・ブラー量が変更されずに維持される、うちの１つである、装置。
請求項１２に記載の装置であって、前記補正集束がユーザ入力を受け入れる手段を更に含む、装置。
請求項１０に記載の装置であって、前記モーション・ブラー量が、更に、各々のオブジェクトの速度とその集束とに関係付けられ、前記速度が、所与の集束値について、前記左眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位と前記右眼映像フレーム・ペアに於けるオブジェクト毎の前記フレーム間オブジェクト変位とによって特定され、更に、前記関係付けが、前記集束が閾値集束より大きい場合は前記モーション・ブラー量がそれに応じて増大される、前記集束が前記閾値集束より小さい場合は前記モーション・ブラー量がそれに応じて低減される、及び、前記集束が前記閾値集束に近い場合は前記モーション・ブラー量が変更されずに維持される、うちの１つである、装置。