JP5734964B2 - ステレオスコープシネマ用のビューア中心ユーザインタフェース - Google Patents

ステレオスコープシネマ用のビューア中心ユーザインタフェース Download PDF

Info

Publication number
JP5734964B2
JP5734964B2 JP2012516281A JP2012516281A JP5734964B2 JP 5734964 B2 JP5734964 B2 JP 5734964B2 JP 2012516281 A JP2012516281 A JP 2012516281A JP 2012516281 A JP2012516281 A JP 2012516281A JP 5734964 B2 JP5734964 B2 JP 5734964B2
Authority
JP
Japan
Prior art keywords
parameter
scene
user interface
binocular
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012516281A
Other languages
English (en)
Other versions
JP2012530326A5 (ja
JP2012530326A (ja
Inventor
ローレンス ジットニック ザ サード チャールズ
ローレンス ジットニック ザ サード チャールズ
ケー．レスラー ブライアン
ケー．レスラー ブライアン
ビン カン シン
ビン カン シン
エフ．コーエン マイケル
エフ．コーエン マイケル
コッパル ジャガンナート
コッパル ジャガンナート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2012530326A publication Critical patent/JP2012530326A/ja
Publication of JP2012530326A5 publication Critical patent/JP2012530326A5/ja
Application granted granted Critical
Publication of JP5734964B2 publication Critical patent/JP5734964B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、ステレオスコープシネマ用のビューア中心ユーザインタフェースに関する。
３Ｄムービーとも呼ばれるステレオムービーはまたしても比較的に人気になり、従来のムービーでは得られないビューイング体験(viewing experience)をビューアに提供している。ビューアがステレオムービーで得ているビューイング体験は、カメラパラメータ、ビューイングロケーション、プロジェクタスクリーン構成、およびその他の（例えば、心理的）要因を含む、いくつかの要因の組み合わせによるものである。これらの要因に応じて、あるビューアのビューイング体験は、快感から気を晴らすものまで、あるいは不快感のものまで（例えば、ある種のステレオスコープ効果によって引き起こされる眼精疲労からの）の範囲にわたることがある。
ステレオフィルムメーカおよびフォトグラファは、「カードボーディング(cardboarding)」、「ピンチング(pinching)」、「巨大化(gigantism)」および「縮小化(miniaturization)」の効果のように、周知のステレオスコープ効果を避けたり、故意に強化したりするための種々のヒューリスティックス(heuristics)を習得している。しかし、あるシーンが撮影されるまでは、ディレクタは、そのシーンがどのようにビューアに現れるかを実際に視覚化することができない。従って、３Ｄシーンを撮影することに対する望ましい結果および／または効果を得るには、相当量のプランニング、再撮影(re-shooting)、再プランニング、再撮影等が要求されるのが一般的である。
C.L. Zitnick, S.B. Kang, M. Uyttendaele, S. WinderおよびR. Szeliski著「階層化表現を使用した高品質ビデオビュー補間」(High-quality video view interpolation using a layered representation)、SIGGRAPH 2004
この概要は、以下の詳細な説明に詳しく説明されている代表的な概念（コンセプト）を選んで簡単な形で紹介したものである。この概要は、請求項に記載の主題のキーとなる特徴または基本的特徴を特定することを意図するものでもなく、請求項に記載の範囲を限定するような形で使用されることを意図するものでもない。
簡単に説明すると、本明細書に記載の主題の種々の態様は、ユーザインタフェースがステレオシーンの表現を表示するときのテクノロジに向けられており、そのテクノロジの中には、そのシーンの知覚した外観を判断するパラメータ値を変更するためのインターラクティブメカニズムが含まれている。一実施形態では、このインターラクティブメカニズムは、シーンに対してインターラクティブに移動可能であるドット／ハンドルを含み、そこではこれらの位置はパラメータの値に対応している。
一態様において、シーンはあたかも上方から見られるようにモデル化され、その中にはビューアの両眼の表現、ビューイングスクリーンの表現、およびビューアがビューイングスクリーン上で知覚するものをシミュレートする表示が含まれている。このインターラクティブメカニズムは、シーンの「上方ビュー」内に置かれていることもある。
ユーザはユーザインタフェースを使用すると、例えば、テストシーンからスタートすることによって、およびパラメータ値を変更する効果を判断するためにパラメータ値を操作することによって、シーンをプランニングすることができる。一旦決定されたあと、パラメータ値をステレオカメラに適用すると、実際のシーンを撮影することができる。
ユーザはユーザインタフェースを使用すると、既存のシーンを編集することができる。パラメータ値はインターラクティブに変更されることがあり、修正パラメータ(revised parameter)をもつ結果のビデオシーンはパラメータ変更の効果を判断するためにプレビューされることがある。
その他の利点は、添付図面を参照して以下の詳細説明を読むことにより明らかになる。
本発明は添付図面において例を用いて例示され、限定されていないが、類似の要素は類似の参照符号で示されている。添付図面において、
ステレオスコープシネマシーンを編集および／またはプランニングするためのビューア中心ユーザインタフェースを実現するための例示コンポーネントを表すブロック図である。 ステレオスコープシネマシーンをプランニングするための例示ステップであって、ユーザインタフェースを通してパラメータとインターラクトすることを含むステップを表すフロー図である。 ステレオスコープシネマシーンを編集するための例示ステップであって、ユーザインタフェースを通してパラメータとインターラクトすることを含むステップを表すフロー図である。 シーンがビューア中心ビューポイントからどのように知覚されるかを示す上方からのビュー（上方ビュー）視点を含むユーザインタフェースの一実施形態を表す図である。 １つに結合されたパラメータがユーザインタフェース上のものとしてどのように視覚的に示されるかを例示する図である。 ショット間で移行するときオブジェクトがどのように知覚されるかを制御するためのパネルを含むユーザインタフェースの一実施形態を表す図である。 本発明の種々の態様が組み込まれることのあるコンピューティング環境の例示の例を示す図である。
本明細書に記載したテクノロジの種々の態様はステレオ（３Ｄ）ムービーを編集および／またはプランニングするためのユーザインタフェースを目的としている。一態様では、ユーザインタフェースは、ムービービューイング体験に影響するパラメータのセットをエディタが調整することを可能にしている。これと同時に、ユーザインタフェースは、このインタフェースが知覚した３Ｄ体験をムービービューアの視点から見たとおりにモデル化する点でビューア中心(viewer-centric)である。さらに具体的には、ユーザインタフェースは近くした世界を上方から、すなわち、「上方」のビューイング視点から表示するので、ムービーエディタ／プランナはムービー内のオブジェクトの知覚した３Ｄ深さ(depth)をムービービューアおよびビューイングスクリーンに相対して見ることが可能になっている。
当然に理解されるように、本明細書中の例のいずれも非限定的である。そのために、本発明は、本明細書に記載のどの特定実施形態、態様、概念、構造、機能または例にも限定されない。むしろ、本明細書に記載の実施形態、態様、概念、例、構造または機能のいずれも非限定的であるので、本発明は、コンピューティングおよびビデオテクノロジ全般において便益と利点が得られる種々の方法で使用されることがある。
図１は、ステレオビデオ１０２、例えば、１つまたは２つ以上のビデオシーンのセットをキャプチャし、インターラクトするためのコンポーネントを含むブロック図を示している。左と右のステレオビデオカメラ１０４および１０５はシーンを撮影する。コンピュータシステム１０８上で稼動するユーザインタフェース１０６は、プランナ１１０および／またはエディタ１１２のそれぞれを通したステレオビデオ１０２に関連するパラメータのプランニングおよび／または編集を可能にしている。従って、ユーザインタフェースは、知覚したシーンのショットプランニング(shot planning)および事後(after-the-fact)デジタル操作を容易にしている。なお、ショットプランニングおよび事後デジタル操作手法はビデオに限定されず、ステレオフィルムレコーディングにも適用される。例えば、最新フィルムカメラは提供されるシステムに供給するために使用できる「ビデオアシスト(video assist)フィードを有しているので、出力パラメータをフィルムカメラに入力することができる（これにより、これらのパラメータはカメラからのビデオアシスト出力に入力されるので、ソフトウェアによるフィードバックループの継続が可能になっている）。
これらのパラメータには、両眼連動(vergence)または水平イメージシフト(horizontal image shift)（カメラが相互に対してどれだけ回転するかに対応している）、両眼間(interocular)（カメラ間の距離）、ドリー(dolly)（カメラがターゲットからどれだけ離れているか）、カメラの視界(field of view)（文字通り）およびプロセニアムアーチ（proscenium arch）（他方の目に対してスクリーン上にない何かを、ビューアの一方の目が見ることができる状況を補償することに関係する）がある。ユーザインタフェース１０６を通したこれらのパラメータの各々の操作については、以下に説明されている。
プランニングおよび／または編集の結果が修正パラメータ(revised parameter)１１６と共に修正ビデオ(revised video)１１４である。編集時には、修正ビデオ１１４は、結果が望みどおりであれば保存される。プランニング時には、修正パラメータ１１６は対応するシーンを再撮影するために使用される（例えば、プランニング期間に判断された再構成カメラの較正パラメータ(calibration parameter)を使用して）。
なお、プランニングには、図１にブロック１１８で示すように初期カメラパラメータの知識が必要である。しかし、以下に説明する数学的フレームワーク(mathematical framework)から容易に理解されるように、これらのパラメータに対する相対的な調整を行うことができるので、編集にはパラメータの絶対値は必要でない。
入力することのできる別タイプのデータはシアターパラメータ(theater parameter)１２０、例えば、スクリーンのサイズ／位置をビューアに対して変更することに対応している。シアターパラメータ１２０が変更されると、新しいビューイングパラメータが得られるように他のパラメータを自動的に調整することができる。
プランニングに関しては、視聴者(audience)の体験がディレクタのビジョンとどれだけ異なるかを想像することは難事であるので３Ｄフィルムを撮影することが困難である。ユーザインタフェース１０６は、シーンおよび／または静止イメージの粗い撮影(rough take)であるとき、ショット(shot)をプランニングする方法を提供することによってこの問題に対処している。インタフェースのトップダウンビューのポイントクラウド(point cloud)を通してパラメータを調整することにより（図４を参照して以下に説明している）、望ましいカメラパラメータは、例えば、粗い撮影を生成するために使用されるパラメータの比率として出力することができる。
図２は、代表的なプランニングオペレーションのステップを示す図である。ステップ２０２は、上述したパラメータのサブセットである保存されたカメラ較正パラメータ(camera calibration parameter)を使用してテストシーンを撮影することを表しており、その中にカメラの両眼間(camera interocular)、カメラの視界／焦点長さおよび両眼連動角度(vergence angle)が含まれている。プランナはステレオ深さを選択し（ステップ２０４）、以下に説明するようにユーザインタフェースを通してパラメータ値を操作する（ステップ２０６）。（なお、ステレオ深さは、別のプロセスを使用して、例えば、非特許文献１に記載の手法を用いて事前に計算される。）これらのパラメータ値は、パラメータ値から望ましいシーンが得られるまで適切な方法で保存され（ステップ２０８）、カメラを較正してシーンを再撮影するために使用されるので、シーン（または別のテストシーン）を再撮影しないで済む（ステップ２１２）。なにが撮影されるかに応じて、最終的テストシーンが現実のシーンとして使用されることもあれば、現実のシーンが既知の望ましいパラメータ値を使用して撮影されることもある（例えば、現実の俳優と共に）。
図３は、編集オペレーションのステップを示す図である。ステップ３０２、３０３および３０６は図２のステップ２０２、２０４および２０６に類似しているので、テストシーンではなく実際のシーンが編集され、以下に説明するように初期パラメータが必要でないとの注記を除き、ここで再び説明することは省略する。
ステップ３０８は、単一のパラメータ値の変更のあとであるか、複数のパラメータ値の変更であるかに関係なく、エディタが必要時に新しいパラメータ値を使用してシーンを再レンダリングすることを示している。ステップ３１０は、エディタが望ましい結果を得るまで操作／再レンダリングを繰り返す。
以下に説明するパラメータ操作を容易にするためにユーザインタフェースは数学的フレームワークを実現し、これによりユーザのインターラクションをステレオパラメータ値に変換するメカニックスが抽象化されている。さらに具体的には、このフレームワークは、カメラのプロジェクタ対スクリーン対ビューアのジオメトリを比率として抽象化して、ユーザによる直接的操作を可能にしている。
このフレームワークでは、ビューアの体験に関連するある種のパラメータが既知であるか、あるいはユーザによって構成されることを想定しており、その中には、スクリーン幅Ｓw、ビューアからスクリーンまでの距離Ｓz、およびビューアの両眼の間の距離Ｂeが含まれている。一実施形態では、パラメータは同じ単位を共有し、世界座標空間(world coordinate space)の起点はビューアの両眼の間の中心に位置している。従って、左目と右目の位置は{-Be/2,0,0}および{Be/2,0,0}である。
左と右のイメージ幅をＷで表すと、比率Ｓr＝Ｓw／Ｗはピクセルロケーションを物理的スクリーンロケーションにマッピングするために使用される。
左と右のイメージにまたがる対応するペアのポイントを、それぞれＰL＝（ｃL,ｒL）およびＰR＝（ｃR,ｒR）とする。両方のイメージは修正されているので、ｒL＝ｒRである。両方のイメージをスクリーン上に投影したあと、対応するスクリーンロケーションはＰLS＝（ｃLS,ｒLs）およびＰRS＝（ｃRS,ｒRLS）である。なお、ＰLSとＰRSはピクセル数で指定されている。
イメージをスクリーン上に置くとき、２つのアプローチが使用されることがある。すなわち、両眼連動構成または平行構成である。小型スクリーンでは、イメージ中心がスクリーンの中央に置かれる両眼連動構成が使用されるのが代表的である。大型スクリーンでは、イメージ中心が想定される両眼間だけずれている平行構成が使用されるのが普通である。下の式は、注記している場合を除き、両方とも同じである。イメージ差異はｄ−（ＣR−ＣL）によって与えられる。スクリーンの差異ｄS＝（ＣRS−ＣLS）は両眼連動構成ではｄに等しいか、平行構成ではｄS＝ｄ+Ｂe／Ｓrに等しいかのどちらかである。どちらのケースも、知覚される深さＺeは次のとおりである。
Figure 0005734964
ビューアの視点Ｘeから知覚されるＸ座標は次のように計算される。
Figure 0005734964
知覚されるＹ座標は同じように計算される。なお、以下では簡略化のために、Ｙ座標の計算式は、Ｘ座標に類似しているので省略する。
上記数学計算がビューアの動きが垂直方向（正方向−逆方向）であるとき拡張できるのは、そのことがＳZの新しい値を意味しているからである。水平方向（横方向）のビューアの動きが知覚された深さＺeを変更しないのは、その動きがスクリーンに平行しているからである。しかし、その結果として、ｘ座標Ｘeの変化のためにシーン形状がねじれに似た歪みを生じることになる。Ｋxがビューアの水平方向のシフトであれば、訂正項-Kx(Ze-SZ）/SZが式（２）のＸeに加えられる。
ユーザインタフェースを使用すると、ユーザはパラメータ値を変更することによりスクリーンのビューアの知覚を変更することでき、これらのパラメータ値には、カメラの視界θC、カメラの両眼間ＢC、カメラの両眼連動ＶC、およびドリーＺSが含まれている。シーンはカメラから十分に遠くに離れているので、両眼連動を変更することはＸ方向に沿ってイメージをグローバルにシフトすることに等しいと想定され、その結果としてイメージ差異が変更されている。この近似が正確であるのは、カメラが平行構成にある場合だけである。従って、単純化のために、両眼連動ＶCは水平方向のピクセルシフトとして記述されることがある。例えば、ＶCが与えられているとき、左のイメージはＶC/2ピクセル数だけ左にシフトし、右のイメージはＶC/2ピクセル数だけ右にシフトすることがある。
視界および両眼連動の値の変更は、それぞれイメージのサイズを変更し、シフトすることに相当する。しかし、カメラの両眼間およびドリーを操作するには、シーンを再レンダリングする必要がある。これは、両眼間およびドリーを変更すると、カメラが平行移動するためシーンのパララックス(parallax)を明らかにする必要があるからである。
ユーザ指定／編集のパラメータ値、すなわち、視界角度θC、カメラ両眼連動ＶC、およびドリーＺSに基づいて新しいピクセル位置を計算するために、これらの値に対する変更は、カメラマンがビデオキャプチャ時に同じ変更を行うことに相当する順序、すなわち、ドリーＺS、両眼間ＢC、視界θC、次に両眼連動の順序で入力されることがある。
ＶCはあるがままに操作されるのに対し、他の３つのパラメータはオリジナルのカメラパラメータθC0、ＢC0およびＺS0の比率として操作される。
Figure 0005734964
定義により、ＶC0＝０である。式（３）から、αθはその中心周りにイメージをスケーリングし、αBはカメラのベースラインの相対的変化であり、αZは単位距離ＺS0を使用した「正規化」ドリーである。ＺS0は、カメラ空間に再投影されるときのビューアとスクリーン深さとの関数として計算される。
Figure 0005734964
これらの数量を比率として提供することは、カメラパラメータが数量化するのに困難であるか、あるいは未知であるようなシナリオで有用である。実際には、ポストプロダクション(post-production)だけが望ましい場合は、カメラパラメータは不要である。しかし、ショットをプランニングするためには、カメラパラメータは既知である必要がある。ステレオスコープ効果を直接に操作することにより、ユーザは、その原因となったカメラパラメータを間接的に変更することになる。例えば、フレームワークは、カメラ／両眼間の比率αBに逆比例するようにシーンをスケーリングする。これはシーン形状を変更することにより巨大化と縮小化を解決するが、これはカメラベースラインを変更するのと同じである。
オリジナルのスクリーンカラムロケーションＣLSとスクリーン差異ｄSをピクセルＰLSに対して使用するいずれかの操作の前にフレームワークは式（１）と（２）を使用してオリジナルのＸeとＺe座標を計算する。カメラの両眼間とドリーの変化を加えると、知覚した３Ｄ座標
Figure 0005734964
の新しいセットが得られる。
Figure 0005734964
次に、変形したポイントがムービースクリーン上に投影されてスクリーン座標
Figure 0005734964
とスクリーン差異
Figure 0005734964
の新しいセットが見つかる。
Figure 0005734964
Figure 0005734964
の値は同じように計算されことがあり、そのあとフレームワークは新しい差異
Figure 0005734964
を計算することができる。そのあと、視界と両眼連動の変更が適用され、新しいスクリーン座標（ｃ‘LS，ｒ’LS）およびワープしたスクリーン差異ｄ’Sが見つけられる。
Figure 0005734964
式（７）は両眼連動構成を想定している。平行構成が使用される場合は、スケーリング前とスケーリング後にイメージがＸ方向に（Ｂ/(２Ｓr）だけ）付加的にシフトされる。
次に、ユーザインタフェースの態様について説明すると、図４に示すように、ユーザは世界の形状をビューアによって知覚されたとおりに直接に操作することができる。図４に４４０で示した領域（パネル）に示すように、これは、スキャンライン４６１に関連する知覚したシーンのポイントクラウドのトップダウンの「上方ビュー」によって可能である。なお、このパネル内の小さな不規則ラインとカーブはシーンにあるオブジェクトの前面に対応している。イメージ差異を自動的に生成し、編集したパラメータが与えられたステレオイメージの新しいセットをレンダリングするためには公知のアルゴリズムが使用される。
一実施形態では、ボックスウィジェット(box widget)（または単にボックス４４２）がインタフェースの一部として用意されているのでユーザは世界の知覚した形状を容易に操作することが可能になっている。さらに具体的には、ボックス４４２（または他の適当な二次元図）は知覚したシーンポイント上に重ねられている。ユーザはボックス４４２の種々の部分を操作して特定の変更を行う。この目的のために、パラメータに対応してドット／ハンドルが用意されている（どのドットがどのパラメータを制御するかについてユーザの助けとなる凡例が利用可能になっている。実際の実施形態では、ドットはどのパラメータが操作されているかをユーザが認識しやすくする異なるカラーになっている）。
ドット操作に関しては、ドット／ハンドルを操作して両眼連動パラメータ値を変更するためのマウスポインタが表示される。ユーザは、ドット／ハンドルを通して種々の方法でボックスを操作することによって知覚したシーン形状を変更する（そのあと新しいステレオイメージを再レンダリングする）ことができる。なお、一般的に、レンダリングは後刻まで据え置かれる。
ボックスの形状が有意義であるのは、それがレンダリングしたイメージに存在するステレオ効果を要約しているからである。例えば、このボックスが正確に四角であるときは、これはビューアにとって歪みがゼロであることを意味している。別の例として、カードボーディング(cardboarding)またはピンチング(pinching)は、それぞれこのボックスの平坦化または伸長(elongation)に対応している。なお、図６は非矩形ボックスを示している。
ボックスを操作する（パラメータ値を変更する）このような１つの方法は、視界パラメータを変更することによってカードボーディングおよびピンチング効果を追加／強調することである。ユーザは、ボックスのサイドでドット／ハンドルを動かすことによって（例えば、ドラッギング）視界を変更することができる。これにより、オリジナルのカメラ焦点長さも変更される。ボックスの歪みは、例えば、視界が広いときに起こるピンチング効果を反映している。
両眼連動のドット／ハンドル４４４をドラッグすると、イメージは左および右に平行移動する。上述したように、差異がゼロであるシーンの部分はシーンの深さに置かれているように見える。両眼連動を変更すると、スクリーンに置かれているように見えるシーンの部分を変更する効果がある。ユーザは、ボックス４４２の上部でドット４４４を上下に動かすことによって両眼連動を変更する。その結果として、左と右のステレオフレームがＸ方向にシフトすることになる。なお、このアクションはシーン形状を不均一に変形させる。
ドリーのドット／ハンドル４４８はシーンを正方向または逆方向に平行移動する。ユーザは、四角の中央にあるドット４４８をドラッグすることによってドリーで移動する（すなわち、知覚したカメラシーンの距離を変更する）。シーンがビューアに近づくと、バーチャルカメラはシーンの近くに移動する。ドリーが歪みを引き起こさないのは、それが視差効果(parallax effect)（これは深さに依存する）があるからである。ユーザがどの程度までドリーできるかは、ステレオデータの品質に依存している。小さなシフトが可能であるが、その結果として、ステレオ体験を大きく変化させることができる。
ボックスの隅にあるドット／ハンドル４５０をドラッグすることによって、ユーザは両眼間パラメータ値を変更すると、シーンが大きくまたは小さく見えるようにスケーリングされる。この効果によりカメラのベースラインが変更され、最小化と最大化の公知の効果が得られる。
図４に例示するユーザインタフェースは、他の２つの領域、すなわち、パネルも含んでいる。一方のパネルは、シーンが現在パラメータ化されている通りにシーンをプレイするビデオプレイヤパネル(video player panel)４６０であり、ポイントクラウド（４４０に示す平面図）はライン４６１上のピクセルに関連する深さ分布(depth distribution)である。他方のパネルはパラメータの一部または全部に対応する現行値を示している。一実施形態では、ユーザは、これらの値の少なくとも一部を入力することにより、例えば、ドット／ハンドルをドラッグするだけでは得られない非常に正確な値が得られることがある。
パラメータを個別的に調整することのほかに、１つまたは２つ以上のパラメータは、一方のパラメータの値を変更すると、他方または他のパラメータ値が変更されるように１つに結合されていることがある。チェックボックスなどが用意されていると、ユーザは異なるカメラパラメータを一緒に「ロック」して新しいステレオ効果を作ることが可能になる。カップリング(coupling)を使用する１つの例は、周知の「ヒッチコックズーム(Hitchcock boom)」効果（著名なムービーディレクタの名前をとって命名）と同等のステレオスコープであり、そこでは前景の対象は、ドリーがカメラを対象の近くにまたは対象から離れて移動することにより背景のオブジェクトのサイズを変更している間、カメラの焦点長さを調整することにより同じサイズのままになっている。この効果は、ドリーパラメータ、視界パラメータおよび両眼連動パラメータを１つに結合することによってユーザインタフェースで行われる。なお、平行構成が使用される場合は、ドリーと視界だけがこの目的のために結合する必要がある。なお、このことは、図５に破線で示すようにユーザに視覚的に示されることがあるが、破線はどのパラメータがそれぞれのハンドルを通して結合されるかを示している。例えば、３つのハンドル４４４、４４６および４４８が線分によって１つに結合されて、この例では三角形５５０を形成している。（２つだけが結合される場合は、１つの線分が示されている）。さらに、破線が示されているが、一実施形態ではカラーの線または実線が使用されることに留意されたい。
一般的に、ヒッチコック効果のポイントは、背景がある対象の裏で動いている間その対象は安定に保つことである。この効果は、背景の深さが変化している間、対象の深さを一定に保つように実施形態では拡張されている。従って、この操作に対象の深さがある。深さはユーザインタフェースにおいてポイントクラウドと共に描写されるので、ユーザがヒッチコック効果を起動することのある１つの方法は、ポイントクラウドで特定の深さ（対象の深さ）にクリックすることである。その対象の深さは、シーンの残り部分の深さが変更される間一定に保たれている。
次に、別の態様について説明すると、ユーザインタフェースはプロセニアムアーチをシフトするために使用されることもある。さらに具体的に説明すると、スクリーンの前面にオブジェクトが現れる多くのステレオスコープショットでは、スクリーンのエッジには一方の目だけで見ることができる領域が存在する傾向がある。例えば、図４においてビューアの両眼に対応するビューイングポイントを撮影するとき、４７２で示したオブジェクトのように、４５８と４５９で示した２本の角度の付いたラインの間にあるものはビューアの左目で見ることができるが、右目では見ることができない。
このようなエリアはスクリーンのエッジと一致しないように見え、一部のビューアでは眼精疲労の原因になるおそれがある。プロセニアムアーチパラメータは、スクリーンフレームの一部を見えにくくして（ブラックアウトする）、基本的には、スクリーンの知覚したエッジをビューアに近づけるために使用される。その長さは、黒いドット（深さマーカ）４７０と４７１を視覚(sight)のラインに沿って移動することによって調整される。プロセニアムアーチが適切に位置づけられるとき、ビューアの目／脳はイメージのエッジ近くでオブジェクトを融合(fuse)することが容易になる。
次に、ポストプロダクション(post-production)効果の作成について説明すると、ムービーエディタはショット間でカットして、例えば、対照するシーンの間でスイッチすることによってなんらかの方法でストリーを知らせる必要がある。最近の傾向には、非常に高速で複数のカットを使用することが含まれている。しかし、ステレオスコープコンテンツでは、このような高速カットは、ビューアが異なる深さでシーンを融合する能力にタイムラグが存在するために、ユーザに視覚的な不快感を与える潜在性が顕著である。
視覚的な不快感を軽減する１つの方法は、カット前とカット後に両眼連動をブレンド(blend)して、関心あるオブジェクトがカット個所で同じ長さをもつようにすることである。例えば、スクリーンの背後にあるように見えるシーン内の注目するオブジェクトを考えてみる。そのシーンが突然に１つにカットされ、そこに注目するオブジェクトが現在スクリーンの前面にある場合、微妙に振動する「ジャンプ」がビューアによって感知される。しかし、カット前とカット後の両眼連動が微妙にシフトすると、深さのジャンプが防止されるので、その結果としてより視覚的に軽快な平行移動が得られることになる。この微妙な両眼連動の変更は、ビューアに気づかれることなく行えるのが一般的である。
図６は、２つのショット、すなわち、ショットＡとショットＢの間で両眼連動のシフトすることを制御するためにエディタを使用することができるインタフェースパネル６６０を示す図である。破線は、両眼連動をシフトすることなく、すなわち、ユーザがそれを処理できるのと同じ速さで知覚される「瞬時」のジャンプとして、ショットＡにおける注目のオブジェクトの深さがショットＢにおける注目のオブジェクトの深さにどのように平行移動するかを表している。ユーザインタフェースを使用して、エディタ／プランナは直前のクリップではあるオブジェクトから、次のクリップでは別のオブジェクトから深さを取得することができる。シフトは、種々のブレンディング関数(blending function)（例えば、リニア、キュービックスプライン(cubic spline)など）のいずれかに従うことがある。スライド可能バー６６２などのメカニズムまたは他のタイミングコントロールメカニズムは、平行移動がいつ開始し、終了するかに関するタイミングを制御するために使用することができる。従って、エディタ／プランナは、カット前とカット後に両眼連動をブレンドさせることを選択できるので、カット時に２つのオブジェクトは同じ差異をもつことになる。この結果として、より視覚的に軽快な平行移動が得られることになる。
両眼連動は、注目をオブジェクトに向けるために使用されることもある。なお、両眼連動の変化はビューアによって気づかれないのが通常であり、完全なイメージ融和(fusion)は短いタイムラグ（これは人と人の間で変化することがある）のあとビューアで行われる。シーンがこのタイムラグよりも速く前後にカットする場合は、現在融和されたアリアと同じ差異をもつオブジェクトが先に融和される。従って、ビューアの注目は、類似差異のエリアを両眼連動の変化を使用して交互に調整することによって向けられることがある。
例示動作環境
図７は、図１乃至図６のいずれかの例および実施形態が実現されることがある適切なコンピューティングおよびネットワーキング環境７００の例を示す図である。コンピューティングシステム環境７００は適切なコンピューティング環境の一例にすぎず、本発明の使用または機能の範囲に関して制限があることを示唆するものではない。コンピューティング環境７００は、例示動作環境７００に図示したコンポーネントのいずれか１つまたはその組み合わせに関してなんらの依存関係または要求条件があるものとして解されるものでもない。
本発明は、多数の他の汎用または特殊目的コンピューティングシステム環境または構成と共に動作可能である。本発明と共に使用するのに適している周知のコンピューティングシステム、環境および／または構成の例としては、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブルコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システムまたはデバイスのいずれかを含む分散コンピューティング環境などがあるが、これらに限定されない。
本発明は、プログラムモジュールのように、コンピュータによって実行されるコンピュータ実行可能命令の一般的コンテキストの中で記述されることがある。一般的に、プログラムモジュールとしては、特定のタスクを実行しまたは特定の抽象データ型を実現するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などがある。本発明は、通信ネットワークを通してリンクされたリモート処理デバイスによってタスクが実行されるような分散コンピューティング環境で実施されることもある。分散コンピューティング環境では、プログラムモジュールはローカルおよび／またはリモートのコンピュータ記憶媒体に置かれていることがあり、その中にはメモリストレージデバイスが含まれている。
図７を参照して説明すると、本発明の種々の態様を実現するための例示システムには、コンピュータ７１０の形体をした汎用コンピューティングデバイスが含まれることがある。コンピュータ７１０のコンポーネントには、処理ユニット７２０、システムメモリ７３０、およびシステムメモリを含む種々のシステムコンポーネントを処理ユニット７２０に結合するシステムバス７２１が含まれることがあるが、これらに限定されない。システムバス７２１は、いくつかのタイプのバス構造のいずれかであることがあり、その中には、種々のバスアーキテクチャのいずれかを使用したメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスが含まれている。例を挙げると、このようなアーキテクチャとしては、ＩＳＡ(Industry Standard Architecture)バス、ＭＣＡ(Micro Channel Architecture)バス、ＥＩＳＡ(Enhanced ISA)バス、ＶＥＳＡ(Video Electronics Standards Association)ローカルバス、およびMezzanineバスとして知られるＰＣＩ(Peripheral Component Interconnect)バスがあるが、これらに限定されない。
コンピュータ７１０は、種々のコンピュータ可読媒体を含んでいるのが代表的である。コンピュータ可読媒体は、利用可能であれば、コンピュータ７１０によってアクセス可能であるどのような媒体でもよく、その中には揮発性媒体と不揮発性媒体の両方、および取り外し可能媒体と取り外し不能媒体が含まれる。例を挙げると、コンピュータ可読媒体はコンピュータ記憶媒体および通信媒体を含むことがあるが、これらに限定されない。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータなどの情報を記憶するために、なんらかの方法またはテクノロジで実現された揮発性および不揮発性で、取り外し可能および取り外し不能の媒体が含まれる。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリテクノロジ、ＣＤ−ＲＯＭ、ＤＶＤ(digital versatile disk)またはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気ストレージデバイス、または必要な情報をストアするために使用可能で、コンピュータ７１０によってアクセス可能であるいずれかの他の媒体が含まれるが、これらに限定されない。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータを、搬送波またはその他のトランスポートメカニズムなどの変調されたデータ信号に具現化されているのが代表的あり、その中にはいずれかの情報配信媒体が含まれている。「変調されたデータ信号(modulated data signal)」の用語は、その特性の１つまたは２つ以上が情報を信号に符号化するような形式でセットまたは変更されている信号を意味している。例を挙げると、通信媒体には、有線ネットワークまたは直接有線接続などの有線媒体、および音響、ＲＦ、赤外線およびその他の無線媒体が含まれるが、これらに限定されない。上記に挙げたもののいずれかの組み合わせも、コンピュータ可読媒体の範囲内に含まれることもある。
システムメモリ７３０には、ＲＯＭ（リードオンリメモリ）７３１およびＲＡＭ（ランダムアクセスメモリ）７３２のような揮発性および／または不揮発性メモリの形式をとるコンピュータ記憶媒体が含まれている。スタートアップ期間のように、コンピュータ７１０内のエレメント間で情報の転送を容易にする基本ルーチンを収めているＢＩＯＳ（基本入出力システム）７３３は、ＲＯＭ７３１にストアされているのが一般的である。ＲＡＭ７３２は、処理ユニット７２０に即時にアクセス可能で、現在その操作の対象になっているデータおよび／またはプログラムモジュールを収めているのが一般的である。例を挙げると、図７は、オペレーティングシステム７３４、アプリケーションプログラム７３５、その他のプログラムモジュール７３６およびプログラムデータ７３７を例示しているが、これらに限定されない。
コンピュータ７１０は、その他の取り外し可能／取り外し不能で揮発性／不揮発性コンピュータ記憶媒体を含んでいることもある。例を挙げると、図７は、取り外し不能の不揮発性磁気媒体との間で読み書きを行うハードディスクドライブ７４１、取り外し可能の不揮発性磁気ディスク７５２との間で読み書きを行う磁気ディスクドライブ７５１、およびＣＤ ＲＯＭまたはその他の光媒体のような取り外し可能の不揮発性光ディスク７５６との間で読み書きを行う光ディスクドライブ７５５を例示しているが、これらに限定されない。例示動作環境で使用可能であるその他の取り外し可能／取り外し不能の揮発性／不揮発性コンピュータ記憶媒体としては、磁気テープカセット、フラッシュメモリカード、デジタルバーサタイルディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどがあるが、これらに限定されない。ハードディスクドライブ７４１は、インタフェース７４０のような取り外し不能メモリインタフェースを通してシステムバス７２１に接続されているのが一般的であり、磁気ディスクドライブ７５１および光ディスクドライブ７５５は、インタフェース７５０のような取り外し可能メモリインタフェースでシステムバス７２１に接続されているのが一般的である。
上述し、図７に例示するこれらのドライブおよびそれぞれの関連コンピュータ記憶媒体は、コンピュータ７１０のためにコンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータのストレージを提供している。図７において、例えば、ハードディスクドライブ７４１は、オペレーティングシステム７４４、アプリケーションプログラム７４５、その他のプログラムモジュール７４６およびプログラムデータ７４７をストアするものとして図示されている。なお、これらのコンポーネントは、オペレーティングシステム７３４、アプリケーションプログラム７３５、その他のプログラムモジュール７３６およびプログラムデータ７３７と同じであることもあれば、異なることもある。オペレーティングシステム７４４、アプリケーションプログラム７４５、その他のプログラムモジュール７４６およびプログラムデータ７４７は、最低限でも、これらが異なるコピーであることを示すために、本明細書では異なる番号が付けられている。ユーザは、タブレットのような入力デバイスまたはエレクトロニックデジタイザ７６４、マイクロホン７６３、キーボード７６２および通常はマウス、トラックボールまたはタッチパッドと呼ばれているポインティングデバイス７６１を通してコマンドおよび情報を入力することがある。図７に図示していないその他の入力デバイスとしては、ジョイステッィク、ゲームパッド、サテライトディッシュ、スキャナなどがある。これらの入力デバイスおよびその他の入力デバイスは、システムバスに結合されたユーザ入力インタフェース７６０を通して処理ユニット７２０に接続されていることがよくあるが、パラレルポート、ゲームポートまたはＵＳＢ（ユニバーサルシリアルバス）などの他のインタフェースおよびバス構造によって接続されることもある。モニタ７９１またはその他のタイプのディスプレイデバイスも、ビデオインタフェース７９０のようなインタフェースを介してシステムバス７２１に接続されている。モニタ７９１はタッチスクリーンパネルなどと一体になっていることもある。モニタ７９１は、偏光ガラス(polarized glass)またはその他のメカニズムの使用を通してステレオイメージの表示を可能にするように付加的に装備されていることがある。なお、モニタおよび／またはタッチスクリーンパネルは、タブレットタイプのパーソナルコンピュータ内のように、コンピューティングデバイス７１０が組み込まれている筐体に物理的に結合することができる。さらに、コンピューティングデバイス７１０のようなコンピュータは、スピーカ７９５およびプリンタ７９６のように、出力周辺インタフェース７９４などを通して接続されていることのある他の周辺出力デバイスを備えていることもある。
コンピュータ７１０は、リモートコンピュータ７８０のような１つまたは２つ以上のリモートコンピュータとの論理接続を使用してネットワーク環境で動作することがある。リモートコンピュータ７８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたはその他の共通ネットワークノードとすることができ、図７にはメモリストレージデバイス７８１だけが図示されているが、そこにはコンピュータ７１０に関連して上述したエレメントの多くまたはすべてが含まれているのが一般的である。図７に図示する論理接続は１つまたは２つ以上のローカルエリアネットワーク（ＬＡＮ）７７１および１つまたは２つ以上のワイドエリアネットワーク（ＷＡＮ）７７３を含んでいるが、その他のネットワークを含んでいることもある。このようなネットワーキング環境はオフィス、企業内コンピュータネットワーク、イントラネットおよびインターネットで普通になっている。
ＬＡＮネットワーキング環境で使用されるときは、コンピュータ７１０は、ネットワークインタフェースまたはネットワークアダプタ７７０を通してＬＡＮ７７１に接続されている。ＷＡＮネットワーキング環境で使用されるときは、コンピュータ７１０は、インターネットのようなＷＡＮ７７３上でコミュニケーションを確立するためのモデム７７２またはその他の手段を備えているのが一般的である。モデム７７２は、内蔵されていることも外付けになっていることもあり、ユーザ入力インタフェース７６０またはその他の適切なメカニズムを介してシステムバス７２１に接続されることもある。インタフェースとアンテナを備えているような無線ネットワーキングコンポーネント７７４は、アクセスポイントまたはピアコンピュータのような適当なデバイスを通してＷＡＮまたはＬＡＮに結合されていることがある。ネットワーク化(networked)環境では、コンピュータ７１０に関して図示したプログラムモジュールまたはその一部は、リモートメモリストレージデバイスにストアされることがある。例として、図７は、リモートアプリケーションプログラム７８５がメモリデバイス７８１上に置かれているものとして図示しているが、この例に限定されない。以上から理解されるように、図示したネットワークコネクションは例示であり、コンピュータ間の通信リンクを確立する他の手段が使用されることもある。
補助サブシステム７９９（例えば、コンテンツの補助ディスプレイ用）は、コンピュータの主要部分が低電力状態にある場合でも、プログラムコンテンツ、システムステータスおよびイベント通知などのデータがユーザに与えられるのを可能にするためにユーザインタフェース７６０を介して接続されていることがある。補助サブシステム７９９は、主要処理ユニット７２０が低電力状態にある間にこれらのシステム間のコミュニケーションを可能にするためにモデム７７２および／またはネットワークインタフェース７７０に接続されていることがある。
結論
本発明は種々の変更および代替実施形態を可能にしているが、本発明のある種の図示実施形態を図面に示し、詳細に上述した。しかし、当然に理解されるように、本発明は開示した特定の形態に限定されるものではなく、本発明の精神および範囲内に属するすべての変更、代替構成および等価技術を包含するものである。
１０２ ステレオビデオ
１０４ 左ステレオビデオカメラ
１０５ 右ステレオビデオカメラ
１０６ ユーザインタフェース
１１０ プランナ
１１２ エディタ
１１４ 修正ビデオ
１１６ 修正パラメータ
１１８ ブロック
４４０ パネル領域
４４２ ボックス
４４４ ドット／ハンドル
４４８ ドリードット／ハンドル
４５０ ドット／ハンドル
４６０ ビデオプレイヤパネル
４６１ スキャナ
４６２ 他方のパネル
４５８、４５９ 角度の付いたライン
４７０、４７１ ブラックドット（深さマーカ）
４７２ オブジェクト
６６０ インタフェースパネル
６６２ スライド可能バー
７００ コンピューティングおよびネットワーキング環境
７１０ コンピュータ
７２０ 処理ユニット
７２１ システムバス
７３０ システムメモリ
７３１ ＲＯＭ
７３２ ＲＡＭ
７３３ ＢＩＯＳ（基本入出力システム）
７３４ オペレーティングシステム
７３５ アプリケーションプログラム
７３６ プログラムモジュール
７３７ プログラムデータ
７４０ インタフェース
７４１ ハードディスクドライブ
７４４ オペレーティングシステム
７４５ アプリケーションプログラム
７４６ プログラムモジュール
７４７ プログラムデータ
７５０ 取り外し可能メモリインタフェース
７５１ 磁気ディスクドライブ
７５２ 取り外し可能の不揮発性磁気ディスク
７５５ 光ディスクドライブ
７５６ 取り外し可能の不揮発性光ディスク
７６０ ユーザ入力インタフェース
７６１ ポインティングデバイス
７６２ キーボード
７６３ マイクロホン
７６４ エレクトロニックデジタイザ
７７０ ネットワークインタフェースまたはアダプタ
７７１ ＬＡＮ（ローカルエリアネットワーク）
７７２ モデム
７７３ ＷＡＮ（ワイドエリアネットワーク）
７７４ ワイヤレスネットワーキングコンポーネント
７８１ メモリデバイス
７８５ リモートアプリケーションプログラム
７９０ ビデオインタフェース
７９１ モニタ
７９４ 出力周辺デバイス
７９５ スピーカ
７９６ プリンタ
７９９ 補助サブシステム

Claims (15)

  1. コンピューティング環境において、
    プロセッサと、
    前記プロセッサにより実装され、ステレオビデオシーンに関連する１つまたは２つ以上のパラメータ値を操作するように構成されたユーザインタフェースと
    を備えたシステムであって、前記ユーザインタフェースは、シーンの少なくとも一部の上方ビュー表現を含み、前記上方ビュー表現はスクリーンロケーションに対するビューアのビューポイントを示し、前記表現は前記シーンに対して可動なグラフィカル手段を用いて前記１つまたは２つ以上のパラメータ値を操作するための入力を得ることに関してインターラクティブであり、前記ユーザインタフェースは、さらに、異なるタイプのパラメータ値を一緒にロックする選択を提供してステレオスコープ効果を作成するように構成されていることを特徴とするシステム。
  2. 前記パラメータ値の１つは、両眼連動パラメータ、両眼間パラメータ、ドリーパラメータ、視界パラメータ、またはプロセニアムパラメータに対応していることを特徴とする請求項１に記載のシステム。
  3. 少なくとも２つのパラメータが存在し、これらのパラメータは、１つのパラメータ値を変更すると、変更された値に対応するパラメータに結合された他の各々のパラメータのパラメータ値が変更されるように１つに結合されていることを特徴とする請求項１に記載のシステム。
  4. ドリーパラメータと視界パラメータとが結合されているか、または両眼連動パラメータと、ドリーパラメータと視界パラメータとが結合されていることを特徴とする請求項３に記載のシステム。
  5. 前記表現は、可動ハンドルを通して入力を受信することに対してインターラクティブであり、前記ハンドルが移動すると、対応するパラメータ値が変化することを特徴とする請求項１に記載のシステム。
  6. 前記表現はボックスを含み、前記ボックスの形状は、前記可動ハンドルが移動して対応するパラメータ値を変更すると変化することを特徴とする請求項５に記載のシステム。
  7. 前記ユーザインタフェースは、少なくとも１つのパラメータに対する数字の値を示すインターラクティブパネルを含むか、前記ユーザインタフェースは、ステレオシーンを見るためのビデオプレイヤパネルを含むか、または前記ユーザインタフェースは、少なくとも１つのパラメータに対する数字の値を示すインターラクティブ式パネルを含み、かつ前記ステレオシーンを見るためのビデオプレイヤパネルを含むことを特徴とする請求項１に記載のシステム。
  8. 前記ビューアのビューポイントは、ビューアの両眼を表現する２つのポイントを含み、前記表現は各ポイントからの視覚を示す情報を含むことを特徴とする請求項１に記載のシステム。
  9. 前記ユーザインタフェースは、カット前とカット後の両眼連動値をブレンドすることと、前記シーンにおけるオブジェクトに注意を引き付けるように両眼連動を変更することとの少なくとも一方を実行するように構成されることを特徴とする請求項１に記載のシステム。
  10. コンピューティング環境において、コンピュータシステムが、
    ステレオシーンの表現を表示し、パラメータ値を変更するためのインターラクティブメカニズムを含むユーザインタフェースを提供するステップであって、前記シーンに対して可動なグラフィカル手段を用いて、前記インターラクティブメカニズムが両眼連動パラメータ値を変更するためのメカニズム、ドリーパラメータ値を変更するためのメカニズム、視界パラメータ値を変更するためのメカニズム、および両眼間パラメータ値を変更するためのメカニズムを含む、前記ユーザインタフェースを提供するステップと、
    前記インターラクティブメカニズムのうちの少なくとも１つのインターラクティブメカニズムとのインターラクションに対応するデータを受信するステップと、
    前記少なくとも１つのインターラクティブメカニズムに対応するパラメータ値を変更するステップであって、前記ユーザインタフェースは、さらに、異なるタイプのパラメータ値を一緒にロックする選択を提供してステレオスコープ効果を作成する、ステップと、
    前記両眼連動パラメータ値を、少なくとも１つのシーンのカット前とカット後の別の両眼連動値とブレンドすることによって、前記少なくとも１つのシーンにおけるオブジェクトの深さを提供するステップと
    を含むことを特徴とする方法。
  11. 前記パラメータ値の変更に基づいて新しいステレオビデオを出力するステップ、ビデオシーンを再撮影するための新しいパラメータ値を出力するステップ、または変更したシアターパラメータ値を得るためにパラメータ値の少なくとも一部を変更して調整するステップをさらに含むことを特徴とする請求項１０に記載の方法。
  12. 前記ユーザインタフェースはプロセニアムアーチパラメータ値を変更するためのメカニズムを含み、前記プロセニアムアーチパラメータの値に基づいてステレオシーンの一部を見えにくくするステップをさらに含むことを特徴とする請求項１０に記載の方法。
  13. コンピューティング環境において、
    プロセッサと、
    前記プロセッサによって実装され、シーンに対して可動なグラフィカル手段を用いて、両眼連動パラメータ、ドリーパラメータ、視界パラメータおよび両眼間パラメータを含むステレオシーンのパラメータに対応するパラメータ値を変更するようにインターラクティブであるように構成されたユーザインタフェースと
    を備えたシステムであって、
    前記ユーザインタフェースは、ビューアの両眼の表現、ビューイングスクリーンの表現、およびビューアの両眼の各々がビューイングスクリーン上に知覚するものをシミュレートする表示を含むシーンの上方ビューを提供し、
    前記ユーザインタフェースは、少なくとも１つのシーンを、別の両眼連動パラメータ値、別のドリーパラメータ値、別の視界パラメータ値、および別の両眼間パラメータ値のうちの少なくとも１つを用いて繰り返し操作するように構成され、前記ユーザインタフェースは、さらに、異なるタイプのパラメータ値を一緒にロックする選択を提供してステレオスコープ効果を作成するように構成されることを特徴とするシステム。
  14. 前記ユーザインタフェースとのインターラクションによって変更可能である値を有するプロセニアムアーチパラメータをさらに含むことを特徴とする請求項１３に記載のシステム。
  15. 前記ユーザインタフェースは、前記シーンの上方ビュー内に表示されるハンドルを通してインターラクションするように構成され、各々のハンドルはパラメータと関連付けられ、かつ前記シーンに対して移動可能であり、ハンドルの移動は、前記シーンに対してその位置を変更し、これに応じて前記ハンドルの関連パラメータのパラメータ値を変更することを特徴とする請求項１３に記載のシステム。
JP2012516281A 2009-06-16 2010-06-16 ステレオスコープシネマ用のビューア中心ユーザインタフェース Active JP5734964B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/485,179 US9275680B2 (en) 2009-06-16 2009-06-16 Viewer-centric user interface for stereoscopic cinema
US12/485,179 2009-06-16
PCT/US2010/038913 WO2010148154A2 (en) 2009-06-16 2010-06-16 Viewer-centric user interface for stereoscopic cinema

Publications (3)

Publication Number Publication Date
JP2012530326A JP2012530326A (ja) 2012-11-29
JP2012530326A5 JP2012530326A5 (ja) 2015-04-02
JP5734964B2 true JP5734964B2 (ja) 2015-06-17

Family

ID=43307496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012516281A Active JP5734964B2 (ja) 2009-06-16 2010-06-16 ステレオスコープシネマ用のビューア中心ユーザインタフェース

Country Status (7)

Country Link
US (1) US9275680B2 (ja)
EP (3) EP2443563B1 (ja)
JP (1) JP5734964B2 (ja)
KR (1) KR101686693B1 (ja)
CN (1) CN102804169A (ja)
CA (1) CA2760983C (ja)
WO (1) WO2010148154A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330802B2 (en) * 2008-12-09 2012-12-11 Microsoft Corp. Stereo movie editing
JP5444955B2 (ja) * 2009-08-31 2014-03-19 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
US9128367B2 (en) * 2010-03-05 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
WO2011108283A1 (ja) 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
WO2011108277A1 (ja) 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
JP5643617B2 (ja) * 2010-11-18 2014-12-17 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理方法、画像処理システム
KR101763263B1 (ko) * 2010-12-24 2017-07-31 삼성전자주식회사 3ｄ 디스플레이 단말 장치 및 그 조작 방법
JP5685079B2 (ja) * 2010-12-28 2015-03-18 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム
EP2710804A1 (en) * 2011-05-19 2014-03-26 Thomson Licensing Automatic conversion of a stereoscopic image in order to allow a simultaneous stereoscopic and monoscopic display of said image
US9532027B2 (en) * 2011-05-27 2016-12-27 Warner Bros. Entertainment Inc. Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery
US9390752B1 (en) * 2011-09-06 2016-07-12 Avid Technology, Inc. Multi-channel video editing
US8837847B2 (en) 2012-07-17 2014-09-16 Adobe Systems Incorporated Determining focal lengths of photographs
US9654762B2 (en) * 2012-10-01 2017-05-16 Samsung Electronics Co., Ltd. Apparatus and method for stereoscopic video with motion sensors
US9025051B2 (en) * 2013-02-28 2015-05-05 Nokia Technologies Oy Method and apparatus for automatically rendering dolly zoom effect
CN113709355B (zh) * 2020-05-21 2022-12-02 华为技术有限公司 滑动变焦的拍摄方法及电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
GB2250604B (en) * 1990-11-10 1994-05-18 Peng Seng Toh Small standoff one-camera-stereo adaptor
US6414709B1 (en) 1994-11-03 2002-07-02 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP3619063B2 (ja) * 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
JP2002101428A (ja) 2000-09-22 2002-04-05 Toshiba Corp 画像立体視表示装置
US8085293B2 (en) 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US6911995B2 (en) * 2001-08-17 2005-06-28 Mitsubishi Electric Research Labs, Inc. Computer vision depth segmentation using virtual surface
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP3426595B1 (ja) 2002-02-15 2003-07-14 大分県 粉末状に加工した廃木材からなる成型品
JP3957168B2 (ja) 2002-05-23 2007-08-15 日本放送協会 モーション・コントロール・カメラ
EP1387588A2 (en) * 2002-08-02 2004-02-04 KDDI Corporation Image matching device and method for motion estimation
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
JP4406381B2 (ja) * 2004-07-13 2010-01-27 株式会社東芝 障害物検出装置及び方法
US8358332B2 (en) 2007-07-23 2013-01-22 Disney Enterprises, Inc. Generation of three-dimensional movies with improved depth control
JP4834645B2 (ja) 2007-11-05 2011-12-14 日本放送協会 ロボットカメラパラメータ算出装置、被写体情報算出装置、ロボットカメラパラメータ算出プログラム及び被写体情報算出プログラム
JP4608563B2 (ja) * 2008-03-26 2011-01-12 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム

Also Published As

Publication number Publication date
EP3091443A3 (en) 2017-03-08
CA2760983A1 (en) 2010-12-23
WO2010148154A3 (en) 2011-03-03
US20100318914A1 (en) 2010-12-16
JP2012530326A (ja) 2012-11-29
EP2443563B1 (en) 2016-09-14
EP2443563A2 (en) 2012-04-25
KR101686693B1 (ko) 2016-12-14
EP3091442B1 (en) 2018-10-03
US9275680B2 (en) 2016-03-01
EP3091443A2 (en) 2016-11-09
WO2010148154A2 (en) 2010-12-23
EP3091443B1 (en) 2017-12-27
KR20120037400A (ko) 2012-04-19
EP3091442A1 (en) 2016-11-09
CA2760983C (en) 2016-09-13
CN102804169A (zh) 2012-11-28
EP2443563A4 (en) 2013-09-11

Similar Documents

Publication Publication Date Title
JP5734964B2 (ja) ステレオスコープシネマ用のビューア中心ユーザインタフェース
Koppal et al. A viewer-centric editor for 3D movies
US8957892B2 (en) Stereo composition based on multiple camera rigs
US20170316605A1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US9031356B2 (en) Applying perceptually correct 3D film noise
US20080246759A1 (en) Automatic Scene Modeling for the 3D Camera and 3D Video
US8330802B2 (en) Stereo movie editing
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US20230291884A1 (en) Methods for controlling scene, camera and viewing parameters for altering perception of 3d imagery
US20100220175A1 (en) Systems, apparatus and methods for subtitling for stereoscopic content
EP2323416A2 (en) Stereoscopic editing for video production, post-production and display adaptation
KR20190138896A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP2012530326A5 (ja)
JP2006178900A (ja) 立体画像生成装置
WO2020166376A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2010171628A (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
Smolic et al. Disparity-aware stereo 3d production tools
Koppal et al. A viewer-centric editor for stereoscopic cinema
JP4902012B1 (ja) ズーミング可能なステレオフォトビューア
WO2020066008A1 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
KR20130081569A (ko) 3ｄ 영상을 출력하기 위한 장치 및 방법
US20210400255A1 (en) Image processing apparatus, image processing method, and program
JP4956574B2 (ja) 立体画像描画装置および描画方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130607

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130712

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141007

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20150206

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150415

R150 Certificate of patent or registration of utility model

Ref document number: 5734964

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250