JP6561216B2 - 光学フローを使用した中間ビューの生成 - Google Patents

光学フローを使用した中間ビューの生成 Download PDF

Info

Publication number
JP6561216B2
JP6561216B2 JP2018552837A JP2018552837A JP6561216B2 JP 6561216 B2 JP6561216 B2 JP 6561216B2 JP 2018552837 A JP2018552837 A JP 2018552837A JP 2018552837 A JP2018552837 A JP 2018552837A JP 6561216 B2 JP6561216 B2 JP 6561216B2
Authority
JP
Japan
Prior art keywords
view
camera
composite
optical flow
views
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018552837A
Other languages
English (en)
Other versions
JP2019516299A (ja
Inventor
キース カブラル、ブライアン
キース カブラル、ブライアン
サミュエル ブリッグス、フォレスト
サミュエル ブリッグス、フォレスト
パラ ポゾ、アルバート
パラ ポゾ、アルバート
バイダ、ピーター
Original Assignee
フェイスブック，インク．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フェイスブック，インク． filed Critical フェイスブック，インク．
Publication of JP2019516299A publication Critical patent/JP2019516299A/ja
Application granted granted Critical
Publication of JP6561216B2 publication Critical patent/JP6561216B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Description

本開示は、一般的には、仮想現実ヘッドセットのキャンバスビューの生成に関し、より詳細には、カメラにより捕捉された画像からのキャンバスビューの生成に関する。キャンバスビューは、仮想現実においてシーンを再現するパノラマ広角ビューを表し、他のキャンバスビューと対になって、シーンの３Ｄ立体効果を与えることができる。キャンバスビュー生成の既存の技法は、遅く動作し得、例えば、手動でのステッチング又はユーザからの他の入力を必要とし得、カメラビュー間で異なる輝度又は色等のソースカメラビューでの不一致に対処する際に問題に直面し得る。
本発明の実施形態は、例えば、画像捕捉システムのカメラにより捕捉されたシーンを示し、複数のカメラにより捕捉されたシーンを示す一組の原カメラビュー又は画像に基づいて、シーンのキャンバスビューを生成することができる。キャンバスビューは、合成位置に基づいてキャンバスビューの各領域を合成ビューの領域に関連付ける第１のマッピングと、カメラビューの領域を合成ビューの領域に関連付ける第２のマッピングとに基づいて生成することができる。生成されたマッピングを結合して、キャンバスビューの各領域を一組のカメラビューの１つ又は複数のカメラビューの領域に関連付ける結合マッピングを生成することができ、次に、結合マッピングをカメラビューに適用して、キャンバスビューを生成することができる。
合成ビューは、例えば、１つ又は複数の共通の物体を共有するシーンの画像を表す第１及び第２のカメラビューに基づいて生成することができる。第１のカメラビューと第２のカメラビューとの間でピクセルを関連付ける光学フローを使用して、第１のカメラビュー及び第２のカメラビューを関連付けることができる。光学フローに基づいて、第１及び第２のカメラビューを「シフト」して、所望の合成ビューをそれぞれ近似することができる。次に、合成ビューの両近似を一緒にブレンド又は平均して（すなわち、ピクセルカラー値）、合成ビューを生成することができる。
合成ビューの生成中、光学フローを使用して、複数のカメラビューに亘る対応するポイントを関連付けることができる。例えば、光学フローは、２つ以上の対応するピクセルをそれぞれ関連付ける一組の光学フローベクトルとして表されるカメラビュー間のピクセルを関連付けることができる。光学フローは、例えば、カメラビューの各ピクセルの光学フローベクトルを個々に最適化する反復方法に基づいて生成することができる。例えば、各ピクセルに一組の光学フロー提案を生成し、各光学フロー提案を分析し、一組の光学フロー提案の光学フロー提案に基づいて各ピクセルの光学フローを更新することにより、光学フローの最適化が改善される。幾つかの実施態様では、光学フローベクトルへの変更は、近傍の光学フローベクトルに伝搬することができる。
本発明による実施形態は、特に、添付の特許請求の範囲に開示されており、１つの請求項のカテゴリ、例えば、方法において言及された任意の特徴は、別の請求項のカテゴリ、例えば、システムにおいても同様に記載することができる。添付の特許請求の範囲における従属性、参照、または相互参照は、正式な理由でのみ選ばれている。しかしながら、任意の先の請求項（特に複数の従属性）への意図的な参照から生じる任意の趣旨も同様に記載することができ、したがって、請求項及びその特徴の任意の組合せが、開示され、添付の特許請求の範囲において選ばれる従属性に関係なく記載することができる。特許請求の範囲に記載することができる趣旨は、添付の特許請求の範囲に記載される特徴の組合せのみならず、特許請求の範囲内の特徴の任意の他の組合せも含むことができ、特許請求の範囲において言及される各特徴は、特許請求の範囲における任意の他の特徴又は他の特徴の組合せと組み合わせることができる。さらに、本明細書に記載又は図示される実施形態及び特徴のいずれも、別個の請求項において及び／又は本明細書に記載又は図示される任意の実施形態若しくは特徴又は添付の特許請求の範囲の任意の特徴との任意の組合せで、特許請求の範囲に記載することができる。
一実施形態において、コンピュータが実施する方法が提供され得る。方法は、
第１のカメラビューおよび第２のカメラビューを受信するステップであって、各カメラビューは、カメラによって捕捉された画像を表し、かつカメラビューが捕捉された位置に関連付けられている、受信するステップと、
第１のカメラビューに関連付けられた位置と、第２のカメラビューに関連付けられた位置との間に配置された合成ビューに関する合成ビューの位置を識別するステップと、
第１のカメラビューに関連付けられた位置に対する合成ビューの位置に基づいて第１のカメラビューを第１の合成ビューにシフトするステップと、
第２のカメラビューに関連付けられた位置に対する合成ビューの位置に基づいて第２のカメラビューを第２の合成ビューにシフトするステップと、
第１の合成ビューと第２の合成ビューをブレンドして合成ビューを形成するステップと、を含む。
一実施形態において、第１のカメラビューを第１の合成ビューにシフトするステップは、ベクトル変位場に基づいて第１のカメラビューをシフトすることを含み得る。ベクトル変位場は、実施形態において、第１のカメラビューの各領域をシフトさせるための大きさ及び／または方向を決定し得る。
一実施形態において、ベクトル変位場に基づいて第１のカメラビューをシフトするステップは、合成ビューの位置に対する第１のカメラビューの位置の相対距離に基づいて第１のカメラビューを比例的にシフトすることを含み得る。
一実施形態において、ベクトル変位場は、第１のカメラビューと第２のカメラビューとの間の対応するピクセルを関連付ける光学フローであり得る。
一実施形態において、方法は、第１のカメラビューおよび第２のカメラビューに対する光学フローを計算するステップをさらに含み得る。
一実施形態において、方法は、第１および第２のカメラビューを、第１および第２のカメラビューを捕捉した画像捕捉システムから受信するステップを含み得る。
一実施形態において、第１および第２のカメラビューの各々は、両方のカメラビューに共通の１つ又は複数の物体を描写し得る。
一実施形態において、第１および第２の合成ビューをブレンドすることは、合成ビューの位置からの第１および第２のカメラビューの位置の個々の相対距離に基づいて第１および第２のカメラビューを重み付けすることをさらに含み得る。
一実施形態において、合成ビューは、第１及び第２のカメラビューの選択された領域を描写する部分合成ビューであり得る。
一実施形態において、合成ビューは、合成ビューの各ピクセルを第１及び第２のカメラビューにおける１つ又は複数のピクセルの組み合わせとして記述する合成ビューマッピングであり得る。
一実施形態において、システムが提供され得る。システムは、
第１のカメラビューおよび第２のカメラビューを受信するように構成された入力モジュールであって、各カメラビューは、カメラによって捕捉された画像を表し、かつカメラビューが捕捉された位置に関連付けられている、入力モジュールと、
新規ビュー生成モジュールであって、
第１のカメラビューに関連付けられた位置と、第２のカメラビューに関連付けられた位置との間に配置された合成ビューに関する合成ビューの位置を識別し、
第１のカメラビューに関連付けられた位置に対する合成ビューの位置に基づいて第１のカメラビューを第１の合成ビューにシフトし、
第２のカメラビューに関連付けられた位置に対する合成ビューの位置に基づいて第２のカメラビューを第２の合成ビューにシフトし、
第１の合成ビューと第２の合成ビューをブレンドして合成ビューを形成するように構成された新規ビュー生成モジュールと、を備える。
一実施形態において、システム、特に新規ビュー生成モジュールまたはシステムの任意のプロセッサは、コンピュータ実行可能な命令を含み得、特に格納し得、命令は、システムのデータ処理システム上での実行時に、システムに、本明細書に記載されたような方法のステップを含む方法を実行させる。
一実施形態において、コンピュータプログラム製品が提供され得る。コンピュータプログラム製品は、特に不揮発性メモリに格納されたコンピュータ実行可能な命令を含み、命令は、データ処理コンポーネントまたはシステム、特にプロセッサ上での実行時に、データ処理コンポーネントまたはシステムに本明細書に記載されたような方法のステップを含む方法を実行させる。
本発明の実施形態によるキャンバス生成システムが動作するシステム環境のブロック図である。 本発明の実施形態によるキャンバス生成システムのブロック図である。 幾つかの実施形態による画像捕捉システム例の構築を示す線図である。 幾つかの実施形態によるキャンバス生成システム例における合成カメラの使用を示す線図である。 幾つかの実施形態による、左カメラビュー及び右カメラビューに基づく合成ビュー例の生成を示す線図である。 幾つかの実施形態によるカメラビュー例及び合成ビュー例を示す線図である。 幾つかの実施形態による、カメラビュー例からの合成ビュー例の生成の詳細例を示す線図である。 実施形態による、入力カメラビューから合成ビューを生成するプロセスを示すフローチャートである。 幾つかの実施形態による、カメラビュー例間の光学フローベクトルを示す線図である。 幾つかの実施形態による、２つのカメラビュー間の光学フローを計算するプロセス例を示すフローチャートである。 幾つかの実施形態による、複数の物体及び画像捕捉システム例を示す線図である。 幾つかの実施形態によるキャンバスビュー例を示す線図である。 実施形態による、物体のビューに対する瞳孔間距離を変更する効果を示す線図である。 一実施形態による、カメラビューに基づいてキャンバスビューを計算するプロセス例を示す線図である。 一実施形態による、カメラビューに基づいてキャンバスビューを計算する第２のプロセス例を示す線図である。 一実施形態による、カメラビューに基づいてキャンバスビューを計算するプロセスを示すフローチャートである。
図は、例示のみを目的として本発明の様々な実施形態を示す。以下の考察から、本明細書に示される本発明の原理から逸脱せずに、本明細書に示される構造及び方法の代替の実施形態が利用可能なことを当業者は容易に認識する。
システムアーキテクチャ
図１は、本発明の実施形態によるキャンバス生成システムが動作するシステム環境のブロック図である。図１により示されるシステム環境１００は、画像捕捉システム１０５、キャンバス生成システム１１０、及びクライアント仮想現実（ＶＲ）デバイス１１５を備える。他の実施形態では、システム環境１００は異なる又は追加の構成要素を含むことができる。
画像捕捉システム１０５は、キャンバス生成システム１１０により処理され、クライアントＶＲデバイス１１５を介してユーザに提示することができるシーンの複数のカメラビューを捕捉する。シーンは、画像捕捉システム１０５がカメラビューを捕捉する物理的な環境を表すことができる。シーンは、仮想構成要素をシーンに追加するように、キャンバス生成システム１０５により後に拡張し得る。例えば、シーンは、カメラビューを捕捉するために、物理的な画像捕捉システム１０５が配置された公園とすることができる。カメラビューとは、画像捕捉システム１０５に配置されたカメラの画像センサから捕捉されるシーンのビューである。
幾つかの実施形態では、画像捕捉システム１０５はカメラの集合を含み、各カメラは、シーンの異なるカメラビューを捕捉するように向けられる。他の実施形態では、画像捕捉システム１０５は、シーンのカメラビューを捕捉するように構成されたカメラである。画像捕捉システム１０５のカメラは、静止カメラ又はビデオカメラとすることができ、例えば、アクションカメラ、カムコーダ、携帯電話カメラ、高速カメラ、又は任意の他の適切な画像捕捉デバイスとすることができる。画像捕捉システム１０５のカメラは、画像を同時に捕捉するように大域的に同期することができ、グローバルシャッタを使用して、高速移動中の物体を捕捉する性能を改善することもできる。幾つかの実施形態では、画像捕捉システム１０５は、市販の構成要素及びカメラなしで構築されるが、任意の適切なプロプライエタリ又は市販のカメラを画像捕捉システム１０５に使用することができる。
幾つかの構成では、カメラビューは、画像捕捉システム１０５の特定の原点の視点から又は特定の原点に関連して捕捉される。例えば、画像捕捉システム１０５は、原点を中心として外側に面し、かつ画像捕捉システム１０５の原点の周りの角度の完全な３６０度パノラマをカバーしたカメラビューを捕捉するカメラのリングを含むことができる。画像捕捉システム１０５の代替の実施形態は、原点の周りの完全な３６０度の球形を表し、ビューの部分パノラマ又は部分球形を表し、又は原点の周りのビューの任意の他の適切な一部を表すカメラビューを捕捉することができる。同様に、画像捕捉システム１０５により捕捉されたカメラビューは、同時に、順次、又は任意の他の適切な順序で捕捉することができる。例えば、画像捕捉システム１０５は、画像捕捉システム１０５がシーンの複数の高解像度静止画像を捕捉する場合等において、複数のカメラを使用することによりカメラビューを同時に捕捉することができ、代替的には、画像捕捉システム１０５は、カメラが動画を捕捉する場合等において、１つ又は複数のカメラから画像を順次捕捉することができる。
幾つかの実施態様では、画像捕捉システム１０５は、シーン内の既知の位置から、シーンの動画を同時に捕捉する複数のカメラを備える。他の実施形態では、画像捕捉システム１０５は、画像捕捉システム１０５が人物、車両、又は他の可動物体に搭載される実施形態等において、シーン内で固定位置を有さない。捕捉されるカメラビューの位置は、互いに関連して又は画像捕捉システム１０５若しくはシーンの原点に関連して既知とすることができる。画像捕捉システム１５０は、キャンバス生成システム１１０と通信して、例えば、捕捉されたカメラビューをキャンバス生成システム１１０に送信することができる。キャンバス生成システム１１０は、ローカルエリアネットワーク又はインターネットなどのネットワーク、又は任意の他の適切な方法により、カメラビュー入力を画像捕捉システム１０５から直接受信する。
幾つかの実施形態によれば、キャンバス生成システム１１０は、受信したカメラビューを処理して、シーンを表すキャンバスビューを生成する。キャンバスビューは、シーンを仮想現実において再現することができるような、シーンを示す任意の画像、例えば、パノラマ画像、球形パノラマ画像、又は適切な広角画像とすることができる。例えば、キャンバスビューは、「８Ｋ」（例えば、８１９２×８１９２ピクセル）等の解像度でキューブマップ、正距円筒図、又は円筒形式で出力することができる。したがって、キャンバスビューは、クライアントＶＲデバイス１１５により表示し得るシーンのある範囲の角度を表すことができる。ユーザがクライアントＶＲデバイス１１５をターン又は回転させると、異なる角度のキャンバスビューをユーザに提示し得る。キャンバス生成システム１１０は、２つのキャンバスビュー（ユーザのそれぞれの眼に１つずつ）を生成して、立体画像をクライアントＶＲデバイス１１５に提供し得る。
幾つかの実施形態では、キャンバスビューは、シーンの一組の原カメラビューを結合して、カメラビューのいずれか１つよりもシーンについてより多くの情報を捕捉するキャンバスビューを生成することにより生成される。原カメラビューは、画像捕捉システム１０５から受信したカメラビューとすることができる。キャンバスビューは、クライアントＶＲデバイス１１５に表示されて、シーンの仮想現実表現を作成することができる。幾つかの実施形態では、キャンバスビューは、例えば、シーン内の１つの静的位置（以下、視点）に基づいて生成される。代替的には、キャンバスビューは、例えば、ユーザが仮想現実においてシーンの周りを見るときのユーザの眼の位置を近似する複数の視点の集合又は一組の視点に基づいて生成することができる。より十分に後述するように、キャンバスビューの視点は、キャンバスビューの角度に従って、それぞれの眼のターンする視点を表すように移動し得る。
シーンのキャンバスビューは、特定のポイント（以下、視点という）において交わる光情報の複製に使用される部分光情報近似を表し得る。一般に、シーンの光情報の完全な表現は、光情報が計算される空間を通って移動する光線を記述するが、特定の視点に関連付けられた光情報は、そのポイントと交差する光線についての色情報を収集することにより近似することができる。例えば、光線色情報をカメラにより収集することができ、カメラは、カメラの画像センサと交差する光線についての色情報を捕捉する。カメラビュー内の各ピクセルは、カメラの画像センサに衝突する１つ又は複数の光線についての情報を表すことができ、その光線の色情報を捕捉する。次に、収集された色情報は、カメラにより生成されたカメラビュー内のピクセルのピクセル強度情報として表される。幾つかの実施態様では、複数のカメラビューからの情報を結合して、キャンバスビューを形成することができ、キャンバスビューを使用して、１つの視点における光情報を近似することができる。同様に、キャンバスビューを使用して、ユーザが頭部をターンさせるとき、ユーザの眼の可能な位置を表す視点における関連光情報を仮想現実シーンにおいて再現することができる。生成されたキャンバスビューは、ユーザへの表示のためにクライアントＶＲデバイス１１５に送信することができ、又はクライアントＶＲデバイス１１５により後に使用されるように若しくは他の適切な目的で記憶することができる。
クライアントＶＲデバイス１１５は、キャンバス生成システム１１０からキャンバスビューを受信し、クライアントＶＲデバイス１１５のユーザにキャンバスビューを表示する。幾つかの実施態様では、クライアントＶＲデバイス１１５は、シーン内に位置するユーザのそれぞれの眼に対応する視点におけるシーンの光情報を再現することにより動作する。各部分光情報近似をユーザの対応する眼に対して別個に表示して、３Ｄ仮想現実効果を生み出すことができる。幾つかの実施態様では、部分光情報近似は、生成されたキャンバスビューをクライアントＶＲデバイス１１５のユーザに表示することにより生成することができる。部分光情報近似は、ゼロ視差距離（ｚｅｒｏ ｐａｒａｌｌａｘ ｄｉｓｔａｎｃｅ）におけるユーザのビューの近似を作成することができる。
幾つかの実施形態では、クライアントＶＲデバイス１１５はヘッドマウントＶＲシステムである。クライアントＶＲデバイス１１５は、ユーザのそれぞれの眼に異なるキャンバスビューを表示して、例えば、立体３Ｄ効果をクライアントＶＲデバイスのユーザに提供することが可能である。幾つかの構成では、クライアントＶＲデバイス１１５は、ユーザの行動に応答してキャンバスビューを表示する等により、インタラクティブな経験をユーザに提示する。さらに、クライアントＶＲデバイス１１５は、ユーザの行動に応答して、特定の時刻に基づいて、又は任意の他の適切な理由等で、キャンバス生成システム１１０から特定のキャンバスビュー又はキャンバスビューの一部を要求することができる。
図２は、本発明の実施形態によるキャンバス生成システムのブロック図である。図２の実施形態では、キャンバス生成システム１１０は、カメラビュー記憶装置２１０、キャンバスビュー記憶装置２２０、インタフェースモジュール２３０、新規ビュー生成モジュール２４０、光学フロー計算モジュール２５０、及び光情報近似モジュール２６０を含む。キャンバス生成システム１１０は、画像捕捉システム１０５から受信する一組の原カメラビューに基づいてキャンバスビューを生成する。
カメラビュー記憶装置２１０は、カメラビュー、例えば、画像捕捉システム１０５から受信した一組の原カメラビューを含むことができる。カメラビューは、ＪＰＥＧ、ＰＮＧ、ＲＡＷ、又はＴＩＦＦ等の圧縮又は非圧縮画像データを含む任意の適切な形式で記憶することができる。同様に、カメラビューは、一連のカメラビューの圧縮又は非圧縮画像データを含む、適切なビデオ形式、例えば、ＭＰＥＧ、ＡＶＩ、又は任意の他の適切な形式で記憶することができる。幾つかの実施態様では、カメラビューは、画像捕捉システム１０５のカメラのカラーフィルタアレイ（例えば、ベイヤーフィルタ）からの生データを含む。記憶されるカメラビューは、記憶されるカメラビューの各ピクセルの位置情報及びピクセル強度情報を含むことができる。ピクセルのピクセル強度情報は、そのピクセルがいかに表示されるかを制御する輝度情報及び色情報を含むことができ、例えば、ピクセル強度は、ピクセルのグレースケール輝度情報又はＲＧＢチャネル色情報で捕捉することができる。幾つかの実施形態では、カメラビュー記憶装置２１０に含まれるカメラビューには、カメラビューが捕捉された視点、画像を捕捉したカメラ、カメラの位置、及び画像捕捉システム１０５におけるカメラの向き等の追加情報を関連付けることができる。カメラビュー記憶装置２１０内に記憶されるカメラビューには、グループ、例えば、同じ物理的カメラから捕捉された画像の順次グループ又は画像捕捉システム１０５の多くのカメラから同時に捕捉された画像のグループを関連付けることもできる。同様に、キャンバス生成システム１１０により処理されたカメラビューは、カメラビュー記憶装置２１０に記憶することができる。例えば、カメラビューは、生のカラーフィルタアレイデータから、ビネット補正されたラスタＲＧＢピクセルベースの画像に処理することができ、又は鮮鋭度／デコンボリューション、カラーバランス若しくはトーンカーブ、輝度若しくはガンマ、ピクセルモザイク処理、及びレンズ歪み効果を変更、追加、若しくは除去するように処理することができる。幾つかの実施形態では、カメラビューは、グループ内の他のカメラビュー、例えば、グループ内のカメラビュー間の相互色補正に基づいて、キャンバス生成システム１１０により処理することができる。幾つかの実施形態では、カメラビューは、生のベイヤーフィルタデータをＲＧＢ画像に変換することができ、次に、相互色補正、ビネット防止、ガンマ、鮮鋭化、及びデモザイク処理技法を使用して処理されて、最終的な補正済み画像を生成することができる。
幾つかの実施形態によれば、キャンバスビュー記憶装置２２０は、キャンバス生成システム１１０により生成されたキャンバスビューを含む。キャンバスビューは、任意の適切な画像又は動画形式で記憶することができる。幾つかの実施形態では、キャンバスビューには、キャンバスビュー記憶装置２２０内に記憶された他のキャンバスビューが関連付けられ、又はキャンバスビューは、キャンバスビュー記憶装置２２０内に記憶された他のキャンバスビューとグループ化され、例えば、同じシーンの左眼キャンバスビュー及び右眼キャンバスビューは、キャンバスビュー記憶装置２２０において関連付けることができる。同様に、例えば、幾つかのビデオカメラビューから生成された一連のキャンバスビューは、キャンバスビュー記憶装置２２０においてグループ化することができる。
インタフェースモジュール２３０は、画像捕捉システム１０５及びクライアントＶＲデバイス１１５と通信する。例えば、インタフェースモジュール２３０は、原カメラビューを画像捕捉システム１０５から受信し、生成されたキャンバスビューをクライアントＶＲデバイス１１５に送信することができる。幾つかの実施形態では、キャンバス生成システム１１０は、インタフェースモジュール２３０を介して、クライアントＶＲデバイス１１５から特定のキャンバスビューへの要求を受信することもできる。
新規ビュー生成モジュール２４０は、幾つかの実施形態により、既存のカメラビューに基づいて合成ビューを生成する。合成ビューは、シーン内の特定の位置（以下、合成カメラ位置）に位置する理論上又は仮説上のカメラ（以下、合成カメラ）により捕捉されたであろうカメラビューをシミュレートする。合成ビューは、合成カメラ位置及び合成カメラ位置近傍のカメラからのカメラビューに基づいて生成することができ、幾つかの実施態様では、生成されると、カメラビュー記憶装置２１０に記憶することができる。幾つかの構成では、新規ビュー生成モジュール２４０は、カメラビュー間の光学フロー及びカメラビューを捕捉したカメラの位置に基づいて合成ビューを生成する。新規ビュー生成モジュール２４０について更に詳細に後述する。
幾つかの実施形態では、光学フロー計算モジュール２５０は、２つ以上のカメラビュー内の対応するピクセルを検出し、検出された対応するピクセルに基づいて光学フローを生成する。光学フローは、ベクトル変位場又は第１のカメラビューの各ピクセルの変位ベクトルを通して第１のカメラビュー内のピクセルを第２のカメラビュー内の対応するピクセルに関連付ける他のデータセットとすることができる。幾つかの実施形態によれば、光学フローは、あるカメラビュー内のピクセルを第２のカメラビュー内のピクセルに関連付ける方程式である。幾つかの実施態様では、光学フローは、画像捕捉システム１０５内のカメラの数及び向きに応じて、カメラビューの多くのグループの光学フローを計算することができる。例えば、カメラリング内の近隣カメラへの各カメラビューの光学フローを計算することができる。カメラ対ごとに、第１のカメラから第２のカメラへの光学フロー及び第２のカメラから第１のカメラへの光学フローを計算し得る。幾つかの実施形態では、３つ以上のカメラビュー間の光学フローが必要であり、例えば、球形パノラマを捕捉するように構成された画像捕捉システム１０５の場合、水平面における２つのカメラと、上の又は上に面した上部カメラとの間の光学フローが必要であり得る。光学フロー計算モジュール２５０については更に詳細に後述する。
幾つかの実施形態では、光情報近似モジュール２６０は、複数のカメラビューを１つの画像に結合することによりキャンバスビューを生成する。例えば、キャンバスビューは、画像捕捉システム１０５により捕捉されたカメラビュー、新規ビュー生成モジュール２４０により生成された合成ビュー、又は適切なカメラビューの任意の組合せに基づいて生成することができる。光情報近似モジュール２６０により生成されるキャンバスビューは、例えば、クライアントＶＲデバイス１１５のユーザに表示するために光情報を近似することにより、クライアントＶＲデバイス１１５での表示に適切となるように生成することができる。光情報近似モジュール２６０については更に詳細に後述する。
図３は、幾つかの実施形態による画像捕捉システム例を示す線図である。図３の画像捕捉システム１０５は、原点３０５、リング３０３、及びカメラ３１０〜３１７を含む。この構成では、画像捕捉システム１０５は原点３０５を中心とする。カメラ３１０〜３１７は、原点３０５を中心としたリング３０３の周りに位置決めされる。幾つかの実施形態では、カメラ３１０〜３１７は、リング３０３又は別の同様の支持構造により物理的に支持され、既知の直径の円内の既知の位置に位置決めすることができる。同様に、各カメラ３１０〜３１７は、図３の実施形態によれば、原点３０５に対して既知の位置及び向きを有することができる。各カメラ３１０〜３１７は、例えば、カメラに取り付けられるレンズに基づいて、画定された視野を有することができる。幾つかの実施形態では、各カメラの視野の中心線が原点３０５と位置合わせされ、これは、各カメラ３１０〜３１７がリング３０３から外側に直接向けられることを意味する。他の実施形態では、カメラ３１０〜３１７は異なるように向けることができる。リング３０３の周りの特定の向き又は角度は、原点３０５の周りの角度φに基づいて記述することができる。この実施形態では、カメラ３１０はφ＝０に位置決めされ、残りのカメラ３１１〜３１７は、リング３０３の周りに一定間隔で位置決めされる。
合成ビューの生成
例えば、新規ビュー生成モジュール２４０による合成ビューの生成は、キャンバスビューの生成において、又は一組の原カメラビュー内で画像捕捉システム１０５から利用可能ではないカメラビューが必要な他の状況で使用することができる。新規ビュー生成モジュール２４０により生成される合成ビューは、生成される合成ビューと同様の一組の入力カメラビューに基づいて生成することができる。例えば、所望の合成カメラ位置への同様の位置及び向きから捕捉されたカメラビューを使用して、合成ビューを生成することができる。幾つかの実施形態では、合成ビューは、合成ビューの生成に使用されるカメラビューと同様の視野を有する。これらの合成ビューにより、まるで合成カメラ位置に位置決めされた別のカメラが合成ビューを捕捉したかのように、ビューを近似することができる。他の実施形態では、合成ビューは、例えば、カメラビューの視野のある領域のみを示す、入力カメラビューよりも小さな視野を表す部分合成ビューである。他の実施態様では、合成ビュー生成モジュール２４０は、入力カメラビュー内のピクセルを部分合成ビュー又は完全合成ビュー内の特定のピクセルに関連付けるマッピングを出力する。生成されたマッピングは、合成ビュー内の全てのピクセルの厳密な値を実際に計算することなく、合成ビューの情報を捕捉することができる。
図４は、幾つかの実施形態による、キャンバス生成システム例での合成カメラの使用を示す線図である。図４００は、リング３０３、原点３０５、左側視点４０２、右側視点４０４、物体４０５、瞳孔間距離４１０、左側カメラ４１５、右側カメラ４２０、合成カメラ４２５及び４３０、並びに視線４４０及び４４５を含む。
幾つかの実施形態では、例えば、キャンバスビューを使用して立体３Ｄを表示する場合、キャンバス生成システム１１０は、シーン内の特定の視点対に基づいてキャンバスビューを生成する。例えば、キャンバスビュー対を生成して、立体３Ｄ効果を生み出すために、キャンバスビュー生成システムは、ユーザの眼の間の距離（瞳孔間距離）と同様の距離だけ隔てられた視点対から、左側キャンバスビュー及び右側キャンバスビューを生成することができる。瞳孔間距離は、立体３Ｄ効果の生成に使用される２つの視点間の、キャンバスビュー生成システム１１０により設定される任意の距離又は変位とすることができる。例えば、瞳孔間距離４１０は、クライアントＶＲデバイス１１５のユーザの眼の間の距離を近似する左側視点４０２と右側視点４０４との間の距離例を表す。幾つかの実施形態では、左側視点４０２及び右側視点４０４は、原点３０５を中心とするが、左側視点４０２及び右側視点４０４は、シーン内の任意の適切な位置に配置することができる。同様に、左側視点４０２及び右側視点４０４は、幾つかの場合、２つの静的視点を表すことができるが、他の実施形態では、左側視点４０２及び右側視点４０４は、瞳孔間距離４１０によりそれぞれ隔てられた、一組の視点対のうちの２つの視点を表すことができる。キャンバスビューの一部での左側視点及び右側視点の特定の位置は、原点３０５の周りの角度φの関数であり、ユーザの頭部が原点の周りをターンし得るときの各眼の視点の変化をシミュレートし得る。言い換えれば、各眼の視点は、角度φに従って原点の周りを回転し得る。
図４では、視線４４０及び４４５は、ユーザの眼（瞳孔間距離４１０で隔てられる）が合焦物体４０５に面するように近づくか、又は回転するときの瞳孔間距離４１０で隔てられた仮説的なユーザの左眼及び右眼の視角を表す。視線４４０及び４４５がリング３０３に交わるポイントに位置するカメラは、例えば、ユーザが物体４０５を見ているとき、選択されたゼロ視差距離を使用してユーザのビューを近似することができる。図４の構成では、左側カメラ４１５及び右側カメラ４２０は、これらの交点に配置されないため、これらのカメラにより捕捉されるカメラビューは、そのままでは必要な情報を提供することができない。しかしながら、視線４４０及び４４５とリング３０３との交点に位置する合成カメラ４２５及び４３０からのビューをキャンバス生成システム１１０により計算して、左側視点４０２及び右側視点４０４から見た場合の物体４０５についての情報を捕捉することができる。幾つかの実施形態では、ゼロ視差距離は、例えば、物体の距離に応じて、物体ごとに特定される。他の実施態様では、ゼロ視差距離は一定であり、例えば、一定の距離又は無限に設定される。合成カメラ４２５及び４３０のそれぞれのビューはそれぞれ、左側カメラ４１５及び右側カメラ４２０等の隣接カメラから生成される。
図５ａは、幾つかの実施形態による、左側カメラビュー及び右側カメラビューに基づく合成ビュー例の生成を示す線図である。同様に、図５ｂは、幾つかの実施形態によるカメラビュー例及び合成ビュー例を示す線図である。図５００は、左側カメラ５０５、右側カメラ５１０、合成カメラ５１５、光学フローシフト５２０及び５２５、左側カメラビュー５３０、右側カメラビュー５３５、並びに合成ビュー５４０を含む。
上述したように、キャンバス生成システム１１０の幾つかの実施態様では、合成ビューは、合成カメラ位置近傍の位置から捕捉された入力カメラビューを使用して新規ビュー生成モジュール２４０により計算される。例えば、合成カメラ５１５の合成ビュー５４０を計算するために、左側カメラ５０５及び右側カメラ５１０からのカメラビュー５３０及び５３５を結合することができる。合成ビューの生成は、左側カメラビュー５３０及び右側カメラビュー５３５からのピクセルをシフトして、合成ビュー５４０における位置を近似することにより達成することができる。例えば、ピクセルのシフト量は、左側カメラビュー５３０内のピクセルを右側カメラビュー５３５内のピクセルに関連付ける光学フローからの情報を使用して決定することができる。幾つかの実施態様では、光学フローは、変位ベクトルのアレイであり、例えば、光学フローは、左側カメラビュー５３０内の各ピクセルに１つのベクトルを含むことができる。図５の実施形態では、光学フローシフト５２０及び５２５は、左側カメラビュー５３０及び右側カメラビュー５３５から合成ビュー５４０へのシフトを示す。左側カメラビュー５３０及び右側カメラビュー５３５の各ピクセルの光学フローシフト５２０及び５２５の量は、左側カメラ５０５及び右側カメラ５１０に対する合成カメラ５１５の位置に依存することができる。
左側カメラ５０５からの例としての左側カメラビュー５３０は、カメラビューの両端に離れた山及び人物を示す。これとは対照的に、右側カメラ５１０からの右側カメラビュー５３５は、カメラビュー内の異なる位置における人物及び山の同じ要素を示す。左側カメラビュー５３０と右側カメラビュー５３５との間での人物及び山の位置の不一致は、左側カメラ５０５及び右側カメラ５１０の異なる位置から捕捉されたカメラビューでの各シフトに起因する。離れた山は、左側カメラビュー５３０と右側カメラビュー５３５との間で比較的同じ位置のままであり、一方、人物は、左側カメラビュー５３０と右側カメラビュー５３５との間ではるかに大きな位置シフトを受けている。合成カメラ５１５は、左側カメラ５０５及び右側カメラ５１０と同様の向きで、左側カメラ５０５と右側カメラ５１０との間に位置決めされるため、合成ビュー５４０における物体は、左側カメラビュー５３０及び右側カメラビュー５３５に対して中間位置にあるはずである。例えば、合成ビュー５４０では、人物は、左側カメラビュー５３０及び右側カメラビュー５３５の両方に対して中間量、移動している。
図６は、幾つかの実施形態による、カメラビュー例からの合成ビュー例の生成の詳細例を示す線図である。図６００は、左側カメラビュー６１０及び右側カメラビュー６１５から合成ビュー６３０を生成する処理の幾つかの段階において新規ビュー生成モジュール２４０により生成されるカメラビュー例を示す。図６００は、左側カメラビュー６１０及び右側カメラビュー６１５、シフトされた左側カメラビュー６３０及びシフトされた右側カメラビュー６２５、並びに合成ビュー６３０を含む。
図６における各カメラビューにより捕捉されたシーンは、３つの主な物体：山、人物、及びボールを含む。この実施形態では、山はシーンの背景物体として見なされ、入力カメラビューを捕捉するカメラの位置から離れているが、人物及びボールは前景物体であり、左側カメラビュー６１０及び右側カメラビュー６１５を捕捉するカメラにはるかに近い。その結果、前景物体は、背景物体と比較して、左側カメラビュー６１０と右側カメラビュー６１５との間でより大きな変位を有する。左側カメラビュー６１０及び右側カメラビュー６１５は、合成ビュー６３０の計算に使用することができる入力カメラビューである。この実施形態において合成ビュー６３０を生成するために、左側カメラビュー６１０はまず、光学フローに基づいて、所望の合成ビューの位置にシフトされる。光学フロー内の各ベクトルは、左側カメラビュー６１０内の対応するピクセルと右側カメラビュー６１５内の対応するピクセルとの間の変位を示すことができる。光学フローシフトにおいて、左側カメラビュー６１０のピクセルは、光学フローに基づいて、合成カメラの相対位置に比例してシフトされる。左側カメラビュー６１０内の各ピクセルは、ピクセルの対応する光学フローベクトルの割合に相対する方向にシフトされて、合成ビューにおけるピクセル位置を決定することができる。例えば、合成カメラが左側カメラと右側カメラとの中間に位置する場合、左側カメラビュー６１０内の各ピクセルは、光学フロー内のそのピクセルに対応するベクトルの値の半分だけシフトすることができる。同様に、合成カメラが左側カメラから右側カメラへの道程の１０％のところに位置する場合、左側カメラビュー内の各ピクセルは、光学フロー内の対応するベクトルの１０％だけシフトすることができる。同じシフトプロセスを右側カメラビュー６１５に適用して、シフトされた右側カメラビュー６２５を取得することができる。
シフトされた左側カメラビュー６２０及びシフトされた右側カメラビュー６２５はそれぞれ、光学フローを使用してシフトされた場合の左側カメラビュー６１０及び右側カメラビュー６１５の両方からの位置情報を使用した合成ビュー６３０の近似を表す。ピクセル強度情報は、同じ構成のカメラであっても、異なるカメラビュー及び異なるカメラ間で一貫しないことがあるため、左側カメラビュー６１０及び右側カメラビュー６１５の両方からのピクセル強度情報を使用して、合成ビュー６３０を生成することができる。幾つかの実施形態では、シフトされた左側カメラビュー６２０及びシフトされた右側カメラビュー６２５は、原カメラビューの１つからのピクセル強度情報を含む。例えば、シフトされた左側カメラビュー６２０は、左側カメラビュー６１０及び右側カメラビュー６１５の両方からの位置情報（光学フローに基づくシフトの形態で）を組み込む。しかしながら、シフトされた左側カメラビュー６２０は、左側カメラビュー６１０からのピクセル強度情報のみを組み込み、その理由は、ピクセルの位置がシフトした場合であっても、シフトされた左側カメラビュー６２０内の全てのピクセル強度値が左側カメラビュー６１０内の対応するピクセルから継承されるからである。
２つのカメラビュー内の対応するポイント間の異なるピクセル強度情報は、例えば、カメラビューを捕捉するカメラ間の異なる露出又は他の設定により生じ得る。図６の例では、ボールは、左側カメラビュー６１０では、右側カメラビュー６１５とは異なる陰影であり、これらの差は、シフトされた左側カメラビュー６２０及びシフトされた右側カメラビュー６２５に残る。図６の実施形態では、シフトされた左側カメラビュー６２０及びシフトされた右側カメラビュー６２５をブレンドして、合成ビュー６３０を生成する。カメラビューのブレンドは、例えば、シフトされた左側カメラビュー及びシフトされた右側カメラビューのそれぞれの内の２つの対応するピクセルに亘るピクセル強度情報の平均をとることにより、各カメラビュー内の対応するピクセルの平均をとるか、又は他の方法で結合することを含むことができる。シフトされた左側カメラビュー６２０及びシフトされた右側カメラビュー６２５は、合成カメラの位置に基づいて比例してブレンドして、合成ビュー６３０を生成することができる。図６の例では、合成ビュー６３０におけるボールは、ボールの各ピクセルが、シフトされた左側カメラビュー６２０及びシフトされた右側カメラビュー６２５の対応するピクセルから比例してブレンドされる結果として、中間の陰影である。
他の実施形態では、合成ビュー６３０は、例えば、合成ビューを生成するために合成カメラ位置に最も近くで捕捉されたカメラビューからのピクセル強度情報のみを使用して、１つのみのカメラビューからのピクセル強度情報に基づいて生成することができる。しかしながら、最も近いカメラからのピクセル強度情報のみが使用される場合、他のカメラビューに近い合成ビューと比較して、１つのカメラビューに近い合成ビューの外観の急なシフト又は差が生じ得る。
一例では、ピクセル値Ｐは、シフトされた左側カメラビューピクセル値Ｌ及びシフトされた右側カメラビューピクセル値Ｒを使用して、左側カメラから右側カメラへの合成カメラの比例距離ｔに基づいて特定され（ここで、ｔ＝１は左側カメラの位置を表し、ｔ＝０は右側カメラの位置を表す）、各シフトされたカメラピクセル値は、比例距離ｔを使用した比例光学フロー後のピクセル値を反映する。
Ｐ＝ｔ×Ｌ＋（１−ｔ）×Ｒ 式１
しかしながら、幾つかの場合、シフトされた左側カメラビューピクセル値は、相当量異なり得る。ピクセルの大きさの潜在的な差を考慮するために、左側ピクセル色値を優先するか、それとも右側ピクセル色値を優先するかを判断するのに、追加の項を含め得る。追加の項は、パラメータＮ（ａ，ｂ，ｘ，ｙ）を有する正規化関数Ｎであり得、ここで、ａ及びｂはピクセル色値であり、ｘ及びｙは正規化重みである。一例では、正規化関数Ｎはパラメータを以下のように加重する。
一実施形態では、正規化関数Ｎのパラメータは、
・ａ＝シフトされた左側カメラのピクセル値Ｌ、
・ｂ＝シフトされた右側カメラのピクセル値Ｒ、
・ｘ＝比例距離ｔ＋左側カメラの光学フローの大きさＭｌ、
・ｙ＝（１−比例距離ｔ）＋右側カメラの光学フローの大きさＭｒ
である。
正規化関数Ｎの重みの部分を決定するために、左側カメラピクセル値と右側カメラピクセル値との間のピクセル大きさδの類似性を使用して、Ｎの適用に対して加重し得、ここで、１に等しいピクセル大きさδは、同一のピクセル値を表し、０に等しいピクセル大きさδは、ピクセル値の完全な不一致を表す。したがって、一例では、比例距離ｔを使用したピクセル値は、
Ｐ＝δ（ｔ×Ｌ＋（１−ｔ）×Ｒ）＋（１−δ）Ｎ 式３
である。
上記パラメータを正規化関数に適用すると、ピクセル値は式４により与えられ得る。
光学フローの大きさを調整することにより、ピクセル値を決定するこの関数は、ピクセル値が同様の場合、ピクセル値の結合を優先し、ピクセル値が異なる場合、カメラビューへの距離の加重を優先する。ピクセル値が異なる場合、正規化項により、カメラビューからの比例距離に加えて、各シフトされたピクセルの光学フローの大きさを使用して左側ピクセル及び右側ピクセルから選択することができる。
図７は、実施形態による、入力カメラビューから合成ビューを生成するプロセスを示すフローチャートである。プロセス７００は、左側及び右側カメラビュー並びに合成カメラの位置が、例えば、新規ビュー生成モジュール２４０において受信されるとき、開始される。次に、受信した左側カメラビューと右側カメラビューとの間の光学フローが、光学フロー計算モジュール２３０等により計算される（７１０）。この光学フローを使用して、合成カメラの位置に基づいて受信した各カメラビューをシフトすることができる（７１５）。次に、シフトされた左側及び右側カメラビューをブレンドして（７２０）、ピクセル強度情報を統合し、入力カメラビューに基づいて最終的な合成ビューを生成する。このブレンドは、例えば、上述した式１又は式４により実行されて、各シフトされたカメラのピクセル強度をブレンドし得る。
光学フローの計算
上述した合成ビューの生成に使用される光学フロー等の光学フローは、幾つかの実施形態では、光学フロー計算モジュール２５０により生成される。上述したように、光学フローは、複数のカメラビューに亘る対応する１つ又は複数のピクセルを関連付ける。２つのカメラビュー間の光学フローは、ベクトル場とすることができ、ここで、各ベクトル（以下、光学フローベクトルという）は、第１のカメラビュー内の１つのピクセルから他のカメラビュー内の対応するピクセルへの変位又は正距円筒図法若しくは方位図法等の他のカメラビューの投影を表す。他の実施形態では、光学フローは、関数又は他のタイプの並進移動であり、点に関連付けられた光学フローベクトルは、光学フロー関数又はマッピングが評価されるとき、点とそれに対応する点との間の変位を表す。光学フローは、対応するピクセルを有する任意の２つのカメラビュー間で計算することができ、幾つかの実施態様では、任意の数のカメラビュー間で計算することができる。例えば、光学フローは、水平面における２つのカメラビュー及び第３のカメラビュー、例えば、上に面して位置決めされる魚眼カメラの間で計算することができる。光学フローは、オフセット（ｕ，ｖ）を与える関数又はマッピングに基づいて、第１の画像内のピクセル（ｘ，ｙ）を第２の画像内のピクセルに関連付けることができる。第２の画像内の対応するピクセルは、例えば、第１の画像内の所与のピクセルから第２の画像内の対応するピクセルへのｘ軸変位又はｙ軸変位を表す関数又はマッピングｕ（ｘ，ｙ）及びｖ（ｘ，ｙ）に基づいて特定することができる。幾つかの実施態様では、第１の画像内のピクセル（ｘ，ｙ）に対応するピクセルは、第２の画像内のピクセル（ｘ＋ｕ（ｘ，ｙ），ｙ＋ｖ（ｘ，ｙ））とすることができる。
幾つかの実施形態では、光学フローは方向を有し、ピクセルが二次カメビュー内の対応するピクセルにマッピングされる一次カメラビューを有する。例えば、一次カメラビュー内の各ピクセルに、一次カメラビュー内のそのピクセルと二次カメラビュー内の対応するピクセルとの間の変位を記憶する変位ベクトルを割り当てることができる。他の実施態様では、光学フローは対称であり、例えば、両カメラビュー内のピクセルに、他のカメラビュー内の対応するピクセルを指す変位ベクトルを割り当てる。対称光学フローは、２つ以上の指向性光学フローを結合する（例えば、カメラビューのグループの各カメラビューの指向性光学フローを計算する）ことにより作成することもできる。幾つかの場合、１つのカメラビュー内のポイントは、他のカメラビューの１つ又は複数内に対応するポイントを有さない。例えば、物体は、あるカメラビューでは別の物体により遮蔽され得るが、同じシーンの別のカメラビューでは遮蔽されず、完全に見ることができる。幾つかの実施形態では、光学フローベクトルは、他のカメラビュー内に対応するピクセルがない状態でもピクセルに割り当てられる。例えば、他のカメラビューに対応するピクセルがないピクセルに、近隣ピクセルに割り当てられた光学フローベクトルに基づいて、平均若しくはメジアン光学フローベクトルに基づいて、又は任意の他の適切な方法に基づいて、光学フローベクトルを割り当てることができる。
図８は、幾つかの実施形態による、カメラビュー例間の光学フローベクトルを示す線図である。図８００は、左側カメラビュー８０５及び右側カメラビュー８１０、光学フロー８１５、左側カメラビュー８０５内のポイント８２０〜８２３、右側カメラビュー８１０内のポイント８３０〜８３３、結合カメラビュー８４０、並びに光学フローベクトル８４５を含む。
図８の実施形態では、左側カメラビュー８０５及び右側カメラビュー８１０は、幾つかの共有物体、この場合、２つの異なる位置から捕捉された山及び人物を示す。左側カメラビュー８０５及び右側カメラビュー８１０は共通の物体を共有するため、右側カメラビュー８１０においても共通の物体を表すピクセルに対応する、左側カメラビュー８０５において共通の物体を表すピクセルがある。例えば、ポイント８２０〜８２３のそれぞれには、対応するポイント８３０〜８３３が関連付けられた右側カメラビュー内のピクセルに対応する、左側カメラビュー８０５におけるピクセルを関連付けることができる。例えば、左側カメラビュー８０５内のポイント８２２及び右側カメラビュー８１０内の対応するポイント８３２は、人物の頭部の上部を両方とも示す左側カメラビュー８０５及び右側カメラビュー８１０内の対応するピクセルを表すことができる。幾つかの実施形態では、光学フロー８１５等の光学フローは、ポイント８２２及び８３２に関連付けられたピクセル間の対応性を捕捉する。
結合カメラビュー８４０は、例示目的のために右側カメラビュー８１０を左側カメラビュー８０５に重ねたものを示す。結合カメラビュー８４０では、左側カメラビュー８０５と右側カメラビュー８１０との間の位置シフトが、両カメラビューで共通する全ての物体で一貫するわけではないことが明らかである。例えば、左側カメラビュー８０５と右側カメラビュー８１０との間の山の位置変位の大きさは、同じカメラビュー間の人物の位置変位と比較して小さい。物体間のシフト量の差は、遠近効果に起因することができ、例えば、カメラビューの物体間のカメラまでの距離が異なることに起因することができる。図８の例では、山は人物よりも左側及び右側カメラからはるかに離れており、その結果、左側カメラビュー８０５と右側カメラビュー８１０との間での人物の位置変位は、山の位置変位よりもはるかに大きくなる。光学フローベクトル８４５は、左側カメラビュー８０５と右側カメラビュー８１０との間の光学フローに含むことができるベクトルの例である。光学フローベクトル８４５は、左側カメラビュー８０５内のポイント８２２と右側カメラビュー内のポイント８３２との間の対応性を、これらの間の変位を示すことにより示す。
光学フローの計算は、様々な方法により達成することができる。例えば、光学フローの計算は、変分最適化問題を確立して、２つの画像間の光学フローを特定することにより開始することができる。最適化問題は、別の画像における対応するピクセル若しくは勾配と比較したピクセルの強度又はピクセルの勾配の強度を測定するデータ項、例えば、光学フロー場の平滑性を測定する正則化項、又は任意の他の適切な項等の様々な項を含むことができる。例えば、第１の画像内のピクセル（ｘ，ｙ）を第２の画像内のピクセル（ｘ＋ｕ（ｘ，ｙ），ｙ＋ｖ（ｘ，ｙ））に関連付ける変分最適化式は、以下のように提示することができる。
上記の変分最適化式（式５）の例は、第１の画像内のピクセルと第２の画像内の対応するピクセルとの間のピクセル強度Ｉ又は色の差の絶対値を測定するデータ項│Ｉ１（ｘ，ｙ）−Ｉ２（ｘ＋ｕ（ｘ，ｙ），ｙ＋ｖ（ｘ，ｙ））│Ｐ＋││∇Ｉ１（ｘ，ｙ）−∇Ｉ２（ｘ＋ｕ（ｘ，ｙ），ｙ＋ｖ（ｘ，ｙ））││Ｐを含む。この変分最適化式例のデータ項は、２つの画像の勾配∇Ｉ１の差を測定する勾配一貫性││∇Ｉ１（ｘ，ｙ）−∇Ｉ２（ｘ＝ｕ（ｘ，ｙ），ｙ＋ｖ（ｘ，ｙ））││Ｐを更に含む。最後に、この式は正則化項Ｒ（ｕ，ｖ）を含む。変分最適化式の最小化は、光学フローが変分最適化問題の特定のパラメータに対して最適化されることを示す。他の実施形態では、変分最適化問題は、例えば、以下の式６に示されるように、追加の項を含むことができる。
式中、Ｇ及びＧｄはガウスカーネルであり、α０及びα１はアルファチャネルであり、εは、２つの対応するポイント間のピクセル強度値の誤差であり、Ｗはシグモイドである。
式６は、変分最適化問題の第２の例を示す。式６は、第１の画像内のピクセル及び第２の画像内のピクセルの勾配のブラー版（Ｇ＊）を比較するデータ項
、現在の光学フローを前の光学フローと比較する一時的正則化項
、ｌｐ平滑化項
、メジアンピクセル強度値の絶対値差をとるメジアンフィルタリング項
、及びピクセル強度値の誤差に基づくブラーピクセル強度値の差を測定する加重拡散項
を含む。一時的正則化項、メジアンフィルタリング項、及び加重拡散項について更に詳細に後述する。
次に、この変分最適化問題を解いて、光学フローを特定することができる。幾つかの実施形態では、変分最適化問題は、データ項及び正則化項を使用して構築された最適化式を最小化することにより近似される。例えば、最適化式はまず、反復オイラー−ラグランジュ法を使用して偏微分式の非線形系に変換することができる。次に、非線形系を線形化し、他の反復法を使用して解くことができる。例えば、ガウスザイデル法、ヤコビ法、又は逐次加速緩和法（ＳＯＲ：ｓｕｃｃｅｓｓｉｖｅ ｏｖｅｒ ｒｅｌａｘａｔｉｏｎ）法を利用して、変分最適化問題を近似する式の線形化系を解くことができる。幾つかの実施態様では、カメラビュー内の主要点又は主要ピクセルは、ＯＲＢ、ＡＫＡＺＥ、又はＢＲＩＳＫ等のキーポイントマッチングアルゴリズムを使用して別個に照合して、主要点に対応するピクセル間の正確な一致を生成することができる。光学フロー計算モジュール２５０は、計算された主要点一致を使用して、前に計算された主要点一致と同様の主要点の光学フローベクトルを含む解に向けて変分最適化問題に影響をもたらすことができる。例えば、変分最適化問題を解く反復間で、例えば、スプラッティングを使用することにより、主要点一致に向けて光学フローに影響もたらすことができる。
代替的には、変分最適化問題は、最適化問題を式の線形化系に変化せずに、反復法を使用することにより解くことができる。光学フロー場を生成する変分最適化問題を解くために、１つ又は複数のカメラビューの各ピクセルの光学フローを表す初期化ベクトル場に反復法を適用することができる。ベクトル場は様々な方法を使用して初期化することができ、例えば、各光学フローはランダムに初期化することができ、ベクトル場全体を均一値に初期化することができ、又は任意の他の適切な方法を使用することができる。一実施形態では、光学フローは、低解像度画像から高解像度画像への画像「ピラミッド」に対して繰り返し実行される。まず、画像の低解像度ダウンサンプリング版の光学フローが計算される。次に、各光学フローベクトルの大きさを比例的に調整することを含め、この結果生成される初期光学フローをスケールアップし、画像の高解像度版の光学フローの初期化に使用することができる。前の各光学フローを使用して、最高解像度光学フローが計算されるまで、画像の漸次的に高い解像度のバージョンの光学フローを初期化することができる。概念的に、これは、画像の漸次的により小さな領域の光学フローを計算することと同様であり、その理由は、画像のダウンサンプリング版における各ピクセルが原画像内の領域を表すことができるためである。
反復プロセス中、光学フローはピクセル単位又は領域単位で最適化することができる。光学フローを決定する反復プロセスの一実施態様では、カメラビュー内の各ピクセル又は各領域の光学フローベクトルを個々に分析して、１つ又は複数の他のカメラビュー内のより最適な対応ピクセルを反復的に決定する。しかしながら、小さな領域又は個々のピクセルを個々に分析する実施態様では、カメラビューの１つ又は複数におけるノイズ、ゴミ、又は他の不完全性等の画質変動は、ピクセルをその正確な対応ピクセルに関連付ける反復プロセスの能力を損ない得る。例えば、特定のピクセルに最も適切な対応ピクセルは、ノイズにより遮蔽され得、最適さがより低い対応ピクセルが選択されることに繋がる。この問題に対処するために、幾つかの実施形態では、光学フローを計算する反復法を適用する前、メジアンフィルタリング、ブラーリング、ノイズ除去、又は他の適切な画像処理技法が入力カメラビューに適用される。反復プロセスが完了した後、生成された最適化光学フローを合成ビュー又はキャンバスビューの計算に使用することができる。
図９は、幾つかの実施形態による、２つのカメラビュー間の光学フローを計算するプロセス例を示すフローチャートである。プロセス９００は、左側カメラビューと右側カメラビューとの間の光学フローを生成する反復方法例を概説する。他の実施形態では、同様の技法を使用して、３つのカメラビュー間の光学フロー又は任意の向きの複数のカメラビュー間、例えば、上部カメラビューと下部カメラビューとの間の光学フロー等のより多く又は異なるカメラビュー間の光学フローを生成することができる。
プロセス９００は、一組のカメラビューが光学フロー計算モジュール２５０において受信される（９０５）ときに開始される。例えば、光学フロー計算モジュール２５０は、一次カメラビュー及び二次カメラビュー又は左側カメラビュー及び右側カメラビューを受信することができる。幾つかの実施形態では、受信されたカメラビューは、例えば、ノイズ除去、メジアンフィルタリング、又はブラーリングにより処理されて、１つ又は複数のカメラビュー内のノイズ等のカメラビュー間の対応するピクセル間の潜在的な画質の差を軽減する。プロセス９００は、一組のカメラビューの光学フローを初期化する（９１５）ことに続く。例えば、光学フローをランダム光学フロー、大きさゼロの光学フロー、又は任意の他の適切な光学フローに初期化することができる。例えば、ピラミッド型初期化を使用する実施態様では、光学フローは、カメラビューの低解像度版を使用して計算された光学フローのスケールアップ版に初期化することができる。プロセス９００において、次に、反復法を使用して、初期化された光学フローを最適化することができる。
各反復を開始するために、カメラビューからピクセル、例えば、左側カメラビューの左上ピクセルが選択される（９２０）。幾つかの実施態様では、ピクセルは反復に基づいてパターンで選択され、各ピクセルに対応する光学フローベクトルは、次のピクセルに移る前に更新される。例えば、最初の反復において、左上角のピクセルで開始し、右下角のピクセルに順次進んでピクセルを選択することができる。幾つかの実施形態では、順次反復は異なる順序でピクセルを選択する。例えば、２回目の反復は、右下角のピクセルで開始し、左上角のピクセルに順次進むことができる。他の実施態様によれば、ピクセルは、中央ピクセルで開始して、又は任意の他の適切なパターンでランダムに選択することができる。以下の表１〜表３は、画像内のピクセルを横切り得る一連のピクセルを選択する幾つかのパターン例を示す。
次に、選択されたピクセルについて、１つ又は複数のフローベクトル提案が生成される（９２５）。フローベクトル提案は、そのピクセルに関連付けられた代替の光学フローベクトルであり、任意の数の適切な技法により生成することができる。例えば、フローベクトル提案は、ランダムに又は変分最適化問題の項の一部に関して計算された勾配降下に基づいて生成することができる。フローベクトル提案は、現在のフローベクトルのランダム摂動により生成することもでき、又は隣接ピクセル若しくは近傍ピクセルに対応するフローベクトルからコピーすることもできる。一実施形態では、選択されたピクセルに対して４つのフローベクトル提案：ランダムフローベクトル、勾配降下により生成されたフローベクトル、選択されたピクセルの上の近隣ピクセルに割り当てられたフローベクトルのコピー、及び選択されたピクセルの左の近隣ピクセルに割り当てられたフローベクトルのコピーが生成される。次に、各フローベクトル提案を分析して（９３０）、そのベクトル提案が、その他の提案及び現在の光学フローベクトルと比較した場合、光学フローの最適化を改善するか否かを判断する。改善は、例えば、変分最適化問題の出力を比較し、それが低減されたか否か、ひいては最小により近づいたか否かを判断することにより判断することができる。幾つかの実施形態では、各画像の強度勾配は、変分最適化問題に入力される際、ブラーリングすることができる。次に、最適化を改善する提案が受け入れられ、選択されたピクセルに関連付けられる新しい光学フローベクトルになる。次に、プロセス９００は、シーケンス内の次のピクセルに進み、光学フロー内の全てのフローベクトルが更新された（９３５）場合、メジアンフィルタ又は拡散フィルタ、例えば、ガウスブラーフィルタを更新された光学フローに適用して（９３７）、光学フロー場における異常値の影響を下げることができる。メジアンフィルタリング及び拡散フィルタリングは、近傍ピクセルの光学フローベクトルと位置合わせされない光学フロー場内の異常値を除去することにより、光学フロー場の一貫性又は平滑性を改善することができる。幾つかの実施態様では、拡散フィルタは、そのピクセルと対応ピクセルとの間のピクセル強度値の誤差に基づいて、ガウスブラー又は他のタイプのブラー等の加重拡散を各ピクセルの各光学フローベクトルに適用することができる。例えば、完全ブラー光学フローは、ピクセル強度値の誤差に基づいてブラー前光学フローとブレンドすることができる。ピクセル強度値の誤差が大きい光学フローベクトルは、対応するピクセルのピクセル強度値の誤差が小さいピクセルよりも重くブラー光学フローを加重することができる。幾つかの実施形態、例えば、式６の変分最適化式を使用する実施形態では、変分最適化問題における項として、メジアンフィルタリング及び加重拡散を組み込むことができる。次に、プロセス９００は、反復プロセスの次の完全反復に移る。この時点で、全ての反復が完了した（９４０）後かつ光学フローが最高解像度光学フローではない（９４２）場合、例えば、光学フローのピラミッド型初期化が使用される場合、プロセスは光学フロー初期化９１５に戻り、現在の光学フローを使用して初期化された光学フローを有するより高解像度のカメラビューに基づいて反復を続ける。その他の場合、全ての反復が完了した（９４０）後、最適化された光学フローが出力される（９４５）。
光学フロー計算の一変形において、ピクセルの強度値をブラー化して、画像間のハードエッジを軟化し得る。加えて、反復中、画像強度勾配自体をブラー化することもできる。このブラーを実行することにより、光学フロー分析は、異なる画像に亘り異なって見え得るノイズ及び鮮鋭なエッジに対してよりロバストとなり得る。
別の変形では、光学フローはまず、カメラの前のフレームの光学フローを別のカメラに組み込む。例えば、幾つかの場合、カメラは、複数のカメラに亘り同期された一連のフレームを含む動画を捕捉中であり得る。前のフレームの光学フローは、現在のフレームの光学フローに使用し得る。現在のフレームは、最初の反復の初期解として前のフレームの光学フローを使用し得、又は現在のフレームの解を見つけ得、現在のフレームの解を前のフレームの光学フローと結合して、現在のフレームの光学フローを決定する。これにより、２つ以上の画像に亘る光学フローの時間的正則化が可能である。幾つかの実施態様では、時間的正則化項を変分最適化式に含めることができる。
キャンバスビューの生成
幾つかの実施形態によれば、光情報近似モジュール２６０は、新規ビュー生成モジュール２４０により生成される合成ビュー及び光学フロー計算モジュール２５０により生成される光学フローに基づいて、キャンバスビューを生成する。例えば、光情報近似モジュール２６０は、特に生成された合成ビューから取得された領域からキャンバスビューを組み立てることができる。幾つかの実施形態では、光情報近似モジュール２６０は、新規ビュー生成モジュール２４０から、キャンバスビューの生成に必要な合成ビューを要求する。同様に、光情報近似モジュール２６０は、光学フロー計算モジュール２５０から、必要ないかなる光学フローも要求することができる。代替的には、光学フローは、合成ビューの生成中、新規ビュー生成モジュール２４０により自動的に計算又は要求することができる。
上述したように、キャンバスビューを生成して、特定の視点又は一組の視点における光情報を近似することができる。キャンバスビューの生成は、キャンバスビューが計算される一組の領域又はピクセルにキャンバスビューを分割することにより開始することができる。幾つかの実施形態では、光情報近似はピクセル単位で実行され、その場合、光情報近似においてキャンバスビューの各ピクセルに光線が割り当てられる。同様に、キャンバスビューの各領域に、例えば、キャンバスビューのその領域に関連する光情報の特定に使用される視点を関連付けることができる。例えば、各ピクセルは、そのピクセルの固有の合成カメラ位置からの合成ビューに基づいて計算することができる。他の実施形態では、視点における光情報を近似するキャンバスビューの計算は、１つのピクセルよりも大きなキャンバスビューの領域に基づく。例えば、外側を向いたカメラの１つのリングの場合等のカメラの単一平面を使用する構成では、光情報近似は、キャンバスビュー内のピクセルの１ピクセル幅の列に基づくことができる。キャンバスビュー領域及びキャンバスビューの生成に使用された関連する光情報のそれぞれについて、合成ビューを計算することができる。幾つかの実施態様では、１つのピクセル又はピクセル列よりも大きな領域を使用して、キャンバスビュー生成システム１１０への計算負荷を低減する。例えば、使用する領域が少ない場合、各領域がその領域に一意の合成ビューの計算を必要とし得るため、計算する必要がある合成ビューの数を低減することができる。例えば、キャンバスビューの領域は、正方形領域、１ピクセルよりも広い列領域、又はキャンバスビュー内のピクセルの任意の他の適切な一部とすることができる。必要な全ての合成ビューが計算されると、各合成ビューの特定の領域を抽出し結合して、視点における光情報を近似するキャンバスビューを形成することができる。
図１０は、幾つかの実施形態による、複数の物体及び画像捕捉システム例を示す線図である。図１０００は、原点３０５、左側視点４０２、右側視点４０４、瞳孔間距離４１０、カメラ３１０〜３１７、合成カメラ４２５及び４３０、視線４４０及び４４５、角度１０２０が関連付けられた物体１００５、並びに角度１０２５が関連付けられた別の物体１０１０を含む。幾つかの実施形態では、物体１００５及び１０２５は、シーン内に位置する物理的な物体であるが、物体１００５及び１０２５は、シーン内のゼロ視差距離又はシーン内の任意の他のポイントにあることもできる。
図１０００は、画像捕捉システム１０５が、複数の物体１００５及び１０２５を含むシーンを捕捉するシーン例を表す。クライアントＶＲデバイス１１５でこのシーンを再現するために、キャンバスビュー生成システム１１０は、ユーザの左眼及び右眼に表示されることを意図されるキャンバスビューを生成することができる。各キャンバスビューは、クライアントＶＲデバイス１１５のユーザの左眼及び右眼に対応する２組の視点における光情報を近似することができる。左側視点４０２及び右側視点４０４は、キャンバスビューが計算される左側の組の視点及び右側の組の視点の視点例を表すことができる。この実施形態では、左側視点４０２及び右側視点４０４は、瞳孔間距離４１０により隔てられる。左側視点４０２又は右側視点４０４等の視点における光情報を近似するために、光情報近似モジュール２６０は、その視点における関連する光情報を捕捉するカメラビュー及び合成ビュー内の特定の領域から、キャンバスビューを組み立てることができる。
図１０の実施形態では、各カメラ３１０〜３１７は画定された視野を有し、カメラのいずれも、シーンの光情報の全てを完全に捕捉するように構成されず、例えば、カメラ３１０〜３１７は、物体１００５及び物体１０１０の両方からの光情報を捕捉することができない。合成カメラ４２５及び４３０からの合成ビュー等の合成ビューを生成して、カメラ３１０〜３１７により直接捕捉されない特定の光情報を捕捉することができる。しかしながら、この目的で生成される個々の合成ビューは、視点における光情報を近似するキャンバスビューの生成に必要な光情報の全てを捕捉するわけではない。
幾つかの実施形態では、各カメラ３１０〜３１７又は合成カメラ４２５及び４３０は、適切なキャンバスビューの生成に必要な光情報の一部を捕捉することができる。例えば、物体１００５に光情報の特定のポイントを関連付けることができる。この実施形態では、合成カメラ４２５は、光情報、例えば、合成カメラ４２５及び左側視点４０２の両方に交わる物体１００５からの視線４４０で示される物体１００５から左側視点４０２に移動する光線についての情報を含む合成ビューを生成する。物体１００５から右側視点４０４に移動する光線についての情報も同様に、視線４４５と交わるため、合成カメラ４３０により捕捉することができる。関連する光線についての光情報を含む合成ビュー内の厳密なピクセル又は領域の位置は、例えば、三角法を使用して計算することができる。幾つかの実施形態では、物体１００５と左側視点４０２との間の光線についての情報を捕捉する合成カメラ４２５の合成ビュー内のピクセルは、視野及び合成ビューの解像度、合成カメラ４２５及び左側視点４０２に対する視線４４０の角度、並びに合成カメラ４２５及び左側視点４０２の相対位置に基づいて計算される。
図１１は、幾つかの実施形態によるキャンバスビュー例を示す線図である。例えば、図１１のキャンバスビュー１１００は、図１０に示されるカメラ３１０〜３１７により捕捉される一組の原カメラビューに基づいて生成されたキャンバスビュー例を表すことができる。キャンバスビュー１１００は、視点における光情報を近似するキャンバスビュー例であり、特に、キャンバスビュー１１００は、それぞれ角度１０２０及び１０２５が関連付けられた２つの物体１００５及び１０１０を含む。
例えば、キャンバスビュー１１００においてφ１０２０及びφ１０２５が関連付けられた領域は、図１０のシーンにおける物体１００５及び１０１０についての光情報を近似することができる。キャンバスビュー１１００の関連付けられた領域のそれぞれは、適切な合成カメラの合成ビューからの光情報に基づいて生成することができる。例えば、φ１０２０が関連付けられた領域は、合成カメラ４２５の特定の領域から生成することができる。
図１２は、実施形態による、物体のビューに対する瞳孔間距離を変更する効果を示す線図である。図１２００は、原点３０５、第１の視点１２０２、第２の視点１２０４、第１及び第２の瞳孔間距離１２０５及び１２１０、物体１２１５、第１の合成カメラ１２２０、第２の合成カメラ１２２５、第１の合成ビュー１２３０、第２の合成ビュー１２３５、合成ビュー内の第１の選択領域１２４０、並びに合成ビュー内の第２の選択領域１２４５を含む。
幾つかの実施形態では、瞳孔間距離は、キャンバスビューが生成される視点の位置を決定する。例えば、第１の瞳孔間距離１２０５及び第２の瞳孔間距離１２１０は、キャンバスビュー生成の視点の位置を通知するのに使用される２つの瞳孔間距離とすることができる。第１の視点１２０２には第１の瞳孔間距離１２０５を関連付けることができ、同様に、第２の視点１２０４には第２の瞳孔間距離１２１０を関連付けることができる。同様に、異なる視点は、視点における光情報を近似するために異なる光情報を必要とすることができ、したがって、異なる合成ビューを計算する必要があることができる。
第１の合成カメラ１２２０及び第２の合成カメラ１２２５の位置等の合成カメラ位置は、幾つかの要因に基づいて計算することができる。例えば、第１の合成カメラ１２２０は、第１の合成カメラが物体１２１５から第１の視点１２０２に移動する光線と交わるように位置決めされ、関連する光情報を捕捉するように向けられた場合、第１の視点１２０２から見た物体１２１５についての光情報を捕捉することができる。同様に、第２の合成カメラ１２２５は、第２の視点１２０４からの物体１２１５についての光情報を捕捉するように位置決めされる。第１の視点１２０２及び第２の視点１２０４の異なる位置に起因して、例えば、異なる瞳孔間距離の選択に基づいて、第１の合成カメラ１２２０及び第２の合成カメラ１２２５は両方とも、物体１２１５についての光情報を捕捉するが、視点位置に応じて異なる位置から捕捉する。
さらに、キャンバスビューの特定の視点についての関連する光情報を捕捉する多くの可能な合成カメラの位置及び向き、例えば、捕捉される１つ又は複数の光線に沿った各合成カメラ位置がある。第１の合成カメラ１２２０の位置及び向きはさらに、合成ビューの計算のし易さ、画像捕捉システム１０５の他の合成カメラ位置若しくはカメラ位置との一貫性等の要因に基づいて又は任意の他の適切な理由に基づいて選ぶことができる。例えば、各合成カメラは、画像捕捉システム１０５に搭載された実際のカメラと一貫して維持するように外側に直接向けられたリング３０３上の選択された位置を有することができる。同様に、合成カメラ位置は、計算のし易さに基づいて選ぶことができ、例えば、近傍の既存のカメラビューに最も近い合成カメラ位置を選ぶことができる。
合成カメラ位置が決定されると、合成ビュー内のどのピクセル又は領域が関連する光情報を含むかの計算は、様々な要因に基づくことができる。合成ビューに対する所望の光情報の角度、カメラビューの視野及びレンズ歪み、並びにカメラビューを捕捉するカメラの位置は全て、合成ビュー内のどの領域が現在の視点での関連する光情報を含むかに影響することができる。例えば、物体１２１５の位置、第１の視点１２０２、及び第１の合成カメラ１２２０の向きは、所望の光情報を含む第１の合成カメラビュー１２３０の第１の選択領域１２４０を生成することができる。この例では、第１の合成領域１２４０の位置は、所望の光情報の角度が第１の合成カメラビュー１２２０の視野の右縁部に近いため、第１の合成カメラビュー１２３０の右縁部に近い。同様に、第２の視点１２０４に対する物体１２１５の位置及び第２の合成カメラ１２２５の向きも、第２の合成カメラビュー１２３５のどの領域が所望の光情報を含むかを決定する。図１２００の例では、第２の合成カメラビュー１２３５内の第２の選択領域１２４５は、所望の光情報を含む。
幾つかの実施形態では、三角法計算を適用して、合成ビュー内の特定の領域の位置を特定する。
図１３は、一実施形態による、カメラビューに基づいてキャンバスビューを計算するプロセス例を示す線図である。図１３００は、原カメラビュー１３０５、合成ビュー１３１０、キャンバスビュー１３１５、キャンバスビューの領域１３１６、合成ビューマッピング１３２０、及びキャンバスビュー計算１３２５を含む。
図１３の実施形態では、原カメラビュー１３０５は、キャンバスビュー生成システム１１０がキャンバスビューの計算に使用する、画像捕捉システム１０５により捕捉された一組のカメラビューとすることができる。例えば、原カメラビュー１３０５は、重複する視野を有するカメラビューを含むことができ、一組の原カメラビュー１３０５をブレンドしてキャンバスビューにすることができる。キャンバスビュー１３１６の領域を計算するために、キャンバスビュー１３１６の領域についての光情報を捕捉する対応する合成ビュー１３１０は、合成ビュー計算１３２０を使用して原カメラビュー１３０５から計算することができる。幾つかの実施形態では、合成ビュー計算１３１０は、原カメラビュー１３０５及び光学フローに基づいて新規ビュー生成モジュール２４０により実行される。必要とされる合成カメラの合成ビュー１３１０が計算されると、キャンバスビュー計算１３２５を使用して、キャンバスビューの領域１３１６を計算することができる。上述したように、キャンバスビュー１３１６の領域についての光情報を含む合成ビュー１３１０内の領域の位置は、合成カメラの相対位置及びキャンバスビュー１３１５の関連付けられた視点に基づいて、三角法により計算することができる。
幾つかの実施形態では、図１３のプロセスは、全ての領域が計算されるまで、キャンバスビュー１３１５の各領域に対して順次繰り返される。しかしながら、他の実施態様では、他の計算プロセスを使用して、キャンバスビューを生成することができ、例えば、一定の組の合成ビューを計算することができ、又は必要な合成ビューは、キャンバスビュー１３１５が組み立てられる前、一度に特定され計算される。実用的には、図１３のプロセスは、まず、ピクセルを原ビュー１３０５から一組の合成ビュー１３１０にマッピングし、次に、ピクセルを一組の合成ビュー１３１０からキャンバスビュー１３１５にマッピングする、原カメラビュー１４０５のピクセル強度情報を変更する２つのステップ又はマッピングを含む。マッピングは、別のビュー内の特定のピクセルに基づいて、あるビュー内のピクセルを生成するピクセルレベルの処理とすることができる。図１３のプロセスは効果的であるが、キャンバスビュー１３１５において使用されない合成ビュー１３１０の多くの余分な領域の計算、例えば、最終的なキャンバスビューに組み込まれない合成ビュー内のピクセルの計算に繋がり得る。合成ビュー内のどの領域が関連する光情報を含むかを計算する前に、完全な合成ビュー１３１０が生成されるため、この方法は、追加の処理オーバーヘッドをキャンバスビュー１３１５の計算に導入し得る。
図１４は、一実施形態による、カメラビューに基づいてキャンバスビューを計算する第２のプロセス例を示す線図である。図１４００は、原カメラビュー１４０５、選択されたピクセル１４０６、合成ビュー１４１０、キャンバスビュー１４１５、合成ビューの領域１４１１、キャンバスビューの領域１４１６、合成ビューマッピング１４２５、キャンバスビューマッピング１４３０、リマッピングプロセス１４３５、及び結合マッピング１４４０を含む。図１４のプロセスは、カメラビュー内のピクセルに対して実行される計算ステップの数を低減するとともに、最終的にキャンバスビュー１４１０に組み込まれない不必要なピクセルの計算を低減することにより、図１３のプロセスと比較してキャンバスビュー１４１０の計算に必要な処理力を低減することができる。
図１４の実施態様では、キャンバスビュー１４１５の領域を計算するために、結合マッピング１４４０を原カメラビュー１４０５に適用して、原カメラビュー１４０５の関連するピクセルからキャンバスビュー１３１５の領域を直接生成する。幾つかの実施形態では、結合マッピング１４４０は、キャンバスビュー１４１５内の各ピクセル又は領域を、例えば、選択されたピクセル１４０６により表される原カメラビュー１４０５内の１つ又は複数のピクセル又は領域にマッピングするベクトル場である。幾つかの実施態様では、原カメラビュー１４０５内の複数のピクセルをキャンバスビュー内の１つのピクセルにマッピングすることができ、例えば、キャンバスビュー１４１５内のピクセルに、原カメラビュー１４０５の第１のカメラビュー内のピクセルの７５％と、原カメラビューの第２のカメラビュー内の別のピクセルの２５％とのブレンドを関連付けることができる。結合マッピング１４４０により、１つのマッピング動作で、原カメラビュー１４０５内の選択されたピクセル１４０６のピクセル強度値から、キャンバスビュー１４１５のピクセル強度値を計算することができる。
幾つかの実施態様では、結合マッピング１４４０は、キャンバスビューマッピング１４３０及び合成ビューマッピング１４２５に基づいて生成される。キャンバスビューマッピング１４３０は、キャンバスビューの領域１４１６を合成ビューの対応する領域１４１１を関連付けるマッピングとすることができ、合成ビューマッピング１４２５は、原カメラビュー１４０５内のピクセルを合成ビューの領域１４１１に関連付けるマッピングとすることができる。合成ビューマッピング１４２５及びキャンバスビューマッピング１４３０は、図１２の合成ビュー計算１３２０及びキャンバスビュー計算１３２５と同様の技法により生成することができる。幾つかの実施形態では、合成ビューの領域は、ピクセルの垂直列であるが、合成ビューの領域は、ピクセルの高さの関数であることもでき、シフトされたピクセル列を生成できる。
上述したように、合成ビュー１４１０は、原カメラビュー１４０５及び原カメラビュー間で計算された光学フローに基づいて計算することができる。同様の技法を使用して、合成ビューマッピング１４２５を生成することができる。上述したように、合成ビュー１４１０又は合成ビューの領域１４１１の合成ビューマッピング１４２５は、新規ビュー生成モジュール２４０により生成することができる。幾つかの実施態様では、合成ビューマッピング１４２５は、合成ビュー１４１０のいかなるピクセル強度値も計算せずに行われる。同様に、キャンバスビューマッピング１４３０も、合成ビューの位置及び三角法を使用して生成され、キャンバスビューの領域に関連付けられた合成ビュー１４１１の正確な領域を特定することができる。
キャンバスビューの領域１４１６のキャンバスビューマッピング１４３０及び合成ビューマッピング１４２５の計算後、リマッピングプロセス１４３０を使用して、キャンバスビューの領域１４１６の結合マッピング１４４０を生成することができる。次に、リマッピングプロセス１４３５をキャンバスビュー１４１５内の他の各領域に繰り返して、キャンバスビュー１４１５の各領域のマッピング情報を含む結合マッピング１４４０を生成することができる。幾つかの実施形態では、合成ビューマッピング１４２５及びキャンバスビューマッピング１４３０は、キャンバスビュー１４１５又は合成ビュー１４１０のいかなるピクセル強度値の計算も含まず、その理由は、各マッピングが、ピクセル位置を関連付けるが、それらの位置のピクセル強度値を変換又は計算しないベクトル場であるためである。
リマッピングプロセス後、次に、結合マッピング１４４０を原カメラビュー１４０５に適用して、原カメラビュー１４０５内の選択されたピクセル１４０６に基づいてキャンバスビュー１４１５のピクセル強度情報を生成することができる。幾つかの実施形態では、キャンバスビュー１４１５のピクセル強度値は、合成ビュー１４１０のピクセル強度値の中間計算なしで、原カメラビュー１４０５内の選択されたピクセル１４０６のピクセル強度値から直接計算される。
図１５は、一実施形態による、カメラビューに基づいてキャンバスビューを計算するプロセスを示すフローチャートである。プロセス１５００は、光情報近似システム２６０が、キャンバスビューを生成するカメラ画像を受信する（１５０５）とき、開始される。次に、光学フロー計算モジュール２５０は、受信した一組のカメラビュー内の隣接するカメラビュー間の光学フローを計算する（１５１５）。例えば、光学フロー計算モジュール２５０は、図９に関連して説明したプロセス９００等の反復プロセスに基づいて光学フローを計算することができる。次に、光情報近似モジュール２６０は、キャンバスビューを生成するためにどの合成ビューが必要であるかを判断し（１５１５）、次に、必要とされる合成ビュー内のどの特定のピクセル又は領域が、関連する光情報を捕捉するかを更に計算する（１５２０）。次に、例えば、新規ビュー生成モジュール２６０により、必要とされるピクセルと受信したカメラビューとの間のマッピングを計算する（１５２５）。次に、前に計算されたマッピングに基づいて、光情報近似モジュール２６０は、受信したカメラビューとキャンバスビューとの間の結合マッピングを生成する（１５３０）。最後に、光情報近似モジュール２６０によりキャンバスビューを生成する（１５３５）。
結び
本発明の実施形態の上記説明は、例示を目的として提示され、網羅的である、すなわち、開示された厳密な形態に本発明を限定する意図はない。上記開示に鑑みて多くの変更及び変形が可能なことを当業者は理解することができる。
この説明の幾つかの一部分は、情報に対する動作のアルゴリズム及び象徴的表現に関して本発明の実施形態を説明している。これらのアルゴリズム的な説明及び表現は、他の当業者に仕事の要旨を効率的に伝えるためにデータ処理分野の当業者により一般に使用されている。これらの動作は、機能的、計算的、又は論理的に説明されるが、コンピュータプログラム又は同等の電気回路、マイクロコード等により実施されることが理解される。さらに、時により、一般性を失わずに、これらの動作構成をモジュールと呼ぶことが好都合であることも証明されている。説明された動作及び動作に関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の組合せで実施し得る。
本明細書に記載されるステップ、動作、又はプロセスはいずれも、単独で又は他のデバイスと組み合わせて、１つ又は複数のハードウェア又はソフトウェアモジュールを用いて実行又は実施し得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体を含むコンピュータプログラム製品を用いて実施され、コンピュータプログラムコードは、コンピュータプロセッサにより実行されて、記載されるステップ、動作、又はプロセスのいずれか又は全てを実行することができる。
本発明の実施形態は、本明細書における動作を実行する装置に関連することもできる。この装置は、求められる目的に向けて特に構築されてもよく、及び／又はコンピュータに記憶されるコンピュータプログラムにより選択的にアクティブ化又は再構成される汎用計算デバイスを含んでもよい。そのようなコンピュータプログラムは、コンピュータシステムバスに結合し得る非一時的な有形のコンピュータ可読記憶媒体又は電子命令の記憶に適切な任意のタイプの媒体に記憶し得る。さらに、本明細書において参照される任意の計算システムは、１つのプロセッサを含んでもよく、又は計算能力を上げるように複数のプロセッサ設計を利用したアーキテクチャであってもよい。
本発明の実施形態は、本明細書に記載される計算プロセスにより製造される製品に関することもできる。そのような製品は、計算プロセスから生じる情報を含み得、情報は、非一時的な有形のコンピュータ可読記憶媒体に記憶され、コンピュータプログラム製品の任意の実施形態又は本明細書に記載される他のデータ組合せを含み得る。
最後に、本明細書において使用される言語は主に読みやすさ及び指示を目的として選択されており、本発明の趣旨を線引き又は制限するために選択されていない。したがって、本発明の範囲は、この詳細な説明により限定されず、正確に言えば、本明細書に基づく出願で発行される任意の請求項により限定されることが意図される。したがって、本発明の実施形態の開示は、本発明の範囲の限定ではなく例示であることが意図され、本発明の範囲は以下の特許請求の範囲に記載される。

Claims (20)

  1. 方法であって、
    第１のカメラビューおよび第２のカメラビューを受信するステップであって、各カメラビューは、カメラによって捕捉された画像を表し、かつ前記カメラビューが捕捉された位置に関連付けられている、前記受信するステップと、
    前記第１のカメラビューに関連付けられた位置と、前記第２のカメラビューに関連付けられた位置との間に配置された合成ビューに関する合成ビューの位置を識別するステップと、
    ベクトル変位場を含む光学フローを取得するステップであって、前記光学フローの各ベクトルは、前記第１のカメラビューおよび前記第２のカメラビューにおける対応する位置の間の変位を示す、前記取得するステップと、
    前記光学フローと、前記第１のカメラビューに関連付けられた位置に対する前記合成ビューの位置とに基づいて前記第１のカメラビューをシフトするステップと、
    前記光学フローと、前記第２のカメラビューに関連付けられた位置に対する前記合成ビューの位置とに基づいて前記第２のカメラビューをシフトするステップと、
    シフトされた前記第１のカメラビューとシフトされた前記第２のカメラビューをブレンドして合成ビューを形成するステップと、を含む方法。
  2. 前記光学フローは、前記第１のカメラビューの各領域をシフトさせるための大きさ及び方向を決定するベクトル変位場を含む、請求項１に記載の方法。
  3. 前記光学フローに基づいて前記第１のカメラビューをシフトするステップは、前記合成ビューの位置に対する前記第１のカメラビューの位置の相対距離に基づいて前記第１のカメラビューを比例的にシフトすることを含む、請求項２に記載の方法。
  4. 前記光学フローは、前記第１のカメラビューと前記第２のカメラビューとの間の対応するピクセルを関連付ける、請求項３に記載の方法。
  5. 前記第１のカメラビューおよび前記第２のカメラビューに対する光学フローを計算するステップをさらに含む、請求項４に記載の方法。
  6. 前記第１および第２のカメラビューは、前記第１および第２のカメラビューを捕捉した画像捕捉システムから受信される、請求項１に記載の方法。
  7. 前記第１および第２のカメラビューは各々、両方のカメラビューに共通の１つ又は複数の物体を描写する、請求項１に記載の方法。
  8. シフトされた前記第１および第２のカメラビューをブレンドすることは、合成ビューの位置からの前記第１および第２のカメラビューの位置の個々の相対距離に基づいて前記第１および第２のカメラビューを重み付けすることをさらに含む、請求項１に記載の方法。
  9. 前記合成ビューは、前記第１及び第２のカメラビューの選択された領域を描写する部分合成ビューである、請求項１に記載の方法。
  10. 前記合成ビューは、前記合成ビューの各ピクセルを前記第１及び第２のカメラビューにおける１つ又は複数のピクセルの組み合わせとして記述する合成ビューマッピングである、請求項１に記載の方法。
  11. 命令を含む非一時的なコンピュータ可読記憶媒体であって、前記命令は、プロセッサによる実行時に、前記プロセッサに、
    第１のカメラビューおよび第２のカメラビューを受信し、各カメラビューは、カメラによって捕捉された画像を表し、かつ前記カメラビューが捕捉された位置に関連付けられている、
    前記第１のカメラビューに関連付けられた位置と、前記第２のカメラビューに関連付けられた位置との間に配置された合成ビューに関する合成ビューの位置を識別し、
    ベクトル変位場を含む光学フローを取得し、前記光学フローの各ベクトルは、前記第１のカメラビューおよび前記第２のカメラビューにおける対応する位置の間の変位を示し、
    前記光学フローと、前記第１のカメラビューに関連付けられた位置に対する前記合成ビューの位置とに基づいて前記第１のカメラビューをシフトし、
    前記光学フローと、前記第２のカメラビューに関連付けられた位置に対する前記合成ビューの位置とに基づいて前記第２のカメラビューをシフトし、
    シフトされた前記第１のカメラビューとシフトされた前記第２のカメラビューをブレンドして合成ビューを形成することを行わせる、非一時的なコンピュータ可読記憶媒体。
  12. 前記光学フローは、前記第１のカメラビューの各領域をシフトさせるための大きさ及び方向を決定するベクトル変位場を含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
  13. 前記光学フローに基づいて前記第１のカメラビューをシフトすることは、前記合成ビューの位置に対する前記第１のカメラビューの位置の相対距離に基づいて前記第１のカメラビューを比例的にシフトすることを含む、請求項１２に記載の非一時的なコンピュータ可読記憶媒体。
  14. 前記光学フローは、前記第１のカメラビューと前記第２のカメラビューとの間の対応するピクセルを関連付ける、請求項１３に記載の非一時的なコンピュータ可読記憶媒体。
  15. 前記命令は、前記プロセッサに前記第１のカメラビューおよび前記第２のカメラビューに対する光学フローを計算することを行わせる、請求項１４に記載の非一時的なコンピュータ可読記憶媒体。
  16. 前記第１および第２のカメラビューは、前記第１および第２のカメラビューを捕捉した画像捕捉システムから受信される、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
  17. 前記第１および第２のカメラビューは各々、両方のカメラビューに共通の１つ又は複数の物体を描写する、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
  18. シフトされた前記第１および第２のカメラビューをブレンドすることは、合成ビューの位置からの前記第１および第２のカメラビューの位置の個々の相対距離に基づいて前記第１および第２のカメラビューを重み付けすることをさらに含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
  19. 前記合成ビューは、前記第１及び第２のカメラビューの選択された領域を描写する部分合成ビューである、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
  20. 前記合成ビューは、前記合成ビューの各ピクセルを前記第１及び第２のカメラビューにおける１つ又は複数のピクセルの組み合わせとして記述する合成ビューマッピングである、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。
JP2018552837A 2016-04-06 2017-04-06 光学フローを使用した中間ビューの生成 Active JP6561216B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662319074P 2016-04-06 2016-04-06
US62/319,074 2016-04-06
US15/096,165 US10057562B2 (en) 2016-04-06 2016-04-11 Generating intermediate views using optical flow
US15/096,165 2016-04-11
PCT/US2017/026321 WO2017176975A1 (en) 2016-04-06 2017-04-06 Generating intermediate views using optical flow

Publications (2)

Publication Number Publication Date
JP2019516299A JP2019516299A (ja) 2019-06-13
JP6561216B2 true JP6561216B2 (ja) 2019-08-14

Family

ID=59998771

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018552836A Active JP6525467B1 (ja) 2016-04-06 2017-03-27 画像間の光学フローの効率的な決定
JP2018551474A Active JP6563609B2 (ja) 2016-04-06 2017-03-27 中間ビューからの効率的なキャンバスビューの生成
JP2018552837A Active JP6561216B2 (ja) 2016-04-06 2017-04-06 光学フローを使用した中間ビューの生成

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018552836A Active JP6525467B1 (ja) 2016-04-06 2017-03-27 画像間の光学フローの効率的な決定
JP2018551474A Active JP6563609B2 (ja) 2016-04-06 2017-03-27 中間ビューからの効率的なキャンバスビューの生成

Country Status (11)

Country Link
US (3) US10257501B2 (ja)
EP (1) EP3295662A4 (ja)
JP (3) JP6525467B1 (ja)
KR (3) KR101956149B1 (ja)
CN (3) CN109076172B (ja)
AU (3) AU2017246715A1 (ja)
BR (3) BR112018070622A2 (ja)
CA (3) CA3018965C (ja)
IL (3) IL261752A (ja)
MX (3) MX2018012153A (ja)
WO (3) WO2017176484A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10187629B2 (en) 2016-04-06 2019-01-22 Facebook, Inc. Camera calibration system
US9934615B2 (en) 2016-04-06 2018-04-03 Facebook, Inc. Transition between binocular and monocular views
CN107316273B (zh) * 2016-04-27 2021-05-18 深圳看到科技有限公司 全景图像采集装置及采集方法
EP3318059B1 (en) * 2016-07-01 2023-04-12 Meta Platforms, Inc. Stereoscopic image capture
JP6918455B2 (ja) * 2016-09-01 2021-08-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2018067680A1 (en) * 2016-10-05 2018-04-12 Hidden Path Entertainment, Inc. System and method of capturing and rendering a stereoscopic panorama using a depth buffer
WO2018140005A1 (en) * 2017-01-25 2018-08-02 Hewlett-Packard Development Company, L.P. Light transmissive regions to pass light to cameras
US10275856B2 (en) * 2017-08-03 2019-04-30 Facebook, Inc. Composited animation
US10733714B2 (en) * 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
US11381737B2 (en) * 2018-03-28 2022-07-05 Sony Corporation Arithmetic device and arithmetic method
US20220092796A1 (en) * 2019-02-21 2022-03-24 Korea Advanced Institute Of Science And Technology Image Processing Method and Device Thereof
KR102233606B1 (ko) * 2019-02-21 2021-03-30 한국과학기술원 영상 처리 방법 및 그 장치
CN110428452B (zh) * 2019-07-11 2022-03-25 北京达佳互联信息技术有限公司 非静态场景点的检测方法、装置、电子设备及存储介质
CN114287126A (zh) * 2019-08-22 2022-04-05 深圳市铂岩科技有限公司 视频处理方法和装置、存储介质和电子设备
FR3106014A1 (fr) * 2020-01-02 2021-07-09 Orange Synthèse itérative de vues à partir de données d’une vidéo multi-vues
US11758101B2 (en) * 2020-08-25 2023-09-12 Samsung Electronics Co., Ltd. Restoration of the FOV of images for stereoscopic rendering
KR102336156B1 (ko) * 2021-03-03 2021-12-07 (주)디피어소시에이츠 초고화질 이미지 구현 방법 및 시스템
WO2022186417A1 (ko) * 2021-03-03 2022-09-09 (주)디피어소시에이츠 초고화질 이미지를 이용한 실감형 컨텐츠 제공 방법 및 시스템
AU2021410945A1 (en) * 2021-06-09 2023-01-05 Nvidia Corporation Computing motion of pixels among images
CN113724287B (zh) * 2021-09-02 2022-07-01 北京华云星地通科技有限公司 一种卫星云图预测方法及系统

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US5760826A (en) * 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus
US6389179B1 (en) 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
IL131056A (en) 1997-01-30 2003-07-06 Yissum Res Dev Co Generalized panoramic mosaic
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7133068B2 (en) 2000-03-06 2006-11-07 Sony Corporation System and method for creating still images by utilizing a video camera device
US6559846B1 (en) * 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6760026B2 (en) * 2001-01-02 2004-07-06 Microsoft Corporation Image-based virtual reality player with integrated 3D graphics objects
US6947059B2 (en) 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
JP2003067752A (ja) * 2001-08-28 2003-03-07 Yazaki Corp 車両周辺監視装置
JP4148671B2 (ja) 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
JP2003287612A (ja) * 2002-03-27 2003-10-10 Olympus Optical Co Ltd 撮像装置及び撮像系調整システム及び撮像系調整方法
US20060020562A1 (en) * 2004-07-21 2006-01-26 University Of Southern Mississippi Apparatus and method for estimating optical flow
US8027531B2 (en) 2004-07-21 2011-09-27 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for capturing a scene using staggered triggering of dense camera arrays
US20090103779A1 (en) * 2006-03-22 2009-04-23 Daimler Ag Multi-sensorial hypothesis based object detector and object pursuer
KR100790890B1 (ko) * 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
US8457410B2 (en) 2007-02-14 2013-06-04 Technion Research And Development Foundation Ltd. Over-parameterized variational optical flow method
US8274530B2 (en) 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
US8593506B2 (en) 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
US8531449B2 (en) * 2007-12-18 2013-09-10 Navteq B.V. System and method for producing multi-angle views of an object-of-interest from images in an image dataset
US20090296989A1 (en) 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
EP2209091B1 (en) 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
JP2010204805A (ja) * 2009-03-02 2010-09-16 Konica Minolta Holdings Inc 周辺監視装置および該方法
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
JP5269707B2 (ja) * 2009-07-01 2013-08-21 富士フイルム株式会社 画像合成装置及び方法
JP5510238B2 (ja) * 2010-09-22 2014-06-04 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8736767B2 (en) 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
US9876953B2 (en) 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
EP2451164B1 (en) 2010-11-08 2017-05-03 Telefonaktiebolaget LM Ericsson (publ) Improved view synthesis
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9088714B2 (en) 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US8553943B2 (en) * 2011-06-14 2013-10-08 Qualcomm Incorporated Content-adaptive systems, methods and apparatus for determining optical flow
JP5882455B2 (ja) 2011-06-15 2016-03-09 マイクロソフト テクノロジー ライセンシング，エルエルシー 高解像度マルチスペクトル画像キャプチャ
US9338463B2 (en) 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
CN102547350B (zh) * 2012-02-02 2014-04-16 北京大学 一种基于梯度光流算法合成虚拟视点方法及立体显示装置
WO2013120115A2 (en) * 2012-02-06 2013-08-15 Legend3D, Inc. Motion picture project management system
WO2013121897A1 (ja) * 2012-02-17 2013-08-22 ソニー株式会社 情報処理装置および方法、画像処理装置および方法、並びにプログラム
KR101804205B1 (ko) 2012-03-15 2017-12-04 삼성전자주식회사 영상 처리 장치 및 방법
US9098922B2 (en) * 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
EP2677500B1 (en) 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
JP5891131B2 (ja) 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US20140098100A1 (en) 2012-10-05 2014-04-10 Qualcomm Incorporated Multiview synthesis and processing systems and methods
JP6126821B2 (ja) * 2012-11-09 2017-05-10 任天堂株式会社 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
EP2765774A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
EP2765775A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating intermediate view images
CN103247058B (zh) * 2013-05-13 2015-08-19 北京工业大学 一种基于误差分布式多层网格的快速光流场计算方法
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
WO2015054235A1 (en) 2013-10-07 2015-04-16 Vid Scale, Inc. User adaptive 3d video rendering and delivery
US10186087B2 (en) * 2013-12-06 2019-01-22 Hewlett-Packard Development Company, L. P. Occluding augmented reality objects
US10176496B2 (en) 2016-06-27 2019-01-08 Adobe Inc. Audience segmentation based on viewing angle of a user viewing a video of a multi-angle viewing environment
DE102014209137B4 (de) * 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
US9235904B1 (en) * 2014-06-20 2016-01-12 Nec Laboratories America, Inc. Object detection with Regionlets re-localization
EP4113991A1 (en) 2014-09-03 2023-01-04 Nevermind Capital LLC Methods and apparatus for capturing, streaming and/or playing back content
WO2016140934A2 (en) 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
US9626770B2 (en) 2015-04-10 2017-04-18 Apple Inc. Generating synthetic video frames using optical flow
CN104869387B (zh) * 2015-04-19 2017-01-11 中国传媒大学 基于光流法的双目图像最大视差获取方法
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
US20160353146A1 (en) 2015-05-27 2016-12-01 Google Inc. Method and apparatus to reduce spherical video bandwidth to user headset
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods
CN105261042A (zh) * 2015-10-19 2016-01-20 华为技术有限公司 光流估计的方法及装置
US20170134714A1 (en) * 2015-11-11 2017-05-11 Microsoft Technology Licensing, Llc Device and method for creating videoclips from omnidirectional video
US10453185B2 (en) 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
US9881380B2 (en) 2016-02-16 2018-01-30 Disney Enterprises, Inc. Methods and systems of performing video object segmentation
US9934615B2 (en) 2016-04-06 2018-04-03 Facebook, Inc. Transition between binocular and monocular views
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
US20180186472A1 (en) 2016-12-30 2018-07-05 Airmada Technology Inc. Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system
US10038894B1 (en) 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
WO2018151977A1 (en) 2017-02-14 2018-08-23 Axon Enterprise, Inc. Systems and methods for determining a field of view

Also Published As

Publication number Publication date
CA3019163C (en) 2019-11-26
AU2017246470A1 (en) 2018-11-01
IL261955A (en) 2018-11-29
BR112018070622A2 (pt) 2019-02-05
KR20180119695A (ko) 2018-11-02
KR101994121B1 (ko) 2019-06-28
US20170293997A1 (en) 2017-10-12
KR20180119696A (ko) 2018-11-02
MX2018012153A (es) 2019-02-07
WO2017176483A1 (en) 2017-10-12
US10257501B2 (en) 2019-04-09
WO2017176975A1 (en) 2017-10-12
CN109314752B (zh) 2020-03-03
AU2017246716B2 (en) 2018-12-06
WO2017176484A1 (en) 2017-10-12
AU2017246715A1 (en) 2018-10-11
CA3019163A1 (en) 2017-10-12
JP6563609B2 (ja) 2019-08-21
BR112018070417A2 (pt) 2019-02-05
US20170295354A1 (en) 2017-10-12
CN109314752A (zh) 2019-02-05
US10165258B2 (en) 2018-12-25
US20170295359A1 (en) 2017-10-12
EP3295662A4 (en) 2018-12-26
JP2019516299A (ja) 2019-06-13
CA3017827A1 (en) 2017-10-12
AU2017246470B2 (en) 2018-11-22
CA3018965A1 (en) 2017-10-12
MX370277B (es) 2019-12-09
IL261934A (en) 2018-11-29
IL261955B (en) 2019-11-28
CN109076172B (zh) 2020-03-03
CA3017827C (en) 2019-09-10
MX2018012151A (es) 2019-02-07
US10057562B2 (en) 2018-08-21
BR112018069568A2 (pt) 2019-01-29
IL261752A (en) 2018-11-29
JP2019514116A (ja) 2019-05-30
MX2018012149A (es) 2019-02-07
KR20180121688A (ko) 2018-11-07
KR102003015B1 (ko) 2019-07-24
MX370276B (es) 2019-12-09
CN109314753B (zh) 2020-05-26
JP2019518358A (ja) 2019-06-27
CA3018965C (en) 2019-01-08
EP3295662A1 (en) 2018-03-21
KR101956149B1 (ko) 2019-03-08
AU2017246716A1 (en) 2018-11-01
CN109076172A (zh) 2018-12-21
CN109314753A (zh) 2019-02-05
JP6525467B1 (ja) 2019-06-05

Similar Documents

Publication Publication Date Title
JP6561216B2 (ja) 光学フローを使用した中間ビューの生成
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
JP2019509526A (ja) 多数のカメラを用いた最適の球形映像獲得方法
JP5225313B2 (ja) 画像生成装置、画像生成方法、及びプログラム
EP3229106A1 (en) Efficient determination of optical flow between images
KR20220133766A (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
EP3229470B1 (en) Efficient canvas view generation from intermediate views
Hu et al. High resolution free-view interpolation of planar structure
Zraqou et al. Enhanced 3D perception using Super-resolution and saturation control techniques for solar images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181026

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181026

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R150 Certificate of patent or registration of utility model

Ref document number: 6561216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250