JP6595726B2 - 両眼視野／単眼視野間の移行 - Google Patents

Description

本開示は、一般に、視覚システムに関し、より具体的には、両眼視野と単眼視野との間の滑らかな移行を実現する画像処理システムに関する。

仮想現実（ＶＲ）はますます普及してきており、ＶＲシステムを体験しているユーザ用の仮想シーンを作成するための画像および映像の両方または一方を撮像するために、ＶＲシステムにおいて、マルチカメラシステムがしばしば使用される。異なるカメラで撮像した複数の画像を組み合わせて、ＶＲ効果をユーザが体験するための仮想シーンを提供するために使用されるキャンバスビューを作成することができる。しかし、異なるカメラで撮像した複数の画像を組み合わせて合成画像を作成するときに、問題が生じることがある。一例として、異なるカメラで撮影した同じオブジェクトの画像を雑にブレンドすると、結合画像において複視が生じることがある。さらに、ユーザが上および下を見るための視野をシミュレートするためにキャンバスビューを作成するとき、両眼視野と単眼視野との間の移行がぎくしゃくし、または両眼視野の上カメラと側方カメラとの間に継ぎ目が生じることがあり、これが、作成された視野にゆがみを生じさせ、ＶＲシステムでのユーザエクスペリエンスを劣化させる。

したがって、両眼視野と単眼視野との間の滑らかな移行に対するニーズがある。

画像処理システムは、画像ブレンディングを通じて両眼視野／単眼視野間の滑らかな移行を有するキャンバスビューを作成する。
画像処理システムは、オブジェクトを含むシーンの画像を受け取り、その画像はカメラリグシステムによって撮像される。撮像された画像は、カメラリグシステムに含まれる上および下の軸カメラが撮影した上下画像と、周辺カメラが撮影した側方画像とを含む。画像処理システムは、また、周辺カメラのうちの１つまたは複数間の合成カメラの位置からの視野をシミュレートするために、側方画像から合成画像を作成する。合成画像は、ユーザの眼の視線がオブジェクトに向けられているときのユーザの左右の視野をシミュレートする合成視野を反映する。複数の合成視野を生成して、たとえば、ユーザの左眼および右眼の視野をシミュレートし、それによって両眼視野を提供することができる。

合成画像が作成された後、画像処理システムは、両眼視野（各眼が異なる）／単眼視野（各眼が同じ）間の滑らかな移行のために画像ブレンディングを実行する。周辺カメラの視界よりも高い角度のキャンバスビューの部分については、上カメラまたは下カメラを使用することで両眼に同じ画像を提供し、それによって単眼視を提供することができる。単眼視野／両眼視野間の移行を滑らかにするために、まず、上下画像を対応する合成画像にワーピングして、形状に関する滑らかな移行のためにワーピング済み上下画像を生成し、形状ワーピングのためにオプティカルフローを使用する。そして、画像処理システムは、ワーピング済み上下画像を合成画像にモーフィングして、色に関する滑らかな移行のためにブレンド済み画像を生成し、色モーフィングのためにアルファブレンディングを使用する。画像処理システムは、左眼視野および右眼視野の両方に前述のブレンディングプロセスを適用することで、左右両眼用のキャンバスビューを生成する。

いくつかの実施形態において、画像処理システムは、鉛直角の関数として合成視野の位置を調整して、両眼用の２つの合成カメラを地面に対して鉛直角レベルで最大瞳孔間距離のところに配置するようにし、２つの合成カメラ間の距離を、鉛直角が周辺カメラの視界よりも高い角度に近づくにつれて短くするようにする。２つの合成カメラ間の距離は、鉛直角の関数として、短縮された瞳孔間距離をシミュレートすることによって短くすることができる。いくつかの実施形態において、瞳孔間距離は、鉛直角が閾値よりも高いときにゼロであり、これは、周辺カメラの視界よりも高い鉛直角に対応させることができる。この場合、合成カメラは、同じ位置および視野を有することができる。

いくつかの例において、カメラの視野は、カメラリグの支持構造などのオブジェクトによって遮蔽されることがある。オブジェクトのオクルージョンは、二次カメラ視野を一次カメラ視野に統合することによって取り除かれる。一次カメラ視野は、他のカメラの視点と一致した視野を含むかもしれないが、環境の一部についてその視野を遮蔽するオブジェクトを含む。一次視野においてオブジェクトによって遮蔽される環境の部分を二次カメラが含むように、二次カメラはオブジェクトの別の側に配置される。一次視野および二次視野において、遮蔽するオブジェクトを含む視野の部分にフィルタが適用される。フィルタは、フィルタを適用する画素のアルファチャンネルまたは画素値を除外するかまたはゼロアウトすることができる。二次視野から一次視野へのオプティカルフローが計算されて、オプティカルフローを使用して二次視野が一次視野に結合される。一次カメラと同様な環境の視野を有する二次カメラを有し、得られる画像を結合することによって、オクルージョンのない環境を撮像した１台のカメラの錯覚を作成する結合視野を生成することができる。

本発明による実施形態は、方法、記憶媒体、システムおよびコンピュータプログラム製品に向けられた添付の特許請求の範囲において特に開示されており、ある請求カテゴリ（たとえば、方法）に記載のいかなる特徴も、別の請求カテゴリ（たとえば、システム）において同様に請求可能である。添付の特許請求の範囲の従属性または後方参照は、形式上の理由でのみ選択されている。しかし、任意の先行の請求項への意図的な後方参照から生じる任意の主題（特に多項従属）も同様に請求できるので、添付の特許請求の範囲で選択される従属性に関係なく、請求項およびその特徴の任意の組み合わせが開示され、請求可能である。請求可能な主題は、添付の特許請求の範囲に記載される特徴の組み合わせだけでなく、請求項の特徴の任意の他の組み合わせも含み、請求項で述べられている各特徴は、請求項の任意の他の特徴または組み合わせと組み合わせることができる。さらに、本明細書で説明または示される実施形態および特徴のいずれも、個別の請求項で、および／または本明細書で説明もしくは示される任意の実施形態もしくは特徴、または添付の特許請求の範囲の特徴のいずれかとの任意の組み合わせで請求することができる。

本発明による一実施形態において、方法は、
シーンの上画像を受け取る工程と、
ユーザの左眼視野および右眼視野に個々に対応する、そのシーンの第１および第２の合成画像を受け取る工程と、
第１および第２の合成画像のそれぞれについて、
合成画像とシーンの上画像との重なり合う部分を特定する工程と、
重なり合う部分の中で、シーンの上視野から合成画像までのオプティカルフローを判別する工程と、
鉛直角の関数として適用されるオプティカルフローを適用することによって、上画像を合成画像にブレンドして、ワーピング済み上画像を生成する工程と、
シーンの上画像と、合成画像と、ワーピング済み上画像とを結合することによって、ユーザの対応する視野のキャンバスビューを生成する工程と、
を含むことができる。

オプティカルフローを適用するための関数は、重なり合う部分が上部分に隣接して始まる鉛直角で、適用するオプティカルフローをなしにすることができる。
オプティカルフローを適用するための関数は、重なり合う部分のピボット行で全オプティカルフローを適用することができる。

本発明による一実施形態において、方法は、
第１および第２の合成画像のそれぞれについて、ピボット行と、重なり合う部分が側方部分に隣接する、画像の側方オンリー部分との間において、合成画像に対して上画像の色をモーフィングする工程を含むことができる。

色モーフィングは、ピボット行と、側方部分に隣接する重なり合う部分との間において、側方画像の色のゼロから全部までの範囲の色モーフィングにすることができる。
第１および第２の視野は、ユーザの左右眼視野と右眼視野との間の瞳孔間距離（ＩＰＤ：ｉｎｔｅｒｐｕｐｉｌｌａｒｙ ｄｉｓｔａｎｃｅ）の関数としての距離の分だけ隔てることができる。

ＩＰＤは、シーンの鉛直角の関数とすることができる。
鉛直角がπ／２のとき、ＩＰＤは最大ＩＰＤにすることができる。
鉛直角がπのとき、ＩＰＤはゼロにすることができる。

本発明による一実施形態において、非一時的コンピュータ可読記憶媒体は、コンピュータプログラム命令を格納することができ、該コンピュータプログラム命令は、コンピュータプロセッサによって実行されたときに、
シーンの上画像を受け取る工程と、
ユーザの左眼視野および右眼視野に個々に対応する、シーンの第１および第２の合成画像を受け取る工程と、
第１および第２の合成画像のそれぞれについて、
合成画像とシーンの上画像との重なり合う部分を特定する工程と、
重なり合う部分の中で、シーンの上画像から合成画像までのオプティカルフローを判別する工程と、
鉛直角の関数として適用されるオプティカルフローを適用することによって、上画像を合成画像にブレンドして、ワーピング済み上画像を生成する工程と、
シーンの上画像と、合成画像と、ワーピング済み上画像とを結合することによって、ユーザの対応する視野用のキャンバスビューを生成する工程と、
をプロセッサに行わせることができる。

オプティカルフローを適用するための関数は、重なり合う部分が上部分に隣接して始まる鉛直角で、適用するオプティカルフローをなしにすることができる。
オプティカルフローを適用するための関数は、重なり合う部分のピボット行で全オプティカルフローを適用することができる。

本発明による一実施形態において、非一時的コンピュータ可読記憶媒体は、
第１および第２の合成画像のそれぞれについて、ピボット行と、重なり合う部分が側方部分に隣接する、画像の側方オンリー部分との間において、合成画像に対して上画像の色をモーフィングする工程を含むことができる。

色モーフィングは、ピボット行と、側方部分に隣接する重なり合う部分との間において、側方画像の色のゼロから全部までの範囲の色モーフィングにすることができる。
第１および第２の視野は、ユーザの左右眼視野と右眼視野との間の瞳孔間距離（ＩＰＤ）の関数としての距離の分だけ隔てることができる。

ＩＰＤは、シーンの鉛直角の関数とすることができる。
鉛直角がπ／２のとき、ＩＰＤは最大ＩＰＤにすることができる。
鉛直角がπのとき、ＩＰＤはゼロにすることができる。

本発明による一実施形態において、１つまたは複数のコンピュータ可読非一時的記憶媒体は、実行されたときに、本発明または前述の実施形態のいずれかによる方法を行うように動作可能なソフトウェアを具現することができる。

本発明による一実施形態において、システムは、１つまたは複数のプロセッサと、該プロセッサに連結されて、該プロセッサによって実行可能な命令を含む少なくとも１つのメモリとを備えることができ、該プロセッサは、命令を実行するときに、本発明または前述の実施形態のいずれかによる方法を行うように動作可能である。

本発明による一実施形態において、好ましくはコンピュータ可読非一時的記憶媒体を備えるコンピュータプログラム製品は、データ処理システム上で実行されたときに、本発明または前述の実施形態のいずれかによる方法を行うように動作可能にすることができる。

一実施形態による、画像処理システムが動作するシステム環境のブロック図である。 一実施形態による、カメラリグシステムの斜視図を示す。 一実施形態による、カメラリグシステムの側面図を示す。 一実施形態による、画像処理システムのアーキテクチャのブロック図を示す。 一実施形態による、カメラリグシステムを使用してオブジェクトを見ているユーザの視野をシミュレートする環境を示す線図を示す。 一実施形態による、ユーザの左眼および右眼の視野をシミュレートする合成画像に対するオフセットを特定するプロセスを示す線図を示す。 一実施形態による、鉛直角の変化に応じた瞳孔間距離の変化を示す線図を示す。 一実施形態による、キャンバスビューを生成するための、合成画像への上および下の画像の画像ブレンディングを示す線図を示す。 一実施形態による、画像処理システムを通じて、合成画像を生成し、対応する合成画像への上画像の画像ブレンディングを実行するプロセスを示す例示的なフローチャートを示す。 一実施形態による、遮蔽された下カメラを備える例示的なカメラリグシステムを示す。 一実施形態による、一次下カメラおよび二次下カメラによってそれぞれ撮影された一次下画像および二次下画像のカメラ視野を示す。

図面は、例示のみの目的で本発明のさまざまな実施形態を示している。本明細書において記述されている本発明の原理から逸脱することなく、本明細書において示されている構造および方法の代替実施形態が採用されることが可能であるということを、当業者であれば以降の論考から容易に認識するであろう。

システムアーキテクチャ
図１は、一実施形態による、画像処理システム３００が動作するシステム環境１００のブロック図を示す。図１に示されるシステム環境１００は、カメラリグシステム（camera rig system）２００と、画像処理システム３００と、クライアントＶＲデバイス１８０とを含む。図１には、例示のために、１つのカメラリグシステム２００、１つの画像処理システム３００、および１つのクライアントＶＲデバイス１８０のみを示している。図示していない代替実施形態においては、システム環境１００は、複数のカメラリグシステム２００、画像処理システム３００、クライアントＶＲデバイス１８０、ならびに異なる構成要素および追加構成要素の両方または一方を含むことができる。同様に、システム環境１００内のさまざまなエンティティによって行われる機能は、異なる実施形態では異なっていてもよい。

カメラリグシステム２００は、局所領域またはオブジェクトの画像および映像または画像もしくは映像を撮像するように構成されているマルチカメラシステムである。局所領域とは、カメラリグシステム２００を取り巻く環境である。たとえば、局所領域は、カメラリグシステム２００がその内部に位置付けられている部屋とすることができる。カメラリグシステム２００によって撮像される複数の画像は、シーンまたはオブジェクトの複数の視野にすることができ、これを使用してＶＲシステム用のシーンの複数のキャンバスビュー（canvas view）を作成し、作成された複数のキャンバスビューはクライアントＶＲデバイス１８０に提供される。キャンバスビューとは、カメラリグシステム２００内のさまざまなカメラからの視野を結合する視野をいい、シーンの任意のパノラマ視野、全天球パノラマ視野、または適切な広角視野にすることができる。より具体的には、あるキャンバスビューは、ユーザの左眼のために作成され、別のキャンバスビューは、ユーザの右眼のために作成される。ユーザがクライアントＶＲデバイス１８０を装着するとき、キャンバスビューは、ユーザに仮想現実シーンを生成するように用いられる。

いくつかの実施形態において、カメラリグシステム２００は、また、カメラリグシステムの起点に立ってクライアントＶＲデバイス１８０を装着したユーザの体験をシミュレートするために、複数の画像を撮像する。図２Ａ〜図２Ｂでより詳細に以下で説明するように、カメラリグシステム２００は、複数の周辺カメラ２３０と、上軸カメラ２４０Ａと、下軸カメラ２４０Ｂとを含む。いくつかの実施形態において、カメラリグシステム２００に含まれる複数のカメラによって撮像された複数の画像および関連の画像データは、画像を処理するために画像処理システム３００に出力される。より詳細に以下で説明されるように、周辺カメラ２３０はシーンの側方画像を撮像し、上軸カメラ２４０Ａはシーンの上画像を撮像し、下軸カメラ２４０Ｂはシーンの下画像を撮像し、撮像された複数の画像は、キャンバスビューを生成するために画像処理システム３００に提供される。上軸および下軸のカメラ（top/bottom axis cameras）が撮像する上および下の画像は、上および下のカメラの視野も表す。上および下のカメラは、シーンの上および下の１つの画像を撮像することができるため、上下の視野は単眼であり、すなわち左眼と右眼の両方に同じ画像を有する。画像処理システムは、より詳細に以下で説明するように、対応する合成カメラが配置されるべき位置からユーザの左右の視野をシミュレートする合成画像も生成する。周辺カメラによって写される方向をユーザが見るとき、複数の周辺カメラ２３０を使用して、左右の眼に異なる視野を生成し、それによって、シーン内のオブジェクトに対するユーザの奥行知覚を提供する両眼視野を提供することができる。ユーザが上または下を見ているときのユーザの単眼視野と両眼視野との間の移行をシミュレートするために、画像処理システム３００は、上画像および下画像を２つの合成画像のそれぞれにブレンドして（blend）、ユーザの左眼視野および右眼視野をシミュレートする。

画像処理システム３００は、撮像された複数の画像をカメラリグシステム２００から受け取り、クライアントＶＲデバイス１８０を装着しているユーザの左視野および右視野を生成する。生成された左右の視野は、ユーザが上または下を見るときの両眼視野と単眼視野との間の滑らかな移行を提供する。左右の視野を生成するために、複数の周辺カメラ２３０によって撮影された複数の側方画像が受け取られた後、画像処理システム３００は、左眼視野および右眼視野の合成画像を生成する。たとえば、左眼視野の場合、左眼の視野を表す対応する合成カメラについて、合成側方画像が作成される。さらに、上軸および下軸のカメラ２４０が撮影した上および下の画像が合成画像にブレンドされて、上および下の画像および合成画像の形状と色の滑らかなブレンディング（blending）を実現する。

複数の周辺カメラ２３０および複数の軸カメラ２４０などの現実のカメラに対し、合成カメラは、図４Ａ〜図４Ｂでより詳細に以下で説明するように、カメラリグ外周２１５と、ユーザの左眼および右眼がシーン内のオブジェクトを見ているときのユーザの視線との間の交点に配置される仮想カメラである。より詳細には、少なくとも２つの合成カメラ４３０がシミュレートされ、一方は左眼の合成画像を「生成」し、他方は右眼の合成側方画像を「生成」する。一実施形態において、合成画像は、対応する複数の周辺カメラ２３０によって撮影される複数の側方画像と、画像処理システム３００によって計算される、合成カメラの複数の周辺カメラ間の位置とに基づいて作成される。別の実施形態では、左眼または右眼の視野について、現実の周辺カメラ２３０は、合成カメラの位置から画像を撮像することができる。この場合、現実の周辺カメラによって撮影される画像は、眼に対する合成画像と見なされる。

生成された合成画像に上および下の画像をブレンドして、合成側方画像に対する形状および色の変化を滑らかにする。より詳細に以下で説明するように、左眼視野および右眼視野に対応する合成画像のそれぞれについて、画像処理システム３００は、まず、上および下の画像を合成画像にワーピングして（warp）形状ブレンディング（shape blending）を実現してから、ワーピング済み上および下の画像を合成画像にモーフィングして（morph）色モーフィング（color morphing）を実現する。これらのプロセスのそれぞれは、画像の鉛直角の関数にすることができる。すなわち、角度が上に高くなるほど（上カメラの場合）、得られる画像の形状および色が上カメラ視野に近づく。

オプティカルフロー（optical flow）による形状ワーピングおよびアルファブレンディング（alpha blending）による色モーフィングの後のブレンド済みの複数の画像を使用して、キャンバスビューを作成することができる。たとえば、左眼視野のブレンド済みの複数の画像を使用してユーザの左眼用のキャンバスビューを作成し、右眼視野のブレンド済みの複数の画像を使用してユーザの右眼用のキャンバスビューを作成する。図５でより詳細に以下で説明するように、キャンバスビューは、上だけの部分（top-only part）、下だけの部分（bottom-only part）、側方だけの部分（side-only part）、上視野と側方視野との間の重ね合わせ部分、および下視野と側方視野との間の重ね合わせ部分を含む。上だけの部分とは、上画像のみによって提供されるキャンバスビューの部分をいい、下だけの部分とは、下画像のみによって提供されるキャンバスビューの部分をいい、重ね合わせ部分とは、上下画像および側方画像の両方に共有されて、それらによって提供されるキャンバスビューの部分をいう。ブレンド済みの複数の画像は、上下視野と側方視野との間の重ね合わせ部分を、複視などの画像の問題なく正確かつ滑らかにする。

クライアントＶＲデバイス１８０は、メディアをユーザに提示するヘッドマウント型のディスプレイである。より具体的には、クライアントＶＲデバイス１８０は、画像処理システム３００によって提供される画像または映像を受け取り、クライアントＶＲデバイスを装着しているユーザに仮想シーンを提供する。たとえば、クライアントＶＲデバイス１８０は、画像処理システム３００によって作成されるキャンバスビューが生成する立体３Ｄ仮想シーンをユーザに提供する。クライアントＶＲデバイス１８０は、インタラクティブにすることができ、ユーザのアクションに応答して、異なる画像および映像または異なる画像もしくは映像を見せる。たとえば、仮想シーンの異なる部分を見るために、ある方向から別の方向へ（たとえば、上から下に）ユーザの眼が回転すると、クライアントＶＲデバイス１８０は、ユーザの眼の回転に応答して正確な画像を提供し、仮想シーンの異なる部分の滑らかな移行をユーザに体験させる。

図２Ａおよび図２Ｂは、一実施形態による、カメラリグシステム２００の異なる図を示す。特に、図２Ａは、一実施形態による、カメラリグシステム２００の斜視図である。図２Ａに図示するように、カメラリグシステム２００は、アライメント軸２０５、上プレート２１０、下プレート２２０、複数の周辺カメラ２３０および複数の軸カメラ２４０を含む。複数の周辺カメラ２３０は、それらがアライメント軸２０５によって二等分される中心点の周りにリングを形成するように配列される。カメラリグシステム２００は、複数の周辺カメラ２３０のリングの外周を示すカメラリグ外周２１５も含む。より具体的には、カメラリグ外周２１５は、各周辺カメラ２３０のレンズが配置されるリングの外周を示す。上プレート２１０は、複数の周辺カメラ２３０のリングの上面に連結され、下プレート２２０は、複数の周辺カメラ２３０のリングの下面に連結される。複数の軸カメラ２４０は、アライメント軸２０５に沿って並べられて、局所領域またはシーンの上視野および下視野を撮像することができる。この構成は、複数の周辺カメラ２３０の振動を防止する剛性構造を作り、ＶＲシステム用の３６０度画像／映像を生成するために使用される高品質画像および映像または高品質画像もしくは映像を周辺カメラに撮像させ、これはさらに、周辺カメラおよび軸カメラが協力してＶＲシステム用のキャンバスビューを生成することを可能にする。より詳細には、あるシーンのキャンバスビューは、上軸カメラ２４０Ａによって撮像された上視野、下軸カメラ２４０Ｂ（図２Ｂに図示される）によって撮像された下視野、および複数の周辺カメラ２３０によって撮像された複数の側方視野を結合することによって生成される。

図２Ａでは、例示のために、１４個の周辺カメラ２３０と、上軸カメラ２４０および下軸カメラ（ここでは図示していない）を含む２個の軸カメラが示されている。図示されていない代替実施形態では、異なる数の周辺カメラ２３０および軸カメラ２４０の両方または一方をカメラリグシステム２００に含むことができる。同様に、カメラリグシステム２００には、追加構成要素および異なる構成要素の両方または一方を含むことができる。さらに、図２Ａに図示するさまざまなエンティティによって行われる機能は、異なる実施形態では異なっていてもよい。

より詳細には、複数の周辺カメラ２３０は、局所領域またはシーンの３６０度の画像および映像の両方または一方を撮像するように構成される。前述したように、複数の周辺カメラ２３０は、それらがアライメント軸２０５によって二等分される中心点の周りにリングを形成するように位置付けられる。複数の周辺カメラ２３０は、また、各周辺カメラの光学軸が１平面内にあり、各周辺カメラの視界が中心点から外方を向くように、中心点の周りに位置付けられる。図２Ａに図示するように、各周辺カメラ２３０は、また、隣接する周辺カメラの隣に一定の距離かつ一定の角度で位置付けられる。この構成により、撮像された画像および映像または撮像された画像もしくは映像が人の視覚をよりよくシミュレートすることができるようになり、これはさらに、クライアントＶＲデバイス１８０を装着しているユーザに、ＶＲシステムにおける拡張されたユーザエクスペリエンスを提供する。

複数の軸カメラ２４０は、局所領域またはシーンの上下視野の画像および映像の両方または一方を撮像するように構成される。各軸カメラ２４０は、アライメント軸２０５に沿って並べられて、各軸カメラの光学軸がアライメント軸と同一線上にあるように配向される。各軸カメラ２４０の視界は、カメラリグシステム２００の中心点から外方に向けられる。図２Ａに図示するように、上軸カメラ２４０Ａは、局所領域または局所シーンの上視野を撮像する。下軸カメラ２４０Ｂ（図２Ｂに図示される）は、アライメント軸２０５に沿って上軸カメラ２４０と対称に位置付けられて、局所領域の下視野を撮像する。一例として、上軸カメラ２４０および下軸カメラは魚眼レンズを含むことができ、該魚眼レンズは、広い視野、たとえば１８０度の半球状の視野を撮像する。

図２Ｂは、一実施形態による、カメラリグシステム２００の側面図を示す。図２Ａで上記説明したように、上軸カメラ２４０Ａおよび下軸カメラ２４０Ｂに設置されるレンズは、図２Ｂにおいてθ_３で示される広角の視界を有する魚眼レンズである。図示されていない代替実施形態において、視界の角度θ_３は異なることができる。上軸カメラ２４０Ａおよび下軸カメラ２４０Ｂに設置されるレンズの広い視野は、環境の上下領域を広くカバーし、複数の周辺カメラ２３０との十分な重なりを提供するので、高品質の３Ｄ‐３６０度画像を作成することができる。

図３は、一実施形態による、画像処理システム３００のアーキテクチャの例示的なブロック図を示す。画像処理システム３００は、カメラリグシステムの複数のカメラによって撮像された複数の画像および複数の映像の両方または一方など、カメラリグシステム２００からの入力を受け取る。たとえば、画像処理システム３００は、カメラリグシステム２００によって撮像された局所シーンの上画像、下画像および複数の側方画像を受け取る。画像処理システム３００は、複数の周辺カメラ２３０によって撮像され、該受け取った複数の画像に基づき、複数の合成側方画像を生成する。画像処理システム３００は、左眼視野および右眼視野のそれぞれについて、上および下の画像を複数の合成側方画像にブレンドしてキャンバスビューを作成することで、クライアントＶＲデバイス１８０を装着しているユーザがクライアントＶＲデバイスによって提供される仮想シーンにおいて上または下を見ようとするとき、両眼視野と単眼視野との間の滑らかな移行を可能にする。より詳細に以下で説明するように、ブレンディングプロセスは、形状ワーピングおよび色モーフィングを含み、形状ワーピングはオプティカルフローを使用し、色モーフィングはアルファブレンディングを使用する。

図３において、画像処理システム３００は、インタフェースモジュール３２２、合成画像生成モジュール３２４、オフセット計算モジュール３２６、ブレンディングモジュール３２８、キャンバスビュー生成モジュール３３０、生画像データストア（raw image data store）３４２、パラメータデータストア３４４、合成画像データストア３４６、ブレンディングデータストア３４８、およびキャンバスビューデータストア３５０を含む。図示していない代替実施形態において、追加構成要素および異なる構成要素の両方または一方を画像処理システム３００に含めることができる。同様に、画像処理システム３００のさまざまなエンティティによって行われる機能は、異なる実施形態では異なっていてもよい。

インタフェースモジュール３２２は、カメラリグシステム２００およびクライアントＶＲデバイス１８０の両方または一方からの入力データを受け取る。より具体的には、インタフェースモジュール３２２は、局所領域について、カメラリグシステム２００によって撮像された上画像、下画像および複数の側方画像を受け取る。上画像は上軸カメラ２４０Ａによって撮像され、下画像は下軸カメラ２４０Ｂによって撮像され、複数の側方画像は複数の周辺カメラ２３０によって撮像される。インタフェースモジュール３２２は、カメラリグシステム２００によって撮像された複数の画像に関連する画像データおよび映像データの両方または一方も受け取ることができる。一実施形態において、インタフェースモジュール３２２は、より詳細に以下で説明するように、カメラリグシステム２００と、クライアントＶＲデバイス１８０を装着しているユーザとに関するパラメータデータを受け取ることもできる。例示的なパラメータデータには、ユーザの瞳孔間距離（IPD : interpupillary distance）およびオブジェクトに対するゼロ視差距離が含まれる。パラメータのさらなる例は、パラメータデータストア３４４に関して、以下に説明する。受け取った画像および関連画像データの両方または一方は、画像データストア３４２に格納される。受け取ったパラメータデータは、パラメータデータストア３４４に格納される。

インタフェースモジュール３２２は、クライアントＶＲデバイス１８０からの入力データも受け取ることができる。一例として、インタフェースモジュール３２２は、クライアントＶＲデバイス１８０を装着するユーザに提供される視野、画像および／またはデータに関するフィードバック情報を受け取り、フィードバックに応答して、出力データ、たとえば、仮想シーンをレンダリングするために修正または更新された画像、をユーザに提供する。より具体的には、インタフェースモジュール３２２は、キャンバスビュー生成モジュール３３０によって生成されたキャンバスビューをクライアントＶＲデバイス１８０に提供する。

インタフェースモジュール３２２は、また、前述したように、カメラリグシステム２００およびクライアントＶＲデバイス１８０の両方または一方にデータを出力する。クライアントＶＲデバイス１８０に出力されるデータは、前述したように、画像および映像の両方または一方を含むことができる。カメラリグシステム２００に出力されるデータは、異なるシーンに関するさらなる画像の要求であってもよい。

合成画像生成モジュール３２４は、複数の合成側方画像を含む複数の合成画像を生成する。合成画像とは、図４Ａでさらに図示されるように、カメラリグ外周２１５の、ある点に配置された合成カメラによって撮影された画像をいう。一実施形態において、合成画像は、複数の周辺カメラ２３０のような現実の複数のカメラによって撮影された２つ以上のカメラ画像間のオプティカルフローを使用して作成することができる。隣接する複数の周辺カメラ２３０からの複数のカメラ画像のそれぞれを、他の周辺カメラに向かうオプティカルフローによって修正してもよく、得られた複数の画像を結合して合成画像を生成する。別の実施形態において、本出願で述べる合成画像は、対応する合成カメラを配置するべき点に現実の周辺カメラを配置して作成される。

合成画像を作成するために、合成画像生成モジュール３２４は、生画像データストア３４２に格納される複数の側方画像または関連画像データ、および、パラメータデータストア３４４に格納されるパラメータデータを抽出する。抽出される複数の側方画像または関連データは、合成カメラが位置付けられている点に近い１つまたは複数の周辺カメラ２３０によって撮影することができる。抽出されるパラメータデータは、図４Ａに図示される対応する眼の視線４３４に関する情報、カメラリグシステム２００に関する構成情報、たとえば、合成カメラを配置するべき点４３１を割り出すためのカメラリグシステム２００のサイズおよび形状、を含むことができる。いくつかの実施形態において、合成画像を互いに区別するために、合成画像および関連画像データの両方または一方に識別番号またはインデックスを追加することができる。

オフセット計算モジュール３２６は、キャンバスビューについて複数の合成画像内のオフセットを計算する。図４Ａ〜図４Ｂでより詳細に以下で説明するように、より詳細には、オフセットとは、あるシーン内の特定のオブジェクトを眼で見ているときに、合成カメラが配置されている点における眼の視野をシミュレートする合成画像の一部分を生成するための合成画像のずれをいう。より詳細には、図４Ｂで以下さらに説明するように、合成カメラの視界の中央線が、ユーザの対応する眼の視野の視線と一直線になっていないことがあり、その場合、合成カメラによって撮影される合成画像は、合成カメラを配置するべき位置４３１からユーザの左眼の視野を反映するようにオフセットで調整される。

オフセット計算モジュール３２６は、パラメータデータストア３４４に格納されているパラメータデータ、たとえば、ユーザの瞳孔間距離４１０、視線４３４のゼロ視差距離、および角度４３２Ａを抽出する。オフセットの値は、瞳孔間距離４１０と、視線のゼロ視差距離４３４と、角度４３２Ａとの関数である。特に、ユーザの眼が回転するとき、たとえば、ユーザが両眼視野を徐々に単眼視野に移行して徐々に上を見るとき、同じユーザおよび同じカメラリグシステム２００の場合、図４Ａ〜図４Ｂでより詳細に以下で説明するように、瞳孔間距離４１０の変化に応答してオフセットが変化する。

計算されたオフセットは、パラメータデータストア３４４に格納される。いくつかの実施形態において、異なるシーンの画像についての左眼および右眼用の異なるオフセットは、互いに識別するために、インデックス化されるかまたは識別番号を付けられる。

ブレンディングモジュール３２８は、ユーザの左眼および右眼のそれぞれについて、両眼視野／単眼視野間を移行するために上および下の画像を合成画像にブレンドする。より詳細には、一例として左眼用の上画像を挙げると、ブレンディングモジュール３２８は、生画像データストア３４２から上画像を抽出し、合成画像ストア３４６から合成画像を抽出し、その後、上画像を合成画像にブレンドするために形状ワーピングを実行して、ワーピング済み上画像を生成する。いくつかの実施形態において、形状ワーピングのプロセスは、オプティカルフローを通じて行う。ブレンディングモジュール３２８はさらに、色モーフィングのためにワーピング済み上画像を同じ合成画像にブレンドして、左眼用のキャンバスビューの作成に使用できるブレンド済み画像を生成する。いくつかの実施形態において、色モーフィングのプロセスは、異なる手法を通じて実現され、より詳細に以下で説明するように、１つの例示的な手法がアルファブレンディングである。画像におけるワーピングおよびブレンディングの程度は、図５でより詳細に述べるように、合成画像と上画像とが重なり合う部分の中の鉛直角の関数にすることができる。形状ワーピングおよび色モーフィングを通じて、左眼用の合成画像に下画像をブレンドするために同様なプロセスが実行される。さらに、右眼用の合成画像に上および下の画像をブレンドするためにも、上記と同様なプロセスが実行される。

左右の上および下の画像についてのワーピング済み上および下の画像および関連画像データの両方または一方は、ブレンド済みデータストア３４８に格納される。いくつかの実施形態において、ワーピング済み上および下の画像および関連画像データの両方または一方は、互いに区別するためにインデックス化されるかまたは識別番号を付けられる。左右の上および下の画像についてのブレンド済み画像および関連画像データの両方または一方も、ブレンド済みデータストア３４８に格納される。いくつかの実施形態において、ブレンド済み画像および関連画像データの両方もしくは一方は、互いに区別するために、またはワーピング済み上および下の画像および関連画像データの両方もしくは一方と区別するために、インデックス化されるかまたは識別番号を付けられる。

キャンバスビュー生成モジュール３３０は、左眼および右眼のそれぞれについて、キャンバスビューを生成する。キャンバスビューとは、同じシーンについて、上視野、下視野および３６０度視野を結合する視野をいい、シーンの任意のパノラマ視野、全天球パノラマ視野、または適切な広角視野にすることができる。いくつかの実施形態において、キャンバスビューは、シーンに関するあらゆる情報を含み、該情報は、上および下のカメラ２４０および複数の周辺カメラ２３０によって異なる視点から撮影された異なる画像から得られる。前述したように、その画像がカメラリグシステム２００内のさまざまなカメラによって撮像された１つのシーンについて、左眼用に１つのキャンバスビューが作成され、右眼用に１つのキャンバスビューが作成される。複視などの画像の問題を引き起こすことのある、上および下の画像と複数の周辺カメラによって撮影された複数の側方画像とを単に結合する代わりに、キャンバスビュー生成モジュール３３０は、図５でより詳細に以下で説明するように、上画像と下画像とから生成されるブレンド済み画像を結合することによって、ある特定の眼（たとえば、左眼／右眼）用のキャンバスビューを作成する。対応する眼のために作成されたキャンバスビューは、異なる視野間の滑らかな移行を可能にする。一例として、キャンバスビューは、ユーザの眼の視線４３４が同じ水平面で回転して、ユーザが左および／もしくは右、または前および／もしくは後ろを見るとき、側方視野間の滑らかな移行を可能にする。側方視野は、周辺カメラ２３０のみによって撮影された画像でシミュレーションすることができる。別の例として、キャンバスビューは、ユーザの眼の視線４３４が上および／または下に向かって回転して、ユーザが上および／または下を見るとき、両眼視野／単眼視野間の滑らかな移行を可能にする。生成されたキャンバスビューは、キャンバスビューデータストア３５０に格納される。

生画像データストア３４２は、カメラリグシステム２００内のさまざまなカメラによって撮像された複数の画像、および撮像された複数の画像に関連する画像データを格納する。一例として、生画像データストア３４２は、上および下の画像および関連データ画像を格納し、上および下の画像は、対応する上軸および下軸のカメラ２４０によって撮像される。生画像データストア３４２は、複数の側方画像および関連画像データも格納し、複数の側方画像は、複数の周辺カメラ２３０によって撮像される。画像データは、各画素の強度、勾配および色など、２Ｄ画像の各画素に関する情報を含むことができる。画像データストア３２２に格納される画像および画像データは、前述したように、合成画像生成モジュール３２４が合成画像を生成するために使用する。画像データストア３２２に格納される画像および画像データは、前述したように、ブレンディングモジュール３２８がワーピング済み上および下の画像およびブレンド済み複数の画像を生成するためにも使用される。

パラメータデータストア３４４は、合成画像を生成するために使用されるパラメータデータを格納する。パラメータデータは、カメラリグシステム２００の構成データ、たとえば、カメラリグ外周２１５のサイズ、カメラリグシステムに含まれる各周辺カメラ２３０の位置、カメラリグシステムの中心点４０５の位置等を含む。カメラリグシステム２００の構成データは、カメラに設置されているレンズの特性、たとえば、レンズの視界など、各周辺カメラ２３０および各軸カメラ２４０の構成情報も含む。図４Ａでより詳細に以下で説明するように、パラメータデータは、ユーザの眼で特定のオブジェクト４４５を見ているときのユーザの視野をシミュレートするための情報も含む。情報は、ユーザの瞳孔間距離４１０、左眼および右眼両方の視線のゼロ視差距離４３４、中心点４０５とオブジェクト４４５との間の中心線４４０の距離、光学軸４３３と中心線との間の角度４３２Ａ等を含む。情報は、たとえば、合成画像を生成するために使用することができる。パラメータデータストア３４４に格納されるパラメータデータは、オフセット計算モジュール３２６によって計算されたオフセットも含む。

合成画像データストア３４６は、合成画像および関連画像データを格納する。画像データは、各画素の強度、勾配および色など、２Ｄ画像の各画素に関する情報を含むことができる。

ブレンド済みデータストア３４８は、ワーピング済み上および下の画像および関連データの両方または一方、ならびに、ブレンド済み画像および関連データの両方または一方を格納する。前述したように、ワーピング済み上および下の画像とは、画像の形状に関して、合成画像に対してワーピングされた上および下の画像をいう。一実施形態においてまたはある定義によると、上画像を例にとると、ワーピング済み上画像とは、対応する合成画像に対して上画像がオプティカルフローを通じてワーピングされたゆがんだ画像であり、その場合、ワーピング済み上画像は、上画像のみによってカバーされる上だけの部分（つまり、上カメラからのオリジナル画像データを含む）、合成画像のみによってカバーされる側方だけの部分、および上画像と合成画像の両方によってカバーされる重ね合わせ部分を含む。上記と同様な実施形態が、下画像から生成されるワーピング済み下画像にも適用される。さらに、左眼および右眼の各眼について、上画像について１つのワーピング済み上画像が生成され、下画像について１つのワーピング済み下画像が生成される。

ブレンド済みデータストア３４８は、左眼および右眼用のブレンド済み画像も格納する。前述したように、ブレンド済み画像とは、画像の色に関して、ワーピング済み上および下の画像に対してモーフィングされた合成画像をいう。一実施形態においてまたはある定義によると、一例として上画像を挙げると、ブレンド済み画像とは、ワーピング済み上画像が、アルファブレンディングを通じて、対応する合成画像にモーフィングされた結合画像であり、その場合、ブレンド済み画像は、上画像のみによってカバーされる上だけの部分、ワーピング済み上画像のみによってカバーされる側方だけの部分、および合成側部画像とワーピング済み上画像の両方によってカバーされる重ね合わせ部分を含む。この実施形態において、上だけの部分がすでにブレンド済み画像に含まれているため、対応するキャンバスビューは、上画像をそれ以上使用せずに、ブレンドする画像から直接作成することができる。上記と同様な実施形態が、下画像から生成されるワーピング済み下画像にも適用される。さらに、左眼および右眼の各眼について、上画像について１つのワーピング済み上画像が生成され、下画像について１つのワーピング済み下画像が生成される。

ブレンド済みデータストア３４８に格納されるブレンド済み画像および関連データの両方または一方は、前述したように、キャンバスビュー生成モジュール３４４がキャンバスビューを生成するために使用される。

キャンバスビューデータストア３５０は、キャンバスビュー生成モジュール３３０によって生成されたキャンバスビューおよび関連データの両方または一方を格納する。前述したように、ある特定のシーンについてのキャンバスビューは、上および下の画像と合成画像とを含むシーンのすべての関連画像を結合することによって生成される。より詳細には、キャンバスビューは、前述したように、シーンの上画像のみによってカバーされる上だけの部分と、シーンの下画像のみによってカバーされる下だけの部分と、シーンの合成画像のみによってカバーされる側方だけの部分と、上および下の画像と該上および下の画像と一緒にブレンドされる合成画像との間で共有される重ね合わせ部分と、を含む。

図４Ａは、一実施形態による、カメラリグシステム２００を使用した、オブジェクト４４５に近いユーザの眼の視野をシミュレートする環境４００を示す線図を示す。図４Ａに図示する環境４００は、カメラリグシステム２００の一部、ユーザの頭４１５の左眼および右眼に対応する左瞳孔４２５Ａおよび右瞳孔４２５Ｂ、左合成カメラ４３０Ａおよび右合成カメラ４３０Ｂ、ならびに眼が見ているオブジェクト４４５を含む。オブジェクト４４５は、カメラリグシステムのカメラがオブジェクトの画像を撮像することができる範囲内に、カメラリグシステム２００の外に配置される任意の適切なオブジェクトであり、画像は、画像処理システム３００によって将来処理されるのに適する。オブジェクトは、実際のオブジェクトでもよく、または各眼の視線が向く点を表すだけでもよい。

図４Ａに図示するカメラリグシステム２００の一部は、中心点４０５、カメラリグ外周２１５、左周辺カメラ２３０Ａおよび右周辺カメラ２３０Ｂをさらに含む。前述したように、クライアントＶＲデバイス１８０を装着しているユーザは、カメラリグシステム２００によって撮像された仮想シーンを見て、体験し、その場合、仮想シーン内で、左瞳孔４２５Ａと右瞳孔４２５Ｂとの中心がカメラリグシステムの中心点４０５と重なり合った状態で、ユーザは、カメラリグシステムの中心点４０５に立っているものとしてシミュレートされる。さらに、環境４００は、ユーザの頭４１５がオブジェクトの方を向き、眼がオブジェクトに近い状態で、中心点４０５に立っているユーザの左右の眼の視野をシミュレートしている。環境４００は、左瞳孔４２５Ａとオブジェクト４４５との間の視線４３４Ａ、右瞳孔４２５Ｂとオブジェクトとの間の視線４３４Ｂ、および中心点４０５とオブジェクトとの間の中心線４４０をさらに含む。

合成カメラ４３０の位置を判別するために、オブジェクト４４５に対する各瞳孔４２５の視線がシミュレートされる。視線がカメラリグ外周２１５と交わる点が、ユーザがオブジェクトの方向を見たときの視野を判別するために合成カメラ４３０が置かれる位置である。換言すると、そのオブジェクトに対する視野は、瞳孔がそのオブジェクト４４５に焦点を合わせたときに体験するであろう光照射野も表す。図４Ａに図示するように、左の視線４３４Ａは、点４３１Ａでカメラリグ外周２１５と交わる。同様に、右の視線４３４Ｂは、点４３１Ｂでカメラリグ外周２１５と交わる。前述したように、点４３１Ａで左眼の視野をシミュレートするために使用される合成カメラ４３０Ａは、点４３１Ａに配置され、点４３１Ｂで右眼の視野をシミュレートするために使用される合成カメラ４３０Ｂは、点４３１Ｂに配置される。図４Ａに図示するように、左合成カメラ４３０Ａの光学軸４３３Ａと中心線４４０は同じ点を起点とするが、中心点４０５、光学軸および中心線は、中心点から離れて放射状に広がるときには異なる方向に分かれて、光学軸と中心線との間に角度４３２Ａを成す。

前述したように、合成カメラ４３０のそれぞれについて１つの合成画像が生成される。しかし、合成画像の視野は、オブジェクト４４５を中心としない視界を有していてもよい。むしろ、光学軸４３３、たとえば、左合成カメラ４３０Ａについてここで図示されるように、光学軸４３３Ａが、合成画像の視界を与えることができる。したがって、合成視野内の画素の中央列は、左合成カメラの光学軸４３３Ａによって指される領域に対応することができる。しかし、左瞳孔４２５Ａは、左合成カメラ４３０Ａの光学軸４３３Ａとは異なる方向でオブジェクト４４５に向いており、その場合、合成画像は、前述したように、キャンバスビューを作成するときに、オフセットで調整されるであろう。図４Ａの環境４００は、説明を簡潔にするために、左合成カメラ４３０Ａの光学軸４３３Ａしか示していない。図示していない代替実施形態では、右合成カメラ４３０Ｂの光学軸も環境４００に含めることができ、左合成カメラ４３０Ａの合成画像と同様に、右合成カメラの合成画像も右眼の点４３１Ｂにおける視野をシミュレートするためにオフセットで調整されることは理解されるべきである。

図３で上記説明したように、角度４３２Ａおよびオフセットは、瞳孔間距離４１０および中心線４４０の距離などのパラメータの関数である。より詳細に以下で説明するように、瞳孔間距離４１０も鉛直角（vertical angle）φの関数であってもよい。

図４Ｂは、一実施形態による、合成画像に対するオフセットを示す線図４５０を示す。線図４５０は、図４Ａに図示する環境４００の一部、左合成画像４５４Ａ、右合成画像４５４Ｂ、ならびに、オフセット４５２Ａおよび４５２Ｂを含む。図４Ａに図示する環境４００の一部は図４Ａに示されており、その場合、ここでは、環境の一部の組成の詳細な説明はしない。

左合成画像４５４Ａは、点４３１Ａに配置された左合成カメラ４３０Ａによって撮影されたかのように、画像処理システム３００によって生成され、右合成画像４５４Ｂは、点４３１Ｂに配置された右合成カメラ４３０Ｂによって撮影されたかのように、画像処理システム３００によって生成される。より具体的には、左合成画像４５４Ａおよび右合成画像４５４Ｂは、同じシーンの画像であり、雲の右側に木が見えている状態の雲と木とを含み、合成カメラ４３０Ａによって「撮像された」オブジェクト４４５のシーンを示す。図４Ｂに図示されるように、左合成画像４５４Ａでは、木は相対的に中央列４５５Ａの右側に配置されているが、右合成画像４５４Ｂでは、木は相対的に中央列４５５Ｂの左側に配置されている。対応する左右の合成画像４５４における中央線４５５に対する木の位置の差は、２つの合成カメラ４３０の光学軸４３３（図４Ａに示す）の放射方向の差によるものである。左右の合成画像４５４は、単なる一例であり、図示していない代替実施形態では、特定のオブジェクト（たとえば、雲および木）は、図４Ｂに図示する画像内の場所とは異なる画像内の場所に配置することができる。

示すように、オフセット４５２Ａを使用して、中心線４４０の方向を見るときの左瞳孔４２５Ａを表すために使用される画素を調整する。同様に、オフセット４５２Ｂを使用して、対応する右側方視野を生成するために、右瞳孔４２５Ｂを表すために使用される画素を調整する。左合成画像４５４Ａは、点４３１Ａにおけるオブジェクト４４５の左眼の視野をシミュレートするために生成され、その場合、左瞳孔４２５Ａは、オブジェクト４４５を見ており、視線４３４Ａ（図４Ａに示す）はオブジェクト４４５に向けられている。したがって、オフセット４５２Ａは、図３で上記説明したように、環境４００のパラメータに基づいて画像処理システム３００によって計算される。より具体的には、より詳細に以下で説明するように、オフセット４５２Ｂの値は、ＩＰＤ４１０の関数であり、ＩＰＤは、シミュレートされた球体４８０の鉛直角φ４８２の関数である。

図４Ｃは、一実施形態による、鉛直角φ４８２の変化に応じた瞳孔間距離４１０の変化を示す線図４７０を示す。図４Ｃにおいて、線図４７０は、鉛直角φ４８２の変化を示すシミュレートされた球体４８０、およびＩＰＤ４１０と鉛直角φ４８２との数学的関係を示す関数４８５を示す。線図４７０は、より詳細に以下で説明するように、鉛直角φ４８２が変化するときのＩＰＤ４１０の変化の３段階４９１、４９２および４９３も示す。

球体４８０内に示される鉛直角φ４８２は、中心下方軸４８１と中心線４４０との間の角度で測定して、０からπまでの範囲を有する。より具体的には、線図４７０は、環境４００（図４Ａに図示される）の中心点４０５に立っているユーザが上または下を見たときのユーザのＩＰＤ４１０の変化をシミュレートする。たとえば、ユーザがその視界の最下部から徐々に最上部まで見るとき、鉛直角φ４８２は、それに応じて０からπまで変化し、ＩＰＤ４１０は、まず０から徐々に最大値まで上昇してから、最大値から徐々に０まで減少するが、これは、ユーザの左右の眼の視野がまず単眼視野から両眼視野に変化してから、両眼視野から単眼視野に変化することをさらに示す。特に、ユーザの眼がその視界の最下部に来るとき、鉛直角φ４８２の値は０であり、ユーザの眼がその視界の水平ライン（horizontal line）に来るとき、鉛直角φ４８２の値はπ／２であり、ユーザの眼がその視界の最上部に来るとき、鉛直角φ４８２の値はπである。これに応じて、関数４８５によって示すように、ＩＰＤ４１０の値は、鉛直角φ４８２の値がほぼ０またはπになるときにほぼ０であり、ＩＰＤは、鉛直角φの値がπ／２のときにその最大値をとる。関数４８５によって示されるように、ＩＰＤ４１０は、角度が実際に０またはπになる前に、鉛直角φ４８２が０またはπに近づくときに、０の値を受け取る。関数４８５は、例示のための単なる一例である。実際には、ＩＰＤ４１０と鉛直角φ４８２との正確な数学的曲線は、図４Ｃに図示する関数４８５とは若干異なることがある。

図４Ｃに図示する３つの段階４９１、４９２および４９３は、ユーザの眼が水平ラインからその視界の最上部の方に向けられるときの３つの特定の段階を示しており、鉛直角φの値がπ／２からπに徐々に変化していくことを示す。より具体的には、段階４９１は、ユーザの眼がその視界の水平線を見ているときを示しており、ＩＰＤ４１０がその最大値（たとえば、π／２のとき）を有する。段階４９１では、左右両眼の２本の視線４３４は、２つの合成カメラ４３０が配置されている２つの地点でカメラリグ外周２１５と交差する。段階４９２は、ユーザの眼が水平ライン（π／２）とその視界の最上部（π）との間のどこかに近づいているときを示しており、ＩＰＤ４１０は、段階４９１の最大の値と比べて小さい値を有する。段階４９２では、左右両眼の２本の視線４３４は、２つの合成カメラ４３０が配置されている２つの地点でカメラリグ外周２１５と交差し、この２つの地点は、段階４９１での場合と比べて互いに近くにある。段階４９３は、ユーザの眼がその視界の最上部に近づいているところを示しており、値ＩＰＤ４１０は、０に縮小される。段階４９３では、左右両眼の２本の視線４３４は互いに重なり合い、重なり合った視線は、２つの合成カメラ４３０が配置されている同じ地点でカメラリグ外周２１５と交差し、両眼用の２つの合成カメラは、その地点で互いに重なり合う。このように、ＩＰＤを鉛直角の関数として調整することにより、視野は、単一の合成カメラ位置に滑らかに移行し、単一の上カメラまたは下カメラへの移行は、ユーザにとって、よりシームレスになる。カメラの位置は合成であるため、システムは、関数４８５を使用して、異なるＩＰＤの距離について合成カメラを容易に計算することができる。

段階４９１〜４９３は一例を示すにすぎない。図示していない代替実施形態では、ＩＰＤ４１０の他の変化を表す他の段階を含めることができる。
図５は、一実施形態による、キャンバスビューを生成するための、合成側方画像への上および下の画像の画像ブレンディングを示す線図を示す。図５において、線図５００は、上画像５１０、合成側方画像５２０、およびワーピング済み上画像５３０を含み、ここでのすべての画像は、ある同じシーン、たとえば、図４Ｂに図示するような雲と木とを含むシーンに関する画像データを含む。線図は、重ね合わせ画像５５０、形状ワーピング関数、および色モーフィング関数も含み、これは、より詳細に以下で説明されるように、画像ブレンディングのプロセスを示す。説明を簡潔にするために、上画像５１０、合成側方画像５２０およびワーピング済み上画像５３０は、すべて、ユーザの片方の眼（たとえば、左眼／右眼）についてのものであり、かつ上画像と合成側方画像とのブレンドのみに関するものである。下画像を合成画像５２０にブレンドするために、同じ眼について画像ブレンディングの同様なプロセスを実行することができ、これにより、対応するワーピング済み下画像が生成され、対応するブレンド済み画像がさらに生成される。同様に、ユーザのもう片方の眼について、上および下の画像両方に、画像ブレンディングの同様なプロセスが実行される。さらに、図５に図示する画像５１０〜５３０は、例示のための一例にすぎず、シーン内のオブジェクト（たとえば、雲と木）の正確な詳細位置、形状および色は、図５に図示される画像５１０〜５３０を作成するために使用される関連画像を撮像するカメラに依存する。

まず、上画像５１０が合成画像５２０の方にワーピングされて、上画像と側方画像との間の移行を、一緒にブレンドされたときの２つの画像間の形状に関して滑らかにする。ワーピングは、上画像のオブジェクトの形状を、側方画像のオブジェクトの形状に少なくとも部分的に適合するように変える。上画像と側方画像との重なり合う部分間のオプティカルフローが判別される。画像をワーピングするために、上画像にオプティカルフローが適用される。以下に述べるように、鉛直角によっては、形状ワーピング関数５７０によって上画像に適用されるオプティカルフローの部分は、側方画像と上画像との重なり合う部分を通してゼロから１００パーセントまで増加することができる。上画像５１０が合成画像５２０にワーピングされた後、上画像と合成画像との間の形状に関して滑らかな移行を有するワーピング済み上画像５３０が生成される。

ワーピング済み上画像は、側方画像のみを含む部分にシーンの垂直視野が到達するとき、側方画像との色の不一致を適合させるために色モーフィングされる。より詳細には、ワーピング済み上画像５３０は、合成側方画像５２０にモーフィングされて、一緒にブレンドされたときの２つの画像間の色に関して滑らかな移行を実現する。アルファブレンディングのような技術を使用して、色モーフィングを実現することができる。ワーピング済み上画像５３０を合成画像５２０にモーフィングした後、鉛直角の関数として、上画像と合成画像５２０との間の形状および色の両方に関して滑らかな移行を有するブレンド済み画像（ここでは図示せず）が生成される。ブレンド済み画像の定義およびより詳細な説明は、上記図３で説明されている。

図５の線図５００は、重ね合わせ画像５５０、形状ワーピング関数５７０、および色モーフィング関数５８０も示しており、これらは合わせて、上記説明された画像ブレンディングを示す。重ね合わせ画像５５０は、上画像５１０が合成画像５２０と重なり合うことを示す。重ね合わせ画像５５０は、上だけの部分５５３、側方だけの部分５５４およびオーバーラップ部分５５５をさらに示す。上だけの部分５５３は、上画像５１０の最上部領域を示しており、これは、上カメラのみによって提供される視野である。側方だけの部分５５４は、合成画像５２０の最下部領域を示し、これは、合成側方画像のみによって提供される。オーバーラップ部分５５５は、上画像５１０と合成画像５２０とによって共有される領域を示し、オーバーラップ部分５５５は、上画像の相対的に下部に対応するとともに、合成側方画像の相対的に上部に対応する。重ね合わせ画像５５０は、重ね合わせ画像の異なる部分に対応する鉛直角φの変化も示す。たとえば、πの値を持つ鉛直角φは上画像５１０の上端部に対応し、π／２の値を持つ鉛直角φは合成画像５２０の下端部に対応する。上カメラ視野に対するオーバーラップ部５５５の開始部と終了部とを示すために、開始行５６７および終了行５６９も図５に示されている。図５に示されるピボット行（pivotal row）５６８は、上画像の修正がワーピングから色モーフィングに変化する、重ね合わせ画像５５５の行を指す。ここでは単一の行として示しているが、上カメラが完全にワーピングされているが側方画像でまだ色モーフィングが始まっていない間は、複数の行が存在することがある。

図５は、形状ワーピング関数５７０および色モーフィング関数５８０も示しており、これらは、鉛直角φを関数として行われる形状ワーピングおよび色モーフィングの割合を示す。関数５７０および５８０のそれぞれについて、垂直軸は、鉛直角φを示し、水平軸は、適用されるブレンディングの割合を示す。たとえば、形状ワーピング関数４７０の場合、水平軸は、どれくらいの割合のワーピングが適用されるか、すなわち、形状ワーピングに関して、合成画像５２０に上画像５１０がどれくらいの割合で適用されるかを示す。同様に、色モーフィング関数４８０に関し、水平軸は、どれくらいの割合の色モーフィングが適用されるか、すなわち、色モーフィングに使用されるアルファブレンディングに関して、合成画像５２０に上画像５１０がどれくらいの割合で適用されるかを示す。

図５に図示するように、形状ワーピングに関し、開始行５６７より上の上だけの部分５５３については、ワーピングは０のままであり、その部分に適用される形状ワーピングがないことを示す。ワーピングは、開始行５６７からピボット行５６８まで、０から１００％まで増加を始める。ピボット行５６９は、形状ワーピングが１００％であるところを示し、上画像５１０の対応するオーバーラップ部５５５の１００％が合成画像５２０の対応するオーバーラップ部分５５５にワーピングされることを示す。ピボット行５６８より下かつ最終行５６９より上の側方だけの部分５５４の場合、ワーピングは、１００％のままである。側方だけの部分５５４の場合、その部分が上画像によって共有されないので、上画像５１０から合成側方画像５２０への形状ワーピングはない。

色モーフィング、すなわち、アルファブレンディングに関し、ピボット行５６８より上の上だけの部分５５３については、アルファブレンディングが１００％のままであり、上画像の色成分が維持されることを示す。アルファブレンディングは、ピボット行５６８から最終行５６９まで、１００％から０まで減少を始める。ピボット行５６９は、アルファブレンディングが１００％から減少し始めるところを示し、上画像の色成分のうち１００％未満が使用され、側方画像の残りの部分が使用されることを示す。側方だけの部分５５４については、アルファブレンディングは０のままであり、その部分が上画像によって共有されないので、上画像５１０から合成画像５２０への色モーフィングのためのアルファブレンディングがないことを示す。このように、ユーザが上画像から下方を向き始めると、上カメラの形状成分は、徐々に側方画像の形状を採用し、次いで側方画像の色を採用することができる。また、ＩＰＤが増えるにつれて、両眼視野のユーザの見え方が増え、側方カメラへの移行中、滑らかな形状および色ブレンディングは、視野間の裂け目、継ぎまたは飛びを減少させる。

図６は、一実施形態による、画像処理システム３００を通じて、合成画像を生成し、対応する合成画像への上画像の画像ブレンディングを行うプロセスを示す例示的なフローチャート６００を示す。説明を簡潔にするために、図６に示すフローチャート６００は、片眼の視野（たとえば、左眼の視野）についての合成画像の生成のみ、および合成画像への上画像のブレンディングのみを示している。もう片方の眼の視野（たとえば、右眼の視野）についても、対応する合成画像を生成し、合成画像に上画像をブレンドするために同様なプロセスが実行されることは理解されるべきである。同様に、より詳細に以下で示すように、同じ眼の視野について、対応する合成画像に下画像をブレンドするために、フローチャート６００の工程６４０および６５０と同様なプロセスが実行される。

最初に、画像処理システム３００は、同じシーンについて、ユーザの片眼の視野のために、カメラリグシステム２００によって撮像された上および下の画像および側方画像を受け取る（６１０）。画像処理システム３００は、受け取った側方画像と、合成画像を「撮像」する対応する合成カメラの位置とに基づいて、眼の視野のための合成画像を生成する（６２０）。合成画像が使用できる状態になった後、画像処理システム３００は、画像ブレンディングを実行して、合成画像に上画像をブレンドする。より詳細には、画像処理システム３００は、オプティカルフローを使用して合成画像に上画像をワーピングすることによって、ワーピング済み上画像を生成し（６３０）、アルファブレンディングを使用して色モーフィングのために合成画像にワーピング済み上画像をブレンドすることによって、ブレンド済み画像を生成する（６４０）。画像処理システム３００は、ユーザの眼の実際の視野を反映するためにオフセットが適用される間、将来のキャンバスビューの生成のために、生成されたブレンド済み画像を使用する（６５０）。

前述したように、同じ眼の視野について、合成側方画像に下画像をブレンドするためにも工程６４０および６５０が実行される。
図７は、一実施形態による、遮蔽された下カメラを備える例示的なカメラリグシステム７００を示す。図１〜図２Ｂに図示するカメラリグシステム２００の一例として、図７に図示されるように、この例では、カメラリグシステム７００は、カメラリグシステムの下に延びているとともにシーンの様々な部分の撮像のために（たとえば空中に）カメラリグシステムを保持することができる、支持柱７３０によって支持されている。一次下カメラ視野（または底面の任意の単一カメラ）を反映する一次下画像に関し、一次下カメラ７１０の視野の一部は支持柱７３０によって遮られており、これが、カメラリグシステム７００の周りの環境の残りの部分のシームレスな視野を妨げかねない。二次下カメラ７１０と、二次カメラと一次カメラとの間のオプティカルフローとの使用により、結合された下カメラ視野からオクルージョン（occlusion）をなくし、リグがまったく支持されていないという錯覚を可能にすることができる。結合された下視野は、たとえば、キャンバスビューのために、または前述したように側方視野とのブレンドのために使用することができる。

図８は、一実施形態による、一次下カメラ７１０および二次下カメラ７２０によってそれぞれ撮影された一次下画像８００および二次下画像８１０のカメラ視野を示す。図示するように、一次下カメラ視野は、支持柱７３０によって遮蔽されることがある。同様に、二次下カメラの異なる部分も、支持柱７３０によって遮蔽されることがある。

支持柱を取り除いた連結視野を生成するために、支持柱を含む一次下カメラの区域および二次下カメラの区域が特定される。この特定は、オペレータが手作業で行ってもよく、または、たとえば支持柱の外観に関する公知のデータ、エッジ検出アルゴリズムおよび同様な手法を使用して、支持柱は視野から自動的に特定されてもよい。特定により、フィルタ処理済みの下カメラ視野８３０のフィルタ処理済み区域８３５と、フィルタ処理済みの二次下カメラ視野８４０のフィルタ処理済み区域８４５とが示される。フィルタ処理済み区域において、視野の画像値（つまり、画素データ）が、たとえば画像のアルファチャンネルから、除去またはマスクされる。

マスクされた区域を使用して、二次下カメラ視野から一次カメラ視野までのオプティカルフローが計算される。フィルタ処理済み区域内では、オプティカルフローアルゴリズムは、二次カメラ視野のオプティカルフロー結果を捨て、その一次カメラとの適合に従いオプティカルフローに一切重みを与えない。すなわち、フィルタ処理済み区域８３５に流入すると特定された二次カメラの部分は、オプティカルフローの成功の評価の際に重みを与えられない。ただし、これらの部分は、二次カメラ視野とは異なるオプティカルフローの部分との一貫性に従って重み付けされてもよい。したがって、二次カメラ視野は、一次下カメラ視野のフィルタ処理済み区域８３５を埋めるために入れることができる。

一次下カメラ視野のフィルタ処理済み区域８３５を埋めるために、一次カメラへのオプティカルフローに従って二次カメラ画像をワーピングする。次に、ワーピング済み二次カメラ画像を、一次カメラの位置に基づいて、一次下カメラ視野と色統合させる。ほとんどの一次カメラ視野の場合、一次カメラは、環境の実際の視野を有する。一次カメラ視野のその部分について、一次カメラは、その色成分の１００％を維持するとともに、ワーピング済み二次視野から色の０％を受け取る。フィルタ処理された一次カメラ視野の部分について、色成分は、二次カメラからのみ受け取ることができ、この部分には、ワーピング済み二次カメラ色成分が１００％使用される。フィルタ処理済み区域８３５を取り巻くブレンド区域８５０では、二次カメラの成分の一部が一次カメラの部分とブレンドされるように、二次カメラの色成分が１００％から０％に移行する。一実施形態において、色成分は、１００％および０％のブレンド成分からの距離の線形関数である。別の例では、色成分は、同様に結合されるが、色の差の大きさと二次カメラ視野のオプティカルフローの量とにも基づいて選択される。色成分の大きさが有意に異なる場合、色成分の選択には、二次カメラにおけるオプティカルフローの量に対して、より重い重み付けがなされる。一次カメラにオプティカルフローがないので、通例、その色値には、有意な色の大きさの相違がある場合よりもより重い重み付けがなされる。

二次カメラ視野を一次下カメラ視野と結合することによって、結合視野から支持ビーム（support beam）を効果的に取り除くことができる。さらに、一次カメラ視野は、たとえば、図２Ａに図示されるアライメント軸２０５に対して中心に来るので、前述したように、キャンバスを生成するための他の手法で結合した下カメラを容易に使用できる。

追加の構成情報
本発明の実施形態の前述の説明は、例示のために提示した。これは、網羅的であることも、開示されるそのままの形態に本発明を制限することも意図していない。当業者は、上記開示に鑑みて多くの変更および変型が可能であることを認識できる。

本説明のいくつかの部分は、アルゴリズムと、情報に関する動作の記号表現とに関して、本発明の実施形態を説明する。これらのアルゴリズムの記述および表現は、当業者が自身の業務を他の当業者に効果的に伝えるために、データ処理分野で一般に使用されているものである。これらの動作は、機能的、計算上、または論理的に説明されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードもしくは同様な他のものによって実施されると理解される。また、これらの動作の構成を、一般性を失うことなく、モジュールと称することも、ときに便利であることが分かっている。説明される動作およびその関連モジュールは、ソフトウェア、ファームウェア、ハードウェア、またはその任意の組み合わせで具体化することができる。

本明細書で説明する工程、動作またはプロセスのいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールを用いて、単独で、または他のデバイスと組み合わせて実行または実施することができる。一実施形態において、ソフトウェアモジュールは、説明した工程、動作またはプロセスの一部または全部を実行するための、コンピュータプロセッサによって実行することのできるコンピュータプログラムコードを内蔵するコンピュータ可読媒体を備えるコンピュータプログラム製品を用いて実施される。

本発明の実施形態は、本明細書の動作を実行するための装置にも関する。この装置は、要求される目的のために特別に構成されてもよく、および／またはコンピュータに格納されるコンピュータプログラムによって選択的に起動もしくは再構成される汎用コンピューティングデバイスを備えてもよい。このようなコンピュータプログラムは、非一時的な有形コンピュータ可読記憶媒体、または電子的な命令を格納するのに適した任意のタイプの媒体に格納することができ、これらはコンピュータシステムバスに連結することができる。また、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含んでもよく、または計算能力を高めるためにマルチプロセッサ設計を採用するアーキテクチャであってもよい。

本発明の実施形態は、本明細書で説明するコンピューティングプロセスによって生産される製品にも関する。このような製品は、情報が非一時的な有形コンピュータ可読記憶媒体に格納される場合にはコンピューティングプロセスから得られる情報を含むことができ、また、本明細書で説明するコンピュータプログラム製品または他のデータの組み合わせの任意の実施形態を含むことができる。

最後に、本明細書において使用されている言葉は、主として読みやすさおよび教示上の目的で選択されており、本発明の主題の線引きまたは画定を行うために選択されてはいない場合がある。したがって、本発明の範囲は、この詳細な説明によってではなく、本明細書に基づく出願上で生じるあらゆる請求項によって限定されるということが意図されている。したがって、本発明の実施形態の開示は、本発明の範囲を例示するものであり、本発明の範囲を限定するものではないということが意図されており、本発明の範囲は、添付の特許請求の範囲において示されている。

Claims (14)

1. 方法であって、
   シーンの上画像を受け取る工程と、
   ユーザの左眼視野および右眼視野にそれぞれ対応する前記シーンの第１の合成画像および第２の合成画像を受け取る工程と、
   前記第１および第２の合成画像のそれぞれについて、
   対応する合成画像と前記シーンの上画像との重なり合う部分を特定する工程と、
   前記重なり合う部分において、前記シーンの上画像から前記対応する合成画像までのオプティカルフローを判別する工程と、
   鉛直角を関数とする前記オプティカルフローを適用することによって、前記上画像を前記対応する合成画像にブレンドして、ワーピング済み上画像を生成する工程と、
   前記シーンの上画像と、前記対応する合成画像と、前記ワーピング済み上画像とを結合することによって、前記ユーザの対応する眼用の視野のキャンバスビューを生成する工程と、を備える方法。
2. 前記オプティカルフローを適用するための関数は、前記重なり合う部分が上画像に隣接して始まる鉛直角で、オプティカルフローを適用せず、前記重なり合う部分のピボット行でオプティカルフローの全てを適用する、請求項１に記載の方法。
3. 前記第１および第２の合成画像のそれぞれについて、
   前記ピボット行と、前記重なり合う部分が側方だけの部分に隣接する前記対応する合成画像の側方だけの部分との間において、前記対応する合成画像に対して前記上画像の色をモーフィングする工程をさらに備える請求項２に記載の方法。
4. 前記色のモーフィングは、前記ピボット行と、前記側方だけの部分に隣接する前記重なり合う部分との間における、側方だけの画像の色のゼロから全部までの範囲の色のモーフィングである、請求項３に記載の方法。
5. 前記左眼視野と前記右眼視野は、前記ユーザの左眼視野と前記右眼視野との間の瞳孔間距離（ＩＰＤ）の関数としての距離分だけ隔てられている、請求項１に記載の方法。
6. 前記瞳孔間距離は、前記シーンの鉛直角の関数である、請求項５に記載の方法。
7. 鉛直角がπ／２のとき、前記瞳孔間距離は最大瞳孔間距離であり、鉛直角がπのとき、前記瞳孔間距離はゼロである、請求項６に記載の方法。
8. コンピュータプログラム命令を格納する非一時的なコンピュータ可読記憶媒体であって、
   前記コンピュータプログラム命令は、コンピュータプロセッサによって実行されたときに、
   シーンの上画像を受け取る工程と、
   ユーザの左眼視野および右眼視野にそれぞれ対応する前記シーンの第１の合成画像および第２の合成画像を受け取る工程と、
   前記第１および第２の合成画像のそれぞれについて、
   前記対応する合成画像と前記シーンの前記上画像との重なり合う部分を特定する工程と、
   前記重なり合う部分において、前記シーンの上画像から前記対応する合成画像までのオプティカルフローを判別する工程と、
   鉛直角の関数として適用される前記オプティカルフローを適用することによって、前記上画像を前記対応する合成画像にブレンドして、ワーピング済み上画像を生成する工程と、
   前記シーンの上画像と、前記対応する合成画像と、前記ワーピング済み上画像とを結合することによって、前記ユーザの対応する眼用の視野のキャンバスビューを生成する工程と、
   を前記コンピュータプロセッサに実行させる、非一時的なコンピュータ可読記憶媒体。
9. 前記オプティカルフローを適用するための関数は、前記重なり合う部分が上画像に隣接して始まる鉛直角で、オプティカルフローを適用せず、前記重なり合う部分のピボット行で前記オプティカルフローの全てを適用する、請求項８に記載の非一時的なコンピュータ可読記憶媒体。
10. 前記第１および第２の合成画像のそれぞれについて、
    前記ピボット行と、前記重なり合う部分が側方だけの部分に隣接する前記対応する合成画像の側方だけの部分との間において、前記対応する合成画像に対して前記上画像の色をモーフィングする工程をさらに備える請求項９に記載の非一時的なコンピュータ可読記憶媒体。
11. 前記色のモーフィングは、前記ピボット行と、前記側方だけの部分に隣接する前記重なり合う部分との間における前記側方だけの画像の色のゼロから全部までの範囲の色のモーフィングである、請求項１０に記載の非一時的なコンピュータ可読記憶媒体。
12. 前記左眼視野と右眼視野は、前記ユーザの左眼視野と右眼視野との間の瞳孔間距離（ＩＰＤ）の関数としての距離分だけ隔てられている、請求項８に記載の非一時的なコンピュータ可読記憶媒体。
13. 前記瞳孔間距離は、前記シーンの鉛直角の関数である、請求項１２に記載の非一時的なコンピュータ可読記憶媒体。
14. 鉛直角がπ／２のとき、前記瞳孔間距離は最大瞳孔間距離であり、鉛直角がπのとき、前記瞳孔間距離はゼロである、請求項１３に記載の非一時的なコンピュータ可読記憶媒体。