JP6683307B2 - 多数のカメラを用いた最適の球形映像獲得方法 - Google Patents

Description

本発明は多数のカメラを用いて最適の球形映像を獲得する方法に関するものであって、特にリグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの映像を製作する映像提供方法を提供する。

スクリーンエックス（ScreenX）、バルコエスケープシステム（the Barco Escape System）などのマルチプロジェクション基盤の没入型映画観覧プラットフォームの成長と共に、バーチャルリアリティ市場の拡大及びバーチャルリアリティコンテンツ製作活性化による没入型プラットフォームに基盤した次世代コンテンツ市場が拡大されている。

そして、多様なＶＲ（Virtual Reality）コンテンツ再生環境が拡散されると共に、全方向高画質を要する環境、中央画面に焦点を合せて、周囲の雰囲気を造成する環境が同時発展している。

特に、多数台のカメラを通じて、これを１つの映像にスティッチングしてパノラマ映像を製作する場合、その重畳する部分と最終映像の品質及び歪みの問題が発生している。

これを解決するために多数の論文と特許で種々の解決方法などを提示したことがある（例えば、特許文献１、２を参照）。

韓国登録特許第１０−０５１９９２９号公報 韓国登録特許第１０−１０２１８４７号公報

本発明は上記の問題を解決するために案出されたものであって、複数個のカメラから映像を連結する過程で発生する映像品質損失及び歪みの問題を解決することができる映像提供方法を提供しようとする。

本発明の目的は以上で言及した目的に制限されず、言及されない更に他の目的は以下の記載から本発明が属する通常の知識を有する者に明確に理解されることができる。

前記の課題を解決するための手段として、リグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの球形映像を製作する方法において、前記複数のカメラから得られた映像をパラメータ情報を用いて予め定まった非定型閉鎖曲面型のプロジェクション面に投写させて１つの映像を獲得するステップを含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。

ここで、前記閉鎖曲面のプロジェクション面は各々の映像が有する深さ（depth）によって変化可能であることを特徴とする。

前記球形映像を製作する方法は、前記複数のカメラの互いに異なる位置と視線に従うパラメータ情報を獲得するためのキャリブレーションステップをさらに含むことができる。

前記キャリブレーションステップは、チェッカーボードのような物理的パターン対象を距離と角度を変化させながら撮影して、前記複数のカメラの位置関係に対するパラメータ情報を獲得するステップを含むことができる。

前記球形映像を製作する方法は、前記獲得された１つの映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップをさらに含むことができる。

前記球形映像を製作する方法は、前記サンプリングされた映像をビューイングスペアにマッピングするビューイングステップをさらに含むことができる。

また、リグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの球形映像を製作する方法において、前記複数のカメラから得られた映像を用いて１つの映像を獲得するスティッチングステップ；前記獲得された１つの映像を各領域別にサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップを含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。

この場合、前記レンダリングステップで、映像が重要な領域（例えば、人の顔がある領域など）では、より高い解像度を有するようにピクセルを配列することを特徴とする。

また、リグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの球形映像を製作する方法において、前記複数のカメラから得られた映像を用いて１つの映像を獲得するスティッチングステップ；前記獲得された１つの映像を各領域別にサンプリング過程を通じてフィッティングするレンダリングステップ；及び前記サンプルされた映像をビューイングスペアにマッピングするビューイングステップを含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。

また、リグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの球形映像を製作する方法において、既存の３６０度映像を獲得するステップ；前記獲得された映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップを含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。

一側に従う球形映像生成方法は、相異する撮影時点を有する複数のカメラから映像を獲得するステップ；及び前記複数のカメラのパラメータ情報を用いて前記映像を非定型閉鎖曲面型のプロジェクション面に投射するステップを含む。

前記球形映像生成方法は、前記映像の深さ（depth）に基づいて、前記非定型閉鎖曲面型のプロジェクション面を決定するステップをさらに含むことができる。

前記非定型閉鎖曲面型のプロジェクション面を決定するステップは、隣接映像の間の重畳領域で抽出され、対象メッシュポイントと隣接した特徴点の深さに基づいて、前記対象フレーム内の前記対象メッシュポイントの深さを決定するステップを含むことができる。

前記対象メッシュポイントの深さを決定するステップは、前記対象メッシュポイントと隣接したメッシュポイントの深さ、及び対象フレームと隣接したフレームで前記対象メッシュポイントに対応するメッシュポイントの深さのうち、少なくとも１つにさらに基づいて、前記対象メッシュポイントの深さを決定するステップを含むことができる。

前記球形映像生成方法は、前記非定型閉鎖曲面型のプロジェクション面に沿って設定されたメッシュに基づいて、前記投射された映像をレンダリングするステップをさらに含むことができる。

前記レンダリングするステップは、前記投射された映像内の重要な領域でより高い解像度を有するようにピクセルを配列するステップを含むことができる。

前記レンダリングするステップは、前記メッシュに含まれた四角フェースの重要度に基づいて、前記四角フェースのターゲットサイズを決定するステップ；前記四角フェースのターゲットサイズに基づいて前記四角フェースのサイズを決定するステップ；及び前記四角フェースのサイズに基づいて、前記投射された映像をサンプリングするステップを含むことができる。

前記四角フェースのサイズを決定するステップは、前記四角フェースの類似性変形項目、前記四角フェース内の垂直及び水平方向歪み防止項目、及び前記四角フェースの時間平滑化項目のうち、少なくとも１つにさらに基づいて、前記四角フェースのサイズを決定するステップを含むことができる。

一側に従う球形映像生成方法は、相異する撮影時点を有する複数のカメラから得られた映像を用いて生成された３６０度映像を獲得するステップ；及び前記獲得された映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップを含む。

一側に従う球形映像再生方法は、不均一レンダリングを通じて生成されたメッシュに関する情報を獲得するステップ；前記不均一レンダリングを通じてサンプルされた映像を獲得するステップ；及び前記メッシュに関する情報に基づいて、前記サンプルされた映像をビューイングスペアにマッピングするビューイングステップを含む。

前記メッシュに関する情報は、前記メッシュに含まれた四角フェースのサイズに関する情報を含むことができる。前記ビューイングステップは、前記四角フェースのサイズに関する情報に基づいて、前記メッシュに含まれた頂点を前記ビューイングスペアに含まれた頂点にマッピングするステップを含むことができる。

本発明は、複数個のカメラから映像を連結する過程で発生する映像品質損失と歪み問題を解決することができる映像を提供する効果がある。

深さ固定プロジェクション面を用いる既存の技術を用いた、一実施形態に係る複数個のカメラを用いてパノラマ映像を作った例を説明する図である。 本発明に係る深さ可変プロジェクション面を用いた、一実施形態に係る複数個のカメラを用いてパノラマ映像を作った例を説明する図である。 一実施形態に係る２．１ｍのラジアル距離を有する球にイメージをプロジェクションした結果を示す図である。 一実施形態に係る７ｍのラジアル距離を有する球にイメージをプロジェクションした結果を示す図である。 ＜数式３＞を利用せずに最適化した、一実施形態に係る微分係数を用いて最適化した結果メッシュを示す図である。 ＜数式３＞を用いて最適化した、一実施形態に係る微分係数を用いて最適化した結果メッシュを示す図である。 既存の技術を用いた単純球からプロジェクションイメージを得た、一実施形態に係る変形可能な閉鎖曲面のプロジェクション面を用いた映像を示す図である。 本発明に従う変形可能な閉鎖曲面のプロジェクション面からイメージを得た、一実施形態に係る変形可能な閉鎖曲面のプロジェクション面を用いた映像を示す図である。 メッシュに含まれたフェースのサイズは均一である、一実施形態に係るレンダリング過程を説明する図である。 イメージ内の重要領域が自動で分析された、一実施形態に係るレンダリング過程を説明する図である。 イメージ内の重要領域はユーザにより指定された、一実施形態に係るレンダリング過程を説明する図である。 メッシュに含まれたフェースのサイズが不均一であり、重要な領域であるほどフェースサイズが増加された、一実施形態に係るレンダリング過程を説明する図である。 一実施形態に係る結果レイメッシュに対するＮｃの影響を示す図である。 既存の技術を用いたレンダリング及び復元イメージであり、一実施形態に係る四角フェース内のメッシュエッジの歪みが防止される効果を説明する図である。 本発明に係るレイメッシュを用いたレンダリング及び復元イメージであり、一実施形態に係る四角フェース内のメッシュエッジの歪みが防止される効果を説明する図である。 一実施形態に係るシステムの構成図である。 一実施形態に係る複数個のカメラを装着したシステムの様子を示す図である。 一実施形態に係るキャリブレーション情報のためのシステムの構成図である。 一実施形態に係るシステムの構成図である。 一実施形態に係る球形映像を生成する方法を示す流れ図である。 一実施形態に係るレンダリング方法を示す流れ図である。 一実施形態に係るビューイング方法を示す流れ図である。 一実施形態に係るリマスタリング方法を示す流れ図である。 一実施形態に係るスティッチング方法を示す流れ図である。

本発明の目的及び効果、そしてそれらを達成するための技術的構成は添付の図面と共に詳細に後述されている実施形態を参照すれば明確になる。本発明を説明するに当たって、公知機能または構成に対する具体的な説明が本発明の要旨を曖昧にすることがあると判断される場合にはその詳細な説明を省略する。

そして、後述する用語は本発明での機能を考慮して定義された用語であって、これはユーザ、運用者の意図または慣例などによって変わることがある。

しかしながら、本発明は以下に開示される実施形態に限定されるものでなく、互いに異なる多様な形態に具現できる。但し、本実施形態は本発明の開示が完全になるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇により定義されるだけである。したがって、その定義は本明細書の全般に亘る内容に基づいて下されるべきである。

以下、映像提供方法について説明する。本発明で、閉鎖曲面の表現を使用したが、これは球形の曲面を意味するものとして理解できる。

このような映像提供方法は、大別して次のステップを経るようになる。第１は、プロジェクション（projection）過程、第２は、レンダリング（rendering）過程、そして最後にビューイング（viewing）過程である。プロジェクション過程及びレンダリング過程を通じて球形映像が生成できる。以後、ビューイング過程を通じて球形映像がユーザに提供できる。

以下、各々の過程について具体的に説明する。

本過程のプロジェクション過程の以前にキャリブレーション過程が含まれることができる。キャリブレーション過程に対しては、装置に対する説明をしながら詳細に後述する。本発明において、映像を獲得する装置は、リグを用いて複数個のカメラを固定させているので、繰り返して映像を撮影する場合にも複数のカメラの視線には変化がない。したがって、初めて各々のカメラの位置関係によってパラメータ情報を獲得して継続的なテンプレートに活用することができる。このために、初期にキャリブレーション過程が必要となる。

キャリブレーション過程では、チェッカーボードのような一定パターンがある事物を活用する。リグを通じて固定されている複数のカメラは撮影対象であるチェッカーボードを撮影するようになり、前記映像を１つの映像に作りながらキャリブレーション過程が遂行される。但し、より正確なキャリブレーション情報を獲得するために角度と距離を変化させながらこのような過程を反復遂行するようになる。

このようなキャリブレーション過程を通じて各々のカメラの位置に従うキャリブレーション因子情報が獲得されて、テンプレートが設けられる。このようにキャリブレーション過程で３６０度カメラのパラメータが獲得できる。

キャリブレーション過程を経れば、本映像提供装置を通じて映像を撮影するようになる。映像を撮影して獲得する過程で、プロジェクションステップを経るようになる。プロジェクション過程は、入力されたイメージをキャリブレーション過程で得た各々のカメラのパラメータ情報を用いてプロジェクション面に投写させるものである。一般的に、プロジェクション面は３６０度映像を得るための完全な閉鎖曲面に提供される。しかしながら、これは場面の３次元的な幾何学的な形態を表現できない限界がある。即ち、各々のイメージの深さ（depth）情報を反映できない限界がある。

本発明では深さが可変できるプロジェクション面を用いる。このような深さ可変プロジェクション面を用いる場合には、カメラ時点差によって各イメージがオーバーラップされる領域でのパララックスを効率良く減少させることができる長所がある。言い換えると、既存の方法は遠景または前景の物体のみ一致させることができるが、本発明はオーバーラップされる領域に多様な深さの物体があるとしても正確に一致した綺麗な３６０度映像を得ることができる。

図１ａ及び図１ｂは、一実施形態に係る複数個のカメラを用いてパノラマ映像を作った例を説明する図である。図１ａは深さ固定プロジェクション面を用いる既存の技術を用いたものであり、図１ｂは本発明に係る深さ可変プロジェクション面を用いた結果である。図１ａを参照すると、画面の中央の声楽家１１０の深さに合せて映像がプロジェクションされた結果、異なる深さを有する演奏者１２０が数人に見えるパララックス誤りが発生する。一方、図１ｂを参照すると、可変深さプロジェクション面を用いることによって、画面の中央の声楽家１１０だけでなく、異なる深さを有する演奏者１３０も綺麗に表現される映像を得ることができる。

本発明では、隣り合う２つのカメラの間の隣り合う領域を三角形要素に区分し、このような三角形要素が形成する３Ｄポイントを拘束点にして閉鎖曲面のプロジェクション面が変化できるようにすることが特徴である。

レンダリング過程で、繋がった非定型閉鎖曲面上の形状のイメージが四角形フレームに調節される。本発明の核心はイメージグラジエント、突出（saliency）、及び顔検出器（face detector）などの組み合わせにより計算されるか、またはユーザが直接割り当てた重要な領域にはより多いピクセルを割り当てて、そうでない領域はより少ないピクセルを割り当てるなど、映像の解像度を変化させて使用するものである。例えば、人の顔がある映像部分は重要な領域として取扱って、より多いピクセルを割り当てて、背景になる単色の壁のようなイメージの領域には少ないピクセルを割り当てるなど、映像の解像度を変化させて使用することができる。重要な領域は、ユーザにより設定されるか、または予め定まった基準により自動で設定された領域でありうる。

プロジェクションステップで、各々のイメージを非定型閉鎖曲面型のプロジェクション面に投射する過程では、三角形あるいは四角形メッシュ（mesh）を使用するようになるが、各々のメッシュ内のピクセルの重要度によって各メッシュ面の幅と高さが計算される。即ち、高い重要度を有するメッシュ面は目標イメージにおいてサンプリング過程でより多いピクセルを有するように、より大きい領域が割当てされなければならない。イメージ空間内の頂点位置を最適化する過程を通じて最終レイメッシュ（ray mesh）が決定される。ここで、レイ（ray）とは、映像が投射された面の１点を示す言葉を意味する。計算されたメッシュを用いて後述するレンダリングで各ピクセルをサンプリングするレイが決定される。

最終映像での各々のピクセルは、閉鎖曲面座標系を用いてレイメッシュの周辺の頂点から線形的に補間されたレイに沿って各々の映像のピクセルを閉鎖曲面プロジェクション面に投射するサンプリングを通じて決定される。

最後に、ビューイング過程はインタラクティブビューイングのためにユーザが前の過程で作られた映像をビューイングスペア（viewing sphere）にマッピングする過程である。ビューイングスペアは最終レイメッシュの解像度と同一な解像度を有するように設定される。以後、３６０度映像を再生する時、毎フレームイメージをビューイングスペアにテクスチャマッピングされる。この際、非−均一な様子を有するレンダリング映像を原本イメージの形態に復元するために、ビューイングスペアで各々の頂点のＵＶポジションはレイメッシュシーケンスのＵＶ情報によって決定される。

実施形態によれば、前述したプロジェクション過程とレンダリング過程が共に適用されることもでき、前述したプロジェクション過程とレンダリング過程のうち、いずれか１つのみ適用されることもできる。

一例に、前述したプロジェクション過程を通じて深さが可変するプロジェクション面を用いることによって、３６０度映像を得た後、前述したレンダリング過程の代わりに重要な領域を区分せず、均一にサンプリングする一般的なレンダリング過程が適用できる。この場合、レンダリング映像は均一な様子を有するので、前述したビューイング過程の代わりに仮想の球形スペアに均一なレンダリング映像を復元する一般的なビューイング過程を通じてユーザに映像が提供できる。

他の例に、前述したプロジェクション過程の代わりに深さが固定されたプロジェクション面を用いる一般的なプロジェクション過程が遂行された後に、前述したレンダリング過程を通じて重要な領域でより多いサンプリングが遂行されることもできる。この場合、レンダリング映像は非−均一な様子を有するので、前述したビューイング過程を通じてテクスチャマッピング過程で原本イメージの形態が復元できる。

以下、数式と図面を参照して本発明に対してより具体的に説明する。

まず、プロジェクション過程を説明する。

プロジェクション球はｍ×ｎメッシュで表現される。Ｍ＝｛Ｖ，Ｆ，Ｑ｝であり、Ｍはメッシュを示し、Ｖは球形座標系の頂点セットにＶ＝｛ｖ１，．．．，ｖ_ｍｘｎ｝である。ここで、ｖ_ｉ＝（θ_ｉ、φ_ｉ、ｒ）であって、球形座標系を表示する。以下、ｖ_ｉは頂点、あるいはメッシュポイントと称されることができる。

Ｆは隣接した３個の頂点で構成されるトライアングルフェースの集合であり、Ｑは隣接した４個の頂点で構成されるクォードフェースの集合を意味する。

スペアのラジアル距離によって、重なる部分が変わることがある。例えば、スペアのラジアル距離に対応する深さのオブジェクトはプロジェクション時、整列がよくなされて、一方、スペアのサイズに対応しない深さのオブジェクトあるいは背景は、プロジェクション時、パララックス誤り（パララックスアーティファクト）が発生することがある。

図２ａ及び図２ｂは、一実施形態に係るラジアル距離を変化させてイメージを球にプロジェクションした結果を示す図である。図２ａは２．１ｍのラジアル距離を有する球にイメージをプロジェクションしたものであり、図２ｂは７ｍのラジアル距離を有する球にイメージをプロジェクションしたものである。図２ａを参照すると、２．１ｍのラジアル距離より遠い深さを有する客体２１０でパララックス誤りが発生し、図２ｂを参照すると、７ｍのラジアル距離より近い深さを有する客体２２０でパララックス誤りが発生した。

プロジェクション過程の目標は、最適化されたプロジェクション面Ｍ^ｔを生成するものである。ここで、ｔはフレームのインデックスを示す。言い換えると、プロジェクション過程を経てフレーム毎に最適化されたプロジェクション面が導出できる。例えば、部分別に変化するフレームｔで各頂点はラジアル距離ｒ_ｉ ^ｔを有する。ここで、ｉは頂点のインデックスを示す。前述したように、実施形態は深さ可変プロジェクション面を用いることによって、隣り合うイメージ間のオーバーラップされる領域でのパララックス（parallax）を最小化することができる。

各頂点のラジアル距離ｒ_ｉ ^ｔを求めるために、まずオーバーラップされる領域でオブジェクトの実際距離を知っていなければならない。一実施形態によれば、最適化過程でメッシュを拘束する３ＤポイントＰ^ｔのセットはオーバーラップされる領域の特徴を用いて計算される。Ｐ^ｔはｔフレームでオーバーラップされる領域から抽出された特徴点の集合である。この際、各々のイメージからスパースな特徴点（sparse feature points）が抽出される。

特徴点を用いてステレオマッチングを遂行して実際の距離を知ることができ、実際の距離を用いてプロジェクション面のｒ_ｉ ^ｔを設定することができる。例えば、視差（disparity）を計算するために２つの隣り合うイメージの間で特徴間の類似度が決定される。しかしながら、テクスチャレス（texture less）領域では視差が計算できない。したがって、一般的なステレオスコピック（stereo-scopic）イメージ処理方法と類似するように、ダウンサンプル処理された高密度の類似度から付加的な視差を得ることができる。これは、光学フロー方法を用いることと評価できる。

ｐ_ｋ ^ｔは、先に求めた視差対と対応するカメラパラメータを用いて復元された３次元点である。復元する時はコンピュータビジョンで広く使われる三角測量法（linear triangulation）を用いる。エネルギー関数はｒ_ｉ ^ｔ（メッシュポイント）とｐ_ｋ ^ｔ（特徴点）との間の差を測定するもので、＜数式１＞のように定義される。

ここで、ｐ_ｋ ^ｔはｐ_ｋ ^ｔ∈Ｐ^ｔ球形座標に変換されたものである。ｆ（ｐ_ｋ ^ｔ）は２次元極座標系（θ，φ）でｐ_ｋ ^ｔを含むフェースを構成する頂点指標のセットである。λ_ｉ ^ｔはｐ_ｋ ^ｔの周辺頂点（周辺メッシュポイント）に対する（θ，φ）座標での重心の加重値である。＜数式１＞はｐ_ｋ ^ｔのラジアル距離を示すｒ（ｐ_ｋ ^ｔ）をマッチするための周辺の頂点ｒ_ｉ ^ｔの線形組み合わせを示す。

ｒ_ｉ ^ｔが結果メッシュで柔らかく変わるようにするために、＜数式２＞のような部分的平滑化項目が定義できる。また、重畳されない領域の場合、ステレオマッチングが不可能であるので、＜数式２＞を用いて重畳されない領域に含まれたｒ_ｉ ^ｔを獲得することができる。

ここで、Ｎ（ｉ）はｖ_ｉ ^ｔの４個の連結された隣り合う頂点の指標を意味する。ｎ_ｉはＮ（ｉ）に含まれた隣の頂点の数である。Ｅ_ｓ１はラプラシアン平滑化オペレーションである。この項目はｒ_ｉ ^ｔの２次部分微分係数を最小化させることによりｒ_ｉ ^ｔをオーバーラップがない領域で柔らかくインターポレートできるようにする。

しかしながら、ｒ_ｉ ^ｔのオーバーラップされる領域でグラジエントが相対的に非常に大きければ、Ｅ_ｐとＥ_ｓ１を最小化させることは不安定な結果をもたらす。したがって、Ｅ_ｐにより拘束されない頂点は概略的な１次部分微分係数を最小化して正規化する。エネルギー関数は＜数式３＞及び＜数式４＞の通りである。

ここで、ｒ^ｔ（ｉ，ｊ）はＭ^ｔのｉ番目の行とｊ番目の列でｖ^ｔ _{ｉｘｍ＋ｊ}のラジアル距離を意味する。ΩはＰ^ｔにより拘束されない頂点セットを意味する。Ｅ_ｄｘとＥ_ｄｙは水平方向と垂直方向で１次部分微分係数を見積もったものである。例えば、ｒ^ｔ（ｉ＋１，ｊ）は（ｉ，ｊ）に該当する頂点の右側に隣接した頂点のラジアル距離であり、ｒ^ｔ（ｉ−１，ｊ）は（ｉ，ｊ）に該当する頂点の左側に隣接した頂点のラジアル距離である。また、ｒ^ｔ（ｉ，ｊ＋１）は（ｉ，ｊ）に該当する頂点の上側に隣接した頂点のラジアル距離であり、ｒ^ｔ（ｉ，ｊ−１）は（ｉ，ｊ）に該当する頂点の下側に隣接した頂点のラジアル距離である。

図３ａ及び図３ｂは、一実施形態に係る微分係数を用いて最適化した結果メッシュを示す図である。図３ａは＜数式３＞を利用せずに最適化した結果メッシュであり、図３ｂは＜数式３＞を用いて最適化した結果メッシュである。図３ａを参照すると、重畳領域３１０で急激な変化が発生するが、図３ｂを参照すると、＜数式３＞を用いた結果、急激な変化が発生しないことが確認される。

＜数式５＞は、時間の平滑化のためのエネルギー関数である。毎フレーム別にメッシュが変わる時、現在フレームと他のフレームとの間の差を最小化する制約条件を定義することによって、メッシュが柔らかく変化するようにする。

ここで、ｔ_ｗは時間のウィンドウサイズである。Ｔ（ｉ，ｔ）はｒ_ｉ ^ｔのフレームｔ−ｔ_ｗからｔ＋ｔ_ｗまでの時間隣り頂点への指標セットを意味する。言い換えると、Ｔ（ｉ，ｔ）は他の時間にある現在頂点の集合を意味する。ｔ_ｗは一実施形態で３に固定できる。

一実施形態によれば、＜数式１＞から＜数式５＞に定義されたエネルギー関数に基づいてｒ_ｉ ^ｔを導出することができる。例えば、＜数式１＞から＜数式５＞に定義されたエネルギー関数の各々が最小化されるように、あるいは＜数式１＞から＜数式５＞に定義されたエネルギー関数の加重和が最小になるようにするｒ_ｉ ^ｔの集合が導出できる。

図４ａ及び図４ｂは、一実施形態に係る変形可能な閉鎖曲面のプロジェクション面を用いた映像を示す図である。図４ａは既存の技術を用いた単純球からプロジェクションイメージを得た結果であり、図４ｂは本発明に従う変形可能な閉鎖曲面のプロジェクション面からイメージを得た結果である。図４ａに示されるパララックス誤りが図４ｂでは示されないことが確認される。

以下、レンダリング過程を説明する。

ターゲット解像度Ｉ_{ｗｉｄｔｈ} ｘ Ｉ_{ｈｅｉｇｈｔ}が与えられれば、経度と緯度の対である（θ、φ）として定義されるレイ（ray）を各々のターゲットイメージの各々のピクセルに割り当てるようになる。各レイに従う位置でプロジェクションされたオリジナルイメージからサンプリングする過程を通じてターゲットイメージの各ピクセルの色を決定するようになる。

図５ａ、図５ｂ、図５ｃ、及び図５ｄは、一実施形態に係るレンダリング過程を説明する図である。図５ａを参照すると、ターゲットイメージでの一定の間隔を有する頂点の初期配列は正方形または長方形に該当する。図５ａのメッシュに含まれたフェースのサイズは均一である。

図５ｂを参照すると、イメージ内の重要領域が自動で分析できる。例えば、図５ｂで明るい点は暗い点に比べて重要であると認識された領域でありうる。

図５ｃを参照すると、イメージ内の重要領域はユーザにより指定できる。例えば、ユーザは中央のスクリーン領域を重要な領域として指定し、スクリーンと左側人との間の第１空間、及びスクリーンと右側人との間の第２空間を相対的に少なめに重要な領域として指定することができる。

各々のピクセルに対するレイは、周辺の頂点の線形的な補間（θ_ｉ，φ_ｉ）を用いて計算できる。隣り合う頂点の間のサンプルの個数はイメージ座標の間隔の距離に左右される。したがって、Ｍ^ｔのｄ番目の四角フェースｑ_ｄ ^ｔにより占有されたイメージ領域が重要な情報を含んであれば、その領域を拡大させることが必要である。領域に重要な情報が含まれるか否かによって、Ｍ^ｔのｖ_ｉ ^ｔを二次元イメージ座標（ｘ_ｉ ^ｔ、ｙ_ｉ ^ｔ）を有して増加させることができる。

図５ｄを参照すると、メッシュに含まれたフェースのサイズが不均一である。この際、重要な領域であるほどフェースサイズが増加できる。例えば、スクリーン領域５１０に該当する四角フェースのサイズが異なる領域の四角フェースのサイズより大きく、この場合、スクリーン領域の四角フェースでより多いサンプリングが遂行できる。

一実施形態に係るレンダリング過程のために、ターゲットイメージ空間で（ｘ_ｉ ^ｔ、ｙ_ｉ ^ｔ）の最適化問題として式が構成される必要がある。四角フェースのターゲットサイズ（例えば、四角フェースｑ_ｄ ^ｔのターゲット幅ｑｗ_ｄ ^ｔ及びターゲット高さｑｈ_ｄ ^ｔ）は＜数式６＞のように四角フェースｑ_ｄ ^ｔの重要度ｓｘ_ｄ ^ｔとｓｙ_ｄ ^ｔに基づいて決定される。ｓｘ_ｄ ^ｔは横方向の重要度であり、ｓｙ_ｄ ^ｔは縦方向の重要度である。重要度は多様な方式により決定できる。例えば、重要度ｓｘ_ｄ ^ｔ及びｓｙ_ｄ ^ｔは各々フレームでＳ_ｘ及びＳ_ｙで内部ピクセルの重要度の平均値に定まることができる。または、イメージグラジエントの値が大きいほど重要度が高く決定されるか、または顔検出技法を通じて検出された顔領域の重要度が高く決定できる。

ここで、行（ｄ）と列（ｄ）はｑ_ｄのような行と列に属する四角フェースの指標セットを意味する。言い換えると、ｄは四角フェースのインデックスであり、ｒｏｗ（ｄ）は四角フェースｑ_ｄと同一な行のフェースの集合であり、ｃｏｌ（ｄ）は四角フェースｑ_ｄと同一な列のフェースの集合でありうる。＜数式６＞はｑｗ_ｄ ^ｔとｑｈ_ｄ ^ｔを同一な行と列の重要度の和に対するｓｘ_ｄ ^ｔ及びｓｙ_ｄ ^ｔの比率によって計算される。

Ｎ_ｃは不均一の程度を決定するユーザパラメータである。図６は、一実施形態に係る結果レイメッシュに対するＮ_ｃの影響を示す図である。図６を参照すると、Ｎ_ｃが増加するによって、得られる四角フェース間の解像度のコントラストはより強くなる。

最適化のために、各々の四角フェースの幅と高さは＜数式６＞から得られたｑｗ_ｄ ^ｔ及びｑｈ_ｄ ^ｔに拘束される。このためのエネルギー関数は＜数式７＞のように定義される。

ここで、ｈＥ（ｑ_ｄ ^ｔ）及びｖＥ（ｑ_ｄ ^ｔ）は水平方向及び垂直方向に沿ってｑ_ｄ ^ｔの有向された（directed）エッジ（例えば、ｉ→ｊ）のセットを意味する。ｘ_ｉとｘ_ｊは水平方向に隣接したメッシュポイントを示し、ｙ_ｉとｙ_ｊは垂直方向に隣接したメッシュポイントを示す。

四角フェースを従う解像度の変化を緩和し、四角フェースのフリップ問題を解決するための類似性変形項目は、＜数式８＞のように定義される。＜数式８＞のエネルギー関数は四角フェースが四角形の形態を維持するように作る役割をする。

ローカル座標ｕ、ｖは初期の均一なメッシュから計算される。β_ｆ ^ｔは各面の類似度変形項目の加重値を意味する。加重値を変化させながら面のフリップが除去されるまで続けて反復的に遂行する。

前述したように、本発明では結果イメージの歪みを最小化するために重要な領域に、より多いサンプルピクセルを割り当てる。歪まれた閉鎖曲面形状は、結果メッシュを用いて再生時にビューイングステップで復元される。復元された結果物で歯車のようにぎざぎざになった歪みが強い水平ライン及び強い垂直ラインに沿って発生することがある。

このような問題を解決するために、強い水平ライン及び強い垂直ラインを含む四角フェースの歪み現象を最小化させなければならない。斜線をフィルター処理して除去し、残した要素は垂直ラインまたは水平ライン、ｈＬｉｎｅ及びｖＬｉｎｅのうちの１つとしてラベリング処理する。ライン要素を含む全ての四角フェースｑ_ｄ ^ｔは最適化を通じて＜数式９＞のエネルギー関数を最小化させるようになる。

＜数式９＞は、四角フェースの中でライン方向によってメッシュエッジの歪みが発生することを防止する。図７ａ及び図７ｂは、一実施形態に係る四角フェース内のメッシュエッジの歪みが防止される効果を説明する図である。図７ａは既存の技術を用いたレンダリング及び復元イメージであり、図７ｂは本発明に係るレイメッシュを用いたレンダリング及び復元イメージである。図７ａを参照すると、レンダリングされたイメージ７１０に傾いた線が含まれ、傾いた線は復元された映像７２０で垂直または水平に復旧されるが、映像７３０で確認できるように歯車のようにぎざぎざになった歪みが発生することがある。

＜数式９＞を通じて水平線に該当するｈＬｉｎｅ領域に限って垂直方向に変形されないように強制し、垂直線に該当するｖＬｉｎｅ領域に限って水平方向には変形されないように強制することができる。

効果的な映像圧縮と急激な解像度変化を防止するために、＜数式１０＞のように時間の平滑化項目が最適化に導入される。

時間上のボックスフィルタリングを各フレーム別重要度マップｓｘ_ｄ ^ｔ及びｓｙ_ｄ ^ｔに時間のウィンドウ［ｔ，ｔ＋ｔ_ｗ］を有して適用する。このような単純なフィルタリングはシーケンスによってメッシュの外観をより柔らかくする。

最後に、四角形フレームを維持する＜数式１２＞の境界拘束を維持し、＜数式１１＞のように、前述したエネルギー関数の和を最小化させる｛ｘ_ｉ ^ｔ，ｙ_ｉ ^ｔ｝を決定する。

ここで、空間平滑化のための加重値α_ｓは０．５でありうる。α_ｋは、＜数式９＞で説明されたように、歪みを最小化するための加重値でありうる。＜数式１１＞を解けば、レンダリングのために使われる時間的に一貫性があるレイメッシュを生成することができる。結果メッシュのイメージ座標（ｘ_ｉ，ｙ_ｉ）はＩ_{ｗｉｄｔｈ}及びＩ_{ｈｅｉｇｈｔ} により正規化される。

レンダリング過程を経て決定されたメッシュに基づいてプロジェクションされた映像がサンプリングされる。メッシュは複数のメッシュポイントを含み、各メッシュポイント毎に緯度経度が決定される。メッシュポイントの間の中間値はインターポレーションを通じて映像がサンプリングできる。

図８から図１１は、本発明のキャリブレーションステップで複数個のカメラを通じて多重の映像を得るための装置及びその構成図の一実施形態を図示している。本発明の場合、他の実施形態が適用されることもでき、図８から図１１に制限されるものではない。

本発明での複数のカメラを通じて映像を得る装置及び構成は、必ず本一実施形態を従わなければならないものではなく、他の多様な方法でも獲得することができる。

図８は、一実施形態に係るシステムの構成図である。図８を参考すると、本発明の映像提供装置は、第１結合リグ８１３に結合された多数の第１カメラ８１１、キャリブレーション遂行部８２０、パノラマ映像生成部８３０、多面映像生成部８４０、映像コンテンツ提供部８５０などを含むことができる。

多数の第１カメラ８１１は互いに相異する撮影時点を有する多数の全方位映像を獲得及び提供するようにする。このような第１カメラ８１１の全ては同一スペックのカメラで具現されることが好ましいが、これは第１カメラ８１１を通じて獲得される全方位映像の全てが同一画角及び同一解像度を有して、今後に遂行されるキャリブレーション及び映像整合動作がより容易に遂行できるようにするためである。

第１結合リグ８１３は、多数の第１カメラ８１１の各々が結合及び支持できるようにする。

例えば、図９は一実施形態に係る複数個のカメラを装着したシステムの様子を示す図である。図９を参照すると、本発明の第１結合リグ８１３は、第１カメラが正面８１１−４、後面（図示せず）、右側面８１１−２、左側面８１１−３、上面８１１−１、及び下面（図示せず）に付着及び支持できるようにする手段を備えて、第１結合リグ８１３に付着された第１カメラが正面方向、後面方向、右側面方向、左側面方向、上面方向、及び下面方向の各々に対応する６個の全方位映像を同時獲得して提供できるようにする。

また、図８を参照すると、キャリブレーション遂行部８２０は第１キャリブレーション遂行部８２１を備えて、第１結合リグ８１３に第１カメラ８１１に対するキャリブレーションを遂行して第１カメラ８１１間の位置関係を把握するようにする。

より詳しくは、図１０は、一実施形態に係るキャリブレーション情報のためのシステムの構成図である。図１０を参照すると、第１キャリブレーション遂行部８２１は、パターン分析部１０１１、カメラパラメータ計算部１０１２、及びカメラパラメータ最適化部１０１３などを含んで、以下のような方式により第１キャリブレーション動作を遂行することができる。

まず、チェスボードのような規格化されたパターンイメージを出力して第１結合リグに位置した第１カメラ８１１に見えるように挙げて、同時に動映像撮影するようにする。特に、本発明では第１カメラ８１１の間の重畳領域の中にパターンイメージが必ず入るようにし、正確度の向上のためにカメラからの距離を異にしてパターンイメージを反復撮影するようにする。

すると、パターン分析部１０１１は第１カメラ８１１の各々に撮影された動映像を分析してパターンイメージを検出し、フレーム情報及び同時に見えるカメラ情報に基づいてマッチング情報を生成する。

そして、カメラパラメータ計算部１０１２はマッチング情報に基づいて隣接した２台のカメラ間の相対的なカメラパラメータを計算し、カメラパラメータ最適化部１０１３はカメラパラメータ計算部１０１２を通じて計算された全ての第１カメラのパラメータをマッチング情報に基づいて非−線形最適化を通じて改善した後、これらの全ての情報を含む第１キャリブレーション情報を生成するようにする。即ち、第１カメラ８１１間の位置関係に対する情報を有する第１キャリブレーション情報を生成するようにする。

また、図８を参照すると、パノラマ映像生成部８３０は、第１キャリブレーション遂行部８２１を通じて獲得された第１カメラ８１１間の位置関係に基づいて第１カメラ８１１を通じて獲得された全方位映像を１つの映像に整合してパノラマ映像を生成するようにする。パノラマ映像生成部８３０は、第１キャリブレーション情報に基づいてパノラマ映像を整合する。

より詳しくは、図１１は一実施形態に係るシステムの構成図である。図１１を参照すると、パノラマ映像生成部８３０は、焦点マッチング部１１１０、色相マッチング部１１２０、特徴点マッチング部１１３０、スティッチング部１１４０、ワーピング部１１５０、及びレンダリング部１１６０などを含んで、以下のような方式によりパノラマ映像を生成することができる。

まず、焦点マッチング部１１１０は第１キャリブレーション動作を通じて第１カメラの位置関係に基づいて各映像の初期整列を進行し、色相マッチング部１１２０は各映像の色相を補正するようにする。そして、特徴点マッチング部１１３０は特徴点抽出アルゴリズムを各映像内の特徴点を求めて、特徴点に対するディスクリプタにイメージ特徴点間の対応点を探すようにする。この際、特徴点抽出アルゴリズムには公知の技術に従う全てのアルゴリズムが適用できる。

スティッチング部１１４０は、特徴点マッチング部１１３０を通じて獲得された特徴点間の対応点を使用して各映像の重畳部分を接合し、ワーピング部１１５０は接合された２つの映像を自然に作るためにピクセルの位置を移動させる幾何学的処理を進行するようにする。そして、映像単一化部１１６０はユーザなどにより入力されるコンポジション情報に基づいて複数個の映像の単一化作業を遂行する。

また、図８を参照すると、映像コンテンツ提供部８５０は、第１カメラ８１１、パノラマ映像生成部８３０の各々を通じて獲得される映像に対する情報の全てを含む映像コンテンツを生成して提供するようにする。

図１２は、一実施形態に係る球形映像を生成する方法を示す流れ図である。本発明の内容を整理すると、図１２を参照すると、リグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの球形映像を製作する方法において、前記複数のカメラから得られた映像をパラメータ情報を用いて予め定まった非定型閉鎖曲面型のプロジェクション面に投写させて１つの映像を獲得するスティッチングステップ（１２１０）を含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。以下、球形映像は多面映像を含むことができる。ここで、前記閉鎖曲面のプロジェクション面は各々の映像が有する深さ（depth）によって変化可能であることを特徴とする。

また、前記獲得された１つの映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップ（１２２０）をさらに含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。この場合、前記レンダリングステップで、映像が重要であると判断される領域では、より高い解像度を有するようにピクセルを配列することを特徴とする。

また、図１３は一実施形態に係るレンダリング方法を示す流れ図である。図１３を参照すると、実施形態はスティッチング（１２１０）とレンダリング（１２２０）との間に、初期球形メッシュ投写イメージを獲得し（１３１０）、イメージ内の重要領域を分析し（１３２０）、レイメッシュを最適化（１３３０）するステップをさらに含むことができる。

また、図１４は一実施形態に係るビューイング方法を示す流れ図である。図１４を参照すると、映像を再生する方法において、不均一レンダリングを通じて生成されたレイメッシュシーケンスを復元するステップ（１４１０）；及び復元された映像を再生するステップ（１４２０）を含む、映像再生方法を提供する。

レイメッシュシーケンスは、サンプルされた映像とメッシュに関する情報を含む。ここで、メッシュに関する情報はメッシュに含まれた四角フェースのサイズに関する情報を含むことができる。レイメッシュシーケンスを復元するステップ（１４１０）は、四角フェースのサイズに関する情報に基づいて、メッシュに含まれた頂点を前記ビューイングスペアに含まれた頂点にマッピングするステップを含むことができる。

一実施形態によれば、復元するステップ（１４１０）で、メッシュ情報に基づいたテクスチャマッピングが利用できる。例えば、仮想の３Ｄスペアにテクスチャマッピング時、不均一レンダリング結果が復元されるようにメッシュ情報を用いてｕ、ｖ値を調節することができる。

また、図１５は一実施形態に係るリマスタリング方法を示す流れ図である。図１５を参照すると、不均一レンダリングを通じての既存のコンテンツリマスタリング方法に対するものであって、既存の３６０度の映像をリマスタリングして使えば、より少ない解像度を高品質で表現可能である。例えば、８Ｋの既存の３６０度の映像を不均一レンダリング方法を用いて４Ｋに作って見れば、一般的なダウンサンプリングに作った４Ｋ映像より重要な領域をより高品質で観覧可能である。

このために、多数のカメラを用いた最適の球形映像獲得方法は、既存の３６０度映像を獲得して初期球形メッシュ投写イメージを獲得するステップ（１５１０）；イメージ内の重要領域を分析するステップ（１５２０）；レイメッシュを最適化するステップ（１５３０）；及びレンダリングを通じてレイメッシュシーケンスを生成するステップ（１５４０）を含むことができる。

また、図１６は、一実施形態に係るスティッチング方法を示す流れ図である。図１６を参照すると、映像提供方法は、初期球形メッシュ投写イメージを獲得するステップ（１６１０）；重畳複領域内の視差対応点を分析するステップ（１６２０）；３次元の点を復元するステップ（１６３０）；メッシュを最適化するステップ（１６４０）；及び映像を投射するステップ（１６５０）を含む。

図１２から図１６に図示された各ステップには、図１から図１１を通じて前述した事項がそのまま適用できるので、より詳細な説明は省略する。

以上の説明は本発明の技術思想を例示的に説明したことに過ぎないものであって、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で多様な修正及び変形が可能である。したがって、本発明に開示された実施形態は本発明の技術思想を限定するためのものでなく、説明するためのものであり、このような実施形態により本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は以下の請求範囲により解析されなければならず、それと同等な範囲内にある全ての技術思想は本発明の権利範囲に含まれるものとして解析されるべきである。

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現できる。例えば、実施形態で説明された装置、方法、及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（arithmetic logic unit）、デジタル信号プロセッサ（digital signal processor）、マイクロコンピュータ、ＦＰＧＡ（field programmable gate array）、ＰＬＵ（programmable logic unit）、マイクロプロセッサ、または命令（instruction）を実行し応答することができる他の如何なる装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを用いて具現できる。処理装置は、運営体制（ＯＳ）及び前記運営体制上で遂行される１つ以上のソフトウェアアプリケーションを遂行することができる。また、処理装置はソフトウェアの実行に応答して、データを接近、格納、操作、処理、及び生成することもできる。理解の便宜のために、処理装置は１つが使われると説明された場合もあるが、該当技術分野で通常の知識を有する者は、処理装置が複数個の処理要素（processing element）及び／又は複数類型の処理要素を含むことができることが分かる。例えば、処理装置は複数個のプロセッサまたは１つのプロセッサ及び１つのコントローラを含むことができる。また、並列プロセッサ（parallel processor）のような、他の処理構成（processing configuration）も可能である。

ソフトウェアは、コンピュータプログラム（computer program）、コード（code）、命令（instruction）、またはこれらのうちの１つ以上の組み合わせを含むことができ、所望の通り動作するように処理装置を構成するか、独立的に、または結合的に（collectively）処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置により解析されるか、または処理装置に命令またはデータを提供するために、どんな類型の機械、構成要素（component）、物理的装置、仮想装置（virtual equipment）、コンピュータ格納媒体または装置、または転送される信号波（signal wave）に永久的に、または一時的に具体化（embody）できる。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散されて、分散された方法により格納されるか、または実行できる。ソフトウェア及びデータは、１つ以上のコンピュータ読取可能記録媒体に格納できる。

実施形態に従う方法は、多様なコンピュータ手段を通じて遂行できるプログラム命令形態に具現されてコンピュータ読取可能媒体に記録できる。前記コンピュータ読取可能媒体は、プログラム命令、データファイル、データ構造などを単独に、または組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計され構成されたもの、またはコンピュータソフトウェア当業者に公知されて使用可能なものでありうる。コンピュータ読取可能記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体（magnetic media）、ＣＤ−ＲＯＭ、ＤＶＤのような光気録媒体（optical media）、フロップティカルディスク（floptical disk）のような磁気−光媒体（magneto-optical media）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラにより作られるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行できる高級言語コードを含む。前記したハードウェア装置は、実施形態の動作を遂行するために１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。

以上のように、実施形態がたとえ限定された図面により説明されたが、該当技術分野で通常の知識を有する者であれば、前記に基づいて多様な技術的修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で遂行されるか、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態に結合または組み合わせされるか、異なる構成要素または均等物により対置または置換されても適切な結果が達成できる。

Claims (12)

1. 相異する撮影時点を有する複数のカメラから映像を獲得するステップと、
   前記複数のカメラのパラメータ情報を用いて前記映像を非定型閉鎖曲面型のプロジェクション面に投射するステップと、を含み、
   前記非定型閉鎖曲面型のプロジェクション面に沿って設定されたメッシュに基づいて、投射された前記映像をレンダリングするステップをさらに含み、
   前記レンダリングするステップは、
   前記メッシュに含まれた四角フェースの重要度に基づいて、前記四角フェースのターゲットサイズを決定するステップと、
   前記四角フェースのターゲットサイズに基づいて前記四角フェースのサイズを決定するステップと、
   前記四角フェースのサイズに基づいて、投射された前記映像をサンプリングするステップとを含む、球形映像生成方法。
2. 前記映像の深さ（depth）に基づいて、前記非定型閉鎖曲面型のプロジェクション面を決定するステップをさらに含む、請求項１に記載の球形映像生成方法。
3. 前記非定型閉鎖曲面型のプロジェクション面は複数のメッシュポイントを含み、
   前記非定型閉鎖曲面型のプロジェクション面を決定するステップは、
   隣接映像の間の重複領域で抽出され、対象メッシュポイントと隣接した特徴点の深さに基づいて、対象フレーム内の前記対象メッシュポイントの深さを決定するステップを含む、請求項２に記載の球形映像生成方法。
4. 前記対象メッシュポイントの深さを決定するステップは、
   前記対象メッシュポイントと隣接したメッシュポイントの深さ、及び対象フレームと隣接したフレームで前記対象メッシュポイントに対応するメッシュポイントの深さのうち、少なくとも１つにさらに基づいて、前記対象メッシュポイントの深さを決定するステップを含む、請求項３に記載の球形映像生成方法。
5. 前記レンダリングするステップは、
   投射された前記映像内の重要な領域でより高い解像度を有するようにピクセルを配列するステップを含む、請求項１に記載の球形映像生成方法。
6. 前記四角フェースのサイズを決定するステップは、
   前記四角フェースの類似性変形項目、前記四角フェース内の垂直及び水平方向歪み防止項目、及び前記四角フェースの時間平滑化項目のうち、少なくとも１つにさらに基づいて、前記四角フェースのサイズを決定するステップを含む、請求項１に記載の球形映像生成方法。
7. 相異する撮影時点を有する複数のカメラから得られた映像を用いて生成された３６０度映像を獲得するステップと、
   獲得された映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップとを含み、
   前記レンダリングステップは、
   前記四角フレームの重要度に基づいて、前記四角フレームのターゲットサイズを決定するステップと、
   前記四角フレームのターゲットサイズに基づいて前記四角フレームのサイズを決定するステップと、
   前記四角フレームのサイズに基づいて、投射された映像をサンプリングするステップとを含む、球形映像生成方法。
8. 前記レンダリングステップは、
   前記獲得された映像内の重要な領域でより高い解像度を有するようにピクセルを配列するステップを含む、請求項７に記載の球形映像生成方法。
9. 前記四角フレームのサイズを決定するステップは、
   前記四角フレームの類似性変形項目、前記四角フレーム内の垂直及び水平方向歪み防止項目、及び前記四角フレームの時間平滑化項目のうち、少なくとも１つにさらに基づいて、前記四角フレームのサイズを決定するステップを含む、請求項７に記載の球形映像生成方法。
10. 不均一レンダリングを通じて生成されたメッシュに関する情報を獲得するステップと、
    前記不均一レンダリングを通じてサンプルされた映像を獲得するステップと、
    前記メッシュに関する情報に基づいて、前記サンプルされた映像をビューイングスペアにマッピングするビューイングステップとを含む、球形映像再生方法。
11. 前記メッシュに関する情報は前記メッシュに含まれた四角フェースのサイズに関する情報を含み、
    前記ビューイングステップは、
    前記四角フェースのサイズに関する情報に基づいて、前記メッシュに含まれた頂点を前記ビューイングスペアに含まれた頂点にマッピングするステップを含む、請求項１０に記載の球形映像再生方法。
12. 請求項１の方法を実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体。