JP6687204B2 - 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 - Google Patents

Description

本発明は、イメージ生成に関し、特に、３次元空間に対する投影イメージを生成する方法および装置、イメージピクセルと深度値との間のマッピング方法に関する。

１００余年前から室内および室外環境をデジタル情報で表現するための様々な方法が導入された。環境の映像情報を取得するためにカメラが導入され、環境の深度情報を取得するために各種の距離測定器が導入された。そして、近年、グーグル（登録商標）のＪＵＭＰや三星のＰｒｏｊｅｃｔ Ｂｅｙｏｎｄ等を通して、イメージと深度値を同時に取得して３Ｄイメージを作製し、これを使用者にＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）を通して提供するためのセンサシステムも発売された。

しかし、前記システムは、一つの場所でのみデータ取得が可能であるため、特定ポーズ（２次元あるいは３次元空間上の位置および角度）で特定視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）に関する情報だけが記録できるという限界がある。

これを克服するために、より細かい間隔を置いて数枚のイメージおよび深度値を取得することができる。その例として、インターネットポータルのＳｔｒｅｅｔ Ｖｉｅｗ（登録商標）地図サービスではイメージを細かい間隔で撮影しており、ＪＵＭＰやＰｒｏｊｅｃｔ Ｂｅｙｏｎｄ等でも同様の具現が可能である。

しかし、このような従来の技術では、仮想の使用者がイメージが獲得されていないポーズに位置する場合には、該当位置に対応する３Ｄイメージを生成することができないという限界がある。従来の技術は、イメージが獲得されていない仮想の３次元空間上のポーズに仮想の使用者が位置するようになれば、該当ポーズの前−後に該当するポーズで取得されたイメージを混合して３Ｄイメージを表示し、使用者が移動するにつれ、次回のポーズで取得されたイメージを利用して３Ｄイメージを表示する方式を活用しているので、使用者の立場では不自然さを感じるようになる。

これを克服するために、複数の連続的なポーズに対してイメージおよび深度値を取得する方式を通して使用者の移動によって自然な３Ｄイメージ表示を可能にすることができるが、この場合は、使用者がイメージおよび深度値が取得された経路と同一の経路に移動する場合に限って自然な３Ｄイメージ表示が可能であるという限界がある。即ち、使用者がイメージが取得された経路を外れて移動をすることができないため、これは、主にローラーコースター等のアトラクションを経験する形態のコンテンツ作製等にのみ使用可能であるという限界がある。

また、全方向カメラでイメージを撮影した場合、該当イメージの中心点を基準に左右それぞれの方向に視野を移動させて両眼イメージを作り、それをＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）装置を通してディスプレイする方法もまた、全方向カメラの特性により３６０度回転をして撮影映像を３Ｄで鑑賞することはできるが、撮影経路を外れては観察が不可能であるという限界がある。

以上において検討したように、従来は、室内および室外環境に対して使用者の任意移動および任意回転に対応するリアルな３Ｄイメージを提供することができなかったという問題点があった。

本発明の目的は、使用者の任意移動および任意回転に対応するリアルな３Ｄイメージを提供するための投影イメージ生成方法およびその装置を提供することである。

前記目的を達成するための本発明の一実施例に係る投影イメージ生成方法は、実際の３次元空間に対して取得された複数の取得イメージおよび複数の取得深度値それぞれの取得位置および取得角度を含む複数のイメージ取得ポーズおよび複数の深度取得ポーズを基準座標系を基準に推定するステップ；前記実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得するステップ；および、前記使用者ポーズに対応する対応イメージ取得ポーズおよび少なくとも一つの対応深度取得ポーズに基づいて、前記複数の取得深度値を前記複数の取得イメージの少なくとも一つに投影した投影イメージを生成するステップを含む。

好ましくは、前記投影イメージ生成に利用される前記複数の取得イメージの少なくとも一つは、前記対応イメージ取得ポーズで取得された取得イメージであって、前記対応イメージ取得ポーズを原点とする座標系である取得座標系を代表するイメージに設定された代表イメージであり、前記投影イメージ生成に利用される前記複数の取得深度値は、前記対応深度取得ポーズで取得された複数の深度値であって、前記基準座標系の原点を基準とする複数の深度値または前記取得座標系の原点を基準とする複数の深度値の中で前記代表イメージの画角に含まれる深度値である複数の対応深度値を含むことができる。

好ましくは、前記投影イメージを生成するステップは、前記複数の対応深度値それぞれに対応する前記代表イメージに含まれたピクセルである複数の対応ピクセルに前記複数の対応深度値を投影して生成できる。

好ましくは、前記使用者ポーズが前記対応イメージ取得ポーズと異なり、前記使用者ポーズでの前記使用者の視野角に対応する前記仮想の３次元空間上の領域の中で前記代表イメージに含まれていない遺失視野領域が存在する場合、前記投影イメージを生成するステップは、前記代表イメージを除く前記複数の取得イメージの中で前記遺失視野領域に該当するピクセルである複数の遺失ピクセルを含む取得イメージである補強イメージおよび前記代表イメージを利用して前記投影イメージを生成するステップを含むことができる。

好ましくは、前記補強イメージおよび前記代表イメージを利用して前記投影イメージを生成するステップは、前記遺失視野領域が存在するか否かを判断するステップ；前記遺失視野領域が存在すると判断されれば、前記複数の取得イメージに含まれた複数のピクセルに対応する前記複数の取得深度値がマッチングされた情報である深度−イメージ連係情報に基づいて前記複数の取得イメージの中で前記補強イメージを選定するステップ；前記補強イメージを前記代表イメージより低い加重値で相互組み合わせることで組み合わせイメージを生成するステップ；および、前記複数の取得深度値を前記組み合わせイメージに投影した投影イメージを生成するステップを含むことができる。

好ましくは、前記複数の取得イメージの中で前記補強イメージを選定するステップは、前記使用者ポーズを中心にレイキャスティング（ｒａｙｃａｓｔｉｎｇ）を遂行して前記使用者の視野角内に含まれる深度値である複数の使用者視野深度値を検出するステップ；前記複数の使用者視野深度値の中で前記遺失視野領域に該当する深度値である複数の遺失視野深度値を検出するステップ；前記深度−イメージ連係情報に基づいて、前記複数の遺失視野深度値に対応する前記複数の遺失ピクセルを検出するステップ；および、前記検出された複数の遺失ピクセルに基づいて、前記複数の取得イメージの中で前記補強イメージを選定するステップを含むことができる。

好ましくは、前記深度−イメージ連係情報は、前記深度取得ポーズで取得された複数の取得深度値から前記深度取得ポーズまでの距離である複数の第１深度値距離を算出するステップ；前記イメージ取得ポーズおよび前記深度取得ポーズを利用して、前記第１深度値距離を前記深度取得ポーズで取得された前記それぞれの複数の取得深度値から前記イメージ取得ポーズまでの距離である複数の第２深度値距離に変換するステップ；および、前記取得イメージ取得に利用されたイメージセンサに対応するカメラ行列および前記複数の第２深度値距離を利用して、前記取得イメージに含まれた複数のピクセルに前記複数の取得深度値をマッピングするステップを通して算出され得る。

好ましくは、前記深度取得ポーズで取得された複数の取得深度値から前記深度取得ポーズまでの距離である複数の第１深度値距離を算出するステップは、前記複数の取得深度値それぞれの取得時間が所定時間間隔以内である前記複数の取得深度値だけを利用して遂行され得る。

好ましくは、前記使用者ポーズが前記対応イメージ取得ポーズと同一であり、前記対応イメージ取得ポーズで取得された前記取得イメージの画角が前記対応深度取得ポーズで取得された前記複数の取得深度値で構成される深度地図の画角より大きい場合、前記投影イメージを生成するステップは、前記代表イメージが取得された前記対応イメージ取得ポーズから所定距離以内に属する複数の前記対応深度取得ポーズから取得された複数の前記深度地図と前記代表イメージを利用して遂行され得る。

好ましくは、前記使用者ポーズが前記対応イメージ取得ポーズと同一であり、前記対応イメージ取得ポーズで取得された前記取得イメージの画角が前記対応深度取得ポーズで取得された前記複数の取得深度値で構成される深度地図の画角より大きい場合、前記投影イメージを生成するステップは、前記代表イメージが取得された前記対応イメージ取得ポーズから所定距離以内に属する複数の前記対応深度取得ポーズから取得された複数の前記深度地図を予めグルーピングして生成したグルーピング深度地図と前記代表イメージを利用して遂行され得る。

好ましくは、前記複数の取得深度値で構成される深度地図は、予め設定されたパラメータを基盤とするメッシュ構造の取得深度値で構成され得る。

好ましくは、前記投影イメージを生成するステップは、前記複数の取得深度値の中で前記投影イメージ生成に利用される前記複数の取得イメージそれぞれが取得された時点から所定時間以内に取得された前記取得深度値だけを利用して遂行され得る。

好ましくは、前記複数のイメージ取得ポーズそれぞれに含まれた前記取得角度は、前記複数のイメージ取得ポーズそれぞれに含まれた前記取得イメージが全方向（ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ）カメラにより取得された場合には全方向角度であってよい。

また、前記目的を達成するための本発明の他の実施例に係る投影イメージ生成方法は、実際の３次元空間に対して取得された複数の取得イメージの取得位置および取得角度を含む複数のイメージ取得ポーズを基準座標系を基準に推定し、複数の取得深度値に対応する複数の深度取得ポーズを前記複数のイメージ取得ポーズそれぞれを原点とする取得座標系基準に推定するステップ；前記実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得するステップ；および、前記使用者ポーズに対応する対応イメージ取得ポーズおよび少なくとも一つの対応深度取得ポーズに基づいて、前記複数の取得深度値を前記複数の取得イメージの少なくとも一つに投影した投影イメージを生成するステップを含む。

また、前記目的を達成するための本発明の一実施例に係る投影イメージ生成装置は、実際の３次元空間に対して取得された複数の取得イメージおよび複数の取得深度値それぞれの取得位置および取得角度を含む複数のイメージ取得ポーズおよび複数の深度取得ポーズを基準座標系を基準に推定するデータポーズ推定部；前記実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得する使用者ポーズ取得部；および、前記使用者ポーズに対応する対応イメージ取得ポーズおよび少なくとも一つの対応深度取得ポーズに基づいて、前記複数の取得深度値を前記複数の取得イメージの少なくとも一つに投影した投影イメージを生成するイメージ生成部を含むことができる。

好ましくは、前記投影イメージ生成に利用される前記複数の取得イメージの少なくとも一つは、前記対応イメージ取得ポーズで取得された取得イメージであって、前記対応イメージ取得ポーズを原点とする座標系である取得座標系を代表するイメージに設定された代表イメージであり、前記投影イメージ生成に利用される前記複数の取得深度値は、前記対応深度取得ポーズで取得された複数の深度値であって、前記基準座標系の原点を基準とする複数の深度値または前記取得座標系の原点を基準とする複数の深度値の中で前記代表イメージの画角に含まれる深度値である複数の対応深度値を含むことができる。

好ましくは、前記対応イメージ取得ポーズが前記使用者ポーズと異なり、前記使用者ポーズでの前記使用者の視野角に対応する前記仮想の３次元空間上の領域の中で前記代表イメージに含まれていない遺失視野領域が存在する場合、前記イメージ生成部は、前記代表イメージを除く前記複数の取得イメージの中で前記遺失視野領域に該当するピクセルである複数の遺失ピクセルを含む取得イメージである補強イメージおよび前記代表イメージを利用して前記投影イメージを生成できる。

好ましくは、前記イメージ生成部は、前記遺失視野領域が存在するか否かを判断する使用者視野判断部；前記遺失視野領域が存在すると判断されれば、前記複数の取得イメージに含まれた複数のピクセルに対応する前記複数の取得深度値がマッチングされた情報である深度−イメージ連係情報に基づいて前記複数の取得イメージの中で前記補強イメージを選定する補強イメージ選定部；前記補強イメージを前記代表イメージより低い加重値で相互組み合わせることで組み合わせイメージを生成する組み合わせイメージ生成部；および、前記複数の取得深度値を前記組み合わせイメージに投影した投影イメージを生成する投影イメージ生成部を含むことができる。

好ましくは、前記使用者ポーズが前記対応イメージ取得ポーズと同一であり、前記対応イメージ取得ポーズで取得された前記取得イメージの画角が前記対応深度取得ポーズで取得された前記複数の取得深度値で構成される深度地図の画角より大きい場合、前記イメージ生成部は、前記代表イメージが取得された前記対応イメージ取得ポーズから所定距離以内に属する複数の前記対応深度取得ポーズから取得された複数の前記深度地図と前記代表イメージを利用して前記投影イメージを生成できる。

また、前記目的を達成するための本発明の他の実施例に係る投影イメージ生成装置は、実際の３次元空間に対して取得された複数の取得イメージの取得位置および取得角度を含む複数のイメージ取得ポーズを基準座標系を基準に推定し、複数の取得深度値に対応する複数の深度取得ポーズを前記複数のイメージ取得ポーズそれぞれを原点とする取得座標系基準に推定するデータポーズ推定部；前記実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得する使用者ポーズ取得部；および前記使用者ポーズに対応する対応イメージ取得ポーズおよび少なくとも一つの対応深度取得ポーズに基づいて、前記複数の取得深度値を前記複数の取得イメージの少なくとも一つに投影した投影イメージを生成するイメージ生成部を含む。

また、前記目的を達成するためのイメージピクセルと深度値との間のマッピング方法は、実際の３次元空間に対して取得された取得イメージおよび取得深度値それぞれの取得位置および取得角度を含むイメージ取得ポーズおよび深度取得ポーズを基準座標系を基準に推定するステップ；前記深度取得ポーズで取得された複数の取得深度値から前記深度取得ポーズまでの距離である複数の第１深度値距離を算出するステップ；前記イメージ取得ポーズおよび前記深度取得ポーズを利用して、前記第１深度値距離を前記深度取得ポーズで取得された前記それぞれの複数の取得深度値から前記イメージ取得ポーズまでの距離である複数の第２深度値距離に変換するステップ；および、前記取得イメージ取得に利用されたイメージセンサに対応するカメラ行列および前記複数の第２深度値距離を利用して、前記取得イメージに含まれた複数のピクセルに前記複数の取得深度値をマッピングするステップを含む。

好ましくは、前記複数の第２深度値距離に変換するステップは、前記イメージ取得ポーズを示す行列の逆行列、前記深度取得ポーズを示す行列および前記第１深度値距離それぞれを相互間に乗算演算することで遂行され得る。

好ましくは、本発明の一実施例に係るイメージピクセルと深度値との間のマッピング方法は、前記取得イメージの取得に利用されたイメージセンサの解像度が前記取得深度値の取得に利用された距離センサの解像度より高い場合、前記取得イメージに含まれた複数のピクセルに前記複数の取得深度値をマッピングするステップは、前記イメージピクセルとマッピングされた複数の取得深度値である初期連係深度値の中で３個以上の初期連係深度値を選別して多角形メッシュを構成するステップ；前記イメージセンサの解像度に基づいて、対応する取得深度値が存在しないイメージピクセルである複数の未マッピングピクセルの中で前記多角形メッシュの内部に含まれる複数の未マッピングピクセルの個数および位置を算出するステップ；前記算出された複数の未マッピングピクセルの個数および位置に基づいて前記複数の未マッピングピクセルに対応する複数の深度値を推定するステップ；および、前記推定された複数の深度値を前記複数の未マッピングピクセルにマッピングするステップをさらに含むことができる。

好ましくは、前記複数の未マッピングピクセルに対応する複数の深度値を推定するステップは、内挿法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を利用して遂行され得る。

本発明の一実施例によれば、イメージをそのイメージが取得されたイメージ取得ポーズの取得座標系に連動して表示することで、取得座標系基準に取得された取得イメージを基準座標系の基準で変換する過程で発生するイメージ歪曲を除去することができる。特に、イメージを使用者視野より広い画角を有する広角イメージセンサを活用して取得することで、使用者が一つの固定された位置で周囲を見回す場合、同一の条件で撮影された一つの広角イメージを見ることができるようになり、使用者に自然でリアルなイメージを提供できる効果がある。

本発明の他の実施例によれば、イメージ取得ポーズの取得座標系別に連動された一つの代表イメージだけを利用して投影イメージを生成するので、従来に比べて遥かに少ないデータ量で投影イメージを生成できるようになる効果がある。

本発明のまた他の実施例によれば、イメージ取得ポーズの取得座標系別に連動される代表イメージを利用して投影イメージを生成するので、実際の３次元空間に該当するイメージが変更された場合、看板取り替えのように該当イメージ取得ポーズに対してのみ新たな取得イメージを取得して代表イメージに設定するだけでも、全体イメージデータを最新イメージデータに容易にアップグレード（ｕｐ−ｇｒａｄｅ）ができるようになる効果がある。

本発明のまた他の実施例によれば、深度−イメージ連係情報を通して深度値を媒介として取得イメージのどのピクセルが使用者視野内に含まれるかを確認することができ、これを通して、どの取得イメージが使用者視野内に入るべきかを確認できるようになるので、使用者がイメージ取得経路を外れた使用者ポーズに位置する場合にも該当使用者ポーズでの使用者の任意の視野に対応する投影イメージを生成できるようになる効果がある。

本発明のまた他の実施例によれば、深度−イメージ連係情報を利用して取得イメージの画角に対応する複数の深度地図を利用して投影イメージを生成することで、イメージセンサの画角より狭い画角を有する距離センサを利用しながらもイメージセンサの広い画角に対応する広い画角を有する投影イメージを生成できるようになる効果がある。

本発明のまた他の実施例によれば、代表イメージと補強イメージを組み合わせた組み合わせイメージを利用して投影イメージを生成する場合に、加重値を異にして組み合わせる方法等を通して複数のイメージを利用して生成される投影イメージのイメージ歪曲を最小化できるようになる効果がある。

本発明のまた他の実施例によれば、取得イメージおよび取得深度値それぞれが取得された時間を基盤に複数の取得深度値のうち投影イメージ生成に利用される取得深度値を選別することで、閉環状況等によるイメージ歪曲を最小化できるようになる効果がある。

本発明の一実施例に係る投影イメージ生成方法を説明するために示したフローチャートである。 本発明の深度値を基底ベクトルで表示した例示を示した図である。 イメージと深度値を同時に取得するための統合センサの例示を示した図である。 従来の基準座標系の基準で生成された３Ｄイメージを説明するために示した図である。 位置推定誤差によるイメージ歪曲を説明するために示した図である。 基準座標系による深度取得ポーズを説明するために示した図である。 基準座標系による深度取得ポーズを説明するために示した図である。 位置推定誤差による地形歪曲およびイメージ歪曲を説明するために示した図である。 位置推定誤差による地形歪曲およびイメージ歪曲を説明するために示した図である。 イメージセンサの画角を説明するために示した図である。 距離センサの画角を説明するために示した図である。 一つのイメージ取得ポーズと複数の深度取得ポーズを利用して投影イメージを生成する方法を説明するために示した図である。 深度値がグループ化された例示を説明するために示した図である。 閉環状況を説明するために示した図である。 閉環状況での深度値グループ化の歪曲を説明するために示した図である。 本発明の一実施例に係る深度−イメージ連係情報生成方法を説明するために示したフローチャートである。 本発明の一実施例に係る深度−イメージ連係を説明するために示した図である。 本発明の他の実施例に係る深度−イメージ連係を説明するために示した図である。 本発明のまた他の実施例に係る深度−イメージ連係を説明するために示した図である。 本発明の他の実施例に係る投影イメージ生成方法を説明するために示したフローチャートである。 本発明の一実施例によって遺失視野領域が存在する場合の投影イメージ生成方法を説明するために示したフローチャートである。 イメージセンサの画角が使用者視野を含む環境を説明するために示した図である。 イメージセンサの画角が使用者視野を含まない環境を説明するために示した図である。 本発明の一実施例に係る補強イメージ選定方法を説明するために示したフローチャートである。 使用者移動による本発明と従来の技術の相違点を説明するために示した図である。 本発明の一実施例に係るパラメータ基盤の深度値メッシュ構造を説明するために示した図である。 本発明の一実施例に係る投影イメージ生成装置を説明するために示した図である。 本発明の一実施例に係るイメージ生成部を説明するために示した図である。 本発明の一実施例に係る深度値の多角形メッシュ構造を説明するために示した図である。

本発明は、多様な変更を加えることができ、様々な実施例を有することができるところ、特定の実施例を図面に例示し、詳細に説明しようとする。しかし、これは、本発明を特定の実施形態に限定しようとするものではなく、本発明の思想および技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解されるべきである。各図面を説明しながら類似した参照符号を類似した構成要素に対して使用した。

第１、第２、Ａ、Ｂ等の用語は、多様な構成要素を説明するのに用いられ得るが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的でのみ用いられる。例えば、本発明の権利範囲を外れずに第１構成要素は第２構成要素と命名され得、類似するように第２構成要素も第１構成要素と命名され得る。および／またはという用語は、複数の関連した記載の項目の組み合わせまたは複数の関連した記載の項目中のいずれかの項目を含む。

ある構成要素が他の構成要素に「連結されて」いるとか「接続されて」いると言及された時は、その他の構成要素に直接的に連結されているか、または接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。これに対して、ある構成要素が他の構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された時は、中間に他の構成要素が存在しないものと理解されるべきである。

本出願において使用した用語は、単に特定の実施例を説明するために用いられたものであり、本発明を限定しようとする意図ではない。単数の表現は、文脈上、明らかに異に意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」等の用語は、明細書上に記載の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものと理解されるべきである。

異に定義されない限り、技術的または科学的な用語を含めてここで用いられる全ての用語は、本発明の属する技術の分野における通常の知識を有する者により一般的に理解されるものと同一の意味を有している。一般的に用いられる辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈されるべきであり、本出願において明らかに定義しない限り、理想的または過度に形式的な意味に解釈されない。

以下においては、本発明に係る好ましい実施例を、添付の図面を参照して詳細に説明する。

図１は、本発明の一実施例に係る投影イメージ生成方法を説明するために示したフローチャートである。

ステップ１１０では、投影イメージ生成装置が実際の３次元空間に対して取得された複数の取得イメージおよび複数の取得深度値それぞれの取得位置および取得角度を含む複数のイメージ取得ポーズおよび複数の深度取得ポーズを基準座標系を基準に推定する。

このとき、投影イメージ生成装置は、複数の取得イメージそれぞれが取得された位置および該当イメージが取得された角度（ヨー、ピッチ、ローリングに対する角度を含む）を含む複数のイメージ取得ポーズおよび複数の取得深度値それぞれが取得された位置および該当深度値が取得された角度（ヨー、ピッチ、ローリングに対する角度を含む）を含む複数の深度取得ポーズだけでなく、それぞれのイメージ取得ポーズで取得された取得イメージおよびイメージ取得時間（絶対的な取得時間、相対的な取得時間、取得イメージの先後関係等）に関する情報、それぞれの深度取得ポーズで取得された取得深度値および深度値取得時間（絶対的な取得時間、相対的な取得時間、取得深度値の先後関係等）に関する情報を格納していると仮定できる。ただし、他の実施例においては、イメージ取得ポーズがイメージが取得された位置だけを含み、深度取得ポーズが深度値が取得された位置だけを含んでもよい。また、複数のイメージ取得ポーズそれぞれに含まれた取得イメージが全方向（ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ）カメラにより取得された場合には、イメージ取得ポーズに含まれた取得角度は全方向角度であってよい。

ここで、取得イメージは、３次元空間に対する２次元イメージであって、２自由度の基底ベクトル（ｂａｓｉｓ ｖｅｃｔｏｒ）で表現可能な形態を有することができ、カメラのように３次元カラー値を２次元で表現する形態またはカメラに赤外線フィルタを取り付けて３次元熱情報を２次元で表現した形態であってよい。

また、取得イメージは、多数のカメラを用いて生成されたパノラマイメージまたは広角イメージであってよく、本発明におけるイメージは、２自由度基底ベクトルで表現可能な形態として定義されるため、一般的な四角形の形態だけでなく、カメラの特性によって四角形以外の幾何学的な形態を有してもよい。

また、取得深度値は、３自由度の基底ベクトルで表現可能な点形態を有し、距離センサを用いて取得されてもよく、互いに異なる所で撮影された２つ以上のイメージを活用して推定されてもよい。前者の例としては、ライダー（ＬＩＤＡＲ）、ソナー（ＳＯＮＡＲ）、赤外線（ＩｎｆｒａＲｅｄ）、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）距離探知機を通して取得された深度値があり、後者の例としては、ステレオカメラ、多重カメラ、全方向ステレオカメラ等を通して取得された深度値がある。一方、Ｋｉｎｅｃｔ、ＪＵＭＰ、ＰｒｉｍｅＳｅｎｓｅ、Ｐｒｏｊｅｃｔ Ｂｅｙｏｎｄ等のデバイスを利用するようになれば、取得イメージおよび取得深度値を同時に取得することもできる。

図２は、本発明の深度値を基底ベクトルで表示した例示を示した図であって、深度値は、左側のようにα、β、γで表現されるポーラー座標系（Ｐｏｌａｒ Ｃｏｏｒｄｉｎａｔｅ）、または右側のようにＸ、Ｙ、Ｚ軸を利用して表現されるデカルト座標系（Ｃａｒｔｅｓｉａｎ Ｃｏｏｒｄｉｎａｔｅ）を利用して３自由度の基底ベクトルで表示され得る。ここで、深度値は、単数の点形態あるいは複数の点形態に構成され得、点で構成された三角形基盤のメッシュ（Ｍｅｓｈ）構造の深度値集合、特定幾何形態の深度値集合も含むことができる。

例えば、本発明の一実施例においては、距離センサを通して取得した取得深度値だけでなく、内挿法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を通して深度値を新たに推定して使用することもできる。より具体的には、複数の取得深度値の中で３個以上の深度値を選別して多角形（三角形を含む）メッシュを構成した後、その多角形メッシュの内部に内挿法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を通して新たな深度値を推定して追加できる。

一方、本発明の一実施例に係る取得イメージおよび取得深度値は、図３のような統合センサを利用して同時に取得されてもよい。

図３は、イメージと深度値を同時に取得するための統合センサの例示を示した図であり、図３においては、上段の広角イメージセンサと下段の距離センサ（Ｌｉｄａｒ）が結合された統合センサが示されている。このとき、広角イメージセンサは、垂直／水平に全方向画角を有することができるが、Ｌｉｄａｒのような距離センサは、所定角度の狭い画角を有することが一般的である。一方、他の実施例においては、３次元空間上のポーズは、慣性センサ、加速センサ、地磁気センサ、無線通信信号等をさらに利用して推定され得る。

本発明において、投影イメージ生成装置は、既存に基準座標系を基準に格納された複数のイメージ取得ポーズおよび複数の深度取得ポーズを基準座標系を基準に推定するようになるが、基準座標系は、絶対座標系（Ｗ）とも命名し、特定の一つの原点を基準として全てのポーズを表示する方式である。一方、基準座標系と反対となる概念は取得座標系であるが、地域座標系とも命名し、原点が多数個存在し、多数個の原点それぞれを基準としてポーズを表示する方式である。

例えば、複数のカメラを利用してイメージを取得する場合に、イメージが取得されたイメージ取得ポーズを基準座標系を基準に表示すると、複数のカメラそれぞれのポーズが一つの特定の原点を基準に表示されるが、イメージ取得ポーズを取得座標系基準に表示すると、複数のカメラそれぞれが位置する複数の地点がいずれも個別取得座標系の原点となる。

ただし、原則的には、基準座標系は、原点を一つだけ設定すべきであるが、複数個の層で構成される建物等に基準座標系を適用する場合には、個別層別に基準座標系が設定され、個別層別に原点が設定されてもよい。

ステップ１２０では、投影イメージ生成装置が実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得する。

ここで、使用者ポーズは、仮想の３次元空間に表示される使用者のアバターの位置および使用者の視野が向かう方向を示す角度であってよい。

ステップ１３０では、投影イメージ生成装置が使用者ポーズに対応する対応イメージ取得ポーズおよび少なくとも一つの対応深度取得ポーズに基づいて、複数の取得深度値を複数の取得イメージの少なくとも一つに投影した投影イメージを生成する。

ここで、対応イメージ取得ポーズは、使用者ポーズに対応するイメージ取得ポーズを示し、対応深度取得ポーズは、使用者ポーズに対応する深度取得ポーズを意味する。例えば、使用者ポーズから所定距離以内に存在する一つのイメージ取得ポーズおよび少なくとも一つの深度取得ポーズが対応イメージ取得ポーズおよび対応深度取得ポーズに決定されるか、使用者ポーズから最も近い距離に位置する一つのイメージ取得ポーズおよび一つの深度取得ポーズが対応イメージ取得ポーズおよび対応深度取得ポーズに決定され得る。また、対応イメージ取得ポーズは、使用者ポーズでの使用者の視野との重畳度が最も高い取得イメージが取得されたイメージ取得ポーズに決定されてもよい。

一方、使用者ポーズは、対応イメージ取得ポーズ、深度取得ポーズと同一であると判断されることもあり、異なると判断されることもある。例えば、使用者ポーズと対応イメージ取得ポーズとの間の差値および使用者ポーズと深度取得ポーズとの間の差値それぞれが所定閾値以内であれば、使用者ポーズは、対応イメージ取得ポーズおよび深度取得ポーズそれぞれと同一であると判断され、その他の場合には、使用者ポーズは、対応イメージ取得ポーズおよび深度取得ポーズそれぞれと異なると判断され得る。

一方、本発明の一実施例によれば、投影イメージ生成に利用される取得イメージは、対応イメージ取得ポーズで取得された取得イメージであって、対応イメージ取得ポーズを原点とする座標系である取得座標系を代表するイメージに設定された代表イメージであってよく、投影イメージ生成に利用される複数の取得深度値は、対応深度取得ポーズで取得された複数の深度値であって、基準座標系の原点を基準とする複数の深度値または取得座標系の原点を基準とする複数の深度値の中で代表イメージの画角に含まれる深度値である複数の対応深度値であってよい。

即ち、本発明の一実施例においては、取得座標系基準に対応イメージ取得ポーズ別の代表イメージを設定できるが、これによって、使用者が特定取得座標系に進入するようになると、該当取得座標系内では一つの代表イメージだけが表示されるようになる。これを通して、後述の図４のように、所定大きさの数多くのイメージを組み合わせて使用者ポーズに対応する投影イメージを生成する従来の基準座標系の基準の投影イメージ生成方法に比べて歪曲が最小化された自然なイメージを使用者に表示できるようになる。また、このように複数の対応イメージ取得ポーズそれぞれの取得座標系別に連動される代表イメージを設定することで、実際の３次元空間の周辺環境が変わる場合等、実際の３次元空間に該当するイメージが変更された場合、看板取り替えのように該当対応イメージ取得ポーズに対してのみ新たな取得イメージを取得して代表イメージに設定すればいいので、全体イメージデータを最新イメージデータに容易にアップグレード（ｕｐ−ｇｒａｄｅ）ができるようになる効果がある。

より具体的に、本発明の一実施例においては、投影イメージ生成装置が代表イメージの画角に含まれる深度値である複数の対応深度値それぞれに対応する代表イメージに含まれたピクセルである複数の対応ピクセルに複数の対応深度値を投影して投影イメージを生成するようになる。

このとき、対応深度値に対応する対応ピクセルは、深度−イメージ連係情報に基づいて決定され得るが、深度−イメージ連係情報を生成する具体的な動作については、図１４および図１５を参照して後述する。

一方、本発明の他の実施例によれば、一つの対応イメージ取得ポーズで取得された一つの代表イメージに複数の対応深度取得ポーズで取得された複数の取得深度値を投影して投影イメージを生成することもできるが、これは、イメージの画角と複数の深度値で構成される深度地図の画角の差によるものである。これについては、図８乃至図１０を参照して後述する。

他の実施例においては、使用者ポーズが対応イメージ取得ポーズと異なり、使用者ポーズでの使用者の視野角に対応する仮想の３次元空間上の領域の中で代表イメージに含まれていない遺失視野領域が存在する場合には、投影イメージ生成装置が代表イメージを除く複数の取得イメージの中で遺失視野領域に該当するピクセルである複数の遺失ピクセルを含む取得イメージである補強イメージおよび代表イメージを利用して投影イメージを生成することができるが、これについては、図１７乃至図２０を参照して後述する。

以下においては、図４乃至図７を参照して、従来の３Ｄイメージ生成方法で発生し得るイメージ歪曲について説明する。

図４は、従来の基準座標系の基準で生成された３Ｄイメージを説明するために示した図である。

図４を参照すると、基準座標系を基準に複数のイメージ取得ポーズ別に別途の取得イメージが存在するようになり、そのようにイメージ取得ポーズ別に存在する複数のイメージを結合して生成された結合イメージに深度値を投影して投影イメージを生成し、最終的に左眼と右眼それぞれに対応する２個の投影イメージを利用して３Ｄイメージを生成するようになる。このように、照度差、シャッタースピード差等が存在する複数の取得イメージそれぞれを結合して使用者に表示する一つのイメージを生成するため、図４のように不自然な結合イメージを使用者に表示するようになる。

一方、従来は、イメージ取得ポーズと深度取得ポーズそれぞれの位置推定誤差によりイメージ歪曲が発生し得るが、これについては、図５を参照して説明する。

図５は、位置推定誤差によるイメージ歪曲を説明するために示した図である。

図５を参照すると、柱のイメージが床に結像するイメージ歪曲が発生した図が示されているが、このような歪曲が発生する理由は、コンピュータを通して具現された仮想の３Ｄ環境ではデータ（イメージまたは深度値）取得地点での絶対的なポーズが確実に分かるのに対し、実際の３Ｄ環境でデータを取得する場合には、データを取得した様々なポーズの絶対座標値を推定せざるを得ず、このような推定過程で必然的に推定誤差が発生するためである。

以下においては、このような歪曲が発生する理由を、図６および図７を参照して具体的に説明する。

図６は、基準座標系による深度取得ポーズを説明するために示した図である。

ただし、数１は、３Ｄ環境での深度取得ポーズを示したものであって、２Ｄ環境では次元を一段階下げて同様に記述され得、本発明における深度取得ポーズは、３Ｄ環境と２Ｄ環境のいずれでも定義され得る。一方、数１においては、深度取得ポーズをＨ行列を利用して表示したが、本発明は、これに限定されず、位置ベクトルおよび角度ベクトルの組み合わせ、角度部分に対するオイラー（Ｅｕｌｅｒ）、クォータニオン（Ｑｕａｔｅｒｎｉｏｎ）、二重（Ｄｕａｌ）クォータニオン、ロドリゲス表現法を利用して表示することも可能である。

図７は、位置推定誤差による地形歪曲およびイメージ歪曲を説明するために示した図である。

このように、従来の基準座標系の基準の投影イメージ生成方法は、位置誤差による図５および図７ｂのようなイメージ歪曲が発生する問題があった。このような問題点を解決できる方案として、取得座標系基準の投影イメージ生成方法があるが、この場合には、位置推定誤差によるイメージ歪曲がないという長所があるが、イメージセンサの画角と距離センサの画角の差によってイメージセンサの画角と距離センサの画角が重畳される狭い視野に対してのみ投影イメージを生成できるという問題がある。例えば、イメージは、全方向カメラ等、全方向に対してイメージを一度に取得できる様々なデバイスがあるが、深度値の場合、全方向を同時に探知できるデバイスがないため、一つの取得座標系で取得された深度値とイメージを利用して投影イメージを生成しようとする場合、重畳された狭い視野に対してのみ投影イメージを生成できるようになるので、これを鑑賞する使用者の視野が制限されてしまうことがある。これについては、図８および図９を参照して説明する。

図８は、イメージセンサの画角を説明するために示した図である。

図８を参照すると、イメージセンサを利用してイメージを撮影する人がイメージ取得地点であるＣｉ地点で灰色で表示された障害物を眺めてイメージを撮影する場合に、足もとの一部領域（白色部分）と灰色障害物のために撮影が制限される障害物の右側領域（白色部分）を除く全ての領域（斜線表示された領域）がイメージセンサの画角となる。

これに対して、図９は、距離センサの画角を説明するために示した図であるが、図９において、距離センサを利用して深度値を取得する人が深度値取得地点であるＬｊ地点で灰色で表示された障害物を眺めて深度値を取得する場合に、Ｌｊを中心に前後の方向に狭い範囲を有する斜線で表示された一部領域だけが距離センサの画角となる。従って、図８のイメージセンサの画角と図９の距離センサの画角が重なる領域に対する投影イメージだけが作製可能となるのである。

このような問題を解決するために、一つの全方向（ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ）センサでイメージを取得し、該当映像の中心点から左右各方向に移動した時点でのイメージを取得して３Ｄイメージを作製する方法があり、全方向イメージの特性上、イメージ取得地点で自由な回転が可能であるという長所がある。しかし、取得イメージに連係された深度値の不在により上下左右への移動が不可能であるという限界がある。これを克服するために、一地点を２台のカメラを通して撮影し、このようなカメラで撮影されたイメージを組み合わせて全方向に具現したｐｒｏｊｅｃｔ ｂｅｙｏｎｄあるいはｊｕｍｐのような技術が具現されている。このような具現は、２台のカメラ組み合わせを活用してイメージ画角とこれに対応する深度地図の画角が同一であるが、深度値の正確度が顕著に低くなり、イメージ取得ポーズまたは深度取得ポーズの基準座標系を基準とするポーズ推定に大きな誤差が発生するようになる。この場合、図４または図７のような歪曲が発生するだけでなく、図２１のように、使用者がＡ、Ｂ、Ｃ、Ｄ、．．．、Ｘ、Ｙ、Ｚの順に撮影された空間で、撮影時間の跳躍が起こるＣからＸへの移動が発生するようになれば、Ｃ地点でのポーズ推定誤差とＸ地点でのポーズ推定誤差によって両地点間の転換の瞬間に急激な不自然さが発生する。また、イメージが撮影された順に使用者が鑑賞をする場合にも、不正確な深度値により３Ｄ映像の一部分が瞬間的に突出または陥没する等の不自然さを経験するようになり、前記記述された全ての現象は、イメージ情報が不十分な所で増幅されるという問題を内包している。

本発明は、イメージセンサの画角より距離センサの画角が狭い場合に一つのイメージ取得ポーズと複数の深度取得ポーズを利用して投影イメージを生成することで、使用者がイメージ取得経路を外れて移動しても、それに対応する投影イメージを提供できるようになるが、これについては、図１０を参照して説明する。

図１０は、一つのイメージ取得ポーズと複数の深度取得ポーズを利用して投影イメージを生成する方法を説明するために示した図である。

図１０を参照すると、上段には、特定のイメージ取得ポーズでの広角イメージセンサの画角が示されており、下段には、互いに異なる深度取得ポーズでの距離センサの画角が示されている。図１０において、左側下段は、深度値取得地点Ｌｊ−１での距離センサの画角を示し、中央下段は、深度値取得地点Ｌｊでの距離センサの画角を示し、右側下段は、深度値取得地点Ｌｊ＋１での距離センサの画角を示すが、距離センサの画角は、その距離センサを通して取得される深度値で構成される深度地図の画角と同一である。

本発明の一実施例に係る投影イメージ生成装置は、使用者ポーズが対応イメージ取得ポーズと同一であり、対応イメージ取得ポーズで取得された取得イメージの画角が対応深度取得ポーズで取得された複数の取得深度値で構成される深度地図の画角より大きな場合（ポーズ同一−画角相違）には、代表イメージが取得された対応イメージ取得ポーズから所定距離以内に属する複数の対応深度取得ポーズから取得された複数の深度地図と一つの代表イメージを利用して投影イメージを生成するようになる。

既存の技法のように、イメージセンサの画角より狭い画角を有する距離センサを利用して投影イメージを生成するようになると、距離センサの狭い画角に対応する狭い画角を有する投影イメージだけが生成できたのに対し、本発明は、図１０のように、取得イメージの全ての画角に対応する複数の深度地図を利用できるようになるので、イメージセンサの画角より狭い画角を有する距離センサを通してもイメージセンサの広い画角に対応する広い画角を有する投影イメージを生成できるようになる。

これは、本発明において、イメージ取得ポーズが基準座標系を基準に表現され、深度取得ポーズで取得された深度値も同様に基準座標系を基準に表現されるため、特定イメージ取得ポーズで取得されたイメージピクセルがどのような深度値を有するかを基準座標系を活用して判別できるからである。これについてのより具体的な説明は、図１５ｂを参照して後述する。

また、他の実施例においては、深度値をイメージ取得ポーズを原点とする取得座標系を基準に表現して同一の効果を得ることができ、これについては、図１５ｃを参照して後述する。

一方、イメージセンサの解像度と距離センサの解像度が異なる場合には、全てのイメージピクセルに対応する深度値が見つけられるものではないため、この場合には、深度値にマッピングされたイメージピクセルを活用して深度値がマッピングされていないイメージピクセルの深度値を内挿法等を通して容易に推定できるので、本発明を実施するのに問題が発生することはない。

一方、本発明においては、使用者がイメージ取得経路を外れた場合であるので、現在使用者ポーズに対応する取得イメージがなくても、現在使用者のポーズに対応する対応イメージ取得ポーズに設定された代表イメージを使用することができ、現在使用者ポーズに対応する一つの対応深度取得ポーズで取得した深度地図の画角が代表イメージの画角より狭い場合であっても、複数の他の深度取得ポーズで取得された深度地図を利用して代表イメージと同一の画角を有する深度地図を提供することができるので、使用者がイメージ取得経路を外れた場合であっても、自然にリアルな投影イメージを作製できるようになる。

また、一つのイメージ取得ポーズと複数の深度取得ポーズを利用して投影イメージを生成するためには、特定のイメージ取得ポーズに対応する代表イメージの画角に含まれる全ての深度地図を見つけなければならないが、このとき、深度−イメージ連係情報が利用され得る。即ち、現在使用者ポーズに対応する対応イメージ取得ポーズが決定されれば、深度−イメージ連係情報を利用してその対応イメージ取得ポーズで取得された代表イメージの画角に含まれる複数の深度地図を検出し、その検出された複数の深度地図と一つの代表イメージを利用して投影イメージを生成することができる。

ただし、他の実施例においては、対応イメージ取得ポーズが決定される度に毎回対応イメージ取得ポーズに対応する深度地図を検出する代わりに、その対応イメージ取得ポーズに対応する深度値を予め一回だけグループ化しておき、以後はそのグループ化された深度値を利用して投影イメージを生成することもできる。これについては、図１１を参照して後述する。

図１１は、深度値がグループ化された例示を説明するために示した図である。

ただし、このようなグループ化された深度値を利用する過程で閉環状況のような深刻な位置誤差が発生するようになれば、イメージ歪曲がより大きく発生し得るが、これについては、図１２および図１３を参照して説明する。

図１２は、閉環状況を説明するために示した図である。

図１２は、閉環状況を示しているが、使用者が長時間の時間間隔をおいて二回（ｔ１とｔ１００）にわたって相互間にほとんど近接した使用者ポーズを訪問する場合、長時間の時間間隔により互いに異なる撮影条件（照明、露出時間、レンズ焦点距離等）と二回目の訪問時に累積されたポーズ推定誤差にもかかわらず距離の近接性によって取得イメージおよび取得深度値を共に使用するようになる場合をいう。

図１３は、閉環状況での深度値グループ化の歪曲を説明するために示した図である。

図１３を参照すると、ｊ＋１００番目の深度取得地点であるＬｊ＋１００に対するグループ化された深度値が閉環状況による位置誤差によって所定角度だけ傾いて表示されているが、これをＣｉで取得された取得イメージに投影するようになる場合、深刻なイメージ歪曲が発生するようになる。

図１４は、本発明の一実施例に係る深度−イメージ連係情報生成方法を説明するために示したフローチャートである。

ステップ１４１０では、投影イメージ生成装置が実際の３次元空間に対して取得された取得イメージおよび取得深度値それぞれの取得位置および取得角度を含むイメージ取得ポーズおよび深度取得ポーズを基準座標系を基準に推定する。
ステップ１４２０では、投影イメージ生成装置が深度取得ポーズから、深度取得ポーズで取得された複数の取得深度値に対応する複数の位置までの距離である、複数の第１深度値距離を算出する。

ステップ１４３０では、投影イメージ生成装置がイメージ取得ポーズおよび深度取得ポーズを利用して、複数の第１深度値距離をイメージ取得ポーズから深度取得ポーズで取得されたそれぞれの複数の取得深度値に対応する複数の位置までの距離である複数の第２深度値距離に変換する。

より具体的に、投影イメージ生成装置は、数２により第２深度値距離を算出することができる。

ステップ１４４０では、投影イメージ生成装置が取得イメージ取得に利用されたイメージセンサに対応するカメラ行列および複数の第２深度値距離を利用して、取得イメージに含まれた複数のピクセルに複数の取得深度値をマッピングする。

より具体的に、投影イメージ生成装置は、数３により取得イメージに含まれた複数のイメージピクセルに複数の取得深度値をマッピングすることができる。

このように、イメージピクセルと深度値との間のマッピングを全てのイメージ取得ポーズに対して繰り返すようになると、特定深度値がどのイメージ取得ポーズのイメージ画角に対応するかが分かるようになる。

一方、イメージセンサの解像度が距離センサの解像度より高い場合には、イメージピクセルの中で対応する深度値が存在しない未マッピングピクセルが発生し得るが、投影イメージ生成装置は、未マッピングピクセルに対しては、内挿法を利用して推定された深度値をマッピングすることができる。

より具体的に、イメージセンサの解像度が距離センサの解像度より高いとき、投影イメージ生成装置は、イメージピクセルとマッピングされた複数の取得深度値である初期連係深度値の中で３個以上の初期連係深度値を選別して多角形メッシュ（三角形メッシュを含む）を構成し、イメージセンサの解像度に基づいて対応する取得深度値が存在しないイメージピクセルである複数の未マッピングピクセルの中でその多角形メッシュの内部に含まれる複数の未マッピングピクセルの個数および位置を算出し、その算出された複数の未マッピングピクセルの個数および位置に基づいて複数の未マッピングピクセルに対応する複数の深度値を推定した後、その推定された複数の深度値を複数の未マッピングピクセルにマッピングするステップをさらに遂行することができる。

例えば、図２５は、本発明の一実施例に係る深度値の多角形メッシュ構造を説明するために示した図であって、図２５を参照すると、取得イメージ上に数多くの三角形メッシュが表示されているが、三角形メッシュを構成する３個の頂点は取得深度値であって赤色で表示されており、三角形メッシュの内部に含まれるイメージピクセルには、マッピングされる深度値がない状態である。このような場合に、投影イメージ生成装置は、三角形メッシュの内部に含まれるイメージピクセルの個数および位置を算出し、内挿法等を利用してそれぞれのイメージピクセルに対応する深度値を推定してマッピングすることができる。一方、複数の未マッピングピクセルにマッピングされる深度値は、追加連係深度値と命名できる。

このような過程を通して、取得イメージの全てのピクセルに対して深度値がマッピングされれば、最終的に、投影イメージ生成装置は、深度−イメージ連係情報を生成するようになる。

また、このように生成された深度−イメージ連係情報は、取得イメージに含まれる深度値を推定するのに利用され得る。例えば、ステップ１４１０では、投影イメージ生成装置は、複数のイメージ取得ポーズそれぞれを中心にレイキャスティングを遂行して複数のイメージ取得ポーズそれぞれで取得された取得イメージに含まれる取得深度値である複数の連係深度値（初期連係深度値および追加連係深度値）を基準座標系の基準で検出できる。

このとき、投影イメージ生成装置は、複数のイメージ取得ポーズそれぞれを中心にレイキャスティングを遂行して複数の連係深度値を検出することもできる。

他の実施例においては、複数の連係深度値を検出するとき、複数の取得深度値それぞれの取得時間が所定時間間隔以内である複数の取得深度値だけを対象に連係深度値を検出してもよい。

例えば、図１２のような閉環状況で時間ｔ１で取得された取得深度値と、ｔ１００で取得された取得深度値をいずれも利用して取得イメージに含まれる取得深度値である連係深度値を検出するようになれば、図１３のようなイメージ歪曲が発生し得るので、投影イメージ生成装置は、時間ｔ１〜ｔ１０までの取得深度値だけを利用して連係深度値を検出することができる。

従来は、取得深度値を取得して格納するとき、取得時間情報を別に格納せず、複数の取得深度値それぞれの先後関係だけを表示したので、取得深度値相互間にどれほど時間間隔が存在するのか分からなかったが、本発明においては、複数の取得深度値それぞれが取得されるとき、取得時間も共に格納して取得深度値の選別に活用することで、閉環状況等によるイメージ歪曲を最小化できるようになる長所がある。

このように、取得座標系を基準とする複数の連係深度値を取得イメージに含まれた複数のピクセルとマッチングした情報が深度−イメージ連係情報であり、深度−イメージ連係情報は、複数のイメージ取得ポーズそれぞれで生成され得る。

他の実施例においては、深度−イメージ連係情報が基準座標系を基準とする複数の連係深度値を取得イメージに含まれた複数のピクセルとマッチングした情報であってよい。

一方、図１４の実施例は、投影イメージ生成装置が基準座標系を基準に動作を遂行したが、イメージ取得ポーズの原点を基準とする取得座標系を基準に動作を遂行してもよい。

図１５ａは、本発明の一実施例に係る深度−イメージ連係を説明するために示した図である。

図１５ｂは、本発明の他の実施例に係る深度−イメージ連係を説明するために示した図である。

即ち、図１５ｂの深度−イメージ連係によれば、イメージ取得ポーズと深度取得ポーズは、基準座標系を基準に推定され、イメージ取得ポーズには、そのイメージ取得ポーズで取得された複数の取得イメージの中で一つの代表イメージがそのイメージ取得ポーズを原点に取得座標系を代表するイメージとして選定されて連動され、取得深度値は、基準座標系を基準に推定される。

図１５ｃは、本発明のまた他の実施例に係る深度−イメージ連係を説明するために示した図である。

即ち、図１５ｃの深度−イメージ連係によれば、イメージ取得ポーズは、基準座標系を基準に推定され、深度取得ポーズは、イメージ取得ポーズを原点とする取得座標系を基準に推定され、イメージ取得ポーズには、そのイメージ取得ポーズで取得された複数の取得イメージの中で一つの代表イメージがそのイメージ取得ポーズを原点とする取得座標系を代表するイメージとして選定されて連動され、取得深度値は、イメージ取得ポーズを原点とする取得座標系を基準に推定される。

図１５ｃによる投影イメージ生成方法は、図１６を参照して説明する。

図１６は、本発明の他の実施例に係る投影イメージ生成方法を説明するために示したフローチャートである。

ステップ１６１０では、投影イメージ生成装置が実際の３次元空間に対して取得された複数の取得イメージに対応する複数のイメージ取得ポーズを基準座標系を基準に推定し、複数の取得深度値に対応する複数の深度取得ポーズを複数のイメージ取得ポーズそれぞれを原点とする取得座標系基準に推定する。

ステップ１６２０では、投影イメージ生成装置が実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得する。

ステップ１６３０では、投影イメージ生成装置が使用者ポーズに対応する対応イメージ取得ポーズおよび少なくとも一つの対応深度取得ポーズに基づいて、複数の取得深度値を複数の取得イメージの少なくとも一つに投影した投影イメージを生成する。

このとき、投影イメージ生成装置は、複数の取得深度値の中で投影イメージ生成に利用される複数の取得イメージそれぞれが取得された時点から所定時間以内に取得された取得深度値だけを利用して代表イメージに投影することで投影イメージを生成してもよい。これは、閉環状況等の発生による投影イメージの歪曲を最小化するためのものである。

また、投影イメージ生成装置は、対応深度取得ポーズに連動された代表イメージを利用して投影イメージを生成するようになるが、対応深度取得ポーズに連動する代表イメージを選定するとき、深度−イメージ連係情報を利用してもよい。

例えば、投影イメージ生成装置は、深度−イメージ連係情報を通して取得イメージと使用者視野との重畳領域を検出した後、その重畳領域が最も広い取得イメージを代表イメージに設定できる。このような実施例は、使用者ポーズと最も近いイメージ取得ポーズに連係されたイメージを代表イメージに選定する方法等でも容易に具現され得る。

図１７は、本発明の一実施例によって遺失視野領域が存在する場合の投影イメージ生成方法を説明するために示したフローチャートであり、図１８は、イメージセンサの画角が使用者視野を含む環境を説明するために示した図であり、図１９は、イメージセンサの画角が使用者視野を含まない環境を説明するために示した図である。

図１７の実施例は、図１のステップ１３０または図１６のステップ１６３０を限定する実施例であって、図１の実施例のステップ１１０およびステップ１２０以後に遂行され、図１６のステップ１６１０およびステップ１６２０以後に遂行されるステップである。

ステップ１７１０では、投影イメージ生成装置が使用者の視野角に対応する仮想の３次元空間上の領域の中で代表イメージに含まれていない遺失視野領域が存在するか否かを判断する。

図１８を参照すると、ｉ番目のイメージ取得地点Ｃｉでのイメージセンサの画角が使用者の位置地点ｕでの使用者の視野を全て含むので、遺失視野領域は存在しない。

しかし、図１９を参照すると、ｉ番目のイメージ取得地点Ｃｉと使用者の位置地点ｕの下段に灰色の正方形形態の障害物が存在し、ｉ番目のイメージ取得地点Ｃｉに位置したイメージセンサの画角を制限させることで、イメージセンサの視野限界が使用者の視野限界より狭くなってｘで表示された遺失視野領域が発生するようになる。仮想の３次元空間上で使用者が遺失視野領域を眺めると、代表イメージには、その遺失視野領域に該当するピクセルが存在しないので、黒色または白色で表示され得る。

一方、従来の取得座標系基準投影イメージ生成方法によれば、どのような取得イメージが使用者視野に含まれるのか分からず、遺失視野領域に対応するピクセルが黒色または白色を有するように表示された投影イメージを生成した。

しかし、本発明の一実施例によれば、深度−イメージ連係情報を通して深度値を媒介として取得イメージのどのピクセルが使用者視野内に含まれるかを確認することができ、これを通して、どの取得イメージが使用者視野内に入るべきかを確認できるようになり、遺失視野領域に対応するピクセルが実際の３次元空間と同一の色相を有するように表示された投影イメージを生成できるようになる。即ち、本発明の一実施例によれば、図１９のように障害物が存在するか、イメージ取得ポーズと使用者ポーズが異なる場合にも、該当位置での使用者の任意の視野に対応する自然な投影イメージを生成できるようになる効果がある。

ステップ１７２０では、遺失視野領域が存在すると判断されれば、投影イメージ生成装置が複数の取得イメージに含まれた複数のピクセルに対応する複数の取得深度値がマッチングされた情報である深度−イメージ連係情報に基づいて複数の取得イメージの中で補強イメージを選定する。

このとき、補強イメージを選定する動作についての具体的な説明は、図２０を参照して後述する。

ステップ１７３０では、投影イメージ生成装置が補強イメージと代表イメージを相互組み合わせることで組み合わせイメージを生成する。

このとき、投影イメージ生成装置は、補強イメージを代表イメージと同一の加重値で相互組み合わせるか、補強イメージを代表イメージより低い加重値で相互組み合わせて組み合わせイメージを生成できる。

ステップ１７４２では、投影イメージ生成装置が複数の取得深度値を組み合わせイメージに投影した投影イメージを生成する。

ステップ１７４４では、ステップ１７４２で遺失視野領域が存在しないと判断されれば、投影イメージ生成装置が複数の取得深度値を代表イメージに投影した投影イメージを生成する。

図２０は、本発明の一実施例に係る補強イメージ選定方法を説明するために示したフローチャートである。

ステップ２０１０では、投影イメージ生成装置が使用者ポーズを中心に使用者の視野角内に含まれる深度値である複数の使用者視野深度値を検出する。

前述したように、投影イメージ生成装置は、使用者ポーズを中心にレイキャスティング等を遂行して複数の使用者視野深度値を検出することもできる。

ステップ２０２０では、投影イメージ生成装置が複数の使用者視野深度値の中で遺失視野領域に該当する深度値である複数の遺失視野深度値を検出する。

例えば、使用者が特定の使用者ポーズで一回りしながら３次元空間を眺める場合、３６０度に該当する複数の使用者視野深度値が存在するが、その中でも特定の角度に遺失視野領域が存在するようになり、投影イメージ生成装置は、その遺失視野領域に該当する深度値を遺失視野深度値として検出するようになる。

ステップ２０３０では、投影イメージ生成装置が深度−イメージ連係情報に基づいて、複数の遺失視野深度値に対応する複数の遺失ピクセルを検出する。

例えば、投影イメージ生成装置は、深度−イメージ連係情報を利用すれば、複数の遺失視野深度値それぞれに対応するピクセルが何かが分かり、そのように複数の遺失視野深度値それぞれに対応するピクセルを遺失ピクセルとして検出するようになる。

ステップ２０４０では、投影イメージ生成装置がその検出された複数の遺失ピクセルに基づいて、複数の取得イメージの中で複数の遺失ピクセルを含む取得イメージである補強イメージを選定する。

図２１は、使用者移動による本発明と従来の技術の相違点を説明するために示した図である。

図２１には、イメージ取得経路がＡ−Ｂ−Ｃ−Ｄ．．．−Ｘ−Ｙ−Ｚのように示されているが、Ｗ前述したように、従来は、使用者がこのようなイメージが取得された経路にそのままついて行く場合に限ってのみ投影イメージを提供できたが、本発明においては、使用者がイメージ取得経路を外れてＣからＸに移動する場合にも、自然な投影イメージを提供できる長所がある。

図２２は、本発明の一実施例に係るパラメータ基盤の深度値メッシュ構造を説明するために示した図である。

図２２は、深度地図が予め設定されたパラメータを基盤とするメッシュ構造の取得深度値で構成される場合を示したものであって、左側のメッシュは、天井が傾いたボックスと定義されたパラメータ化されたパターンで近似化されたメッシュ構造であり、中央は、全ての深度値を内包するバウンディングボックスで近似化されたメッシュ構造であり、右側は、メッシュ数を減らしながらも多数の深度値を含むように近似化された幾何形態のメッシュ構造を示す。このような形態のメッシュ構造の深度値を利用するようになれば、全てのイメージピクセルに対して深度−イメージ連係が遂行されていない場合にも、メッシュ単位で投影イメージを生成できるようになる長所がある。

図２３は、本発明の一実施例に係る投影イメージ生成装置を説明するために示した図である。

図２３を参照すると、本発明の一実施例に係る投影イメージ生成装置は、データポーズ推定部２３１０、使用者ポーズ取得部２３２０およびイメージ生成部２３３０を含む。

データポーズ推定部２３１０は、実際の３次元空間に対して取得された複数の取得イメージおよび複数の取得深度値それぞれの取得位置および取得角度を含む複数のイメージ取得ポーズおよび複数の深度取得ポーズを基準座標系を基準に推定する。

他の実施例において、データポーズ推定部２３１０は、イメージ取得ポーズは基準座標系を基準に推定し、深度取得ポーズはイメージ取得ポーズそれぞれを原点とする取得座標系基準に推定してもよい。

好ましくは、本発明の一実施例に係る投影イメージ生成装置は、複数の取得イメージ、複数の取得イメージが取得された取得時間情報、複数の取得深度値、複数の取得深度値が取得された取得時間情報、複数の取得イメージに対応する複数のイメージ取得ポーズ、前記複数の取得深度値に対応する深度取得ポーズ、慣性変化情報、標識観測情報、光波系情報等の環境センシング情報を複数のセンサから受信して格納する格納部（図示しない）をさらに含むことができる。

このとき、環境センシング情報をセンシングするセンサは、図３のように、イメージセンサと距離センサが統合された統合センサであってもよく、その他に他のセンサまで全て統合された形態の統合センサであってもよい。図３の統合センサでは、イメージセンサと距離センサが剛性締結されているが、このような場合には、両センサ間の相対的ポーズは、定数値で事前に与えられ得る。また、環境センシング情報は、ロボットに搭載された統合センサまたは人の肩等に着用された統合センサが室内あるいは室外環境を移動しながら停止した状態または移動する状態で取得した情報であってよい。

データポーズ推定部２３１０は、格納部に格納された環境センシング情報を読み出して基準座標系を基準に全てのイメージ取得ポーズおよび深度取得ポーズを推定するようになる。ただし、他の実施例においては、データポーズ推定部２３１０が深度取得ポーズを取得座標系を基準に推定した後、深度取得ポーズとイメージ取得ポーズとの間の相対ポーズを利用して基準座標系の基準で深度取得ポーズを推定してもよい。

また、データポーズ推定部２３１０は、イメージ取得ポーズで取得された複数の取得イメージの中でそのイメージ取得ポーズを原点とする取得座標系を代表する代表イメージを設定してその取得座標系に連動させた後、格納部に格納してもよい。これによって、使用者が仮想の３次元空間で特定のイメージ取得ポーズの取得座標系内に進入するようになれば、該当取得座標系で所定閾値以内の距離内では使用者が移動しても、使用者にはその取得座標系を代表する代表イメージだけが表示されるようになる。

使用者ポーズ取得部２３２０は、実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得する。

好ましくは、本発明の一実施例に係る投影イメージ生成装置は、仮想の３次元空間で使用者を移動させ、使用者の視野角等を設定できる使用者入力部（図示しない）をさらに含むことができる。

使用者入力部は、キーボード、ジョイスティック形態であってもよく、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）に備えられた角速度センサ、加速度センサ、地磁気センサ等に基づく入力手段であってよく、カメラ映像のオプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）を通した入力手段であってもよい。

イメージ生成部２３３０は、使用者ポーズに対応する対応イメージ取得ポーズおよび少なくとも一つの対応深度取得ポーズに基づいて、複数の取得深度値を複数の取得イメージの少なくとも一つに投影した投影イメージを生成する。

より具体的には、イメージ生成部２３３０は、一つの代表イメージ（または組み合わせイメージ）に複数の対応深度取得ポーズで取得された複数の深度値を投影することで投影イメージを生成するようになる。

イメージ生成部２３３０の具体的な構成については、図２４を参照して後述する。

好ましくは、本発明の一実施例に係る投影イメージ生成装置は、複数の取得イメージの中で取得イメージの距離別、移動時間別、形状特徴別の基準によってイメージをサンプリングし、投影イメージ生成に利用される取得イメージ個数を減らすイメージ管理部（図示しない）をさらに含むことができる。即ち、イメージ管理部は、格納部に格納された取得イメージの中で取得イメージに動的な部分があるか、人の顔等、個人情報に該当する部分が存在する取得イメージに対しては後加工を遂行することができる。また、イメージ管理部は、閉環状況が発生した地点で複数の取得イメージが他の撮影条件（照明、露出時間、レンズ焦点距離等）で取得されていれば、そのような取得イメージに対しては、その差を最小化する補正を遂行することもできる。

一方、イメージ管理部は、このような処理を終えた取得イメージを再び格納部に格納することで、投影イメージ生成時に利用される取得イメージ個数および取得イメージ間の差を減らすことができる。また、取得イメージ間の撮影条件の差が所定閾値以上である場合には、警報を発生させた後、該当イメージの差を減らす補正をするか、または該当イメージを削除できる。

好ましくは、本発明の一実施例に係る投影イメージ生成装置は、距離センサを通して取得された取得深度値に含まれたノイズを除去する動作を遂行する深度値管理部（図示しない）をさらに含むことができる。このとき、取得深度値に含まれたノイズを除去する動作は、２０１５．０５．０６に出願された韓国特許出願第１０−２０１５−００６２８９０号の「外郭空間特徴情報抽出方法」を参照して遂行され得る。

取得イメージとは異なり、取得深度値には、ガラスや鏡または反射材質物体に対して多くのノイズが含まれ得る。また、距離センサの広い探針距離によって一つの物体が数回観察されることもあり、特定領域に多くの個数の深度値が結像することもある。このようなノイズや不均衡的な深度値分布等が以後の投影イメージの実感性を顕著に阻害し得るため、深度値管理部は、格納部に格納された取得深度値に含まれたノイズを事前に除去する動作を遂行することができる。

他の実施例においては、イメージ生成部２３３０は、イメージ管理部および深度値管理部を経た取得イメージおよび取得深度値を利用して投影イメージを生成できる。

図２４は、本発明の一実施例に係るイメージ生成部を説明するために示した図である。

図２４を参照すると、本発明の一実施例に係るイメージ生成部２３３０は、使用者視野判断部２３３２、補強イメージ選定部２３３４、組み合わせイメージ生成部２３３６および投影イメージ生成部２３３８を含む。ただし、他の実施例においては、補強イメージ選定部２３３４および組み合わせイメージ生成部２３３６は省略され得る。

使用者視野判断部２３３２は、使用者ポーズでの使用者の視野角に対応する仮想の３次元空間上の領域の中で代表イメージに含まれていない遺失視野領域が存在するか否かを判断する。

他の実施例において、使用者視野判断部２３３２は、使用者ポーズがイメージ取得ポーズ、深度取得ポーズと同一であるか、それとも異なるかを判断することもできる。

また他の実施例においては、イメージ取得ポーズで取得された取得イメージの画角内に使用者ポーズでの使用者の視野が所定閾値以上含まれる場合、使用者ポーズとイメージ取得ポーズが同一であり、その他の場合には、使用者ポーズとイメージ取得ポーズが異なると判断することもある。例えば、イメージ取得ポーズで取得された取得イメージの画角と使用者ポーズでの使用者の視野が９０％以上重畳される場合には、使用者ポーズとイメージ取得ポーズが同一であると判断し得る。

補強イメージ選定部２３３４は、遺失視野領域が存在すると判断されれば、複数の取得イメージに含まれた複数のピクセルに対応する複数の取得深度値がマッチングされた情報である深度−イメージ連係情報に基づいて複数の取得イメージの中で補強イメージを選定する。

組み合わせイメージ生成部２３３６は、補強イメージを代表イメージと相互組み合わせることで組み合わせイメージを生成できる。

このとき、組み合わせイメージ生成部２３３６は、補強イメージを代表イメージと同一の加重値で相互組み合わせるか、補強イメージを代表イメージより低い加重値で相互組み合わせて組み合わせイメージを生成できる。

例えば、組み合わせイメージ生成部２３３６は、透明度を非常に高めた補強イメージをレイヤー形態で代表イメージと組み合わせることで、補強イメージの加重値が低い組み合わせイメージを生成することもできる。

投影イメージ生成部２３３８は、複数の取得深度値を組み合わせイメージに投影した投影イメージを生成する。

このように、投影イメージ生成部２３３８は、組み合わせイメージを利用して投影イメージを生成することもでき、代表イメージだけを利用して投影イメージを生成することができるが、使用者ポーズとその使用者ポーズに対応する対応イメージ取得ポーズが同一であるか、それとも異なるかによって下記のように動作を遂行するようになる。

第一に、使用者ポーズと対応イメージ取得ポーズが同一であり、その対応イメージ取得ポーズで取得された取得イメージの画角と対応深度取得ポーズで取得された複数の取得深度値で構成される深度地図の画角が同一である場合（ポーズ同一−画角同一）には、投影イメージ生成部２３３８は、その取得された取得イメージと取得深度値を利用して投影イメージを生成する。このとき、投影イメージ生成部２３３８は、対応イメージ取得ポーズで取得された複数の取得イメージの中で一つの代表イメージを選定し、その選定された代表イメージに取得深度値を投影して投影イメージを生成するようになる。

第二に、使用者ポーズと対応イメージ取得ポーズが同一であるが、その対応イメージ取得ポーズで取得された取得イメージの画角が対応深度取得ポーズで取得された深度地図の画角より大きな場合（ポーズ同一−画角相違）には、投影イメージ生成部２３３８は、一つの対応イメージ取得ポーズの取得座標系に連動された一つの代表イメージに複数の対応深度取得ポーズで取得された複数の深度地図を投影して投影イメージを生成する。

第三に、使用者ポーズと対応イメージ取得ポーズが異なると、投影イメージ生成部２３３８は、一つの対応イメージ取得ポーズの取得座標系に連動された一つの代表イメージに補強イメージを組み合わせた組み合わせイメージと複数の対応深度取得ポーズで取得された複数の深度地図を利用して投影イメージを生成する。

前述したように、組み合わせイメージ生成時の代表イメージの加重値と補強イメージの加重値が同一である場合には、実際の３次元空間上の一点が多数の取得イメージを利用して表現されることで、不可避的に発生する最小数ピクセル以上の位置推定誤差によって投影イメージの実感性が顕著に低下し得るので、組み合わせイメージ生成時の代表イメージの加重値は、補強イメージの加重値より高く設定されなければならない。ただし、代表イメージの加重値が９９．９であり、補強イメージの加重値０．１である場合のように、補強イメージの加重値が非常に小さな場合には、該当補強イメージが投影イメージの実感性に及ぼす影響が僅かであるので、該当補強イメージは、組み合わせイメージ生成時に利用されなくてよい。

一方、イメージ取得ポーズの取得座標系に連動される代表イメージは、深度−イメージ連係情報を通して取得イメージと使用者視野との重畳領域を検出した後、その重畳領域が最も広い取得イメージを代表イメージに設定する方式、イメージ取得ポーズから最も近い距離の取得イメージを代表イメージに設定する方式等により設定され得る。このとき、イメージ取得ポーズから取得イメージまでの距離は、ユークリッド計量を基盤に計算される値であり、例えば、絶対差値、ベクトルの二次ノルム（２−ｎｏｒｍ）等が利用され得る。

本発明は、室内環境の部屋、住宅、ショッピングセンター、ホテル、ターミナル、空港等に用いられ得、室外環境の文化遺産、都市−地形情報の保存等に用いられ得、室内外環境のアパート団地、学校キャンパス等に用いられ得るが、このような場所に本発明を適用することで３次元仮想地図を作ることができる。
このような３次元地図情報は、様々なサービスを創出できるプラットフォームの役割をするので、これを活用して不動産連係サービス、施設広報サービス、ゲームコンテンツ作製サービス、遺跡−観光地実感体験サービス、地図内物品情報を連係したＯ２Ｏサービス等を実施することができる。

また、事前作製された３次元地図情報から核心特徴点を抽出してデータベースに保管しており、使用者が該当実際空間でカメラあるいは慣性センサ情報を活用してデータを取得した場合、データベースの特徴点と使用者が提供した特徴点を比較して使用者位置を直ちに見つけることができ、これを通して使用者デバイスのディスプレイ装置を使用者視野として投影イメージを生成させることができ、使用者のデバイス操作に対応して連続した投影イメージを提供し、使用者がディスプレイを通して３次元地図を経験するようにすることができる。

例えば、使用者は、商店に入らなくても商店の雰囲気や特定物品に関する細部情報も確認するようにすることができる。また、本発明は、災害安全管理のためにも用いることができるが、原子力発電所のように人が緊急に出入しなければならない危険地域の場合、事前にロボット等を通してデータを簡単に取得し、本発明によって仮想空間に構築した以後、浸透要員にＨＭＤ等を通して空間を十分に経験させることで災害時に緊急対処が可能であるようにすることができる。

これまで本発明についてその好ましい実施例を中心に検討した。本発明の属する技術の分野における通常の知識を有する者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現され得ることが理解できるだろう。それゆえ、開示された実施例は、限定的な観点ではなく説明的な観点で考慮されるべきである。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にある全ての相違点は、本発明に含まれたものと解釈されるべきである。

Claims (24)

1. 実際の３次元空間に対して取得された複数の取得イメージおよび複数の取得深度値それぞれの取得位置および取得角度を含む複数のイメージ取得ポーズおよび複数の深度取得ポーズを基準座標系を基準に推定するステップ；
   前記実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得するステップ；および
   複数の前記イメージ取得ポーズのうち、前記使用者ポーズに対応する前記イメージ取得ポーズである、対応イメージ取得ポーズおよび、複数の前記深度取得ポーズのうち、前記使用者ポーズに対応する前記深度取得ポーズである、少なくとも一つの対応深度取得ポーズに基づいて、複数の前記取得深度値を複数の前記取得イメージの少なくとも一つに含まれた複数のピクセルに投影した投影イメージを生成するステップを含み、
   前記投影イメージ生成に利用される複数の前記取得イメージの少なくとも一つは、前記対応イメージ取得ポーズで取得された前記取得イメージであって、
   前記投影イメージ生成に利用される複数の前記取得深度値は、前記対応深度取得ポーズで取得された複数の深度値であることを特徴とする、投影イメージ生成方法。
2. 前記対応イメージ取得ポーズで取得された前記取得イメージは、前記対応イメージ取得ポーズを原点とする座標系である取得座標系を代表するイメージに設定された代表イメージであり、
   前記対応深度取得ポーズで取得された複数の深度値は、前記基準座標系の原点を基準とする複数の深度値または前記取得座標系の原点を基準とする複数の深度値の中で前記代表イメージの画角に含まれる深度値である複数の対応深度値を含むことを特徴とする、請求項１に記載の投影イメージ生成方法。
3. 前記投影イメージを生成するステップは、
   前記複数の対応深度値それぞれに対応する前記代表イメージに含まれたピクセルである複数の対応ピクセルに前記複数の対応深度値を投影して生成することを特徴とする、請求項２に記載の投影イメージ生成方法。
4. 前記使用者ポーズが前記対応イメージ取得ポーズと異なり、前記使用者ポーズでの前記使用者の視野角に対応する前記仮想の３次元空間上の領域の中で前記代表イメージに含まれていない遺失視野領域が存在する場合、
   前記投影イメージを生成するステップは、
   前記代表イメージを除く複数の前記取得イメージの中で前記遺失視野領域に該当するピクセルである複数の遺失ピクセルを含む前記取得イメージである補強イメージおよび前記代表イメージを利用して前記投影イメージを生成するステップを含むことを特徴とする、請求項２に記載の投影イメージ生成方法。
5. 前記補強イメージおよび前記代表イメージを利用して前記投影イメージを生成するステップは、
   前記遺失視野領域が存在するか否かを判断するステップ；
   前記遺失視野領域が存在すると判断されれば、複数の前記取得イメージに含まれた複数のピクセルに対応する複数の前記取得深度値がマッチングされた情報である深度−イメージ連係情報に基づいて複数の前記取得イメージの中で前記補強イメージを選定するステップ；
   前記補強イメージを前記代表イメージより低い加重値で相互組み合わせることで組み合わせイメージを生成するステップ；および
   複数の前記取得深度値を前記組み合わせイメージに投影した投影イメージを生成するステップを含むことを特徴とする、請求項４に記載の投影イメージ生成方法。
6. 複数の前記取得イメージの中で前記補強イメージを選定するステップは、
   前記使用者ポーズを中心にレイキャスティング（ｒａｙｃａｓｔｉｎｇ）を遂行して前記使用者の視野角内に含まれる深度値である複数の使用者視野深度値を検出するステップ；
   前記複数の使用者視野深度値の中で前記遺失視野領域に該当する深度値である複数の遺失視野深度値を検出するステップ；
   前記深度−イメージ連係情報に基づいて、前記複数の遺失視野深度値に対応する前記複数の遺失ピクセルを検出するステップ；および
   検出された前記複数の遺失ピクセルに基づいて、複数の前記取得イメージの中で前記補強イメージを選定するステップを含むことを特徴とする、請求項５に記載の投影イメージ生成方法。
7. 前記深度−イメージ連係情報は、
   前記深度取得ポーズから、前記深度取得ポーズで取得された複数の前記取得深度値に対応する複数の位置までの距離である、複数の第１深度値距離を算出するステップ；
   前記イメージ取得ポーズおよび前記深度取得ポーズを利用して、複数の前記第１深度値距離を、前記イメージ取得ポーズから、前記深度取得ポーズで取得されたそれぞれの複数の前記取得深度値に対応する位置までの距離である、複数の第２深度値距離に変換するステップ；および
   前記取得イメージ取得に利用されたイメージセンサに対応するカメラ行列および前記複数の第２深度値距離を利用して、前記取得イメージに含まれた複数のピクセルに複数の前記取得深度値をマッピングするステップを通して算出されることを特徴とする、請求項５に記載の投影イメージ生成方法。
8. 前記深度取得ポーズから、前記深度取得ポーズで取得された複数の前記取得深度値に対応する複数の位置までの距離である、複数の前記第１深度値距離を算出するステップは、
   複数の前記取得深度値それぞれの取得時間が所定時間間隔以内である複数の前記取得深度値だけを利用して遂行されることを特徴とする、請求項７に記載の投影イメージ生成方法。
9. 前記使用者ポーズが前記対応イメージ取得ポーズと同一であり、前記対応イメージ取得ポーズで取得された前記取得イメージの画角が前記対応深度取得ポーズで取得された複数の前記取得深度値で構成される深度地図の画角より大きな場合、
   前記投影イメージを生成するステップは、
   前記代表イメージが取得された前記対応イメージ取得ポーズから所定距離以内に属する複数の前記対応深度取得ポーズから取得された複数の前記深度地図と前記代表イメージを利用して遂行されることを特徴とする、請求項２に記載の投影イメージ生成方法。
10. 前記使用者ポーズが前記対応イメージ取得ポーズと同一であり、前記対応イメージ取得ポーズで取得された前記取得イメージの画角が前記対応深度取得ポーズで取得された複数の前記取得深度値で構成される前記深度地図の画角より大きな場合、
    前記投影イメージを生成するステップは、
    前記代表イメージが取得された前記対応イメージ取得ポーズから所定距離以内に属する複数の前記対応深度取得ポーズから取得された複数の前記深度地図を予めグルーピングして生成したグルーピング深度地図と前記代表イメージを利用して遂行されることを特徴とする、請求項９に記載の投影イメージ生成方法。
11. 複数の前記取得深度値で構成される深度地図は、
    予め設定されたパラメータを基盤とするメッシュ構造の前記取得深度値で構成されることを特徴とする、請求項２に記載の投影イメージ生成方法。
12. 前記投影イメージを生成するステップは、
    複数の前記取得深度値の中で前記投影イメージ生成に利用される複数の前記取得イメージそれぞれが取得された時点から所定時間以内に取得された前記取得深度値だけを利用して遂行されることを特徴とする、請求項１に記載の投影イメージ生成方法。
13. 複数の前記イメージ取得ポーズそれぞれに含まれた前記取得角度は、
    複数の前記イメージ取得ポーズそれぞれに含まれた前記取得イメージが全方向（ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ）カメラにより取得された場合には全方向角度であることを特徴とする、請求項１に記載の投影イメージ生成方法。
14. 実際の３次元空間に対して取得された複数の取得イメージの取得位置および取得角度を含む複数のイメージ取得ポーズを基準座標系を基準に推定し、複数の取得深度値に対応する複数の深度取得ポーズを複数の前記イメージ取得ポーズそれぞれを原点とする取得座標系基準に推定するステップ；
    前記実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得するステップ；および
    複数の前記イメージ取得ポーズのうち、前記使用者ポーズに対応する前記イメージ取得ポーズである、対応イメージ取得ポーズおよび、複数の前記深度取得ポーズのうち、前記使用者ポーズに対応する前記深度取得ポーズである、少なくとも一つの対応深度取得ポーズに基づいて、複数の前記取得深度値を複数の前記取得イメージの少なくとも一つに含まれた複数のピクセルに投影した投影イメージを生成するステップを含み、
    前記投影イメージ生成に利用される複数の前記取得イメージの少なくとも一つは、前記対応イメージ取得ポーズで取得された前記取得イメージであって、
    前記投影イメージ生成に利用される複数の前記取得深度値は、前記対応深度取得ポーズで取得された複数の深度値であることを特徴とする、投影イメージ生成方法。
15. 実際の３次元空間に対して取得された複数の取得イメージおよび複数の取得深度値それぞれの取得位置および取得角度を含む複数のイメージ取得ポーズおよび複数の深度取得ポーズを基準座標系を基準に推定するデータポーズ推定部；
    前記実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得する使用者ポーズ取得部；および
    複数の前記イメージ取得ポーズのうち、前記使用者ポーズに対応する前記イメージ取得ポーズである、対応イメージ取得ポーズおよび、複数の前記深度取得ポーズのうち、前記使用者ポーズに対応する前記深度取得ポーズである、少なくとも一つの対応深度取得ポーズに基づいて、複数の前記取得深度値を複数の前記取得イメージの少なくとも一つに含まれた複数のピクセルに投影した投影イメージを生成するイメージ生成部を含み、
    前記投影イメージ生成に利用される複数の前記取得イメージの少なくとも一つは、前記対応イメージ取得ポーズで取得された前記取得イメージであって、
    前記投影イメージ生成に利用される複数の前記取得深度値は、前記対応深度取得ポーズで取得された複数の深度値であることを特徴とする、投影イメージ生成装置。
16. 前記対応イメージ取得ポーズで取得された前記取得イメージは、前記対応イメージ取得ポーズを原点とする座標系である取得座標系を代表するイメージに設定された代表イメージであり、
    前記対応深度取得ポーズで取得された複数の深度値は、前記基準座標系の原点を基準とする複数の深度値または前記取得座標系の原点を基準とする複数の深度値の中で前記代表イメージの画角に含まれる深度値である複数の対応深度値を含むことを特徴とする、請求項１５に記載の投影イメージ生成装置。
17. 前記対応イメージ取得ポーズが前記使用者ポーズと異なり、前記使用者ポーズでの前記使用者の視野角に対応する前記仮想の３次元空間上の領域の中で前記代表イメージに含まれていない遺失視野領域が存在する場合、
    前記イメージ生成部は、
    前記代表イメージを除く複数の前記取得イメージの中で前記遺失視野領域に該当するピクセルである複数の遺失ピクセルを含む前記取得イメージである補強イメージおよび前記代表イメージを利用して前記投影イメージを生成することを特徴とする、請求項１６に記載の投影イメージ生成装置。
18. 前記イメージ生成部は、
    前記遺失視野領域が存在するか否かを判断する使用者視野判断部；
    前記遺失視野領域が存在すると判断されれば、複数の前記取得イメージに含まれた複数のピクセルに対応する複数の前記取得深度値がマッチングされた情報である深度−イメージ連係情報に基づいて複数の前記取得イメージの中で前記補強イメージを選定する補強イメージ選定部；
    前記補強イメージを前記代表イメージより低い加重値で相互組み合わせることで組み合わせイメージを生成する組み合わせイメージ生成部；および
    複数の前記取得深度値を前記組み合わせイメージに投影した投影イメージを生成する投影イメージ生成部を含むことを特徴とする、請求項１７に記載の投影イメージ生成装置。
19. 前記使用者ポーズが前記対応イメージ取得ポーズと同一であり、前記対応イメージ取得ポーズで取得された前記取得イメージの画角が前記対応深度取得ポーズで取得された複数の前記取得深度値で構成される深度地図の画角より大きな場合、
    前記イメージ生成部は、
    前記代表イメージが取得された前記対応イメージ取得ポーズから所定距離以内に属する複数の前記対応深度取得ポーズから取得された複数の前記深度地図と前記代表イメージを利用して前記投影イメージを生成することを特徴とする、請求項１６に記載の投影イメージ生成装置。
20. 実際の３次元空間に対して取得された複数の取得イメージの取得位置および取得角度を含む複数のイメージ取得ポーズを基準座標系を基準に推定し、複数の取得深度値に対応する複数の深度取得ポーズを複数の前記イメージ取得ポーズそれぞれを原点とする取得座標系基準に推定するデータポーズ推定部；
    前記実際の３次元空間に対応する仮想の３次元空間での使用者の位置および角度を含む使用者ポーズを基準座標系を基準に取得する使用者ポーズ取得部；および
    複数の前記イメージ取得ポーズのうち、前記使用者ポーズに対応する前記イメージ取得ポーズである、対応イメージ取得ポーズおよび、複数の前記深度取得ポーズのうち、前記使用者ポーズに対応する前記深度取得ポーズである、少なくとも一つの対応深度取得ポーズに基づいて、複数の前記取得深度値を複数の前記取得イメージの少なくとも一つに含まれた複数のピクセルに投影した投影イメージを生成するイメージ生成部を含み、
    前記投影イメージ生成に利用される複数の前記取得イメージの少なくとも一つは、前記対応イメージ取得ポーズで取得された前記取得イメージであって、
    前記投影イメージ生成に利用される複数の前記取得深度値は、前記対応深度取得ポーズで取得された複数の深度値であることを特徴とする、投影イメージ生成装置。
21. 実際の３次元空間に対して取得された取得イメージおよび取得深度値それぞれの取得位置および取得角度を含むイメージ取得ポーズおよび深度取得ポーズを基準座標系を基準に推定するステップ；
    前記深度取得ポーズから、前記深度取得ポーズで取得された複数の前記取得深度値に対応する複数の位置までの距離である、複数の第１深度値距離を算出するステップ；
    前記イメージ取得ポーズおよび前記深度取得ポーズを利用して、複数の前記第１深度値距離を、前記イメージ取得ポーズから、前記深度取得ポーズで取得されたそれぞれの複数の前記取得深度値に対応する位置までの距離である、複数の第２深度値距離に変換するステップ；および
    前記取得イメージ取得に利用されたイメージセンサに対応するカメラ行列および前記複数の第２深度値距離を利用して、前記取得イメージに含まれた複数のピクセルに複数の前記取得深度値をマッピングするステップを含むことを特徴とする、イメージピクセルと深度値との間のマッピング方法。
22. 前記複数の第２深度値距離に変換するステップは、
    前記イメージ取得ポーズを示す行列の逆行列、前記深度取得ポーズを示す行列および前記第１深度値距離それぞれを相互間に乗算演算することで遂行されることを特徴とする、請求項２１に記載のイメージピクセルと深度値との間のマッピング方法。
23. 前記取得イメージの取得に利用されたイメージセンサの解像度が前記取得深度値の取得に利用された距離センサの解像度より高い場合、
    前記取得イメージに含まれた複数のピクセルに複数の前記取得深度値をマッピングするステップは、
    前記イメージピクセルとマッピングされた複数の前記取得深度値である初期連係深度値の中で３個以上の初期連係深度値を選別して多角形メッシュを構成するステップ；
    前記イメージセンサの解像度に基づいて、対応する前記取得深度値が存在しないイメージピクセルである複数の未マッピングピクセルの中で前記多角形メッシュの内部に含まれる前記複数の未マッピングピクセルの個数および位置を算出するステップ；
    算出された前記複数の未マッピングピクセルの個数および位置に基づいて前記複数の未マッピングピクセルに対応する複数の深度値を推定するステップ；および
    前記推定された複数の深度値を前記複数の未マッピングピクセルにマッピングするステップをさらに含むことを特徴とする、請求項２１に記載のイメージピクセルと深度値との間のマッピング方法。
24. 前記複数の未マッピングピクセルに対応する複数の深度値を推定するステップは、
    内挿法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を利用して遂行されることを特徴とする、請求項２３に記載のイメージピクセルと深度値との間のマッピング方法。