JP7225016B2 - Ａｒ空間画像投影システム、ａｒ空間画像投影方法及びユーザ端末 - Google Patents

Description

本発明の実施形態の少なくとも１つは、現実世界に配置された実在のオブジェクトに対してユーザ端末から仮想的に投影した画像を拡張現実技術によって複数のユーザと共有可能とするためのＡＲ空間画像投影システム、ＡＲ空間画像投影方法及びユーザ端末に関する。

近年、拡張現実（ＡＲ：Augumented Reality）技術が提供され始めている。拡張現実は、現実空間の画像に対して平面や立体のオブジェクトを重畳表示することで現実空間に仮想オブジェクトを表示する技術である。

また、拡張現実技術によって表示させるオブジェクトを複数のユーザで共有する技術も提案されている。複数のユーザで仮想的なオブジェクトを共有するものとしては、例えば、特許文献１が挙げられる。この特許文献１には、複数のユーザで共有したいオブジェクトについて共有ユーザの全員に見えやすい適切な位置を決定するための技術が開示されている。

特開２０１４－２０３１７５号公報

特許文献１に記載の情報処理装置は、複数のユーザの全員が見やすい位置に仮想的なオブジェクトを配置することを特徴とするものであるが、現実世界に配置された実在のオブジェクトに対してユーザ端末から仮想的に画像を投影して拡張現実技術によって複数のユーザと共有可能とする技術については開示されていない。

本発明の少なくとも１つの実施形態の目的は、現実世界に配置された実在のオブジェクトに対してユーザ端末から仮想的に投影された投影画像を拡張現実技術によって複数のユーザと共有可能とするためのＡＲ空間画像投影システム、ＡＲ空間画像投影方法及びユーザ端末を提供することである。

非限定的な観点によると、本発明の一実施形態に係るＡＲ空間画像投影システムは、複数の３次元オブジェクト情報を格納したサーバ装置と、撮影手段及び表示手段を備えた１以上のユーザ端末とを含むＡＲ空間画像投影システムであって、深度マップ取得手段によって前記撮影手段によって撮影される範囲の深度マップを取得する深度マップ取得部と、３次元オブジェクト特定手段を利用して前記撮影手段によって撮影される範囲に存在する少なくとも１以上の３次元オブジェクトを特定する３次元オブジェクト特定部と、投影画像の指定を受付ける投影画像指定受付部と、前記撮影手段によって撮影される前記３次元オブジェクトに前記投影画像を重畳表示させて表示手段に表示させた状態にて投影実行入力を受付ける投影実行受付部と、投影実行入力がされた際に、前記３次元オブジェクトの何れの位置に前記投影画像が投影されたかを特定し、前記投影画像の情報と投影位置の情報を前記３次元オブジェクト情報に関連付けて登録する投影画像情報登録部と、前記投影画像が投影された３次元オブジェクトが前記ユーザ端末の撮影手段によって撮影された場合に、前記ユーザ端末の表示手段に映る前記３次元オブジェクトに対して前記投影画像を重畳表示する投影画像重畳表示部とを備えることを特徴とする。

非限定的な観点によると、本発明の一実施形態に係るＡＲ空間画像投影方法は、複数の３次元オブジェクト情報を格納したサーバ装置と、撮影手段及び表示手段を備えた１以上のユーザ端末とを用いたＡＲ空間画像投影方法であって、深度マップ取得手段によって前記撮影手段によって撮影される範囲の深度マップを取得する深度マップ取得手順と、３次元オブジェクト特定手段を利用して前記撮影手段によって撮影される範囲に存在する少なくとも１以上の３次元オブジェクトを特定する３次元オブジェクト特定手順と、投影画像の指定を受付ける投影画像指定受付手順と、前記撮影手段によって撮影される前記３次元オブジェクトに前記投影画像を重畳表示させて表示手段に表示させた状態にて投影実行入力を受付ける投影実行受付手順と、投影実行入力がされた際に、前記３次元オブジェクトの何れの位置に前記投影画像が投影されたかを特定し、前記投影画像の情報と投影位置の情報を前記３次元オブジェクト情報に関連付けて登録する投影画像情報登録手順と、前記投影画像が投影された３次元オブジェクトが前記ユーザ端末の撮影手段によって撮影された場合に、前記ユーザ端末の表示手段に映る前記３次元オブジェクトに対して前記投影画像を重畳表示する投影画像重畳表示手順とを含むことを特徴とする。

非限定的な観点によると、本発明の一実施形態に係るユーザ端末は、複数の３次元オブジェクト情報を格納したサーバ装置と、撮影手段及び表示手段を備えた１以上のユーザ端末とを含むＡＲ空間画像投影システムにおけるユーザ端末であって、深度マップ取得手段によって前記撮影手段によって撮影される範囲の深度マップを取得する深度マップ取得部と、３次元オブジェクト特定手段を利用して前記撮影手段によって撮影される範囲に存在する少なくとも１以上の３次元オブジェクトを特定する３次元オブジェクト特定部と、投影画像の指定を受付ける投影画像指定受付部と、前記撮影手段によって撮影される前記３次元オブジェクトに前記投影画像を重畳表示させて表示手段に表示させた状態にて投影実行入力を受付ける投影実行受付部と、投影実行入力がされた際に、前記３次元オブジェクトの何れの位置に前記投影画像が投影されたかを特定し、前記投影画像の情報と投影位置の情報を前記３次元オブジェクト情報に関連付けて登録するように前記サーバ装置に対して送信する投影画像情報送信部と、前記投影画像が投影された３次元オブジェクトが撮影手段によって撮影された場合に、前記サーバ装置から投影画像情報を取得して表示手段に映る前記３次元オブジェクトに対して前記投影画像を重畳表示する投影画像重畳表示部とを備えることを特徴とする。

本願の各実施形態により１または２以上の不足が解決される。

本発明の実施形態の少なくとも一つに対応するＡＲ空間画像投影システムの構成の例を示すブロック図である。 本発明の実施形態の少なくとも一つに対応するサーバ装置の構成を示すブロック図である。 本発明の実施形態の少なくとも一つに対応するユーザ端末の構成を示すブロック図である。 本発明の実施形態の少なくとも一つに対応するＡＲ空間画像投影システムにおける画像投影の概念を説明するための説明図である。 本発明の実施形態の少なくとも一つに対応するＡＲ空間画像投影システムにおける画像投影の概念を説明するための説明図である。 本発明の実施形態の少なくとも一つに対応するＡＲ空間画像投影システムにおける画像投影の概念を説明するための説明図である。 本発明の実施形態の少なくとも一つに対応する投影画像登録処理の例を示すフローチャートである。 本発明の実施形態の少なくとも一つに対応する投影画像重畳表示処理の例を示すフローチャートである。

以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する各実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、ある実施形態の例として説明した内容については、他の実施形態においてその説明を省略している場合がある。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。

［第１の実施形態］
図１は、本発明の一実施の形態におけるＡＲ空間画像投影システム１００の構成の例を示すブロック図である。図１に示すように、ＡＲ空間画像投影システム１００は、サーバ装置１０と、ＡＲ空間画像投影システムのユーザが使用するユーザ端末２０１～２０ｎ（ｎは任意の整数）とを含む。なお、ＡＲ空間画像投影システム１００の構成はこれに限定されず、単一のユーザ端末を複数のユーザが使用する構成としてもよいし、複数のサーバ装置を備える構成としてもよい。

サーバ装置１０と複数のユーザ端末２０１～２０ｎは、それぞれインターネットなどの通信ネットワーク３０に接続されている。なお、図示しないが、複数のユーザ端末２０１～２０ｎは、例えば、通信業者によって管理される基地局と無線通信回線によるデータ通信を行うことによって、通信ネットワーク３０と接続する。

ＡＲ空間画像投影システム１００は、サーバ装置１０と複数のユーザ端末２０１～２０ｎとを備えることにより、ユーザの操作に応じて各種処理を実行するための各種機能を実現する。

サーバ装置１０は、ＡＲ空間画像投影システム１００の管理者によって管理され、複数のユーザ端末２０１～２０ｎに対して各種処理に関する情報を提供するための各種機能を有する。本例において、サーバ装置１０は、ＷＷＷサーバなどの情報処理装置によって構成され、各種情報を格納する記憶媒体を備える。なお、サーバ装置１０は、制御部や通信部などコンピュータとして各種処理を行うための一般的な構成を備えるが、ここでの説明は省略する。また、ＡＲ空間画像投影システム１００においては、複数のユーザ端末２０１～２０ｎそれぞれにかかる処理負荷を軽減させるといった観点から、各種情報はサーバ装置１０が管理することが好ましい。ただし、各種情報を記憶する記憶部は、サーバ装置１０がアクセス可能な状態で記憶領域を備えていればよく、例えば専用の記憶領域をサーバ装置１０の外部に有する構成とされていてもよい。

複数のユーザ端末２０１～２０ｎは、それぞれ、ユーザによって管理され、例えば携帯電話端末やＰＤＡ（Personal Digital Assistants）などの通信端末が挙げられ、ユーザが動画及び／又は静止画の撮影を行うためのカメラ装置を搭載しており、かつ、撮影画像データ等を表示するためのディスプレイを備えた構成である必要がある。ユーザ端末の構成の他の例には、スマートウォッチなどの所謂ウェアラブルデバイスや、ウェアラブルデバイスと通信端末等との組み合わせがある。また、カメラ装置は、光学式カメラの他、３次元カメラ装置を併用するものであってもよい。また、ユーザ端末２０１～２０ｎは、描画情報を入力するためのマウス、タッチパネル、タッチペン等の入力手段を備えている。

また、複数のユーザ端末２０１～２０ｎは、それぞれ、通信ネットワーク３０に接続し、サーバ装置１０との通信を行うことにより各種処理を実行するためのハードウェアおよびソフトウェアを備える。なお、複数のユーザ端末２０１～２０ｎそれぞれは、サーバ装置１０を介さずに互いに直接通信を行うこともできる構成とされていてもよい。

情報処理を行う過程においては、サーバ装置１０は適宜ユーザ端末２０１～２０ｎに対して処理過程を送信するものとし、ユーザ端末２０１～２０ｎ側では、受信した処理過程の内容に基づいた画面内容を表示装置の表示画面に表示させるものとする。画面内容の生成は、サーバ装置１０側で行ってもよいし、ユーザ端末２０１～２０ｎ側で行ってもよい。

図２は、本発明の実施形態の少なくとも一つに対応するサーバ装置１０の構成を示すブロック図である。図２に示すように、サーバ装置１０は、記憶部１１と、３次元オブジェクト特定手段１２と、投影画像登録部１３とを備える。

記憶部１１は、ＡＲ空間画像投影システム１００において画像投影の対象となる３次元オブジェクト情報を格納する機能を有する。ここで、３次元オブジェクトとは、ＡＲ空間画像投影システム１００において、３次元形状、サイズ、姿勢状態、ビル等の固定物の場合には位置情報などを把握可能に登録したオブジェクトのことをいう。この記憶部１１では、３次元オブジェクト情報として、３次元オブジェクト毎に３次元形状、サイズ、姿勢状態、ビル等の固定物の場合には位置情報などを３次元オブジェクト情報として記憶させる。また、後述する投影画像情報についても、３次元オブジェクト情報として記憶させる。

３次元オブジェクト特定手段１２は、３次元オブジェクトを特定する機能を有する。後述するユーザ端末２０の撮影手段において撮影された３次元オブジェクトに対して投影画像が投影されたことを関連付けて記憶させるためには、３次元オブジェクトを一意に特定し、かつ姿勢状態も一意に特定する必要がある。そこで、ユーザ端末２０からの問い合わせに対して３次元オブジェクト特定手段１２において３次元オブジェクトを特定して、特定結果をユーザ端末２０に対して送信する。３次元オブジェクトを特定することができればどのような手段であってもよい。例えば、立方体の場合には、当該立方体を他の立方体と区別して認識する必要があり、また、同じサイズの６面で構成されるので６面を区別して認識するための構成が必要となる。この場合、例えば、立方体を区別するための識別コードと６面を区別するための識別コードを、どの方向から撮影されても姿勢状態を把握可能なように配置することが考えられる。ユーザ端末２０で読み取った識別コードを用いてこの３次元オブジェクト特定手段１２において立方体の特定及び姿勢状態の特定を行って、現在ユーザ端末２０の撮影手段によって撮影されている範囲に写っている立方体の面を特定することができる。また、識別コードに限らず、ＡＲマーカーのように一意に立方体及び面を特定可能なマーカーを用いることも可能である。なお、３次元オブジェクト特定手段１２は、ユーザ端末２０が備えるようにしてもよい。

投影画像登録部１３は、ユーザ端末２０において投影画像の投影が実行された場合に、３次元オブジェクトの何れの位置にどのような投影画像が投影されたかの情報である投影画像情報を３次元オブジェクト情報に関連付けて登録する機能を有する。サーバ装置１０は、記憶部１１に３次元オブジェクト情報を格納しており、ユーザ端末２０から投影画像情報が送信されてきた際に、３次元オブジェクト情報と投影画像情報を関連付けて登録して記憶させる。

図３は、本発明の実施形態の少なくとも一つに対応するユーザ端末２０の構成を示すブロック図である。図３に示すように、ユーザ端末２０は、撮影手段としてのカメラ装置２１と、表示手段としてのディスプレイ２２と、深度マップ取得部２３と、３次元オブジェクト特定部２４と、投影実行受付部２５と、投影画像情報送信部２６と、投影画像重畳表示部２７とを備える。

カメラ装置２１は、ユーザの周辺の状況を撮影する機能を有する。撮影手段としてのカメラ装置２１によってユーザの周辺の状況を動画として撮影して、撮影された映像に仮想オブジェクトを重畳表示することで拡張現実（ＡＲ：Augumented Reality）をユーザに提供する。ここで、仮想オブジェクトとは、仮想空間に配置されるオブジェクトのことであり、本例においては、現実に存在する３次元オブジェクトと同一サイズの仮想３次元オブジェクトや、仮想３次元オブジェクトに重畳させて表示させる投影画像などが仮想オブジェクトに含まれる。

ディスプレイ２２は、撮影手段によって撮影された映像を表示するとともに、その映像に仮想オブジェクトを重畳した表示画面を表示する機能を有する。表示手段としてのディスプレイ２２を介してＡＲを実現する。

深度マップ取得部２３は、深度マップ取得手段によって前記撮影手段によって撮影される範囲の深度マップを取得する機能を有する。ここで、深度マップとは、現実空間に存在する３次元オブジェクトを含む様々な物体までの深度（距離）を網羅的に取得することで生成される深度に関するマップのことをいう。深度マップ取得手段は、深度マップを取得することが出来ればどのような手段であってもよい。一例としては、レーザ光などの光を使ったＴＯＦ（time-of-flight）方式による深度取得、２つのカメラを用いたステレオカメラによる深度取得、１つのカメラで取得した映像の異なる２以上のフレームを用いた深度取得などが挙げられる。具体的には、カメラ装置２１によって撮影される範囲に映り込む３次元オブジェクトまでの深度を、この深度マップ取得部２３によって取得する。

３次元オブジェクト特定部２４は、３次元オブジェクト特定手段１２を利用して撮影手段によって撮影される範囲に存在する少なくとも１以上の３次元オブジェクトを特定する機能を有する。前述の通り、３次元オブジェクト特定手段１２によって３次元オブジェクトを特定するが、撮影映像の範囲に映る３次元オブジェクトを照会する処理をこの３次元オブジェクト特定部２４において行う必要がある。３次元オブジェクトの照会は、例えば、撮影映像に映る識別コード若しくはＡＲマーカーによって行われる。また、ビル等の不動産や固定物が３次元オブジェクトである場合には、ユーザ端末２０の位置情報と撮影方向の情報とで３次元オブジェクトを特定できる可能性があるので、ユーザ端末２０の位置情報と撮影方向の情報とで３次元オブジェクトの照会を行うこともあり得る。照会の結果、サーバ装置１０の３次元オブジェクト特定手段１２において３次元オブジェクトを一意に特定できた場合には、サーバ装置１０はユーザ端末２０に対して特定した３次元オブジェクトの情報を送信し、３次元オブジェクト特定部２４において３次元オブジェクトを特定する。

投影実行受付部２５は、撮影手段によって撮影される３次元オブジェクトに投影画像を重畳表示させて表示手段に表示させた状態にて投影実行入力を受付ける機能を有するユーザが投影画像を選択して表示手段としてのディスプレイ２２に表示させた状態にてカメラ装置２１によって撮影を行うモードとなる。カメラ装置２１の撮影映像には撮影範囲に存在する３次元オブジェクトが映り込む状況が生じる。すなわち、３次元オブジェクトに投影画像が重畳表示されることになる。このような状況において、ユーザが撮影方向を変えたり、ズーム機能によって３次元オブジェクトまでの遠近を調整したり、投影画像の表示サイズを調整したりすることで、３次元オブジェクトの任意の箇所に任意の大きさの投影画像が重畳表示された状況となるようにユーザが調整を行う。調整が完了した状況において、ユーザが投影実行入力を行うことで投影実行入力が受付けられる。投影実行入力は、例えば、表示画面上の投影画像をタップするといった入力が考えられる。

投影画像情報送信部２６は、投影実行入力がされた際に、３次元オブジェクトの何れの位置に投影画像が投影されたかを特定し、投影画像の情報と投影位置の情報を３次元オブジェクト情報に関連付けて登録可能なようにサーバ装置１０に対して送信する機能を有する。投影画像の投影は予め定めた方式に基づいて実行される。例えば、表示画面上の重畳関係をそのまま維持して投影前と投影後で撮影映像上の見た目が同じとなるように３次元オブジェクトに対して投影画像を貼り付ける処理が考えられる。また、投影画像が２以上のオブジェクトにまたがって投影されている場合には、投影画像を分割してそれぞれのオブジェクトに対して対応する箇所の画像を貼り付けるように処理を行う。投影画像の分割は、深度マップにおける深度が変化する境界箇所を分割箇所として抽出するといった処理が考えられる。また、３次元オブジェクトの投影される面がカメラ装置２１に対して正対せずに角度がついている場合には、投影画像は手前側と奥側とで異なる距離の位置に投影されることになるので、正確に投影すると、当該投影面を正面から見たときには歪んだ画像となる投影画像が貼り付けられることになる。このように、投影時の投影角度から見たときのみ正常なアスペクト比となるように投影するようにしてもよいし、面に対して正面から貼り付けるように投影するものであってもよい。

また、３次元オブジェクトに対して投影画像がどのように投影されたかを特定する手段はどのようなものであってもよいが、例えば、現実の３次元オブジェクトに対して仮想３次元オブジェクトモデルが重なるように配置して、仮想３次元オブジェクトモデルに対する投影画像の投影として特定するようにしてもよい。

投影画像重畳表示部２７は、投影画像が投影された３次元オブジェクトがユーザ端末２０の撮影手段によって撮影された場合に、ユーザ端末２０の表示手段に映る３次元オブジェクトに対して投影画像を重畳させて表示させる機能を有する。サーバ装置１０において３次元オブジェクト情報と投影画像情報とを関連付けて記憶させているので、ユーザ端末２０の撮影手段によって３次元オブジェクトが撮影された場合に、当該３次元オブジェクトについてサーバ装置１０に照会を行うことで、投影画像情報が関連付けられているか否かを特定することができ、投影画像情報が関連付けられている場合には、ユーザ端末２０において投影画像情報を取得して、表示手段としてのディスプレイ２２に映る３次元オブジェクトに対して関連付けられていた投影画像を重畳させて表示させる。これは、関連付けを行ったユーザ端末２０に限らず他のユーザ端末２０においても、投影画像情報が関連付けられている場合には重畳表示させる。これにより、投影画像を他のユーザと共有することが可能となる。

図４乃至図６は、本発明の実施形態の少なくとも一つに対応するＡＲ空間画像投影システムにおける画像投影の概念を説明するための説明図である。ＡＲ空間画像投影システム１００を利用して画像投影を行う場合、先ず、ユーザが、図４（ａ）に示すような投影画像Ｉを選択する。次に、図４（ｂ）に示すように、ユーザの近傍に３次元オブジェクトＡ及びＢが現に存在するとする。このとき、ユーザが、ＡＲ空間画像投影システム１００を利用して画像投影を行うためには、ユーザは、ＡＲ空間画像投影システム１００を利用するための専用アプリケーションを用いるなどして、カメラ装置２１によって３次元オブジェクトＡ及びＢを撮影するとともに、投影画像Ｉを表示画面に重畳表示させて、投影実行入力を行える状況を作る。図４（ｃ）は、投影実行入力を行う際の様子を表した一例である。

図４（ｃ）の状況で投影が実行されると、投影画像Ｉは、２つの３次元オブジェクトＡ及びＢにまたがって投影されることになる。このとき、図５（ａ）に示すように、ユーザ端末２０から３次元オブジェクトＡ及びＢまでの深度がそれぞれ異なるので、図５（ｃ）に示すように、２つの３次元オブジェクトＡとＢの境界箇所においては深度が大きく変化することになるので、この深度が大きく変化する境界線をもって投影画像Ｉを２つに分割する。分割して投影を実行すると、図５（ｃ）に示すように、３次元オブジェクトＡに対して投影される投影画像Ｉ_Ａと３次元オブジェクトＢに対して投影される投影画像Ｉ_Ｂとがそれぞれ投影される。

図６（ａ）は、３次元オブジェクトＡ及びＢのそれぞれに対して投影が完了した状態を表している。投影が完了した場合には、図６（ｂ）に示すように、３次元オブジェクトＡとＢの位置関係を変化させたとしても、３次元オブジェクトＡ及びＢそれぞれの姿勢状態を把握可能であれば、投影画像も常に最初の投影位置に投影された状態を維持したままとなる。このような構成を利用することで、図６（ｃ）に示すように、ＡＲ空間での画像投影の正しい位置関係を探すパズルゲームとしても利用することができる。また、このとき、ユーザ端末２０と３次元オブジェクトＡ及びＢとの投影時の相対的位置関係も併せて投影画像情報としてサーバ装置１０において登録するようにすれば、投影実行した際の相対的位置関係を当てることもゲームの一部として採用することができる。

次に、本例のＡＲ空間画像投影システム１００において行われる投影画像登録処理の流れについて説明を行う。図７は、本発明の実施形態の少なくとも一つに対応する投影画像登録処理の例を示すフローチャートである。以下、サーバ装置１０とユーザ端末２０とが、投影画像登録処理を実行する場合を例にして説明する。

図７に示すように、投影画像登録処理は、先ず、ユーザ端末２０が深度マップを取得することで開始される（ステップＳ１１）。次に、ユーザ端末２０は、カメラ装置２１によって撮影する撮影映像に映る３次元オブジェクトを抽出してサーバ装置１０に対して照会処理を実行する（ステップＳ１２）。サーバ装置１０は、照会の際に与えられた情報を用いて３次元オブジェクトの特定を行い、特定結果をユーザ端末２０に対して送信する。（ステップＳ１３）。次に、ユーザ端末２０は、ユーザによる投影画像の指定を受付け、撮影画像を表示する表示画面に投影画像を重畳表示させる（ステップＳ１４）。そして、ユーザ端末２０は、ユーザによる投影実行入力を受付ける（ステップＳ１５）。投影が実行されると、３次元オブジェクトに対する投影画像の投影位置が確定するので、この投影位置の情報等を投影画像自体の内容の情報と併せて投影画像情報として登録するためにサーバ装置１０に送信する（ステップＳ１６）。サーバ装置１０は、投影画像の内容と投影位置の情報を投影画像情報として３次元オブジェクト情報と関連付けて登録して記憶させ（ステップＳ１７）、投影画像登録処理を終了する。

次に、本例のＡＲ空間画像投影システム１００において行われる投影画像重畳表示処理の流れについて説明を行う。図８は、本発明の実施形態の少なくとも一つに対応する投影画像重畳表示処理の例を示すフローチャートである。以下、サーバ装置１０とユーザ端末２０とが、投影画像登録処理を実行する場合を例にして説明する。

図８に示すように、投影画像重畳表示処理は、先ず、ユーザ端末２０が深度マップを取得することで開始される（ステップＳ２１）。次に、ユーザ端末２０は、カメラ装置２１によって撮影する撮影映像に映る３次元オブジェクトを抽出してサーバ装置１０に対して照会処理を実行する（ステップＳ２２）。サーバ装置１０は、照会の際に与えられた情報を用いて３次元オブジェクトの特定を行い、特定結果をユーザ端末２０に対して送信する（ステップＳ２３）。また、特定した３次元オブジェクトに対して投影画像情報が関連付けて登録されている場合には、サーバ装置１０は、関連付けて登録されている投影画像情報をユーザ端末２０に対して送信する（ステップＳ２４）。ユーザ端末２０は、現在の３次元オブジェクトの姿勢状態を特定し、現在の姿勢状態において投影画像が投影された箇所が表示範囲に含まれるか否かを判定して、含まれる場合には、投影画像を３次元オブジェクトの投影位置に対して重畳表示させ（ステップＳ２５）、投影画像重畳表示処理を終了する。

以上のように、本例のＡＲ空間画像投影システム１００によれば、深度マップ取得手段によって撮影手段によって撮影される範囲の深度マップを取得し、３次元オブジェクト特定手段を利用して撮影手段によって撮影される範囲に存在する少なくとも１以上の３次元オブジェクトを特定し、投影画像の指定を受付け、撮影手段によって撮影される３次元オブジェクトに投影画像を重畳表示させて表示手段に表示させた状態にて投影実行入力を受付け、投影実行入力がされた際に、３次元オブジェクトの何れの位置に投影画像が投影されたかを特定し、投影画像の情報と投影位置の情報を３次元オブジェクト情報に関連付けて登録し、投影画像が投影された３次元オブジェクトがユーザ端末の撮影手段によって撮影された場合に、ユーザ端末の表示手段に映る３次元オブジェクトに対して投影画像を重畳表示するようにしたので、現実世界に配置された実在のオブジェクトに対してユーザ端末から仮想的に投影された投影画像を拡張現実技術によって複数のユーザと共有可能となる。

以上に説明したように、本願の各実施形態により１または２以上の不足が解決される。なお、夫々の実施形態による効果は、非限定的な効果または効果の一例である。

１００ ＡＲ空間画像投影システム
１０ サーバ装置
１１ 記憶部
１２ ３次元オブジェクト特定手段
１３ 投影画像登録部
２０、２０１～２０ｎ ユーザ端末
２１ カメラ装置
２２ ディスプレイ
２３ 深度マップ取得部
２４ ３次元オブジェクト特定部
２５ 投影実行受付部
２６ 投影画像情報送信部
２７ 投影画像重畳表示部
３０ 通信ネットワーク

Claims (4)

1. 複数の３次元オブジェクト情報を格納したサーバ装置と、撮影手段及び表示手段を備えた１以上のユーザ端末とを含むＡＲ空間画像投影システムであって、
   深度マップ取得手段によって前記撮影手段によって撮影される範囲の深度マップを取得する深度マップ取得部と、
   ３次元オブジェクト特定手段を利用して前記撮影手段によって撮影される範囲に存在する少なくとも１以上の３次元オブジェクトを特定する３次元オブジェクト特定部と、
   投影画像の指定を受付ける投影画像指定受付部と、
   前記撮影手段によって撮影された撮影画像に写る前記３次元オブジェクトに前記投影画像を重畳表示させて表示手段に表示させた状態にて投影実行入力を受付ける投影実行受付部と、
   投影実行入力がされた際に、前記撮影画像に写る前記３次元オブジェクトと前記投影画像との位置関係及び前記深度マップに基づいて前記３次元オブジェクトの何れの位置に前記投影画像が投影されたかを特定し、前記投影画像の情報と投影位置の情報を前記３次元オブジェクト情報に関連付けて前記サーバ装置に対して登録する投影画像情報登録部と、
   前記投影画像が投影された３次元オブジェクトが少なくとも１以上の前記ユーザ端末の撮影手段によって撮影された場合に、前記サーバ装置に登録されている前記投影画像の情報及び前記投影位置の情報に基づいて、少なくとも１以上の前記ユーザ端末の表示手段に映る前記３次元オブジェクトに対して前記投影画像を重畳表示する投影画像重畳表示部とを備え、
   前記投影画像情報登録部は、前記深度マップの深度が所定値以上変化する境界個所と前記投影画像の投影個所が重なる場合、当該境界個所で前記投影画像を分割した上でそれぞれ前記３次元オブジェクト情報に関連付けて登録する
   ＡＲ空間画像投影システム。
2. 前記投影画像情報登録部は、投影実行時のユーザ端末と３次元オブジェクトとの相対的位置関係についても投影画像情報として登録する
   請求項１記載のＡＲ空間画像投影システム。
3. 複数の３次元オブジェクト情報を格納したサーバ装置と、撮影手段及び表示手段を備えた１以上のユーザ端末とを用いたＡＲ空間画像投影方法であって、
   深度マップ取得手段によって前記撮影手段によって撮影される範囲の深度マップを取得する深度マップ取得手順と、
   ３次元オブジェクト特定手段を利用して前記撮影手段によって撮影される範囲に存在する少なくとも１以上の３次元オブジェクトを特定する３次元オブジェクト特定手順と、
   投影画像の指定を受付ける投影画像指定受付手順と、
   前記撮影手段によって撮影された撮影画像に写る前記３次元オブジェクトに前記投影画像を重畳表示させて表示手段に表示させた状態にて投影実行入力を受付ける投影実行受付手順と、
   投影実行入力がされた際に、前記撮影画像に写る前記３次元オブジェクトと前記投影画像との位置関係及び前記深度マップに基づいて前記３次元オブジェクトの何れの位置に前記投影画像が投影されたかを特定し、前記投影画像の情報と投影位置の情報を前記３次元オブジェクト情報に関連付けて前記サーバ装置に対して登録する投影画像情報登録手順と、
   前記投影画像が投影された３次元オブジェクトが少なくとも１以上の前記ユーザ端末の撮影手段によって撮影された場合に、前記サーバ装置に登録されている前記投影画像の情報及び前記投影位置の情報に基づいて、少なくとも１以上の前記ユーザ端末の表示手段に映る前記３次元オブジェクトに対して前記投影画像を重畳表示する投影画像重畳表示手順とを含み、
   前記投影画像情報登録手順では、前記深度マップの深度が所定値以上変化する境界個所と前記投影画像の投影個所が重なる場合、当該境界個所で前記投影画像を分割した上でそれぞれ前記３次元オブジェクト情報に関連付けて登録する
   ＡＲ空間画像投影方法。
4. 複数の３次元オブジェクト情報を格納したサーバ装置と、撮影手段及び表示手段を備えた１以上のユーザ端末とを含むＡＲ空間画像投影システムにおけるユーザ端末であって、
   深度マップ取得手段によって前記撮影手段によって撮影される範囲の深度マップを取得する深度マップ取得部と、
   ３次元オブジェクト特定手段を利用して前記撮影手段によって撮影される範囲に存在する少なくとも１以上の３次元オブジェクトを特定する３次元オブジェクト特定部と、
   投影画像の指定を受付ける投影画像指定受付部と、
   前記撮影手段によって撮影された撮影画像に写る前記３次元オブジェクトに前記投影画像を重畳表示させて表示手段に表示させた状態にて投影実行入力を受付ける投影実行受付部と、
   投影実行入力がされた際に、前記撮影画像に写る前記３次元オブジェクトと前記投影画像との位置関係及び前記深度マップに基づいて前記３次元オブジェクトの何れの位置に前記投影画像が投影されたかを特定し、前記投影画像の情報と投影位置の情報を前記３次元オブジェクト情報に関連付けて登録するように前記サーバ装置に対して送信する投影画像情報送信部と、
   前記投影画像が投影された３次元オブジェクトが少なくとも１以上の前記ユーザ端末の撮影手段によって撮影された場合に、前記サーバ装置に登録されている前記投影画像の情報及び前記投影位置の情報に基づいて、少なくとも１以上の前記ユーザ端末の表示手段に映る前記３次元オブジェクトに対して前記投影画像を重畳表示する投影画像重畳表示部とを備え、
   前記投影画像情報送信部は、前記深度マップの深度が所定値以上変化する境界個所と前記投影画像の投影個所が重なる場合、当該境界個所で前記投影画像を分割した上でそれぞれ前記３次元オブジェクト情報に関連付けて登録するように前記サーバ装置に対して送信する
   ユーザ端末。

Images