WO2022074791A1

WO2022074791A1 - ３次元拡張現実処理システム、３次元拡張現実処理方法、及び３次元拡張現実処理システムのユーザインターフェース装置

Info

Publication number: WO2022074791A1
Application number: PCT/JP2020/038163
Authority: WO
Inventors: 治川前; 万寿男奥
Original assignee: マクセル株式会社
Priority date: 2020-10-08
Filing date: 2020-10-08
Publication date: 2022-04-14

Abstract

背景画像に３次元拡張現実オブジェクトを配置して、合成する３次元拡張現実処理システムであって、ディスプレイ、ユーザの操作内容を示す操作信号を生成して出力する操作信号出力器、及びプロセッサを含み、プロセッサは、背景画像に含まれる現実オブジェクトの奥行き情報を解析し、背景画像に合成される３次元拡張現実オブジェクトの奥行き情報を示す操作信号を取得し、操作信号が示す奥行き情報及び現実オブジェクトの奥行き情報を比較して３次元拡張現実オブジェクト及び現実オブジェクトのオクルージョン処理を行って背景画像に３次元拡張現実オブジェクトを合成し、３次元拡張現実オブジェクトが合成された背景画像をディスプレイに表示する。

Description

３次元拡張現実処理システム、３次元拡張現実処理方法、及び３次元拡張現実処理システムのユーザインターフェース装置

　本発明は、背景画像に３次元拡張現実オブジェクトを付与する３次元拡張現実処理システム、方法、及び３次元拡張現実処理システムのユーザインターフェース装置に関する。

　現実空間のカメラ撮影画像などの背景画像にＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）で作成したＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）オブジェクトを付与することが、ゲーム、保守作業、観光ガイド等のコンテンツに用いられている。

　特許文献１には、「ＭＲ表示装置は、他の体験者が装着する他のＭＲ表装置と接続して現実映像と仮想物体の映像を互いに共有する構成であって、カメラで撮影した現実映像から現実物体を認識し、体験者の操作に基づき、現実物体に所定の仮想物体を紐付けるコントローラと、紐付けされた仮想物体の映像を表示する表示部と、を備える。コントローラは、通信器を介して他のＭＲ表示装置が生成した現実物体の認識結果及び紐付けした仮想物体のデータを取得し、取得したデータと自身のデータとを合成して、合成した映像を表示部に表示すると共に、体験者の操作に基づき、表示部に表示された映像に対して、現実物体に紐付けする仮想物体の編集が可能である（要約抜粋）」との記載がある。

　また、特許文献２には、「２次元映像から３次元映像への変換処理（動きベクトルや高周波成分の抽出）の情報から画面の奥行き情報を取得し、その情報を基に３次元映像になるように画素を移動させ、その物体位置情報及び奥行き情報が抽出できる。」との記載がある。

国際公開第２０２０／１６１８１６号特開２０１１－２３４１３８号公報

　特許文献１では、ユーザはＨＭＤを装着する必要があり、装備が大掛かりになるという課題がある。更に背景画像がユーザの居る場所に限定されるという課題がある。また特許文献１、２には、複数のユーザが同じ背景画像を、同時に制御することの開示はない。

　本発明は、２次元背景画像の奥行き情報を得る方法を適用して、上記課題を解決する３次元拡張現実処理システム、方法、及び３次元拡張現実処理システムのユーザインターフェースを提供することを目的とする。

　上記課題を解決するために、本発明は、特許請求の範囲に記載の構成を備える。その一例をあげるならば、本発明は、背景画像に３次元拡張現実オブジェクトを配置して、合成する３次元拡張現実処理システムであって、ディスプレイ、ユーザの操作内容を示す操作信号を生成して出力する操作信号出力器、及び前記ディスプレイと前記操作信号出力器とのそれぞれに接続され、前記操作信号を取得して前記ディスプレイの表示制御を行うプロセッサを含み、前記プロセッサは、前記背景画像を読み込み、前記背景画像において被写体が撮像された領域からなる少なくとも１つ以上の現実オブジェクトを抽出すると共に、前記現実オブジェクトのそれぞれについての奥行き情報を解析した結果を読み込み、前記背景画像に合成される前記３次元拡張現実オブジェクトを読み込み、前記３次元拡張現実オブジェクトの奥行き情報を示すユーザの操作に基づいて前記操作信号出力器が生成した前記操作信号を取得し、前記操作信号が示す奥行き情報及び前記現実オブジェクトの奥行き情報を比較して、前記３次元拡張現実オブジェクト及び前記現実オブジェクトのオクルージョン処理を行って、前記背景画像に前記３次元拡張現実オブジェクトを合成し、前記３次元拡張現実オブジェクトが合成された前記背景画像を前記ディスプレイに表示する、ことを特徴とする。

　本発明によれば、２次元背景画像の奥行き情報を得る方法を適用して、上記課題を解決する３次元拡張現実処理システム、方法、及び３次元拡張現実処理システムのユーザインターフェースを提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第一の実施形態に係る３次元拡張現実処理システムの概要図。ディスプレイと携帯情報デバイスの表示画面とユーザ操作の例を示す図。図２Ａから少し時間が経過した時のディスプレイに表示されるシーンを示す図。第一の実施形態に係る携帯情報デバイスのブロック図。第一の実施形態に係る３ＤＡＲ制御アプリのフローチャート。第一の実施形態に係るサービスサーバのブロック図。第一の実施形態に係る３ＤＡＲサービスサーバが提供する３ＤＡＲサービスのフローチャート。第一の実施形態に係る背景画像サービスサーバが提供する背景画像サービスのフローチャート。第一の実施形態に係る画像解析サービスサーバが提供する画像解析サービスのフローチャート。第一の実施形態に係る合成画像サービスサーバが提供する合成画像サービスのフローチャート。第二の実施形態に係る３次元拡張現実処理システムの概要図。第二の実施形態に係る３ＤＡＲサービスサーバが提供する３ＤＡＲサービスのフローチャート。第二の実施形態に係る合成画像サービスサーバが提供する合成画像サービスのフローチャート。第二の実施形態に係るディスプレイと２つの携帯情報デバイスの表示画面を示す図。第三の実施形態に係るディスプレイと携帯情報デバイスの表示画面を示す図。第三の実施形態に係る合成画像サービスサーバ８提供する合成画像サービスのフローチャート。第四の実施形態に係る３次元拡張現実処理システムの概要図。第四の実施形態に係る合成画像サービスサーバのブロック図。第四の実施形態に係る合成画像サービスサーバと携帯情報デバイスの関係図。第四の実施形態に係るユーザ制御の例を示す図。第四の実施形態に係るユーザ制御の例を示す図。第四の実施形態に係る携帯情報デバイスの位置と姿勢情報の例を示す図。

　以下、図面を参照しながら本発明の実施形態について説明する。以下の説明において同一の構成、ステップには同一の符号を付し、重複説明を省略する。

［第一の実施形態］
　図１から図９で、第一の実施形態である３次元拡張現実処理システム、方法、及び３次元拡張現実処理システムのユーザインターフェース装置について説明する。

（システム構成と表示画面）
　図１は、第一の実施形態に係る３次元拡張現実処理システム１００の概要図である。

　図１に示すように、３次元拡張現実処理システム１００は、背景画像サービスサーバ５、画像解析サービスサーバ６、３次元拡張現実サービスサーバ（以下「３ＤＡＲサービスサーバ」という）７、合成画像サービスサーバ８、及びユーザ１が操作する携帯情報デバイス２（ユーザインターフェース装置に相当する）、ユーザ１が視認するディスプレイ３のそれぞれが、ネットワーク４を介して互いに通信接続されて構成される。図１では、背景画像サービスサーバ５、画像解析サービスサーバ６、３ＤＡＲサービスサーバ７、合成画像サービスサーバ８を別体に記載しているが、各機能を単一のハードウェアからなるサーバに搭載してもよいし、同一のプロセッサで各サービスサーバの機能を実行してもよい。

　ユーザ１は、携帯情報デバイス２を操作して、背景画像サービスサーバ５、画像解析サービスサーバ６、３ＤＡＲサービスサーバ７、合成画像サービスサーバ８にアクセスする。

　携帯情報デバイス２は、背景画像サービスサーバ５から背景画像を、３ＤＡＲサービスサーバ７からは３次元拡張現実オブジェクト（以下「３ＤＡＲオブジェクト」と記載する）の画像を得て、背景画像及び３ＤＡＲオブジェクトを合成画像サービスサーバ８に転送する。合成画像サービスサーバ８は、背景画像に３ＤＡＲオブジェクトを合成し、ディスプレイ３に表示させる。

　画像解析サービスサーバ６は背景画像を解析して、被写体（現実物体）が撮像された領域からなる現実オブジェクトの抽出と、抽出した現実オブジェクトの奥行き情報の推定を行う。ここでいう背景画像は必ずしも奥行き情報を有する画像でなくてもよく、単視点画像、すなわち奥行き情報を有していない画像でもよい。画像解析サービスサーバ６が単視点画像から奥行き情報を解析する手法は、特許文献２のような公知の技術を適宜用いればよい。

　合成画像サービスサーバ８は、３ＤＡＲオブジェクトと現実オブジェクトの奥行き情報を比較してオクルージョン処理を行う。ここでは、説明のために現実オブジェクトの抽出としたが、実際には現実オブジェクトに限定せず、奥行き情報が推定できるのであれば、仮想的な物体や拡張現実の物体を重畳（合成）してもよい。

　図２Ａは、ディスプレイ３と携帯情報デバイス２の表示画面とユーザ操作の例を示す図である。

　ディスプレイ３では、画面全体に背景画像３０が表示され、背景画像３０には、背景とその前面の被写体、例えば複数の人物、車、建物、道路などの被写体像が映り込んでいる。背景画像３０からは、背景が撮像された領域からなる背景オブジェクトと、背景よりも前面に撮像された被写体像からなる被写体オブジェクトとがある。従って背景画像３０には、背景オブジェクトと被写体オブジェクトとの２種類の現実オブジェクトが含まれる。以下の説明において、現実オブジェクトという場合は、背景オブジェクトと被写体オブジェクトの双方を含む場合がある。ここでは、被写体オブジェクトのうちの一つである手前の人物３１ａに自転車の３ＤＡＲオブジェクト７１ａが紐付けて表示されている。３ＤＡＲオブジェクト７１ａは、現実オブジェクトの人物３１ａの奥、かつ、現実オブジェクトの建物３２の前に配置されており、オクルージョン処理の結果、３ＤＡＲオブジェクト７１ａの一部は人物３１ａに隠される。

　携帯情報デバイス２の画面には、３ＤＡＲオブジェクト７０と、３ＤＡＲサービスサーバ７へのアクセス釦２０、背景画像サービスサーバ５へのアクセス釦２１が表示されており、３ＤＡＲオブジェクト７０やディスプレイ３に表示する背景画像３０の選択を行う。

　また、図示しないが背景画像が動画の場合には、再生や一時停止、停止などの操作を行うボタンを備えても良い。

　ユーザ１の指１０は、携帯情報デバイス２に置かれ、携帯情報デバイス２の表示画面の下層にはタッチセンサ２０６（図３参照）を備え、タッチセンサ２０６上を動かし各種操作入力を行う。図２Ａにて、携帯情報デバイス２に表示される３ＤＡＲオブジェクト７０とディスプレイ３に表示される３ＤＡＲオブジェクト７１ａは同一のものであり、携帯情報デバイス２に読み出した３ＤＡＲオブジェクト７０を、ディスプレイ３で現実オブジェクトである人物３１ａに紐付けして配置し、表示させたものが３ＤＡＲオブジェクト７１ａである。タッチセンサ２０６はユーザの操作入力を取得して操作内容を検出し、操作内容を示す操作信号を生成して出力するので操作信号出力器に相当する。

　指１０での制御の一例を動作説明２２と部分拡大図２３に記している。動作説明２２は、指１０の動きに対する制御の例の説明であり、例えば、ピッチアウトで３ＤＡＲオブジェクトを拡大し、ピッチインで縮小する。スワイプでは、３ＤＡＲオブジェクトを平行移動させ、指１０で円弧を描くと、３ＤＡＲオブジェクトが回転する。

　部分拡大図２３は、ピッチアウト、ピッチインで３ＤＡＲオブジェクト７２ａを拡大７２ｃ、縮小７２ｂさせる様子を示している。なお、一度３ＤＡＲオブジェクト７０を紐付けして背景画像３０に表示させた後では、携帯情報デバイス２で行う３ＤＡＲオブジェクト７０の制御（表示位置、大きさ）は、ディスプレイ３上の３ＤＡＲオブジェクト７１ａの表示にも直ちに反映される。３ＤＡＲオブジェクト７０の表示位置には、背景画像３０における奥行き方向の位置も含む。

　図２Ｂは、図２Ａから少し時間が経過した時のディスプレイ３に表示されるシーンを示す図である。左車線の車両が画面の奥に進み、右車線の車両が近づいている。また、現実オブジェクトである人物３１ｂは、図２Ａの人物３１ａが移動したものであり、それに紐付けられている３ＤＡＲオブジェクト７１ｂも一緒に移動している。ここで、図２Ａの人物３１ａの映像の中での奥行きを含めた位置を求め、その位置座標を（ｘ０，ｙ０，ｚ０）とすると、図２Ｂでは時間が進んだことで、（ｘ１，ｙ１，ｚ１）に移動している。ここでの人物３１ａの移動量は、（ｘ１－ｘ０，ｙ１－ｙ０、ｚ１－ｚ０）で表すことができる。そのため、現実オブジェクトからなる人物３１ａに紐付けれている３ＤＡＲオブジェクト７１ａも、同じ距離を移動し、図２Ｂに示したように、人物３１ｂの横に配置される。この時、人物３１の大きさの変化量や、建物３２の縮尺により、（ｘ０，ｙ０，ｚ０）と（ｘ１，ｙ１，ｚ１）の２点間での縮尺の変化も求めることができ、３ＤＡＲオブジェクト７１ａの大きさも同じように変化させて合成して表示する。

（構成装置のブロック図と処理フロー）
　図３は、第一の実施形態に係る携帯情報デバイス２のブロック図である。携帯情報デバイス２は、スマートフォン、タブレットＰＣ等である。

　図３にて、携帯情報デバイス２は、カメラ２０１、一体型ディスプレイ２０２、加速度センサ２０３ａ、ジャイロセンサ２０３ｂ、方位センサ２０３ｃを含むセンサ群２０３、マイク２０４、スピーカ２０５、一体型ディスプレイ２０２に積層されるタッチセンサ２０６（入力デバイスの一例である）、ネットワーク４に接続するＷｉｆｉ（登録商標）に準拠した通信器やディスプレイ３と接続するＢｌｕｅｔｏｏｔｈ（登録商標）等の近接無線通信器を含む通信器２０７は、ＣＰＵやＭＰＵ、ＧＰＵなどのプロセッサ２０８、メモリとしてのＲＡＭ２０９、画像ＲＡＭ２１０、フラッシュメモリ２１１を含み、これらが内部バス２００により互いに通信接続される。

　通信器２０７は、無線ＬＡＮ、あるいはモバイル通信等の通信処理の中から適切な処理を選択して、ネットワーク４に接続する。

　フラッシュメモリ２１１には、処理プログラムとして、基本動作プログラム２１２、３ＤＡＲ制御アプリケーション（アプリと略す）２１３を含み、これら処理プログラムは、ＲＡＭ２０９に展開されて、プロセッサ２０８で実行される。

　更にフラッシュメモリ２１１には、処理プログラムを実行するのに必要なデータを保存データ２１４として保持する。フラッシュメモリ２１１は、フラッシュメモリ以外の不揮発性のメモリ媒体であっても良い。また一体型ディスプレイ２０２に表示する画像データは、画像ＲＡＭ２１０に格納した後、読み出す。

　図４は、第一の実施形態に係る３ＤＡＲ制御アプリ２１３のフローチャートである。

　Ｓ１００で処理を開始する。プロセッサ２０８は、背景画像サービスサーバ５、画像解析サービスサーバ６、３ＤＡＲサービスサーバ７、合成画像サービスサーバ８から提供される各種サービスにログインする（Ｓ１０１）。ログインは、各サーバに別々に行ってもよいが、図示はしていないログインサービスサーバにログインして、一括で行うようにしてもよい。

　ユーザは、背景画像サービスサーバ５にアクセスして背景画像を選択する（Ｓ１０２）。

　プロセッサ２０８は、タッチセンサ２０６から入力されたユーザ操作の内容を識別する（Ｓ１０３）。

　ユーザ操作が３ＤＡＲサービスサーバ７に対する新しい３ＤＡＲオブジェクトの選択操作である場合（Ｓ１０３：３ＤＡＲＯ選択）、３ＤＡＲサービスサーバ７にオブジェクトの選択要求をプロセッサ２０８から送信する。３ＤＡＲサービスサーバ７は、要求に応じて３ＤＡＲオブジェクトを携帯情報デバイス２に送信し、携帯情報デバイス２が受信する（Ｓ１０５）。そして、プロセッサ２０８は次のユーザ操作を待つ。

　ユーザ操作が選択済みの３ＤＡＲオブジェクトの拡大縮小、平行移動、回転移動等の表示制御操作である場合（Ｓ１０３：表示制御操作）、ユーザ操作を３ＤＡＲサービスサーバ７へ送信する（Ｓ１０４）。

　３ＤＡＲサービスサーバ７は、ユーザ操作に応じて３ＤＡＲオブジェクトの拡大、縮小、平行移動、回転移動を行い、再描画した３ＤＡＲオブジェクトを携帯情報デバイス２に返送し、携帯情報デバイス２が受信する（Ｓ１０５）。プロセッサ２０８は、受信した３ＤＡＲオブジェクトを一体型ディスプレイ２０２に表示する。

　ここでは、ユーザからの操作に応じた３ＤＡＲオブジェクトへの拡大縮小や移動等の変換処理を３ＤＡＲサービスサーバ７で行う例で示したが、携帯情報デバイス２に３ＤＡＲオブジェクトのデータを取り込み、携帯情報デバイス２で同様の処理を行った後に、３ＤＡＲサービスサーバ７もしくは合成画像サービスサーバ８に送っても良い。

　ユーザ操作が終了すると（Ｓ１０３：終了）、ユーザは、背景画像に撮像された複数の被写体像の中から、３ＤＡＲオブジェクトを紐付けたい被写体像を選択し、３ＤＡＲオブジェクトと被写体像（現実オブジェクト）への紐付け操作を行う（Ｓ１０６）。プロセッサ２０８は、紐付けを規定した紐付け情報を合成画像サービスサーバ８に送信する。

　プロセッサ２０８は、現実オブジェクトの移動を伴う３ＤＡＲオブジェクトの移動が生じると移動量を検出する（Ｓ１０７：Ｙｅｓ）。移動量が検出される場合とは、例えば背景画像３０が複数のフレームからなる動画像であり、そのうちの一フレームで現実オブジェクトと３ＤＡＲオブジェクトとを紐付け、そのフレームとは異なる別のフレームに撮像された現実オブジェクトがフレーム間で移動している場合である。その場合、フレーム間での現実オブジェクトの移動量をプロセッサ２０８が算出する。

　現実オブジェクトの移動は、平行移動だけでなく、回転移動もある。回転移動した場合には、現実オブジェクトに付随して回転移動する３ＤＡＲオブジェクトの回転角度を検出する。また、現実オブジェクトが奥行き方向に移動した場合には、現実オブジェクトの移動距離を求め、移動距離に応じた３ＤＡＲオブジェクトの拡大率、縮小率を決定する。

　プロセッサ２０８は、通信器２０７を介して決定した３ＤＡＲオブジェクトの移動量を３ＤＡＲサービスサーバ７に送信する（Ｓ１０８）。

　３ＤＡＲサービスサーバ７は、受信した移動量に応じて３ＤＡＲオブジェクトの画像データを変換し、携帯情報デバイス２に送信し、携帯情報デバイス２が受信する（Ｓ１０９）。そしてステップＳ１０７へ戻る。

　現実オブジェクトの移動量を検出せず（Ｓ１０７：Ｎｏ）、３ＤＡＲ制御アプリ２１３の終了操作が行われると（Ｓ１１０：Ｙｅｓ）、処理を終了する（Ｓ１１１）。

　３ＤＡＲ制御アプリ２１３の終了操作が行われなければ（Ｓ１１０：Ｎｏ）、ステップＳ１０２へ戻る。

　図５は、第一の実施形態に係るサービスサーバ、より詳しくは背景画像サービスサーバ５、画像解析サービスサーバ６、３ＤＡＲサービスサーバ７、及び合成画像サービスサーバ８のブロック図である。背景画像サービスサーバ５、画像解析サービスサーバ６、３ＤＡＲサービスサーバ７、合成画像サービスサーバ８のハードウェア構成は同一であるので、図５を兼用して説明する。

　背景画像サービスサーバ５、画像解析サービスサーバ６、３ＤＡＲサービスサーバ７、合成画像サービスサーバ８のそれぞれは、ネットワーク４に通信接続するためのネットワークＩＦ５０１、プロセッサ５０２、ＲＡＭ５０３、ストレージ５０４を含み、これらが内部バス５００を介して互いに接続されて構成される。

　ストレージ５０４はフラッシュメモリのほか、ハードディスクドライブ等と組み合わせたものであってもよい。ストレージ５０４は、処理プログラムとして、基本動作プログラム５０５、サービスプログラム５０６を含み、プロセッサ５０２がＲＡＭ５０３にプログラムを展開して実行する。更に処理プログラムを実行するのに必要なデータを保存データ５０７として保持する。サービスプログラム５０６及び保存データ５０７は、背景画像サービスサーバ５、画像解析サービスサーバ６、３ＤＡＲサービスサーバ７、及び合成画像サービスサーバ８の機能及び処理内容に合わせて各サーバによって異なる。

　サービスプログラム５０６は、背景画像サービスプログラム、画像解析サービスプログラム、３ＤＡＲサービスプログラム、及び合成画像サービスプログラムである。図１では、それぞれ異なるサービスサーバとして示したが、同じサーバ内で複数の処理プログラムを実行させることで全てを別のサーバで処理しなくてもよい。

　図６は、第一の実施形態に係る３ＤＡＲサービスサーバ７が提供する３ＤＡＲサービスのフローチャートである。Ｓ２００で処理を開始し、３ＤＡＲサービスサーバ７が携帯情報デバイス２のログイン受付処理を行い（Ｓ２０１）、サービスの提供を開始する。

　３ＤＡＲサービスサーバ７は、携帯情報デバイス２の３ＤＡＲ制御アプリ２１３から受信した受信信号、若しくは画像解析サービスサーバ６から受信した受信信号を識別する（Ｓ２０２）。

　受信した信号が新しい３ＤＡＲオブジェクトの選択を示す操作信号であれば（Ｓ２０２：３ＤＡＲＯの選択操作）、３ＤＡＲサービスサーバ７は、選択操作が示す新たな３ＤＡＲオブジェクトのデフォルト画像（等倍、回転角度０度の画像）の画像データを読み出し（Ｓ２０３）、携帯情報デバイス２と合成画像サービスサーバ８へ送信する（Ｓ２０５）。本例では、携帯情報デバイス２と合成画像サービスサーバ８へ送信するとしたが、携帯情報デバイス２のみに、又は合成画像サーバのみに送信してもよい。

　受信した信号が、携帯情報デバイス２からの表示制御操作信号、又は、画像解析サービスサーバ６からの３ＤＡＲオブジェクトに紐付けられた現実オブジェクトの移動量を示す移動量情報である場合は（Ｓ２０２：表示制御操作信号ｏｒ移動量情報）、受信した表示制御操作信号又は移動量情報に基づき、選択済の３ＤＡＲオブジェクトを拡大縮小、平行移動、回転移動等の再描画を行い（Ｓ２０４）携帯情報デバイス２と合成画像サービスサーバ８へ送信する（Ｓ２０５）。本例では、携帯情報デバイス２と合成画像サービスサーバ８へ送信するとしたが、携帯情報デバイス２のみ、又は合成画像サービスサーバ８のみに送信してもよい。表示制御操作信号は、３ＤＡＲオブジェクトの配置位置や奥行き情報を含む配置データ、及び紐付ける現実オブジェクトを示す情報の少なくとも一つ以上を含む。

　受信した信号が、携帯情報デバイス２からのサービスの終了を指示する終了操作信号である場合は（Ｓ２０２：終了操作信号）、ログアウトし、終了する（Ｓ２０６）。

　また、図４の３ＤＡＲ制御アプリ２１３の説明でも示したが、図６の処理を携帯情報デバイス２上で行っても良く、ユーザ操作もしくは３ＤＡＲオブジェクトの移動情報に基づいて変換した画像を再描画したものを３ＤＡＲサービスサーバ７と合成画像サービスサーバ８に送るようにしてもよい。

　図７は、第一の実施形態に係る背景画像サービスサーバ５が提供する背景画像サービスのフローチャートである。Ｓ３００で処理を開始し、携帯情報デバイス２のログイン受付処理を行い（Ｓ３０１）、サービスの提供を開始する。

　携帯情報デバイス２から、もしくはユーザが合成画像サービスサーバ８を操作して背景画像を選択し、その背景画像の選択指示をして生成された選択信号を受信し（Ｓ３０２）、選択信号に応じて背景画像データを読み込み（Ｓ３０３）、読み込んだ背景画像データを画像解析サービスサーバ６に送信する（Ｓ３０４）。

　背景画像サービスサーバ５は、画像解析サービスサーバ６から解析データを受信し（Ｓ３０５）、背景画像３０のメタデータとして解析データを添付して背景画像３０を更新すると共に、合成画像サービスサーバ８にメタデータを添付した背景画像データを送信する（Ｓ３０６）。

　携帯情報デバイス２からの終了信号があるまでは（Ｓ３０７：Ｎｏ）、ステップＳ３０３へ戻り、背景画像３０の読み込みを繰り返す。背景画像３０が動画像である場合、この繰り返しは、動画像のフレーム周期、もしくはその整数倍の周期で行われるが、動画像の全体を読み込む場合もある。

　携帯情報デバイス２からの終了信号があれば（Ｓ３０７：Ｙｅｓ）、ログアウトし、終了する（Ｓ３０８）。

　図８は、第一の実施形態に係る画像解析サービスサーバ６が提供する画像解析サービスのフローチャートである。Ｓ４００で処理を開始し、Ｓ４０１でログイン受付処理を行い、サービスの提供を開始する。画像解析サービスサーバ６は、背景画像サービスサーバ５から背景画像データを受信し（Ｓ４０２）、Ｓ４０３～Ｓ４０５の解析ステップで画像解析を行う。

　画像解析サービスサーバ６は、背景画像の特徴点を抽出する（Ｓ４０３）。特徴点の抽出は、現実物体等の輪郭（エッジ）を抽出し、輪郭の変曲点や頂点を特徴点とする。

　続いて画像解析サービスサーバ６は、輪郭を構成するこれら特徴点の集合から、現実オブジェクトが何であるかを認識する（Ｓ４０４）。

　更に画像解析サービスサーバ６は、認識された現実オブジェクトの形状や大きさなどを参考に、特徴点の奥行きを推定し奥行き情報とする（Ｓ４０５）。これら解析結果を示す解析データは、背景画像サービスサーバ５に送信される（Ｓ４０６）。

　３次元拡張現実オブジェクトを紐付けるオブジェクトは、現実物体に対応する現実オブジェクトでもよいし、仮想オブジェクトでもよい。また、現実オブジェクトは、背景に対応する背景オブジェクトと背景よりも前面に撮像された被写体オブジェクトでもよい。３次元拡張現実オブジェクトに更に３次元拡張現実オブジェクトを紐付ける場合は、複数の３次元拡張現実オブジェクトのそれぞれの奥行き情報を参照し、複数の３次元拡張現実オブジェクト間でオクルージョン処理を行い、更に背景画像の現実オブジェクトともオクルージョン処理を行って合成する。

　携帯情報デバイス２からの終了信号があるまでは（Ｓ４０７：Ｎｏ）、ステップＳ４０２へ戻り、背景画像データの受信を繰り返す。背景画像が動画像である場合、この繰り返しは、動画像のフレーム周期、もしくはその整数倍の周期で行われるが、動画像の全体を受信する場合もある。

　携帯情報デバイス２からの終了信号があれば（Ｓ４０７：Ｙｅｓ）、ログアウトし、終了する（Ｓ４０８）。

　図９は、第一の実施形態に係る合成画像サービスサーバ８が提供する合成画像サービスのフローチャートである。Ｓ５００で処理を開始し、Ｓ５０１で合成画像サービスサーバ８が携帯情報デバイス２のログイン受付処理を行い、サービスの提供を開始する。

　合成画像サービスサーバ８は、背景画像サービスサーバ５から背景画像データと共にメタデータを受信し（Ｓ５０２）、３ＤＡＲサービスサーバ７から３ＤＡＲオブジェクトの画像と奥行き情報等の配置データを受信する（Ｓ５０３）。

　合成画像サービスサーバ８は、背景画像の現実オブジェクトと３ＤＡＲオブジェクトとをオクルージョン処理をして合成し（Ｓ５０４）、合成画像データをディスプレイ３に送信する（Ｓ５０５）。ステップＳ５０４のオクルージョン処理は、ユーザが複数の３ＤＡＲオブジェクトを背景画像に配置する場合には、３ＤＡＲオブジェクト間でも実行される。

　携帯情報デバイス２から終了信号を受信するまでは（Ｓ５０６：Ｎｏ）、ステップＳ５０２へ戻り、背景画像データの受信に戻り、ステップＳ５０２以下の処理を繰り返す。これにより、背景画像が動画の場合には、紐付けされた現実オブジェクトの移動に合わせて、３ＤＡＲオブジェクトの画像が変換されて合成されることになる。

　携帯情報デバイス２から終了信号を受信すると（Ｓ５０６：Ｙｅｓ）、ログアウトし、終了する（Ｓ５０７）。

　以上説明したように、第一の実施形態の３次元拡張現実処理システム１００、方法、及び３次元拡張現実処理システムのユーザインターフェース装置によれば、ユーザはＨＭＤを必要せず、また背景画像としてユーザの居る場所に限定されない蓄積された、あるいはライブ配信の２次元画像等を背景画像として３ＤＡＲオブジェクトの画像をそれに合成して表示させることが可能となる。また蓄積された、あるいは複数のユーザにライブ配信される画像を背景画像として用いることができるので、複数のユーザのそれぞれが同時に同じ背景画像に対して３ＤＡＲオブジェクトを合成することもできる。

　更に、合成画像の３ＤＡＲオブジェクトの画像は、配置位置、大きさ、視線方向を携帯情報デバイス２にて制御可能で、背景画像とオクルージョン処理が施される。これにより、奥行き感のあるコンテンツが提供できるという特徴を有する。

　加えて、背景画像が動画の場合は、背景画像のいずれかのフレームで現実オブジェクトと３ＤＡＲオブジェクトとを紐付けると、その前後のフレーム間で現実オブジェクトが移動しても、その移動に追従させて３ＤＡＲオブジェクトを表示させることができる。

［第二の実施形態］
　図１０から図１３で、第二の実施形態である３次元拡張現実処理システム１００ａ、方法、及び３次元拡張現実処理システムのユーザインターフェース装置について説明する。

（システム構成）
　図１０は、第二の実施形態に係る３次元拡張現実処理システム１００ａの概要図である。図１０にて、図１に示した第一の実施形態のシステムの概要図と同一のブロックには同一の番号を付与しており、重複する説明は省く。

　図１０と図１のシステム構成の違いは、複数のユーザ１ａ、１ｂのそれぞれが操作する携帯情報デバイス２ａ、２ｂがネットワーク４に接続されている。

　ユーザ１ａ、１ｂは、それぞれ携帯情報デバイス２ａ、２ｂを操作し、それぞれの携帯情報デバイス２ａ、２ｂが背景画像サービスサーバ５から背景画像を、３ＤＡＲサービスサーバ７から３ＤＡＲオブジェクトの画像を得て、合成画像サービスサーバ８で２種の画像を合成し、ディスプレイ３に表示させる。この時、ユーザ１ａ、１ｂは、それぞれ独立に３ＤＡＲオブジェクトを制御する。

（処理フローと表示画面）
　図１１は、第二の実施形態に係る３ＤＡＲサービスサーバ７が提供する３ＤＡＲサービスのフローチャートである。Ｓ６０１で処理を開始すると、３ＤＡＲサービスサーバ７はログイン処理を行い（Ｓ６０２）、サービスの提供を開始する。３ＤＡＲサービスサーバ７は、ユーザ数に応じて並行したプロセスを実行する。例えば、図１１のプロセス１がユーザ１ａに、プロセス２がユーザ１ｂに対応する。

　それぞれのプロセスにおいて、Ｓ６０１で対応するユーザのログイン受付処理を行い、サービスの提供を開始する。

　３ＤＡＲサービスサーバ７は、携帯情報デバイス２の３ＤＡＲ制御アプリから受信した受信信号を識別し、受信信号が３ＤＡＲオブジェクトの選択操作信号であれば（Ｓ６０２：選択操作信号）、デフォルト画像を読み出す（Ｓ６０３）。受信信号が表示制御操作信号及び移動量情報であれば（Ｓ６０２：表示制御操作信号　ｏｒ　移動量情報）、ユーザ操作が選択済みの３ＤＡＲオブジェクトの拡大縮小、平行移動等の処理を行い、３ＤＡＲオブジェクト画像を再描画する（Ｓ６０４）。

　３ＤＡＲサービスサーバ７は、３ＤＡＲオブジェクトのデフォルト画像、もしくは再描画した画像データを携帯情報デバイス２の３ＤＡＲ制御アプリと合成画像サービスサーバ８に送信する（Ｓ６０５）。その後Ｓ６０２へ戻る。

　３ＤＡＲサービスサーバ７は、受信信号が終了信号であれば（Ｓ６０２：終了操作信号）ログアウトする（Ｓ６０６）。そして、ユーザ全員がログアウトするまではログインしている携帯情報デバイス２の処理を行う。全員がログアウトしたことを確認すると（Ｓ６０７：Ｙｅｓ）、終了する（Ｓ６０８）。

　図１２は、第二の実施形態に係る合成画像サービスサーバ８が提供する合成画像サービスのフローチャートである。Ｓ７００で処理を開始し、合成画像サービスサーバ８は、ログイン受付処理を行い（Ｓ７０１）、サービスの提供を開始する。Ｓ７０１のログイン受付処理のステップは、ユーザの数だけある。

　合成画像サービスサーバ８は、背景画像サービスサーバ５から背景画像データと共にメタデータを受信する（Ｓ７０２）。

　合成画像サービスサーバ８は、３ＤＡＲサービスサーバ７から３ＤＡＲオブジェクトの画像と奥行き情報等の配置データを受信する（Ｓ７０３）。

　合成画像サービスサーバ８は、背景画像の現実オブジェクトと３ＤＡＲオブジェクトとをオクルージョン処理で合成する（Ｓ７０４）。

　合成画像サービスサーバ８は、ユーザ数を判定し、ユーザ数に応じた回数、Ｓ７０３とＳ７０４のステップを実行し、複数のユーザからの３ＤＡＲオブジェクトを合成する（Ｓ７０５：Ｎｏ）。ユーザ数に応じた回数実行後（Ｓ７０５：Ｙｅｓ）、合成画像サービスサーバ８は、合成画像データをディスプレイ３に送信する（Ｓ７０６）。

　ステップＳ７０４の合成（オクルージョン）処理は、現実オブジェクトと３ＤＡＲオブジェクト間のみではなく、複数ユーザの３ＤＡＲオブジェクト間でも行われる。また一人のユーザが複数の３ＤＡＲオブジェクトを配置する場合でも、３ＤＡＲオブジェクト間でのオクルージョン処理が行われる。

　ステップＳ７０７では、合成画像サービスサーバ８は、例えば携帯情報デバイス２からの終了指示等で終了を判断し、終了と判断すると（Ｓ７０７：Ｙｅｓ）、ログアウトして終了する（Ｓ７０８）。まだ終了しない判断すると（Ｓ７０７：Ｎｏ）、ステップＳ７０２に戻り、背景画像データを受信する。

　図１３は、第二の実施形態に係るディスプレイ３と２つの携帯情報デバイス２ａ、２ｂの表示画面を示す図である。

　ディスプレイ３では、画面全体に背景画像３０が表示され、現実オブジェクト（ここでは手前の人物３１）に紐付けされて、３ＤＡＲオブジェクト７１が表示されている。３ＤＡＲオブジェクト７１は、現実オブジェクトである人物３１の奥に配置されている。もうひとつの３ＤＡＲオブジェクト７３は、現実オブジェクトの背景オブジェクト（画面上部の空３５）に配置されている。

　３ＤＡＲオブジェクトを現実オブジェクトへ紐付けする場合、動画像のような背景画像の動き中で人物３１が動く時には、人物３１に紐付けされた３ＤＡＲオブジェクト７１も連動する。３ＤＡＲオブジェクト７３を背景オブジェクトの空３５に紐付けた場合、背景画像の動きに関わらず、３ＤＡＲオブジェクト７３を貼り付けられた画面位置に留まったままとすることができる。この場合３ＤＡＲオブジェクト７３を動かすには、ユーザ操作で３ＤＡＲオブジェクト７３を移動させる。このように、現実オブジェクトに紐付けるか、背景オブジェクトに紐付けるかにより、３ＤＡＲオブジェクトの動特性を異ならせることができ、多様な３ＤＡＲオブジェクトの表現が可能となる。

　携帯情報デバイス２ａ、２ｂのそれぞれの画面には、３ＤＡＲオブジェクト７０ａ、７０ｂがそれぞれ表示されている。３ＤＡＲオブジェクト７０ａは、ディスプレイ３上の３ＤＡＲオブジェクト７１であり、３ＤＡＲオブジェクト７０ｂは、ディスプレイ３上の３ＤＡＲオブジェクト７３である。これらの３ＤＡＲオブジェクト７０ａ、７０ｂはユーザ１ａ、１ｂの指１０ａ、１０ｂで制御する。

　以上説明したように、第二の実施形態の３次元拡張現実処理システム１００ｂ、方法、及び３次元拡張現実処理システムのユーザインターフェース装置によれば、第一の実施形態と同じ特徴を有すると共に、複数のユーザが同一の背景画像を用いて参加するコンテンツが実現できる。

　［第三の実施形態］
　図１４と図１５で、第三の実施形態ついて説明する。

　図１４は、第三の実施形態に係るディスプレイ３と携帯情報デバイス２の表示画面を示す図である。図２で示した表示画面と同一の要素には、同一の番号を付与している。図１４が図２の場合と異なる点は、携帯情報デバイス２の画面にも、背景画像の一部が映し出されていることである。

　携帯情報デバイス２の画面には、図２と同様、３ＤＡＲオブジェクト７０と、３ＤＡＲサービスサーバ７へのアクセス釦２０、背景画像サービスサーバ５へのアクセス釦２１が表示されているが、背景画像３０ａも映し出される。背景画像３０ａは、３ＤＡＲオブジェクト７０の表示の大きさとのバランスから、全景ではなくともよく、３ＤＡＲオブジェクト７０を中心とした一部でもよいし、拡大縮小したり、スクロールすることで表示部分を変更したりすることができる。例えば、リモートサイトに居るユーザで、ディスプレイ３の画面を直接確認できない場合でも、ユーザは自身の携帯情報デバイス２でコンテンツに参加できる。特に、タブレットＰＣのような大きな画面サイズの携帯情報デバイス２には好適である。

　図１５は、第三の実施形態に係る合成画像サービスサーバ８が提供する合成画像サービスのフローチャートである。図９に示したフローチャートとの関係では、Ｓ５００とＳ８００、Ｓ５０１とＳ８０１、Ｓ５０２とＳ８０２、Ｓ５０３とＳ８０３、Ｓ５０４とＳ８０４、更にはＳ５０６とＳ８０６、Ｓ５０７とＳ８０７は対応し、同一のステップとみなすことができる。

　図１５のフローチャートのＳ８０５では、合成画像データをディスプレイ３と携帯情報デバイス２に送信する。

　以上説明したように、第三の実施形態の３次元拡張現実処理システム、方法、及び３次元拡張現実処理システムのユーザインターフェース装置によれば、第一の実施形態、第二の実施形態と同じ特徴を有すると共に、リモートサイトのユーザが参加できるコンテンツが実現できる。

［第四の実施形態］
　図１６から図２０で、第四の実施形態について説明する。

　図１６は、第四の実施形態に係る３次元拡張現実処理システム１００ｂの概要図である。図１に示した第一の実施形態のシステムの概要図と同一の構成要素については、同一の番号を付与している。図１のシステム構成との違いは、ディスプレイ３が合成画像サービスサーバ８に直結されていることにある。

　ディスプレイ３と合成画像サービスサーバ８は、例えばデスクトップ型のＰＣなどで実現される。合成画像サービスサーバ８がディスプレイ３と直接つながることで、合成画像サービスサーバ８は背景画像サービスサーバ５の画像を読み出し、画像解析サービスサーバ６の奥行き情報を解析した結果であるメタデータを受信し、携帯情報デバイス２から３ＤＡＲオブジェクトの情報を受け取ることができる。

　ユーザ１は、携帯情報デバイス２と、合成画像サービスサーバ８に接続されたディスプレイ３を見ながら直接操作を行うことができる。

　図１７は、第四の実施形態に係る合成画像サービスサーバ８０のブロック図である。例えば、ノートＰＣが相当する。

　図１７にて、合成画像サービスサーバ８０は、カメラ８０１、距離センサ８０３、スピーカ８０５、入力デバイス８０６、通信器８０７、プロセッサ８０８、ＲＡＭ８０９、画像ＲＡＭ８１０、フラッシュメモリ８１１が内部バス８００により互いに接続されて構成される。さらに、合成画像サービスサーバ８０に、外付けのディスプレイ３が接続される。

　通信器８０７は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）あるいはモバイル通信等の通信処理の中から適切な処理を選択して、ネットワーク４に接続する。

　フラッシュメモリ８１１には、処理プログラムとして、基本動作プログラム８１２、合成画像アプリ８１３を含み、これら処理プログラムは、ＲＡＭ８０９に展開して、プロセッサ８０８が実行する。更にフラッシュメモリ８１１には、処理プログラムを実行するのに必要なデータを保存データ８１４として保持する。フラッシュメモリ８１１は、フラッシュメモリ以外の不揮発性のメモリ媒体やハードディスクを含んでもよい。またディスプレイ３に映す画像データは、画像ＲＡＭ８１０に格納した後、読み出す。サーバとしての機能は合成画像サービスサーバと同等の機能を備える。

　図１８は、第四の実施形態に係る合成画像サービスサーバ８０と携帯情報デバイス２の関係図である。本実施形態では、合成画像サービスサーバ８０と携帯情報デバイス２とで、ユーザ制御を実現させる。

　図１８にて、合成画像サービスサーバ８０と携帯情報デバイス２は、近距離無線通信、例えばＢｌｕｅｔｏｏｔｈ（登録商標）信号８０７ａ、８０７ｂで繋がっている。

　ここで二つのユーザ制御の方式について説明する。

　一つ目の方式は、携帯情報デバイス２自体の移動や姿勢の変化を合成画像サービスサーバ８０に送る方式である。背景画像が表示された合成画像サービスサーバ８０に対して、ある位置を携帯情報デバイス２の初期位置とする。これは、ユーザが携帯情報デバイス２と合成画像サービスサーバ８０の両方の画面を見える位置であるとする。

　ユーザ１は、３ＤＡＲオブジェクトを選択して携帯情報デバイス２の画面に表示させた後、３ＤＡＲオブジェクトの向きやサイズを変更したり、携帯情報デバイス２の位置や姿勢を動かしたりして、３ＤＡＲオブジェクトを合成画像サービスサーバ８０の画面上の好きな位置や方向に配置する。（位置や姿勢の動かし方については図１９、図２０で説明する。）

　初期位置に対して、携帯情報デバイス２がどのように移動したかは、携帯情報デバイス２内の加速度センサ２０３ａやジャイロセンサ２０３ｂ、方位センサ２０３ｃにて検出することができ、変化した距離や方向、変化後の携帯情報デバイス２の姿勢の情報を近距離無線にて合成画像サービスサーバ８０に送る。本実施形態では、加速度センサ２０３ａやジャイロセンサ２０３ｂ、方位センサ２０３ｃのセンサ出力を、ユーザ１が携帯情報デバイス２を動かした方向や移動量といった操作内容を示す操作信号として用いるので、加速度センサ２０３ａやジャイロセンサ２０３ｂ、方位センサ２０３ｃは操作信号出力器に相当する。

　合成画像サービスサーバ８０は、携帯情報デバイス２の移動情報を受けて、その移動量に応じたように３ＤＡＲオブジェクトの位置や向き、大きさなどを変化させて、背景画像と合成してディスプレイ３の画面に表示する。

　ここで携帯情報デバイス２の初期位置を決める際に、携帯情報デバイス２上のボタンを押して設定するようにしても良い。そうすると携帯情報デバイス２の初期位置の情報を合成画像サービスサーバ８０が受取ることができ、そこからの携帯情報デバイス２の移動量に対する３ＤＡＲオブジェクトの変化量も容易に演算することができる。

　また、背景画像が動画である場合、携帯情報デバイス２の初期位置による３ＤＡＲオブジェクトの配置は、画像をいったん止めた静止画上（特定のフレーム上）で行い、その後、携帯情報デバイス２の再生ボタンの操作により、背景画像の再生を開始し、再生画像に合わせて、携帯情報デバイス２の位置や姿勢を変化させるようにユーザが操作する。

　その操作に合わせて、携帯情報デバイス２の移動量が合成画像サービスサーバ８０に送られ、その移動量に応じて３ＤＡＲオブジェクトを変化させるように処理して、背景画像に合成する。携帯情報デバイス２が移動しない場合には、３ＤＡＲオブジェクトは背景画像の中に合成された位置を変化させずに維持する。もし、携帯情報デバイス２が移動しなくても、背景画像の映像が変化すれば、３ＤＡＲオブジェクトは映像に合成された位置に合わせて変化する。

　二つ目の方式は、合成画像サービスサーバ８０の距離センサ８０３を用い、携帯情報デバイス２との距離を測る方法である。携帯情報デバイス２の初期位置の設定と動画のスタートは、一つ目の方法と同様である。

　携帯情報デバイス２は姿勢が変化するため、距離センサ８０３は携帯情報デバイス２の重心の位置を計測するとわかりやすい。測定された合成画像サービスサーバ８０の画面からの距離により、３ＤＡＲオブジェクトの表示画像の大きさを変える。

　また、合成画像サービスサーバ８０のカメラ８０１は、携帯情報デバイス２を撮影し、姿勢を認識し、その傾きにより３ＤＡＲオブジェクトの姿勢方向を制御する。もしくは、携帯情報デバイス２の姿勢情報を携帯情報デバイス２内の加速度センサ２０３ａ、ジャイロセンサ２０３ｂなどのセンサ群２０３で検出し、そのセンサ出力を操作信号として合成画像サービスサーバ８０が受取って、３ＤＡＲオブジェクトの姿勢方向を制御した画像を処理しても良い。

　図１９Ａ、図１９Ｂは、第四の実施形態に係るユーザ制御の例を示す図であり、図２Ａで説明したユーザ制御と異なる。

　図１９Ａのユーザ制御は、携帯情報デバイス２本体をユーザが動かすことにより達成される。図１９Ａに示すように、携帯情報デバイス２を初期位置から合成画像サービスサーバ８０の画面に対して前後に動かして（接近させたり遠ざけたりして）、３ＤＡＲオブジェクトの表示画像７５ａ、７５ｂ、７５ｃのように背景画像に配置する奥行きの位置を変更する。すなわち、背景画像の奥行きの変化に合わせて３ＤＡＲオブジェクトの表示画像の大きさを制御する。

　ここで、携帯情報デバイス２の初期位置の時の背景画像の奥行きの位置を予め決めておくとわかりやすい。例えば、背景画像の奥行きが一定の処理の範囲内であるならば、その中間地点の距離を起点としても良いし、背景画像が無限遠のような場合には、最も手前の距離を起点と定めても良い。また、携帯情報デバイス２の移動により、合成画像サービスサーバ８０の画面に接触しそうに近づいたり、ユーザの手前に近づき過ぎたりする場合には、携帯情報デバイス２の距離の移動に対して、背景画像の移動する距離の縮尺を変えるようにしても良い。

　次に、図１９Ｂに示すように、矢印２４ａ、２４ｂ、２４ｃ、２４ｄのように携帯情報デバイス２を自由に回転させて、３ＤＡＲオブジェクトの表示画像７５ｄ、７５ｅ、７５ｆのように、３ＤＡＲオブジェクトの向き（姿勢）を制御することができるようにする。　

　携帯情報デバイス２には、加速度センサ２０３ａやジャイロセンサ２０３ｂ等のセンサ群２０３が備えられており、自身の姿勢を検出することが可能である。その情報を通信器８０７を介して合成画像サービスサーバ８０に送っても良い。

　また、図１８で説明したように、携帯情報デバイス２の姿勢は、合成画像サービスサーバ８０のカメラ８０１で検出が可能であり、携帯情報デバイス２の内部のセンサの検出結果（センサ出力）を無線通信で受け取って、３ＤＡＲオブジェクトの変化の画像処理を行っても良い。

　図２０は、第四の実施形態に係る携帯情報デバイス２の位置と姿勢情報の例を示す図である。この図では、時間ｔ１、ｔ２、ｔ３の経過に対して、（ｘｔ，ｙｔ，ｚｔ１）、（ｘｔ，ｙｔ，ｚｔ２）、（ｘｔ，ｙｔ，ｚｔ３）と座標が遷移する。すなわち、ｚ軸の方向にのみ、携帯情報デバイス２が移動していることがわかる。

　また、（図示していないが）携帯情報デバイス２の平行移動だけでなく、ｘ、ｙ、ｚの各軸に対する回転角度を内蔵するセンサによって検出することも可能である。例えば、（ｘα，ｙβ，ｚγ）のようにそれぞれの時間の姿勢情報も検出することができる。（ここでα、β、γはそれぞれｘ軸、ｙ軸、ｚ軸それぞれを中心軸とする回転角度を示す。）

　これにより、それぞれの時間における携帯情報デバイス２の位置と姿勢の情報を検出し、合成画像サービスサーバ８０に送ることが可能である。また、携帯情報デバイス２の位置や姿勢の情報は、合成画像サービスサーバ８０のカメラ８０１を用いて、その画像を解析することでも検出は可能である。

　以上説明したように、第四の実施形態の３次元拡張現実処理システム１００ｂのユーザインターフェースによれば、第一の実施形態と同じ作用効果を奏すると共に、ユーザが携帯情報デバイス２の表示画面を見ずに、ディスプレイ３の表示だけを見ながら、３ＤＡＲオブジェクトを制御できる。

　また、第四の実施形態の３次元拡張現実処理システム、方法、及び３次元拡張現実処理システムのユーザインターフェース装置によれば、汎用のＰＣやタブレットＰＣの利用ができるという特徴がある。

　本発明は、上記各実施形態に限定されるものではなく、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、更に文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。

　また、発明の機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、プロセッサ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。

　例えば上記各種サービスサーバと携帯情報デバイス２を一つのハードウェア（コンピュータ）で構成し、これにディスプレイ３を接続して、本発明に係る３次元拡張現実処理システムを構成してもよい。

１、１ａ、１ｂ：ユーザ
２、２ａ、２ｂ：携帯情報デバイス
３　　　　：ディスプレイ
４　　　　：ネットワーク
５　　　　：背景画像サービスサーバ
６　　　　：画像解析サービスサーバ
７　　　　：３ＤＡＲサービスサーバ
８　　　　：合成画像サービスサーバ
１０、１０ａ、１０ｂ：指
２０、２１：アクセス釦
２２　　　：動作説明
２３　　　：部分拡大図
２４ａ、２４ｂ、２４ｃ、２４ｄ：矢印
３０、３０ａ：背景画像
３１、３１a、３１ｂ：人物
３２　　　：建物
３５　　　：空
７０、７０ａ、７０ｂ、７１、７１ａ、７１ｂ、７２ａ、７３、７０１：３ＤＡＲオブジェクト
７２ｂ　　：縮小
７２ｃ　　：拡大
７５ａ、７５ｂ、７５ｃ、７５ｄ、７５ｅ、７５ｆ：表示画像
８０　　　：合成画像サービスサーバ
１００、１００ａ、１００ｂ：３次元拡張現実処理システム
２００、５００、８００：内部バス
２０１、８０１：カメラ
２０２　　：一体型ディスプレイ
２０３　　：センサ群
２０３ａ　：加速度センサ
２０３ｂ　：ジャイロセンサ
２０３ｃ　：方位センサ
２０４　　：マイク
２０５、８０５：スピーカ
２０６　　：タッチセンサ
２０７、８０７：通信器
２０８、５０２、８０８：プロセッサ
２０９、５０３、８０９：ＲＡＭ
２１０、８１０：画像ＲＡＭ
２１１、８１１：フラッシュメモリ
２１２、５０５、８１２：基本動作プログラム
２１３　　：３ＤＡＲ制御アプリ
２１４、５０７、８１４：保存データ
５０１　　：ネットワークＩＦ
５０４　　：ストレージ
５０６　　：サービスプログラム
８０３　　：距離センサ
８０６　　：入力デバイス
８０７ａ、８０７ｂ：信号
８１３　　：合成画像アプリ

Claims

　背景画像に３次元拡張現実オブジェクトを配置して、合成する３次元拡張現実処理システムであって、
　ディスプレイ、ユーザの操作内容を示す操作信号を生成して出力する操作信号出力器、及び前記ディスプレイと前記操作信号出力器とのそれぞれに接続され、前記操作信号を取得して前記ディスプレイの表示制御を行うプロセッサを含み、
　前記プロセッサは、
　前記背景画像を読み込み、
　前記背景画像において被写体が撮像された領域からなる少なくとも１つ以上の現実オブジェクトを抽出すると共に、前記現実オブジェクトのそれぞれについての奥行き情報を解析した結果を読み込み、
　前記背景画像に合成される前記３次元拡張現実オブジェクトを読み込み、
　前記３次元拡張現実オブジェクトの奥行き情報を示すユーザの操作に基づいて前記操作信号出力器が生成した前記操作信号を取得し、
　前記操作信号が示す奥行き情報及び前記現実オブジェクトの奥行き情報を比較して、前記３次元拡張現実オブジェクト及び前記現実オブジェクトのオクルージョン処理を行って、前記背景画像に前記３次元拡張現実オブジェクトを合成し、
　前記３次元拡張現実オブジェクトが合成された前記背景画像を前記ディスプレイに表示する、
　ことを特徴とする３次元拡張現実処理システム。
　請求項１に記載の３次元拡張現実処理システムであって、
　前記プロセッサは、メモリに更に接続され、
　前記３次元拡張現実オブジェクトを前記現実オブジェクトの一つに紐付けて前記メモリに記憶し、
　前記背景画像内における前記現実オブジェクトの移動量に合わせて、前記３次元拡張現実オブジェクトの大きさ及び奥行き情報を変更し、
　前記大きさ及び奥行き情報が変更された前記３次元拡張現実オブジェクトを前記背景画像に合成する、
　ことを特徴とする３次元拡張現実処理システム。
　請求項２に記載の３次元拡張現実処理システムであって、
　前記背景画像は、複数のフレームを含んで構成される動画像であって、
　前記プロセッサは、前記複数のフレームのうちの一フレームにおいて、前記３次元拡張現実オブジェクトと前記現実オブジェクトとの紐付けを行い、
　前記紐付けを行ったフレームとは異なるフレーム間での前記現実オブジェクトの移動量に合わせて前記３次元拡張現実オブジェクトの大きさ及び前記３次元拡張現実オブジェクトの奥行き方向の前記異なるフレームにおける表示位置を変更する、
　ことを特徴とする３次元拡張現実処理システム。
　請求項３に記載の３次元拡張現実処理システムであって、
　前記現実オブジェクトは、前記背景画像に撮像された背景オブジェクト、及び前記背景画像において前記背景オブジェクトよりも前に位置する被写体が撮像された被写体オブジェクトの少なくとも一つを含み、
　前記３次元拡張現実オブジェクトが前記背景オブジェクトに紐付けられて前記異なるフレーム間で前記背景オブジェクトの移動量に変化がない場合は、前記異なるフレームに表示される前記３次元拡張現実オブジェクトは、前記一フレームにおいて表示された表示位置及び大きさから変化せず、
　前記３次元拡張現実オブジェクトが前記被写体オブジェクトに紐付けられて前記異なるフレーム間で前記被写体オブジェクトの移動量に変化がある場合は、前記異なるフレームに表示される前記３次元拡張現実オブジェクトは、前記一フレームで表示された表示位置を基準として、前記被写体オブジェクトの移動量に合わせた大きさ及び前記奥行き方向の位置に変更され、移動した前記被写体オブジェクトの位置に追従した位置に合成される、
　ことを特徴とする３次元拡張現実処理システム。
　請求項１に記載の３次元拡張現実処理システムであって、
　前記プロセッサを含むサーバと、前記操作信号出力器を含む携帯情報デバイスと、前記ディスプレイと、を通信接続して構成され、
　前記携帯情報デバイスは、前記携帯情報デバイスに一体に形成された一体型ディスプレイ及び前記一体型ディスプレイに積層されたタッチセンサを含み、
　前記操作信号出力器は、前記タッチセンサであって、
　前記一体型ディスプレイに表示された前記３次元拡張現実オブジェクトの画像の大きさ、及び回転角度の少なくとも一つを変更する操作入力を前記タッチセンサが受け付けると、前記操作入力の内容を示す前記操作信号を生成し、
　前記携帯情報デバイスから前記操作信号を前記サーバに送信し、
　前記サーバは、前記操作信号を受信し、
　前記プロセッサは、前記操作信号に基づいて、前記３次元拡張現実オブジェクトの大きさ及び回転角度を変更して前記ディスプレイに再描画する、
　ことを特徴とする３次元拡張現実処理システム。
　請求項５に記載の３次元拡張現実処理システムであって、
　前記プロセッサは、前記一体型ディスプレイに、前記３次元拡張現実オブジェクトが合成された背景画像の一部を表示させる、
　ことを特徴とする３次元拡張現実処理システム。
　請求項１に記載の３次元拡張現実処理システムであって、
　前記プロセッサを含むサーバと、前記操作信号出力器を含む携帯情報デバイスと、前記ディスプレイと、を通信接続して構成され、
　前記操作信号出力器は、前記携帯情報デバイスに内蔵された加速度センサ、ジャイロセンサ、及び方位センサの一つ又は任意の組み合わせであり、
　前記操作信号は、前記加速度センサ、前記ジャイロセンサ、及び前記方位センサのそれぞれから出力されたセンサ出力である、
　ことを特徴とする３次元拡張現実処理システム。
　請求項１に記載の３次元拡張現実処理システムであって、
　前記プロセッサを含むサーバと、ユーザが操作する携帯情報デバイスと、前記ディスプレイと、を通信接続して構成され、
　前記携帯情報デバイス又は前記ディスプレイの少なくとも一方は、前記携帯情報デバイス及び前記ディスプレイ間の距離を計測する距離センサを備え、
　前記操作信号出力器は、前記距離センサであって、
　前記距離センサが計測した前記携帯情報デバイス及び前記ディスプレイ間の距離に基づいて、前記３次元拡張現実オブジェクトの奥行き情報を示す操作信号が生成される、
　ことを特徴とする３次元拡張現実処理システム。
　請求項１に記載の３次元拡張現実処理システムであって、
　前記プロセッサは、複数の前記３次元拡張現実オブジェクトのそれぞれの奥行き情報を参照し、前記３次元拡張現実オブジェクト毎の奥行き情報を比較してオクルージョン処理を行って、前記背景画像に前記複数の３次元拡張現実オブジェクトを合成する、
　ことを特徴とする３次元拡張現実処理システム。
　背景画像に３次元拡張現実オブジェクトを配置して、合成する３次元拡張現実処理方法であって、
　前記背景画像を読み込むステップと、
　前記背景画像を解析して、前記背景画像において被写体が撮像された領域からなる少なくとも１つ以上の現実オブジェクトを抽出すると共に、前記現実オブジェクトのそれぞれについての奥行き情報を解析した結果を読み込むステップと、
　前記背景画像に合成される前記３次元拡張現実オブジェクトを読み込むステップと、
　前記３次元拡張現実オブジェクトの奥行き情報を示すユーザの操作を示す操作信号を取得するステップと、
　前記操作信号が示す奥行き情報及び前記現実オブジェクトの奥行き情報を比較して、前記３次元拡張現実オブジェクト及び前記現実オブジェクトのオクルージョン処理を行って、前記背景画像に前記３次元拡張現実オブジェクトを合成するステップと、
　前記３次元拡張現実オブジェクトが合成された前記背景画像を提供するステップと、
　を含むことを特徴とする３次元拡張現実処理方法。
　３次元拡張現実オブジェクトと背景画像との合成画像を生成する３次元拡張現実処理システムのユーザインターフェース装置であって、
　前記ユーザインターフェース装置に一体に形成された一体型ディスプレイ、前記一体型ディスプレイに積層されたタッチセンサ、及び前記一体型ディスプレイと前記タッチセンサとのそれぞれに接続されたプロセッサ、を含み、
　前記プロセッサは、
　前記一体型ディスプレイに表示された前記３次元拡張現実オブジェクトの画像の大きさ、及び回転角度の少なくとも一つを変更する操作入力を前記タッチセンサが受け付けると、前記操作入力に応じて再描画された前記３次元拡張現実オブジェクトを前記一体型ディスプレイに表示する、
　ことを特徴とする３次元拡張現実処理システムのユーザインターフェース装置。