JP7212215B2 - 映像処理システム及び映像処理方法 - Google Patents

Description

本発明は、映像処理システム及び映像処理方法、特に、ユーザが保有するユーザ端末によって実時間で取得された現実空間の映像とサーバに予め格納された現実空間の画像データによって構成されるマップとに基づいて実時間で取得した現実空間の映像に仮想オブジェクトを配置して拡張現実空間を生成する映像処理プログラムを備える映像処理システム及び映像処理方法に関する。

近年、ユーザが知覚可能な現実空間の映像にコンピュータグラフィックスによる映像を重ね合わせて現実空間と映像との調和を楽しむことが可能な、現実空間が拡張された拡張現実空間を提供する映像処理技術が提案されている。

特許文献１には、カメラで取得した複数のマーカに基づいて生成された複数の仮想オブジェクトが配置された拡張現実空間において、複数の仮想オブジェクトの間の近接の程度に応じてこれらの仮想オブジェクトの間に生じる相互作用を演出する映像処理装置が開示されている。

一方、仮想オブジェクトを配置する際の設計の自由度を確保する等の観点から、マーカに基づかないで、任意の地域で取得された現実空間の映像に所望の仮想オブジェクトを重ね合わせる映像処理技術も提案されている。

特開２０１６－１３１０３１

ところで、マーカを必要としないこの種の映像処理技術において、現実空間の映像に仮想オブジェクトを配置することが可能な任意の地域を拡張する観点からは、仮想オブジェクトを配置することが可能となっていない地域において、より多くの現実空間の画像データを取得することが必要となる場合がある。

一方、任意の地域において、ユーザの要望するような仮想オブジェクトを配置する観点からは、ユーザの要望を予め取得できることが好ましい。

本発明は、上記事情に鑑みてなされたものであり、ユーザの要望する拡張現実空間を広範に生成することができる映像処理システム及び映像処理方法を提供することを課題とするものである。

上記目的を達成するための本発明に係る映像処理システムは、ユーザが保有するユーザ端末によって実時間で取得された現実空間の映像とサーバに予め格納された現実空間の画像データによって構成されるマップとに基づいて実時間で取得した現実空間の映像に仮想オブジェクトを配置して拡張現実空間を生成する映像処理プログラムを備える映像処理システムであって、ユーザ端末は、マップとして構成されていない現実空間の新たな画像データ及びユーザの行動に関する行動データを取得して新たな画像データ及び行動データをサーバに送信し、サーバは、画像データによって構成されるマップに新たな画像データを付加してマップを更新するとともに行動データに基づいてユーザの行動を分析して分析データを生成するものである。

これによれば、サーバに送信されたユーザの行動データに基づいて、ユーザの要望に応じた拡張現実空間を提供することができる。

一方、マップとして構成されていない現実空間の新たな画像データが付加されてマップが更新されることによって、拡張現実空間を生成することが可能な地域を広範に生成することができる。

この映像処理システムのサーバは、映像処理プログラムに付加されて映像処理プログラムに任意の機能を追加するアプリケーションソフトウェアを作成する開発環境を提供するものである。

さらに、映像処理システムは、サーバを介して行動データを取得する開発者端末を備え、開発者端末を介してアクセスされた開発環境において行動データが利用されてアプリケーションソフトウェアが作成されるものである。

この映像処理システムで処理される行動データは、ユーザ端末を介して取得可能なユーザの行動の属性に関する行動属性データとユーザ端末の位置及び向きに関する状態データとを少なくとも有するものである。

しかも、映像処理システムは、新たな画像データをサーバに送信したユーザ端末に報酬を付与するものであってもよいし、サーバがクラウド環境で実装されるものであってもよい。

上記目的を達成するための本発明に係る映像処理方法は、ユーザが保有するユーザ端末によって実時間で取得された現実空間の映像とサーバに予め格納された現実空間の画像データによって構成されるマップとに基づいて実時間で取得した現実空間の映像に仮想オブジェクトを配置して拡張現実空間を生成する映像処理プログラムを備える映像処理システムを用いた映像処理方法であって、ユーザ端末が、マップとして構成されていない現実空間の新たな画像データ及びユーザの行動に関する行動データを取得して新たな画像データ及び行動データをサーバに送信し、サーバが、画像データによって構成されるマップに新たな画像データを付加してマップを更新するとともに行動データに基づいてユーザの行動を分析して分析データを生成するものである。

この発明によれば、ユーザの要望する拡張現実空間を広範に生成することができる。

本発明の実施の形態に係る映像処理システムの構成の概略を説明する図である。 同じく、本実施の形態に係る映像処理システムのユーザ端末の構成の概略を説明するブロック図である。 同じく、本実施の形態に係る映像処理システムで処理される現実空間の映像の概略を説明する図である。 同じく、本実施の形態に係る映像処理システムで処理される現実空間の画像データの概略を説明する図である。 同じく、本実施の形態に係る映像処理システムで処理される行動データの構成の概略を説明するブロック図である。 同じく、本実施の形態に係る映像処理システムのクラウドサーバの構成の概略を説明するブロック図である。 同じく、本実施の形態に係る映像処理システムのクラウドサーバのストレージの構成の概略を説明するブロック図である。 同じく、本実施の形態に係る映像処理システムのクラウドサーバのストレージに格納されるソフトウェア開発キットの構成の概略を説明するブロック図である。 同じく、本実施の形態に係る映像処理システムのクラウドサーバのストレージに格納されるソフトウェア開発キットの構成の概略を説明するブロック図である。 同じく、本実施の形態に係る映像処理システムで処理される仮想オブジェクトデータの概略を説明する図である。 同じく、本実施の形態に係る映像処理システムで生成される拡張現実空間の一例を示す図である。 同じく、本実施の形態に係る映像処理システムのマップ更新プログラムの処理の概略を説明する図である。 同じく、本実施の形態に係る映像処理システムの分析プログラムの処理の概略を説明するブロック図である。 同じく、本実施の形態に係る映像処理システムの開発者端末での処理の概略を説明するブロック図である。

次に、図１～図１４に基づいて、本発明の実施の形態に係る映像処理システムについて説明する。

図１は、本実施の形態に係る映像処理システムの構成の概略を説明する図である。図示のように、映像処理システム１０は、複数のユーザ端末２０ａ～２０ｎ、サーバであるクラウドサーバ３０及び複数の開発者端末４０ａ～４０ｎを備え、これらがインターネット網等のネットワークを介して互いにアクセス可能に接続される。

本実施の形態では、ユーザ端末２０ａ～２０ｎは、次述するサービス事業者２が提供する映像処理システム１０を用いたサービスを利用するユーザ１ａ～１ｎに保有され、クラウドサーバ３０は、映像処理システム１０を用いたサービスを提供するサービス事業者２に管理される。

開発者端末４０ａ～４０ｎは、本実施の形態では、アプリケーションソフトウェアを作成する開発者３ａ～３ｎに配備される。

次に、本実施の形態に係る映像処理システム１０の各部の構成について説明する。

ユーザ端末２０ａ～２０ｎは、本実施の形態では、携帯型情報端末であるスマートフォンあるいはタブレット型のコンピュータによって実装される。

図２は、ユーザ端末２０ａ～２０ｎの構成の概略を説明するブロック図である。図示のように、ユーザ端末２０ａ～２０ｎは、制御部２１、カメラ２２、ディスプレイ２３及びセンサ類２４を主要構成として備える。

制御部２１は、カメラ２２、ディスプレイ２３、センサ類２４等のユーザ端末２０ａ～２０ｎの各部を制御するものであって、例えばプロセッサ、メモリ、ストレージ、送受信部等によって構成される。

カメラ２２は、任意のあらゆる事物を被写体として撮像して映像あるいは画像として取得するものであって、本実施の形態では、現実空間の映像を実時間で取得するとともに、現実空間の画像に関する画像データを取得する。

図３は、現実空間の映像の概略を説明する図である。図示のように、映像Ｍ１は、例えば任意の地域の街中や施設といった現実空間のロケーション映像によって構成されるものであって、本実施の形態では、ユーザ１ａ～１ｎによって取得されたショッピングモールの映像である。

図４は、現実空間の画像データの概略を説明する図である。図示のように、画像データＰは、例えば任意の地域の街中や施設等といった現実空間のロケーション画像によって構成されるものであって、本実施の形態では、ユーザ１ａ～１ｎによって取得された任意の地域の屋外の画像である。

ディスプレイ２３は、カメラ２２で取得した映像、画像やユーザ端末２０ａ～２０ｎに格納されるアプリケーションプログラムのインターフェース等が表示され、本実施の形態では、現実空間の映像Ｍ１や後述する拡張現実空間の映像が表示される。

このディスプレイ２３は、本実施の形態では、表示面への接触によって情報の入力を受け付けるものであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。

センサ類２４は、本実施の形態では、ジャイロセンサや加速度センサ等によって構成され、現実空間におけるユーザ端末２０ａ～２０ｎの位置や向きを検知する。

このユーザ端末２０ａ～２０ｎで取得した映像Ｍ１、画像データＰ、ユーザ端末２０ａ～２０ｎの位置や向きといった各種の情報によって、本実施の形態では、行動データが構成される

図５は、行動データの構成の概略を説明するブロック図である。図示のように、行動データＤ１は、行動属性データｄ１ａ及び状態データｄ１ｂによって構成される。

行動属性データｄ１ａは、ユーザ１ａ～１ｎの行動の属性に関するデータであって、本実施の形態では、映像Ｍ１や画像データＰに付加される位置情報や日付情報といった付帯情報によって構成される。

状態データｄ１ｂは、本実施の形態では、ユーザ端末２０ａ～２０ｎのセンサ類２４が取得したユーザ端末２０ａ～２０ｎの位置や向きに関する情報によって構成される。

図１で示すクラウドサーバ３０は、本実施の形態では、例えばデスクトップ型あるいはノート型のコンピュータによって実装される。

図６は、クラウドサーバ３０の構成の概略を説明するブロック図である。図示のように、クラウドサーバ３０は、プロセッサ３１、メモリ３２、ストレージ３３、送受信部３４、及び入出力部３５を主要構成として備え、これらが互いにバス３６を介して電気的に接続される。

プロセッサ３１は、クラウドサーバ３０の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。

このプロセッサ３１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、後述するストレージ３３に格納されてメモリ３２に展開されたアプリケーションプログラムを実行して各処理を行う。

メモリ３２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。

このメモリ３２は、プロセッサ３１の作業領域として使用される一方、コンピュータの起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。

ストレージ３３は、アプリケーションプログラムや各種の処理に用いられるデータ等が格納されている。

送受信部３４は、クラウドサーバ３０をネットワークに接続する。この送受信部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

入出力部３５には、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。本実施の形態では、キーボード、マウス及びディスプレイがそれぞれ接続される。

バス３６は、接続したプロセッサ３１、メモリ３２、ストレージ３３、送受信部３４及び入出力部３５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。

図７は、クラウドサーバ３０のストレージ３３の構成の概略を説明するブロック図である。図示のように、ストレージ３３は、ストレージ３３の記憶領域によって実現されるデータベース５１、映像処理プログラム５２、マップ更新プログラム５３、報酬付与プログラム５４及び分析プログラム５５を備える。

データベース５１には、本実施の形態では、ソフトウェア開発キットＤ２及び仮想オブジェクトデータＤ３が格納される。

図８は、ソフトウェア開発キットＤ２の構成の概略を説明するブロック図である。このソフトウェア開発キットＤ２は、本実施の形態では、映像処理プログラム５２に付加されて映像処理プログラム５２に任意の機能を追加するアプリケーションソフトウェアを作成するものであって、開発者端末４０ａ～４０ｎに開発環境として提供される。

図示のように、ソフトウェア開発キットＤ２は、本実施の形態では、例えば、マップｄ２ａ、２Ｄ物体認識キットｄ２ｂ、３Ｄ物体認識キットｄ２ｃ及び３Ｄメッシュ生成キットｄ２ｄ等によって構成される。

マップｄ２ａは、クラウドサーバ３０に予め格納された現実空間の画像データによって構成されるものであって、本実施の形態では、サービス事業者２によって予め取得されてクラウドサーバ３０に格納された画像データ、及びユーザ１ａ～１ｎによって予め取得された図４で示したような画像データＰによって構成される。

図９は、マップｄ２ａの構成の概略を説明する図である。図示のように、マップｄ２ａは、直感的に視認可能な図形データ等で表示されるものであってもよく、例えば東京都の地図を基準として、サービス事業者２によって予め取得された東京都内の任意の地域の街中や施設といった現実空間の画像データ、及びユーザ１ａ～１ｎによって予め取得された東京都内の任意の地域の街中や施設といった現実空間の画像データＰによって構成される。

このマップｄ２ａには、本実施の形態では、東京都の地図を基準とした場合に、サービス事業者２によって予め取得されてクラウドサーバ３０に格納された画像データあるいはユーザ１ａ～１ｎに予め取得された画像データによってマップｄ２ａが構成されていない任意の地域に、アノテーションＡが付与される。

図８で示す２Ｄ物体認識キットｄ２ｂ、３Ｄ物体認識キットｄ２ｃ及び３Ｄメッシュ生成キットｄ２は、映像処理プログラム５２が生成する後述の拡張現実空間の映像に処理を施すキットである。

図１０は、仮想オブジェクトデータＤ３の概略を説明する図である。図示のように、仮想オブジェクトデータＤ３は、本実施の形態では、識別番号がそれぞれ割り当てられた複数のモンスター型の任意の仮想オブジェクトＯ１～Ｏ５等によって構成され、識別番号を介してマップｄ２ａの任意の座標と関連づけられる。

図７で示す映像処理プログラム５２は、ユーザ端末２０ａ～２０ｎで取得した映像Ｍ１とクラウドサーバ３０に格納されたマップｄ２ａとを照合して、ユーザ端末２０ａ～２０ｎが実時間で取得した映像Ｍ１に任意の仮想オブジェクトＯ１～Ｏ５を配置して拡張現実空間を生成するプログラムである。

この映像処理プログラム５２は、本実施の形態では、映像Ｍ１から抽出した特徴量とマップｄ２ａを構成する画像データから抽出した特徴量とが一致するか否かを照合する。

図１１は、拡張現実空間の一例を示す図であり、本実施の形態では、拡張現実空間Ｍ２に仮想オブジェクトＯ１、Ｏ３、Ｏ４及びＯ５が配置される。

図７で示すマップ更新プログラム５３は、マップｄ２ａとして構成されていない現実空間の画像データに基づいて、マップｄ２ａを更新するプログラムである。

具体的には、例えば図４で示したような、マップｄ２ａとして構成されていない現実空間の新たな画像データＰがユーザ１ａのユーザ端末２０ａで取得され、この新たな画像データＰがクラウドサーバ３０に送信されると、新たな画像データＰがマップｄ２ａに付加されてマップｄ２ａが更新される。

図１２は、マップ更新プログラム５３の処理の概略を説明する図である。マップ更新プログラム５３は、図１２（ａ）で示す更新される前のマップｄ２ａにおいて、マップｄ２ａとして構成されていない現実空間の新たな画像データＰがマップｄ２ａに付加されてマップｄ２ａが更新されると、図１２（ｂ）で示すように、更新によって付加された新たな画像データＰに対応する地域におけるマップｄ２ａに付与されていたアノテーションＡが消去される。

図７で示す報酬付与プログラム５４は、マップｄ２ａとして構成されていない現実空間の新たな画像データＰをクラウドサーバ３０に送信したユーザ端末２０ａ～２０ｎに、予め設定された報酬を報酬データとして付与するプログラムである。

報酬付与プログラム５４で付与する報酬データは、例えば、映像処理システム１０を用いたサービスを導入する事業者（例えばショッピングモールの運営を行う事業者）がユーザ１ａ～１ｎに提供するサービスに関するクーポンや割引券等が想定される。

分析プログラム５５は、ユーザ端末２０ａ～２０ｎで構成されてクラウドサーバ３０に送信された行動データＤ１に基づいて、ユーザ１ａ～１ｎの行動を分析して分析データを生成するプログラムである。

図１３は、分析プログラム５５の処理の概略を説明するブロック図である。図示のように、分析プログラム５５は、本実施の形態では、例えば、映像処理システム１０を用いたサービスで提供される拡張現実空間におけるユーザエクスペリエンス（ＵＸ）の改善に関する分析や広告配信の最適化等の分析に関する分析データＤ４を生成する。

図１で示す開発者端末４０ａ～４０ｎは、本実施の形態では、例えばデスクトップ型あるいはノート型のコンピュータによって実装され、例えばプロセッサ、メモリ、ストレージ、送受信部等によって構成される。

図１４は、開発者端末４０ａ～４０ｎでの処理の概略を説明するブロック図である。図示のように、開発者端末４０ａ～４０ｎは、クラウドサーバ３０を介して行動データＤ１を取得するとともに、開発環境として提供されるソフトウェア開発キットＤ２にアクセスする。

本実施の形態では、ソフトウェア開発キットＤ２にアクセスした開発者端末４０ａ～４０ｎにおいて、例えば拡張現実空間Ｍ２におけるユーザエクスペリエンス（ＵＸ）の改善の観点から行動データＤ１が利用されて、映像処理プログラム５２に任意の機能を追加するアプリケーションソフトウェア５２ａが作成される。

このアプリケーションソフトウェア５２ａは、本実施の形態では例えば、拡張現実空間Ｍ２における仮想オブジェクトＯ１～Ｏ５の動作を任意に変更する、新たな仮想オブジェクトを生成する等といった種々のものが想定される。

次に、本実施の形態に係る映像処理システム１０の運用について説明する。

なお、本実施の形態では、映像処理システム１０を用いたサービスを、ショッピングモールの運営を行う事業者が導入し、ショッピングモール内という現実空間において、ユーザ端末２０ａ～２０ｎ上で生成される拡張現実空間Ｍ２でモンスター型の任意の仮想オブジェクトＯ１～Ｏ５等を探すゲームに興じる場合を例として説明する。

まず、ユーザ１ａ～１ｎがそれぞれ保有するユーザ端末２０ａ～２０ｎにおいて、ユーザ端末２０ａ～２０ｎに格納されて映像処理システム１０にアクセス可能なアプリケーションソフトウェアを起動して、ユーザ端末２０ａ～２０ｎのカメラ２２によって、現実空間の映像Ｍ１を実時間で取得する。

続いて、ユーザ端末２０ａ～２０ｎで取得した映像Ｍ１とクラウドサーバ３０に格納されたマップｄ２ａとを照合して、ユーザ端末２０ａ～２０ｎが実時間で取得した映像Ｍ１に任意の仮想オブジェクトＯ１～Ｏ５を配置して、ユーザ端末２０ａ～２０ｎのディスプレイ２３において拡張現実空間Ｍ２を生成する。

これにより、ユーザ１ａ～１ｎは、ユーザ端末２０ａ～２０ｎ上で生成される拡張現実空間Ｍ２において、モンスター型の仮想オブジェクトトＯ１～Ｏ５等を探すゲームに興じることができる。

ここで、ユーザ端末２０ａ～２０ｎは、本実施の形態では、ショッピングモール内におけるユーザ１ａ～１ｎの行動に関する行動データＤ１を取得し、取得した行動データＤ１をクラウドサーバ３０に送信する。

クラウドサーバ３０は、送信された行動データＤ１に基づいて、ユーザ１ａ～１ｎの行動を分析した分析データＤ４を生成する。生成された分析データＤ４は、本実施の形態では、例えば、拡張現実空間Ｍ２におけるユーザエクスペリエンス（ＵＸ）の改善や広告配信の最適化に用いられる。

これにより、映像処理システム１０を用いたサービスを導入する、ショッピングモールの運営を行う事業者は、ユーザ１ａ～１ｎの要望に応じた拡張現実空間Ｍ２を提供することができる。

一方、開発者端末４０ａ～４０ｎにおいては、クラウドサーバ３０から取得した行動データＤ１が利用されて、開発者端末４０ａ～４０ｎは、開発環境として提供されるソフトウェア開発キットＤ２にアクセスして、映像処理プログラム５２に任意の機能を追加するアプリケーションソフトウェア５２ａを作成する。

このように、ソフトウェア開発キットＤ２が開発環境として提供されることから、開発者端末４０ａ～４０ｎを介した開発者３ａ～３ｎによるアプリケーションソフトウェア５２ａの作成が容易になるとともに、開発者３ａ～３ｎが増加することが想定される。

アプリケーションソフトウェア５２ａの作成が容易になって開発者３ａ～３ｎが増加すると、アプリケーションソフトウェア５２ａの質が向上する。

アプリケーションソフトウェア５２ａの質が向上すると、拡張現実空間Ｍ２で実行されるゲームの興趣が向上することから、このゲームがサービスとして提供されるショッピングモールへの来客数が増加することが想定され、これに伴ってユーザ１ａ～１ｎが増加することが想定される。

ところで、映像処理システム１０では、図４で示したような、マップｄ２ａとして構成されていない現実空間の新たな画像データＰが例えばユーザ１ｘのユーザ端末２０ｘで取得され、この新たな画像データＰがクラウドサーバ３０に送信されると、新たな画像データＰがマップｄ２ａに付加されてマップｄ２ａが更新される。

マップｄ２ａが更新されると、更新によって付加された新たな画像データに対応する地域におけるマップｄ２ａに付与されていたアノテーションＡが消去される。

このように、マップｄ２ａとして構成されていない現実空間の新たな画像データＰが付加されてマップｄ２ａが更新されることによって、ユーザ端末２０ａ～２０ｎが実時間で取得した映像Ｍ１に任意の仮想オブジェクトＯ１～Ｏ５を配置して拡張現実空間Ｍ２を生成することが可能な地域を広範に生成することができる。

一方、本実施の形態では、マップｄ２ａとして構成されていない現実空間の新たな画像データＰをクラウドサーバ３０に送信したユーザ端末２０ｘに報酬データを付与する。

したがって、マップｄ２ａとして構成されていない現実空間の新たな画像データＰを取得するインセンティブを、ユーザ１ａ～１ｎに与えることができる。

このように、本実施の形態の映像処理システム１０によれば、クラウドサーバ３０に送信された行動データＤ１に基づいて、ユーザ１ａ～１ｎの要望に応じた拡張現実空間Ｍ２を提供することができる。

一方、マップｄ２ａとして構成されていない現実空間の新たな画像データＰが付加されてマップｄ２ａが更新されることによって、拡張現実空間Ｍ２を生成することが可能な地域を広範に生成することができる。

なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。

上記実施の形態では、映像処理プログラム５２が、映像Ｍ１から抽出した特徴量とマップｄ２ａを構成する画像データから抽出した特徴量とが一致するか否かを照合する場合を説明したが、映像Ｍ１を構成する各フレームの解像度が低下されるとともにマップｄ２ａを構成する画像データの解像度が低下されて、これらが照合されるものであってもよい。

上記実施の形態では、ユーザ１ａ～１ｎが、ショッピングモールにおいてユーザ端末２０ａ～２０ｎ上で生成される拡張現実空間Ｍ２で実行される、モンスター型の任意の仮想オブジェクトＯ１～Ｏ５等を探すゲームに興じる場合を説明したが、その他のアクションゲームやアドベンチャーゲーム、ロールプレイングゲーム、あるいはバーチャルキャラクタによるライブ等、種々のコンテンツに適用することができる。

この場合において、仮想オブジェクトはコンテンツに応じて種々のものが採用可能であることはいうまでもない。

更には、大規模な店舗内における顧客の案内、屋外における広告、あるいは作業現場における作業管理等、種々の目的に適用することができる。

上記実施の形態では、拡張現実空間Ｍ２がショッピングモール内で生成される場合を説明したが、拡張現実空間Ｍ２が生成される地域等はマップｄ２ａ上の任意の地域である限り、特に限定されることはない。

上記実施の形態では、サーバがサービス事業者２に管理されるクラウドサーバ３０である場合を説明したが、サービス事業者２に配備されるサーバであってもよい。

１ａ～１ｎ ユーザ
３ａ～３ｎ 開発者
１０ 映像処理システム
２０ａ～２０ｎ ユーザ端末
３０ クラウドサーバ（サーバ）
４０ａ～４０ｎ 開発者端末
５２ 映像処理プログラム
５３ マップ更新プログラム
５４ 報酬付与プログラム
５５ 分析プログラム
Ｄ１ 行動データ
Ｄ２ ソフトウェア開発キット
ｄ２ａ マップ
Ｄ３ 仮想オブジェクトデータ
Ｄ４ 分析データ
Ｍ２ 拡張現実空間
Ｏ１～Ｏ５ 仮想オブジェクト
Ｐ 画像データ

Claims (7)

1. ユーザが保有するユーザ端末によって実時間で取得された現実空間の映像の特徴量とサーバに予め格納された前記現実空間の画像データによって構成されるマップの特徴量とを照合して実時間で取得した前記現実空間の前記映像に仮想オブジェクトを配置して拡張現実空間を生成する映像処理プログラムを備える映像処理システムであって、
   前記ユーザ端末は、
   前記マップとして構成されていない現実空間の新たな画像データ及び前記ユーザの行動に関する行動データを取得して新たな前記画像データ及び前記行動データを前記サーバに送信し、
   前記サーバは、
   前記画像データによって構成される前記マップに新たな前記画像データを付加して前記マップを更新するとともに前記行動データに基づいて前記ユーザの行動を分析して分析データを生成する、
   映像処理システム。
2. 前記サーバは、
   前記映像処理プログラムに付加されて該映像処理プログラムに任意の機能を追加するアプリケーションソフトウェアを作成する開発環境を提供する、
   請求項１に記載の映像処理システム。
3. 前記サーバを介して前記行動データを取得する開発者端末を備え、
   該開発者端末を介してアクセスされた前記開発環境において前記行動データが利用されて前記アプリケーションソフトウェアが作成される、
   請求項２に記載の映像処理システム。
4. 前記行動データは、
   前記ユーザ端末を介して取得可能な前記ユーザの行動の属性に関する行動属性データと前記ユーザ端末の位置及び向きに関する状態データとを少なくとも有する、
   請求項１～３のいずれか１項に記載の映像処理システム。
5. 新たな前記画像データを前記サーバに送信した前記ユーザ端末に報酬を付与する、請求項１～４のいずれか１項に記載の映像処理システム。
6. 前記サーバがクラウド環境で実装される、請求項１～５のいずれか１項に記載の映像処理システム。
7. ユーザが保有するユーザ端末によって実時間で取得された現実空間の映像の特徴量とサーバに予め格納された前記現実空間の画像データによって構成されるマップの特徴量とを照合して実時間で取得した前記現実空間の前記映像に仮想オブジェクトを配置して拡張現実空間を生成する映像処理プログラムを備える映像処理システムを用いた映像処理方法であって、
   前記ユーザ端末が、前記マップとして構成されていない現実空間の新たな画像データ及び前記ユーザの行動に関する行動データを取得して新たな前記画像データ及び前記行動データを前記サーバに送信し、
   前記サーバが、前記画像データによって構成される前記マップに新たな前記画像データを付加して前記マップを更新するとともに前記行動データに基づいて前記ユーザの行動を分析して分析データを生成する、
   映像処理方法。

Images