JP6600674B2 - 移動オブジェクト仮想情報遠隔管理方法及び移動オブジェクト仮想情報遠隔管理システム - Google Patents

Description

本発明は、仮想情報に関する遠隔管理技術に関し、特に、遠隔管理インターフェースを提供することで、ユーザが遠隔地においてコンピュータ装置を介して移動オブジェクトを選定し、仮想情報を設定することができるようにする、移動オブジェクト仮想情報遠隔管理方法及び当該移動オブジェクト仮想情報遠隔管理方法を実現する移動オブジェクト仮想情報遠隔管理システムに関する。

従来技術において、ユーザは、モバイル機器を操作して、特定のソフトウェアプログラムを実行して、モバイル機器内部のカメラモジュールを起動することができる。ユーザは、モバイル機器に実景が表示されている状況において、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）技術を組み合わせて使用することにより、当該実景の前に特定の画像オブジェクトを表示させることができる。

従来技術において、モバイル機器を用いて拡張現実画像を表示する技術では、往々にして、ある情景内のマーカー（ｍａｒｋｅｒ）を識別することによってある画像オブジェクトを制御することができるようソフトウェアプログラムを設定する。その場合、マーカー及び当該画像オブジェクトの関連付けが既にソフトウェアプログラムにプリセットされている。

他の方式においては、モバイル機器の位置に基づいて、モバイル機器内のソフトウェアプログラムがある位置に対応する画像オブジェクトを生成し、モバイル機器にある位置範囲に対応する画像を表示するよう、当該ソフトウェアプラグラムを制御する。その場合、全地球測位システムが生成した全地球測位信号、又は方位角（ａｚｉｍｕｔｈ ａｎｇｌｅ）が組み合わされた信号が、あるサーバに関連付けして特定の画像オブジェクトを生成するようソフトウェアプログラムを制御する根拠となる。

従来、拡張現実を用いて又は場所に基づいて画像を表示する技術は、体験又は娯楽の用途に用いられることが多い。更に、広告主は、検索エンジンの運営業者に広告を出稿することで、検索結果の並べ替えに対して、関連する広告を検索ユーザに提供する等の影響力を持つことができる。

しかしながら、従来技術においては、ユーザが移動物体において任意の画像オブジェクトを設けることで、他人が拡張現実の技術によってある移動物体上の仮想画像を検索することができるようにしたオープンプラットフォームは未だ提案されていない。

本発明は、移動オブジェクトの仮想情報遠隔管理の方法及びシステムを提供することを課題とする。遠隔管理システムは、ウェブブラウザや特定のソフトウェアプログラムを含む遠隔管理インターフェースを提供する。遠隔管理インターフェースを介して、システムユーザは、遠隔管理の方式によって１つの又は複数の移動オブジェクトに仮想情報を設定することができ、ユーザは付随させようとする仮想情報を設定するために移動オブジェクトの本物を直接見つける必要がない。移動オブジェクトは、人物や車両といった、移動可能であると共に特定の画像特徴を有するオブジェクトである。遠隔管理システムは、複数の移動オブジェクトの登録情報を提供し、データベースには移動オブジェクトの画像情報及び関連する仮想情報を格納する。関連する仮想情報には、仮想情報の可視範囲、ユーザ範囲及び時間範囲といった関連設定値が含まれる。仮想情報は、文字、画像、映像及び音声のいずれか又はそれらの組み合わせである。

遠隔管理方法の実施例のフローにおいて、システムユーザがサーバにログインする。サーバが遠隔管理インターフェースを提供する。サーバが、ネットワークを介して、ユーザが端末コンピュータ装置の遠隔管理インターフェースを操作して選択した１つの又は複数の移動オブジェクトを受信する。次いで、ユーザが仮想情報を設定する。サーバが、遠隔管理インターフェースを経由して送信された各移動オブジェクトに関連する仮想情報を受信すると共に、仮想情報に対応する検索条件を設定する。当該サーバにおいて、１つの又は複数の移動オブジェクト、各移動オブジェクトに関連する仮想情報、及び仮想情報の検索条件のデータを構築する。

遠隔管理システムによって仮想情報の設定が完了し、ユーザがある移動オブジェクトにおける仮想情報を検索すると、モバイル機器内において作動するソフトウェアプログラムが、モバイル機器が取得した移動オブジェクトの画像信号を受信すると共に、演算して画像情報を取得する。同時に、モバイル機器は、当該移動オブジェクトと関連する位置情報を生成する。位置情報は、主として地上位置情報であり、両者の距離を含めてもよい。仮想情報に関する測位情報は、位置情報及び画像情報を含む。次いで、前記測位情報を遠隔管理システムが提供するサーバにアップロードして、サーバにおける演算プロセスによって内部のデータベースと比較した後、検索条件に合致し且つ前記測位情報に対応する検索結果を受信し、検索結果が示された仮想情報を表示することができる。

比較によって測位情報に対応する仮想情報が生成され、モバイル機器において上述した移動オブジェクトを直接表示することができる場合、同時に移動オブジェクトに関連する位置に重ね合わせられた仮想情報を表示する。

１つの実施例において、本発明に係る遠隔管理システムは、クラウドに設けられたサーバ及びデータベースを含むと共に、サーバにおいて実行される遠隔管理方法の関連プロセスを含む。サーバにおけるプロセッサが実行した後、移動オブジェクトの仮想情報遠隔管理方法を実行する。関連プロセスは、遠隔管理インターフェースを提供する工程と、ネットワークを介してユーザ側コンピュータシステムが遠隔管理インターフェースを用いて送信した仮想情報を受信する工程と、サーバが、ユーザが遠隔管理インターフェースを介して選択した移動オブジェクトを受信すると共に、仮想情報との関連付けを行うことで、この仮想情報を検索するための測位情報を生成する工程と、を含む。測位情報は、移動オブジェクトの画像情報、及び仮想情報を検索するユーザと移動オブジェクトとの距離関係を含む。

次いで、サーバが、仮想情報に対応する検索条件を受信する。サーバにおいて、仮想情報を検索する際の条件を形成する。当該条件は、例えば仮想情報における、表示が限定される時間、対象、及び可視範囲の有無である。その後、サーバにおいて、検索エンジンを構築する。

本発明に係る移動オブジェクトの仮想情報遠隔管理の方法及びシステムにおいて、遠隔管理によって、ユーザは、移動オブジェクト付近にいることを必要とせずに、移動オブジェクトに関連する各種仮想情報を遠隔で設定して、仮想情報、移動オブジェクト、可視範囲及び検索条件の関連データベースを構築することができる。検索サービスを提供するにあたって根拠となる測位情報は、主として移動オブジェクトの画像情報である。ユーザが移動オブジェクトにおける仮想情報を検索しようとする場合、サーバは同様にモバイル機器からアップロードされた画像情報及びモバイル機器の位置情報に基づいて比較を行い、仮想情報を検索するサービスを提供する。

ユーザがモバイル機器を操作して移動オブジェクトに仮想情報を構築する状況を示す図である。 ユーザがモバイル機器を操作して移動オブジェクトに仮想情報を構築する状況を示す図である。 位置情報の取得を示す図である。 仮想情報の背景画像情報の取得を示す図である。 本発明に係る移動オブジェクト仮想情報遠隔管理システムを実現するネットワークフレームの実施例を示す図である。 本発明に係る遠隔管理システムにおける端末モバイル機器のソフトウェアモジュールの実施例を示す図である。 本発明に係る移動オブジェクトの仮想情報遠隔管理システムにおけるサーバの機能モジュールの実施例を示す図である。 本発明に係る移動オブジェクトの仮想情報遠隔管理方法の実施例のフロー（１）である。 本発明に係る移動オブジェクトの仮想情報遠隔管理方法の実施例のフロー（２）である。 本発明に係る移動オブジェクトの仮想情報遠隔管理方法の実施例のフロー（３）である。 本発明における移動オブジェクトの仮想情報遠隔管理インターフェースの実施例を示す図である。 本発明に係る移動オブジェクトの仮想情報を表示した場合の状況を示す図である。 本発明に係る移動オブジェクトの仮想情報を表示した場合の状況を示す図である。 アプリケーションシステムによって端末モバイル機器に検索結果を表示する実施例を示す図（１）である。 アプリケーションシステムによって端末モバイル機器に検索結果を表示する実施例を示す図（２）である。

本発明が所定の目的を達成するために採用した技術、方法及び効果を更に理解することができるように、以下、図面を用いながら詳しく説明する。当業者は、本明細書及び図面の内容に基づいて、本発明の目的、特徴を具体的に理解することができる。但し、図面は、説明の便宜上、参考のために用いるものに過ぎず、本発明を制限するものではない。

本発明に係る移動オブジェクトの仮想情報遠隔管理の方法及びシステムにおいて、遠隔管理システムは、クラウドシステム、及びユーザに仮想情報の遠隔管理を提供するコンピュータプログラムを含む。ユーザは、端末コンピュータ装置において、ウェブブラウザ、専用ソフトウェアプログラム等を使用することで遠隔管理システムにアクセスして、仮想情報の構築や、仮想情報に関連付けられた移動オブジェクトの選択、及び仮想情報の設定等のプロセスを実行することができる。ユーザは、一度に複数の移動オブジェクトにおいて仮想情報を設定することができる。仮想情報の設定には、仮想情報の可視範囲及び検索条件の設定が含まれる。

遠隔管理システムは、ユーザに遠隔管理インターフェースを提供する。遠隔管理ユーザインターフェースによって、ユーザは、移動オブジェクトの登録、及び仮想情報の設定を行うことができる。遠隔管理ユーザインターフェースによって、検索サービスを提供するデータベースを形成し、更には検索エンジンを構築して、撮影された移動オブジェクトに基づく関連する仮想情報をユーザに提供することができる。

以下、具体的な状況を示す図を用いながら、ユーザがモバイル機器を操作して移動オブジェクトにおいて仮想情報を構築する方法を説明する。

図１Ａは、ユーザがモバイル機器１０を操作する状況を示す。モバイル機器１０は、実景画像を取得すること、位置情報を生成することができると共に演算能力を有する任意の携帯型装置であり、例えばスマートフォン、タブレットＰＣ及びスマートグラス等である。

スタート時に、ユーザは、モバイル機器１０を操作して、仮想情報の構築及び検索サービスを提供するアプリケーションシステムによって提供されるソフトウェアプログラム、例えばスマートデバイス内のＡＰＰをダウンロードしてインストールする。ユーザは、当該ソフトウェアプログラムを実行した後、データ構築モードにすることができる。そして、データ構築モードにおいて、モバイル機器１０のカメラモジュールを起動し、モバイル機器１０を操作して、仮想情報１０３を注記しようとする移動オブジェクト１０１の方に向けて撮影することができる。本実施例において、移動オブジェクト１０１は人物であるが、移動オブジェクト１０１は車両又は航空機等であってもよい。移動オブジェクト１０１に仮想情報１０３を注記する際、ユーザは、先ずモバイル機器１０の表示画面を介してこれら移動オブジェクト１０１を見た後、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）といった技術によって、モバイル機器１０のタッチディスプレイ、又はスマートグラスのエアジェスチャー（ａｉｒ ｇｅｓｔｕｒｅ）等その他の入力方式を利用して、移動オブジェクト１０１のある部位に１つの情報を追加する。当該情報は、文字、画像、映像、音声等の情報である。以上の仮想情報の構築及び検索を個人に提供するアプリケーションシステムは、本発明が提供する遠隔管理システムと同一のシステムであってもよく、又は同一プラットフォーム下の異なるシステムであってもよい。

本実施例において、移動オブジェクト１０１は人物であり、人物の衣装が識別マーカーとなる場合、ユーザは、仮想情報１０３を例えば広告を配置するように当該人物の身体又はその付近に配置しようとする。本実施例において、ユーザは、モバイル機器１０を移動オブジェクト１０１の方に向けて、表示された移動オブジェクト１０１に仮想情報１０３を注記する。仮想情報１０３は、広告内容、ディスカウントプラン、又は特定の個人又は特定のグループを対象とした情報であってよい。

その後、ユーザが移動オブジェクト１０１のある位置に注記した仮想情報１０３を確認した後、モバイル機器１０内のソフトウェアプログラムによって、仮想情報１０３の生成に対応する背景の移動オブジェクト１０１の画像情報をアプリケーションシステムのサーバ（例えばアプリケーションシステムあるサーバホスト）に送信する。上述した移動オブジェクト１０１の画像情報は色彩領域及び線を含み、仮想情報１０３を測位する際の根拠となる。仮想情報１０３の内容は、文字、画像、映像又は音声、又はそれらの組み合わせであってよい。サーバにアップロードされる情報は、仮想情報１０３を構築した時点のモバイル機器１０の地上位置情報、又は空間角度情報を更に含む。地上位置情報は、モバイル機器１０内の全地球測位システムが検知した位置であり、空間角度情報は、ジャイロスコープが検知したモバイル機器１０の方位角（ａｚｉｍｕｔｈ ａｎｇｌｅ）及び仰角（ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ）との組み合わせである。モバイル機器１０の現在の位置情報からは、仮想情報１０３を見ることができる１つの可視範囲が派生する。

本実施例において、検索モード及び表示モードにおいて、移動オブジェクト１０１の画像情報は、仮想情報１０３が配置された身体上の衣装、模様を構成する色彩領域、及び色彩領域の間の線である。従って、モバイル機器１０の位置情報並びに移動オブジェクト１０１の色彩領域情報及び線情報は、仮想情報１０３のパラメータを構成し、アプリケーションシステムにおけるクラウドサーバに併せて記憶される。ユーザが操作モバイル機器１０を操作して以上のパラメータを生成すると、クラウドサーバは、それらを比較することで仮想情報１０３を取得すると共に表示させることができる。仮想情報１０３が配置される位置は、移動オブジェクト１０１の画像情報によって決定される。一般的な作動において、クラウドサーバは、仮想情報１０３を得るために少なくとも地上位置情報及び画像情報（色彩領域、線）を比較する必要がある。クラウドサーバは、最終的にモバイル機器１０に送信する検索結果を生成する。

以上の仮想情報１０３の可視範囲の設定に係るパラメータの１つはモバイル機器１０を操作するユーザと移動オブジェクト１０１との間の距離である。モバイル機器１０と移動オブジェクト１０１との距離を取得する１つの方法としては、モバイル機器１０における接近センサによって、又は画像情報によって、距離を判断する。他の方法としては、移動オブジェクト１０１の測位情報及びユーザの位置情報に基づいて演算して両者の間の距離を得る。例えば、移動オブジェクト１０１はアプリケーションシステムにおいてＩＤ登録している別の人物である。モバイル機器を持っているユーザが移動オブジェクト１０１において仮想情報を構築するときは、アプリケーションシステムは、仮想情報をアップロードしたユーザのＩＤ情報と、移動オブジェクト１０１のＩＤ情報とを同時に取得することができる。従って、システムは、移動オブジェクト１０１の位置に基づいてユーザが可視範囲内にいるかどうかを判断することができる。即ち、移動オブジェクト１０１とユーザとの間の距離は、演算して得ることのできるパラメータであり、システムが仮想情報１０３を見ることができるかどうかを判断する根拠となる。

１つの実施例において、移動オブジェクト１０１は図に示すような人物である場合、上述した移動オブジェクト１０１の色彩領域情報及び線情報によって測位する方式以外に、人の顔も当該人物を認識するための重要な情報の１つであり、システムに登録される顔認識情報となる。データ構築モードにおいて、ユーザがある情報（例えば仮想情報１０３）をある人物（例えば移動オブジェクト１０１）の身体のある位置に設定した場合、モバイル機器１０を用いて顔を撮影すると、顔はソフトウェアプログラムにおいて演算して解析され、画像情報として生成されると共に、同様にアプリケーションシステムのサーバに送信されて情報が登録される。顔識別情報は、他のユーザが検索モード及び表示モードで仮想情報１０３を取得する際の参考の一つの例となる。

上述した移動オブジェクトの色彩領域情報、線情報、又は直接顔の識別に用いる画像情報等は、サーバに提供され、認識を実行することで特定の仮想情報に対応する移動オブジェクトが得られる。１つの実施例において、サーバにおいて、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）の画像認識プロセスによって、モバイル機器１０から送信された移動オブジェクトの画像情報を処理して、サーバにおける演算プロセスによって移動オブジェクトを識別することができる。

更に、ユーザがモバイル機器１０によって仮想情報１０３を表示した場合、ユーザは、ソフトウェアプログラムが提供するインターフェース（例えばリンク画像であり、また、仮想情報１０３は表示されるとリンクボタンにもなる）を介して引き続き仮想情報１０３に関するより多くの情報を得ることができる。これらの情報は、システムが提供するものであってもよく、仮想情報を構築した際に加えられた情報であってもよい。例えば、仮想情報が広告内容である場合、クリックすると、ある製品の紹介、店の交通情報、又は販促及びディスカウントイベント等を得ることができる。また、仮想情報がプライベート情報である場合、特定のユーザ又はあるグループ内のユーザでなければ検索して得ることができないようにする。

図１Ｂは、移動オブジェクトの仮想情報を構築する他の状況を示す図である。本実施例において、ユーザは、モバイル機器１０を操作してソフトウェアプログラムを起動し、データ構築モードにおいて、カメラモジュールを起動し、移動オブジェクト１０２（本実施例では車）の方向に向け、移動オブジェクト１０２のある位置に精確に合わせることで、拡張現実の技術によって仮想情報１０５を重ね合わせることができる。本実施例において、仮想情報１０５は画像情報であり、ある広告マーケティングの内容を伝達することができる。仮想情報１０５は、ある製品を紹介する文字、ビデオ内容、画像等であってもよい。その後、仮想情報１０５のデータをアップロードする以外に、注記した仮想情報１０５に関連する位置の画像情報がシステムのサーバに送信される。本実施例において、移動オブジェクト１０２の画像情報としては、例えば仮想情報１０５の背景としての車両の塗装を構成する色彩領域情報及び色彩領域の間に形成された線情報が挙げられる。仮想情報１０５を構築すると、モバイル機器１０の位置情報は、この仮想情報１０５を検索することができる根拠にもなる。但しこれは補助的な情報であり、実際に実施する場合は省略することができる。

例えば、移動オブジェクト１０２が室内に位置しており、衛星が測位した情報を取得することができない場合、室内の各種無線信号を利用して測位を補助することができる外、アプリケーションシステムは、モバイル機器１０がアップロードした画像情報のみに基づいて対応する仮想情報１０５を判断することが可能であり、モバイル機器１０の位置情報を取得することができない状況によって制限されない。

更に、仮想情報１０５を構築する際に、ユーザは、仮想情報１０５により多くの機能を与えることができる。例えば、ＵＲＬ等のリンクを構築して、他のユーザが仮想情報１０５を検索して得た際に、例えば他のウェブページへのリンク等の更なる情報を得ることができるようにする。ユーザに対し、よりインタラクティブなサービス（例えばビデオ通信、チャット、売買取引のインターフェースなどのサービス）を提供することができる。

本発明において、主としてモバイル機器が生成した地上位置情報を取得する以外に、空間角度情報を採用することもできる。例えば、移動オブジェクトが一定の高さを有する場合、仮想情報が移動オブジェクト上のある高さの部分に配置されたとき、仮想情報の可視範囲は、空間角度を含むことができる。図２Ａを用いて空間角度情報の取得について説明する。空間座標系は、方位角（Ａｚｉｍｕｔｈａｌ ａｎｇｌｅ）φ及び仰角（ｖｅｒｔｉｃａｌ ａｎｇｌｅ）θによって位置が定められる。本発明におけるモバイル機器２０に空間座標系を適用して、中央の原点にユーザが所持するモバイル機器２０を配し、水平方向は東西南北の方位座標を示す。基準軸（本実施例では北向きの軸）に基づいて、モバイル機器２０の向き（例えばモバイル機器２０の背面のレンズが指す方向Ａ）を取得することができる。方向Ａは、方位角φ及び垂直方向の仰角θを形成する。方位角φ及び仰角θは、モバイル機器２０内の空間測位ユニットによって決定することができる。両者の組み合わせが方向Ａの空間角度情報を形成する。測位衛星２０１によってモバイル機器２０内において形成された水平位置情報を組み合わせることで、モバイル機器２０が指す位置及び方向を適切に測位することができる。モバイル機器２０が指す位置及び方向の空間情報は、アプリケーションシステムのサーバに提供され、サーバにおける演算プロセスによってモバイル機器２０に表示される仮想情報が比較判断される。しかしながら、ユーザがモバイル機器を操作して移動オブジェクトにおける仮想情報を検索した際、ユーザと移動オブジェクトとの間の位置関係は予期することができないため、方位角φは重要な測位情報とはならない。

図２Ｂは、仮想情報の背景の画像情報の取得を示す図である。図２Ｂに示すように、破線で表示した仮想情報２０３は、背景画像２０５に位置している。背景画像２０５は本発明にいう移動オブジェクトである。仮想情報２０３を構築する際、サーバは、ユーザ側のモバイル機器から、仮想情報２０３のデータ、ユーザ側のモバイル機器が所在する地上位置情報、又は空間角度情報、並びに背景画像２０５を含む画像情報を取得することができる。これら空間情報によって、仮想情報２０３を測位するパラメータが形成される。更に、ユーザが仮想情報２０３を構築する場合、より多くの情報を注記してリンクを構築することができる。これにより、その後ユーザが検索によって仮想情報２０３を得た場合、他のウェブページ又は商品売買のインターフェースへのリンクを介してより多くのインタラクティブサービスを提供することができる。

本実施例において、背景画像２０５の画像情報には、画像に前処理を施すことで形成される色彩領域情報及び線情報が含まれる。１つの実施例において、画像の前処理は、モバイル機器においてソフトウェアプログラムが演算を実行することができ、クラウドサーバが演算を実行することもできる。画像の色彩領域の間には縁の線が形成され、線の間が色彩領域である。前記線及び色彩領域は、いずれも仮想情報の所在位置を識別するパラメータとなる。

前処理においては、先ず背景画像２０５における線（図に示す線２２１、２２２、２２３、２２４、２２５、２２６）を識別し、線の間を領域と認識して、領域（２１１、２１２、２１３、２１４、２１５、２１６、２１７）における画像画素の平均値を計算することで、対応する色彩領域情報を形成する。他の実施例において、各領域（２１１、２１２、２１３、２１４、２１５、２１６、２１７）における画像画素に対して正規化演算（ｎｏｒｍａｌｉｚａｔｉｏｎ）を実行して、各領域の特徴値を計算することで、得られた特徴値を当該領域の色彩領域情報とすることができる。画像の前処理方法は、以上に列記した方法に限定されない。また、画像が所在する色空間も特定の色空間に限定されず、ＲＧＢ（赤、緑、青）、ＨＳＶ（色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、輝度（Ｖａｌｕｅ））、ＣＭＹＫ（シアン（Ｃｙａｎ）、マゼンタ（Ｍａｇｅｎｔａ）、イエロー（Ｙｅｌｌｏｗ）、ブラック）等であってよい。

画像を処理した後、上述した背景画像２０５における線２２１、２２２、２２３、２２４、２２５、２２６の情報を得る。線情報は、表示される仮想情報２０３の根拠となり、画像処理を経た後、仮想情報２０３を確実に例えば移動オブジェクトのある部位等の平面上に表示させることができる。

図３は、本発明に係る移動オブジェクト仮想情報遠隔管理システムのネットワークフレームの実施例を示す図である。

移動オブジェクトの仮想情報遠隔管理サービスは、ネットワーク上に構築される。本実施例において、システム側にはサーバ３０１及びデータベース３０２が設けられており、クラウドシステムが形成される。データベース３０２には、仮想情報及び対応する測位情報が格納される。対応する測位情報は、主として仮想情報を配置する移動オブジェクトの画像情報であり、遠隔管理システムが自ら作成したデータを更に含んでもよい。データベース３０２は、仮想情報を検索するデータの出所である。１つの実施例において、データベース３０２は、仮想情報のデータを格納する仮想情報データベースと、仮想情報の測位情報及び各仮想情報に対応する検索条件を格納する検索データベースとを含む。

サーバ３０１は、主としてユーザが端末コンピュータ装置を操作して遠隔管理を実行することで送信された信号（例えば仮想情報を検索するパラメータ）を処理すると共に、データベース３０２内のデータ比較を行って、検索結果を提供する。遠隔管理システムは、ネットワーク３０を介して遠隔管理サービスを提供すると共に、仮想情報の構築及び検索のサービスを同時に提供することができる。クラウドシステムのデータベース３０２のデータの出所は、主としてエンドユーザが構築した仮想情報データであり、ユーザ側はソフトウェアインターフェースを介してクラウドシステムのデータベース３０２の仮想情報を検索することができる。

図３に示すように、エンドユーザは例えば構築者機器３０３である。ユーザはモバイル機器を操作して、モバイル機器のタッチディスプレイを使用することで、ジェスチャー操作の方式、又はその他の入力方式（例えばスマートグラスを使用した上で手を振るジェスチャーによって入力を行う方式）によって、移動オブジェクトに仮想情報を配置することを決定することができる。仮想情報は、文字、画像、映像又は音声等又はそれらの組み合わせである。仮想情報と仮想情報が配置される移動オブジェクトの両者の組み合わせによって、仮想情報を測位する測位情報が形成される。遠隔管理を実行する際には、一般的なデスクトップＰＣ、ノートＰＣ又はタブレットＰＣ等の端末コンピュータ装置を使用する。構築者機器３０３において起動された遠隔管理インターフェースによって、ユーザは、１つの又は複数の移動オブジェクトを直接選択することができ、１つの又は複数の移動オブジェクトの構築と関連する仮想情報を直接設定することができる。特に、移動オブジェクトによって、仮想情報を測位する画像情報が形成される。画像情報は、例えば上述した画像処理を経て生成された色彩領域情報及び線情報である。

構築者機器３０３を利用して仮想情報及び関連する測位情報を構築した後、当該仮想情報及び測位情報をネットワーク３０を介して遠隔管理システムのサーバ３０１にアップロードする。サーバ３０１は、データをデータベース３０２に記憶する。遠隔管理システムは、ネットワーク３０経由で、検索者機器３０６、３０７、３０８が、モバイル機器及び当該モバイル機器に格納されたソフトウェアプログラムを操作してデータベース３０２における仮想情報を検索できるようにする。例えば、ユーザは、モバイル機器を操作して、ソフトウェアプログラムを起動し、カメラモジュールを起動して移動オブジェクトを撮影すると共に、当該移動オブジェクトの画像情報を取り込む。ソフトウェアプログラムは、モバイル機器における関連する測位回路が生成した地上位置情報、又は空間角度情報をも取得する。これらの情報は、先ずサーバ３０１に送信され、比較された後、検索結果が返送される。検索結果は、移動オブジェクトに対応する画像情報（色彩領域情報、線情報及び／又は顔認識情報）、及びモバイル機器の位置情報の仮想情報であり、最終的にモバイル機器のディスプレイに表示される。

遠隔管理システムが取得した構築者機器３０３等のユーザ側がソフトウェアプログラムによって生成した仮想情報及び対応する測位情報は、主として移動オブジェクトの画像情報であり、検索条件を設定することができる。仮想情報及び対応する測位情報は、ユーザが提供することもできる。仮想情報及び対応する測位情報は、システムが構築者機器３０３と移動オブジェクトと間の空間関係に基づいて検索条件を設定することもできる。検索条件は、例えば仮想情報を見ることができる時間範囲、可視範囲及びユーザ範囲のいずれか又はそれらの組み合わせである。

例えば、仮想情報を構築する際に、仮想情報を検索するユーザと移動オブジェクトとの間に距離関係、又は仰角関係があり、可視範囲が形成されることを設定することができる。従って、仮想情報を見ることができる距離範囲を設定することができる。遠隔管理システムは、検索者機器３０６、３０７、３０８と仮想情報が表示される移動オブジェクトとの間の仮想情報を見ることができる距離閾値を設けることができ、この距離閾値から外れた場合、近すぎても又は遠すぎても仮想情報を見ることができない。

図４は、本発明に係る遠隔管理システム及び端末モバイル機器におけるソフトウェアモジュールの実施例を示す図である。

遠隔管理システムは、クラウドに設けられたサーバ４１を含む。サーバ４１は、コンピュータシステムである。また、サーバ４１は、異なる作業を実行する複数のコンピュータシステムの組み合わせであってもよい。サーバ４１は、主としてユーザ側のコンピュータ装置によってアップロードされたデータを受信する。前記データは遠隔管理インターフェースを用いて、アップロードするユーザが設定しようとする仮想情報データも含む。遠隔管理インターフェースはモバイル機器４００において実現し得る。該遠隔管理インターフェースによって、ユーザは仮想情報データ、及び仮想情報に対応する測位情報をアップロードして、データベース（検索データベース４３、仮想情報データベース４５）を構築することができる。データベース（検索データベース４３、仮想情報データベース４５）は、サーバ４１経由で取得したユーザ側のモバイル機器が生成したデータを格納するのに用いられる。当該データは、特にモバイル機器４００が生成した、特定の仮想情報に対応する位置情報を含む。

データベースはデータ記憶媒体である。データベースは、機能に基づいて検索データベース４３と仮想情報データベース４５とに分けられる。両者は同一のサーバ内に設けられるようにしてもよく、異なる位置に設けられるようにしてもよい。仮想情報データベース４５は、主としてモバイル機器４００がアップロードした仮想情報のデータを格納する。仮想情報は、ユーザがモバイル機器４００を介して構築した文字、画像、映像及び音声のいずれか又はそれらの組み合わせであってよい。映像は、平面動画、立体動画を更に含む。仮想情報データベース４５は、同時に、ユーザがモバイル機器４００を操作して仮想情報を選択する際のデータの出所にもなる。検索データベース４３は、主としてモバイル機器４００がアップロードしたデータにおける仮想情報に対応する他の情報を格納する。例えば、検索データベース４３は、仮想情報の測位情報（主として画像情報であり、特に仮想情報に対応する色彩領域情報及び線情報である）を格納する。色彩領域情報及び線情報は、主として仮想情報の背景画像から取得され、仮想情報を測位する際の主な根拠となる。サーバ４１において演算プロセスが実行されている場合、検索データベース４３に格納される仮想情報を比較することで、１つの又は複数の仮想情報を得ることができる。各仮想情報は、それぞれ識別情報（ＩＤ）を有しており、仮想情報データベース４５を介してユーザ側の装置に提供される。

１つの実施例において、サーバ４１において実行する演算プロセスは、人工知能の深層学習の画像認識プロセスであり、当該プロセスの処理及び学習を複数回行わせることで、移動オブジェクトに対する認識度が高くなる。

他の実施例において、ユーザがモバイル機器４００を操作して仮想情報の測位情報を形成すると同時に、検索条件を設定して、検索データベース４３にアップロードすることができる。検索条件は、時間範囲、可視範囲及びユーザ範囲のいずれか又はそれらの組み合わせであり、検索比較の根拠となる。

例えば、ユーザがある移動オブジェクトにおいて仮想情報を構築した場合、時間範囲を設定することができる。即ち、ユーザが本発明に係る遠隔管理システムにおいて情報の検索を実行した場合、仮想情報を測位するための画像情報を満たす必要があるだけではなく、この時間範囲内に限って仮想情報を検索できるように設定する。可視範囲は、ある仮想情報を視認できる距離範囲である。ユーザがモバイル機器４００を操作する場合、前記可視範囲内でのみオブジェクトの画像情報を満たす仮想情報を視認できるようにする。ユーザ範囲は、仮想情報を見ることができる対象ユーザを設定したものであり、一人又は複数人である。各対象ユーザがモバイル機器４００を操作して仮想情報を検索すると、各対象ユーザのユーザ識別データ（ｕｓｅｒ ＩＤ）をも送信し、サーバが同様に検索条件の１つとする。

従って、遠隔管理システムは、ユーザがアップロードした大量のデータに基づいてデータベース（検索データベース４３、仮想情報データベース４５）を構築し、検索エンジンを構築して、ユーザに対して、モバイル機器を操作して仮想情報を検索するサービスを提供することができる。

本発明における移動オブジェクトの仮想情報の構築方法及び表示方法を作動するモバイル機器４００は、ネットワーク４０を介してサーバ４１に接続される。モバイル機器４００の主な回路素子としては、各回路素子が生成した信号を処理するデータ処理ユニット４０１と、データ処理ユニット４０１と電気的に接続する各回路素子と、外部装置と接続する通信ユニット４０２と、モバイル機器４００の位置を検知する地上測位ユニット４０３と、モバイル機器４００の空間における位置を検知する空間測位ユニット４０４と、実景（移動オブジェクト）画像を取得する撮影ユニット４０５と、ユーザがジェスチャーによって命令を入力できるようにするタッチ表示ユニット４０６と、を含む。

地上測位ユニット４０３は全地球測位システムの関連回路である。地上測位ユニット４０３は、測位衛星からの信号を受信して地上位置情報を生成する。測位にあたっては他の無線基地局からの信号を補助的に用いることができる。空間測位ユニット４０４は、モバイル機器４００内に搭載されるジャイロスコープである。空間測位ユニット４０４は、ジャイロスコープを用いてモバイル機器の空間における位置を検知して、主として方位角φ及び仰角θから成る空間角度情報を形成する。

遠隔管理システムは、モバイル機器４００に搭載されるメモリユニット４０７（コンピュータ読み取り可能媒体）に格納されるプログラム集合体を更に含む。プログラム集合体がモバイル機器４００のプロセッサ（１つの又は複数のプロセッサ）によって実行されることで、移動オブジェクトの仮想情報の構築及び表示のプロセスを実行することができる。以下、プログラム集合体が主な機能を実行する命令について説明する。

画像取込命令４７１は、モバイル機器４００の撮影ユニット４０５を作動させて、移動オブジェクトの画像（例えば人の顔）を取得させると共に、当該移動オブジェクトの画像をモバイル機器４００に表示させる。仮想情報処理命令４７２は、ユーザがモバイル機器４００におけるタッチ表示ユニット４０６を操作してある移動オブジェクトに構築した仮想情報を処理するのに用いられる。仮想情報は、ユーザが自ら構築してもよく、又はシステムが提供した仮想情報データベース４５から選択することによって、サーバ４１に送信する仮想情報のデータが形成される。仮想情報は、文字、画像、映像及び音声のいずれか又はそれらの組み合わせである。位置情報生成命令４７３は、モバイル機器４００における測位回路が生成した信号を取得するのに用いられる。例えば、モバイル機器４００における地上測位ユニット４０３及び空間測位ユニット４０４が生成した測位情報を取得させる。本発明では、主としてモバイル機器４００のＧＰＳ位置情報を取得させればよい。画像情報生成命令４７４は、移動オブジェクト画像を処理して、仮想情報に対応する画像情報を生成するのに用いられる。上述した実施例における画像処理の方法によって、仮想情報を測位するための色彩領域情報及び線情報又は顔認識情報を生成させることができる。検索処理命令４７５は、モバイル機器４００が検索モード及び表示モードにおいて生成した位置情報及び画像情報を取得すると共に、位置情報及び画像情報がサーバ４１に送信された後、サーバ４１が生成した、検索条件を満たす検索結果を受信するのに用いられる。データ送受信命令４７６は、モバイル機器４００とサーバ４１との間の接続を構築し、信号の送受信に用いられる。特に、ユーザ側が生成した位置情報又は画像情報を送信し、サーバ４１が生成した検索結果を受信するのに用いられる。仮想情報表示命令４７７は、モバイル機器４００によってサーバ４１が生成した検索結果が受信された際、仮想情報が検索された場合、検索結果に基づいて仮想情報を表示するのに用いられる。１つの実施例において、モバイル機器４００において表示される移動オブジェクトに仮想情報を重ね合わせる。

上述した仮想情報は、システムが提供することができる外、ユーザが自ら他のソフトウェアツールを用いて生成することもできる。システムは、ユーザが写真を含む仮想情報を選択利用できるように、画像ライブラリ、映像ライブラリ、音声ライブラリ等をユーザに提供する。

次いで、図５は、本発明に係る移動オブジェクトの仮想情報遠隔管理システムにおけるサーバの機能モジュールの実施例を示す図である。回路又はソフトウェアを組み合わせた機能モジュールによってクラウドシステムを説明する。クラウドシステムは、サーバ及びデータベースによって構成される。クラウドシステムは、主として、複数の仮想情報における個別の仮想情報に対応する測位情報（主として移動オブジェクトの色彩領域情報及び線情報、又は設定される地上位置情報、空間角度情報を更に含む）を格納する検索データベース４３を含む。各仮想情報には識別データ（ＩＤ）が設けられており、識別データ（ＩＤ）は検索インデックスとして用いられる。特定の移動オブジェクトに関連する各仮想情報は、個別の検索条件にも対応しており、例えば、仮想情報を見ることができる時間範囲、可視範囲（移動オブジェクトとの間の距離）及びユーザ範囲（見ることができるユーザを指定した範囲）のいずれか又はそれらの組み合わせが、検索比較の根拠として設定されている。

クラウドシステムは、仮想情報のデータを、仮想情報の形式に基づいて記憶するための仮想情報データベース４５が更に設けられている。仮想情報は、文字、画像、映像若しくは音声、又は各種形式の組み合わせを含む。各仮想情報は、各仮想情報の識別データに基づいて検索データベース４３における各仮想情報に対応する空間情報及び検索条件とリンクする。

サーバ４１は、１つの又は複数のプロセッサを有するコンピュータシステムである。サーバ４１は、移動オブジェクトの仮想情報遠隔管理のサービスを提供するのに用いられる。サーバ４１は、エンドユーザ（５０１、５０３、５０５）がネットワーク４０を介して仮想情報遠隔管理を実行できるようにする。サーバ４１は、エンドユーザ（５０１、５０３、５０５）が設定した仮想情報及び関連する移動オブジェクトを処理するのに用いられる。サーバ４１は、ハードウェア又はソフトウェアを組み合わせた方式によって構成されることができる。

サーバ４１には、回路によってデータ取込の目的を達成することができる、データ取込ユニット４１１が設けられている。データ取込ユニット４１１は、サーバ４１のホスト上のネットワークインターフェースを介してネットワーク４０に接続され、各エンドユーザ（５０１、５０３、５０５）が設定した仮想情報、並びに当該仮想情報に対応する移動オブジェクトの測位情報及び検索条件を受信することができる。測位情報は、特に関連する移動オブジェクト画像情報を含み、移動オブジェクトの位置及び仮想情報を検索するユーザの位置を含む。データ取込ユニット４１１は、これら情報を予備的に処理して、測位情報及び画像情報等の仮想情報の検索に必要なデータを構築することができる。

ユーザ管理ユニット４１２は、関連するプログラムをメモリに組み合わせることでユーザ管理の目的を達成することができる。ユーザ管理ユニット４１２は、各ユーザのユーザ識別データ、パスワード管理等セキュリティデータを格納するのに用いられ、ユーザに対応するデータベースを構築することができる。

遠隔管理ユニット４１３は、例えばサーバ４１に設けられたサービスプログラムであり、前端のユーザインターフェース及び後端のデータベース（４３、４５）にリンクされている。遠隔管理ユニット４１３は、実体ネットワークを介して、遠隔ユーザがユーザインターフェースを経由して仮想情報及び関連内容を設定できるようにする。ユーザは、例えばウェブブラウザ又は専用ソフトウェア等の特定のソフトウェアプログラムを介して遠隔管理ユニット４１３とコミュニケーションを取ることができる。遠隔管理ユニット４１３が構築するユーザインターフェースは、主としてユーザが仮想情報（文字、画像、映像及び音声のいずれか又はそれらの組み合わせ）及び配置しようとする移動オブジェクトをアップロードできるようにする。例えば、仮想情報を関連付けようとする移動オブジェクトの可視範囲を設定した地理位置を選択できるようにユーザに地図を提供する。測位情報は、各ユーザに見せようとする仮想情報の可視距離範囲を更に含み、ある空間角度の範囲や、仮想情報を見ることができる時間範囲（有効期限）及びユーザ範囲（見ることができるよう設定できる対象）といった他の検索条件をも含む。

仮想情報管理ユニット４１４は、遠隔管理ユニット４１３に次いで各ユーザが構築した仮想情報及び対応する情報を取得する。対応する情報は、測位対象の情報（測位情報、画像情報）、検索条件等を含む。仮想情報管理ユニット４１４は、異なるユーザ（各ユーザにはユーザＩＤ等の識別データが設けられている）が構築した仮想情報に対して識別データ（仮想情報ＩＤ）を構築することができる。各種形式の仮想情報は仮想情報データベース４５に記憶され、仮想情報関連の対応情報は、検索データベース４３に格納される。当該対応情報は、仮想情報関連の移動オブジェクトの画像情報、検索条件等を含む。

１つの実施例において、本発明に係るシステムは、異なるサーバによって異なる作業を処理することができる。サーバ４１は、仮想情報遠隔管理の機能を提供する。又は異なるサーバによって仮想情報を検索する機能を提供することができる。本実施例では、仮想情報を検索する機能は、仮想情報検索並び替えモジュール４１５によって実現される。

仮想情報検索並び替えモジュール４１５は、ユーザが仮想情報を検索する各種検索条件を処理するのに用いられ、仮想情報の並べ替え条件を処理することもできる。検索条件は、例えば時間範囲、可視範囲（ユーザと移動オブジェクトとの間の距離）及びユーザ範囲である。並べ替え条件は、時間要素、ユーザ関連性、客観的データ及びシステム重み付け等を含む。

仮想情報検索並び替えモジュール４１５は、システム側サービスとエンドユーザが使用する端末コンピュータ装置内のソフトウェアプログラムとの間のコミュニケーションを実行し、他のサービスプログラムを介して、ユーザが各端末においてモバイル機器を利用することで生成された検索情報を受信して、対応する仮想情報検索結果を提供する。１つの実施例において、関連するサービスプログラムは、モバイル機器がアップロードした測位情報に基づいて検索データベース４３におけるデータを比較すると共に、仮想情報データベース４５から仮想情報のファイルを取得して、モバイル機器にフィードバックすることができる。更に、ユーザが相対的に興味のある結果をユーザに提供することができるように、検索結果が得られた後、並べ替えを提供することもできる。

検索結果が複数ある場合は、並べ替え時にフィルタリング条件を適用することで、検索結果を一定数内の仮想情報に収斂するようにすると共に、結果がユーザにとって有意義な内容となるようにすることができる。

例えば、仮想情報検索並び替えモジュール４１５の作動に基づいて、並べ替えは、ユーザ関連情報に基づくことができる。ユーザ関連情報は、サーバ４１が取得した、測位情報（主として移動オブジェクトの画像情報）に付随するユーザのユーザ識別データ（ユーザＩＤ）である。これにより、データベースに記憶するユーザ関連情報を取得することができる。システムがユーザ識別データを取得すると、先ずユーザ個人に関する仮想情報を提供することができる。仮想情報がある（又はあるユーザ範囲の）ユーザに見せるよう指定して構築されている場合、当該仮想情報は個人仮想情報であり、ユーザ識別データによってフィルタリングした後、指定されたユーザ（１つの又は複数の）に対して、当該個人仮想情報の並べ替えにおける優先順位を最も高く設定することができる。反対に、ユーザ範囲に属しない無関係の他人が当該仮想情報を見ることはないため、あるユーザに見せない仮想情報を排除することができる。

更に、ユーザ関連情報は、ユーザが設定した嗜好設定及び履歴データを含む。データベースにおける各仮想情報は、関連する１つの又は複数の内容分類を設定することができる。ユーザは、システムを使用する際にその嗜好設定を設定することができる。即ちユーザは、興味のある１つの又は複数の内容分類を能動的に設定することができる。履歴データは、システムが收集した、各ユーザの各仮想情報の関連する内容に対するアクセス時間及び訪問回数を含む。システムは、アクセス時間が相対的に長い内容（及びその分類）をユーザが嗜好する内容分類と見做し、同様に、訪問回数もユーザの嗜好を判断する根拠と見做される。従って、クラウドシステムは、履歴データに基づいてユーザが興味を有する１つの又は複数の内容分類を判断することができる。

システムは、関連性の高い仮想情報の優先順位を高く設定し、関連性の低い仮想情報の優先順位を低く設定して、ユーザに提供する検索結果を当該優先順位に基づいて並べ替えることができる。

１つの実施例において、仮想情報は、時間特性を有する。仮想情報を構築した仮想情報提供者は、構築した仮想情報に対して、表示可能な時間（朝、昼又は夜等の時間範囲を設定することができる）を含む時間パラメータを設けることができる。又は、仮想情報が検索される有効表示時間を設定することができる。従って、システムは、サーバのシステム時間に基づいて、時間をパラメータとして予備的検索結果をフィルタリングして、時間パラメータが合致しない仮想情報を排除することができる。即ち、システムは、表示時間が合致しない仮想情報を排除することができ、また、有効表示期限がシステム時間を超えている仮想情報を並べ替え時に排除することができる。

システムは、更に客観的データに基づいて仮想情報を並べ替えることができる。客観的データは、例えば各仮想情報が構築された時間、更新時間、有効時間、クリックレート及び／又は評価等のパラメータである。システムは、これらパラメータに基づいて並べ替え時の優先順位を決定することができる。例えば、仮想情報は、仮想情報の構築時間が新しいほど高い優先順位を有するようにしてもよい。また、仮想情報は、更新率が高いほど高い優先順位を有するようにしてもよい。また、仮想情報は、ある仮想情報に関連する内容に対する訪問率が高いほど高い優先順位を有するようにしてもよい。また、仮想情報は、仮想情報に関連する内容に対する他人の評価を参考にして、評価が高いほど高い優先順位を有するようにしてもよい。

また、上述した時間、ユーザ関連情報及び客観的データを並べ替えの根拠とする以外に、システムは、データベースにおける仮想情報に対してシステム重み付けを行うことができる。システム重み付けは、主として仮想情報提供者がクラウドシステムにおいて、提供した個別仮想情報に対して設定する重み付けである。クラウドシステムは、受信した複数の仮想情報が個別に受信した重み付けに対して上述したシステム重み付けを演算し、システム重み付けが大きいほど、高い優先順位を有するようにする。

例えば、システム重み付けは広告であってもよく、仮想情報提供者は広告主であり、価格に基づいて高い並べ替えを提供するようにシステムに要求すると、当該要求がシステム重み付け設定の根拠となる。また、政府による指示宣伝や大衆に関する情報等も、システム重み付けの設定によって並べ替えの優先順位を変えることができる。

その後、システムは、仮想情報検索並び替えモジュール４１５によって上述した各並べ替えの根拠に対して並べ替えの決定を行う。並べ替えの決定はシステムが設定する並べ替えシナリオ（ｓｃｅｎａｒｉｏ）であり、必要に応じて調整することができる。

最後に、システムは、検索請求を生成したモバイル機器に対して検索及び並べ替えの結果を送信する。モバイル機器は、サーバ４１が送信した並べ替え後に出力された１つの又は複数の仮想情報を受信すると、表示画面を介して優先順位の最も高い仮想情報を表示する。又は、選択された仮想情報を選択命令に基づいて表示する。各仮想情報を表示すると、最初に撮影された実景の画像と結合する。

遠隔管理システムは、異なる目的に応じて異なる機能の遠隔管理インターフェースを提供することができる。例えば、移動オブジェクト（例えば人物、車のオーナー等）に対して、登録が行えるユーザインターフェースを提供し、システム側で移動オブジェクトの画像を登録して、仮想情報データベース４５を形成する。システムは更に、仮想情報を設定する者に対してユーザインターフェースを提供し、ユーザが仮想情報に関連する移動オブジェクトや可視範囲及び検索条件を決定できるようにすることができる。本発明において、これらのユーザインターフェースを遠隔管理インターフェースと総称する。

次いで、図６は、本発明に係る移動オブジェクトの仮想情報遠隔管理方法の実施例のフローである。１つの実施例において、本発明に係る遠隔管理システムは、クラウドに設けられたサーバ及びデータベースを含むと共に、サーバにおいて実行される遠隔管理方法の関連プロセスを含む。サーバにおけるプロセッサが実行した後、移動オブジェクトの仮想情報遠隔管理方法を実行する。

本実施例のフローにおいては、移動オブジェクト構築の実施例を説明する。スタート時に、ユーザは、端末コンピュータ装置を用いて遠隔管理システムのサーバにログインし、必要なセキュリティ認証を実行した上で、ステップＳ６０１において、ウェブブラウザ、専用ソフトウェアプログラム等の方式によって遠隔管理インターフェースを起動する。ステップＳ６０３において、システムユーザは、移動オブジェクトデータを構築することができる。即ち、システムユーザは、遠隔管理インターフェースにおける空欄に、移動オブジェクトの基本的な説明、移動する地域、普段現れる地理的位置等の、当該移動オブジェクトに関する情報を入力することで、仮想情報を設定するユーザに参考として提供することができる。

次いで、ステップＳ６０５において、システムは、ユーザに対して、移動オブジェクトの画像を提供するよう要求する。ユーザは、移動オブジェクトの正面画像又は背面画像、又は各種角度からの画像をアップロードすることができる、次いで、ステップＳ６０７において、システムにおけるソフトウェアプログラムが上記画像の画像特徴を取り込んで、当該移動オブジェクトを判断する画像情報を形成する。画像情報は、例えば画像における色彩領域情報及び線情報である。これら画像情報は、関連する仮想情報を測位する測位情報を形成する。他の実施例において、移動オブジェクトが人物である場合、服装、頭髪、化粧等の画像が測位用の画像情報となる外、顔認識も測位の技術となる。従って、人の顔は、同様に仮想情報の測位に有効な画像情報となる。従って、サーバにおいて各移動オブジェクトを設定する際に、顔認識技術によって人の顔から形成された画像情報を取得することができる。

その後、ステップＳ６０９において、システムは、移動オブジェクトのユーザが、関連する仮想情報の条件を設定することができるようにする。設定される仮想情報の条件には、関連する仮想情報の形式、例えば文字、画像、映像又は音声、又は各種形式の組み合わせが含まれる。関連する仮想情報の条件の設定は、遠隔管理インターフェースを介して行われる。例えば、移動オブジェクトのユーザは、関連付けを認める仮想情報の時間的制限（移動オブジェクトユーザは、仮想情報を検索したくない時間を排除することができる）、類別（移動オブジェクトユーザは、関連付けられることを望まない仮想情報の類別を排除することができる。例えば、アダルト広告等の特定の類別の広告を排除することができる）及び位置（移動オブジェクトユーザは、仮想情報を検索することが認められる場所を制限することができる）等を設定することができる。

最後に、ステップＳ６１１において、システムは、以上の仮想オブジェクト情報、画像情報、関連する仮想情報の条件等に基づいて移動オブジェクトファイルを構築して、仮想情報データベースを構築する。また、システムによって、ユーザは、遠隔管理インターフェースを介して、移動オブジェクトについて行われる除去及び編集を含む設定を管理することができる。

次いで、図７は、本発明に係る移動オブジェクトの仮想情報遠隔管理方法の実施例のフローである。

本実施例のフローにおいては、ステップＳ７０１において、仮想情報を遠隔設定しようとするユーザは、パーソナルコンピュータ、モバイル機器又はタブレット装置等のコンピュータ装置を操作して、ウェブブラウザ又は専用ソフトウェアプログラムを利用して遠隔管理インターフェースを起動することができる。ユーザ認証等のセキュリティ措置を講じる必要があることについては説明を省略する。ユーザは、例えば広告主であり、又は任意の目的を有する情報発信者であり、遠隔管理インターフェースを用いて仮想情報を設定しようとする移動オブジェクトを決定する。移動オブジェクトの決定には、ステップＳ７０３において、個人又は動物、車又は他の交通手段等の独特な画像情報を有する移動オブジェクトを選定することを含む。

次いで、ステップＳ７０５において、仮想情報を設定する。ユーザは、画像、文字、映像、音声等のマルチメディアの仮想情報を自ら製作することができ、また、ソフトウェアプログラムを介してサーバに接続し、データベースにおける仮想情報を選択してもよい。クラウドシステムのサーバから仮想情報を取得し、仮想情報と移動オブジェクトの画像情報（例えば色彩領域、線等）との間の関連性を構築する。自ら１つの移動オブジェクトにおいて１つの仮想情報を設定する必要がある方式とは異なり、遠隔管理システムによって、ユーザは、遠隔管理インターフェースを介して１つの又は複数の仮想情報を設定することができる。１つの移動オブジェクトにおいて１つの又は複数の仮想情報を設定することもでき、又は一度に１つの仮想情報を複数の移動オブジェクトにおいて設定することもできる。遠隔管理システムにおけるサーバは、ユーザが端末装置において遠隔管理インターフェースを操作することで設定した仮想情報、及び当該仮想情報と移動オブジェクトとの関連性の情報を受信する。特に、仮想情報と当該仮想情報の位置を測位することができる画像情報との関連性を構築する。他の実施例において、システムによって、ユーザは、仮想情報を測位するためのより多くの細部を設定することができる。例えば、ユーザは、仮想情報が移動オブジェクトのある部位に表示されるよう設定することができ、且つ画像情報に基づいて測位することができる。

その後、ユーザが仮想情報を検索して取得することができる条件を設定する。例えば、ステップＳ７０７において、仮想情報の可視範囲を設定する。本実施例において、遠隔管理インターフェースを介して、仮想情報を見ることができる範囲を設定することができる。例えば、ユーザから移動オブジェクトまでの間の可視距離範囲を設定することができる。可視距離範囲としては、視角範囲、又は仰角の範囲が含まれてもよく、モバイル機器を有するユーザが移動オブジェクトまでの可視距離範囲内においてのみ仮想情報を検索して得ることができるようにする（本実施例においては、ユーザと移動オブジェクトとの距離を取得する必要がある）。他の実施例において、移動オブジェクトのある可視領域範囲を設定することができる。例えば、移動オブジェクトがある地理範囲（例えばある道路上、ある行政領域内）内に位置しなければ、又はある形態の地理位置（例えば山、海、道路）に位置しなければ、仮想情報を検索して得ることができないように、仮想情報を設定する。また、移動オブジェクトについて、関連する仮想情報を見ることができる可視距離又は可視領域を設定することもできる。

次いで、ステップＳ７０９に示すように、各仮想情報の検索条件を設定する。即ち、システムによって、仮想情報を設定するユーザは、遠隔管理インターフェースを介して各仮想情報が検索して得られる時間範囲、ユーザ範囲、ひいては予算範囲を設定する。例えば、仮想情報がレストランに関係するディスカウント情報である場合、昼間の三食の時間を、仮想情報が検索して得られる時間範囲として設定することができる。仮想情報に有効期限がある場合、時間範囲を設定することで、検索して得られる時間を制限することができる。仮想情報があるグループ又は個人に対する情報として設定される場合、ユーザ範囲を設定することができ、システムは、ユーザの識別情報に基づいて仮想情報のユーザを選別して得ることができる。仮想情報が商業広告である場合、又は、システムが各種仮想情報のいずれに対しても使用金額を設定している場合、ユーザは、必要に応じて予算の上限を設定することができる。仮想情報が読み取られると、当該予算から金額を差し引いて、予算の上限が引き続き検索されることがないようにすることができる。以上の検索条件はそれぞれ互いに組み合わせることができ、仮想情報がより柔軟に、特定条件を満たすユーザに対するものとなるようにすることができる。

その後、ステップＳ７１１において、クラウドシステムは、遠隔管理インターフェースを介して、ユーザが設定した仮想情報（画像情報を含む）、関連する移動オブジェクト、可視範囲及び検索条件を受信して、システム側で検索比較のためのデータを構築する。システムは、ユーザに対して、遠隔管理インターフェースを介して仮想情報の設定を管理すること（除去及び編集を含む）を提供する。

他の実施例において、図７の実施例のフローに示すように、ユーザが移動オブジェクトにおいて仮想情報を構築すると、クラウドシステムは、仮想情報をアップロードしたユーザのＩＤを受信する外、若し移動オブジェクトがシステムの別のユーザであって、システムに登録されたサービスＩＤを有している場合、システムは、ユーザＩＤ及び位置を得ると同時に、移動オブジェクトとしてのユーザのサービスＩＤ及び位置を知ることができる（ソフトウェアプログラムがモバイル機器の位置情報を取得するよう要求する）。その後、システムは、上述した実施例で述べた通り画像情報によって移動オブジェクト及び関連する仮想情報を認識する以外に、依然としてユーザＩＤに基づいて移動オブジェクトの身分及び関連する仮想情報を確認することができ、ひいては移動オブジェクトの位置を取得することができる。これにより、移動オブジェクトにおける仮想情報を構築する可視範囲として、システムは、仮想情報を検索するユーザと当該移動オブジェクトとの二人の間の距離を得ることができる。当該距離情報は、システムが仮想情報を見ることができるか否かを判断する根拠の１つとなり、又は、仮想情報の可視範囲を設定する根拠となる。

図８は、仮想情報を検索して得る方法のフローを示す。

上述したアプリケーションシステムは、ユーザに対し仮想現実を検索するサービスを提供する。ユーザが端末を操作して当該サービスを使用するソフトウェアプログラムを実行した場合（ステップＳ８０１）、検索モード及び表示モードにおいて、ソフトウェアプログラムが撮影ユニットを起動すると共に、モバイル機器の撮影ユニットが撮影して取得したオブジェクト画像を取得する（ステップＳ８０３）。オブジェクト画像は、特に仮想情報を配置する物体の画像であり、本発明において適用される移動オブジェクトの画像である。作動中、ソフトウェアプログラムは、モバイル機器の位置情報を連続して取得する（ステップＳ８０５）。当該位置情報は、主としてＧＰＳモジュールが生成した地上位置データであるが、ジャイロスコープが得た空間角度データを取得することもできる。

ソフトウェアプログラムは、移動オブジェクトの画像信号を取得する以外に（ステップＳ８０７）、画像演算手段によって移動オブジェクトの画像情報を解析して取得することもできる（ステップＳ８０９）。上述した実施例で述べたように、移動オブジェクトの色彩領域情報及び線情報を取得する。これら画像情報、又はモバイル機器の位置情報によって、仮想情報を配置する位置を、仮想情報検索の根拠として、判断して得ることができる。データベースにおける仮想情報が、移動オブジェクトの画像情報及び上述した各種検索条件に合致する場合、移動オブジェクトに表示することができる仮想情報となる。他の実施例において、若し移動オブジェクトが、サービスＩＤを登録した別の人物である場合、所有するモバイル機器が生成した測位情報が、移動オブジェクトを測位する重要な根拠の１つとなり、当該測位情報によって、移動オブジェクトと仮想情報を検索するモバイル機器との間の距離を取得することができる。

前記移動オブジェクトの画像情報は色彩領域情報及び線情報を含む外、若し移動オブジェクトが人物である場合、画像処理によって取得した顔認識情報もまた、移動オブジェクトの認識及び仮想情報の測位における重要な根拠の１つとなり、当該顔認識情報によって検索結果を得ることができる。

端末モバイル機器において位置情報及び移動オブジェクトの画像情報を形成する場合、サーバにリアルタイムでアップロードする（ステップＳ８１１）。サーバにあるデータベースには、複数のユーザが各自のモバイル機器を操作することでアップロードした仮想情報と対応する可視範囲及び画像情報とが格納されている。サーバは、演算プロセスを実行してデータベースと比較することで、仮想情報に対応する可視範囲及び画像情報に合致する検索結果を得ると共に、モバイル機器に返送する（ステップＳ８１３）。検索結果が少なくとも１つの仮想情報があることを示した場合、モバイル機器において、可視範囲内において画像情報に合致する仮想情報を表示する（ステップＳ８１５）。

図９は、本発明に係る移動オブジェクトの仮想情報遠隔管理システムが提供する遠隔管理インターフェースの実施例を示す。本実施例において、遠隔管理システムは、遠隔管理インターフェース９０を提供する。本実施例において、遠隔管理インターフェース９０は電子地図であり、遠隔管理システムが提供する遠隔管理インターフェースの１つであってよく、ユーザが、仮想情報を設定するユーザインターフェースを操作することができるようにする。

例えば、ユーザは、このユーザインターフェース９０１におけるある位置に仮想情報に関連付けようとする第１の移動オブジェクト９１１を設定する。第１の移動オブジェクト９１１の条件を満たす必要がある以外に、仮想情報のユーザは、第１の可視範囲９１３（本実施例では道路範囲を指す）においてのみ、移動オブジェクトにおいて仮想情報を検索して得ることができるよう、設定することができる。これが可視領域範囲である。例えば、ある道路における商店主は、所在する道路においてのみ当該商店に関連する広告情報を検索して得るよう設定することができる。

他の実施例において、第２の移動オブジェクト９１２を設定する場合、第２の可視範囲９１４（本実施例では第２の移動オブジェクト９１２の周囲数百メートル）を設定することができる。即ち、ユーザが、僅能在此第２の可視範囲９１４の範囲内でのみ第２の移動オブジェクト９１２における仮想情報を得ることができるように設定することができる。これが可視距離範囲である。

ユーザインターフェース９０１において、各種形式のインターフェースを介して、ユーザに、移動オブジェクト及び検索に関連する仮想情報の範囲を設定させることができる。本実施例において、検索条件設定エリア９１５には、可視範囲、時間範囲及びユーザ範囲が表示されている。

図１０は、本発明に係る移動オブジェクトの仮想情報を表示した状況を示す図である。

図１０において、移動オブジェクト１００は、１台の車であり、車には複数の仮想情報が表示されている。ユーザがモバイル機器を操作してこの移動する車両を撮影した場合、同時に当該移動オブジェクト１００の画像信号を取り込むと共に、画像特徴を解析して取得し、各種仮想情報を測位する情報として、サーバにアップロードする。サーバにおけるソフトウェアプログラムがデータベースと比較して、図１０に示す移動オブジェクト１００における第１の仮想情報１００１（「ＸＸレストランへようこそ」という情報が表示される）と、第２の仮想情報１００２（「ＸＸ商品」及び内容を放送できるという情報が表示される）とを取得する。

図１１は、仮想情報を表示した他の状況を示す図である。図１１において、移動オブジェクト１１０は、１人の人物であり、人物自体に特徴を有する。画像情報を取得した後、サーバにアップロードすることでこの画像情報及び可視範囲に合致する仮想情報を得ることができる。図に示す第３の仮想情報１１０１に表示される「セール価格ＸＸＸ」は、文字及び図形から成る。また人物の胸には第４の仮想情報１１０２が表示され、この情報は、ある検索ユーザに対する個人情報であってもよい。

図１２は、アプリケーションシステムが端末モバイル機器に複数の仮想情報を提供した場合の検索結果表示の実施例を示す図である。

図１２において、モバイル機器１２０には、リアルタイムで取得された移動オブジェクト１２６の画像を表示している。サーバがデータベースと比較した結果、データベースにおける当該移動オブジェクト１２６の画像情報に合致する仮想情報が複数存在した場合、又は、既に検索条件によってフィルタリングした後、依然として複数の仮想情報が存在した場合、図１２の方式によって表示することができる。即ち、先ず、並べ替えの結果優先順位の最も高い仮想情報１２７を表示して、ユーザインターフェースが提供するスクロール切り替えアイコン１２１、１２２によってユーザはタッチディスプレイにおいて左右にスクロールさせるジェスチャーによって仮想情報を切り替えることができ、下方の仮想情報プレビューエリア１２８において他の情報を選択肢として提供する。

次いで、図１３は、スマートグラス等の装置を利用して検索結果を表示する実施例を示す図である。

図１３におけるモバイル機器１３０は、例えばスマートグラスであり、スマートグラスにおいて、同様にカメラによって移動オブジェクト１２６’の画像を取得し、同様に画像処理手段によって移動オブジェクト１２６’の画像情報を取得し、サーバにアップロードした後、直ちに並べ替えの結果優先順位の最も高い仮想情報１３７を表示することができる。表示内容には、同様に、ユーザが情報を切り替えることのできるジェスチャー切り替えアイコン１３８、１３９を含む。本実施例において、ユーザは、本発明が適用された装置の上方でジェスチャーをすることで仮想情報を切り替えることができる。下方には同様に、仮想情報プレビューエリア１４０を表示している。

このように、本発明に係る移動オブジェクトの仮想情報遠隔管理の方法及びシステムにおいて、遠隔管理によって、ユーザは、移動オブジェクト付近にいることを必要とせずに、移動オブジェクトに関連する各種仮想情報を遠隔で設定して、仮想情報、移動オブジェクト、可視範囲及び検索条件の関連データベースを構築することができる。検索サービスを提供するにあたって根拠となる測位情報は、主として移動オブジェクトの画像情報である。ユーザが移動オブジェクトにおける仮想情報を検索しようとする場合、サーバは同様にモバイル機器からアップロードされた画像情報及びモバイル機器の位置情報に基づいて比較を行い、仮想情報を検索するサービスを提供する。

以上は本発明の好ましい実施例に過ぎず、本発明の特許請求の範囲を制限するものではない、従って、本発明の明細書及び図面の内容に基づいて為された等価の構造変更、いずれも本発明の範囲に含まれる。

１０ モバイル機器
１０１、１０２ 移動オブジェクト
１０３、１０５ 仮想情報
φ 方位角
θ 仰角
２０１ 測位衛星
２０ モバイル機器
２０３ 仮想情報
２０５ 背景画像
２２１、２２２、２２３、２２４、２２５、２２６ 線
２１１、２１２、２１３、２１４、２１５、２１６、２１７ 領域
Ａ 方向
３０１ サーバ
３０２ データベース
３０３ 構築者機器
３０６、３０７、３０８ 検索者機器
３０ ネットワーク
４０ ネットワーク
４１ サーバ
４００ モバイル機器
４０１ データ処理ユニット
４０２ 通信ユニット
４０３ 地上測位ユニット
４０４ 空間測位ユニット
４０５ 撮影ユニット
４０６ タッチ表示ユニット
４０７ メモリユニット
４７１ 画像取込命令
４７４ 画像情報生成命令
４７５ 検索処理命令
４７６ データ送受信命令
４５ 仮想情報データベース
４７２ 仮想情報処理命令
４７３ 位置情報生成命令
４７７ 仮想情報表示命令
４３ 検索データベース
５０１、５０３、５０５ エンドユーザ
４１１ データ取込ユニット
４１２ ユーザ管理ユニット
４１３ 遠隔管理ユニット
４１４ 仮想情報管理ユニット
４１５ 仮想情報検索並び替えモジュール
９１５ 検索条件設定エリア
９０ 遠隔管理インターフェース
９０１ ユーザインターフェース
９１１ 第１の移動オブジェクト
９１３ 第１の可視範囲
９１２ 第２の移動オブジェクト
９１４ 第２の可視範囲
１００ 移動オブジェクト
１００１ 第１の仮想情報
１００２ 第２の仮想情報
１１０ 移動オブジェクト
１１０１ 第３の仮想情報
１１０２ 第４の仮想情報
１２０ モバイル機器
１２６ 移動オブジェクト
１２７ 仮想情報
１２１、１２２ スクロール切り替えアイコン
１２８ 仮想情報プレビューエリア
１３０ モバイル機器
１２６’ 移動オブジェクト
１３７ 仮想情報
１３８、１３９ ジェスチャー切り替えアイコン
１４０ 仮想情報プレビューエリア
ステップＳ６０１〜Ｓ６１１ 移動オブジェクトの構築に係る遠隔管理方法のフロー
ステップＳ７０１〜Ｓ７１１ 仮想情報の設定に係る遠隔管理方法のフロー
ステップＳ８０１〜Ｓ８１５ 仮想情報の検索及び表示に係るフロー

Claims (8)

1. サーバが遠隔管理インターフェースを提供する工程と、
   前記サーバが、ネットワークを介して端末コンピュータ装置の前記遠隔管理インターフェースを使用して選択したアクセスしようとする１つの又は複数の移動オブジェクトに係る識別情報を受信する工程と、
   前記サーバが、前記端末コンピュータ装置が前記遠隔管理インターフェースを使用して送信した各前記移動オブジェクトに関連する、文字、画像、映像及び音声のいずれか又はそれらの組み合わせである仮想情報を受信する工程と、
   前記サーバが、前記端末コンピュータ装置が前記遠隔管理インターフェースを使用して設定した前記仮想情報に対応する検索条件、又は前記遠隔管理インターフェースを使用して設定した前記仮想情報が各前記移動オブジェクトの画像情報に重ね合わされた場合各前記移動オブジェクトの画像情報の前記色彩領域情報及び線情報との相対位置を決めるための設定値である位置決め情報を受信する工程と、
   前記データベースにおいて、１つの又は複数の前記移動オブジェクトの識別情報に対応する、移動オブジェクトのデータと、各前記移動オブジェクトのデータに関連する前記仮想情報と、前記仮想情報の位置決め情報と、前記仮想情報の前記検索条件のデータとを互いに関連付けて再構築するように記憶する工程であって、前記移動オブジェクトのデータに各前記移動オブジェクトの画像情報が含まれ、各前記移動オブジェクトの画像情報に各前記移動オブジェクトの画像が画像演算によって解析された色彩領域情報及び線情報が含まれる工程と、
   を含むことを特徴とする移動オブジェクト仮想情報遠隔管理方法。
2. 前記サーバにおいて、各前記移動オブジェクトの設定に関連する前記仮想情報の前記検索条件は、前記仮想情報と関連する前記移動オブジェクトとの間の可視距離範囲を含む可視範囲、前記仮想情報を見せる有効期限及び／又は表示時間を設定したものである時間範囲、前記仮想情報を見せる１つの又は複数のユーザを設定するユーザ範囲、及び／又は各前記移動オブジェクトの設定に関連する前記仮想情報の予算範囲であることを特徴とする請求項１に記載の移動オブジェクト仮想情報遠隔管理方法。
3. 前記遠隔管理インターフェースは、各前記移動オブジェクトの前記可視範囲を設定するように、電子地図を提供することを特徴とする請求項２に記載の移動オブジェクト仮想情報遠隔管理方法。
4. 前記サーバにおいて各前記移動オブジェクトを設定する場合、顔認識技術によって人の顔から前記仮想情報の位置決め情報を生成するための画像情報を形成することを特徴とする請求項１に記載の移動オブジェクト仮想情報遠隔管理方法。
5. 複数の移動オブジェクトのデータ、及び個別の前記移動オブジェクトに対応する画像情報を格納するデータベースと、
   １つの又は複数のプロセッサを有するサーバであって、
   遠隔管理インターフェースを提供する工程と、
   前記サーバが、ネットワークを介して端末コンピュータ装置の前記遠隔管理インターフェースを使用して選択したアクセスしようとする１つの又は複数の移動オブジェクトに係る識別情報を受信する工程と、
   前記サーバが、前記端末コンピュータ装置が前記遠隔管理インターフェースを使用して送信した各前記移動オブジェクトに関連する仮想情報を受信する工程と、
   前記サーバが、前記端末コンピュータ装置が前記遠隔管理インターフェースを使用して設定した前記仮想情報に対応する検索条件、又は前記遠隔管理インターフェースを使用して設定した前記仮想情報が各前記移動オブジェクトの画像情報に重ね合わされた場合各前記移動オブジェクトの画像情報の前記色彩領域情報及び線情報との相対位置を決めるための設定値である位置決め情報を受信する工程と、
   前記データベースにおいて、１つの又は複数の前記移動オブジェクトの識別情報に対応する、移動オブジェクトのデータと、各前記移動オブジェクトのデータに関連する前記仮想情報と、前記仮想情報の位置決め情報と、前記仮想情報の前記検索条件のデータと、を互いに関連付けて再構築するように記憶する工程であって、前記移動オブジェクトのデータに各前記移動オブジェクトの画像情報が含まれ、各前記移動オブジェクトの画像情報に各前記移動オブジェクトの画像が画像演算によって解析された色彩領域情報及び線情報が含まれる工程と、
   を含む移動オブジェクト仮想情報遠隔管理方法を実行するためのサーバと、
   を含むことを特徴とする移動オブジェクト仮想情報遠隔管理システム。
6. 前記サーバにおいて、各前記移動オブジェクトの設定に関連する前記仮想情報の検索条件は、可視範囲、時間範囲、及び／又はユーザ範囲であることを特徴とする請求項５に記載の移動オブジェクト仮想情報遠隔管理システム。
7. 前記サーバにおいて、各前記移動オブジェクトを設定する場合、顔認識技術によって人の顔から形成した画像情報を取得することを特徴とする請求項５に記載の移動オブジェクト仮想情報遠隔管理システム。
8. 前記仮想情報は、文字、画像、映像及び音声のいずれか又はそれらの組み合わせであることを特徴とする請求項５乃至７のいずれかに記載の移動オブジェクト仮想情報遠隔管理システム。

Images