JP6006820B2

JP6006820B2 - モバイルデバイス、操作方法及び非一時的なコンピュータ読取可能な記憶媒体

Info

Publication number: JP6006820B2
Application number: JP2015051625A
Authority: JP
Inventors: 容暄林; 士堯魏; 榮陞王; 世俊周
Original assignee: Institute for Information Industry
Current assignee: Institute for Information Industry
Priority date: 2014-11-20
Filing date: 2015-03-16
Publication date: 2016-10-12
Anticipated expiration: 2035-03-16
Also published as: TW201619915A; TWI621097B; US20160148430A1; JP2016099996A; CN105719350A

Description

本発明は、モバイルデバイス、操作方法及び非一時的なコンピュータ読取可能な記憶媒体に関し、具体的には、３Ｄ拡張現実物体を修正可能なモバイルデバイス、モバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法及び非一時的なコンピュータ読取可能な記憶媒体に関する。

科学技術の進歩に伴って、拡張現実技術（ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙｔｅｃｈｎｏｌｏｇｙ）は、既に、人たちの生活に広く適用される。

拡張現実は、仮想物体を実環境映像に即時に重ね合わせ、重ね合わせ映像をユーザーに表示する技術である。拡張現実技術を適用することによって、人間の生活を豊かにすることができる。

先行出願のＷＯ２０１３０２３７０５Ａ１では、拡張現実物体の作成方法が開示されている。また、先行出願のＵＳ２０１４００４３３５９Ａ１では、拡張現実物体の特徴点を改善する方法が開示されている。

しかしながら、これらの先行出願を適用しても、設計者は、容易に仮想物体を精細に実環境映像に重ね合わせず、特に、拡張現実ソフトウェアを実行する電子装置（例えば、モバイルデバイス）によって、拡張現実物体を直接修正することはできない。このように、拡張現実は、製作と修正に不便となる。

本発明の一実施態様の目的は、モバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法を提供することに関する。

本発明の別の実施態様の目的は、３Ｄ拡張現実物体を修正可能なモバイルデバイスを提供することに関する。

本発明の別の実施態様の目的は、モバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法を実行するためのコンピュータプログラムが格納される非一時的なコンピュータ読取可能な記憶媒体を提供することに関する。

本発明の一実施例によると、モバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法は、３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムをモバイルデバイスによって実行する工程と、前記モバイルデバイスによって前記パラメータデータを更新用のパラメータデータとしてサーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新する工程と、を備える。

本発明の一実施例によると、前記操作方法は、前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整する場合、調整過程を録画で記録して、録画データを生成するための録画機能を前記ユーザーインターフェースによって提供する工程と、前記モバイルデバイスによって前記録画データを前記サーバーに伝送する工程と、を更に備える。

本発明の一実施例によると、前記パラメータは、前記３Ｄ拡張現実物体の前記３Ｄ環境映像における相対サイズ、回転角、相対位置及び動画の情報の少なくとも１つを決めることに用いる。

本発明の一実施例によると、前記操作方法は、撮影素子によって実環境に対して映像捕捉を行い、前記３Ｄ環境映像を取得する工程と、前記３Ｄ環境映像に基づいて、前記撮影素子と前記実環境との位置関係を取得する工程と、前記ユーザーインターフェースによって前記３Ｄ拡張現実物体に対応するイベント編集コマンドを受信すると、前記位置関係に基づいて前記３Ｄ拡張現実物体に対応するイベントを決める工程と、を更に備える。

本発明の一実施例によると、前記操作方法は、前記ユーザーインターフェースによって、前記３Ｄ拡張現実物体に対応するドラック動作を受信すると、前記ドラック動作の経路に基づいて前記３Ｄ拡張現実物体を移動することと、前記３Ｄ拡張現実物体の移動過程を記録して、前記３Ｄ拡張現実物体のユーザーの自己定義の動画とすることと、を含む動画作成機能を更に提供する工程を更に備える。

本発明の一実施例によると、ネットワーク素子と、処理素子と、を含み、前記処理素子は、３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムを実行することと、前記ネットワーク素子によって前記パラメータデータを更新用のパラメータデータとして前記サーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新することと、に用いる３Ｄ拡張現実物体を修正可能なモバイルデバイス。

本発明の一実施例によると、前記ユーザーインターフェースによって、前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整する場合、調整過程を録画で記録して、録画データを生成するための録画機能を更に提供し、前記処理素子は、更に、前記ネットワーク素子によって前記録画データを前記サーバーに伝送することに用いる。

本発明の一実施例によると、前記モバイルデバイスは、撮影素子を更に含み、前記処理素子は、更に、前記撮影素子によって実環境に対して映像捕捉を行い、前記３Ｄ環境映像を取得することと、前記３Ｄ環境映像に基づいて、前記撮影素子と前記実環境との位置関係を取得することと、前記ユーザーインターフェースによって前記３Ｄ拡張現実物体に対応するイベント編集コマンドを受信すると、前記位置関係に基づいて前記３Ｄ拡張現実物体に対応するイベントを決めることと、に用いる。

本発明の一実施例によると、前記ユーザーインターフェースは、前記３Ｄ拡張現実物体に対応するドラック動作を受信すると、前記ドラック動作の経路に基づいて前記３Ｄ拡張現実物体を移動することと、前記３Ｄ拡張現実物体の移動過程を記録して、前記３Ｄ拡張現実物体のユーザーの自己定義の動画とすることと、を更に含む動画作成機能を更に提供する。

本発明の一実施例によると、前記非一時的なコンピュータ読取可能な記憶媒体に格納される前記コンピュータプログラムの実行する操作方法は、３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムをモバイルデバイスによって実行することと、前記モバイルデバイスによって前記パラメータデータを更新用のパラメータデータとしてサーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新することと、を備える。

上記実施例を適用すれば、設計者は、３Ｄ環境映像にしたがって、３Ｄ拡張現実物体を即時に編集することができる。

本発明の一実施例に係るモバイルデバイスを示す模式図である。本発明の一適用例に係るモバイルデバイスと実環境を示す模式図である。本発明の一操作例に係るモバイルデバイスのユーザーインターフェースを示す模式図である。本発明の一操作例に係るモバイルデバイスのユーザーインターフェースを示す模式図である。本発明の一操作例に係るモバイルデバイスのユーザーインターフェースを示す模式図である。本発明の一操作例に係るモバイルデバイスのユーザーインターフェースを示す模式図である。本発明の一操作例に係るモバイルデバイスと実環境物体を示す模式図である。本発明の一実施例に係るモバイルデバイスの操作方法を示すフロー図である。

以下、図面及び詳しい説明で本発明の精神を明らかに説明する。当業者であれば、本発明の実施例を理解した上で、本発明の教示した技術によって、本発明の精神と範囲から逸脱せずに、変更や修正を加えることができる。

本明細書に使用される「第１の」、「第２の」等については、順序又は順位を特定するものではなく、本発明を限定するためのものでもなく、同一の技術用語で記述される素子又は操作を区別するためのものだけである。

本明細書に用いる「電気的に接続」とは、２つ又は複数の素子が互いに直接的に物理又は電気的に接触し、又は互いに間接的に物理又は電気的に接触してもよく、２つ又は複数の素子が互いに操作又は作動してもよい。

次に、本明細書に用いる「含む」、「備える」、「有する」、「含有」等は、何れも開放性の用語であり、つまり、含むがそれのみに限定されないことを指す。

本明細書に用いる「及び／又は」については、上述の事物の如何なる又は全部の組み合わせを含む。

本明細書に用いる用語（ｔｅｒｍｓ）については、特に明記される以外、通常、用語ごとにこの分野、この開示の内容と特殊内容に使用される一般的な意味を持つ。当業者に本開示に関する記述における規定外の案内を提供するように、本開示を記述するためのある用語について、以下又はこの明細書の別所で検討する。

本発明の一実施態様は、モバイルデバイスである。このモバイルデバイスに、３Ｄ環境映像と３Ｄ拡張現実物体が表示される。明らかに説明するために、下記では、タブレットコンピュータ又はスマートフォンを例として説明するが、本発明はこれに制限されない。

図１を参照されたい。図１は、本発明の一実施例に係るモバイルデバイス１００を示す模式図である。本実施例において、モバイルデバイス１００は、主に、ネットワーク素子１４０と、処理素子１６０と、を備える。本実施例において、処理素子１６０は、ネットワーク素子１４０に電気的に接続されてよい。ネットワーク素子１４０は、主に、モバイルデバイス１００が無線通信ネットワーク及びリモートサーバーを介して繋げられるようにするものであり、例えば、無線信号チップによって実現することができる。処理素子１６０は、３Ｄ環境映像及び３Ｄ拡張現実物体を現すユーザーインターフェース、更に、ユーザーが３Ｄ環境映像において３Ｄ拡張現実物体のサイズ、角度又は位置を調整することを可能にする操作機能を提供するモバイルデバイスのアプリケーションプログラム（例えば、ＡＰＰプログラム）を実行することができる。その後、モバイルデバイスのアプリケーションプログラムは、ユーザーに実行を選択させる後で、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶する確認機能を更に提供し、その後、ネットワーク素子１６０を介してパラメータデータを更新用のパラメータデータとしてリモートのサーバーに伝送する。サーバーは、更新用のパラメータデータに基づいて、前記モバイルデバイス１００（又は、拡張現実ソフトウェアが取り付けられ、３Ｄ環境映像及び３Ｄ拡張現実物体を現すことのできる他のモバイルデバイス）におけるパラメータデータを更新してもよい。

図１と図２を同時に参照されたい。図１は、本発明の別の実施例に係るモバイルデバイス１００を示す模式図である。図２は、本発明の一適用例によるモバイルデバイス１００と実環境ＲＷＤ（ｒｅａｌｗｏｒｄｄａｔａ）を示す模式図である。本実施例において、モバイルデバイス１００は、表示素子１１０と、入力素子１２０と、撮影素子１３０と、ネットワーク素子１４０と、格納素子１５０と、処理素子１６０と、を備える。本実施例において、処理素子１６０は、別々に表示素子１１０、入力素子１２０、撮影素子１３０、ネットワーク素子１４０及び格納素子１５０に電気的に接続されてもよい。

本実施例において、表示素子１１０は、例えば、液晶ディスプレイ（ｌｉｑｕｉｄｃｒｙｓｔａｌｄｉｓｐｌａｙ；ＬＣＤ）、能動式有機ＥＬディスプレー、タッチ表示パネル又は表示機能を有する他の表示素子によって実現される。入力素子１２０は、例えば、タッチパネル又は入力機能を有する他の入力素子によって実現される。撮影素子１３０は、例えば、撮影レンズ、カメラ、撮影カメラ又は関連する素子によって実現される。ネットワーク素子１４０は、例えば、無線信号チップによって実現される。格納素子１５０は、例えば、記憶体、携帯型格納媒体、又は他の好適な格納デバイスによって実現される。処理素子１６０は、例えば、中央処理器、マイクロプロセッサ又は他の好適な計算デバイスによって実現される。一実施例において、入力素子１２０と表示素子１１０とは、同一の素子として一体化されたもの（例えば、タッチ表示パネル）であってもよい。

本実施例において、表示素子１１０は、映像を表示することに用いる。入力素子１２０は、ユーザーからのユーザーコマンドを受信することに用いる。撮影素子１３０は、実環境ＲＷＤに対して映像捕捉を行うことに用いる。ネットワーク素子１４０は、ネットワーク（図示せず）を介してサーバー１０とのデータ伝送を行うことに用いる。格納素子１５０は、データを格納することに用いる。処理素子１６０は、モバイルデバイスのアプリケーションプログラムを実行して、ユーザーが表示素子１１０に表示された拡張現実物体を入力素子１２０によって即時に修正できるようにすることに用いる。

下記では、一実施例に係るモバイルデバイス１００の具体的な細部が提供されるが、本発明はこの実施例に制限されない。

特に、図２を参照されたい。本発明の一実施例において、処理素子１６０は、撮影素子１３０によって実環境ＲＷＤに対して映像捕捉を行って、３Ｄ環境映像（例えば、図３Ａに示す３Ｄ環境映像ＩＭＧ１）を取得することができる。

本実施例において、実環境ＲＷＤに実物体ＲＷＴがある。３Ｄ環境映像ＩＭＧ１に実物体映像（例えば、図３Ａに示す実物体映像ＩＭＧ２）がある。処理素子１６０は、実物体映像ＩＭＧ２の複数の特徴点ＦＴＲを取得し、これらの特徴点ＦＴＲに基づいてデータベースＤＢＳにおいて対応する３Ｄ拡張現実物体（例えば、図３Ｂに示す３Ｄ拡張現実物体ＡＲＴ）を検索することができる。一実施例において、データベースＤＢＳは、格納素子１５０の中に位置してもよいが、本発明はこれに制限されない。他の実施例において、データベースＤＢＳは、サーバー１０の中に位置してもよい。

また、本実施例において、処理素子１６０は、更に、前記特徴点ＦＴＲ及びデータベースＤＢＳにおける対応するデータに基づいて、モバイルデバイス１００の撮影素子１３０と実環境ＲＷＤとの間の位置関係を取得することができる。具体的には、本実施例において、処理素子１６０は、これらの特徴点ＦＴＲ及びデータベースＤＢＳにおける対応するデータに基づいて、撮影素子１３０と実物体ＲＷＴとの間の距離ＤＳＴ、及び撮影素子１３０と実物体ＲＷＴとの方位（ｏｒｉｅｎｔａｔｉｏｎ）ＯＲＴの相対角度ＡＮＧを取得することができる。一実施例において、距離ＤＳＴを撮影素子１３０と実物体ＲＷＴとの中心点ＣＮＴによって計算できるが、本発明はこれに制限されない。一実施例において、距離ＤＳＴと相対角度ＡＮＧを位置変換マトリクスＴＲＭによって記憶できるが、本発明はこれに制限されない。

特に、図３Ａ、図３Ｂを参照されたい。本実施例において、処理素子１６０は、モバイルデバイスのアプリケーションプログラムを実行できる。このモバイルデバイスのアプリケーションプログラムは、ユーザーインターフェースＵＩを提供して、（例えば、図３Ａに示すように）実環境ＲＷＤに対応する３Ｄ環境映像ＩＭＧ１を表示素子１１０に現す。３Ｄ環境映像ＩＭＧ１に、実環境ＲＷＤにおける実物体ＲＷＴに対応する実物体映像ＩＭＧ２がある。処理素子１６０は、ユーザーインターフェースＵＩにおいて、（例えば、図３Ｂに示すように）３Ｄ環境映像ＩＭＧ１及び実物体映像ＩＭＧ２に対応する３Ｄ拡張現実物体ＡＲＴを表示素子１１０に同時に現すことができる。

一実施例において、格納素子１５０は、３Ｄ拡張現実物体ＡＲＴの実物体映像ＩＭＧ２に対するサイズ、角度、位置及び動画の情報の少なくとも１つに対応するパラメータデータを格納することができる。処理素子１６０は、このパラメータデータに基づいて、３Ｄ拡張現実物体ＡＲＴを表示素子１１０に現す。つまり、上述のパラメータデータは、３Ｄ拡張現実物体ＡＲＴの３Ｄ環境映像ＩＭＧ１における実物体映像ＩＭＧ２の相対サイズ、回転角、相対位置、及び動画の情報の少なくとも１つを決めることに用いる。

本実施例において、ユーザーインターフェースＵＩは、３Ｄ環境映像ＩＭＧ１において３Ｄ拡張現実物体ＡＲＴのサイズ、角度、位置、及び動画の何れかを調整する操作機能を提供することができる。

例えば、ユーザーは、ボタンＢ１をクリックすると、３Ｄ環境映像ＩＭＧ１において、３Ｄ拡張現実物体ＡＲＴの実物体映像ＩＭＧ２に対するサイズを調整することができる。ユーザーは、ボタンＢ２をクリックすると、３Ｄ環境映像ＩＭＧ１において、３Ｄ拡張現実物体ＡＲＴの実物体映像ＩＭＧ２に対する角度を調整することができる。ユーザーは、ボタンＢ３をクリックすると、３Ｄ環境映像ＩＭＧ１において、３Ｄ拡張現実物体ＡＲＴの実物体映像ＩＭＧ２に対する位置を調整することができる。ユーザーは、ボタンＢ４をクリックすると、処理素子１６０が３Ｄ環境映像ＩＭＧ１において、３Ｄ拡張現実物体ＡＲＴに対応するプリセット動画のどの時間帯の動画セグメントを実行するか（例えば、全長１００秒のプリセット動画において第５秒〜第１５秒の時間帯の動画セグメントを行う）を決める。

また、本実施例において、ユーザーインターフェースＵＩは、調整済の３Ｄ拡張現実物体ＡＲＴのサイズ、角度、位置及び動画に対応するパラメータデータを記憶する確認機能を更に提供する。一実施例において、このパラメータデータは、格納素子１５０の中に格納されてもよい。

調整済の３Ｄ拡張現実物体ＡＲＴのサイズ、角度、位置及び動画に対応するパラメータデータを記憶した後、処理素子１６０は、ネットワーク素子１４０を介してこのパラメータデータを更新用のパラメータデータとしてサーバー１０に伝送し、実環境ＲＷＤ外の設計者がこの更新用のパラメータデータを読み取って、この更新用のパラメータデータに基づいて、３Ｄ拡張現実物体ＡＲＴの更なる修正を行い、サーバー１０におけるパラメータデータを更に更新することを可能にする。

また、処理素子１６０は、モバイルデバイスのアプリケーションプログラムを実行するたびに、サーバー１０から更新用のパラメータデータ（通常、最新のパラメータデータ）をダウンロードして、モバイルデバイス１００におけるパラメータデータを更新する。つまり、サーバー１０は、更新用のパラメータデータに基づいて、モバイルデバイス１００におけるパラメータデータを更新することができる。

上記の設置によれば、設計者は、３Ｄ環境映像ＩＭＧ１にしたがって、３Ｄ拡張現実物体ＡＲＴを即時に編集することができる。

特に、図４を参照されたい。一実施例において、ユーザーインターフェースＵＩは、３Ｄ拡張現実物体ＡＲＴのサイズ、角度、位置、及び動画の何れかを調整する場合に、調整過程を録画で記録して、録画データを生成する録画機能を更に提供する。録画データが生成した後、処理素子１６０は、ネットワーク素子１４０を介して録画データをサーバー１０に伝送してもよい。

一実施例において、ユーザーインターフェースＵＩは、前記録画データに修正マークＭＴＧを挿入するマーク機能を更に提供する。修正マークＭＴＧは、前記録画データが再生される同時に、視覚化に示される。このように、実環境ＲＷＤ外の設計者は、録画データにおける修正マークＭＴＧに基づいて、３Ｄ拡張現実物体ＡＲＴの修正を行うことができる。

一実施例において、処理素子１６０は、ネットワーク素子１４０を介して録画データをサーバー１０に伝送する同時に、更に、録画途中の３Ｄ拡張現実物体ＡＲＴのサイズ、角度、位置及び動画に対応するパラメータデータ、前記撮影素子１３０と実環境ＲＷＤとの間の位置関係、及び３Ｄ拡張現実物体ＡＲＴの素材等の情報をサーバー１０に伝送して、実環境ＲＷＤ外の設計者に録画途中の関連のパラメータデータを知らせる。

特に、図５を参照されたい。一実施例において、ユーザーインターフェースＵＩは、動画作成機能を更に提供する。動画作成機能は、処理素子１６０が入力素子１２０を介して３Ｄ拡張現実物体ＡＲＴに対するドラック動作を受信すると、ドラック動作の経路ＴＲＣに基づいて、表示素子１１０において３Ｄ拡張現実物体ＡＲＴを移動させることと、処理素子１６０が３Ｄ拡張現実物体ＡＲＴの移動過程を記録して、３Ｄ拡張現実物体ＡＲＴのユーザーの自己定義の動画とすることと、を含む。

例えば、一実施例において、ユーザーが経路ＴＲＣに沿って３Ｄ拡張現実物体ＡＲＴを第１の位置ＰＬＣ１から第２の位置ＰＬＣ２までドラックする場合、処理素子１６０は、３Ｄ拡張現実物体ＡＲＴが経路ＴＲＣに沿って移動する過程を記憶して、３Ｄ拡張現実物体ＡＲＴのユーザーの自己定義の動画とする。

特に、図６を参照されたい。一実施例において、ユーザーインターフェースＵＩは、イベント編集機能を更に提供する。処理素子１６０は、ユーザーインターフェースＵＩを介して３Ｄ拡張現実物体ＡＲＴに対応するイベント編集コマンドを受信すると、モバイルデバイス１００の撮影素子１３０と実環境ＲＷＤとの間の位置関係に基づいて、３Ｄ拡張現実物体ＡＲＴに対応するイベントを決めることができる。

例としては、撮影素子１３０と実環境物体ＲＷＴとの方位ＯＲＴの相対角度が第１の角度区間ＩＮＶ１（例えば、１〜１２０度）にある場合、処理素子１６０は、３Ｄ拡張現実物体ＡＲＴに対応する第１のイベントを実行する（例えば、３Ｄ拡張現実物体ＡＲＴのプリセット動画での第１０秒〜第２０秒を実行する）。撮影素子１３０と実環境物体ＲＷＴとの方位ＯＲＴの相対角度が第２の角度区間ＩＮＶ１２（例えば、１２１〜２４０度）にある場合、処理素子１６０は、３Ｄ拡張現実物体ＡＲＴに対応する第２のイベントを実行する（例えば、３Ｄ拡張現実物体ＡＲＴのプリセット動画での第２０秒〜第３０秒を実行する）。撮影素子１３０と実環境物体ＲＷＴとの方位ＯＲＴの相対角度が第３の角度区間ＩＮＶ３（例えば、１２１〜２４０度）にある場合、処理素子１６０は、３Ｄ拡張現実物体ＡＲＴに対応する第３のイベントを実行する（例えば、３Ｄ拡張現実物体ＡＲＴのサイズを１．２倍に拡大する）。第１の角度区間、第２の角度区間と第３の角度区間が互いに異なり、第１のイベント、第２のイベント、第３のイベントも互いに異なる。

このように設置すれば、３Ｄ拡張現実物体ＡＲＴの表現をより多様化にすることができる。

図７は、本発明の一実施例に係るモバイルデバイスの操作方法７００を示すフロー図である。操作方法７００は、図１に示す構造と同じ又は同様なモバイルデバイスに適用される。説明をより簡単にするために、以下、本発明の一実施例によって、図１に示すモバイルデバイス１００を例として、操作方法を説明するが、本発明はこの適用に制限されない。

注意すべきなのは、操作方法７００は、モバイルデバイス１００によって実現されてもよく、又は、コンピュータプログラムとして、非一時的なコンピュータ読取可能な記憶媒体に格納されて、コンピュータ又は電子装置によってこの記憶媒体を読み取った後操作方法７００を実行してもよい。非一時的なコンピュータ読取可能な記憶媒体としては、ＲОＭ、フラッシュメモリー、フロッピー（登録商標）ディスク、ハードディスク、ＵＳＢフラッシュディスク、テープ、ネットワークでアクセス可能なデータベース、又は当業者が容易に想到できる同一機能を具する非一時的なコンピュータ読取可能な記憶媒体であってもよい。

また、理解すべきなのは、本実施形態に言及される操作方法の工程は、特にその順序が述べられた以外、いずれも実際の要求に応じて、その前後順序を調整してもよく、更に同時で又は部分的に同時で実行されてもよい。

なお、実施例によっては、これらの工程を適当に増加、置換及び／又は省略してもよい。

本実施例において、操作方法７００は、以下の工程を備える。

工程Ｓ１において、３Ｄ環境映像ＩＭＧ１及び３Ｄ拡張現実物体ＡＲＴを現すためのユーザーインターフェースＵＩと、３Ｄ環境映像ＩＭＧ１において３Ｄ拡張現実物体ＡＲＴのサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体ＡＲＴのサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムを実行する。

工程Ｓ２において、モバイルデバイス１００のネットワーク素子１４０によってパラメータデータを更新用のパラメータデータとしてサーバー１０に伝送し、サーバー１０が更新用のパラメータデータに基づいてモバイルデバイス１００におけるパラメータデータを更新する。

注意すべきなのは、操作方法７００における関連細部については、図１〜図６に示す実施態様を参照してよいが、ここで重複な部分について詳しく説明しない。

本発明を実施例で前述の通り開示したが、これは本発明を限定するためのものではなく、当業者であれば、本発明の精神と範囲から逸脱しない限り、各種の変更や修正を加えることができる。従って、本発明の保護範囲は、特許請求の範囲で指定した内容を基準とするものである。

１００モバイルデバイス
１１０表示素子
１２０入力素子
１３０撮影素子
１４０ネットワーク素子
１５０格納素子
１６０処理素子
１０サーバー
ＤＳＴ距離
ＯＲＴ方位
ＡＮＧ角度
ＤＢＳデータベース
ＲＷＤ実環境
ＲＷＴ実物体
ＣＮＴ中心点
ＴＲＭ位置変換マトリクス
ＵＩユーザーインターフェース
ＩＭＧ１３Ｄ環境映像
ＩＭＧ２実物体映像
Ｂ１、Ｂ２、Ｂ３、Ｂ４ボタン
ＡＲＴ３Ｄ拡張現実物体
ＭＴＧマーク
ＴＲＣ経路
ＰＬＣ１、ＰＬＣ２位置
ＩＮＶ１、ＩＭＧ２、ＩＭＧ３区間
７００操作方法
Ｓ１、Ｓ２工程

Claims

３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムをモバイルデバイスによって実行する工程と、
前記モバイルデバイスによって前記パラメータデータを更新用のパラメータデータとしてサーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新する工程と、
前記ユーザーインターフェースによって、前記３Ｄ拡張現実物体に対応するドラック動作を受信すると、前記ドラック動作の経路に基づいて前記３Ｄ拡張現実物体を移動することと、前記３Ｄ拡張現実物体の移動過程を記録して、前記３Ｄ拡張現実物体のユーザーの自己定義の動画とすることと、を含む動画作成機能を更に提供する工程と、
を備えるモバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法。
前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整する場合、調整過程を録画で記録して、録画データを生成するための録画機能を前記ユーザーインターフェースによって提供する工程と、
前記モバイルデバイスによって前記録画データを前記サーバーに伝送する工程と、
を更に備える請求項１に記載の操作方法。
前記パラメータデータは、前記３Ｄ拡張現実物体の前記３Ｄ環境映像における相対サイズ、回転角、相対位置及び動画の情報の少なくとも１つを決めることに用いる請求項１又は２に記載の操作方法。
撮影素子によって実環境に対して映像捕捉を行い、前記３Ｄ環境映像を取得する工程と、
前記３Ｄ環境映像に基づいて、前記撮影素子と前記実環境との位置関係を取得する工程と、
前記ユーザーインターフェースによって、前記３Ｄ拡張現実物体に対応するイベント編集コマンドを受信すると、前記位置関係に基づいて前記３Ｄ拡張現実物体に対応するイベントを決める工程と、
を更に備える請求項１〜３の何れかに記載の操作方法。
ネットワーク素子と、
処理素子と、
を含み、
前記処理素子は、３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムを実行することと、
前記ネットワーク素子によって前記パラメータデータを更新用のパラメータデータとしてサーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新することと、に用い、
前記ユーザーインターフェースは、
前記３Ｄ拡張現実物体に対応するドラック動作を受信すると、前記ドラック動作の経路に基づいて前記３Ｄ拡張現実物体を移動することと、前記処理素子が前記３Ｄ拡張現実物体の移動過程を記録して、前記３Ｄ拡張現実物体のユーザーの自己定義の動画とすることと、を含む動画作成機能を更に提供する、
３Ｄ拡張現実物体を修正可能なモバイルデバイス。
前記ユーザーインターフェースは、前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整する場合、調整過程を録画で記録して、録画データを生成するための録画機能を更に提供し、
前記処理素子は、更に、前記ネットワーク素子によって前記録画データを前記サーバーに伝送することに用いる請求項５に記載のモバイルデバイス。
前記パラメータデータは、前記３Ｄ拡張現実物体の前記３Ｄ環境映像における相対サイズ、回転角、相対位置及び動画の情報の少なくとも１つを決めることに用いる請求項５又は６に記載のモバイルデバイス。
前記モバイルデバイスは、撮影素子を更に含み、
前記処理素子は、更に、前記撮影素子によって実環境に対して映像捕捉を行い、前記３Ｄ環境映像を取得することと、前記３Ｄ環境映像に基づいて、前記撮影素子と前記実環境との位置関係を取得することと、前記ユーザーインターフェースによって前記３Ｄ拡張現実物体に対応するイベント編集コマンドを受信すると、前記位置関係に基づいて前記３Ｄ拡張現実物体に対応するイベントを決めることと、に用いる請求項５〜７の何れかに記載のモバイルデバイス。
モバイルデバイスでの３Ｄ拡張現実物体の修正の操作方法を実行するためのコンピュータプログラムが格納される非一時的なコンピュータ読取可能な記憶媒体において、
前記操作方法は、
３Ｄ環境映像及び３Ｄ拡張現実物体を現すためのユーザーインターフェースと、前記３Ｄ環境映像において前記３Ｄ拡張現実物体のサイズ、角度及び位置の何れかを調整するための操作機能と、調整済の３Ｄ拡張現実物体のサイズ、角度及び位置に対応するパラメータデータを記憶するための確認機能と、を提供するモバイルデバイスのアプリケーションプログラムをモバイルデバイスによって実行する工程と、
前記モバイルデバイスによって前記パラメータデータを更新用のパラメータデータとしてサーバーに伝送し、前記サーバーが前記更新用のパラメータデータに基づいて前記モバイルデバイスにおけるパラメータデータを更新する工程と、
前記ユーザーインターフェースによって、前記３Ｄ拡張現実物体に対応するドラック動作を受信すると、前記ドラック動作の経路に基づいて前記３Ｄ拡張現実物体を移動することと、前記３Ｄ拡張現実物体の移動過程を記録して、前記３Ｄ拡張現実物体のユーザーの自己定義の動画とすることと、を含む動画作成機能を更に提供する工程と、
を備える非一時的なコンピュータ読取可能な記憶媒体。