JP5827445B2 - 拡張現実インタラクションを実現する方法およびシステム - Google Patents

Description

本発明はシミュレーション技術に関し、特に拡張現実インタラクションを実現する方法およびシステムに関する。

拡張現実技術は、仮想情報を現実世界に適用するシミュレーション技術であり、現実環境の画像と仮想環境とを、リアルタイムで同一画面上で重畳する。拡張現実技術を利用して動作するあらゆる種類のアプリケーションでは、ユーザーは仮想環境に融合することができる。従来の拡張現実技術におけるインタラクションプロセスは、端末機器上で動作するあらゆる種類のクライアントで実現可能である。

例えば、特定のポスターをマーカーとして用いるとする。カメラを用いてマーカーの画像を撮影し、認識を実行して認識結果を得る。認識結果に基づき、該特定のポスターの内容に関連する映画の予告編を取得し、再生を実行する。拡張現実技術のインタラクションプロセスで用いる認識に関与するロジックは非常に複雑であり、様々なファイルが含まれるので、クライアントのボリュームが過剰になってしまう。よって、各種クライアントで実現される拡張現実技術のインタラクションアプリケーションでは、各インタラクションアプリケーションは単一のマーカーにしか対応できす、対応するクライアントでしか実現することができない。すなわち、各クライアントは一種類のマーカーにしか対応できず、異なるマーカーに対しては、対応するクライアントを指向的に開発する必要がある。単一のクライアントでは、複数のマーカーに対して拡張現実技術のインタラクションプロセスを実現することができず、ユーザーは複数のクライアントを繰り返しダウンロードしてインストールするしかなく、柔軟性に欠ける。

また、従来の拡張現実技術のインタラクションは、室内または屋外に設置される大型スクリーンに接続されたホストコンピューターによっても実現することができる。例えば、屋外の大型スクリーンでシャンプーの広告を再生する場合、視聴者が大型スクリーン前の特定の領域に立つと、該視聴者が有名人とダンスを習ったり写真を撮ったりする映像を、屋外の大型スクリーンで再生することができる。また、例えば、ある博物館において室内大型スクリーンの広告を発表する場合、特定の領域に立つ視聴者は、室内の大型スクリーンで恐竜や宇宙飛行士が自分のそばを通る映像を見ることができる。室内または屋外の大型スクリーンが接続されるホストコンピューターは、端末機器上で動作するクライアントに比べてバックグラウンドでの計算能力が高く、拡張現実技術のインタラクションプロセスにおける複雑なロジックを処理することができる。しかしながら、大型スクリーンとそれに接続するホストコンピューターにより実現される拡張現実技術のインタラクションも、使用上の制限により単一のマーカーのみを対象にしており、柔軟性に欠ける。

このような理由から、柔軟性を向上することができる拡張現実インタラクションを実現する方法を提供する。

更に、柔軟性を向上することができる拡張現実インタラクションを実現するシステムを提供する必要がある。

拡張現実インタラクションを実現する方法は、
フレーム画像を収集し、当該フレーム画像をアップロードするステップと、
認識を実行して該フレーム画像にマッチするテンプレート画像を得て、該テンプレート画像を返すステップと、
該テンプレート画像に基づいて該フレーム画像のマーカー領域を検出するステップと、
該テンプレート画像に対応するメディアデータを該マーカー領域に重畳し、重畳により得た画像を表示するステップと、
を含む。

拡張現実インタラクションを実現するシステムは、クライアントおよびサーバーを備える。該クライアントは、収集モジュール、検出モジュールおよび表示処理モジュールを有する。

該収集モジュールは、フレーム画像を収集し、当該フレーム画像をアップロードし、
該サーバーは、認識を実行して該フレーム画像にマッチするテンプレート画像を得て、当該テンプレート画像を返し、
検出モジュールは、該テンプレート画像に基づいて該フレーム画像のマーカー領域を検出し、
表示処理モジュールは、該テンプレート画像に対応するメディアデータを該マーカー領域に重畳し、重畳により得た画像を表示する。

上述の拡張現実インタラクションを実現する方法およびシステムでは、フレーム画像を収集した後にアップロードを実行し、アップロードされたフレーム画像に基づいて認識を行い、該フレーム画像にマッチするテンプレート画像を返す。返されたテンプレート画像に基づいてマーカー領域の検出を実行し、該マーカー領域にメディアデータを重畳し、重畳により得た画像を表示する。フレーム画像はリモートのサーバーへアップロードされて、テンプレート画像の認識とマッチングのプロセスが実行されるので、比較的複雑な認識とマッチングのプロセスをローカルで遂行する必要がなく、拡張現実インタラクションにおける認識能力を大いに向上することができる。各種マーカーを対象に等しくマッチするテンプレート画像を認識することができるので、柔軟性が大いに向上する。

一実施例における、拡張現実インタラクションを実現する方法のフローチャートである。 図１において、認識を実行してフレーム画像にマッチするテンプレート画像を得て、当該テンプレート画像を返す方法を示すフローチャートである。 図１において、テンプレート画像に基づいてフレーム画像のマーカー領域を検出する方法を示すフローチャートである。 別の一実施例における、拡張現実インタラクションを実現する方法を示すフローチャートである。 別の一実施例における、拡張現実インタラクションを実現する方法を示すフローチャートである。 別の一実施例における、拡張現実インタラクションを実現する方法を示すフローチャートである。 一実施例における、拡張現実インタラクションを実現するシステムの構成説明図である。 図７におけるサーバーの構成説明図である。 図７における検出モジュールの構成説明図である。 一実施例におけるクライアントの構成説明図である。 別の一実施例におけるサーバーの構成説明図である。 別の一実施例における、拡張現実インタラクションを実現するシステムの構成説明図である。

図１に示すように、一実施例における拡張現実インタラクションを実現する方法は、以下のステップを含む。

ステップＳ１１０において、フレーム画像を収集し、当該フレーム画像をアップロードする。

本実施例では、画像収集を実行してフレーム画像を得る。フレーム画像は、２次元形式であっても３次元形式であってもよく、画像収集プロセスで得られる映像ストリームに対応する画像シーケンスのうちの１画像であってよい。例えば、継続的に画像収集を実行して映像ストリームを取得する。映像ストリームは画像シーケンスにより形成されるものであり、すなわち、画像シーケンスにはいくつかのフレーム画像が含まれる。収集されサーバーにアップロードされるフレーム画像は、すなわち、画像シーケンスにおいて収集されている画像である。

ステップＳ１３０において、認識を実行してフレーム画像にマッチするテンプレート画像を得て、当該テンプレート画像を返す。

本実施例では、いくつかの異なるテンプレート画像が予め記憶され、予め記憶されたテンプレート画像から、アップロードされたフレーム画像にマッチするテンプレート画像が認識される。フレーム画像に基づくテンプレート画像の認識は、ＳＩＦＴ（Scale-Invariant Feature Transformation）のパターン認識アルゴリズム等の認識アルゴリズムを用いて行われてよい。例えば、フレーム画像が映画ＸＸのポスター画像である場合、予め記憶されるテンプレート画像には、数百枚の映画ポスターの画像が含まれる。このとき、記憶されたテンプレート画像を認識することにより、記憶されたテンプレート画像から、映画ＸＸのポスター画像が得られる。この認識により得られたポスター画像が、フレーム画像にマッチするテンプレート画像である。フレーム画像にマッチするテンプレート画像を認識により得た後、サーバーは、フレーム画像をアップロードしたクライアントに対し、認識により得られたテンプレート画像を返す。

ステップＳ１５０において、テンプレート画像に基づいて、フレーム画像のマーカー領域を検出する。

本実施例では、画像収集プロセスにおいてマーカー物の撮影を実行し、該マーカー物のフレーム画像を得る。マーカー物がフレーム画像内に形成する領域が、マーカー領域である。テンプレート画像はフレーム画像内のマーカー領域の検出に用いられ、テンプレート画像にはマーカー物の画像も存在する。フレーム画像のマーカー領域の検出プロセスにおいて、テンプレート画像とフレーム画像を比較することにより、フレーム画像のマーカー領域を得ることができる。更に、テンプレート画像においてマーカー領域を形成する点を予め記録し、記録された点を用いて、比較的速くフレーム画像内のマーカー領域を得ることができる。

ステップＳ１７０において、テンプレート画像に対応するメディアデータをマーカー領域に重畳し、重畳により得た画像を表示する。

本実施例では、メディアデータはテンプレート画像に対応するものであり、映像ストリームであってもよいし、３次元の映像モデルであってもよい。例えば、テンプレート画像が映画ポスターである場合、メディアデータは該映画の再生ファイルである。メディアデータをマーカー領域に重畳し、重畳により得た画像を表示するプロセスにおいて、メディアデータの再生が仮想環境を構成し、マーカー領域を除く一連のフレーム画像が現実環境を構成することで、拡張現実の効果が実現される。

図２に示すように、一実施例では、上述のステップＳ１３０の具体的なプロセスは、以下のステップを含む。

ステップＳ１３１において、アップロードされたフレーム画像の属性情報を取得する。

本実施例では、アップロードされたフレーム画像の属性情報は、フレーム画像に関連する明細情報の記録に用いられる。一実施例では、属性情報には、ユーザー情報および機器情報が含まれる。ユーザー情報はユーザーが登録した個人認識情報であり、例えば性別、年齢、教育背景、趣味等が挙げられる。機器情報は、ユーザーがフレーム画像をアップロードする際に使用するハードウェア機器から返される情報である。例えば、ユーザーがあるモバイル端末を使用してサーバーにフレーム画像をアップロードする場合、機器情報には、ＧＰＳ地理情報、機器メーカー、ネットワーク環境等が含まれる。

ステップＳ１３３において、属性情報に基づき、記憶されたテンプレート画像においてマッチング範囲を限定する。

本実施例では、属性情報を用いて、記憶された複数のテンプレート画像に基づき、範囲の限定を実行する。例えば、属性情報の記録において、フレーム画像をアップロードしたユーザーが女性であり、ＧＰＳ地理情報が北京である場合、マッチング範囲は、女性と北京に関連するテンプレート画像に限定される。具体的には、記憶されたテンプレート画像に、化粧品広告の画像と、髭剃り広告の画像と、北京でのコンサートの画像と、上海でのコンサートの画像とが存在する場合、マッチング範囲にあるテンプレート画像は、化粧品広告の画像および北京でのコンサートの画像である。マッチング範囲を限定することにより、フレーム画像にマッチするテンプレート画像を速く取得することができ、また、マッチング精度を向上することができる。

ステップＳ１３５において、マッチング範囲にあるテンプレート画像を検索し、フレーム画像が検索されたテンプレート画像とマッチするかを判定する。マッチする場合はステップＳ１３７に入り、マッチしない場合はステップＳ１１０に戻る。

本実施例では、マッチング範囲にあるテンプレート画像ひとつひとつに対して検索を実行し、フレーム画像にマッチするテンプレート画像を取得し、検索して得られたテンプレート画像を、フレーム画像をアップロードしたユーザーへ返す。

ステップＳ１３７において、検索されたテンプレート画像を返す。

図３に示すように、一実施例では、上述のステップＳ１５０の具体的なプロセスは、以下のステップを含む。

ステップＳ１５１において、テンプレート画像に対応する訓練データに基づいて、フレーム画像内の特徴点を得る。

本実施例では、訓練データにより、テンプレート画像内のマーカー領域の特徴点が記録される。テンプレート画像内のマーカー領域は、一連の特徴点を用いて標識することができる。テンプレート画像はフレーム画像にマッチするので、訓練データに記録される特徴点を用いて、フレーム画像内でマーカー領域を標識するのに用いられる特徴点を取得することができる。すなわち、訓練データに記録される特徴点とフレーム画像内の特徴点は、互いにマッチする特徴点ペアである。

ステップＳ１５３において、特徴点を用いて、フレーム画像内のマーカー領域の輪郭位置を取得する。

本実施例では、フレーム画像内の一連の特徴点を用いて、フレーム画像内のマーカー領域の輪郭位置が得られる。そして、輪郭位置を用いて、マーカー領域の輪郭とフレーム画像内の座標とを取得する。

上述のマーカー領域の取得プロセスは、クライアントで処理が実行されるが、これに限定されるものではなく、サーバーで処理が実行されてもよい。

図４に示すように、別の一実施例では、上述のステップＳ１５０の前に以下のステップが含まれる。

ステップＳ２１０において、ローカルファイル内にテンプレート画像に対応する訓練データおよびメディアデータが存在するかを判定する。存在しない場合はステップＳ２３０に入り、存在する場合はステップＳ２５０に入る。

本実施例では、ローカルファイルは、クライアントでローカルに記憶されるファイルである。フレーム画像のマーカー領域を取得した後、テンプレート画像に対応する訓練データおよびメディアデータがクライアントにおいてローカルに存在するかを判定する。存在しない場合は、サーバーから訓練データおよびメディアデータをダウンロードする必要がある。訓練データおよびメディアデータがクライアントにおいてローカルに存在する場合は、直接ロードが実行される。

ステップＳ２３０において、訓練データおよびメディアデータをダウンロードする。

本実施例では、ダウンロードが完了した後、ユーザーにより、マーカー領域の検出とメディアデータの重畳および再生とが実行されてよい。また、訓練データおよびメディアデータのストリーミングデータの伝送プロセスにおいて、伝送と同時に後続の処理が実行されてよい。

ステップＳ２５０において、訓練データおよびメディアデータをロードする。

図５に示すように、別の一実施例では、上述のステップＳ１５０の前に以下のステップが含まれる。

ステップＳ３１０において、記憶されたテンプレート画像に対して検出を実行して特徴点を得て、特徴点の数が閾値未満であるかを判定する。閾値未満でない場合はステップＳ３３０に入り、閾値未満である場合はプロセスを終了する。

本実施例では、テンプレート画像に基づいてフレーム画像のマーカー領域の検出を実行する際、該テンプレート画像に対応する特徴点を用いて、フレーム画像内の特徴点を得る。テンプレート画像は、サーバーが収集し保存する画像およびユーザーがアップロードし保存する画像である。テンプレート画像として保存される画像に関して、それに対応する訓練データおよびメディアデータがサーバーに記憶されるデータ中に存在しない場合、テンプレート画像に対して訓練を実行して訓練データを得て、また、テンプレート画像とメディアデータとの対応関係を確立する必要がある。テンプレート画像に対する訓練は、サーバーで実行されてもよいし、クライアントで実行されてもよい。しかしながら、サーバーでテンプレート画像の訓練を実行することが好ましく、これによりクライアントを軽くすることができる。

テンプレート画像に対し訓練を実行するプロセスにおいて、テンプレート画像として保存される画像に対し、特徴点検出アルゴリズムを用いて検出を実行し、画像内の特徴点を得る必要がある。特征検出アルゴリズムは、ＦＡＳＴ（Features from Accelerated Segment Test）特徴点検出アルゴリズムであってもよいし、類似のＳＵＲＦ（Speeded Up Robust Features）特徴点検出アルゴリズムであってもよいし、その他の特徴点検出アルゴリズムであってもよく、ここに逐一列挙することはしない。

テンプレート画像内の特徴点を得た後、特徴点の数がフレーム画像のマーカー領域の検出に十分であるかを判定し、テンプレート画像の有効性を保証する必要がある。好ましい実施例では、閾値として１００が選択される。

ステップＳ３３０において、テンプレート画像に対応する見本画像を取得し、見本画像内の特徴点を検出して得る。

本実施例では、特徴点検出の正確性を保証するために、テンプレート画像に対応するいくつかの見本画像を取得し、特徴点の検出を実行し、特徴点のロバスト性を保証する。見本画像は、テンプレート画像に対応し、回転角度および／または縮尺が異なる各種画像である。例えば、３６０度に対し各１０度に回転角度を設定すると、３６個の回転角度が得られる。毎回０．８の縮尺で７個の縮尺レベルとすると、合計で３６×７＝２５２個の、回転角度および縮尺が異なる見本画像が得られる。各見本画像に対して、等しく特徴点の検出が実行される。

ステップＳ３５０において、テンプレート画像内および見本画像内の特徴点を処理し、特徴点を記録する訓練データを生成する。

本実施例では、テンプレート画像の特徴点と見本画像の特徴点とを統合し、特徴点を記録する訓練データを生成する。具体的には、テンプレート画像内と見本画像内の同じ特徴点を統合して１つの特徴点とし、該特徴点の位置を記録して訓練データを得る。

別の一実施例では、特徴点の切除を実行して、特徴点の正確性を保証する。複数の見本画像において、特定の特徴点が繰り返し出現する頻度が非常に低い場合、このようなほとんど出現しない特徴点は、検出により誤って生成された可能性が比較的高く、後続のフレーム画像マーカー領域の検出の妨げになる恐れがある。よって、そのような特徴点に対し切除を実行し、該特徴点を除去する必要がある。

テンプレート画像内および見本画像内の特徴点を統合および切除するプロセスは、具体的には以下のようプロセスである。テンプレート画像および見本画像に対して、ランダムノイズを付加しファジー化処理を実行する。その後、ノイズを付加されファジー化された画像に対し、再度特徴点の検出を実行し、対応する特徴点を得る。テンプレート画像内および見本画像内の特徴点が、ノイズを付加されファジー化された画像に対応する特徴点に存在するかを判定し、存在しない場合は切除を実行し、存在する場合は統合を実行する。

テンプレート画像内および見本画像内の特徴点が、ノイズを付加されファジー化された画像に対応する特徴点にも存在すると判定された場合、該特徴点が再現可能であることを意味する。ある特徴点が、ノイズを付加されファジー化された画像に対応する特徴点に出現しない場合、再現可能性が低いとみなされる。

更に、再現可能な特徴点に対して、該特徴点の再現回数を判定する。再現回数が再現閾値より大きい場合は該特徴点を記録し、大きくない場合は該特徴点を除去する。これにより、更に効果的に特徴点の正確性を保証することができる。

上述の訓練データの生成プロセスはサーバーで実現されるが、これに限定されるものではなく、クライアントで実現することもできる。

図６に示すように、別の一実施例では、上述のステップＳ３１０の前に以下のステップが含まれる。

ステップＳ４１０において、テンプレート画像および対応するメディアデータを選定する。

本実施例では、予め記憶されたテンプレート画像およびメディアデータに対し、ユーザー自身がテンプレート画像および対応するメディアデータを選定し、拡張現実インタラクションをカスタマイズしてよい。具体的には、テンプレート画像は、ユーザーにより撮影された画像であってもよいし、その他の方法で得られる画像であってもよい。メディアデータは、ユーザーにより撮影された映像ストリームまたは３次元映像モデルであってもよいし、ユーザーがインターネットで取得した映像ストリームまたは３次元映像モデルを編集して得たものであってもよい。例えば、ダウンロードされた映像ストリームのバックグランド・ミュージックがユーザーにより変更されてもよいし、ユーザーの声に置き換えられてもよい。

ステップＳ４３０において、ログインユーザーのアップロード操作に基づいて、選定されたテンプレート画像および対応するメディアデータが共有されるかを判定する。共有される場合はステップＳ４５０に入り、共有されない場合はステップＳ４７０に入る。

本実施例では、選定されたテンプレート画像および対応するメディアデータをアップロードする前に、ユーザー情報を有効化してログイン状態に入る必要がある場合、ログインユーザーのアップロード操作を取得する。アップロード操作には、ユーザーによりトリガされるアップロード命令や共有命令が含まれ、共有を実行するか否かは、ユーザーにより適宜選択されてよい。

ステップＳ４５０において、選定されたテンプレート画像および対応するメディアデータを公共の記憶空間にアップロードして記憶する。

本実施例では、選定されたテンプレート画像および対応するメディアデータを共有する場合、それらは公共の記憶空間にアップロードし記憶される。これにより、他のユーザーも該ログインユーザーがアップロードしたテンプレート画像およびメディアデータを使用することができる。

ステップＳ４７０において、選択されたテンプレート画像および対応するメディアデータを、ログインユーザーに対応する記憶空間にアップロードして記憶する。

本実施例では、選定されたテンプレート画像および対応するメディアデータを共有しない場合、アップロードされたテンプレート画像および対応するメディアデータを、該ログインユーザーに対応する記憶空間に保存する。

一実施例では、ログインユーザーに対応する記憶空間の優先度は、公共の記憶空間の優先度よりも高い。

本実施例では、ログインユーザーに対応する記憶空間の優先度および公共の記憶空間の優先度の高低により、それらに記憶されるテンプレート画像の優先度が決定される。すなわち、フレーム画像にマッチするテンプレート画像を認識するプロセスにおいて、フレーム画像にマッチするテンプレート画像が２つ認識され、２つのテンプレート画像がそれぞれログインユーザーに対応する記憶空間と公共の記憶空間とに記憶されているとする。このとき、ログインユーザーに対応する記憶空間の優先度が公共の記憶空間の優先度よりも高いので、ログインユーザーに対応する記憶空間に記憶されたテンプレート画像が優先的に採用され、ログインユーザーへ返される。

図７に示すように、一実施例では、拡張現実インタラクションを実現するシステムを提供する。該システムは、クライアント１０およびサーバー３０を備える。クライアント１０は、収集モジュール１１０、検出モジュール１３０および表示処理モジュール１５０を有する。

一実施例では、クライアントは端末機器にインストールされ、端末機器の種類に基づいてコンピュータークライアント、モバイルクライアントおよびウェブページクライアントに分類される。コンピュータークライアントはコンピューターにインストールされるものであり、モバイルクライアントはモバイル端末にインストールされるものであり、ウェブページクライアントはブラウザにより実現されるものである。

収集モジュール１１０は、フレーム画像を収集し、当該フレーム画像をアップロードする。

本実施例では、収集モジュール１１０は画像収集を実行し、フレーム画像を得る。フレーム画像は、２次元形式であっても３次元形式であってもよく、収集モジュール１１０により得られる映像ストリームに対応する画像シーケンス中の１画像であってよい。例えば、収集モジュール１１０は、継続的に画像収集を実行して映像ストリームを取得する。映像ストリームは画像シーケンスにより形成されるものであり、すなわち、画像シーケンスにはいくつかのフレーム画像が含まれる。収集されサーバーにアップロードされるフレーム画像は、すなわち、画像シーケンスにおいて収集されている画像である。具体的には、収集モジュール１１０は、端末機器のカメラであってよい。

サーバー３０は、認識を実行してフレーム画像にマッチするテンプレート画像を得て、当該テンプレート画像を返す。

本実施例では、サーバー３０にはいくつかの異なるテンプレート画像が予め記憶され、予め記憶されたテンプレート画像から、アップロードされたフレーム画像にマッチするテンプレート画像が認識される。フレーム画像に基づくテンプレート画像の認識は、ＳＩＦＴ（Scale-Invariant Feature Transformation）のパターン認識アルゴリズム等の認識アルゴリズムを用いて行われてよい。例えば、フレーム画像が映画ＸＸのポスター画像である場合、サーバー３０に予め記憶されるテンプレート画像には、数百枚の映画ポスターの画像が含まれる。このとき、記憶されたテンプレート画像を認識することにより、記憶されたテンプレート画像から、映画ＸＸのポスター画像が得られる。この認識により得られたポスター画像が、フレーム画像にマッチするテンプレート画像である。フレーム画像にマッチするテンプレート画像を認識により得た後、サーバー３０は、フレーム画像をアップロードしたクライアントに対し、認識により得られたテンプレート画像を返す。

検出モジュール１３０は、テンプレート画像に基づいて、フレーム画像のマーカー領域を検出する。

本実施例では、収集モジュール１０は、画像収集プロセスにおいてマーカー物の撮影を実行し、該マーカー物のフレーム画像を得る。マーカー物がフレーム画像内に形成する領域が、マーカー領域である。テンプレート画像はフレーム画像内のマーカー領域の検出に用いられ、テンプレート画像にはマーカー物の画像も存在する。フレーム画像のマーカー領域の検出プロセスにおいて、テンプレート画像とフレーム画像を比較することにより、フレーム画像のマーカー領域を得ることができる。更に、テンプレート画像においてマーカー領域を形成する点を予め記録し、記録された点を用いて、比較的速くフレーム画像内のマーカー領域を得ることができる。

表示処理モジュール１５０は、テンプレート画像に対応するメディアデータをマーカー領域に重畳し、重畳により得た画像を表示する。

本実施例では、メディアデータはテンプレート画像に対応するものであり、映像ストリームであってもよいし、３次元の映像モデルであってもよい。例えば、テンプレート画像が映画ポスターである場合、メディアデータは該映画の再生ファイルである。メディアデータをマーカー領域に重畳し、重畳により得た画像を表示するプロセスにおいて、メディアデータの再生が仮想環境を構成し、マーカー領域を除く一連のフレーム画像が現実環境を構成することで、拡張現実の効果が実現される。

図８に示すように、一実施例では、上述のサーバー３０は、属性取得モジュール３１０、範囲限定モジュール３３０および検索モジュール３５０を有する。

属性取得モジュール３１０は、アップロードされたフレーム画像の属性情報を取得する。

本実施例では、アップロードされたフレーム画像の属性情報は、フレーム画像に関連する明細情報の記録に用いられる。一実施例では、属性情報には、ユーザー情報および機器情報が含まれる。ユーザー情報はユーザーが登録した個人認識情報であり、例えば性別、年齢、教育背景、趣味等が挙げられる。機器情報は、ユーザーがフレーム画像をアップロードする際に使用するハードウェア機器から返される情報である。例えば、ユーザーがあるモバイル端末を使用してサーバーにフレーム画像をアップロードする場合、機器情報には、ＧＰＳ地理情報、機器メーカー、ネットワーク環境等が含まれる。

範囲限定モジュール３３０は、属性情報に基づき、記憶されたテンプレート画像においてマッチング範囲を限定する。

本実施例では、範囲限定モジュール３３０は属性情報を用いて、記憶された複数のテンプレート画像に基づき、範囲の限定を実行する。例えば、属性情報の記録において、フレーム画像をアップロードしたユーザーが女性であり、ＧＰＳ地理情報が北京である場合、マッチング範囲は、女性と北京に関連するテンプレート画像に限定される。具体的には、記憶されたテンプレート画像に、化粧品広告の画像と、髭剃り広告の画像と、北京でのコンサートの画像と、上海でのコンサートの画像とが存在する場合、マッチング範囲にあるテンプレート画像は、化粧品広告の画像および北京でのコンサートの画像である。マッチング範囲を限定することにより、フレーム画像にマッチするテンプレート画像を速く取得することができ、また、マッチング精度を向上することができる。

検索モジュール３５０は、マッチング範囲にあるテンプレート画像を検索し、フレーム画像が検索されたテンプレート画像とマッチするかを判定する。マッチする場合は、クライアント１０にテンプレート画像を返す。マッチしない場合は、収集モジュール１１０に通知する。

本実施例では、検索モジュール３５０は、マッチング範囲にあるテンプレート画像ひとつひとつに対して検索を実行し、フレーム画像にマッチするテンプレート画像を取得し、検索して得られたテンプレート画像を、フレーム画像をアップロードしたユーザーへ返す。

図９に示すように、一実施例では、上述の検出モジュール１３０は、特徴検出ユニット１３１および輪郭取得ユニット１３３を有する。

特徴検出ユニット１３１は、テンプレート画像に対応する訓練データに基づいて、フレーム画像内の特徴点を得る。

本実施例では、訓練データにより、テンプレート画像内のマーカー領域の特徴点が記録される。テンプレート画像内のマーカー領域は、一連の特徴点を用いて標識することができる。テンプレート画像はフレーム画像にマッチするので、特徴検出ユニット１３１は訓練データに記録される特徴点を用いて、フレーム画像内でマーカー領域を標識するのに用いられる特徴点を取得することができる。すなわち、訓練データに記録される特徴点とフレーム画像内の特徴点は、互いにマッチする特徴点ペアである。

輪郭取得ユニット１３３は、特徴点を用いて、フレーム画像内のマーカー領域の輪郭位置を取得する。

本実施例では、輪郭取得ユニット１３３はフレーム画像内の一連の特徴点を用いて、フレーム画像内のマーカー領域の輪郭位置を得る。そして、輪郭取得ユニット１３３は輪郭位置を用いて、マーカー領域の輪郭とフレーム画像内の座標とを取得する。

上述の検出モジュール１３０は、クライアント１０に設けられる代わりに、サーバー３０に設けられてもよい。

図１０に示すように、別の一実施例では、上述のクライアント１０は更にデータ取得モジュール１７０を有する。

データ取得モジュール１７０は、ローカルファイル内にテンプレート画像に対応する訓練データおよびメディアデータが存在するかを判定する。存在しない場合は、訓練データおよびメディアデータをダウンロードし、存在する場合には、訓練データおよびメディアデータをロードする。

本実施例では、ローカルファイルは、クライアントでローカルに記憶されるファイルである。データ取得モジュール１７０は、フレーム画像のマーカー領域を取得した後、テンプレート画像に対応する訓練データおよびメディアデータがクライアントにおいてローカルに存在するかを判定する。存在しない場合は、訓練データおよびメディアデータをダウンロードする必要がある。テンプレート画像に対応する訓練データおよびメディアデータがクライアントにおいてローカルに存在する場合は、直接ロードが実行される。

ダウンロードが完了した後、ユーザーにより、マーカー領域の検出とメディアデータの重畳および再生とが実行されてよい。また、訓練データおよびメディアデータのストリーミングデータの伝送プロセスにおいて、伝送と同時に後続の処理が実行されてよい。

図１１に示すように、別の一実施例では、上述のサーバー３０は更に、特徴処理モジュール３７０および訓練データ生成モジュール３９０を有する。

特徴処理モジュール３７０は、記憶されたテンプレート画像に対して検出を実行して特徴点を得て、特徴点の数が閾値未満であるかを判定する。閾値未満でない場合は、テンプレート画像に対応する見本画像を取得し、当該見本画像内の特徴点を検出して得る。閾値未満である場合は、プロセスを終了する。

本実施例では、特徴処理モジュール３７０は、該テンプレート画像に対応する特徴点を用いて、フレーム画像内の特徴点を得る。テンプレート画像は、サーバーが収集し保存する画像およびユーザーがアップロードし保存する画像である。テンプレート画像として保存される画像に関して、それに対応する訓練データおよびメディアデータがサーバーに記憶されるデータ中に存在しない場合、テンプレート画像に対して訓練を実行して訓練データを得て、また、テンプレート画像とメディアデータとの対応関係を確立する必要がある。テンプレート画像に対する訓練は、サーバーで実行されてもよいし、クライアントで実行されてもよい。しかしながら、サーバーでテンプレート画像の訓練を実行することが好ましく、これによりクライアントを軽くすることができる。

テンプレート画像に対し訓練を実行するプロセスにおいて、特徴処理モジュール３７０は、テンプレート画像として保存される画像に対し、特徴点検出アルゴリズムを用いて検出を実行し、画像内の特徴点を得る必要がある。特征検出アルゴリズムは、ＦＡＳＴ（Features from Accelerated Segment Test）特徴点検出アルゴリズムであってもよいし、類似のＳＵＲＦ（Speeded Up Robust Features）特徴点検出アルゴリズムであってもよいし、その他の特徴点検出アルゴリズムであってもよく、ここに逐一列挙することはしない。

特徴処理モジュール３７０は更に、特徴点の数がフレーム画像のマーカー領域の検出に十分であるかを判定し、テンプレート画像の有効性を保証する必要がある。好ましい実施例では、閾値として１００が選択される。

訓練データ生成モジュール３９０は、テンプレート画像の特徴点および見本画像の特徴点を処理し、特徴点を記録する訓練データを生成する。

本実施例では、特徴点検出の正確性を保証するために、訓練データ生成モジュール３９０は、テンプレート画像に対応するいくつかの見本画像を取得し、特徴点の検出を実行し、特徴点のロバスト性を保証する。見本画像は、テンプレート画像に対応し、回転角度および／または縮尺が異なる各種画像である。例えば、訓練データ生成モジュール３９０が３６０度に対し各１０度に回転角度を設定すると、３６個の回転角度が得られる。毎回０．８の縮尺で７個の縮尺レベルとすると、合計で３６×７＝２５２個の、回転角度および縮尺が異なる見本画像が得られる。各見本画像に対して、等しく特徴点の検出が実行される。

別の一実施例では、訓練データ生成モジュール３９０は更に特徴点の切除を実行して、特徴点の正確性を保証する。複数の見本画像において、特定の特徴点が繰り返し出現する頻度が非常に低い場合、このようなほとんど出現しない特徴点は、検出により誤って生成された可能性が比較的高く、後続のフレーム画像マーカー領域の検出の妨げになる恐れがある。よって訓練データ生成モジュール３９０は、そのような特徴点に対し切除を行い、該特徴点を除去する。

具体的には、訓練データ生成モジュール３９０は、テンプレート画像および見本画像に対して、ランダムノイズを付加しファジー化処理を実行する。その後、ノイズを付加されファジー化された画像に対し、再度特徴点の検出を実行し、対応する特徴点を得る。テンプレート画像内および見本画像内の特徴点が、ノイズを付加されファジー化された画像に対応する特徴点に存在するかを判定し、存在しない場合は切除を実行し、存在する場合は統合を実行する。

訓練データ生成モジュール３９０により、テンプレート画像内および見本画像内の特徴点が、ノイズを付加されファジー化された画像に対応する特徴点にも存在する判定された場合、該特徴点は再現可能であることを意味する。ある特徴点が、ノイズを付加されファジー化された画像に対応する特徴点に出現しない場合、再現可能性が低いとみなされる。

更に、再現可能な特徴点に対して、訓練データ生成モジュール３９０は更に該特徴点の再現回数を判定する。再現回数が再現閾値より大きい場合は該特徴点を記録し、大きくない場合は該特徴点を除去する。これにより、更に効果的に特徴点の正確性を保証することができる。

別の一実施例では、上述の特徴処理モジュール３７０および訓練データ生成モジュール３９０はクライアント１０に設けられてもよく、訓練データの生成後すぐに当該訓練データをサーバー３０にアップロードしてよい。

別の一実施例では、上述のクライアント１０は更に、テンプレート画像および対応するメディアデータを選定する。

本実施例では、予め記憶されたテンプレート画像およびメディアデータに対し、ユーザー自身がテンプレート画像および対応するメディアデータを選定し、拡張現実インタラクションをカスタマイズしてよい。具体的には、テンプレート画像は、ユーザーにより撮影された画像であってもよいし、その他の方法で得られる画像であってもよい。メディアデータは、ユーザーにより撮影された映像ストリームまたは３次元映像モデルであってもよいし、ユーザーがインターネットで取得した映像ストリームまたは３次元映像モデルを編集して得たものであってもよい。例えば、ダウンロードされた映像ストリームのバックグランド・ミュージックがユーザーにより変更されてもよいし、ユーザーの声に置き換えられてもよい。

図１２に示すように、上述の拡張現実インタラクションを実現するシステムは更に、ユーザーデータベース５０および共有データベース７０を備える。

サーバー３０は更に、ログインユーザーのアップロード操作に基づいて、選定されたテンプレート画像および対応するメディアデータが共有されるかを判定する。共有される場合は、選択されたテンプレート画像および対応するメディアデータを共有データベース７０にアップロードして記憶し、共有されない場合は、ログインユーザーに対応するユーザーデータベース５０にアップロードして記憶する。

本実施例では、選定されたテンプレート画像および対応するメディアデータをアップロードする前に、ユーザー情報を有効化してログイン状態に入る必要がある場合、サーバー３０はログインユーザーのアップロード操作を取得する。アップロード操作には、ユーザーによりトリガされるアップロード命令や共有命令が含まれ、共有を実行するか否かは、ユーザーにより適宜選択されてよい。

選定されたテンプレート画像および対応するメディアデータを共有する場合、それらは共有データベース７０にアップロードし記憶される。これにより、他のユーザーも該ログインユーザーがアップロードしたテンプレート画像およびメディアデータを使用することができる。

選定されたテンプレート画像および対応するメディアデータを共有しない場合、アップロードされたテンプレート画像および対応するメディアデータは、該ログインユーザーに対応するユーザーデータベース５０に保存される。

別の一実施例では、ユーザーデータベース５０の優先度は、共有データベース７０の優先度よりも高い。

本実施例では、ログインユーザーに対応するユーザーデータベース５０の優先度および共有データベース７０の優先度の高低により、それらに記憶されるテンプレート画像の優先度が決定される。すなわち、フレーム画像にマッチするテンプレート画像を認識するプロセスにおいて、サーバー３０がフレーム画像にマッチするテンプレート画像を２つ認識し、２つのテンプレート画像がそれぞれログインユーザーに対応するユーザーデータベース５０と共有データベース７０とに記憶されているとする。このとき、ログインユーザーに対応するユーザーデータベース５０の優先度は共有データベース７０の優先度よりも高いので、ログインユーザーに対応するユーザーデータベース５０に記憶されたテンプレート画像が優先的に採用され、ログインユーザーへ返される。

上述の拡張現実インタラクションを実現する方法およびシステムでは、フレーム画像の収集後にアップロードを実行し、アップロードされたフレーム画像に基づいて、該フレーム画像にマッチするテンプレート画像を認識して返す。返されたテンプレート画像に基づいてマーカー領域の検出を実行し、メディアデータをマーカー領域に重畳し、重畳により得た画像を表示する。フレーム画像はリモートのサーバーへアップロードされて、テンプレート画像の認識とマッチングのプロセスが実行されるので、比較的複雑な認識とマッチングのプロセスをローカルで遂行する必要がなく、拡張現実インタラクションにおける認識能力を大いに向上することができる。各種マーカーを対象にマッチするテンプレート画像を等しく認識することができるので、柔軟性が大いに向上する。

当該技術分野の当業者には当然であるように、上記実施例のステップの全てまたは一部は、コンピュータープログラム命令に関連するハードウェアによって実現されてもよい。プログラムは、コンピューター可読の記憶媒体に記憶されてよく、該プログラムは、実行時に上述の各実施例に含まれるような工程を含んでよい。記憶媒体は、ディスク、光ディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等であってよい。

以上に記載したものは本発明の単なる実施例であり、本発明を限定するものではない。本発明の趣旨および原則の範囲内におけるあらゆる変更、均等物、改良等は、全て本発明の保護範囲に包含される。

上記の実施例は、本発明の一部の実施方式を表したものに過ぎないが、具体的かつ詳細に記載した。ただし、本発明の範囲を限定するものではない。なお、当該技術分野の当業者には当然ながら、本発明の構成を前提として変形および変更を行うことができる。このような変形および変更は、本発明の保護範囲に包含されるものである。よって、本発明の保護範囲は、添付の特許請求の範囲に準じるものである。

Claims (17)

1. フレーム画像を収集し、当該フレーム画像をアップロードするステップと、
   認識を実行して前記フレーム画像にマッチするテンプレート画像を得て、当該テンプレート画像を返すステップと、
   前記テンプレート画像に基づいて前記フレーム画像のマーカー領域を検出するステップと、
   前記テンプレート画像に対応するメディアデータを前記マーカー領域に重畳し、重畳により得た画像を表示するステップと、
   を含む、拡張現実インタラクションを実現する方法であって、
   前記テンプレート画像に基づいて前記フレーム画像のマーカー領域を検出する前記ステップは、
   前記テンプレート画像に対応する訓練データに基づいて、前記フレーム画像内の特徴点を得るステップと、
   前記特徴点を用いて、前記フレーム画像内の前記マーカー領域の輪郭位置を取得するステップと、
   を含み、
   前記テンプレート画像に基づいて前記フレーム画像のマーカー領域を検出する前記ステップの前に、
   記憶されたテンプレート画像に対して検出を実行して特徴点を取得し、前記特徴点の数が閾値未満であるかを判定し、閾値未満でない場合は、前記テンプレート画像に対応する見本画像を取得し、当該見本画像内の特徴点を検出するステップと、
   前記テンプレート画像内の特徴点および前記見本画像内の特徴点を処理し、当該特徴点を記録する訓練データを生成するステップと、
   を含む方法。
2. 認識を実行して前記フレーム画像にマッチするテンプレート画像を取得し、当該テンプレート画像を返す前記ステップは、
   前記アップロードされたフレーム画像の属性情報を取得するステップと、
   前記属性情報に基づいて、記憶されたテンプレート画像においてマッチング範囲を限定するステップと、
   前記マッチング範囲にあるテンプレート画像を検索し、前記フレーム画像が検索されたテンプレート画像とマッチするかを判定し、マッチする場合は、当該検索されたテンプレート画像を返すステップと、
   を含む、請求項１に記載の拡張現実インタラクションを実現する方法。
3. 前記テンプレート画像に基づいて前記フレーム画像のマーカー領域を検出する前記ステップの前に、
   ローカルファイル内に前記テンプレート画像に対応する訓練データおよびメディアデータが存在するかを判定し、存在しない場合は、当該訓練データおよび当該メディアデータをダウンロードし、存在する場合は、当該訓練データおよび当該メディアデータをロードするステップ、
   を含む、請求項１に記載の拡張現実インタラクションを実現する方法。
4. 前記テンプレート画像内の特徴点および前記見本画像内の特徴点を処理し前記特徴点を記録する訓練データを生成する前記ステップは、
   前記テンプレート画像内の特徴点および前記見本画像内の特徴点を統合または切除し、当該特徴点を記録する訓練データを生成するステップ、
   を含む、請求項１に記載の拡張現実インタラクションを実現する方法。
5. 前記テンプレート画像内の特徴点および前記見本画像内の特徴点を統合または切除し当該特徴点を記録する訓練データを生成する前記ステップの前に、
   前記テンプレート画像および前記見本画像に対してランダムノイズを付加してファジー化プロセスを実行し、当該ノイズを付加されファジー化された画像に対して再度特徴点の検出を実行し、対応する特徴点を取得するステップと、
   前記テンプレート画像の特徴点および前記見本画像の特徴点が、前記ノイズを添加されファジー化された画像に対応する特徴点に存在するかを判定するステップと、
   前記テンプレート画像の特徴点および前記見本画像の特徴点に対し、存在しない場合は切除を実行し、存在する場合は統合を実行するステップと、
   を含む、請求項４に記載の拡張現実インタラクションを実現する方法。
6. 前記テンプレート画像の特徴点および前記見本画像の特徴点に対し切除を実行する前記ステップの前に、
   前記テンプレート画像の特徴点および前記見本画像の特徴点の再現回数が再現閾値より大きいかを更に判定し、大きくない場合は、前記特徴点を除去するステップと、
   前記テンプレート画像の特徴点および前記見本画像の特徴点に対し切除を実行する前記ステップに入るステップと、
   を含む、請求項５に記載の拡張現実インタラクションを実現する方法。
7. 記憶されたテンプレート画像に対して検出を実行して特徴点を取得する前記ステップの前に、
   テンプレート画像および対応するメディアデータを選定するステップと、
   ログインユーザーのアップロード操作に基づいて、前記選定されたテンプレート画像および対応するメディアデータが共有されるかを判定し、共有される場合は、前記選定されたテンプレート画像および対応するメディアデータを公共の記憶空間にアップロードして記憶し、共有されない場合は、前記ログインユーザーに対応する記憶空間にアップロードして記憶するステップと、
   を含む、請求項１に記載の拡張現実インタラクションを実現する方法。
8. 前記ログインユーザーに対応する前記記憶空間の優先度は、前記公共の記憶空間の優先度よりも高い、
   請求項７に記載の拡張現実インタラクションを実現する方法。
9. 前記重畳により得た画像を表示する前記ステップは、
   メディアデータの再生により仮想環境を構成し、マーカー領域を除くフレーム画像により現実環境を構成するステップ、
   を含む、請求項１に記載の拡張現実インタラクションを実現する方法。
10. クライアントおよびサーバーを備え、
    前記クライアントは、収集モジュール、検出モジュールおよび表示処理モジュールを有し、
    前記収集モジュールは、フレーム画像を収集し、当該フレーム画像をアップロードし、
    前記サーバーは、認識を実行して前記フレーム画像にマッチするテンプレート画像を得て、当該テンプレート画像を返し、
    前記検出モジュールは、前記テンプレート画像に基づいて前記フレーム画像のマーカー領域を検出し、
    前記表示処理モジュールは、前記テンプレート画像に対応するメディアデータを前記マーカー領域に重畳し、重畳により得た画像を表示する、
    拡張現実インタラクションを実現するシステムであって、
    前記検出モジュールは、
    前記テンプレート画像に対応する訓練データに基づいて、前記フレーム画像内の特徴点を得る特徴検出ユニットと、
    前記特徴点を用いて、前記フレーム画像内の前記マーカー領域の輪郭位置を取得する輪郭取得ユニットと、
    を有し、
    前記サーバーは、
    記憶されたテンプレート画像に対して検出を実行して特徴点を取得し、当該特徴点の数が閾値未満であるかを判定し、閾値未満でない場合は、前記テンプレート画像に対応する見本画像を取得し、当該見本画像内の特徴点を検出し取得する特徴処理モジュールと、
    前記テンプレート画像の特徴点および前記見本画像の特徴点を処理し、前記特徴点を記録する訓練データを生成する訓練データ生成モジュールと、
    を有するシステム。
11. 前記サーバーは更に、
    前記アップロードされたフレーム画像の属性情報を取得する属性取得モジュールと、
    前記属性情報に基づいて、記憶されたテンプレート画像においてマッチング範囲を限定する範囲限定モジュールと、
    前記マッチング範囲にあるテンプレート画像を検索し、前記フレーム画像が検索されたテンプレート画像とマッチするかを判定し、マッチする場合は、前記検索されたテンプレート画像を前記クライアントに返す検索モジュールと、
    を有する、請求項１０に記載の拡張現実インタラクションを実現するシステム。
12. 前記クライアントは更に、
    ローカルファイル内に前記テンプレート画像に対応する訓練データおよびメディアデータが存在するかを判定し、存在しない場合は、当該訓練データおよび当該メディアデータをダウンロードし、存在する場合は、当該訓練データおよび当該メディアデータをロードするデータ取得モジュール、
    を有する、請求項１０に記載の拡張現実インタラクションを実現するシステム。
13. 前記訓練データ生成モジュールは更に、テンプレート画像内の特徴点および見本画像内の特徴点を統合または切除し、特徴点を記録する前記訓練データを生成する、
    請求項１０に記載の拡張現実インタラクションを実現するシステム。
14. 前記訓練データ生成モジュールは更に、テンプレート画像および見本画像に対してランダムノイズを付加してファジー化プロセスを実行し、当該ノイズを付加されファジー化された画像に対して再度特徴点の検出を実行し、対応する特徴点を取得し、テンプレート画像の特徴点および見本画像の特徴点が、前記ノイズを付加されファジー化された画像に対応する特徴点に存在するかを判定し、前記テンプレート画像の特徴点および前記見本画像の特徴点に対し、存在しない場合は切除を実行し、存在する場合は統合を実行する、
    請求項１３に記載の拡張現実インタラクションを実現するシステム。
15. 前記訓練データ生成モジュールは更に、前記テンプレート画像の特徴点および前記見本画像の特徴点の再現回数が再現閾値より大きいかを更に判定し、大きくない場合は当該特徴点を除去し、前記テンプレート画像の特徴点および前記見本画像の特徴点に対し切除を実行する、
    請求項１４に記載の拡張現実インタラクションを実現するシステム。
16. 前記クライアントは更に、テンプレート画像および対応するメディアデータを選定し、
    前記システムは更に、ユーザーデータベースおよび共有データベースを備え、
    前記サーバーは更に、ログインユーザーのアップロード操作に基づいて、前記選定されたテンプレート画像および対応するメディアデータが共有されるかを判定し、共有される場合は、前記選定されたテンプレート画像および対応するメディアデータを前記共有データベースにアップロードして記憶し、共有されない場合は、前記ログインユーザーに対応するユーザーデータベースにアップロードして記憶する、
    請求項１０に記載の拡張現実インタラクションを実現するシステム。
17. 前記ユーザーデータベースの優先度は、前記共有データベースの優先度よりも高い、
    請求項１６に記載の拡張現実インタラクションを実現するシステム。

Images