JP3239472U - 多機能ａｒ双方向装置 - Google Patents

Abstract

【課題】多くの拡張機能を提供可能な多機能ＡＲ双方向装置を提供する。
【解決手段】多機能ＡＲ双方向装置は、管理モジュール、表示モジュール及び撮影記録モジュールを含む。管理モジュールは制御ユニットと記憶ユニットを含み、記憶ユニットは仮想状況データと仮想オブジェクトを含む。撮影記録モジュールは検知ユニットを含み、ユーザが操作ジェスチャを実行し、撮影記録モジュールが操作ジェスチャを検出すると、撮影記録モジュールが仮想状況データと仮想オブジェクトを取得し、ユーザの動的画像を撮影記録し、検知ユニットがユーザの立体動的情報を検知して管理モジュールに送信する。管理モジュールは立体動的情報を受信し、取得した仮想状況データと仮想オブジェクトを組み合わせてユーザの動的画像に装着又は対応させ、仮想画像処理結果を構築し、表示モジュールに仮想画像処理結果を表示させ、管理モジュールが仮想画像処理結果を更に保存する。
【選択図】図２

Description

本考案は、ＡＲ（拡張現実）双方向装置に関し、特に、多くの拡張機能を提供可能な多機能ＡＲ双方向装置に関する。

画像撮影記録装置の出現以降、プリントシール機ほど人々に好まれ、人気を博したものはない。こうした装置には多くの描画機能やフィルタ効果が備わっており、ユーザのスタンプをより見栄えよくできるため、若者から強い支持を受けている。

しかし、上記のシール撮影や双方向型の撮影記録装置で提供されるのは大部分が平面式の画像効果である。仮に３Ｄ画像が別途存在する場合であっても、画像は固定された静的形式で表現されるため、真の意味でユーザが望むような画像は構築できていない。また、装置とのインタラクションが不可能なことから、柔軟性に乏しく、画像の撮影記録効果にはかなりの限界がある。

また、上記のシール撮影や双方向型の撮影記録装置は、ユーザに手動タッチでの操作させることしかできず、且つ機能においても革新的な設計に欠き、固定され且つ限定された双方向機能を提供できるのみであり、使用上の利便性及び娯楽性も改善の余地がある。

そこで、操作が容易であり、且つユーザとのインタラクションを可能とすることで撮影の面白みを増し、ユーザニーズを満たすような撮影記録システムを如何にして設計するかが当業者にとって喫緊の研究課題となっている。

本考案の目的は、多くの拡張機能を提供可能な多機能ＡＲ双方向装置を提供することである。

本考案の一実施形態に基づき、本考案は、ホストハウジングと、管理モジュールと、表示モジュールと、撮影記録モジュールと、を備える多機能ＡＲ双方向装置を提供する。ホストハウジングの一側に表示モジュール孔及び撮影記録モジュール孔が貫通して形成さる。管理モジュールは、ホストハウジング内に配置され、制御ユニット及び記憶ユニットを含み、記憶ユニットは、少なくとも１つの仮想状況データ及び少なくとも１つの仮想オブジェクトの少なくとも一方を格納する。表示モジュールは、ホストハウジング内に配置され且つ表示モジュール孔から露出され、管理モジュールに電気的に接続される。撮影記録モジュールは、ホストハウジング内に配置され且つ撮影記録モジュール孔から露出され、管理モジュールに電気的に接続され、検知ユニットを含み、ユーザが操作ジェスチャを実行し且つ撮影記録モジュールが操作ジェスチャを検出する時、撮影記録モジュールは、少なくとも１つの仮想状況データ及び少なくとも１つの仮想オブジェクトを取得し、ユーザの動的画像を記録し、検知ユニットは、ユーザの立体動的情報を検知し、管理モジュールに送信する。管理モジュールは、立体動的情報を受信し、ユーザが検索した少なくとも１つの仮想状況データ及び少なくとも１つの仮想オブジェクトを同期して照合して動的画像に装着又は対応させ、仮想画像処理結果を構築し、表示モジュールに仮想画像処理結果を表示させる。

一実施形態において、多機能ＡＲ双方向装置は、ホストハウジング内に配置され、管理モジュールに電気的に接続され、使用者に操作して使用させ、少なくとも１つの仮想状況データ及び少なくとも１つの仮想オブジェクトを検索させる操作モジュールを更に備える。

一実施形態において、操作ジェスチャは、ハンドジェスチャ、表情又は動作等である。

一実施形態において、仮想画像処理結果は、動的仮想画像、静的仮想画像、連続仮想画像、連続仮想動画、文字、文字と画像又は動画との結合、２次元バーコード又は３次元バーコードである。

一実施形態において、多機能ＡＲ双方向装置は、管理モジュールに電気的に接続され、前記仮想画像処理結果を製品と結合して実体商品を生成する製品製造モジュールを更に含む。

一実施形態において、多機能ＡＲ双方向装置は、管理モジュールに電気的に接続される位置決めモジュールを更に備え、位置決めモジュールは、位置情報を検出し、位置情報を管理モジュールに送信し、管理モジュールは、位置情報に基づいて位置情報に対応する仮想オプション及び／又は限定コンテンツを生成し、表示モジュールによって仮想オプション及び／又は限定コンテンツを表示する。

一実施形態において、位置情報は、現在の座標、現在の方向、現在の天候及び空間の大きさのうちの１つ以上を含む。

一実施形態において、管理モジュールは、もう１つの多機能ＡＲ双方向装置の管理モジュールに電気的に接続され、共有画面を生成し、もう１つの多機能ＡＲ双方向装置の管理モジュールと共有画面を共用してリモート集合写真機能を提供する。

一実施形態において、多機能ＡＲ双方向装置は、管理モジュールに電気的に接続される集金モジュールを更に備え、前記集金モジュールは、金銭を受け取り、前記ユーザに前記操作モジュールを操作させ、実体通貨、仮想通貨、複合通貨、クレジットカードポイント、乗車券電子マネーＩＣカードポイント、販売者割引カードポイントの方式で金銭を受け取るか、割引を与える。

一実施形態において、ユーザが電子装置により表示モジュールのバーコードを表示する時、管理モジュールは、電子装置をＡＲインタラクションの制御器に設定する。

本考案の実施形態の多機能ＡＲ双方向装置は、以下の１つ以上の利点を有することができる。
（１）本考案の一実施形態において、上記の複数又は１つの実施形態で提供するＡＲ撮影記録双方向システムによれば、ユーザに対し、より多くの視覚的楽しみやインタラクションの面白さが提供される。ユーザは、自身の好みに応じて仮想オブジェクトを装着したり、仮想オブジェクトとインタラクションしたりし、且つ、撮影記録した画像を出力したり、各種異なる拡張機能を実行したりすることができ、多機能ＡＲ双方向装置は、広い運用の余地を有し且つ極めて高い商業価値を有する。
（２）本考案の一実施形態において、ユーザが操作ジェスチャを実行し、撮像モジュールが操作ジェスチャを検出して少なくとも１つの仮想状況データ及び少なくとも１つの仮想オブジェクトを取得し、ユーザの動的画像を撮影記録すると同時に、ユーザの立体動的情報を検知し、管理モジュールに送信し、管理モジュールにそれに基づいて仮想画像処理結果を構築させ、表示モジュールによって仮想画像処理結果を表示させる。従って、ユーザは、多機能ＡＲ双方向装置に触れることなく多機能ＡＲ双方向装置を操作することができ、使用上より便利であるだけでなく、現在の新型コロナウイルスの状況に対応することもできる。
（３）本考案の一実施形態において、多機能ＡＲ双方向装置は、ユーザのデータを収集して顧客グループ分析又はその他のマーケティング用途に使用することができるだけでなく、位置決めモジュールを介して異なる位置の多機能ＡＲ双方向装置に異なる限定コンテンツを提供することができ、多機能ＡＲ双方向装置により良好なマーケティング機能及び娯楽効果を提供させることができる。
（４）本考案の一実施形態において、多機能ＡＲ双方向装置は、ユーザの電子装置又はその他の多機能ＡＲ双方向装置と相互に接続してインタラクティブに使用することができ、リモート集合写真機能又はその他の双方向機能を提供し、多機能ＡＲ双方向装置の機能をより多元化させることができる。
（５）本考案の一実施形態では、多機能ＡＲ双方向装置の集金モジュールは、実体通貨、仮想通貨、暗号通貨、クレジットカードポイント、乗車券電子マネーＩＣカードポイント、販売者割引カードポイントの方式で金銭を受け取るか、割引を与えることができるため、更に多元な支払い方式を提供し、多機能ＡＲ双方向装置の使用上の利便性を更に向上させることができる。
（６）本考案の一実施形態では、ユーザは、その電子装置によって多機能ＡＲ双方向装置の表示モジュールに表示されたバーコードをスキャンする時、多機能ＡＲ双方向装置の管理モジュールが電子装置をＡＲインタラクションの制御器に設定することができ、更に面白みのあるＡＲ双方向機能を提供することができる。

本考案のＡＲ双方向装置の一実施形態の外観説明図である。 本考案のＡＲ双方向装置の一実施形態の構造説明図（一）である。 本考案のＡＲ双方向装置の一実施形態の構造説明図（二）である。 本考案のＡＲ双方向装置の一実施形態の構造説明図（三）である。 本考案のＡＲ双方向装置の使用状態の説明図である。 本考案のＡＲ双方向装置の使用状態の説明図である。 本考案のＡＲ双方向装置の使用状態の説明図である。 本考案のＡＲ双方向装置の使用状態の説明図である。 本考案のＡＲ双方向装置の使用状態の説明図である。 本考案のＡＲ双方向装置の使用状態の説明図である。

以下では、関連する図面を参照し、本考案の多機能ＡＲ双方向装置の実施形態について説明するが、分かり易く且つ図面で説明し易くするために、図面内の各部材は、寸法及び比率を誇張又は縮小して示し得る。以下の説明及び／又は実用新案登録請求の範囲において、部材が別の部材に「接続」又は「結合」すると述べる場合、それは、当該別の部材に直接的な接続又は結合してもよく、仲介する部材が存在してもよい。部材が別の部材に「直接接続」又は「直接結合」すると述べる場合、仲介する部材が存在せず、部材又は層間の関係を説明するための他の用語についても同様に解釈されるべきである。理解し易くするため、以下の実施形態における同じ部材は、同じ符号で示して説明する。

図１、図２、図３及び図４は、それぞれ、本考案のＡＲ(Augmented Reality)双方向装置１の一実施形態の外観説明図及び構造説明図である。図５～図１０は、それぞれ、本考案のＡＲ双方向装置１の使用状態の説明図である。

多機能ＡＲ双方向装置１は、ホストハウジング１０、管理モジュール１１、操作モジュール１２、表示モジュール１３及び撮影記録モジュール１４を備える。多機能ＡＲ双方向装置１は、装置の形式で提供され、展示場や空港、或いは人の往来のある各種場所に設置される。装置は、画面を表示するためのスクリーンと、写真をプリントするためのデバイスを備える。

ホストハウジング１０の一側には、表示モジュール孔及び撮影記録モジュール孔が貫通して形成される。

管理モジュール１１は、ホストハウジング１０内に配置され、制御ユニット１１１及び記憶ユニット１１２を含み、記憶ユニット１１２は、少なくとも１つの仮想状況Ａ１データ及び少なくとも１つの仮想オブジェクトＡ２データの少なくとも一方を格納する。

前記仮想状況Ａ１データは、例えば、海洋、宇宙空間又は草原、レトロなフォトフレーム、遊園地などのシーン、フィルタ効果などである。

前記仮想オブジェクトＡ２は、例えば、サングラス、かつら、鎧又はペットなどの装備であり、ユーザ２と組み合わせて相互作用することができ、また、多機能ＡＲ双方向装置１は、画像調整モジュール２０を更に備え、少なくとも１つの仮想状況Ａ１及び少なくとも１つの仮想オブジェクトＡ２の画像効果を調整して、画面（絵）をより美しくする。

操作モジュール１２は、ホストハウジング１０内に配置され、管理モジュール１１に電気的に接続され、ユーザ２に操作使用させ、少なくとも１つの仮想状況Ａ１データ及び少なくとも１つの仮想オブジェクトＡ２を取得させる。表示モジュール１３は、ホストハウジング１０内に配置され、表示モジュール孔から露出し、管理モジュール１１に電気的に接続される。本実施形態では、表示モジュール１３は、操作モジュール１２と結合されており、例えば、タッチスクリーンである。

撮影記録モジュール１４は、ホストハウジング１０内に配置され、撮影記録モジュール孔から露出し、管理モジュール１１に電気的に接続され、検知ユニット１４１を含み、撮影記録モジュール１４は、ユーザの動的画像を撮影記録し、検知ユニット１４１は、ユーザ２の立体動的情報を検知し、管理モジュール１１に送信する。

幾つかの実施形態では、撮影記録モジュール１４は、ユーザ２の姿勢推定演算を行い、更に３Ｄ骨格情報を管理モジュール１１に提供し、管理モジュール１１は、３Ｄ骨格情報を仮想状況Ａ１データ及び仮想オブジェクトＡ２と同期して組み合わせ、仮想状況Ａ１データ及び仮想オブジェクトＡ２をユーザ２の動的画像に対応させて仮想画像処理結果を構築し、一方で、表示モジュール１３は、仮想画像処理結果を表示する。図中の画像入力装置は、カメラ、ビデオカメラ、ＫＩＮＥＣＴ等であってよい。一実施形態では、管理モジュール１１は、更に仮想画像を格納する。仮想画像処理結果は、動的仮想画像、静的仮想画像、連続仮想画像、連続仮想動画、文字、文字と画像又は動画との組み合わせであってよく、２次元バーコード（QR code）又は３次元バーコード等のデジタル資産であってよい。例えば、仮想画像処理結果が２次元バーコードの場合、ユーザ２は、この２次元バーコードをスキャンして画像をダウンロードするか、又は特定商品のショッピングガイドリンクに接続することができる。多機能ＡＲ双方向装置１は、特定の照明効果を提供し、生成する仮想画像処理結果の効果を良好にさせることができる照明モジュール１６を含む。

別の実施形態では、ユーザ２が操作ジェスチャを実行する時、撮影記録モジュール１４は、ユーザ２の操作ジェスチャがプリセットされた操作ジェスチャの１つであるかどうかを識別し、演算結果を管理モジュール１１に送信する。ユーザ２の操作ジェスチャがプリセットされた操作ジェスチャの１つ（例えば、プリセットされたハンドジェスチャ、プリセットされた表情又はプリセットされた動作など）である場合、管理モジュール１１は、対応する操作を実行することができる。前述の操作ジェスチャは、ハンドジェスチャ、表情又は動作であってよい。例えば、プリセットされた操作ジェスチャは、ＯＫのハンドジェスチャである。ユーザ２がＯＫのハンドジェスチャを行う時、撮影記録モジュール１４は、ユーザ２によって実行された動作がプリセットされた操作ジェスチャの１つであると判断することができる（且つこの操作ジェスチャは、仮想画像処理結果の生成に対応する）。そして、撮影記録モジュール１４は、ユーザ２の動的画像を撮影記録し、検知ユニット１４１は、ユーザ２の立体動的情報を検知して管理モジュール１１に送信することができる。次に、撮影記録モジュール１４は、ユーザ２の姿勢推定演算を実行し、さらに３Ｄ骨格情報を管理モジュール１１に提供し、管理モジュール１１は、３Ｄ骨格情報を仮想状況Ａ１データ及び仮想オブジェクトＡ２と同期して組み合わせ、仮想状況Ａ１データ及び仮想オブジェクトＡ２をユーザ２の動的画像に対応させて仮想画像処理結果を構築し、表示モジュール１３によって仮想画像処理結果を表示する。即ち、ユーザ２は、操作ジェスチャを実行することで前述の手動操作の操作モジュール１２を置き換えることができ、ユーザに操作モジュール１２に触れずに多機能ＡＲ双方向装置１を操作させ、各種機能を実行させることができる。

多機能ＡＲ双方向装置１は、製品製造モジュール２３を含む。製品製造モジュール２３は、管理モジュール１１に電気的に接続され、仮想画像処理結果を製品と組み合わせて実体商品を生成する。例えば、製品製造モジュール２３は、マグカップ製造設備であってよく、仮想画像処理結果（写真など）に基づいてマグカップを製造し、上記の写真を印刷したマグカップを製造することができる。別の実施形態では、製品製造モジュール２３は、フォトフレームを製造する設備又はコンサートチケットを生成する設備等であってもよく、実際の必要に応じて変更することができ、本考案は、上記の実施形態に限定するものではない。

幾つかの実施形態では、撮影記録モジュール１４は、ユーザ２の姿勢推定演算を行う。例えば、平面顔写真の場合には、アルゴリズム又はソフトウエアによって平面顔写真内の顔部の特徴を識別することで、顔部の特徴データを生成可能である。具体的に、処理モジュールは、画像識別に関連するアルゴリズム又はソフトウエアに基づいて平面顔写真を識別することで、例えば、眉、目鼻立ち及び顔型（ただし、これらに限らない）等の顔部の特徴を有する代表的な特定領域を区別した後、複数の点を配列することでこれら領域の輪郭を取得可能である。

次に、管理モジュール１１はこれらの点を顔部の特徴点として取得し、これら顔部の特徴点を組み合わせるか、更にその他の内容とも組み合わせることで顔部の特徴データを生成する。これにより、顔部の特徴が得られる。顔部の特徴点には複数の顔部位置決め点が含まれる。顔部位置決め点は各顔部モデルデータに予め設定されている。且つ、実質的には、顔部位置決め点の配列によって顔部モデルの輪郭が形成される。

管理モジュール１１には素体データが記憶されている。素体とは、人体の一部の骨組み又は輪郭を有するモデルのことであり、例えば、頭部モデルや、本実施形態のような全身モデルのことをいう。素体データには、完全な頭部、胴体及び四肢が含まれ得る。頭部の正面は顔部であり、顔部には、眉、目、耳、鼻、口等の顔立ちが備わっている。素体データの構築は、管理モジュール１１が顔部データを含む人体のデジタルデータを取得し、３次元モデリングを行うことで実現可能である。

管理モジュール１１は、アクティブ・アピアランス・モデルアルゴリズム（Active Appearance Model，AAMと略称）によって平面顔写真を分析し、合計８７個の顔部の特徴点を取得する。これら８７個の顔部の特徴点は登録番号を有しており、且つ、後に素体の顔部の特徴調整に使用できるよう、素体データの特徴領域における特徴点と対応している。

アクティブ・アピアランス・モデルアルゴリズムの効果を高めるために、使用に先立ち、１群又は１群以上の基準画像を用いてトレーニングを行ってもよい。また、アクティブ・アピアランス・モデルアルゴリズムを更に改善するために、顔部の特徴点を取得する過程で、モデル予測や、ＹＣｂＣｒ色空間における肌色範囲差別化処理を組み合わせてもよい。

管理モジュール１１は、３次元顔写真を生成したあと、３次元顔写真についてスタンプ処理を別途行うことで、３次元顔写真のデータ内容に、頭髪や眼鏡、髭、或いはその他のファッションアイテムを追加する。なお、スタンプ処理についても同様に、位置決め点で補助する方式で実現可能である。具体的に、３次元顔写真は頭髪の位置決め点を有し、選択される頭髪モジュールもまた位置決め点を有している。管理モジュール１１は、前者と後者の各点に対応関係を構築するとともに、更新された３次元顔写真データとして記憶する。なお、言うまでもなく、例えば眼鏡や髭といったその他の部分のスタンプ処理についてもこの方式で実施可能である。

多機能ＡＲ双方向装置１は、ユーザに対しより多くの撮影及びインタラクションの面白みを提供する。ユーザは、自身の好みに応じて仮想オブジェクト又は仮想オブジェクトとインタラクションする３次元コンポーネントを選択及び装着することが可能である。

管理モジュール１１は、裁判官の帽子、法服、ヒーローコスチューム、ピエロ帽、ピエロ衣装、パイロットキャップ、王冠を含む複数の３次元コンポーネントデータを予め記憶可能である。

インタラクションの動作としては、ユーザが手でパイロットキャップのシールドレンズを弾くと、スクリーン画面内のシールドレンズがこれに伴って開かれる。

また、インタラクションの動作として、ユーザが口を開けると、虹の海を吐き出すような動きが得られる。

図７及び図８に示すように、ユーザ２は操作を完了すると、画像出力モジュール１５が動的仮想画像処理結果を出力するよう、操作モジュール１２を通じて出力命令を管理モジュール１１に送信可能である。画像出力モジュール１５は、写真、ジグソーパズル、はがき、シールのうちの少なくとも１つの方式でプリント及び出力を行う。ただし、本考案はこれに限定するものではない。

幾つかの実施形態では、多機能ＡＲ双方向装置１は、例えばＵＳＢのような送信モジュール１７を含み、ユーザ２がフラッシュメモリのような記憶装置をＵＳＢに差し込むことで、信号接続により動的仮想画像処理結果が受信される。また、ユーザ２の電子装置は、有線又はワイヤレスで多機能ＡＲ双方向装置１のデータを受信可能である。ユーザ２の電子装置は、例えば、スマートフォン、タブレットＰＣ、携帯情報端末（ＰＤＡ）、ネットワーク接続機能を有するカメラ又はビデオカメラ、ウェアラブル装置、スマート家電又はノートパソコンである（ただし、これらに限らない）。また、多機能ＡＲ双方向装置１のデータをクラウドサーバ１８に送信してもよい。ユーザ２の電子装置はモバイルアプリケーション（Mobile application，APPと略称）をダウンロード及びインストール可能な電子装置とし、アプリケーションから多機能ＡＲ双方向装置１の撮影データをダウンロードする。

ユーザ２の電子装置がスマートフォンの場合を例示して説明すると、３Ｇ又は４Ｇモバイル通信技術やＷｉ－Ｆｉ等のワイヤレス通信方式が用いられ、ネットワークを介してサーバとの通信接続が行われる。

また、一実施形態では、多機能ＡＲ双方向装置１は、更に、管理モジュール１１から送信された仮想画像処理結果を受信して仮想画像処理結果のバックアップとして使用するか、ユーザ２がインターネット経由でダウンロードすることで使用可能とするクラウドサーバ１８を含む。

このほか、一実施形態では、管理モジュール１１は、更に、表示モジュール１３にバーコード（例えば、QR code）を表示させる。これにより、例えば携帯電話といったユーザ２の電子装置がバーコードをスキャンすると、前記クラウドサーバ１８から仮想画像処理結果がダウンロードされる。

別の実施形態では、ユーザ２が電子装置により表示モジュール１３に表示されたバーコード（例えば、QR code）をスキャンする時、前記管理モジュール１１は、電子装置を前述のＡＲインタラクションの制御器又は識別子として設定することができる。前述のバーコードは、表示装置２で表示してユーザ２がその電子装置によりスキャンすることができ、またユーザ２の電子装置で表示して多機能ＡＲ双方向装置１でスキャンすることもできる。例えば、ユーザ２が電子装置により表示モジュール１３に表示されたバーコードをスキャンする時、ユーザ２の電子装置（スマートフォンなど）は、ＡＲインタダクションに仮想の宝刀又は魔法のファイヤボールを表示することができ、ユーザが電子装置をスイングして、ＡＲインタラクション内では、仮想の宝刀をスイングすることができ、又は、ユーザが口を開ける時、魔法のファイヤボールが自動で投げられるようにすることができる。例えば、ユーザ２が電子装置により表示モジュール１３に表示されたバーコードをスキャンする時、ユーザ２の電子装置は、自動的に操作インターフェイスに接続し、操作インターフェイス上で複数のオプションを表示してユーザ２に選択して実行させ、例えば、操作インターフェイスに、カメラキー、顔を変えるエフェクトキー、アニメーションキー又はフィルタキーなどの機能キーを有し、対応する機能を実行することができ、これにより、ユーザ２は、電子装置を介して多機能ＡＲ双方向装置１を操作し、写真撮影、顔変更、アニメーションの追加又はフィルタリングなどの各種異なる機能を実行することができる。ユーザ２が電子装置により表示モジュール１３に表示されたバーコードをスキャンする時、ユーザ２の電子装置は、クラウドサーバ１８にリクエストを送信し、クラウドサーバ１８は、ユーザ２の電子装置を、操作ガイダンス情報を含むガイドページにインポートする。次に、クラウドサーバ１８は、ユーザ２の電子装置にタグを付け、ユーザ２によってスキャンされた多機能ＡＲ双方向装置１の番号を識別して、その設置エリア及び位置を認識する。次に、クラウドサーバ１８は、ユーザ２の電子装置及と多機能ＡＲ双方向装置１との間にデータ交換リンクを確立し、このようにして、上記の操作インターフェイスを生成してユーザ２にその電子装置を介して操作を行わせ、各種異なる機能を実行させることができる。

多機能ＡＲ双方向装置１は、更に、管理モジュール１１に電気的に接続される集金モジュール１９を備え、集金モジュール１９は、ユーザ２が操作モジュール１２を操作可能となるよう（又は操作ジェスチャを実行して操作を行わせる）、金銭を受領するために用いられる。集金モジュール１９は、紙幣や硬貨といった物理通貨や、バーチャルマネー形式で金銭を受領する。これにより、例えば、悠遊カード（乗車券電子マネーＩＣカード）やクレジットカード等による消費及び使用がなされる。また、集金モジュール１９は、暗号通貨（ビットコイン、イーサリアム等）で取引を行うか、クレジットカードのポイント、悠遊カードのポイント、販売者割引ポイントによって金銭を受領するか、支払いの割引を与えることもできる。

また、一実施形態において、管理モジュール１１には、更に複数のメディア画像が記憶されており、未使用状態において、管理モジュール１１は表示モジュール１３に複数のメディア画像を表示させる。例えば、システムが空港に設置されている場合、誰も操作していないときには、表示モジュール１３に広告を表示することで商業マーケティングに利用する。また、幾つかの実施形態では、表示モジュール１３はシステムの使用説明画像を表示してもよい。

一実施形態において、多機能ＡＲ双方向装置１は、更に演算モジュール２１を含む。演算モジュール２１は、ユーザ２の生理学的情報、少なくとも１つの仮想状況Ａ１及び少なくとも１つの仮想オブジェクトＡ２の使用率のうちの少なくとも１つを統計して統計データを生成するとともに、管理モジュール１１に送信して記憶する。業界関係者にとって、上記の統計データはシステムの内部データの更新やビジネスコミュニケーションに有用である。統計データには、ユーザ２の性別や、どの仮想状況Ａ１の使用確率が高いか、或いは、どの仮想オブジェクトＡ２の使用確率が高いか等の情報が記載されている。別の実施形態では、演算モジュール２１は、肌の色（人種を判断することに用いることができる）、年齢、性別等のユーザ２のデータを更に収集して、多機能ＡＲ双方向装置１又はその設置エリアに対して顧客グループ分析を行うか、又はその他の各種マーケティング用途に用いることができる。例えば、演算モジュール２１は、ユーザ２のデータを分析し、統計分析により、某エリアに設置した多機能ＡＲ双方向装置１を使用している顧客グループが２０～３０歳の女性であることを認識する。その後、このエリアに設置した全ての多機能ＡＲ双方向装置１は、化粧品のマーケティング効果を実現するために、化粧品の広告等の関連コンテンツを随時表示することができる。

このほか、多機能ＡＲ双方向装置１は、位置決めモジュール２２を更に備えることができる。位置決めモジュール２２は、管理モジュール１１に電気的に接続され、位置情報を検出して位置情報を管理モジュール１１に送信し、管理モジュール１１は、位置情報に基づいて位置情報に対応する仮想オプション及び／又は限定コンテンツを生成し、表示モジュール１３によって仮想オプション及び／又は限定コンテンツを表示する。前述の位置情報は、現在の座標、現在の方向、現在の天候及び空間サイズのうちの１つ以上を含み得る。例えば、多機能ＡＲ双方向装置１が設置された位置の正面に十分なスペースがある場合、多機能ＡＲ双方向装置１は、マリオブラザーズゲームの水道管等の大型の仮想シーンを生成するオプションを提供し、ユーザ２にそれを表示するかどうかを選択させることができ、ユーザ２にＡＲインタラクションにおいて大型ＡＲ仮想シーンを使用させることができる。例えば、多機能ＡＲ双方向装置１が設置されたエリアが大規模な展示会の場合、展示会場の異なる位置にある多機能ＡＲ双方向装置１は、異なる限定コンテンツを提供することができ、例えば、異なる位置にある多機能ＡＲ双方向装置１がそれぞれのスタンプを有し、ユーザ２に収集させ、ギフト品と交換させる機能を提供することができる。例えば、異なる位置にある多機能ＡＲ双方向装置１は、イースターエッグ（隠し要素）効果をオンにする機能を提供することもできる。上記の機能設計により、ユーザ２が展示会全体を訪問するように支援し、マーケティングや宣伝の効果を実現し、一部のユーザが展示会の一部のみを訪問して展示会を離れる可能性を減らすことができる。また、位置決めモジュール２２の機能を統合し、多機能ＡＲ双方向装置１は、ユーザ２に各種異なる追加情報、例えば、エリアパフォーマンスイベントのリマインダー、知りたい商品の情報や各種優待イベント情報等を提供することができ、マーケティング効果をさらに高めることができる。例えば、天候状況が良くない場合（大雨や台風など）、多機能ＡＲ双方向装置１は、最寄りのカフェの場所のプロンプト、最寄りの無料提供傘の傘立ての場所のプロンプト又は大雨の映像を表示し、表示する状況を実際の天候の状況と対応させることができる。例えば、寒流が襲来している場合は、多機能ＡＲ双方向装置１は、天候の変化により暖かくするように注意する旨等の文字を表示することができる。当然ながら、上記は一例に過ぎず、多機能ＡＲ双方向装置１の機能は、様々なニーズに応じて変更することができ、本考案はこれに限定するものではない。

また、多機能ＡＲ双方向装置１は、オンラインサービスを組み合わせて、ユーザ２の電子装置又は他の多機能ＡＲ双方向装置１と相互に組み合わせて使用し、多元化した機能を提供することもできる。例えば、ユーザ２は、その電子装置で写真を撮り、その電子装置を最も近い多機能ＡＲ双方向装置１に接続してプリントアウトしたり、多機能ＡＲ双方向装置１が提供する特殊効果を同時に組み合わせてプリントアウトしたりできる。別の例として、ユーザ２は、定時に指定された画像又は映像を特定のエリアの某一台の多機能ＡＲ双方向装置１に出現させるように設定することができる。また、ユーザ２は、多機能ＡＲ双方向装置１が撮影した写真やビデオを、指定された電子装置にすぐに送信して鑑賞又は保存を行うように設定することもできる。

図１０に示すように、２台の多機能ＡＲ双方向装置１を組み合わせて使用することもできる。例えば、多機能ＡＲ双方向装置１の管理モジュール１１が別の多機能ＡＲ双方向装置１の管理モジュール１１に接続され、オンラインサービスを介して共有画面を生成し、別の多機能ＡＲ双方向装置１の管理モジュール１１と共有画面を共用する。このように、多機能ＡＲ双方向装置１のユーザ２は、別の多機能ＡＲ双方向装置１のユーザ２’と一緒に写真を撮ることができ、多機能ＡＲ双方向装置１にリモート集合写真機能を提供することができる。本実施形態では、ユーザ２は、多機能ＡＲ双方向装置１を介して背景を削除して仮想状況Ａ１を選択し、オンラインサービスを介して共有画像を生成し、ユーザ２は、別の多機能ＡＲ双方向装置１を介して背景を削除し、オンラインサービスを介して共有画像に接続し、同時にそれぞれ異なる仮想オブジェクトＡ２を組み合わせることもでき、これにより、多機能ＡＲ双方向装置１の背景除去機能や特殊効果と連携してリモート集合写真機能を実行することができる。このように、ユーザ２とユーザ２’が異なる場所にいる場合でも、異なる多機能ＡＲ双方向装置１を使用して一緒に写真を撮ることができる（リモート集合写真）。この機能は、スターとファンの交流にも適用することができ、例えば、スターは、コンサートイベントの後にコンサートを鑑賞したファンと一緒に集合写真を撮ったり、別の場所にいる１人以上のファンと別々にラウンジでグループ写真を撮ったりでき、ファンと交流する新しい方法を提供し、ファンとの親近感及び感情を高めることができる。上記の機能により、多機能ＡＲ双方向装置１の娯楽性及び趣向性を大幅に向上させることができる。

要約すると、本考案の実施形態に基づき、上記の複数又は１つの実施形態で提供するＡＲ撮影記録双方向システムによれば、ユーザに対し、より多くの視覚的楽しみやインタラクションの面白さが提供される。ユーザは、自身の好みに応じて仮想オブジェクトを装着したり、仮想オブジェクトとインタラクションしたりし、且つ、撮影記録した画像を出力したり、各種異なる拡張機能を実行したりすることができ、多機能ＡＲ双方向装置は、広い運用の余地を有し且つ極めて高い商業価値を有する。

本考案の実施形態に基づき、ユーザが操作ジェスチャを実行し、撮像モジュールが操作ジェスチャを検出して少なくとも１つの仮想状況データ及び少なくとも１つの仮想オブジェクトを取得し、ユーザの動的画像を撮影記録すると同時に、ユーザの立体動的情報を検知し、管理モジュールに送信し、管理モジュールにそれに基づいて仮想画像処理結果を構築させ、表示モジュールによって仮想画像処理結果を表示させる。従って、ユーザは、多機能ＡＲ双方向装置に触れることなく多機能ＡＲ双方向装置を操作することができ、使用上より便利であるだけでなく、現在の新型コロナウイルスの状況に対応することもできる。

また、本考案の実施形態に基づき、多機能ＡＲ双方向装置は、ユーザのデータを収集して顧客グループ分析又はその他のマーケティング用途に使用することができるだけでなく、位置決めモジュールを介して異なる位置の多機能ＡＲ双方向装置に異なる限定コンテンツを提供することができ、多機能ＡＲ双方向装置により良好なマーケティング機能及び娯楽効果を提供させることができる。

また、本考案の実施形態に基づき、多機能ＡＲ双方向装置は、ユーザの電子装置又はその他の多機能ＡＲ双方向装置と相互に接続してインタラクティブに使用することができ、リモート集合写真機能又はその他の双方向機能を提供し、多機能ＡＲ双方向装置の機能をより多元化させることができる。

また、本考案の実施形態に基づき、多機能ＡＲ双方向装置の集金モジュールは、実体通貨、仮想通貨、暗号通貨、クレジットカードポイント、乗車券電子マネーＩＣカードポイント、販売者割引カードポイント、ガソリンスタンドのポイント等の方式で金銭を受け取るか、割引を与えて全部又は一部の支払いを行わせることができるため、更に多元な支払い方式を提供し、多機能ＡＲ双方向装置の使用上の利便性を更に向上させることができる。

また、本考案の実施形態に基づき、ユーザは、その電子装置によって多機能ＡＲ双方向装置の表示モジュールに表示されたバーコードをスキャンする時、多機能ＡＲ双方向装置の管理モジュールが電子装置をＡＲインタラクションの制御器に設定することができ、更に面白みのあるＡＲ双方向機能を提供することができる。

上記の説明は単なる例示であり、限定するものではない。本考案の精神及び範疇から逸脱することのなく行われる均等の修正又は変更は、何れも後述の実用新案登録請求の範囲に含まれるべきである。

１ 多機能ＡＲ双方向装置
１０ ホストハウジング
１１ 管理モジュール
１１１ 制御ユニット
１１２ 記憶ユニット
１２ 操作モジュール
１３ 表示モジュール
１４ 撮影記録モジュール
１４１ 検知ユニット
１５ 画像出力モジュール
１６ 照明モジュール
１７ 送信モジュール
１８ クラウドサーバ
１９ 集金モジュール
２０ 画像調整モジュール
２１ 演算モジュール
２２ 位置決めモジュール
２３ 製品製造モジュール
２ ユーザ
２’ ユーザ
Ａ１ 仮想状況
Ａ２ 仮想オブジェクト

Claims (10)

1. 一側に表示モジュール孔及び撮影記録モジュール孔が貫通して形成されたホストハウジングと、
   前記ホストハウジング内に配置され、制御ユニット及び記憶ユニットを含み、前記記憶ユニットは、少なくとも１つの仮想状況データ及び少なくとも１つの仮想オブジェクトの少なくとも一方を格納する管理モジュールと、
   前記ホストハウジング内に配置され且つ前記表示モジュール孔から露出され、前記管理モジュールに電気的に接続される表示モジュールと、
   前記ホストハウジング内に配置され且つ前記撮影記録モジュール孔から露出され、前記管理モジュールに電気的に接続される撮影記録モジュールと、
   を備え、
   前記撮像記録モジュールは、検知ユニットを含み、ユーザが操作ジェスチャを実行し且つ前記撮影記録モジュールが前記操作ジェスチャを検出する時、前記撮影記録モジュールは、前記少なくとも１つの仮想状況データ及び前記少なくとも１つの仮想オブジェクトを取得し、前記ユーザの動的画像を記録し、前記検知ユニットは、前記ユーザの立体動的情報を検知し、前記管理モジュールに送信し、
   前記管理モジュールは、前記立体動的情報を受信し、前記ユーザが検索した前記少なくとも１つの仮想状況データ及び前記少なくとも１つの仮想オブジェクトを同期して照合して前記動的画像に装着又は対応させ、仮想画像処理結果を構築し、表示モジュールに仮想画像処理結果を表示させることを特徴とする多機能ＡＲ双方向装置。
2. 前記ホストハウジング内に配置され、前記管理モジュールに電気的に接続され、使用者に操作して使用させ、前記少なくとも１つの仮想状況データ及び前記少なくとも１つの仮想オブジェクトを検索させる操作モジュールを更に備える請求項１に記載の多機能ＡＲ双方向装置。
3. 前記操作ジェスチャは、ハンドジェスチャ、表情又は動作である請求項１に記載の多機能ＡＲ双方向装置。
4. 前記仮想画像処理結果は、動的仮想画像、静的仮想画像、連続仮想画像、連続仮想動画、文字、文字と画像又は動画との結合、２次元バーコード又は３次元バーコードである請求項１に記載の多機能ＡＲ双方向装置。
5. 前記管理モジュールに電気的に接続され、前記仮想画像処理結果を製品と結合して実体商品を生成する製品製造モジュールを更に含む請求項１に記載の多機能ＡＲ双方向装置。
6. 前記管理モジュールに電気的に接続される位置決めモジュールを更に備え、前記位置決めモジュールは、位置情報を検出し、前記位置情報を前記管理モジュールに送信し、前記管理モジュールは、前記位置情報に基づいて前記位置情報に対応する仮想オプション及び／又は限定コンテンツを生成し、前記表示モジュールによって前記仮想オプション及び／又は前記限定コンテンツを表示する請求項１に記載の多機能ＡＲ双方向装置。
7. 前記位置情報は、現在の座標、現在の方向、現在の天候及び空間の大きさのうちの１つ以上を含む請求項６に記載の多機能ＡＲ双方向装置。
8. 前記管理モジュールは、もう１つの多機能ＡＲ双方向装置の前記管理モジュールに電気的に接続され、共有画面を生成し、前記もう１つの多機能ＡＲ双方向装置の前記管理モジュールと前記共有画面を共用してリモート集合写真機能を提供する請求項１に記載の多機能ＡＲ双方向装置。
9. 前記管理モジュールに電気的に接続される集金モジュールを更に備え、前記集金モジュールは、金銭を受け取り、前記ユーザに前記操作モジュールを操作させ、実体通貨、仮想通貨、複合通貨、クレジットカードポイント、乗車券電子マネーＩＣカードポイント、販売者割引カードポイントの方式で金銭を受け取るか、割引を与える請求項１に記載の多機能ＡＲ双方向装置。
10. 前記ユーザが電子装置により前記表示モジュールのバーコードを表示する時、前記管理モジュールは、前記電子装置をＡＲインタラクションの制御器に設定する請求項１に記載の多機能ＡＲ双方向装置。

Images