JP2024077001A - 拡張現実の画像内でのオブジェクト組み合わせの認識方法 - Google Patents

Abstract

【課題】カメラ及びプロセッサを用いて拡張現実のインタラクションを行う際、画像における少なくとも１つのオブジェクトを認識するための方法を提供する。【解決手段】少なくとも１つのオブジェクトは、内容情報及び演算方向情報を含み、演算方向情報は、検査方向、再検査方向、又はこれらの組み合わせを含む。方法は、第１再検査ステップを含み、第１再検査ステップは、プロセッサによって少なくとも１つのオブジェクトのうちの一方の検査方向及びその隣接する少なくとも１つのオブジェクトのうちのいずれかの一方の再検査方向がペアリング関係を満たすかを検査することを含む。ペアリング関係を満たす場合、プロセッサが少なくとも１つのオブジェクト及び少なくとも１つのオブジェクトのいずれかの一方の内容情報を処理して演算結果を生成する。【選択図】図１

Description

本発明は、拡張現実のインタラクションを行う際、画像内における２つ以上のオブジェクトを安定的に組み合わせる方法に関する。

従来技術

拡張現実技術の進化に伴い、ますます多くのアプリケーションシナリオが開発および利用されている。そのうち、拡張現実カードゲームは新しい形態のインタラクション方法となり、通常、拡張現実機能をサポートするモバイルデバイスを使用してカードのパターンを検出し、それに対応する拡張現実情報を提供する。しかし、従来技術では、モバイルデバイスのカメラが２枚以上のカードパターンの組み合わせを同時に検出する場合、検出が不安定になることがある。

本発明の実施例は、カメラ及びプロセッサを用いて画像における少なくとも１つのオブジェクトを認識する方法を提供し、少なくとも１つのオブジェクトは、内容情報及び演算方向情報を含み、演算方向情報は、検査方向、再検査方向、又はこれらの組み合わせを含む。当該方法は、第１再検査ステップを含み、第１再検査ステップは、プロセッサによって少なくとも１つのオブジェクトのうちの一方の検査方向及びその隣接する少なくとも１つのオブジェクトのうちのいずれかの一方の再検査方向がペアリング関係を満たすかを検査することを含む。ペアリング関係を満たす場合、プロセッサが少なくとも１つのオブジェクト及び少なくとも１つのオブジェクトのいずれかの一方の内容情報を処理して演算結果を生成する。

本発明の実施例は、カメラ及びプロセッサを用いて画像におけるオブジェクトを認識する方法を提供する。オブジェクトのうちのいずれかの一方は、内容情報及び方向情報を含み、方向情報は、第１方向及び第２方向を含む。当該方法は、ステップＡ、ステップＢ、ステップＣ及びステップＤを含み、ステップＡは、オブジェクトのうちの一方の第１方向においてオブジェクトの他方が隣接し、且つオブジェクトの第２方向において他のオブジェクトが隣接していない場合、プロセッサがオブジェクトに対応する集合情報を生成してオブジェクトの内容情報を集合情報に格納する。当該方法は、更に、オブジェクトを参照オブジェクトとして決定することを含む。ステップＢは、参照オブジェクトの第１方向において参照オブジェクト以外のオブジェクトのうちのいずれかの一方が隣接している場合、プロセッサがオブジェクトのうちのいずれかの一方をフォローオブジェクトとして標記し、ステップＣを実行することと、参照オブジェクトの第１方向においてオブジェクトが隣接していない場合、ステップＤを実行することとを含む。ステップＣは、プロセッサがフォローオブジェクトの第２方向において参照オブジェクトが隣接していると判断した場合、プロセッサがフォローオブジェクトの内容情報を集合情報に格納し、フォローオブジェクトを参照オブジェクトとして決定することと、ステップＢを実行することとを含む。ステップＤは、プロセッサが集合情報を処理して演算結果を生成することを含む。

本発明の実施例は、カメラ及びプロセッサを用いて画像における少なくとも１つのオブジェクトを認識するための拡張現実のインタラクション方法を提供する。オブジェクトは、内容情報及び演算方向情報を含む。演算方向情報は、検査方向、再検査方向、又はこれらの組み合わせを含む。インタラクション方法は、ステップＭ、ステップＱ、及びステップRを含む。ステップＭは、内容情報、演算方向情報、又はプロセッサの少なくとも１つのオブジェクトに対する処理演算後の結果を格納するための集合情報を提供することを含む。ステップＱは、プロセッサが認識した画像におけるオブジェクトが複数であり、且つオブジェクトのうちの２つのうちの一方の検査方向において複数のオブジェクトのうちの２つのうちの他方が隣接し、且つオブジェクトのうちの２つのうちの一方の検査方向とオブジェクトのうちの２つのうちの他の再検査方向が互いに逆方向である場合、プロセッサがオブジェクトのうちの２つの内容情報を集合情報に格納することを含む。ステップＲは、プロセッサが集合情報を送信して演算結果を生成することを含む。

本発明の実施例は、本発明の実施例は、カメラ及びプロセッサを用いて画像における少なくとも１つのオブジェクトを認識するための拡張現実のインタラクション方法を提供する。オブジェクトは、内容情報及び演算方向情報を含む。演算方向情報は、検査方向、再検査方向、又はこれらの組み合わせを含む。当該方法は、ステップＰ、ステップＱ'、及びステップＲを含む。ステップＰは、プロセッサが画像における少なくとも１つのオブジェクトの数が１であると認識した場合、プロセッサが少なくとも１つのオブジェクトの内容情報をオブジェクトに対応する集合情報に格納することを含む。ステップＱ'は、
プロセッサが画像における少なくとも１つのオブジェクトの数が複数であると認識し、且つ複数のオブジェクトのうちの２つが互いに隣接し、複数のオブジェクトのうちの２つのうちの一方の検査方向において複数のオブジェクトのうちの２つのうちの他方が隣接し、且つ複数のオブジェクトのうちの２つのうちの一方の検査方向と複数のオブジェクトのうちの２つのうちの他方の再検査方向が互いに逆方向である場合、プロセッサが複数のオブジェクトのうちの２つの内容情報を集合情報に格納することを含み、ステップＲは、プロセッサが集合情報を送信して演算結果を生成することを含む

以下図面を参照して本発明の実施例を説明する。なお、当該技術分野の標準的な慣行に従って、多くの特徴について比例に表示されず、単に説明のための例示である。また、本開示の特徴を明確に示すために、要素の寸法を任意に拡大または縮小する場合がある。
本発明の一実施例の方法のフローチャートである。 方法のフローチャートである。 実際の利用方法の概念図である。 本発明の一実施例に係る様々な隣接するオブジェクトの概念図である。 本発明の実施例いくつかのオブジェクトの配列エラー時の概念図である。 本発明の実施例いくつかのオブジェクトの配列エラー時の概念図である。 本発明の一実施例のオブジェクトの配置時の３Ｄ画像の概念図である。 使用者と３Ｄオブジェクトがインタラクションを行う概念図である。 本発明の実施例のいくつかのオブジェクト配列時の概念図である。 本発明の実施例のいくつかのオブジェクト配列時の概念図である。 本発明の一実施例の多角形オブジェクトの概念図である。 本発明の一実施例の方法の概念図である。 本発明の一実施例の方法の概念図である。 本発明の一実施例による方法を利用した一例の概念図である。 本発明の他の実施例による方法を利用した一例の概念図である。 本発明の他の実施例による方法を利用した一例の概念図である。 武器カード又はエネルギーカードをキャラクタカードに装備する時の概念図である。 本発明の一実施例の方法のフローチャートである。

以下、多くの実施形態又は実施例を示して互いに異なる特徴について説明する。以下に述べる具体的な素子及びその配列に関する実施例は、本発明を説明するためのものである。なお、これらの実施例は、例示のためのものであり、本発明の範囲を限定するためのものではない。更に、異なる実施例において、重複する符号及び表記する使用する場合があるが、これらの重複は、本発明を簡単且つ明確に述べるためのものであり、説明される異なる実施例及び／又は構造間の特定関係を表すためのものではない。

上記の２枚以上のカードパターンの組み合わせを同時に検出する時に不安定になるという問題を解決するために、本発明の一実施例は、当該問題を解決するための方法１００を提供する。図１は、本発明の一実施例の方法１００のフローチャートである。方法１００は、例えば、撮影装置で撮影した２Ｄのオブジェクトを画像とし、３Ｄで表示装置に表示させる。一実施例において、方法１００は、例えば、教育学習等に用いられる。例えば、革新的な仮想と現実のインタラクションメカニズムを使用することで、教育学習に対する人々のモチベーションを向上させることができる。更に、インタラクション過程及び視覚印象を介して学習の記憶力を深めることができる。この適用範囲は、言語、言葉、ピンイン、自然科学、数学公式、地理等を含んでもよいが、これに限定されない。そして、方法１００を、例えばカードボードゲーム、キャラクタ対戦ゲーム、公共人物のキャラクタ開発等のエンターテイメント等に適用することで、ゲームの仮想キャラクタや公共人物のブランド拡張に貢献し、ブランド価値を向上させることができる。

先ず、ステップ１０１において、オブジェクト（例えば文字カード）を２Ｄの画像に撮影する。ここで、オブジェクトは、例えば、カードであってもよく、又はその他の画像情報を有するオブジェクトであってもよい。一実施例において、様々な撮影装置を使用して撮影してもよい。例えば携帯電話、カメラ、ＡＲメガネ、ＭＲメガネ、タブレット、ノートパソコン等の撮影装置を有するデバイスで撮影してもよい。さらに詳しく説明すると、本発明は、ＡＲＫｉｔまたはＡＲＣｏｒｅをサポートするｉＯＳ／Ａｎｄｒｏｉｄデバイスを使用して実施してもよい。

ステップ１０２において、撮影した２Ｄ画像と作成された３Ｄシーンとを整合する。ステップ１０３において、整合する時に、アルゴリズムにより、撮影した２Ｄ画像を３Ｄシーンにおける座標位置に変換してもよい。例えば、アルゴリズムにより、前記座標の「軸方向」及び「距離」を判断してもよいが、この情報を集合情報と称する。次に、ステップ１０４において、この集合情報の第１結果を表示する。ステップ１０５において、前記集合情報が組み合わせの原則を満たすかを判断する。組み合わせの原則を満たす場合、ステップ１０６において、第２結果を表示する。例えば、対応する３Ｄ資料をモバイル装置のスクリーンに送信してもよい。満たさない場合、ステップ１０４に戻って再度判断する。一実施例において、集合情報は、内容情報、演算方向情報、またはプロセッサのオブジェクトに対する処理演算後の結果等の情報を保存するために使用されてもよい。

以下、実施例を参照しながら方法１００におけるステップ１０５の詳細を説明する。例えば、図２は、方法１１０のフローチャートであり、ステップ１０５の詳細を表す。図３は、実際の利用方法１１０の概念図である。例えば、「Ｃ」、「Ａ」、「Ｒ」文字カードを順次に配列した場合、車両の３Ｄ画像を生成することができる。第３（Ａ）において、Ｃ文字カードを配置し、且つ撮影裝置及びプロセッサを用いて各文字カードの内容情報（例えば、後述する検査方向、再検査方向等）を認識する。次に、図３（Ｂ）において、Ａ文字カードを配置するが、この時、方法１１０はステップ１１１に進み、第１検査ステップを実行して第１検査結果を生成する。一実施例において、第１検査ステップは、プロセッサを用いてＣ文字カードの検査方向においてその他の文字カードが隣接するかを検査することを含む。

一実施例において、検査方向を、文字カードが正しく配置された時の右側と定義してもよいが、これに限らない。一実施例において、検査方向は、英語単語の読み方向、中国語単語の読み方向、キャラクタオブジェクトの裝備スロットの配置位置又はその組み合わせであってもよい。例えば、オブジェクトとオブジェクトとの間に関連性を有する場合、この方法を使用することができる。この方法をボードゲームに適用してもよい。例えば、「キャラクタオブジェクト」がオブジェクトにおいてキャラクタ背部の位置又は方向を示す場合、「バックパックオブジェクト」を装備してもよい。「バックパックオブジェクト」の後側（ｂａｃｋｓｉｄｅ）には、「水筒オブジェクト」を装備してもよい。この例では、キャラクタ及びバックパックの後側方向が検査方向となる。

なお、この時、Ｃ文字カードとＡ文字カードとの距離が十分に近くないため、ステップ１１１において判断された第１検査結果は「いいえ」となり、演算を停止し、演算結果を生成する。例えば、画像表示ステップを実行して表示装置で内容情報を表示する。例えば、ＡＲスクリーン裝置（例えば携帯電話、タブレット、ＡＲメガネ等を含む）を使用してＣ文字カードとＡ文字カードの上にそれぞれ文字「Ｃ」と「Ａ」の３Ｄ画像を形成する。次に、図３（Ｃ）に、更に、Ｒ文字カードを加えるが、この時、Ｒ文字カードとその他の文字カードの距離も十分に近くないため、ステップ１１１の判断結果も「いいえ」となり、同様に、Ｒ文字カードの上に文字「Ｒ」の３Ｄ画像を形成する。本発明の実施例に係る方法１００は、カメラの可視範囲内で１０個以上の画像認識組み合わせを追跡（Ｔｒａｃｋ）することができる。。

次に、図３（Ｄ）において、Ａ、Ｒ文字カードの距離を近づける。この時、ステップ１１１において、Ａ文字カードの検査方向において隣接するＲ文字カードがあるかを判断し、第１検査結果が「はい」となる。この時、方法１１０はステップ１１２に進み、プロセッサは、Ａ文字カードの再検査方向にその他の文字カードが隣接しているかを検査し、第２検査結果を生成する。一実施例において、再検査方向を、文字カードが正しく配置された時の左側に定義してもよいが、これに限らない。この時、Ａ文字カードの左側に、Ｃ文字カードが隣接していないため、第２検査結果は「いいえ」となる。第２検査結果が「はい」である場合、ステップ１１１に戻り、他の文字カードを判断する。例えば、図３（Ｅ）において、Ａ文字から判断を開始する場合、ステップ１１２で、Ａ文字カードの左側にＣ文字カードが隣接していると判断するため、Ｃ文字カードに対して再度ステップ１１１を実行する。

なお、ここで、隣接とは、２つのオブジェクト（文字カード）が必ずしも完全に付着していることを表すものではない。一実施例において、第１再検査ステップが検査を実行する際に許容値を有し、且つオブジェクトが複数のある場合、前記隣接は、オブジェクトの検査方向と他のオブジェクトの再検査方向の、仮想平面または仮想立体空間内でのピッチが許容値内にあることを意味する。一実施例において、許容値は、距離許容値を含んでもよく、前記２つのオブジェクトの距離は、距離許容値内にあってもよい。設定された許容値を超える場合、演算を続行しないため、パフォーマンスリソースを節約することができる。

前記の距離は、隣接する２つのオブジェクトの中心に基づいて計算してもよく、２つのオブジェクト間の最短距離に基づいて計算してもよく、又は２つのオブジェクトにおける予め設定された距離測定基準点に基づいて計算してもよい。一実施例において、前記距離許容値は、０～５ｃｍであってもよく、例えば、複数のオブジェクトのいずれか一方の縁部と複数のオブジェクトの他方との最短距離が５ｃｍ未満であってもよいが、これに限らない。一実施例において、必要に応じて他の距離許容値（例えば、１０ｃｍ未満）を有してもよい。例えば、２つのオブジェクトのうちの一方の内容情報がカードゲームにおける魔法球や護符等である場合、当該護符又は魔法球が表示装置に表示された後、他方のオブジェクトに一定距離「移動」又は「方向付け（Ｏｒｉｅｎｔ）」する。一実施例において、図１６を参照すると、例えば、図１６（Ａ）、（Ｂ）におけるエネルギーカード３０３とキャラクタカード３０１とが組み合わせる場合、エネルギーカードの３Ｄオブジェクトは、キャラクタカードに向かって方向性をもって移動する。また、図１７に示すように、装備カード３０４又はエネルギーカード３０３が距離許容値範囲内にある場合、その３Ｄオブジェクトは、方向性をもってキャラクタカード３０１に向かって移動する。一実施例において、距離許容値が異なる範囲内にある場合、例えば動画等の対応する結果を生成する。例えば、２つのオブジェクトの距離許容値が０～５ｃｍである場合、５～１０ｃｍである場合、１０～１５ｃｍである場合、プロセッサは、それぞれ異なる演算結果を生成し、多様な結果を達成することができる。

一実施例において、前記許容値は、角度許容値を含んでもよく、この時、検査方向と再検査方向とがペアリング関係を満たすということは、前記両者の夾角が角度許容値内にあることを意味する。例えば、角度許容値は、０度～１５度であってもよく、又は８０度～１１０度であってもよいが、これに限らない。他の実施例において、本発明の方法による目的を達成するために、予め任意の角度を設定してもよい。例えば、比較的広い許容値を設定することで、全方向おいて２つのオブジェクト間にペアリング関係を有するようにしてもよい。これにより、使用者に比較的大きい誤りの余地を提供することができる。例えば、複数の距離値を設定することで、２つのオブジェクト間に複数の組み合わせ関係を有するようになる。例えば、２つのオブジェクト間に５～１０ｃｍの距離を有する場合、第１組の結果又は動画を生成することができる。２つのオブジェクト間に０～５ｃｍの距離を有する場合、他の組の異なる結果又は動画を生成することができる。このような設定により、オブジェクト自体に加え、更にオブジェクト間の距離により自由度を増加させ、この方法の多様性を高めることができる。

一実施例において、前記角度は、以下の式によって判断する。
前記距離は、以下の式によって判断する。
即ち、２つのオブジェクトの座標間の関係が分かれば、上記の式（１）、（２）で２枚のカード間の距離及び角度を判断することができる。

例えば、図４は、本発明の一実施例の様々な隣接するオブジェクトの概念図である。図４（Ａ）のＣ、Ａ、Ｒ文字カードは、Ｘ方向において配列され、概ね同じＹ座標を有する。図４（Ｂ）～図４（Ｅ）のＣ、Ａ、Ｒ文字カードもＸ方向において配列されているが、Ｙ座標は全く同じではない。この場合、検査方向は＋Ｘ方向で、再検査方向は－Ｘ方向であってもよいが、これに限らない。即ち、Ｙ方向において、各文字カード間に、使用者が各文字カードを完全に合わせなくても、所望の画像を表示するように、許容値を有してもよい。

なお、第１検査結果が「はい」であり、且つ第２検査結果が「いいえ」である場合、少なくとも１つのオブジェクトのうちの一方の検査方向において少なくとも１つのオブジェクトのうちの他方が隣接しており、且つ前記少なくとも１つのオブジェクトのうちの一方の再検査方向において少なくとも１つのオブジェクトのうちの他方が隣接していない場合、Ａ文字カードが整列されている文字カードのうちの１枚目であることを表すため、この時、Ａ文字カードを「先頭オブジェクト」と定義してもよい。このように、先頭オブジェクトを有する場合、その他のオブジェクトの比較（階層関係）を行うことができる。例えば、英文字を並べ替える場合、先頭オブジェクトの再検査方向には他のオブジェクトがないため、文頭が先頭オブジェクトになる。しかし、一実施例において、上記の条件を満たさなくても、先頭オブジェクトとすることができる。例えば、先頭オブジェクトは、プロセッサによって認識されるキャラクタオブジェクト、建設基地オブジェクト、または他の変更可能なオブジェクトとして、予め設定された内容情報であってもよい。なお、状況によっては、同時に複数組の隣接するカードを有するように、先頭オブジェクトが複数のであってもよい。一実施例において、先頭オブジェクトを文頭オブジェクト、基地オブジェクト、又はキャラクタオブジェクト等と称してもよい。基地オブジェクトは、その周囲に異なる設施オブジェクトを建設してもよく、キャラクタオブジェクトは、身に異なる装備オブジェクト等を搭載してもよい。

なお、ステップ１１１における第１検査結果が「否」である場合、即ち、第１時間に文字カードの右側に他の文字カードがないと判断した場合、後続の判断（例えば、継続して左側に他の文字カードがあるかの検査）を行わないため、プロセッサの作動時間を節約することで、演算効率を高めることができる。また、ステップ１１１において、他のオブジェクト（文字カード）がステップ１１１の要求を満たすかを継続して検査する。

次に、方法１１０はステップ１１３に進む。プロセッサは、文字カードの配置順番に従って第１再検査ステップを実行する。図３（Ｄ）を参照すると、この時、プロセッサは、Ａ文字カードの検査方向及びＲ文字カードの再検査方向がペアリング関係を満たすかを検査する。（システム実行において、前記プロセッサは、Ａ文字カードの右側のカード（即ち、Ｒ）に、Ｒ文字カードの左側のカードがどれであるかを尋ねる。Ｒ文字カードの左側もＡ文字カードであることが確認された場合、これにより、ペアリング関係を形成しているかを確認する）例えば、「ＣＡ」及び「ＡＲ」のような配列を、ペアリング関係を満たすと定義してもよい。他の配列方式（例えば「ＲＣ」、「ＲＡ」等）もペアリング関係を満たすが、データベースにはこのような配置が保存されていないため、比較の結果、データが生成されず、独立したＲ及びＣ文字の画像のみ表示する。この時、Ａ文字カード及びＲ文字カードがペアリング関係を満たすため、プロセッサは、Ａ文字カード及びＲ文字カードの内容情報を処理し、例えばペアリング成功又はペアリング失敗等の演算結果を生成する。図３（Ｄ）におけるＡ文字カード及びＲ文字カードは、ペアリング成功の一例であり、ペアリング失敗の一例は、図６（Ａ）に示すように、文字カードの配置が斜めであるか、又は軸方向位置が異なる場合、ペアリング失敗となる。また、Ａ文字カードを参照オブジェクトと設定し、Ｒ文字カードをフォローオブジェクトと設定する。なお、ペアリング結果がペアリング関係を満たさない場合、プロセッサは、第１再検査ステップの実行を停止する。一実施例において、配置順番は、少なくとも１つのオブジェクトが属する検査方向に従って配置されて配列される順番、少なくとも１つのオブジェクトが先頭オブジェクトが属する検査方向に従って配置されて配列される順番、又はこれらの組み合わせを含んでもよい。

一実施例において、フォローオブジェクトは、その再検査方向において参照オブジェクトに隣接してもよい。一実施例において、先頭オブジェクトは、第１再検査ステップ又は第１検査ステップを実行し始める開始オブジェクトであってもよく、先頭オブジェクトの検査方向は、プロセッサが少なくとも１つのオブジェクトに対して第１再検査ステップ又は第１検査ステップを実行する方向であってもよい。

一実施例において、プロセッサは、前記ペアリング関係を集合情報に格納することで、当該集合情報に基づいて演算結果を生成する。一実施例において、プロセッサは、格納を実行することがないため、作動効率を高めることができる。一実施例において、ペアリング関係を満たせば、プロセッサは、当該オブジェクトの内容情報（ヌル値でもよい）を更新してもよい。一実施例において、内容情報、検査方向、及び再検査方向は、独立して存在してもよい。即ち、いくつかの状況において、オブジェクトは、内容情報を有さなくてもよいが、複数の演算方向情報を有することができる。例えば、建設基地、キャラクタカード等の複数の演算方向情報のみを有するオブジェクトであってもよい。一実施例において、複数の演算方向は、検査領域（例えば、プロセッサの認識画像における仮想平面、仮想三次元空間又はこれらの組み合わせを含むか、又はオブジェクトの仮想三次元空間におけるＸ軸、Ｙ軸、Ｚ軸又はこれらの組み合わせ）を含んでもよく、オブジェクトの検査領域内にいずれのオブジェクトを含む場合、第１再検査ステップを実行する。

次に、ステップ１１４において、プロセッサは、参照オブジェクト（Ａ文字カード）を判定済みオブジェクトに設定し、フォローオブジェクト（Ｒ文字カード）を参照オブジェクトに設定する。その後、ステップ１１５において、この時の参照オブジェクト（Ｒ文字カード）の後方に他の文字カードがあるかを判断する第２検査ステップを実行する。即ち、参照オブジェクト（Ｒ文字カード）の検査方向に他の文字カードがあるかを判断する。図３（Ｄ）の状態の時に、Ｒ文字カードの後方には、他の文字カードがないため、ステップ１１５を通らず、ステップ１１６に進み、方法１１０の操作を終了し、演算後の結果を表示する。一実施例において、Ｒ文字カードが最後の１枚のカードである場合は、参照オブジェクトとならない。その理由は、プロセッサがいずれかのオブジェクトに対して第１検査ステップを行い、その結果が「いいえ」である場合、演算が直接停止され、Ｒ文字カードの第１検査結果が「いいえ」になるためである。そのため、再度ステップ１１３を実行する必要ないため、演算時にかかるパフォーマンスリソースを節約することができる。

しかし、この時、Ａ文字カードとＲ文字カードのみ組み合わせられ、完全な単語をなしていないため、この時の演算後の結果は、依然としてＡ文字カードとＲ文字カードの３Ｄ画像を表示する。

次に、図３（Ｅ）において、更にＣ文字カードを近づける。前記判断のロジックと同様に、ステップ１１１を通過した後、ステップ１１２の終了時、Ｃ文字カードを先頭オブジェクトと判断し、ステップ１１３において、Ａ文字カードをフォローオブジェクトと判断する。次に、ステップ１１４時に、Ｃ文字カードを判定済みオブジェクトに設定し、Ａ文字カードを新たな参照オブジェクトに設定し、Ｒ文字カードを新たなフォローオブジェクトに設定する。この時のＡ文字カードの後方にＲ文字カードがまだあるため、方法１１０のステップ１１５時の演算結果は通過（参照オブジェクトの後方に他のオブジェクトがある）となり、ステップ１１３に戻り、完全な文字列が判断されるまで後続のＡ及びＲ文字カードを判断する。一実施例において、複数のオブジェクト配列がある場合、プロセッサは、最後のオブジェクトが判断される（図３（Ｅ）におけるＲ文字カード）までステップ１１３、１１４、１１５を繰り返して実行してもよい。この時、演算を停止すればよく、前記ステップを繰り返して実行する必要がないので、演算時にかかるパフォーマンスリソースを節約することができる。

次に、図３（Ｆ）～図３（Ｉ）を参照すると、この時のプロセッサは、Ｃ、Ａ、Ｒ文字カードの順番に配列されていると判断しているため、この時の判断結果（方法１００の第２結果） により、元の「Ｃ」、「Ａ」、「Ｒ」の３Ｄ画像が縮小して消えた （図３（Ｆ））、車両の３Ｄ画像（図３（Ｇ）～図３（Ｉ））を表示することで、使用者に当該配列が正しいことを知らせる。その後、図３（Ｊ）において、Ｒ文字カードを遠ざけ、方法１１０により、「Ｃ」「Ａ」が配列方式を満たすと判断されるが、プロセッサが当該配列の単語を認識するこいとができないため、データベースの内容と比較できないため、対応する車両画像が表示されない。しかし、本発明は、これに限らない。例えば、使用者が認識画像におけるいずれかの一方（例えばＣ、Ａ、Ｒ文字カードのいずれかの一方）を取り除いても、プロセッサは、画像における内容情報を認識して表示装置に表示することができる。例えば、Ｒ文字カードを取り除いた場合、Ｃ、Ａ、Ｒ文字カードの上には、車両の立体画像は表示されないが、Ｃ、Ａ、Ｒの３つの文字の立体画像が表示される。なお、この時、使用者は、オブジェクト自身の情報及びオブジェクトに対応する画像を同時に確認することができる。これにより、使用者は、補助画像を使って学習することができる。

方法１１０において、１つのステップで１つのオブジェクト（文字カード）のみを判断しているため、各オブジェクトのデータを個別に演算することで、パフォーマンスリソースを節約し、表示機能に影響することを回避することができる。

一実施例において、前記内容情報は、モデル情報、立体モデル情報、キャラクタモデル情報、音声情報、デジタルメディア情報、文字（Ｃｈａｒａｃｔｅｒ）情報、内容認識情報、認証情報、仮想オブジェクト情報、暗号化情報、インタラクション命令情報、又はこれらの組み合わせを含んでもよい。一実施例において、前記内容情報もヌル値であってもよい。一実施例において、内容情報は、使用者とオブジェクトがインタラクションを行うためのインタラクションオブジェクトを含む。例えば、インタラクションオブジェクトは、オブジェクトの表面に印刷されてもよい。例えば、ボードゲームのキャラクタ図にインタラクションオブジェクトを印刷することで、操作する時に、インタラクションオブジェクトを、指で精確に押したりインタラクションしたりする部分とすることができるとともに、特定領域を遮蔽したり、画像認識の効果を実現したりすることもできる。例えば、オブジェクトにおける画像デザインにより、インタラクションを行う方法を実現することができ、キャラクタオブジェクトにおいて特定領域を設定し、使用者が画像を遮蔽する特定領域により、プロセッサが新たな検査画像を判断して、新たな組み合わせのゲームプレイを実現することができる。

一実施例において、前記プロセッサは、汎用プロセッサ、チップマルチプロセッサ（ｃｈｉｐ ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ、ＣＭＰ）、専用プロセッサ（ｄｅｄｉｃａｔｅｄ ｐｒｏｃｅｓｓｏｒ）、組み込みプロセッサ（ｅｍｂｅｄｄｅｄ ｐｒｏｃｅｓｓｏｒ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ，ＤＳＰ）、ネットワークプロセッサ、入力／出力（ｉｎｐｕｔ／ｏｕｔｐｕｔ，Ｉ／Ｏ）プロセッサ、メディア アクセス制御（ｍｅｄｉａ ａｃｃｅｓｓ ｃｏｎｔｒｏｌ，ＭＡＣ）プロセッサ、無線ベースバンドプロセッサ（ｒａｄｉｏ ｂａｓｅｂａｎｄ ｐｒｏｃｅｓｓｏｒ）、コプロセッサー（ｃｏ－ｐｒｏｃｅｓｓｏｒ）、複合命令セット コンピュータ（ｃｏｍｐｌｅｘ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ，ＣＩＳＣ） マイクロプロセッサ、縮小命令セットコンピューティング（ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｉｎｇ，ＲＩＳＣ） マイクロプロセッサ、及び／又は超長命（ｖｅｒｙ ｌｏｎｇ ｉｎｓｔｒｕｃｔｉｏｎ ｗｏｒｄ，ＶＬＩＷ） マイクロプロセッサ又はその他のプロセッシングデバイスのマイクロプロセッサ等を含んでもよい。プロセッサは、更にコントローラ、マイクロコントローラ、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ，ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ，ＦＰＧＡ）、プログラマブルロジックデバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）等を含んでもよい。

図５は、本発明の実施例のいくつかのオブジェクト配列エラー時の概念図である。図５（Ａ）～図５（Ｃ）に示すように、Ｃ、Ａ、Ｒ文字カードがＸ方向に配列されているが、その配列順番はＣＡＲではない。即ち、その階層順番が対応するデータベースのデータと一致しない。このような状況では、ステップ１１４時の判断結果が「いいえ」となる。従って、図５（Ｄ）～図５（Ｆ）に示すように、三者の文字カードを近づけても、Ｃ、Ａ、Ｒ三者の３Ｄ文字画像を表示するだけになり、車両は表示されない。

図６は、本発明の実施例のいくつかのオブジェクト配列エラー時の概念図である。このような状況では、文字カードの方向が前記ルールを完全に満たしていない。例えば、検査方向を文字カードの＋Ｘ方向にと定義し、再検査方向を文字カードの－Ｘ方向と定義する。図６（Ａ）に示すように、Ｃ文字カードの検査方向においてＡ文字カードが見つかるが、Ａ文字カードの再検査方向においてはＣ文字カードが見つからない。そのかわりに、Ａ文字カードの再検査方向（－Ｘ方向）においてＲ文字カードがあり、即ち、２つのオブジェクトがペアリング関係を満たさない。この時、ステップ１１３の結果は「いいえ」となる。また、図６（Ｂ）に示すように、Ｃ文字カードの検査方向にはいずれの文字カードもない。Ａ文字カードの検査方向には、Ｃ文字カードがあるが、Ｃ文字カードの再検査方向にはいずれの文字カードもないため、ペアリング関係を満たさない。この時、ステップ１１１の結果も「いいえ」となる。従って、図６（Ｃ）～図６（Ｅ）に示すように、三者の文字カードを近づけても、Ｃ、Ａ、Ｒ三者の３Ｄ文字画像を表示するだけになり、車両は表示されない。

一実施例において、３Ｄ文字画像を表示す時に回転することで、使用者が配置位置が正しいかを判断してもよい。例えば、本発明の一実施例のオブジェクトの配置時の３Ｄ画像の概念図である。図７（Ａ）～図７（Ｅ）に示すように、その配置位置が正しいため、動画表示の開始点及び終了点では、正しい「Ｒ」文字を確認することができる。また、図７（Ｆ）～図７（Ｊ）及び図７（Ｋ）～図７（Ｏ）に示すように、２つのこのような状況でのＲ文字カードの配置方向が使用者に正確に向いていないため、動画表示の開始点及び終了点では、正しい「Ｒ」文字を確認することができない。そのため、使用者が正しい配置の向きを判断する時に有利になる。

一実施例において、使用者は、ジェスチャーで３Ｄオブジェクトとインタラクションを行うことができる。前記ジェスチャーは、オブジェクトをカバー、回転、クリック、ダブルクリック、マルチタッチ、移動、タップすることを含んでもよい。スクリーンに３Ｄオブジェクトインタラクションが表示される時、クリック、ダブルクリック、マルチタッチ（回転を含む）、移動等の操作を含む。インタラクション時に、プロセッサは、当該オブジェクトの内容情報を更新してもよい。例えば、使用者と３Ｄオブジェクトがインタラクションを行う概念図である。図８（Ａ）に示すように、ジェスチャーで車両のドアを開けることができる。なお、ここでは表示装置としてタブレットコンピュータを用いているが、本発明はこれに限定されない。例えば、携帯電話、ＡＲメガネ、ラップトップ、スクリーン、テレビ等の他のＡＲＫｉｔまたはＡＲＣｏｒｅをサポートするｉＯＳ／Ａｎｄｒｏｉｄ表示装置を使用してもよい。図８（Ｂ）において、車両のライトを点灯できる。図８（Ｃ）、図８（Ｄ）において、車両の色を変更することができる。これにより、使用者がオブジェクトを操作できるようになる。

上記の実施例では、Ｃ、Ａ、Ｒ文字カードの三者を順番に従って配列して車両の画像を形成したが、本発明は、これに限定されない。例えば、図９は、本発明の実施例のいくつかのオブジェクトの配列時の概念図である。図９（Ａ）～図９（Ｆ）に示すように、Ａ、Ｒ、Ｃ文字カードの三者が順番に従って配列され、これにより「ＡＲＣ」（弧）の単語が生成され、弧の３Ｄ動画を表示することができる。

一実施例において、追加のカードを追加してもよい。例えば、図１０は、本発明の実施例のいくつかのオブジェクト配列時の概念図である。図１０（Ａ）～図１０（Ｄ）に示すように、追加でＤ文字カードを加え、Ｃ文字カードと単語「ＣＤ」を形成してもよい。図１０（Ｅ）～図１０（J ）に示すように、追加で∨、Ｎ文字カードを加え、Ａ文字カードと単語「ＶＡＮ」を形成してもよい。これにより、使用者により多い組み合わせオプションを提供することができる。

なお、上記の実施例は、文字を有する矩形のカードを例示したが、本発明はこれに限定されない。例えば、いずれの多角形のオブジェクトに適用してもよい。図１１は、本発明一実施例の多角形オブジェクト２００の概念図であり、ここでは、五角形を例として挙げる。一実施例において、多角形オブジェクト２００の検査方向は、検査ベクターを含んでもよく、再検査方向は、予め設定された再検査ベクターを含んでもよい。なお、前記検査ベクター及び再検査ベクターは、ペアリング関係、検査ステップ、又は再検査ステップの根拠とするための「方向」及び「大きさ」（ベクターの長さ）の情報を含んでもよい。また、複数のオブジェクトに仮想座標を付与し、複数のオブジェクト間において相対的な位置関係を確立してもよい。ペアリング関係、検査ステップ、又は再検査ステップを判断する根拠としては、例えば、２つのオブジェクトの座標情報の差値に基づいて相対的に距離を計算することで、互いの位置関係を判断してもよい。

図１１に示すように、当該オブジェクトの各辺の垂直方向が検査方向、再検査方向、又はその組み合わせであってもよい。例えば、五角形は、５つの辺２０１、２０２、２０３、２０４、２０５及びそれぞれ各辺２０１、２０２、２０３、２０４、２０５に垂直される５つのベクター２１１、２１２、２１３、２１４、２１５を含んでもよい。更に説明すると、ベクター２１１、２１２、２１３、２１４、２１５で検査方向、再検査方向を表すと、複数のオブジェクトに軸方向の情報を予め設定し、ベクター２１１、２１２、２１３、２１４、２１５で前記検査方向を設定する。これにより、複数の多角形オブジェクト２００が互いに配列される場合、前記方法１００及び方法１１０により配列が予め設定された情報を満たすかを判断する。

一実施例において、前記ペアリング関係は、予め設定された検査閾値を指してもよい。例えば、プロセッサが認識可能な誤差許容値を指してもよい。例えば、検査ベクターと再検査ベクターとの差値がゼロであり、つまり、オブジェクトの検査方向とその隣接する他のオブジェクトの再検査方向が反対である場合、互いに「逆方向」である。即ち、同一の大きさ及び反対する方向を有する。しかし、本発明の方法の使用者（例えば子供）が各オブジェクトを斜めに配置することがあるため、前記差値がちょうどゼロではないことがある。また、システムによって与えられ予め設定された検査閾値（又は許容値と称する）は、本発明の方法の使用者体験をより高める。例えば、前記オブジェクトが十分に近い位置（例えば図４（Ｂ）～図４（Ｅ）の状況時）に配置されると、前記文字カードが互いに隣接していると判断することができる。なお、前記ベクターは、直接オブジェクトにおける複数の軸方向に定義してもよい。これらのベクターを「軸」として定義してもよい。

一実施例において、各オブジェクトの内容情報にそれぞれの検査閾値を有し、且つ互いに異なってもよい。例えば、特定オブジェクトの特定検査方向において、比較広い検査閾値を設定することで、他のオブジェクトを有するより容易に「裝備、取り付け、配置」することができ、ペアリング関係は、プロセッサによって簡単に検査又は再検査することができる。例えば、「建設基地」は、物理的に比較的大きいオブジェクト又はカードであってもよい。また、様々な異なる検査閾値を提供することによって、異なる相対的位置関係で異なる結果が得られる。例えば、２つのオブジェクトが互いに密着又は付着されている場合、プロセッサは、複数の検査閾値のうちの１つを判断することができ、２つのオブジェクトがわずかに離れている場合、プロセッサは、複数の検査閾値のうちの他の１つを判断することができる。一実施例において、検査閾値は、前記オブジェクト（例えば文字カード）のうちのいずれか２つのピッチの数学演算結果、いずれか２つのベクターの数学演算結果、いずれか２つの内容情報の演算結果、またはこれらの組み合わせを含んでもよい。

本発明の他の実施例は、更に、例えば拡張現実のインタラクション方法として、ステップ１０５の詳細を実行するためにも使用可能な方法１２０も提供する。図１２は、本発明の一実施例の方法１２０の概念図である。図１２に示すように、ステップ１２１において、各オブジェクトの配列が第１ルールを満たすかを判断する。一実施例において、第１ルールは、そのうちの１つのオブジェクトの第１方向に他のオブジェクトが隣接し、当該オブジェクトの第２方向にいずれのオブジェクトも隣接していないかを判断することを含んでもよい。例えば、図３（Ｄ）に示すように、この時、第１方向は、文字カードの右側であり、第２方向は、文字カードの左側であってもよい。この時、Ａ文字カードの第１方向にＲ文字カードが隣接し、且つ第２方向に他の文字カードが隣接していない。この時、判断の結果は「はい」となり、方法１２０はステップ１２２に進み、この時、プロセッサは、当該オブジェクトに対応する集合情報を生成し、当該オブジェクトの内容情報を集合情報に格納し、当該オブジェクトを参照オブジェクトとして定義する。即ち、この場合、Ａ文字カードは、参照オブジェクトとして定義される。

一実施例において、内容情報は、相対的位置情報を含み、例えば、複数のオブジェクトの参照オブジェクトに対する複数の方向情報を含む。一実施例において、内容情報は、文字（Ｃｈａｒａｃｔｅｒ）情報、内容認識情報、認証情報、仮想オブジェクト情報、暗号化情報、インタラクション命令情報、又はこれらの組み合わせを含んでもよい。一実施例において、集合情報は、オブジェクトの内容情報を含んでもよく、少なくとも１つの文字情報、順序に従った複数の字元情報、予め設定されたキャラクタ及び裝備の組み合わせ情報、又はこれらの組み合わせを含んでもよい。なお、複数のオブジェクトの内容情報は同じであってもよい。例えば、２つのオブジェクトの内容情報は、いずれも文字「Ｂ」であってもよい。

なお、ステップ１２１において、判断されたオブジェクトが第１ルールを満たさない場合（例えば図３（Ｄ）におけるＣ文字カードの右側に他のオブジェクトが隣接していない場合）、他のオブジェクトに対して、参照オブジェクトが見つかるまで、ステップ１２１を実行する。

次に、ステップ１２３において、各オブジェクトの配列が第２ルールを満たすどうかを判断する。一実施例において、第２ルールは、参照オブジェクトの第１方向に参照オブジェクト以外のオブジェクトが隣接しているかを判断することを含んでもよい。 判断結果が「はい」である場合、方法１２０はステップ１２４に進み、プロセッサによって前記参照オブジェクト以外のいずれかのオブジェクトをフォローオブジェクトとして表記する。例えば、図３（Ｄ）の例において、Ａ文字カードの第１方向にＲ文字カードが隣接していると判断した場合、Ｒ文字カードをフォローオブジェクトとして表記する。次に、ステップ１２５において、各オブジェクトの配列が第３ルールを満たすかを判断する。一実施例において、第３ルールは、プロセッサによってフォローオブジェクトの第２方向に当該参照オブジェクトが隣接しているかを判断することを含んでもよい。例えば、図３（Ｄ）におけるＲ文字カードの第２方向に他の文字カードが隣接しているかを判断する。図３（Ｄ）において、Ｒ文字カードの左側がＡ文字カードであるため、この時の判断結果は「はい」になる。 一実施例において、ステップ１２１の実行結果が「はい」である場合、例えば、Ａ文字カードの第１方向にＲ文字カードが隣接している場合、第１ルールを満たし、この時、第ステップ１２２を実行し、Ａ及びＲを集合情報に格納し、ステップ１２３における「第１方向に参照オブジェクト以外のオブジェクトが隣接しているかを判断する」ことを再度実行する必要なく、ステップ１２４を実行してＲ文字カードをフォローオブジェクトとする。

ステップ１２５の判断結果が「はい」である場合、方法１２０は、ステップ１２６に進み、プロセッサは、フォローオブジェクトの内容情報を集合情報に格納し、フォローオブジェクトを参照オブジェクトとして決定し、ステップ１２３に戻る。即ち、この時の参照オブジェクトはＲ文字カードになる。次に、ステップ１２３を実行する。この時の参照オブジェクト（Ｒ文字カード）の第１方向に他のオブジェクトが隣接していないため、ステップ１２３の判断結果は「いいえ」となる。判断結果が「いいえ」である場合、即ち、参照オブジェクトの第１方向にいずれのオブジェクトも隣接していない場合、方法１２０はステップ１２７に進み、プロセッサは、集合情報を処理して演算結果を生成する。生成された演算結果は、プロセッサによる内容データベースとの比較を含んでもよい。集合情報がデータベースにおける内容と対応する場合、演算結果は表示装置に表示される。例えば、図３（Ｄ）において、ＡＲスクリーン裝置（携帯電話、タブレット、ＡＲメガネなどを含む等を含む）にＡ、Ｒ文字カードの３Ｄ画像を表示する。一実施例において、表示装置は、演算結果に基づいて、プロンプト画像、ワード画像、成功のプロンプト画像、エラーのプロンプト画像、失敗のプロンプト画像、キャラクタ動画画像、キャラクタースキル画像、またはそれらの組み合わせを表示してもよい。

同様に、Ｃ、Ａ、Ｒ文字カードの配列が完成されると、図３（Ｅ）～図３（Ｉ）に示すように、同じロジックで前記方法１２０を実行し、最後のステップ１２７で車両の３Ｄ画像を表示してもよい。上記の演算結果は、表示装置に画像、音声、イメージ、出力結果、又はその同様なものを表示するための信号に対応してもよい。

また、ステップ１２５の判断結果が「いいえ」である場合、方法１２０はステップ１２７に進み、表示装置に演算結果に対応する画像を表示してもよい。一実施例において、方法１２０におけるいずれのステップの演算結果が「いいえ」である場合、プロセッサは、参照オブジェクト及び参照オブジェクト以外の他のオブジェクトの内容情報をエラー記録集合に格納してもよい。例えば、単語ＣＡＲＲＹをＣＥＲＲＹにペルミスした場合、プロセッサは、Ｃオブジェクト及びＥオブジェクトの内容情報をエラー記録集合に格納し、使用者エラー部分を確認できるようにする。前記方法１２０は、一度に１つのオブジェクトのみを判定し、ルールを満たさない場合は、判断を終了し、後続の他の演算を行わないため、パフォーマンスリソースを節約することができる。

本発明の実施例は、更に、例えば、拡張現実のインタラクション方法として、ステップ１０５の詳細を実行するためにも使用可能な方法１３０も提供する。図１３は、本発明の一実施例の方法１３０の概念図である。図１３に示すように、ステップ１３１において、内容情報、複数の演算方向情報（例えば複数の検査方向）、又はプロセッサの少なくとも１つのオブジェクトに対する処理演算後の結果を格納するためのオブジェクトの集合情報を提供する。次に、ステップ１３２において、オブジェクトの数を判断する。オブジェクトの数が奇数である場合、ステップ１３３に進み、プロセッサによってオブジェクトの内容情報を当該オブジェクトに対応する集合情報に格納し、ステップ１３４において、プロセッサによって集合情報を送信し、演算結果を生成する。例えば、図３Ａにおいて、Ｃ文字カードが１枚だけの場合、ステップ１３４の演算結果は、Ｃ文字カードの３Ｄ画像を表示する。

ステップ１３２の判断結果が複数オブジェクトである場合、方法１３０はステップ１３５に進み、この時、そのうちの２つオブジェクトが互いに隣接し、且つそのうちの一方のオブジェクトの検査方向に他方のオブジェクトが隣接し、且つ他方のオブジェクトの再検査方向にその他のオブジェクトが隣接していないと判断した場合、プロセッサは、当該オブジェクトを先頭オブジェクトとして標記する。例えば、図３（Ｄ）において、Ａ文字カードを先頭オブジェクトとして標記するか、又は図３（Ｅ）において、Ｃ文字カードを先頭オブジェクトとして標記する。一実施例において、先頭オブジェクトは、文頭オブジェクト、キャラクタオブジェクト、建設基地オブジェクト、又は他の追加、添加、又は付加可能な人物、アイテム、文字、又はイベントであってもよい。

次に、ステップ１３６において、プロセッサによって認識された画像におけるオブジェクトの数が複数であり、且つそのうち一方のオブジェクトの検査方向に他方のオブジェクトが隣接し、且つ当該オブジェクトの検査方向と他方のオブジェクトの再検査方向が互いに逆方向である等の条件である場合、プロセッサは、当該２つのオブジェクトの内容情報を集合情報に格納する。一実施例において、ステップ１３６は、更に、２つのオブジェクト同士が隣接する条件を含んでもよい。これにより、例えば図３（Ｄ）におけるＡ、Ｒ文字カードのように、２つのオブジェクトが隣接し且つ正しく配列されることを確認することができる。

次に、ステップ１３７において、プロセッサは、例えば図３（Ｄ）におけるＡ文字カード又は図３（Ｅ）におけるＣ文字カードのような参照オブジェクトを標記する。参照オブジェクトの検査方向に他のオブジェクトが隣接している場合、プロセッサは、当該他のオブジェクトをフォローオブジェクトとして標記する。その後、参照オブジェクトの検査方向及びフォローオブジェクトの再検査方向が互いに逆方向である場合、プロセッサは、参照オブジェクトの内容情報及びフォローオブジェクトの内容情報を集合情報に確認する。

方法１３０はステップ１３８に進み、プロセッサは、参照オブジェクトを検査済みオブジェクトとして標記し、その後、プロセッサは、フォローオブジェクトを当該参照オブジェクトとして標記し、参照オブジェクトの検査方向に隣接している他のオブジェクトを他のフォローオブジェクトとして標記する。例えば、図３（Ｅ）において、元々Ｃ文字カードが参照オブジェクトであり、Ａ文字カードがフォローオブジェクトである。Ｃ文字カードを検査した後、この時、Ａ文字カードを参照オブジェクトとして改めて標記し、Ｒ文字カードを他のフォローオブジェクトとして標記する。次に、ステップ１３９において、新たな参照オブジェクトの検査方向と新たなフォローオブジェクトの再検査方向が互いに逆方向であるかを判断する。即ち、後続の他のフォローオブジェクトがあるかを判断する。「はい」である場合、プロセッサは、新たな参照オブジェクトの内容情報及び新たなフォローオブジェクトの内容情報を集合情報に格納する。そうでない場合、ステップ１３４を実行してプロセッサによって集合情報を送信することで、演算結果を生成する。上記の方法１３０は、一度に１つのオブジェクトのみを判断し、ルールを満たさない場合は、判断を終了し、後続の他の演算を行わないため、パフォーマンスリソースを節約することができる。

上記の実施形態では、文字カードの配置を例として説明したが、本発明はこれに限定されない。 本発明の方法は、例えばボードゲームにも適用可能である。 例えば、本発明の一実施例による方法を利用した一例の概念図である。

先ず、図１４（Ａ）において、キャラクタカード３０１を配置したが、双剣を装備した女戦士が現れる。次に、図１４（Ｂ）において、キャラクタカード３０１の位置をクリックすると、ボタン３０５が現れる。次に、図１４（Ｃ）において攻撃ボタン３０５をクリックすると、図１４（Ｄ）において、キャラクタは攻撃を開始する。一実施例において、攻撃ボタン３０５現れない場合、後続の装備カード３０２又はエネルギーカード３０３等を装備することができないように設計してもよい。

次に、図１４（Ｅ）～図１４（Ｆ）において、キャラクタカード３０１と武器カード３０２との間の距離が前記検査閾値又は許容値より小さくなるまで、追加の軍刀武器カード３０２をキャラクタカード３０１に近づける。本発明の他の実施例による方法を利用した一例の概念図である。次に、図１５（Ａ）～図１５（Ｂ）において、武器カード３０２の上の武器３Ｄ画像がキャラクタカード３０１の上に移動して組み合わせを完成する。図１５（Ｂ）において、軍刀武器カード３０２上の軍刀３Ｄ画像がキャラクタカード３０１上の３Ｄ画像に装備されると、この時、キャラクタは上記の双剣の代わりに軍刀で攻撃する。その後、図１５（Ｃ）～図１５（Ｄ）において、キャラクタカード３０１が初めて武器カード３０２に組み合わさると、システムは、攻撃ボタンをクリックする必要なく、自動的に図１５（Ｃ）～図１５（Ｄ）における攻撃動画を示す。図１５（Ｇ）及び図１５（Ｈ）において、攻撃ボタン３０５を再度クリックすると、キャラクタは軍刀で再度攻撃する。このような状況において、キャラクタカード３０１は、例えば、前記方法での先頭オブジェクトであってもよく、武器カード３０２は、前記方法でのフォローオブジェクトであってもよい。次に、図１５（Ｅ）及び図１５（Ｆ）において、前記方法では各オブジェクトの内容情報を更新することができるため、この時のキャラクタカード３０１の武器は軍刀に更新されるため、武器カード３０２を取り除いても、武器が双剣に戻らない。

図１６は、本発明の他の実施例による方法を利用した一例の概念図である。図１６（Ａ）に示すように、エネルギーカード３０３をキャラクタカード３０１に近づけると、図１６（Ｂ）～図１６（Ｄ）に示すように、エネルギーカード３０３上の３Ｄ画像がキャラクタカード３０１に移動するようにしてもよい。例えば、エネルギーカード３０３からキャラクタカード３０１に向かう方向３０６に移動するようにしてもよい。次に、図１６（Ｅ）に示すように、キャラクタの攻撃方法は、それにより変化してもよい。図１５の実施例において、武器カード３０２を取り除いた後、キャラクタカード３０１の攻撃方法は、武器カード３０２を取り除いても変化しない。即ち、内容情報は、武器カード３０２が取り除かれても再度更新されることはないが、本発明はこれに限定されない。例えば、図１６（Ｆ）及び図１６（Ｇ）に示すように、エネルギーカード３０３を取り除いた後、キャラクタの攻撃方法は以前の攻撃方法に戻る。これにより、設計者により大きな設計の柔軟性を提供することができる。一実施例において、上記の武器カード３０２、エネルギーカード３０３は、特定の順番なく、いずれもキャラクタカード３０１に直接装備されてもよい。一実施例において、キャラクタカード３０１に武器カード３０２を装備しないと、エネルギーカード３０３を追加又は使用することができない。即ち、各オブジェクトは、特定の組み合わせの順番を有してもよい。

一実施例において、武器カード３０２又はエネルギーカード３０３の上の３Ｄ画像がキャラクタカード３０１の上に移動していない場合、武器カード３０２又はエネルギーカード３０３が再度検出範囲に移動するまで、３Ｄ画像の移動を停止してもよい。一実施例において、各カードの内容情報を初期の内容情報に戻すための命令を提供してもよい。例えば、ジェスチャーで制御することで、武器カード３０２、エネルギーカード３０３を回収してもよい。一実施例において、同時に複数枚の武器カード３０２、エネルギーカード３０３を装備してもよい。

図１７は、武器カード３０２又はエネルギーカード３０３をキャラクタカード３０１に装備する時の概念図である。武器カード３０２又はエネルギーカード３０３のうちの少なくとも一部がキャラクタカード３０１の検出範囲３０４内に入った場合、キャラクタカード３０１と武器カード３０２（或エネルギーカード３０３）との間の距離が前記検査の閾値又は許容値よりも小さいと判断され、後続の判断を継続してもよい。

図１８は、本発明の一実施例の方法４００のフローチャートである。方法４００は、例えば、前記実施例のキャラクタカード３０１、武器カード３０２、エネルギーカード３０３の組み合わせ関係を判断するためのものである。先ず、ステップ４０１において、オブジェクト（例えばキャラクタカード３０１、武器カード３０２、エネルギーカード３０３）を２Ｄの画像に撮影する。ここでのオブジェクトは、例えば、カードであるか、又は他の画像情報を有するオブジェクトであってもよい。一実施例において、携帯電話、カメラ、ＡＲグラス、ＭＲグラス、タブレット、ラップトップ等のＡＲＫｉｔまたはＡＲＣｏｒｅをサポートするＩＯＳ／Ａｎｄｒｏｉｄ撮影装置を備えるデバイスなど、様々な撮影裝置で撮影してもよい。

ステップ４０２において、撮影した２Ｄ画像と作成された３Ｄシーンを整合する。ステップ４０３において、整合時、アルゴリズムにより、撮影した２Ｄ画像を３Ｄシーンにおける座標位置に変換してもよい。例えば、アルゴリズムにより、上記座標の「軸方向」及び「距離」を判断し、当該情報を集合情報としてもよい。

ステップ４０４において、プロセッサは、使用者が攻撃命令をオンにしたかを判断してもよい。使用者が攻撃命令をオンにすると、ステップ４０５において使用者が攻撃命令を実行したかを判断する。使用者が攻撃命令をオンにしていないか、又は攻撃命令を実行していない場合、ステップ４０４又はステップ４０５はステップ４０６に進み、この時、武器カード３０２を提供しても、キャラクタカード３０１及び武器カード３０２は組み合わされない。

ステップ４０５において、使用者が攻撃命令を実行したと判断されると、ステップ４０７において、キャラクタカード３０１のデータが更新され、例えば、キャラクタが攻撃を行う。次に、ステップ４０８において、武器カード３０２を加える。ステップ４０９において、武器カード３０２とキャラクタカード３０１との距離が検出範囲３０４に入ったかを判断する。「はい」である場合、ステップ４１０に進み、キャラクタカード３０１のデータが更新される。例えば、キャラクタに新たな武器が装備される。ステップ４０９において「いいえ」と判断された場合、回到ステップ４０６に戻り、キャラクタカード３０１と武器カード３０２との組み合わせが発生しない。

次に、ステップ４１１において、エネルギーカード３０３を加える。その後、ステップ４１２において、キャラクタカード３０１とエネルギーカード３０３との距離が上記の検出範囲３０４に入ったかを判断する。「はい」である場合、キャラクタカード３０１のデータが更新され、例えば、キャラクタカード３０１の攻撃方法が変化し、キャラクタカード３０１とエネルギーカード３０３との距離が上記の検出範囲３０４外になるまで、ステップ４１２を繰り返して実行する。この時、方法４００はステップ４１４に進み、キャラクタカード３０１とエネルギーカード３０３との組み合わせが発生しない。

以上により、本発明の実施例は、様々な拡張現実画像におけるオブジェクトの組み合わせを認識する方法を提供する。カメラ及びプロセッサを用いて画像におけるオブジェクトを認識することができる。これにより、処理時に必要なパフォーマンスリソースを節約することで、同時に２枚以上のカードパターンの組み合わせを検査する時に不安定になるという問題を解決し、例えば、エンターテイメント、教育等の機能も提供することができる。また、本発明の実施例により提供されるインタラクション方法は、各オブジェクトの組み合わせの柔軟性をより高めることができる。

本発明の特定の実施形態および利点を開示したが、関連する技術分野における通常の知識を有する者であれば、本発明の精神および範囲から逸脱することなく、変更、置換および修正を行うことができることを理解されたい。 また、本発明の保護範囲は、本明細書の特定の実施形態に記載されたプロセス、機械、製造、材料組成、装置、方法及び手順に限定されるものではなく、当該技術分野における通常の知識を有する者であれば誰でも知ることができる。現在、または将来開発されるプロセス、機械、製造、材料組成、装置、方法およびプログラムは、実質的に同じ機能を実行できる限り、あるいは将来開発される限り、本開示に従って使用できることが理解される。本明細書に記載の実施形態では、実質的に同じ結果が得られる。 したがって、本発明の保護範囲には、上述のプロセス、機械、製造、材料組成、装置、方法およびプログラムが含まれる。 また、各特許出願範囲は個別の実施形態を構成しており、各特許出願範囲と実施形態との組み合わせも本発明の保護範囲に含まれる。

１００,１１０,１２０,１３０,４００:方法
１０１,１０２,１０３,１０４,１０５,１０６,１１１,１１２,１１３,１１４,１１５,１１６,１１７,１１８,１２１,１２２,１２３,１２４,１２５,１２６,１３１,１３２,１３３,１３４,１３５,１３６,１３７,１３８,１３９,４０１,４０２,４０３,４０４,４０５,４０６,４０７,４０８,４０９,４１０,４１１,４１２,４１３:ステップ
２００:多角形オブジェクト
２０１,２０２,２０３,２０４,２０５:辺
２１１,２１２,２１３,２１４,２１５:ベクター
３０１:キャラクタカード
３０２:武器カード
３０３:エネルギーカード
３０４:検出範囲

Claims (35)

1. カメラ及びプロセッサを用いて画像における少なくとも１つのオブジェクトを認識するための拡張現実のインタラクション方法であって、
   前記少なくとも１つのオブジェクトは、内容情報及び複数の演算方向情報を含み、
   前記複数の演算方向情報は、検査方向、再検査方向、又はこれらの組み合わせを含み、
   前記方法は、
   前記プロセッサが前記少なくとも１つのオブジェクトのうちの一方の前記検査方向と、当該オブジェクトに隣接する前記少なくとも１つのオブジェクトのうちのいずれかの一方の前記再検査方向とがペアリング関係を満たすかを検査することを含む第１再検査ステップと、
   前記ペアリング関係を満たす場合、前記プロセッサによって前記少なくとも１つのオブジェクトのうちの前記一方及び前記少なくとも１つのオブジェクトのうちの前記いずれかの一方の前記内容情報を処理し、演算結果を生成することと、
   前記少なくとも１つのオブジェクトのうちの前記一方の前記検査方向において前記少なくとも１つのオブジェクトのうちの前記いずれかの一方が隣接し、且つ前記少なくとも１つのオブジェクトのうちの一方の前記再検査方向において前記少なくとも１つのオブジェクトのうちのいずれかの他方が隣接していない場合、前記プロセッサによって前記少なくとも１つのオブジェクトのうちの一方を先頭オブジェクトとすることと、を含む、ことを特徴とするインタラクション方法。
2. 更に、第１検査ステップを含み、前記第１検査ステップは、
   前記プロセッサが前記少なくとも１つのオブジェクトのうちの一方の前記検査方向において前記少なくとも１つのオブジェクトのうちの前記いずれかの一方が隣接しているかを検査して第１検査結果を生成し、
   前記第１検査結果が「はい」である場合、前記プロセッサによって前記少なくとも１つのオブジェクトのうちの一方の前記再検査方向において前記少なくとも１つのオブジェクトのうちのいずれかの他方が隣接しているかを検査して第２検査結果を生成する、ことを特徴とする請求項１に記載のインタラクション方法。
3. 前記第１検査ステップの前記第１検査結果が「いいえ」である場合、前記プロセッサは、前記第１検査ステップを繰り返して前記少なくとも１つのオブジェクトのうちの他方を検査する、ことを特徴とする請求項２に記載のインタラクション方法。
4. 前記プロセッサは、フォローオブジェクトの再検査方向と、前記少なくとも１つのオブジェクトの前記検査方向とが前記ペアリング関係を満たすかを検査してペアリング結果を生成し、前記フォローオブジェクトは、その属する前記再検査方向において前記少なくとも１つのオブジェクトに隣接し、
   前記プロセッサは、前記ペアリング結果を処理し、演算結果を生成する、ことを特徴とする請求項１に記載のインタラクション方法。
5. 前記方法は、更に、前記プロセッサによって前記先頭オブジェクトから前記第１再検査ステップを実行することを含み、
   前記第１再検査ステップは、更に、
   前記プロセッサは、前記ペアリング関係を満たすかを検査した後、ペアリング結果を生成することと、
   前記プロセッサは、前記ペアリング結果を処理して前記演算結果を生成することと、を含む、ことを特徴とする請求項２に記載のインタラクション方法。
6. 前記プロセッサが前記少なくとも１つのオブジェクトのうちの一方の前記第１検査結果が「はい」であり且つ前記第２検査結果が「いいえ」であると判断した場合、前記プロセッサは、前記少なくとも１つのオブジェクトのうちの一方を前記先頭オブジェクトとして処理する、ことを特徴とする請求項５に記載のインタラクション方法。
7. 前記第１再検査ステップは、更に、
   前記プロセッサが配置順番に従って前記少なくとも１つのオブジェクトに対して前記第１再検査ステップを実行することと、
   前記ペアリング結果が前記ペアリング関係を満たさない場合、前記プロセッサは、前記第１再検査ステップを停止することと、を含む、ことを特徴とする請求項４又は５に記載のインタラクション方法。
8. 前記第１再検査ステップは、更に、
   前記プロセッサが配置順番に従って前記少なくとも１つのオブジェクトに対して前記第１再検査ステップを実行することと、
   前記ペアリング結果が前記ペアリング関係を満たさない場合、前記プロセッサが前記第１再検査ステップを停止することと、を含み、
   前記配置順番は、前記少なくとも１つのオブジェクトが属する前記検査方向に従って配置されて配列される順番、前記少なくとも１つのオブジェクトが先頭オブジェクトが属する前記検査方向に従って配置されて配列される順番、又はこれらの組み合わせから選択される、ことを特徴とする請求項５に記載のインタラクション方法。
9. 前記先頭オブジェクトの数は、複数である、ことを特徴とする請求項５に記載のインタラクション方法。
10. 前記先頭オブジェクトは、予め設定された前記内容情報を前記プロセッサによって認識されるキャラクタオブジェクト、建築基地オブジェクト、これらの組み合わせ、もしくは他の追加、添加、又は付加可能な人物、アイテム、文字、又はイベントとして含む、ことを特徴とする請求項５に記載のインタラクション方法。
11. 前記少なくとも１つのオブジェクトの数は、複数であり、
    前記検査方向は、予め設定された検査ベクターを含み、
    前記再検査方向は、予め設定された再検査ベクターを含み、
    前記ペアリング関係は、予め設定されたペアリング関係を含む、ことを特徴とする請求項１に記載のインタラクション方法。
12. 前記複数のオブジェクトは、第１オブジェクト、及び第２オブジェクトを含み、
    前記第１オブジェクトは、第１オブジェクト検査閾値を含み、
    前記第２オブジェクトは、第２オブジェクト検査閾値を含み、
    前記第１オブジェクト検査閾値は、前記第２オブジェクト検査閾値と異なり、
    前記ペアリング関係は、第１ペアリング検査閾値、及び第２ペアリング検査閾値を含み、
    前記拡張現実のインタラクション方法は、更に、
    前記第１オブジェクトと前記第２オブジェクトとの間の距離の数学演算結果、前記第１オブジェクト及び前記第２オブジェクトベクターの数学演算結果、前記第１オブジェクト及び前記第２オブジェクトの前記内容情報の演算結果、又はこれらの組み合わせが前記第１ペアリング検査閾値又は第２ペアリング検査閾値を満たすかを確認することと、
    前記第１ペアリング検査閾値又は前記第２ペアリング検査閾値に基づいて前記演算結果を表示する、ことを特徴とする請求項１１に記載のインタラクション方法。
13. 更に、
    前記プロセッサが前記ペアリング関係を少なくとも１つの集合情報に格納することと、
    前記プロセッサが前記少なくとも１つの集合情報を処理して演算結果を生成することと、を含む、ことを特徴とする請求項１に記載のインタラクション方法。
14. 前記第１再検査ステップは、更に、
    前記少なくとも１つのオブジェクトのうちの一方の検査方向と、前記少なくとも１つのオブジェクトのうちの前記いずれかの一方の前記再検査方向とが前記ペアリング関係を満たす場合、プロセッサが前記少なくとも１つのオブジェクトのうちの一方を参照オブジェクトとして設定し、前記プロセッサが少なくとも１つのオブジェクトのうちの前記いずれかの一方をフォローオブジェクトとして設定することと、
    前記参照オブジェクトの検査方向と、前記フォローオブジェクトの前記再検査方向とが前記ペアリング関係を満たす場合、前記プロセッサが前記参照オブジェクト及び前記フォローオブジェクトの前記内容情報を処理して演算結果を生成することと、
    前記プロセッサが前記参照オブジェクトを判定済みオブジェクトとして設定し、前記フォローオブジェクトを参照オブジェクトの他方として設定することと、
    前記第１再検査ステップの後、前記プロセッサが第２検査ステップを実行し、前記第２検査ステップは、前記参照オブジェクトの前記他方の検査方向において前記少なくとも１つのオブジェクトが隣接している場合、前記少なくとも１つのオブジェクトを前記フォローオブジェクトの他方として設定することを含むこととを含み、
    前記プロセッサは、前記第２検査ステップの結果が「いいえ」になるまで、前記第１再検査ステップ及び第２検査ステップを繰り返して実行する、ことを特徴とする請求項１に記載のインタラクション方法。
15. 前記ペアリング関係を満たす場合、前記プロセッサは、前記少なくとも１つのオブジェクトのうちの一方の前記内容情報を更新する、ことを特徴とする請求項１に記載のインタラクション方法。
16. 使用者が前記認識画像における前記少なくとも１つのオブジェクトのうちの前記いずれかの一方を取り除いた場合、前記プロセッサは、前記少なくとも１つのオブジェクトのうちの一方の前記内容情報を読み取り、表示装置に表示する、ことを特徴とする請求項１５に記載のインタラクション方法。
17. 更に、画像表示ステップを含み、
    前記プロセッサが認識画像における少なくとも１つのオブジェクトの前記内容情報を認識し、表示装置に前記内容情報を表示し、
    前記内容情報は、ヌル値を含むか、又はモデル情報、立体モデル情報、キャラクタモデル情報、音声情報、デジタルメディア情報、文字情報、内容認識情報、認証情報、仮想オブジェクト情報、暗号化情報、インタラクション命令情報、又はこれらの組み合わせを含む、ことを特徴とする請求項１に記載のインタラクション方法。
18. 前記内容情報は、使用者と前記少なくとも１つのオブジェクトがインタラクションを行うためのインタラクションオブジェクトを含み、
    前記インタラクションオブジェクトは、前記少なくとも１つのオブジェクトの表面に印刷され、
    前記使用者は、ジェスチャーで前記少なくとも１つのオブジェクトとインタラクションを行い、
    前記プロセッサは、前記少なくとも１つのオブジェクトの前記内容情報を更新する、ことを特徴とする請求項１に記載のインタラクション方法。
19. 前記複数の演算方向情報は、検査領域を含み、
    前記方法は、更に、前記少なくとも１つのオブジェクトのうちの一方の前記検査領域内に前記少なくとも１つのオブジェクトのうちの前記いずれかの一方が含まれる場合、前記第１再検査ステップを実行することを含む、請求項１に記載のインタラクション方法。
20. 前記検査領域は、プロセッサの認識画像における仮想平面、仮想立体空間、又はこれらの組み合わせを含み、且つ複数の演算方向情報は、前記少なくとも１つのオブジェクトの仮想平面、仮想立体空間、又はこれらの組み合わせにおけるＸ軸、Ｙ軸、Ｚ軸、又はこれらの組み合わせを含む、ことを特徴とする請求項１９に記載のインタラクション方法。
21. 前記第１再検査ステップの検査時に許容値を有し、
    前記少なくとも１つのオブジェクトが複数のオブジェクトである場合、前記隣接は、前記少なくとも１つのオブジェクトのうちの一方的前記検査方向及び前記少なくとも１つのオブジェクトのうちの前記いずれかの一方の前記再検査方向の仮想平面又は仮想立体空間におけるピッチが前記許容値内であることを指す、ことを特徴とする請求項２に記載のインタラクション方法。
22. 前記許容値は、距離許容値、角度許容値を含み、前記少なくとも１つのオブジェクトのうちの一方と前記少なくとも１つのオブジェクトのうちの前記いずれかの一方との距離が前記距離許容値内にあり、
    前記距離許容値は、０～５ｃｍ、５～１０ｃｍ、又は１０～１５ｃｍであり、
    前記角度許容値は、０度～１５度、又は８０度～１１０度である、ことを特徴とする請求項２１に記載のインタラクション方法。
23. カメラ及びプロセッサを用いて画像における複数のオブジェクトを認識するための拡張現実のインタラクション方法であって、
    前記複数のオブジェクトのうちのいずれかの一方は、内容情報及び複数の方向情報を含み、前記複数の方向情報は、第１方向及び第２方向を含み、
    前記方法は、ステップＡ、ステップＢ、ステップＣ及びステップＤを含み、
    前記ステップＡは、
    前記複数のオブジェクトのうちの一方の前記第１方向において前記複数のオブジェクトのうちの他方が隣接し、且つ前記複数のオブジェクトの前記一方の前記第２方向において前記複数のオブジェクトが隣接していない場合、前記プロセッサが前記複数のオブジェクトの前記一方に対応する集合情報を生成し、前記複数のオブジェクトのうちの前記一方の前記内容情報を前記集合情報に格納することと、
    前記複数のオブジェクトのうちの前記一方を参照オブジェクトとして決定することとを含み、
    前記ステップＢは、
    前記参照オブジェクトの前記第１方向において前記参照オブジェクト以外の前記複数のオブジェクトのいずれかの一方が隣接している場合、前記プロセッサが前記複数のオブジェクトの前記いずれかの一方を前記フォローオブジェクトとして標記し、前記ステップＣを実行することと、
    前記参照オブジェクトの前記第１方向において前記複数のオブジェクトが隣接していない場合、前記ステップＤを実行すること、とを含み、
    前記ステップＣは、
    前記プロセッサが前記フォローオブジェクトの前記第２方向において前記参照オブジェクトが隣接していると判断した場合、前記プロセッサが前記フォローオブジェクトの前記内容情報を前記集合情報に格納することと、
    前記フォローオブジェクトを前記参照オブジェクトとして決定することと、
    前記ステップＢを実行すること、とを含み、
    前記ステップＤは、
    前記プロセッサが前記集合情報を処理して演算結果を生成することを含む、ことを特徴とするインタラクション方法。
24. 前記ステップＣは、更に、前記プロセッサが前記フォローオブジェクトの前記第２方向において参照オブジェクトが隣接してないと判断した場合、前記ステップＤを実行することを含む、ことを特徴とする請求項２３に記載のインタラクション方法。
25. 前記内容情報は、更に、相対的位置情報を含み、前記相対的位置情報は、前記複数のオブジェクトの前記参照オブジェクトに対応する前記複数の方向情報を含む、ことを特徴とする請求項２３に記載のインタラクション方法。
26. 更に、表示装置を含み、前記演算結果に基づいて、プロンプト画像、ワード画像、成功のプロンプト画像、エラーのプロンプト画像、失敗のプロンプト画像、キャラクタ動画画像、キャラクタースキル画像、またはそれらの組み合わせを表示し、
    前記ステップＣは、更に、前記プロセッサが前記フォローオブジェクトの前記第２方向において前記参照オブジェクトが隣接していないと判断した場合、前記表示装置に前記演算結果に対応する画像を表示する、ことを特徴とする請求項２３に記載のインタラクション方法。
27. 前記ステップＢにおいて、前記参照オブジェクトの前記第１方向において前記参照オブジェクト以外の前記複数のオブジェクトのうちの前記いずれかの一方が隣接していない場合、前記プロセッサがプロンプト結果を生成して表示装置に表示する、ことを特徴とする請求項２６に記載のインタラクション方法。
28. 前記プロセッサは、前記参照オブジェクト及び前記参照オブジェクト以外の前記複数のオブジェクトのうちの前記いずれかの一方の前記内容情報をエラー記録集合に格納する、ことを特徴とする請求項２７に記載のインタラクション方法。
29. 前記集合情報は、前記複数のオブジェクトのうちの少なくとも一方の前記内容情報と、少なくとも１つの文字情報、順序に従った複数の字元情報、予め設定されたキャラクタ及び裝備の組み合わせ情報、又はこれらの組み合わせとを含み、
    前記複数のオブジェクトのうちの前記一方は、先頭オブジェクト、文頭オブジェクト、基地オブジェクト、又はキャラクタオブジェクトであり、
    前記複数のオブジェクトのうちのいずれかの一方の縁部と前記複数のオブジェクトのうちの他方の最短距離が５ｃｍ未満である場合、前記複数のオブジェクトのうちのいずれかの２つを互いに隣接すると定義する、ことを特徴とする請求項２６に記載のインタラクション方法。
30. カメラ及びプロセッサを用いて画像における少なくとも１つのオブジェクトを認識するための拡張現実のインタラクション方法であって、
    前記オブジェクトは、内容情報及び複数の演算方向情報を含み、
    前記複数の演算方向情報は、検査方向、再検査方向、又はこれらの組み合わせを含み、
    前記インタラクション方法は、ステップＭ、ステップＱ、及びステップＲを含み、
    前記ステップＭは、
    前記内容情報、複数の演算方向情報、又は前記プロセッサの前記少なくとも１つのオブジェクトに対する処理演算後の結果を格納するための集合情報を提供することを含み、
    前記ステップＱは、
    前記プロセッサが認識した画像におけるオブジェクトが複数であり、前記複数のオブジェクトのうちの２つのうちの一方が前記検査方向において前記複数のオブジェクトのうちの前記２つの他方に隣接し、且つ前記複数のオブジェクトの前記２つのうちの前記一方の前記検査方向と前記複数のオブジェクトのうちの前記２つのうちの前記他方の前記再検査方向とが互いに逆方向である場合、
    前記プロセッサは、前記複数のオブジェクトのうちの前記２つの前記内容情報を前記集合情報に格納することを含み、
    前記ステップＲは、
    前記プロセッサが前記集合情報を送信して演算結果を生成することを含む、ことを特徴とするインタラクション方法。
31. 前記検査方向は、英語単語の読み方向、中国語単語の読み方向、キャラクタオブジェクトの裝備スロットの配置位置又はその組み合わせを含み、
    前記複数の方向情報は、更に、複数の検査方向を含む、ことを特徴とする請求項３０記載のインタラクション方法。
32. 前記ステップＱ前に、ステップＸ含み、
    前記ステップＸは、前記複数のオブジェクトの前記２つが互いに隣接し、且つ前記複数のオブジェクトのうちの前記２つのうちの一方の前記検査方向において前記複数のオブジェクトのうちの前記２つのうちの他方が隣接し、前記複数のオブジェクトのうちの前記２つのうちの前記一方の前記再検査方向において前記複数のオブジェクトのうちの他のオブジェクトが隣接していない場合、前記プロセッサは、前記複数のオブジェクトのうちの前記２つのうちの前記一方を先頭オブジェクトとして標記することを含む、ことを特徴とする請求項３０に記載のインタラクション方法。
33. 前記少なくとも１つのオブジェクトの数は、少なくとも２つであり、且つ前記ステップＱの後に、ステップＹを含み、
    前記ステップＹは、
    前記プロセッサが前記複数のオブジェクトのうちの前記２つのうちの前記一方を参照オブジェクトとして標記することと、
    前記参照オブジェクトの前記検査方向において前記複数のオブジェクトのうちの他のオブジェクトが隣接している場合、前記プロセッサが前記複数のオブジェクトのうちの前記他のオブジェクトを少なくとも１つのフォローオブジェクトとして標記することと、
    前記参照オブジェクトの前記検査方向と前記少なくとも１つのフォローオブジェクトの前記再検査方向とが互いに逆方向である場合、前記プロセッサが前記参照オブジェクトの前記内容情報及び少なくとも１つのフォローオブジェクトの前記内容情報を前記集合情報に格納することと、を含む、ことを特徴とする請求項３０に記載のインタラクション方法。
34. 前記ステップＹの後に、更に、少なくとも１つのステップＺを含み、
    前記ステップＺは、
    前記プロセッサが前記参照オブジェクトを検査済みオブジェクトとして標記し、前記プロセッサが前記フォローオブジェクトを前記参照オブジェクトとして標記することと、
    前記プロセッサが前記参照オブジェクトを前記参照オブジェクトの前記検査方向において隣接する前記複数のオブジェクトのうちの他のオブジェクトを前記少なくとも１つのフォローオブジェクトのうちの他方として標記することと、
    前記参照オブジェクトの前記検査方向と前記少なくとも１つのフォローオブジェクトのうちの前記他方の前記再検査方向とが互いに逆方向である場合、前記プロセッサが前記参照オブジェクトの前記内容情報及び前記少なくとも１つのフォローオブジェクトのうちの前記他方の前記内容情報を前記集合情報に格納し、前記ステップＺを再度実行すること、と含む、ことを特徴とする請求項３３に記載のインタラクション方法。
35. カメラ及びプロセッサを用いて画像における少なくとも１つのオブジェクトを認識するための拡張現実のインタラクション方法であって、
    前記オブジェクトは、内容情報及び複数の演算方向情報を含み、
    前記複数の演算方向情報は、検査方向、再検査方向、又はこれらの組み合わせを含み、
    前記方法は、ステップＰ、ステップＱ'、及びステップＲを含み、
    前記ステップＰは、
    前記プロセッサが画像における前記少なくとも１つのオブジェクトの数が１であると認識した場合、
    前記プロセッサが前記少なくとも１つのオブジェクトの前記内容情報を前記オブジェクトに対応する集合情報に格納することを含み、
    前記ステップＱ'は、
    前記プロセッサが画像における前記少なくとも１つのオブジェクトの数が複数であると認識し、且つ前記複数のオブジェクトのうちの２つが互いに隣接し、前記複数のオブジェクトのうちの前記２つのうちの一方の前記検査方向において前記複数のオブジェクトのうちの前記２つのうちの他方が隣接し、且つ前記複数のオブジェクトのうちの前記２つのうちの前記一方の前記検査方向と前記複数のオブジェクトのうちの前記２つのうちの他方の再検査方向が互いに逆方向である場合、
    前記プロセッサが前記複数のオブジェクトのうちの前記２つのオブジェクトの前記内容情報を前記集合情報に格納することを含み、
    前記ステップＲは、
    前記プロセッサが前記集合情報を送信して演算結果を生成することを含む、ことを特徴とするインタラクション。