JP5236055B2 - マーカーを利用した拡張現実（ａｒ）を提供する装置及び方法 - Google Patents

Description

本発明は、マークベースまたはマークベースレスの拡張現実のための装置及び方法に関する。

拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）とは、実際の環境で仮想の事物や情報を合成して、元の環境に存在する事物や情報のように見せるコンピュータグラフィックス技法を言う。

拡張現実は、仮想の空間と事物を対象とする既存の仮想現実（ＶＲ）とは異なって、現実世界に基づいて仮想の事物を合成して、現実世界では容易に得難い付加的な情報等を補強して提供することに特徴がある。拡張現実は、このような特徴のために、単純にゲームのような分野のみに限定された適用が可能な既存の仮想現実とは異なって、多様な現実環境に応用が可能であり、特に、ユビキタス環境に適した次世代ディスプレイ技術として脚光を浴びている。

従来より、拡張現実の具現のために、マークベース（若しくは「マーカーベース」）またはマークレスベースのオブジェクト認識が、通常、用いられていた。マークベースのオブジェクト認識は、付加的な情報がマークの識別子によってスキームの表示に適用できるかどうかを決定する技術にすることができる。マーカーベース認識の拡張現実は、主に広告分野でその利用が広まっていた。広告の重要な要素が消費者の関心の誘発であるだけに、興味と好奇心とをかき立てる拡張現実は、適切な広告媒体によって高い効率を奏する。このような広告媒体としてのマーカーは、一般的に、インターネットを通じてダウンロードされた画像をＡ４用紙または製品のパッケージに印刷して提供される。

しかし、マーカーを消費者に与える従前の方法は、プリントされた画像或いはダウンロードされた画像を与えることに向けられており、拡張現実の実行は利用されていなかった。

本発明は、マーカー、または、その場で必要な機能を代替しうるインスタントマーカー若しくは代替マーカーを用いる拡張現実（ＡＲ）を提供する装置及び方法を提供することを目的とする。

本発明の一態様による拡張現実（ＡＲ）装置は、拡張現実に関係する基本マーカーの画像を獲得する第１イメージ獲得部と、オブジェクトの画像を獲得する第２イメージ獲得部と、基本マーカーの意味単位を分析する意味単位分析部と、前記のオブジェクトの画像から要素を抽出するマーカー要素抽出部と、前記の分析された意味単位で前記の抽出された要素をマッピングして、前記オブジェクトの画像及びマッピングされた要素から成る代替マーカーを生成する代替マーカー生成部と、を含みうる。

また、本発明の一態様による拡張現実（ＡＲ）を提供する方法は、拡張現実に関係する基本マーカーの画像を獲得し、オブジェクトの画像を獲得し、基本マーカーの意味単位を分析し、前記のオブジェクトの画像から意味単位を抽出し、前記の分析された意味単位を前記の抽出された要素でマッピングし、前記オブジェクトの画像及びマッピングされた要素から成る代替マーカーを生成すること、を含みうる。

また、本発明の他の態様による拡張現実（ＡＲ）を付与する方法は、拡張現実に関係する３次元オブジェクトの画像を獲得し、２次元マーカーの意味単位を分析し、前記の3次元マーカーの画像の要素を抽出し、前記の分析された意味単位を前記の抽出された要素にマッピングし、前記の３次元オブジェクトの画像及びマッピングされた要素から成る代替マーカーを生成し、前記の２次元マーカーに対応する拡張現実情報により、前記代替マーカーを表示すること、を含みうる。

以下の全体的な記載及び詳細な説明は本発明の例示的なもの及び説明的なものであって、特許請求の範囲に記載された発明の更なる説明を与えることが意図されている。また、本発明の他の特徴は、後述する詳細な説明、図面及び請求の範囲から明確になるであろう。また、添付した図面は、本発明の更なる理解を与えるためのものであって、本発明の技術的な本質的な思想或いは原理を説明するために、本願の詳細な説明とともに明細書を構成する。

本発明によれば、基本マーカーの代用ができる代替マーカーを生成し、該生成された代替マーカーを用いて拡張現実を具現するために、基本マーカーが無い状況でも、拡張現実を簡便に具現し、基本マーカーがあっても、代替マーカーを活用して拡張された拡張現実を具現することが可能である。

本発明の一実施形態による拡張現実装置を示す概略図である。 本発明の一実施形態による基本マーカー及び該基本マーカーの意味単位を示す図である。 本発明の一実施形態による基本マーカー及び該基本マーカーの意味単位を示す図である。 本発明の一実施形態による代替マーカー及び該代替マーカーのマーカー要素を示す図である。 本発明の一実施形態による代替マーカー及び該代替マーカーのマーカー要素を示す図である。 本発明の一実施形態による基本マーカーとオブジェクトとの間のマッピングの関係を示す図である。 本発明の一実施形態による拡張現実（ＡＲ）を付与する方法を示す図である。 本発明の一実施形態によるマーカー要素の抽出方法を示す図である。 本発明の一実施形態によるユーザインターフェース画面を示す図である。 本発明の一実施形態による複数の基本マーカーを一つのオブジェクトにマッピングする方法を示す図である。 本発明の他の実施形態によって複数の基本マーカーを一つのオブジェクトにマッピングする方法を示す図である。 本発明の更に他の実施形態によって複数の基本マーカーを一つのオブジェクトにマッピングする方法を示す図である。 本発明の一実施形態による立体マーカーを示す図である。 本発明の他の実施形態による立体マーカーを示す図である。

以下、本発明の一実施形態を示す添付図面を参照して本発明をより詳細に説明する。なお、本発明は、種々の他の形態で実施されてもよいものであって、本明細書に記載した実施形態に限定されるものと解釈されてはならない。むしろ、これらの一実施形態は、本開示が当業者に対して徹底され且つ十分に本発明の範囲が伝達されるように提供されるものである。図面において、層及び領域のサイズ並びに相対的なサイズは明瞭化のために誇張して図示されることもある。図中、同じ図面符号は同じ要素を示す。

ここで使用される技術用語は、特定の実施形態を説明する目的のみであって、本願の発明の開示を限定するものでは無い。本願明細書に記載されるように、単数形「ａ」及び「ａｎ」、と「ｔｈｅ」は、文脈の前後関係から明らかに他のことを示さない限り、複数形も含むことが意図されている。更に、ａ、ａｎ等の用語は、量の限定を意味するものでは無く、むしろ、その付されたものの少なくとも一つの存在を意味する。更に、「第１」、「第２」等の用語の使用は、特定の順番を示すものでは無く、個々の要素を区別するために付け加えられる。更に、第１、第２等の用語の使用は、何らかの順番や重要性を示すのでは無く、むしろ、１つの要素を他の要素から区別するために使用される。また、本明細書で用いるところでは、用語「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含む（ｃｏｍｐｒｉｓｉｎｇ）」若しくは「包含する（ｉｎｃｌｕｄｅｓ）」及び／又は「を含む（ｉｎｃｌｕｄｉｎｇ）」は、言及された特徴、領域、整数、ステップ、操作、要素、及び／又は成分を具体的に記載する。しかし、これらの用語は、一つ以上の他の特徴、領域、整数、ステップ、操作、要素、成分及び又はその群を排除しない。また、本願の明細書による発明の開示の目的上、「少なくとも各一つ」という用語は、この用語の後に列挙される要素の任意の組み合わせを意味し、列挙された要素の複合的な組み合わせを含む。例えば、「Ｘ、Ｙ及びＺのうち少なくとも一つ」という語句は、Ｘのみ、Ｙのみ、Ｚのみ或いはＸ、Ｙ及びＺから選択された２つ以上の要素の任意の組み合わせ（例えば、ＸＹＺ、ＸＺ、ＹＺ、ＸＹ等）を意味する。

図１は、本発明の一実施形態による拡張現実装置を示す図である。
図１に関して、本実施形態による拡張現実装置１００は、拡張現実と関連したマーカー（ｍａｒｋｅｒ）を撮影し、その撮影されたマーカーの画像上にマーカーによって拡張現実が表示される携帯端末（例えば、スマートフォン）の一部構成になりうる。或いは、本実施形態による拡張現実装置１００は、このような携帯端末で駆動される拡張現実アプリケーションの一部構成上に存在しうる。

マーカーが認識されると、そのマーカーに対応する拡張現実を実現する時、任意のオブジェクトに基づいて元のマーカーの代用として機能する代替マーカーまたはインスタントマーカーを生成することができる。後に、拡張現実は、該生成された代替マーカーまたはインスタントマーカーとともに利用され、或いは表示させることができる。例えば、ユーザが、スマートフォンで紙の上に印刷されているマーカーを撮影してプレビュー画面にそれを表示すれば、仮想のアバターがプレビュー画面上のマーカー上で所定の動作を取る拡張現実アプリケーションがあると仮定する。このような場合、本実施形態による拡張現実装置１００によれば、ユーザは、元のマーカーの特徴または意味単位を、任意のオブジェクト（例えば、所持しているクレジットカードまたは名刺など）の特徴またはマーカー要素にマッピングして、そのマッピングされた任意のオブジェクトをマーカーとして使用できる。このように、仮想のアバターがプレビュー画面に表示されたオブジェクト上で所定の動作を取れるように、任意のオブジェクトがプレビュー画面に表示される。

このような拡張現実装置１００は、図示されたように、第１イメージ獲得部１０１、第２イメージ獲得部１０２、意味単位分析部１０３、マーカー要素抽出部１０４、代替マーカー生成部１０５、相関関係保存部１０６、及び表示部１０７を含んで構成することができる。

第１イメージ獲得部１０１は、拡張現実のための基本マーカーの画像を獲得する。本発明の実施形態において、“基本マーカー”とは、紙などに印刷された一般的な２次元マーカーを指称する。基本マーカーの画像は、第１イメージ獲得部１０１が或るオブジェクトの特定部分に表示された基本マーカーを撮影して得られる。あるいは、第１イメージ獲得部１０１が、基本マーカーの画像を別途のサーバからダウンロードするか、若しくは他の端子または装置から前記の画像を受信することも可能である。

第２イメージ獲得部１０２は、オブジェクトの画像を獲得する。前記のオブジェクトは、代替マーカーとして使われる任意の物体とすることができる。例えば、第２イメージ獲得部１０２は、任意のオブジェクトを撮影するカメラモジュールを含んで構成することができる。この画像は、ユーザの命令によって検索或いは読み出すことができる。

意味単位分析部１０３は、第１イメージ獲得部１０１によって獲得された基本マーカーの意味単位を分析する。本発明の実施形態において、“意味単位”は、基本マーカーと拡張現実アプリケーションとの間に約束された意味要素を示すことができる。例えば、基本マーカーの意味単位は、どの拡張現実が、或いは拡張現実がどのようにして、表示されるか、または機能するかについて決定することができる。言い換えれば、拡張現実アプリケーションは、基本マーカーの意味単位からの出力に基づき、特定の方法で情報を表示することを決定する。

前記の意味単位は、基本マーカーの全部または一部において拡張現実情報を定義することができる。例えば、基本マーカーの一部は、拡張現実情報が表示される位置によって定義され、拡張現実情報が表示される方向を定義する部分、または拡張現実情報が表現される動作或いは拡張現情報がどのように表現されるかを定義する部分等になりうる。しかし、これらは、例示に過ぎないものであって、本発明の使用目的及び応用例によって、上記の部分の他にも多様な部分が意味単位と定義されうるということはいうまでもない。

マーカー要素抽出部１０４は、意味単位分析部１０３の出力に対応可能な要素を、第２イメージ獲得部１０２から抽出する。例えば、抽出されるこの要素をマーカー要素と指称することができる。すなわち、“マーカー要素”とは、マーカーの構成要素に相互に関連しえるものであって、他の部分と区別される特徴的な形態、形状、または色相またはこのように他の部分と区別される複数の特徴的な要素間の位置関係または相関関係などになりうる。

一例として、マーカー要素抽出部１０４は、第２イメージ獲得部１０２によって得られたオブジェクトの画像に基づいて、オブジェクトの外形をマーカー要素として抽出することができる。

他の例として、マーカー要素抽出部１０４は、第２イメージ獲得部１０２によって得られた画像の中のオブジェクトの文字または絵を認識し、該認識された文字または絵をマーカー要素として抽出することも可能である。

また他の例として、マーカー要素抽出部１０４は、第２イメージ獲得部１０２によって得られた画像の中のオブジェクトに関連した形態または色相を抽出することも可能である。マーカー要素抽出部１０４は、オブジェクトの画像を多数の格子に分割し、各格子が有するピクセル値の平均を用いて、各格子のグリッド値を計算し、類似するグリッド値を有する格子をグループ化、或いは一つの群にまとめることで、形態要素を抽出することができる。

しかし、マーカー要素を決定するために使用可能な技術は多数ある。このように、ここに開示された技術に加えて、他の技術も同様に使用することができ、使われる特徴的な部分は非常に多様であるので、マーカー要素抽出部１０４がマーカー要素を抽出する方法は、前述した例に限定されるものではない。すなわち、マーカー要素抽出部１０４が、或る部分をマーカー要素として抽出するかは、本発明の使用目的及び応用例によって適切に変更されうるということは当業者に自明である。

代替マーカー生成部１０５は、意味単位分析部１０３の出力をマーカー要素抽出部１０４にマッピングすることによって、代替マーカーを生成する。したがって、本実施形態において、“代替マーカー”とは、基本マーカーに対応し、その基本マーカーの代わりになり得る２次元または３次元オブジェクトを意味する。

代替マーカー生成部１０５が意味単位分析部１０３の出力をマーカー要素抽出部１０４にマッピングした後、相関関係保存部１０６はそのマッピング関係または相関関係を保存する。例えば、相関関係保存部１０６は、どの意味単位がオブジェクトのどのマーカー要素にマッピングされたかを表わす情報を保存することが可能である。

表示部１０７は、代替マーカーを利用して基本マーカーに基づいて拡張現実が表示されて実行されるように、代替マーカー生成部１０５によって生成された代替マーカーと相関関係保存部１０６に保存された相関関係とを用いて、拡張現実を表示して実現する。例えば、表示部１０７は、前記の代替マーカーを用いて、基本マーカーに関する拡張現実を表示することが可能である。

また、本発明の一実施形態によって、所定の拡張現実は、第１イメージ獲得部１０１で獲得された基本マーカーに基づいて実現され、ユーザによってなされる選択に従い、基本マーカーの代わりにする代替マーカーに基づいて実現されることもできる。代替マーカーを通じて拡張現実が実現される場合、代替マーカーとして使用されるオブジェクトの画像が入力の準備ができているという案内メッセージをユーザに与え、オブジェクトの画像に基本マーカーの画像をマッピングすることによって、代替マーカーを生成することが可能である。したがって、受信した拡張現実情報は、基本マーカーと同様に、生成された代替マーカーまたはインスタントマーカーに基づいている。

図２Ａ及び図２Ｂは、本発明の一実施形態による基本マーカー２０１及び該基本マーカーの意味単位を示す図である。

図２Ａで、基本マーカー２０１は、コンピュータまたは端末によって読取り可能な２次元的なイメージコードである。基本マーカー２０１は、撮影されている写真から抽出されるか、例えば、サービス網を通じてその画像自体がダウンロードされうる。

図２Ｂに示されるように、基本マーカー２０１には、５つの意味単位２１０，２２０，２３０，２４０，２５０が存在する。第１意味単位２１０は、基本マーカー２０１の画像に対応するものであって、その基本マーカー２０１が認識された場合に、拡張現実情報（または、その仮想画像）を実行するかを否かを示す部分である。第２意味単位２２０は、実行される拡張現実情報が複数存在する場合、具体的な拡張現実情報の種類を示す部分である。第３意味単位２３０は、拡張現実情報の表示位置を示す部分である。第４意味単位２４０は、拡張現実情報の表示方向を示す部分である。第５意味単位２５０は、拡張現実情報が関連付けられる動作を決定する部分である。例えば、第５意味単位２５０に対応して特定の動作が行われる場合、仮想の画像が１つの反応（例えば、拡張現実情報の回転、反転、縮小など）をすることが可能である。

図２Ａ及び図２Ｂのように、基本マーカー２０１には、さまざまの意味単位２１０、２２０、２３０、２４０、２５０を表示することが可能であり、それぞれの意味単位は、基本マーカー２０１とこの基本マーカー２０１に対応する拡張現実アプリケーションとの間に既定されている。

図３Ａ及び図３Ｂは、本発明の一実施形態による代替マーカー３０１及び該代替マーカーのマーカー要素を示す図である。

図３Ａに示されるように、代替マーカー３０１は、クレジットカード３０１になりうる。このように、ユーザは、基本マーカー２０１（図２Ａ）を媒体として拡張現実情報を見ることもでき、所持しているクレジットカード３０１を媒体として拡張現実情報を見ることもできる。

図３Ｂで、クレジットカード３０１を代替マーカーとして使うためのクレジットカード３０１のマーカー要素は、特定の文字領域３１０、絵領域３２０、他の部分と区別される特徴的部分３３０になりうる。クレジットカード３０１のような或るオブジェクトからマーカー要素として抽出される部分は、要望される用途によって多様な変形が可能であるので、図３Ｂに示されたマーカー要素３１０、３２０、３３０は、理解を助けるための例に過ぎないということは前述した通りである。

図４は、本発明の一実施形態による基本マーカーとオブジェクトのマーカー要素との間のマッピングの関係を示す図である。

図４を参照すると、基本マーカー４０１の画像内の意味単位４０２、４０３は、オブジェクトの画像４０４内のマーカー要素４０５、４０６にそれぞれマッピングされる。そして、意味単位４０２、４０３とマーカー要素４０５、４０６との間のマッピング４０７、４０８が保存される。したがって、オブジェクトの画像４０４は、基本マーカーの代わりをする代替マーカーとして使われる。言い換えれば、ユーザが、代替マーカーと指定されたクレジットカードを携帯端末のプレビュー画面に表示すれば、その表示されたクレジットカードの画像を用いて、拡張現実を実行することができる。

また、図４で、意味単位とマーカー要素間のマッピングは、多様に変更されうる。例えば、意味単位とマーカー要素との間の形態または色相の類似性に基づいてマッピングを実行することもでき、各マーカー要素に所定の加重値または優先順位を付与した後、その加重値または優先順位によって順次にマッピングを実行することも可能である。しかし、このような方法も説明の便宜のための例示に過ぎないものであって、その他にも多様なマッピング方法が実施されうる。

図５は、本発明の一実施形態による拡張現実を付与する方法を示すフローチャートである。この方法は、代替マーカーを利用して拡張現実を実行するか否かをユーザに尋ねた後に開始することが可能である。

図５を参照すると、まず、基本マーカーの画像が獲得される（５０１）。図１の第１イメージ獲得部１０１が、基本マーカーを撮影するか、基本マーカーの画像２０１をダウンロードすることで、図２Ａのような基本マーカー２０１の画像を獲得することができる。

そして、オブジェクト（客体）の画像が獲得される（５０２）。図１の第２イメージ獲得部１０２が、クレジットカードのような特定のオブジェクト（客体）を撮影して図３Ａのようなオブジェクトの画像３０１を獲得することができる。

その後、基本マーカーの意味単位が分析される（５０３）。例えば、図１の意味単位分析部１０３が、図２Ｂのように基本マーカーの意味単位を分析することが可能である。

そして、基本マーカーの意味単位に対応するマーカー要素が、前記のオブジェクトの画像から抽出される（５０４）。図１のマーカー要素抽出部１０４が、図３Ｂのようにマーカー要素３１０、３２０、３３０を抽出することが可能である。

そして、前記の基本マーカーの意味単位が、オブジェクトのマーカー要素にマッピングされ、代替マーカーが生成される（５０５）。例えば、図１の代替マーカー生成部１０５が、図４のようにマッピング及び代替マーカーの生成を行うことが可能である。

意味単位とマーカー要素との間のマッピングは、多様な方法で行うことができる。例えば、任意のマッピングを用いることも可能である。任意のマッピングは、ランダムにマーカー要素を選択し、次いで該選択されたマーカー要素に何れかの意味単位をマッピングすることと、定義することができる。他の例として、マッピングは、意味単位とマーカー要素との間の或る類似性に基づいてなされることも可能である。例えば、何れかの意味単位が選択して、該選択された意味単位を、形態的、位置的、または色相的に類似したマーカー要素にマッピングすることが可能である。

代替マーカーが生成された後、意味単位とマーカー要素間のマッピングを保存することが可能である。このような情報は、図１の相関関係保存部１０６に保存することができる。

前述した方法は、生成された代替マーカーに基づいた演算処理がさらに含まれうる。例えば、図１の表示部１０７は、生成された代替マーカーと保存された相関関係とを用いて、元の基本マーカーに対応する拡張現実を示すことができる。

図６は、本発明の一実施形態によるマーカー要素の抽出方法を示す図である。
図１及び図６を参照すると、マーカー要素抽出部１０４は、オブジェクト６０２のプレビュー画面６０１を、それぞれ基準のサイズを有することが可能な格子に分割する。そして、マーカー要素抽出部１０４は、格子内の画像データの変化量が大きいものから小さいものへという順番で、前記の格子を順序化する。そして、各格子をマーカー要素として抽出することが可能である。マーカー要素の抽出の他の例において、何れか一つの格子とその隣接した格子のデータ変化量が、臨界値以下である場合、これらの格子を同じ格子として扱うことも可能である。

しかし、代替マーカーを形成するために画像から特定部分を抽出する方法は、図６で説明された方法に限定されるものではない。例えば、格子内部の特徴的な形態または形状をマーカー要素として抽出することが可能である。オブジェクト６０２が、主な色相、すなわち、オブジェクトの主要な比率を形成する色相を有する場合、その主な色相と相違する部分をマーカー要素として抽出することもできる。もし、オブジェクトに主となる色相が存在していない場合、オブジェクト内の特定領域を任意に指定し、その指定された領域と該領域の周辺との色相を比較して、その後、その比較によってマーカー要素の抽出を行うようにすることができる。

その他にも、代替マーカーとして使われるオブジェクトの特定の色相自体をマーカー要素として抽出することも可能である。例えば、或るオブジェクトから赤色、黄色、及び青色が感知されれば、赤色を元のマーカーのＡ部分、黄色を元のマーカーのＢ部分、青色を元のマーカーのＣ部分にマッピングすることができる。

マーカー要素を抽出する場合、該抽出されたマーカー要素の個数を示す情報を分析することも可能である。例えば、形状に基づいてマーカー要素がＬ個抽出され、色相に基づいてマーカー要素がＭ個抽出される場合、１次的にＬ個のマーカー要素をマッピングし、２次的にＭ個のマーカー要素をマッピングするようにマッピングの優先順位を決めることができる。もし、マーカー要素の全個数（Ｌ＋Ｍ）が、識別される全ての意味単位を元のマーカー上にマッピングするのに不足する場合、他のオブジェクトの画像を（Ｌ＋Ｍ）個になるまで入力することができる趣旨のメッセージがユーザに表示されうる。

図７は、本発明の一実施形態によるユーザインターフェース画面を示す図である。
図７を参照すると、本実施形態によるユーザインターフェース画面は、基本マーカーが表示される欄７０１、基本マーカーに関する簡略情報が表示される欄７０２、及び代替マーカーが表示される欄７０３に区分されるように構成できる。基本マーカーに関する簡略情報は、基本マーカーに対応する拡張現実アプリケーションの名称または基本マーカーの意味単位についての情報にすることができる。

図７で、ユーザは、代替マーカーが表示される欄７０３をタッチ操作して所望の代替マーカーを選択し、代替マーカーが選択されれば、該選択された代替マーカーがマッピングされた基本マーカーの拡張現実アプリケーションが実行される。

また、代替マーカーが複数ある場合、ユーザーは、各代替マーカーと拡張現実アプリケーションの相互関係が分かるように望むことがある。したがって、代替マーカー及び対応する拡張現実アプリケーションとを連結させてリスト化またはサムネイル化して表示するか、またはフォルダー形式で代替マーカーを表示することが望ましい。

図８は、本発明の一実施形態によって多数の基本マーカーを一つのオブジェクトにマッピングする方法を示す図である。
図８を参照すると、代替マーカーとして使われるオブジェクト８０１は、領域Ｍ１、Ｍ２、Ｍ３に分画される。そして、それぞれの領域Ｍ１、Ｍ２、Ｍ３は、何れか一つの基本マーカーにマッピングされうる。例えば、図８に示されるように、第１基本マーカー８１０は、第１領域Ｍ１にマッピングされ、第２基本マーカー８２０は、第２領域Ｍ２にマッピングされ、第３基本マーカー８３０は、第３領域Ｍ３にマッピングされうる。複数の基本マーカーが一つのオブジェクトにマッピングされる場合、代替マーカーのマーカー要素は、各領域Ｍ１、Ｍ２、Ｍ３別に独立して抽出されうる。

図９は、本発明の他の実施形態によって複数の基本マーカーを一つのオブジェクトにマッピングする方法を示す図である。
図９を参照すると、第１基本マーカー９０１は、オブジェクトの第１部分９１０にマッピングされ、第２基本マーカー９０２は、オブジェクトの第２部分９２０にマッピングされる。オブジェクトの第２部分９２０は、オブジェクトの第１部分９１０より相対的に小さい。第１部分９１０は、オブジェクトが元のサイズのままでプレビュー画面に表示される場合に認識され、第２部分９２０は、オブジェクトが拡大されてプレビュー画面に表示される場合に認識されうる。したがって、第２部分９２０に対応する代替マーカーは、オブジェクトが元のサイズのままで見られている場合、隠されたマーカーとして活用することができる。

図１０は、本発明のまた他の実施形態によって複数の基本マーカーを一つのオブジェクトにマッピングする方法を示す図である。
図１０を参照すると、第１基本マーカー１００１は、オブジェクトの第１部分１００２にマッピングされ、第２基本マーカー１００３は、オブジェクトの第２部分１００４にマッピングされる。第１基本マーカー１００１は、仮想オブジェクト１００５の拡張現実を表わし、第２基本マーカー１００３は、仮想オブジェクト１００６の拡張現実を表わす。したがって、ユーザが、第１基本マーカー１００１と第２基本マーカー１００３とがマッピングされた代替マーカー１００７を用いて拡張現実を実行する場合、仮想オブジェクト１００５と１００６を表示させる拡張現実は、一つの画面１００８に表示されるようにすることが可能である。

その他の例として、単一のオブジェクトに複数のマッピングポイントがある場合、多様な基本マーカーをその単一のオブジェクトにマッピングすることによって、代替マーカーを生成することが可能である。例えば、サイコロのように各面の特徴が異なる３次元オブジェクトの場合、それぞれの面に相異なる基本マーカーをマッピングすることが可能である。また、書籍のような場合、書籍の各ページに基本マーカーを割り当てる方式で代替マーカーを生成することも可能である。

図１１は、本発明の一実施形態による立体マーカーを示す図である。
図１１を参照すると、船舶と関連した基本マーカー１１０１が、３次元オブジェクト１１０２にマッピングされる。３次元オブジェクト１１０２の画像、或いは３次元オブジェクト１１０２の種々の部分は、カメラやファイル等のイメージ獲得部によって取得される。３次元オブジェクト１１０２は、正面の画像と同様に、そのオブジェクト自体が有している上下左右の属性がある。したがって、３次元事物１１０２が有している上下左右の属性を船舶の上下左右の属性によってマッピングさせることが可能である。例えば、船舶と関連した基本マーカー１１０１をカップ１１０２にマッピングする場合、ユーザがカップ１１０２をプレビュー画面に表示した後、カップ１１０２の上下左右を撮影すれば、撮影方向によって船舶の上下左右が表示されるように拡張現実を実行することが可能である。元のマーカーが２次元的画像であり、そのようなマーカーに対応する拡張現実情報が３次元的画像である場合がある。このような場合、元のマーカーを用いて拡張現実画像を具現することには限界がある。しかし、２次元マーカーを３次元オブジェクトにマッピングを行い、前記の３次元オブジェクトを代替マーカーとして用いることによって、図１１に示されるように、３次元の属性を有する拡張現実は、船舶の表示された画像を扱うために更なる卓越した能力或いはビューイング能力を提供できる。

図１２は、本発明の他の実施形態による立体マーカーを示す図である。
図１２を参照すると、建物の設計図と関連した基本マーカー１２０１が、カップ１２０２等の３次元オブジェクトにマッピングされる。前記の建物が３階構造を有する場合、図１１のように、カップ１２０２の低部は、建物の１階１２０３を表わし、カップ１２０２の中央部は、建物の２階１２０４を表わし、カップ１２０２の上部は、建物の３階１２０５を表わすことができる。カップ１２０２のような３次元オブジェクトが、代替マーカーとして使われる場合、３次元オブジェクトが有する多様な属性（例えば、カップ１２０２の特定面または特定面に描かれた各種の縞など）によって元の拡張現実と同様に追加的な情報も共に付け加えて表示させることが可能である。このように、カップ１２０２の３次元的な操作性及び形状は、立体的なオブジェクトの表示された画像を扱うために更なる卓越した能力或いはビューイング能力をユーザーに与えることができる。

前述したように、本実施形態による拡張現実装置及び拡張現実を提供する方法によれば、基本マーカーの代わりをすることができる代替マーカーを生成し、該生成された代替マーカーを用いて拡張現実を具現するために、基本マーカーのない状況でも、拡張現実を具現することができ、基本マーカーがあっても、代替マーカーを活用して拡張された拡張現実を具現することが可能である。

一方、前記の実施形態は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能な持続性のあるコードとして具現しうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。

コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク（登録商標）、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じる伝送）の形態で具現するものを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結された複数のコンピュータシステム間に分散することが可能であって、コンピュータで読み取り可能なコードまたはプログラム命令として分散方式で保存されて実行可能である。そして、本発明を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に解釈され得る。

以上、本発明の実施のための具体例を説明した。前述した実施形態は、本発明を例示的に説明するためのものであって、本発明の権利範囲が特定の実施形態に限定されるものではない。例えば、記載された技術が異なる順番で達成され、及び／或いは記載されたシステム内の構成要素、コンピュータ・アーキテクチャ、デバイス、或いは回路が異なる方法で組み合わされ、及び／或いは他の構成要素またはそれらと同等のものによって置き換えられ或いは補われる場合、好適な結果を得ることが可能である。このように、前述した実施形態以外の本発明の実施は、特許請求の範囲内において可能である。

種々の改変及び変形は、本発明の精神又は範囲から逸脱しない限り、本発明においてなし得ることは、当業者には容易に明白となるであろう。このように、本発明の改変及び変形が本願のクレーム及び該クレームと等価なものの範囲内にあるならば、本発明はそのような改変及び変形を含むことが意図されている。

本発明は、マーカーを利用した拡張現実を提供する装置及び方法に関連する技術分野に適用可能である。

Claims (23)

1. 拡張現実と関連する基本マーカーの画像を獲得する第１イメージ獲得部と、
   オブジェクトの画像を獲得する第２イメージ獲得部と、
   前記基本マーカーの画像の意味単位を分析する意味単位分析部と、
   前記オブジェクトの画像から要素を抽出するマーカー要素抽出部と、
   前記分析された意味単位で前記抽出された要素をマッピングすることによって、前記オブジェクトの画像及びマッピングされた要素から成る代替マーカーを生成する代替マーカー生成部と、
   を含むことを特徴とする、拡張現実（ＡＲ）装置。
2. 前記意味単位分析部は、前記基本マーカーに対応する拡張現実情報に基づいて、前記の意味単位を分析することを特徴とする、請求項１に記載の拡張現実装置。
3. 前記意味単位分析部は、前記の拡張現実情報が表示される位置に基づいて、前記の意味単位を分析することを特徴とする、請求項２に記載の拡張現実装置。
4. 前記意味単位分析部は、前記の拡張現実情報の表示方向に基づいて、前記の意味単位を分析することを特徴とする、請求項２に記載の拡張現実装置。
5. 前記意味単位分析部は、前記の拡張現実情報に関連する動作に基づいて、前記の意味単位を分析することを特徴とする、請求項２に記載の拡張現実装置。
6. 前記マーカー要素抽出部は、前記のオブジェクトの画像から、オブジェクトの外形、文字または絵を認識し、該認識された外形、文字、絵、またはこれらの位置関係のうち少なくとも一つに基づいて、前記要素を抽出することを特徴とする、請求項１に記載の拡張現実装置。
7. 前記マーカー要素抽出部は、前記のオブジェクトの画像から、形状または色相に基づいて、前記の要素を抽出することを特徴とする、請求項１に記載の拡張現実装置。
8. 前記オブジェクトの画像を多数の格子に分割し、各格子が有するピクセル値の平均を用いて、各格子のグリッド値を計算し、実質的に同様なグリッド値を有する格子をグループ化して、前記の要素を抽出することを特徴とする、請求項７に記載の拡張現実装置。
9. 前記代替マーカー生成部は、前記の基本マーカーを前記の代替マーカーに置き換えることを特徴とする、請求項１に記載の拡張現実装置。
10. 前記の意味単位で前記の要素をマッピングした結果を保存する相関関係保存部をさらに含むことを特徴とする、請求項１に記載の拡張現実装置。
11. 拡張現実と関連する基本マーカーの画像を獲得し、
    オブジェクトの画像を獲得し、
    前記基本マーカーの意味単位を分析し、
    前記オブジェクトの画像から要素を抽出し、
    前記分析された意味単位を前記抽出された要素でマッピングし、
    前記オブジェクトの画像及びマッピングされた要素から成る代替マーカーを生成する、
    ことを特徴とする、拡張現実（ＡＲ）を提供する方法。
12. 前記意味単位は、前記基本マーカーに対応する拡張現実情報に基づいて分析されることを含むことを特徴とする、請求項１１に記載の拡張現実を提供する方法。
13. 前記意味単位は、前記の拡張現実情報が表示される位置に基づいて分析されることを含むことを特徴とする、請求項１２に記載の拡張現実を提供する方法。
14. 前記意味単位は、前記の拡張現実情報の表示方向に基づいて分析されることを含むことを特徴とする、請求項１２に記載の拡張現実を提供する方法。
15. 前記意味単位は、前記の拡張現実情報の動作に基づいて分析されることを含むことを特徴とする、請求項１２に記載の拡張現実を提供する方法。
16. 前記要素の抽出は、外形、文字または絵を認識し、
    該認識された外形、文字、絵、またはこれらの位置関係のうち少なくとも一つを、前記要素として抽出することを含むことを特徴とする、請求項１１に記載の拡張現実を提供する方法。
17. 前記要素の抽出は、前記のオブジェクトの画像の形状または色相に基づいて、前記の要素を抽出することを含むことを特徴とする、請求項１１に記載の拡張現実を提供する方法。
18. 形状に基づく前記の要素の抽出は、
    前記オブジェクトの画像を複数の格子に分割し、
    各格子が有するピクセル値の平均を用いて、各格子のグリッド値を計算し、
    実質的に同様なグリッド値を有する格子をグループ化すること、を更に含むことを特徴とする、請求項１７に記載の拡張現実を提供する方法。
19. 前記代替マーカーの生成は、前記の基本マーカーを前記の代替マーカーに置き換えること、を更に含むことを特徴とする、請求項１１に記載の拡張現実を提供する方法。
20. 前記の要素で前記の意味単位をマッピングした結果を保存すること、を更に含むことを特徴とする、請求項１１に記載の拡張現実を提供する方法。
21. 拡張現実のための２次元マーカーの画像を獲得し、
    拡張現実と関連する３次元オブジェクトの画像を獲得し、
    前記２次元マーカーの意味単位を分析し、
    前記３次元オブジェクトの画像の要素を抽出し、
    前記分析された意味単位を前記抽出された要素にマッピングし、
    前記３次元オブジェクトの画像及びマッピングされた要素から成る代替マーカーを生成し、
    前記２次元マーカーに対応する拡張現実情報を用いて、前記の代替マーカーを表示すること、
    を含むことを特徴とする、拡張現実（ＡＲ）を提供する方法。
22. 前記の表示は、３次元オブジェクトが認識される場合に、行われることを含むことを特徴とする、請求項２１に記載の拡張現実を提供する方法。
23. 基本マーカーが認識されるか否かを決定し、
    基本マーカーが認識される場合には、基本マーカーに基づいて拡張現実を提供するか、または代替マーカーに基づいて拡張現実を提供するかをユーザに質疑すること、
    を含むことを特徴とする、請求項１１に記載の拡張現実を提供する方法。