JP6984158B2 - Three-dimensional object with AR marker, AR marker system and AR marker server - Google Patents

Three-dimensional object with AR marker, AR marker system and AR marker server Download PDF

Info

Publication number
JP6984158B2
JP6984158B2 JP2017085313A JP2017085313A JP6984158B2 JP 6984158 B2 JP6984158 B2 JP 6984158B2 JP 2017085313 A JP2017085313 A JP 2017085313A JP 2017085313 A JP2017085313 A JP 2017085313A JP 6984158 B2 JP6984158 B2 JP 6984158B2
Authority
JP
Japan
Prior art keywords
marker
dimensional object
dimensional
objects
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017085313A
Other languages
Japanese (ja)
Other versions
JP2018185568A (en
Inventor
光一 小幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2017085313A priority Critical patent/JP6984158B2/en
Publication of JP2018185568A publication Critical patent/JP2018185568A/en
Application granted granted Critical
Publication of JP6984158B2 publication Critical patent/JP6984158B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)

Description

本発明は、ＡＲ（augmented reality）技術を用いて、拡張現実または仮想空間における仮想物体構成に用いられるＡＲマーカー付き立体物、ＡＲマーカーシステム及びＡＲマーカーサーバに関する。 The present invention relates to a three-dimensional object with an AR marker, an AR marker system, and an AR marker server used for constructing a virtual object in augmented reality or virtual space by using AR (augmented reality) technology.

現在、一次元あるいは二次元のそれぞれが固有のパターン画像をＩＤ（dentification）とし、撮像装置で撮像された動画像に対して、このＩＤに対応付けられているＣＧ（computer graphics）オブジェクトを重畳表示するＡＲ技術がゲームなどのアプリケーションにおいて利用されている（例えば、特許文献１及び特許文献２の各々を参照）。 Currently, a pattern image unique to each of one-dimensional and two-dimensional is used as an ID (dentification), and a CG (computer graphics) object associated with this ID is superimposed and displayed on a moving image captured by an imaging device. AR technology is used in applications such as games (see, for example, Patent Document 1 and Patent Document 2).

また、多面体形状の立体物に対し、それぞれの面に固有のＡＲマーカーを付与し、現実空間における立体物の位置及び姿勢をトラッキングする。
そして、現実空間における立体物に対応させて、現実空間での立体物の位置と同一の、拡張現実における位置に対して同一の姿勢として、ＣＧオブジェクトを重畳させることができる。 In addition, an AR marker unique to each surface is attached to the polyhedral shape of the three-dimensional object, and the position and posture of the three-dimensional object in the real space are tracked.
Then, the CG object can be superimposed on the position in the augmented reality, which is the same as the position of the three-dimensional object in the real space, in correspondence with the three-dimensional object in the real space.

また、ＡＲマーカーが付与された立体物（以下、ＡＲマーカー付き立体物と示す）と、拡張現実においてこのＡＲマーカー付き立体物に対して重畳されるＣＧオブジェクトとの形状を近づけることが行われている。ＡＲマーカー付き立体物とＣＧオブジェクトとの形状を近づけることにより、ユーザが拡張現実（あるいは仮想空間）におけるＣＧオブジェクトとの接触による触覚や力覚などの感覚（体感）を、現実空間におけるＡＲマーカー付き立体物との接触による感覚に同調させることができ、コンテンツにおける臨場感及び没入感を向上させることができる。 Further, the shape of the three-dimensional object to which the AR marker is attached (hereinafter referred to as the three-dimensional object with the AR marker) and the CG object superimposed on the three-dimensional object with the AR marker in augmented reality are brought close to each other. There is. By bringing the shapes of a three-dimensional object with an AR marker closer to the CG object, the user can experience the sensation (experience) such as tactile sensation and force sensation due to contact with the CG object in augmented reality (or virtual space) with an AR marker. It is possible to synchronize with the feeling of contact with a three-dimensional object, and it is possible to improve the sense of reality and immersiveness in the content.

特開２００１−１９５６０１号公報Japanese Unexamined Patent Publication No. 2001-195601 特開２０１３−０５９５４２号公報Japanese Unexamined Patent Publication No. 2013-059542

しかしながら、上記特許文献１及び特許文献２においては、ＡＲマーカー付き立体物とＣＧオブジェクトとの形状に乖離がある場合、拡張現実における感覚を、現実空間における感覚に同調させることができず、コンテンツにおける臨場感及び没入感を得ることができない。
また、各コンテンツで用いられるＣＧオブジェクトの形状や大きさに適合するように、ＣＧオブジェクトの各々に対応したＡＲマーカー付き立体物を準備することは、一般的なコンテンツで利用する際に、価格の点から困難である。 However, in Patent Document 1 and Patent Document 2, when there is a difference in the shape between the three-dimensional object with the AR marker and the CG object, the feeling in augmented reality cannot be synchronized with the feeling in the real space, and the content It is not possible to obtain a sense of reality and immersiveness.
In addition, preparing a three-dimensional object with an AR marker corresponding to each of the CG objects so as to match the shape and size of the CG object used in each content is priced when used in general content. It is difficult from the point of view.

本発明は、このような状況に鑑みてなされたものであり、ＣＧオブジェクトの形状や大きさに適合させたＡＲマーカー付き立体物を準備することなく、コンテンツにおける臨場感及び没入感を得ることが可能なＡＲマーカー付き立体物、ＡＲマーカーシステム及びＡＲマーカーサーバの提供を目的とする。 The present invention has been made in view of such a situation, and it is possible to obtain a sense of presence and immersiveness in the content without preparing a three-dimensional object with an AR marker that matches the shape and size of the CG object. It is an object of the present invention to provide a three-dimensional object with an AR marker, an AR marker system, and an AR marker server.

本発明のＡＲマーカーシステムは、前記ＡＲマーカー付き立体物が強磁性体の床板に配置された際、前記端末が、前記板と対向する平面部における前記電磁石を稼働させ、当該電磁石の磁力を制御することにより、前記板と前記平面部との接触界面における摩擦力を調整することを特徴とする。
本発明のＡＲマーカーサーバは、前記平面部が強磁性体の床板に配置された際、前記ＡＲマーカーサーバが、前記板と対向する平面部における前記電磁石を稼働させ、当該電磁石の磁力を制御することにより、前記板と前記平面部との接触界面における摩擦力を調整することを特徴とする。 In the AR marker system of the present invention, when the three-dimensional object with the AR marker is arranged on a floor plate of a ferromagnetic material, the terminal operates the electromagnet on a flat surface portion facing the plate to control the magnetic force of the electromagnet. By doing so, it is characterized in that the frictional force at the contact interface between the plate and the flat surface portion is adjusted.
In the AR marker server of the present invention, when the flat surface portion is arranged on a floor plate of a ferromagnetic material, the AR marker server operates the electromagnet on the flat surface portion facing the plate and controls the magnetic force of the electromagnet. This is characterized in that the frictional force at the contact interface between the plate and the flat surface portion is adjusted.

上述した課題を解決するために、本発明のＡＲマーカーシステムは、現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得る、前記ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成するために用いるＡＲマーカーシステムであり、ＡＲマーカー付き立体物と、撮像装置と、前記撮像装置の撮像した撮像画像において、前記ＡＲマーカー付き立体物が組み合わされた前記対象立体物における当該ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該対象立体物に対応する前記ＣＧオブジェクトを抽出し、当該ＣＧオブジェクトを前記表示画面における前記対象立体物の位置に配置して表示画面に表示し、前記ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該ＡＲマーカー付き立体物の対抗する面の結合機構を制御して、前記ＡＲマーカー付き立体物の各々の結合及び分離の処理を、コンテンツのプログラムに記載された場面に対応して設けられているルールに基づいて行う端末とを備えることを特徴とする。 In order to solve the above-mentioned problems, the AR marker system of the present invention corresponds to the shape of the CG object that obtains information on the position and posture in which the CG object as a virtual reality is displayed on the display screen displaying the real space. was the target three-dimensional object, are AR marker system used to construct and assemble, and a R marker with three-dimensional object, an imaging device, the imaging captured image of the imaging device, the AR marker with three-dimensional object are combined The AR marker in each of the solid objects with the AR marker in the target solid object is identified, the CG object corresponding to the target solid object is extracted, and the CG object is placed at the position of the target solid object on the display screen. Each of the AR marker-equipped solid objects is arranged and displayed on the display screen, the AR marker in each of the AR marker-equipped solid objects is identified, and the coupling mechanism of the opposing surfaces of the AR marker-equipped solid object is controlled. It is characterized by including a terminal that performs the processing of combining and separating the above based on the rules provided corresponding to the scene described in the content program.

本発明のＡＲマーカーシステムは、前記端末が、前記撮像画像における前記ＡＲマーカー付き立体物が組み合わされた前記対象立体物において、いずれかのＡＲマーカー付き立体物のＡＲマーカーが確認できない場合、前記対象立体物における前記ＡＲマーカー付き立体物の結合関係により、前記対象立体物全体の位置及び姿勢を認識し、前記ＣＧオブジェクトを前記対象立体物の位置及び姿勢に対応させて、前記表示画面に表示させることを特徴とする。
本発明のＡＲマーカーシステムは、前記結合機構が電磁石で構成されており、前記端末が、前記ＡＲマーカー付きの立体物の各々を結合させる際に、結合させる前記ＡＲマーカー付き立体物のそれぞれの対向する面が所定の離間距離となった場合に、対抗する面の前記電磁石を駆動し、前記ＡＲマーカー付き立体物の各々が結合されることを特徴とする。
本発明のＡＲマーカーシステムは、前記端末が、前記ＡＲマーカー付き立体物の前記電磁石の磁力の大きさを、前記コンテンツの場面における当該ＡＲマーカー付き立体物の位置に配置される前記ＣＧオブジェクトに生じる摩擦力に対応して制御する。 In the AR marker system of the present invention, when the terminal cannot confirm the AR marker of any of the three-dimensional objects with an AR marker in the target three-dimensional object in which the three-dimensional object with the AR marker is combined in the captured image, the object is said. The position and orientation of the entire target three-dimensional object are recognized by the coupling relationship of the three-dimensional object with the AR marker in the three-dimensional object, and the CG object is displayed on the display screen in correspondence with the position and orientation of the target three-dimensional object. It is characterized by that.
In the AR marker system of the present invention, the coupling mechanism is composed of an electromagnet, and when the terminal couples each of the three-dimensional objects with the AR marker, they are opposed to each other of the three-dimensional objects with the AR marker to be coupled. It is characterized in that when the surfaces to be subjected to have a predetermined separation distance, the electromagnets on the opposing surfaces are driven, and each of the three-dimensional objects with an AR marker is coupled.
In the AR marker system of the present invention, the terminal causes the magnitude of the magnetic force of the electromagnet of the three-dimensional object with the AR marker to be placed at the position of the three-dimensional object with the AR marker in the scene of the content. It is controlled according to the frictional force.

本発明のＡＲマーカーサーバは、現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得るＡＲマーカーが添付された、前記ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成することが可能なＡＲマーカーサーバであり、撮像装置の撮像した撮像画像において、ＡＲマーカー付き立体物が組み合わされた前記対象立体物における当該ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該対象立体物に対応する前記ＣＧオブジェクトを抽出し、前記表示画面における前記対象立体物の位置に配置して、前記表示画面に表示し、前記ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該ＡＲマーカー付き立体物の対抗する面の結合機構を制御して、前記ＡＲマーカー付き立体物の各々の結合及び分離の処理を、コンテンツのプログラムに記載された場面に対応して設けられているルールに基づいて行うことを特徴とする。
本発明のＡＲマーカーサーバは、前記結合機構が電磁石で構成されており、前記ＡＲマーカー付きの立体物の各々を結合させる際に、結合させる前記ＡＲマーカー付き立体物のそれぞれの対向する面が所定の離間距離となった場合に、対抗する面の前記電磁石を駆動し、前記ＡＲマーカー付き立体物の各々が結合されることを特徴とする。
本発明のＡＲマーカーサーバは、前記端末が、前記電磁石の磁力の大きさを、前記コンテンツの場面に応じた摩擦力に対応して制御することを特徴とする。
The AR marker server of the present invention has an AR marker attached to obtain information on the position and orientation of displaying a CG object as virtual reality on a display screen displaying a real space, and is a target stereo corresponding to the shape of the CG object. things, an AR marker server that can be configured by assembling, in the picked-up image captured by the imaging apparatus, at each of the AR marker with three-dimensional object in the target three-dimensional object that with a R marker three-dimensional object are combined The AR marker is identified, the CG object corresponding to the target solid object is extracted, placed at the position of the target solid object on the display screen, displayed on the display screen, and each of the solid objects with the AR marker is displayed. In the scene described in the program of the content, the process of binding and separating each of the AR marker-equipped solid objects is described by identifying the AR marker in the above and controlling the coupling mechanism of the opposing surfaces of the AR marker-equipped solid object. The feature is that it is performed based on the corresponding rules.
In the AR marker server of the present invention, the coupling mechanism is composed of an electromagnet, and when each of the three-dimensional objects with the AR marker is coupled, the opposing surfaces of the three-dimensional objects with the AR marker to be coupled are predetermined. When the distance between the two is reached, the electromagnet on the opposing surface is driven, and each of the three-dimensional objects with the AR marker is coupled.
The AR marker server of the present invention is characterized in that the terminal controls the magnitude of the magnetic force of the electromagnet according to the frictional force according to the scene of the content.

以上説明したように、本発明によれば、ＣＧオブジェクトの形状や大きさに適合させたＡＲマーカー付き立体物を準備することなく、コンテンツにおける臨場感及び没入感を得ることが可能なＡＲマーカー付き立体物、ＡＲマーカーシステム及びＡＲマーカーサーバを提供することができる。 As described above, according to the present invention, with an AR marker, it is possible to obtain a sense of presence and immersion in the content without preparing a three-dimensional object with an AR marker that matches the shape and size of the CG object. A three-dimensional object, an AR marker system, and an AR marker server can be provided.

本発明の第１の実施形態によるＡＲマーカー付き立体物の構成例を示す概念図である。It is a conceptual diagram which shows the structural example of the three-dimensional object with AR marker by 1st Embodiment of this invention. 本発明の第１の実施形態によるＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。It is a conceptual diagram which shows the structural example of the AR marker system using the three-dimensional object with AR marker by 1st Embodiment of this invention. ＡＲマーカー付き立体物により組み立てた対象立体物と、ＣＧオブジェクトとの関係を説明する図である。It is a figure explaining the relationship between the object three-dimensional object assembled by the three-dimensional object with AR marker, and a CG object. 他の三次元形状をしたＡＲマーカー付き立体物の例を示す図である。It is a figure which shows the example of the three-dimensional object with AR marker which has another three-dimensional shape. 本発明の第２の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。It is a conceptual diagram which shows the structural example of the AR marker system using the three-dimensional object with AR marker by the 2nd Embodiment of this invention. 複数のＡＲマーカー付き立体物を用いて形成した対象立体物の他の形状例を示す図である。It is a figure which shows the other shape example of the object three-dimensional object formed by using the three-dimensional object with a plurality of AR markers. 複数のＡＲマーカー付き立体物を用いて形成した対象立体物の他の形状例を示す図である。It is a figure which shows the other shape example of the object three-dimensional object formed by using the three-dimensional object with a plurality of AR markers. 本発明の第３の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。It is a conceptual diagram which shows the structural example of the AR marker system using the three-dimensional object with AR marker by the 3rd Embodiment of this invention. ＡＲマーカー付き立体物の各面における電磁石に対して印加する、間欠的な電力レベルをグラフである。It is a graph showing the intermittent power level applied to the electromagnet on each surface of a three-dimensional object with an AR marker. 本発明の第４の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。It is a conceptual diagram which shows the structural example of the AR marker system using the three-dimensional object with AR marker by the 4th Embodiment of this invention.

＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。図１は、本発明の第１の実施形態によるＡＲマーカー付き立体物の構成例を示す概念図である。図１（ａ）は、ＡＲマーカー付き立体物１が筐体１０１に対して、電磁石１０２とＡＲマーカー１０３とが備えられていることを示している。筐体１０１は、本実施形態において立方体（正六面体）の形状をしており、材質として紙、木の板、プラスチックの板、発泡スチロールの板及び非磁性体の金属板などのいずれを用いても良い。 <First Embodiment>
Hereinafter, the first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a conceptual diagram showing a configuration example of a three-dimensional object with an AR marker according to the first embodiment of the present invention. FIG. 1A shows that the three-dimensional object 1 with an AR marker is provided with an electromagnet 102 and an AR marker 103 with respect to the housing 101. The housing 101 has the shape of a cube (regular hexahedron) in the present embodiment, and any of paper, wooden board, plastic board, styrofoam board, non-magnetic metal board and the like can be used as the material. good.

電磁石１０２は、筐体１０１の各面（平面）における頂点の各々の近傍の位置に配置されている。
この電磁石１０２が取り付けられた面が、ＡＲマーカー付き立体物が他のＡＲマーカー付き立体物と接合するための接合部となっており、ＡＲマーカー付き立体物には少なくとも一つ設けられている。このＡＲマーカ付き立体物の接合部自体の面は平面形状である必要がなく、接合部の面に電磁石１０２は埋め込まれていても、貼着されていても良い。しかしながら、他のＡＲマーカー付き立体物と直接に接合する上記接合部における接合面は、安定性を考慮すると平面形状となるように形成することが望ましい。したがって、本実施形態の場合、接合面が平面であり、この接合面に対して電磁石１０２が貼着されている場合、この電磁石１０２における他のＡＲマーカー付き立体物の電磁石１０２と対向する面は、平面形状となるように形成されていることが望ましい。
ＡＲマーカー１０３の各々は、筐体１０１における全ての面に対して備えられており、それぞれが固有（ユニーク）な形状のマークとして付与される。 The electromagnet 102 is arranged at a position near each of the vertices on each surface (plane) of the housing 101.
The surface to which the electromagnet 102 is attached serves as a joining portion for joining the three-dimensional object with an AR marker to another three-dimensional object with an AR marker, and at least one of the three-dimensional objects with an AR marker is provided. The surface of the joint portion itself of the three-dimensional object with the AR marker does not have to have a planar shape, and the electromagnet 102 may be embedded or attached to the surface of the joint portion. However, it is desirable that the joint surface at the joint portion that directly joins with another three-dimensional object with an AR marker has a planar shape in consideration of stability. Therefore, in the case of the present embodiment, when the joint surface is a flat surface and the electromagnet 102 is attached to the joint surface, the surface of the electromagnet 102 facing the electromagnet 102 of another three-dimensional object with an AR marker is , It is desirable that it is formed so as to have a planar shape.
Each of the AR markers 103 is provided for all surfaces in the housing 101, and each is given as a mark having a unique shape.

図１（ｂ）は、ＡＲマーカー付き立体物１における筐体１０１の内部の構成例を示している。筐体１０１は、内部が空洞となっており、制御装置１０４とバッテリ１０５との各々が備えられている。
バッテリ１０５は、電磁石１０２及び制御装置１０４の各々に対して電力を供給する、充電が可能な電池で有り、例えば、充電が可能な鉛蓄電池、Ｎｉ−Ｃｄ（nickel-cadmium）蓄電池、Ｎｉ−ＭＨ（nickel-metal hydrogen）蓄電池、リチウムイオン電池、リチウムポリマー電池、リチウムフェライト電池などの二次電池が適している。 FIG. 1B shows an example of the internal configuration of the housing 101 in the three-dimensional object 1 with an AR marker. The housing 101 has a hollow inside, and is provided with a control device 104 and a battery 105, respectively.
The battery 105 is a rechargeable battery that supplies power to each of the electromagnet 102 and the control device 104, and is, for example, a rechargeable lead storage battery, a Ni-Cd (nickel-cadmium) storage battery, and a Ni-MH. (Nickel-metal hydrogen) Secondary batteries such as storage batteries, lithium ion batteries, lithium polymer batteries, and lithium ferrite batteries are suitable.

図１（ｃ）は、ＡＲマーカー付き立体物１における制御装置１０４の構成例を示している。図１（ｃ）において、制御装置１０４は、通信部１０４１、結合機構制御部１０４２、充電制御部１０４３及び結合機構駆動部１０４４の各々を備えている。
通信部１０４１は、後述するＡＲ及びＶＲ（virtual reality）のアプリケーションプログラムがインストールされた、端末（後述するサーバ、パーソナルコンピュータまたは携帯端末など）とデータの送受信を行う有線あるいは無線の通信機能を備えている。
結合機構制御部１０４２は、通信部１０４１を介して与えられる制御信号に基づき、電磁石１０２を磁化あるいは反磁化するための電磁石１０２のコイルに供給する電流量の制御、及び磁化させる際において電流の向きを変更して磁石の極の制御の各々を、結合機構駆動部１０４４に対して行わせる。 FIG. 1C shows a configuration example of the control device 104 in the three-dimensional object 1 with an AR marker. In FIG. 1 (c), the control device 104 includes a communication unit 1041, a coupling mechanism control unit 1042, a charging control unit 1043, and a coupling mechanism driving unit 1044, respectively.
The communication unit 1041 has a wired or wireless communication function for transmitting / receiving data to / from a terminal (such as a server, a personal computer or a mobile terminal described later) in which an AR and VR (virtual reality) application program described later is installed. There is.
The coupling mechanism control unit 1042 controls the amount of current supplied to the coil of the electromagnet 102 for magnetizing or demagnetizing the electromagnet 102 based on the control signal given via the communication unit 1041, and the direction of the current when magnetizing. Is changed so that each of the poles of the magnet is controlled by the coupling mechanism drive unit 1044.

充電制御部１０４は、バッテリ１０５の電圧値を所定の周期で取得し、予め設定された充電量より低下したことを示す電圧値が検出された場合、充電を行う必要があることを、通信部１０４１を介して上記端末に通知する。また、充電制御部１０４は、筐体１０１に設けられた給電用接点（不図示）を介して、あるいは無線給電装置（不図示）を介して、バッテリ１０５に対して供給される充電電流を、このバッテリ１０５の電圧値の変化を逐次検出し、バッテリ１０５の充電量が満充電を示す電圧値に到達するまで充電電流を流し、満充電を示す電圧値に到達した時点で充電電流を停止する制御を行う。
結合機構駆動部１０４４は、すでに述べたように、結合機構制御部１０４２からの制御に基づき、電磁石１０２を駆動するための電流（駆動電流）を供給する。すなわち、結合機構駆動部１０４４は、結合機構制御部１０４２からの制御に基づき、電磁石１０２を所定の磁力により磁化する駆動電流（磁化のための電力）を供給する。 The charge control unit 104 acquires the voltage value of the battery 105 at a predetermined cycle, and when a voltage value indicating that the charge amount is lower than the preset charge amount is detected, the charge control unit 104 indicates that charging needs to be performed. Notify the terminal via 1041. Further, the charge control unit 104 transfers the charging current supplied to the battery 105 via the power supply contact (not shown) provided in the housing 101 or via the wireless power supply device (not shown). The change in the voltage value of the battery 105 is sequentially detected, the charging current is passed until the charge amount of the battery 105 reaches the voltage value indicating the full charge, and the charging current is stopped when the voltage value indicating the full charge is reached. Take control.
As described above, the coupling mechanism driving unit 1044 supplies a current (driving current) for driving the electromagnet 102 based on the control from the coupling mechanism control unit 1042. That is, the coupling mechanism driving unit 1044 supplies a driving current (electric power for magnetization) that magnetizes the electromagnet 102 by a predetermined magnetic force based on the control from the coupling mechanism control unit 1042.

結合機構駆動部１０４４は、例えば、電磁石１０２に対して電流のオンオフ及び電流の極性を変更して供給するスイッチとして、機械式リレー、パワートランジスタあるいはＦＥＴ（field effect transistor）などを用いる。また、結合機構駆動部１０４４は、電磁石１０２の磁力を調整するため、電力制御回路としてＤＣ（直流）−ＤＣコンバータを用いたり、あるいは半導体素子のパワートランジスタあるいはＦＥＴを用いた場合にＰＷＭ（pulse width modulation）制御により電力を電磁石１０２のコイルに供給する構成としても良い。 The coupling mechanism drive unit 1044 uses, for example, a mechanical relay, a power transistor, a FET (field effect transistor), or the like as a switch for supplying the electromagnet 102 by changing the on / off of the current and the polarity of the current. Further, in order to adjust the magnetic force of the electromagnet 102, the coupling mechanism drive unit 1044 uses a DC (direct current) -DC converter as a power control circuit, or PWM (pulse width) when a power transistor or FET of a semiconductor element is used. It may be configured to supply electric power to the coil of the electromagnet 102 by modulation) control.

図２は、本発明の第１の実施形態によるＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。
この図２においては、ユーザ３０５の各々が、本実施形態によるＡＲマーカー付き立体物１＿１、１＿２、１＿３、…それぞれを組み合わせて、対象立体物１Ａを構成する作業を行っている状態を示している。画像撮像装置３０２は、ユーザ３０５の各々と、ユーザ３０５が処理するＡＲマーカー付き立体物１＿１、１＿２、１＿３それぞれとを、動画像として撮像し、撮像した動画像のデータをサーバ３０３に対して出力する。 FIG. 2 is a conceptual diagram showing a configuration example of an AR marker system using a three-dimensional object with an AR marker according to the first embodiment of the present invention.
FIG. 2 shows a state in which each of the users 305 is performing the work of constructing the target three-dimensional object 1A by combining the three-dimensional objects with AR markers 1_1, 1_2, 1_3, ... According to the present embodiment. .. The image imaging device 302 captures each of the user 305 and each of the three-dimensional objects 1_1, 1_2, and 1_3 with AR markers processed by the user 305 as moving images, and outputs the captured moving image data to the server 303. do.

サーバ３０３は、ＡＲ及びＶＲのアプリケーションプログラムがインストールされており、画像撮像装置３０２から供給される動画像のデータを、プロジェクタ３０４に対して供給する。このとき、サーバ３０３は、動画像におけるＡＲマーカー付き立体物１＿１、１＿２、１＿３の画像それぞれから、画像認識処理を行ってＡＲマーカーの画像を検出する。そして、サーバ３０３は、ＡＲマーカーの画像から、ＡＲマーカー付き立体物１＿１、１＿２、１＿３それぞれを識別する。これにより、サーバ３０３は、トラッキング処理により、現実空間におけるＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々の位置及び姿勢を検出する。そして、サーバ３０３は、現実空間に対応した拡張現実の空間あるいは仮想空間において、ＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々を、ＣＧオブジェクト１＿１Ｂ、１＿２Ｂ、１＿３Ｂそれぞれの形状に置換した画像として、上記動画像をプロジェクタ３０４に出力する。 The server 303 has AR and VR application programs installed, and supplies moving image data supplied from the image imaging device 302 to the projector 304. At this time, the server 303 performs image recognition processing from each of the images of the three-dimensional objects 1_1, 1_2, and 1_3 with the AR marker in the moving image to detect the image of the AR marker. Then, the server 303 identifies each of the three-dimensional objects 1_1, 1_2, and 1_3 with the AR marker from the image of the AR marker. As a result, the server 303 detects the positions and postures of the three-dimensional objects 1_1, 1_2, and 1_3 with AR markers in the real space by the tracking process. Then, the server 303 replaces each of the three-dimensional objects 1_1, 1_2, and 1_3 with AR markers with the shapes of the CG objects 1-11B, 1_2B, and 1_3B in the augmented reality space or the virtual space corresponding to the real space. The moving image is output to the projector 304.

プロジェクタ３０４は、サーバ３０３から供給される、ＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々が、ＣＧオブジェクト１＿１Ｂ、１＿２Ｂ、１＿３Ｂそれぞれに置き換えられた動画像を、スクリーン３０７に投影することで表示させる。このスクリーン３０７には、画像撮像装置３０２が撮像する現実空間におけるユーザ３０５及びＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々との位置関係に対応して形成された拡張現実の空間あるいは仮想空間の画像である仮想画像３０７Ｂが表示される。 The projector 304 displays a moving image in which each of the three-dimensional objects 1_1, 1_2, and 1_3 with AR markers supplied from the server 303 is replaced with the CG objects 1_1B, 1_2B, and 1_3B by projecting them on the screen 307. .. The screen 307 is an augmented reality space or a virtual space formed according to the positional relationship between the user 305 and the three-dimensional objects 1_1, 1_2, and 1_3 with AR markers in the real space imaged by the image imaging device 302. The virtual image 307B, which is an image, is displayed.

現実空間において、ユーザ３０５の各々は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３を持ち上げるなどの操作を行い、対象立体物１Ａを組み立てる操作を行っている。しかしながら、ユーザ３０５の各々は、鏡を見るようにスクリーン３０７を鑑賞することにより、拡張現実の空間あるいは仮想空間において、ＣＧオブジェクト１＿１Ｂ、１＿２Ｂ、１＿３Ｂそれぞれを用いて、対象物オブジェクト１Ｂを組み立てる状態を体験することができる。 In the real space, each of the users 305 performs an operation such as lifting the three-dimensional object 1_1, 1_2, 1_3 with an AR marker, and performing an operation of assembling the target three-dimensional object 1A. However, each of the users 305 is in a state of assembling the object object 1B using the CG objects 1_1B, 1_2B, and 1_3B in the augmented reality space or the virtual space by viewing the screen 307 as if looking in a mirror. You can experience it.

また、サーバ３０３は、ユーザ３０５がＡＲマーカー付き立体物１＿１の上部に、ＡＲマーカー付き立体物１＿２を積み上げる際、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々のＡＲマーカーを読取り、このＡＲマーカーに基づいてＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれの姿勢を認識する。そして、サーバ３０３は、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々において、認識されたＡＲマーカーの付いている面に基づき、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれの対向する面と、この面における電磁石１０２それぞれの位置を検出する。 Further, when the user 305 stacks the three-dimensional object 1_2 with the AR marker on the three-dimensional object 1_1 with the AR marker, the server 303 reads the AR markers of the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_2 with the AR marker. Based on this AR marker, the postures of the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_2 with the AR marker are recognized. Then, the server 303 in each of the three-dimensional object with AR marker 1_1 and the three-dimensional object with AR marker 1_2, based on the recognized surface with the AR marker, the three-dimensional object with AR marker 1_1 and the three-dimensional object with AR marker 1_2, respectively. The positions of the facing surfaces of the electric magnet 102 and the positions of the electric magnets 102 on this surface are detected.

サーバ３０３は、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々に対し、対向する面における電磁石１０２を制御、すなわち対向する面において結合する際に組となる電磁石１０２それぞれの磁極の極の調整を行う制御信号を出力する。すなわち、サーバ３０３は、所定の状態となった場合、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２を結合させる制御を行う上記制御信号を、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれに対して出力する。 The server 303 controls the electromagnets 102 on the facing surfaces with respect to each of the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_2 with the AR marker, that is, the poles of the magnetic poles of the electromagnets 102 that are paired when they are coupled on the facing surfaces. Outputs a control signal that adjusts. That is, when the server 303 is in a predetermined state, the control signal that controls the coupling of the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_2 with the AR marker is transmitted to the three-dimensional object 1_1 with the AR marker and the three-dimensional object with the AR marker. Output for each of 1_2.

結合機構制御部１０４２は、通信部１０４１を介して供給される上記制御信号に基づき、結合機構駆動部１０４４を制御する。
サーバ３０３は、所定の状態となった場合、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２を結合させる制御を行う上記制御信号を、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれに対して出力する。すなわち、結合機構制御部１０４２は、制御信号において指定された面の電磁石１０２の各々のコイルに対し、結合機構駆動部１０４４がそれぞれの電磁石１０２の磁極の極性に対応させた電流をそれぞれのコイルに流させる。 The coupling mechanism control unit 1042 controls the coupling mechanism driving unit 1044 based on the control signal supplied via the communication unit 1041.
When the server 303 is in a predetermined state, the server 303 sends the control signal for controlling the coupling of the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_2 with the AR marker to the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_1 with the AR marker, respectively. Output to. That is, the coupling mechanism control unit 1042 applies a current corresponding to the polarity of the magnetic poles of the respective electromagnets 102 to each coil of the coupling mechanism driving unit 1044 for each coil of the electromagnet 102 on the surface specified in the control signal. Let it flow.

これにより、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々は、対向する面それぞれにおける結合の組となる電磁石１０２がそれぞれ反対の極性となり、対向する面が結合される。
このとき、サーバ３０３は、画像撮像装置３０２から供給される画像から、結合するＡＲマーカー付き立体物１の各々の対向する面それぞれの離間距離が予め設定された所定の距離以下のなったことを検出した場合、上述したように電磁石１０２に供給する電力のオンオフ制御を行い、ＡＲマーカー付き立体物１の各々を結合させる。 As a result, in each of the three-dimensional object with AR marker 1_1 and the three-dimensional object with AR marker 1_2, the electromagnets 102 that form a coupling pair on the facing surfaces have opposite polarities, and the opposing surfaces are coupled.
At this time, the server 303 determines that the distance between the opposing surfaces of the three-dimensional object 1 with the AR marker to be coupled is equal to or less than a preset predetermined distance from the image supplied from the image imaging device 302. When it is detected, the power supplied to the electromagnet 102 is controlled to be turned on and off as described above, and each of the three-dimensional objects 1 with the AR marker is coupled.

また、サーバ３０３は、所定の状態となった場合、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２を分離させる制御を行う上記制御信号を、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれに対して出力する。すなわち、サーバ３０３は、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々に対し、対向する面における電磁石１０２を制御、すなわち対向する面において結合する際に組となる電磁石１０２それぞれを非磁化する制御信号を出力する。 Further, when the server 303 is in a predetermined state, the control signal for controlling the separation of the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_2 with the AR marker is transmitted to the three-dimensional object 1_1 with the AR marker and the three-dimensional object with the AR marker. Output for each of 1_2. That is, the server 303 controls the electromagnets 102 on the facing surfaces with respect to each of the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_2 with the AR marker, that is, the electromagnets 102 that form a set when they are coupled on the facing surfaces are not set. Outputs a magnetizing control signal.

これにより、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々は、対向する面それぞれにおける結合の組となる電磁石１０２がそれぞれ非磁化されて、結合していた対向する面が分離される。
ここで、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々の結合及び分離の処理は、コンテンツのプログラムに記載されている、拡張現実の空間あるいは仮想空間において行われるゲームやシミュレーションなどの、所定の状態に対応して設けられているルールに基づいて行われる。 As a result, in each of the three-dimensional object with AR marker 1_1 and the three-dimensional object with AR marker 1_2, the electromagnets 102 that form a coupling pair on the facing surfaces are demagnetized, and the opposed surfaces to be bonded are separated. ..
Here, the processing of joining and separating each of the three-dimensional object with AR marker 1_1 and the three-dimensional object with AR marker 1_2 is described in the content program, such as a game or simulation performed in an augmented reality space or a virtual space. , It is performed based on the rules provided corresponding to the predetermined state.

図３は、ＡＲマーカー付き立体物により組み立てた対象立体物と、ＣＧオブジェクトとの関係を説明する図である。図２に示す環境において、ユーザがＡＲマーカー付き立体物により、対象立体物の組み立てを行う。
図３（ａ）は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々により、剣の立体形状に近い形状の対象立体物７０２が組み立てられた図を示している。以下の説明において、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々を、ＡＲマーカー付き立体物１として示す場合がある。 FIG. 3 is a diagram illustrating a relationship between a target three-dimensional object assembled by a three-dimensional object with an AR marker and a CG object. In the environment shown in FIG. 2, a user assembles a target three-dimensional object using a three-dimensional object with an AR marker.
FIG. 3A is a diagram in which a target three-dimensional object 702 having a shape close to the three-dimensional shape of a sword is assembled by each of the three-dimensional objects 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, and 1_9 with AR markers. Is shown. In the following description, each of the three-dimensional object with AR marker 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8 and 1_9 may be shown as the three-dimensional object with AR marker 1.

すでに図２で述べたＡＲマーカーの認識に基づくサーバ３０３の制御により、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々は、それぞれ対向する面における組となる電磁石１０２が異なる極性となることで結合して、対象立体物７０２を形成している。サーバ３０３は、アプリケーションプログラムの記述に従い、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々を、結合された対象立体物７０２により一体として認識する。 By controlling the server 303 based on the recognition of the AR marker already described in FIG. 2, each of the three-dimensional objects with AR markers 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, and 1_9 are set on the opposite surfaces. The electromagnets 102 that serve as the two have different polarities and are coupled to form the target three-dimensional object 702. According to the description of the application program, the server 303 recognizes each of the three-dimensional objects 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8 and 1_9 with AR markers as one by the combined target three-dimensional object 702.

ここで、サーバ３０３は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々のそれぞれのＡＲマーカーにより、対象立体物７０２の形状を認識し、図示しないデータベースから、認識した形状に対応するＣＧオブジェクトを抽出する。すなわち、コンテンツ毎に、拡張現実あるいは仮想空間のなかで用いられるＣＧオブジェクトが予め対象立体物のトポロジーと対応付けられている。また、組み立てて行く過程における対象立体物のトポロジーの各々に対しても、コンテンツのルールに対応して、対象立体物の形成における上記過程毎に置き換えられるＣＧオブジェクトが設定されていてもよい。 Here, the server 303 recognizes the shape of the target three-dimensional object 702 by each AR marker of the three-dimensional object 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, and 1_9 with an AR marker, and is not shown. Extract the CG object corresponding to the recognized shape from the database. That is, for each content, the CG object used in the augmented reality or virtual space is associated with the topology of the target solid object in advance. Further, for each of the topologies of the target solid object in the process of assembling, a CG object to be replaced for each of the above processes in the formation of the target solid object may be set according to the content rule.

図３（ａ）において、サーバ３０３は、対象立体物７０２の形状により、剣の三次元形状をしたＣＧオブジェクト７０１を、データベースから抽出する。図２と同様に、現実空間における対象立体物７０２が、拡張現実の空間あるいは仮想空間においてはＣＧオブジェクト７０１に置換され、この拡張現実の空間あるいは仮想空間がユーザの視点に対応して表示画面に画像表示される。このため、ユーザは、現実空間において自身が組み立てて形成した対象立体物７０２を持っているが、鑑賞している拡張現実の空間あるいは仮想空間の画像において剣のＣＧオブジェクト７０１を持っている状況を体験することができる。 In FIG. 3A, the server 303 extracts the CG object 701 having the three-dimensional shape of the sword from the database according to the shape of the target three-dimensional object 702. Similar to FIG. 2, the object solid object 702 in the real space is replaced with the CG object 701 in the augmented reality space or the virtual space, and the augmented reality space or the virtual space is displayed on the display screen corresponding to the user's viewpoint. The image is displayed. Therefore, the user has the object solid object 702 that he / she assembled and formed in the real space, but has the CG object 701 of the sword in the image of the augmented reality space or the virtual space that he / she is viewing. You can experience it.

例えば、ユーザが対象立体物７０２を持つことで、拡張現実の空間あるいは仮想空間における仮想の対戦相手とＣＧオブジェクト７０１の剣により戦う状況を体験することができる。電磁石１０２の結合力は強く、容易にはＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々が分離することはない。しかしながら、コンテンツのルールに従い、相手の剣と強くぶつかることにより、剣が折れた状況をユーザに体験させる目的で、対象立体物７０２を構成するＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９のいずれかの結合を、サーバ３０３が任意に分離させる制御を行うことができる。 For example, by holding the target solid object 702, the user can experience a situation in which a virtual opponent in an augmented reality space or a virtual space fights with the sword of the CG object 701. The coupling force of the electromagnet 102 is strong, and each of the three-dimensional objects 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8 and 1_9 with AR markers is not easily separated. However, according to the rules of the content, for the purpose of letting the user experience the situation where the sword is broken by strongly colliding with the opponent's sword, the three-dimensional object with AR marker 1_1, 1_2, 1_3, 1_4, 1_5 constituting the target three-dimensional object 702 The server 303 can arbitrarily control the coupling of any one of 1_6, 1_7, 1_8 and 1_9.

このとき、サーバ３０３は、対象物体７０１の位置及び姿勢を、対象物体７０１を形成するＡＲマーカー付き立体物１の各々に付与されているＡＲマーカーによりトラッキングし、いずれの位置のＡＲマーカー付き立体物１が対戦相手の剣とぶつかったかを検出する。そして、サーバ３０３は、検出されたＡＲマーカー付き立体物１と、このＡＲマーカー付き立体物１に結合している他のＡＲマーカー付き立体物１との各々を結合から分離の状態に制御する。 At this time, the server 303 tracks the position and orientation of the target object 701 by the AR markers attached to each of the three-dimensional objects with AR markers forming the target object 701, and the three-dimensional object with an AR marker at any position. Detects if 1 hits the opponent's sword. Then, the server 303 controls each of the detected three-dimensional object with an AR marker 1 and the other three-dimensional object with an AR marker bound to the three-dimensional object with an AR marker 1 in a state of being separated from the bond.

また、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々のＡＲマーカーが何らかに遮蔽されて、撮像される画像において、全てのＡＲマーカー付き立体物１のＡＲマーカーが検出されない場合がある。しかし、この場合においても、サーバ３０３は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の全てを対象立体物２０１として認識している。サーバ３０３は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８及び１＿９の各々が結合された順番により、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９それぞれが、対象立体物７０１のいずれに位置するかを認識している。 In addition, all the AR marker-equipped three-dimensional objects 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, and 1_9 AR markers are shielded in some way, and all the AR marker-equipped three-dimensional objects are captured. The AR marker of 1 may not be detected. However, even in this case, the server 303 recognizes all of the three-dimensional objects with AR markers 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, and 1_9 as the target three-dimensional objects 201. In the server 303, the three-dimensional objects with AR markers 1_1, 1_2, 1_3, 1_4, 1_5, and the three-dimensional objects with AR markers 1_1, 1_2, 1_3, 1_4, 1_5, respectively Each of 1_6, 1_7, 1_8, and 1_9 recognizes which of the target solid objects 701 is located.

このため、サーバ３０３は、画像撮像装置３０２から供給される画像から、これらＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９のいずれか一つのＡＲマーカーが検出できれば、検出されたＡＲマーカーの付与されたＡＲマーカー付き立体物１の対象立体物７０１における位置により、現実空間における対象立体物７０１の位置及び姿勢を推定することができる。 Therefore, the server 303 detects any one of the AR markers 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, and 1_9 from the image supplied from the image imaging device 302. If possible, the position and orientation of the target solid object 701 in the real space can be estimated from the position of the detected solid object 1 with the AR marker attached to the AR marker in the target solid object 701.

このように、サーバ３０３は、対象立体物７０１を構成するＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９のいずれか一つのＡＲマーカーが検出できれば、そのいずれか一つのＡＲマーカーにより、対象立体物７０１におけるＡＲマーカー付き立体物１の各々の位置、また、いずれの面が対向して結合しているか、さらに結合している面のいずれの電磁石１０２が結合の組となっているかの情報を得ることができる。この対象立体物７０１におけるＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９の各々の位置関係は、それぞれが分離されるまで確保される。 As described above, if the server 303 can detect any one of the AR markers of the three-dimensional object 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, 1_9 constituting the target three-dimensional object 701, any of them. With one AR marker, each position of the three-dimensional object 1 with the AR marker on the target three-dimensional object 701, which surface is opposed to each other, and which electromagnet 102 of the bonded surface is coupled. You can get information on whether it is a set of. The positional relationship between the three-dimensional objects with AR markers 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, and 1_9 in the target three-dimensional object 701 is secured until they are separated.

図３（ｂ）は、ＡＲマーカー付き立体物１＿１１、１＿１２、１＿１３、１＿１４、１＿１５、１＿１６、１＿１７、１＿１８、１＿１９及び１＿２０の各々により、ピッケルの立体形状に近い形状の対象立体物７０３が組み立てられた図を示している。以下の説明において、ＡＲマーカー付き立体物１＿１１、１＿１２、１＿１３、１＿１４、１＿１５、１＿１６、１＿１７、１＿１８、１＿１９及び１＿２０の各々を、ＡＲマーカー付き立体物１として示す場合がある。 In FIG. 3B, a three-dimensional object with an AR marker 1_111, 1_12, 1_13, 1_14, 1_15, 1_16, 1_17, 1_18, 1_19, and 1_20 are used to assemble a target three-dimensional object 703 having a shape close to the three-dimensional shape of an ice ax. The figure is shown. In the following description, each of the three-dimensional object with AR marker 1_11, 1_12, 1_13, 1_14, 1_15, 1_16, 1_17, 1_18, 1_19 and 1_20 may be shown as the three-dimensional object with AR marker 1.

すでに図２で述べたＡＲマーカーの認識に基づくサーバ３０３の制御により、ＡＲマーカー付き立体物１＿１１、１＿１２、１＿１３、１＿１４、１＿１５、１＿１６、１＿１７、１＿１８、１＿１９及び１＿２０の各々は、図３（ａ）と同様に、それぞれ対向する面における組となる電磁石１０２が異なる極性となることで結合して、対象立体物７０３を形成している。サーバ３０３は、アプリケーションプログラムの記述に従い、ＡＲマーカー付き立体物１＿１１、１＿１２、１＿１３、１＿１４、１＿１５、１＿１６、１＿１７、１＿１８、１＿１９及び１＿２０の各々を、結合された対象立体物７０３により一体として認識する。 By controlling the server 303 based on the recognition of the AR marker already described in FIG. 2, each of the three-dimensional objects with AR markers 1_11, 1_12, 1_13, 1_14, 1_15, 1_16, 1_17, 1_18, 1_19 and 1_20 is shown in FIG. 3 (a). ), The electromagnets 102 that form a set on the opposite surfaces are coupled by having different polarities to form the target three-dimensional object 703. According to the description of the application program, the server 303 recognizes each of the three-dimensional objects with AR markers 1_11, 1_12, 1_13, 1_14, 1_15, 1_16, 1_17, 1_18, 1_19 and 1_20 as one by the combined target three-dimensional object 703. ..

図２においては、ＡＲマーカー付き立体物１＿１、１＿２及び１＿３の各々が、例えば、一辺が３０ｃｍから１００ｃｍ程度のサイズの立方体形状を想定している。
また、図３においては、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９、１＿１１、１＿１２、１＿１３、１＿１４、１＿１５、１＿１６、１＿１７、１＿１８、１＿１９及び１＿２０の各々が、例えば、一辺が４ｃｍから３０ｃｍ程度のサイズの立方体形状を想定している。
上述したように、拡張現実の空間あるいは仮想空間におけるＣＧオブジェクトのサイズに対応して、複数の異なる大きさのサイズのＡＲマーカー付き立体物１を作成し、コンテンツ毎に対応させて、形状の異なる複数の対象立体物を形成するために必要な数を用意する。 In FIG. 2, each of the three-dimensional objects 1_1, 1_2, and 1_3 with AR markers is assumed to have a cubic shape having a side of about 30 cm to 100 cm, for example.
Further, in FIG. 3, three-dimensional objects with AR markers 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, 1_9, 1_11, 1_12, 1_13, 1_14, 1_15, 1_16, 1_17, 1_18, 1_19 and 1_20. Each of them assumes, for example, a cube shape having a side of about 4 cm to 30 cm.
As described above, three-dimensional objects 1 with AR markers of different sizes are created according to the size of the CG object in the augmented reality space or virtual space, and the shapes are different for each content. Prepare the number required to form multiple target solid objects.

図４は、他の三次元形状をしたＡＲマーカー付き立体物の例を示す図である。ＡＲマーカー付き立体物１は、同一の立体形状もしくは同一の面形状を有する複数個を結合させて対象立体物を形成する。このため、ＡＲマーカー付き立体物１は、汎用性を確保するため、空間充填可能な多面体形状が望ましいが、添付されているＡＲマーカーにより、位置及び姿勢が推定可能であれば、円柱、球体、三角錐、円錐などの三次元形状のいずれでもよい。 FIG. 4 is a diagram showing an example of another three-dimensional object with an AR marker having a three-dimensional shape. In the three-dimensional object 1 with an AR marker, a plurality of three-dimensional objects having the same three-dimensional shape or the same surface shape are combined to form a target three-dimensional object. Therefore, in order to ensure versatility, the three-dimensional object 1 with an AR marker is preferably a polyhedral shape that can be filled in space. However, if the position and orientation can be estimated by the attached AR marker, a cylinder, a sphere, or the like. It may be any three-dimensional shape such as a triangular pyramid or a cone.

図４（ａ）は、菱形１２面体の三次元形状を有するＡＲマーカー付き立体物を示している。ＡＲマーカー付き立体物１Ｅは、１２面の各々に対して、それぞれ固有な形状のＡＲマーカーが付与されている。面２０１は、ＡＲマーカー付き立体物１Ｅのいずれかの面を示している。面２０１には、面の頂点の各々の近傍に電磁石１０２がそれぞれ配置され、ユニークな形状のＡＲマーカー１０３が付与されている。 FIG. 4A shows a three-dimensional object with an AR marker having a three-dimensional shape of a rhombic dodecahedron. In the three-dimensional object 1E with an AR marker, an AR marker having a unique shape is given to each of the twelve faces. The surface 201 indicates any surface of the three-dimensional object 1E with an AR marker. An electromagnet 102 is arranged in the vicinity of each of the vertices of the surface on the surface 201, and an AR marker 103 having a unique shape is attached to the surface 201.

図４（ｂ）は、円錐としての三次元形状を有するＡＲマーカー付き立体物を示している。円錐の側面１ＦＳにおいて、所定の距離を有して、それぞれユニークなＡＲマーカー１０３＿１及び１０３＿２の各々が設けられている。円柱、球体、三角錐、円錐などの三次元形状のいずれでもよいが、少なくとも面２０２のように、他のＡＲマーカー付き立体物の面と結合させる面を形成させる必要がある。
この面２０２は、ＡＲマーカー付き立体物１Ｆの底面示している。面２０２には、面の頂点の各々の近傍に電磁石１０２がそれぞれ配置され、ＡＲマーカー１０３＿１及び１０３＿２の各々に対して、ユニークな形状のＡＲマーカー１０３＿３が付与されている。 FIG. 4B shows a three-dimensional object with an AR marker having a three-dimensional shape as a cone. On the side surface 1FS of the cone, each of the unique AR markers 103_1 and 103_2 is provided with a predetermined distance, respectively. It may have any three-dimensional shape such as a cylinder, a sphere, a triangular pyramid, or a cone, but it is necessary to form a surface to be connected to the surface of another three-dimensional object with an AR marker, such as at least the surface 202.
This surface 202 shows the bottom surface of the three-dimensional object 1F with an AR marker. On the surface 202, electromagnets 102 are arranged in the vicinity of each of the vertices of the surface, and an AR marker 103_3 having a unique shape is given to each of the AR markers 103_1 and 103_2.

上述したように、本実施形態によれば、所定の大きさのＡＲマーカー付き立体物１を複数個用いて、コンテンツの拡張現実の空間あるいは仮想空間内で使用するＣＧオブジェクトに対応する形状の対象立体物を形成するため、コンテンツで用いるＣＧオブジェクトに対応する形状の対象立体物を予め準備する必要が無く、予め決められた形状のＡＲマーカー付き立体物１を、いずれのＣＧオブジェクトの形状にも対応させることができる汎用性を持たせることができる。 As described above, according to the present embodiment, a plurality of three-dimensional objects 1 with AR markers of a predetermined size are used, and an object having a shape corresponding to a CG object used in the augmented reality space or virtual space of the content. In order to form a three-dimensional object, it is not necessary to prepare in advance a target three-dimensional object having a shape corresponding to the CG object used in the content, and the three-dimensional object 1 with an AR marker having a predetermined shape can be applied to any CG object shape. It is possible to have versatility that can be made to correspond.

また、本実施形態によれば、コンテンツの拡張現実の空間あるいは仮想空間内で使用するＣＧオブジェクトに対応する形状の対象立体物を形成する際、任意に結合及び分離が可能な結合機構により行うため、ユーザのコンテンツでの臨場感及び没入感を向上させることができる対象立体物をユーザが容易に形成することができる。
また、本実施形態によれば、コンテンツの拡張現実の空間あるいは仮想空間内で使用するＣＧオブジェクトに対応する形状の対象立体物を形成する際、任意に結合及び分離が可能な結合機構により行うため、コンテンツのルールに従ったサーバ（端末）の制御により、コンテンツの各場面に対応した多彩な状況を、ユーザに対して体験させることが可能となる。 Further, according to the present embodiment, when forming an object three-dimensional object having a shape corresponding to a CG object used in the augmented reality space or virtual space of the content, it is performed by a joining mechanism capable of arbitrarily joining and separating. , The user can easily form a target three-dimensional object that can improve the sense of presence and immersiveness in the user's content.
Further, according to the present embodiment, when forming an object three-dimensional object having a shape corresponding to a CG object used in the augmented reality space or virtual space of the content, it is performed by a joining mechanism capable of arbitrarily joining and separating. By controlling the server (terminal) according to the rules of the content, it is possible to let the user experience various situations corresponding to each scene of the content.

＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。図５は、本発明の第２の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。第２の実施形態において用いられるＡＲマーカー付き立体物は、第１の実施形態におけるＡＲマーカー付き立体物１と同様の構成であり、同様の機能を有している。この図５においては、ユーザ３０５が、本実施形態によるＡＲマーカー付き立体物１＿１、１＿２、１＿３、…それぞれを組み合わせて、対象立体物１Ｈを構成する作業を行っている状態を示している。第２の実施形態によるＡＲマーカーシステムは、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、…と、画像撮像装置３０２と、サーバ３０３と、ＶＲゴーグル３０８とを備えている。第１の実施形態と同様の構成に対しては、同一の符号を付してある。 <Second embodiment>
Hereinafter, the second embodiment of the present invention will be described with reference to the drawings. FIG. 5 is a conceptual diagram showing a configuration example of an AR marker system using a three-dimensional object with an AR marker according to the second embodiment of the present invention. The three-dimensional object with an AR marker used in the second embodiment has the same configuration as the three-dimensional object with an AR marker in the first embodiment, and has the same function. FIG. 5 shows a state in which the user 305 is performing the work of constructing the target three-dimensional object 1H by combining the three-dimensional objects with AR markers 1_1, 1_2, 1_3, ... According to the present embodiment. The AR marker system according to the second embodiment includes three-dimensional objects with AR markers 1_1, 1_2, 1_3, ..., An image imaging device 302, a server 303, and VR goggles 308. The same reference numerals are given to the same configurations as those of the first embodiment.

ＶＲゴーグル３０８は、第１の実施形態におけるプロジェクタ３０４及びスクリーン１０７との組合わせに代えた表示システムとして設けられている。ＶＲゴーグル３０８には、サーバ３０３から供給される、画像撮像装置３０２から供給される画像から形成した三次元の拡張現実の空間あるいは仮想空間において、ユーザの鑑賞している視点で視認できる画像が表示される。
ユーザが自身の手で、操作面１０６上において、ＡＲマーカー付き立体物１＿１、１＿２、１＿３それぞれを組み立てる操作を行うと、画像撮像装置３０２がユーザの視点に対応した画像を撮像し、サーバ３０３に対して出力する。 The VR goggles 308 are provided as a display system in place of the combination of the projector 304 and the screen 107 in the first embodiment. The VR goggles 308 displays an image that can be visually recognized from the viewpoint of the user in a three-dimensional augmented reality space or virtual space formed from an image supplied from the image imaging device 302 supplied from the server 303. Will be done.
When the user manually assembles the three-dimensional objects 1_1, 1_2, and 1_3 with AR markers on the operation surface 106, the image imaging device 302 captures an image corresponding to the user's viewpoint and displays the image on the server 303. Output to.

サーバ３０３は、供給される画像撮像装置３０２が撮像した画像から、ＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々の画像を抽出する。そして、サーバ３０３は、抽出したＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々のＡＲマーカーに基づき、ＡＲマーカー付き立体物１＿１、１＿２、１＿３それぞれの位置及び姿勢を検出する。サーバ３０３は、ＡＲマーカー付き立体物１＿１、１＿２、１＿３の各々のＡＲマーカーに基づき、上記画像におけるＡＲマーカー付き立体物１＿１、１＿２、１＿３それぞれを、ＣＧオブジェクトに置換して、置換した後の画像をＶＲゴーグル３０８に対して出力する。 The server 303 extracts each image of the three-dimensional object 1_1, 1_2, and 1_3 with an AR marker from the image captured by the supplied image imaging device 302. Then, the server 303 detects the position and posture of each of the three-dimensional objects with AR markers 1_1, 1_2, and 1_3 based on the extracted AR markers of the three-dimensional objects with AR markers 1_1, 1_2, and 1_3. The server 303 replaces each of the three-dimensional objects with AR markers 1_1, 1_2, and 1_3 in the above image with CG objects based on the AR markers of the three-dimensional objects 1_1, 1_2, and 1_3 with AR markers, and the image after the replacement. Is output to the VR goggles 308.

また、サーバ３０３は、第１の実施形態と同様に、所定の状態となった場合、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２を結合させる制御を行う上記制御信号を、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれに対して出力する。すなわち、サーバ３０３は、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々に対し、対向する面における電磁石１０２を制御、すなわち対向する面において結合する際に組となる電磁石１０２それぞれを逆の極性により磁化する制御信号を出力する。 Further, the server 303 has the AR marker attached to the control signal for controlling the combination of the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_2 with the AR marker when the predetermined state is reached, as in the first embodiment. Output is performed for each of the three-dimensional object 1_1 and the three-dimensional object 1_2 with an AR marker. That is, the server 303 controls the electromagnets 102 on the opposite surfaces with respect to each of the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_2 with the AR marker, that is, reverses each of the electromagnets 102 that are paired when they are coupled on the opposite surfaces. Outputs a control signal that is magnetized by the polarity of.

一方、サーバ３０３は、第１の実施形態と同様に、所定の状態となった場合、結合しているＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２を分離させる制御を行う上記制御信号を、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２それぞれに対して出力する。すなわち、サーバ３０３は、ＡＲマーカー付き立体物１＿１及びＡＲマーカー付き立体物１＿２の各々に対し、対向する面における電磁石１０２を制御、すなわち対向する面において結合する際に組となる電磁石１０２それぞれを非磁化する制御信号を出力する。 On the other hand, similarly to the first embodiment, the server 303 controls the three-dimensional object 1_1 with an AR marker and the three-dimensional object 1_2 with an AR marker to be separated when a predetermined state is reached. , Outputs for each of the three-dimensional object 1_1 with an AR marker and the three-dimensional object 1_2 with an AR marker. That is, the server 303 controls the electromagnets 102 on the facing surfaces with respect to each of the three-dimensional object 1_1 with the AR marker and the three-dimensional object 1_2 with the AR marker, that is, the electromagnets 102 that form a set when they are coupled on the facing surfaces are not set. Outputs a magnetizing control signal.

図６は、複数のＡＲマーカー付き立体物を用いて形成した対象立体物の他の形状例を示す図である。図６においては、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５及び１＿６の各々を用いて形成した、馬の三次元形状を模した対象立体物１Ｍを示している。ユーザがＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５及び１＿６の各々を用いて形成する際、サーバ３０３（不図示）は、それぞれのＡＲマーカーに基づいて、対象立体物１ＭにおけるＡＲマーカー付き立体物１それぞれの位置及び姿勢を検出する。そして、サーバ３０３は、ＡＲマーカー付き立体物１の各々が結合する際に対向する面の電磁石１０２を制御することにより、ＡＲマーカー付き立体物１それぞれを結合する。 FIG. 6 is a diagram showing another shape example of the target three-dimensional object formed by using the three-dimensional object with a plurality of AR markers. FIG. 6 shows a target three-dimensional object 1M that imitates the three-dimensional shape of a horse, which is formed by using each of the three-dimensional objects 1_1, 1_2, 1_3, 1_4, 1_5, and 1_6 with AR markers. When the user forms using each of the three-dimensional objects 1_1, 1_2, 1_3, 1_4, 1_5, and 1_6 with AR markers, the server 303 (not shown) is based on the respective AR markers, and the AR marker in the target three-dimensional object 1M. Attached three-dimensional object 1 Detects the position and posture of each. Then, the server 303 binds each of the three-dimensional objects with AR markers 1 by controlling the electromagnets 102 on the opposite surfaces when each of the three-dimensional objects with AR markers 1 is coupled.

サーバ３０３は、対象立体物１Ｍの形状から馬の形状のＣＧオブジェクトを抽出し、対象立体物１Ｍに代えて、抽出したＣＧオブジェクトを画像に合成した後、この合成後の画像を、ＶＲゴーグル３０８に対して出力する。これにより、ユーザは、ＶＲゴーグル３０８で鑑賞する拡張現実の空間あるいは仮想空間内において、馬に乗っている状態を体験することができる。
ここで、サーバ３０３は、対象立体物１ＭにおけるＡＲマーカー付き立体物１＿４の全てのＡＲマーカーは、ユーザにより遮蔽されて、画像から検出することができないが、このＡＲマーカー付き立体物１＿４に結合しているＡＲマーカー付き立体物１＿３及び１＿６の各々のＡＲマーカーにより、ＡＲマーカー付き立体物１＿４の位置及び姿勢が推定できる。 The server 303 extracts a horse-shaped CG object from the shape of the target three-dimensional object 1M, synthesizes the extracted CG object into an image instead of the target three-dimensional object 1M, and then combines the combined image with the VR goggles 308. Output to. As a result, the user can experience the state of riding a horse in the augmented reality space or the virtual space to be viewed with the VR goggles 308.
Here, the server 303 binds to the three-dimensional object with AR marker 1_4, although all the AR markers of the three-dimensional object with AR marker 1_4 in the target three-dimensional object 1M are shielded by the user and cannot be detected from the image. The position and orientation of the three-dimensional object 1_4 with the AR marker can be estimated from each of the AR markers of the three-dimensional object 1_3 and 1_6 with the AR marker.

図７は、複数のＡＲマーカー付き立体物を用いて形成した対象立体物の他の形状例を示す図である。図７においては、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９、１＿１０、１＿１１及び１＿１２の各々を用いて形成した、通路の壁を模した対象立体物１Ｎを示している。図７においては、ＡＲマーカー付き立体物１において、大規模な対象立体物を形成する際、一台の画像撮像装置３０２では、ＡＲマーカーが検出できないＡＲマーカー付き立体物１が複数発生することを考慮し、二台の画像撮像装置３０２＿１及び３０２＿２の各々により、異なる位置から対象立体物１Ｎ近傍の撮像を行い、トラッキング処理の精度を向上させる。 FIG. 7 is a diagram showing another shape example of the target three-dimensional object formed by using the three-dimensional object with a plurality of AR markers. In FIG. 7, a three-dimensional object with an AR marker 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, 1_9, 1_10, 1_11, and 1_12 are used to imitate a passage wall. It shows 1N. In FIG. 7, when a large-scale target three-dimensional object is formed in the three-dimensional object 1 with an AR marker, a plurality of three-dimensional objects 1 with an AR marker that cannot be detected by one image imaging device 302 are generated. In consideration, each of the two image imaging devices 302_1 and 302_1 captures images in the vicinity of the target three-dimensional object 1N from different positions, and improves the accuracy of the tracking process.

ユーザ３０５がＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、１＿７、１＿８、１＿９、１＿１０、１＿１１及び１＿１２の各々を用いて形成する際、サーバ３０３（不図示）は、それぞれのＡＲマーカーに基づいて、対象立体物１ＮにおけるＡＲマーカー付き立体物１それぞれの位置及び姿勢を検出する。そして、サーバ３０３は、ＡＲマーカー付き立体物１の各々が結合する際に対向する面の電磁石１０２を制御することにより、ＡＲマーカー付き立体物１それぞれを結合する。 When the user 305 is formed by using each of the three-dimensional objects 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, 1_7, 1_8, 1_9, 1_10, 1_11 and 1_12 with AR markers, the server 303 (not shown) has a respective Based on the AR marker, the position and orientation of each of the three-dimensional objects 1 with the AR marker in the target three-dimensional object 1N are detected. Then, the server 303 binds each of the three-dimensional objects with AR markers 1 by controlling the electromagnets 102 on the opposite surfaces when each of the three-dimensional objects with AR markers 1 is coupled.

ユーザ３０５は、通路の壁を模した対象立体物１Ｎを触れて進むことにより、壁面に触れる感覚を感じながら、通路を通る体験をすることができる。このとき、サーバ３０３は、対象立体物１Ｎの形状に対応し、仮想空間内において、対象立体物１Ｎを壁の三次元形状をしたＣＧオブジェクトの画像に置換し、ＶＲゴーグル３０８に対して画像を出力する。これにより、ユーザ３０５は、ＶＲゴーグル３０８において、壁面に囲まれた通路にいる状況を体験することができる。 By touching the target three-dimensional object 1N that imitates the wall of the passage, the user 305 can experience passing through the passage while feeling the feeling of touching the wall. At this time, the server 303 corresponds to the shape of the target three-dimensional object 1N, replaces the target three-dimensional object 1N with an image of a CG object having a three-dimensional shape of the wall in the virtual space, and displays the image for the VR goggles 308. Output. As a result, the user 305 can experience the situation of being in the passage surrounded by the wall surface in the VR goggles 308.

上述したように、本実施形態によれば、所定の大きさのＡＲマーカー付き立体物１を複数個用いて、コンテンツの拡張現実の空間あるいは仮想空間内で使用するＣＧオブジェクトに対応する形状の対象立体物を形成するため、コンテンツで用いるＣＧオブジェクトに対応する形状の対象立体物を予め準備する必要が無く、予め決められた形状のＡＲマーカー付き立体物１を、いずれのＣＧオブジェクトの形状にも対応させることができる汎用性を持たせることができる。
また、本実施形態によれば、コンテンツの拡張現実の空間あるいは仮想空間内で使用するＣＧオブジェクトに対応する形状の対象立体物を形成する際、任意に結合及び分離が可能な結合機構により行うため、ユーザのコンテンツでの臨場感及び没入感を向上させることができる対象立体物をユーザが容易に形成することができる。 As described above, according to the present embodiment, a plurality of three-dimensional objects 1 with AR markers of a predetermined size are used, and an object having a shape corresponding to a CG object used in the augmented reality space or virtual space of the content. In order to form a three-dimensional object, it is not necessary to prepare in advance a target three-dimensional object having a shape corresponding to the CG object used in the content, and the three-dimensional object 1 with an AR marker having a predetermined shape can be applied to any CG object shape. It is possible to have versatility that can be made to correspond.
Further, according to the present embodiment, when forming an object three-dimensional object having a shape corresponding to a CG object used in the augmented reality space or virtual space of the content, it is performed by a joining mechanism capable of arbitrarily joining and separating. , The user can easily form a target three-dimensional object that can improve the sense of presence and immersiveness in the user's content.

＜第３の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。図８は、本発明の第３の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。第３の実施形態において用いられるＡＲマーカー付き立体物は、第１の実施形態におけるＡＲマーカー付き立体物１と同様の構成であり、同様の機能を有している。この図８においては、ユーザ３０５が、本実施形態によるＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、…それぞれを組み合わせて、対象立体物１Ｎを構成する作業を行っている状態を示している。第３の実施形態によるＡＲマーカーシステムは、ＡＲマーカー付き立体物１＿１、１＿２、１＿３、１＿４、１＿５、１＿６、…と、操作面１００４上の対象立体物１Ｎ及びユーザ３０５を撮像する画像撮像装置（不図示、例えば図２の画像撮像装置３０２）と、サーバ（不図示、例えば図２のサーバ３０３）と、ＶＲゴーグル３０８とを備えている。 <Third embodiment>
Hereinafter, a third embodiment of the present invention will be described with reference to the drawings. FIG. 8 is a conceptual diagram showing a configuration example of an AR marker system using a three-dimensional object with an AR marker according to a third embodiment of the present invention. The three-dimensional object with an AR marker used in the third embodiment has the same configuration as the three-dimensional object with an AR marker in the first embodiment, and has the same function. In FIG. 8, the user 305 is performing the work of forming the target three-dimensional object 1N by combining the three-dimensional objects 1_1, 1_2, 1_3, 1_4, 1_5, 1_6, etc. with AR markers according to the present embodiment. Is shown. The AR marker system according to the third embodiment is an image imaging device that captures an image of a three-dimensional object 1N with an AR marker, 1_2, 1_3, 1_4, 1_5, 1_6, ..., An object three-dimensional object 1N on the operation surface 1004, and a user 305. It includes an image imaging device 302 (not shown, for example, FIG. 2), a server (not shown, for example, the server 303 in FIG. 2), and VR goggles 308.

図８における対象立体物１Ｎは、引き戸型の鉄扉あるいは岩扉の三次元形状を示している。コンテンツにおいて、鉄扉を開ける状況が有る場合、鉄扉の三次元形状として、ＡＲマーカー付き立体物１＿１、１＿２及び１＿３の各々の結合と、ＡＲマーカー付き立体物１＿４、１＿５及び１＿６結合とを行うのみでなく、重い鉄扉を引いて開ける状態を作り出す処理を行う。すなわち、操作面１００４を強磁性体の鉄板（床板）などで形成し、ＡＲマーカー付き立体物１＿１及び１＿６の各々が、操作面１００４と接する面の電磁石１０２を諸所定の磁力となるように磁化させ、重い鉄扉を開ける際に発生する鉄扉と床との摩擦力に対応する磁力を、電磁石１０２に対して発生させる。これにより、ユーザは、現実空間において対象立体物１Ｎを引き戸を開けるように移動させることで、電磁石１０２の所定の磁力により操作面１００４を吸引する吸引力により、ＶＲゴーグル３０８を通して鑑賞する拡張現実の空間あるいは仮想空間において、自身が重い鉄扉を開ける際の鉄扉と床との接触界面における摩擦の感覚を体感することができる。 The target three-dimensional object 1N in FIG. 8 shows a three-dimensional shape of a sliding door type iron door or a rock door. In the content, when there is a situation to open the iron door, as the three-dimensional shape of the iron door, only the three-dimensional objects 1_1, 1_2 and 1_3 with AR markers are connected and the three-dimensional objects 1_4, 1_5 and 1_6 with AR markers are combined. Instead, the process of pulling a heavy iron door to open it is performed. That is, the operation surface 1004 is formed of a ferromagnetic iron plate (floor plate) or the like, and each of the three-dimensional objects 1_1 and 1_6 with an AR marker magnetizes the electromagnet 102 on the surface in contact with the operation surface 1004 so as to have various predetermined magnetic forces. A magnetic force corresponding to the frictional force between the iron door and the floor generated when the heavy iron door is opened is generated on the electromagnet 102. As a result, the user moves the target three-dimensional object 1N so as to open the sliding door in the real space, and the attractive force that attracts the operation surface 1004 by the predetermined magnetic force of the electromagnet 102 causes the user to appreciate the augmented reality through the VR goggles 308. In space or virtual space, you can experience the feeling of friction at the contact interface between the iron door and the floor when you open the heavy iron door.

図９は、ＡＲマーカー付き立体物の各面における電磁石に対して印加する、間欠的な電力レベルをグラフである。図９のグラフは、縦軸が電力レベル（Ｗ）を示し、横軸が移動距離（Ｄ）を示している。結合機構制御部１０４２は、結合機構駆動部１０４４が電磁石１０２を駆動させる（磁化させる）際、所定の電圧により電流量を調整する（電力を調整する）ことにより、電磁石１０２の生じる磁力を制御させる。これにより、図８の例における引き戸を開ける際の摩擦力、あるいは地面において重い物体を引きずる際の摩擦力を、ＶＲゴーグル３０８を通して鑑賞する拡張現実の空間あるいは仮想空間において、ユーザに対して体感させる。
このように、図８が平坦な床あるいは地面を想定した、時間的に一定の電力を電磁石１０２に印加することにより、時間的に一定の磁力を電磁石１０２に誘起させ、ユーザに鉄扉の床に対する滑り摩擦を体感させる駆動方法を示している。 FIG. 9 is a graph showing intermittent power levels applied to electromagnets on each surface of a three-dimensional object with an AR marker. In the graph of FIG. 9, the vertical axis indicates the power level (W), and the horizontal axis indicates the moving distance (D). When the coupling mechanism driving unit 1044 drives (magnetizes) the electromagnet 102, the coupling mechanism control unit 1042 controls the magnetic force generated by the electromagnet 102 by adjusting the amount of current (adjusting the electric power) with a predetermined voltage. .. As a result, the frictional force when opening the sliding door in the example of FIG. 8 or the frictional force when dragging a heavy object on the ground is experienced by the user in the augmented reality space or virtual space to be viewed through the VR goggles 308. ..
As described above, by applying a temporally constant electric power to the electromagnet 102 assuming a flat floor or the ground in FIG. 8, a temporally constant magnetic force is induced in the electromagnet 102, and the user is forced to apply the electric power to the floor of the iron door. It shows a driving method that allows you to experience sliding friction.

一方、この図９においては物体が引きずられる地面が凸凹の状態をユーザに体感させるため、間欠的に磁化させる場合の電磁石１０２に印加される電力を示している。また、間欠的に磁化させるのではなく、電磁石１０２を継続的に磁化した状態とし、時間的に磁力の大きさを変化させる制御を行う駆動を行っても良い。
このとき、結合機構制御部１０４２は、結合機構駆動部１０４４を介して電磁石１０２を、間欠的に磁化させる、あるいは時間的に磁力を変化させる制御を行う。ここで、結合機構駆動部１０４４は、磁化する際の電流の印加のオンオフが容易に行えるように、スイッチ機構として半導体素子のパワートランジスタあるいはＦＥＴを用いることが望ましい。 On the other hand, FIG. 9 shows the electric power applied to the electromagnet 102 when the object is intermittently magnetized so that the user can experience the unevenness of the ground on which the object is dragged. Further, instead of intermittently magnetizing, the electromagnet 102 may be continuously magnetized and driven to control the magnitude of the magnetic force over time.
At this time, the coupling mechanism control unit 1042 controls the electromagnet 102 to be intermittently magnetized or the magnetic force is changed with time via the coupling mechanism driving unit 1044. Here, it is desirable that the coupling mechanism driving unit 1044 uses a power transistor or FET of a semiconductor element as a switch mechanism so that the application of a current at the time of magnetization can be easily turned on and off.

これにより、電磁石１０２を間欠的に駆動して磁化させることにより、物体を凸凹の面を引きずる感覚をユーザに体感させることができる。
また、電磁石１０２に誘起される磁力の大きさを時間的に変化させることにより、物体を引きずる際において、静止摩擦から動摩擦に変化する、地面の状況が場所によって変化する場合などの感覚をユーザに体感させることができる。
本実施形態によれば、コンテンツが示す拡張現実の空間あるいは仮想空間の状態に応じて、電磁石１０２の磁化及び磁化における磁力を時間的に変化させることにより、物体の重さを体感することが可能となり、ユーザのコンテンツでの臨場感及び没入感を向上させることができる。 As a result, the electromagnet 102 is intermittently driven and magnetized, so that the user can experience the sensation of dragging the uneven surface of the object.
In addition, by changing the magnitude of the magnetic force induced in the electromagnet 102 over time, the user can feel that when the object is dragged, the static friction changes to the dynamic friction, or the ground condition changes depending on the location. You can experience it.
According to this embodiment, it is possible to experience the weight of an object by temporally changing the magnetization of the electromagnet 102 and the magnetic force in the magnetization according to the state of the augmented real space or virtual space indicated by the content. Therefore, it is possible to improve the sense of presence and immersiveness in the user's content.

＜第４の実施形態＞
以下、本発明の第４の実施形態について、図面を参照して説明する。図１０は、本発明の第４の実施形態による、ＡＲマーカー付き立体物を用いたＡＲマーカーシステムの構成例を示す概念図である。第４の実施形態において用いられるＡＲマーカー付き立体物は、第１の実施形態におけるＡＲマーカー付き立体物１と同様の構成であり、同様の機能を有している。この図１０においては、ユーザ３０５が、すでに説明したサーバ３０３に代えて、画像を撮像する機能（画像撮像機能）を有する携帯端末５０１を使用し、自身の視点から拡張現実の空間あるいは仮想空間の画像を、表示画面５０１Ｓにおいて鑑賞するＡＲマーカーシステムの構成例を示している。
携帯端末５０１は、例えば、カメラが内蔵されたタブレット型のパーソナルコンピュータであり、ＡＲ及びＶＲのアプリケーションプログラムがインストールされている。 <Fourth Embodiment>
Hereinafter, a fourth embodiment of the present invention will be described with reference to the drawings. FIG. 10 is a conceptual diagram showing a configuration example of an AR marker system using a three-dimensional object with an AR marker according to a fourth embodiment of the present invention. The three-dimensional object with an AR marker used in the fourth embodiment has the same configuration as the three-dimensional object with an AR marker in the first embodiment, and has the same function. In FIG. 10, the user 305 uses a mobile terminal 501 having a function of capturing an image (image capturing function) in place of the server 303 already described, and uses an augmented reality space or a virtual space from his / her own viewpoint. An example of the configuration of an AR marker system for viewing an image on the display screen 501S is shown.
The mobile terminal 501 is, for example, a tablet-type personal computer having a built-in camera, and AR and VR application programs are installed.

ユーザがＡＲマーカー付き立体物１＿１と１＿２とを用いて、操作面１０６上において、所定の位置に対象立体物１Ｒを形成し、ＡＲマーカー付き立体物１＿３を所定の位置に配置する。
そして、ユーザが上記アプリケーションを起動し、携帯端末５０１の画像撮像機能を用いて、操作面１０６上の対象立体物１Ｒ及びＡＲマーカー付き立体物１＿３を撮像する。これにより、携帯端末５０１は、撮像する画像における対象物１Ｒ及びＡＲマーカー付き立体物１＿３の各々を、対象物１Ｒ、ＡＲマーカー付き立体物１＿３それぞれの形状に対応して設定されているＣＧオブジェクト１ＲＢ、１＿３Ｂに置換して、表示画面５０１Ｓに表示する。
本実施形態によれば、携帯端末５０１によっても、ユーザがコンテンツにおける臨場感及び没入感を向上させることができる。 The user forms the target three-dimensional object 1R at a predetermined position on the operation surface 106 by using the three-dimensional object 1_1 and 1_2 with an AR marker, and arranges the three-dimensional object 1_3 with an AR marker at a predetermined position.
Then, the user activates the above application and uses the image capturing function of the mobile terminal 501 to image the target three-dimensional object 1R and the three-dimensional object 1_3 with an AR marker on the operation surface 106. As a result, the mobile terminal 501 sets each of the object 1R and the three-dimensional object 1_3 with the AR marker in the image to be captured corresponding to the shapes of the object 1R and the three-dimensional object 1_3 with the AR marker. It is replaced with 1_3B and displayed on the display screen 501S.
According to the present embodiment, the mobile terminal 501 can also improve the user's sense of presence and immersiveness in the content.

また、第１の実施形態から第４の実施形態の各々においては、ＡＲマーカー付き立体物１と他のＡＲマーカー付き立体物１とを結合する結合機構として電磁石１０２を用いて説明した。しかしながら、結合機構として電磁石に限らず、ＡＲマーカー付き立体物１と他のＡＲマーカー付き立体物１とを結合させる結合機構として、結合を行う際に、結合機構駆動部１０４４が爪などを、結合させる相手の面に対向する面から、筐体１０１内より機械的に爪などを出し、互いの爪同士が勘合することで結合する構成としてもよい。この際、結合機構制御部１０４２は、結合機構駆動部１０４４を介して、結合している面同士が密着するように、爪が勘合した後に、それぞれの爪が筐体１０１内部に引き寄せる制御を行う。また、結合機構制御部１０４２は、ＡＲマーカー付き立体物１と他のＡＲマーカー付き立体物１とを分離する際、結合機構駆動部１０４４を介して、爪の各々の勘合を解除する制御を行う。 Further, in each of the first to fourth embodiments, the electromagnet 102 has been described as a coupling mechanism for coupling the three-dimensional object with an AR marker 1 and the other three-dimensional object with an AR marker 1. However, the coupling mechanism is not limited to the electromagnet, and as a coupling mechanism for coupling the three-dimensional object 1 with an AR marker and another three-dimensional object with an AR marker 1, when coupling is performed, the coupling mechanism driving unit 1044 couples a claw or the like. The claws or the like may be mechanically ejected from the inside of the housing 101 from the surface facing the surface of the other party to be made to fit, and the claws may be engaged with each other to be connected. At this time, the coupling mechanism control unit 1042 controls the coupling mechanism driving unit 1042 to pull each claw into the housing 101 after the claws are fitted so that the bonded surfaces are in close contact with each other. .. Further, when the coupling mechanism control unit 1042 separates the three-dimensional object 1 with an AR marker from the other three-dimensional object with an AR marker 1, the coupling mechanism control unit 1042 controls to release the fitting of each of the claws via the coupling mechanism driving unit 1044. ..

なお、本発明における図２のサーバ３０３、ＡＲマーカー付き立体物１の制御装置１０４や図１０の携帯端末５０１におけるＡＲマーカーシステムの各々の機能を実現するためのそれぞれプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより対象立体物をＣＧオブジェクトに置換し、表示画面に表示させる処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 A computer-readable recording medium for realizing each function of the server 303 of FIG. 2, the control device 104 of the three-dimensional object 1 with an AR marker, and the AR marker system of the portable terminal 501 of FIG. The program recorded in the recording medium may be read into a computer system and executed to replace the target solid object with a CG object and display it on a display screen. The term "computer system" as used herein includes hardware such as an OS and peripheral devices.

また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 Further, the "computer system" shall also include a WWW system provided with a homepage providing environment (or display environment). Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, and a storage device such as a hard disk built in a computer system. Furthermore, a "computer-readable recording medium" is a volatile memory (RAM) inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, it shall include those that hold the program for a certain period of time.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned function in combination with a program already recorded in the computer system.

ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。 Although the embodiments of the present invention have been described so far, the above-described embodiments are merely examples, and the present invention is not limited to the above-mentioned embodiments, and is implemented in various different forms within the scope of the technical idea. Needless to say, it's good.
Also, the scope of the present invention is not limited to the exemplary embodiments illustrated and described, but also includes all embodiments that provide an equivalent effect to that of the present invention. Further, the scope of the present invention is not limited to the combination of the features of the invention defined by each claim, but may be defined by any desired combination of specific features among all disclosed features. ..

１，１＿１，１＿２，１＿３，１＿４，１＿５，１＿６，１＿７，１＿８，１＿９，１＿１０，１＿１１，１＿１２，１＿１３，１＿１４，１＿１５，１＿１６，１＿１７，１＿１８，１＿１９，１＿２０…ＡＲマーカー付き立体物
１０１…筐体
１０２…電磁石
１０３，１０３＿１，１０３＿２，１０３＿３…ＡＲマーカー
１０４…制御装置
１０５…バッテリ
１０６，９０４，１００４…操作面
３０２，３０２＿１，３０２＿２…画像撮像装置
３０３…サーバ
３０４…プロジェクタ
３０５…ユーザ
３０７…スクリーン
３０８…ＶＲゴーグル
５０１…携帯端末
７０１，７０２，７０３，７０４，１Ａ，１Ｈ，１Ｍ，１Ｎ，１Ｒ…対象立体物
１０４１…通信部
１０４２…結合機構制御部
１０４３…充電制御部
１０４４…結合機構駆動部 1,1_1,1_2,1_3,1_4,1_5,1_6,1_7,1_8,1_9,1_10,1_11,1_12,1_13,1_14,1_15,1_16,1_17,1_18,1_19,1_20 ... Three-dimensional object with AR marker 101 ... Body 102 ... Electromagnet 103,103_1,103_2,103_3 ... AR marker 104 ... Control device 105 ... Battery 106,904,1004 ... Operation surface 302,302_1,302_2 ... Image imaging device 303 ... Server 304 ... Projector 305 ... User 307 ... Screen 308 ... VR goggles 501 ... Mobile terminal 701, 702, 703, 704, 1A, 1H, 1M, 1N, 1R ... Target three-dimensional object 1041 ... Communication unit 1042 ... Coupling mechanism control unit 1043 ... Charging control unit 1044 ... Coupling mechanism drive unit

Claims (9)

現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得る、前記ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成するために用いるＡＲマーカーシステムであり、 ＡＲマーカー付き立体物と、
撮像装置と、
前記撮像装置の撮像した撮像画像において、前記ＡＲマーカー付き立体物が組み合わされた前記対象立体物における当該ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該対象立体物に対応する前記ＣＧオブジェクトを抽出し、当該ＣＧオブジェクトを前記表示画面における前記対象立体物の位置に配置して表示画面に表示し、前記ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該ＡＲマーカー付き立体物の対抗する面の結合機構を制御して、前記ＡＲマーカー付き立体物の各々の結合及び分離の処理を、コンテンツのプログラムに記載された場面に対応して設けられているルールに基づいて行う端末と
を備えることを特徴とするＡＲマーカーシステム。 An AR marker system used to assemble and construct a three-dimensional object corresponding to the shape of the CG object, which obtains information on the position and orientation of displaying the CG object as virtual reality on the display screen displaying the real space. Yes, with a three-dimensional object with an AR marker,
Imaging device and
In the captured image captured by the imaging device, the AR marker in each of the three-dimensional objects with the AR marker in the target three-dimensional object in which the three-dimensional object with the AR marker is combined is identified, and the CG object corresponding to the target three-dimensional object is identified. Is extracted, the CG object is placed at the position of the target three-dimensional object on the display screen and displayed on the display screen, the AR marker in each of the three-dimensional objects with the AR marker is identified, and the three-dimensional object with the AR marker is identified. With a terminal that controls the coupling mechanism of the opposing surfaces and performs the processing of coupling and separation of each of the three-dimensional objects with AR markers based on the rules provided corresponding to the scene described in the content program. An AR marker system characterized by being equipped with. 前記端末が、
前記撮像画像における前記ＡＲマーカー付き立体物が組み合わされた前記対象立体物において、いずれかのＡＲマーカー付き立体物のＡＲマーカーが確認できない場合、前記対象立体物における前記ＡＲマーカー付き立体物の結合関係により、前記対象立体物全体の位置及び姿勢を認識し、前記ＣＧオブジェクトを前記対象立体物の位置及び姿勢に対応させて、前記表示画面に表示させる
ことを特徴とする請求項１に記載のＡＲマーカーシステム。 The terminal
When the AR marker of any of the three-dimensional objects with an AR marker cannot be confirmed in the target three-dimensional object in which the three-dimensional object with the AR marker is combined in the captured image, the coupling relationship of the three-dimensional object with the AR marker in the target three-dimensional object. The AR according to claim 1, wherein the position and orientation of the entire target three-dimensional object are recognized, and the CG object is displayed on the display screen in correspondence with the position and orientation of the target three-dimensional object. Marker system. 前記結合機構が電磁石で構成されており、
前記端末が、前記ＡＲマーカー付き立体物の各々を結合させる際に、結合させる前記ＡＲマーカー付き立体物のそれぞれの対向する面が所定の離間距離となった場合に、対抗する面の前記電磁石を駆動し、前記ＡＲマーカー付き立体物の各々が結合される
ことを特徴とする請求項１または請求項２に記載のＡＲマーカーシステム。 The coupling mechanism is composed of an electromagnet.
When the terminal joins each of the three-dimensional objects with AR markers, when the facing surfaces of the three-dimensional objects with AR markers to be coupled have a predetermined separation distance, the electromagnets on the opposing surfaces are used. The AR marker system according to claim 1 or 2, wherein each of the three-dimensional objects with AR markers is driven and coupled. 前記端末が、前記ＡＲマーカー付き立体物の前記電磁石の磁力の大きさを、前記コンテンツの場面における当該ＡＲマーカー付き立体物の位置に配置される前記ＣＧオブジェクトに生じる摩擦力に対応して制御する
ことを特徴とする請求項３に記載のＡＲマーカーシステム。 The terminal controls the magnitude of the magnetic force of the electromagnet of the three-dimensional object with the AR marker according to the frictional force generated in the CG object placed at the position of the three-dimensional object with the AR marker in the scene of the content. The AR marker system according to claim 3, wherein the AR marker system is characterized in that. 前記ＡＲマーカー付き立体物が強磁性体の床板に配置された際、
前記端末が、前記床板と対向する平面部における前記電磁石を稼働させ、当該電磁石の磁力を制御することにより、前記床板と前記平面部との接触界面における摩擦力を調整する
ことを特徴とする請求項４に記載のＡＲマーカーシステム。 When the three-dimensional object with the AR marker is placed on the floor plate of the ferromagnetic material,
A claim characterized in that the terminal operates the electromagnet on a flat surface portion facing the floor plate and controls the magnetic force of the electromagnet to adjust the frictional force at the contact interface between the floor plate and the flat surface portion. Item 4. The AR marker system according to Item 4. 現実空間を表示した表示画面において、仮想現実としてのＣＧオブジェクトを表示させる位置及び姿勢の情報を得るＡＲマーカーが添付された、前記ＣＧオブジェクトの形状に対応した対象立体物を、組み立てて構成することが可能なＡＲマーカーサーバであり、 撮像装置の撮像した撮像画像において、ＡＲマーカー付き立体物が組み合わされた前記対象立体物における当該ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該対象立体物に対応する前記ＣＧオブジェクトを抽出し、前記表示画面における前記対象立体物の位置に配置して、前記表示画面に表示し、前記ＡＲマーカー付き立体物の各々におけるＡＲマーカーを識別し、当該ＡＲマーカー付き立体物の対抗する面の結合機構を制御して、前記ＡＲマーカー付き立体物の各々の結合及び分離の処理を、コンテンツのプログラムに記載された場面に対応して設けられているルールに基づいて行う
ことを特徴とするＡＲマーカーサーバ。 To assemble and configure an object solid object corresponding to the shape of the CG object, to which an AR marker for obtaining information on the position and posture for displaying the CG object as a virtual reality is attached on the display screen displaying the real space. It is an AR marker server capable of identifying an AR marker in each of the three objects with an AR marker in the object three objects in which the three objects with the AR marker are combined in the captured image captured by the image pickup device. The CG object corresponding to the object is extracted, placed at the position of the target three-dimensional object on the display screen, displayed on the display screen, the AR marker in each of the three-dimensional objects with the AR marker is identified, and the AR is concerned. By controlling the coupling mechanism of the opposing surfaces of the three-dimensional object with the marker, the processing of the coupling and separation of each of the three-dimensional objects with the AR marker is according to the rule provided corresponding to the scene described in the content program. An AR marker server characterized by doing based on. 前記結合機構が電磁石で構成されており、
前記ＡＲマーカー付きの立体物の各々を結合させる際に、結合させる前記ＡＲマーカー付き立体物のそれぞれの対向する面が所定の離間距離となった場合に、対抗する面の前記電磁石を駆動し、前記ＡＲマーカー付き立体物の各々が結合される
ことを特徴とする請求項６に記載のＡＲマーカーサーバ。 The coupling mechanism is composed of an electromagnet.
When each of the three-dimensional objects with AR markers is coupled, when the opposing surfaces of the three-dimensional objects with AR markers to be coupled have a predetermined separation distance, the electromagnets on the opposing surfaces are driven. The AR marker server according to claim 6, wherein each of the three-dimensional objects with an AR marker is combined. 前記ＡＲマーカーサーバが、前記ＡＲマーカー付き立体物の前記電磁石の磁力の大きさを、前記コンテンツの場面における当該ＡＲマーカー付き立体物の位置に配置される前記ＣＧオブジェクトに生じる摩擦力に対応して制御する
ことを特徴とする請求項７に記載のＡＲマーカーサーバ。 The AR marker server makes the magnitude of the magnetic force of the electromagnet of the three-dimensional object with the AR marker correspond to the frictional force generated in the CG object placed at the position of the three-dimensional object with the AR marker in the scene of the content. The AR marker server according to claim 7, wherein the AR marker server is controlled. 前記ＡＲマーカー付き立体物が強磁性体の床板に配置された際、
前記ＡＲマーカーサーバが、前記床板と対向する平面部における前記電磁石を稼働させ、当該電磁石の磁力を制御することにより、前記床板と前記平面部との接触界面における摩擦力を調整する
ことを特徴とする請求項８に記載のＡＲマーカーサーバ。 When the three-dimensional object with the AR marker is placed on the floor plate of the ferromagnetic material,
The AR marker server operates the electromagnet on the flat surface portion facing the floor plate and controls the magnetic force of the electromagnet to adjust the frictional force at the contact interface between the floor plate and the flat surface portion. The AR marker server according to claim 8.
JP2017085313A 2017-04-24 2017-04-24 Three-dimensional object with AR marker, AR marker system and AR marker server Active JP6984158B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017085313A JP6984158B2 (en) 2017-04-24 2017-04-24 Three-dimensional object with AR marker, AR marker system and AR marker server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017085313A JP6984158B2 (en) 2017-04-24 2017-04-24 Three-dimensional object with AR marker, AR marker system and AR marker server

Publications (2)

Publication Number Publication Date
JP2018185568A JP2018185568A (en) 2018-11-22
JP6984158B2 true JP6984158B2 (en) 2021-12-17

Family

ID=64357322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017085313A Active JP6984158B2 (en) 2017-04-24 2017-04-24 Three-dimensional object with AR marker, AR marker system and AR marker server

Country Status (1)

Country Link
JP (1) JP6984158B2 (en)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02131302A (en) * 1988-11-05 1990-05-21 Toyota Auto Body Co Ltd Carrier employing movable magnet type linear motor
JP3863268B2 (en) * 1997-11-04 2006-12-27 株式会社システムワット Toy building block
JP4485834B2 (en) * 2004-04-09 2010-06-23 株式会社ベネッセコーポレーション Wiring segment and teaching material for electric experiment having the wiring segment
KR101522355B1 (en) * 2007-05-28 2015-05-21 가부시키가이샤 스텔라아츠 Assembled block and display system
JP5336092B2 (en) * 2008-01-30 2013-11-06 株式会社ステラアーツ Light emitting block and display device
EP2714222B2 (en) * 2011-05-23 2019-07-31 Lego A/S A toy construction system for augmented reality
CN104584369B (en) * 2012-08-30 2016-08-24 富士胶片株式会社 Charging device, electronic equipment and charge condition Notification Method
US10613586B2 (en) * 2015-03-23 2020-04-07 Semiconductor Energy Laboratory Co., Ltd. Display device, electronic device, and system
GB2550911B (en) * 2016-05-27 2021-02-10 Swap Bots Ltd Augmented reality toy

Also Published As

Publication number Publication date
JP2018185568A (en) 2018-11-22

Similar Documents

Publication Publication Date Title
CN109710057B (en) Method and system for dynamically reproducing virtual reality
CN103249461B (en) Be provided for the system that handheld device can catch the video of interactive application
US9656814B2 (en) Transport of an object across a surface
US9071808B2 (en) Storage medium having stored information processing program therein, information processing apparatus, information processing method, and information processing system
CN103390287B (en) Device and method for augmented reality
CN109475774A (en) Spectators&#39; management at view location in reality environment
CN110969905A (en) Remote teaching interaction and teaching aid interaction system for mixed reality and interaction method thereof
CN109471842B (en) Image file format, image file generating method, image file generating device and application
US11270510B2 (en) System and method for creating an augmented reality interactive environment in theatrical structure
CN112704883B (en) Method, device, terminal and storage medium for grouping virtual objects in virtual environment
CN112424728A (en) Information processing apparatus, information processing method, and program
CN208985412U (en) Wisdom education physical environment system
US11541322B1 (en) Mat controllable by remote computing device
CN111541832B (en) Electronic device, imaging method, and imaging apparatus
JP6984158B2 (en) Three-dimensional object with AR marker, AR marker system and AR marker server
CN102404584A (en) Method and device for adjusting scene left camera and scene right camera, three dimensional (3D) glasses and client side
CN109362228B (en) Unmanned vehicles, unmanned vehicles base and unmanned vehicles system
CN111230876A (en) Method and device for moving article, intelligent equipment and storage medium
CN105137861B (en) Self-propelling instrument with magnetic couplings
KR101618004B1 (en) Interactive content providing apparatus based on the virtual reality and method thereof
CN113457173A (en) Remote teaching method, device, computer equipment and storage medium
JP2013158466A (en) Real fishing game system
WO2013041152A1 (en) Methods to command a haptic renderer from real motion data
CN112005197B (en) Information processing device, information processing method, and program
Lu et al. An immersive telepresence system using rgb-d sensors and head mounted display

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170425

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211108

R150 Certificate of patent or registration of utility model

Ref document number: 6984158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150