JP6982207B1 - Magnetic field visualization system - Google Patents

Magnetic field visualization system Download PDF

Info

Publication number
JP6982207B1
JP6982207B1 JP2021046527A JP2021046527A JP6982207B1 JP 6982207 B1 JP6982207 B1 JP 6982207B1 JP 2021046527 A JP2021046527 A JP 2021046527A JP 2021046527 A JP2021046527 A JP 2021046527A JP 6982207 B1 JP6982207 B1 JP 6982207B1
Authority
JP
Japan
Prior art keywords
magnetic field
magnet
virtual
unit
superimposing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021046527A
Other languages
Japanese (ja)
Other versions
JP2022145218A (en
Inventor
達郎 植田
Original Assignee
達郎 植田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 達郎 植田 filed Critical 達郎 植田
Priority to JP2021046527A priority Critical patent/JP6982207B1/en
Application granted granted Critical
Publication of JP6982207B1 publication Critical patent/JP6982207B1/en
Publication of JP2022145218A publication Critical patent/JP2022145218A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】磁力線をリアルに表現することが可能な磁界可視化システムを提供する。【解決手段】カメラで撮像した映像２２ｃにマーカが映った場合に、当該マーカの位置を認識する認識部と、認識部の認識結果に基づいて仮想の磁石の位置を決定し、当該決定結果から仮想の磁石についての３次元の磁力線Ｂを作成して現実の世界に重ね合わせて表示する重畳部と、を具備し、認識部は、映像２２ｃに複数のマーカ３２が映った場合に、当該複数のマーカの位置をそれぞれ認識し、重畳部は、認識部の認識結果に基づいて複数の仮想の磁石の位置を決定し、当該複数の仮想の磁石の磁力を考慮して磁力線Ｂの形状を決定する。【選択図】図７PROBLEM TO BE SOLVED: To provide a magnetic field visualization system capable of realistically expressing a magnetic field line. When a marker appears on an image 22c captured by a camera, a recognition unit that recognizes the position of the marker and a position of a virtual magnet are determined based on the recognition result of the recognition unit, and the position of a virtual magnet is determined from the determination result. A superimposing unit that creates a three-dimensional magnetic field line B for a virtual magnet and superimposes it on the real world is provided, and the recognition unit is provided with a plurality of such markers 32 when a plurality of markers 32 are displayed on the image 22c. The position of each of the markers of the above is recognized, the superimposing part determines the position of a plurality of virtual magnets based on the recognition result of the recognition part, and the shape of the magnetic field line B is determined in consideration of the magnetic force of the plurality of virtual magnets. do. [Selection diagram] FIG. 7

Description

本発明は、磁界を可視化する磁界可視化システムの技術に関する。 The present invention relates to a technique for a magnetic field visualization system that visualizes a magnetic field.

従来、磁界を可視化するための技術は公知となっている。例えば、特許文献１に記載の如くである。 Conventionally, techniques for visualizing a magnetic field have been known. For example, as described in Patent Document 1.

特許文献１に記載の磁力線表示器は、２枚のフィルムの内側に液体及び磁性粒子が封入されることで構成される。磁性粒子は、磁石がフィルムの外側に置かれると、当該磁石の磁力線を描くように移動する。こうして、磁力線表示器は、磁力線を可視化することができる。 The magnetic field line indicator described in Patent Document 1 is configured by enclosing liquid and magnetic particles inside two films. When the magnet is placed on the outside of the film, the magnetic particles move so as to draw a magnetic field line of the magnet. In this way, the magnetic field line indicator can visualize the magnetic field lines.

特許文献１に記載の磁性粒子は、移動範囲がフィルム内に限られているため、磁力線を立体的に（リアルに）表現することが困難であった。 Since the magnetic particles described in Patent Document 1 have a moving range limited to the inside of the film, it is difficult to express the magnetic field lines three-dimensionally (realistically).

実登第３０９１２５０号公報Jitsuto No. 3091250 Gazette

本発明は、以上の如き状況を鑑みてなされたものであり、その解決しようとする課題は、磁力線をリアルに表現することが可能な磁界可視化システムを提供するものである。 The present invention has been made in view of the above situations, and the problem to be solved thereof is to provide a magnetic field visualization system capable of realistically expressing magnetic field lines.

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。 The problem to be solved by the present invention is as described above, and next, the means for solving this problem will be described.

即ち、請求項１においては、撮像部で撮像した映像に目印が映った場合に、当該目印の位置を認識する認識部と、前記認識部の認識結果に基づいて仮想の磁石の位置情報を決定し、当該決定結果から前記仮想の磁石についての３次元の磁力線を作成して現実の世界に重ね合わせて表示する重畳部と、を具備し、前記認識部は、前記映像に複数の前記目印が映った場合に、当該複数の前記目印の位置情報をそれぞれ認識するものであって、前記重畳部は、前記認識部の認識結果に基づいて複数の前記仮想の磁石の位置情報を決定し、当該複数の前記仮想の磁石の磁力を考慮して前記磁力線の形状を決定し、前記目印が取り付けられると共に利用者が把持可能に形成され、前記重畳部が前記３次元の磁力線を表示させている際、当該利用者の把持操作により前記目印の位置情報を変更可能な複数の把持手段をさらに具備し、複数の前記把持手段には、前記重畳部により決定される前記仮想の磁石の位置情報に対応するように、現実の磁石が取り付けられるものである。 That is, in claim 1, when a mark appears in the image captured by the imaging unit, the recognition unit that recognizes the position of the mark and the position information of the virtual magnet are determined based on the recognition result of the recognition unit. A superimposing unit that creates a three-dimensional magnetic field line for the virtual magnet from the determination result and superimposes it on the real world is provided, and the recognition unit has a plurality of the marks on the image. When reflected, the position information of the plurality of the marks is recognized, and the superimposing unit determines the position information of the plurality of virtual magnets based on the recognition result of the recognition unit, and the superimposing unit determines the position information of the plurality of virtual magnets. taking into account the plurality of the virtual magnet force determines the shape of the magnetic field lines, the the mark is attached co the a Subscriber is grippable formed, the superimposing unit is to display the field lines of the three-dimensional At that time, a plurality of gripping means capable of changing the position information of the mark by the gripping operation of the user are further provided, and the plurality of gripping means are provided with the positions of the virtual magnets determined by the superimposing portion. A real magnet is attached to correspond to the information.

請求項２においては、利用者の頭部に装着され、当該頭部が向く方向の映像を撮像する撮像部、及び、前記映像を前記利用者に表示する表示部に用いられ、前記重畳部は、前記決定結果から作成した前記仮想の磁石についての３次元の磁力線を、前記映像上に重ねて表示させることにより、前記頭部が向く方向に対応して見え方が変わるように当該３次元の磁力線を現実の世界に重ね合わせて表示するものである。 In claim 2, the image pickup unit is attached to the user's head and captures an image in the direction in which the head faces, and the display unit displays the image to the user, and the superimposed unit is used. By displaying the three-dimensional magnetic field lines of the virtual magnet created from the determination result on the image, the appearance of the virtual magnet changes according to the direction in which the head faces. The lines of magnetic force are superimposed and displayed on the real world .

請求項３においては、前記認識部は、前記映像に表示された所定の領域に対する前記目印の位置情報の変化の経過を認識し、前記重畳部は、前記決定結果から前記仮想の磁石の位置情報の変化の経過を取得し、当該仮想の磁石の位置情報の変化の経過に対応して変形していく前記３次元の磁力線を作成するものである。 In claim 3, the recognition unit recognizes the progress of change in the position information of the mark with respect to a predetermined area displayed on the image, and the superimposing unit recognizes the position information of the virtual magnet from the determination result. This is to acquire the progress of the change of the magnet and create the three-dimensional magnetic field line that is deformed in accordance with the progress of the change of the position information of the virtual magnet .

請求項４においては、前記位置情報には、位置及び向きに関する情報が含まれるものである。 In claim 4, the position information includes information regarding a position and an orientation .

本発明の効果として、以下に示すような効果を奏する。 As the effect of the present invention, the following effects are exhibited.

請求項１においては、磁力線をリアルに表現することができる。 In claim 1, the lines of magnetic force can be realistically expressed.

（ａ）端末を示す斜視図。（ｂ）磁界可視化システムの構成を示すブロック図。(A) A perspective view showing a terminal. (B) A block diagram showing a configuration of a magnetic field visualization system. （ａ）ボードを示す正面図。（ｂ）同じく側面図。(A) Front view showing the board. (B) Similarly, a side view. （ａ）カメラに映った映像を示す図。（ｂ）映像に枠体を重ね合わせた重畳結果を示す図。(A) A diagram showing an image captured by a camera. (B) The figure which shows the superimposition result which superposed the frame body on the image. 映像に映った磁石の近傍に正二十面体を作成する様子を示す図。The figure which shows the appearance of creating an icosahedron in the vicinity of the magnet shown in the image. （ａ）正二十面体から直線を引く様子を示す図。（ｂ）点Ｐｎにおける引力及び斥力を示す図。（ｃ）点Ｐｎから磁力の方向に沿った直線を作成する様子を示す図。(A) A diagram showing how a straight line is drawn from an icosahedron. (B) The figure which shows the attractive force and the repulsive force at a point Pn. (C) The figure which shows the state of making a straight line along the direction of a magnetic force from a point Pn. 正二十面体の各面の中心を端部とする複数の磁力線を示す図。The figure which shows a plurality of lines of magnetic force whose end is the center of each surface of an icosahedron. カメラの映像に磁力線を重ね合わせた様子を示す図。The figure which shows the state which superposed the magnetic field lines on the image of a camera.

以下の説明においては、図１（ａ）に示す端末２０を装着した利用者Ｕを基準として、上下方向、左右方向及び前後方向をそれぞれ定義する。 In the following description, the vertical direction, the horizontal direction, and the front-back direction are defined with reference to the user U wearing the terminal 20 shown in FIG. 1 (a).

以下では、本発明の一実施形態に係る磁界可視化システム１０について説明する。 Hereinafter, the magnetic field visualization system 10 according to the embodiment of the present invention will be described.

磁界可視化システム１０は、現実の世界と仮想の世界とを混合する複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を用いて、磁界を可視化するためのものである。磁界可視化システム１０は、例えば、教育現場で磁界についての説明を行う際等に用いられる。磁界可視化システム１０は、現実の世界に磁力線Ｂを重ね合わせて表示することで、磁界を可視化することができる（図７参照）。なお、磁力線Ｂは、後述する仮想の磁石についての磁力線である。磁界可視化システム１０は、端末２０を用いることで磁力線Ｂを作成して現実の世界に表示することができる。また、磁界可視化システム１０は、図２に示すボード３０のマーカ３２を認識することで、現実の世界の磁石（図２に示す磁石３１）に磁力線Ｂを重ね合わせて、当該磁力線Ｂを磁石３１の磁力線として表示することができる。以下ではまず、ボード３０及び端末２０の構成について説明する。 The magnetic field visualization system 10 is for visualizing a magnetic field by using mixed reality (MR) that mixes the real world and the virtual world. The magnetic field visualization system 10 is used, for example, when explaining a magnetic field in an educational field. The magnetic field visualization system 10 can visualize the magnetic field by superimposing the magnetic field line B on the real world and displaying it (see FIG. 7). The field line B is a field line of a virtual magnet described later. The magnetic field visualization system 10 can create a field line B and display it in the real world by using the terminal 20. Further, the magnetic field visualization system 10 recognizes the marker 32 of the board 30 shown in FIG. 2 to superimpose the magnetic field line B on the magnet (magnet 31 shown in FIG. 2) in the real world, and makes the magnetic field line B the magnet 31. Can be displayed as a magnetic field line of. Hereinafter, the configurations of the board 30 and the terminal 20 will be described first.

まず、図２を参照してボード３０の構成について説明する。ボード３０は、磁石３１及びマーカ３２の位置を決めるためのものである。ボード３０は、略板状に形成される。 First, the configuration of the board 30 will be described with reference to FIG. The board 30 is for determining the positions of the magnet 31 and the marker 32. The board 30 is formed in a substantially plate shape.

磁石３１は、ボード３０の上部に固定される棒磁石である。磁石３１は、長手方向を左右方向に向けて配置される。磁石３１は、ボード３０に１つ設けられる。Ｎ極３１ａは、ボード３０から左方へ僅かに突出するように配置される。Ｓ極３１ｂは、ボード３０から右方へ僅かに突出するように配置される。以下では、Ｎ極３１ａ及びＳ極３１ｂを総称して「磁極３１ａ・３１ｂ」と称する。 The magnet 31 is a bar magnet fixed to the upper part of the board 30. The magnet 31 is arranged so that the longitudinal direction is directed to the left-right direction. One magnet 31 is provided on the board 30. The N pole 31a is arranged so as to slightly project to the left from the board 30. The S pole 31b is arranged so as to slightly project to the right from the board 30. Hereinafter, the N pole 31a and the S pole 31b are collectively referred to as “magnetic poles 31a and 31b”.

マーカ３２は、後述する磁界可視化システム１０の認識部１１が認識可能な目印である。マーカ３２は、ボード３０に固定され、磁石３１の上方に間隔をあけて配置される。マーカ３２は、１つの磁石３１に対して１つ設けられる。マーカ３２には、黒い枠の内側に白と黒で所定の模様が付されたＡＲマーカが用いられる。マーカ３２の模様は、認識部１１が当該マーカ３２の位置及び向きを認識可能なものとなっている。 The marker 32 is a mark that can be recognized by the recognition unit 11 of the magnetic field visualization system 10 described later. The marker 32 is fixed to the board 30 and is arranged above the magnet 31 at intervals. One marker 32 is provided for one magnet 31. As the marker 32, an AR marker having a predetermined pattern in white and black inside a black frame is used. The pattern of the marker 32 is such that the recognition unit 11 can recognize the position and orientation of the marker 32.

上述の如く構成される磁石３１及びマーカ３２（ボード３０）は、複数準備される（図４参照）。複数のマーカ３２は、認識部１１がマーカ３２を一意に特定可能となるように、互いに異なる模様が付されている。 A plurality of magnets 31 and markers 32 (board 30) configured as described above are prepared (see FIG. 4). The plurality of markers 32 have different patterns so that the recognition unit 11 can uniquely identify the marker 32.

次に、図１を参照して端末２０の構成について説明する。端末２０は、利用者Ｕ（磁界可視化システム１０を利用する者）に複合現実を提供するための機器である。端末２０は、利用者Ｕが装着可能な眼鏡型のウェアラブルデバイスによって構成される。端末２０は、アーム部２１及びゴーグル部２２を具備する。 Next, the configuration of the terminal 20 will be described with reference to FIG. The terminal 20 is a device for providing mixed reality to the user U (the person who uses the magnetic field visualization system 10). The terminal 20 is composed of a glasses-type wearable device that can be worn by the user U. The terminal 20 includes an arm portion 21 and a goggle portion 22.

アーム部２１は、利用者Ｕの頭部に装着する部分である。アーム部２１には、音声を出力するためのスピーカ２１ａが設けられる。 The arm portion 21 is a portion to be attached to the head of the user U. The arm portion 21 is provided with a speaker 21a for outputting sound.

ゴーグル部２２は、利用者Ｕの目の周囲を覆う部分である。ゴーグル部２２は、カメラ２２ａ及びディスプレイ２２ｂを具備する。 The goggles portion 22 is a portion that covers the periphery of the eyes of the user U. The goggles portion 22 includes a camera 22a and a display 22b.

カメラ２２ａは、写真や映像を撮像するためのものである。カメラ２２ａは、ゴーグル部２２の上部に設けられる。カメラ２２ａのレンズは、利用者Ｕの目線（前方を見る際の目線）と概ね同一方向を向くように配置される。以下では、カメラ２２ａで撮像した映像（撮像結果）を「映像２２ｃ」と称する（図３（ａ）参照）。カメラ２２ａの映像２２ｃは、利用者Ｕが前方を見た際に映る光景と概ね同一のものとなっている。 The camera 22a is for capturing a photograph or video. The camera 22a is provided on the upper part of the goggles portion 22. The lens of the camera 22a is arranged so as to face substantially the same direction as the line of sight of the user U (the line of sight when looking forward). Hereinafter, the image (imaging result) captured by the camera 22a is referred to as “image 22c” (see FIG. 3A). The image 22c of the camera 22a is substantially the same as the scene seen when the user U looks ahead.

ディスプレイ２２ｂは、磁界可視化システム１０が作成した磁力線Ｂ等を表示するためのものである。ディスプレイ２２ｂは、ゴーグル部２２の裏側（利用者Ｕに近い側）に設けられる。ディスプレイ２２ｂは、例えば、透明の液晶ディスプレイ等によって構成される。こうして利用者Ｕは、ディスプレイ２２ｂ越しに前方の光景を視認することができる。 The display 22b is for displaying the magnetic field lines B and the like created by the magnetic field visualization system 10. The display 22b is provided on the back side of the goggles portion 22 (the side closer to the user U). The display 22b is composed of, for example, a transparent liquid crystal display or the like. In this way, the user U can visually recognize the front view through the display 22b.

上述の如く構成される端末２０には、演算処理を行う演算装置やプログラム等を記憶する記憶装置等が設けられる。端末２０は、記憶装置に記憶されたプログラムを演算装置で処理することで、種々の機能を提供することができる。端末２０には、磁界可視化システム１０が構築される。 The terminal 20 configured as described above is provided with an arithmetic unit for performing arithmetic processing, a storage device for storing a program, and the like. The terminal 20 can provide various functions by processing the program stored in the storage device by the arithmetic unit. A magnetic field visualization system 10 is constructed in the terminal 20.

次に、図１を参照して磁界可視化システム１０の構成について説明する。 Next, the configuration of the magnetic field visualization system 10 will be described with reference to FIG.

磁界可視化システム１０は、端末２０の記憶装置に記憶されたプログラムによって構成される。磁界可視化システム１０は、認識部１１及び重畳部１２を具備する。 The magnetic field visualization system 10 is configured by a program stored in the storage device of the terminal 20. The magnetic field visualization system 10 includes a recognition unit 11 and a superposition unit 12.

認識部１１は、ボード３０のマーカ３２の位置を認識するためのものである。認識部１１は、カメラ２２ａで撮像した映像２２ｃを取得可能に構成される。認識部１１は、取得した映像２２ｃを解析することで、マーカ３２の３次元の位置及び向きを認識することができる。なお、マーカ３２の向きとは、所定の姿勢（例えば、図２に示す姿勢）を基準として、映像２２ｃに映ったマーカ３２がどのように傾いているのかを示す情報を指す。認識部１１は、マーカ３２の３次元の位置及び向きの認識結果を、マーカ３２の識別情報と関連付けて後述する重畳部１２へ入力することができる。 The recognition unit 11 is for recognizing the position of the marker 32 on the board 30. The recognition unit 11 is configured to be able to acquire the image 22c captured by the camera 22a. The recognition unit 11 can recognize the three-dimensional position and orientation of the marker 32 by analyzing the acquired video 22c. The orientation of the marker 32 refers to information indicating how the marker 32 shown in the image 22c is tilted with respect to a predetermined posture (for example, the posture shown in FIG. 2). The recognition unit 11 can input the recognition result of the three-dimensional position and orientation of the marker 32 to the superimposition unit 12 described later in association with the identification information of the marker 32.

重畳部１２は、現実の世界と仮想の世界とを混合するためのものである。具体的には、重畳部１２は、現実の世界に磁力線Ｂを重ね合わせて表示するためのものである。重畳部１２は、認識部１１からの入力結果（マーカ３２の位置及び向き）に基づいて磁力線Ｂを作成すると共に、当該磁力線Ｂをディスプレイ２２ｂに表示させ、現実の世界に磁力線Ｂを重ね合わせることができる。なお、重畳部１２による磁力線Ｂの作成手順については後述する。 The superimposing unit 12 is for mixing the real world and the virtual world. Specifically, the superimposing unit 12 is for displaying the magnetic field lines B superimposed on the real world. The superimposing unit 12 creates a magnetic field line B based on an input result (position and orientation of the marker 32) from the recognition unit 11, displays the magnetic field line B on the display 22b, and superimposes the magnetic force line B on the real world. Can be done. The procedure for creating the magnetic field lines B by the superimposing unit 12 will be described later.

上述の如く構成される磁界可視化システム１０を利用する場合、端末２０を装着した利用者Ｕは、カメラ２２ａでマーカ３２を撮像する。このとき、利用者Ｕは、例えば、ボード３０を手に持って所定方向へスライドさせたり回転させる等して、カメラ２２ａに対するマーカ３２の位置及び向きを適宜変更してマーカ３２を撮像する。磁界可視化システム１０は、当該マーカ３２を認識部１１で認識して磁力線Ｂを重ね合わせて表示する。このとき、磁界可視化システム１０は、認識したマーカ３２の位置及び向きに基づいて、磁石３１から磁力線Ｂが出ているように磁界を表現する（図７参照）。また、磁界可視化システム１０は、認識したマーカ３２の数と同一の数の磁石３１による磁界を、磁力線Ｂで表現する。 When using the magnetic field visualization system 10 configured as described above, the user U wearing the terminal 20 takes an image of the marker 32 with the camera 22a. At this time, the user U takes an image of the marker 32 by appropriately changing the position and orientation of the marker 32 with respect to the camera 22a by, for example, holding the board 30 in his hand and sliding or rotating the board 30 in a predetermined direction. The magnetic field visualization system 10 recognizes the marker 32 by the recognition unit 11 and displays the magnetic field lines B on top of each other. At this time, the magnetic field visualization system 10 expresses the magnetic field as if the magnetic field line B is emitted from the magnet 31 based on the recognized position and orientation of the marker 32 (see FIG. 7). Further, the magnetic field visualization system 10 expresses the magnetic field due to the same number of magnets 31 as the number of recognized markers 32 by the magnetic field lines B.

以下では、磁界可視化システム１０による処理について説明する。 Hereinafter, the processing by the magnetic field visualization system 10 will be described.

磁界可視化システム１０の処理は、利用者Ｕが端末２０を操作することで適宜開始される。磁界可視化システム１０の処理が開始されると、カメラ２２ａは、図３（ａ）に示すように、映像２２ｃの撮像を開始する。なお、図３（ａ）に示す映像２２ｃには、説明の便宜上、ボード３０のみを記載し、背景の記載を省略している。また、ボード３０は、映像２２ｃの左端部に映っている。 The processing of the magnetic field visualization system 10 is appropriately started by the user U operating the terminal 20. When the processing of the magnetic field visualization system 10 is started, the camera 22a starts capturing the image 22c as shown in FIG. 3A. In the video 22c shown in FIG. 3A, only the board 30 is described for convenience of explanation, and the background description is omitted. Further, the board 30 is reflected in the left end portion of the image 22c.

カメラ２２ａが映像２２ｃの撮像を開始すると、図３（ｂ）に示すように、重畳部１２は、ディスプレイ２２ｂに枠体Ａを表示する。枠体Ａは、マーカ３２を映像２２ｃ内のどの範囲に映すのかを示す目安となるものである。なお、図３（ｂ）は、利用者Ｕがディスプレイ２２ｂ越しに見た前方の光景（現実の世界）に、枠体Ａを重ね合わせた重畳結果Ｒを模式的に示す図である。図３（ｂ）では、説明の便宜上、ボード３０及び枠体Ａのみを記載し、背景の記載を省略している。 When the camera 22a starts capturing the image 22c, the superimposing unit 12 displays the frame A on the display 22b as shown in FIG. 3B. The frame A is a guideline for indicating in which range the marker 32 is projected in the image 22c. Note that FIG. 3B is a diagram schematically showing the superimposed result R in which the frame body A is superimposed on the front view (real world) seen by the user U through the display 22b. In FIG. 3B, for convenience of explanation, only the board 30 and the frame A are described, and the background description is omitted.

また、カメラ２２ａが映像２２ｃの撮像を開始すると、認識部１１は、カメラ２２ａの映像２２ｃを取得する。認識部１１は、取得した映像２２ｃを解析して、映像２２ｃの所定範囲内（枠体Ａ内）に映ったマーカ３２を抽出する。図３（ａ）のように枠体Ａからマーカ３２の一部がはみ出している場合や、枠体Ａ内にマーカ３２が一切映っていない場合、認識部１１は、マーカ３２を抽出しない。この場合、認識部１１は、マーカ３２を抽出するまで映像２２ｃの解析を繰り返し実行する。また、利用者Ｕは、枠体Ａ内にマーカ３２が映るようにカメラ２２ａに対するマーカ３２の位置を調整する。例えば、利用者Ｕは、ボード３０を移動させたり、利用者Ｕ自身が向きを変える等して位置を調整する。 Further, when the camera 22a starts capturing the image 22c, the recognition unit 11 acquires the image 22c of the camera 22a. The recognition unit 11 analyzes the acquired image 22c and extracts the marker 32 reflected in the predetermined range (inside the frame A) of the image 22c. When a part of the marker 32 protrudes from the frame body A as shown in FIG. 3A, or when the marker 32 is not reflected in the frame body A at all, the recognition unit 11 does not extract the marker 32. In this case, the recognition unit 11 repeatedly executes the analysis of the video 22c until the marker 32 is extracted. Further, the user U adjusts the position of the marker 32 with respect to the camera 22a so that the marker 32 is reflected in the frame body A. For example, the user U adjusts the position by moving the board 30 or changing the direction of the user U himself / herself.

以下では、利用者Ｕがボード３０を適宜移動させ、図４のように２つのマーカ３２が枠体Ａ内に映った場合を例に挙げて、マーカ３２を抽出した場合の処理を説明する。図４に示す枠体Ａ内には、２つのボード３０のマーカ３２が互いに前後方向及び左右方向に間隔をあけて映っている。以下では、図４に示す左側の磁石３１を「左側の磁石３１Ｌ」と称する。また、紙面右側の磁石３１を「右側の磁石３１Ｒ」と称する。 Hereinafter, processing when the marker 32 is extracted will be described by taking as an example a case where the user U appropriately moves the board 30 and the two markers 32 are reflected in the frame body A as shown in FIG. In the frame body A shown in FIG. 4, the markers 32 of the two boards 30 are shown at intervals in the front-rear direction and the left-right direction. Hereinafter, the magnet 31 on the left side shown in FIG. 4 is referred to as “magnet 31L on the left side”. Further, the magnet 31 on the right side of the paper surface is referred to as "the magnet 31R on the right side".

認識部１１は、図４に示す映像２２ｃの解析結果から、２つのマーカ３２を抽出する。そして、認識部１１は、映像２２ｃに映ったマーカ３２の位置及び大きさ等に基づいて、抽出したマーカ３２の３次元の位置（例えば、カメラ２２ａを原点としたマーカ３２の３次元座標）及び向きを認識する。また、認識部１１は、マーカ３２の模様から、抽出したマーカ３２を特定する。認識部１１は、特定したマーカ３２についての識別情報（例えば、ＩＤ等）を、マーカ３２の位置及び向きの認識結果と関連付けて重畳部１２へ入力する。 The recognition unit 11 extracts two markers 32 from the analysis result of the image 22c shown in FIG. Then, the recognition unit 11 has a three-dimensional position of the extracted marker 32 (for example, three-dimensional coordinates of the marker 32 with the camera 22a as the origin) and the three-dimensional coordinates of the marker 32 based on the position and size of the marker 32 reflected in the image 22c. Recognize the orientation. Further, the recognition unit 11 identifies the extracted marker 32 from the pattern of the marker 32. The recognition unit 11 inputs identification information (for example, ID, etc.) about the specified marker 32 to the superimposing unit 12 in association with the recognition result of the position and orientation of the marker 32.

重畳部１２は、認識部１１から入力されたマーカ３２の位置等の認識結果に基づいて、仮想の磁石の位置を決定する。なお、仮想の磁石とは、端末２０に設定された仮想的な空間に配置される磁石である。また、仮想の磁石の位置とは、磁力線Ｂを作成するのに必要な仮想の磁石の位置情報を指す。具体的には、仮想の磁石の位置は、仮想の磁石の磁極の３次元座標である。 The superimposing unit 12 determines the position of the virtual magnet based on the recognition result such as the position of the marker 32 input from the recognition unit 11. The virtual magnet is a magnet arranged in a virtual space set in the terminal 20. Further, the position of the virtual magnet refers to the position information of the virtual magnet required to create the magnetic field line B. Specifically, the position of the virtual magnet is the three-dimensional coordinate of the magnetic pole of the virtual magnet.

重畳部１２は、枠体Ａ内に映ったマーカ３２の数と同一の数だけ仮想の磁石の位置を決定する。したがって、図４のように枠体Ａ内に２つのマーカ３２が映った場合、２つの仮想の磁石の位置を決定する。このとき、重畳部１２は、左右の磁石３１Ｌ・３１Ｒ（現実の世界の磁石）と重なるように仮想の磁石の位置を決定する。 The superimposing unit 12 determines the positions of virtual magnets by the same number as the number of markers 32 reflected in the frame body A. Therefore, when the two markers 32 are reflected in the frame A as shown in FIG. 4, the positions of the two virtual magnets are determined. At this time, the superimposing portion 12 determines the position of the virtual magnet so as to overlap the left and right magnets 31L / 31R (magnets in the real world).

具体的には、マーカ３２は、ボード３０に固定されて磁石３１に対する相対的な位置が予め決められている。重畳部１２は、例えば、端末２０の記憶装置にアクセスすることで、当該記憶装置に予め記憶されたマーカ３２と磁石３１との位置関係を取得する。重畳部１２は、マーカ３２の位置及び向きの認識結果と、マーカ３２及び磁石３１の位置関係の取得結果とに基づいて、左右の磁石３１Ｌ・３１Ｒの磁極３１ａ・３１ｂの位置と概ね一致するように、仮想の磁石の磁極の位置（３次元座標）を決定する。具体的には、重畳部１２は、磁石３１Ｌ・３１Ｒの磁極３１ａ・３１ｂから、当該磁石３１Ｌ・３１Ｒの長手方向外側に数ｍｍ（例えば、２ｍｍ）離れた位置を仮想の磁石の磁極の位置とする。このようにして重畳部１２は、左右の磁石３１Ｌ・３１Ｒと重なるように仮想の磁石の位置を決定する。 Specifically, the marker 32 is fixed to the board 30 and its relative position with respect to the magnet 31 is predetermined. The superimposing unit 12 acquires, for example, the positional relationship between the marker 32 and the magnet 31 stored in advance in the storage device by accessing the storage device of the terminal 20. The superimposing portion 12 substantially coincides with the positions of the magnetic poles 31a and 31b of the left and right magnets 31L and 31R based on the recognition result of the position and orientation of the marker 32 and the acquisition result of the positional relationship between the marker 32 and the magnet 31. In addition, the position (three-dimensional coordinates) of the magnetic poles of the virtual magnet is determined. Specifically, the superimposing portion 12 has a position separated from the magnetic poles 31a / 31b of the magnets 31L / 31R by several mm (for example, 2 mm) outside the longitudinal direction of the magnets 31L / 31R as the position of the magnetic poles of the virtual magnet. do. In this way, the superimposing portion 12 determines the position of the virtual magnet so as to overlap the left and right magnets 31L and 31R.

重畳部１２は、上述のような仮想の磁石の位置の決定結果に基づいて磁力線Ｂを作成して表示することで、左右の磁石３１の磁極３１ａ・３１ｂから磁力線Ｂが出ているように磁界を表現することができる。以下では、右側の磁石３１ＲのＮ極３１ａから磁力線Ｂが出ているように表現する場合を例に挙げ、磁力線Ｂを作成する処理の概略について説明する。 The superimposing unit 12 creates and displays the magnetic field lines B based on the determination result of the position of the virtual magnet as described above, so that the magnetic field lines B are emitted from the magnetic poles 31a and 31b of the left and right magnets 31. Can be expressed. In the following, an example of expressing the magnetic field line B as if it is emitted from the N pole 31a of the magnet 31R on the right side will be taken as an example, and the outline of the process for creating the magnetic field line B will be described.

重畳部１２は、まず、決定した仮想の磁石のＮ極３１ａの位置（右側の磁石３１ＲのＮ極３１ａから長手方向に数ｍｍ離れた位置）に仮想の正二十面体Ｃを作成する。このとき、重畳部１２は、マーカ３２の向き等に基づいて、正二十面体Ｃの向きを適宜決定する。例えば、重畳部１２は、仮想の磁石の長手方向に沿った直線上に、正二十面体Ｃの一部の頂点が配置されるように、正二十面体Ｃの向きを決定する。なお、正二十面体Ｃは、磁力線Ｂの端部の位置を決定するためのものである。以下では、正二十面体Ｃの２０個の正三角形の各面を「面Ｃ１」と称する。 First, the superimposing unit 12 creates a virtual icosahedron C at the position of the N pole 31a of the determined virtual magnet (a position several mm away from the N pole 31a of the magnet 31R on the right side in the longitudinal direction). At this time, the superimposing portion 12 appropriately determines the orientation of the regular icosahedron C based on the orientation of the marker 32 and the like. For example, the superimposing portion 12 determines the orientation of the regular icosahedron C so that a part of the vertices of the regular icosahedron C is arranged on a straight line along the longitudinal direction of the virtual magnet. The regular icosahedron C is for determining the position of the end portion of the magnetic field line B. In the following, each face of the 20 equilateral triangles of the regular icosahedron C will be referred to as "face C1".

図５（ａ）に示すように、重畳部１２は、作成した正二十面体Ｃの面Ｃ１の中心Ｃ２の位置を算出し、当該中心Ｃ２から面Ｃ１に対して直交する直線Ｌ１を作成する。当該直線Ｌ１は、比較的短い長さ（例えば、数ｍｍ程度の長さ）となっている。 As shown in FIG. 5A, the superimposing portion 12 calculates the position of the center C2 of the surface C1 of the created regular icosahedron C, and creates a straight line L1 orthogonal to the surface C1 from the center C2. .. The straight line L1 has a relatively short length (for example, a length of about several mm).

重畳部１２は、作成した直線Ｌ１の端部（中心Ｃ２とは反対側の端部）の点Ｐ２を出発点として、直線Ｌ２を作成する。このとき、重畳部１２は、点Ｐ２における磁力の方向を算出し、当該方向に平行な所定の長さの直線Ｌ２を作成する。そして、重畳部１２は、当該直線Ｌ２の端部の点Ｐ３における磁力の方向を算出し、当該点Ｐ３を出発点とすると共に磁力の方向に平行な所定の長さの直線Ｌ３を作成する。重畳部１２は、このような直線の作成を繰り返し行って直線をつなげてゆき、１本の磁力線Ｂを作成する。なお、重畳部１２が作成する直線の長さは、予め設定されている。 The superimposing portion 12 creates a straight line L2 with the point P2 at the end of the created straight line L1 (the end opposite to the center C2) as a starting point. At this time, the superimposing unit 12 calculates the direction of the magnetic force at the point P2 and creates a straight line L2 having a predetermined length parallel to the direction. Then, the superimposing portion 12 calculates the direction of the magnetic force at the point P3 at the end of the straight line L2, and creates a straight line L3 having a predetermined length parallel to the direction of the magnetic force while using the point P3 as a starting point. The superimposing unit 12 repeatedly creates such straight lines and connects the straight lines to create one magnetic line line B. The length of the straight line created by the superimposing unit 12 is preset.

以下では、図５に示す点Ｐｎから直線Ｌｎを作成する場合を例に挙げて、直線の作成方法の具体例を説明する。なお、点Ｐｎは、正二十面体Ｃの面Ｃ１の中心Ｃ２から繰り返し作成された（ｎ−１）本目の直線の端部となっている。 Hereinafter, a specific example of a method for creating a straight line will be described by taking as an example a case where a straight line Ln is created from the points Pn shown in FIG. The point Pn is the end of the (n-1) th straight line repeatedly created from the center C2 of the surface C1 of the regular icosahedron C.

重畳部１２は、点Ｐｎに＋１Ｗｂの単位正磁極を置いた場合に、当該単位正磁極が仮想の磁石から受ける引力Ｆ１及び斥力Ｆ２を算出することで、点Ｐｎにおける磁力の方向を算出する。上述のように、仮想の磁石は、左右の磁石３１（現実の世界の磁石）と重なるように配置されている。このため、以下では、仮想の磁石を左右の磁石３１Ｌ・３１Ｒに置き換えて、引力Ｆ１及び斥力Ｆ２の算出について説明する。まず、引力Ｆ１の算出について説明する。 The superimposing unit 12 calculates the direction of the magnetic force at the point Pn by calculating the attractive force F1 and the repulsive force F2 that the unit positive magnetic pole receives from the virtual magnet when the unit positive magnetic pole of + 1 Wb is placed at the point Pn. As described above, the virtual magnets are arranged so as to overlap the left and right magnets 31 (magnets in the real world). Therefore, in the following, the calculation of the attractive force F1 and the repulsive force F2 will be described by replacing the virtual magnets with the left and right magnets 31L / 31R. First, the calculation of the attractive force F1 will be described.

引力Ｆ１は、点Ｐｎに置いた単位正磁極がＳ極３１ｂに引き付けられる力である。重畳部１２は、点Ｐｎにおける引力Ｆ１を算出する場合に、左側の磁石３１ＬのＳ極３１ｂの３次元の位置及び点Ｐｎの３次元の位置に基づいて、点Ｐｎと左側の磁石３１ＬのＳ極３１ｂとの間の距離Ｄ１を算出する。そして、重畳部１２は、クーロンの法則を用いて左側の磁石３１ＬのＳ極３１ｂからの引力Ｆ１を算出する。具体的には、重畳部１２は、以下の数式（１）を用いて引力Ｆ１を算出する。
Ｆ＝ｋｍ＊（ｍ１＊ｍ２）／ｒ２・・・（１）
なお、上記数式（１）に記載のＦは、磁気力である。また、ｋｍは、比例定数である。また、ｍ１及びｍ２は、２つの磁極の磁気量である。また、ｒは、２つの磁極間の距離である。 The attractive force F1 is a force at which the unit positive magnetic pole placed at the point Pn is attracted to the S pole 31b. When calculating the attractive force F1 at the point Pn, the superimposing unit 12 determines the S of the point Pn and the left magnet 31L based on the three-dimensional position of the S pole 31b of the left magnet 31L and the three-dimensional position of the point Pn. The distance D1 between the pole 31b and the pole 31b is calculated. Then, the superimposing unit 12 calculates the attractive force F1 from the S pole 31b of the magnet 31L on the left side using Coulomb's law. Specifically, the superimposing unit 12 calculates the attractive force F1 using the following mathematical formula (1).
F = k m * (m 1 * m 2) / r 2 ··· (1)
In addition, F described in the said formula (1) is a magnetic force. Also, k m is a proportionality constant. Further, m 1 and m 2 are magnetic charges of the two magnetic poles. Further, r is the distance between the two magnetic poles.

重畳部１２は、上記数式（１）のｍ１及びｍ２に単位正磁極及び左側の磁石３１ＬのＳ極３１ｂの磁気量を代入すると共に、点Ｐｎと左側の磁石３１ＬのＳ極３１ｂとの間の距離Ｄ１をｒに代入することで、左側の磁石３１ＬのＳ極３１ｂからの引力Ｆ１（磁気力）を算出する。また、重畳部１２は、右側の磁石３１ＲのＳ極３１ｂについても、上記数式（１）を用いて引力Ｆ１を算出する（不図示）。 The superimposing unit 12 substitutes the magnetic charge of the unit positive magnetic force and the S pole 31b of the magnet 31L on the left side into m 1 and m 2 of the above equation (1), and the point Pn and the S pole 31b of the magnet 31L on the left side. By substituting the distance D1 between them into r, the attractive force F1 (magnetic force) from the S pole 31b of the magnet 31L on the left side is calculated. Further, the superimposing unit 12 also calculates the attractive force F1 for the S pole 31b of the magnet 31R on the right side by using the above mathematical formula (1) (not shown).

次に、斥力Ｆ２の算出について説明する。斥力Ｆ２は、点Ｐｎに置いた単位正磁極がＮ極３１ａに対して反発する力である。重畳部１２は、点Ｐｎにおける斥力Ｆ２を算出する場合に、右側の磁石３１ＲのＮ極３１ａの３次元の位置及び点Ｐｎの３次元の位置に基づいて、点Ｐｎと右側の磁石３１ＲのＮ極３１ａとの間の距離Ｄ２を算出する。そして、重畳部１２は、上記数式（１）を用いて、右側の磁石３１ＲのＮ極３１ａからの斥力Ｆ２を算出する。また、重畳部１２は、左側の磁石３１ＬのＮ極３１ａについても、上記数式（１）を用いて斥力Ｆ２を算出する（不図示）。 Next, the calculation of the repulsive force F2 will be described. The repulsive force F2 is a force that the unit positive magnetic pole placed at the point Pn repels the N pole 31a. When calculating the repulsive force F2 at the point Pn, the superimposing unit 12 bases the three-dimensional position of the N pole 31a of the right magnet 31R and the three-dimensional position of the point Pn on the N of the point Pn and the right magnet 31R. The distance D2 between the pole 31a and the pole 31a is calculated. Then, the superimposing unit 12 calculates the repulsive force F2 from the N pole 31a of the magnet 31R on the right side by using the above mathematical formula (1). Further, the superimposing unit 12 also calculates the repulsive force F2 using the above mathematical formula (1) for the N pole 31a of the magnet 31L on the left side (not shown).

重畳部１２は、こうして算出した全ての引力Ｆ１及び斥力Ｆ２を合算することで、点Ｐｎにおける磁力Ｆ３（方向及び大きさ）を算出する。そして、図５（ｃ）に示すように、重畳部１２は、点Ｐｎを出発点として、磁力Ｆ３の方向に平行な所定の長さの直線を作成する。こうして、重畳部１２は、点Ｐ２〜Ｐｎごと（節目ごと）に磁力の方向を算出し、当該算出結果に応じて直線Ｌ２〜Ｌｎの向きを修正しながら磁力線Ｂの形状を決定していく。重畳部１２は、作成した直線がＳ極３１ｂへ到達した場合や、ディスプレイ２２ｂからはみ出すような場合（例えば、直線が所定の範囲外へ出た場合）に、磁力線Ｂの作成を終了する。 The superimposing unit 12 calculates the magnetic force F3 (direction and magnitude) at the point Pn by adding up all the attractive force F1 and the repulsive force F2 calculated in this way. Then, as shown in FIG. 5C, the superimposing portion 12 creates a straight line having a predetermined length parallel to the direction of the magnetic force F3, starting from the point Pn. In this way, the superimposing unit 12 calculates the direction of the magnetic force for each point P2 to Pn (at each turning point), and determines the shape of the magnetic force line B while correcting the direction of the straight lines L2 to Ln according to the calculation result. The superimposing unit 12 ends the creation of the magnetic field line B when the created straight line reaches the S pole 31b or when it protrudes from the display 22b (for example, when the straight line goes out of a predetermined range).

図６に示すように、重畳部１２は、正二十面体Ｃの各面Ｃ１の中心Ｃ２を出発点として上述した磁力線Ｂの作成を行い、Ｎ極３１ａから２０本の３次元の磁力線Ｂを作成する。なお、図６では、説明の便宜上、２０本の磁力線Ｂのうち、一部（５本）の磁力線Ｂのみ記載している。また、重畳部１２は、Ｓ極３１ｂについてもＮ極３１ａと同様に、正二十面体Ｃを作成して２０本の磁力線Ｂを作成する。このとき、重畳部１２は、上記数式（１）を用いて、Ｓ極３１ｂからＮ極３１ａへ向かうように２０本の磁力線Ｂを作成する。こうして、図７に示すように、重畳部１２は、１本の磁石３１から複数（合計４０本）の３次元の磁力線Ｂを作成し、当該磁力線Ｂをディスプレイ２２ｂに表示する。こうして重畳部１２は、利用者Ｕが視認する現実の世界に磁力線Ｂを重ね合わせて表示する。なお、図７は、磁力線Ｂを重ね合わせた結果（重畳結果Ｒ）を示すものであり、説明の便宜上、磁石３１及び磁力線Ｂのみを記載し、その他の部材（マーカ３２やボード３０本体）の記載を省略している。また、図７では、重畳部１２が作成した磁力線Ｂのうち、一部の磁力線Ｂのみを記載している。 As shown in FIG. 6, the superimposing portion 12 creates the above-mentioned magnetic field lines B with the center C2 of each surface C1 of the regular icosahedron C as a starting point, and creates 20 three-dimensional magnetic field lines B from the N pole 31a. create. In FIG. 6, for convenience of explanation, only a part (5) of the magnetic field lines B out of the 20 magnetic field lines B are shown. Further, the superimposing portion 12 also creates an icosahedron C for the S pole 31b and creates 20 magnetic field lines B for the S pole 31b as well as the N pole 31a. At this time, the superimposing unit 12 creates 20 lines of magnetic force B so as to go from the S pole 31b to the N pole 31a by using the above mathematical formula (1). In this way, as shown in FIG. 7, the superimposing portion 12 creates a plurality of (40 total) three-dimensional magnetic field lines B from one magnet 31 and displays the magnetic field lines B on the display 22b. In this way, the superimposing unit 12 superimposes and displays the magnetic field line B on the real world visually recognized by the user U. Note that FIG. 7 shows the result of superimposing the magnetic field lines B (superimposition result R), and for convenience of explanation, only the magnet 31 and the magnetic field line B are described, and the other members (marker 32 and the board 30 main body) are shown. The description is omitted. Further, in FIG. 7, among the magnetic lines B created by the superimposing portion 12, only a part of the magnetic lines B are shown.

磁界可視化システム１０の処理では、上述のような認識部１１によるマーカ３２の認識と、重畳部１２による磁力線Ｂの作成及び表示と、が繰り返し実行される。このため、仮に磁界可視化システム１０の処理を行っているとき利用者Ｕがボード３０を動かす等して、図４に示す２つマーカ３２が相対移動した場合、認識部１１は、相対移動したマーカ３２を再認識する。そして、重畳部１２は、認識部１１の認識結果から仮想の磁石の位置を再計算し、当該再計算の結果から相対移動したマーカ３２に応じた磁力線Ｂを再作成（形状を再決定）して磁力線Ｂの表示を更新する。こうして、重畳部１２は、磁石の相対移動に伴う磁力線Ｂの変化を、利用者Ｕに視認させることができる。 In the processing of the magnetic field visualization system 10, recognition of the marker 32 by the recognition unit 11 as described above and creation and display of the magnetic field line B by the superimposing unit 12 are repeatedly executed. Therefore, if the user U moves the board 30 while the magnetic field visualization system 10 is being processed and the two markers 32 shown in FIG. 4 move relative to each other, the recognition unit 11 moves the markers relative to each other. Recognize 32. Then, the superimposing unit 12 recalculates the position of the virtual magnet from the recognition result of the recognition unit 11, and recreates (redetermines the shape) the magnetic field line B corresponding to the marker 32 that has moved relative to the result of the recalculation. The display of the magnetic field line B is updated. In this way, the superimposing unit 12 can make the user U visually recognize the change in the magnetic field line B due to the relative movement of the magnet.

なお、重畳部１２は、２つのマーカ３２の位置及び向きの算出結果から、左右の磁石３１Ｌ・３１Ｒの磁極３１ａ・３１ｂが互いに吸着したか否かを適宜判定している。重畳部１２は、仮に、磁極３１ａ・３１ｂが吸着したと判定した場合、吸着していない磁極３１ａ・３１ｂのみを考慮して磁力線Ｂを作成する。例えば、重畳部１２は、左側の磁石３１ＬのＮ極３１ａ及び右側の磁石３１ＲのＳ極３１ｂが吸着した場合に、左側の磁石３１ＬのＳ極３１ｂ及び右側の磁石３１ＲのＮ極３１ａ（吸着していない磁極）を互いに結ぶ磁力線Ｂを作成する。これによって、重畳部１２は、複数の磁石３１Ｌ・３１Ｒが吸着した場合の磁界を表現することができる。 The superimposing unit 12 appropriately determines whether or not the magnetic poles 31a and 31b of the left and right magnets 31L and 31R are attracted to each other from the calculation results of the positions and orientations of the two markers 32. If it is determined that the magnetic poles 31a and 31b are attracted, the superimposing unit 12 creates the magnetic field line B in consideration of only the non-adsorbed magnetic poles 31a and 31b. For example, when the N pole 31a of the left magnet 31L and the S pole 31b of the right magnet 31R are attracted to the superimposing portion 12, the S pole 31b of the left magnet 31L and the N pole 31a of the right magnet 31R (adsorbed). A magnetic field line B connecting the magnetic poles that are not connected to each other is created. Thereby, the superimposing unit 12 can express the magnetic field when a plurality of magnets 31L / 31R are attracted.

上述した磁界可視化システム１０の処理は、利用者Ｕが端末２０を適宜操作することで終了する。 The processing of the magnetic field visualization system 10 described above is completed when the user U appropriately operates the terminal 20.

このように、重畳部１２が３次元の磁力線Ｂを表示することで、利用者Ｕは、磁力線Ｂを様々なアングル（例えば、図４に示すようなマーカ３２がカメラ２２ａに対して傾斜する角度や、図２に示すようなマーカ３２がカメラ２２ａに対して正面を向く角度等）から、視認することができる。これにより、重畳部１２は、視認不能な磁界をリアルに（あたかも現実に存在しているように）表現することができる。 In this way, the superimposing portion 12 displays the three-dimensional magnetic field line B, so that the user U can tilt the magnetic force line B at various angles (for example, the angle at which the marker 32 as shown in FIG. 4 is tilted with respect to the camera 22a). It can be visually recognized from the angle at which the marker 32 as shown in FIG. 2 faces the front of the camera 22a). As a result, the superimposing unit 12 can realistically represent the invisible magnetic field (as if it actually exists).

ここで、図７に示す左右の磁石３１Ｌ・３１Ｒの磁極３１ａ・３１ｂは、映像２２ｃの奥行き方向（図７における紙面奥行き方向）に互いに異なる位置に配置されている。例えば、右側の磁石３１Ｒの場合、Ｎ極３１ａは、Ｓ極３１ｂよりも手前側に配置されている。この場合、重畳部１２は、奥行き方向を考慮して磁力線Ｂを表示して、磁界をよりリアルに表現することができる。具体的には、図２（ａ）のように磁極３１ａ・３１ｂの奥行き方向における位置が同じである場合に磁力線Ｂを表示すると、一部の磁力線Ｂが奥行き方向に重複して利用者Ｕが当該磁力線Ｂを視認できない可能性がある。これに対し、図７のように磁極３１ａ・３１ｂの奥行き方向における位置が異なっている場合、前記一部の磁力線Ｂ（利用者Ｕが視認できなかった磁力線Ｂ）を利用者Ｕが視認可能となる。こうして、重畳部１２は、磁界をよりリアルに表現することができる。 Here, the magnetic poles 31a and 31b of the left and right magnets 31L and 31R shown in FIG. 7 are arranged at different positions in the depth direction of the image 22c (the depth direction of the paper surface in FIG. 7). For example, in the case of the magnet 31R on the right side, the N pole 31a is arranged on the front side of the S pole 31b. In this case, the superimposing portion 12 can display the magnetic field line B in consideration of the depth direction, and can express the magnetic field more realistically. Specifically, when the magnetic field lines B are displayed when the positions of the magnetic poles 31a and 31b in the depth direction are the same as in FIG. 2A, some of the magnetic field lines B overlap in the depth direction and the user U The magnetic field line B may not be visible. On the other hand, when the positions of the magnetic poles 31a and 31b in the depth direction are different as shown in FIG. 7, the user U can visually recognize a part of the magnetic field lines B (the magnetic field lines B that the user U could not see). Become. In this way, the superimposing unit 12 can express the magnetic field more realistically.

また、重畳部１２は、マーカ３２の認識結果に基づいて、仮想の磁石を左右の磁石３１Ｌ・３１Ｒと重なるように配置して、当該磁石３１Ｌ・３１Ｒの近傍に磁力線Ｂの端部が位置するように、磁力線Ｂを表示している。これにより、現実の世界の磁石３１Ｌ・３１Ｒから磁力線Ｂが出ているように磁界を表現することができる。これによって、磁界をよりリアルに表現することができる。 Further, in the superimposing portion 12, based on the recognition result of the marker 32, a virtual magnet is arranged so as to overlap the left and right magnets 31L / 31R, and the end portion of the magnetic field line B is located in the vicinity of the magnets 31L / 31R. As shown above, the magnetic field line B is displayed. Thereby, the magnetic field can be expressed as if the magnetic field line B is emitted from the magnets 31L / 31R in the real world. This makes it possible to express the magnetic field more realistically.

ここで、磁石３１は、一般的に、Ｎ極３１ａが赤色に着色されると共に、Ｓ極３１ｂが青色に着色される。重畳部１２は、このようなＮ極３１ａ及びＳ極３１ｂの色に対して見易い色（同化せず、かつハレーションし難い色、例えば黄色）の磁力線Ｂを表示する。これにより、磁力線Ｂを視認し易くすることができる。 Here, in the magnet 31, the north pole 31a is generally colored red and the south pole 31b is colored blue. The superimposing unit 12 displays a magnetic field line B having a color that is easy to see (a color that is not assimilated and is difficult to halate, for example, yellow) with respect to the colors of the N pole 31a and the S pole 31b. As a result, the magnetic field line B can be easily visually recognized.

以上の如く、本実施形態に係る磁界可視化システム１０は、カメラ２２ａ（撮像部）で撮像した映像２２ｃにマーカ３２（目印）が映った場合に、当該マーカ３２の位置を認識する認識部１１と、前記認識部１１の認識結果に基づいて仮想の磁石の位置を決定し、当該決定結果から前記仮想の磁石についての３次元の磁力線Ｂを作成して現実の世界に重ね合わせて表示する重畳部１２と、を具備するものである。 As described above, the magnetic field visualization system 10 according to the present embodiment has the recognition unit 11 that recognizes the position of the marker 32 (mark) when the marker 32 (mark) is displayed on the image 22c captured by the camera 22a (imaging unit). , The position of the virtual magnet is determined based on the recognition result of the recognition unit 11, and the three-dimensional magnetic field line B for the virtual magnet is created from the determination result and displayed by superimposing it on the real world. 12 and.

このように、３次元の磁力線Ｂを現実の世界に重ね合わせることで、磁力線Ｂをリアルに表現することができる。 By superimposing the three-dimensional magnetic field lines B on the real world in this way, the magnetic force lines B can be realistically expressed.

また、前記認識部１１は、前記映像２２ｃに複数の前記マーカ３２が映った場合に、当該複数のマーカ３２の位置をそれぞれ認識し、前記重畳部１２は、前記認識部１１の認識結果に基づいて複数の前記仮想の磁石の位置を決定し、当該複数の仮想の磁石の磁力（図５（ｂ）に示す引力Ｆ１及び斥力Ｆ２）を考慮して前記磁力線Ｂの形状を決定するものである。 Further, the recognition unit 11 recognizes the positions of the plurality of markers 32 when the plurality of markers 32 are projected on the image 22c, and the superimposing unit 12 is based on the recognition result of the recognition unit 11. The positions of the plurality of virtual magnets are determined, and the shape of the magnetic force lines B is determined in consideration of the magnetic forces of the plurality of virtual magnets (attractive force F1 and repulsive force F2 shown in FIG. 5B). ..

このように構成することにより、ある仮想の磁石についての磁力線Ｂに対して、別の仮想の磁石が与える影響を見せることができる。これにより、複数の仮想の磁石がある場合における磁力線Ｂをリアルに表現することができる。 With this configuration, it is possible to show the influence of another virtual magnet on the field line B of one virtual magnet. This makes it possible to realistically represent the field line B when there are a plurality of virtual magnets.

また、前記重畳部１２は、前記複数の仮想の磁石の相対的な位置の変化に応じて、前記磁力線Ｂの形状を再決定して前記磁力線Ｂの表示を更新するものである。 Further, the superimposing portion 12 redetermines the shape of the magnetic field line B in response to a change in the relative position of the plurality of virtual magnets, and updates the display of the magnetic field line B.

このように構成することにより、仮想の磁石の相対移動に伴う磁界の変化を表現することができる。 With this configuration, it is possible to express the change in the magnetic field due to the relative movement of the virtual magnet.

また、前記重畳部１２は、前記仮想の磁石の磁極３１ａ・３１ｂの近傍に配置した仮想的な正多面体（正二十面体Ｃ）の各面Ｃ１の中心Ｃ２を前記磁力線Ｂの端部とするものである（図６参照）。 Further, the superimposing portion 12 has the center C2 of each surface C1 of the virtual regular polyhedron (regosahedral C) arranged in the vicinity of the magnetic poles 31a and 31b of the virtual magnet as the end portion of the magnetic force line B. (See Fig. 6).

このように構成することにより、各面Ｃ１の中心Ｃ２から磁力線Ｂを描き始めることができる（図５参照）。これによって、特定の方向（例えば、水平方向）に偏りがないという磁界の性質を正確に表現することができるため、磁力線Ｂをよりリアルに表現することができる。特に、重畳部１２は、磁石３１Ｌ・３１Ｒ（仮想の磁石）から当該磁石３１Ｌ・３１Ｒの長手方向の向きに所定距離だけ離れた位置に正二十面体Ｃを配置している。これにより、磁力線Ｂの端部（正二十面体Ｃの各面Ｃ１の中心Ｃ２）の位置を適切に設定することができる。 With this configuration, the magnetic field line B can be started to be drawn from the center C2 of each surface C1 (see FIG. 5). As a result, the property of the magnetic field that there is no bias in a specific direction (for example, the horizontal direction) can be accurately expressed, so that the field line B can be expressed more realistically. In particular, the superimposing portion 12 arranges the icosahedron C at a position separated by a predetermined distance from the magnets 31L / 31R (virtual magnets) in the longitudinal direction of the magnets 31L / 31R. Thereby, the position of the end portion of the magnetic field line B (the center C2 of each surface C1 of the regular icosahedron C) can be appropriately set.

また、前記重畳部１２は、前記映像２２ｃの奥行き方向において前記仮想の磁石の２つの磁極３１ａ・３１ｂが互いに異なる位置となった場合に、前記映像２２ｃの奥行き方向を考慮して前記磁力線Ｂを表示するものである。 Further, when the two magnetic poles 31a and 31b of the virtual magnet are located at different positions in the depth direction of the image 22c, the superimposing portion 12 sets the magnetic field line B in consideration of the depth direction of the image 22c. It is to be displayed.

このように構成することにより、磁力線Ｂをよりリアルに表現することができる。 With this configuration, the magnetic field line B can be expressed more realistically.

なお、本実施形態に係るカメラ２２ａは、本発明に係る撮像部の実施の一形態である。
また、本実施形態に係るマーカ３２は、本発明に係る目印の実施の一形態である。 The camera 22a according to the present embodiment is an embodiment of the image pickup unit according to the present invention.
Further, the marker 32 according to the present embodiment is an embodiment of the mark according to the present invention.

以上、本発明の実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above configuration, and various modifications can be made within the scope of the invention described in the claims.

例えば、磁界可視化システム１０は、教育の用途に用いられるものとしたが、磁界可視化システム１０の用途は特に限定されるものではない。 For example, the magnetic field visualization system 10 is used for educational purposes, but the use of the magnetic field visualization system 10 is not particularly limited.

また、磁界可視化システム１０は、眼鏡型のウェアラブルデバイスに実装されるものとしたが、磁界可視化システム１０が実装される端末２０は、複合現実を提供可能な機器であれば特に限定されるものではない。磁界可視化システム１０は、例えば、ＰＣやスマートフォン等に実装されていてもよい。 Further, the magnetic field visualization system 10 is mounted on a spectacle-type wearable device, but the terminal 20 on which the magnetic field visualization system 10 is mounted is not particularly limited as long as it is a device capable of providing mixed reality. No. The magnetic field visualization system 10 may be mounted on, for example, a PC, a smartphone, or the like.

また、重畳部１２は、複数の磁石の磁力（引力Ｆ１及び斥力Ｆ２）をそれぞれ考慮して磁力線Ｂを作成したが（図５参照）、磁石の位置関係（例えば、遠すぎる場合）等によっては、１つの磁石のみの磁力を考慮して磁力線Ｂを作成してもよい。 Further, the superimposing portion 12 creates the magnetic force lines B in consideration of the magnetic forces (attractive force F1 and repulsive force F2) of the plurality of magnets (see FIG. 5), but depending on the positional relationship of the magnets (for example, when they are too far). The magnetic force line B may be created in consideration of the magnetic force of only one magnet.

また、重畳部１２は、仮想の磁石の長手方向に沿った直線上に正二十面体Ｃの一部の頂点が配置されるように、正二十面体Ｃの向きを決定したが、正二十面体Ｃの向きは、特に限定されるものではない。例えば、重畳部１２は、一部の面Ｃ１の中心Ｃ２が前記長手方向に沿った直線上に配置されるように、正二十面体Ｃの向きを決定してもよい。また、Ｎ極３１ａの近傍に配置されたＮ極３１ａ側の正二十面体Ｃの向きと、Ｓ極３１ｂの近傍に配置されたＳ極３１ｂ側の正二十面体Ｃの向きと、の関係は特に限定されるものではない。したがって、例えば、重畳部１２は、Ｎ極３１ａ側及びＳ極３１ｂ側の正二十面体Ｃが互いに同一の向きとなるように、正二十面体Ｃの向きを決定してもよい。また、重畳部１２は、Ｎ極３１ａ側及びＳ極３１ｂ側の正二十面体Ｃの向きが互いに異なる向きとなるように、正二十面体Ｃの向きを決定してもよい。 Further, the superimposing portion 12 determines the orientation of the regular icosahedron C so that the vertices of a part of the regular icosahedron C are arranged on a straight line along the longitudinal direction of the virtual magnet. The orientation of the icosahedron C is not particularly limited. For example, the superimposing portion 12 may determine the orientation of the regular icosahedron C so that the center C2 of a part of the surfaces C1 is arranged on a straight line along the longitudinal direction. Further, the relationship between the orientation of the icosahedron C on the N pole 31a side arranged in the vicinity of the N pole 31a and the orientation of the icosahedron C on the S pole 31b side arranged in the vicinity of the S pole 31b. Is not particularly limited. Therefore, for example, the superimposing portion 12 may determine the orientation of the regular icosahedron C so that the regular icosahedrons C on the N pole 31a side and the S pole 31b side have the same orientation. Further, the superimposing portion 12 may determine the orientation of the regular icosahedron C so that the orientations of the regular icosahedrons C on the N pole 31a side and the S pole 31b side are different from each other.

また、重畳部１２は、磁極３１ａ・３１ｂの近傍に正二十面体Ｃを配置したが、磁極３１ａ・３１ｂの近傍に配置する正多面体は、正二十面体Ｃに限定されるものではなく、例えば、正八面体や正十二面体等であってもよい。なお、重畳部１２が表示する磁力線Ｂの本数は、ある程度多い方が望ましい。したがって、重畳部１２は、正多面体の中で、比較的面が多い正多面体、具体的には、正十二面体又は正二十面体Ｃを配置することが望ましい。これによって、重畳部１２は、磁力の強さ（磁力が強くなるにしたがって磁力線Ｂの間隔が狭くなること）を表現し易くなる。 Further, the superimposing portion 12 arranges the regular icosahedron C in the vicinity of the magnetic poles 31a and 31b, but the regular polyhedron arranged in the vicinity of the magnetic poles 31a and 31b is not limited to the regular icosahedron C. For example, it may be a regular octahedron, a regular icosahedron, or the like. It is desirable that the number of magnetic field lines B displayed by the superimposing unit 12 is large to some extent. Therefore, it is desirable that the superimposing portion 12 arranges a regular polyhedron having a relatively large number of faces, specifically, a regular dodecahedron or a regular icosahedron C among the regular polyhedra. As a result, the superimposing portion 12 can easily express the strength of the magnetic force (the interval between the magnetic force lines B becomes narrower as the magnetic force becomes stronger).

また、重畳部１２は、必ずしも正多面体の各面の中心から磁力線Ｂを作成する必要はない。重畳部１２は、例えば、正多面体の頂点から磁力線Ｂを作成してもよい。また、重畳部１２は、必ずしも正多面体を基準として磁力線Ｂを作成する必要はなく、正多面体とは異なる所定の部分（例えば、磁石の端面等）を基準として磁力線を作成してもよい。 Further, the superimposing portion 12 does not necessarily have to create the magnetic field line B from the center of each surface of the regular polyhedron. The superimposing portion 12 may create a magnetic field line B from the vertices of a regular polyhedron, for example. Further, the superimposing portion 12 does not necessarily have to create the magnetic field line B with reference to the regular polyhedron, and may create the magnetic field line with reference to a predetermined portion (for example, the end face of the magnet) different from the regular polyhedron.

また、重畳部１２は、１つのマーカ３２から１つの仮想の磁石の位置を決定したが、１つの仮想の磁石の位置を決定するのに必要なマーカ３２の個数は、特に限定されるものではない。重畳部１２は、例えば、位置が異なる複数のマーカ３２から１つの仮想の磁石の位置を決定してもよい。この場合、複数のマーカ３２の組み合わせ（１セット）が、１つの仮想の磁石の位置を決定する目印となる。このように、１つの仮想の磁石の位置を決めるための１つの目印としては、１つ又は複数のマーカ３２の組み合わせを用いることが可能である。 Further, the superimposing unit 12 determines the position of one virtual magnet from one marker 32, but the number of markers 32 required to determine the position of one virtual magnet is not particularly limited. No. The superimposing unit 12 may determine the position of one virtual magnet from a plurality of markers 32 having different positions, for example. In this case, the combination (one set) of the plurality of markers 32 serves as a mark for determining the position of one virtual magnet. As described above, a combination of one or a plurality of markers 32 can be used as one mark for determining the position of one virtual magnet.

また、認識部１１は、ＡＲマーカ（マーカ３２）を認識したが、これに限定されるものではなく、ＡＲマーカ以外のものを認識してもよい。 Further, although the recognition unit 11 has recognized the AR marker (marker 32), the recognition unit 11 is not limited to this, and may recognize something other than the AR marker.

また、重畳部１２は、Ｎ極３１ａからＳ極３１ｂへ向けて磁力線Ｂを徐々に（利用者Ｕが目で追える程度の速度で）表示してもよい。このような構成により、磁力がＮ極３１ａからＳ極３１ｂへ向かうことを、磁力線Ｂで表現することができる。 Further, the superimposing unit 12 may gradually display the field line B from the N pole 31a to the S pole 31b (at a speed that the user U can follow with his / her eyes). With such a configuration, it can be expressed by the magnetic field line B that the magnetic force moves from the N pole 31a to the S pole 31b.

１０ 磁界可視化システム
１１ 認識部
１２ 重畳部
２２ａ カメラ（撮像部）
２２ｃ 映像
３２ マーカ（目印）
Ｂ 磁力線 10 Magnetic field visualization system 11 Recognition unit 12 Superimposition unit 22a Camera (imaging unit)
22c Video 32 Marker (Mark)
B magnetic field lines

Claims (4)

撮像部で撮像した映像に目印が映った場合に、当該目印の位置を認識する認識部と、
前記認識部の認識結果に基づいて仮想の磁石の位置情報を決定し、当該決定結果から前記仮想の磁石についての３次元の磁力線を作成して現実の世界に重ね合わせて表示する重畳部と、
を具備し、
前記認識部は、
前記映像に複数の前記目印が映った場合に、当該複数の前記目印の位置情報をそれぞれ認識するものであって、
前記重畳部は、
前記認識部の認識結果に基づいて複数の前記仮想の磁石の位置情報を決定し、当該複数の前記仮想の磁石の磁力を考慮して前記磁力線の形状を決定し、
前記目印が取り付けられると共に利用者が把持可能に形成され、前記重畳部が前記３次元の磁力線を表示させている際、当該利用者の把持操作により前記目印の位置情報を変更可能な複数の把持手段をさらに具備し、
複数の前記把持手段には、
前記重畳部により決定される前記仮想の磁石の位置情報に対応するように、現実の磁石が取り付けられる、
磁界可視化システム。 When a mark appears in the image captured by the image pickup unit, a recognition unit that recognizes the position of the mark and a recognition unit.
A superimposing unit that determines the position information of the virtual magnet based on the recognition result of the recognition unit, creates a three-dimensional field line for the virtual magnet from the determination result, and superimposes and displays it on the real world.
Equipped with
The recognition unit
When a plurality of the landmarks are displayed in the video, the position information of the plurality of the landmarks is recognized respectively.
The superposed portion is
The position information of the plurality of virtual magnets is determined based on the recognition result of the recognition unit, and the shape of the magnetic field line is determined in consideration of the magnetic force of the plurality of virtual magnets.
Wherein the mark is attached co the a Subscriber is grippable formed, when the superimposition unit is to display the field lines of the three-dimensional, capable of changing the position information of the mark by the gripping operation of the user Further equipped with a plurality of gripping means,
The plurality of gripping means include
A real magnet is attached so as to correspond to the position information of the virtual magnet determined by the superimposing portion.
Magnetic field visualization system. 利用者の頭部に装着され、当該頭部が向く方向の映像を撮像する撮像部、及び、前記映像を前記利用者に表示する表示部に用いられ、
前記重畳部は、
前記決定結果から作成した前記仮想の磁石についての３次元の磁力線を、前記映像上に重ねて表示させることにより、前記頭部が向く方向に対応して見え方が変わるように当該３次元の磁力線を現実の世界に重ね合わせて表示する、
請求項１に記載の磁界可視化システム。 It is used for an imaging unit that is attached to the user's head and captures an image in the direction in which the head faces, and a display unit that displays the image to the user.
The superposed portion is
By superimposing and displaying the three-dimensional magnetic field lines of the virtual magnet created from the determination result on the image, the three-dimensional magnetic force lines so that the appearance changes according to the direction in which the head faces. Is superimposed on the real world,
The magnetic field visualization system according to claim 1. 前記認識部は、
前記映像に表示された所定の領域に対する前記目印の位置情報の変化の経過を認識し、
前記重畳部は、
前記決定結果から前記仮想の磁石の位置情報の変化の経過を取得し、当該仮想の磁石の位置情報の変化の経過に対応して変形していく前記３次元の磁力線を作成する、
請求項２に記載の磁界可視化システム。 The recognition unit
Recognizing the progress of the change in the position information of the mark with respect to the predetermined area displayed in the video,
The superposed portion is
The progress of the change in the position information of the virtual magnet is acquired from the determination result, and the three-dimensional field line that deforms in accordance with the progress of the change in the position information of the virtual magnet is created.
The magnetic field visualization system according to claim 2. 前記位置情報には、位置及び向きに関する情報が含まれる、
請求項１から請求項３までのいずれか一項に記載の磁界可視化システム。 The location information includes information about the location and orientation.
The magnetic field visualization system according to any one of claims 1 to 3.
JP2021046527A 2021-03-19 2021-03-19 Magnetic field visualization system Active JP6982207B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021046527A JP6982207B1 (en) 2021-03-19 2021-03-19 Magnetic field visualization system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021046527A JP6982207B1 (en) 2021-03-19 2021-03-19 Magnetic field visualization system

Publications (2)

Publication Number Publication Date
JP6982207B1 true JP6982207B1 (en) 2021-12-17
JP2022145218A JP2022145218A (en) 2022-10-03

Family

ID=79170184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021046527A Active JP6982207B1 (en) 2021-03-19 2021-03-19 Magnetic field visualization system

Country Status (1)

Country Link
JP (1) JP6982207B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226650A (en) * 2011-04-21 2012-11-15 Nippon Telegr & Teleph Corp <Ntt> Physical phenomenon representation apparatus and physical phenomenon representation system
CN104299493A (en) * 2014-10-29 2015-01-21 上海大学 Electromagnetic field teaching and experiment system based on augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226650A (en) * 2011-04-21 2012-11-15 Nippon Telegr & Teleph Corp <Ntt> Physical phenomenon representation apparatus and physical phenomenon representation system
CN104299493A (en) * 2014-10-29 2015-01-21 上海大学 Electromagnetic field teaching and experiment system based on augmented reality

Also Published As

Publication number Publication date
JP2022145218A (en) 2022-10-03

Similar Documents

Publication Publication Date Title
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US7596259B2 (en) Image generation system, image generation method, program, and information storage medium
US8854356B2 (en) Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
JP5646263B2 (en) Image processing program, image processing apparatus, image processing system, and image processing method
JP5671349B2 (en) Image processing program, image processing apparatus, image processing system, and image processing method
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
US9495800B2 (en) Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
EP1521482B1 (en) Image display apparatus and method
JP5739674B2 (en) Information processing program, information processing apparatus, information processing system, and information processing method
JP6340017B2 (en) An imaging system that synthesizes a subject and a three-dimensional virtual space in real time
JP3991020B2 (en) Image display method and image display system
JP4917664B1 (en) Image display device, game program, and game control method
JP5800484B2 (en) Display control program, display control device, display control system, and display control method
JP2012068964A (en) Image processing program, image processor, image processing system and image processing method
WO2014108799A2 (en) Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
EP2442280A1 (en) Blending a real world with a virtual world
US11156830B2 (en) Co-located pose estimation in a shared artificial reality environment
CN109358754A (en) A kind of mixed reality wears display system
JP5602702B2 (en) Image processing program, image processing apparatus, image processing system, and image processing method
KR101638550B1 (en) Virtual Reality System using of Mixed reality, and thereof implementation method
JP2018056924A (en) Image display device and virtual reality interface device using teh same
CN109445596A (en) A kind of integral type mixed reality wears display system
JP6982207B1 (en) Magnetic field visualization system
JP2012106005A (en) Image display device, game program, and game control method
JP2017099686A (en) Head-mounted display for game, program for head-mounted display for game, and control method of head-mounted display for game

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210329

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211118

R150 Certificate of patent or registration of utility model

Ref document number: 6982207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350