JP6820469B2 - Information processing equipment, information processing system, its control method and program - Google Patents
Information processing equipment, information processing system, its control method and program Download PDFInfo
- Publication number
- JP6820469B2 JP6820469B2 JP2016242078A JP2016242078A JP6820469B2 JP 6820469 B2 JP6820469 B2 JP 6820469B2 JP 2016242078 A JP2016242078 A JP 2016242078A JP 2016242078 A JP2016242078 A JP 2016242078A JP 6820469 B2 JP6820469 B2 JP 6820469B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- user
- interest
- head
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、情報処理装置、情報処理システム、その制御方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing system, a control method and a program thereof.
近年、複合現実(Mixed Reality/以下、MRと記載)の技術が普及している。MR技術を用いて、ヘッドマウントディスプレイ(HMD)を装着したユーザに対し、現実物体と仮想物体を配置した空間の疑似体験を提供できる。MR空間(現実空間と仮想空間とを合成した複合現実空間)を生成するにあたり、仮想空間を現実空間の位置合わせに用いられる位置指標として、センサや二次元マーカを用いる場合がある。 In recent years, mixed reality (hereinafter referred to as MR) technology has become widespread. MR technology can be used to provide a user wearing a head-mounted display (HMD) with a simulated experience of a space in which a real object and a virtual object are arranged. In generating MR space (mixed reality space that combines real space and virtual space), a sensor or a two-dimensional marker may be used as a position index used for aligning the virtual space with the real space.
特許文献1には、HMDで撮像された画像の中のマーカ画像からHMDの位置姿勢を特定し、HMDの位置姿勢から見た仮想物体の画像を生成、表示する技術が記載されている。 Patent Document 1 describes a technique of identifying the position and orientation of the HMD from a marker image in the image captured by the HMD, and generating and displaying an image of a virtual object viewed from the position and orientation of the HMD.
引用文献2には、センサを用いてHMDの位置姿勢を特定し、ユーザの手が所定の仮想物体と近付いた場合に、当該仮想物体の表示形態を変更する技術が記載されている。 Cited Document 2 describes a technique of specifying the position and orientation of the HMD by using a sensor and changing the display form of the virtual object when the user's hand approaches a predetermined virtual object.
また、HMDには視線追跡機能が搭載されているものがある。これはHMDに搭載されている機構により、装着者の目の動きを認識する機能である(例えば特許文献3)。視線を検知することで、視線の先にある仮想物体を選択したり、識別表示したりすることができる。 In addition, some HMDs are equipped with a line-of-sight tracking function. This is a function of recognizing the movement of the wearer's eyes by the mechanism mounted on the HMD (for example, Patent Document 3). By detecting the line of sight, it is possible to select or identify and display a virtual object in front of the line of sight.
例えば、複合現実を用いて、製品に係る作業のシミュレーションを行いたいことがある。例えば車のエンジン及びボディの配置・形状を検討するにあたり、車のエンジン部分の仮想物体を表示し、手にスパナ等の整備用の工具を持ち、エンジンと車のボディとの間に工具を差し込む隙間が十分にあるか、手や腕の入る隙間が十分にあるか確認しながら設計を行うことがある。 For example, you may want to simulate work related to a product using mixed reality. For example, when examining the arrangement and shape of a car engine and body, display a virtual object of the car engine part, hold a maintenance tool such as a spanner in your hand, and insert the tool between the engine and the car body. The design may be done while confirming that there is a sufficient gap and that there is a sufficient gap for the hands and arms.
現実の工具を使うこともできるが、場合によっては、工具も仮想物体で代用することができる。この場合、ユーザが工具を握っている感触を伝えるために、マーカが貼り付けられた現実物体をユーザに持たせ、当該マーカに工具の仮想物体を重畳させる等して複合現実を体感させることが行われている。 Real tools can be used, but in some cases, tools can be replaced by virtual objects. In this case, in order to convey the feeling that the user is holding the tool, the user may be given a real object to which a marker is attached, and the virtual object of the tool may be superimposed on the marker to experience mixed reality. It is done.
そして、これはエンジンに限らないが、製品によっては複数の工具を使い分ける必要がある。よってシミュレーションを行うためには、都度、手元の工具を最適な工具に持ち替えなければならない。現実物体を持ち替えるのが手間な場合は、マーカに対応する仮想物体を、仮想物体の表示状態を管理しているPCを操作する等して切り替えることが可能だが、いちいちPCの前に移動して操作するのは時間がかかり、手間である。 And this is not limited to the engine, but depending on the product, it is necessary to use multiple tools properly. Therefore, in order to perform the simulation, it is necessary to change the tool at hand to the optimum tool each time. If it is troublesome to switch the real object, it is possible to switch the virtual object corresponding to the marker by operating the PC that manages the display state of the virtual object, but move it in front of the PC one by one. It is time consuming and time consuming to operate.
本発明は、ユーザの視線に応じて仮想物体の表示を容易に切り替え可能な仕組みを提供することを目的とする。 An object of the present invention is to provide a mechanism capable of easily switching the display of a virtual object according to the line of sight of the user.
本発明は、頭部装着型表示装置を備える情報処理装置であって、前記頭部装着型表示装置を装着しているユーザの視線から、前記ユーザが着目している着目対象の物体を特定する特定手段と、前記特定手段により特定された前記着目対象の物体とは別に、前記着目対象の物体に対応する仮想物体を前記頭部装着型表示装置に表示する仮想物体として決定する決定手段と、前記決定手段によって表示することが決定された仮想物体を前記頭部装着型表示装置に表示すべく制御する表示制御手段と、を備え、前記決定手段は、前記特定手段により特定されたユーザの着目対象の物体が別の物体となった場合に、前記表示制御手段により前記頭部装着型表示装置において既に表示されている前記仮想物体を、前記別の物体に対応する仮想物体とすることを決定し、前記表示制御手段は、前記決定手段により決定された前記別の物体に対応する仮想物体を前記頭部装着型表示装置に表示すべく制御することを特徴とする。 The present invention is an information processing device including a head-mounted display device, and identifies an object of interest that the user is paying attention to from the line of sight of the user wearing the head-mounted display device. A determination means for determining a virtual object corresponding to the object of interest as a virtual object to be displayed on the head-mounted display device, separately from the specific means and the object of interest specified by the specific means. The determination means includes display control means for controlling the virtual object determined to be displayed by the determination means so as to be displayed on the head-mounted display device, and the determination means is the focus of the user specified by the specific means. When the target object becomes another object, the display control means determines that the virtual object already displayed on the head-mounted display device is a virtual object corresponding to the other object. The display control means is characterized in that a virtual object corresponding to the other object determined by the determination means is controlled to be displayed on the head-mounted display device.
本発明によれば、ユーザの視線に応じて仮想物体の表示を容易に切り替え可能な仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism capable of easily switching the display of a virtual object according to the line of sight of the user.
以下、図面を参照して、本発明の実施の形態の一例について説明する。 Hereinafter, an example of the embodiment of the present invention will be described with reference to the drawings.
まず図1を参照して、本発明の第1の実施形態における、情報処理システムの構成の一例について説明する。 First, with reference to FIG. 1, an example of the configuration of the information processing system according to the first embodiment of the present invention will be described.
図1に示すように、本発明における各種装置はネットワークを介して通信可能に接続されている。例えばPC100は、ケーブルでヘッドマウントディスプレイ(頭部装着型表示装置)であるHMD101と通信可能に接続されている。 As shown in FIG. 1, the various devices of the present invention are communicably connected via a network. For example, the PC 100 is communicatively connected to the HMD 101, which is a head-mounted display (head-mounted display device), by a cable.
つまり、PC100は表示装置の1つとしてHMD101を備えており、PC100で生成した画像をHMD101に出力し、表示させることが可能である。 That is, the PC 100 includes the HMD 101 as one of the display devices, and the image generated by the PC 100 can be output to the HMD 101 and displayed.
PC100には、HMD101により撮像される現実画像に重畳する3次元モデルが記憶されている。現実物体に対して、CGである当該3次元モデルのことを仮想物体と呼ぶこととする。 The PC 100 stores a three-dimensional model superimposed on a real image captured by the HMD 101. The three-dimensional model that is CG with respect to a real object is called a virtual object.
PC100は自機の管理するHMD101より現実画像を取得して、当該現実画像に仮想物体の画像を重畳した複合現実画像(MR画像)を生成し、HMD101のディスプレイに表示させるべく、当該MR画像をHMD101に送信する。HMD101は受信したMR画像をディスプレイに表示する。 The PC 100 acquires a real image from the HMD 101 managed by its own machine, generates a mixed reality image (MR image) in which an image of a virtual object is superimposed on the real image, and displays the MR image on the display of the HMD 101. Send to HMD101. The HMD 101 displays the received MR image on the display.
HMD101は、HMD101を装着したユーザの視線を検出する機構を備えており、検出した視線の情報をPC100に送信する。 The HMD 101 is provided with a mechanism for detecting the line of sight of the user wearing the HMD 101, and transmits the detected line of sight information to the PC 100.
光学式センサ104は、HMD101に設置された3つのマーカ103の位置姿勢を計測するセンサであり、マーカ103から所定のオフセットを設けたHMD101の位置姿勢を計測するための装置である。
The
ターゲット105は、例えばマーカが貼り付けられた持ち運び可能な現実物体である。当該ターゲットに貼り付けられたマーカの位置に仮想物体の位置を設定してMR画像を生成・表示することで、ユーザはターゲット移動させるだけで簡単に当該仮想物体を移動させることができる。以上が図1の説明である。
The
次に図2を参照して、本発明の第1の実施形態における各種装置のハードウェア構成の一例について説明する。 Next, an example of the hardware configuration of various devices according to the first embodiment of the present invention will be described with reference to FIG.
CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
The
また、ROM202には、CPU201の制御プログラムであるBIOS(Basic Input / OutputSystem)やオペレーティングシステム(OS)、その他各種装置の実行する機能を実現するために必要な各種プログラムが記憶されている。
Further, the
RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をRAM203にロードして、プログラムを実行することで各種動作を実現するものである。
The
本発明のPC100が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ211に格納されている。
入力コントローラ(入力C)205は、キーボードやマウス等のポインティングデバイス(入力デバイス210)からの入力を制御する。
Various programs and the like used by the PC 100 of the present invention to execute various processes described later are recorded in the
The input controller (input C) 205 controls the input from a pointing device (input device 210) such as a keyboard and a mouse.
ビデオコントローラ(VC)206は、HMD101が備える右目・左目ディスプレイ222等の表示器への表示を制御する。右目・左目ディスプレイ222に対しては、例えば外部出力端子(例えば、Digital Visual Interface)を用いて出力される。また、右目・左目ディスプレイ222は、右目用のディスプレイと左目用のディスプレイとから構成されている。
The video controller (VC) 206 controls the display on the display such as the right-eye / left-
メモリコントローラ(MC)207は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク(HD)やフレキシブルディスク(FD)或いはPCMCIAカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ211へのアクセスを制御する。
The memory controller (MC) 207 is an adapter to a hard disk (HD), a flexible disk (FD), or a PCMCIA card slot for storing boot programs, browser software, various applications, font data, user files, editing files, various data, and the like. Controls access to an
通信I/Fコントローラ(通信I/FC)208は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いたインターネット通信等が可能である。また、通信I/Fコントローラ208は、ギガビットイーサネット(登録商標)等を通じて光学式センサ104との通信も制御する。
The communication I / F controller (communication I / FC) 208 connects and communicates with an external device via a network, and executes communication control processing on the network. For example, Internet communication using TCP / IP is possible. The communication I /
汎用バス209は、HMD101の右目・左目ビデオカメラ221からの映像を取り込むために使用される。右目・左目ビデオカメラ221からは、外部入力端子(例えば、IEEE1394端子)を用いて入力される。右目・左目ビデオカメラ221は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。
The general-
尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ上での表示を可能としている。また、CPU201は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が図2の説明である。
The
次に図3を参照して、本発明の第1の実施形態における各種装置の機能構成の一例について説明する。 Next, with reference to FIG. 3, an example of the functional configuration of various devices according to the first embodiment of the present invention will be described.
撮像部311は、カメラ装置により撮像画像(現実画像)を撮像する撮像部である。撮像画像送信部312は、撮像部311で撮像処理を実行することにより取得した撮像画像をPC100に送信する送信部である。
The
視線情報送信部314は、HMD101を装着しているユーザの視線にかかる情報(視線情報)を生成し、PC100に送信する機能部である。例えば、特開2010−199789号公報や、特開2016−127587号公報に記載されているように、HMDに、ユーザの眼に向けて非可視光を照射する非可視光照射装置、ハーフミラーを設置し、ユーザの眼で反射された非可視光を撮像するカメラを設置して反射光を撮像し、ユーザの眼がディスプレイ上の(表示画面に表示する現実画像上の)どこを見ているのかを所定の時間感覚で計測・特定する。そして、特定した当該ディスプレイ情報の位置(X,Y)の情報を視線情報として、逐次PC100に送信する。
The line-of-sight
MR画像受信部315は、PC100から送信されたMR画像を受信する受信部であり、MR画像表示部316は、当該MR画像を表示する表示部である。
The MR
撮像画像受信部321は、HMD101より撮像画像を受信して記憶する記憶部である。HMD位置姿勢記憶部322は、HMDの101の位置姿勢を取得して記憶する記憶部である。HMDの位置姿勢は、HMD101に設置された複数(例えば3つ以上)のマーカ(光反射マーカ)を光学式センサ104(モーションキャプチャカメラ)が撮像することにより光学式センサ104により特定される。PC100は、当該光学式センサ104からHMD101の位置姿勢の情報(HMD101のX,Y,Z座標・姿勢の値)を受信して記憶する。
The captured
仮想物体情報記憶部323は、仮想物体の形状を記憶したファイルや、仮想物体をどのマーカの位置に表示するかの情報、また、仮想空間における仮想物体の位置姿勢の情報を記憶する記憶部である。なお、本実施形態においては、仮想物体を対応付けるマーカは二次元マーカとする。
The virtual object
MR画像生成部324は、HMD101の右目・左目ビデオカメラにより撮像されて送信される現実空間の画像と、HMD位置姿勢記憶部322で記憶したHMD101の最新の位置姿勢(位置及び向き)に基づいて撮像した仮想空間の画像(仮想物体の画像)とを重畳した複合現実画像(MR画像)を生成する機能部である。MR画像送信部325は、MR画像生成部324で生成されたMR画像をHMD101に表示させるべく送信する。
The MR
視線情報取得部326は、HMD101から視線情報を受信して取得する。着目物体特定部327は、当該視線情報を用いて、HMD101のディスプレイ上でユーザが見ている物体を特定する。つまり、ユーザの視線の先にある、ユーザが着目している物体(着目物体)を特定する。
The line-of-sight
対応仮想物体特定部328は、着目物体特定部327により特定された着目物体に対応する仮想物体を特定する。
The corresponding virtual
例えば、ユーザが当該着目物体に着目している場合に、当該着目物体とは別にMR画像上に重畳して表示する仮想物体を特定する。 For example, when the user is paying attention to the object of interest, a virtual object to be superimposed and displayed on the MR image is specified separately from the object of interest.
例えば、ユーザが着目しているナットのCGモデルに対応する工具であるスパナのCGモデルを、当該ナットとスパナの対応関係を記憶したテーブルを参照して、対応仮想物体として特定する。 For example, the CG model of the spanner, which is a tool corresponding to the CG model of the nut that the user is paying attention to, is specified as a corresponding virtual object by referring to a table that stores the correspondence relationship between the nut and the spanner.
表示仮想物体設定部329は、対応仮想物体特定部328によって特定された仮想物体を、MR画像の生成に用いる仮想物体として、つまり、HMD101の表示画面に表示させる仮想物体として設定する。既に表示対象
The display virtual
例えば既にユーザの手元に位置決定されている工具のCGモデルの代わりに、ユーザの着目物体に応じて新たに対応仮想物体特定部328で特定された工具のCGを、表示対象のCGとしてメモリに記憶する。
For example, instead of the CG model of the tool that has already been positioned at the user's hand, the CG of the tool newly specified by the corresponding virtual
MR画像生成部324は、MR画像を生成する際、当該テーブルの中に記憶されている仮想物体を現実画像に重畳してMR画像を生成する。以上が図3の説明である。
When generating the MR image, the MR
以下に説明する図4〜図6、図9フローチャートの各ステップの処理は、PC100のCPU201が、自機の備える各機能部の機能を用いて実行する。
The processing of each step of the flowcharts of FIGS. 4 to 6 and 9 described below is executed by the
次に図4を参照して、本発明の第1の実施形態における、仮想物体の表示処理の流れについて説明する。 Next, with reference to FIG. 4, the flow of the display processing of the virtual object in the first embodiment of the present invention will be described.
ステップS401で、PC100は、外部メモリ211に記憶されている仮想物体の一覧をRAM203上に読み出して、MR画像の生成に用いる仮想物体の一覧、つまり、HMD101に表示する候補とするCGの一覧として保持する。
In step S401, the
また、MR画像の生成に必要なその他の情報を外部メモリ211から読み出してRAM203上に保持する。
Further, other information necessary for generating the MR image is read from the
外部メモリに記憶されている仮想物体の一覧の情報とは、例えば図7の仮想物体情報730である。モデル名731は、仮想物体の形状を記憶したファイルのファイル名であり、仮想物体の名称である。
The information of the list of virtual objects stored in the external memory is, for example, the virtual object information 730 of FIG. The
ファイル名は、当該仮想物体のPC100の外部メモリ211における記憶場所を示すURLを含む文字列である。
The file name is a character string including a URL indicating a storage location in the
種類732は仮想物体の種類である。対応モデル733は、当該仮想物体に対応する別の仮想物体である。対応モデル733は、例えば、モデル名731にユーザが着目している間、ユーザの手元に表示する仮想物体のファイル名である。
位置734、姿勢735は、仮想空間におけるモデル名731の仮想物体の位置姿勢を示す。本実施形態においては、仮想空間上の位置及び姿勢=現実空間上の位置及び姿勢である。つまり、仮想空間の位置と現実空間の位置とが一致した複合現実空間が規定されている。
The
位置734、姿勢735に値が挿入されている仮想物体は、位置姿勢が固定されている物体である。位置734、姿勢735に値が挿入されていない仮想物体は、当該仮想物体が対応付けられたマーカの位置姿勢に連動して、位置姿勢を変更するものとする。
The virtual object in which the values are inserted in the
また、MR画像の生成に必要なその他の情報とは、例えば図7のターゲット情報710、ターゲット対応情報720、現実物体情報740である。 Further, the other information necessary for generating the MR image is, for example, the target information 710, the target correspondence information 720, and the real object information 740 in FIG. 7.
ターゲット情報710は、例えばマーカが貼り付けられた持ち運び可能な現実物体であるターゲットにかかる情報である。 The target information 710 is, for example, information related to a target which is a portable real object to which a marker is attached.
ターゲットID711は、マーカID712のマーカが貼り付けられた現実物体であるターゲットの識別情報である。
The
マーカID712は二次元マーカの名称であり、個別の識別画像であるマーカ画像の名称である。マーカID712は、マーカの名称と、当該マーカの画像が記憶されているPC100の外部メモリ211上のアドレスを含んだ文字列である。大きさ713は、マーカ画像の縦横の大きさである。
The
位置714、姿勢715は、HMD101のカメラで撮像した撮像画像に含まれるマーカ画像の大きさや傾きと、HMD101の位置姿勢から特定されるマーカID712のマーカの位置姿勢である。つまり、ターゲットID711の示すターゲットの位置姿勢であり、リアルタイムに変動する位置姿勢である。
The
検出中フラグ716は、ターゲットのマーカID712のマーカ位置を検出・更新中か否かを示すフラグである。検出中フラグ716=1は、カメラでマーカID712のマーカを撮像中であり、マーカの位置を検出・更新中であることを示す。検出中フラグ716=0は、カメラでマーカID712のマーカを撮像できておらず、マーカの位置を検出できていない状態を示す。
The detecting
PC100は、HMD101から取得した現実画像におけるマーカの認識可否に応じて、検出中フラグ716を切り替え、更新する。
The
ターゲット対応情報720は、ターゲット(ターゲットID721)及びターゲットに貼り付けられたマーカ(マーカID722)と、対応する仮想物体(モデル名723)を記憶管理するデータテーブルである。 The target correspondence information 720 is a data table that stores and manages the target (target ID 721), the marker (marker ID 722) attached to the target, and the corresponding virtual object (model name 723).
オフセット位置724、オフセット姿勢725は、位置714及び姿勢715に示すマーカID722の位置姿勢からどれだけ離れた位置、どれだけ傾け方向変更した姿勢をモデル名723の仮想物体の位置姿勢とするかを示す、仮想物体の位置姿勢の情報である。
The offset
つまり、ターゲット対応情報720は、ターゲットと、ターゲットに付されたマーカと、仮想物体とを対応付けた情報である。 That is, the target correspondence information 720 is information in which the target, the marker attached to the target, and the virtual object are associated with each other.
現実物体情報740は、ユーザがどの種類(物体種類741)の現実物体に着目している場合に、どの仮想物体(対応モデル742)を表示するかを設定した情報である。 The real object information 740 is information that sets which virtual object (corresponding model 742) is to be displayed when the user is paying attention to which type (object type 741) of the real object.
ステップS401で、PC100は、配置仮想物体情報750をRAM203上に生成して保持する。配置仮想物体情報750は、MR画像の生成に実際に使用する仮想物体(モデル名753)の位置姿勢(位置754・姿勢755)を記憶するテーブルである。
In step S401, the
ターゲットID751とマーカID752は、今現在、モデル名753の仮想物体が対応付けられているターゲット及びマーカを示す。
The
例えば、仮想物体情報730に位置姿勢が記憶されている仮想物体は、ターゲットID751及びマーカID752には値を挿入せず、モデル名及び位置姿勢をそれぞれ753〜755に挿入して、MR画像の生成に用いる仮想物体として配置仮想物体情報750に記憶する。
For example, a virtual object whose position and orientation are stored in the virtual object information 730 does not insert values into the
PC100は、ユーザによるMR体験の開始指示がされてから終了指示がされるまでの間、ステップS402〜S407の処理を繰り返す。例えば0.5秒間隔で繰り返し実行する。
The
ステップS402で、PC100は、光学式センサ104からHMD101の位置姿勢の情報を取得して、外部メモリに記憶する。具体的には、図7のHMD情報700に、当該位置姿勢を取得したHMD101の識別情報であるHMD ID701、光学式センサ104から取得した、当該HMD101の現実空間上の位置702、姿勢703を記憶する。
In step S402, the
ステップS403で、PC100は、HMD101のカメラで撮像された現実画像を取得してメモリ上に記憶する。
In step S403, the
そして、当該現実画像中のマーカ画像を検出することにより検出された現実物体の位置姿勢を特定し、記憶する。具体的には、図7のターゲット情報710における、現実画像中から検出したマーカの位置姿勢を位置714、姿勢715に上書き・更新する。つまり、ターゲットの一姿勢を特定する(ステップS404)。
Then, the position and orientation of the detected real object are specified and stored by detecting the marker image in the real image. Specifically, the position / orientation of the marker detected in the real image in the target information 710 of FIG. 7 is overwritten / updated to the
ステップS405で、PC100は、ターゲット対応情報720を参照して、ステップS402で現実画像から検出したマーカに対応する仮想物体を特定する。そして、当該仮想物体の位置姿勢を、当該仮想物体に対応するターゲットの位置姿勢に応じて決定して記憶する。
In step S405, the
具体的には、当該仮想物体のファイル名をモデル名753に、また、ターゲットID751及びマーカID752に対応付けられているターゲットのID及びマーカのIDを挿入して記憶する。
Specifically, the file name of the virtual object is stored in the
そして、714及び715に記憶されている当該ターゲットの最新の位置姿勢から、ターゲット対応情報720において当該仮想物体に対応付けられたオフセット位置724及びオフセット姿勢725だけ座標をずらし、傾けた位置姿勢を、モデル名753の仮想物体の位置姿勢として位置754、姿勢755に挿入して記憶する。
Then, the coordinates are shifted by the offset
ステップS406で、PC100は、不図示の情報であるHMD101のカメラの画角及びHMD101の位置姿勢の情報と、配置仮想物体情報750に記憶されている最新の仮想物体の位置姿勢の情報とを参照して、HMD101用のMR画像を生成し、ステップS407でHMD101に出力(送信)して表示させる(表示制御手段に該当)。以上が図4の説明である。
In step S406, the
次に図5を参照して、本発明の第1の実施形態における、視線による着目対象物体の特定処理の流れについて説明する。 Next, with reference to FIG. 5, the flow of the process of identifying the object of interest by the line of sight in the first embodiment of the present invention will be described.
PC100は、ユーザによるMR体験の開始指示がされてから終了指示がされるまでの間、ステップS501〜S504の処理を、所定の時間間隔で繰り返す。例えば0.5秒間隔で繰り返し実行する。
The
ステップS501で、PC100は、HMD101を装着した装着者であり、MRの体験者であるユーザの視線情報を取得する。
In step S501, the
本発明の実施形態における視線情報とは、例えば、特開2010−199789号公報や、特開2016−127587号公報に記載されているように、HMD101に設置された、ユーザの眼に向けて非可視光を照射する非可視光照射装置、ハーフミラー、ユーザの眼で反射された非可視光を撮像するカメラを使って、HMD101で眼の反射光を撮像することによって得られた、ユーザの眼がディスプレイ上の(表示画面に表示する現実画像上の)どこを見ているのかを示す、ディスプレイ上のX,Y座標を示す情報である。
The line-of-sight information in the embodiment of the present invention is, for example, as described in JP-A-2010-199789 and JP-A-2016-127587, which is installed in
ステップS502で、PC100は、ユーザの見ているディスプレイ上の位置に仮想物体が重畳されているか判定する。
In step S502, the
例えば、HMD101におけるユーザの眼自体の位置の情報と、眼からHMD101のディスプレイまでの距離の情報(いずれもHMD101及びPC100に、予め設定・記憶されている固定の位置及び距離)、ユーザがディスプレイのどこを見ているかを示す情報、HMD101自体の位置姿勢から特定されるユーザの眼が向いている方向に、配置仮想物体情報750において、仮想物体が位置しているかを判定する。
For example, information on the position of the user's eye itself in the
視線の先に仮想物体がある場合には、視線の先にあるHMD101から直近の仮想物体を、ユーザが着目している着目物体として特定し、その仮想物体情報730をRAM203に記憶する(ステップS503)。
When there is a virtual object in front of the line of sight, the virtual object closest to the
また、視線の先に仮想物体がない場合、ユーザが着目しているディスプレイ上の位置と、着目時点でディスプレイに表示されていた画像とから、ユーザが着目していた現実画像の位置に存在する現実物体を、公知の画像解析処理を実行して認識し、特定して、当該特定された現実物体の情報(例えば現実物体が何であるかを示す、物体種類の情報)を、ユーザの着目物体の情報としてRAM203に記憶する(ステップS504)。以上が図5の説明である。
Further, when there is no virtual object in front of the line of sight, the position on the display that the user is paying attention to and the image displayed on the display at the time of attention are present at the position of the real image that the user is paying attention to. A real object is recognized by executing a known image analysis process, and the specified real object information (for example, object type information indicating what the real object is) is obtained by the user's object of interest. Is stored in the
次に図6を参照して、本発明の第1の実施形態における、着目対象物体に応じた仮想物体の表示変更処理の流れについて説明する。 Next, with reference to FIG. 6, the flow of the display change processing of the virtual object according to the object of interest in the first embodiment of the present invention will be described.
ステップS601で、PC100は、不図示のモード切替画面におけるユーザ操作に応じて、仮想物体の表示モードを、ユーザが着目している物体に応じて自動で仮想物体の表示を切り替える自動切替モードに設定変更する。
In step S601, the
ステップS602で、PC100は、ターゲット情報710を参照して、ステップS603で、検出中のターゲットが複数存在するか判定する。
In step S602, the
検出中のターゲットが1つだけの場合は、当該ターゲットを処理対象のターゲットとして特定し、RAM203上に記憶する。検出中のターゲットが複数存在する場合は処理をステップS604に移行し、HMD101の位置から最も近い位置のターゲットを処理対象として特定・選択して記憶する。
When there is only one target being detected, the target is specified as a target to be processed and stored in the
ステップS605で、PC100は、PC100は、ステップS503またはステップS504で記憶された最新の着目物体の情報を取得する。例えば着目物体の物体種類の情報を取得する。
In step S605, the
そして、着目物体が仮想物体の場合には仮想物体情報730を参照し、着目物体が現実物体の場合には現実物体情報740を参照して、着目物体に対応する仮想物体を特定する(ステップS606)。仮想物体情報730においては、対応モデル733の仮想物体を、現実物体情報740においては、対応モデル742の仮想物体を特定することとなる。
Then, when the object of interest is a virtual object, the virtual object information 730 is referred to, and when the object of interest is a real object, the real object information 740 is referred to to identify the virtual object corresponding to the object of interest (step S606). ). In the virtual object information 730, the virtual object of the
なお、対応する仮想物体がない場合(仮想物体情報730、現実物体情報740に記憶されていない場合)、図6の処理を終了する。つまり、ターゲットに付け替える仮想物体が存在しないということである。 If there is no corresponding virtual object (when it is not stored in the virtual object information 730 and the real object information 740), the process of FIG. 6 ends. In other words, there is no virtual object to replace with the target.
よって、もしも配置仮想物体情報750において、処理対象としたターゲットに対応付けられて記憶されている仮想物体が既にある場合、今まで通り、当該既に配置仮想物体情報750に当該ターゲットと対応付けて記憶されている仮想物体の表示処理が、ターゲットの動きに応じて行われることとなる。 Therefore, if there is already a virtual object stored in association with the target to be processed in the placement virtual object information 750, the placement virtual object information 750 is stored in association with the target as before. The display processing of the virtual object being performed will be performed according to the movement of the target.
ステップS607で、PC100は、ステップS606で特定した仮想物体のファイル名を、ステップS603〜S604で処理対象として特定したターゲットのターゲットID及びマーカIDと対応付けて、配置仮想物体情報750に記憶する。
In step S607, the
具体的には、処理対象のターゲットのターゲットIDをターゲットID751に、処理対象のターゲットに貼り付けられたマーカのマーカIDをマーカID752に、仮想物体のファイル名をモデル名753に記憶する。つまり、当該仮想物体の位置を、位置754、姿勢755に決定する。
Specifically, the target ID of the target to be processed is stored in the
既に同一のターゲットID及びマーカIDのデータが配置仮想物体情報750に存在する場合、当該データのモデル名753を、ステップS606で特定した仮想物体のファイル名に書き替えて記憶、更新する。以上が図6の説明である。
When the same target ID and marker ID data already exist in the arrangement virtual object information 750, the
本実施形態においては、ステップ607の処理を終了してから遅くとも0.5秒後には、図4の処理(配置仮想物体情報750を用いたMR画像の生成処理)が行われる。 In the present embodiment, the process of FIG. 4 (MR image generation process using the arrangement virtual object information 750) is performed at least 0.5 seconds after the process of step 607 is completed.
つまり、図6の処理を実行することで、ユーザの視線、具体的にはユーザの視線により特定されたユーザの着目物体に応じて、仮想物体の表示を容易に切り替えることができる。 That is, by executing the process of FIG. 6, the display of the virtual object can be easily switched according to the line of sight of the user, specifically, the object of interest of the user specified by the line of sight of the user.
例えば図8に、着目対象物体に応じた仮想物体の表示変更の様子を示す図である。800、810、820は、HMD101に表示する表示画面の一例でありMR画像が表示されている。
For example, FIG. 8 is a diagram showing a state in which the display of a virtual object is changed according to the object of interest.
801はユーザが着目している位置、つまりユーザの視線情報を示す。105はターゲットであり、802は、750において今現在ターゲットに対応付けて記憶されている仮想物体であり、754、755の位置姿勢で仮想空間に配置されている。
801 indicates the position that the user is paying attention to, that is, the line-of-sight information of the user.
810に示すように、ユーザがnatAに着目すると、PC100は図7の仮想物体情報730を参照してnatAに対応する仮想物体であるS00A.vrml(spannerA)を特定して、ターゲット105の位置に位置決定し、MR画像を生成してHMD101に送信・表示させる。
As shown in 810, when the user pays attention to natA, the PC100 refers to the virtual object information 730 of FIG. 7, and is a virtual object corresponding to natA. vrml (spannerA) is specified, the position is determined at the position of the
802からS00A.vrmlへの仮想物体の切り替えの様子を、図7の配置仮想物体情報750に示す。 802 to S00A. The state of switching the virtual object to vrml is shown in the arrangement virtual object information 750 of FIG.
また、820に示すように、ユーザがnatBに着目すると、PC100は図7の仮想物体情報730を参照してnatBに対応する仮想物体であるS00B.vrml(spannerB)を特定して、ターゲット105の位置に位置決定し、MR画像を生成してHMD101に送信・表示させる。
Further, as shown in 820, when the user pays attention to natB, the PC100 refers to the virtual object information 730 of FIG. 7, and is a virtual object corresponding to natB. vrml (spannerB) is specified, the position is determined at the position of the
以上説明したように、本発明の第1の実施形態によれば、ユーザの視線に応じて仮想物体の表示を容易に切り替え可能な仕組みを提供することができる。 As described above, according to the first embodiment of the present invention, it is possible to provide a mechanism capable of easily switching the display of a virtual object according to the line of sight of the user.
例えば、ユーザの視線に応じて、ユーザが着目している物体とは別の仮想物体の表示を容易に変更することができる。 For example, the display of a virtual object other than the object that the user is paying attention to can be easily changed according to the line of sight of the user.
また、複数のターゲットがある場合には、ターゲットを絞り込んで仮想物体の表示を変更することができる。 Further, when there are a plurality of targets, the display of the virtual object can be changed by narrowing down the targets.
<第2の実施形態> <Second embodiment>
図9を参照して、本発明の第2の実施形態について説明する。なお、第1の実施形態と共通する処理やハードウェア構成、機能構成、データ構成等については説明を省略する。 A second embodiment of the present invention will be described with reference to FIG. The processing, hardware configuration, functional configuration, data configuration, and the like common to the first embodiment will not be described.
PC100は、ステップS603で、検出中のターゲットが1つであると判定され処理対象のターゲットが特定された場合、又はステップS604で処理対象のターゲットが特定された場合に、図9のステップS901の処理を実行する。
In step S603, the
なお、PC100は、MRの体験開始から終了指示を受け付けるまでの間の、ターゲット情報910のターゲットのごとの位置姿勢の履歴を、外部メモリ211に逐次記憶するものとする。
The
ステップS901でPC100は、当該処理対象のターゲットをユーザが手に持っているか判定する。
In step S901, the
具体的には、当該ターゲットの位置姿勢の履歴を過去所定時間分取得し、当該ターゲットが動いている場合には、ユーザが当該ターゲットを手に持っていると判定する。所定時間とは、例えば1.5秒であるものとする。 Specifically, the history of the position and posture of the target is acquired for the past predetermined time, and when the target is moving, it is determined that the user has the target in his / her hand. The predetermined time is, for example, 1.5 seconds.
ターゲットが机等の上に置かれている場合、過去1.5秒の間における位置姿勢の変化はない、もしくは所定の振れ幅に収まるはずである。 When the target is placed on a desk or the like, there should be no change in position or attitude in the past 1.5 seconds, or it should be within a predetermined swing width.
PC100は、当該ターゲットの位置姿勢の値の変化が所定値(予め外部メモリに記憶されているX,Y,Zの値)以上だった場合、ターゲットが移動している(動いている)、つまり、ユーザがターゲットを手に持っていると判定する(所持物体特定手段に該当)。 In the PC100, when the change in the position / orientation value of the target is equal to or greater than a predetermined value (X, Y, Z values stored in the external memory in advance), the target is moving (moving), that is, , Determines that the user has the target in his hand (corresponds to the possessed object identification means).
ターゲットがユーザの手に持たれている場合、処理を図6のステップS605に移行する。つまり、ターゲットがユーザの手に持たれている場合には、着目物体に対応する仮想物体を、当該ユーザの手に持たれている仮想物体に対応付けて表示する。 When the target is held in the user's hand, the process proceeds to step S605 of FIG. That is, when the target is held in the user's hand, the virtual object corresponding to the object of interest is displayed in association with the virtual object held in the user's hand.
一方、ターゲットがユーザの手に持たれていない場合は(置かれている場合等は)、処理を終了する。以上が図9の説明である。 On the other hand, if the target is not in the user's hand (if it is, etc.), the process ends. The above is the description of FIG.
以上説明したように、本発明の第2の実施形態によれば、ユーザの視線に応じて、ユーザの手に持たれている仮想物体の表示を容易に切り替え可能な仕組みを提供することができる。 As described above, according to the second embodiment of the present invention, it is possible to provide a mechanism capable of easily switching the display of the virtual object held in the user's hand according to the line of sight of the user. ..
つまり、ユーザが現実物体を手に持った状態でユーザが何かに着目した場合に、当該着目している物体に対して何かを行おうとしていると推定し、着目している物体に応じて手に持っている現実物体の位置に仮想物体を表示したり、その表示を切り替えることができる。 In other words, when the user pays attention to something while holding the real object in his hand, it is presumed that he is trying to do something with the object of interest, and depending on the object of interest. A virtual object can be displayed at the position of a real object held in the hand, and the display can be switched.
当該切り替え処理により、ユーザが手に持っている、現実物体に対応する仮想物体を切り替える操作をする手間を軽減できる。 By the switching process, it is possible to reduce the time and effort that the user has to switch the virtual object corresponding to the real object.
また、ユーザが仮想物体を手に持った状態でユーザが何かに着目した場合に、当該着目している物体に対して何かを行おうとしていると推定し、着目している物体に応じて手に持っている仮想物体の表示を切り替えることができる。 In addition, when the user pays attention to something while the user holds the virtual object in his / her hand, it is presumed that he / she is trying to do something with the object of interest, and depending on the object of interest. You can switch the display of the virtual object you have in your hand.
当該切り替え処理により、ユーザが手に持っている仮想物体を切り替える操作をする手間を軽減できる。 By the switching process, it is possible to reduce the trouble of switching the virtual object held by the user.
なお、上述した説明においては、ターゲットが動いている場合に当該ターゲットがユーザの手に持たれていると判定したが、例えば、配置仮想物体情報750において、当該ターゲットに現在対応付けられている仮想物体が移動している場合に、当該ターゲット(ターゲットの位置にある仮想物体)がユーザの手に持たれていると判定するようにしてもよい。 In the above description, it is determined that the target is held in the user's hand when the target is moving. For example, in the placement virtual object information 750, the virtual currently associated with the target is virtual. When the object is moving, it may be determined that the target (virtual object at the target position) is held in the user's hand.
また、更に他の方法で判定を行うこともできる。例えば、ユーザの手に、手の形状をした仮想物体を配置し、当該手の仮想物体の位置とターゲットの位置が所定距離以内(例えば5cm以内)又は、手の仮想物体と現在ターゲットに対応付けられている仮想物体が接触している場合に、当該ターゲットがユーザの手に持たれていると判定するようにしてもよい。 Further, the determination can be made by another method. For example, a hand-shaped virtual object is placed in the user's hand, and the position of the virtual object of the hand and the position of the target are within a predetermined distance (for example, within 5 cm), or the virtual object of the hand is associated with the current target. When the virtual object is in contact with the object, it may be determined that the target is held in the user's hand.
手の仮想物体のデータは予め外部メモリ211に記憶してある。手の仮想物体の配置は、具体的には、HMD101の撮像した現実画像からユーザの手の肌色を認識し、三角測量で手までの距離を算出、HMD101と手の位置関係から仮想空間における手の位置姿勢を算出して、手の仮想物体の位置姿勢を当該手の位置姿勢に決定、配置仮想物体情報750に記憶することで実現可能である。
The data of the virtual object of the hand is stored in the
ターゲットが動いていて、且つ手の仮想物体に触れている場合に、当該ターゲット(ターゲットの位置にある仮想物体)がユーザの手に持たれていると判定するようにしてもよい。 When the target is moving and touching the virtual object of the hand, it may be determined that the target (the virtual object at the position of the target) is held in the user's hand.
なお、上述した実施形態においては、現実物体に着目している場合も着目している現実物体に対応する仮想物体をユーザの手元に表示するものとしたが、現実画像を解析してユーザが何に着目しているのかを特定するには、相当な処理リソースが消費されると考えられる。また、解析の完了に時間もかかることが考えられる。 In the above-described embodiment, the virtual object corresponding to the real object of interest is displayed in the user's hand even when the real object is focused on, but what is the user by analyzing the real image? It is considered that a considerable amount of processing resources are consumed to identify whether or not the focus is on. In addition, it may take time to complete the analysis.
よって、例えば図5のステップS503で、視線の先に仮想物体がないと判定された場合は、現実物体の解析処理を行わず、処理をステップS501に戻してもよい。 Therefore, for example, when it is determined in step S503 of FIG. 5 that there is no virtual object ahead of the line of sight, the process may be returned to step S501 without performing the analysis process of the real object.
これにより、処理リソースの消費を抑え、ユーザが仮想物体に着目している場合に、当該仮想物体とは別の仮想物体の表示を容易に切り替えることができる。 As a result, the consumption of processing resources can be suppressed, and when the user is paying attention to the virtual object, the display of a virtual object different from the virtual object can be easily switched.
また、例えば、ユーザが着目する対象が小さな部品の場合、当該小さな部品に視線を向け続けることは難しい。当該部品が取り付けられた土台となる仮想物体を部位ごとに区分けした方が、場合によっては部品よりも当該区分けされた部位の方が大きく、部品単位に仮想物体を対応付けるよりもデータの管理が容易である。また、対象が大きい方が着目状態を維持し易い。 Further, for example, when the target to be focused on by the user is a small part, it is difficult to keep the line of sight on the small part. In some cases, it is easier to manage data by dividing the virtual object that is the base on which the part is attached by part, because the divided part is larger than the part and it is easier to manage the data than associating the virtual object with each part. Is. In addition, the larger the target, the easier it is to maintain the state of interest.
よって、例えばある1つの仮想物体を部位ごとに区分けして当該区分けした部位(仮想空間における4点以上のXYZ座標によって規定される空間・エリア)ごとに対応する仮想物体を記憶しておき、ユーザが当該部位に着目した場合に、当該部位に対応する仮想物体をターゲットに対応付けて位置決定、表示するようにしてもよい。 Therefore, for example, one virtual object is divided into parts, and the corresponding virtual object is stored for each divided part (space / area defined by four or more XYZ coordinates in the virtual space), and the user May focus on the part, position and display the virtual object corresponding to the part in association with the target.
以上説明したように、本発明によれば、ユーザの視線に応じて仮想物体の表示を容易に切り替え可能な仕組みを提供することができる。 As described above, according to the present invention, it is possible to provide a mechanism capable of easily switching the display of a virtual object according to the line of sight of the user.
例えば、ユーザの手元のマーカに対応する仮想物体の表示を、ユーザが見ている場所に応じて容易に切り替えることができる。 For example, the display of the virtual object corresponding to the marker at the user's hand can be easily switched according to the place where the user is looking.
また、上述した実施形態においてはHMD101がユーザの視線を検出するものとしたが、例えばPC100が、HMD101の向いている方向そのものをユーザの視線方向として取得し、HMD101の向いている方向にある直近の物体を、着目物体として特定してもよい。
Further, in the above-described embodiment, the
なお、上述した実施形態においては光学式センサを用いてHMD101の位置姿勢を検出し、取得したが、例えば特開2002−229730号公報等に記載されているように、磁気センサ、超音波センサなどを利用して検出するようにしてもよい。つまり、HMDの位置姿勢検出に係る手段は問わない。
In the above-described embodiment, the position and orientation of the
また、103に示す光学式センサ104で位置姿勢を検出可能なマーカをターゲットに付与し、ターゲットの位置姿勢を検出、記憶・更新するようにしてもよい。
Further, a marker capable of detecting the position and orientation by the
また、例えば二次元マーカの画像を用いてHMD101の位置姿勢を特定して取得するようにしてもよい。具体的には、例えば、HMD101から取得した現実画像に含まれる二次元マーカ(以下、マーカと記載)の情報からHMD101の位置姿勢を特定する。マーカはHMDの撮像する現実の室内に複数貼り付けられているものとする。マーカの形状は問わないが、本実施形態では正方形であり、全て同じサイズであるものとする。各マーカにはユニークなマーカ番号が埋め込まれているものとする。そして個々のマーカが識別でき、デコードした際にそのマーカ番号が得られるものとする。マーカは、HMD101の位置姿勢がどのような状態であっても、内蔵するカメラの視野内に最低でも3つが含まれるように、予め既知の位置に貼り付けられているものとする。
Further, for example, the position and orientation of the
PC100は、撮像した現実画像中の3つの位置検出用マーカ(その位置は既知)それぞれのサイズから、HMD101からそれぞれまでの位置検出用マーカまでの距離を求める。そして、3つの位置検出用マーカから求めた3つの距離が重なる位置を、HMD101の位置として決定する。また、HMD101の姿勢は、撮像した画像中の3つの位置検出用マーカの配置から求めればよい。
The
なお、マーカの法線方向に視点があるとき、そのマーカ画像が正方形に見えることになる。そして、視点が法線方向からずれると、そのずれの度合いに応じて正方形が歪んで見える。つまり、この歪みから、視点の軸に対するマーカで規定される平面の向きが判明し、マーカのサイズから視点とマーカ間の距離を検出でき、マーカが貼り付けられた平面が規定できる。また、実施形態では、マーカには、互いに識別できる2つの印が設けられ、マーカの中心位置を原点とし、マーカで規定される上記の平面上の、原点からその印に向かう2つのベクトルを2軸、マーカの中心位置から法線方向の1軸で、局所的(ローカル)な3次元座標を規定する3軸を規定しているものとする。 When the viewpoint is in the normal direction of the marker, the marker image looks like a square. Then, when the viewpoint deviates from the normal direction, the square appears distorted according to the degree of the deviation. That is, from this distortion, the orientation of the plane defined by the marker with respect to the axis of the viewpoint can be found, the distance between the viewpoint and the marker can be detected from the size of the marker, and the plane to which the marker is attached can be defined. Further, in the embodiment, the markers are provided with two marks that can be distinguished from each other, the center position of the markers is set as the origin, and two vectors from the origin to the marks on the above plane defined by the markers are set to 2. It is assumed that one axis in the normal direction from the center position of the axis and the marker defines three axes that define local (local) three-dimensional coordinates.
マーカの種類(マーカが果たす役割の種類)は、HMD101の位置姿勢を決定するための位置検出用マーカ、並びに、そのマーカで規定される箇所に仮想物体(3次元モデル)を描画するものとして利用される配置用マーカの2種類がある。
The type of marker (the type of role played by the marker) is used as a position detection marker for determining the position and orientation of the
配置用マーカとは、仮想物体を表示する位置を特定するために用いられるマーカである。PC100のCPU201は、当該配置用マーカが検出された際、当該配置用マーカが存在する位置(正確には後述するように当該配置用マーカの重心位置からオフセットを持つ位置)に仮想物体を表示するための処理を行う。例えば、仮想物体を当該オフセットの示す仮想空間上の位置に配置する処理を行う。
The placement marker is a marker used to specify a position where a virtual object is displayed. When the placement marker is detected, the
仮想物体のデータはPC100の外部メモリ上に、当該仮想物体を仮想空間上のいずれの位置にどのような姿勢で配置するかを示す位置姿勢の情報と対応付けられて記憶されている。
The data of the virtual object is stored in the external memory of the
上述した配置用マーカの中心位置の座標を{Xv,Yv,Zv}とし、仮想物体の形状と特定するデータ中の座標を{Xi,Yi,Zi}(ここで、i=0,1,2,・・・)と定義したとき、距離Lは次式で得られる。
L={(Xv−Xi)2+(Yv−Yi)2+(Zv−Zi)2}1/2
The coordinates of the center position of the above-mentioned placement marker are {Xv, Yv, Zv}, and the coordinates in the data to identify the shape of the virtual object are {Xi, Yi, Zi} (here, i = 0, 1, 2). , ...), the distance L is obtained by the following equation.
L = {(Xv-Xi) 2+ (Yv-Yi) 2+ (Zv-Zi) 2} 1/2
ここで、iを変化させた際の最小の距離Lを、配置用マーカと仮想物体との距離とした。なお、上記では距離を計算する際に、最終的に平方根を求めたが、大小の判定で良いのであれば、平行根を求める必要な無く、座標の差分の二乗和を算出しても構わない。 Here, the minimum distance L when i is changed is defined as the distance between the placement marker and the virtual object. In the above, the square root was finally obtained when calculating the distance, but if it is sufficient to determine the magnitude, it is not necessary to obtain the parallel root, and the sum of squares of the coordinate differences may be calculated. ..
なお、上記式では、配置用マーカの中心位置=仮想物体の中心位置とした場合である。先に説明したように、仮想物体の配置される位置は、配置用マーカの中心位置に対し、オフセットが与えられる。 In the above equation, the center position of the placement marker = the center position of the virtual object. As described above, the position where the virtual object is placed is given an offset with respect to the center position of the placement marker.
なお、マーカに埋め込めるビット数にもよるが、位置検出用マーカと配置用マーカを兼ねるマーカを定義して、外部メモリに記憶するようにしても構わない。 Although it depends on the number of bits that can be embedded in the marker, a marker that also serves as a position detection marker and a placement marker may be defined and stored in the external memory.
尚、上記実施形態は、本発明に係る例であると認識されたい。たとえば、HMD101の位置姿勢を検出するため、上記実施形態では位置検出用マーカが撮像した視野内に3つは存在するものとして、位置検出用マーカを部屋中に多数張り付けるものとしたが、これによって本発明が限定されるものではない。位置検出用マーカには向きを規定する印があり、位置検出用マーカの座標だけでなく、形状や寸法も既知であれば、撮像した画像の位置検出の歪み、サイズ、印の位置から、1つの位置検出用マーカからだけでもHMD101の位置姿勢を特定できる。
It should be noted that the above embodiment is an example according to the present invention. For example, in order to detect the position and orientation of the
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 The present invention includes a software program that realizes the functions of the above-described embodiments, which is directly or remotely supplied to the system or device. The present invention also includes cases where the computer of the system or device can also read and execute the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself installed on the computer also realizes the present invention. That is, the present invention also includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has a program function, it may be in the form of an object code, a program executed by an interpreter, script data supplied to the OS, or the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。 Recording media for supplying programs include, for example, flexible disks, hard disks, optical disks, optical magnetic disks, MOs, CD-ROMs, CD-Rs, CD-RWs, and the like. There are also magnetic tapes, non-volatile memory cards, ROMs, DVDs (DVD-ROM, DVD-R) and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 In addition, as a program supply method, a browser of a client computer is used to connect to an Internet homepage. Then, the computer program itself of the present invention or a compressed file including the automatic installation function can be supplied from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from different homepages. That is, the present invention also includes a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the function of the above-described embodiment is realized by the computer executing the read program. In addition, based on the instruction of the program, the OS or the like running on the computer performs a part or all of the actual processing, and the function of the above-described embodiment can be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer. After that, based on the instruction of the program, the function expansion board, the CPU provided in the function expansion unit, or the like performs a part or all of the actual processing, and the function of the above-described embodiment is also realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments merely show examples of embodiment in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
100 PC
101 HMD
103 マーカ
104 光学式センサ
150 ネットワーク
100 PC
101 HMD
103
Claims (10)
前記頭部装着型表示装置を装着しているユーザの視線から、前記ユーザが着目している着目対象の物体を特定する特定手段と、
前記特定手段により特定された前記着目対象の物体とは別に、前記着目対象の物体に対応する仮想物体を前記頭部装着型表示装置に表示する仮想物体として決定する決定手段と、
前記決定手段によって表示することが決定された仮想物体を前記頭部装着型表示装置に表示すべく制御する表示制御手段と、
前記ユーザの手に持たれている前記仮想物体を特定する所持物体特定手段と、
を備え、
前記決定手段は、前記特定手段により特定されたユーザの着目対象の物体が別の物体となった場合に、前記所持物体特定手段により特定された前記ユーザの手に持たれている前記仮想物体を、前記別の物体に対応する仮想物体とすることを決定し、
前記表示制御手段は、前記決定手段により決定された前記別の物体に対応する仮想物体を前記頭部装着型表示装置に表示すべく制御することを特徴とする情報処理装置。 An information processing device equipped with a head-mounted display device.
A specific means for identifying an object of interest that the user is paying attention to from the line of sight of the user wearing the head-mounted display device, and
A determination means for determining a virtual object corresponding to the object of interest as a virtual object to be displayed on the head-mounted display device, in addition to the object of interest specified by the specific means.
A display control means for controlling a virtual object determined to be displayed by the determination means to be displayed on the head-mounted display device, and a display control means.
A possession object identification means for identifying the virtual object held in the user's hand, and
With
When the object of interest of the user specified by the specific means becomes another object, the determination means obtains the virtual object held in the user's hand specified by the possessed object identification means. , Decided to make it a virtual object corresponding to the other object,
The display control means is an information processing device that controls a virtual object corresponding to the other object determined by the determination means so as to be displayed on the head-mounted display device.
前記頭部装着型表示装置を装着しているユーザの視線から、前記ユーザが着目している着目対象の物体を特定する特定手段と、
前記特定手段により特定された前記着目対象の物体とは別に、前記着目対象の物体に対応する仮想物体を前記頭部装着型表示装置に表示する仮想物体として決定する決定手段と、
前記決定手段によって表示することが決定された仮想物体を前記頭部装着型表示装置に表示すべく制御する表示制御手段と、
頭部装着型表示装置を備え、所定の現実物体に対応付けて表示する前記仮想物体を記憶する情報処理装置であって、
前記頭部装着型表示装置を装着しているユーザの視線から、前記ユーザが着目している着目対象の物体を特定する特定手段と、
前記決定手段は、前記特定手段により特定された前記着目対象の物体とは別に、前記着目対象の物体に対応する仮想物体を、前記所定の現実物体に対応付けて表示する仮想物体として決定する決定手段と、
前記決定手段によって表示することが決定された仮想物体を前記頭部装着型表示装置に表示すべく制御する表示制御手段と、
を備え、
前記表示制御手段は、前記決定手段による決定に従って、前記着目対象の物体に対応する仮想物体を、前記所定の現実物体の位置に表示すべく制御することを特徴とする情報処理装置。 An information processing device equipped with a head-mounted display device.
A specific means for identifying an object of interest that the user is paying attention to from the line of sight of the user wearing the head-mounted display device, and
A determination means for determining a virtual object corresponding to the object of interest as a virtual object to be displayed on the head-mounted display device, in addition to the object of interest specified by the specific means.
A display control means for controlling a virtual object determined to be displayed by the determination means to be displayed on the head-mounted display device, and a display control means.
An information processing device provided with a head-mounted display device and storing the virtual object to be displayed in association with a predetermined real object.
A specific means for identifying an object of interest that the user is paying attention to from the line of sight of the user wearing the head-mounted display device, and
Said determining means, said determining separately from the identified objects of the aimed object by a specific means, a virtual object corresponding to the object of the aimed object, as a virtual object that displays in association with the predetermined physical object The means of deciding what to do
A display control means for controlling a virtual object determined to be displayed by the determination means to be displayed on the head-mounted display device, and a display control means.
With
Wherein the display control unit, wherein as determined by the determining means, wherein the virtual object corresponding to the object aimed object, the predetermined physical object information you and controls so as to display the position of the paper processing apparatus.
を備え、
前記決定手段は、前記着目対象の物体に対応する仮想物体を、前記選択手段により選択された前記所定の現実物体に対応付けて表示する前記仮想物体として決定することを特徴とする請求項4に記載の情報処理装置。 When there are a plurality of the predetermined real objects, the positions of the virtual objects whose display is controlled by the display control means are set according to the positions of the head-mounted display devices and the positions of the plurality of the predetermined real objects. A selection means for selecting the predetermined real object and
With
The fourth aspect of the present invention is characterized in that the determination means determines a virtual object corresponding to the object of interest as the virtual object to be displayed in association with the predetermined real object selected by the selection means. The information processing device described.
前記頭部装着型表示装置を装着しているユーザの視線から、前記ユーザが着目している着目対象の物体を特定する特定工程と、
前記特定工程により特定された前記着目対象の物体とは別に、前記着目対象の物体に対応する仮想物体を前記頭部装着型表示装置に表示する仮想物体として決定する決定工程と、
前記決定工程によって表示することが決定された仮想物体を前記頭部装着型表示装置に表示すべく制御する表示制御工程と、
前記ユーザの手に持たれている前記仮想物体を特定する所持物体特定工程と、
を含み、
前記決定工程は、前記特定工程により特定されたユーザの着目対象の物体が別の物体となった場合に、前記所持物体特定工程により特定された前記ユーザの手に持たれている前記仮想物体を、前記別の物体に対応する仮想物体とすることを決定し、
前記表示制御工程は、前記決定工程により決定された前記別の物体に対応する仮想物体を前記頭部装着型表示装置に表示すべく制御することを特徴とする制御方法。 A control method for an information processing device equipped with a head-mounted display device.
A specific step of identifying an object of interest that the user is paying attention to from the line of sight of the user wearing the head-mounted display device.
A determination step of determining a virtual object corresponding to the object of interest as a virtual object to be displayed on the head-mounted display device, separately from the object of interest specified by the specific step.
A display control step of controlling the virtual object determined to be displayed by the determination step to be displayed on the head-mounted display device, and
A possession object identification process for identifying the virtual object held in the user's hand, and
Including
In the determination step, when the object of interest of the user specified by the specific step becomes another object, the virtual object held in the user's hand specified by the possessed object identification step is used. , Decided to make it a virtual object corresponding to the other object,
The display control step is a control method characterized in that a virtual object corresponding to the other object determined by the determination step is controlled to be displayed on the head-mounted display device.
前記情報処理装置を、
前記頭部装着型表示装置を装着しているユーザの視線から、前記ユーザが着目している着目対象の物体を特定する特定手段と、
前記特定手段により特定された前記着目対象の物体とは別に、前記着目対象の物体に対応する仮想物体を前記頭部装着型表示装置に表示する仮想物体として決定する決定手段と、
前記決定手段によって表示することが決定された仮想物体を前記頭部装着型表示装置に表示すべく制御する表示制御手段と、
前記ユーザの手に持たれている前記仮想物体を特定する所持物体特定手段として機能させ、
前記決定手段は、前記特定手段により特定されたユーザの着目対象の物体が別の物体となった場合に、前記所持物体特定手段により特定された前記ユーザの手に持たれている前記仮想物体を、前記別の物体に対応する仮想物体とすることを決定し、
前記表示制御手段は、前記決定手段により決定された前記別の物体に対応する仮想物体を前記頭部装着型表示装置に表示すべく制御することを特徴とするプログラム。 A program for controlling an information processing device equipped with a head-mounted display device.
The information processing device
A specific means for identifying an object of interest that the user is paying attention to from the line of sight of the user wearing the head-mounted display device, and
A determination means for determining a virtual object corresponding to the object of interest as a virtual object to be displayed on the head-mounted display device, in addition to the object of interest specified by the specific means.
A display control means for controlling a virtual object determined to be displayed by the determination means to be displayed on the head-mounted display device, and a display control means.
To function as a possession object specifying means for specifying the virtual object being held in the hand of the user,
When the object of interest of the user specified by the specific means becomes another object, the determination means obtains the virtual object held in the user's hand specified by the possessed object identification means. , Decided to make it a virtual object corresponding to the other object,
The display control means is a program characterized in that a virtual object corresponding to the other object determined by the determination means is controlled to be displayed on the head-mounted display device.
前記頭部装着型表示装置を装着しているユーザの視線から、前記ユーザが着目している着目対象の物体を特定する特定手段と、
前記特定手段により特定された前記着目対象の物体とは別に、前記着目対象の物体に対応する仮想物体を前記頭部装着型表示装置に表示する仮想物体として決定する決定手段と、
前記決定手段によって表示することが決定された仮想物体を表示する表示手段と、
前記ユーザの手に持たれている前記仮想物体を特定する所持物体特定手段と、
を備え、
前記決定手段は、前記特定手段により特定されたユーザの着目対象の物体が別の物体となった場合に、前記所持物体特定手段により特定された前記ユーザの手に持たれている前記仮想物体を、前記別の物体に対応する仮想物体とすることを決定し、
前記表示手段は、前記決定手段により決定された前記別の物体に対応する仮想物体を表示することを特徴とする情報処理システム。 An information processing system that includes a head-mounted display device and an information processing device.
A specific means for identifying an object of interest that the user is paying attention to from the line of sight of the user wearing the head-mounted display device, and
A determination means for determining a virtual object corresponding to the object of interest as a virtual object to be displayed on the head-mounted display device, in addition to the object of interest specified by the specific means.
A display means for displaying a virtual object determined to be displayed by the determination means,
A possession object identification means for identifying the virtual object held in the user's hand, and
With
When the object of interest of the user specified by the specific means becomes another object, the determination means obtains the virtual object held in the user's hand specified by the possessed object identification means. , Decided to make it a virtual object corresponding to the other object,
The information processing system is characterized in that the display means displays a virtual object corresponding to the other object determined by the determination means.
前記頭部装着型表示装置を装着しているユーザの視線から、前記ユーザが着目している着目対象の物体を特定する特定工程と、
前記特定工程により特定された前記着目対象の物体とは別に、前記着目対象の物体に対応する仮想物体を前記頭部装着型表示装置に表示する仮想物体として決定する決定工程と、
前記決定工程によって表示することが決定された仮想物体を表示する表示工程と、
前記ユーザの手に持たれている前記仮想物体を特定する所持物体特定工程と、
を含み、
前記決定工程は、前記特定工程により特定されたユーザの着目対象の物体が別の物体となった場合に、前記所持物体特定工程により特定された前記ユーザの手に持たれている前記仮想物体を、前記別の物体に対応する仮想物体とすることを決定し、
前記表示工程は、前記決定工程により決定された前記別の物体に対応する仮想物体を表示することを特徴とする制御方法。 A control method for an information processing system including a head-mounted display device and an information processing device.
A specific step of identifying an object of interest that the user is paying attention to from the line of sight of the user wearing the head-mounted display device.
A determination step of determining a virtual object corresponding to the object of interest as a virtual object to be displayed on the head-mounted display device, separately from the object of interest specified by the specific step.
A display process for displaying a virtual object determined to be displayed by the determination process, and a display process for displaying the virtual object.
A possession object identification process for identifying the virtual object held in the user's hand, and
Including
In the determination step, when the object of interest of the user specified by the specific step becomes another object, the virtual object held in the user's hand specified by the possessed object identification step is used. , Decided to make it a virtual object corresponding to the other object,
The display step is a control method characterized in that a virtual object corresponding to the other object determined by the determination step is displayed.
前記情報処理システムを、
前記頭部装着型表示装置を装着しているユーザの視線から、前記ユーザが着目している着目対象の物体を特定する特定手段と、
前記特定手段により特定された前記着目対象の物体とは別に、前記着目対象の物体に対応する仮想物体を前記頭部装着型表示装置に表示する仮想物体として決定する決定手段と、
前記決定手段によって表示することが決定された仮想物体を表示する表示手段と、
前記ユーザの手に持たれている前記仮想物体を特定する所持物体特定手段として機能させ、
前記決定手段は、前記特定手段により特定されたユーザの着目対象の物体が別の物体となった場合に、前記所持物体特定手段により特定された前記ユーザの手に持たれている前記仮想物体を、前記別の物体に対応する仮想物体とすることを決定し、
前記表示手段は、前記決定手段により決定された前記別の物体に対応する仮想物体を表示することを特徴とするプログラム。
A program for controlling an information processing system including a head-mounted display device and an information processing device.
The information processing system
A specific means for identifying an object of interest that the user is paying attention to from the line of sight of the user wearing the head-mounted display device, and
A determination means for determining a virtual object corresponding to the object of interest as a virtual object to be displayed on the head-mounted display device, in addition to the object of interest specified by the specific means.
A display means for displaying a virtual object determined to be displayed by the determination means,
To function as a possession object specifying means for specifying the virtual object being held in the hand of the user,
When the object of interest of the user specified by the specific means becomes another object, the determination means obtains the virtual object held in the user's hand specified by the possessed object identification means. , Decided to make it a virtual object corresponding to the other object,
The display means is a program characterized by displaying a virtual object corresponding to the other object determined by the determination means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016242078A JP6820469B2 (en) | 2016-12-14 | 2016-12-14 | Information processing equipment, information processing system, its control method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016242078A JP6820469B2 (en) | 2016-12-14 | 2016-12-14 | Information processing equipment, information processing system, its control method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018097645A JP2018097645A (en) | 2018-06-21 |
JP6820469B2 true JP6820469B2 (en) | 2021-01-27 |
Family
ID=62633609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016242078A Active JP6820469B2 (en) | 2016-12-14 | 2016-12-14 | Information processing equipment, information processing system, its control method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6820469B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021155334A1 (en) * | 2020-01-31 | 2021-08-05 | Surgical Theater, Inc. | System and method for augmenting and synchronizing a virtual model with a physical model |
JP2024058783A (en) * | 2022-10-17 | 2024-04-30 | キヤノン株式会社 | Control device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040095311A1 (en) * | 2002-11-19 | 2004-05-20 | Motorola, Inc. | Body-centric virtual interactive apparatus and method |
JP2008272123A (en) * | 2007-04-26 | 2008-11-13 | Namco Bandai Games Inc | Program, information memory medium and game apparatus |
US9024844B2 (en) * | 2012-01-25 | 2015-05-05 | Microsoft Technology Licensing, Llc | Recognition of image on external display |
JP5996138B1 (en) * | 2016-03-18 | 2016-09-21 | 株式会社コロプラ | GAME PROGRAM, METHOD, AND GAME SYSTEM |
-
2016
- 2016-12-14 JP JP2016242078A patent/JP6820469B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018097645A (en) | 2018-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7079231B2 (en) | Information processing equipment, information processing system, control method, program | |
JP6978701B2 (en) | Information processing system, its control method, and program, and information processing device, its control method, and program. | |
JP6730642B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
US11257233B2 (en) | Volumetric depth video recording and playback | |
JP5762892B2 (en) | Information display system, information display method, and information display program | |
JP4739002B2 (en) | Image processing method and image processing apparatus | |
US20080204453A1 (en) | Method and apparatus for generating three-dimensional model information | |
JP2015125641A (en) | Information processing device, control method therefor, and program | |
JP6738007B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP2016122392A (en) | Information processing apparatus, information processing system, control method and program of the same | |
JP6730577B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP6820469B2 (en) | Information processing equipment, information processing system, its control method and program | |
JP6725827B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
US12002162B2 (en) | Method and apparatus for providing virtual contents in virtual space based on common coordinate system | |
JP6376251B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP6683919B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP6164177B2 (en) | Information processing apparatus, information processing system, control method thereof, and program | |
JP7029087B2 (en) | Information processing equipment, information processing system, its control method and program | |
JP2016115148A (en) | Information processing apparatus, information processing system, information processing method, and program | |
JP2015121892A (en) | Image processing apparatus, and image processing method | |
JP6734537B2 (en) | Information processing apparatus, control method and program therefor, information processing system, control method therefor, and program | |
JP2019175294A (en) | Display control program, apparatus therefor, and method thereof | |
WO2023054661A1 (en) | Gaze position analysis system and gaze position analysis method | |
JP6744543B2 (en) | Information processing system, control method thereof, and program | |
JP6741939B2 (en) | Information processing apparatus, information processing system, control method thereof, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201214 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6820469 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |