WO2016021034A1 - ３次元上の注視点の位置特定アルゴリズム - Google Patents

３次元上の注視点の位置特定アルゴリズム Download PDF

Info

Publication number
WO2016021034A1
WO2016021034A1 PCT/JP2014/070954 JP2014070954W WO2016021034A1 WO 2016021034 A1 WO2016021034 A1 WO 2016021034A1 JP 2014070954 W JP2014070954 W JP 2014070954W WO 2016021034 A1 WO2016021034 A1 WO 2016021034A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
line
sight
face
point
Prior art date
Application number
PCT/JP2014/070954
Other languages
English (en)
French (fr)
Inventor
ロクラン ウィルソン
Original Assignee
株式会社Ｆｏｖｅ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｏｖｅ filed Critical 株式会社Ｆｏｖｅ
Priority to US15/501,930 priority Critical patent/US20180133593A1/en
Priority to PCT/JP2014/070954 priority patent/WO2016021034A1/ja
Priority to KR1020177003082A priority patent/KR20170041720A/ko
Priority to JP2015530206A priority patent/JP6454851B2/ja
Priority to CN201480081076.XA priority patent/CN106796443A/zh
Publication of WO2016021034A1 publication Critical patent/WO2016021034A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G06T15/405—Hidden part removal using Z-buffer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Definitions

  • the present invention relates to a method for identifying a user's point of interest in a stereoscopic image.
  • a device that tracks the user's line of sight is already known. However, between the point that the user is actually gazing and the user's line of sight recognized by the device. There was an error, and the user's line of sight could not be accurately identified.
  • HMD head-mounted display
  • a device for simulating communication with a character displayed by a machine is already known for a simulation game or the like.
  • the user interface device for imaging the user's eyes for example, the one described in the prior document 1 is known.
  • the user's line of sight is used as an input means to the device.
  • the device described in the prior document 2 is known.
  • the user's line-of-sight can be input by the user's line-of-sight position detection means, video display means, and coincidence detection means for both the line-of-sight position and video.
  • a device that simulates communication using a virtual character has been known, for example, as in the prior art 3, a text input using a keyboard is a main input, and a user's pulse, body temperature, and sweating are auxiliary inputs. Yes.
  • the thickness of the crystalline lens is adjusted according to the distance from the object, and the focus is adjusted so as to clearly connect the image of the object. For this reason, an object that is far from the viewpoint is not in focus and looks blurred.
  • the stereoscopic effect is produced only by providing different images for both eyes, and the object that should be far from the viewpoint is also in focus and looks clear. I was sorry.
  • the above purpose is to calculate the data of the eyes of the user's eyes based on the data from the camera that captures the eyes of the user, and the game engine manages the calculated data of the eyes with the ray casting method or the Z buffer method.
  • This is achieved by a gaze point calculation algorithm that compares the depth data of the three-dimensional space and calculates a three-dimensional coordinate position in the three-dimensional space that the user is gazing at.
  • the gazing point calculation algorithm preferably uses a three-dimensional coordinate position information specified by the line-of-sight detection algorithm and applies a blur expression with depth information to the scene of the coordinate to simulate a pseudo focus expression. Is introduced.
  • an object of interaction is displayed, and a user's line of sight and face direction match a specific part of the object displayed on the video display unit for a certain time or more. In this case, it is determined that the user is interacting with the object.
  • the direction of the user's face is calculated based on data from a direction sensor that detects the direction of the user's face, and the gaze and face direction of the user are determined for a certain period of time. As described above, when a specific part of the target displayed on the video display unit is matched, it is determined that the user is interacting with the target.
  • the simulation by the display device with a line-of-sight detection function of the present invention calculates the direction of the user's face based on the data from the direction sensor that detects the direction of the user's face, and the user's line of sight and the direction and position of the face are When a specific part of the object displayed on the video display unit is matched for a certain time or more, it is determined that the user is interacting with the object.
  • the gazing point calculation algorithm preferably includes a video display unit and a camera that captures the user's eyes, and the video display unit and the camera are stored in a housing fixed to the user's head. Incorporated into a head mounted display (HMD).
  • HMD head mounted display
  • a 3D video device such as an HMD
  • the user's eye is simply imaged and the actual gaze point of the user is not calculated.
  • the user's gaze point can be accurately calculated by calculating the user's gaze point by collating with an object in the video.
  • 3D image is provided by blurring the position where the user's focus is far away from the depth in the image space. For that purpose, it is indispensable to calculate the user's focus accurately, but simply calculating the shortest distance point or intersection of the eyes of both eyes as the focus, the focus is the actual focus of the user's gaze. Since an error occurs between the two, the error is corrected by the algorithm of the present invention.
  • the video display unit that displays the character and the camera that captures the user's eyes are provided. While detecting the line of sight, it calculates which part of the displayed video the user is viewing. As a result, when the user's line of sight is directed to a specific part of the character displayed on the video display unit within a certain time range, in particular, the user looks at the character's eyes or near the center of the face. Is determined to be properly communicating. For this reason, compared with the conventional communication simulation which does not involve the step of eye-gaze input, the simulation close
  • communication simulation it has a direction sensor that detects the direction of the user's face, and by analyzing the direction of the user's face with the direction sensor, whether the user is pointing not only at the eyes but also at the character Is determined. For this reason, when the user changes the orientation of the face, the video can be changed according to the orientation of the user's face. Further, it is possible to perform a more accurate simulation of communication by determining that communication is possible only when the user faces the character in the direction of the character.
  • the conventional HMD technology can be applied to the present invention as it is, and a large screen An image can be displayed at a wide angle in the user's field of view without using the.
  • FIG. 1 is a mounting diagram of an HMD type display device with a line-of-sight detection function according to a first embodiment of the present invention.
  • FIG. It is a mounting
  • FIG. 1 is a simplified flowchart of the algorithm of the focus recognition function of the present invention.
  • the camera 10 images both eyes of the user and calculates line-of-sight data.
  • the gaze data is collated with the depth data 12 in the three-dimensional space in the game engine by the ray casting method 11 or the Z buffer method 13, the gaze point is calculated by the gaze point calculation processing method 14, and the user gazes.
  • a three-dimensional coordinate position in the three-dimensional space is specified.
  • the camera 10 captures both eyes of the user, calculates the shortest distance point or intersection of the line of sight of both eyes of the user, and the Z buffer of the video portion closest to the shortest distance point or intersection of the line of sight of the user's eyes Refers to the value. Then, according to the difference between the Z buffer value and the Z buffer value of the other video part, the other video part is blurred.
  • FIG. 2 is a flowchart showing the algorithm in FIG. 1 in more detail.
  • a point in the game is input by the Z buffer method or the ray casting method.
  • the Z buffer method the user's line of sight is projected 200 onto an in-game object for which a Z buffer value is set, and the coordinates of a point set as the surface of the object in the game are calculated 201 and input as a Z point 202.
  • a projection line is drawn 203 in a three-dimensional space in the game engine, and the coordinates of the intersection point of the line of sight and the object in the game are input 204 on the physical line in the game.
  • the output 208 is output with the midpoint 207 of the two points or the emphasis of the two points as the focal point.
  • the shortest distance point or intersection of the eyes of both eyes is calculated 209 and input 210 is performed. It is determined whether or not the CI has an origin point. If the CI does not have an origin point, it is determined that the focus has not been determined, and a far point is output 212 as the focus value.
  • the origin point exists in the CI
  • FIG. 3 shows a flowchart of communication simulation by the display device with a gaze detection function according to the present invention.
  • the simulation is started by clicking or input step 31 using the keyboard, and the screen shifts to the start screen 32.
  • the character search step 33 by the user the character display screen 34, the input step 35 by the user's line of sight, the appropriate communication determination step 36, the communication success screen 37 or the communication failure
  • the process proceeds to the end 39 of the simulation.
  • FIG. 4 is a mounting diagram in the first embodiment of the present invention.
  • the display device 40 with a line-of-sight detection function includes a sensor 41 that detects the direction of the face, and the video display unit and the camera 10 are stored in a housing fixed to the user's head, and are of the HMD type as a whole.
  • FIG. 5 is a mounting view of the second embodiment according to the present invention.
  • the display device with a line-of-sight detection function uses a video display device other than the HMD, such as a monitor for a personal computer, and is a glasses type as a whole.
  • the user searches by operating the focus displayed on the video display device by operating the mouse or the keyboard.
  • the eye image captured by the camera 10 and the information of the sensor 41 that detects the direction of the face are analyzed, and the line of sight of the user is analyzed.
  • FIG. 6 is a structural diagram in which the camera 10 images both eyes. Based on the parallax 62, the coordinates of the shortest distance point or intersection 63 of the user's line of sight are calculated. For example, in the communication determination step 36, the user can communicate with the character when the coordinates of the shortest distance point or the intersection 63 are directed to a specific part of the character displayed on the video display unit for a predetermined time or more. It is determined that
  • a sensor 41 that detects the direction of the user's face is analyzed, and the direction of the user's face is analyzed by the sensor 41, and the user's line of sight and the direction of the face are displayed on the image display unit for a predetermined time or more.
  • the character search step 33 when the present invention is implemented, when the user changes the direction of the face, the screen displayed according to the direction of the neck changes. As a result, an event in which the visual field seen by the eyes when the face direction is changed in the real space is reproduced on the video expression by the HMD.
  • the character is not displayed on the screen at the start because the character is outside the field of view, but the character is displayed as the background image changes as the user looks back. Is done.
  • the camera 10 in the present invention is a small camera that images the user's eyes, and the user's line of sight is calculated from the image captured by the camera 10.
  • the user's line of sight is used as the main input element of the simulation.
  • the line-of-sight input step 35 the line of sight of the user by the camera 10 is analyzed and input as line-of-sight data.
  • the communication determination step 36 if the user's line of sight is directed to a specific part of the character displayed on the video display unit for a certain time or more, it is determined that the user is communicating with the character.
  • the character sees the user for about 15 seconds. If the user turns his gaze near the center of the character's face for about 1 second or more in about 15 seconds, it is determined that the communication is successful. On the other hand, if 15 seconds have passed without the user turning his gaze toward the center of the character's face for more than 1 second, it is determined that communication has failed. In addition, when the user's line of sight moves too much or when the character is stared too much, it is determined that the communication has failed.
  • the character On the screen 37 when communication is successful, the character greets the user. On the other hand, on the screen 38 at the time of communication failure, the character passes as it is without greeting the user.
  • the direction of the user's line of sight is calculated from the image of the pupil imaged by the camera for input by the line of sight.
  • the visual line of calculation is calculated by analyzing the image of the user's eye 40.
  • a difference occurs between the visual line of calculation and the actual line of sight that the user has actually watched.
  • the procedure for adjusting the difference the user is caused to gaze at the pointer displayed on the screen, and the difference between the actual line-of-sight position where the user is gazing and the calculated line-of-sight position is calculated.
  • the calculated difference value is corrected to the position of the calculated line of sight, and the focus position recognized by the apparatus is matched with the point where the user is actually gazing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

　 【課題】　３次元空間を表現するゲームエンジンにおいて、使用者の注視点を正確に入力する。 【解決手段】　使用者の眼を撮像するカメラ１０からのデータよって、使用者の両眼の視線のデータを算出し、前記使用者の視線データと、ゲームエンジンが管理しているシステムに含まれる３次元データとに基づいて、使用者が注視している３次元空間内の３次元座標位置を計算するように、注視点算出アルゴリズムを構成する。

Description

３次元上の注視点の位置特定アルゴリズム
　本発明は、立体映像における使用者の注視点の特定方法に関するものである。
　ヘッドマウントディスプレイ（ＨＭＤ）等のディスプレイ装置において、使用者の視線を追跡する装置は既に知られているが、実際に使用者が注視している点と装置が認識する使用者の視線との間で誤差があり、使用者の視線を正確に特定できなかった。
　一般に、機械により表示されるキャラクターとのコミュニケーションをシミュレーションする装置は、既にシミュレーションゲーム等で知られている。
　使用者の眼を撮像するユーザーインターフェイス装置については、例えば先行文献１に記載されたものが知られている。このユーザーインターフェイス装置においては、ユーザーの視線を装置への入力手段としている。
　また、使用者の視線により入力する装置としては、先行文献２に記載されたものも知られている。この装置においては、使用者の視線位置検出手段と、映像表示手段、視線位置と映像との両者の一致検出手段によって、ユーザーの視線による入力を可能としている。
　従来、バーチャルキャラクターを用いてコミュニケーションのシミュレーションをする装置は、例えば先行文献３のように、キーボードによるテキスト入力を主たる入力として、使用者の脈拍、体温、発汗を補助入力とするものが知られている。
特開２０１２-００８７４５
特開平０９－０１８７７５
特開２００４－２１２６８７
　ヘッドマウントディスプレイを含むディスプレイにおいて使用者の視線を追跡する際に、使用者の両眼の瞳孔の方向は、必ずしも使用者が注視している点と一致せず、正確な使用者の注視点の座標を特定する技術が求められていた。
　人間は眼で物を見る際、対象物との距離に応じて水晶体の厚さを調整し、対象物の像を鮮明に結ぶようにピントを調節している。そのため、視点からの距離が離れた対象物についてはピントが合わず、ぼやけて見える。
　しかし、従来の立体映像においては、両眼に別の映像を提供する事のみによって立体感を演出しており、視点から距離が離れているはずの対象物にもピントが合って鮮明に見えてしまっていた。
　機械によるコミュニケーションのシミュレーションを行うためには、シミュレーションの体系の中に現実のコミュニケーションの要素を取り入れることが不可欠である。中でも、現実のコミュニケーションにおいては、お互いの視線の認識が果たす役割が大きいため、使用者の視線の検出、判定をシミュレーションにどう取り入れるかが課題となっていた。
　さらに、実際のコミュニケーションにおいては、顔の向きを相手に向けることも重要であり、この点をどのように検出及び判定し、シミュレーションに取り入れるかも課題となっていた。
　上記目的は使用者の眼を撮像するカメラからのデータよって、使用者の両眼の視線のデータを算出し、算出した視線のデータをレイキャスティング法又はＺバッファー法によってゲームエンジンが管理している３次元空間の奥行データと照合し、使用者が注視している３次元空間内の３次元座標位置を計算する、注視点算出アルゴリズムによって、達成される。
　本発明による注視点算出アルゴリズムは、好ましくは、視線検知アルゴリズムで特定した３次元上の座標位置情報を用いて、当該座標のシーンに奥行情報を伴ったブラー表現をかけることで擬似的に焦点表現を導入する。
　本発明による注視点算出アルゴリズムは、好ましくは、インタラクションの対象物が表示され、使用者の視線及び顔の方向が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する。
　本発明の視線検知機能付きディスプレイ装置によるシミュレーションは使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が対象物とインタラクションをとれていると判定する。
　本発明の視線検知機能付きディスプレイ装置によるシミュレーションは使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向及び位置が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が対象物とインタラクションをとれていると判定する。
　本発明による注視点算出アルゴリズムは、好ましくは、映像表示部と、使用者の眼を撮像するカメラとを有し、映像表示部とカメラとが使用者の頭部に固定されるハウジングに格納されたヘッドマウントディスプレイ（ＨＭＤ）に組み込まれる。
　ＨＭＤ等の３Ｄ映像装置を用いた立体映像において、使用者の注視点を算出するにあたっては、使用者の眼を撮像するのみでは、実際の使用者の注視点と算出された注視点との間で誤差が生じてしまうが、映像内のオブジェクトに照合して使用者の注視点を算出することにより、使用者の注視点を正確に算出することができる。
　映像内において使用者の焦点と映像空間内における奥行きが離れた位置について、ぼかしが入ることにより、立体的な映像が提供される。そのためには、使用者の焦点を正確に算出することが不可欠であるが、単純に両眼の視線の最短距離点又は交点を焦点として算出するのでは、使用者が実際に注視する焦点との間で誤差が生じてしまうため、本発明のアルゴリズムによって当該誤差を補正する。
　上記構成によれば、本発明による視線検知機能付きディスプレイ装置によってコミュニケーションのシミュレーションがされる場合は、キャラクターを表示する映像表示部と、使用者の眼を撮像するカメラとを有し、使用者の視線を検知するとともに、使用者が、表示されている映像のうち、どの部分を見ているかを算出する。
　これにより、使用者の視線が、一定時間の範囲内において、映像表示部に表示されたキャラクターの特定の部位に向いた場合、特に、使用者がキャラクターの目や、顔の中心付近を見ている場合に適切にコミュニケーションがとれていると判定される。
　このため、視線入力のステップを伴わない従来のコミュニケーションのシミュレーションに比べ、現実のコミュニケーションに近いシミュレーションがなされる。
　コミュニケーションのシミュレーションにおいて、使用者の顔の方向を検知する方向センサーを有し、方向センサーによって使用者の顔の方向を解析することにより、使用者がキャラクターに目線だけでなく顔を向けているか否かが判定される。
　このため、使用者が顔の向きを変えた時に、使用者の顔の向きに従って映像が変化することが可能となる。また、使用者が顔をキャラクターの方向に向けている場合にのみコミュニケーションがとれていると判定することにより、より正確なコミュニケーションのシミュレーションをすることが可能である。
　映像表示部とカメラとが使用者の頭部に固定されるハウジングに格納され、全体としてＨＭＤである場合には、従来からのＨＭＤの技術を本発明にそのまま適用することができ、大型のスクリーンを用いることなく使用者の視界に広い角度で映像を表示することができる。
本発明の焦点認識機能のアルゴリズムの簡易フロー図である。 本発明の焦点認識機能のアルゴリズムのフロー図である。 シミュレーションのフローチャートである。 本発明の第一実施形態であるＨＭＤ型の視線検知機能付きディスプレイ装置の装着図である。 本発明の第二実施形態であるメガネ型の視線検知機能付きディスプレイ装置の装着図である。 使用者の両眼を撮像する本発明の構造図である。
　図１は、本発明の焦点認識機能のアルゴリズムの簡易フロー図である。
　カメラ１０が使用者の両眼を撮像し、視線データを算出する。次に前記視線データをレイキャスティング法１１もしくはＺバッファー法１３によって、ゲームエンジン内の３次元空間内奥行データ１２と照合し、注視点算出処理法１４によって注視点を算出し、使用者が注視している３次元空間内における３次元の座標位置を特定する。
　カメラ１０が使用者の両眼を撮像し、使用者の両眼の視線の最短距離点又は交点を算出し、使用者の両眼の視線の最短距離点又は交点に最も近い映像部のＺバッファー値を参照する。そして、前記Ｚバッファー値と、他の映像部のＺバッファー値の差に応じて、他の映像部にぼかしを入れる。
　図２は、図１におけるアルゴリズムをより詳細に示したフロー図である。まず、Ｚバッファー法もしくはレイキャスティング法によって、ゲーム内の一点を入力する。
　Ｚバッファー法では、使用者の視線をＺバッファー値が設定されているゲーム内オブジェクトに投影２００し、ゲーム内においてオブジェクトの表面として設定されている点の座標を算出２０１し、Ｚ点として入力２０２する。
　レイキャスティング法では、ゲームエンジン内の３次元空間に投影線を引き２０３、ゲーム内の物理線上に視線とゲーム内オブジェクトとの交点の座標をＰ点として入力２０４する。
　Ｐ点もしくはＺ点が少なくとも１点あるかを判定２０５し、また、少なくとも１点の合致点がある場合には、合致点が２点あってかつ当該２点が閾値ａ未満の距離であるかを判定２０６し、合致点が２点あって、かつ当該２点の距離がａ未満である場合には、当該２点の中点２０７又は２点の重点を焦点として出力２０８する。
　一方、Ｐ点とＺ点が一致する点が１点以下か、あるいは２点あっても当該２点の距離が閾値α以上に離れている場合には、両眼の視線の最短距離点又は交点（ＣＩ）を算出２０９、及び入力２１０する。
　ＣＩが起源点をもつか否かを判定２１１し、起源点を持たない場合には焦点が定まっていないものとし、焦点の値に遠方の点を出力２１２する。
　一方、ＣＩに起源点が存在する場合には、ＣＩから距離が近い範囲でＺ点が存在するか否かを判定２１３し、Ｚ点の距離が近い範囲で存在する場合にはＺ点を焦点として出力２１４し、Ｚ点の距離が近い範囲で存在しない場合には、ＣＩにフィルタリング２１５をかけ、当該フィルタリングされた値にブレンディングをかけて出力２１６する。
　図３は、本発明による視線検知機能付きディスプレイ装置によるコミュニケーションのシミュレーションのフローチャートを示している。
　図３において、シミュレーションの起動後、クリック又はキーボードによる入力ステップ３１によって、シミュレーションが開始され、開始画面３２に移行する。
　開始画面３２から、使用者によるキャラクターの探索ステップ３３、キャラクターの表示画面３４、使用者の視線による入力ステップ３５、適切なコミュニケーションの判定ステップ３６、コミュニケーションの成功時の画面３７あるいはコミュニケーションの失敗時の画面３８を経て、シミュレーションの終了３９に移行する。
　図４は、本発明の第一の実施形態における装着図である。視線検知機能付きディスプレイ装置４０は、顔の方向を検知するセンサー４１を有し、映像表示部とカメラ１０とが使用者の頭部に固定されるハウジングに格納され、全体としてＨＭＤ型である。
　図５は、本発明による第二の実施形態における装着図である。視線検知機能付きディスプレイ装置はパーソナルコンピューター用のモニター等、ＨＭＤ以外の映像表示装置が用いられ、全体としてメガネ型である。キャラクターの探索画面において、使用者はマウス又はキーボードの操作によって映像表示装置に表示される焦点を操作して探索する。
　第二の実施形態においては、カメラ１０により撮像された眼の画像と、顔の方向を検知するセンサー４１の情報とが解析され、使用者の視線が解析される。
　図６は、カメラ１０が両眼を撮像する構造図である。視差６２により使用者の視線の最短距離点又は交点６３の空間上の座標を算出する。
　例えばコミュニケーションの判定ステップ３６において、最短距離点又は交点６３の座標が、一定時間以上、映像表示部に表示されたキャラクターの特定の部位に向いたことをもって、使用者が前記キャラクターとコミュニケーションをとれていると判定される。
　使用者の顔の方向を検知するセンサー４１を有し、センサー４１によって使用者の顔の方向を解析し、使用者の視線及び顔の方向が、一定時間以上、前記映像表示部に表示されたキャラクターの特定の部位に向いた場合には、使用者が前記キャラクターとコミュニケーションをとれていると判定される。
　本発明を実施する場合のキャラクターの探索ステップ３３においては、使用者が顔の向きを変えると、首の方向に従って表示される画面が変化する。これによって、現実空間において顔の方向を変えた時に目に映される視界が変化する事象が、ＨＭＤよる映像表現上でも再現される。
　キャラクターの探索ステップ３３において、開始時は、キャラクターが視界の外に存在するという設定であるため、キャラクターは画面に表示されないが、使用者が後ろを振り返ることにより、背景映像の変化とともにキャラクターが表示される。
　本発明におけるカメラ１０は使用者の眼を撮像する小型カメラであり、カメラ１０により撮像された画像によって、使用者の視線が算出される。
　本発明によるシミュレーションでは、使用者の視線をシミュレーションの主な入力要素とする。
　視線入力ステップ３５においては、カメラ１０による使用者の視線が解析され、視線データとして入力される。
　コミュニケーションの判定ステップ３６においては、使用者の視線が、一定時間以上、映像表示部に表示されたキャラクターの特定の部位に向いた場合には、使用者がキャラクターとコミュニケーションをとれていると判定される。
　コミュニケーションの判定ステップ３６の時、キャラクターが約１５秒、使用者を見る。
　この約１５秒の内、約１秒以上使用者がキャラクターの顔の中心付近に視線を向けた場合は、コミュニケーション成功と判定される。
　一方、使用者がキャラクターの顔の中心付近に視線を１秒以上向けないまま１５秒が経過した場合には、コミュニケーション失敗と判定される。
　また、使用者の視線がせわしなく動きすぎた場合や、キャラクターを見つめすぎた場合にも、コミュニケーションが失敗と判定される。
　コミュニケーションの成功時の画面３７においては、キャラクターが使用者に挨拶する。一方、コミュニケーションの失敗時の画面３８においては、キャラクターが使用者に挨拶せず、そのまま通りすぎていく。
　シミュレーションの開始前には、正確な視線入力のために調整の手順が設けられる。
　本発明では視線による入力のために、カメラによって撮像された瞳孔の映像から使用者の視線の方向を算出する。ここで、使用者の眼４０の映像を解析することにより、計算上の視線が算出されるが、この計算上の視線と使用者が実際に注視した、実際の視線との間で差異が生じる場合がある。
　そのため、この差異を調整する手順において、使用者に画面上に表示されたポインタを注視させ、使用者が注視する実際の視線の位置と、計算上の視線の位置との差異を算出する。
　以後、シミュレーションにおいて、計算上の視線の位置に、算出した差異の値を補正して、装置が認識する焦点の位置を使用者が実際に注視している点に合わせる。
１０　カメラ
１１　レイキャスティング法
１２　３次元空間の奥行データ
１３　Ｚバッファー法
１４　注視点算出処理法
１５　使用者が注視している３次元空間内における座標位置
２００　Ｚバッファーへ視線を投影
２０１　ゲーム内のＺ点を算出
２０２　Ｚ点を入力
２０３　レイキャスティング法により、投影線を引く
２０４　Ｐ点を入力
２０５　Ｐ点又はＺ点が少なくとも１点存在するか
２０６　Ｐ点とＺ点が１対存在し、閾値α未満であるか
２０７　Ｐ点又はＺ点の中点を算出
２０８　Ｐ点又はＺ点の中点を出力
２０９　視線を算出し、最短距離点又は交点（ＣＩ）を算出
２１０　ＣＩ値を入力
２１１　ＣＩは起源点を持つか
２１２　遠方の点を焦点として出力
２１３　Ｐ点又はＺ点がＣＩから近い距離に存在するか
２１４　Ｐ点又はＺ点を出力
２１５　ＣＩ値をフィルタリング
２１６　フィルタリングされたＣＩ値を出力
３０　起動
３１　開始の入力ステップ
３２　開始画面
３３　使用者による探索
３４　キャラクター表示画面
３５　視線入力ステップ
３６　コミュニケーションの判定ステップ
３７　コミュニケーションの成功時の画面
３８　コミュニケーションの失敗時の画面
３９　シミュレーションの終了
４０　ＨＭＤ型の視線検知機能付きディスプレイ装置
４１　顔の方向を検知するセンサー
５０　メガネ型の視線検知機能付きディスプレイ装置
５２　スクリーン
６０　眼
６１　レンズ
６２　視差
６３　最短距離点又は交点

Claims (6)

  1. 使用者の眼を撮像するカメラからのデータよって、使用者の両眼の視線のデータを算出し、
    算出した視線のデータをレイキャスティング法又はＺバッファー法によってゲームエンジンが管理している３次元空間の奥行データと照合し、
    前記使用者が注視している３次元空間内の３次元座標位置を計算する、
    注視点算出アルゴリズム。
  2. 前記視線検知アルゴリズムで特定した３次元上の座標位置情報を用いて、当該座標のシーンに奥行情報を伴ったブラー表現をかけることで擬似的に焦点表現を導入する、
    請求項１に記載の注視点算出アルゴリズム。
  3. インタラクションの対象物が表示され、
    使用者の視線及び焦点が、一定時間以上、前記対象物の特定の部位に向いた場合には、使用者が前記対象物とインタラクションをとれていると判定する、
    請求項１に記載の注視点算出アルゴリズム。
  4. 使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、
    使用者の視線及び顔の方向が、一定時間以上、前記映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する、
    請求項１に記載の注視点算出アルゴリズム。
  5. 使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、
    使用者の視線および顔の方向及び位置が、一定時間以上、前記映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する、
    請求項１に記載の注視点算出アルゴリズム。
  6. 映像表示部と、
    使用者の眼を撮像するカメラと、を有し、
    前記映像表示部と前記カメラとが使用者の頭部に固定されるハウジングに格納され、
    請求項１に記載の注視点算出アルゴリズムが組み込まれた、
    ヘッドマウントディスプレイ。
     
PCT/JP2014/070954 2014-08-07 2014-08-07 ３次元上の注視点の位置特定アルゴリズム WO2016021034A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/501,930 US20180133593A1 (en) 2014-08-07 2014-08-07 Algorithm for identifying three-dimensional point-of-gaze
PCT/JP2014/070954 WO2016021034A1 (ja) 2014-08-07 2014-08-07 ３次元上の注視点の位置特定アルゴリズム
KR1020177003082A KR20170041720A (ko) 2014-08-07 2014-08-07 3차원상의 주시점의 위치 특정 알고리즘
JP2015530206A JP6454851B2 (ja) 2014-08-07 2014-08-07 ３次元上の注視点の位置特定アルゴリズム
CN201480081076.XA CN106796443A (zh) 2014-08-07 2014-08-07 三维上的凝视点的位置确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/070954 WO2016021034A1 (ja) 2014-08-07 2014-08-07 ３次元上の注視点の位置特定アルゴリズム

Publications (1)

Publication Number Publication Date
WO2016021034A1 true WO2016021034A1 (ja) 2016-02-11

Family

ID=55263340

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/070954 WO2016021034A1 (ja) 2014-08-07 2014-08-07 ３次元上の注視点の位置特定アルゴリズム

Country Status (5)

Country Link
US (1) US20180133593A1 (ja)
JP (1) JP6454851B2 (ja)
KR (1) KR20170041720A (ja)
CN (1) CN106796443A (ja)
WO (1) WO2016021034A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10209773B2 (en) 2016-04-08 2019-02-19 Vizzario, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
US10299673B2 (en) 2008-01-14 2019-05-28 Vizzario, Inc. Method and system of enhancing ganglion cell function to improve physical performance
JP2019193697A (ja) * 2018-05-01 2019-11-07 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
JP2021524629A (ja) * 2018-05-22 2021-09-13 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ウェアラブルシステムのためのトランスモード入力融合

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
US11106276B2 (en) * 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
US10429647B2 (en) 2016-06-10 2019-10-01 Facebook Technologies, Llc Focus adjusting virtual reality headset
US10747859B2 (en) * 2017-01-06 2020-08-18 International Business Machines Corporation System, method and computer program product for stateful instruction-based dynamic man-machine interactions for humanness validation
US11054886B2 (en) * 2017-04-01 2021-07-06 Intel Corporation Supporting multiple refresh rates in different regions of panel display
KR102094953B1 (ko) 2018-03-28 2020-03-30 주식회사 비주얼캠프 시선 추적 방법 및 이를 수행하기 위한 단말
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法およびプログラム
US11181978B2 (en) 2019-06-17 2021-11-23 Hemy8 Sa System and method for gaze estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337756A (ja) * 1993-05-28 1994-12-06 Daikin Ind Ltd ３次元位置指定方法および仮想空間立体視装置
JP2008502990A (ja) * 2004-06-18 2008-01-31 トビイ テクノロジー アーベー 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム
JP2012085106A (ja) * 2010-10-12 2012-04-26 Sony Corp 画像処理装置、画像処理方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
EP3527121B1 (en) * 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
EP2709060B1 (en) * 2012-09-17 2020-02-26 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
US20140164056A1 (en) * 2012-12-07 2014-06-12 Cascade Strategies, Inc. Biosensitive response evaluation for design and research
US9275278B2 (en) * 2013-02-15 2016-03-01 Fuji Xerox Co., Ltd. Systems and methods for implementing and using off-center embedded media markers
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
CN103516985A (zh) * 2013-09-18 2014-01-15 上海鼎为软件技术有限公司 移动终端及其获取图像的方法
CN103793060B (zh) * 2014-02-14 2017-07-28 杨智 一种用户交互系统和方法
US9568997B2 (en) * 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning
DE102014115341B4 (de) * 2014-10-21 2016-11-03 Carl Zeiss Smart Optics Gmbh Abbildungsoptik und Datenbrille

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337756A (ja) * 1993-05-28 1994-12-06 Daikin Ind Ltd ３次元位置指定方法および仮想空間立体視装置
JP2008502990A (ja) * 2004-06-18 2008-01-31 トビイ テクノロジー アーベー 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム
JP2012085106A (ja) * 2010-10-12 2012-04-26 Sony Corp 画像処理装置、画像処理方法及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10299673B2 (en) 2008-01-14 2019-05-28 Vizzario, Inc. Method and system of enhancing ganglion cell function to improve physical performance
US11096570B2 (en) 2008-01-14 2021-08-24 Vizzario, Inc. Method and system of enhancing ganglion cell function to improve physical performance
US10209773B2 (en) 2016-04-08 2019-02-19 Vizzario, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
US11561614B2 (en) 2016-04-08 2023-01-24 Sphairos, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
JP2019193697A (ja) * 2018-05-01 2019-11-07 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
JP2021524629A (ja) * 2018-05-22 2021-09-13 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ウェアラブルシステムのためのトランスモード入力融合
JP7341166B2 (ja) 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
US11983823B2 (en) 2018-05-22 2024-05-14 Magic Leap, Inc. Transmodal input fusion for a wearable system

Also Published As

Publication number Publication date
JP6454851B2 (ja) 2019-01-23
US20180133593A1 (en) 2018-05-17
JPWO2016021034A1 (ja) 2017-05-25
KR20170041720A (ko) 2017-04-17
CN106796443A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
JP6454851B2 (ja) ３次元上の注視点の位置特定アルゴリズム
CN110187855B (zh) 近眼显示设备的避免全息影像阻挡视线的智能调节方法
CN109074681B (zh) 信息处理装置、信息处理方法和程序
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
JP5923603B2 (ja) 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
JP5295714B2 (ja) 表示装置、画像処理方法、及びコンピュータプログラム
WO2013185714A1 (zh) 增强现实中识别对象的方法及系统和计算机
JP2023507867A (ja) 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム
KR20160094190A (ko) 시선 추적 장치 및 방법
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US11956415B2 (en) Head mounted display apparatus
JP2006285715A (ja) 視線検出システム
US20240085980A1 (en) Eye tracking using alternate sampling
US20100123716A1 (en) Interactive 3D image Display method and Related 3D Display Apparatus
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
CN106708249B (zh) 交互方法、交互装置及用户设备
JP2017107359A (ja) 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法
JP2018063567A (ja) 画像処理装置、画像処理方法およびプログラム
WO2017081915A1 (ja) 画像処理装置、画像処理方法およびプログラム
TWI674518B (zh) 眼球追蹤的校正方法和其裝置
Wu et al. Depth-disparity calibration for augmented reality on binocular optical see-through displays
US20230254466A1 (en) Control device
US9523853B1 (en) Providing focus assistance to users of a head mounted display
WO2018165906A1 (zh) 一种头戴式显示装置及其显示方法
CN115834858A (zh) 显示方法、装置、头戴显示设备及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015530206

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14899120

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177003082

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14899120

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15501930

Country of ref document: US