WO2017122367A1 - 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ - Google Patents

画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2017122367A1
WO2017122367A1 PCT/JP2016/054459 JP2016054459W WO2017122367A1 WO 2017122367 A1 WO2017122367 A1 WO 2017122367A1 JP 2016054459 W JP2016054459 W JP 2016054459W WO 2017122367 A1 WO2017122367 A1 WO 2017122367A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image display
wearer
information
video information
Prior art date
Application number
PCT/JP2016/054459
Other languages
English (en)
French (fr)
Inventor
浩士 福田
仁士 新木
卓磨 本木
直樹 太田
強 竹内
Original Assignee
株式会社meleap
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to RU2018126601A priority Critical patent/RU2693684C1/ru
Priority to KR1020187020567A priority patent/KR102060453B1/ko
Priority to CN201680000071.9A priority patent/CN107209959B/zh
Priority to CA3010069A priority patent/CA3010069C/en
Priority to MYPI2018001282A priority patent/MY189621A/en
Priority to AU2016386349A priority patent/AU2016386349B2/en
Priority to EP16884970.1A priority patent/EP3404624B1/en
Priority to ES16884970T priority patent/ES2935124T3/es
Application filed by 株式会社meleap filed Critical 株式会社meleap
Priority to SG11201805203YA priority patent/SG11201805203YA/en
Priority to EP19152733.2A priority patent/EP3496047B1/en
Priority to US16/070,096 priority patent/US10558048B2/en
Publication of WO2017122367A1 publication Critical patent/WO2017122367A1/ja
Priority to IL260534A priority patent/IL260534B/en
Priority to PH12018501504A priority patent/PH12018501504B1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

 画像表示システムを適用したゲームシステム100は、現実世界を撮像するカメラと、このカメラによって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画面と、を有するヘッドマウントディスプレイ300と、ヘッドマウントディスプレイ300を装着する装着者の体の動きを動作情報として検出するモーションセンサー400と、装着者の位置情報を検出するためのマーカー200と、を有し、動作情報および位置情報に基づいて仮想世界の映像情報を制御する。これにより、装着者の位置と動きに応じてヘッドマウントディスプレイに表示する映像情報を制御することができる。また、本発明は、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイを提供する。

Description

画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
 本発明は、画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイに関するものである。
 従来から、現実世界の映像情報に仮想世界の映像情報を実時間で融合させることのできる装置として、ヘッドマウントディスプレイ(HMD)が知られている(例えば、特許文献1参照)。しかしながら、特許文献1のヘッドマウントディスプレイでは、仮想世界の映像情報を表示することができても、その映像情報を、例えばヘッドマウントディスプレイの装着者の動き(特に、手や足の動き)に合わせて変化させることができず、没入感(臨場感)を高めることが困難であった。
特開2015-226110号公報
 本発明の目的は、装着者の位置と動きに応じてヘッドマウントディスプレイに表示する映像情報を制御することのできる画像表示システムおよび画像表示システムの制御方法を提供することにある。
 このような目的は、下記の本発明により達成される。
 (1) 現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
 前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
 前記装着者の位置情報を検出する位置情報検出部と、を有し、
 前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御することを特徴とする画像表示システム。
 (2) 前記位置情報検出部は、空間に配置されたマーカーを前記撮像部によって画像認識することで、前記装着者の前記位置情報を得ることができる上記(1)に記載の画像表示システム。
 (3) 前記位置情報検出部は、前記装着者の三次元の位置情報を得ることができる上記(1)または(2)に記載の画像表示システム。
 (4) 前記動作情報検出部は、前記装着者に装着されるモーションセンサーを有している上記(1)ないし(3)のいずれかに記載の画像表示システム。
 (5) 前記モーションセンサーは、前記装着者の腕に装着される上記(4)に記載の画像表示システム。
 (6) 前記ヘッドマウントディスプレイは、前記撮像部および前記画像表示部を備えた携帯端末と、前記装着者の頭部に装着され、前記携帯端末を着脱可能なフレームと、を有している上記(1)ないし(5)のいずれかに記載の画像表示システム。
 (7) 前記装着者を含む領域を撮像する撮像装置と、
 前記撮像装置により撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像を表示する画像表示装置と、をさらに有している上記(1)ないし(6)のいずれかに記載の画像表示システム。
 (8) 現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
 前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
 前記装着者の位置情報を検出する位置情報検出部と、を有する画像表示システムについて、
 前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御することを特徴とする画像表示システムの制御方法。
 (9) 前記画像表示システムは、
 前記装着者を含む領域を撮像する撮像装置と、
 映像情報を表示する画像表示装置と、をさらに有し、
 前記画像表示装置に、前記撮像装置によって撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像を表示する上記(8)に記載の画像表示システムの制御方法。
 (10) 現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
 前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
 前記装着者の位置情報を検出する位置情報検出部と、
 前記装着者を含む領域を撮像する撮像装置と、を有し、
 前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御するように構成された画像表示システムについて、
 前記撮像装置によって撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像情報を配信することを特徴とする画像配信システム。
 (11) 画像表示部を備える携帯端末と、当該携帯端末を着脱可能に支持するフレームとを有するヘッドマウントディスプレイであって、
 前記フレームは、装着者に装着された装着状態において、
 前記装着者の眼前に位置し、前記画像表示部を前記装着者の眼側に向けた姿勢で前記携帯端末を着脱可能に支持する支持部と、
 現実世界を目視可能な窓部と、を有し、
 前記窓部は、前記装着状態において、
 少なくとも、前記支持部に装着された前記携帯端末と前記装着者の眼との間に位置する空間の前記装着者の足元側と、前記空間の前記装着者の側方側と、に配置されていることを特徴とするヘッドマウントディスプレイ。
 本発明によれば、装着者の位置と動きに応じてヘッドマウントディスプレイに表示される仮想世界の映像情報を制御することができるため、利便性を高めることができる。また、装着者が体験している仮想映像を第3者から見た映像として配信することができ、第3者も一緒に仮想映像を体験することができる。また、高い安全性を発揮することができるヘッドマウントディスプレイを提供することもできる。
図1は、本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステムの第1実施形態を示す構成図である。 図2は、ヘッドマウントディスプレイに表示されるAR視野の一例を示す図である。 図3は、ヘッドマウントディスプレイに表示されるAR視野の一例を示す図である。 図4は、マーカーの配置の変形例を示す図である。 図5は、ヘッドマウントディスプレイを示す斜視図である。 図6は、ヘッドマウントディスプレイの携帯端末の画面に表示される画像の一例を示す図である。 図7は、図1に示すゲームシステムのブロック図である。 図8は、本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステムの第2実施形態を示す構成図である。 図9は、図8に示すゲームシステムのブロック図である。
 以下、本発明の画像表示システムおよび画像表示システムの制御方法を添付図面に示す実施形態に基づいて詳細に説明する。
 <第1実施形態>
 まず、本発明の第1実施形態に係る画像表示システムおよび画像表示システムの制御方法について説明する。
 図1は、本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステムの第1実施形態を示す構成図である。図2および図3は、それぞれ、ヘッドマウントディスプレイに表示されるAR視野の一例を示す図である。図4は、マーカーの配置の変形例を示す図である。図5は、ヘッドマウントディスプレイを示す斜視図である。図6は、携帯端末の画面に表示される画像の一例を示す図である。図7は、図1に示すゲームシステムのブロック図である。なお、説明の便宜上、図2、図3および図6では、説明の便宜上、現実世界の映像情報の図示を省略している。
 本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステム100は、図1に示すように、主に、フィールドFに設置されるマーカー200と、プレーヤー(装着者)Pが装着するヘッドマウントディスプレイ300およびモーションセンサー(動作情報検出部)400と、プレーヤーPを撮影するカメラ(撮像装置)500と、カメラ500で撮影した映像を表示するディスプレイ(画像表示装置)600と、サーバー700と、を有している。
 このようなゲームシステム100では、ヘッドマウントディスプレイ300に現実世界の映像情報に仮想世界の映像情報を融合した映像が表示され、仮想世界の映像情報がプレーヤーPの位置(位置情報)や動き(動作情報)に応じて変化するようになっている。すなわち、ゲームシステム100は、プレーヤーPの位置や動きに基づいて仮想世界の映像情報を制御するように構成されている。そのため、ゲームシステム100によれば、プレーヤーPに体感型のAR(拡張現実)を提供することができる。
 次に、ゲームシステム100を用いて行われるゲームの一例を説明する。このゲームは、モンスターMと戦う対戦型のゲームであり、図2に示すAR視野(プレーヤーPから見える画像)のように、ヘッドマウントディスプレイ300を装着したプレーヤーPの眼前(現実世界の映像情報中)にCG(computer graphics)で生成されたモンスターM(仮想世界の映像情報)が出現する。プレーヤーPは、自らの体を動かすことで、その動きに対応したコマンド(命令)を発動することができる。そして、プレーヤーPは、コマンドを駆使してモンスターMと戦い、モンスターMの体力を0にすることで勝利することができる。また、戦いの最中は、図3に示すAR視野のように、プレーヤーPおよびモンスターMの攻撃画像や、プレーヤーPおよびモンスターMの体力値画像等がCGによって映像化され、これにより、モンスターMとの戦いに臨場感が与えられている。なお、前記コマンドとしては特に限定されず、ゲーム内容によっても異なるが、例えば、攻撃(必殺技、攻撃魔法等)、防御(ガード、回避、回復魔法等)、武器の切り替え等が挙げられる。
 また、プレーヤーPとモンスターMの戦いは、カメラ500を用いて、カメラ500の視点から映像化され、図1に示すように、その映像がディスプレイ600に表示されるようになっている。そのため、プレーヤーP以外の者(観客)も、プレーヤーPとモンスターMとの戦いを観戦することができ、プレーヤーPと観客との一体感を強めることができる。なお、ディスプレイ600に表示される映像は、インターネットを経由して、遠隔地に配信されるようになっていてもよい。
 以下、ゲームシステム100が有する各部について順に説明する。
 [サーバー]
 サーバー700は、ゲームシステム100のゲームエンジンであり、ゲームシステム100のゲーム内容を実行する機能を有している。また、サーバー700は、ヘッドマウントディスプレイ300およびカメラ500と接続されており、これらの間で情報の送受信が可能となっている。なお、サーバー700との接続方法としては、有線、無線を問わないが、本実施形態ではWi-Fi(登録商標)により接続されている。
 なお、本実施形態では、サーバー700がフィールドFの傍に配置されている所謂「物理サーバー」であるが、サーバー700としては、クラウドサーバー(web上のサーバー)に代表される所謂「仮想サーバー」であってもよい。
 [マーカー]
 マーカー200は、図1に示すように、フィールドFの端に位置しており、ほぼ鉛直な1つの面(例えば、部屋の壁面や部屋内に設置された衝立等)に配置されている。このマーカー200は、所定のパターンを有している。このパターンをヘッドマウントディスプレイ300に設けられたカメラで画像認識することで、ヘッドマウントディスプレイ300(プレーヤーP)の三次元の位置情報(位置および姿勢に関する情報)を取得することができる。
 なお、マーカー200としては、ヘッドマウントディスプレイ300のカメラ312で画像認識することができれば、そのパターンや配置等について特に限定されず、目的に合わせて適宜選択することができる。例えば、図4に示すように、マーカー200を、床面に配置してもよいし、向きの異なる2つ以上の面(壁面、床面、天井面)に跨って配置してもよい。また、マーカー200としては、造形物、置物等の立体物を利用した立体マーカーであってもよい。また、例えば、室内で遊ぶ場合等には、部屋の形状自体(特に、柱、窓等の構造物、絵画、照明等のインテリア等の画像認識し易い特徴的な部分)をマーカー200として利用してもよい。この場合は、部屋の形状を事前にスキャンしておき、そのデータをマーカーとして用いればよい。そのため、マーカーを準備する必要がない点で有利である。
 [モーションセンサー]
 モーションセンサー400は、プレーヤーPの腕に装着され、腕の動きを検出できるようになっている。このようなモーションセンサー400には加速度を検出する加速度センサー410と、角速度を検出する角速度センサー420と、が内蔵されている。加速度センサー410および角速度センサー420からの検出信号(動作情報)は、ヘッドマウントディスプレイ300に送信される。モーションセンサー400とヘッドマウントディスプレイ300との接続方法としては、有線、無線を問わないが、本実施形態ではBluetooth(登録商標)により接続されている。
 なお、モーションセンサー400の構成としては、腕の動きを検出できれば特に限定されず、例えば、筋電位を検出できる筋電位センサーをさらに有し、この筋電位センサーによって、プレーヤーPの手が握りしめられているのかや、指の動き(例えば、グー、チョキ、パー)や、手首の動き(手首の曲げ伸ばし、捩り)を検出できるようになっていてもよい。このように、指の動きを検出することができれば、前述したコマンドをより多彩に用意することができ、より緻密な戦いが可能となる。また、本実施形態ではモーションセンサー400を腕に装着しているが、モーションセンサー400の装着箇所としては腕に限定されず、例えば、脚、胴体、頭等であってもよい。また、例えば、モーションセンサー400を腕と脚の両方に装着し、腕と脚の動きをそれぞれ検出できるようになっていてもよい。また、モーションセンサー400は、プレーヤーPの体に装着されなくてもよい。例えば、プレーヤーPが把持する道具(例えば、武器に見立てた剣や弓)や、装着する付属物等にモーションセンサー400が組み込まれていてもよい。
 また、本実施形態では、動作情報検出部としてモーションセンサーを用いているが、動作情報検出部としては、プレーヤーPの動きを検出することができれば、モーションセンサーに限定されない。例えば、動作情報検出部は、カメラを用いた画像認識でプレーヤーPの動きを検出する構成であってもよい。また、動作情報検出部としては、例えば、赤外線深度センサーを用い、この赤外線深度センサーの距離情報からプレーヤーPを認識し、プレーヤーPの体の動きを検出する構成であってもよい。
 [ヘッドマウントディスプレイ]
 ヘッドマウントディスプレイ300は、図5に示すように、携帯端末310と、携帯端末310を着脱可能なフレーム320と、を有している。
 携帯端末310は、一方の面(表面)に配置された画面(画像表示部)311と、他方の面(背面)に配置され、画面311とは反対側の現実世界を撮像するカメラ(撮像部)312と、を有している。このような携帯端末310としては特に限定されないが、例えば、スマートフォン、タブレット端末等を用いることができる。また、プレーヤーPが所有するスマートフォン等を携帯端末310として用いることができる。そのため、利便性の高いヘッドマウントディスプレイ300となる。
 一方、フレーム320は、フレーム本体330と、フレーム本体330をプレーヤーPの頭部に固定するバンド340と、を有している。また、フレーム本体330は、プレーヤーPの眼を覆う箱状をなしている。フレーム本体330は、頭部に装着した状態で、プレーヤーPの眼前に位置する前面部331と、上方に位置する上面部332と、下方(携帯端末310とプレーヤーPの眼との間に位置する空間Sに対してプレーヤーPの足元側)に位置する下面部333と、側方(空間Sに対してプレーヤーの左右両側)に位置する側面部334、335と、眼と前面部331との間(空間S内)に位置するレンズ部336と、を有している。また、フレーム本体330の頭部と接する部分には、例えば、スポンジ等で構成された緩衝部337が設けられている。
 また、前面部331には携帯端末310を装着するスロット部(支持部)350と、携帯端末310をスロット部350に固定するロック機構360と、が設けられている。
 スロット部350は、携帯端末310を着脱可能に支持することができる。このようなスロット部350は、前面部331の側方に設けられたスロット口351を有する。このスロット口351からスロット部350内に携帯端末310を挿入できるようになっている。また、スロット部350にはカメラ312での撮像を許容するための窓部352が設けられている。本実施形態の窓部352は、開口で構成されている。このようなスロット部350には、携帯端末310が、画面311をプレーヤーPの眼側に向け、カメラ312をプレーヤーPの前方側に向けた状態で装着される。
 一方、ロック機構360は、ロック板361を回動させることでスロット口351を開閉することができる。スロット口351を開くことでスロット部350への携帯端末310の挿入が可能となり、スロット口351を閉じることでスロット部350に携帯端末310を固定することができる。また、側面部335に設けられたネジ362にロック板361に設けられた溝361aを挿入し、ネジ362を締め付けることで、スロット口351が閉じた状態を維持することができる。
 また、上面部332は、実質的に光を透過せず、外光(特に、太陽光や天井照明光)を遮断するシェードとして機能する。このような上面部332を設けることで、携帯端末310の画面311に表示される画像を視認し易くなる。一方、下面部333および側面部334、335は、それぞれ光を透過する窓部を有する。それにより、プレーヤーPは、装着状態においても窓部を介してフレーム本体330の下方および側方から外界(現実世界)を視認(目視)できるようになっている。そのため、装着時の安全性が向上する。なお、本実施形態では、下面部333の窓部は、実質的に無色透明の板部材333aで構成されており、側面部334、335の窓部は、開口(貫通孔)334a、335aで構成されている。ただし、窓部の構成としては、特に限定されず、例えば、下面部333、側面部334、335の窓部を全て開口で構成してもよいし、無色透明の板部材で構成してもよい。また、無色透明の板部材に替えて、ミラー部材(明るい側(外側)からは鏡に見え、暗い側(プレーヤーP側)からは外側が透けて見える部材)を用いてもよい。
 また、レンズ部336は、プレーヤーPの左眼用のレンズ336Lと、右眼用のレンズ336Rと、を有している。このようなレンズ部336によって、携帯端末310の画面311を拡大して表示することが可能となる。
 このようなヘッドマウントディスプレイ300では、カメラ312で撮影した現実世界の映像情報が画面311に表示されるようになっており、プレーヤーPは、前方に広がる現実世界を画面311に表示された映像によって視認することができる。また、画面311には、上述した現実世界の映像情報に実時間で融合させて、仮想世界の映像情報(前述したモンスターMやコマンド)が表示されるようになっている。これにより、ヘッドマウントディスプレイ300によってARを実現することができる。
 本実施形態では、図6に示すように、画面311を左眼用の画像領域311Lと右眼用の画像領域311Rとに分割し、これら画像領域311L、311Rに視差のない同じ画像を表示することで、映像を2D平面視画像としてプレーヤーPに提供している。ただし、例えば、画像領域311L、311Rに視差のあるステレオ画像を表示することで、仮想世界の映像情報を3D立体視画像としてもよい。また、例えば、携帯端末310がカメラ312からの映像情報から疑似的な3D立体視画像を生成できる場合やカメラ312がステレオカメラで構成され3D立体視撮像が可能となっている場合には、さらに現実世界の映像情報をステレオ画像として表示することで、それを3D立体視画像としてもよい。
 ここで、携帯端末310は、図7に示すように、動作判定部313と、位置判定部(位置情報検出部)314と、映像情報生成部315と、を有している。
 動作判定部313は、モーションセンサー400からの検出信号(動作情報)を受信し、受信した検出信号からプレーヤーPの腕の動きを検出する。また、動作判定部313は、検出した腕の動きが予め登録されている腕の動きと一致しているか否かを判定し、当該動きが一致していれば、その腕の動きに対応したコマンド(命令)を選択する。例えば、動作判定部313には、両腕を顔の前でクロスさせる動きが「防御」であり、腕を前方に素早く突き出す動きが「攻撃」であり、腕を素早く揺さぶる動きが「武器の切り替え」であること等、複数のコマンドが登録されている。動作判定部313が検出した腕の動きが登録された「防御」のコマンドと一致する場合には、動作判定部313は「防御」を選択する。
 位置判定部314は、カメラ312を用いてマーカー200を画像認識し、マーカー200を基準としたカメラ312の位置座標を取得する。具体的には、マーカー200の画像データが事前に携帯端末310に登録されている。位置判定部314は、登録された前記画像データと、カメラ312で捉えたマーカー200の画像(大きさ、傾き等)を比較し、マーカー位置を起点にプレーヤーP(カメラ312)の位置情報を計算する。これにより、プレーヤーPの三次元の位置情報が得られる。ここで、事前に携帯端末310に登録されたマーカー200は、フィールド情報(フィールドFの位置、形状、大きさ等)に対して現実に即した大きさおよび位置に設定されているため、プレーヤーP(カメラ312)の位置情報をより正確に取得することができる。さらに、位置判定部314は、プレーヤーPの位置情報に基づいて、例えば、技(魔法)の発射位置の判定や、技の衝突判定(相手の技が当たったかどうかの判定)をリアルタイムに行う。また、位置判定部314は、例えば、プレーヤーPに対応した仮想物体をプレーヤーPに追従させて、この仮想物体を用いて技とプレーヤーPとの衝突判定を行っている。そのため、より精度のよい衝突判定を行うことができる。なお、前記仮想物体は、色を持たない透明に設定されており、画面311上においてプレーヤーPに視認されないようになっている。
 なお、位置判定部314としては、少なくとも、プレーヤーPの二次元の位置座標を取得するようになっていればよい。
 映像情報生成部315は、サーバー700から受信したゲーム情報、動作判定部313での判定結果および位置判定部314が取得した位置情報に基づいて、画面311に表示させる仮想世界の映像情報(モンスターM、技、魔法等)を生成し、生成した映像情報を現実世界の映像情報と実時間で融合させて画面311に表示する。
 また、画面311に表示する映像は、携帯端末310やサーバー700に保存され、プレーヤーPがゲーム終了後に確認することができるようになっている。また、前記映像が、リアルタイムでディスプレイ600に表示されるようになっていてもよいし、サーバー700からインターネットを介して遠隔地のユーザー(携帯端末、パーソナルコンピューター等)へ配信可能になっていてもよい。なお、この映像は、ディスプレイ600用およびユーザー用に適宜変換されることが好ましく、例えば、ディスプレイ600用の映像においては、2画面に分割して表示する必要がないため、1画面で表示される2D平面視画像または3D立体視画像とすることが好ましい。
 以上、ヘッドマウントディスプレイ300について説明したが、ヘッドマウントディスプレイ300の構成としては、上述のような機能を有していれば、特に限定されない。例えば、フレーム本体330では、上面部332、下面部333および側面部334、335が平らな板状をなしており、互いにほぼ直角に接続されているが、それらはそれぞれ湾曲しており、全体としてオーバル状に接続されていてもよい。また、上面部332、下面部333および側面部334、335の接続部(角部)は、面取りされて、湾曲形状となっていてもよい。また、例えば、本実施形態では、携帯端末310を利用した構成となっているが、携帯端末を利用しない構成であってもよい。すなわち、ヘッドマウントディスプレイ300として、フレーム本体330に画像表示機能が備わっている、光学透過型またはビデオ透過型のヘッドマウントディスプレイを用いてもよい。
 [カメラ]
 カメラ500は、フィールドF外に固定配置されており、フィールドFの全域を撮像可能となっている。また、カメラ500は、サーバー700から送信されるプレーヤーPの位置情報やプレーヤーPが選択したコマンド(攻撃、防御等)の種類等の各種情報に基づいて、ヘッドマウントディスプレイ300に表示されている仮想世界の映像情報(すなわち、プレーヤーPが体験している仮想世界の映像情報)をカメラ500の視点に置き換えた映像情報を生成する。そして、生成した映像情報をカメラ500で撮影している現実世界の映像情報と実時間で融合させて観客用映像を生成し、この観客用映像をディスプレイ600に表示する。
 なお、上記のように生成された観客用映像は、サーバー700に保存され、プレーヤーPがゲーム終了後に確認することができるようになっている。また、観客用映像は、サーバー700からインターネットを介して遠隔地の端末(ユーザー)へ配信可能にもなっている。そのため、遠隔地においても、プレーヤーPのプレーを見ることができ、一緒にゲームを体験することができる。
 このようなカメラ500としては特に限定されないが、例えば、カメラ機能付きの携帯端末(スマートフォン、タブレット端末)を用いている。このような携帯端末を用いることで、例えば、前述した携帯端末310と同様にして、携帯端末内で仮想世界の映像情報を生成することができ、サーバー700との通信も容易に行うことができるため、システム構成が簡単となる。また、カメラ500としては、例えば、デジタルスチールカメラ、デジタルビデオカメラ等(以下「デジタルカメラ」と言う)を用いることもできる。この場合は、デジタルカメラをパーソナルコンピューターと接続し、パーソナルコンピューターによって上述のような仮想世界の映像情報の生成やサーバー700との通信を行えばよい。デジタルカメラを用いることで、例えば、携帯端末と比較して高解像度、高フレーム数での撮影が可能となる場合もあり、画質を高めることができる。
 なお、本実施形態では、カメラ500をフィールドF外に配置しているが、カメラ500の配置としては、これに限定されない。例えば、カメラ500を、フィールドF内に配置してもよいし、例えば、天井から吊り下げる等することで、フィールドF上(フィールドの上空)に配置してもよい。また、本実施形態では、カメラ500を固定しているが、カメラ500を移動可能としてもよい。カメラ500を移動可能とすると、例えば、プレーヤーPの移動に追従する映像を撮影することもでき、ディスプレイ600に表示される映像の臨場感がより高くなる。
 [ディスプレイ]
 ディスプレイ600は、観客(プレーヤーP以外の者)用のディスプレイであって、例えば、フィールドFの近傍に設けられている。前述したように、このディスプレイ600には、観客用映像(カメラ500で撮影された現実世界の映像情報と、ヘッドマウントディスプレイ300に表示される仮想世界の映像情報をカメラ500の視点に置き換えた映像情報と、を融合させた映像)が表示されるようになっている。このようなディスプレイ600を配置することで、プレーヤーPが体験しているARを観客も体験できるようになり、ゲームの臨場感が増す。
 なお、ディスプレイ600に表示される画像としては、2D平面視画像であってもよいし、3D立体視画像であってもよいが、本実施形態では2D平面視画像が表示されるようになっている。
 また、ディスプレイ600としては、画像を表示できれば特に限定されず、例えば、プロジェクターを用いてスクリーンや壁面に画像を投影する構成とすることができる。また、ディスプレイ600として、観客の携帯端末(スマートフォン、タブレット端末等)を用いてもよく、この場合は、サーバー700から各観客の携帯端末へ映像を配信すればよい。
 以上、ゲームシステム100について説明した。なお、本実施形態では、プレーヤーPが1名である場合について説明したが、プレーヤーPの数は特に限定されず、2名以上であってもよく、2名以上のプレーヤーPが互いに協力してモンスターMと戦ってもよい。この場合、各プレーヤーPが装着するヘッドマウントディスプレイ300(携帯端末310)は、他のプレーヤーPに関する各種情報(位置情報、動作情報等)を受信することができるようになっている。各プレーヤーPが装着するヘッドマウントディスプレイ300には、モンスターMや自らが選択したコマンドの他、他のプレーヤーPが選択したコマンドも映像として表示されるようになっている。
 <第2実施形態>
 次に、本発明の第2実施形態に係る画像表示システムおよび画像表示システムの制御方法について説明する。
 図8は、本発明の画像表示システムおよび画像表示システムの制御方法を適用したゲームシステムの第2実施形態を示す構成図である。図9は、図8に示すゲームシステムのブロック図である。
 以下、本発明の第2実施形態に係る画像表示システムおよび画像表示システムの制御方法について、前述した実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
 第2実施形態に係る画像表示システムおよび画像表示システムの制御方法は、ゲーム内容が異なること以外は、前述した第1実施形態とほぼ同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。
 本実施形態のゲームシステム100は、図8および図9に示すように、主に、フィールドFに設置される一対のマーカー200A、200Bと、第1プレーヤーP1が装着するヘッドマウントディスプレイ300Aおよびモーションセンサー400Aと、第2プレーヤーP2が装着するヘッドマウントディスプレイ300Bおよびモーションセンサー400Bと、第1、第2プレーヤーP1、P2を撮影するカメラ500と、カメラ500で撮影した映像を表示するディスプレイ600と、サーバー700と、を有している。
 本実施形態のゲームシステム100を用いて行われるゲームは、第1プレーヤーP1と第2プレーヤーP2とが対戦する対戦型のゲームである。第1プレーヤーP1と第2プレーヤーP2は、互いに向かい合って位置し、自らの体を動かすことでコマンドを発動して相手プレーヤーを攻撃したり、相手プレーヤーからの攻撃を防いだりして、互いに戦うことができる。各プレーヤーP1、P2が発動したコマンドは、CGによって映像化されて互いのヘッドマウントディスプレイ300A、300Bに表示される。また、第1プレーヤーP1と第2プレーヤーP2の戦いは、カメラ500によって映像化され、その映像がディスプレイ600に表示される。
 [マーカー]
 マーカー200A、200Bは、フィールドFの両端に位置し、互いに向かい合って配置されている。また、マーカー200Aは、第1プレーヤーP1の正面(第2プレーヤーP2の背後)に設置され、第1プレーヤーP1の位置情報を取得するためのマーカーとして用いられる。反対に、マーカー200Bは、第2プレーヤーP2の正面(第1プレーヤーP1の背後)に設置され、第2プレーヤーP2の位置情報を取得するためのマーカーとして用いられる。なお、マーカー200A、200Bは、前述した第1実施形態で説明したマーカー200と同様の構成である。また、マーカー200A、200Bの配置としては、第1、第2プレーヤーP1、P2の位置情報を取得することができれば、上記の配置に限定されなない(例えば、図4参照)。
 [モーションセンサー]
 モーションセンサー400Aは、第1プレーヤーP1の腕に装着され、モーションセンサー400Aの検出信号は、第1プレーヤーP1が装着するヘッドマウントディスプレイ300Aに送信される。また、モーションセンサー400Bは、第2プレーヤーP2の腕に装着され、モーションセンサー400Bの検出信号は、第2プレーヤーP2が装着するヘッドマウントディスプレイ300Bに送信される。なお、モーションセンサー400A、400Bは、前述した第1実施形態で説明したモーションセンサー400と同様の構成である。
 [ヘッドマウントディスプレイ]
 ヘッドマウントディスプレイ300Aは、マーカー200Aを画像認識することで、第1プレーヤーP1の位置情報を取得する。また、ヘッドマウントディスプレイ300Aは、モーションセンサー400Aからの検出信号に基づいて第1プレーヤーP1の腕の動きを検出し、検出した腕の動きに対応したコマンドを選択する。そして、ヘッドマウントディスプレイ300Aは、第1プレーヤーP1の位置情報、第1プレーヤーP1が選択したコマンド、サーバー700から受信した各種情報(ゲーム情報、第2プレーヤーP2の位置情報、第2プレーヤーP2が選択したコマンド等)に基づいて仮想世界の映像情報を生成し、生成した映像情報を現実世界の映像情報と実時間で融合させて表示する。
 一方、ヘッドマウントディスプレイ300Bは、マーカー200Bを画像認識することで、第2プレーヤーP2の位置情報を取得する。また、ヘッドマウントディスプレイ300Bは、モーションセンサー400Bからの検出信号に基づいて第2プレーヤーP2の腕の動きを検出し、検出した腕の動きに対応したコマンドを選択する。そして、ヘッドマウントディスプレイ300Bは、第2プレーヤーP2の位置情報、第2プレーヤーP2が選択したコマンド、サーバー700から受信した各種情報(ゲーム情報、第1プレーヤーP1の位置情報、第1プレーヤーP1が選択したコマンド等)に基づいて仮想世界の映像情報を生成し、生成した映像情報を現実世界の映像情報と実時間で融合させて表示する。
 このようなヘッドマウントディスプレイ300A、300Bは、前述した第1実施形態で説明したヘッドマウントディスプレイ300と同様の構成である。
 以上、第2実施形態について説明した。なお、本実施形態では、1対1の対戦形式のゲームシステム100について説明したが、プレーヤーの数は、特に限定されない。ゲームシステム100の対戦形式は、例えば、2対2、3対3等、複数人対複数人の形式であってもよい。
 以上、本発明の画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイを図示の各実施形態に基づいて説明したが、本発明はこれらに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、他の任意の構成物が付加されていてもよい。また、各実施形態を適宜組み合わせてもよい。
 また、前述した実施形態では、画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイをゲームシステムに適用した構成について説明したが、画像表示システムおよび画像表示システムの制御方法を適用する分野はゲームに限定されず、例えば、家電、車、飛行機等の設計シミュレーションに適用してもよい。
 本発明の画像表示システムを適用したゲームシステム100は、現実世界を撮像するカメラと、このカメラによって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画面と、を有するヘッドマウントディスプレイ300と、ヘッドマウントディスプレイ300を装着する装着者の体の動きを動作情報として検出するモーションセンサー400と、装着者の位置情報を検出するためのマーカー200と、を有し、動作情報および位置情報に基づいて仮想世界の映像情報を制御する。これにより、装着者の位置と動きに応じてヘッドマウントディスプレイに表示する映像情報を制御することができる。したがって、本発明は、産業上の利用可能性を有する。
 100…ゲームシステム、200、200A、200B…マーカー、300、300A、300B…ヘッドマウントディスプレイ、310…携帯端末、311…画面、311L、311R…画像領域、312…カメラ、313…動作判定部、314…位置判定部、315…映像情報生成部、320…フレーム、330…フレーム本体、331…前面部、332…上面部、333…下面部、333a…板部材、334、335…側面部、334a、335a…開口、336…レンズ部、336L、336R…レンズ、337…緩衝部、340…バンド、350…スロット部、351…スロット口、352…窓部、360…ロック機構、361…ロック板、361a…溝、362…ネジ、400、400A、400B…モーションセンサー、410…加速度センサー、420…角速度センサー、500…カメラ、600…ディスプレイ、700…サーバー、F…フィールド、M…モンスター、P…プレーヤー、P1…第1プレーヤー、P2…第2プレーヤー、S…空間

Claims (11)

  1.  現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
     前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
     前記装着者の位置情報を検出する位置情報検出部と、を有し、
     前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御することを特徴とする画像表示システム。
  2.  前記位置情報検出部は、空間に配置されたマーカーを前記撮像部によって画像認識することで、前記装着者の前記位置情報を得ることができる請求項1に記載の画像表示システム。
  3.  前記位置情報検出部は、前記装着者の三次元の位置情報を得ることができる請求項1または2に記載の画像表示システム。
  4.  前記動作情報検出部は、前記装着者に装着されるモーションセンサーを有している請求項1ないし3のいずれか1項に記載の画像表示システム。
  5.  前記モーションセンサーは、前記装着者の腕に装着される請求項4に記載の画像表示システム。
  6.  前記ヘッドマウントディスプレイは、前記撮像部および前記画像表示部を備えた携帯端末と、前記装着者の頭部に装着され、前記携帯端末を着脱可能なフレームと、を有している請求項1ないし5のいずれか1項に記載の画像表示システム。
  7.  前記装着者を含む領域を撮像する撮像装置と、
     前記撮像装置により撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像を表示する画像表示装置と、をさらに有している請求項1ないし6のいずれか1項に記載の画像表示システム。
  8.  現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
     前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
     前記装着者の位置情報を検出する位置情報検出部と、を有する画像表示システムについて、
     前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御することを特徴とする画像表示システムの制御方法。
  9.  前記画像表示システムは、
     前記装着者を含む領域を撮像する撮像装置と、
     映像情報を表示する画像表示装置と、をさらに有し、
     前記画像表示装置に、前記撮像装置によって撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像を表示する請求項8に記載の画像表示システムの制御方法。
  10.  現実世界を撮像する撮像部と、前記撮像部によって撮像された現実世界の映像情報に仮想世界の映像情報を融合させて表示する画像表示部と、を有するヘッドマウントディスプレイと、
     前記ヘッドマウントディスプレイを装着する装着者の体の動きを動作情報として検出する動作情報検出部と、
     前記装着者の位置情報を検出する位置情報検出部と、
     前記装着者を含む領域を撮像する撮像装置と、を有し、
     前記動作情報および前記位置情報に基づいて前記仮想世界の映像情報を制御するように構成された画像表示システムについて、
     前記撮像装置によって撮像された現実世界の映像情報と、前記ヘッドマウントディスプレイに表示される前記仮想世界の映像情報を前記撮像装置の視点から見たときの映像情報と、を融合させた画像情報を配信することを特徴とする画像配信システム。
  11.  画像表示部を備える携帯端末と、当該携帯端末を着脱可能に支持するフレームとを有するヘッドマウントディスプレイであって、
     前記フレームは、装着者に装着された装着状態において、
     前記装着者の眼前に位置し、前記画像表示部を前記装着者の眼側に向けた姿勢で前記携帯端末を着脱可能に支持する支持部と、
     現実世界を目視可能な窓部と、を有し、
     前記窓部は、前記装着状態において、
     少なくとも、前記支持部に装着された前記携帯端末と前記装着者の眼との間に位置する空間の前記装着者の足元側と、前記空間の前記装着者の側方側と、に配置されていることを特徴とするヘッドマウントディスプレイ。
PCT/JP2016/054459 2016-01-15 2016-02-16 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ WO2017122367A1 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
EP16884970.1A EP3404624B1 (en) 2016-01-15 2016-02-16 Image display system, image display system control method, image distribution system, and head-mounted display
CN201680000071.9A CN107209959B (zh) 2016-01-15 2016-02-16 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器
CA3010069A CA3010069C (en) 2016-01-15 2016-02-16 Image display system, method for controlling image display system, image distribution system and head-mounted display
MYPI2018001282A MY189621A (en) 2016-01-15 2016-02-16 Image display system, method for controlling image display system, image distribution system and head-mounted display
AU2016386349A AU2016386349B2 (en) 2016-01-15 2016-02-16 Image display system, method for controlling image display system, image distribution system and head-mounted display
RU2018126601A RU2693684C1 (ru) 2016-01-15 2016-02-16 Система отображения изображения, способ управления системой отображения изображения, система трансляции изображения и закрепляемое на голове устройство отображения
ES16884970T ES2935124T3 (es) 2016-01-15 2016-02-16 Sistema de visualización de imágenes, procedimiento de control del sistema de visualización de imágenes, sistema de distribución de imágenes y dispositivo de visualización montado en la cabeza
KR1020187020567A KR102060453B1 (ko) 2016-01-15 2016-02-16 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이
SG11201805203YA SG11201805203YA (en) 2016-01-15 2016-02-16 Image display system, method for controlling image display system, image distribution system and head-mounted display
EP19152733.2A EP3496047B1 (en) 2016-01-15 2016-02-16 Image distribution system
US16/070,096 US10558048B2 (en) 2016-01-15 2016-02-16 Image display system, method for controlling image display system, image distribution system and head-mounted display
IL260534A IL260534B (en) 2016-01-15 2018-07-11 An image display system, a method for controlling an image display system, an image distribution system, and a head-up display
PH12018501504A PH12018501504B1 (en) 2016-01-15 2018-07-12 Image display system, method for controlling image display system, image distribution system and head-mounted display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016006653A JP6362631B2 (ja) 2016-01-15 2016-01-15 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
JP2016-006653 2016-01-15

Publications (1)

Publication Number Publication Date
WO2017122367A1 true WO2017122367A1 (ja) 2017-07-20

Family

ID=59311108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054459 WO2017122367A1 (ja) 2016-01-15 2016-02-16 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ

Country Status (14)

Country Link
US (1) US10558048B2 (ja)
EP (2) EP3496047B1 (ja)
JP (1) JP6362631B2 (ja)
KR (1) KR102060453B1 (ja)
CN (1) CN107209959B (ja)
AU (1) AU2016386349B2 (ja)
CA (1) CA3010069C (ja)
ES (1) ES2935124T3 (ja)
IL (1) IL260534B (ja)
MY (1) MY189621A (ja)
PH (1) PH12018501504B1 (ja)
RU (1) RU2693684C1 (ja)
SG (1) SG11201805203YA (ja)
WO (1) WO2017122367A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656433A (zh) * 2018-02-03 2020-09-11 脸谱科技有限责任公司 减轻头戴式显示器中动显延迟的装置、系统和方法
WO2021140631A1 (ja) * 2020-01-09 2021-07-15 マクセル株式会社 空間認識システム、空間認識方法、および情報端末

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社meleap 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
US10853651B2 (en) * 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
EP3316080B1 (en) 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
KR102656425B1 (ko) * 2016-12-07 2024-04-12 삼성전자주식회사 영상을 표시하는 전자 장치 및 방법
JP2018148257A (ja) * 2017-03-01 2018-09-20 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
JP6857795B2 (ja) * 2017-12-28 2021-04-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
KR101869220B1 (ko) * 2018-03-28 2018-06-19 강원철 헤드 마운트 디스플레이를 활용한 가상현실 기반의 유영 시스템
JP6368881B1 (ja) * 2018-04-09 2018-08-01 チームラボ株式会社 表示制御システム,端末装置,コンピュータプログラム,及び表示制御方法
US10974134B2 (en) * 2018-06-15 2021-04-13 Incyte Corporation Advanced gaming visualization system
CN111167115A (zh) * 2018-11-09 2020-05-19 致伸科技股份有限公司 交互式游戏系统
JP7385238B2 (ja) * 2019-01-07 2023-11-22 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム
CN110119197A (zh) * 2019-01-08 2019-08-13 佛山市磁眼科技有限公司 一种全息互动系统
JP7243193B2 (ja) * 2019-01-10 2023-03-22 セイコーエプソン株式会社 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
JP2021058482A (ja) * 2019-10-08 2021-04-15 聡 耿 コントローラを使用したゲーム方法
JP2021087580A (ja) * 2019-12-03 2021-06-10 株式会社スクウェア・エニックス ゲーム装置、ゲーム処理方法及びプログラム
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
JP7000408B2 (ja) * 2019-12-24 2022-01-19 株式会社スクウェア・エニックス ゲーム装置、ゲーム処理方法及びプログラム
US11277597B1 (en) * 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
GB2598930A (en) * 2020-09-18 2022-03-23 Zappar Ltd Viewing equipment
US11925863B2 (en) * 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
CN114253389B (zh) * 2020-09-25 2023-05-23 宏碁股份有限公司 整合动作感测器的增强现实系统与增强现实显示方法
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
CN114578954A (zh) * 2020-11-28 2022-06-03 上海光之里科技有限公司 一种增强现实显示装置及其显示控制方法
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
RU2750848C1 (ru) * 2020-12-31 2021-07-05 Илья Викторович Осипов Способ управления группой электронных устройств
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
EP4327185A1 (en) 2021-04-19 2024-02-28 Snap, Inc. Hand gestures for animating and controlling virtual and graphical elements
CN115300897A (zh) * 2022-07-29 2022-11-08 小派科技(上海)有限责任公司 分离式虚拟系统的空间定位方法、虚拟系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353248A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実感提示方法
JP2004038470A (ja) * 2002-07-02 2004-02-05 Canon Inc 複合現実感装置および情報処理方法
JP2015049548A (ja) * 2013-08-29 2015-03-16 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278418B1 (en) * 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
ATE543546T1 (de) * 1999-06-11 2012-02-15 Canon Kk Vorrichtung und verfahren zur darstellung eines von mehreren benutzern geteilten raumes, wo wirklichkeit zum teil einbezogen wird, entsprechende spielvorrichtung und entsprechendes schnittstellenverfahren
JP3363861B2 (ja) * 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
JP2010257081A (ja) * 2009-04-22 2010-11-11 Canon Inc 画像処理方法及び画像処理装置
JP5227910B2 (ja) * 2009-07-21 2013-07-03 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム画像表示方法及びゲーム画像表示プログラム
US8944928B2 (en) * 2010-08-26 2015-02-03 Blast Motion Inc. Virtual reality system for viewing current and previously stored or calculated motion data
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP5697487B2 (ja) * 2011-02-25 2015-04-08 任天堂株式会社 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
JP5891131B2 (ja) * 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
EP2979446A1 (en) * 2013-03-26 2016-02-03 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
JP6304242B2 (ja) * 2013-04-04 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
RU138628U1 (ru) * 2013-11-06 2014-03-20 Станислав Александрович Власов Очки дополненной реальности
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
EP2886172A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Mixed-reality arena
US10585484B2 (en) * 2013-12-30 2020-03-10 Samsung Electronics Co., Ltd. Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device
WO2015123774A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
WO2015123771A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN110308561A (zh) * 2014-03-14 2019-10-08 索尼互动娱乐股份有限公司 用于头戴式显示器(hmd)的方法和系统
JP6274971B2 (ja) 2014-05-26 2018-02-07 株式会社Nttドコモ ヘッドマウントディスプレイ
CN106937531B (zh) * 2014-06-14 2020-11-06 奇跃公司 用于产生虚拟和增强现实的方法和系统
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US9746984B2 (en) 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US10297082B2 (en) * 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
US10449445B2 (en) * 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社meleap 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353248A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実感提示方法
JP2004038470A (ja) * 2002-07-02 2004-02-05 Canon Inc 複合現実感装置および情報処理方法
JP2015049548A (ja) * 2013-08-29 2015-03-16 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KEISUKE TANABE: "Tsui ni Jitsugen, 'Kamehame-ha' ga Uteru Shin Game", TOYO KEIZAI ONLINE, 10 April 2015 (2015-04-10), XP009507693, Retrieved from the Internet <URL:http://toyokeizai.net/articles/-/65790> [retrieved on 20160401] *
KENSHO: "Kodomo no Koro ni Yumemita ''Maho'' ga Hanateru! AR Gijutsu o Kushi shita Techno Sports 'HADO' Taiken Repo", TIME & SPACE BY KDDI, 26 March 2015 (2015-03-26), XP009507679, Retrieved from the Internet <URL:http://time-space.kddi.com/digicul-column/suguyaru/20150326/index.html> [retrieved on 20160401] *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656433A (zh) * 2018-02-03 2020-09-11 脸谱科技有限责任公司 减轻头戴式显示器中动显延迟的装置、系统和方法
CN111656433B (zh) * 2018-02-03 2022-09-23 元平台技术有限公司 减轻头戴式显示器中动显延迟的装置、系统和方法
WO2021140631A1 (ja) * 2020-01-09 2021-07-15 マクセル株式会社 空間認識システム、空間認識方法、および情報端末
JPWO2021140631A1 (ja) * 2020-01-09 2021-07-15

Also Published As

Publication number Publication date
JP6362631B2 (ja) 2018-07-25
EP3404624A4 (en) 2019-04-17
RU2693684C1 (ru) 2019-07-03
EP3404624B1 (en) 2022-10-12
AU2016386349B2 (en) 2019-04-18
IL260534B (en) 2019-07-31
AU2016386349A1 (en) 2018-07-05
US10558048B2 (en) 2020-02-11
JP2017126302A (ja) 2017-07-20
CA3010069C (en) 2019-11-19
CN107209959B (zh) 2019-07-23
EP3404624A1 (en) 2018-11-21
SG11201805203YA (en) 2018-07-30
CA3010069A1 (en) 2017-07-20
EP3496047A1 (en) 2019-06-12
PH12018501504A1 (en) 2019-04-08
KR20180103066A (ko) 2018-09-18
KR102060453B1 (ko) 2019-12-30
US20190025595A1 (en) 2019-01-24
EP3496047B1 (en) 2022-11-02
MY189621A (en) 2022-02-21
PH12018501504B1 (en) 2019-04-08
CN107209959A (zh) 2017-09-26
ES2935124T3 (es) 2023-03-01

Similar Documents

Publication Publication Date Title
JP6362631B2 (ja) 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
US9779633B2 (en) Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
KR101926178B1 (ko) 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템
EP3008549B1 (en) Head mounted display
WO2018124280A1 (ja) シミュレーションシステム、画像処理方法及び情報記憶媒体
JP6248219B1 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018147465A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6479933B1 (ja) プログラム、情報処理装置、および方法
US20180253902A1 (en) Method executed on computer for providing object in virtual space, program for executing the method on the computer, and computer apparatus
JP6263292B1 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019175322A (ja) シミュレーションシステム及びプログラム
JPH07306956A (ja) 閉鎖空間施設を利用した仮想空間体験システム
JP7138483B2 (ja) コンピュータプログラム、情報処理装置および情報処理方法
JP7121518B2 (ja) プログラム、情報処理装置、及び情報処理方法
JP6330072B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7111848B2 (ja) プログラム、情報処理装置、および方法
JP7386948B2 (ja) プログラム、方法および情報処理装置
KR101986808B1 (ko) 착용형 게임 장치
JP6441517B1 (ja) プログラム、情報処理装置、および方法
JP2019166325A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019033894A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018143752A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16884970

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 11201805203Y

Country of ref document: SG

ENP Entry into the national phase

Ref document number: 3010069

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2016386349

Country of ref document: AU

Date of ref document: 20160216

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 260534

Country of ref document: IL

WWE Wipo information: entry into national phase

Ref document number: 12018501504

Country of ref document: PH

ENP Entry into the national phase

Ref document number: 20187020567

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018126601

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 2016884970

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016884970

Country of ref document: EP

Effective date: 20180816