KR20180103066A - 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이 - Google Patents

화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이 Download PDF

Info

Publication number
KR20180103066A
KR20180103066A KR1020187020567A KR20187020567A KR20180103066A KR 20180103066 A KR20180103066 A KR 20180103066A KR 1020187020567 A KR1020187020567 A KR 1020187020567A KR 20187020567 A KR20187020567 A KR 20187020567A KR 20180103066 A KR20180103066 A KR 20180103066A
Authority
KR
South Korea
Prior art keywords
image
information
wearer
display
head mount
Prior art date
Application number
KR1020187020567A
Other languages
English (en)
Other versions
KR102060453B1 (ko
Inventor
히로시 후쿠다
히토시 아라키
타쿠마 모토키
나오키 오타
츠요시 타케우치
Original Assignee
가부시키가이샤 메리프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 메리프 filed Critical 가부시키가이샤 메리프
Publication of KR20180103066A publication Critical patent/KR20180103066A/ko
Application granted granted Critical
Publication of KR102060453B1 publication Critical patent/KR102060453B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

화상 표시 시스템을 적용한 게임 시스템(100)은 현실 세계를 촬상하는 카메라와, 이 카메라에 의해서 촬상된 현실 세계의 영상 정보에 가상 세계의 영상 정보를 융합시켜서 표시하는 화면을 갖는 헤드 마운트 디스플레이(300); 헤드 마운트 디스플레이(300)를 장착하는 장착자의 몸의 움직임을 동작 정보로서 검출하는 모션 센서(400); 및 장착자의 위치 정보를 검출하기 위한 마커(200);를 가지며, 동작 정보 및 위치 정보에 기초해서 가상 세계의 영상 정보를 제어한다. 이로써, 장착자의 위치와 움직임에 따라서 헤드 마운트 디스플레이에 표시하는 영상 정보를 제어할 수 있다. 또한 본 발명은 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이를 제공한다.

Description

화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이
본 발명은 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이에 관한 것이다.
종래부터 현실 세계의 영상 정보에 가상 세계의 영상 정보를 실시간으로 융합시킬 수 있는 장치로서, 헤드 마운트 디스플레이(HMD)가 알려져 있다(예를 들면 특허문헌 1 참조). 그러나 특허문헌 1의 헤드 마운트 디스플레이는 가상 세계의 영상 정보를 표시할 수 있어도 그 영상 정보를, 예를 들어 헤드 마운트 디스플레이 장착자의 움직임(특히 손이나 발의 움직임)에 맞춰 변화시킬 수 없어 몰입감(현장감)을 높이기가 어려웠다.
일본국 공개특허공보 2015-226110호
본 발명의 목적은 장착자의 위치와 움직임에 따라서 헤드 마운트 디스플레이에 표시하는 영상 정보를 제어할 수 있는 화상 표시 시스템 및 화상 표시 시스템의 제어방법을 제공하는 데 있다.
이러한 목적은 하기의 본 발명을 통해 달성된다.
(1) 현실 세계를 촬상하는 촬상부와, 상기 촬상부에 의해 촬상된 현실 세계의 영상 정보에 가상 세계의 영상 정보를 융합시켜서 표시하는 화상 표시부를 갖는 헤드 마운트 디스플레이;
상기 헤드 마운트 디스플레이를 장착하는 장착자의 몸의 움직임을 동작 정보로서 검출하는 동작 정보 검출부; 및
상기 장착자의 위치 정보를 검출하는 위치 정보 검출부;를 가지며,
상기 동작 정보 및 상기 위치 정보에 기초해서 상기 가상 세계의 영상 정보를 제어하는 것을 특징으로 하는 화상 표시 시스템.
(2) 상기 위치 정보 검출부는 공간에 배치된 마커를 상기 촬상부에 의해 화상 인식함으로써 상기 장착자의 상기 위치 정보를 얻을 수 있는 상기 (1)에 기재된 화상 표시 시스템.
(3) 상기 위치 정보 검출부는 상기 장착자의 삼차원 위치 정보를 얻을 수 있는 상기 (1) 또는 (2)에 기재된 화상 표시 시스템.
(4) 상기 동작 정보 검출부는 상기 장착자에게 장착되는 모션 센서를 가지고 있는 상기 (1) 내지 (3) 중 어느 하나에 기재된 화상 표시 시스템.
(5) 상기 모션 센서는 상기 장착자의 팔에 장착되는 상기 (4)에 기재된 화상 표시 시스템.
(6) 상기 헤드 마운트 디스플레이는 상기 촬상부 및 상기 화상 표시부를 구비한 휴대 단말; 및 상기 장착자의 머리부에 장착되며 상기 휴대 단말을 착탈 가능한 프레임;을 가지고 있는 상기 (1) 내지 (5) 중 어느 하나에 기재된 화상 표시 시스템.
(7) 상기 장착자를 포함하는 영역을 촬상하는 촬상 장치; 및
상기 촬상 장치로 촬상된 현실 세계의 영상 정보와, 상기 헤드 마운트 디스플레이에 표시되는 상기 가상 세계의 영상 정보를 상기 촬상 장치의 시점에서 봤을 때의 영상 정보를 융합시킨 화상을 표시하는 화상 표시 장치;를 더 가지고 있는 상기 (1) 내지 (6) 중 어느 하나에 기재된 화상 표시 시스템.
(8) 현실 세계를 촬상하는 촬상부와, 상기 촬상부에 의해 촬상된 현실 세계의 영상 정보에 가상 세계의 영상 정보를 융합시켜서 표시하는 화상 표시부를 갖는 헤드 마운트 디스플레이;
상기 헤드 마운트 디스플레이를 장착하는 장착자의 몸의 움직임을 동작 정보로서 검출하는 동작 정보 검출부; 및
상기 장착자의 위치 정보를 검출하는 위치 정보 검출부;를 갖는 화상 표시 시스템에 대하여,
상기 동작 정보 및 상기 위치 정보에 기초해서 상기 가상 세계의 영상 정보를 제어하는 것을 특징으로 하는 화상 표시 시스템의 제어방법.
(9) 상기 화상 표시 시스템은,
상기 장착자를 포함하는 영역을 촬상하는 촬상 장치; 및
영상 정보를 표시하는 화상 표시 장치;를 더 가지며,
상기 화상 표시 장치에, 상기 촬상 장치로 촬상된 현실 세계의 영상 정보와, 상기 헤드 마운트 디스플레이에 표시되는 상기 가상 세계의 영상 정보를 상기 촬상 장치의 시점에서 봤을 때의 영상 정보를 융합시킨 화상을 표시하는 상기 (8)에 기재된 화상 표시 시스템의 제어방법.
(10) 현실 세계를 촬상하는 촬상부와, 상기 촬상부에 의해 촬상된 현실 세계의 영상 정보에 가상 세계의 영상 정보를 융합시켜서 표시하는 화상 표시부를 갖는 헤드 마운트 디스플레이;
상기 헤드 마운트 디스플레이를 장착하는 장착자의 몸의 움직임을 동작 정보로서 검출하는 동작 정보 검출부;
상기 장착자의 위치 정보를 검출하는 위치 정보 검출부; 및
상기 장착자를 포함하는 영역을 촬상하는 촬상 장치;를 가지며,
상기 동작 정보 및 상기 위치 정보에 기초해서 상기 가상 세계의 영상 정보를 제어하도록 구성된 화상 표시 시스템에 대하여,
상기 촬상 장치로 촬상된 현실 세계의 영상 정보와, 상기 헤드 마운트 디스플레이에 표시되는 상기 가상 세계의 영상 정보를 상기 촬상 장치의 시점에서 봤을 때의 영상 정보를 융합시킨 화상 정보를 전송하는 것을 특징으로 하는 화상 전송 시스템.
(11) 화상 표시부를 구비한 휴대 단말과, 당해 휴대 단말을 착탈 가능하게 지지하는 프레임을 갖는 헤드 마운트 디스플레이로서,
상기 프레임은 장착자에 장착된 장착 상태에서,
상기 장착자의 눈앞에 위치하며, 상기 화상 표시부를 상기 장착자의 눈 쪽을 향하게 한 자세로 상기 휴대 단말을 착탈 가능하게 지지하는 지지부; 및
현실 세계를 목시 가능한 창문부;를 가지며,
상기 창문부는 상기 장착 상태에서,
적어도 상기 지지부에 장착된 상기 휴대 단말과 상기 장착자의 눈 사이에 위치한 공간의 상기 장착자의 발밑측과, 상기 공간의 상기 장착자의 측방측에 배치되어 있는 것을 특징으로 하는 헤드 마운트 디스플레이.
본 발명에 따르면, 장착자의 위치와 움직임에 따라서 헤드 마운트 디스플레이에 표시되는 가상 세계의 영상 정보를 제어할 수 있어 편의성을 높일 수 있다. 또한 장착자가 체험하고 있는 가상 영상을 제3자로부터 본 영상으로 전송할 수 있어 제3자도 함께 가상 영상을 체험할 수 있다. 또한 높은 안전성을 발휘할 수 있는 헤드 마운트 디스플레이를 제공할 수도 있다.
도 1은 본 발명의 화상 표시 시스템 및 화상 표시 시스템의 제어방법을 적용한 게임 시스템의 제1 실시형태를 나타낸 구성도이다.
도 2는 헤드 마운트 디스플레이에 표시되는 AR 시야의 일례를 나타낸 도면이다.
도 3은 헤드 마운트 디스플레이에 표시되는 AR 시야의 일례를 나타낸 도면이다.
도 4는 마커의 배치 변형예를 나타낸 도면이다.
도 5는 헤드 마운트 디스플레이를 나타낸 사시도이다.
도 6은 헤드 마운트 디스플레이의 휴대 단말 화면에 표시되는 화상의 일례를 나타낸 도면이다.
도 7은 도 1에 나타낸 게임 시스템의 블록도이다.
도 8은 본 발명의 화상 표시 시스템 및 화상 표시 시스템의 제어방법을 적용한 게임 시스템의 제2 실시형태를 나타낸 구성도이다.
도 9는 도 8에 나타낸 게임 시스템의 블록도이다.
이하, 본 발명의 화상 표시 시스템 및 화상 표시 시스템의 제어방법을 첨부 도면에 나타낸 실시형태에 기초해서 상세하게 설명한다.
＜제1 실시형태＞
먼저, 본 발명의 제1 실시형태에 따른 화상 표시 시스템 및 화상 표시 시스템의 제어방법에 대하여 설명한다.
도 1은 본 발명의 화상 표시 시스템 및 화상 표시 시스템의 제어방법을 적용한 게임 시스템의 제1 실시형태를 나타낸 구성도이다. 도 2 및 도 3은 각각 헤드 마운트 디스플레이에 표시되는 AR 시야의 일례를 나타낸 도면이다. 도 4는 마커의 배치 변형예를 나타낸 도면이다. 도 5는 헤드 마운트 디스플레이를 나타낸 사시도이다. 도 6은 휴대 단말 화면에 표시되는 화상의 일례를 나타낸 도면이다. 도 7은 도 1에 나타낸 게임 시스템의 블록도이다. 한편, 도 2, 도 3 및 도 6에서는 설명의 편의상 현실 세계의 영상 정보의 도시를 생략하였다.
본 발명의 화상 표시 시스템 및 화상 표시 시스템의 제어방법을 적용한 게임 시스템(100)은 도 1에 도시한 바와 같이 주로 필드(F)에 설치되는 마커(200); 플레이어(장착자)(P)가 장착하는 헤드 마운트 디스플레이(300) 및 모션 센서(동작 정보 검출부)(400); 플레이어(P)를 촬영하는 카메라(촬상 장치)(500); 카메라(500)로 촬영한 영상을 표시하는 디스플레이(화상 표시 장치)(600); 및 서버(700);를 가지고 있다.
이러한 게임 시스템(100)에서는 헤드 마운트 디스플레이(300)에 현실 세계의 영상 정보에 가상 세계의 영상 정보를 융합한 영상이 표시되고, 가상 세계의 영상 정보가 플레이어(P)의 위치(위치 정보)나 움직임(동작 정보)에 따라서 변화하도록 되어 있다. 즉, 게임 시스템(100)은 플레이어(P)의 위치나 움직임에 기초해서 가상 세계의 영상 정보를 제어하도록 구성되어 있다. 그렇기 때문에 게임 시스템(100)에 따르면, 플레이어(P)에게 체감형 AR(증강 현실)을 제공할 수 있다.
다음으로, 게임 시스템(100)을 이용해서 이루어지는 게임의 일례를 설명한다. 이 게임은 몬스터(M)와 싸우는 대전형 게임이며, 도 2에 도시한 AR 시야(플레이어(P)에게서 보이는 화상)와 같이 헤드 마운트 디스플레이(300)를 장착한 플레이어(P)의 눈앞(현실 세계의 영상 정보 중)에 CG(computer graphics)로 생성된 몬스터(M)(가상 세계의 영상 정보)가 출현한다. 플레이어(P)는 자신의 몸을 움직임으로써 그 움직임에 대응한 커맨드(명령)를 발동할 수 있다. 그리고 플레이어(P)는 커맨드를 구사하여 몬스터(M)와 싸워서 몬스터(M)의 체력을 0으로 함으로써 승리할 수 있다. 또한 싸우는 중에는 도 3에 도시한 AR 시야처럼 플레이어(P) 및 몬스터(M)의 공격 화상이나, 플레이어(P) 및 몬스터(M)의 체력값 화상 등이 CG로 영상화되고, 이로 인해 몬스터(M)와의 싸움에 현장감이 부여된다. 한편, 상기 커맨드는 특별히 한정되지 않으며 게임 내용에 따라서도 다른데, 예를 들면 공격(필살기, 공격 마법 등), 방어(가드, 회피, 회복 마법 등), 무기 교체 등을 들 수 있다.
또한 플레이어(P)와 몬스터(M)의 싸움은 카메라(500)를 이용해서 카메라(500)의 시점에서 영상화되고, 도 1에 도시한 바와 같이 그 영상이 디스플레이(600)에 표시되도록 되어 있다. 그렇기 때문에 플레이어(P) 이외의 사람(관객)도 플레이어(P)와 몬스터(M)의 싸움을 관전할 수 있어, 플레이어(P)와 관객의 일체감을 강화할 수 있다. 한편, 디스플레이(600)에 표시되는 영상은 인터넷을 경유하여 원격지에 전송되도록 해도 된다.
이하, 게임 시스템(100)이 갖는 각 부분에 대하여 순서대로 설명한다.
[서버]
서버(700)는 게임 시스템(100)의 게임 엔진이며, 게임 시스템(100)의 게임 내용을 실행하는 기능을 가지고 있다. 또한 서버(700)는 헤드 마운트 디스플레이(300) 및 카메라(500)와 접속되어 있으며, 이들 사이에서 정보 송수신이 가능하게 되어 있다. 한편, 서버(700)와의 접속방법은 유선, 무선을 불문하지만, 본 실시형태에서는 Wi-Fi(등록상표)로 접속되어 있다.
한편, 본 실시형태에서는 서버(700)가 필드(F) 옆에 배치되어 있는 이른바 "물리 서버"이지만, 서버(700)는 클라우드 서버(web상의 서버)로 대표되는 이른바 "가상 서버"여도 된다.
[마커]
마커(200)는 도 1에 도시한 바와 같이 필드(F)의 끝에 위치해 있으며, 거의 연직인 1개의 면(예를 들면 방의 벽면이나 방 안에 설치된 칸막이 등)에 배치되어 있다. 이 마커(200)는 소정 패턴을 가지고 있다. 이 패턴을 헤드 마운트 디스플레이(300)에 마련된 카메라로 화상 인식함으로써 헤드 마운트 디스플레이(300)(플레이어(P))의 삼차원 위치 정보(위치 및 자세에 관한 정보)를 취득할 수 있다.
한편, 마커(200)는 헤드 마운트 디스플레이(300)의 카메라(312)로 화상 인식할 수 있다면 그 패턴이나 배치 등에 대하여 특별히 한정되지 않으며 목적에 맞춰 적절히 선택할 수 있다. 예를 들면 도 4에 도시한 바와 같이 마커(200)를 바닥면에 배치해도 되고, 방향이 다른 2개 이상의 면(벽면, 바닥면, 천장면)에 걸쳐 배치해도 된다. 또한 마커(200)는 조형물, 장식물 등의 입체물을 이용한 입체 마커여도 된다. 또한 예를 들면, 실내에서 노는 경우 등에는 방의 형상 자체(특히 기둥, 창문 등의 구조물, 그림, 조명 등의 인테리어 등 화상 인식하기 쉬운 특징적인 부분)를 마커(200)로 이용해도 된다. 이러한 경우에는 방의 형상을 사전에 스캔해 두고, 그 데이터를 마커로 이용하면 된다. 그렇기 때문에 마커를 준비할 필요가 없는 점에서 유리하다.
[모션 센서]
모션 센서(400)는 플레이어(P)의 팔에 장착되며 팔의 움직임을 검출할 수 있게 되어 있다. 이러한 모션 센서(400)에는 가속도를 검출하는 가속도 센서(410); 및 각속도를 검출하는 각속도 센서(420);가 내장되어 있다. 가속도 센서(410) 및 각속도 센서(420)의 검출 신호(동작 정보)는 헤드 마운트 디스플레이(300)에 송신된다. 모션 센서(400)와 헤드 마운트 디스플레이(300)의 접속방법은 유선, 무선을 불문하지만, 본 실시형태에서는 Bluetooth(등록상표)로 접속되어 있다.
한편, 모션 센서(400)의 구성은 팔의 움직임을 검출할 수 있다면 특별히 한정되지 않으며, 예를 들면 근전위를 검출할 수 있는 근전위 센서를 더 가지며, 이 근전위 센서에 의해서, 플레이어(P)가 손을 쥐고 있는지나 손가락의 움직임(예를 들면 묵, 찌, 빠)이나 손목의 움직임(손목을 펴거나 구부림, 비틂)을 검출할 수 있게 해도 된다. 이처럼 손가락의 움직임을 검출할 수 있다면 전술한 커맨드를 보다 다채롭게 준비할 수 있어 보다 치밀한 싸움이 가능해진다. 또한 본 실시형태에서는 모션 센서(400)를 팔에 장착했지만, 모션 센서(400)의 장착 부위는 팔에 한정되지 않으며, 예를 들면 다리, 몸통, 머리 등이어도 된다. 또한 예를 들면 모션 센서(400)를 팔과 다리 모두에 장착하여 팔과 다리의 움직임을 각각 검출할 수 있게 해도 된다. 또한 모션 센서(400)는 플레이어(P)의 몸에 장착되지 않아도 된다. 예를 들면, 플레이어(P)가 쥐는 도구(예를 들면 무기로 가정한 칼이나 활)나, 장착하는 부속물 등에 모션 센서(400)가 포함되어도 된다.
또한 본 실시형태에서는 동작 정보 검출부로서 모션 센서를 이용하고 있지만, 동작 정보 검출부는 플레이어(P)의 움직임을 검출할 수 있다면, 모션 센서에 한정되지 않는다. 예를 들면 동작 정보 검출부는 카메라를 이용한 화상 인식으로 플레이어(P)의 움직임을 검출하는 구성이어도 된다. 또한 동작 정보 검출부는 예를 들면 적외선 심도 센서를 이용하여, 이 적외선 심도 센서의 거리 정보를 통해 플레이어(P)를 인식하고 플레이어(P)의 몸의 움직임을 검출하는 구성이어도 된다.
[헤드 마운트 디스플레이]
헤드 마운트 디스플레이(300)는 도 5에 도시한 바와 같이 휴대 단말(310); 및 휴대 단말(310)을 착탈 가능한 프레임(320);을 가지고 있다.
휴대 단말(310)은 한쪽 면(표면)에 배치된 화면(화상 표시부)(311); 및 다른 쪽 면(배면)에 배치되며 화면(311)과는 반대쪽 현실 세계를 촬상하는 카메라(촬상부)(312);를 가지고 있다. 이러한 휴대 단말(310)은 특별히 한정되지 않지만, 예를 들면 스마트 폰, 태블릿 단말 등을 이용할 수 있다. 또한 플레이어(P)가 소유한 스마트 폰 등을 휴대 단말(310)로 이용할 수 있다. 그렇기 때문에 편의성이 높은 헤드 마운트 디스플레이(300)가 된다.
한편, 프레임(320)은 프레임 본체(330); 및 프레임 본체(330)를 플레이어(P)의 머리부에 고정하는 밴드(340);를 가지고 있다. 또한 프레임 본체(330)는 플레이어(P)의 눈을 덮는 상자형상을 이루고 있다. 프레임 본체(330)는 머리부에 장착한 상태에서 플레이어(P)의 눈앞에 위치하는 전면부(331); 위쪽에 위치한 상면부(332); 아래쪽(휴대 단말(310)과 플레이어(P)의 눈 사이에 위치한 공간(S)에 대하여 플레이어(P)의 발밑쪽)에 위치하는 하면부(333); 측방(공간(S)에 대하여 플레이어의 좌우 양측)에 위치하는 측면부(334, 335); 및 눈과 전면부(331) 사이(공간(S) 내)에 위치하는 렌즈부(336);를 가지고 있다. 또한, 프레임 본체(330)의 머리부와 접하는 부분에는 예를 들면 스펀지 등으로 구성된 완충부(337)가 마련되어 있다.
또한 전면부(331)에는 휴대 단말(310)을 장착하는 슬롯부(지지부)(350); 및 휴대 단말(310)을 슬롯부(350)에 고정하는 잠금 기구(360);가 마련되어 있다.
슬롯부(350)는 휴대 단말(310)을 착탈 가능하게 지지할 수 있다. 이러한 슬롯부(350)는 전면부(331)의 측방에 마련된 슬롯구(351)를 갖는다. 이 슬롯구(351)를 통해 슬롯부(350) 내에 휴대 단말(310)을 삽입할 수 있게 되어 있다. 또한 슬롯부(350)에는 카메라(312)로 촬상하는 것을 허용하기 위한 창문부(352)가 마련되어 있다. 본 실시형태의 창문부(352)는 개구로 구성되어 있다. 이러한 슬롯부(350)에는 휴대 단말(310)이 화면(311)을 플레이어(P)의 눈 쪽을 향하게 하고, 카메라(312)를 플레이어(P)의 전방측을 향하게 한 상태로 장착된다.
한편, 잠금 기구(360)는 잠금판(361)을 회동시킴으로써 슬롯구(351)를 개폐할 수 있다. 슬롯구(351)를 엶으로써 슬롯부(350)에 휴대 단말(310)을 삽입할 수 있게 되고, 슬롯구(351)를 닫음으로써 슬롯부(350)에 휴대 단말(310)을 고정할 수 있다. 또한 측면부(335)에 마련된 나사(362)에 잠금판(361)에 마련된 홈(361a)을 삽입하고, 나사(362)를 조임으로써 슬롯구(351)가 닫힌 상태를 유지할 수 있다.
또한 상면부(332)는 실질적으로 빛을 투과하지 않으며, 외광(특히 태양광이나 천장 조명광)을 차단하는 쉐이드로서 기능한다. 이러한 상면부(332)를 마련함으로써 휴대 단말(310)의 화면(311)에 표시되는 화상을 시인하기 쉬워진다. 한편, 하면부(333) 및 측면부(334, 335)는 각각 빛을 투과하는 창문부를 갖는다. 그로 인해, 플레이어(P)는 장착 상태에서도 창문부를 통해 프레임 본체(330)의 아래쪽 및 측방에서 외계(현실 세계)를 시인(목시)할 수 있게 되어 있다. 그렇기 때문에, 장착시 안전성이 향상된다. 한편, 본 실시형태에서 하면부(333)의 창문부는 실질적으로 무색 투명한 판 부재(333a)로 구성되어 있으며, 측면부(334, 335)의 창문부는 개구(관통구멍)(334a, 335a)로 구성되어 있다. 단, 창문부의 구성은 특별히 한정되지 않으며, 예를 들면 하면부(333), 측면부(334, 335)의 창문부를 모두 개구로 구성해도 되고, 무색 투명한 판 부재로 구성해도 된다. 또한 무색 투명한 판 부재 대신에, 미러 부재(밝은 쪽(외측)에서는 거울로 보이고, 어두운 쪽(플레이어(P)측)에서는 외측이 비쳐보이는 부재)를 사용해도 된다.
또한 렌즈부(336)는 플레이어(P)의 왼쪽 눈용 렌즈(336L)와 오른쪽 눈용 렌즈(336R)를 가지고 있다. 이러한 렌즈부(336)에 의해서 휴대 단말(310)의 화면(311)을 확대하여 표시할 수 있게 된다.
이러한 헤드 마운트 디스플레이(300)에서는 카메라(312)로 촬영한 현실 세계의 영상 정보가 화면(311)에 표시되도록 되어 있으며, 플레이어(P)는 전방에 펼쳐진 현실 세계를 화면(311)에 표시된 영상을 통해 시인할 수 있다. 또한 화면(311)에는 전술한 현실 세계의 영상 정보에 실시간으로 융합시켜서 가상 세계의 영상 정보(전술한 몬스터(M)나 커맨드)가 표시되도록 되어 있다. 이로써, 헤드 마운트 디스플레이(300)에 의해 AR을 실현할 수 있다.
본 실시형태에서는 도 6에 도시한 바와 같이 화면(311)을 왼쪽 눈용 화상영역(311L)과 오른쪽 눈용 화상영역(311R)으로 분할하고, 이 화상영역(311L, 311R)들에 시차(視差)가 없는 동일한 화상을 표시함으로써 영상을 2D 평면시(平面視) 화상으로 해서 플레이어(P)에게 제공하고 있다. 단, 예를 들면 화상영역(311L, 311R)에 시차가 있는 스테레오 화상을 표시함으로써, 가상 세계의 영상 정보를 3D 입체시(立體視) 화상으로 해도 된다. 또한 예를 들면 휴대 단말(310)이 카메라(312)의 영상 정보에서 의사적인 3D 입체시 화상을 생성할 수 있는 경우나 카메라(312)가 스테레오 카메라로 구성되어 3D 입체시 촬상이 가능하게 되어 있는 경우에는 또한 현실 세계의 영상 정보를 스테레오 화상으로 표시함으로써 그것을 3D 입체시 화상으로 해도 된다.
여기서 휴대 단말(310)은 도 7에 도시한 바와 같이, 동작 판정부(313), 위치 판정부(위치 정보 검출부)(314), 영상 정보 생성부(315)를 가지고 있다.
동작 판정부(313)는 모션 센서(400)의 검출 신호(동작 정보)를 수신하고, 수신한 검출 신호를 통해 플레이어(P)의 팔의 움직임을 검출한다. 또한 동작 판정부(313)는 검출한 팔의 움직임이 미리 등록된 팔의 움직임과 일치하는지 여부를 판정하고, 상기 움직임이 일치하면 그 팔의 움직임에 대응한 커맨드(명령)를 선택한다. 예를 들면 동작 판정부(313)에는 양 팔을 얼굴 앞에서 크로스시키는 움직임이 "방어"이고, 팔을 앞으로 재빨리 내미는 움직임이 "공격"이고, 팔을 빠르게 흔드는 움직임이 "무기 교체"인 것 등, 복수의 커맨드가 등록되어 있다. 동작 판정부(313)가 검출한 팔의 움직임이 등록된 "방어" 커맨드와 일치할 경우 동작 판정부(313)는 "방어"를 선택한다.
위치 판정부(314)는 카메라(312)를 이용해서 마커(200)를 화상 인식하고, 마커(200)를 기준으로 한 카메라(312)의 위치 좌표를 취득한다. 구체적으로는 마커(200)의 화상 데이터가 사전에 휴대 단말(310)에 등록되어 있다. 위치 판정부(314)는 등록된 상기 화상 데이터와, 카메라(312)로 포착한 마커(200)의 화상(크기, 기울기 등)을 비교하여 마커 위치를 기점으로 플레이어(P)(카메라(312))의 위치 정보를 계산한다. 이로써, 플레이어(P)의 삼차원 위치 정보가 얻어진다. 여기서, 사전에 휴대 단말(310)에 등록된 마커(200)는 필드 정보(필드(F)의 위치, 형상, 크기 등)에 대하여 현실에 입각한 크기 및 위치로 설정되어 있기 때문에, 플레이어(P)(카메라(312))의 위치 정보를 보다 정확하게 취득할 수 있다. 또한 위치 판정부(314)는 플레이어(P)의 위치 정보에 기초해서, 예를 들면 기술(마법)의 발사 위치 판정이나, 기술의 충돌 판정(상대의 기술이 적중했는지 판정)을 실시간으로 실행한다. 또한 위치 판정부(314)는 예를 들면 플레이어(P)에 대응한 가상 물체를 플레이어(P)에게 추종시켜서, 이 가상 물체를 이용해서 기술과 플레이어(P)와의 충돌 판정을 하고 있다. 그렇기 때문에 보다 좋은 정밀도로 충돌 판정을 할 수 있다. 한편, 상기 가상 물체는 색을 갖지 않는 투명으로 설정되어 있으며, 화면(311) 상에서 플레이어(P)에게 시인되지 않도록 되어 있다.
한편, 위치 판정부(314)는 적어도 플레이어(P)의 이차원 위치 좌표를 취득하도록 되어 있으면 된다.
영상 정보 생성부(315)는 서버(700)로부터 수신한 게임 정보, 동작 판정부(313)의 판정 결과 및 위치 판정부(314)가 취득한 위치 정보에 기초해서 화면(311)에 표시시키는 가상 세계의 영상 정보(몬스터(M), 기술, 마법 등)를 생성하고, 생성한 영상 정보를 현실 세계의 영상 정보와 실시간으로 융합시켜서 화면(311)에 표시한다.
또한 화면(311)에 표시하는 영상은 휴대 단말(310)이나 서버(700)에 보존되며, 플레이어(P)가 게임 종료 후에 확인할 수 있게 되어 있다. 또한 상기 영상이 실시간으로 디스플레이(600)에 표시되게 되어 있어도 되고, 서버(700)에서 인터넷을 통해 원격지에 있는 유저(휴대 단말, 퍼스널 컴퓨터 등)에게 전송 가능하게 되어 있어도 된다. 한편, 이 영상은 디스플레이(600)용 및 유저용으로 적절히 변환되는 것이 바람직하고, 예를 들면 디스플레이(600)용 영상에서는 2화면으로 분할하여 표시할 필요가 없기 때문에, 1화면에서 표시되는 2D 평면시 화상 또는 3D 입체시 화상으로 하는 것이 바람직하다.
이상, 헤드 마운트 디스플레이(300)에 대해 설명하였으나, 헤드 마운트 디스플레이(300)의 구성은 전술한 것과 같은 기능을 가지고 있다면 특별히 한정되지 않는다. 예를 들면, 프레임 본체(330)에서는 상면부(332), 하면부(333) 및 측면부(334, 335)가 평평한 판형상을 이루고 있으며, 서로 거의 직각으로 접속되어 있으나 그들은 각각 만곡되어 있으며, 전체적으로 타원형으로 접속되어 있어도 된다. 또한 상면부(332), 하면부(333) 및 측면부(334, 335)의 접속부(모서리부)는 모따기(chamfering)되어 만곡형상으로 되어 있어도 된다. 또한 예를 들면 본 실시형태에서는 휴대 단말(310)을 이용한 구성으로 되어 있으나, 휴대 단말을 이용하지 않는 구성이어도 된다. 즉, 헤드 마운트 디스플레이(300)로서, 프레임 본체(330)에 화상 표시 기능이 구비되어 있는, 광학 투과형 또는 비디오 투과형 헤드 마운트 디스플레이를 사용해도 된다.
[카메라]
카메라(500)는 필드(F) 밖에 고정 배치되어 있으며, 필드(F) 전역을 촬상 가능하게 되어 있다. 또한 카메라(500)는 서버(700)에서 송신되는 플레이어(P)의 위치 정보나 플레이어(P)가 선택한 커맨드(공격, 방어 등)의 종류 등 각종 정보에 기초해서, 헤드 마운트 디스플레이(300)에 표시되어 있는 가상 세계의 영상 정보(즉, 플레이어(P)가 체험하고 있는 가상 세계의 영상 정보)를 카메라(500)의 시점으로 바꾼 영상 정보를 생성한다. 그리고 생성한 영상 정보를 카메라(500)로 촬영하고 있는 현실 세계의 영상 정보와 실시간으로 융합시켜서 관객용 영상을 생성하고, 이 관객용 영상을 디스플레이(600)에 표시한다.
한편, 상기와 같이 생성된 관객용 영상은 서버(700)에 보존되며, 플레이어(P)가 게임 종료 후에 확인할 수 있게 되어 있다. 또한 관객용 영상은 서버(700)에서 인터넷을 통해 원격지에 있는 단말(유저)에 전송 가능하게도 되어 있다. 그렇기 때문에 원격지에서도 플레이어(P)의 플레이를 볼 수 있어 함께 게임을 체험할 수 있다.
이러한 카메라(500)는 특별히 한정되지 않지만, 예를 들면 카메라 기능이 있는 휴대 단말(스마트 폰, 태블릿 단말)을 이용하고 있다. 이러한 휴대 단말을 이용함으로써, 예를 들면 전술한 휴대 단말(310)과 마찬가지로 휴대 단말 내에서 가상 세계의 영상 정보를 생성할 수 있으며, 서버(700)와의 통신도 쉽게 할 수 있기 때문에 시스템 구성이 간단해진다. 또한 카메라(500)로는 예를 들면 디지털 스틸 카메라, 디지털 비디오 카메라 등(이하 "디지털 카메라"라고 함)을 사용할 수도 있다. 이러한 경우에는 디지털 카메라를 퍼스널 컴퓨터와 접속하여, 퍼스널 컴퓨터에 의해 전술한 바와 같은 가상 세계의 영상 정보의 생성이나 서버(700)와의 통신을 하면 된다. 디지털 카메라를 이용함으로써 예를 들면 휴대 단말과 비교하여 고해상도, 고프레임수로 촬영이 가능해지는 경우도 있어 화질을 높일 수 있다.
한편, 본 실시형태에서는 카메라(500)를 필드(F) 밖에 배치하고 있으나, 카메라(500)의 배치는 이에 한정되지 않는다. 예를 들면 카메라(500)를 필드(F) 내에 배치해도 되고, 예를 들면 천장에 매달거나 함으로써 필드(F) 상(필드의 상공)에 배치해도 된다. 또한 본 실시형태에서는 카메라(500)를 고정하였으나, 카메라(500)를 이동 가능하게 해도 된다. 카메라(500)를 이동 가능하게 하면 예를 들어 플레이어(P)의 이동에 추종한 영상을 촬영할 수도 있어, 디스플레이(600)에 표시되는 영상의 현장감이 보다 높아진다.
[디스플레이]
디스플레이(600)는 관객(플레이어(P) 이외의 사람)용 디스플레이로서, 예를 들면 필드(F) 근방에 마련되어 있다. 전술한 바와 같이, 이 디스플레이(600)에는 관객용 영상(카메라(500)로 촬영된 현실 세계의 영상 정보와, 헤드 마운트 디스플레이(300)에 표시되는 가상 세계의 영상 정보를 카메라(500) 시점으로 바꾼 영상 정보를 융합시킨 영상)이 표시되도록 되어 있다. 이러한 디스플레이(600)를 배치함으로써, 플레이어(P)가 체험하고 있는 AR을 관객도 체험할 수 있게 되어 게임의 현장감이 증가한다.
한편, 디스플레이(600)에 표시되는 화상은 2D 평면시 화상이어도 되고 3D 입체시 화상이어도 되나, 본 실시형태에서는 2D 평면시 화상이 표시되도록 되어 있다.
또한 디스플레이(600)는 화상을 표시할 수 있다면 특별히 한정되지 않으며, 예를 들면 프로젝터를 이용해서 스크린이나 벽면에 화상을 투영하는 구성으로 할 수 있다. 또한 디스플레이(600)로서, 관객의 휴대 단말(스마트 폰, 태블릿 단말 등)을 사용해도 되며, 이 경우에는 서버(700)에서 각 관객의 휴대 단말에 영상을 전송하면 된다.
이상, 게임 시스템(100)에 대하여 설명하였다. 한편, 본 실시형태에서는 플레이어(P)가 1명인 경우에 대하여 설명하였으나, 플레이어(P)의 수는 특별히 한정되지 않으며 2명 이상이어도 되고 2명 이상의 플레이어(P)가 서로 협력하여 몬스터(M)와 싸워도 된다. 이 경우, 각 플레이어(P)가 장착하는 헤드 마운트 디스플레이(300)(휴대 단말(310))는 다른 플레이어(P)에 관한 각종 정보(위치 정보, 동작 정보 등)를 수신할 수 있게 되어 있다. 각 플레이어(P)가 장착하는 헤드 마운트 디스플레이(300)에는 몬스터(M)나 스스로 선택한 커맨드 외에, 다른 플레이어(P)가 선택한 커맨드도 영상으로 표시되도록 되어 있다.
＜제2 실시형태＞
다음으로, 본 발명의 제2 실시형태에 따른 화상 표시 시스템 및 화상 표시 시스템의 제어방법에 대하여 설명한다.
도 8은 본 발명의 화상 표시 시스템 및 화상 표시 시스템의 제어방법을 적용한 게임 시스템의 제2 실시형태를 나타낸 구성도이다. 도 9는 도 8에 도시한 게임 시스템의 블록도이다.
이하, 본 발명의 제2 실시형태에 따른 화상 표시 시스템 및 화상 표시 시스템의 제어방법에 대하여, 전술한 실시형태와의 차이점을 중심으로 설명하고 동일 사항에 대해서는 그 설명을 생략한다.
제2 실시형태에 따른 화상 표시 시스템 및 화상 표시 시스템의 제어방법은 게임 내용이 다른 것 외에는 전술한 제1 실시형태와 거의 마찬가지이다. 한편, 전술한 실시형태와 동일한 구성에는 동일 부호를 부여하였다.
본 실시형태의 게임 시스템(100)은 도 8 및 도 9에 도시한 바와 같이, 주로 필드(F)에 설치되는 한 쌍의 마커(200A, 200B); 제1 플레이어(P1)가 장착하는 헤드 마운트 디스플레이(300A) 및 모션 센서(400A); 제2 플레이어(P2)가 장착하는 헤드 마운트 디스플레이(300B) 및 모션 센서(400B); 제1, 제2 플레이어(P1, P2)를 촬영하는 카메라(500); 카메라(500)로 촬영한 영상을 표시하는 디스플레이(600); 및 서버(700);를 가지고 있다.
본 실시형태의 게임 시스템(100)을 이용해서 실행되는 게임은 제1 플레이어(P1)와 제2 플레이어(P2)가 맞붙는 대전형 게임이다. 제1 플레이어(P1)와 제2 플레이어(P2)는 서로 마주보고 위치하고, 자신의 몸을 움직임으로써 커맨드를 발동하여 상대 플레이어를 공격하거나 상대 플레이어의 공격을 막기도 하면서 서로 싸울 수 있다. 각 플레이어(P1, P2)가 발동한 커맨드는 CG에 의해 영상화되어 서로의 헤드 마운트 디스플레이(300A, 300B)에 표시된다. 또한 제1 플레이어(P1)와 제2 플레이어(P2)의 싸움은 카메라(500)에 의해서 영상화되고 그 영상이 디스플레이(600)에 표시된다.
[마커]
마커(200A, 200B)는 필드(F)의 양 끝에 위치하며 서로 마주보고 배치되어 있다. 또한 마커(200A)는 제1 플레이어(P1)의 정면(제2 플레이어(P2)의 등 뒤)에 설치되며, 제1 플레이어(P1)의 위치 정보를 취득하기 위한 마커로 이용된다. 반대로 마커(200B)는 제2 플레이어(P2)의 정면(제1 플레이어(P1)의 등 뒤)에 설치되며, 제2 플레이어(P2)의 위치 정보를 취득하기 위한 마커로 이용된다. 한편, 마커(200A, 200B)는 전술한 제1 실시형태에서 설명한 마커(200)와 동일한 구성이다. 또한 마커(200A, 200B)의 배치는 제1, 제2 플레이어(P1, P2)의 위치 정보를 취득할 수 있다면 상기 배치에 한정되지 않는다(예를 들면 도 4 참조).
[모션 센서]
모션 센서(400A)는 제1 플레이어(P1)의 팔에 장착되고, 모션 센서(400A)의 검출 신호는 제1 플레이어(P1)가 장착하는 헤드 마운트 디스플레이(300A)에 송신된다. 또한 모션 센서(400B)는 제2 플레이어(P2)의 팔에 장착되고, 모션 센서(400B)의 검출 신호는 제2 플레이어(P2)가 장착한 헤드 마운트 디스플레이(300B)에 송신된다. 한편, 모션 센서(400A, 400B)는 전술한 제1 실시형태에서 설명한 모션 센서(400)와 동일한 구성이다.
[헤드 마운트 디스플레이]
헤드 마운트 디스플레이(300A)는 마커(200A)를 화상 인식함으로써 제1 플레이어(P1)의 위치 정보를 취득한다. 또한 헤드 마운트 디스플레이(300A)는 모션 센서(400A)의 검출 신호에 기초하여 제1 플레이어(P1)의 팔의 움직임을 검출하고, 검출한 팔의 움직임에 대응한 커맨드를 선택한다. 그리고 헤드 마운트 디스플레이(300A)는 제1 플레이어(P1)의 위치 정보, 제1 플레이어(P1)가 선택한 커맨드, 서버(700)에서 수신한 각종 정보(게임 정보, 제2 플레이어(P2)의 위치 정보, 제2 플레이어(P2)가 선택한 커맨드 등)에 기초해서 가상 세계의 영상 정보를 생성하고, 생성한 영상 정보를 현실 세계의 영상 정보와 실시간으로 융합시켜서 표시한다.
한편, 헤드 마운트 디스플레이(300B)는 마커(200B)를 화상 인식함으로써 제2 플레이어(P2)의 위치 정보를 취득한다. 또한 헤드 마운트 디스플레이(300B)는 모션 센서(400B)의 검출 신호에 기초하여 제2 플레이어(P2)의 팔의 움직임을 검출하고, 검출한 팔의 움직임에 대응한 커맨드를 선택한다. 그리고 헤드 마운트 디스플레이(300B)는 제2 플레이어(P2)의 위치 정보, 제2 플레이어(P2)가 선택한 커맨드, 서버(700)에서 수신한 각종 정보(게임 정보, 제1 플레이어(P1)의 위치 정보, 제1 플레이어(P1)가 선택한 커맨드 등)에 기초해서 가상 세계의 영상 정보를 생성하고, 생성한 영상 정보를 현실 세계의 영상 정보와 실시간으로 융합시켜서 표시한다.
이러한 헤드 마운트 디스플레이(300A, 300B)는 전술한 제1 실시형태에서 설명한 헤드 마운트 디스플레이(300)와 동일한 구성이다.
이상, 제2 실시형태에 대하여 설명하였다. 한편, 본 실시형태에서는 1대 1 대전 형식의 게임 시스템(100)에 대하여 설명하였으나, 플레이어의 수는 특별히 한정되지 않는다. 게임 시스템(100)의 대전 형식은 예를 들면 2대 2, 3대 3 등 복수명 대 복수명 형식이어도 된다.
이상, 본 발명의 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이를 도시된 각 실시형태에 기초해서 설명하였으나 본 발명은 이에 한정되지 않으며, 각 부분의 구성은 동일한 기능을 갖는 임의의 구성으로 치환할 수 있다. 또한 다른 임의의 구성물이 부가되어도 된다. 또한 각 실시형태를 적절히 조합해도 된다.
또한 전술한 실시형태에서는 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이를 게임 시스템에 적용한 구성에 대하여 설명했지만, 화상 표시 시스템 및 화상 표시 시스템의 제어방법을 적용하는 분야는 게임에 한정되지 않으며, 예를 들면 가전, 자동차, 비행기 등의 설계 시뮬레이션에 적용해도 된다.
본 발명의 화상 표시 시스템을 적용한 게임 시스템(100)은 현실 세계를 촬상하는 카메라와, 이 카메라로 촬상된 현실 세계의 영상 정보에 가상 세계의 영상 정보를 융합시켜서 표시하는 화면을 갖는 헤드 마운트 디스플레이(300); 헤드 마운트 디스플레이(300)를 장착하는 장착자의 몸의 움직임을 동작 정보로서 검출하는 모션 센서(400); 및 장착자의 위치 정보를 검출하기 위한 마커(200);를 가지며, 동작 정보 및 위치 정보에 기초해서 가상 세계의 영상 정보를 제어한다. 이로써, 장착자의 위치와 움직임에 따라서 헤드 마운트 디스플레이에 표시하는 영상 정보를 제어할 수 있다. 따라서 본 발명은 산업상 이용 가능성을 갖는다.
100…게임 시스템, 200, 200A, 200B…마커, 300, 300A, 300B…헤드 마운트 디스플레이, 310…휴대 단말, 311…화면, 311L, 311R…화상영역, 312…카메라, 313…동작 판정부, 314…위치 판정부, 315…영상 정보 생성부, 320…프레임, 330…프레임 본체, 331…전면부, 332…상면부, 333…하면부, 333a…판 부재, 334, 335…측면부, 334a, 335a…개구, 336…렌즈부, 336L, 336R…렌즈, 337…완충부, 340…밴드, 350…슬롯부, 351…슬롯구, 352…창문부, 360…잠금 기구, 361…잠금판, 361a…홈, 362…나사, 400, 400A, 400B…모션 센서, 410…가속도 센서, 420…각속도 센서, 500…카메라, 600…디스플레이, 700…서버, F…필드, M…몬스터, P…플레이어, P1…제1 플레이어, P2…제2 플레이어, S…공간

Claims (11)

  1. 현실 세계를 촬상하는 촬상부와, 상기 촬상부에 의해서 촬상된 현실 세계의 영상 정보에 가상 세계의 영상 정보를 융합시켜서 표시하는 화상 표시부를 갖는 헤드 마운트 디스플레이;
    상기 헤드 마운트 디스플레이를 장착하는 장착자의 몸의 움직임을 동작 정보로서 검출하는 동작 정보 검출부; 및
    상기 장착자의 위치 정보를 검출하는 위치 정보 검출부;를 가지며,
    상기 동작 정보 및 상기 위치 정보에 기초해서 상기 가상 세계의 영상 정보를 제어하는 것을 특징으로 하는 화상 표시 시스템.
  2. 청구항 1에 있어서,
    상기 위치 정보 검출부는 공간에 배치된 마커를 상기 촬상부에 의해서 화상 인식함으로써 상기 장착자의 상기 위치 정보를 얻을 수 있는 화상 표시 시스템.
  3. 청구항 1 또는 2에 있어서,
    상기 위치 정보 검출부는 상기 장착자의 삼차원 위치 정보를 얻을 수 있는 화상 표시 시스템.
  4. 청구항 1 내지 3 중 어느 한 항에 있어서,
    상기 동작 정보 검출부는 상기 장착자에게 장착되는 모션 센서를 가지고 있는 화상 표시 시스템.
  5. 청구항 4에 있어서,
    상기 모션 센서는 상기 장착자의 팔에 장착되는 화상 표시 시스템.
  6. 청구항 1 내지 5 중 어느 한 항에 있어서,
    상기 헤드 마운트 디스플레이는 상기 촬상부 및 상기 화상 표시부를 구비한 휴대 단말; 및 상기 장착자의 머리부에 장착되며 상기 휴대 단말을 착탈 가능한 프레임;을 가지고 있는 화상 표시 시스템.
  7. 청구항 1 내지 6 중 어느 한 항에 있어서,
    상기 장착자를 포함하는 영역을 촬상하는 촬상 장치; 및
    상기 촬상 장치에 의해 촬상된 현실 세계의 영상 정보와, 상기 헤드 마운트 디스플레이에 표시되는 상기 가상 세계의 영상 정보를 상기 촬상 장치의 시점에서 봤을 때의 영상 정보를 융합시킨 화상을 표시하는 화상 표시 장치;를 더 가지고 있는 화상 표시 시스템.
  8. 현실 세계를 촬상하는 촬상부와, 상기 촬상부에 의해 촬상된 현실 세계의 영상 정보에 가상 세계의 영상 정보를 융합시켜서 표시하는 화상 표시부를 갖는 헤드 마운트 디스플레이;
    상기 헤드 마운트 디스플레이를 장착하는 장착자의 몸의 움직임을 동작 정보로서 검출하는 동작 정보 검출부; 및
    상기 장착자의 위치 정보를 검출하는 위치 정보 검출부;를 갖는 화상 표시 시스템에 대하여,
    상기 동작 정보 및 상기 위치 정보에 기초해서 상기 가상 세계의 영상 정보를 제어하는 것을 특징으로 하는 화상 표시 시스템의 제어방법.
  9. 청구항 8에 있어서,
    상기 화상 표시 시스템은,
    상기 장착자를 포함하는 영역을 촬상하는 촬상 장치; 및
    영상 정보를 표시하는 화상 표시 장치;를 더 가지며,
    상기 화상 표시 장치에, 상기 촬상 장치로 촬상된 현실 세계의 영상 정보와, 상기 헤드 마운트 디스플레이에 표시되는 상기 가상 세계의 영상 정보를 상기 촬상 장치의 시점에서 봤을 때의 영상 정보를 융합시킨 화상을 표시하는 화상 표시 시스템의 제어방법.
  10. 현실 세계를 촬상하는 촬상부와, 상기 촬상부에 의해 촬상된 현실 세계의 영상 정보에 가상 세계의 영상 정보를 융합시켜서 표시하는 화상 표시부를 갖는 헤드 마운트 디스플레이;
    상기 헤드 마운트 디스플레이를 장착하는 장착자의 몸의 움직임을 동작 정보로서 검출하는 동작 정보 검출부;
    상기 장착자의 위치 정보를 검출하는 위치 정보 검출부; 및
    상기 장착자를 포함하는 영역을 촬상하는 촬상 장치;를 가지며,
    상기 동작 정보 및 상기 위치 정보에 기초해서 상기 가상 세계의 영상 정보를 제어하도록 구성된 화상 표시 시스템에 대하여,
    상기 촬상 장치로 촬상된 현실 세계의 영상 정보와, 상기 헤드 마운트 디스플레이에 표시되는 상기 가상 세계의 영상 정보를 상기 촬상 장치의 시점에서 봤을 때의 영상 정보를 융합시킨 화상 정보를 전송하는 것을 특징으로 하는 화상 전송 시스템.
  11. 화상 표시부를 구비한 휴대 단말과, 상기 휴대 단말을 착탈 가능하게 지지하는 프레임을 갖는 헤드 마운트 디스플레이로서,
    상기 프레임은 장착자에 장착된 장착 상태에서,
    상기 장착자의 눈앞에 위치하며, 상기 화상 표시부를 상기 장착자의 눈 쪽을 향하게 한 자세로 상기 휴대 단말을 착탈 가능하게 지지하는 지지부; 및
    현실 세계를 목시 가능한 창문부;를 가지며,
    상기 창문부는 상기 장착 상태에서,
    적어도 상기 지지부에 장착된 상기 휴대 단말과 상기 장착자의 눈 사이에 위치한 공간의 상기 장착자의 발밑쪽과, 상기 공간의 상기 장착자의 측방측에 배치되어 있는 것을 특징으로 하는 헤드 마운트 디스플레이.
KR1020187020567A 2016-01-15 2016-02-16 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이 KR102060453B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016006653A JP6362631B2 (ja) 2016-01-15 2016-01-15 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
JPJP-P-2016-006653 2016-01-15
PCT/JP2016/054459 WO2017122367A1 (ja) 2016-01-15 2016-02-16 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
KR20180103066A true KR20180103066A (ko) 2018-09-18
KR102060453B1 KR102060453B1 (ko) 2019-12-30

Family

ID=59311108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187020567A KR102060453B1 (ko) 2016-01-15 2016-02-16 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이

Country Status (14)

Country Link
US (1) US10558048B2 (ko)
EP (2) EP3496047B1 (ko)
JP (1) JP6362631B2 (ko)
KR (1) KR102060453B1 (ko)
CN (1) CN107209959B (ko)
AU (1) AU2016386349B2 (ko)
CA (1) CA3010069C (ko)
ES (1) ES2935124T3 (ko)
IL (1) IL260534B (ko)
MY (1) MY189621A (ko)
PH (1) PH12018501504A1 (ko)
RU (1) RU2693684C1 (ko)
SG (1) SG11201805203YA (ko)
WO (1) WO2017122367A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ
US10853651B2 (en) * 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
US10698475B2 (en) 2016-10-26 2020-06-30 Htc Corporation Virtual reality interaction method, apparatus and system
KR102656425B1 (ko) * 2016-12-07 2024-04-12 삼성전자주식회사 영상을 표시하는 전자 장치 및 방법
JP2018148257A (ja) * 2017-03-01 2018-09-20 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
JP6857795B2 (ja) * 2017-12-28 2021-04-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
US10559276B2 (en) * 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
KR101869220B1 (ko) * 2018-03-28 2018-06-19 강원철 헤드 마운트 디스플레이를 활용한 가상현실 기반의 유영 시스템
JP6368881B1 (ja) * 2018-04-09 2018-08-01 チームラボ株式会社 表示制御システム，端末装置，コンピュータプログラム，及び表示制御方法
US10974134B2 (en) * 2018-06-15 2021-04-13 Incyte Corporation Advanced gaming visualization system
CN111167115A (zh) * 2018-11-09 2020-05-19 致伸科技股份有限公司 交互式游戏系统
JP7385238B2 (ja) * 2019-01-07 2023-11-22 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム
CN110119197A (zh) * 2019-01-08 2019-08-13 佛山市磁眼科技有限公司 一种全息互动系统
JP7243193B2 (ja) * 2019-01-10 2023-03-22 セイコーエプソン株式会社 表示システム、表示システムの制御方法、情報処理装置、及び情報処理装置の制御プログラム
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
JP2021058482A (ja) * 2019-10-08 2021-04-15 聡 耿 コントローラを使用したゲーム方法
JP2021087580A (ja) * 2019-12-03 2021-06-10 株式会社スクウェア・エニックス ゲーム装置、ゲーム処理方法及びプログラム
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
JP7000408B2 (ja) * 2019-12-24 2022-01-19 株式会社スクウェア・エニックス ゲーム装置、ゲーム処理方法及びプログラム
WO2021140631A1 (ja) * 2020-01-09 2021-07-15 マクセル株式会社 空間認識システム、空間認識方法、および情報端末
US11277597B1 (en) * 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11925863B2 (en) * 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
GB2598930A (en) * 2020-09-18 2022-03-23 Zappar Ltd Viewing equipment
CN114253389B (zh) * 2020-09-25 2023-05-23 宏碁股份有限公司 整合动作感测器的增强现实系统与增强现实显示方法
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
CN114578954A (zh) * 2020-11-28 2022-06-03 上海光之里科技有限公司 一种增强现实显示装置及其显示控制方法
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
RU2750848C1 (ru) * 2020-12-31 2021-07-05 Илья Викторович Осипов Способ управления группой электронных устройств
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
KR20230170086A (ko) 2021-04-19 2023-12-18 스냅 인코포레이티드 가상 및 그래픽 엘리먼트들을 애니메이팅하고 제어하기 위한 손 제스처
CN115300897A (zh) * 2022-07-29 2022-11-08 小派科技（上海）有限责任公司 分离式虚拟系统的空间定位方法、虚拟系统

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278418B1 (en) * 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP3413127B2 (ja) * 1999-06-11 2003-06-03 キヤノン株式会社 複合現実感装置及び複合現実感提示方法
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
EP1060772B1 (en) * 1999-06-11 2012-02-01 Canon Kabushiki Kaisha Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
JP3363861B2 (ja) * 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP2004038470A (ja) * 2002-07-02 2004-02-05 Canon Inc 複合現実感装置および情報処理方法
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
JP2010257081A (ja) * 2009-04-22 2010-11-11 Canon Inc 画像処理方法及び画像処理装置
JP5227910B2 (ja) * 2009-07-21 2013-07-03 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム画像表示方法及びゲーム画像表示プログラム
US8944928B2 (en) * 2010-08-26 2015-02-03 Blast Motion Inc. Virtual reality system for viewing current and previously stored or calculated motion data
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP5697487B2 (ja) * 2011-02-25 2015-04-08 任天堂株式会社 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
JP5891131B2 (ja) * 2012-07-11 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
KR101845350B1 (ko) * 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
JP6304242B2 (ja) * 2013-04-04 2018-04-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5874698B2 (ja) * 2013-08-29 2016-03-02 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
RU138628U1 (ru) * 2013-11-06 2014-03-20 Станислав Александрович Власов Очки дополненной реальности
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
EP2886172A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Mixed-reality arena
US10585484B2 (en) * 2013-12-30 2020-03-10 Samsung Electronics Co., Ltd. Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device
WO2015123771A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
WO2015123774A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106255916B (zh) * 2014-03-14 2019-08-09 索尼互动娱乐股份有限公司 跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准
JP6274971B2 (ja) 2014-05-26 2018-02-07 株式会社Ｎｔｔドコモ ヘッドマウントディスプレイ
CN112651288B (zh) * 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US9746984B2 (en) 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US10297082B2 (en) * 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
US10449445B2 (en) * 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
JP6362631B2 (ja) * 2016-01-15 2018-07-25 株式会社ｍｅｌｅａｐ 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ

Also Published As

Publication number Publication date
RU2693684C1 (ru) 2019-07-03
PH12018501504B1 (en) 2019-04-08
SG11201805203YA (en) 2018-07-30
AU2016386349A1 (en) 2018-07-05
CN107209959B (zh) 2019-07-23
US20190025595A1 (en) 2019-01-24
PH12018501504A1 (en) 2019-04-08
KR102060453B1 (ko) 2019-12-30
ES2935124T3 (es) 2023-03-01
EP3404624A1 (en) 2018-11-21
JP6362631B2 (ja) 2018-07-25
WO2017122367A1 (ja) 2017-07-20
US10558048B2 (en) 2020-02-11
CA3010069A1 (en) 2017-07-20
CA3010069C (en) 2019-11-19
CN107209959A (zh) 2017-09-26
EP3404624B1 (en) 2022-10-12
EP3404624A4 (en) 2019-04-17
EP3496047A1 (en) 2019-06-12
JP2017126302A (ja) 2017-07-20
IL260534B (en) 2019-07-31
AU2016386349B2 (en) 2019-04-18
MY189621A (en) 2022-02-21
EP3496047B1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
KR102060453B1 (ko) 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이
US9684173B2 (en) Image processing device, image processing method, and image processing system
KR20210154814A (ko) 패스 쓰루 이미징을 갖는 헤드 마운트 디스플레이
KR101926178B1 (ko) 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템
JP6933727B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017102732A (ja) 表示制御装置及び表示制御方法
JP2006301654A (ja) 画像呈示装置
JP5602702B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP6682624B2 (ja) 画像処理装置
JP2018190335A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
WO2017163649A1 (ja) 画像処理装置
US20140285484A1 (en) System of providing stereoscopic image to multiple users and method thereof
JP6867566B2 (ja) 画像表示装置及び画像表示システム
JP5037713B1 (ja) 立体画像表示装置および立体画像表示方法
JP2012235270A (ja) 立体画像表示装置および立体画像表示方法
JP2018190395A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2019216344A (ja) 全天周立体映像表示装置及びそのプログラム、全天周立体映像撮影装置、並びに、全天周立体映像システム

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant