KR101587730B1 - 실시간 3 차원 게임 시스템 및 그의 처리 방법 - Google Patents
실시간 3 차원 게임 시스템 및 그의 처리 방법 Download PDFInfo
- Publication number
- KR101587730B1 KR101587730B1 KR1020140108715A KR20140108715A KR101587730B1 KR 101587730 B1 KR101587730 B1 KR 101587730B1 KR 1020140108715 A KR1020140108715 A KR 1020140108715A KR 20140108715 A KR20140108715 A KR 20140108715A KR 101587730 B1 KR101587730 B1 KR 101587730B1
- Authority
- KR
- South Korea
- Prior art keywords
- game
- image
- dimensional
- trajectory
- time
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/812—Ball games, e.g. soccer or baseball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 스포츠 경기의 영상 정보를 이용하여 3 차원 게임 영상을 생성, 제공하는 실시간 3 차원 게임 시스템 및 그의 처리 방법에 관한 것이다. 실시간 3 차원 게임 시스템은 스포츠 경기 게임에서 이용되는 대상물의 좌우 영상을 촬영하는 2 대의 카메라와, 카메라들로부터 좌우 영상을 받아서, 좌우 영상을 조합, 변조하여 3 차원 게임 영상을 생성하고, 좌우 영상에서 대상물의 궤적을 실시간으로 추적하는 3 차원 영상 신호 처리부 및, 3 차원 영상 신호 처리부로부터 3 차원 게임 영상을 받아서 디스플레이 하는 3 차원 영상 디스플레이 장치를 포함한다. 또 실시간 3 차원 게임 시스템은 3 차원 게임 영상을 보면서 대상물의 궤적에 따라 동작하는 게임용 리모콘을 포함한다. 3 차원 영상 신호 처리부는 3 차원 영상 신호 처리기와 게임 컨트롤러를 구비하고, 3 차원 영상 신호 처리기는 스테레오 비젼 모듈과 물리 엔진을 이용하여 대상물의 궤적을 추적하고, 게임용 리모콘의 동작 궤적을 비교하며, 대상물의 궤적을 실시간으로 표시한다. 본 발명에 의하면, 실제 중계되는 스포츠 경기를 3 차원으로 촬영한 후, 게임 가능한 형태로 제공함으로써, 게임에 사실감과 입체감을 줄 수 있다.
Description
본 발명은 3 차원 게임 시스템에 관한 것으로, 좀 더 구체적으로 2 대의 카메라를 이용하여 스포츠 경기에 이용되는 대상물의 좌우 영상을 촬영하고, 스테레오 비젼을 이용하여 좌우 영상에서 대상물을 추출하여 대상물의 궤적을 실시간으로 추적하고, 좌우 영상을 조합, 변조하여 3 차원 게임 영상을 제공하며, 궤적이 추적된 대상물과 게임 이용자의 동작에 의한 상호 리액션 결과를 물리 모델을 이용하여 유추함으로써, 3 차원 스포츠 게임에 사실감과 입체감이 뛰어나도록 처리하는 실시간 3 차원 게임 시스템 및 그의 처리 방법에 관한 것이다.
일반적으로 3 차원 게임의 경우, 원근법을 이용해 3 차원 입체 영상을 일반적인 모니터나 TV 상에 표시하여 구현하거나 또는 좌우 스테레오 영상을 이용해 특별히 3 차원으로 제작된 게임을 3 차원 전용 모니터나 TV 상에 표시하고 이것을 3차원 전용 안경을 사용해 감상 및 게임을 진행하는 형태로 구현된다.
전자의 경우는 예를 들어, 블리자드 엔터테인먼트(Blizzard Entertainment, Inc) 사의 워크래프트 3(warcraft 3)와 같은 게임이 있으나, 이는 실제 3 차원 영상이 아닌 관계로 후자에 비해 깊이감 등 3 차원적인 현실감이 많이 떨어지며, 후자의 경우는 엔디비아(nVidia) 사의 3D Vision 등에서 제공되는 자동차 게임 등이 있으나, 그래픽으로 구현된 3 차원이라 현실감이 매우 만족스럽지 않고 다양한 게임 컨텐츠가 제공되지 않는 등의 문제점이 있다.
본 발명의 목적은 스테레오 비젼과 물리 모델을 이용하여 스포츠 경기의 게임을 사실감과 입체감이 뛰어나도록 제공하는 실시간 3 차원 게임 시스템 및 그의 처리 방법을 제공하는 것이다.
본 발명의 다른 목적은 2 대의 카메라를 이용하여 촬영된 실제 운동 경기의 영상 정보를 이용하여 3 차원 게임 영상을 실시간으로 제공하는 실시간 3 차원 게임 시스템 및 그의 처리 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 3 차원 게임 영상을 이용하여 실제 스포츠 경기와 같은 게임을 즐길 수 있도록 제공하는 실시간 3 차원 게임 시스템 및 그의 처리 방법을 제공하는 것이다.
상기 목적들을 달성하기 위한, 본 발명의 실시간 3 차원 게임 시스템은 2 대의 카메라로부터 촬영된 대상물의 좌우 영상을 이용하여 실시간으로 3 차원 게임 영상을 제공하고, 스포츠 경기에 이용되는 대상물의 궤적과 게임용 리모콘의 궤적을 추적하여 3 차원 스포츠 게임을 즐길 수 있도록 제공하는데 그 한 특징이 있다. 이와 같은 실시간 3 차원 게임 시스템은 3 차원 스포츠 게임에 사실감과 입체감을 줄 수 있다.
이 특징에 따른 본 발명의 실시간 3 차원 게임 시스템은, 스포츠 경기를 위한 대상물의 좌우 영상을 실시간으로 촬영하는 제1 및 제2 카메라와; 상기 제1 및 상기 제2 카메라로부터 촬영된 상기 좌우 영상을 받아서 3 차원 게임 영상으로 생성하고, 상기 좌우 영상으로부터 상기 대상물의 위치를 실시간으로 추출하여 상기 대상물의 궤적을 추적하는 3 차원 영상 신호 처리부 및; 상기 3 차원 영상 신호 처리부로부터 상기 3 차원 게임 영상을 받아서 실시간으로 디스플레이 하는 3 차원 영상 디스플레이 장치를 포함하여, 실제 스포츠 영상을 3 차원 스포츠 게임의 컨텐츠로 실시간 제공한다.
이 특징의 한 실시예에 있어서, 상기 실시간 3 차원 게임 시스템은; 상기 3 차원 게임 영상을 이용하여 상기 스포츠 경기의 게임 진행 시, 상기 3 차원 영상 신호 처리부로 상기 대상물의 궤적에 대응하여 동작을 입력하도록 하는 게임용 리모콘을 더 포함하되; 상기 3 차원 영상 신호 처리부는 상기 게임용 리모콘의 동작에 따른 궤적과 상기 대상물의 궤적이 시간과 위치가 일치되면, 상기 게임용 리모콘이 상기 대상물을 맞춘 것으로 판단하고, 상기 게임용 리모콘에 맞은 상기 대상물의 궤적을 상기 3 차원 영상 디스플레이 장치로 표시하도록 처리한다.
다른 실시예에 있어서, 상기 3 차원 영상 신호 처리부는; 상기 좌우 영상을 조합, 변조하여 상기 3 차원 게임 영상을 생성하고, 상기 3 차원 게임 영상에 상기 대상물의 궤적을 실시간으로 추적하여 상기 3 차원 영상 디스플레이 장치로 실시간 표시되도록 처리하는 3 차원 영상 신호 처리기와; 상기 3 차원 영상 신호 처리기에 의해 생성된 상기 3 차원 게임 영상을 저장하는 3 차원 영상 저장부 및; 게임 이용자가 상기 3 차원 영상 디스플레이 장치에 표시된 상기 3 차원 게임 영상을 보면서, 상기 스포츠 경기의 게임 진행 시, 상기 게임 이용자가 상기 게임용 리모콘을 이용하여 동작을 취하면, 상기 게임용 리모콘의 동작을 인식하여 상기 3 차원 영상 신호 처리기로 제공하는 게임 컨트롤러를 포함한다.
또 다른 실시예에 있어서, 상기 실시간 3 차원 게임 시스템은; 상기 3 차원 영상 디스플레이 장치가 안경식 입체 디스플레이 장치이면, 게임 이용자가 착용하고, 상기 안경식 입체 디스플레이 장치에 디스플레이되는 상기 3 차원 게임 영상을 입체 영상으로 상기 게임 이용자에게 제공하는 3 차원 안경을 더 구비한다.
또 다른 실시예에 있어서, 상기 3 차원 영상 신호 처리기는; 상기 제1 및 상기 제2 카메라로부터 촬영된 상기 좌우 영상으로부터 상기 대상물의 궤적을 시간에 따라 추적하여, 상기 대상물의 위치 변화를 산출하는 스테레오 비젼 모듈 및; 상기 스포츠 경기의 게임 진행 중 상기 대상물의 궤적과 상기 게임용 리모콘의 동작에 따른 궤적이 시간과 위치가 일치될 때, 일치된 상기 대상물의 궤적을 상기 3 차원 영상 디스플레이 장치에 표시하도록 산출하는 물리 엔진을 포함한다.
본 발명의 다른 특징에 따르면, 실시간 3 차원 게임 시스템의 처리 방법이 제공된다.
이 특징에 따른 실시간 3 차원 게임 시스템의 처리 방법은, 2 대의 카메라로 스포츠 경기에 이용되는 대상물의 좌우 영상을 촬영하는 단계와; 상기 2 대의 카메라로부터 촬영된 상기 대상물의 좌우 영상을 3 차원 영상 신호 처리부로 전송하는 단계와; 상기 3 차원 영상 신호 처리부가 상기 좌우 영상을 수신하고, 수신된 상기 좌우 영상을 조합, 변조하여 3 차원 게임 영상을 생성하고, 스테레오 비젼을 이용하여 상기 좌우 영상으로부터 실시간으로 상기 대상물의 위치를 산출하고, 상기 대상물의 궤적을 추척하는 단계 및; 상기 3 차원 영상 신호 처리부로부터 3 차원 영상 디스플레이 장치로 상기 3 차원 게임 영상을 전송하여 표시하는 단계를 포함한다.
이 특징의 한 실시예에 있어서, 상기 처리 방법은; 게임 이용자가 3 차원 안경을 착용하고 상기 3 차원 영상 디스플레이 장치에 표시된 상기 3 차원 게임 영상을 보면서, 상기 스포츠 경기의 게임을 할 때, 상기 3 차원 영상 신호 처리부가 게임용 리모콘의 동작을 감지하면, 상기 게임용 리모콘의 궤적과 상기 대상물의 궤적이 시간과 위치가 일치하는지를 판별하는 단계 및; 판별 결과, 상기 게임용 리모콘의 궤적과 상기 대상물의 궤적이 시간과 위치가 일치하면, 상기 대상물의 물리 모델을 계산하여 상기 대상물의 궤적을 실시간으로 추적하고, 상기 대상물의 물리 모델에 따른 영상을 상기 3 차원 영상 디스플레이 장치에 표시하는 단계를 더 포함한다.
다른 실시예에 있어서, 상기 대상물의 궤적을 추적하는 단계는; 상기 스포츠 경기는 야구 경기이고, 상기 대상물은 투수, 투수의 마운드 및 투수의 투구 동작, 투구 후 비행하는 야구공의 궤적, 타자의 움직임, 야구장 배경 및 관중을 적어도 포함하며, 상기 좌우 영상으로부터 상기 대상물 중 야구공의 궤적을 추적하되; 상기 야구공의 궤적은 시간의 흐름에 따라 촬영된 상기 좌우 영상 각각의 프레임들로부터 야구공을 추출하여, 상기 프레임들 별로 야구공의 3 차원 좌표를 계산하고, 상기 3 차원 좌표의 시간에 따른 괘적을 실시간으로 추적한다.
또 다른 실시예에 있어서, 상기 처리 방법은; 상기 스포츠 경기의 게임을 시작하기 전에 켈리브레이션하여 초기화하는 단계를 더 포함한다.
상술한 바와 같이, 본 발명의 실시간 3 차원 게임 시스템은 2 대의 카메라로부터 촬영된 좌우 영상을 이용하여 실시간으로 3 차원 게임 영상을 제공하고, 스포츠 경기에 이용되는 대상물의 궤적과 게임용 리모콘의 궤적을 추적하여 3 차원 스포츠 게임을 제공함으로써, 3 차원 스포츠 게임에 극도의 사실감과 입체감을 줄 수 있다.
또한 본 발명의 실시간 3 차원 게임 시스템은 실제 스포츠 경기에 대한 영상을 3 차원 스포츠 게임의 컨텐츠로 사용함으로써, 게임 컨텐츠의 지속적인 생산이 자동으로 이루어진다.
도 1은 본 발명의 실시예에 따른 실시간 3 차원 게임 시스템의 구성을 도시한 블럭도;
도 2는 도 1에 도시된 2 대의 카메라가 설치된 야구장을 나타내는 도면;
도 3은 도 1에 도시된 3 차원 영상 신호 처리부의 구성을 도시한 블럭도;
도 4는 본 발명의 실시예에 따른 야구공의 괘적 추적 원리를 설명하기 위한 도면; 그리고
도 5는 본 발명의 실시예에 따른 실시간 3 차원 게임 시스템의 처리 수순을 도시한 흐름도이다.
도 2는 도 1에 도시된 2 대의 카메라가 설치된 야구장을 나타내는 도면;
도 3은 도 1에 도시된 3 차원 영상 신호 처리부의 구성을 도시한 블럭도;
도 4는 본 발명의 실시예에 따른 야구공의 괘적 추적 원리를 설명하기 위한 도면; 그리고
도 5는 본 발명의 실시예에 따른 실시간 3 차원 게임 시스템의 처리 수순을 도시한 흐름도이다.
본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 서술하는 실시예로 인해 한정되어지는 것으로 해석되어서는 안된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 구성 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이다.
이하 첨부된 도 1 내지 도 5를 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 실시간 3 차원 게임 시스템의 구성을 도시한 블럭도이고, 도 2는 도 1에 도시된 2 대의 카메라가 설치된 야구장을 나타내는 도면이고, 도 3은 도 1에 도시된 3 차원 영상 신호 처리부의 구성을 도시한 블럭도이며, 그리고 도 4는 본 발명의 실시예에 따른 야구공의 괘적 추적 원리를 설명하기 위한 도면이다.
먼저 도 1을 참조하면, 본 발명의 실시간 3 차원 게임 시스템(100)은 실제 스포츠 경기의 영상을 이용하여 3 차원 게임 영상 정보를 생성하고, 게임 이용자에게 실시간으로 3 차원 게임 영상 정보를 제공한다.
이를 위해 본 발명의 실시간 3 차원 게임 시스템(100)은 2 대의 카메라(102, 104)와, 3 차원 영상 신호 처리부(110)와, 3 차원 영상 디스플레이 장치(120) 및 게임용 리모콘(140)을 포함한다.
또 본 발명의 실시간 3 차원 게임 시스템(100)은 3 차원 안경(130)을 더 구비할 수 있다. 예를 들어, 3 차원 영상 디스플레이 장치(120)가 안경식 입체 TV로 구비되는 경우에는 게임 이용자가 3 차원 안경(130)을 착용하여 3 차원 게임 영상을 볼 수 있다. 그러나 3 차원 영상 디스플레이 장치가 무안경식 입체 TV 예를 들어, 렌티큘라(lenticular) 디스플레이 장치, 인테그럴 이미징(integral imaging) 장치 및 홀로그래피(hoography) 디스플레이 장치 등의 경우에는 3 차원 안경이 필요하지 않게 된다.
이 실시예의 실시간 3 차원 게임 시스템(100)은 스포츠 경기 중 야구 경기를 이용하여 상세히 설명한다.
2 대의 카메라(102, 104)는 야구 경기가 벌어지고 있는 야구장의 좌우 각각에 설치된다. 이 실시예에서 제1 및 제2 카메라(102, 104)는 도 2에 도시된 바와 같이, 야구장(20)의 포수(24) 주변의 좌우 양측에 각각 설치된다. 제1 및 제2 카메라(102, 104)는 투수(22)와 포수(24)를 잇는 가상선(26)을 중심으로 상호 대칭되게 배치된다. 제1 및 제2 카메라(102, 104)는 타자의 눈 높이 및 시야각과 대체로 유사한 위치에 설치되어, 스포츠 경기에 이용되는 대상물(10)을 촬영한다.
제1 및 제2 카메라(102, 104)는 대상물(10) 예컨대, 투수(22), 투수(22)의 마운드 및 투수(20)의 투구 동작에 따른 영상, 투구 후 비행하는 야구공의 궤적을 나타내는 영상, 타자의 움직임에 대한 영상, 야구장(20) 배경이나 관중의 행동을 나타내는 영상 등을 촬영한다. 제1 및 제2 카메라(102, 104)는 투수(22)의 투구 동작 및 투구 후 비행하는 야구공의 모습이 담긴 좌우 영상 정보를 유선 또는 무선 통신망(106)을 통해 3 차원 영상 신호 처리부(110)로 전송한다.
3 차원 영상 신호 처리부(110)는 제1 및 제2 카메라(102, 104)로부터 좌우 영상 정보를 받아서, 좌우 영상 정보를 조합, 변조하여 3 차원 게임 영상 정보를 생성, 저장하고, 생성된 3 차원 영상 정보를 3 차원 영상 디스플레이 장치(120)로 전송한다. 또 3 차원 영상 신호 처리부(110)는 스테레오 비젼(stereo vision) 원리를 이용하여 투수(22)가 던진 야구공의 괘적을 시간의 흐름에 따라 추적하여, 야구공의 위치 변화를 산출한다. 또 3 차원 영상 신호 처리부(110)는 물리 모델을 이용하여 야구공의 궤적 변화를 산출한다. 이 실시예에서 물리 모델은 물리 엔진으로 구비되어, 게임 이용자인 타자가 야구공을 맞혔을 경우에, 야구공이 어떠한 방향으로 얼마나 멀리, 얼마나 빠르게 날아가는지를 계산한다. 따라서 야구 경기를 3 차원 스포츠 게임으로 진행하기 위하여, 야구공이 게임용 리모콘(140)에 의해 궤적이 변경되면, 물리 모델을 이용하여 변경된 야구공의 궤적을 산출할 필요가 있다.
여기서 야구공의 괘적에 대한 추적은 제1 및 제2 카메라(102, 104)가 촬영한 좌우 영상 정보 각각에서 야구공 만을 추출하고, 좌우 영상 정보 상에서 시간의 흐름에 따른 야구공의 위치 변화를 산출하고, 스테레오 비젼(stereo vision)의 원리를 이용하여 시간에 따른 야구공의 실제 위치를 산출한다. 여기서 야구공의 위치는 야구공의 중심을 이용하여 추적된다.
스테레오 비젼의 원리는 좌우 시각차를 이용해서 관찰자로부터 물체의 3 차원 위치를 구할 수 있다. 이 때, 관찰자의 3 차원 좌표를 원점 즉, X 축, Y 축 및 Z 축 각각이 '0, 0, 0' 즉, 원점으로 할 때, 물체의 3 차원 좌표는 관찰자를 기준으로 'x, y, z'가 된다.
구체적으로 야구공의 시간에 따른 괘적을 추척하는 원리는 도 4에 도시된 바와 같이, 시간의 흐름에 따라 촬영된 제1 및 제2 카메라(102, 104)의 좌우 영상 정보 각각의 프레임(Frame 1 ~ Frame N)들로부터 야구공(102-1 ~ 102-N, 104-1 ~ 104-N)을 추출한다.
예를 들어, 제1 및 제2 카메라(102, 104)가 초당 100 장의 사진을 찍는다고 가정하고, 야구공이 투수의 손을 떠나는 장면과 야구공이 포수의 글러브에 도달하는데 걸리는 시간이 0.5 초 걸렸다고 가정한다. 그러면 이러한 동작이 일어나는 동안에 제1 및 제2 좌우 카메라 각각은 50 장의 이미지를 촬영한다.
제1 카메라(102)의 이미지를 R1, R2, R3, ..., R50 이라 하고, 제2 카메라(104)의 이미지를 L1, L2, L3, ..., L50 이라고 하면, 이미지 R1과 L1, 이미지 R2와 L2, 이미지 R3와 L3, ..., 이미지 R50과 L50 각각은 동일한 시각에서 촬영된 이미지의 짝이다. 따라서 이미지 R1과 L1을 이용하여 제1 및 제2 카메라(102, 104)가 바라본 야구공의 위치에 대한 3 차원 좌표 'x1, y1, z1'를 계산한다. 이미지 R2와 L2를 이용해서 제1 및 제2 카메라(102, 104)가 바라본 야구공의 위치에 대한 'x2, y2, z2'를 계산한다. 동일한 방식으로 이미지 R50과 L50을 이용해서 제1 및 제2 카메라(102, 104)가 바라본 야구공의 위치에 대한 3 차원 좌표 'x50, y50, z50'를 계산한다.
제1 및 제2 카메라(102, 104)가 초당 100 장을 촬영하므로, 이미지 R1과 L1은 이미지 R2와 L2보다 0.01 초 전에 촬영된 영상이고, 이미지 R2와 L2는 이미지 R3와 L3 보다 0.01 초 전에 촬영된 영상이다. 여기서 이미지 R1과 L1을 촬영한 시각을 0.00 초로 정하고, 각 이미지들이 촬영된 시각을 상대적으로 나열하면, (R1, L1, 0.00 초), (R2, L2, 0.01 초), (R3, L3, 0.02 초), ..., (R50, L50, 0.49 초)가 된다.
뿐만 아니라, 스테레오 비젼 원리를 이용해서 각 촬영 시각에 야구공의 3 차원 좌표를 구할 수 있다. 즉, 각 촬영 시각에 대한 야구공의 3 차원 좌표는, (R1, L1, 0.00 초, x1y1z1), (R2, L2, 0.01 초, x2y2z2), (R3, L3, 0.02 초, x3y3z3), ..., (R50, L50, 0.49 초, x50y50z50)이 된다. 여기서 x1y1z1은 이미지 R1과 L1이 촬영된 시각에 제1 및 제2 카메라(102, 104)가 바라본 야구공의 공간적 위치, 즉 3 차원 위치 좌표이다. 따라서 상술한 방법으로 스테레오 비젼 원리를 이용하여 야구공의 시간에 따른 괘적을 실시간으로 산출할 수 있다.
구체적으로 3 차원 영상 신호 처리부(110)는 도 3에 도시된 바와 같이, 3 차원 영상 신호 처리기(112)와, 3 차원 영상 저장부(116) 및, 게임 컨트롤러(114)를 포함한다.
이 실시예의 3 차원 영상 신호 처리기(112)는 스테레오 비젼 모듈(150)과, 물리 엔진(152)을 구비한다. 스테레오 비젼 모듈(150)은 제1 및 제2 카메라(102, 104)로부터 촬영된 좌우 영상 정보로부터 투수가 던진 야구공의 괘적을 시간의 흐름에 따라 추적하여, 야구공의 위치 변화를 산출한다. 물리 엔진(152)은 물리 모델로서, 3 차원 스포츠 게임의 진행 중 게임용 리모콘(140)을 이용하여 게임 이용자인 타자가 야구공을 맞혔을 경우에, 야구공이 어떠한 방향으로 얼마나 멀리, 얼마나 빠르게 날아가는지를 계산한다. 물리 엔진은 예를 들어, 에이지아(Ageia)사에서 PhysX, 오픈 소스인 ODE(Open Dynamic Engine) 등으로 구비된다. 따라서 3 차원 영상 신호 처리기(112)는 스테레오 비젼 모듈(150)과 물리 엔진(152)을 통해 3 차원 영상 정보 상에 야구공의 궤적을 실시간으로 추적하여 3 차원 영상 디스플레이 장치(120)에 실시간으로 표시되도록 처리한다.
3 차원 영상 저장부(116)는 3 차원 영상 신호 처리기(112)에 의해 생성된 3 차원 영상 정보를 저장한다. 이 실시예에서 3 차원 영상 정보에는 대상물(10) 예컨대, 투수, 투수의 마운드 및 투수의 투구 동작에 따른 영상, 투구 후 비행하는 야구공의 궤적을 나타내는 영상, 타자의 움직임에 대한 영상, 야구장 배경이나 관중에 대한 영상 등이 포함된다.
게임 컨트롤러(114)는 게임 이용자가 3 차원 영상 디스플레이 장치(120)의 3 차원 게임 영상을 보면서, 3 차원 스포츠 게임 진행 시, 게임 이용자가 게임용 리모콘(140)을 이용하여 동작을 취하게 되면, 유선 또는 무선 통신망(108)을 통해 이를 판별하여, 3 차원 영상 신호 처리기(112)로 제공한다.
3 차원 영상 디스플레이 장치(120)는 예를 들어, 안경식 또는 무안경식 3 차원 TV 등으로 구비되어, 3 차원 영상 신호 처리부(110)로부터 전송된 3 차원 게임 영상을 실시간으로 표시한다. 또 3 차원 영상 디스플레이 장치(120)는 게임 이용자가 야구공을 맞혔을 경우에 3 차원 영상 신호 처리부(110)에 의해 추척된 야구공의 궤적을 실시간으로 표시한다.
3 차원 안경(130)은 3 차원 영상 디스플레이 장치(120)가 안경식 입체 TV로 구비되는 경우, 게임 이용자가 착용하여, 3 차원 영상 디스플레이 장치(120)에 표시된 3 차원 게임 영상을 입체 영상으로 볼 수 있도록 제공된다. 본 발명의 실시간 3 차원 게임 시스템은 3 차원 안경(130)을 착용하여 3 차원 영상 디스플레이 장치(120)에 디스플레이되는 3 차원 게임 영상을 볼 수 있다. 이 때, 게임 이용자가 실제로 보는 3 차원 게임 영상은 제1 및 제2 카메라(102, 104)로부터 촬영된 입체 영상이다. 따라서 게임 이용자는 현실감과 입체감이 있는 야구 경기를 보면서, 3 차원 스포츠 게임에 참여하게 된다. 예를 들어, 게임 이용자는 투수가 야구공을 던지면, 실제로 야구공이 자신에게 다가오는 것을 느낄 수 있으며, 투수가 커브를 던지면, 자신에게 다가오면서 획 떨어지는 느낌을 느낄 수 있다.
그리고 게임용 리모콘(140)은 3 차원 영상 디스플레이 장치(120)에 디스플레이되는 3 차원 게임 영상을 이용하여 야구 경기의 게임 진행 시, 게임 컨트롤러(114)로 야구공의 궤적에 따라 스윙하는 동작을 입력한다. 게임용 리모콘(140)은 3 차원 영상 신호 처리부(110)와 유선 또는 무선 통신망(108)을 통해 연결되어, 게임 이용자의 동작에 따른 감지 신호를 게임 컨트롤러(114)로 제공한다.
이를 위해 게임용 리모콘(140)은 내부에 각도, 거리, 속도 및 가속도 등을 감지하는 센서(142)를 구비한다. 게임용 리모콘(140)은 게임 컨트롤러(114)로 동작을 입력하기 위해 게임용 리모콘(140)의 움직임에 따른 감지 신호를 센서(142)로부터 게임 컨트롤러(114)로 전송한다. 또 게임용 리모콘(140)은 3 차원 스포츠 게임에 이용할 수 있도록 게임 진행 전에 게임 컨트롤러(114)에 켈리브레이션(calibration)하여 초기화된다. 이 실시예에서 게임용 리모콘(140)은 야구 방망이 기능을 수행하며, 야구장의 홈플레이트의 위치에 켈리브레이션 된다.
따라서 게임 이용자는 3 차원 영상 디스플레이 장치(120)로부터 3 차원 게임 영상을 볼 수 있도록 3 차원 안경(130)을 착용하고, 3 차원 영상 디스플레이 장치(120)에 디스플레이 되는 투수의 투구 영상을 보면서, 게임용 리모콘(140)을 이용해 스윙을 하면, 3 차원 영상 신호 처리부(110)는 사용자의 스윙 타이밍과, 스윙 괘적 및 야구공의 시간에 따른 괘적 정보를 이용해서 야구공이 게임용 리모콘(140)에 맞았는지의 유무를 판별한다. 야구공이 게임용 리모콘(140)에 맞은 경우, 3 차원 영상 신호 처리부(110)는 게임용 리모콘(140)에 맞은 이후의 야구공의 괘적을 계산한 후, 3 차원 영상 디스플레이 장치(120)에 디스플레이하도록 처리한다.
이 때, 게임 이용자가 스윙한 게임용 리모콘(140)이 야구공을 맞혔는지의 유무를 판별하는 것은 야구공이 투수의 손을 떠나는 순간에 대한 이미지의 시각을 0.00 초로 가정하면, 3 차원 영상 신호 처리부(110)는 이 시각부터 게임용 리모콘(140)의 스윙 괘적을 추적하여, 게임용 리모콘(140)을 스윙한 시각과 야구공이 홈플레이트를 통과하는 시점과 동일하고, 그리고 게임용 리모콘(140)의 스윙 괘적과 야구공이 홈플레이트를 통과하는 야구공의 괘적이 만나면, 게임용 리모콘(140)이 야구공을 맞혔다고 판단한다.
따라서 본 발명의 실시간 3 차원 게임 시스템(100)은 시간에 따라 변하는 야구공의 괘적을 구하고, 야구공의 괘적 변화에 따른 데이타를 3 차원 스포츠 게임에 이용한다.
그리고 도 5는 본 발명의 실시예에 따른 실시간 3 차원 게임 시스템의 처리 수순을 도시한 흐름도이다.
도 5를 참조하면, 본 발명의 실시간 3 차원 게임 시스템(100)은 단계 S200에서 스포츠 경기의 영상을 이용하여 현실감 및 입체감을 제공할 수 있도록 하기 위하여, 2 대의 카메라(102, 104)로 스포츠 경기에 이용되는 대상물(10)의 좌우 영상을 촬영한다. 이 실시예에서 스포츠 경기는 야구 경기로, 대상물은 투수, 투수의 마운드 및 투수의 투구 동작, 투구 후 비행하는 야구공의 궤적, 타자의 움직임, 야구장 배경 및 관중 등을 포함한다. 따라서 2 대의 카메라(102, 104)는 도 2에 도시된 바와 같이, 야구장(20)의 포수(24) 주변의 좌우 양측에 각각 설치된다. 2 대의 카메라(102, 104)는 투수(22)와 포수(24)를 잇는 가상선(26)을 중심으로 상호 대칭되게 배치된다. 2 대의 카메라(102, 104)는 타자의 눈 높이 및 시야각과 대체로 유사한 위치에 설치되어, 대상물(10)을 촬영한다.
단계 S210에서 2 대의 카메라(102, 104)로부터 촬영된 대상물(10)의 좌우 영상 정보를 유선 또는 무선 통신망(106)을 통해 3 차원 영상 신호 처리부(110)로 전송하면, 단계 S220에서 3 차원 영상 신호 처리부(110)는 좌우 영상 정보를 수신한다.
단계 S230에서 3 차원 영상 신호 처리부(110)는 좌우 영상 정보를 조합, 변조하여 3 차원 게임 영상을 생성한다. 이 때, 3 차원 영상 신호 처리부(110)는 스테레오 비젼 모듈(150)을 이용하여 대상물(10) 즉, 야구공의 위치를 실시간으로 산출하고, 이를 통해 시간의 흐름에 따른 야구공의 궤적을 실시간으로 추적한다.
단계 S240에서 3 차원 영상 신호 처리부(110)로부터 3 차원 영상 디스플레이 장치(120)로 3 차원 게임 영상을 전송하여 표시한다.
단계 S250에서 3 차원 스포츠 게임이 진행 중에 3 차원 영상 신호 처리부(110)가 게임용 리모콘(140)의 동작이 감지되면, 단계 S260에서 게임용 리모콘(140)의 동작 궤적과 대상물(10)의 궤적이 시간과 위치가 일치하는지를 판별한다. 여기서 게임용 리모콘(140)의 동작은 게임용 리모콘(140)의 움직임에 따른 각도, 거리, 속도 및 가속도 등을 감지하는 센서(142)로부터 감지된 감지 신호를 3 차원 영상 신호 처리부(110)의 게임 컨트롤러(114)로 제공하여 판별한다.
판별 결과, 게임용 리모콘(140)의 동작 궤적과 대상물(10)의 궤적이 시간과 위치가 일치하면, 단계 S270으로 진행하여 대상물(10)의 물리 모델을 계산하고, 단계 S280에서 대상물(10)의 물리 모델에 따른 영상을 표시한다. 이 때, 3 차원 영상 신호 처리부(110)는 게임용 리모콘(140)의 동작 궤적과 대상물의 궤적이 시간과 위치가 일치하면, 물리 엔진(152)을 이용하여 게임용 리모콘(140)에 의한 야구공의 이동에 따른 변화된 궤적을 추척하고, 실시간으로 야구공의 위치를 표시하도록 산출한다.
이상에서, 본 발명에 따른 실시간 3 차원 게임 시스템의 구성 및 작용을 상세한 설명과 도면에 따라 도시하였지만, 이는 실시예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다.
100 : 실시간 3 차원 게임 시스템
102, 104 : 카메라
110 : 3 차원 영상 신호 처리부
112 : 3 차원 영상 신호 처리기
114 : 게임 컨트롤러
116 : 3 차원 영상 저장부
120 : 3 차원 영상 디스플레이 장치
130 : 3 차원 안경
140 : 게임용 리모콘
150 : 스테레오 비젼 모듈
152 : 물리 엔진
102, 104 : 카메라
110 : 3 차원 영상 신호 처리부
112 : 3 차원 영상 신호 처리기
114 : 게임 컨트롤러
116 : 3 차원 영상 저장부
120 : 3 차원 영상 디스플레이 장치
130 : 3 차원 안경
140 : 게임용 리모콘
150 : 스테레오 비젼 모듈
152 : 물리 엔진
Claims (9)
- 실시간 3 차원 게임 시스템에 있어서:
스포츠 경기를 위한 대상물의 좌우 영상을 실시간으로 촬영하는 제1 및 제2 카메라와;
상기 제1 및 상기 제2 카메라로부터 촬영된 상기 좌우 영상을 받아서 3 차원 게임 영상으로 생성하고, 상기 좌우 영상으로부터 상기 대상물의 위치를 실시간으로 추출하여 상기 대상물의 궤적을 추적하는 3 차원 영상 신호 처리부 및;
상기 3 차원 영상 신호 처리부로부터 상기 3 차원 게임 영상을 받아서 실시간으로 디스플레이 하는 3 차원 영상 디스플레이 장치를 포함하여, 실제 스포츠 영상을 3 차원 스포츠 게임의 컨텐츠로 실시간 제공하는 것을 특징으로 하고,
상기 실시간 3 차원 게임 시스템은;
상기 3 차원 게임 영상을 이용하여 상기 스포츠 경기의 게임 진행 시, 상기 3 차원 영상 신호 처리부로 상기 대상물의 궤적에 대응하여 동작을 입력하도록 하는 게임용 리모콘을 더 포함하되;
상기 3 차원 영상 신호 처리부는 상기 게임용 리모콘의 동작에 따른 궤적과 상기 대상물의 궤적이 시간과 위치가 일치되면, 상기 게임용 리모콘이 상기 대상물을 맞춘 것으로 판단하고, 상기 게임용 리모콘에 맞은 상기 대상물의 궤적을 상기 3 차원 영상 디스플레이 장치로 표시하도록 처리하는 것을 특징으로 하고,
상기 3 차원 영상 신호 처리부는;
상기 좌우 영상을 조합, 변조하여 상기 3 차원 게임 영상을 생성하고, 상기 3 차원 게임 영상에 상기 대상물의 궤적을 실시간으로 추적하여 상기 3 차원 영상 디스플레이 장치로 실시간 표시되도록 처리하는 3 차원 영상 신호 처리기와;
상기 3 차원 영상 신호 처리기에 의해 생성된 상기 3 차원 게임 영상을 저장하는 3 차원 영상 저장부 및;
게임 이용자가 상기 3 차원 영상 디스플레이 장치에 표시된 상기 3 차원 게임 영상을 보면서, 상기 스포츠 경기의 게임 진행 시, 상기 게임 이용자가 상기 게임용 리모콘을 이용하여 동작을 취하면, 상기 게임용 리모콘의 동작을 인식하여 상기 3 차원 영상 신호 처리기로 제공하는 게임 컨트롤러를 포함하고,
상기 3 차원 영상 신호 처리기는;
상기 제1 및 상기 제2 카메라로부터 촬영된 상기 좌우 영상으로부터 상기 대상물의 궤적을 시간에 따라 추적하여, 상기 대상물의 위치 변화를 산출하는 스테레오 비젼 모듈 및;
상기 스포츠 경기의 게임 진행 중 상기 대상물의 궤적과 상기 게임용 리모콘의 동작에 따른 궤적이 시간과 위치가 일치될 때, 일치된 상기 대상물의 궤적을 상기 3 차원 영상 디스플레이 장치에 표시하도록 산출하는 물리 엔진을 포함하고,
상기 제1 및 제2 카메라는, 야구장의 투수와 포수를 잇는 가상선을 중심으로 포수 좌우 양측에 상호 대칭되게 설치되되, 타자의 눈 높이의 위치에 설치되어, 스포츠 경기에 이용되는 대상물을 촬영하고,
상기 대상물은, 투수, 투수의 마운드, 야구공, 타자, 야구장 배경이나 관중을 포함하고,
상기 제1 및 제2 카메라는, 투수의 투구 동작에 따른 영상, 투구 후 비행하는 야구공의 궤적을 나타내는 영상, 타자의 움직임에 대한 영상, 야구장 배경이나 관중의 행동을 나타내는 영상을 촬영하고, 투수의 투구 동작 및 투구 후 비행하는 야구공의 모습이 담긴 좌우 영상 정보를 유선 또는 무선 통신망을 통해 3 차원 영상 신호 처리부로 전송하는 것을 특징으로 하는 실시간 3 차원 게임 시스템.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 실시간 3 차원 게임 시스템은;
상기 3 차원 영상 디스플레이 장치가 안경식 입체 디스플레이 장치이면, 게임 이용자가 착용하고, 상기 안경식 입체 디스플레이 장치에 디스플레이되는 상기 3 차원 게임 영상을 입체 영상으로 상기 게임 이용자에게 제공하는 3 차원 안경을 더 구비하는 것을 특징으로 하는 실시간 3 차원 게임 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140108715A KR101587730B1 (ko) | 2014-08-21 | 2014-08-21 | 실시간 3 차원 게임 시스템 및 그의 처리 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140108715A KR101587730B1 (ko) | 2014-08-21 | 2014-08-21 | 실시간 3 차원 게임 시스템 및 그의 처리 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101587730B1 true KR101587730B1 (ko) | 2016-01-22 |
Family
ID=55309052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140108715A KR101587730B1 (ko) | 2014-08-21 | 2014-08-21 | 실시간 3 차원 게임 시스템 및 그의 처리 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101587730B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100607046B1 (ko) | 2004-09-09 | 2006-08-01 | 주식회사 쿼터뷰 | 체감형 게임용 화상처리 방법 및 이를 이용한 게임 방법 |
| KR100946863B1 (ko) | 2009-05-18 | 2010-03-09 | 주식회사 디온지씨 | 골프시뮬레이션 시스템 및 그 동작 방법 |
| KR101051251B1 (ko) | 2011-05-02 | 2011-07-21 | 백건수 | 실시간 당구 게임 시스템 및 당구 게임 방법 |
| KR20110122952A (ko) * | 2010-05-06 | 2011-11-14 | 이재복 | 골프 시뮬레이션 ｈｍｄ |
| KR101184124B1 (ko) | 2011-10-31 | 2012-09-18 | 인하대학교 산학협력단 | 대향 카메라를 이용한 깊이감 측정 방법 및 장치 |
| KR20130114714A (ko) * | 2011-06-20 | 2013-10-17 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 온라인 게이밍 중의 사회적 상호작용 |
-
2014
- 2014-08-21 KR KR1020140108715A patent/KR101587730B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100607046B1 (ko) | 2004-09-09 | 2006-08-01 | 주식회사 쿼터뷰 | 체감형 게임용 화상처리 방법 및 이를 이용한 게임 방법 |
| KR100946863B1 (ko) | 2009-05-18 | 2010-03-09 | 주식회사 디온지씨 | 골프시뮬레이션 시스템 및 그 동작 방법 |
| KR20110122952A (ko) * | 2010-05-06 | 2011-11-14 | 이재복 | 골프 시뮬레이션 ｈｍｄ |
| KR101051251B1 (ko) | 2011-05-02 | 2011-07-21 | 백건수 | 실시간 당구 게임 시스템 및 당구 게임 방법 |
| KR20130114714A (ko) * | 2011-06-20 | 2013-10-17 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 온라인 게이밍 중의 사회적 상호작용 |
| KR101184124B1 (ko) | 2011-10-31 | 2012-09-18 | 인하대학교 산학협력단 | 대향 카메라를 이용한 깊이감 측정 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9892563B2 (en) | System and method for generating a mixed reality environment | |
| US9779633B2 (en) | Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same | |
| KR101926178B1 (ko) | 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템 | |
| Miles et al. | A review of virtual environments for training in ball sports | |
| JP6983172B2 (ja) | スポーツ用品の運動解析を行うための方法及び装置 | |
| CN104380347B (zh) | 视频处理设备、视频处理方法和视频处理系统 | |
| WO2017122367A1 (ja) | 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ | |
| JP7098119B2 (ja) | 仮想現実提供システム | |
| KR101599303B1 (ko) | 가상 현실 기반의 야구 게임 시스템 및 그것을 이용한 게임 진행 방법 | |
| CN103732299A (zh) | 利用虚拟触摸的三维装置及三维游戏装置 | |
| KR101703924B1 (ko) | 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템 | |
| KR101270489B1 (ko) | 골프 시뮬레이션 ｈｍｄ | |
| US20110256914A1 (en) | Interactive games with prediction and plan with assisted learning method | |
| JP2012181616A (ja) | プログラム、情報記憶媒体、ゲーム装置及びサーバシステム | |
| JP2012101025A (ja) | プログラム、情報記憶媒体、ゲーム装置及びサーバシステム | |
| JP2002123840A (ja) | 臨場感型仮想現実提供処理方法および装置 | |
| JP6775669B2 (ja) | 情報処理装置 | |
| JP2012141820A (ja) | プログラム、情報記憶媒体、画像生成システム及びサーバシステム | |
| WO2017145552A1 (ja) | プログラム及びアイウエア | |
| KR101587730B1 (ko) | 실시간 3 차원 게임 시스템 및 그의 처리 방법 | |
| Tanaka | 3D action reconstruction using virtual player to assist karate training | |
| CN103830904A (zh) | 实现3d立体仿真游戏的装置 | |
| JP2012141826A (ja) | プログラム、情報記憶媒体、画像生成システム及びサーバシステム | |
| WO2018173206A1 (ja) | 情報処理装置 | |
| JP7484210B2 (ja) | ゲームシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181029 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20200102 Year of fee payment: 5 |