KR102387352B1 - 자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템 - Google Patents

자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템 Download PDF

Info

Publication number
KR102387352B1
KR102387352B1 KR1020190168949A KR20190168949A KR102387352B1 KR 102387352 B1 KR102387352 B1 KR 102387352B1 KR 1020190168949 A KR1020190168949 A KR 1020190168949A KR 20190168949 A KR20190168949 A KR 20190168949A KR 102387352 B1 KR102387352 B1 KR 102387352B1
Authority
KR
South Korea
Prior art keywords
information
vehicle
game
autonomous driving
providing server
Prior art date
Application number
KR1020190168949A
Other languages
English (en)
Other versions
KR20210077843A (ko
Inventor
이휘원
Original Assignee
이휘원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이휘원 filed Critical 이휘원
Priority to KR1020190168949A priority Critical patent/KR102387352B1/ko
Priority to PCT/KR2020/018216 priority patent/WO2021125716A1/ko
Publication of KR20210077843A publication Critical patent/KR20210077843A/ko
Application granted granted Critical
Publication of KR102387352B1 publication Critical patent/KR102387352B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W20/00—Control systems specially adapted for hybrid vehicles
    • B60W20/10—Controlling the power contribution of each of the prime movers to meet required power demand
    • B60W20/11—Controlling the power contribution of each of the prime movers to meet required power demand using model predictive control [MPC] strategies, i.e. control methods based on models predicting performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

자율주행 차량 정보를 이용한 VR 게임 제공 방법 및 시스템을 개시한다.
본 실시예는 자율주행차량 내부에서 차량 이동시에, 차량의 외부 정보를 기초로 가상게임을 제공하는 기술로서, 자율주행 차량에 구비된 카메라, 레이더, 라이다를 이용하여 주변 상황을 인지한 후, 주변 상황 인지 결과를 기반으로 판단한 결과를 차용하고, 판단한 결과 내에서 차량 내 HMD를 이용하여 자율주행차량과 정보를 주고받는 VR 게임 데이터를 송수신하는 자율주행 차량 정보를 이용한 VR 게임 제공 방법 및 시스템을 제공하는 데 목적이 있다.

Description

자율주행 차량 정보를 이용한 VR 게임 제공 방법 및 시스템{Method And System for Providing Virtual Reality Game by using Autonomous Vehicle Information}
본 실시예는 자율주행 차량 정보를 이용한 VR 게임 제공 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
일반적인 게임은 사용자가 모니터를 보면서 조이스틱이나 키보드와 같은 간단한 조작 수단을 이용하여 화면에 나타나는 게임 상황에 따라 게임을 즐긴다. 사용자는 게임의 상황을 실제로 경험하는 것과 같은 체험은 할 수 없어, 한계가 존재한다. 최근 들어, 가상현실(VR: Virtual Reality)을 게임에 적용하는 경우 사용자가 실제 상황처럼 경험할 수 있으므로 게임의 몰입도를 증가시킬 수 있다.
가상현실 시스템은 사용자의 시점과 동작이 실현되는 가상의 환경을 제공한다. 일반적으로 가상현실 시스템은 사용자의 시점이나 동작의 변화를 가상의 공간에서 실제로 행하도록 하거나 가상현실 공간에서 인간의 신체를 대신하여 행위를 수행하여 가상 환경을 사용자가 경험할 수 있도록 한다. 가상현실 시스템은 가상현실 환경에서 인터랙션 디바이스들을 이용하여 입력용 센서로부터 입력된 센싱 정보를 기반으로 사용자의 다양한 정보를 인식한다.
1인칭 슈팅 게임(FPS: First-Person Shooter)은 사용자의 시점, 즉 1인칭 시점에서 총기류를 이용해 전투를 벌이는 슈팅 게임을 의미한다. 게임 속 캐릭터의 시점과 사용자의 시점이 동일해야 하기 때문에 보통 3D 방식으로 제작된다. 다른 게임에 비해 높은 사실감이 필요하기 때문에, 가상현실 기술을 적용한 게임을 개발하기에 적합하다고 볼 수 있다. 1인칭 슈팅 게임에 가상현실 기술을 적용시켜 실감형 게임을 개발을 필요로 한다.
본 실시예는 자율주행차량 내부에서 차량 이동시에, 차량의 외부 정보를 기초로 가상게임을 제공하는 기술로서, 자율주행 차량에 구비된 카메라, 레이더, 라이다를 이용하여 주변 상황을 인지한 후, 주변 상황 인지 결과를 기반으로 판단한 결과를 차용하고, 판단한 결과 내에서 차량 내 HMD를 이용하여 자율주행차량과 정보를 주고받는 VR 게임 데이터를 송수신하는 자율주행 차량 정보를 이용한 VR 게임 제공 방법 및 시스템을 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 차량에 구비된 카메라(Camera), 레이더(Radar), 라이다(Lidar), 위치측위모듈을 이용하여 주변 상황을 인지한 주변 상황 정보를 생성하고, 상기 주변 상황 정보를 기반으로 상기 차량이 자율주행하도록 제어하면서 차량 제어 정보를 생성하고, 상기 주변 상황 정보와 상기 차량 제어 정보를 포함하는 상기 차량에 대한 자율주행정보를 생성하는 자율주행장치; 상기 차량에 탑재한 사용자의 신체에 착용되어, 상기 신체의 움직임에 따른 신체 움직임 정보를 생성하는 웨어러블 디바이스(Wearable Device); 수신된 상기 자율주행정보에 포함된 상기 주변 상황 정보와 상기 차량 제어 정보를 추출하고, 상기 주변 상황 정보와 상기 차량 제어 정보를 기반으로 가상 게임 데이터를 생성하여 출력하는 게임 제공 서버; 및 상기 차량에 탑재한 사용자의 머리에 착용되어, 가상 게임 데이터를 출력하면서, 상기 머리의 움직임에 대응하는 시선 정보에 따라 상기 가상 게임 데이터의 시점(Viewpoint)이 이동하도록 하며, 상기 신체 움직임 정보에 따라 상기 가상 게임 데이터를 갱신하여 출력하는 HMD(Head Mounted Display);를 포함하는 것을 특징으로 하는 자율주행 차량 정보를 이용한 VR 게임 제공 시스템을 제공한다.
본 실시예의 다른 측면에 의하면, 차량에 구비된 카메라(Camera), 레이더(Radar), 라이다(Lidar), 위치측위모듈을 이용하여 주변 상황을 인지한 주변 상황 정보를 생성하고, 상기 주변 상황 정보를 기반으로 상기 차량이 자율주행하도록 제어하면서 차량 제어 정보를 생성하고, 상기 주변 상황 정보와 상기 차량 제어 정보를 포함하는 상기 차량에 대한 자율주행정보를 생성하는 자율주행장치; 상기 차량에 탑재한 사용자의 신체에 착용되어, 상기 신체의 움직임에 따른 신체 움직임 정보를 생성하는 웨어러블 디바이스(Wearable Device); 수신된 상기 자율주행정보에 포함된 상기 주변 상황 정보와 상기 차량 제어 정보를 추출하고, 상기 주변 상황 정보와 상기 차량 제어 정보를 기반으로 가상 게임 데이터를 생성하여 출력하는 게임 제공 서버; 상기 차량의 전면 윈도우의 일측에 설치되어 상기 가상 게임 데이터를 출력하면서, 상기 신체 움직임 정보에 따라 상기 가상 게임 데이터를 갱신하여 출력하는 HUD(Head UP Display);를 포함하는 것을 특징으로 하는 자율주행 차량 정보를 이용한 VR 게임 제공 시스템을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 자율주행차량 내부에서 차량 이동시에, 차량의 외부 정보를 기초로 가상게임을 제공하는 기술로서, 자율주행 차량에 구비된 카메라, 레이더, 라이다를 이용하여 주변 상황을 인지한 후, 주변 상황 인지 결과를 기반으로 판단한 결과를 차용하고, 판단한 결과 내에서 차량 내 HMD를 이용하여 자율주행차량과 정보를 주고받는 VR 게임 데이터를 송수신할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 자율주행 차량 정보를 이용한 VR 게임 제공 시스템을 나타낸 도면이다.
도 2는 본 실시예에 따른 게임 제공 서버의 동작 과정을 설명하기 위한 도면이다.
도 3은 본 실시예에 따른 자율주행 차량 정보를 이용한 VR 게임 제공 방법을 나타낸 도면이다.
도 4는 본 실시예에 따른 HMD를 이용하여 자율주행 차량 정보를 이용한 VR 게임 출력을 나타낸 도면이다.
도 5는 본 실시예에 따른 HUD를 이용하여 자율주행 차량 정보를 이용한 VR 게임 출력을 나타낸 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 자율주행 차량 정보를 이용한 VR 게임 제공 시스템을 나타낸 도면이다.
본 실시예에 따른 VR(Virtual Reality) 게임 제공 시스템은 자율주행차량(108) 내부에 탑재된 자율주행장치(110)에서 차량의 외부 정보를 기초로 차량이 자율주행하도록 제어하고, 게임 제공 서버(120)에서 자율주행장치(110)로부터 수신된 자율주행정보를 기반으로 가상 게임 데이터를 생성하여 자율주행장치(110) 내에 HMD(140) 또는 HUD에 출력되도록 한다.
본 실시예에 따른 VR 게임 제공 시스템은 자율주행차량(108), 자율주행장치(110), 게임 제공 서버(120), 웨어러블 디바이스(130), HMD(140)를 포함한다. VR 게임 제공 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
자율주행장치(110)는 자율주행차량(108)에 구비된 카메라, 레이더, 라이다를 이용하여 외부 환경 정보를 인지하고 차량이 자율 주행하도록 한다. 게임 제공 서버(120)는 자율주행장치(110)로부터 수신된 자율주행정보를 기반으로 가상 게임 데이터를 생성하여 자율주행장치(110) 내에 HMD(140) 또는 HUD로 전송한다. HMD(140) 또는 HUD는 게임 제공 서버(120)와 데이터를 송수신하면서 가상 게임 데이터를 출력한다.
자율주행장치(110)는 차량(108)에 구비된 카메라(Camera), 레이더(Radar), 라이다(Lidar), 위치측위모듈을 이용하여 주변 상황을 인지한 주변 상황 정보를 생성한다. 자율주행장치(110)는 주변 상황 정보를 기반으로 차량(108)이 자율주행하도록 제어하면서 차량 제어 정보를 생성한다. 자율주행장치(110)는 주변 상황 정보와 차량 제어 정보를 포함하는 차량(108)에 대한 자율주행정보를 생성한다.
자율주행장치(110)는 차량(108) 내에 구비된 카메라(Camera)로 촬영된 영상 데이터를 생성한다. 자율주행장치(110)는 차량(108) 내에 구비된 레이더(Radar) 또는 라이다(Lidar)를 이용하여 주변에 위치한 객체를 인지한 객체인지정보(사람, 차량, 사물 인지 정보)를 생성한다. 자율주행장치(110)는 차량(108) 내에 구비된 위치측위모듈을 이용하여 차량(108)의 이동에 따라 변화하는 현재 위치 정보를 실시간으로 산출한다. 자율주행장치(110)는 영상 데이터, 객체인지정보, 현재 위치 정보를 기반으로 차량(108)이 자율주행하도록 제어한다.
자율주행장치(110)는 주변 상황 정보를 기반으로 입력된 목적지까지 차량(108)이 자율주행하도록 하며, 현재 위치 정보를 기반으로 인근(약 1km~수십 km)의 디지탈 맵을 추출하거나 외부 서버로부터 수신하고, 디지탈 맵을 HMD(140) 및 게임 제공 서버(120)로 전송한다.
자율주행장치(110)는 디지탈 맵으로부터 레이더 또는 라이다를 이용하여 현재 위치 정보를 중심으로 기 설정된 반경(20~30m) 내의 주위 표지판 정보(표지판)을 읽어온 후 게임 제공 서버(120)로 전송한다.
게임 제공 서버(120)는 수신된 자율주행정보에 포함된 주변 상황 정보와 차량 제어 정보를 추출한다. 게임 제공 서버(120)는 주변 상황 정보와 차량 제어 정보를 기반으로 가상 게임 데이터를 생성하여 출력한다. 게임 제공 서버(120)는 객체인지정보, 현재위치정보, 가상 게임 데이터를 디지탈 맵상에 매칭하여 출력하도록 제어한다.
웨어러블 디바이스(Wearable Device)(130)는 차량(108)에 탑재한 사용자의 신체에 착용되어, 신체의 움직임에 따른 신체 움직임 정보를 생성한다.
HMD(Head Mounted Display)(140)는 사용자의 머리 부분에 착용되어 사용자의 눈 앞에 직접 영상이 출력되도록 하는 디스플레이 장치를 의미한다. HMD(Head Mounted Display)(140)는 차량(108)에 탑재한 사용자의 머리에 착용되어, 가상 게임 데이터를 출력한다. HMD(140)는 가상 게임 데이터를 출력하면서, 머리의 움직임에 대응하는 시선 정보에 따라 가상 게임 데이터의 시점(Viewpoint)이 이동하도록 한다. HMD(140)는 가상 게임 데이터를 출력하면서, 신체 움직임 정보에 따라 가상 게임 데이터를 갱신한다.
도 2는 본 실시예에 따른 게임 제공 서버의 동작 과정을 설명하기 위한 도면이다.
게임 제공 서버(120)는 특정 지역을 기준의 게임 컨텐츠를 특화시켜서 출력한다. 예컨대, 게임 제공 서버(120)는 특정 지역에 자율주행차량(108)이 진입하면, 해당 지역의 마스코트 또는 해당 지역에 부합하는 몬스터, 캐릭터를 추출하여 해당 지역에서 출몰하도록 제어한다.
자율주행장치(110)는 현재 GPS 위치 및 디지털 맵과 라이다 등의 센서 수집 정보를 기반으로 현재 위치 정보를 산출한다. 자율주행장치(110)는 현재 위치 주변의 디지탈 맵을 추출하여 자율주행차량(108) 내부로 읽어온다. 자율주행장치(110)는 자율주행차량(108) 내의 HMD(140)로 현재 위치 주변의 디지탈 맵을 전송한다. HMD(140)는 현재 위치 주변의 디지탈 맵을 출력한다. 게임 제공 서버(120)는 자율주행장치(110)로부터 디지탈 맵을 수신한 후 디지탈 맵을 기반으로 가상 게임 데이터를 제공한다.
게임 제공 서버(120)와 자율주행장치(110)는 V2X(Vehicle to Everything)통신으로 고속 통신을 수행하므로 3차원 대용량 데이터를 빠르게 송수신한다.
자율주행장치(110)는 게임 제공 서버(120)와 통신하면서 자율주행차량(108) 내에 구비된 레이더(Radar) 또는 라이다(Lidar)를 이용하여 목적지까지 자율주행을 수행한다. 자율주행장치(110)는 현재 위치를 기반으로 인근(약 1km~수십 km)의 디지탈 맵을 추출하거나 외부 서버로부터 수신한다. 자율주행장치(110)는 디지탈맵이 HMD(140) 또는 HUD로 전송한다. 자율주행장치(110)는 라이다를 이용하여 반경(20~30m) 내의 주위 표지판 정보를 읽어와서 게임 제공 서버(120)로 전송한다. 자율주행장치(110)는 디지탈 맵과 LIDAR 센싱 정보를 비교하여 자기 위치를 특정한다.
게임 제공 서버(120)는 수신된 자율주행정보에 포함된 주변 상황 정보와 차량 제어 정보를 추출한다. 게임 제공 서버(120)는 주변 상황 정보와 차량 제어 정보를 기반으로 가상 게임 데이터를 생성하여 출력한다.
게임 제공 서버(120)는 객체인지정보, 현재위치정보, 가상 게임 데이터를 디지탈 맵상에 매칭하여 출력하도록 제어한다.
게임 제공 서버(120)는 현재 위치 정보를 기반으로 차량이 특정 지역에 진입하는 경우, 특정 지역에 대응하는 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)를 추출한다. 게임 제공 서버(120)는 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)를 가상 게임 데이터에 반영한다.
게임 제공 서버(120)는 디지탈 맵 상에 영상 데이터를 기반으로 인지한 도로 및 건물에 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 매칭되어 출력되도록 제어한다. 게임 제공 서버(120)는 시선 정보, 신체 움직임 정보를 기반으로 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 파괴되거나 폭발하도록 제어한다.
게임 제공 서버(120)는 주위 표지판 정보에 대응한 게임 데이터(시나리오 데이터, 타겟 캐릭터)를 추출하여 가상 게임 데이터에 반영한다.
게임 제공 서버(120)는 차량 제어 정보로부터 차량 조향 정보, 가속정보, 제동정보를 추출한다. 게임 제공 서버(120)는 차량 조향 정보에 따라 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 좌측 또는 우측으로 이동하도록 제어한다. 게임 제공 서버(120)는 가속정보 및 제동정보에 따라 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 상측 또는 하측으로 이동하도록 제어한다.
게임 제공 서버(120)는 디지탈 맵 상에서 현재위치정보를 기반으로 사용자 캐릭터의 위치를 설정한다. 게임 제공 서버(120)는 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 기 설정된 인공지능으로 사용자 캐릭터를 공격 대상으로 공격하도록 제어한다.
게임 제공 서버(120)는 시선 정보, 신체 움직임 정보가 디지탈 맵 상에 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 조준된 상태 판별된 상태에서 신체 움직임 정보 중 제1 특정 동작이 판별되면 발사 명령어로 인지하여, 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 파괴되거나 폭발하도록 제어한다.
게임 제공 서버(120)는 신체 움직임 정보 중 제2 특정 동작이 판별되면 무기 교체 명령어 또는 탄창 장전 명령어로 인지하여, 사용자 캐릭터의 무기 교체 또는 탄창 장전이 이루어지도록 제어한다.
자율주행장치(110)와 게임 제공 서버(120)는 V2X(Vehicle to Everything)를 기반으로 통신한다.
도 3은 본 실시예에 따른 자율주행 차량 정보를 이용한 VR 게임 제공 방법을 나타낸 도면이다.
자율주행장치(110)는 차량(108)에 구비된 카메라(Camera), 레이더(Radar), 라이다(Lidar), 위치측위모듈을 이용하여 주변 상황을 인지한 주변 상황 정보를 생성한다(S310).
단계 S310에서, 자율주행장치(110)는 차량(108) 내에 구비된 카메라(Camera)로 촬영된 영상 데이터를 생성한다. 자율주행장치(110)는 차량(108) 내에 구비된 레이더(Radar) 또는 라이다(Lidar)를 이용하여 주변에 위치한 객체를 인지한 객체인지정보를 생성한다. 자율주행장치(110)는 차량(108) 내에 구비된 위치측위모듈을 이용하여 차량(108)의 이동에 따라 변화하는 현재 위치 정보를 실시간으로 산출한다.
단계 S310에서, 자율주행장치(110)는 영상 데이터, 객체인지정보, 현재 위치 정보를 주변 상황 정보로 패키징한다.
자율주행장치(110)는 주변 상황 정보를 기반으로 차량(108)이 자율주행하도록 제어하면서 차량 제어 정보를 생성한다(S320). 단계 S320에서, 자율주행장치(110)는 영상 데이터, 객체인지정보, 현재 위치 정보를 기반으로 차량(108)이 자율주행하도록 제어한다.
자율주행장치(110)는 주변 상황 정보와 차량 제어 정보를 포함하는 차량(108)에 대한 자율주행정보를 생성한다(S330). 단계 S330에서 자율주행장치(110)는 디지탈 맵으로부터 레이더 또는 라이다를 이용하여 현재 위치 정보를 중심으로 기 설정된 반경(20~30m) 내의 주위 표지판 정보(표지판)을 읽어온 후 게임 제공 서버(120)로 전송한다.
게임 제공 서버(120)는 수신된 자율주행정보에 포함된 주변 상황 정보와 차량 제어 정보를 추출한다. 게임 제공 서버(120)는 주변 상황 정보와 차량 제어 정보를 기반으로 가상 게임 데이터를 생성하여 HMD(140) 또는 HUD로 출력한다(S340).
단계 S340에서, 자율주행장치(110)는 주변 상황 정보를 기반으로 입력된 목적지까지 차량(108)이 자율주행하도록 하며, 현재 위치 정보를 기반으로 인근(약 1km~수십 km)의 디지탈 맵을 추출하거나 외부 서버로부터 수신하고, 디지탈 맵을 HMD(140)로 전송한다. 게임 제공 서버(120)는 객체인지정보, 현재위치정보, 가상 게임 데이터를 디지탈 맵상에 매칭하여 출력하도록 제어한다.
게임 제공 서버(120)는 현재 위치 정보를 기반으로 차량이 특정 지역에 진입하는 경우, 특정 지역에 대응하는 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)를 추출한다. 게임 제공 서버(120)는 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)를 가상 게임 데이터에 반영한다.
게임 제공 서버(120)는 디지탈 맵 상에 영상 데이터를 기반으로 인지한 도로 및 건물에 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 매칭되어 출력되도록 제어한다. 게임 제공 서버(120)는 시선 정보, 신체 움직임 정보를 기반으로 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 파괴되거나 폭발하도록 제어한다.
게임 제공 서버(120)는 주위 표지판 정보에 대응한 게임 데이터(시나리오 데이터, 타겟 캐릭터)를 추출하여 가상 게임 데이터에 반영한다.
게임 제공 서버에서 웨어러블 디바이스로부터 수신된 신체 움직임 정보를 가상 게임 정보에 반영한다(S350). 단계 S350에서, 게임 제공 서버(120)는 디지탈 맵 상에 영상 데이터를 기반으로 인지한 도로 및 건물에 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 매칭되어 HMD(140) 또는 HUD로 출력되도록 제어한다. 게임 제공 서버(120)는 시선 정보, 신체 움직임 정보를 기반으로 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 파괴되거나 폭발하도록 제어한다.
게임 제공 서버(120)는 디지탈 맵 상에서 현재위치정보를 기반으로 사용자 캐릭터의 위치를 설정한다. 게임 제공 서버(120)는 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 기 설정된 인공지능으로 사용자 캐릭터를 공격 대상으로 공격하도록 제어한다.
게임 제공 서버(120)는 차량 제어 정보로부터 차량 조향 정보, 가속정보, 제동정보를 추출한다. 게임 제공 서버(120)는 차량 조향 정보에 따라 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 좌측 또는 우측으로 이동하도록 제어한다. 게임 제공 서버(120)는 가속정보 및 제동정보에 따라 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 상측 또는 하측으로 이동하도록 제어한다.
게임 제공 서버(120)는 시선 정보, 신체 움직임 정보가 디지탈 맵 상에 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 조준된 상태 판별된 상태에서 신체 움직임 정보 중 제1 특정 동작이 판별되면 발사 명령어로 인지하여, 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 파괴되거나 폭발하도록 제어한다.
게임 제공 서버(120)는 신체 움직임 정보 중 제2 특정 동작이 판별되면 무기 교체 명령어 또는 탄창 장전 명령어로 인지하여, 사용자 캐릭터의 무기 교체 또는 탄창 장전이 이루어지도록 제어한다.
HMD(140)는 차량(108)에 탑재한 사용자의 머리에 착용되어, 가상 게임 데이터를 출력한다. HMD(140)는 가상 게임 데이터를 출력하면서, 머리의 움직임에 대응하는 시선 정보에 따라 가상 게임 데이터의 시점(Viewpoint)이 이동하도록 한다. HMD(140)는 가상 게임 데이터를 출력하면서, 신체 움직임 정보에 따라 가상 게임 데이터를 갱신한다(S360).
단계 S360에서, 별도의 HMD(140)가 설치되어 있지 않은 경우, HUD(140)는 차량(108)의 전면 윈도우의 일측에 설치되어 가상 게임 데이터를 출력하면서, 신체 움직임 정보에 따라 가상 게임 데이터를 갱신하여 출력한다.
도 3에서는 단계 S310 내지 단계 S360을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 자율주행 차량 정보를 이용한 VR 게임 제공 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 자율주행 차량 정보를 이용한 VR 게임 제공 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 4는 본 실시예에 따른 HMD를 이용하여 자율주행 차량 정보를 이용한 VR 게임 출력을 나타낸 도면이다.
게임 제공 서버(120)는 자율주행차량(108)이 주행하고 있는 도로 및 주변 건물 등에서 적 또는 괴물 등이 등장하도록 한다. 자율주행차량(108) 내에 승객은 도 4에 도시된 바와 같이, HMD(140)를 착용한 후 웨어러블 디바이스(예컨대, 총)을 이용하여 적 또는 괴물을 사격한다.
게임 제공 서버(120)는 현재 위치 정보를 기반으로 차량이 특정 지역에 진입하는 경우, 특정 지역에 대응하는 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)를 추출한다. 게임 제공 서버(120)는 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)를 가상 게임 데이터에 반영하여 HMD(140)로 출력한다.
게임 제공 서버(120)는 디지탈 맵 상에 영상 데이터를 기반으로 인지한 도로 및 건물에 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 매칭되어 HMD(140)로 출력되도록 제어한다. 게임 제공 서버(120)는 시선 정보, 신체 움직임 정보를 기반으로 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 파괴되거나 폭발하도록 HMD(140)를 제어한다.
게임 제공 서버(120)는 시선 정보, 신체 움직임 정보가 디지탈 맵 상에 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 조준된 상태 판별된 상태에서 신체 움직임 정보 중 제1 특정 동작이 판별되면 발사 명령어로 인지하여, 가상 게임 데이터 상에서 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 파괴되거나 폭발하도록 HMD(140)를 제어한다.
게임 제공 서버(120)는 신체 움직임 정보 중 제2 특정 동작이 판별되면 무기 교체 명령어 또는 탄창 장전 명령어로 인지하여, 가상 게임 데이터 상에서 사용자 캐릭터의 무기 교체 또는 탄창 장전이 이루어지도록 HMD(140)를 제어한다.
도 5는 본 실시예에 따른 HUD를 이용하여 자율주행 차량 정보를 이용한 VR 게임 출력을 나타낸 도면이다.
게임 제공 서버(120)는 자율주행차량(108)이 주행하고 있는 도로 및 주변 건물 등에서 적 또는 괴물 등이 등장하도록 한다. 자율주행차량(108) 내에 승객은 도 5에 도시된 바와 같이, 별도로 HMD(140)를 착용하지 않고 HUD에 출력되는 가상 게임 데이터를 보고 웨어러블 디바이스(예컨대, 총)을 이용하여 적 또는 괴물을 사격한다.
자율주행장치(110)는 차량(108)에 구비된 카메라(Camera), 레이더(Radar), 라이다(Lidar), 위치측위모듈을 이용하여 주변 상황을 인지한 주변 상황 정보를 생성한다. 자율주행장치(110)는 주변 상황 정보를 기반으로 차량(108)이 자율주행하도록 제어하면서 차량 제어 정보를 생성한다. 자율주행장치(110)는 주변 상황 정보와 차량 제어 정보를 포함하는 차량(108)에 대한 자율주행정보를 생성한다.
웨어러블 디바이스(130)는 차량(108)에 탑재한 사용자의 신체에 착용되어, 신체의 움직임에 따른 신체 움직임 정보를 생성한다.
게임 제공 서버(120)는 수신된 자율주행정보에 포함된 주변 상황 정보와 차량 제어 정보를 추출한다. 게임 제공 서버(120)는 주변 상황 정보와 차량 제어 정보를 기반으로 가상 게임 데이터를 생성하여 출력한다.
HUD(Head UP Display)는 차량(108)의 전면 윈도우의 일측에 설치되어 가상 게임 데이터를 출력하면서, 신체 움직임 정보에 따라 가상 게임 데이터를 갱신하여 출력한다.
게임 제공 서버(120)는 현재 위치 정보를 기반으로 차량이 특정 지역에 진입하는 경우, 특정 지역에 대응하는 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)를 추출한다. 게임 제공 서버(120)는 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)를 가상 게임 데이터에 반영하여 HUD로 출력한다.
게임 제공 서버(120)는 디지탈 맵 상에 영상 데이터를 기반으로 인지한 도로 및 건물에 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 매칭되어 HUD로 출력되도록 제어한다. 게임 제공 서버(120)는 시선 정보, 신체 움직임 정보를 기반으로 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 파괴되거나 폭발하도록 HUD를 제어한다.
게임 제공 서버(120)는 시선 정보, 신체 움직임 정보가 디지탈 맵 상에 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5)가 조준된 상태 판별된 상태에서 신체 움직임 정보 중 제1 특정 동작이 판별되면 발사 명령어로 인지하여, 가상 게임 데이터 상에서 마스코트 또는 게임 캐릭터(150-1, 150-2, 150-3, 150-4, 150-5) 파괴되거나 폭발하도록 HUD를 제어한다.
게임 제공 서버(120)는 신체 움직임 정보 중 제2 특정 동작이 판별되면 무기 교체 명령어 또는 탄창 장전 명령어로 인지하여, 가상 게임 데이터 상에서 사용자 캐릭터의 무기 교체 또는 탄창 장전이 이루어지도록 HUD를 제어한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
108: 자율주행차량
110: 자율주행장치 120: 게임 제공 서버
130: 웨어러블 디바이스 140: HMD
150-1, 150-2, 150-3, 150-4, 150-5: 마스코트 또는 게임 캐릭터

Claims (14)

  1. 차량에 구비된 카메라(Camera), 레이더(Radar), 라이다(Lidar), 위치측위모듈을 이용하여 주변 상황을 인지한 주변 상황 정보를 생성하고, 상기 주변 상황 정보를 기반으로 상기 차량이 자율주행하도록 제어하면서 차량 제어 정보를 생성하고, 상기 주변 상황 정보와 상기 차량 제어 정보를 포함하는 상기 차량에 대한 자율주행정보를 생성하는 자율주행장치;
    상기 차량에 탑재한 사용자의 신체에 착용되어, 상기 신체의 움직임에 따른 신체 움직임 정보를 생성하는 웨어러블 디바이스(Wearable Device);
    상기 자율주행장치와 V2X(Vehicle to Everything)를 기반으로 V2X 통신하도록 구성되고, 수신된 상기 자율주행정보에 포함된 상기 주변 상황 정보와 상기 차량 제어 정보를 추출하고, 상기 주변 상황 정보와 상기 차량 제어 정보를 기반으로 가상 게임 데이터를 생성하여 출력하는 게임 제공 서버; 및
    상기 차량에 탑재한 사용자의 머리에 착용되어, 가상 게임 데이터를 출력하면서, 상기 머리의 움직임에 대응하는 시선 정보에 따라 상기 가상 게임 데이터의 시점(Viewpoint)이 이동하도록 하며, 상기 신체 움직임 정보에 따라 상기 가상 게임 데이터를 갱신하여 출력하는 HMD(Head Mounted Display);를 포함하고,
    상기 자율주행장치는,
    현재위치정보를 기반으로 인근의 디지탈 맵을 추출하고, 상기 디지탈 맵을 상기 HMD 및 상기 게임 제공 서버로 전송 - 상기 디지탈 맵으로부터 상기 레이더 또는 상기 라이다를 이용하여 현재 위치 정보를 중심으로 기 설정된 반경 내의 주위 표지판 정보를 읽어온 후 상기 게임 제공 서버로 전송 - 하고,
    상기 게임 제공 서버는,
    상기 레이더(Radar) 또는 상기 라이다(Lidar)를 이용하여 주변에 위치한 객체를 인지한 객체인지정보, 상기 현재위치정보, 상기 가상 게임 데이터를 상기 HMD에 출력되는 상기 디지탈 맵 상에 매칭하여 출력되도록 제어하고,
    상기 디지탈 맵 상에 상기 자율주행장치로부터 V2X 통신으로 수신한 3차원 영상 데이터를 기반으로 인지한 도로 및 건물에 마스코트 또는 게임캐릭터를 매칭시켜 출력하고,
    상기 주위 표지판 정보에 대응하는 시나리오 데이터와 타겟 캐릭터를 추출하여 상기 가상 게임 데이터에 반영하고,
    상기 차량 제어 정보로부터 차량 조향 정보, 가속정보, 제동정보를 추출하고,
    상기 차량 조향 정보에 따라 상기 마스코트 또는 게임 캐릭터가 좌측 또는 우측으로 이동하도록 제어하며,
    상기 가속정보 및 상기 제동정보에 따라 상기 마스코트 또는 상기 게임 캐릭터가 상측 또는 하측으로 이동하도록 제어하고,
    상기 시선 정보, 상기 신체 움직임 정보가 디지탈 맵 상에 마스코트 또는 게임 캐릭터가 조준된 상태 판별된 상태에서 상기 신체 움직임 정보 중 제1 특정 동작이 판별되면 발사 명령어로 인지하여, 상기 마스코트 또는 상기 게임 캐릭터가 파괴되거나 폭발하도록 제어하고,
    상기 신체 움직임 정보 중 제2 특정 동작이 판별되면 무기 교체 명령어 또는 탄창 장전 명령어로 인지하여, 사용자 캐릭터의 무기 교체 또는 탄창 장전이 이루어지도록 제어하는 것을 특징으로 하는 자율주행 차량 정보를 이용한 VR 게임 제공 시스템.
  2. 제1항에 있어서,
    상기 자율주행장치는,
    상기 카메라(Camera)로 촬영된 영상 데이터를 생성하고,
    상기 위치측위모듈을 이용하여 상기 차량의 이동에 따라 변화하는 현재 위치 정보를 실시간으로 산출하는 것을 특징으로 하는 자율주행 차량 정보를 이용한 VR 게임 제공 시스템.
  3. 제2항에 있어서,
    상기 자율주행장치는,
    상기 주변 상황 정보를 기반으로 입력된 목적지까지 상기 차량이 자율주행하도록 하는 것을 특징으로 하는 자율주행 차량 정보를 이용한 VR 게임 제공 시스템.
  4. 삭제
  5. 제3항에 있어서,
    상기 게임 제공 서버는,
    상기 현재 위치 정보를 기반으로 상기 차량이 특정 지역에 진입하는 경우, 상기 특정 지역에 대응하는 마스코트 또는 게임 캐릭터를 추출하고, 상기 마스코트 또는 상기 게임 캐릭터를 상기 가상 게임 데이터에 반영하는 것을 특징으로 하는 자율주행 차량 정보를 이용한 VR 게임 제공 시스템.
  6. 제5항에 있어서,
    상기 게임 제공 서버는,
    상기 시선 정보, 상기 신체 움직임 정보를 기반으로 상기 마스코트 또는 상기 게임 캐릭터가 파괴되거나 폭발하도록 제어하는 것을 특징으로 하는 자율주행 차량 정보를 이용한 VR 게임 제공 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 게임 제공 서버는,
    상기 디지탈 맵 상에서 상기 현재위치정보를 기반으로 사용자 캐릭터의 위치를 설정하고,
    상기 마스코트 또는 상기 게임 캐릭터가 기 설정된 인공지능으로 상기 사용자 캐릭터를 공격 대상으로 공격하도록 제어하는 것을 특징으로 하는 자율주행 차량 정보를 이용한 VR 게임 제공 시스템.
  11. 삭제
  12. 삭제
  13. 제1항에 있어서,
    상기 자율주행장치와 상기 게임 제공 서버는 V2X(Vehicle to Everything)를 기반으로 통신하는 것을 특징으로 하는 자율주행 차량 정보를 이용한 VR 게임 제공 시스템.
  14. 차량에 구비된 카메라(Camera), 레이더(Radar), 라이다(Lidar), 위치측위모듈을 이용하여 주변 상황을 인지한 주변 상황 정보를 생성하고, 상기 주변 상황 정보를 기반으로 상기 차량이 자율주행하도록 제어하면서 차량 제어 정보를 생성하고, 상기 주변 상황 정보와 상기 차량 제어 정보를 포함하는 상기 차량에 대한 자율주행정보를 생성하는 자율주행장치;
    상기 차량에 탑재한 사용자의 신체에 착용되어, 상기 신체의 움직임에 따른 신체 움직임 정보를 생성하는 웨어러블 디바이스(Wearable Device);
    상기 자율주행장치와 V2X(Vehicle to Everything)를 기반으로 V2X 통신하도록 구성되고, 수신된 상기 자율주행정보에 포함된 상기 주변 상황 정보와 상기 차량 제어 정보를 추출하고, 상기 주변 상황 정보와 상기 차량 제어 정보를 기반으로 가상 게임 데이터를 생성하여 출력하는 게임 제공 서버; 및
    상기 차량의 전면 윈도우의 일측에 설치되어 상기 가상 게임 데이터를 출력하면서, 상기 신체 움직임 정보에 따라 상기 가상 게임 데이터를 갱신하여 출력하는 HUD(Head UP Display);를 포함하고,
    상기 자율주행장치는,
    현재위치정보를 기반으로 인근의 디지탈 맵을 추출하고, 상기 디지탈 맵을 상기 HUD 및 상기 게임 제공 서버로 전송 - 상기 디지탈 맵으로부터 상기 레이더 또는 상기 라이다를 이용하여 현재 위치 정보를 중심으로 기 설정된 반경 내의 주위 표지판 정보를 읽어온 후 상기 게임 제공 서버로 전송 - 하고,
    상기 게임 제공 서버는,
    상기 레이더(Radar) 또는 상기 라이다(Lidar)를 이용하여 주변에 위치한 객체를 인지한 객체인지정보, 상기 현재위치정보, 상기 가상 게임 데이터를 상기 HUD에 출력되는 상기 디지탈 맵 상에 매칭하여 출력되도록 제어하고,
    상기 디지탈 맵 상에 상기 자율주행장치로부터 V2X 통신으로 수신한 3차원 영상 데이터를 기반으로 인지한 도로 및 건물에 마스코트 또는 게임캐릭터를 매칭시켜 출력하고,
    상기 주위 표지판 정보에 대응하는 시나리오 데이터와 타겟 캐릭터를 추출하여 상기 가상 게임 데이터에 반영하고,
    상기 차량 제어 정보로부터 차량 조향 정보, 가속정보, 제동정보를 추출하고,
    상기 차량 조향 정보에 따라 상기 마스코트 또는 게임 캐릭터가 좌측 또는 우측으로 이동하도록 제어하며,
    상기 가속정보 및 상기 제동정보에 따라 상기 마스코트 또는 상기 게임 캐릭터가 상측 또는 하측으로 이동하도록 제어하고,
    시선 정보, 상기 신체 움직임 정보가 디지탈 맵 상에 마스코트 또는 게임 캐릭터가 조준된 상태 판별된 상태에서 상기 신체 움직임 정보 중 제1 특정 동작이 판별되면 발사 명령어로 인지하여, 상기 마스코트 또는 상기 게임 캐릭터가 파괴되거나 폭발하도록 제어하고,
    상기 신체 움직임 정보 중 제2 특정 동작이 판별되면 무기 교체 명령어 또는 탄창 장전 명령어로 인지하여, 사용자 캐릭터의 무기 교체 또는 탄창 장전이 이루어지도록 제어하는 것을 특징으로 하는 자율주행 차량 정보를 이용한 VR 게임 제공 시스템.
KR1020190168949A 2019-12-17 2019-12-17 자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템 KR102387352B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190168949A KR102387352B1 (ko) 2019-12-17 2019-12-17 자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템
PCT/KR2020/018216 WO2021125716A1 (ko) 2019-12-17 2020-12-14 자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190168949A KR102387352B1 (ko) 2019-12-17 2019-12-17 자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20210077843A KR20210077843A (ko) 2021-06-28
KR102387352B1 true KR102387352B1 (ko) 2022-04-15

Family

ID=76477787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190168949A KR102387352B1 (ko) 2019-12-17 2019-12-17 자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102387352B1 (ko)
WO (1) WO2021125716A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115300899A (zh) * 2022-06-29 2022-11-08 中国第一汽车股份有限公司 车载游戏控制方法、装置、计算机可读存储介质和车辆
CN115193052A (zh) * 2022-09-19 2022-10-18 中国第一汽车股份有限公司 车载游戏的交互方法、系统、车辆及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146963A (ja) * 2016-02-18 2017-08-24 国立大学法人名古屋大学 仮想空間表示システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180009543A (ko) * 2016-07-19 2018-01-29 주식회사 아이온커뮤니케이션즈 위치 기반 vr 콘텐츠 제공 시스템
WO2018057980A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Immersive virtual display
KR20180068709A (ko) * 2016-12-14 2018-06-22 김경필 유니티 기반의 가상현실(vr) 인터랙션 게임 서비스 제공 시스템
KR101973626B1 (ko) * 2017-05-24 2019-04-29 엘지전자 주식회사 차량의 제어방법
KR20190024059A (ko) * 2017-08-31 2019-03-08 제이원엔터테인먼트 주식회사 웨어러블 기기가 구비된 실감형 vr 게임 시스템 및 이를 이용한 게임 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146963A (ja) * 2016-02-18 2017-08-24 国立大学法人名古屋大学 仮想空間表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Turning vehicles into theme parks - How Virtual Reality Will Disrupt In-Car Entertainment | 2019", 인터넷 유튜브 게시 영상(2019.09.12.)*

Also Published As

Publication number Publication date
WO2021125716A1 (ko) 2021-06-24
KR20210077843A (ko) 2021-06-28

Similar Documents

Publication Publication Date Title
CN109478345B (zh) 模拟系统、处理方法及信息存储介质
JP5390115B2 (ja) プログラム、ゲームシステム
CN107844196B (zh) 视频处理设备、视频处理方法和视频处理系统
JP5300777B2 (ja) プログラム及び画像生成システム
US9183676B2 (en) Displaying a collision between real and virtual objects
US20110151955A1 (en) Multi-player augmented reality combat
JP2004503307A (ja) 可動遠隔操縦式ビデオゲームシステム
JP2018081644A (ja) シミュレーションシステム及びプログラム
KR102387352B1 (ko) 자율주행 차량 정보를 이용한 vr 게임 제공 방법 및 시스템
US20180357817A1 (en) Information processing method, program, and computer
JP2015533534A (ja) ロボットシステムと１つ以上のモバイルコンピューティングデバイスとの統合
US10888771B2 (en) Method and device for object pointing in virtual reality (VR) scene, and VR apparatus
KR20160017916A (ko) 가상 훈련 시뮬레이션 제어 장치 및 그 방법
CN110876849B (zh) 虚拟载具的控制方法、装置、设备及存储介质
US11975258B2 (en) Game processing program, game processing method, and game processing device
JP2019046120A (ja) 仮想体験を提供するためにコンピュータで実行される方法、プログラム及びコンピュータ
KR20220113905A (ko) 게임 애플리케이션의 사용자 인터페이스 요소를 햅틱 피드백으로 트랜스크라이빙하기 위한 시스템 및 방법
JP6161749B2 (ja) 映像処理装置、映像処理方法、および映像処理システム
CN111330278B (zh) 基于虚拟环境的动画播放方法、装置、设备及介质
US20220083055A1 (en) System and method for robot interactions in mixed reality applications
CN112704875B (zh) 虚拟道具控制方法、装置、设备及存储介质
CN103148788B (zh) 用于远距离识别的体感外部设备与人体高度识别方法
CN110928410A (zh) 基于多个表情动作的交互方法、装置、介质和电子设备
JP2011255114A (ja) プログラム、情報記憶媒体及び画像生成システム
EP4140555A1 (en) Aiming display automation for head mounted display applications

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant