KR20200032547A - Device of augmented reality games for self-driving vehicles and method for the same - Google Patents

Device of augmented reality games for self-driving vehicles and method for the same Download PDF

Info

Publication number
KR20200032547A
KR20200032547A KR1020180111711A KR20180111711A KR20200032547A KR 20200032547 A KR20200032547 A KR 20200032547A KR 1020180111711 A KR1020180111711 A KR 1020180111711A KR 20180111711 A KR20180111711 A KR 20180111711A KR 20200032547 A KR20200032547 A KR 20200032547A
Authority
KR
South Korea
Prior art keywords
game
autonomous vehicle
camera
autonomous
pupil
Prior art date
Application number
KR1020180111711A
Other languages
Korean (ko)
Inventor
김정연
한민지
한진규
이혜림
Original Assignee
주식회사 유비테크
김정연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유비테크, 김정연 filed Critical 주식회사 유비테크
Priority to KR1020180111711A priority Critical patent/KR20200032547A/en
Publication of KR20200032547A publication Critical patent/KR20200032547A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture

Abstract

The present invention relates to an AR game device for an autonomous car, which enables a passenger in an autonomous car to play an AR game using a mobile device while the autonomous car is autonomously driving, and a method for the same. The AR game device for an autonomous car includes: a smart window of the autonomous car, outputting a content image related to an AR game; a mobile device including an AR game application, a GPS module, and a Wi-Fi communication module and performing the AR game in the autonomous car while the autonomous car is autonomously driving; a device sensor sensing a motion of the mobile device; a pupil sensing camera sensing a movement of a pupil of a passenger in the autonomous car and moving a focus of a screen of the smart window; an outside photographing camera installed outside the autonomous car and photographing the outside of the autonomous car to use the photographed outside of the autonomous car as a background of the AR game; and a game control unit receiving information from the device sensor, the pupil sensing camera, and the outside photographing camera, processing the information, and controlling the AR game to be performed by the processed data.

Description

자율주행차량용 AR게임 장치 및 그 방법{DEVICE OF AUGMENTED REALITY GAMES FOR SELF-DRIVING VEHICLES AND METHOD FOR THE SAME}DEVICE OF AUGMENTED REALITY GAMES FOR SELF-DRIVING VEHICLES AND METHOD FOR THE SAME}

본 발명은 자율주행차량용 AR게임 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 자율주행차량의 자율주행 중에 자율주행차량에 탑승한 탑승자가 모바일기기를 이용하여 AR게임을 할 수 있도록 한 자율주행차량용 AR게임 장치 및 그 방법에 관한 것이다.The present invention relates to an AR game device and a method for an autonomous vehicle, and more specifically, for an autonomous vehicle that enables a passenger who boards the autonomous vehicle during autonomous driving of the autonomous vehicle to play an AR game using a mobile device. AR game device and method.

현재의 게임시장은 스마트폰과 같은 모바일기기의 보급과 모바일 앱(APP, Application) 기술의 발달로 모바일 게임에 상당한 발전을 이루고 있다.The current game market has made significant progress in mobile games through the spread of mobile devices such as smartphones and the development of mobile app (APP, Application) technology.

그러나 모바일 게임시장도 성장세가 둔화되고 있고, 게이머(gamer)들도 새로운 게임 서비스를 찾고 있어 차세대 IT기술을 이용한 새로운 게임이 요구되고 있는 실정이다. However, the growth of the mobile game market is also slowing down, and gamers are also looking for new game services, so new games using next-generation IT technology are in demand.

최근 소프트웨어 및 하드웨어 기술의 발전으로 가상현실(Virtual Reality: 이하 VR이라고 한다.)과 증강현실(Augmented Reality: 이하 AR이라고 한다.) 기술이 응용된 다양한 애플리케이션들이 등장하고 있다. With the recent development of software and hardware technologies, various applications are being applied in which virtual reality (hereinafter referred to as VR) and augmented reality (hereinafter referred to as AR) technologies are applied.

그리고 게임 업계에서도 VR 및 AR 기술을 응용한 게임을 개발하고 있다. Also, the game industry is developing games using VR and AR technologies.

특히, AR은 사용자가 눈으로 보는 현실세계에 컴퓨터 그래픽으로 만들어진 가상 이미지를 겹쳐 하나의 영상으로 보여주는 기술이다.In particular, AR is a technology that superimposes a virtual image made of computer graphics on the real world viewed by the user as a single image.

VR에서는 공간의 제약 없이 사용자가 가상세계에 몰입되지만 현실세계를 볼 수 없다는 단점이 있다.In VR, users are immersed in the virtual world without space limitations, but have the disadvantage of not being able to see the real world.

그러나 AR에서는 현실세계의 환경과 가상의 객체가 혼합되어 사용자에게 현실감 있는 정보를 제공한다. However, in AR, real-world environments and virtual objects are mixed to provide realistic information to users.

이러한 AR 기술은 증강된 정보를 제공하는 광고, 투어, 의료, 제조, 게임 등의 애플리케이션 개발에 응용될 수 있다Such AR technology can be applied to application development such as advertisement, tour, medical, manufacturing, and game providing augmented information.

한편, 최근 자동차 시장의 경쟁이 치열해지고, 수요자의 욕구가 다양화됨에 따라 지능형 자동차에 대한 요구가 증가하고 있는데, 이러한 추세의 하나로 운전자가 용이하게 조향 휠을 잡고 편안하게 운전할 수 있도록 하는 장치가 개발되고 있으며, 더욱더 발전하여 운전자가 조향 휠을 잡지 않고, 자동차 스스로 주행할 수 있는 자율주행 시스템(또는 자율주행차량)이 개발되고 있다.On the other hand, in recent years, as the competition in the automotive market has become fierce and the demands of consumers have diversified, the demand for intelligent cars is increasing. As one of these trends, a device has been developed to enable the driver to easily hold the steering wheel and drive comfortably. It is becoming more and more developed, and an autonomous driving system (or autonomous driving vehicle) is being developed in which a driver can drive on his own without holding the steering wheel.

이러한 자율주행 시스템은 직접 운전자가 직접 운전할 수도 있지만, 졸리거나 운전자가 다른 업무를 수행하기 위해서는 해서 자동차가 스스로 주행하도록 하기 위한 것이다.The autonomous driving system may be directly driven by the driver, but is intended to allow the vehicle to drive itself because he is sleepy or the driver needs to perform other tasks.

후술하는 본 발명은, 자율주행차량의 자율주행 중에 자율주행차량에 탑승한 탑승자(또는 운전자)가 모바일기기를 이용하여 AR게임을 할 수 있도록 하여 기존과는 전혀 다른 모바일 게임을 제공할 수 있도록 한 자율주행차량용 AR게임 장치 및 그 방법이다.The present invention, which will be described later, allows an occupant (or driver) who has boarded an autonomous vehicle during autonomous driving to play an AR game using a mobile device, thereby providing a completely different mobile game. AR game device and method for autonomous vehicles.

본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로서, 자율주행차량의 자율주행 중에 자율주행차량에 탑승한 탑승자가 모바일기기를 이용하여 AR게임을 할 수 있도록 하여 기존과는 전혀 다른 모바일 게임을 제공할 수 있도록 한 자율주행차량용 AR게임 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention was created to solve the above problems, and allows an occupant on an autonomous vehicle to play an AR game using a mobile device during autonomous driving of the autonomous vehicle. An object of the present invention is to provide an AR game device and method for an autonomous vehicle that can be provided.

상기와 같은 목적을 달성하기 위한 본 발명의 자율주행차량용 AR게임 장치는,AR game device for an autonomous vehicle of the present invention for achieving the above object,

AR게임 관련 콘텐츠 영상이 출력되는 자율주행차량의 스마트 윈도우와;A smart window of an autonomous vehicle on which an AR game-related content image is output;

AR게임 애플리케이션이 구비되고, GPS모듈, WiFi 통신모듈이 구비되며, 상기 자율주행차량의 자율주행 중에 상기 자율주행차량 내에서 AR게임이 수행되는 모바일기기와;An AR game application, a GPS module, a WiFi communication module, and a mobile device in which an AR game is performed in the autonomous vehicle during autonomous driving of the autonomous vehicle;

상기 모바일기기의 움직임을 감지하는 기기감지센서와;A device detection sensor that detects the movement of the mobile device;

상기 자율주행차량에 탑승한 탑승자의 눈동자 움직임을 감지하여 상기 스마트 윈도우의 화면의 초점을 이동하게 하는 눈동자 감지 카메라와;A pupil detection camera that senses the pupil movement of a passenger on the autonomous vehicle and moves the focus of the screen of the smart window;

상기 자율주행차량의 외부에 설치되어 상기 자율주행차량의 외부를 촬영하여 AR게임의 배경이 되게 하는 외부촬영 카메라와;An external photographing camera installed outside the autonomous vehicle to photograph the exterior of the autonomous vehicle to become an AR game background;

상기 기기감지센서, 상기 눈동자 감지 카메라 및 상기 외부촬영 카메라로부터 정보를 수신하여 처리하고, 처리된 데이터에 의해 AR게임이 이루어지게 제어하는 게임 제어부;를 포함하는 것을 그 특징으로 한다.And a game control unit that receives and processes information from the device detection sensor, the pupil detection camera, and the external shooting camera, and controls an AR game to be made by the processed data.

상기와 같은 목적을 달성하기 위한 본 발명의 자율주행차량용 AR게임 방법은, AR game method for an autonomous vehicle of the present invention for achieving the above object,

(a) 자율주행차량의 자율주행을 시작하는 단계와;(a) starting autonomous driving of the autonomous vehicle;

(b) 상기 자율주행차량의 자율주행 중에 AR게임을 시작하는 단계;를 포함하되,(b) starting an AR game during autonomous driving of the autonomous vehicle;

상기 단계 (b)에서, 상기 AR게임은,In step (b), the AR game,

모바일기기를 이용하여 AR게임이 이루어지도록 상기 모바일기기에는 AR게임 애플리케이션, GPS모듈, WiFi 통신모듈이 구비되고, 상기 모바일기기는 기기감지센서에 의해 움직임이 감지되며, The AR device is equipped with an AR game application, a GPS module, and a WiFi communication module so that an AR game is performed using a mobile device, and the mobile device detects movement by a device sensor,

상기 자율주행차량의 스마트 윈도우에 AR게임 콘텐츠가 출력되며,AR game content is output to the smart window of the autonomous vehicle,

눈동자 감지 카메라에 의해 상기 자율주행차량에 탑승한 탑승자의 눈동자 움직임이 감지되어 상기 스마트 윈도우 화면의 초점이 이동되게 하고,The pupil movement of the occupant in the autonomous vehicle is detected by the pupil detection camera to move the focus of the smart window screen,

외부촬영 카메라에 의해 자율주행차량의 외부가 촬영되어 AR게임의 배경이 되게 하며, The outside of the autonomous vehicle is photographed by an external shooting camera to be the background of the AR game,

게임 제어부는, 상기 기기감지센서, 상기 눈동자 감지 카메라 및 외부촬영 카메라로부터 정보를 수신하여 처리하고, 처리된 데이터에 의해 AR게임이 이루어지게 제어하는 것을 그 특징으로 한다.The game control unit is characterized in that it receives and processes information from the device detection sensor, the pupil detection camera, and the external shooting camera, and controls the AR game to be made by the processed data.

본 발명의 실시예에 따르면, 자율주행차량의 자율주행 중에 자율주행차량에 탑승한 탑승자(또는 운전자)가 모바일기기를 이용하여 AR게임을 할 수 있다.According to an embodiment of the present invention, during an autonomous driving of an autonomous vehicle, an occupant (or driver) who boards the autonomous vehicle can play an AR game using a mobile device.

특히, 자동차 경주 AR게임의 경우, 실제 도로에서 차량 주행 중에 AR게임을 할 수 있어, 기존과는 전혀 다른 차원의 모바일 게임을 제공할 수 있다.In particular, in the case of a car racing AR game, it is possible to play an AR game while driving a vehicle on a real road, thereby providing a mobile game of a completely different dimension.

그리고 외부촬영 카메라로부터 촬영하여 저장한 실제 도로 영상을 이용하여 운전연습도 가능하다. 특히 차량이 정지된 상태에서도도 이용이 가능하다.And it is possible to practice driving using the actual road image captured and stored from an external shooting camera. In particular, it can be used even when the vehicle is stopped.

도 1은 본 발명에 따른 자율주행차량용 AR게임 장치의 구성을 나타낸 블록구성도.1 is a block diagram showing the configuration of an AR game device for an autonomous vehicle according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1에는 본 발명에 따른 자율주행차량용 AR게임 장치의 구성을 나타낸 블록구성도가 도시되어 있다.1 is a block diagram showing the configuration of an AR game device for an autonomous vehicle according to the present invention.

도 1을 참조하면, 본 발명에 따른 자율주행차량용 AR게임 장치는, 자율주행차량(100)에 구비되고, AR게임의 콘텐츠 영상 등을 출력하는 스마트 윈도우(110)와, 자율주행차량(100)에 연결된 예컨대, 스마트폰이나 스마트패드와 같은 탑승자가 휴대한 모바일기기(130)와, 이 모바일기기(130)의 움직임을 감지하는 기기감지센서(120)를 포함하여 구성된다.Referring to FIG. 1, an AR game device for an autonomous vehicle according to the present invention is provided in the autonomous vehicle 100, a smart window 110 for outputting content images of AR games, and the autonomous vehicle 100 It is configured to include, for example, a mobile device 130 carried by an occupant, such as a smart phone or a smart pad, and a device detection sensor 120 that detects the movement of the mobile device 130.

또한, 본 발명에 따른 자율주행차량용 AR게임 장치에 적용되는 상기 모바일기기(130)는 AR게임 애플리케이션(앱, APP)(140)이 구비되고, GPS모듈, WiFi 통신모듈이 구비되며, 자율주행차량(100)의 자율주행 중에 자율주행차량(100) 내에서 AR게임이 수행되도록 구비된다.In addition, the mobile device 130 applied to the AR game device for an autonomous vehicle according to the present invention is provided with an AR game application (app, APP) 140, a GPS module, a WiFi communication module, and an autonomous vehicle. During the autonomous driving of 100, the AR game is provided in the autonomous driving vehicle 100.

그리고 본 발명에 따른 자율주행차량용 AR게임 장치는, 자율주행차량(100)에 탑승한 탑승자의 눈동자 움직임을 감지하여 스마트 윈도우(110)의 화면의 초점을 이동하게 하는 눈동자 감지 카메라(160)와, 자율주행차량(100)의 외부 일측에 설치되어 자율주행차량(100)의 외부를 촬영하는 외부촬영 카메라(210)와, 기기감지센서(120), 눈동자 감지 카메라(160) 및 외부촬영 카메라(210)로부터 정보를 수신하여 처리하고, 처리된 데이터에 의해 AR게임이 이루어지게 제어하는 게임 제어부(150)를 포함하여 구성된다.In addition, the AR game device for an autonomous vehicle according to the present invention includes a pupil detection camera 160 that detects the pupil movement of a passenger on the autonomous vehicle 100 and moves the focus of the screen of the smart window 110, It is installed on the external side of the autonomous vehicle 100, and the external photography camera 210 photographing the outside of the autonomous vehicle 100, the device detection sensor 120, the pupil detection camera 160, and the external photography camera 210 It comprises a game control unit 150 for receiving and processing information from, and controlling the AR game to be made by the processed data.

그리고 게임 제어부(150)에서는 외부촬영 카메라(210)로부터 수신한 촬영 영상을 저장하고, 저장된 촬영 영상을 사용할 수 있도록 구비되어 있음은 물론이다.In addition, the game controller 150 is provided to store the captured image received from the external photographing camera 210 and use the stored captured image.

상기 스마트 윈도우(110)는 헤드업 디스플레이(Head-Up Display; HUD)를 포함한다.The smart window 110 includes a head-up display (HUD).

또한, 상기 기기감지센서(120)는 모바일기기(130)가 움직일 때 모바일기기(130)의 3축(x,y,z) 방향의 가속도를 측정하는 가속도 센서와, 모바일기기(130)가 움직일 때 모바일기기(130)의 각속도를 측정하는 자이로스코프 센서를 포함하여 구성된다.In addition, the device detection sensor 120 is an acceleration sensor for measuring the acceleration in the three-axis (x, y, z) direction of the mobile device 130 when the mobile device 130 moves, and the mobile device 130 is moved When the mobile device 130 is configured to include a gyroscope sensor for measuring the angular velocity.

이러한 기기감지센서(120)는 모바일기기(130)에 장착된 센서를 이용할 수도 있고, 모바일기기(130)에 장착된 별도의 게임장비에 구비될 수도 있다.The device detection sensor 120 may use a sensor mounted on the mobile device 130 or may be provided on a separate game device mounted on the mobile device 130.

이와 같은 기기감지센서(120)는 목표물을 조준할 때, 별도의 장비를 사용하지 않고, 자율주행차량(100)과 연결하여 모바일기기(130)의 움직임을 감지한다.The device detection sensor 120 detects the movement of the mobile device 130 in connection with the autonomous vehicle 100 without using a separate device when aiming the target.

그리고 상기 눈동자 감지 카메라(160)는, IR(Infrared) 카메라(또는 열화상 카메라)를 포함하여 구성된다.In addition, the pupil detection camera 160 is configured to include an infrared (IR) camera (or a thermal imaging camera).

이러한 눈동자 감지 카메라(160)는 적절하게 탑승자(또는 운전자)의 눈동자를 감지하기 위해 자율주행차량(100)의 스마트 윈도우(110)의 일측에 설치되는 것이 바람직하다.The pupil detection camera 160 is preferably installed on one side of the smart window 110 of the autonomous vehicle 100 in order to properly detect the pupil of the occupant (or driver).

또한, 상기 외부촬영 카메라(210)로부터 촬영된 영상은 게임 제어부(150)로 실시간으로 송신되어 AR게임의 배경으로 이용되는 동시에 자율주행 중인 자율주행차량(100)의 외부(또는 도로) 상황을 인지할 수 있으며, 운전자의 시야에서 바라보는 화면을 구현할 수 있다.In addition, the image photographed from the external shooting camera 210 is transmitted in real time to the game control unit 150 to be used as the background of the AR game and to recognize the external (or road) situation of the autonomous driving vehicle 100 under autonomous driving. You can, and you can implement the screen that you see from the driver's view.

따라서 상기 외부촬영 카메라(210)는 360도 카메라를 포함하여 이루어지는 것이 바람직하다.Therefore, the external photography camera 210 is preferably made of a 360-degree camera.

그리고 상기 게임 제어부(150)는 자율주행차량(100)에 장착될 수 있고, 헤드업 디스플레이처럼 별도의 게임장비에 장착될 수도 있다.In addition, the game control unit 150 may be mounted on the autonomous vehicle 100, or may be mounted on a separate game device, such as a head-up display.

상기한 바와 같은 구성을 갖는 자율주행차량용 AR게임 장치를 적용하여 본 발명에 따른 자율주행차량용 AR게임 방법을 설명하면 다음과 같다.The AR game method for an autonomous vehicle according to the present invention by applying the AR game device for the autonomous vehicle having the configuration as described above will be described as follows.

도 1을 다시 참조하면, 본 발명에 따른 자율주행차량용 AR게임 방법은, 우선, 우선, 자율주행차량(100)에 운전자(또는 탑승자)가 탑승하고, 자율주행차량(100)의 자율주행을 시작한다.(단계 310)Referring back to FIG. 1, in the AR game method for an autonomous vehicle according to the present invention, first, first, a driver (or a passenger) boards the autonomous vehicle 100 and starts autonomous driving of the autonomous vehicle 100 (Step 310)

이어서, 상기 자율주행차량(100)의 자율주행 중에 AR게임을 시작한다.(단계 320)Subsequently, an AR game is started during autonomous driving of the autonomous vehicle 100 (step 320).

그리고 상기 단계 320에서, 상기 AR게임은, 자율주행차량(100)은 모바일기기(130)에 연결되고, 모바일기기(130)를 통해 AR게임이 이루어지도록 자율주행차량(100)의 스마트 윈도우(110)에는 AR게임 콘텐츠가 출력된다.Then, in step 320, the AR game, the autonomous vehicle 100 is connected to the mobile device 130, the smart window 110 of the autonomous vehicle 100 so that the AR game is made through the mobile device 130 ), AR game content is output.

또한, AR게임 중, 기기감지센서(120)에 의해 모바일기기(130)의 움직임이 감지되고, 눈동자 감지 카메라(160)에 의해 자율주행차량(100)에 탑승한 운전자(또는 탑승자 또는 게이머)의 눈동자 움직임이 감지되어 스마트 윈도우(110) 화면의 초점이 이동되게 한다.In addition, during the AR game, the movement of the mobile device 130 is detected by the device detection sensor 120, and the driver (or occupant or gamer) of the driver (or occupant or gamer) who boards the autonomous vehicle 100 by the pupil detection camera 160 is detected. The pupil movement is detected to cause the focus of the smart window 110 screen to move.

그리고 AR게임 중, 외부촬영 카메라(210)는 자율주행차량(100)의 외부를 촬영하여 실시간으로 게임 제어부(150)로 송신하고, 송신된 영상은 AR게임의 배경이 되게 한다.And, during the AR game, the external shooting camera 210 photographs the outside of the autonomous vehicle 100 and transmits it to the game controller 150 in real time, and the transmitted image becomes the background of the AR game.

이를 위해 게임 제어부(150)는 모바일기기(130)와 눈동자 감지 카메라(160)로부터 정보를 수신하여 처리하고, 처리된 데이터를 스마트 윈도우(110)에 출력되게 하여 AR게임이 이루어지게 제어한다.To this end, the game controller 150 receives and processes information from the mobile device 130 and the pupil detection camera 160, and controls the AR game to be performed by outputting the processed data to the smart window 110.

즉, 상기 게임 제어부(150)는 외부촬영 카메라(210)에서 송신되는 자율주행차량(100)의 외부 영상(현실 영상)과 AR게임 관련한 가상의 그래픽을 정확하게 겹쳐지게 하여 AR게임이 이루어지게 하며, 이때, 상기 눈동자 감지 카메라(160)의 정보를 받아 게이머(운전자 또는 탐승객)가 보고 있는 실세계 화면에 대한 3차원 좌표계를 계산한다.That is, the game control unit 150 makes the AR game by accurately overlapping the external image (reality image) of the autonomous vehicle 100 transmitted from the external shooting camera 210 with a virtual graphic related to the AR game, At this time, the information of the pupil detection camera 160 is received to calculate a three-dimensional coordinate system for a real-world screen viewed by a gamer (driver or passenger).

그리고 이때, 상기 게임 제어부(150)는, 기기감지센서(120)인 가속도 센서 및 자이로스코프 센서, GPS모듈을 이용하여 현실 영상 및 이 영상의 각 개체들의 좌표값을 계산하여, 현실 영상 위에 상기한 AR게임 관련한 가상의 그래픽 객체들을 정확하게 겹쳐지도록 하게 한다.In this case, the game control unit 150 calculates the coordinates of the real image and the individual objects of the image using the acceleration sensor, the gyroscope sensor, and the GPS module, which are the device detection sensors 120, and above the real image. It allows virtual graphic objects related to AR games to overlap accurately.

또한, 상기 단계 320에서 자율주행차량(100)의 자율주행은, 자율주행 4단계 또는 5단계 중 어느 하나의 단계인 것이 바람직하다.In addition, in the step 320, the autonomous driving of the autonomous vehicle 100 is preferably any one of four or five autonomous driving stages.

즉, 상기한 자율주행의 단계는 예컨대, 국제자동차공학회(SAE; Society of Automotive Engineers)에서 정의하는 것을 보면, 0단계에서부터 5단계까지 구분되어 있으며, 이 중 자율주행 4단계는 시내 주행을 포함한 도로 환경에서 주행시 운전자의 개입이나 모니터링이 필요하지 않는 고급 자율주행 상태이다.That is, the above-mentioned self-driving stage is defined by, for example, the Society of Automotive Engineers (SAE), and is divided into stages 0 to 5, of which the autonomous driving stage includes roads including city driving. It is an advanced self-driving state that does not require driver intervention or monitoring when driving in an environment.

그리고 자율주행 5단계는 모든 환경하에서 운전자의 개입이 필요하지 않은 완전 자동화 상태이다.And step 5 of autonomous driving is a fully automated state that does not require driver intervention under all circumstances.

따라서 본 발명에 따른 자율주행차량용 AR게임 장치 및 그 방법은, 자율주행차량(100)의 자율주행이 상기한 자율주행 4단계 또는 5단계 중 어느 하나의 자율주행 단계에서 수행되는 것이 바람직하다.Therefore, the AR game device and method for an autonomous vehicle according to the present invention, it is preferable that the autonomous driving of the autonomous vehicle 100 is performed in any one of the autonomous driving stages 4 or 5 above.

상기한 자율주행차량(100)의 자율주행 4단계의 경우는 세계 자동차 메이저 회사에서는 이미 기술이 확보되어 있고, 자율주행 5단계가 적용된 자율주행차량은 늦어도 2년 내에 생산이 가능할 것으로 전망하고 있다.In the case of the 4th stage of the autonomous vehicle 100, the world's major automobile companies have already secured the technology, and the 5th stage of the autonomous vehicle is expected to be produced within 2 years at the latest.

또한, 상기 단계 320에서, AR게임은 자동차 경주 게임을 포함한다.In addition, in step 320, the AR game includes a car racing game.

따라서 실제 도로에서 자율주행차량(100)에서 자율주행하면서 자동차 게임이 가능하므로, 기존의 게임과 다른 차원의 게임을 즐길 수 있게 된다.Therefore, since a car game is possible while autonomously driving in the autonomous vehicle 100 on a real road, it is possible to enjoy a game of a different dimension from the existing game.

그러나 본 발명에 적용되는 자동차 경주 게임에 한정되지 않고, 자율주행차량(100)을 응용한 AR게임은 모두 적용 가능하다.However, it is not limited to the car racing game applied to the present invention, and all AR games to which the autonomous vehicle 100 is applied are applicable.

상술한 바와 같이 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 실시예가 가능하다는 점을 이해할 것이다.As described above, the present invention has been described with reference to one embodiment shown in the drawings, but this is only an example, and those skilled in the art can make various modifications and equivalent embodiments therefrom. Will understand

따라서 본 발명의 진정한 보호 범위는 첨부된 청구범위에 의해서만 정해져야 할 것이다.Therefore, the true protection scope of the present invention should be defined only by the appended claims.

100. 자율주행차량
110. 스마트 윈도우
120. 기기감지센서
130. 모바일기기
140. AR게임 앱
150. 게임 제어부
160. 눈동자 감지 카메라
210. 외부촬영 카메라100. Autonomous vehicles
110. Smart Windows
120. Device detection sensor
130. Mobile Devices
140. AR Game App
150. Game Control
160. Eye Detection Camera
210. External camera

Claims (9)

AR게임 관련 콘텐츠 영상이 출력되는 자율주행차량의 스마트 윈도우와;
AR게임 애플리케이션이 구비되고, GPS모듈, WiFi 통신모듈이 구비되며, 상기 자율주행차량의 자율주행 중에 상기 자율주행차량 내에서 AR게임이 수행되는 모바일기기와;
상기 모바일기기의 움직임을 감지하는 기기감지센서와;
상기 자율주행차량에 탑승한 탑승자의 눈동자 움직임을 감지하여 상기 스마트 윈도우의 화면의 초점을 이동하게 하는 눈동자 감지 카메라와;
상기 자율주행차량의 외부에 설치되어 상기 자율주행차량의 외부를 촬영하여 AR게임의 배경이 되게 하는 외부촬영 카메라와;
상기 기기감지센서, 상기 눈동자 감지 카메라 및 상기 외부촬영 카메라로부터 정보를 수신하여 처리하고, 처리된 데이터에 의해 AR게임이 이루어지게 제어하는 게임 제어부;를 포함하는 것을 특징으로 하는 자율주행차량용 AR게임 장치.A smart window of an autonomous vehicle on which an AR game-related content image is output;
An AR game application, a GPS module, a WiFi communication module, and a mobile device in which an AR game is performed in the autonomous vehicle during autonomous driving of the autonomous vehicle;
A device detection sensor that detects the movement of the mobile device;
A pupil detection camera that senses the pupil movement of a passenger on the autonomous vehicle and moves the focus of the screen of the smart window;
An external photographing camera installed outside the autonomous vehicle to photograph the exterior of the autonomous vehicle to become an AR game background;
And a game control unit for receiving and processing information from the device detection sensor, the pupil detection camera, and the external shooting camera, and controlling an AR game to be made by the processed data. . 제1항에 있어서,
상기 스마트 윈도우는 헤드업 디스플레이를 포함하여 된 것을 특징으로 하는 자율주행차량용 AR게임 장치.According to claim 1,
The smart window is an AR game device for an autonomous vehicle, comprising a head-up display. 제1항에 있어서,
상기 기기감지센서는, 가속도 센서 및 자이로스코프 센서를 포함하여 된 것을 특징으로 하는 자율주행차량용 AR게임 장치.According to claim 1,
The device detection sensor, an AR game device for an autonomous vehicle, characterized in that it comprises an acceleration sensor and a gyroscope sensor. 제1항에 있어서,
상기 눈동자 감지 카메라는, IR 카메라를 포함하여 된 것을 특징으로 하는 자율주행차량용 AR게임 장치.According to claim 1,
The pupil detection camera, the AR game device for autonomous vehicles, characterized in that it comprises an IR camera. 제1항에 있어서,
상기 눈동자 감지 카메라는, 상기 스마트 윈도우의 일측에 설치된 것을 특징으로 하는 자율주행차량용 AR게임 장치.According to claim 1,
The pupil detection camera, AR game device for an autonomous vehicle, characterized in that installed on one side of the smart window. 제1항에 있어서,
상기 외부촬영 카메라는, 360도 카메라를 포함하여 된 것을 특징으로 하는 자율주행차량용 AR게임 장치.According to claim 1,
The external shooting camera, AR game device for autonomous vehicles, characterized in that it comprises a 360-degree camera. (a) 자율주행차량의 자율주행을 시작하는 단계와;
(b) 상기 자율주행차량의 자율주행 중에 AR게임을 시작하는 단계;를 포함하되,
상기 단계 (b)에서, 상기 AR게임은,
모바일기기를 이용하여 AR게임이 이루어지도록 상기 모바일기기에는 AR게임 애플리케이션, GPS모듈, WiFi 통신모듈이 구비되고, 상기 모바일기기는 기기감지센서에 의해 움직임이 감지되며,
상기 자율주행차량의 스마트 윈도우에 AR게임 콘텐츠가 출력되며,
눈동자 감지 카메라에 의해 상기 자율주행차량에 탑승한 탑승자의 눈동자 움직임이 감지되어 상기 스마트 윈도우 화면의 초점이 이동되게 하고,
외부촬영 카메라에 의해 자율주행차량의 외부가 촬영되어 AR게임의 배경이 되게 하며,
게임 제어부는, 상기 기기감지센서, 상기 눈동자 감지 카메라 및 외부촬영 카메라로부터 정보를 수신하여 처리하고, 처리된 데이터에 의해 AR게임이 이루어지게 제어하는 것을 특징으로 하는 자율주행차량용 AR게임 방법.(a) starting autonomous driving of the autonomous vehicle;
(b) starting an AR game during autonomous driving of the autonomous vehicle;
In step (b), the AR game,
The AR device is equipped with an AR game application, a GPS module, and a WiFi communication module so that an AR game is performed using a mobile device, and the mobile device detects movement by a device sensor,
AR game content is output to the smart window of the autonomous vehicle,
The pupil movement of the occupant in the autonomous vehicle is detected by the pupil detection camera to move the focus of the smart window screen,
The outside of the autonomous vehicle is photographed by an external shooting camera to be the background of the AR game,
The game control unit receives and processes information from the device sensor, the pupil detection camera, and an external shooting camera, and controls the AR game to be performed by the processed data. 제7항에 있어서,
상기 단계 (b)에서 상기 자율주행은, 자율주행 4단계 또는 5단계 중 어느 하나의 단계인 것을 특징으로 하는 자율주행차량용 AR게임 방법.The method of claim 7,
In the step (b), the autonomous driving is an autonomous driving AR game method, characterized in that any one of the four or five steps. 제7항에 있어서,
상기 단계 (b)에서, 상기 AR게임은, 자동차 경주 게임을 포함하여 된 것을 특징으로 하는 자율주행차량용 AR게임 방법.The method of claim 7,
In the step (b), the AR game, AR game method for an autonomous vehicle, characterized in that it comprises a car racing game.
KR1020180111711A 2018-09-18 2018-09-18 Device of augmented reality games for self-driving vehicles and method for the same KR20200032547A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180111711A KR20200032547A (en) 2018-09-18 2018-09-18 Device of augmented reality games for self-driving vehicles and method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180111711A KR20200032547A (en) 2018-09-18 2018-09-18 Device of augmented reality games for self-driving vehicles and method for the same

Publications (1)

Publication Number Publication Date
KR20200032547A true KR20200032547A (en) 2020-03-26

Family

ID=69958751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180111711A KR20200032547A (en) 2018-09-18 2018-09-18 Device of augmented reality games for self-driving vehicles and method for the same

Country Status (1)

Country Link
KR (1) KR20200032547A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210092161A (en) 2021-07-05 2021-07-23 전성훈 A method of providing racing game contents by 360 degree enhancement of reality recognition on the side of the vehicle
JP2021166627A (en) * 2020-04-10 2021-10-21 株式会社カプコン Game program, computer, and game system
WO2022102997A1 (en) * 2020-11-15 2022-05-19 (주)케이시크 Autonomous driving-associated game service method and system
WO2022131510A1 (en) * 2020-12-14 2022-06-23 (주)케이시크 Method for providing continuous transport and content service

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021166627A (en) * 2020-04-10 2021-10-21 株式会社カプコン Game program, computer, and game system
WO2022102997A1 (en) * 2020-11-15 2022-05-19 (주)케이시크 Autonomous driving-associated game service method and system
WO2022131510A1 (en) * 2020-12-14 2022-06-23 (주)케이시크 Method for providing continuous transport and content service
KR20210092161A (en) 2021-07-05 2021-07-23 전성훈 A method of providing racing game contents by 360 degree enhancement of reality recognition on the side of the vehicle

Similar Documents

Publication Publication Date Title
KR20200032547A (en) Device of augmented reality games for self-driving vehicles and method for the same
EP3338136B1 (en) Augmented reality in vehicle platforms
US9308917B2 (en) Driver assistance apparatus capable of performing distance detection and vehicle including the same
KR102209873B1 (en) Perception based predictive tracking for head mounted displays
US9933515B2 (en) Sensor calibration for autonomous vehicles
CN110478901B (en) Interaction method and system based on augmented reality equipment
TWI397671B (en) System and method for locating carrier, estimating carrier posture and building map
KR102459983B1 (en) System and method for presentation and control of augmented vehicle surround views
WO2021155694A1 (en) Method and apparatus for driving traffic tool in virtual environment, and terminal and storage medium
JPWO2018116978A1 (en) Terminal and terminal control method
WO2012096347A1 (en) Network system, control method, controller, and control program
CN104781873A (en) Image display device and image display method, mobile body device, image display system, and computer program
CN111284498B (en) Driving support device, driving support system, driving support method, wearable device, and storage medium
KR102190743B1 (en) AUGMENTED REALITY SERVICE PROVIDING APPARATUS INTERACTING WITH ROBOT and METHOD OF THEREOF
JP2022091878A (en) Operating apparatus for display device of automobile
US20230065018A1 (en) Method for operating data glasses in a motor vehicle and system of a motor vehicle and data glasses
CN113590070A (en) Navigation interface display method, navigation interface display device, terminal and storage medium
WO2021251441A1 (en) Method, system, and program
CN113552868A (en) Navigation method and navigation device of fire-fighting robot
JP2015049039A (en) Navigation apparatus and navigation program
WO2012096282A1 (en) Controller, model device and control method
JP2021093577A (en) Image processing device, display system, program, and image processing method
CN112528719A (en) Estimation device, estimation method, and storage medium
WO2022070851A1 (en) Method, system, and program
JP7379253B2 (en) Behavior estimation system and behavior estimation method