KR102567805B1 - Pc game expansion vr system based on control input - Google Patents

Pc game expansion vr system based on control input Download PDF

Info

Publication number
KR102567805B1
KR102567805B1 KR1020210077004A KR20210077004A KR102567805B1 KR 102567805 B1 KR102567805 B1 KR 102567805B1 KR 1020210077004 A KR1020210077004 A KR 1020210077004A KR 20210077004 A KR20210077004 A KR 20210077004A KR 102567805 B1 KR102567805 B1 KR 102567805B1
Authority
KR
South Korea
Prior art keywords
game
control input
user
terminal
movement
Prior art date
Application number
KR1020210077004A
Other languages
Korean (ko)
Other versions
KR20220167838A (en
Inventor
정광일
한장희
Original Assignee
(주)이머시브캐스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이머시브캐스트 filed Critical (주)이머시브캐스트
Priority to KR1020210077004A priority Critical patent/KR102567805B1/en
Publication of KR20220167838A publication Critical patent/KR20220167838A/en
Application granted granted Critical
Publication of KR102567805B1 publication Critical patent/KR102567805B1/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 컨트롤 입력 기반의 PC 게임 확장 VR 시스템에 관한 것으로, PC 단말 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말에 전송하는 게임 전송부; 상기 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신하는 게임 처리부; 및 상기 컨트롤 입력을 상기 PC 게임의 제어 신호로 변환하여 상기 무선 네트워크를 통해 상기 PC 단말 또는 상기 클라우드 단말로 전송하는 컨트롤 입력 전송부;를 포함한다.The present invention relates to a control input-based PC game extension VR system, comprising: a game transmission unit that captures game data according to the execution of a PC game on a PC terminal or a cloud terminal and transmits it to an HMD terminal through a wireless network; a game processing unit that reproduces game images and sounds based on the game data and receives a control input corresponding to a user's movement in the course of playing the game; and a control input transmitter for converting the control input into a control signal of the PC game and transmitting the converted signal to the PC terminal or the cloud terminal through the wireless network.

Description

컨트롤 입력 기반의 PC 게임 확장 VR 시스템{PC GAME EXPANSION VR SYSTEM BASED ON CONTROL INPUT}PC game expansion VR system based on control input {PC GAME EXPANSION VR SYSTEM BASED ON CONTROL INPUT}

본 발명은 게임 확장 기술에 관한 것으로, 보다 상세하게는 고사양의 PC 게임을 무선으로 연동된 HMD 단말을 통해 이용하는 과정에서 다양하게 구현된 인터페이스와의 상호작용을 통해 컨트롤 입력을 생성할 수 있는 컨트롤 입력 기반의 PC 게임 확장 VR 시스템에 관한 것이다.The present invention relates to a game extension technology, and more particularly, to a control input capable of generating a control input through interaction with various implemented interfaces in the process of using a high-end PC game through a wirelessly linked HMD terminal. based PC game expansion VR system.

헤드 마운티드 디스플레이는 머리 부분에 장착해, 이용자의 눈 앞에 직접 영상을 제시할 수 있는 디스플레이 장치이다. 1968년, 유타 대학의 이반 서덜랜드가 만든 것이 최초의 HMD이며, 최초의 HMD의 경우 두 눈에 장착된 모니터에 3차원 그래픽스가 표시되었다.A head-mounted display is a display device that can present an image directly in front of the user's eyes by attaching it to the head. In 1968, Ivan Sutherland of the University of Utah made the first HMD, and in the case of the first HMD, 3D graphics were displayed on monitors mounted on both eyes.

HMD의 사용은 고화질 영상, 가상현실 기법을 적용한 가상연습 및 게임 등을 입체영상으로 즐기거나 실행하고자 하는 것이므로, 대용량 콘텐츠의 실시간 전송 및 재생을 위한 기술은 반드시 필요하다.Since the use of HMD is to enjoy or execute high-definition video, virtual practice and games using virtual reality techniques in stereoscopic images, technology for real-time transmission and playback of large-capacity contents is absolutely necessary.

또한, 동시에 사용자의 활동을 제한하지 않도록 무선통신이 원활해야 하고, 콘텐츠 재생시간 동안 지속적으로 머리에 부착하는 HMD는 가볍고 작게 구현될 필요가 있다.In addition, wireless communication should be smooth so as not to restrict a user's activity at the same time, and an HMD that is continuously attached to the head during content playback time needs to be implemented lightly and small.

또한, WiFi 등 근거리 무선통신 기술을 이용하는 경우에는 프로토콜(protocol)에 따라 데이터 신호를 처리해야 하며, 이를 위하여 데이터를 압축하고 패킷화(packetizing)하여 전송해야 한다. HMD에서는 전송받은 신호를 메모리에 데이터 패킷을 저장하고 압축을 푸는 코덱(codec) 과정이 필요하다. 코덱을 빠르게 진행하기 위해서는 고속의 인코더(encoder)와 디코더(decoder)가 필요할 수 있다.In addition, in the case of using a short-distance wireless communication technology such as WiFi, a data signal must be processed according to a protocol, and for this purpose, the data must be compressed, packetized, and transmitted. In the HMD, a codec process of storing the transmitted signal as a data packet in memory and decompressing the received signal is required. In order to speed up the codec, high-speed encoders and decoders may be required.

한편, PC 게임을 VR 기기로 무선 전송하여 이용하는 경우 VR 기기와 연동하는 컨트롤러를 통해 게임 진행을 위한 입력을 수행할 수 있다. 다만, 사용자의 입력을 위해 소정의 행동이 요구되는 경우 게임 진행을 방해하여 사용자의 게임 몰입감을 저해할 수 있다.On the other hand, when a PC game is wirelessly transmitted to a VR device and used, an input for game progress may be performed through a controller interlocking with the VR device. However, when a predetermined action is required for the user's input, the game progress may be hindered, thereby impairing the user's sense of immersion in the game.

한국공개특허 제10-2017-0058758호 (2017.05.29)Korean Patent Publication No. 10-2017-0058758 (2017.05.29)

본 발명의 일 실시예는 고사양의 PC 게임을 무선으로 연동된 HMD 단말을 통해 이용하는 과정에서 다양하게 구현된 인터페이스와의 상호작용을 통해 컨트롤 입력을 생성할 수 있는 컨트롤 입력 기반의 PC 게임 확장 VR 시스템을 제공하고자 한다.An embodiment of the present invention is a control input-based PC game extension VR system capable of generating control input through interaction with various implemented interfaces in the process of using a high-end PC game through a wirelessly linked HMD terminal. want to provide

본 발명의 일 실시예는 VR 6DoF 입력 방식을 다양한 인터페이스를 통해 수신한 후 PC 게임의 키보드 입력이나 무선 컨트롤러의 키입력으로 변환하여 전송함으로써 VR 환경에서 PC 게임을 보다 생생하게 이용할 수 있는 컨트롤 입력 기반의 PC 게임 확장 VR 시스템을 제공하고자 한다.An embodiment of the present invention is based on control input that can use PC games more vividly in a VR environment by receiving VR 6DoF input methods through various interfaces and then converting them into keyboard inputs of PC games or key inputs of wireless controllers and transmitting them. We want to provide a PC game expansion VR system.

실시예들 중에서, 컨트롤 입력 기반의 PC 게임 확장 VR 시스템은 PC 단말 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말에 전송하는 게임 전송부; 상기 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신하는 게임 처리부; 및 상기 컨트롤 입력을 상기 PC 게임의 제어 신호로 변환하여 상기 무선 네트워크를 통해 상기 PC 단말 또는 상기 클라우드 단말로 전송하는 컨트롤 입력 전송부;를 포함한다.Among embodiments, a control input-based PC game extended VR system includes a game transmission unit that captures game data according to execution of a PC game on a PC terminal or a cloud terminal and transmits the captured game data to the HMD terminal through a wireless network; a game processing unit that reproduces game images and sounds based on the game data and receives a control input corresponding to a user's movement in the course of playing the game; and a control input transmitter for converting the control input into a control signal of the PC game and transmitting the converted signal to the PC terminal or the cloud terminal through the wireless network.

이때, 상기 컨트롤 입력은 상기 HMD 단말을 통해 제공되는 복수의 컨트롤 입력 인터페이스들 중 어느 하나와 상기 사용자의 움직임 간의 상호작용에 의해 생성될 수 있다.In this case, the control input may be generated by an interaction between one of a plurality of control input interfaces provided through the HMD terminal and the user's movement.

상기 복수의 컨트롤 입력 인터페이스들 중 어느 하나는 VR 화면 상의 소정의 위치에 표시되는 제1 표시 영역; 및 상기 제1 표시 영역의 주변에 소정의 간격마다 이격되어 표시되는 복수의 제2 선택 영역들을 포함하여 구현되고, 상기 컨트롤 입력은 상기 복수의 제2 선택 영역들 중 어느 하나를 선택하는 상기 사용자의 제1 움직임, 상기 선택 중인 상태에서 해당 제2 선택 영역을 상기 제1 표시 영역으로 드래그(drag) 하는 상기 사용자의 제2 움직임 및 상기 제1 표시 영역 내에서 상기 선택을 해제하는 상기 사용자의 제3 움직임의 순차적인 수행을 통해 생성되며, 상기 컨트롤 입력이 생성되는 경우 상기 해당 제2 선택 영역에 대응하는 메뉴가 상기 제1 표시 영역을 소정의 비율로 채우면서 표시될 수 있다.Any one of the plurality of control input interfaces may include a first display area displayed at a predetermined location on the VR screen; and a plurality of second selection areas spaced apart from each other at predetermined intervals around the first display area, wherein the control input is the response of the user selecting one of the plurality of second selection areas. A first motion, a second motion of the user dragging a corresponding second selection area to the first display area in the state of being selected, and a third motion of the user canceling the selection within the first display area. It is generated through sequential execution of motions, and when the control input is generated, a menu corresponding to the corresponding second selection area may be displayed while filling the first display area at a predetermined ratio.

상기 복수의 컨트롤 입력 인터페이스들 중 어느 하나는 VR 화면 상의 소정의 위치에 표시되는 적어도 하나의 다면체를 포함하여 구현되고, 상기 컨트롤 입력은 상기 적어도 하나의 다면체의 특정 면을 선택하는 상기 사용자의 제1 움직임을 통해 생성되며, 상기 적어도 하나의 다면체는 외주면을 기준으로 소정의 거리 이내에 형성되는 탐색 영역 내에서 소정의 방향으로 움직이는 상기 사용자의 제2 움직임에 의해 회전하도록 구현될 수 있다.Any one of the plurality of control input interfaces is implemented by including at least one polyhedron displayed at a predetermined location on a VR screen, and the control input is the first step of the user selecting a specific face of the at least one polyhedron. The at least one polyhedron may be created through movement, and the at least one polyhedron may be implemented to be rotated by the user's second movement moving in a predetermined direction within a search area formed within a predetermined distance from the outer circumferential surface.

상기 복수의 컨트롤 입력 인터페이스들 중 어느 하나는 VR 화면 상에 표시되는 상기 사용자의 바디(body)의 좌우에 대칭하여 표시되는 한 쌍의 포켓들을 포함하여 구현되고, 상기 컨트롤 입력은 상기 한 쌍의 포켓들 중 어느 하나로부터 포물선 방향으로 움직이는 상기 사용자의 제1 움직임과, 상기 제1 움직임의 종료 위치를 기준으로 방사형 구조로 표시되는 복수의 메뉴들 중 어느 하나를 선택하는 상기 사용자의 제2 움직임에 의해 생성되며, 상기 제1 움직임에 의해 상기 복수의 메뉴들과 상호작용하는 메뉴 화면이 표시된 경우 해당 메뉴 화면은 상기 제1 움직임을 역으로 수행하는 상기 사용자의 제3 움직임에 의해 종료되도록 구현될 수 있다.Any one of the plurality of control input interfaces is implemented by including a pair of pockets displayed symmetrically on the left and right sides of the user's body displayed on the VR screen, and the control input is applied to the pair of pockets. By the user's first movement moving in a parabolic direction from any one of them, and the user's second movement selecting any one of a plurality of menus displayed in a radial structure based on the end position of the first movement generated, and when a menu screen interacting with the plurality of menus is displayed by the first movement, the corresponding menu screen may be implemented to be terminated by a third movement of the user performing the first movement in reverse. .

상기 복수의 컨트롤 입력 인터페이스들 중 어느 하나는 VR 화면 상의 소정의 위치에 가상으로 형성되는 적어도 하나의 인터랙션 영역을 포함하여 구현되고, 상기 컨트롤 입력은 상기 적어도 하나의 인터랙션 영역을 통과하여 움직이는 상기 사용자의 제1 움직임 및 상기 제1 움직임의 종료 위치를 기준으로 방사형 구조로 표시되는 복수의 메뉴들 중 어느 하나를 선택하는 상기 사용자의 제2 움직임의 순차적인 수행을 통해 생성되며, 상기 복수의 메뉴들은 상기 제2 움직임이 상기 제1 움직임과 동일한 제스처로 인식된 경우에만 선택되도록 구현될 수 있다.Any one of the plurality of control input interfaces is implemented by including at least one interaction area virtually formed at a predetermined location on a VR screen, and the control input is the user's movement passing through the at least one interaction area. It is generated through sequential execution of a first motion and a second motion of the user selecting one of a plurality of menus displayed in a radial structure based on an end position of the first motion, and the plurality of menus are The second motion may be selected only when it is recognized as the same gesture as the first motion.

상기 컨트롤 입력은 상기 적어도 하나의 인터랙션 영역을 통과하여 움직이는 상기 사용자의 제3 움직임 및 상기 제3 움직임의 종료 시점부터 소정의 시간 동안 마지막 움직임을 유지하는 멈춤 동작의 순차적인 수행을 통해 생성되고, 상기 제3 움직임이 해당 인터랙션 영역을 통과하는 방향에 따라 상기 멈춤 동작에 대응하는 진동 신호를 선택적으로 생성할 수 있다.The control input is generated through sequential execution of a third movement of the user moving through the at least one interaction area and a stopping operation maintaining the last movement for a predetermined time from an end point of the third movement, A vibration signal corresponding to the stopping motion may be selectively generated according to a direction in which the third motion passes through the corresponding interaction region.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, it does not mean that a specific embodiment must include all of the following effects or only the following effects, so it should not be understood that the scope of rights of the disclosed technology is limited thereby.

본 발명의 일 실시예에 따른 컨트롤 입력 기반의 PC 게임 확장 VR 시스템은 고사양의 PC 게임을 무선으로 연동된 HMD 단말을 통해 이용하는 과정에서 다양하게 구현된 인터페이스와의 상호작용을 통해 컨트롤 입력을 생성할 수 있다.PC game expansion VR system based on control input according to an embodiment of the present invention generates control input through interaction with various implemented interfaces in the process of using a high-end PC game through a wirelessly linked HMD terminal. can

본 발명의 일 실시예에 따른 컨트롤 입력 기반의 PC 게임 확장 VR 시스템은 VR 6DoF 입력 방식을 다양한 인터페이스를 통해 수신한 후 PC 게임의 키보드 입력이나 무선 컨트롤러의 키입력으로 변환하여 전송함으로써 VR 환경에서 PC 게임을 보다 생생하게 이용할 수 있다.PC game expansion VR system based on control input according to an embodiment of the present invention receives VR 6DoF input methods through various interfaces, converts them into PC game keyboard inputs or wireless controller key inputs, and transmits them to PC in VR environment. The game can be used more vividly.

도 1은 본 발명에 따른 PC 게임 확장 VR 시스템을 설명하는 도면이다.
도 2는 본 발명에 따른 PC 게임 확장 VR 시스템의 기능적 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 컨트롤 입력 기반의 PC 게임 확장 VR 시스템의 동작 과정을 설명하는 순서도이다.
도 4는 본 발명에 따른 PC 게임 확장 VR 시스템의 일 실시예를 설명하는 도면이다.
도 5 내지 13은 본 발명에 따른 컨트롤 입력 인터페이스의 다양한 실시예들을 설명하는 도면이다.
1 is a diagram illustrating a PC game extended VR system according to the present invention.
2 is a diagram illustrating a functional configuration of a PC game extended VR system according to the present invention.
Figure 3 is a flow chart explaining the operation process of the control input-based PC game extension VR system according to the present invention.
4 is a diagram illustrating an embodiment of a PC game extended VR system according to the present invention.
5 to 13 are views illustrating various embodiments of a control input interface according to the present invention.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is only an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, since the embodiment can be changed in various ways and can have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, the scope of the present invention should not be construed as being limited thereto.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of terms described in this application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are used to distinguish one component from another, and the scope of rights should not be limited by these terms. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected to the other element, but other elements may exist in the middle. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that no intervening elements exist. Meanwhile, other expressions describing the relationship between components, such as “between” and “immediately between” or “adjacent to” and “directly adjacent to” should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Expressions in the singular number should be understood to include plural expressions unless the context clearly dictates otherwise, and terms such as “comprise” or “having” refer to an embodied feature, number, step, operation, component, part, or these. It should be understood that it is intended to indicate that a combination exists, and does not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (eg, a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step clearly follows a specific order in context. Unless otherwise specified, it may occur in a different order than specified. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be implemented as computer readable code on a computer readable recording medium, and the computer readable recording medium includes all types of recording devices storing data that can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium may be distributed to computer systems connected through a network, so that computer-readable codes may be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless defined otherwise. Terms defined in commonly used dictionaries should be interpreted as consistent with meanings in the context of the related art, and cannot be interpreted as having ideal or excessively formal meanings unless explicitly defined in the present application.

도 1은 본 발명에 따른 PC 게임 확장 VR 시스템을 설명하는 도면이다.1 is a diagram illustrating a PC game extended VR system according to the present invention.

도 1을 참조하면, PC 게임 확장 VR 시스템(100)은 HMD 단말(110) 및 PC 단말(130)을 포함하여 구현될 수 있다.Referring to FIG. 1 , the PC game extension VR system 100 may be implemented by including an HMD terminal 110 and a PC terminal 130 .

HMD 단말(110)은 헤드 마운티드 디스플레이(Head Mounted Display) 장치에 해당할 수 있다. HMD 단말(110)은 PC 단말(130)로부터 게임 데이터를 수신하여 사용자의 제어 신호에 따라 보정된 게임 영상 및 사운드를 재생할 수 있다. HMD 단말(110)은 사용자의 움직임에 따른 컨트롤 입력을 생성하여 PC 단말(130)에게 전송할 수 있다. HMD 단말(110)은 컨트롤 입력을 적절한 PC 게임 입력 방식으로 변환하여 전송할 수 있다.The HMD terminal 110 may correspond to a head mounted display device. The HMD terminal 110 may receive game data from the PC terminal 130 and reproduce a corrected game image and sound according to a user's control signal. The HMD terminal 110 may generate a control input according to the user's movement and transmit it to the PC terminal 130 . The HMD terminal 110 can convert the control input into an appropriate PC game input method and transmit it.

이를 위해, HMD 단말(110)은 PC 단말(130)과 유선 또는 무선 네트워크를 통해 연결될 수 있으며, 복수의 HMD 단말(110)들은 동시에 PC 단말(130)과 연결될 수도 있다.To this end, the HMD terminal 110 may be connected to the PC terminal 130 through a wired or wireless network, and a plurality of HMD terminals 110 may be simultaneously connected to the PC terminal 130 .

PC 단말(130)은 PC 게임을 실행하고 게임 중에 생성되는 게임 데이터를 HMD 단말(110)에 전송할 수 있는 컴퓨팅 장치 또는 이를 수행하는 독립된 서버 장치로 구현될 수 있다. 즉, PC 단말(130)은 클라우드 서버로 구현되는 경우 클라우드 단말에 해당할 수 있다. PC 단말(130)은 무선 네트워크를 통해 HMD 단말(110)과 연동할 수 있으며, 무선 네트워크는 블루투스, WiFi, LTE 등을 포함할 수 있다. 또한, PC 단말(130)은 추가 기능을 제공하기 위하여 별도의 외부 시스템과 연동하여 동작할 수 있다. 예를 들어, PC 단말(130)은 사용자 인증을 위한 인증 서버, 서비스 결제를 위한 결제 서버 등의 외부 시스템과 연동하여 서비스 제공 과정에서 독립적인 기능을 제공하도록 구현될 수 있다.The PC terminal 130 may be implemented as a computing device capable of executing a PC game and transmitting game data generated during the game to the HMD terminal 110 or an independent server device performing the same. That is, the PC terminal 130 may correspond to a cloud terminal when implemented as a cloud server. The PC terminal 130 may interwork with the HMD terminal 110 through a wireless network, and the wireless network may include Bluetooth, WiFi, LTE, and the like. In addition, the PC terminal 130 may operate in conjunction with a separate external system to provide additional functions. For example, the PC terminal 130 may be implemented to provide independent functions in the service provision process by interworking with external systems such as an authentication server for user authentication and a payment server for service payment.

도 2는 본 발명에 따른 PC 게임 확장 VR 시스템의 기능적 구성을 설명하는 도면이다.2 is a diagram illustrating a functional configuration of a PC game extended VR system according to the present invention.

도 2를 참조하면, PC 게임 확장 VR 시스템(100)은 게임 전송부(210), 게임 처리부(230), 컨트롤 입력 전송부(250) 및 제어부(270)를 포함할 수 있다.Referring to FIG. 2 , the PC game extension VR system 100 may include a game transmission unit 210 , a game processing unit 230 , a control input transmission unit 250 and a control unit 270 .

게임 전송부(210)는 PC 단말(130) 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐(capture)하여 무선 네트워크를 통해 HMD 단말(110)에 전송할 수 있다. 예를 들어, 게임 전송부(210)는 PC의 모니터에 렌더링 되는 스크린 영상을 캡쳐하여 이미지 형태로 무선 전송할 수 있으며, HMD 단말(110)은 해당 스크린 영상을 수신하여 3D 환경으로 구현된 VR 공간에서 재생할 수 있다. 일 실시예에서, 게임 전송부(210)는 관련 동작을 수행하기 위해 복수의 모듈들을 포함하여 구현될 수 있다. 보다 구체적으로, 게임 전송부(210)는 DLL 삽입 모듈, 후처리 모듈 및 캡쳐 모듈을 포함할 수 있다.The game transmission unit 210 may capture game data according to execution of a PC game on the PC terminal 130 or the cloud terminal and transmit the captured game data to the HMD terminal 110 through a wireless network. For example, the game transmission unit 210 may capture a screen image rendered on a monitor of a PC and wirelessly transmit the image in the form of an image, and the HMD terminal 110 may receive the screen image and play it in a VR space implemented as a 3D environment. can be played In one embodiment, the game transfer unit 210 may be implemented by including a plurality of modules to perform related operations. More specifically, the game transmission unit 210 may include a DLL insertion module, a post-processing module, and a capture module.

DLL 삽입 모듈은 게임 영상 및 사운드를 추출하기 위해 PC 게임의 프로세스 내에 DLL(Dynamic Link Library)을 삽입할 수 있다. DLL 인젝션(DLL Injection)은 게임 프로세스에 영상 및 사운드 추출을 위한 DLL 파일을 강제로 삽입하는 동작에 해당할 수 있다. DLL 삽입 모듈은 PC 게임의 프로세스에 할당된 메모리 공간에 DLL 파일을 삽입할 수 있으며, 이를 통해 캡쳐부는 PC 게임의 실행 과정에서 게임 영상이나 사운드를 추출할 수 있다.The DLL insertion module may insert a Dynamic Link Library (DLL) into a process of a PC game to extract game images and sounds. DLL injection may correspond to an operation of forcibly inserting a DLL file for extracting images and sounds into a game process. The DLL insertion module can insert a DLL file into the memory space allocated to the process of the PC game, through which the capture unit can extract game images or sounds during the execution of the PC game.

후처리 모듈은 프로파일 정보에 따라 렌더링 영상의 유형 및 해상도를 변경하거나 또는 적어도 하나의 필터(filter)를 적용하는 후처리 동작을 수행할 수 있다. 예를 들어, 후처리 모듈은 HMD 단말(110)의 설정 정보를 프로파일 정보로 수신하여 렌더링 영상으로서 3차원 영상을 생성할 수 있다. 또한, 후처리 모듈은 게임 해상도에 따라 렌더링 영상을 생성할 수 있고, 필요에 따라 다양한 필터들을 적용할 수도 있다.The post-processing module may perform a post-processing operation of changing the type and resolution of a rendered image or applying at least one filter according to profile information. For example, the post-processing module may generate a 3D image as a rendered image by receiving setting information of the HMD terminal 110 as profile information. In addition, the post-processing module may generate a rendered image according to the game resolution, and may apply various filters as needed.

캡쳐 모듈은 후처리 동작이 적용된 렌더링 영상으로부터 게임 영상 및 사운드를 캡쳐할 수 있다. 캡쳐 모듈은 렌더링 영상에서 특정 방향, 특정 시야각에 해당하는 영역을 지정한 후 게임 영상으로서 캡쳐할 수 있으며, 해당 캡쳐 시점의 사운드 데이터를 함께 저장할 수 있다.The capture module may capture a game image and sound from a rendered image to which a post-processing operation is applied. The capture module may designate an area corresponding to a specific direction and a specific viewing angle in the rendered image, capture it as a game image, and store sound data at the time of the capture together.

게임 처리부(230)는 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신할 수 있다. 이때, 컨트롤 입력은 HMD 단말(110)을 통해 제공되는 복수의 컨트롤 입력 인터페이스들 중 어느 하나와 사용자의 움직임 간의 상호작용에 의해 생성될 수 있다. 일 실시예에서, 게임 처리부(230)는 HMD 단말(110) 상에서 동작하는 기능적 모듈로서 구현될 수 있으며, HMD 단말(110)과 연동하여 동작하는 적어도 하나의 무선 컨트롤러를 통해 사용자의 움직임에 대한 정보를 수신할 수 있다. 즉, 게임 처리부(230)는 무선 컨트롤러로부터 사용자의 선택 정보와 움직임 정보를 수신할 수 있으며, HMD 단말(110)을 통해 제공되는 VR 공간에서의 다양한 인터페이스와의 상호작용을 고려하여 사용자의 움직임에 대응되는 컨트롤 입력을 생성할 수 있다.The game processing unit 230 may reproduce game images and sounds based on game data and receive control inputs corresponding to user's movements during the game. In this case, the control input may be generated by an interaction between one of a plurality of control input interfaces provided through the HMD terminal 110 and the user's movement. In one embodiment, the game processing unit 230 may be implemented as a functional module operating on the HMD terminal 110, and information about the user's movement through at least one wireless controller operating in conjunction with the HMD terminal 110. can receive That is, the game processing unit 230 may receive the user's selection information and movement information from the wireless controller, and consider the interaction with various interfaces in the VR space provided through the HMD terminal 110 to determine the user's movement. You can create corresponding control inputs.

컨트롤 입력 전송부(250)는 컨트롤 입력을 PC 게임의 제어 신호로 변환하여 무선 네트워크를 통해 PC 단말(130) 또는 클라우드 단말로 전송할 수 있다. 예를 들어, 컨트롤 입력 전송부(250)는 사용자의 움직임에 대응하여 생성된 컨트롤 입력을 PC 게임의 키보드(keyboard) 입력이나 게임 컨트롤러(controller)의 키(key) 입력으로 변환할 수 있다. 컨트롤 입력 전송부(250)에 의해 전송되는 입력 데이터는 PC 단말(130) 또는 클라우드 단말에서 게임 내용에 반영되어 게임을 진행시킬 수 있다.The control input transmitter 250 may convert the control input into a PC game control signal and transmit the converted signal to the PC terminal 130 or the cloud terminal through a wireless network. For example, the control input transmission unit 250 may convert a control input generated in response to a user's movement into a keyboard input of a PC game or a key input of a game controller. The input data transmitted by the control input transmission unit 250 may be reflected in game contents in the PC terminal 130 or the cloud terminal to progress the game.

제어부(270)는 PC 게임 확장 VR 시스템(100)의 전체적인 동작을 제어하고, 게임 전송부(210), 게임 처리부(230) 및 컨트롤 입력 전송부(250) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The controller 270 may control the overall operation of the PC game extended VR system 100 and manage the control flow or data flow between the game transmission unit 210, the game processing unit 230, and the control input transmission unit 250. there is.

도 3은 본 발명에 따른 컨트롤 입력 기반의 PC 게임 확장 VR 시스템의 동작 과정을 설명하는 순서도이다.Figure 3 is a flow chart explaining the operation process of the control input-based PC game extension VR system according to the present invention.

도 3을 참조하면, PC 게임 확장 VR 시스템(100)은 게임 전송부(210)를 통해 PC 단말(130) 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말(110)에 전송할 수 있다(단계 S310).Referring to FIG. 3 , the PC game extension VR system 100 captures game data according to the execution of a PC game on the PC terminal 130 or the cloud terminal through the game transmission unit 210 and transmits the game data through the wireless network to the HMD terminal ( 110) (step S310).

또한, PC 게임 확장 VR 시스템(100)은 게임 처리부(230)를 통해 HMD 단말(110) 상에서 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신할 수 있다(단계 S330).In addition, the PC game extension VR system 100 reproduces game images and sounds based on game data on the HMD terminal 110 through the game processing unit 230 and receives control inputs corresponding to user movements during the game process. It can be done (step S330).

또한, PC 게임 확장 VR 시스템(100)은 컨트롤 입력 전송부(250)를 통해 HMD 단말(110) 상에서 수신된 컨트롤 입력을 PC 게임의 제어 신호로 변환하여 무선 네트워크를 통해 PC 단말(130) 또는 클라우드 단말로 전송할 수 있다(단계 S350).In addition, the PC game extended VR system 100 converts the control input received on the HMD terminal 110 through the control input transmitter 250 into a control signal of the PC game, and transmits the control input to the PC terminal 130 or the cloud via a wireless network. It can be transmitted to the terminal (step S350).

도 4는 본 발명에 따른 PC 게임 확장 VR 시스템의 일 실시예를 설명하는 도면이다.4 is a diagram illustrating an embodiment of a PC game extended VR system according to the present invention.

도 4를 참조하면, PC 게임 확장 VR 시스템(100)은 HMD 단말(110)과 PC 단말(130) 간의 연동을 통해 동작할 수 있다. 이와 달리, PC 게임 확장 VR 시스템(100)은 HMD 단말(110)과 클라우드 단말(Cloud Server) 간의 연동을 통해 동작할 수도 있다.Referring to FIG. 4 , the PC game extension VR system 100 may operate through interworking between the HMD terminal 110 and the PC terminal 130 . Unlike this, the PC game extension VR system 100 may operate through interworking between the HMD terminal 110 and a cloud terminal (Cloud Server).

먼저, 클라우드 단말(Cloud Server)은 PC 게임의 실행을 위한 가상화를 제공할 수 있으며, 가상화된 자원을 이용하여 PC 게임을 실행할 수 있다. 클라우드 단말은 PC 게임이 실행되는 동안 게임 영상과 사운드를 캡쳐하여 무선 네트워크를 통해 HMD 단말(110)에게 전송할 수 있다.First, a cloud terminal (Cloud Server) may provide virtualization for execution of PC games, and may execute PC games using virtualized resources. The cloud terminal may capture game images and sounds while the PC game is running and transmit them to the HMD terminal 110 through a wireless network.

보다 구체적으로, 클라우드 단말은 DLL 인젝션을 통해 게임 프로세스 내에 DLL 파일을 삽입할 수 있다. 이때, DLL 파일은 게임 실행 과정에서 게임 영상 및 사운드를 캡쳐하는데 사용될 수 있다. 클라우드 단말은 후처리 동작을 통해 렌더링 영상을 원하는 형태로 가공할 수 있으며, HMD 단말(110)로의 전송을 위한 영상 및 음성을 캡쳐할 수 있다. 또한, 클라우드 단말은 캡쳐된 영상 및 음성 데이터를 스트리밍에 적절한 방법으로 인코딩할 수 있다. 마지막으로, 클라우드 단말은 인코딩된 영상을 프로토콜의 패킷 데이터로 분할하여 전송할 수 있다.More specifically, the cloud terminal may insert a DLL file into the game process through DLL injection. At this time, the DLL file may be used to capture game images and sounds during the game execution process. The cloud terminal may process the rendered image into a desired form through a post-processing operation, and may capture video and audio for transmission to the HMD terminal 110 . In addition, the cloud terminal may encode the captured video and audio data in a method suitable for streaming. Finally, the cloud terminal may divide the encoded video into packet data of a protocol and transmit it.

HMD 단말(110)은 클라우드 단말로부터 게임 데이터를 수신하고 제어 신호에 따라 보정된 게임 영상 및 사운드를 재생할 수 있다.The HMD terminal 110 may receive game data from the cloud terminal and reproduce corrected game images and sounds according to control signals.

보다 구체적으로, HMD 단말(110)은 무선 네트워크를 통해 클라우드 단말에 의해 캡쳐된 데이터를 수신할 수 있다. HMD 단말(110)은 수신한 데이터를 프레임 정보에 맞춰 조립할 수 있다. 만약 다중 채널 전송을 이용한 경우, HMD 단말(110)은 각 채널 별로 수신된 데이터들을 프레임 정보에 맞춰 조립할 수 있다. 또한, HMD 단말(110)은 스트리밍 데이터와 제어신호 데이터를 각각 독립적으로 처리할 수 있다.More specifically, the HMD device 110 may receive data captured by the cloud device through a wireless network. The HMD device 110 may assemble the received data according to frame information. If multi-channel transmission is used, the HMD terminal 110 may assemble data received for each channel according to frame information. In addition, the HMD terminal 110 may independently process streaming data and control signal data.

HMD 단말(110)은 조립된 스트리밍 데이터를 디코딩하여 복원할 수 있다. 이후 디코딩된 영상 데이터는 텍스쳐링 되어 텍스쳐 버퍼에 저장될 수 있고, 새로운 프레임에 대한 준비 신호가 렌더링부에 전달될 수 있다. HMD 단말(110)은 렌더링부를 통해 다음 프레임에 대한 영상이 준비된 경우 화면 주사율에 맞춰 디스플레이 화면을 갱신하여 게임 영상을 재생할 수 있다. 이때, HMD 단말(110)은 사용자 움직임에 관한 트랙킹 정보에 기초하여 현재 프레임을 보정할 수 있다.The HMD device 110 may decode and restore assembled streaming data. Thereafter, the decoded image data may be textured and stored in a texture buffer, and a preparation signal for a new frame may be transmitted to the rendering unit. When an image for the next frame is prepared through the rendering unit, the HMD terminal 110 can reproduce the game image by updating the display screen according to the screen refresh rate. At this time, the HMD device 110 may correct the current frame based on the tracking information on the user's movement.

본 발명에 따른 PC 게임 확장 VR 시스템(100)은 도 4에 도시된 바와 같이 구성될 수 있으며, 클라우드 서버 상에서 고화질의 PC 게임을 가상화 하거나 또는 PC 단말(130) 상에서 PC 게임을 실행하여 무선(예를 들어, WiFi 또는 5G Mobile Network)으로 HMD 디바이스에 전송할 수 있다. 이를 통해 사용자는 고사양 장비에서만 실행되는 게임들을 무선으로 연동하여 본인만의 위치에서 고품질의 게임을 자유롭게 이용할 수 있으며, VR 공간 상에서 다양한 형태로 제공되는 인터페이스와 상호작용하여 생생한 VR 경험을 체험할 수 있다.The PC game extension VR system 100 according to the present invention may be configured as shown in FIG. 4, and virtualizes a high-definition PC game on a cloud server or runs a PC game on a PC terminal 130 to wirelessly (eg For example, WiFi or 5G Mobile Network) can be transmitted to the HMD device. Through this, users can wirelessly link games that run only on high-end equipment to freely use high-quality games in their own location, and experience vivid VR experiences by interacting with interfaces provided in various forms in the VR space. .

도 5 내지 13은 본 발명에 따른 컨트롤 입력 인터페이스의 다양한 실시예들을 설명하는 도면이다.5 to 13 are views illustrating various embodiments of a control input interface according to the present invention.

도 5를 참조하면, PC 게임 확장 VR 시스템(100)은 일명 '선플라워' 방식으로 구현된 컨트롤 입력 인터페이스를 제공할 수 있다. 보다 구체적으로, 선플라워 방식의 경우 VR 화면 상의 소정의 위치에 표시되는 제1 표시 영역(510) 및 제1 표시 영역(510)의 주변에 소정의 간격마다 이격되어 표시되는 복수의 제2 선택 영역(530)들을 포함하여 구현될 수 있다.Referring to FIG. 5 , the PC game extension VR system 100 may provide a control input interface implemented in a so-called 'sunflower' method. More specifically, in the case of the sunflower method, the first display area 510 displayed at a predetermined location on the VR screen and a plurality of second selection areas displayed spaced apart from each other at predetermined intervals around the first display area 510 (530) may be implemented.

이때, 컨트롤 입력은 복수의 제2 선택 영역(530)들 중 어느 하나를 선택하는 사용자의 제1 움직임, 선택 중인 상태에서 해당 제2 선택 영역(530)을 제1 표시 영역으로 드래그(drag) 하는 사용자의 제2 움직임 및 제1 표시 영역(510) 내에서 선택을 해제하는 사용자의 제3 움직임의 순차적인 수행을 통해 생성될 수 있다. 즉, 사용자는 실행을 원하는 기능과 연관된 특정 제2 선택 영역(530)을 선택한 다음 제1 표시 영역(510) 안으로 드래그 하여 놓으면 해당 기능이 제1 표시 영역(510)을 채우면서 실행될 수 있다.At this time, the control input is the user's first motion for selecting any one of the plurality of second selection areas 530 and dragging the corresponding second selection area 530 to the first display area in a selected state. It can be generated through sequential execution of the user's second motion and the user's third motion of canceling the selection within the first display area 510 . That is, when a user selects a specific second selection area 530 related to a desired function and then drags and drops it into the first display area 510, the corresponding function can be executed while filling the first display area 510.

만약 사용자의 순차적인 움직임에 따라 컨트롤 입력이 생성되는 경우 해당 제2 선택 영역(530)에 대응하는 메뉴가 제1 표시 영역(510)을 소정의 비율로 채우면서 표시될 수 있다(도 5의 그림 (b) 참조). 한편, 제1 표시 영역(510) 주변에 표시되는 제2 선택 영역(530)들의 위치는 사용자의 편의에 따라 변경될 수 있다.If a control input is generated according to the user's sequential movement, a menu corresponding to the corresponding second selection area 530 may be displayed while filling the first display area 510 at a predetermined ratio (Fig. 5). see (b)). Meanwhile, positions of the second selection areas 530 displayed around the first display area 510 may be changed according to the user's convenience.

도 6을 참조하면, PC 게임 확장 VR 시스템(100)은 일명 '캐치볼' 방식으로 구현된 컨트롤 입력 인터페이스를 제공할 수 있다. 보다 구체적으로, 캐치볼 방식의 경우 VR 화면 주변에 다양한 기능에 대응하는 메뉴들이 흩뿌려진 형태로 표시될 수 있다. 사용자는 흩뿌려진 메뉴들 중 어느 하나를 선택하면 해당 메뉴가 자석처럼 사용자의 손에 달라붙은 상태로 실행될 수 있다. 한편, VR 화면 주변에 표시되는 메뉴들의 위치는 사용자의 편의에 따라 변경될 수 있다.Referring to FIG. 6 , the PC game extension VR system 100 may provide a control input interface implemented in a so-called 'catch ball' method. More specifically, in the case of the catch ball method, menus corresponding to various functions may be displayed scattered around the VR screen. When a user selects one of the scattered menus, the corresponding menu may be executed while sticking to the user's hand like a magnet. Meanwhile, positions of menus displayed around the VR screen may be changed according to the user's convenience.

도 7 및 8을 참조하면, PC 게임 확장 VR 시스템(100)은 일명 '큐브' 또는 '다이아몬드' 방식으로 구현된 컨트롤 입력 인터페이스를 제공할 수 있다. 보다 구체적으로, 큐브 또는 다이아몬드 방식의 경우 VR 화면 상의 소정의 위치에 표시되는 적어도 하나의 다면체(710, 810)를 포함하여 구현될 수 있다.Referring to FIGS. 7 and 8 , the PC game extension VR system 100 may provide a control input interface implemented in a so-called 'cube' or 'diamond' method. More specifically, in the case of a cube or diamond method, at least one polyhedron 710 or 810 displayed at a predetermined location on a VR screen may be implemented.

이때, 컨트롤 입력은 적어도 하나의 다면체(710, 810)의 특정 면을 선택하는 사용자의 제1 움직임을 통해 생성될 수 있다. 또한, 적어도 하나의 다면체(710, 810)는 외주면을 기준으로 소정의 거리 이내에 형성되는 탐색 영역 내에서 소정의 방향으로 움직이는 사용자의 제2 움직임에 의해 회전하도록 구현될 수 있다.In this case, the control input may be generated through a user's first motion of selecting a specific face of at least one polyhedron 710 or 810 . In addition, at least one polyhedron 710 or 810 may be implemented to rotate by a user's second movement moving in a predetermined direction within a search area formed within a predetermined distance from the outer circumferential surface.

즉, 사용자는 VR 공간 상에서 표시된 다면체(710, 810)의 주변을 손으로 어루만짐으로써 다면체(710, 810)를 360도 방향으로 회전시킬 수 있으며, 이를 통해 다면체(710, 810)의 각 면에 대응하는 기능들을 손쉽게 탐색할 수 있다. 만약 사용자가 자신이 원하는 기능이 표시된 면을 찾은 경우 해당 면에 손을 터치함으로써 해당 기능을 실행시킬 수 있다. 이 경우, 컨트롤러는 사용자의 터치 행위에 대응하여 소정의 진동을 발생시켜 사용자에게 현실성 있는 조작감을 제공할 수 있다. 또한, 사용자는 다면체(710, 810)의 위치를 변경할 수 있으며, 자신의 왼손 또는 오른손 근처에 두고 필요할 때마다 컨트롤 신호를 입력할 수 있다(도 7의 그림 (c) 참조).That is, the user can rotate the polyhedrons 710 and 810 in a direction of 360 degrees by touching the periphery of the polyhedrons 710 and 810 displayed in the VR space with a hand, thereby corresponding to each face of the polyhedrons 710 and 810. features can be easily explored. If the user finds a surface on which a desired function is displayed, the corresponding function may be executed by touching the corresponding surface with a hand. In this case, the controller may generate a predetermined vibration in response to the user's touch action to provide the user with a realistic sense of operation. In addition, the user can change the position of the polyhedrons 710 and 810, put them near their left hand or right hand, and input control signals whenever necessary (see Figure (c) of FIG. 7).

한편, 다면체(710, 810)는 큐브 형태, 다이아몬드 형태를 예로 들어 설명하고 있으나, 반드시 이에 한정되지 않고, 서로 구별 가능한 면을 복수개로 형성하는 다양한 다면체 형태로 구현될 수도 있다. 일 실시예에서, PC 게임 확장 VR 시스템(100)은 게임 진행 과정에서 컨트롤 입력이 필요한 경우 VR 화면 상에 컨트롤 입력 인터페이스를 제공할 수 있고, 사용자가 선택 가능한 기능의 개수에 대응되는 다면체로 구현된 인터페이스를 선택적으로 제공할 수 있다. 예를 들어, 사용자가 3가지의 기능 선택이 가능한 상황에서 PC 게임 확장 VR 시스템(100)은 4면체, 6면체 등 3개 이상의 기능을 선택할 수 있는 다면체들 중 어느 하나를 선택하여 컨트롤 입력 인터페이스로서 제공할 수 있다.On the other hand, the polyhedrons 710 and 810 have been described taking a cube shape and a diamond shape as examples, but are not necessarily limited thereto, and may be implemented in various polyhedron shapes that form a plurality of distinguishable faces. In one embodiment, the PC game extension VR system 100 may provide a control input interface on the VR screen when a control input is required during the game process, implemented as a polyhedron corresponding to the number of functions selectable by the user Interfaces can optionally be provided. For example, in a situation in which the user can select three functions, the PC game extension VR system 100 selects one of the polyhedrons capable of selecting three or more functions such as tetrahedron and hexahedron, as a control input interface. can provide

도 9를 참조하면, PC 게임 확장 VR 시스템(100)은 일명 '팔레트' 방식으로 구현된 컨트롤 입력 인터페이스를 제공할 수 있다. 보다 구체적으로, 팔레트 방식의 경우 게임 화면(910) 상의 좌우측 또는 상하단에 팔레트 형태의 메뉴들(930)을 제공할 수 있다. 사용자는 컨트롤러를 통해 특정 메뉴를 선택할 수 있고, 사용자의 선택 동작에 따라 해당 메뉴의 기능이 실행될 수 있다. 한편, 이러한 팔레트 방식의 인터페이스는 기능이 많은 복잡한 게임에 보다 적합할 수 있다.Referring to FIG. 9 , the PC game extension VR system 100 may provide a control input interface implemented in a so-called 'palette' method. More specifically, in the case of the palette method, menus 930 in the form of palettes may be provided on the left and right or at the top and bottom of the game screen 910 . A user may select a specific menu through the controller, and a function of the corresponding menu may be executed according to the user's selection operation. On the other hand, such a palette-type interface may be more suitable for complex games with many functions.

도 10 및 11을 참조하면, PC 게임 확장 VR 시스템(100)은 일명 '포켓' 방식으로 구현된 컨트롤 입력 인터페이스를 제공할 수 있다. 보다 구체적으로, 포켓 방식의 경우 VR 화면 상에 표시되는 사용자의 바디(body)의 좌우에 대칭하여 표시되는 한 쌍의 포켓들을 포함하여 구현될 수 있다. 즉, VR 공간 상에 표시되는 사용자 자신의 바디(body)의 좌우측에 포켓(가방) 형태의 컨트롤 입력 인터페이스가 표시될 수 있다. 도 10의 그림 (b)는 사용자가 1인칭 시점으로 바라본 경우 자신의 바디(몸)에 표시되는 포켓 형태의 인터페이스에 해당할 수 있다.Referring to FIGS. 10 and 11 , the PC game extension VR system 100 may provide a control input interface implemented in a so-called 'pocket' method. More specifically, in the case of the pocket method, it may be implemented by including a pair of pockets displayed symmetrically on the left and right sides of the user's body displayed on the VR screen. That is, a control input interface in the form of a pocket (bag) may be displayed on the left and right sides of the user's own body displayed on the VR space. Figure (b) of FIG. 10 may correspond to a pocket-shaped interface displayed on the user's body when viewed from a first-person perspective.

도 11에서, 사용자는 1인칭 시점을 기준으로 왼쪽 또는 오른쪽 포켓에서 기능을 꺼내는 포물선 모션을 수행할 수 있다. 만약 포켓에 기능이 1개만 설정된 경우라면 사용자의 행위에 따라 해당 기능이 손에 쥐어지면서 곧바로 실행될 수 있다. 이와 달리, 포켓에 다수의 기능들이 설정된 경우에는 설정된 기능들이 사용자의 손 주위에 표시될 수 있다. 이때, 컨트롤 입력은 한 쌍의 포켓들 중 어느 하나로부터 포물선 방향으로 움직이는 사용자의 제1 움직임과, 제1 움직임의 종료 위치를 기준으로 방사형 구조로 표시되는 복수의 메뉴들 중 어느 하나를 선택하는 사용자의 제2 움직임에 의해 생성될 수 있다(그림 (b) 및 (c) 참조).In FIG. 11 , a user may perform a parabolic motion to retrieve a function from a left or right pocket based on a first-person view. If only one function is set in the pocket, the corresponding function can be immediately executed as it is held in the hand according to the user's action. In contrast, when multiple functions are set in the pocket, the set functions may be displayed around the user's hand. At this time, the control input is the user's first movement moving in a parabolic direction from one of the pair of pockets and the user selecting one of a plurality of menus displayed in a radial structure based on the end position of the first movement. It can be created by the second movement of (see figures (b) and (c)).

한편, 사용자의 제1 움직임에 의해 복수의 메뉴들과 상호작용하는 메뉴 화면(1110)이 표시된 경우 해당 메뉴 화면(1110)은 제1 움직임을 역으로 수행하는 사용자의 제3 움직임에 의해 종료되도록 구현될 수 있다(그림 (d) 참조). 즉, 사용자는 포켓에서 기능을 꺼낼 때와 반대로 포켓에 다시 넣는 포물선 모션을 수행함으로써 해당 인터페이스를 종료시킬 수 있다.Meanwhile, when a menu screen 1110 interacting with a plurality of menus is displayed by a user's first movement, the corresponding menu screen 1110 is implemented to end by a user's third movement that reverses the first movement. can be (see figure (d)). That is, the user may terminate the corresponding interface by performing a parabolic motion of putting the function back into the pocket, opposite to taking the function out of the pocket.

도 12를 참조하면, PC 게임 확장 VR 시스템(100)은 일명 '펀치' 방식으로 구현된 컨트롤 입력 인터페이스를 제공할 수 있다. 보다 구체적으로, 펀치 방식의 경우 VR 화면 상의 소정의 위치에 가상으로 형성되는 적어도 하나의 인터랙션 영역을 포함하여 구현될 수 있다.Referring to FIG. 12 , the PC game extension VR system 100 may provide a control input interface implemented in a so-called 'punch' method. More specifically, in the case of the punch method, it may be implemented by including at least one interaction area virtually formed at a predetermined location on the VR screen.

이때, 컨트롤 입력은 적어도 하나의 인터랙션 영역을 통과하여 움직이는 사용자의 제1 움직임 및 제1 움직임의 종료 위치를 기준으로 방사형 구조로 표시되는 복수의 메뉴들 중 어느 하나를 선택하는 사용자의 제2 움직임의 순차적인 수행을 통해 생성될 수 있다. 예를 들어, 도 12의 그림 (b1)과 같이 사용자는 VR 공간 상에서 주먹으로 내리치기와 같은 동작을 수행할 수 있으며, 이에 따라 그림 (b2)와 같이 사용자의 손 주변에 소정의 메뉴들이 표시될 수 있다. 그림 (b3)과 같이 사용자는 복수의 메뉴들 중 어느 하나를 선택할 수 있고, 그에 따라 해당 메뉴에 대응되는 기능이 실행될 수 있다.In this case, the control input corresponds to the user's first movement passing through at least one interaction area and the user's second movement selecting one of a plurality of menus displayed in a radial structure based on the end position of the first movement. It can be created through sequential execution. For example, as shown in (b1) of FIG. 12, the user may perform an action such as punching down with a fist in the VR space, and accordingly, as shown in (b2), predetermined menus are displayed around the user's hand. can As shown in Figure (b3), the user can select any one of a plurality of menus, and accordingly, a function corresponding to the corresponding menu can be executed.

한편, 복수의 메뉴들에 대한 선택은 사용자의 제2 움직임이 제1 움직임과 동일한 제스처로 인식된 경우에만 선택되도록 구현될 수 있다. 즉, 사용자가 제1 움직임으로 그림 (a)와 같은 내리치기 동작을 수행하여 복수의 메뉴들이 표시된 경우 사용자는 동일한 내리치기 동작을 통해서만 특정 메뉴를 선택할 수 있다.Meanwhile, selection of the plurality of menus may be implemented so that the user's second movement is selected only when the user's second movement is recognized as the same gesture as the first movement. That is, when the user performs a slashing motion as shown in Figure (a) as a first movement and a plurality of menus are displayed, the user can select a specific menu only through the same slashing motion.

도 13을 참조하면, PC 게임 확장 VR 시스템(100)은 일명 '프레셔' 방식으로 구현된 컨트롤 입력 인터페이스를 제공할 수 있다. 보다 구체적으로, 프레셔 방식의 경우 펀치 방식과 마찬가지로 VR 화면 상의 소정의 위치에 가상으로 형성되는 적어도 하나의 인터랙션 영역을 포함하여 구현될 수 있다.Referring to FIG. 13 , the PC game extension VR system 100 may provide a control input interface implemented in a so-called 'pressure' method. More specifically, in the case of the pressure method, like the punch method, it may be implemented by including at least one interaction area virtually formed at a predetermined location on the VR screen.

이때, 컨트롤 입력은 적어도 하나의 인터랙션 영역을 통과하여 움직이는 사용자의 제3 움직임 및 제3 움직임의 종료 시점부터 소정의 시간 동안 마지막 움직임을 유지하는 멈춤 동작의 순차적인 수행을 통해 생성될 수 있다.In this case, the control input may be generated through sequential execution of a user's third movement passing through at least one interaction area and a stop operation maintaining the last movement for a predetermined time from the end of the third movement.

또한, 사용자의 제3 움직임이 해당 인터랙션 영역을 통과하는 방향에 따라 멈춤 동작에 대응하는 진동 신호를 선택적으로 생성할 수 있다. 예를 들어, 그림 (a)와 같이 사용자가 손바닥으로 밀어내며 대고 있는 동작을 취하는 경우 컨트롤러를 통해 진동이 발생될 수 있고, 사용자는 동작이 잘 실행되고 있는지를 쉽게 파악할 수 있게 된다. 그림 (b)와 같이 사용자는 자신의 가슴 방향으로 팔을 뻗는 동작을 통해 소정의 기능을 실행시킬 수 있다.In addition, a vibration signal corresponding to a stopping motion may be selectively generated according to a direction in which the user's third motion passes through the corresponding interaction area. For example, as shown in Figure (a), when a user takes an action of pushing and touching with the palm of his hand, vibration may be generated through the controller, and the user can easily determine whether the action is being executed well. As shown in Figure (b), the user can execute a predetermined function through a motion of stretching his arm toward his chest.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

100: PC 게임 확장 VR 시스템
110: HMD 단말 130: PC 단말
210: 게임 전송부 230: 게임 처리부
250: 컨트롤 입력 전송부 270: 제어부
100: PC gaming extended VR system
110: HMD terminal 130: PC terminal
210: game transmission unit 230: game processing unit
250: control input transmission unit 270: control unit

Claims (6)

삭제delete PC 단말 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말에 전송하는 게임 전송부;
상기 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신하는 게임 처리부; 및
상기 컨트롤 입력을 상기 PC 게임의 제어 신호로 변환하여 상기 무선 네트워크를 통해 상기 PC 단말 또는 상기 클라우드 단말로 전송하는 컨트롤 입력 전송부;를 포함하고,
상기 컨트롤 입력은 상기 HMD 단말을 통해 제공되는 복수의 컨트롤 입력 인터페이스들 중 어느 하나와 상기 사용자의 움직임 간의 상호작용에 의해 생성되며,
상기 복수의 컨트롤 입력 인터페이스들 중 어느 하나는
VR 화면 상의 소정의 위치에 표시되는 제1 표시 영역; 및
상기 제1 표시 영역의 주변에 소정의 간격마다 이격되어 표시되는 복수의 제2 선택 영역들을 포함하여 구현되고,
상기 컨트롤 입력은 상기 복수의 제2 선택 영역들 중 어느 하나를 선택하는 상기 사용자의 제1 움직임, 상기 선택 중인 상태에서 해당 제2 선택 영역을 상기 제1 표시 영역으로 드래그(drag) 하는 상기 사용자의 제2 움직임 및 상기 제1 표시 영역 내에서 상기 선택을 해제하는 상기 사용자의 제3 움직임의 순차적인 수행을 통해 생성되며,
상기 컨트롤 입력이 생성되는 경우 상기 해당 제2 선택 영역에 대응하는 메뉴가 상기 제1 표시 영역을 소정의 비율로 채우면서 표시되는 것을 특징으로 하는 컨트롤 입력 기반의 PC 게임 확장 VR 시스템.
a game transmission unit that captures game data according to execution of a PC game on a PC terminal or a cloud terminal and transmits the captured game data to the HMD terminal through a wireless network;
a game processing unit that reproduces game images and sounds based on the game data and receives a control input corresponding to a user's movement in the course of playing the game; and
A control input transmitter converting the control input into a control signal of the PC game and transmitting the converted signal to the PC terminal or the cloud terminal through the wireless network;
The control input is generated by an interaction between one of a plurality of control input interfaces provided through the HMD terminal and the user's movement,
Any one of the plurality of control input interfaces
a first display area displayed at a predetermined location on the VR screen; and
It is implemented to include a plurality of second selection areas spaced apart from each other and displayed around the first display area at predetermined intervals,
The control input is the user's first motion of selecting any one of the plurality of second selection areas, and the user's dragging the second selection area to the first display area in the selected state. It is generated through sequential execution of a second motion and a third motion of the user for canceling the selection within the first display area,
When the control input is generated, a menu corresponding to the corresponding second selection area is displayed while filling the first display area at a predetermined ratio.
PC 단말 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말에 전송하는 게임 전송부;
상기 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신하는 게임 처리부; 및
상기 컨트롤 입력을 상기 PC 게임의 제어 신호로 변환하여 상기 무선 네트워크를 통해 상기 PC 단말 또는 상기 클라우드 단말로 전송하는 컨트롤 입력 전송부;를 포함하고,
상기 컨트롤 입력은 상기 HMD 단말을 통해 제공되는 복수의 컨트롤 입력 인터페이스들 중 어느 하나와 상기 사용자의 움직임 간의 상호작용에 의해 생성되며,
상기 복수의 컨트롤 입력 인터페이스들 중 어느 하나는
VR 화면 상의 소정의 위치에 표시되는 적어도 하나의 다면체를 포함하여 구현되고,
상기 컨트롤 입력은 상기 적어도 하나의 다면체의 특정 면을 선택하는 상기 사용자의 제1 움직임을 통해 생성되며,
상기 적어도 하나의 다면체는 외주면을 기준으로 소정의 거리 이내에 형성되는 탐색 영역 내에서 소정의 방향으로 움직이는 상기 사용자의 제2 움직임에 의해 회전하도록 구현되는 것을 특징으로 하는 컨트롤 입력 기반의 PC 게임 확장 VR 시스템.
a game transmission unit that captures game data according to execution of a PC game on a PC terminal or a cloud terminal and transmits the captured game data to the HMD terminal through a wireless network;
a game processing unit that reproduces game images and sounds based on the game data and receives a control input corresponding to a user's movement in the course of playing the game; and
A control input transmitter converting the control input into a control signal of the PC game and transmitting the converted signal to the PC terminal or the cloud terminal through the wireless network;
The control input is generated by an interaction between one of a plurality of control input interfaces provided through the HMD terminal and the user's movement,
Any one of the plurality of control input interfaces
It is implemented by including at least one polyhedron displayed at a predetermined location on the VR screen,
The control input is generated through a first motion of the user of selecting a specific face of the at least one polyhedron;
The at least one polyhedron is implemented to rotate by the second motion of the user moving in a predetermined direction within a search area formed within a predetermined distance based on the outer circumferential surface. .
PC 단말 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말에 전송하는 게임 전송부;
상기 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신하는 게임 처리부; 및
상기 컨트롤 입력을 상기 PC 게임의 제어 신호로 변환하여 상기 무선 네트워크를 통해 상기 PC 단말 또는 상기 클라우드 단말로 전송하는 컨트롤 입력 전송부;를 포함하고,
상기 컨트롤 입력은 상기 HMD 단말을 통해 제공되는 복수의 컨트롤 입력 인터페이스들 중 어느 하나와 상기 사용자의 움직임 간의 상호작용에 의해 생성되며,
상기 복수의 컨트롤 입력 인터페이스들 중 어느 하나는
VR 화면 상에 표시되는 상기 사용자의 바디(body)의 좌우에 대칭하여 표시되는 한 쌍의 포켓들을 포함하여 구현되고,
상기 컨트롤 입력은 상기 한 쌍의 포켓들 중 어느 하나로부터 포물선 방향으로 움직이는 상기 사용자의 제1 움직임과, 상기 제1 움직임의 종료 위치를 기준으로 방사형 구조로 표시되는 복수의 메뉴들 중 어느 하나를 선택하는 상기 사용자의 제2 움직임에 의해 생성되며,
상기 제1 움직임에 의해 상기 복수의 메뉴들과 상호작용하는 메뉴 화면이 표시된 경우 해당 메뉴 화면은 상기 제1 움직임을 역으로 수행하는 상기 사용자의 제3 움직임에 의해 종료되도록 구현되는 것을 특징으로 하는 컨트롤 입력 기반의 PC 게임 확장 VR 시스템.
a game transmission unit that captures game data according to execution of a PC game on a PC terminal or a cloud terminal and transmits the captured game data to the HMD terminal through a wireless network;
a game processing unit that reproduces game images and sounds based on the game data and receives a control input corresponding to a user's movement in the course of playing the game; and
A control input transmitter converting the control input into a control signal of the PC game and transmitting the converted signal to the PC terminal or the cloud terminal through the wireless network;
The control input is generated by an interaction between one of a plurality of control input interfaces provided through the HMD terminal and the user's movement,
Any one of the plurality of control input interfaces
It is implemented including a pair of pockets displayed symmetrically on the left and right sides of the user's body displayed on the VR screen,
The control input selects one of the user's first motion moving in a parabolic direction from one of the pair of pockets and a plurality of menus displayed in a radial structure based on the end position of the first motion. is generated by the user's second movement,
When a menu screen interacting with the plurality of menus is displayed by the first movement, the corresponding menu screen is implemented to be terminated by the user's third movement that reverses the first movement. An input-based PC gaming extended VR system.
PC 단말 또는 클라우드 단말 상에서 PC 게임의 실행에 따른 게임 데이터를 캡쳐하여 무선 네트워크를 통해 HMD 단말에 전송하는 게임 전송부;
상기 게임 데이터를 기초로 게임 영상 및 사운드를 재생하고 게임 진행 과정에서 사용자의 움직임에 대응되는 컨트롤 입력을 수신하는 게임 처리부; 및
상기 컨트롤 입력을 상기 PC 게임의 제어 신호로 변환하여 상기 무선 네트워크를 통해 상기 PC 단말 또는 상기 클라우드 단말로 전송하는 컨트롤 입력 전송부;를 포함하고,
상기 컨트롤 입력은 상기 HMD 단말을 통해 제공되는 복수의 컨트롤 입력 인터페이스들 중 어느 하나와 상기 사용자의 움직임 간의 상호작용에 의해 생성되며,
상기 복수의 컨트롤 입력 인터페이스들 중 어느 하나는
VR 화면 상의 소정의 위치에 가상으로 형성되는 적어도 하나의 인터랙션 영역을 포함하여 구현되고,
상기 컨트롤 입력은 상기 적어도 하나의 인터랙션 영역을 통과하여 움직이는 상기 사용자의 제1 움직임 및 상기 제1 움직임의 종료 위치를 기준으로 방사형 구조로 표시되는 복수의 메뉴들 중 어느 하나를 선택하는 상기 사용자의 제2 움직임의 순차적인 수행을 통해 생성되며,
상기 복수의 메뉴들은 상기 제2 움직임이 상기 제1 움직임과 동일한 제스처로 인식된 경우에만 선택되도록 구현되는 것을 특징으로 하는 컨트롤 입력 기반의 PC 게임 확장 VR 시스템.
a game transmission unit that captures game data according to execution of a PC game on a PC terminal or a cloud terminal and transmits the captured game data to the HMD terminal through a wireless network;
a game processing unit that reproduces game images and sounds based on the game data and receives a control input corresponding to a user's movement in the course of playing the game; and
A control input transmitter converting the control input into a control signal of the PC game and transmitting the converted signal to the PC terminal or the cloud terminal through the wireless network;
The control input is generated by an interaction between one of a plurality of control input interfaces provided through the HMD terminal and the user's movement,
Any one of the plurality of control input interfaces
It is implemented by including at least one interaction area virtually formed at a predetermined location on the VR screen,
The control input is the user's first movement passing through the at least one interaction region and the user's control of selecting one of a plurality of menus displayed in a radial structure based on an end position of the first movement. 2 It is created through the sequential execution of movements,
The plurality of menus are implemented to be selected only when the second movement is recognized as the same gesture as the first movement.
제5항에 있어서,
상기 컨트롤 입력은 상기 적어도 하나의 인터랙션 영역을 통과하여 움직이는 상기 사용자의 제3 움직임 및 상기 제3 움직임의 종료 시점부터 소정의 시간 동안 마지막 움직임을 유지하는 멈춤 동작의 순차적인 수행을 통해 생성되고, 상기 제3 움직임이 해당 인터랙션 영역을 통과하는 방향에 따라 상기 멈춤 동작에 대응하는 진동 신호를 선택적으로 생성하는 것을 특징으로 하는 컨트롤 입력 기반의 PC 게임 확장 VR 시스템.
According to claim 5,
The control input is generated through sequential execution of a third movement of the user moving through the at least one interaction area and a stopping operation maintaining the last movement for a predetermined time from an end point of the third movement, A control input-based PC game extension VR system, characterized in that for selectively generating a vibration signal corresponding to the stop motion according to a direction in which the third motion passes through the corresponding interaction area.
KR1020210077004A 2021-06-14 2021-06-14 Pc game expansion vr system based on control input KR102567805B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210077004A KR102567805B1 (en) 2021-06-14 2021-06-14 Pc game expansion vr system based on control input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210077004A KR102567805B1 (en) 2021-06-14 2021-06-14 Pc game expansion vr system based on control input

Publications (2)

Publication Number Publication Date
KR20220167838A KR20220167838A (en) 2022-12-22
KR102567805B1 true KR102567805B1 (en) 2023-08-21

Family

ID=84578425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210077004A KR102567805B1 (en) 2021-06-14 2021-06-14 Pc game expansion vr system based on control input

Country Status (1)

Country Link
KR (1) KR102567805B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102204919B1 (en) * 2014-06-14 2021-01-18 매직 립, 인코포레이티드 Methods and systems for creating virtual and augmented reality

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
KR20170058758A (en) 2015-11-19 2017-05-29 엘지전자 주식회사 Tethering type head mounted display and method for controlling the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102204919B1 (en) * 2014-06-14 2021-01-18 매직 립, 인코포레이티드 Methods and systems for creating virtual and augmented reality

Also Published As

Publication number Publication date
KR20220167838A (en) 2022-12-22

Similar Documents

Publication Publication Date Title
JP6449946B2 (en) Haptic trigger control system
US10166471B2 (en) System, method, and graphical user interface for controlling an application on a tablet
US10445925B2 (en) Using a portable device and a head-mounted display to view a shared virtual reality space
JP6208151B2 (en) Book object for augmented reality
CN102441276B (en) Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
KR102378669B1 (en) Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US8788973B2 (en) Three-dimensional gesture controlled avatar configuration interface
JP2015506198A (en) Content system with secondary touch controller
KR20180095741A (en) Systems and methods for reducing hops associated with a head mounted system
US11331568B2 (en) Asynchronous virtual reality interactions
CN109189302B (en) Control method and device of AR virtual model
US12017140B2 (en) Systems and methods for emulation of graphical and audio parameters during a play of a legacy game
KR102567805B1 (en) Pc game expansion vr system based on control input
US11806625B2 (en) Patch and bulk operations for a legacy game
KR102493258B1 (en) Pc game expansion vr system with improved dizziness
JP7436579B2 (en) AOT compiler for legacy games
US20240207731A1 (en) Dynamic encoding parameters for low latency streaming
JP2012510856A (en) 3D control by multi-positional controller
WO2024145152A1 (en) Dynamic encoding parameters for low latency streaming

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right