KR20170006247A - 가상 현실 게임 인터페이스 제공 장치 및 방법 - Google Patents

가상 현실 게임 인터페이스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20170006247A
KR20170006247A KR1020160027060A KR20160027060A KR20170006247A KR 20170006247 A KR20170006247 A KR 20170006247A KR 1020160027060 A KR1020160027060 A KR 1020160027060A KR 20160027060 A KR20160027060 A KR 20160027060A KR 20170006247 A KR20170006247 A KR 20170006247A
Authority
KR
South Korea
Prior art keywords
game
operation event
user
game operation
virtual reality
Prior art date
Application number
KR1020160027060A
Other languages
English (en)
Other versions
KR102057658B1 (ko
Inventor
임영재
박상준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20170006247A publication Critical patent/KR20170006247A/ko
Application granted granted Critical
Publication of KR102057658B1 publication Critical patent/KR102057658B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H04N13/0007—
    • H04N13/0232—
    • H04N13/0429—
    • H04N13/044—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Health & Medical Sciences (AREA)

Abstract

가상 현실 게임 인터페이스 제공 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 게임 인터페이스 제공 장치는 실시간으로 입력되는 사용자의 자세 정보와 상기 사용자가 파지한 컨트롤러의 조작 정보에 상응하는 전술 동작 ID를 기계 학습 기법을 이용하여 생성하는 전술 동작 생성부; 상기 전술 동작 ID에 상응하는 물리 인터페이스 키가 매핑되어 저장된 가상-물리 키맵 테이블에 기반하여 게임 조작 이벤트를 생성하는 게임 조작 이벤트 생성부 및 상기 게임 조작 이벤트에 기반하여 컴퓨터 게임의 캐릭터를 조작하는 게임 운용부를 포함한다.

Description

가상 현실 게임 인터페이스 제공 장치 및 방법 {APPARATUS FOR PROVIDING VIRTUAL REALITY-BASED GAME INTERFACE AND METHOD USING THE SAME}
본 발명은 물리 인터페이스로 조작하는 일반적인 컴퓨터 게임에서 캐릭터의 전술 동작을 실제 사용자가 취하는 것으로, 캐릭터를 조작하는 가상 현실 게임 인터페이스 기술 및 모션 캡처 기술에 관한 것으로, 컴퓨터 게임의 화면을 전방향으로 변환하여 가상 현실 게임 인터페이스와 연동하도록 출력하는 디스플레이 기술 및 신호 처리 기술과도 관련이 있다.
최근 그래픽 효과가 뛰어난 다양한 게임이 출시되어 게이머들의 많은 관심을 받고 있다. 이러한 게임들은 현실과 유사한 그래픽 및 사운드 효과를 포함하는 우수한 컨텐츠로 높은 현실감을 느낄 수 있다는 평가를 받고 있다. 하지만, 키보드와 마우스만으로 게임을 컨트롤하는 현실적인 한계로 인해 게임 참여에 있어서 몰입감이 낮다는 단점이 있다. 이러한 게임의 몰입감을 개선하기 위하여, 사용자가 실제 동작을 취하는 것으로 캐릭터를 조작하는 가상 현실 게임이 출시되고 있다.
가상 현실은 실제와 유사하지만 실제가 아닌 인공환경을 의미한다. 현재 가상현실 기술은 HMD(HEAD MOUNT DISPLAY) 등 기존의 인터페이스 장치들을 활용하여 몰입형 가상 현실을 제한적으로 구현하는 방향으로 개발되고 있다. 즉, 기존의 디스플레이(모니터, TV, HMD 등), 스피커, 키보드, 마우스 등의 일반적인 인터페이스 장치들을 활용하는 방향성을 추구하고 있다. 가상 현실 구현에 필요한 요소는 3차원 공간성, 실시간 상호작용, 그리고 몰입성이다. 각 요소의 구현을 위하여 컴퓨터 그래픽 기술, 네트워크 통신 기술, 그리고 HMD 등 오감을 자극하는 다수의 입출력 장치 개발 기술이 발전되고 있다.
특히, 가상 현실을 위한 입력기기는 기존에 사용되던 물리 인터페이스인 키보드, 마우스와 달리, 사용자의 신체활동을 직접 인식할 수 있는 기기들이 사용된다. 모션 캡쳐는 3D 모션 기법 중 하나인 모션 캡쳐 기술을 그대로 적용한 입력기기이다. 모션 캡쳐 입력 기기 중 모션 캡쳐 카메라는 본래 다양한 형태의 마커를 전신에 부착해야 정상적인 모션 인식이 가능했으나, 기술의 발전으로 인해 마커 없이 모션 인식이 가능한 기기들이 개발되기 시작 되었다. 현재 모션 캡쳐 카메라는 키넥트, 옵티 트랙 등 다양한 모션 캡쳐 기기 상용화 되어 있다.
하지만 가상 현실 게임 대부분은 아직까지 단순한 제스처 및 동작 만을 이용하는 수준이며 기존 출시된 게임을 활용하는 것이 아니라 해당 사용자 인터페이스를 포함하는 새로운 게임 콘텐츠 자체를 개발해야 한다는 한계가 있다.
또한, 최근의 가상현실은 게임뿐 만 아니라 군사적으로 훈련용으로 상용화되고 있다. 이미 전투기 및 탱크 운용의 가상 현실 훈련용 시뮬레이터는 상용화되어 있으며, 현재는 보병 훈련용으로 FPS(FIRST PERSON SHOOTING)와 같은 전술 훈련용 가상 현실 시스템을 연구 중에 있다. 최근 전장은 대 테러, 해적 진압, 인질 구출 작전 등 소규모 부대 작전으로 변화되고 있으며, 병사들에게 예상 작전지역에 대한 가상공간 내 실전과 같은 훈련이 필요한 실정이다. 주요 선진국에서는 가상 현실 훈련 시뮬레이터 개발에 적극 나서고 있으며 사전에 지정된 영역 내에서 이동성 없이 모의 전투 훈련을 하는 시스템에 대한 수요가 증대되고 있다. 이러한 가상 현실 훈련 시스템은 사용자가 직접 전술행동을 취함으로써 신체적 훈련 효과를 기대할 수 있다.
한편, 한국공개특허 제 10-2007-0061256 호의 "트래커를 활용한 온라인 네트워크 대전 게임 시스템 및 그방법" 트래커를 활용한 온라인 네트워크 대전 게임 시스템 및 방법을 제시하여, 게이머의 모션 데이터를 획득하고 실제 동작과 유사한 캐릭터의 동작으로 게임을 즐기는 시스템 및 방법에 관하여 개시하고 있다.
그러나, 한국공개특허 제 10-2007-0061256 호는 게임의 종류를 온라인 대전 게임에 한정하고 있으며, 가상 현실의 몰입감을 더욱 높일 수 있는 컨트롤러 조작과 전방향 화면 제어 방법에 대해서는 침묵하고 있다.
본 발명은 기존에 출시된 컴퓨터 게임의 물리 인터페이스를 가상 현실 게임 인터페이스로 변환하여 제공하여 현실감과 몰입감을 향상시키는 것을 목적으로 한다
또한, 본 발명은 사용자가 가상 현실 게임 인터페이스를 이용하여 실제 체력소모가 필요한 전술 동작을 취하는 것으로 전술 훈련 및 체력 훈련을 수행하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 가상 현실 게임인터페이스 제공 장치는 실시간으로 입력되는 사용자의 자세 정보와 상기 사용자가 파지한 컨트롤러의 조작 정보에 상응하는 전술 동작 ID를 기계 학습 기법을 이용하여 생성하는 전술 동작 생성부; 상기 전술 동작 ID에 상응하는 물리 인터페이스 키가 매핑되어 저장된 가상-물리 키맵 테이블에 기반하여 게임 조작 이벤트를 생성하는 게임 조작 이벤트 생성부; 및 상기 게임 조작 이벤트에 기반하여 컴퓨터 게임의 캐릭터를 조작하는 게임 운용부를 포함한다.
이 때, 상기 자세 정보는 자세 감지 센서로 상기 사용자의 자세를 감지하여 생성되고, 상기 조작 정보는 조작 감지 센서로 상기 사용자가 파지한 컨트롤러의 위치 및 동작 중 적어도 하나를 감지하여 생성될 수 있다.
이 때, 상기 자세 정보는 멀티 센서를 이용하여 상기 사용자의 자세 및 위치를 감지하여 생성될 수 있다.
이 때, 상기 조작 정보는 상기 멀티 센서를 이용하여 상기 사용자가 파지한 컨트롤러의 자세 및 동작을 감지하여 생성되는 정보; 및 상기 컨트롤러가 구비하는 물리 버튼의 입력 정보 중 적어도 하나가 포함될 수 있다.
이 때, 상기 컴퓨터 게임의 화면을 전방향 게임 화면으로 변환하여 출력하는 전방향 영상 제어부를 더 포함할 수 있다.
이 때, 상기 게임 조작 이벤트 생성부는 상기 컴퓨터 게임의 종류를 식별하는 종류 식별자를 고려하여 상기 물리 인터페이스 키를 정의할 수 있다.
이 때, 상기 게임 조작 이벤트 생성부는 복수의 게임 조작 이벤트들 사이의 천이맵을 이용하여 상기 게임 조작 이벤트로부터 다른 게임 조작 이벤트로의 발생 확률을 고려하여 상기 게임 조작 이벤트를 생성할 수 있다.
이 때, 상기 게임 운용부는 상기 게임 조작 이벤트에 기반하여 상기 캐릭터의 시선 방향을 상기 사용자의 시선 방향 및 상기 컨트롤러의 방향 중 적어도 하나에 연동시켜 상기 캐릭터를 조작할 수 있다.
이 때, 상기 전방향 영상 제어부는 상기 게임 조작 이벤트 및 상기 캐릭터의 시선 방향을 고려하여 상기 전방향 게임 화면으로 제어하여 출력할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 가상 현실 게임 인터페이스 제공 장치를 이용하는 방법에 있어서, 실시간으로 입력되는 사용자의 자세 정보와 상기 사용자가 파지한 컨트롤러의 조작 정보에 상응하는 전술 동작 ID를 기계 학습 기법을 이용하여 생성하는 단계; 상기 전술 동작 ID에 상응하는 물리 인터페이스 키가 매핑되어 저장된 가상-물리 키맵 테이블에 기반하여 게임 조작 이벤트를 생성하는 단계; 및 상기 게임 조작 이벤트에 기반하여 컴퓨터 게임의 캐릭터를 조작하는 단계를 포함한다.
이 때, 상기 자세 정보는 멀티 센서를 이용하여 상기 사용자의 자세 및 위치를 감지하여 생성될 수 있다.
이 때, 상기 조작 정보는 상기 멀티 센서를 이용하여 상기 사용자가 파지한 컨트롤러의 자세 및 동작을 감지하여 생성되는 정보; 및 상기 컨트롤러가 구비하는 물리 버튼의 입력 정보 중 적어도 하나가 포함될 수 있다.
이 때, 상기 컴퓨터 게임의 화면을 전방향 게임 화면으로 변환하여 출력하는 단계를 더 포함할 수 있다.
이 때, 상기 게임 조작 이벤트를 생성하는 단계는 상기 컴퓨터 게임의 종류를 식별하는 종류 식별자를 고려하여 상기 물리 인터페이스 키를 정의할 수 있다.
이 때, 상기 게임 조작 이벤트를 생성하는 단계는 복수의 게임 조작 이벤트들 사이의 천이맵을 이용하여 상기 게임 조작 이벤트로부터 다른 게임 조작 이벤트로의 발생 확률을 고려하여 상기 게임 조작 이벤트를 생성할 수 있다.
이 때, 상기 조작하는 단계는 상기 게임 조작 이벤트에 기반하여 상기 캐릭터의 시선 방향을 상기 사용자의 시선 방향 및 상기 컨트롤러의 방향 중 적어도 하나에 연동시켜 상기 캐릭터를 조작할 수 있다.
이 때, 상기 출력하는 단계는 상기 게임 조작 이벤트 및 상기 캐릭터의 시선 방향을 고려하여 상기 전방향 게임 화면으로 제어하여 출력할 수 있다.
본 발명은 기존에 출시된 컴퓨터 게임의 물리 인터페이스를 가상 현실 게임 인터페이스로 변환하여 제공하여 현실감과 몰입감을 향상시키는 것을 목적으로 한다
또한, 본 발명은 사용자가 가상 현실 게임 인터페이스를 이용하여 실제 체력소모가 필요한 전술 동작을 취하는 것으로 전술 훈련 및 체력 훈련을 수행하는 것을 목적으로 한다.
도 1은 본 발명의 일실시예에 따른 가상 현실 게임 인터페이스 제공 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 멀티 센서가 자세 정보와 조작 정보를 생성하는 일 예를 나타낸 도면이다.
도 3는 본 발명의 일실시예에 따른 가상-물리 키맵 테이블의 일 예를 나타낸 표이다.
도 4는 도 1에 도시된 게임 운용부의 일 예를 나타낸 블록도이다.
도 5는 본 발명의 일실시예에 따른 전방향 게임 화면 변환의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 전방향 게임 화면 제어의 일 예를 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 가상 현실 게임 인터페이스 제공 방법을 나타낸 동작 흐름도이다.
도 8는 도 7에 도시된 게임 조작 이벤트 생성 단계를 세부적으로 나타낸 동작 흐름도이다.
도 9는 도 7에 도시된 게임 조작 단계를 세부적으로 나타낸 동작 흐름도이다.
도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 가상 현실 게임 인터페이스 제공 장치를 나타낸 블록도이다.
도 1을 참조하면, 가상 현실 게임 인터페이스 제공 장치는 멀티 센서(10), 컨트롤러(20), 전방향 영상 출력 기기(30), 전술 동작 생성부(110), 게임 조작 이벤트 생성부(120), 게임 운용부(130) 및 전방향 영상 제어부(140)를 포함한다.
멀티 센서(10)는 다중 키넥트(MULTIPLE KINECTS) 센서 또는 옵티트랙(OPTITRACK) 시스템, 모션 센서 등과 같은 센서들로 구성될 수 있다.
이 때, 멀티 센서(10)는 실시간으로 사용자의 자세 및 위치를 감지하여 자세 정보를 생성할 수 있다.
자세 정보는 사용자의 자세(SKELETON), 관절(JOINT), 손의 동작 상태(HAND STATE), 위치 등을 포함할 수 있다.
이 때, 멀티 센서(10)는 실시간으로 사용자가 파지한 컨트롤러(20)의 자세 및 동작을 감지하여 조작 정보를 생성할 수 있다.
컨트롤러(20)는 모션 센서와 입력 버튼을 구비할 수 있다.
이 때, 컨트롤러(20)는 구비된 모션 센서를 이용하여 컨트롤러(20)의 동작에 상응하는 가속도 및 각속도를 측정하여 조작 정보를 생성할 수 있다.
이 때, 컨트롤러(20)는 사용자가 조작한 입력 버튼을 조작 정보를 생성할 수 있다.
이 때, 컨트롤러(20)는 일반적인 게임 패드 또는 총, 검 등의 무기류의 형상일 수 있다.
전술 동작 생성부(110)는 자세 정보 및 조작 정보를 수신할 수 있다.
이 때, 전술 동작 생성부(110)는 수신한 자세 정보 및 조작 정보에 기반하여 사용자의 행동을 추정할 수 있다.
이 때, 전술 동작 생성부(110)는 수신한 자세 정보 및 조작 정보의 특징 벡터를 추출할 수 있다.
이 때, 전술 동작 생성부(110)는 추출한 벡터에 기반하여 사용자의 행동을 추정할 수 있다.
이 때, 전술 동작 생성부(110)는 기계 학습 기법을 이용하여 사용자의 행동을 추정할 수 있다.
기계 학습 기법은 SUPPORT VECTOR MACHINE(SVM), RANDOM FOREST(RF) 등의 기법이 이용될 수 있다.
이 때, 전술 동작 생성부(110)는 추정된 사용자의 행동에 기반하여 전술 동작 ID를 생성할 수 있다.
예를 들어, 전술 동작 ID는 사용자가 쭈그려 앉을 경우, 'CROUCHING' 이라는 전술 동작 ID가 생성될 수 있다.
게임 조작 이벤트 생성부(120)는 생성된 전술 동작 ID를 수신할 수 있다.
게임 조작 이벤트 생성부(120)는 실행중인 컴퓨터 게임의 종류를 식별하여 종류 식별자를 생성할 수 있다.
게임 조작 이벤트 생성부(120)는 가상-물리 키맵 테이블을 관리할 수 있다.
즉, 게임 조작 이벤트 생성부(120)는 종류 식별자를 고려하여 가상-물리 키맵 테이블의 물리 인터페이스 키를 정의할 수 있다.
이 때, 게임 조작 이벤트 생성부(120)는 종류 식별자가 존재하지 않는 새로운 게임에 대해서는 사용자가 임의로 가상-물리 키맵 테이블을 설정할 수 있다.
가상-물리 키맵 테이블은 전술 동작 ID와 전술 동작 ID에 상응하는 컴퓨터 게임의 캐릭터를 조작하는 물리 인터페이스 키가 매핑되어 저장된 테이블일 수 있다.
예를 들어, 가상-물리 키맵 테이블은'CROUCHING'이라는 전술 동작 ID 가 쭈그려 앉는 동작이므로, 쭈그려 앉는 동작에 상응하는 컴퓨터 게임의 키보드의 키 버튼인 'CTRL'키에 매핑되어 저장될 수 있다.
여기서, 가상-물리 키맵 테이블은 사용자의 임의로 전술 동작 ID 및 물리 인터페이스 키가 정의될 수 있다.
즉, 게임 조작 이벤트 생성부(120)는 수신된 전술 동작 ID와 가상-물리 키맵 테이블에 기반하여 전술 동작 ID에 매핑된 물리 인터페이스 키에 상응하는 게임 조작 이벤트를 생성할 수 있다.
예를 들어, 게임 조작 이벤트 생성부(120)는 사용자가 쭈그려 앉을 경우, 전술 동작 ID 'CROUCHING'에 매핑된'CTRL'키에 상응하는 게임 조작 이벤트를 생성할 수 있다.
게임 조작 이벤트 생성부(120)는 복수개의 게임 조작 이벤트들이 생성된 경우, 천이맵을 이용하여 게임 조작 이벤트를 선정할 수 있다.
천이맵은 게임 조작 이벤트의 다음 동작 또는 다음 게임 조작 이벤트로 연계 될 수 있는 게임 조작 이벤트의 후보군일 수 있다.
게임 조작 이벤트 생성부(120)는 게임 조작 이벤트의 후보군 중 각 게임 조작 이벤트의 발생 확률을 고려할 수 있다.
즉, 게임 조작 이벤트 생성부(120)는 발생 확률을 고려하여 다음 게임 조작 이벤트를 추정하는 것으로 게임 조작 이벤트를 선정할 수 있다.
게임 운용부(130)는 게임 관리부(131) 및 화면 정보 생성부(132)를 포함할 수 있다.
게임 관리부(131)는 수신된 게임 조작 이벤트에 기반하여 실행된 컴퓨터 게임의 캐릭터를 조작할 수 있다.
이 때, 게임 관리부(131)는 수신된 게임 조작 이벤트에 기반하여 사용자 및 컨트롤러(20)의 방향으로 캐릭터의 시선 방향을 연동시킬 수 있다.
이 때, 게임 관리부(131)는 컴퓨터의 운영체제에 내장된 이벤트 메시지 관리기를 이용하여 게임 조작 이벤트를 컴퓨터 게임에 전달할 수 있다.
즉, 게임 관리부(131)는 컴퓨터 게임을 실행, 종료, 조작 및 관리할 수 있다.
이 때, 게임 관리부(131)는 컴퓨터 내에 저장된 컴퓨터 게임(133)을 불러올 수 있다.
이 때, 게임 관리부(131)는 저장된 컴퓨터 게임(133)이 복수개인 경우 사용자가 선택하여 실행할 수 있다.
화면 정보 생성부(132)는 게임 조작 이벤트와 시선 방향을 고려하여 컴퓨터 게임 화면을 출력할 수 있다.
전방향 영상 제어부(140)는 컴퓨터 게임의 화면을 전방향 게임 화면으로 변환하여 출력할 수 있다.
이 때, 전방향 영상 제어부(140)는 전방향 게임 화면을 게임 조작 이벤트와 시선 방향을 고려하여 출력할 수 있다.
즉, 전방향 영상 제어부(140)는 사용자의 시선 방향 또는 컨트롤러(20)의방향과 캐릭터의 시선 방향이 연동되도록 출력할 수 있다.
이 때, 전방향 영상 제어부(140)는 전방향 영상 출력기기(30)의 종류에 기반하여 화면 변환 및 출력할 수 있다.
이 때, 전방향 영상 출력기기(30)는 전방향 게임 화면으로 변환된 영상을 출력하는 기기일 수 있다.
즉, 전방향 영상 출력기기(30)는 다중 프로젝터, 360도 스크린, HEAD MOUNT DISPLAY(HMD) 및 기타 VIRTUAL REALITY(VR) 기기 등 전방향으로 화면을 출력하는 기기일 수 있다.
도 2는 도 1에 도시된 멀티 센서가 자세 정보와 조작 정보를 생성하는 일 예를 나타낸 도면이다.
도 2를 참조하면, 사용자를 중심으로 복수개의 멀티 센서(10)들이 전방향으로 위치할 수 있다.
멀티 센서(10)는 다중 키넥트(MULTIPLE KINECTS) 센서 또는 옵티트랙(OPTITRACK) 시스템, 모션 센서 등과 같은 센서들로 구성될 수 있다.
이 때, 멀티 센서(10)는 실시간으로 사용자의 자세 및 위치를 감지하여 자세 정보를 생성할 수 있다.
자세 정보는 사용자의 자세(SKELETON), 관절(JOINT), 손의 동작 상태(HAND STATE), 위치 등을 포함할 수 있다.
이 때, 멀티 센서(10)는 실시간으로 사용자가 파지한 컨트롤러(20)의 자세 및 동작을 감지하여 조작 정보를 생성할 수 있다.
컨트롤러(20)는 모션 센서와 입력 버튼을 구비할 수 있다.
이 때, 컨트롤러(20)는 구비된 모션 센서를 이용하여 컨트롤러(20)의 동작에 상응하는 가속도 및 각속도를 측정하여 조작 정보를 생성할 수 있다.
이 때, 컨트롤러(20)는 입력 버튼을 사용자가 조작하는 것으로 조작 정보를 생성할 수 있다.
이 때, 컨트롤러(20)는 일반적인 게임 패드 또는 총, 검 등의 무기류의 형상일 수 있다.
여기서, 컨트롤러(20)는 총기 형태일 수 있다.
복수개의 멀티 센서(10)들은 전방향에서 사용자와 컨트롤러(20)의 자세, 위치 및 동작을 감지할 수 있다.
이 때, 복수개의 멀티 센서(10)들은 전방향에서 생성된 사용자와 컨트롤러(20)의 자세, 위치 및 동작을 합성할 수 있다.
이 때, 복수개의 멀티 센서(10)들은 합성된 사용자와 컨트롤러(20)의 자세, 위치 및 동작에 기반하여 자세 정보 및 조작 정보를 생성할 수 있다.
도 3는 본 발명의 일실시예에 따른 가상-물리 키맵 테이블의 일 예를 나타낸 표이다.
도 3을 참조하면, 가상-물리 키맵 테이블은 전술 동작 ID와 전술 동작 ID에 상응하는 컴퓨터 게임의 캐릭터를 조작하는 물리 인터페이스 키가 매핑되어 저장된 것을 볼 수 있다.
예를 들어, 가상-물리 키맵 테이블은'CROUCHING'이라는 전술 동작 ID 가 쭈그려 앉는 동작이므로, 쭈그려 앉는 동작에 상응하는 컴퓨터 게임의 키보드의 키 버튼인 'CTRL'키에 매핑되어 저장될 수 있다.
이 때, 가상-물리 키맵 테이블은 물리 인터페이스 키가 게임의 종류에 따라 다르게 정의될 수 있다.
이 때, 가상-물리 키맵 테이블은 사용자의 임의로 전술 동작 ID 및 물리 인터페이스 키가 정의될 수 있다.
도 4는 도 1에 도시된 게임 운용부의 일 예를 나타낸 블록도이다.
도 4를 참조하면, 게임 운용부(130)는 게임 관리부(131) 및 화면 정보 생성부(132)를 포함할 수 있다.
게임 관리부(131)는 수신된 게임 조작 이벤트에 기반하여 실행된 컴퓨터 게임의 캐릭터를 조작할 수 있다.
이 때, 게임 관리부(131)는 수신된 게임 조작 이벤트에 기반하여 사용자 및 컨트롤러(20)의 방향으로 캐릭터의 시선 방향을 연동시킬 수 있다.
이 때, 게임 관리부(131)는 컴퓨터의 운영체제에 내장된 이벤트 메시지 관리기를 이용하여 게임 조작 이벤트를 컴퓨터 게임에 전달할 수 있다.
즉, 게임 관리부(131)는 컴퓨터 게임을 실행, 종료, 조작 및 관리할 수 있다.
이 때, 게임 관리부(131)는 컴퓨터 내에 저장된 컴퓨터 게임을 불러올 수 있다.
이 때, 게임 관리부(131)는 저장된 컴퓨터 게임이 복수개인 경우 사용자가 선택하여 실행할 수 있다.
화면 정보 생성부(132)는 게임 조작 이벤트와 시선 방향을 고려하여 컴퓨터 게임 화면을 출력할 수 있다.
도 5는 본 발명의 일실시예에 따른 전방향 게임 화면 변환의 일 예를 나타낸 도면이다.
도 5를 참조하면, 평면 게임 화면(200)이 전방향 게임 화면(210)으로 변환되는 것을 볼 수 있다.
평면 게임 화면(200)은 FPS(FIRST PERSON SHOOTING) 게임 화면의 일 예를 나타낸 것이다.
평면 게임 화면(200)은 정면 하단에 캐릭터가 사용하는 총기가 출력되는 것을 볼 수 있다.
이 때, 평면 게임 화면(200)은 중앙에 사람, 좌측에 나무의 일부, 우측에 건물에 일부가 출력되는 것을 볼 수 있다.
이 때, 평면 게임 화면(200)은 전방향 게임 화면(210)으로 변환될 수 있다.
전방향 게임 화면(210)은 평면 게임 화면(200)에서 출력된 부분뿐 만 아니라, 전방향으로 출력되므로 좌측에 나무의 전부, 우측에 건물의 전부가 출력되는 것을 볼 수 있다.
평면 게임 화면(200)은 TV, 모니터, 프로젝터, 스크린 등의 디스플레이를 이용하여 출력 될 수 있다.
전방향 게임 화면(210)은 다중 프로젝터, 360도 스크린, HEAD MOUNT DISPLAY(HMD) 및 기타 VIRTUAL REALITY(VR) 기기 등 전방향으로 화면을 출력하는 전방향 영상 출력기기(30)를 이용하여 출력될 수 있다.
이 때, 전방향 게임 화면(210)은 전방향 영상 출력기기(30)의 종류에 기반하여 화면 변환 및 출력 제어가 이루어져 출력될 수 있다.
도 6은 본 발명의 일실시예에 따른 전방향 게임 화면 제어의 일 예를 나타낸 도면이다.
도 6을 참조하면, 사용자 또는 컨트롤러(20)의 시선 방향이 캐릭터의 시선 방향과 연동되어 회전 방향(211)을 고려하여 전방향 게임 화면이 제어되어 출력되는 것을 볼 수 있다.
전방향 게임화면(210)은 중앙에 사람, 좌측에 나무, 우측에 건물이 출력되는 것을 볼 수 있다.
이 때, 전방향 게임 화면(210)은 사용자 또는 컨트롤러(20)가 오른쪽의 회전 방향(211)로 회전 하게 되면, 캐릭터의 시선 방향도 오른쪽으로 회전하게 될 수 있다.
따라서, 따라서 캐릭터가 착용한 총기는 여전히 중앙 하단에 출력되는 것을 볼 수 있다.
이 때, 회전 후 전방향 게임 화면(220)은 사용자가 오른쪽으로 회전하여 오른쪽화면을 보게 되므로, 좌측에 사람, 중앙에 건물, 우측에 자동차가 출력되는 것을 볼 수 있다.
즉, 회전 후 전방향 게임 화면(220)은 사용자 또는 컨트롤러(20)의 회전방향에 기반하여 제어되어 출력되는 것을 볼 수 있다.
이 때, 전방향 게임 화면(210)은 사용자 또는 컨트롤러(20)의 시선 회전 속도 및 회전량을 고려하여 전방향 게임 화면이 제어되어 출력 될 수 있다.
도 7은 본 발명의 일실시예에 따른 가상 현실 게임 인터페이스 제공 방법을 나타낸 동작 흐름도이다.
도 7을 참조하면, 가상 현실 게임 인터페이스 제공 방법은 먼저 자세 정보 및 조작 정보를 생성할 수 있다(S410).
즉, 단계(S410)는 다중 키넥트(MULTIPLE KINECTS) 센서 또는 옵티트랙(OPTITRACK) 시스템, 모션 센서 등과 같은 센서들을 이용할 수 있다.
이 때, 단계(S410)는 실시간으로 사용자의 자세 및 위치를 감지하여 자세 정보를 생성할 수 있다.
자세 정보는 사용자의 자세(SKELETON), 관절(JOINT), 손의 동작 상태(HAND STATE), 위치 등을 포함할 수 있다.
이 때, 단계(S410)는 실시간으로 사용자가 파지한 컨트롤러(20)의 자세 및 동작을 감지하여 조작 정보를 생성할 수 있다.
이 때, 단계(S410)는 컨트롤러(20)에 구비된 모션 센서를 이용하여 컨트롤러(20)의 동작에 상응하는 가속도 및 각속도를 측정하여 조작 정보를 생성할 수 있다.
이 때, 단계(S410)는 사용자가 조작한 입력 버튼을 조작 정보로 생성할 수 있다.
또한, 가상 현실 게임 인터페이스 제공 방법은 전술 동작 ID를 생성할 수 있다(S420).
즉, 단계(S420)는 자세 정보 및 조작 정보를 수신할 수 있다.
이 때, 단계(S420)는 수신한 자세 정보 및 조작 정보에 기반하여 사용자의 행동을 추정할 수 있다.
이 때, 단계(S420)는 수신한 자세 정보 및 조작 정보의 특징 벡터를 추출할 수 있다.
이 때, 단계(S420)는 추출한 벡터에 기반하여 사용자의 행동을 추정할 수 있다.
이 때, 전술 동작 생성부(110)는 기계 학습 기법을 이용하여 사용자의 행동을 추정할 수 있다.
기계 학습 기법은 SUPPORT VECTOR MACHINE(SVM), RANDOM FOREST(RF) 등의 기법이 이용될 수 있다.
이 때, 단계(S420)는 추정된 사용자의 행동에 기반하여 전술 동작 ID를 생성할 수 있다.
예를 들어, 전술 동작 ID는 사용자가 쭈그려 앉을 경우, 'CROUCHING' 이라는 전술 동작 ID가 생성될 수 있다.
또한, 가상 현실 게임 인터페이스 제공 방법은 게임 조작 이벤트를 생성할 수 있다(S430).
즉, 단계(S430)는 먼저 가상-물리 키맵 테이블을 정의할 수 있다(S431).
이 때, 단계(S431)는 생성된 전술 동작 ID를 수신할 수 있다.
이 때, 단계(S431)는 실행중인 컴퓨터 게임의 종류를 식별하여 종류 식별자를 생성할 수 있다.
이 때, 단계(S431)는 종류 식별자를 고려하여 가상-물리 키맵 테이블의 물리 인터페이스 키를 정의할 수 있다.
이 때, 게임 조작 이벤트 생성부(120)는 종류 식별자가 존재하지 않는 새로운 게임에 대해서는 사용자가 임의로 가상-물리 키맵 테이블을 설정할 수 있다.
가상-물리 키맵 테이블은 전술 동작 ID와 전술 동작 ID에 상응하는 컴퓨터 게임의 캐릭터를 조작하는 물리 인터페이스 키가 매핑되어 저장된 테이블일 수 있다.
여기서, 가상-물리 키맵 테이블은 사용자의 임의로 전술 동작 ID 및 물리 인터페이스 키가 정의될 수 있다.
예를 들어, 가상-물리 키맵 테이블은'CROUCHING'이라는 전술 동작 ID 가 쭈그려 앉는 동작이므로, 쭈그려 앉는 동작에 상응하는 컴퓨터 게임의 키보드의 키 버튼인 'CTRL'키에 매핑되어 저장될 수 있다.
또한, 단계(S430)는 가상-물리 키맵 테이블을 매핑할 수 있다(S432).
즉, 단계(S432)는 수신된 전술 동작 ID에 상응하는 가상-물리 키맵 테이블에 매핑되어 저장된 물리 인터페이스 키를 매핑하여 출력한다.
또한, 단계(S430)는 게임 조작 이벤트를 생성할 수 있다(S433).
즉, 단계(S433)는 수신된 전술 동작 ID와 가상-물리 키맵 테이블에 기반하여 전술 동작 ID에 매핑된 물리 인터페이스 키에 상응하는 게임 조작 이벤트를 생성할 수 있다.
예를 들어, 단계(S433)는 사용자가 쭈그려 앉을 경우, 전술 동작 ID 'CROUCHING'에 매핑된'CTRL'키에 상응하는 게임 조작 이벤트를 생성할 수 있다.
또한, 단계(S430)는 생성된 게임 조작 이벤트가 복수개인지 판정할 수 있다(S434).
즉, 단계(S434)는 생성된 게임 조작 이벤트가 하나인 경우 그대로 게임 조작 이벤트를 출력할 수 있다.
이 때, 단계(S434)는 생성된 게임 조작 이벤트가 복수개인 경우, 천이맵을 이용할 수 있다.
또한, 단계(S430)은 천이맵을 처리할 수 있다(S435)
즉, 단계(S435)는 생성된 게임 조작 이벤트가 복수개인 경우, 천이맵을 이용하여 게임 조작 이벤트의 다음 동작 또는 다음 게임 조작 이벤트로 연계 될 수 있는 게임 조작 이벤트들을 후보군으로 처리할 수 있다.
또한, 단계(S430)은 게임 조작 이벤트를 선정할 수 있다(S436).
즉, 단계(S436)는 게임 조작 이벤트의 후보군 중 각 게임 조작 이벤트의 발생 확률을 고려할 수 있다.
이 때, 단계(S436)는 발생 확률을 고려하여 다음 게임 조작 이벤트를 추정하는 것으로 게임 조작 이벤트를 선정할 수 있다.
또한, 가상 현실 게임 인터페이스 제공 방법은 게임을 조작할 수 있다(S440).
즉, 단계(S440)는 먼저 게임 조작 이벤트를 연동할 수 있다(S441).
단계(S441)는 수신된 게임 조작 이벤트에 기반하여 실행된 컴퓨터 게임의 캐릭터를 조작할 수 있다.
또한, 단계(S440)는 캐릭터의 방향을 연동할 수 있다(S442)
즉, 단계(S442)는 수신된 게임 조작 이벤트에 기반하여 사용자 및 컨트롤러(20)의 방향으로 캐릭터의 시선 방향을 연동시킬 수 있다.
이 때, 단계(S442)는 컴퓨터의 운영체제에 내장된 이벤트 메시지 관리기를 이용하여 게임 조작 이벤트를 컴퓨터 게임에 전달할 수 있다.
또한, 단계(S440)는 게임 조작 이벤트와 시선 방향을 고려하여 컴퓨터 게임 화면을 출력할 수 있다(S443).
즉, 단계(S443)는 사용자와 캐릭터를 연동시킨 결과를 화면에 출력할 수 있다.
또한, 가상 현실 게임 인터페이스 제공 방법은 전방향으로 게임 화면을 출력할 수 있다(S450).
즉, 단계(S450)는 컴퓨터 게임의 화면을 전방향 게임 화면으로 변환하여 출력할 수 있다.
이 때, 단계(S450)는 전방향 게임 화면을 게임 조작 이벤트와 시선 방향을 고려하여 출력할 수 있다.
이 때, 단계(S450)는 사용자의 시선 방향 또는 컨트롤러(20)의 방향과 캐릭터의 시선 방향이 연동되도록 출력할 수 있다.
이 때, 단계(S450)는 전방향 영상 출력기기(30)의 종류에 기반하여 화면 변환 및 출력할 수 있다.
이 때, 전방향 영상 출력기기(30)는 전방향 게임 화면으로 변환된 영상을 출력하는 기기일 수 있다.
즉, 전방향 영상 출력기기(30)는 다중 프로젝터, 360도 스크린, HEAD MOUNT DISPLAY(HMD) 및 기타 VIRTUAL REALITY(VR) 기기 등 전방향으로 화면을 출력하는 기기일 수 있다.
도 8는 도 7에 도시된 게임 조작 이벤트 생성 단계를 세부적으로 나타낸 동작 흐름도이다.
도 8을 참조하면, 단계(S430)는 먼저 가상-물리 키맵 테이블을 정의할 수 있다(S431).
이 때, 단계(S431)는 생성된 전술 동작 ID를 수신할 수 있다.
이 때, 단계(S431)는 실행중인 컴퓨터 게임의 종류를 식별하여 종류 식별자를 생성할 수 있다.
이 때, 단계(S431)는 종류 식별자를 고려하여 가상-물리 키맵 테이블의 물리 인터페이스 키를 정의할 수 있다.
이 때, 게임 조작 이벤트 생성부(120)는 종류 식별자가 존재하지 않는 새로운 게임에 대해서는 사용자가 임의로 가상-물리 키맵 테이블을 설정할 수 있다.
가상-물리 키맵 테이블은 전술 동작 ID와 전술 동작 ID에 상응하는 컴퓨터 게임의 캐릭터를 조작하는 물리 인터페이스 키가 매핑되어 저장된 테이블일 수 있다.
여기서, 가상-물리 키맵 테이블은 사용자의 임의로 전술 동작 ID 및 물리 인터페이스 키가 정의될 수 있다.
예를 들어, 가상-물리 키맵 테이블은'CROUCHING'이라는 전술 동작 ID 가 쭈그려 앉는 동작이므로, 쭈그려 앉는 동작에 상응하는 컴퓨터 게임의 키보드의 키 버튼인 'CTRL'키에 매핑되어 저장될 수 있다.
또한, 단계(S430)는 가상-물리 키맵 테이블을 매핑할 수 있다(S432).
즉, 단계(S432)는 수신된 전술 동작 ID에 상응하는 가상-물리 키맵 테이블에 매핑되어 저장된 물리 인터페이스 키를 매핑하여 출력한다.
또한, 단계(S430)는 게임 조작 이벤트를 생성할 수 있다(S433).
즉, 단계(S433)는 수신된 전술 동작 ID와 가상-물리 키맵 테이블에 기반하여 전술 동작 ID에 매핑된 물리 인터페이스 키에 상응하는 게임 조작 이벤트를 생성할 수 있다.
예를 들어, 단계(S433)는 사용자가 쭈그려 앉을 경우, 전술 동작 ID 'CROUCHING'에 매핑된'CTRL'키에 상응하는 게임 조작 이벤트를 생성할 수 있다.
또한, 단계(S430)는 생성된 게임 조작 이벤트가 복수개인지 판정할 수 있다(S434).
즉, 단계(S434)는 생성된 게임 조작 이벤트가 하나인 경우 그대로 게임 조작 이벤트를 출력할 수 있다.
이 때, 단계(S434)는 생성된 게임 조작 이벤트가 복수개인 경우, 천이맵을 이용할 수 있다.
또한, 단계(S430)은 천이맵을 처리할 수 있다(S435)
즉, 단계(S435)는 생성된 게임 조작 이벤트가 복수개인 경우, 천이맵을 이용하여 게임 조작 이벤트의 다음 동작 또는 다음 게임 조작 이벤트로 연계 될 수 있는 게임 조작 이벤트들을 후보군으로 처리할 수 있다.
또한, 단계(S430)은 게임 조작 이벤트를 선정할 수 있다(S436).
즉, 단계(S436)는 게임 조작 이벤트의 후보군 중 각 게임 조작 이벤트의 발생 확률을 고려할 수 있다.
이 때, 단계(S436)는 발생 확률을 고려하여 다음 게임 조작 이벤트를 추정하는 것으로 게임 조작 이벤트를 선정할 수 있다.
도 9는 도 7에 도시된 게임 조작 단계를 세부적으로 나타낸 동작 흐름도이다.
도 9를 참조하면, 단계(S440)는 먼저 게임 조작 이벤트를 연동할 수 있다(S441).
단계(S441)는 수신된 게임 조작 이벤트에 기반하여 실행된 컴퓨터 게임의 캐릭터를 조작할 수 있다.
또한, 단계(S440)는 캐릭터의 방향을 연동할 수 있다(S442)
즉, 단계(S442)는 수신된 게임 조작 이벤트에 기반하여 사용자 및 컨트롤러(20)의 방향으로 캐릭터의 시선 방향을 연동시킬 수 있다.
이 때, 단계(S442)는 컴퓨터의 운영체제에 내장된 이벤트 메시지 관리기를 이용하여 게임 조작 이벤트를 컴퓨터 게임에 전달할 수 있다.
또한, 단계(S440)는 게임 조작 이벤트와 시선 방향을 고려하여 컴퓨터 게임 화면을 출력할 수 있다(S443).
즉, 단계(S443)는 사용자와 캐릭터를 연동시킨 결과를 화면에 출력할 수 있다.
도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 10을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 10에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명에 따른 가상 현실 게임 인터페이스 제공 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
10: 멀티 센서 20: 컨트롤러
30: 전방향 영상 출력기기 110: 전술 동작 생성부
120: 게임 조작 이벤트 생성부 130: 게임 운용부
131: 게임 관리부 132: 화면 정보 생성부
140: 전방향 영상 제어부 200: 평면 게임 화면
210: 전방향 게임 화면 211: 회전 방향
220: 회전 후 전방향 게임 화면 1100: 컴퓨터 시스템
1110: 프로세서 1120: 버스
1130: 메모리 1131: 롬
1132: 램 1140: 사용자 입력 장치
1150: 사용자 출력 장치 1160: 스토리지
1170: 네트워크 인터페이스 1180: 네트워크

Claims (16)

  1. 실시간으로 입력되는 사용자의 자세 정보 및 상기 사용자가 파지한 컨트롤러의 조작 정보에 상응하는 전술 동작 ID를 기계 학습 기법을 이용하여 생성하는 전술 동작 생성부;
    상기 전술 동작 ID에 상응하는 물리 인터페이스 키가 매핑되어 저장된 가상-물리 키맵 테이블에 기반하여 게임 조작 이벤트를 생성하는 게임 조작 이벤트 생성부; 및
    상기 게임 조작 이벤트에 기반하여 컴퓨터 게임의 캐릭터를 조작하는 게임 운용부;
    를 포함하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 장치.
  2. 청구항 1에 있어서,
    상기 자세 정보는
    멀티 센서를 이용하여 상기 사용자의 자세 및 위치를 감지하여 생성되는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 장치.
  3. 청구항 2에 있어서,
    상기 조작 정보는
    상기 멀티 센서를 이용하여 상기 사용자가 파지한 컨트롤러의 자세 및 동작을 감지하여 생성되는 정보; 및
    상기 컨트롤러가 구비하는 물리 버튼의 입력 정보;
    중 적어도 하나가 포함되는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 장치.
  4. 청구항 3에 있어서,
    상기 컴퓨터 게임의 화면을 전방향 게임 화면으로 변환하여 출력하는 전방향 영상 제어부를 더 포함하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 장치.
  5. 청구항 4에 있어서
    상기 게임 조작 이벤트 생성부는
    상기 컴퓨터 게임의 종류를 식별하는 종류 식별자를 고려하여 상기 물리 인터페이스 키를 정의하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 장치.
  6. 청구항 5에 있어서
    상기 게임 조작 이벤트 생성부는
    복수의 게임 조작 이벤트들 사이의 천이맵을 이용하여 상기 게임 조작 이벤트로부터 다른 게임 조작 이벤트로의 발생 확률을 고려하여 상기 게임 조작 이벤트를 생성하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 장치.
  7. 청구항 6에 있어서
    상기 게임 운용부는
    상기 게임 조작 이벤트에 기반하여 상기 캐릭터의 시선 방향을 상기 사용자의 시선 방향 및 상기 컨트롤러의 방향 중 적어도 하나에 연동시켜 상기 캐릭터를 조작하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 장치.
  8. 청구항 7에 있어서,
    상기 전방향 영상 제어부는
    상기 게임 조작 이벤트 및 상기 캐릭터의 시선 방향을 고려하여 상기 전방향 게임 화면으로 제어하여 출력하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 장치.
  9. 가상 현실 게임 인터페이스 제공 장치를 이용하는 방법에 있어서,
    실시간으로 입력되는 사용자의 자세 정보와 상기 사용자가 파지한 컨트롤러의 조작 정보에 상응하는 전술 동작 ID를 기계 학습 기법을 이용하여 생성하는 단계;
    상기 전술 동작 ID에 상응하는 물리 인터페이스 키가 매핑되어 저장된 가상-물리 키맵 테이블에 기반하여 게임 조작 이벤트를 생성하는 단계; 및
    상기 게임 조작 이벤트에 기반하여 컴퓨터 게임의 캐릭터를 조작하는 단계;
    를 포함하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 방법.
  10. 청구항 9에 있어서,
    상기 자세 정보는
    멀티 센서를 이용하여 상기 사용자의 자세 및 위치를 감지하여 생성되는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 방법.
  11. 청구항 10에 있어서,
    상기 조작 정보는
    상기 멀티 센서를 이용하여 상기 사용자가 파지한 컨트롤러의 자세 및 동작을 감지하여 생성되는 정보; 및
    상기 컨트롤러가 구비하는 물리 버튼의 입력 정보;
    중 적어도 하나가 포함되는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 방법.
  12. 청구항 11에 있어서
    상기 컴퓨터 게임의 화면을 전방향 게임 화면으로 변환하여 출력하는 단계를 더 포함하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 방법.
  13. 청구항 12에 있어서,
    상기 게임 조작 이벤트를 생성하는 단계는
    상기 컴퓨터 게임의 종류를 식별하는 종류 식별자를 고려하여 상기 물리 인터페이스 키를 정의하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 방법.
  14. 청구항 13에 있어서
    상기 게임 조작 이벤트를 생성하는 단계는
    복수의 게임 조작 이벤트들 사이의 천이맵을 이용하여 상기 게임 조작 이벤트로부터 다른 게임 조작 이벤트로의 발생 확률을 고려하여 상기 게임 조작 이벤트를 생성하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 방법.
  15. 청구항 14에 있어서
    상기 조작하는 단계는
    상기 게임 조작 이벤트에 기반하여 상기 캐릭터의 시선 방향을 상기 사용자의 시선 방향 및 상기 컨트롤러의 방향 중 적어도 하나에 연동시켜 상기 캐릭터를 조작하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 방법.
  16. 청구항 15에 있어서,
    상기 출력하는 단계는
    상기 게임 조작 이벤트 및 상기 캐릭터의 시선 방향을 고려하여 상기 전방향 게임 화면으로 제어하여 출력하는 것을 특징으로 하는 가상 현실 게임 인터페이스 제공 방법.
KR1020160027060A 2015-07-07 2016-03-07 가상 현실 게임 인터페이스 제공 장치 및 방법 KR102057658B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150096729 2015-07-07
KR1020150096729 2015-07-07

Publications (2)

Publication Number Publication Date
KR20170006247A true KR20170006247A (ko) 2017-01-17
KR102057658B1 KR102057658B1 (ko) 2019-12-19

Family

ID=57990464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160027060A KR102057658B1 (ko) 2015-07-07 2016-03-07 가상 현실 게임 인터페이스 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102057658B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106998461A (zh) * 2017-04-06 2017-08-01 深圳市魔眼科技有限公司 一种头戴显示系统
CN106998462A (zh) * 2017-04-06 2017-08-01 深圳市魔眼科技有限公司 一种头戴显示系统
WO2018143732A1 (ko) * 2017-02-03 2018-08-09 옥철식 게임 제어장치 및 이를 포함하는 가상현실 게임 시스템
WO2021107595A1 (ko) * 2019-11-29 2021-06-03 주식회사 코믹스브이 가상콘텐츠 체험 시스템 및 그 제어방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143732A1 (ko) * 2017-02-03 2018-08-09 옥철식 게임 제어장치 및 이를 포함하는 가상현실 게임 시스템
KR20180090515A (ko) * 2017-02-03 2018-08-13 옥철식 게임 제어장치 및 이를 포함하는 가상현실 게임 시스템
CN106998461A (zh) * 2017-04-06 2017-08-01 深圳市魔眼科技有限公司 一种头戴显示系统
CN106998462A (zh) * 2017-04-06 2017-08-01 深圳市魔眼科技有限公司 一种头戴显示系统
WO2021107595A1 (ko) * 2019-11-29 2021-06-03 주식회사 코믹스브이 가상콘텐츠 체험 시스템 및 그 제어방법

Also Published As

Publication number Publication date
KR102057658B1 (ko) 2019-12-19

Similar Documents

Publication Publication Date Title
CN109966738B (zh) 信息处理方法、处理装置、电子设备和存储介质
JP2022517194A (ja) 仮想環境においてマーク情報を生成する方法、装置、電子機器及びコンピュータプログラム
AU2021250929B2 (en) Virtual object control method and apparatus, device, and storage medium
CN110585731B (zh) 在虚拟环境中投掷虚拟物品的方法、装置、终端及介质
CN110585712A (zh) 在虚拟环境中投掷虚拟爆炸物的方法、装置、终端及介质
CN113440846B (zh) 游戏的显示控制方法、装置、存储介质及电子设备
CN110465087B (zh) 虚拟物品的控制方法、装置、终端及存储介质
KR101734520B1 (ko) 자이로센서의 움직임 패턴 인식 기반의 유저 인터페이싱 시스템
CN110732135B (zh) 虚拟场景显示方法、装置、电子设备及存储介质
JP7477640B2 (ja) 仮想環境画面の表示方法、装置及びコンピュータプログラム
KR20170006247A (ko) 가상 현실 게임 인터페이스 제공 장치 및 방법
WO2022227958A1 (zh) 虚拟载具的显示方法、装置、设备以及存储介质
CN106536004B (zh) 增强的游戏平台
US11893697B2 (en) Application control program, application control method, and application control system
JP2024512582A (ja) 仮想アイテムの表示方法、装置、電子機器及びコンピュータプログラム
CN112138385B (zh) 虚拟射击道具的瞄准方法、装置、电子设备及存储介质
CN110801629A (zh) 虚拟对象生命值提示图形的显示方法、装置、终端及介质
CN113633975A (zh) 虚拟环境画面的显示方法、装置、终端及存储介质
CN111905380B (zh) 虚拟对象的控制方法、装置、终端及存储介质
CN112057859B (zh) 虚拟对象的控制方法、装置、终端及存储介质
KR20190059727A (ko) 가상현실 환경에서의 복합된 객체의 상호작용 제어 시스템
JP2018171309A (ja) シミュレーションシステム及びプログラム
JP2020201980A (ja) シミュレーションシステム及びプログラム
JP7116220B2 (ja) アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
CN113680061B (zh) 虚拟道具的控制方法、装置、终端及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right