KR101246938B1 - 가상 현실 환경에서 컴퓨터 제어되는 아바타의 개인화된 동작을 위한 시스템, 방법 및 컴퓨터 판독가능 기록 매체 - Google Patents

가상 현실 환경에서 컴퓨터 제어되는 아바타의 개인화된 동작을 위한 시스템, 방법 및 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR101246938B1
KR101246938B1 KR1020057022884A KR20057022884A KR101246938B1 KR 101246938 B1 KR101246938 B1 KR 101246938B1 KR 1020057022884 A KR1020057022884 A KR 1020057022884A KR 20057022884 A KR20057022884 A KR 20057022884A KR 101246938 B1 KR101246938 B1 KR 101246938B1
Authority
KR
South Korea
Prior art keywords
avatar
personalized
virtual reality
sample
reality environment
Prior art date
Application number
KR1020057022884A
Other languages
English (en)
Other versions
KR20060025154A (ko
Inventor
랄프 헤르브리치
마이클 이. 티핑
마크 해튼
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060025154A publication Critical patent/KR20060025154A/ko
Application granted granted Critical
Publication of KR101246938B1 publication Critical patent/KR101246938B1/ko

Links

Images

Classifications

    • A63F13/12
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/56Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/803Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6027Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

경주-기반 컴퓨터 게임은 전형적으로 한 명 이상의 사람 플레이어가 하나 이상의 컴퓨터-제어된 상대에 대항하여 경쟁할 수 있는 모드를 포함한다. 예를 들어, 사람 플레이어는 마리오 안드레티 또는 소정의 다른 경주 차량 운전자에 의해 운전되도록 의도된 컴퓨터-제어된 가상 경주 차량에 대항하여 가상 경주 차량을 운전할 수 있다. 그러한 컴퓨터 제어된 상대는 사람 주체의 실제 게임 동작의 샘플을 상대의 인공 지능 제어 시스템에 포함함으로써 강화될 수 있다. 그러한 샘플링은 사람 주체를 모방하기 위하여 게임 시스템이 컴퓨터 제어 상대의 동작을 개인화하도록 할 수 있다.
경주-기반, 게임, 컴퓨터-제어, 샘플 동작, 훈련 집합

Description

가상 현실 환경에서 컴퓨터 제어되는 아바타의 개인화된 동작을 위한 시스템, 방법 및 컴퓨터 판독가능 기록 매체{PERSONALIZED BEHAVIOR OF COMPUTER CONTROLLED AVATARS IN A VIRTUAL REALITY ENVIRONMENT}
<관련 출원>
본 출원은 제목이 "가상 현실 환경을 위한 수정된 모션 제어(MODIFIED MOTION CONTROL FOR A VIRTUAL REALITY ENVIRONMENT)"인 미국 특허 출원 번호 10/610,167[MS303874.1/MS1-1505US], 제목이 "가상 현실 환경에서 경주 모션 라인을 위한 혼합 모델(MIXTURE MODELS FOR RACING MOTION LINES IN A VIRTUAL REALITY ENVIRONMENT)"인 미국 특허 출원 번호 10/609,997[MS303876.1/MS1-1507US], 및 제목이 "가상 현실 환경에서의 오락을 위한 확률적 모델(PROBABILISTIC MODEL FOR DISTRACTIONS IN A VIRTUAL REALITY ENVIRONMENT)"인 미국 특허 출원 번호 10/609,703[MS303948.1/MS1-1508US]에 관한 것이며, 이들 모두 동시에 출원되었으며, 특히 그들이 개시 및 교시하는 모든 것에 대한 참조로서 본 발명에 통합된다.
본 발명은 일반적으로 가상 현실 환경에 관한 것이며, 보다 상세하게는 가상 현실 환경에서 컴퓨터 제어되는 아바타의 개인화된 동작에 관한 것이다.
대부분의 경주-기반 컴퓨터 게임은 경주 트랙 또는 코스를 시뮬레이트된 "사람 같은(human-like)" 방식으로 협상하기 위하여 간단한 형태의 인공 지능(AI)을 사용하는 컴퓨터-제어된 상대와 경쟁하기 위한 모드를 제공한다. 그러나, 그러한 AI의 "사람 같은" 목표에도 불구하고, 면밀한 관찰 시 결과는 상당히 사람과 다르게 나타나는 경향이 있다. 예를 들어, 컴퓨터 상대는 코스에서 이상적이거나 규정된 경주 라인을 따라 움직일 수 있고, 반면에 사람 경쟁자는 초과/미달 회전, 초과/미달 가속, 초과/미달 브레이크, 및 이른/늦은 반응과 같은 연속적인 결함을 자신의 운전에 우연히 도입한다. 그러나, 그것은 "사람 같은" 경쟁자를 특징짓는 결함일 뿐이다. 결과로서, 컴퓨터 상대는 예측가능해지고 덜 흥미로워지는 경향이 있다.
몇몇 AI 경쟁자의 사람과 다른 동작에 대한 한 가지 이유는, 전형적인 AI 모션 제어 시스템은 컴퓨터 상대에게 미국에서는 1초의 1/60 또는 유럽에서는 1초의 1/50의 (즉, 가상 현실 환경에서 각 프레임 리페인트(repaint) 간격에 대해) 반응 시간을 제공한다는 것이다. 그러므로, 가상 현실 환경으로부터의 임의의 "시각적"(예를 들어, 코너까지의 거리) 및 "물리적"(예를 들어, 영향력의 손실) 자극에 반응하여 AI 상대의 컴퓨터 제어가 1초에 50 또는 60번 발생한다. 사람 플레이어는 그러한 이상적으로 동작하는 컴퓨터 제어된 상대와 경쟁하기 위하여 그렇게 신속하게, 그렇게 빈번히, 또는 그렇게 완벽하게 반응할 수 없다.
그러므로, 그러한 게임의 또다른 인기있는 특성은 한명 이상의 사람 경쟁자와 경쟁할 기회이다. 예를 들어, 두 친구가 동일한 컨솔에서 또는 네트워크를 거쳐 서로 경쟁할 수 있다. 사람 경쟁자는 자신의 스타일의 경주를 개발하고 경주 동안에 중요한 이상적이지 않은 움직임을 만드는 경향이 있기 때문에, 그러한 사람 대 사람 경쟁은 전형적으로 훨씬 더 다양하고 흥미로운 경주를 제공한다. 결과적으로 종종 더욱 동적이고, 예측불가능하며, 흥미진진한 경쟁이 발생된다. 그러나, 가능한 사람 경쟁자가 존재하지 않는 경우, 사람 플레이어는 일반적으로 매우 사람과 다른 AI 제어된 경쟁자와의 플레이에 열중한다.
본 출원에 기술되고 특허청구된 구현들은 경주 타입의 게임 및 기타 컴퓨터 게임에서 컴퓨터 상대의 사람 같은 현실성을 강화한다. 한 구현에서, 사람 주체에 대해 개인화된 훈련 데이터가 파라미터화되어 기록된다. 그 후, 사람 주체의 스타일(예를 들어, 전략, 전술, 기술, 및 단점)을 모방하기 위해 컴퓨터 제어된 아바타가 생성될 수 있다. 이러한 방식으로, 사람 플레이어는 사람 주체에 대해 모델링된 더욱 사람 같은 AI 제어 경쟁자와 경쟁할 수 있다. 게다가, 이러한 아바타는 친구 또는 현실 세계에서 유명한 경쟁자처럼 동작하도록 개인화될 수 있다. 또한, 덜 예측가능한 게임 경험을 제공하기 위하여 각 게임 세그먼트에 대한 여러 훈련 세션에 걸친 사람 주체의 동작의 변형에 기초하여 아바타의 동작이 변할 수 있다.
다양한 구현에서, 제조의 품목이 컴퓨터 프로그램 제품으로서 제공된다. 컴퓨터 프로그램 제품의 한 구현은 컴퓨터 시스템에 의해 판독가능하고 가상 현실 환경에 대한 컴퓨터 프로그램을 인코딩하는 컴퓨터 프로그램 저장 매체를 제공한다. 컴퓨터 프로그램 제품의 또다른 구현은 컴퓨팅 시스템에 의한 반송파에 포함되고 가상 현실 환경에 대한 컴퓨터 프로그램을 인코딩하는 컴퓨터 데이터 신호로 제공될 수 있다.
컴퓨터 프로그램 제품은 가상 현실 환경에 대한 컴퓨터 프로세스를 컴퓨터 시스템에서 실행하기 위한 컴퓨터 프로그램을 인코딩한다. 아바타 동작 정의는 가상 현실 환경의 환경적 문맥, 및 개인화된 샘플 동작의 훈련 집합으로부터 랜덤하게 선택된 훈련 동작에 기초하여 계산된다. 아바타 동작 정의에 따라 가상 현실 환경에서의 엔터티의 동작을 가이드하기 위하여 적어도 하나의 제어 신호가 생성된다.
또다른 구현에서, 가상 현실 환경의 환경적 문맥, 및 개인화된 샘플 동작의 훈련 집합으로부터 랜덤하게 선택된 훈련 동작에 기초하여 아바타 동작 정의가 계산되도록 하는 방법이 제공된다. 아바타 동작 정의에 따라 가상 현실 환경에서의 엔터티의 동작을 가이드하기 위하여 적어도 하나의 제어 신호가 생성된다.
또다른 구현에서는, 시스템이 제공된다. 가상 현실 환경의 환경적 문맥, 및 개인화된 샘플 동작의 훈련 집합으로부터 랜덤하게 선택된 훈련 동작에 기초하여 아바타 동작 정의 모듈이 아바타 동작 정의를 계산한다. 동작 제어 시스템은 아바타 동작 정의에 따라 가상 현실 환경에서의 엔터티의 동작을 가이드하기 위하여 적어도 하나의 제어 신호를 생성한다.
도 1은 예시적인 컴퓨터 제어된 아바타를 파라미터화할 때의 사용을 위한 경주 코스 및 두 개의 훈련 경주 라인을 도시하는 도면.
도 2는 개인화된 훈련 데이터를 생성하기 위한 예시적인 시스템을 도시하는 도면.
도 3은 예시적인 개인화된 훈련 데이터를 도시하는 도면.
도 4는 컴퓨터 제어된 아바타에 대한 제어 신호를 생성하기 위한 예시적인 시스템을 도시하는 도면.
도 5는 컴퓨터 제어된 아바타에 대한 제어 신호를 생성하기 위한 예시적인 동작을 도시하는 도면.
도 6은 본 발명의 실시예를 구현하는 데에 유용한 예시적인 시스템을 도시하는 도면.
경주-기반 컴퓨터 게임은 전형적으로 한 명 이상의 사람 플레이어가 하나 이상의 컴퓨터-제어된 상대와 경쟁할 수 있는 모드를 포함한다. 예를 들어, 사람 플레이어는 마리오 안드레티(Mario Andretti) 또는 다른 어떤 경주 차량 운전자에 의해 운전되도록 의도된 컴퓨터-제어된 가상 경주 차량에 대항하여 가상 경주 차량을 운전할 수 있다. 본 발명에 기술된 바와 같이, 그러한 컴퓨터 제어된 상대는 사람 주체의 실제 게임 동작에 대한 샘플링을 포함함으로써 강화될 수 있다. 그러한 샘플링은 사람 주체를 모방하기 위하여 게임 시스템이 컴퓨터 제어 상대의 동작을 개인화하도록 할 수 있다.
이러한 방식으로, 컴퓨터 제어된 상대는 그 분야에서 유명한 경쟁자처럼, 또는 사람 주체의 친구 및 가족처럼 동작하도록 개인화될 수 있다. 예를 들어, 친구 중 한 명이 떠나야하기 전에 두 명의 친구가 컴퓨터 경주 게임을 플레이하고 있다. 떠나는 친구는 게임 시스템에 의해 액세스가능한 지속형 저장 매체에 저장하는 개 인화된 훈련 데이터를 생성하기 위해 훈련 모드를 입력할 수 있다. 그 후 남은 친구는 떠난 자신의 친구를 모방하도록 그 훈련 데이터에 의해 개인화된 아바타와 플레이하도록 선택할 수 있다. 마찬가지로, 훈련 데이터는 더욱 유명한 참여자(예를 들어, 마리오 안드레티)에 대해 생성 및/또는 획득되어 게임 시스템에 의해 액세스가능한 지속형 저장 매체에 저장될 수 있다.
도 1은 예시적인 컴퓨터 제어된 아바타를 파라미터화할 때의 사용을 위한 경주 코스 및 두 개의 훈련 경주 라인을 도시한다. 가상 경주 코스(100)는 경주로 표면(102) 및 내야(104)를 포함한다. 대안적인 코스는 순환형이 아닐 수도 있고, 또는 일인칭 사격 게임(first person shooter game), 군사 시뮬레이션(military simulation), 또는 현실 시뮬레이션과 같은 비경주 환경에 적용될 수 있다는 점을 이해해야 한다. 그러한 것으로서, 컴퓨터 제어된 운전자는 임의의 움직이는 객체에 의해 표현된 컴퓨터 제어된(또는 AI 제어된) 플레이어에 의해 대체될 수 있다.
두 개의 예시적인 훈련 경주 라인(106 및 108)이 가상 경주 코스(100) 내에 도시된다. 한 랩(lap)에서, 참조번호(109)에서 사람 운전자가 벽에 부딪혔음을 유의해야 한다. 그러한 결함은 사람 경쟁자와 경쟁하는 경험에 기여한다. 동작 정의의 예인 경주 라인은 코스 상의 위치, 및 조종, 브레이크, 속도, 및 가속도 파라미터 시퀀스를 포함하지만 제한되지는 않는 다양한 파라미터에 의해 특징지어질 수 있다. 예를 들어, 그러한 훈련 경주 라인은 경주의 여러 랩 동안에 사람 운전자의 성능을 모니터링 및 기록함으로써 획득될 수 있다.
훈련 경주 라인(106 및 108)은 그것들을 기록한 사람 주체에 특유한 개인화 된 훈련 데이터를 개발하기 위하여 사용된다. 이러한 개인화된 훈련 데이터를 사용하여, 시스템은 사람 주체의 성능을 모방하기 위하여 AI 제어된 아바타를 제어한다. 여러 경주 라인은 AI 제어된 아바타의 예측불가능한 동작에 기여하는 부가적인 변형을 제공한다.
경주 동안 (몇몇 구현에서 동일할 수 있는 시뮬레이션 간격 또는 프레임 간격과 같은) 지정된 간격으로, AI 모션 제어 시스템은 자극 입력(stimulus input)을 수신하고, 컴퓨터 경주 운송수단 또는 기타 엔터티의 방향, 속도 등을 변경하기 위하여 이러한 입력에 기초하여 제어 신호를 계산한다. 변경은 일반적으로 (이상적인 경주 라인 또는 개인화된 경주 라인과 같은) 경주 라인에 일직선이 되도록 AI 운전자를 다시 데려오기 위한 것이다. 그러한 것으로서, 경주 라인은 트랙을 따라 AI 운전자의 경로를 제어할 때 AI 모션 제어 시스템에 가이드를 제공하는 동작 정의의 한 형태이다.
코스는 트랙 세그먼트들(예를 들어, 트랙 세그먼트(110)를 참조)로 나누어진다. 일반적으로, 트랙 세그먼트는 게임 세그먼트의 한 형태이며, 그것은 또한 전략 게임에서의 게임 턴(game turn), 롤 플레이 게임에서의 씬(scene), 일인칭 사격 게임(first person shooter)에서의 레벨 등, 또는 이들의 조합을 나타낼 수 있다.
각 경주 라인은 트랙 세그먼트 내의 (중간지점(112, 114, 116 및 118)과 같은) 중간지점(waypoint)에 관련하여 특징지어진다. 트랙 세그먼트는 미로를 통한 거리, 가상 현실 설정에서 하나 이상의 공간 등과 같이 보다 일반적인 게임 세그먼트의 예이다. 예를 들어, 한 구현에서, 중간지점(118)에서, 수직 벡터(트랙을 가 로지르는 중간지점 라인에 수직)와 샘플링된 경주 라인 사이의 조종 각도(120)는 시스템에 대한 경주 라인을 특징짓는다. 그 후 중간지점 및 조종 각도는 AI 제어된 엔터티(예를 들어, 경주 운송수단)에 대한 적합한 모션 제어 신호를 계산하기 위하여 AI 모션 제어 시스템에 의해 사용된다.
도 2는 개인화된 훈련 데이터를 생성하기 위한 예시적인 시스템(200)을 도시한다. 개인화된 훈련 샘플의 집합(202)이 생성되어 훈련 모듈(204)에 입력된다. 한 구현에서, 게임 플레이 동안에 사람 주체의 성능을 모니터링함으로써 개인화된 훈련 샘플이 생성된다. 환경(예를 들어, 트랙 형상, 트랙 상태 등) 및 주체의 동작(예를 들어, 경주 라인, 제어 신호 등)의 특성이 파라미터화되어 개인화된 훈련 데이터(206)에 기록된다. 적어도 한 구현에서, 사람 플레이어가 다양한 아바타 경쟁자의 훈련 데이터 프로파일을 저장하도록 하기 위하여 개인화된 훈련 데이터가 영구적으로 저장될 수 있다.
도 3은 개인화된 샘플 동작을 포함하는 예시적인 개인화된 훈련 데이터(300)를 도시한다. 각 행은 가장 왼쪽 열을 따라 트랙 세그먼트 그림에 의해 표현된 바와 같이 특정 게임 세그먼트에 대응한다. 각 행의 첫번째 열은 그 코스에서의 주어진 게임 세그먼트를 나타낸다. 각 게임 세그먼트는 게임 세그먼트 기술자에 의해 표현될 수 있고, 그것은 트랙 세그먼트 형상, 트랙 표면 상태, 하루 중의 시각 등을 포함할 수 있지만 이들로 제한되지는 않는다. 각 후속 열은 관련 게임 세그먼트에서의 사람 주체의 동작의 샘플(즉, 개인화된 샘플 동작)에 대응한다.
또한, 개인화된 훈련 데이터를 축적하는 비율은 주어진 트랙 세그먼트에 대 한 훈련 데이터를 "미러링(mirroring)"함으로써 효율적으로 증가될 수 있고, 이에 의해 주어진 양의 훈련에 대해 추출된 훈련 데이터의 양을 2배로 할 수 있다. 예를 들어, 몇몇 트랙 세그먼트에 대해, 우회전에 대한 훈련 데이터를 추출한 후 트랙 세그먼트(좌회전을 표현하기 위하여) 및 개인화된 경주 라인 샘플 둘 모두를 미러링함으로써, 단일 트랙 세그먼트에 대해 두 개의 훈련 샘플이 획득된다.
도시된 표(300)에서, 사람 주체의 동작의 샘플은 그 트랙 세그먼트에 대한 경주 라인에 의해 표현된다. 마지막 행에 나타난 바와 같이, 예를 들어, 사람 주체는 관련 트랙 세그먼트에 대해 4개의 샘플 동작 정의(예를 들어, 경주 라인)를 제공하였고, 그것은 급격하게 굽은 곡선으로 나타난다. 사람 주체에 의해 행해진 동작 정의들 사이의 차이점은 그 행의 각 셀에서 보여질 수 있고, 이에 의해 이 트랙 세그먼트, 또는 이 트랙 세그먼트에 유사한 트랙 세그먼트에서의 AI 아바타의 예측불가능한 동작에 기여할 기회를 제공한다.
경주 게임의 한 구현에서, 트랙 세그먼트의 중간지점에서 조종 각도 값의 시퀀스에 의해 경주 라인이 정의될 수 있다. 조종 각도 값은 트랙 세그먼트의 중간지점 라인에 수직인 벡터에 관련하여 경주 라인의 조종 각도를 특징짓는다. 코스 내의 샘플링된 위치 또는 벡터, 게임 플레이 동작(예를 들어, 격투 시퀀스) 등을 포함하지만 이들로 제한되지는 않는 기타 파라미터 또는 기타 파라미터들의 조합에 의해 경주 라인이 특징지어질 수 있음을 이해해야 한다. 일인칭 사격 게임의 한 구현에서, 동작 정의는 플레이어의 이동 경로를 나타낼 수 있다.
훈련 집합에 포함된 트랙 세그먼트는 현재의 트랙으로부터일 수도 있고 아닐 수도 있다. 한 구현에서, 확률 밀도 함수 연산이 훈련 트랙 세그먼트와 현재의 트랙 세그먼트 사이의 유사성을 결정하고, 각 유사한 훈련 트랙 세그먼트에 관련된 경주 라인을 샘플링함으로써 가중화된 기여도(weighted contribution)를 계산한다. 가중화는 하나 이상의 샘플 경주 라인의 기여도들을 현재의 트랙 세그먼트 내의 AI 아바타의 현재의 경주 라인에 적용할 수 있다. 대안적인 구현에서, 개인화된 아바타는 사람 주체가 실제로 훈련하였던 트랙에서만 실행될 수 있다.
도 4는 컴퓨터 제어된 아바타에 대해 제어 신호를 생성하기 위한 예시적인 시스템(400)을 도시한다. 개인화된 훈련 데이터(402)는 사람 주체에 의한 과거 또는 동시 게임 플레이에 기초한 훈련 데이터의 동적 생성, 웹 자원 또는 저장 매체로부터 훈련 데이터를 다운로드하는 것, 가공 플레이어에 대한 훈련 데이터를 계산하는 것 등을 포함하는 다양한 방식으로 제공될 수 있다. 동시 게임 플레이 옵션을 이용하면, 디폴트 또는 개인화된 훈련 데이터의 초기 집합으로 시작하여, 플레이어가 게임을 플레이할 때 훈련 집합에 추가함으로써, 플레이어는 스스로 점차 개선되는 아바타와 경쟁할 수 있다. 게임 플레이가 진행됨에 따라, 훈련 샘플의 풍부함을 강화하기 위하여 게임 동안에 사용자에 의해 행해진 경주 라인이 훈련 데이터에 추가될 수 있다.
트랙 위치, 트랙 세그먼트 형상 등과 같이, 게임 세그먼트에 관련된 환경적 문맥 정보(404)는 가상 현실 환경에 의해 제공된다. AI 제어된 아바타의 동작 정의에 기여하는 개인화된 샘플 동작을 식별하도록, 포맷 및/또는 컨텐츠에 있어서 트랙 세그먼트 기술자에 유사한 문맥 정보 파라미터가 훈련 데이터(402)에서 하나 이상의 트랙 세그먼트를 매칭시키기 위해 사용된다.
훈련 데이터(402) 및 문맥 정보(404)가 아바타 동작 정의 모듈(406)에 의해 수신되며, 그것은 동작 정의(408)를 계산한다. 한 구현에서, 동작 정의(408)는 AI 동작 제어 시스템(410)이 따를 개인화된 경주 라인을 지정한다. 그러나, 일인칭 사격 게임의 AI 아바타의 동작 등과 같은 다른 동작 정의들 또한 지정될 수 있다.
한 구현에서, 아바타 동작 정의 모듈(406)은 샘플 인덱스를 랜덤하게 선택하고(예를 들어, 샘플 데이터의 열을 선택하기 위하여), 적합한 샘플 데이터를 식별하기 위하여 문맥 정보(404)에 대하여 세그먼트 기술자를 평가한다. 랜덤하게 선택된 인덱스 하에서 최상으로 매칭하는 트랙 세그먼트에 대한 샘플 동작이 동작 정의(408)로서 AI 동작 제어 시스템(410)에 포워딩될 수 있다.
또다른 구현에서, 확률 밀도 함수 모듈(412)은 하나 이상의 샘플이 주어진 트랙 세그먼트에 대한 동작 정의에 제공하는 가중화된 기여도를 결정한다. 문맥 정보(404)와 트랙 세그먼트 기술자 사이의 유사성이 높을수록, 동작 정의를 계산할 때 샘플 데이터에 적용된 가중치가 크다. 그 후 이러한 기여도의 가중화된 합이 동작 정의(408)로서 AI 동작 제어 시스템(410)에 포워딩된다. 다른 기여도 알고리즘들 또한 고려된다.
가상 현실 환경으로부터의 자극(414)이 AI 동작 제어 시스템(410)에 입력되고, AI 동작 제어 시스템은 가상 현실 환경에서 아바타를 제어하기 위한 제어 신호(416)를 생성한다. 제어 신호(416)에 의해 지정된 모션 또는 동작을 구현하기 위하여, 제어 신호(416)가 구현 엔진(418)에 입력된다. 예를 들어, 구현 엔진(418) 은 가상 경주 차량이 방향 및 속도를 변경하도록 할 수 있다.
도 5는 컴퓨터 제어된 아바타에 대한 제어 신호를 생성하기 위한 예시적인 동작(500)을 도시한다. 수신 동작(502)은 개인화된 훈련 데이터를 수신한다. 또다른 수신 동작(504)은 현재 트랙의 트랙 세그먼트에 대한 문맥 정보를 수신한다.
생성 동작(506)은 현재 트랙의 각 트랙 세그먼트에 대한 아바타 동작 정의를 생성한다. 한 구현에서, 샘플 인덱스가 랜덤하게 선택되고, 현재 트랙의 문맥 정보(504)와 가장 근접하게 매칭하는 트랙 세그먼트에 대응하는 샘플 데이터가 현재 트랙 세그먼트에 대한 아바타 동작 정의로 여겨진다. 현재 트랙 세그먼트에 대한 아바타 동작 정의를 식별하기 위한 이러한 선택 및 평가가 현재 트랙의 각 트랙 세그먼트에 대해 반복된다.
또다른 구현에서, 훈련 데이터의 여러 트랙 세그먼트들로부터의 샘플 데이터는 현재 트랙의 주어진 트랙 세그먼트에 대한 아바타 동작 정의에 기여할 수 있다.
Figure 112005069772314-pct00001
가 현재 트랙의 주어진 트랙 세그먼트 i에 대한 동작 정의를 나타내고,
Figure 112005069772314-pct00002
가 훈련 데이터의 j행 kj열로부터의 샘플 데이터를 나타낸다고 가정한다. 예시적인 알고리즘이 하기에 기술된다.
1 현재 트랙의 모든 트랙 세그먼트 i에 대해
2 훈련 데이터의 모든 트랙 세그먼트 j에 대해
3 kj=훈련 데이터의 모든 샘플 열에 대해 랜덤하게 선택된 샘플 인덱스
4
Figure 112005069772314-pct00003
, 여기서 sj는 훈련 데이터의 j번째 트랙 세그먼트에 대한 가중치 인자를 나타내고,
Figure 112005069772314-pct00004
는 현재 트랙의 i번째 트랙 세그먼트에 대한 문맥 정보를 나타내며,
Figure 112005069772314-pct00005
는 훈련 데이터의 j번째 트랙 세그먼트의 트랙 기술자를 나타내고,
Figure 112005069772314-pct00006
는 민감도 인자(sensitivity factor)를 나타냄.
5 종료
6 sj를 정규화(예,
Figure 112005069772314-pct00007
)
7
Figure 112005069772314-pct00008
8 종료
민감도 인자
Figure 112005069772314-pct00009
는 가중화 인자가 유사성에 얼마나 민감한지를 지정한다. 예를 들어,
Figure 112005069772314-pct00010
가 매우 작으면, sj가 작고, 더 적은 수의 훈련 트랙 세그먼트에 대한 샘플 데이터가 동작 정의
Figure 112005069772314-pct00011
에 상당히 기여한다. 반대로,
Figure 112005069772314-pct00012
가 매우 크면, sj가 크고, 더 많은 수의 훈련 트랙 세그먼트에 대한 샘플 데이터가 동작 정의
Figure 112005069772314-pct00013
에 상당히 기여한다. 민감도 인자
Figure 112005069772314-pct00014
는 게임 설계 시에 미리 설정되거나, 플레이어 또는 시스템에 의해 구성될 수 있다.
한 구현에서, 경주 시각 전에 현재 트랙의 모든 트랙 세그먼트에 대한 아바 타 동작 정의가 계산된다(예를 들어, 경주 시간 동안 다른 기능에 대한 계산 능력을 보존하기 위하여). 그러나, 대안적인 구현에서, 가상 현실 환경에서 트랙 세그먼트가 발생할 때, 현재 트랙의 개개의 트랙 세그먼트들에 대한 아바타 동작 정의가 동적으로 계산될 수 있다. 이러한 접근법은 경주 시간 이벤트들이 훈련 데이터와의 매칭을 결정할 때 고려되도록 한다. 또한, 경주 동안에 훈련 데이터를 동적으로 보충하기 위하여, 현재의 경주 동안의 사람 플레이어의 동작이 사용될 수 있다(예를 들어, 사람 플레이어가 스스로 계속적으로 변화하는 아바타에 대항하여 경쟁하도록 하기 위하여). 수신 동작(508)은 현재의 시뮬레이션 간격에 대해 가상 현실 환경으로부터 게임 자극을 수신한다. 그러한 자극은 생성 동작(510)에 입력되며, 생성 동작은 자극에 기초하여 아바타 동작 정의(예를 들어, 생성 동작(506)에서 생성된 것)에 아바타 동작을 수렴시키기 위해 사용되는 제어 신호를 생성한다. 예를 들어, 경주 게임에서 제어 신호는 일반적으로 경주 라인을 향해 AI 제어 운송수단을 조종하기 위한 것이다.
구현 동작(512)은 구현 모듈을 통해 제어 신호를 가상 현실 환경에 적용한다. 예를 들어, 예시적인 구현 모듈은 경주 물리학 엔진(racing physics engine)을 포함할 수 있다. 가상 현실 게임에서의 동작을 진행하기 위하여 동작(508, 510, 및 512)은 각 시뮬레이션 간격을 반복한다.
본 발명을 구현하기 위한 도 6의 예시적인 하드웨어 및 운영 환경은 컴퓨터(20)의 형태로 범용 컴퓨팅 장치를 포함하며, 프로세싱 유닛(21), 시스템 메모리(22), 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 프로세싱 유닛(21) 에 동작가능하게 연결하는 시스템 버스(23)를 포함한다. 컴퓨터(20)의 프로세서가 단일 중앙 처리 장치(CPU)를 포함하거나 또는 일반적으로 병렬 프로세싱 환경이라 불리는 복수의 프로세싱 유닛을 포함하도록, 단지 하나의 프로세싱 유닛(21)이 존재하거나 또는 하나 이상의 프로세싱 유닛이 존재할 수 있다. 컴퓨터(20)는 기존의 컴퓨터, 분산 컴퓨터, 또는 임의의 다른 유형의 컴퓨터일 수 있으며, 본 발명은 그렇게 제한되지 않는다.
시스템 버스(23)는 메모리 버스 또는 메모리 제어기, 주변 버스, 및 다양한 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스를 포함하는 여러 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리는 또한 간단히 메모리라고도 불릴 수 있으며, ROM(24) 및 RAM(25)을 포함한다. 시작할 때 등에, 컴퓨터(20) 내의 구성요소들 사이에 정보 전달을 돕는 기본 루틴을 포함하는 기본 입력/출력 시스템(BIOS)(26)은 ROM(24)에 저장된다. 컴퓨터(20)는 또한 하드 디스크(도시되지 않음)에 대한 판독 및 기입을 위한 하드 디스크 드라이브(27), 분리형 자기 디스크(29)에 대한 판독 또는 기입을 위한 자기 디스크 드라이브(28), 및 CD ROM 또는 기타 광 매체와 같은 분리형 광 디스크(31)에 대한 판독 또는 기입을 위한 광 디스크 드라이브(30)를 포함한다.
하드 디스크 드라이브(27), 자기 디스크 드라이브(28), 및 광 디스크 드라이브(30)는 각각 하드 디스크 드라이브 인터페이스(32), 자기 디스크 드라이브 인터페이스(33), 및 광 디스크 드라이브 인터페이스(34)에 의해 시스템 버스(23)에 연결된다. 드라이브 및 관련 컴퓨터-판독가능 매체는 컴퓨터-판독가능 명령어, 데이 터 구조, 프로그램 모듈, 및 컴퓨터(20)에 대한 기타 데이터의 비휘발성 저장을 제공한다. 본 분야에서 숙련된 기술을 가진 자들은 자기 카세트, 플래시 메모리 카드, 디지털 비디오 디스크, 베르누이 카트리지, RAM, ROM 등과 같이, 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 임의의 유형의 컴퓨터-판독가능 매체가 예시적인 운영 환경에서 사용될 수 있음을 잘 알아야 한다.
운영 시스템(35), 하나 이상의 어플리케이션 프로그램(36), 기타 프로그램 모듈(37), 및 프로그램 데이터(38)를 포함하는 여러 프로그램 모듈은 하드 디스크, 자기 디스크(29), 광 디스크(31), ROM(24), 또는 RAM(25)에 저장될 수 있다. 사용자는 키보드(40) 및 포인팅 장치(42)와 같은 입력 장치를 통해 개인용 컴퓨터(20)에 명령어 및 정보를 입력할 수 있다. 기타 입력 장치(도시되지 않음)는 마이크, 조이스틱, 게임 패드, 위성 디쉬, 스캐너 등을 포함할 수 있다. 이들 및 기타 입력 장치는 종종 시스템 버스에 연결되는 직렬 포트 인터페이스(46)를 통해 프로세싱 유닛(21)에 연결되지만, 병렬 포트, 게임 포트, 또는 USB와 같은 기타 인터페이스에 의해 연결될 수 있다. 모니터(47) 또는 기타 유형의 디스플레이 장치 또한 비디오 어댑터(48)와 같은 인터페이스를 통해 시스템 버스(23)에 연결된다. 모니터 이외에, 컴퓨터는 전형적으로 스피커 및 프린터와 같은 기타 주변 출력 장치(도시되지 않음)를 포함한다.
컴퓨터(20)는 원격 컴퓨터(49)와 같은 하나 이상의 원격 컴퓨터에의 논리적 연결을 사용하는 네트워크 환경에서 동작할 수 있다. 이들 논리적 연결은 컴퓨터(20) 또는 컴퓨터의 일부에 연결된 통신 장치에 의해 달성되며, 본 발명은 특정 유 형의 통신 장치에 제한되지 않는다. 원격 컴퓨터(49)는 또다른 컴퓨터, 서버, 라우터, 네트워크 PC, 클라이언트, 피어 장치 또는 기타 일반적인 네트워크 노드일 수 있으며, 도 6에는 메모리 저장 장치(50)만이 도시되지만, 전형적으로 컴퓨터(20)에 관련하여 상기 기술된 구성요소들 중 다수 또는 모두를 포함한다. 도 6에 도시된 논리적 연결은 LAN(51) 및 WAN(52)을 포함한다. 그러한 네트워크 환경은 네트워크의 모든 유형인 사무실 네트워크, 기업-규모 컴퓨터 네트워크, 인트라넷 및 인터넷에서 일반적인 것이다.
LAN 네트워크 환경에서 사용될 때, 컴퓨터(20)는 통신 장치의 한 유형인 네트워크 인터페이스 또는 어댑터(53)를 통해 로컬 네트워크(51)에 연결된다. WAN 네트워크 환경에서 사용될 때, 컴퓨터(20)는 전형적으로 통신 장치의 한 유형인 모뎀(54), 또는 WAN(52)을 거쳐 통신을 설립하기 위한 임의의 기타 유형의 통신 장치를 포함한다. 내장 또는 외장일 수 있는 모뎀(54)은 직렬 포트 인터페이스(46)를 통해 시스템 버스(23)에 연결된다. 네트워크 환경에서, 개인용 컴퓨터(20)에 관련하여 도시된 프로그램 모듈 또는 그들의 일부는 원격 메모리 저장 장치에 저장될 수 있다. 도시된 네트워크 연결은 예시적이며, 컴퓨터들 사이에 통신 링크를 설립하기 위한 통신 장치의 기타 수단이 사용될 수 있음을 잘 알아야 한다.
예시적인 구현에서, AI 모션 제어 시스템, 물리학 엔진, 훈련 모듈, 아바타 제어 모듈, 아바타 동작 정의 모듈, AI 동작 제어 모듈, 또는 기타 모듈이 운영 시스템(35), 어플리케이션 프로그램(36), 또는 기타 프로그램 모듈(37)의 부분으로서 통합될 수 있다. 자극 신호, 동작 정의, 훈련 데이터, 문맥 정보, 및 제어 신호는 프로그램 데이터(38)로서 저장될 수 있다.
본 명세서에 기술된 본 발명의 실시예들은 하나 이상의 컴퓨터 시스템에서 논리적 단계로서 구현된다. 본 발명의 논리적 동작은 (1) 하나 이상의 컴퓨터 시스템에서 실행하는 프로세서-구현된 단계들의 시퀀스로서, 및 (2) 하나 이상의 컴퓨터 시스템 내의 상호연결된 기계 모듈로서 구현된다. 구현은 본 발명을 구현하는 컴퓨터 시스템의 성능 요구사항에 의존하는 선택의 문제이다. 따라서, 본 명세서에 기술된 본 발명의 실시예들을 구성하는 논리적 동작들은 동작, 단계, 객체, 또는 모듈 등 다양하게 불린다.
상기 상술, 예, 및 데이터는 본 발명의 예시적인 실시예들의 구조 및 사용에 대한 완전한 기술을 제공한다. 본 발명의 여러 실시예들이 본 발명의 취지 및 범위로부터 벗어나지 않고서 행해질 수 있기 때문에, 본 발명은 이후 첨부되는 특허청구범위에 속한다.

Claims (27)

  1. 컴퓨터 시스템에서 가상 현실 환경에서의 아바타를 제어하기 위한 방법으로서,
    상기 가상 현실 환경의 환경적 문맥 정보 (environmental context information), 및 개인화된 훈련 샘플들(personalized training samples)을 포함하는 개인화된 샘플 동작들의 훈련 집합으로부터 랜덤하게 선택된 훈련 동작에 기초하여 아바타 동작 정의(avatar behavior definition)를 계산하는 단계(506) - 상기 환경적 문맥 정보는 상기 가상 현실 환경의 특성들을 포함하고, 상기 개인화된 훈련 샘플들은 사람 주체(human subject)에 의한 과거 또는 동시 게임 플레이 동안 상기 사람 주체의 실제 게임 동작들에 기초하여 생성됨 -; 및
    상기 아바타 동작 정의에 따라 상기 가상 현실 환경에서의 아바타의 동작을 가이드(guide)하기 위하여 적어도 하나의 제어 신호를 생성하는 단계(510)
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 아바타 동작 정의는 게임 세그먼트와 관련되는, 방법.
  3. 제1항에 있어서,
    상기 가상 현실 환경의 하나 이상의 훈련 세션에서의 플레이어의 동작을 기록함으로써 상기 개인화된 샘플 동작들을 생성하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서, 상기 계산하는 단계는,
    현재의 게임 세그먼트에 대한 아바타 동작 정의를 산출(yield)하기 위하여 상기 현재의 게임 세그먼트에 대한 다수의 개인화된 샘플 동작들을 조합하는 단계를 포함하는, 방법.
  5. 제1항에 있어서, 상기 계산하는 단계는,
    현재의 게임 세그먼트에 대한 아바타 동작 정의를 산출하기 위하여 상기 현재의 게임 세그먼트에 대한 다수의 개인화된 샘플 동작들의 가중화된 기여도(weighted contribution)들을 조합하는 단계를 포함하는, 방법.
  6. 제1항에 있어서, 상기 계산하는 단계는,
    상기 개인화된 샘플 동작들 중 적어도 하나의 샘플 동작을 지정하는 랜덤하게 선택된 샘플 인덱스를 사용하여 상기 훈련 집합으로부터 개인화된 샘플 동작을 랜덤하게 선택하는 단계를 포함하는, 방법.
  7. 제1항에 있어서,
    상기 개인화된 샘플 동작들을 영구 저장 매체에 저장하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서,
    상기 가상 현실 환경에서 게임 플레이 동안에 상기 아바타에 대항하여(against) 경쟁하는 플레이어의 동작을 기록하는 단계, 및
    기록된 상기 동작을 상기 게임 플레이 동안에 상기 플레이어와 관련된 개인화된 샘플 동작들에 추가하는 단계
    를 더 포함하는, 방법.
  9. 제1항에 있어서, 상기 계산하는 단계는,
    개인화된 샘플 동작들과 관련된 게임 세그먼트 기술자(descriptor)들을 현재의 게임 세그먼트와 관련된 환경적 문맥 정보와 비교함으로써, 상기 현재의 게임 세그먼트와 매칭하는 게임 세그먼트들을 상기 훈련 집합에서 식별하는 단계를 포함하는, 방법.
  10. 가상 현실 환경의 환경적 문맥 정보, 및 개인화된 훈련 샘플들을 포함하는 개인화된 샘플 동작들의 훈련 집합으로부터 랜덤하게 선택된 훈련 동작에 기초하여 아바타 동작 정의를 계산하는 단계(506) - 상기 환경적 문맥 정보는 상기 가상 현실 환경의 특성들을 포함하고, 상기 개인화된 훈련 샘플들은 사람 주체에 의한 과거 또는 동시 게임 플레이 동안 상기 사람 주체의 실제 게임 동작들에 기초하여 생성됨 -; 및
    상기 아바타 동작 정의에 따라 상기 가상 현실 환경에서의 아바타의 동작을 가이드하기 위하여 적어도 하나의 제어 신호를 생성하는 단계(510)
    를 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  11. 제10항에 있어서,
    상기 아바타 동작 정의는 게임 세그먼트와 관련되는, 컴퓨터로 읽을 수 있는 기록 매체.
  12. 제10항에 있어서, 상기 컴퓨터 프로그램은,
    상기 가상 현실 환경의 하나 이상의 훈련 세션에서의 플레이어의 동작을 기록함으로써 상기 개인화된 샘플 동작들을 생성하는 단계를 더 실행하는, 컴퓨터로 읽을 수 있는 기록 매체.
  13. 제10항에 있어서, 상기 계산하는 단계는,
    현재의 게임 세그먼트에 대한 아바타 동작 정의를 산출하기 위하여 상기 현재의 게임 세그먼트에 대한 다수의 개인화된 샘플 동작들을 조합하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.
  14. 제10항에 있어서, 상기 계산하는 단계는,
    현재의 게임 세그먼트에 대한 아바타 동작 정의를 산출하기 위하여 상기 현재의 게임 세그먼트에 대한 다수의 개인화된 샘플 동작들의 가중화된 기여도들을 조합하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.
  15. 제10항에 있어서, 상기 계산하는 단계는,
    상기 개인화된 샘플 동작들 중 적어도 하나의 샘플 동작을 지정하는 랜덤하게 선택된 샘플 인덱스를 사용하여 상기 훈련 집합으로부터 개인화된 샘플 동작을 랜덤하게 선택하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.
  16. 제10항에 있어서, 상기 컴퓨터 프로그램은,
    상기 개인화된 샘플 동작들을 영구 저장 매체에 저장하는 단계를 더 실행하는, 컴퓨터로 읽을 수 있는 기록 매체.
  17. 제10항에 있어서, 상기 컴퓨터 프로그램은,
    상기 가상 현실 환경에서 게임 플레이 동안에 상기 아바타에 대항하여 경쟁하는 플레이어의 동작을 기록하는 단계, 및
    기록된 상기 동작을 상기 게임 플레이 동안에 상기 플레이어와 관련된 개인화된 샘플 동작들에 추가하는 단계
    를 더 실행하는, 컴퓨터로 읽을 수 있는 기록 매체.
  18. 제10항에 있어서, 상기 계산하는 단계는,
    개인화된 샘플 동작들과 관련된 게임 세그먼트 기술자들을 현재의 게임 세그먼트와 관련된 환경적 문맥 정보와 비교함으로써, 상기 현재의 게임 세그먼트와 매칭하는 게임 세그먼트들을 상기 훈련 집합에서 식별하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.
  19. 가상 현실 환경의 환경적 문맥 정보(404), 및 개인화된 훈련 샘플들을 포함하는 개인화된 샘플 동작들의 훈련 집합(402)으로부터 랜덤하게 선택된 훈련 동작에 기초하여 아바타 동작 정의를 계산하는 아바타 동작 정의 모듈(406) - 상기 환경적 문맥 정보는 상기 가상 현실 환경의 특성들을 포함하고, 상기 개인화된 훈련 샘플들은 사람 주체에 의한 과거 또는 동시 게임 플레이 동안 상기 사람 주체의 실제 게임 동작들에 기초하여 생성됨 -; 및
    상기 아바타 동작 정의에 따라 상기 가상 현실 환경에서의 아바타의 동작을 가이드하기 위하여 적어도 하나의 제어 신호를 생성하는 동작 제어 시스템(410)
    을 포함하는, 시스템.
  20. 제19항에 있어서,
    상기 아바타 동작 정의는 게임 세그먼트와 관련되는, 시스템.
  21. 제19항에 있어서,
    상기 가상 현실 환경의 하나 이상의 훈련 세션에서의 플레이어의 동작을 기록함으로써 상기 개인화된 샘플 동작들을 생성하는 훈련 모듈을 더 포함하는, 시스템.
  22. 제19항에 있어서, 상기 아바타 동작 정의 모듈은,
    현재의 게임 세그먼트에 대한 아바타 동작 정의를 산출하기 위하여 상기 현재의 게임 세그먼트에 대한 다수의 개인화된 샘플 동작들을 조합하는 확률 밀도 함수 모듈(412)을 포함하는, 시스템.
  23. 제19항에 있어서, 상기 아바타 동작 정의 모듈은,
    현재의 게임 세그먼트에 대한 아바타 동작 정의를 산출하기 위하여 상기 현재의 게임 세그먼트에 대한 다수의 개인화된 샘플 동작들의 가중화된 기여도들을 조합하는 확률 밀도 함수 모듈(412)을 포함하는, 시스템.
  24. 제19항에 있어서, 상기 아바타 동작 정의 모듈은,
    상기 개인화된 샘플 동작들 중 적어도 하나의 샘플 동작을 지정하는 랜덤하게 선택된 샘플 인덱스를 사용하여 상기 훈련 집합으로부터 개인화된 샘플 동작을 랜덤하게 선택하는 확률 밀도 함수 모듈(412)을 포함하는, 시스템.
  25. 제19항에 있어서,
    상기 개인화된 샘플 동작들을 영구 저장 매체에 저장하는 훈련 모듈을 더 포함하는, 시스템.
  26. 제19항에 있어서,
    상기 가상 현실 환경에서 게임 플레이 동안에 상기 아바타에 대항하여 경쟁하는 플레이어의 동작을 기록하고, 기록된 상기 동작을 게임 플레이 동안에 상기 플레이어와 관련된 개인화된 샘플 동작들에 추가하는 훈련 모듈을 더 포함하는, 시스템.
  27. 제19항에 있어서, 상기 아바타 동작 정의 모듈은,
    개인화된 샘플 동작들과 관련된 게임 세그먼트 기술자들을 현재의 게임 세그먼트와 관련된 환경적 문맥 정보와 비교함으로써, 상기 현재의 게임 세그먼트와 매칭하는 게임 세그먼트들을 상기 훈련 집합에서 식별하는 확률 밀도 함수 모듈(412)을 포함하는, 시스템.
KR1020057022884A 2003-06-30 2004-05-18 가상 현실 환경에서 컴퓨터 제어되는 아바타의 개인화된 동작을 위한 시스템, 방법 및 컴퓨터 판독가능 기록 매체 KR101246938B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/609,507 US7090576B2 (en) 2003-06-30 2003-06-30 Personalized behavior of computer controlled avatars in a virtual reality environment
US10/609,507 2003-06-30
PCT/US2004/015529 WO2005006117A2 (en) 2003-06-30 2004-05-18 Personalized behavior of computer controlled avatars in a virtual reality environment

Publications (2)

Publication Number Publication Date
KR20060025154A KR20060025154A (ko) 2006-03-20
KR101246938B1 true KR101246938B1 (ko) 2013-03-25

Family

ID=33540870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057022884A KR101246938B1 (ko) 2003-06-30 2004-05-18 가상 현실 환경에서 컴퓨터 제어되는 아바타의 개인화된 동작을 위한 시스템, 방법 및 컴퓨터 판독가능 기록 매체

Country Status (9)

Country Link
US (1) US7090576B2 (ko)
EP (1) EP1638656B1 (ko)
JP (1) JP2007527260A (ko)
KR (1) KR101246938B1 (ko)
CN (1) CN1816375B (ko)
AT (1) ATE422382T1 (ko)
DE (1) DE602004019415D1 (ko)
TW (1) TWI340347B (ko)
WO (1) WO2005006117A2 (ko)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160994B2 (en) * 1999-07-21 2012-04-17 Iopener Media Gmbh System for simulating events in a real environment
US8456475B2 (en) * 2003-06-30 2013-06-04 Microsoft Corporation Motion line switching in a virtual environment
US7358973B2 (en) 2003-06-30 2008-04-15 Microsoft Corporation Mixture model for motion lines in a virtual reality environment
US20060046845A1 (en) * 2004-08-26 2006-03-02 Alexandre Armand Device for the acoustic control of a game system and application
AU2005292264B2 (en) * 2004-10-01 2009-06-11 Wms Gaming Inc. System and method for 3D image manipulation in gaming machines
US7695369B2 (en) * 2004-11-22 2010-04-13 Planetwide Games, Inc. Systems and methods for accessing online content during online gaming
US7655565B2 (en) * 2005-01-26 2010-02-02 Applied Materials, Inc. Electroprocessing profile control
US8016664B2 (en) * 2005-04-13 2011-09-13 Take Two Interactive Software, Inc. Systems and methods for simulating a particular user in an interactive computer system
US8142268B2 (en) * 2005-04-13 2012-03-27 Take Two Interactive Software, Inc. Systems and methods for simulating a particular user in an interactive computer system
US8083589B1 (en) 2005-04-15 2011-12-27 Reference, LLC Capture and utilization of real-world data for use in gaming systems such as video games
US20060281508A1 (en) * 2005-05-27 2006-12-14 Gtech Rhode Island Corporation Racing game and method
US7389500B2 (en) * 2005-07-08 2008-06-17 Microsoft Corporation Selective pre-compilation of virtual code to enhance boot time emulator performance
US7785178B2 (en) * 2005-12-30 2010-08-31 Microsoft Corporation Computing a target speed in a virtual racing environment
JP5179020B2 (ja) 2006-05-09 2013-04-10 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
US9666031B2 (en) * 2006-06-12 2017-05-30 Bally Gaming, Inc. Wagering machines having three dimensional game segments
EP2050086A2 (en) * 2006-07-12 2009-04-22 Medical Cyberworlds, Inc. Computerized medical training system
US7585217B2 (en) 2006-09-05 2009-09-08 Cfph, Llc Secondary game
US8216056B2 (en) 2007-02-13 2012-07-10 Cfph, Llc Card picks for progressive prize
US8764541B2 (en) 2006-09-19 2014-07-01 Cfph, Llc Secondary game
US10607435B2 (en) 2007-04-11 2020-03-31 Cfph, Llc Game of chance display
US8398489B2 (en) 2007-04-05 2013-03-19 Cfph, Llc Sorting games of chance
US8393954B2 (en) 2006-12-29 2013-03-12 Cfph, Llc Top performers
US8070582B2 (en) 2007-03-01 2011-12-06 Cfph, Llc Automatic game play
US9595169B2 (en) 2006-08-31 2017-03-14 Cfph, Llc Game of chance systems and methods
US8932124B2 (en) 2006-08-31 2015-01-13 Cfph, Llc Game of chance systems and methods
JP5268246B2 (ja) * 2006-11-17 2013-08-21 任天堂株式会社 ゲームシステム
CN101179587B (zh) * 2006-11-28 2011-05-11 腾讯科技(深圳)有限公司 在游戏中使用机器人的方法、客户端、服务器及系统
JP5068080B2 (ja) * 2007-01-09 2012-11-07 株式会社バンダイナムコゲームス ゲーム装置、プログラム及び情報記憶媒体
JP5122824B2 (ja) * 2007-01-09 2013-01-16 株式会社バンダイナムコゲームス ゲーム装置、サーバ装置及びプログラム
US7984013B2 (en) * 2007-02-07 2011-07-19 Samsung Electronics Co., Ltd Method and apparatus for learning behavior in software robot
KR20100014580A (ko) * 2007-03-20 2010-02-10 존 카포레일 상호대화 환경에서 아바타를 제어하고 훈려하기 위한 시스템 및 방법
US7814041B2 (en) 2007-03-20 2010-10-12 Caporale John L System and method for control and training of avatars in an interactive environment
US8500533B2 (en) * 2007-08-29 2013-08-06 Cfph, Llc Game with chance element and strategy component that can be copied
US8142283B2 (en) 2008-08-20 2012-03-27 Cfph, Llc Game of chance processing apparatus
US8758111B2 (en) 2008-08-20 2014-06-24 Cfph, Llc Game of chance systems and methods
US20100069138A1 (en) * 2008-09-15 2010-03-18 Acres-Fiore, Inc. Player selected identities and lucky symbols
US8460107B2 (en) * 2008-10-09 2013-06-11 Wms Gaming, Inc. Controlling and presenting virtual wagering game environments
US8898574B2 (en) * 2008-12-19 2014-11-25 International Business Machines Corporation Degrading avatar appearances in a virtual universe
US8506372B2 (en) 2009-02-20 2013-08-13 Activision Publishing, Inc. System and method configured to provide a location-based vehicular racing videogame
US9633465B2 (en) * 2009-02-28 2017-04-25 International Business Machines Corporation Altering avatar appearances based on avatar population in a virtual universe
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
EP2435149B1 (en) 2009-05-28 2015-07-08 Anki, Inc. Distributed system of autonomously controlled toy vehicles
US8882560B2 (en) 2009-05-28 2014-11-11 Anki, Inc. Integration of a robotic system with one or more mobile computing devices
US9155961B2 (en) 2009-05-28 2015-10-13 Anki, Inc. Mobile agents for manipulating, moving, and/or reorienting components
US10188958B2 (en) 2009-05-28 2019-01-29 Anki, Inc. Automated detection of surface layout
KR20100138702A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
JP5054085B2 (ja) * 2009-10-26 2012-10-24 株式会社コナミデジタルエンタテインメント 行動制御データ生成システム、行動制御データの生成方法、情報処理装置、情報処理装置の制御方法、及びプログラム
US20110143834A1 (en) * 2009-12-15 2011-06-16 Wms Gaming, Inc. Location-based customization of avatars in gaming systems
US20110207529A1 (en) 2010-02-25 2011-08-25 Acres John F Personal electronic device for gaming and bonus system
US9286761B2 (en) 2010-03-02 2016-03-15 Patent Investment & Licensing Company System for trade-in bonus
GB2482119B (en) 2010-07-19 2013-01-23 China Ind Ltd Racing vehicle game
GB2482153B (en) * 2010-07-21 2016-07-27 Iain Davies Marc Artificial behaviour
WO2012019167A1 (en) 2010-08-06 2012-02-09 Wms Gaming, Inc. Browser based heterogenous technology ecosystem
US9345973B1 (en) 2010-08-06 2016-05-24 Bally Gaming, Inc. Controlling wagering game system browser areas
US9821224B2 (en) * 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Driving simulator control with virtual skeleton
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
CN102495751A (zh) * 2011-11-29 2012-06-13 北京像素软件科技股份有限公司 一种实现仿真场景的方法和装置
US20140364239A1 (en) * 2011-12-20 2014-12-11 Icelero Inc Method and system for creating a virtual social and gaming experience
JP5675678B2 (ja) * 2012-03-07 2015-02-25 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム装置、ゲーム制御方法、プログラム
US20130257877A1 (en) * 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Generating an Interactive Avatar Model
CN102726317B (zh) * 2012-07-21 2014-06-11 深圳市华测检测技术股份有限公司 评判灵长类动物智力的系统
CN102742516B (zh) * 2012-07-21 2014-06-11 深圳市华测检测技术股份有限公司 训练灵长类动物玩游戏的方法
DE112013004190T5 (de) 2012-08-27 2015-07-16 Anki, Inc. Integration eines Robotiksystems in eine oder mehrere mobile Computereinrichtungen
JP5420044B1 (ja) * 2012-09-21 2014-02-19 株式会社 ディー・エヌ・エー ゲーム管理サーバ装置、および、ゲーム管理サーバ装置用プログラム
WO2014134366A1 (en) * 2013-02-28 2014-09-04 Pit Rho Corporation Networks, systems and methods for enhanced auto racing
US9259652B2 (en) * 2013-03-06 2016-02-16 Electronic Arts Inc. Time-shifted multiplayer game
US20140274304A1 (en) 2013-03-13 2014-09-18 Ignite Game Technologies, Inc. Method and apparatus for evaluation of skill level progression and matching of participants in a multi-media interactive environment
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US11241626B2 (en) * 2013-10-03 2022-02-08 Zynga Inc. Systems and methods to control movement based on a race event
US9452363B2 (en) 2013-10-18 2016-09-27 Sony Interactive Entertainment America Llc Multi-player video game environment for single-player use
US9770663B2 (en) 2014-03-24 2017-09-26 James Curtis Wilkins Computerized car racing game system
WO2016111809A1 (en) 2015-01-05 2016-07-14 Anki, Inc. Adaptive data analytics service
US9821232B2 (en) 2015-08-07 2017-11-21 International Business Machines Corporation Persona-based multiplayer gaming
US10406438B2 (en) 2017-07-28 2019-09-10 Microsoft Technology Licensing, Llc Controlling behavior of entities in funnel sections of a computer-represented environment
CN107608522B (zh) * 2017-09-29 2020-12-25 广州云友网络科技有限公司 利用移动设备定制虚拟运动场景的方法和系统
US10452569B2 (en) 2017-11-01 2019-10-22 Honda Motor Co., Ltd. Methods and systems for designing a virtual platform based on user inputs
CN108635861B (zh) * 2018-05-18 2022-04-22 腾讯科技(深圳)有限公司 控制应用中车辆的方法、装置、设备及存储介质
EP3588470A1 (en) * 2018-06-26 2020-01-01 Siemens Aktiengesellschaft Method and system for sharing automatically procedural knowledge
US11504626B2 (en) * 2018-11-29 2022-11-22 Ts Tech Co., Ltd. Seat system and seat experience device
CN110052027B (zh) * 2019-04-26 2021-12-28 腾讯科技(深圳)有限公司 虚拟场景中的虚拟对象控制方法、装置、设备及存储介质
TWI715026B (zh) * 2019-05-06 2021-01-01 宏碁股份有限公司 網路虛擬實境之控制方法及應用其之主機
CN110141868A (zh) * 2019-05-27 2019-08-20 合肥常春藤移动科技有限公司 一种用于竞速类游戏应用的ai追逐方法
CN111222774B (zh) * 2019-12-30 2020-08-18 广州博士信息技术研究院有限公司 企业数据分析方法、装置及服务器
KR102473196B1 (ko) * 2020-07-31 2022-12-01 한국전자기술연구원 가상훈련을 위한 npc형 ai 캐릭터 학습 시스템 및 방법
CN112116589B (zh) * 2020-09-30 2024-02-27 腾讯科技(深圳)有限公司 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN112883947B (zh) * 2021-04-29 2021-07-16 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备和存储介质
US11918855B2 (en) 2021-07-22 2024-03-05 The Boeing Company Ergonomics improvement systems having wearable sensors and related methods
US20230249074A1 (en) * 2022-02-08 2023-08-10 Sony Group Corporation Artificial intelligence for driving lines in racing games

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08196744A (ja) * 1995-01-24 1996-08-06 Sega Enterp Ltd 学習機能を有するコンピュータゲーム装置
JPH0970483A (ja) * 1995-09-06 1997-03-18 Namco Ltd ゲーム装置
JP2002028370A (ja) 2000-07-18 2002-01-29 Namco Ltd ゲーム装置及び情報記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2940860B2 (ja) * 1996-01-31 1999-08-25 コナミ株式会社 ゲーム装置
US5561741A (en) * 1994-07-22 1996-10-01 Unisys Corporation Method of enhancing the performance of a neural network
US6031549A (en) * 1995-07-19 2000-02-29 Extempo Systems, Inc. System and method for directed improvisation by computer controlled characters
JP3570813B2 (ja) * 1996-03-07 2004-09-29 株式会社ナムコ ゲーム装置
US6117007A (en) * 1996-08-09 2000-09-12 Konami Corporation Driving game machine and a storage medium for storing a driving game program
US6213871B1 (en) * 1997-02-19 2001-04-10 Kabushiki Kaisha Bandai Nurturing simulation apparatus for virtual creatures
US6199030B1 (en) 1998-06-19 2001-03-06 Microsoft Corporation Heightened realism for computer-controlled units in real-time activity simulation
US6195626B1 (en) 1998-06-19 2001-02-27 Microsoft Corporation Heightened realism for computer-controlled units in real-time simulation
US6371856B1 (en) * 1999-03-23 2002-04-16 Square Co., Ltd. Video game apparatus, video game method and storage medium
US6487304B1 (en) 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
JP3328256B2 (ja) * 2000-01-07 2002-09-24 コナミ株式会社 ゲームシステムおよびコンピュータ読取可能な記憶媒体
JP2002045572A (ja) * 2000-08-01 2002-02-12 Konami Computer Entertainment Osaka:Kk ゲーム進行制御方法、ゲームシステム及びサーバ
JP2002095865A (ja) * 2000-09-25 2002-04-02 Yamaha Motor Co Ltd ゲームシステム、ゲーム実行方法及び記憶媒体
WO2002027616A1 (en) * 2000-09-28 2002-04-04 Power Domain, Inc. Energy descriptors using artificial intelligence to maximize learning from data patterns
US20020082077A1 (en) * 2000-12-26 2002-06-27 Johnson Douglas R. Interactive video game system with characters that evolve physical and cognitive traits

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08196744A (ja) * 1995-01-24 1996-08-06 Sega Enterp Ltd 学習機能を有するコンピュータゲーム装置
JPH0970483A (ja) * 1995-09-06 1997-03-18 Namco Ltd ゲーム装置
JP2002028370A (ja) 2000-07-18 2002-01-29 Namco Ltd ゲーム装置及び情報記憶媒体

Also Published As

Publication number Publication date
WO2005006117A3 (en) 2005-10-13
DE602004019415D1 (de) 2009-03-26
TW200511124A (en) 2005-03-16
WO2005006117A2 (en) 2005-01-20
EP1638656B1 (en) 2009-02-11
CN1816375B (zh) 2010-09-01
TWI340347B (en) 2011-04-11
JP2007527260A (ja) 2007-09-27
US20040266506A1 (en) 2004-12-30
EP1638656A2 (en) 2006-03-29
KR20060025154A (ko) 2006-03-20
EP1638656A4 (en) 2006-08-30
CN1816375A (zh) 2006-08-09
US7090576B2 (en) 2006-08-15
ATE422382T1 (de) 2009-02-15

Similar Documents

Publication Publication Date Title
KR101246938B1 (ko) 가상 현실 환경에서 컴퓨터 제어되는 아바타의 개인화된 동작을 위한 시스템, 방법 및 컴퓨터 판독가능 기록 매체
JP7399932B2 (ja) クラウドゲーミングネットワークを使用した人工知能(ai)モデルの訓練
US7636701B2 (en) Query controlled behavior models as components of intelligent agents
US7260560B2 (en) Modified motion control for a virtual reality environment
Togelius Playing smart: On games, intelligence, and artificial intelligence
Muñoz-Avila et al. Learning and game AI
Miyake Current status of applying artificial intelligence in digital games
US20100323775A1 (en) Systems and Methods for Evolving Content for Computer Games
Merrick Modeling motivation for adaptive nonplayer characters in dynamic computer game worlds
CN115944921B (zh) 游戏数据处理方法、装置、设备及介质
Baldominos et al. Learning levels of mario ai using genetic algorithms
Yannakakis et al. A scheme for creating digital entertainment with substance
Geisler Integrated machine learning for behavior modeling in video games
Hanson Repetition
Georgiou et al. Personalised track design in car racing games
Kanervisto Advances in deep learning for playing video games
Francillette et al. Automated Difficulty Assessment Model for Platformer Games: A Comprehensive Approach
Williams et al. A study on behavioural agents for starcraft 2
Bauckhage et al. Exploiting the fascination: Video games in machine learning research and education
Fawcett et al. How Artificial Intelligence and Videogames Drive Each Other Forward
EP4166207A1 (en) Content generation system and method
EP4167150A1 (en) Content generation system and method
Φραγκιάς Video game character learning with artificial intelligent algorithms
Capo State of the Art on: Deep Learning for Video Games AI Development
Utomo Implementation of a reinforcement learning system with deep q network algorithm in the amc dash mark i game

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20111014

Effective date: 20130123

GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 6