KR20090092007A - 게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치 - Google Patents

게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치

Info

Publication number
KR20090092007A
KR20090092007A KR1020080017264A KR20080017264A KR20090092007A KR 20090092007 A KR20090092007 A KR 20090092007A KR 1020080017264 A KR1020080017264 A KR 1020080017264A KR 20080017264 A KR20080017264 A KR 20080017264A KR 20090092007 A KR20090092007 A KR 20090092007A
Authority
KR
South Korea
Prior art keywords
game
user
learning
character
information
Prior art date
Application number
KR1020080017264A
Other languages
English (en)
Inventor
조병헌
박창준
양광호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080017264A priority Critical patent/KR20090092007A/ko
Publication of KR20090092007A publication Critical patent/KR20090092007A/ko

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401Detail of input, input devices
    • A63F2009/2402Input by manual operation
    • A63F2009/2404Keyboard
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/24Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401Detail of input, input devices
    • A63F2009/2402Input by manual operation
    • A63F2009/2407Joystick

Abstract

본 발명은 게임 캐릭터의 사용자 조작 패턴 학습 기술에 관한 것으로, 게임 프로그램을 구동하여 구동된 게임 상황 정보를 멀티 레이어 퍼셉트론 구조의 신경회로망에 입력으로 설정하고, 게임 상황 정보에 대응하는 사용자의 하드웨어 조작을 입력받은 경우, 이를 신경 회로망의 출력으로 설정함으로써, 각각의 게임 상황 정보에 따라 입력되는 사용자의 하드웨어 조작 패턴을 오류 역전파 알고리즘을 이용하여 학습하는 것을 특징으로 한다. 본 발명에 의하면, 멀티 레이어 퍼셉트론 형태의 신경 회로망에서 사용자의 하드웨어 조작정보와 오류 역전파 알고리즘을 이용하여, 특정 게임 상황에서 사용자가 어떤 하드웨어 조작을 수행했는지 학습하고, 이와 같은 과정을 반복함으로써 다양한 게임 상황에 대한 사용자의 조작 패턴을 학습할 수 있다.

Description

게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치{METHOD AND APPARATUS FOR STUDYING USER CONTROL PATTERN OF GAME CHARACTER IN GAME}
본 발명은 게임 프로그램 상에서 게임 캐릭터의 조작을 수행하는 기술에 관한 것으로서, 특히 게임 상에서 게임 캐릭터를 제어하는 사용자 조작 패턴을 게임 캐릭터가 학습하여 이를 수행하는데 적합한 게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치에 관한 것이다.
본 발명은 정보통신부의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-044-02, 과제명: 멀티코아 CPU 및 MPU기반 크롯플랫폼 게임기술 개발].
일반적으로 알려진 바와 같이 인공생명이란 생명체가 나타내는 현상을 컴퓨터, 로봇 등과 같은 인공 매체 상에 재현함으로써 생명의 일반적인 특성에 대해 연구하는 학문이다. 생물학이 생물 현상에 대해 분석적인 방법으로 접근하였다면, 인공생명은 종합적인 방법으로 접근한다. 게임 개발자들은 인공생명 기법을 게임에 적용하려고 오래 전부터 시도를 해왔으나 인공생명의 예측 불가능한 특성 때문에 제한적으로 사용되어 왔었다.
최근 들어, 다시 인공생명을 게임에 적용하려는 시도가 되고 있다. 인공생명의 기본적인 특성인 적응성, 창의성 등을 게임에 적용하게 되면, 복잡한 환경이나 사용자의 조작에 적응하거나 전혀 예상치 못한 창의적인 행동으로 인하여 게임의 흥미를 높일 수 있기 때문이다. 그러나 지금까지 연구의 초점은 주로 캐릭터들이 군집을 형성하는 게임에서 전체적인 전략을 결정하는 것에 중점을 둔 연구로서 아직 기초적인 단계에 머물고 있다.
예를 들어, 일반적으로 게임 사용자 즉, 게임 플레이어는 게임기 또는 컴퓨터를 통하여 실행되는 게임 내에서 유효사물을 이용하여 게임 속의 세계가 정의하는 룰에 따라서 자신 이외의 플레이어와 커뮤니케이션을 통하여 유발될 수 있는 다양한 재미를 경험하게 된다.
이에 게임의 목적인 재미를 추구하는 순간에 인공지능(Artificial Intelligence, 이하 AI라 한다)은 필연적으로 발생하게 된다. 예를 들어, 전통적인 보드 게임의 경우는 같이 플레이를 하고 싶어할만한, 가족이나 친구, 손님 등과 함께하게 되나, 이러한 전통적인 게임들이 컴퓨터 또는 게임기라는 새로운 매체와 결합하면서 나타나게 된 가장 큰 특징은 게임을 혼자서 플레이하게 되었다는 점이다.
이를 위해서는 게임 요소 속에 게임 플레이어가 직접 조작하는 게임 캐릭터외에 다른 AI 플레이어들이 존재하게 되었으며, 이들 서로 간에 상대역할, 보조 역할 등의 상호작용을 통하여 게임플레이어와의 커뮤니케이션을 수행하게 되었다.
상기와 같은 AI 구현 기술로는 FSM(Finite State Machine)과 FuSM(Fuzzy State Machine)이 있다.
FSM은 상태들 간의 전이에 의해 통제되는 그래프 내에 유한개의 상태들이 연결되어 있는 규칙 기반 시스템으로서, 현재 가장 널리 사용되는 인공 지능 기법이다. FSM은 단순히 if-else나 switch-case 문장만으로 구현할 수 있기 때문에 이해하기 쉽고 프로그램으로 구현하기 쉬워 널리 사용된다. 예를 들어, 게임 캐릭터가 이동 중에 적을 발견하게 되면, 이동 상태에서 추적 상태로 바뀌어 발견한 적을 쫓아간다. 그리고 적이 일정한 거리 내에 들어오면, 공격 상태로 바뀌어 적을 공격한다. 이와 같이 FSM을 이용하면 구현이 쉽고 행동이 정확히 정의되는 장점이 있으나, 게임의 진행이 미리 정의된 방식으로만 동작하는 단점이 있다.
즉, 게임의 상대방이 FSM으로 구현된 경우 상대방의 행동 양식이 일정하기 때문에 일정시간 게임을 한 후에는 쉽게 예측될 수 있다는 것이다. 상대방의 행동을 예측할 수 있다는 것은 게임의 흥미를 반감시키는 요인으로 작용한다. 이러한 단점을 보완하기 위해 FuSM이 사용되고 있다.
FSM에 퍼지 이론을 접목한 FuSM의 경우에는 입력과 출력에 퍼지 함수를 적용하여 어느 정도 무작위적으로 동작할 수 있다. 즉, 게임에 무작위 요소가 포함되어 있기 때문에 게임에서의 상대방이 동일한 상황에서 다른 행동을 할 가능성이 있으므로 상대방의 행동을 예측하기가 어렵게 된다.
상기한 바와 같이 동작하는 종래 기술에 의해 게임에 사용되는 AI 구현 기술에 있어서는, FSM과 FuSM은 캐릭터의 상태의 수가 적을 때는 간단하게 구현할 수 있지만, 상태의 수가 많아지게 되면, 상태 다이어그램을 정리하기도 어렵고, 프로그램이 급격하게 복잡해지는 단점이 있다. 또한 FSM 과 FuSM 모두 새로운 행동 양식을 추가하기 위해서는 새롭게 프로그램을 짜야만 하는 문제점이 있었다.
이에 본 발명은, 게임내의 캐릭터가 사용자의 하드웨어 조작 패턴을 학습하도록 하여, 사용자와 유사한 행동을 가능하게 하며, 학습을 통해 예측되는 사용자의 행동에 대응되는 캐릭터를 구현할 수 있는 게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치를 제공한다.
또한 본 발명은, 게임 캐릭터의 사용자 조작 패턴 학습을 위하여 멀티 레이어 퍼셉트론(Multi Layer Perceptron) 형태의 신경회로망에서 게임 상황을 입력으로 하고, 사용자의 하드웨어 조작을 출력으로 설정한 후, 일반적인 오류 역전파 알고리즘(Error Backpropagation Algorithm)을 이용하여 학습함으로써, 특정 게임 상황에서 사용자가 어떤 하드웨어 조작을 수행했는지 학습하고, 이와 같은 과정을 반복함으로써 다양한 게임 상황에 대한 사용자의 조작 패턴을 학습할 수 있는 게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치를 제공한다.
본 발명의 일 실시예 방법은, 게임 캐릭터의 사용자 조작 패턴을 학습하기 위한 방법으로서, 게임 프로그램을 구동하는 과정과, 구동된 게임 상황 정보를 멀티 레이어 퍼셉트론 구조의 신경회로망에 입력으로 설정하는 과정과, 상기 게임 상황 정보에 대응하는 사용자의 하드웨어 조작을 입력받은 경우, 이를 상기 신경 회로망의 출력으로 설정하는 과정과, 각각의 게임 상황 정보에 따라 입력되는 사용자의 하드웨어 조작 패턴을 오류 역전파 알고리즘을 이용하여 학습하는 과정을 포함한다.
본 발명의 일 실시예 장치는, 게임 캐릭터의 사용자 조작 패턴을 학습하기 위한 장치로서, 저장된 게임 프로그램 정보를 제어부로 전달하는 저장부와, 게임 상황에 따른 사용자 키 조작 정보를 입력받아 제어부로 전달하는 키 입력부와, 게임 프로그램을 구동하여, 구동된 게임의 상황 정보를 멀티 레이어 퍼셉트론 구조의 신경회로망에 입력으로 설정하고, 상기 게임 상황 정보에 대응하는 사용자의 키 조작 정보를 상기 키 입력부로부터 입력받은 경우, 이를 상기 신경 회로망의 출력으로 설정하고, 각각의 게임 상황 정보에 따라 입력되는 사용자의 하드웨어 조작 패턴을 오류 역전파 알고리즘을 이용하여 학습하는 상기 제어부와, 상기 제어부로 전달된 신호를 디스플레이하는 디스플레이부를 포함한다.
본 발명에 있어서, 개시되는 발명 중 대표적인 것에 의하여 얻어지는 효과를 간단히 설명하면 다음과 같다.
본 발명은, 멀티 레이어 퍼셉트론 형태의 신경 회로망에서 사용자의 하드웨어 조작정보와 오류 역전파 알고리즘을 이용하여, 특정 게임 상황에서 사용자가 어떤 하드웨어 조작을 수행했는지 학습하고, 이와 같은 과정을 반복함으로써 다양한 게임 상황에 대한 사용자의 조작 패턴을 학습할 수 있으며, 학습을 통해 예측되는 사용자의 행동에 대응되는 게임 제어를 수행함으로써, 사용자가 게임을 진행함에 따라 게임 캐릭터의 행동을 예측하여 발생하게 되는 게임 반감요소를 감소시킬 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 사용자 조작 패턴 학습 장치의 구조를 도시한 블록도,
도 2는 본 발명의 바람직한 실시예에 따라 게임 캐릭터가 사용자 조작 패턴을 학습하는 방식을 도시한 도면,
도 3은 본 발명의 바람직한 실시예에 따라 게임 캐릭터가 사용자 조작 패턴을 학습하는 절차를 도시한 흐름도.
< 도면의 주요 부분에 대한 부호 설명 >
100 : 제어부 102 : 신경회로망
104 : 학습 알고리즘 105 : 키입력부
110 : 저장부 115 : 디스플레이부
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 게임 캐릭터의 사용자 조작 패턴 학습을 위하여 멀티 레이어 퍼셉트론 형태의 신경회로망에서 게임 상황을 입력으로 하고, 사용자의 하드웨어 조작을 출력으로 설정한 후, 일반적인 오류 역전파 알고리즘을 이용하여 학습함으로써, 특정 게임 상황에서 사용자가 어떤 하드웨어 조작을 수행했는지 학습하고, 이와 같은 과정을 반복함으로써 다양한 게임 상황에 대한 사용자의 조작 패턴을 학습하게 하는 것이다.
여기서, 신경회로망은 인간의 신경 체제를 모사한 것으로서, 수많은 간단한 콤포넌트들이 연결된 구조를 가지고, 입력되는 데이터의 패턴 인식에 기반하여 출력을 산출한다. 신경회로망이 게임에 적용되었을 때의 가장 큰 장점으로는, 신경회로망은 학습 능력을 가지고 있기 때문에 게임을 진행하면서 계속적으로 지능이 향상될 수 있다는 점이다. 그래서 지금까지 신경회로망을 게임에 적용하려는 시도가 많이 진행되고 있는데, 대부분이 오목, Tic-Tac-Toe 등 보드 게임이 주류를 이룬다. 보드 게임은 보드 상에서 움직이는 말들의 전체적인 상황을 인지하여 개개의 말들의 움직임을 결정하는 특성을 가지고 있다.
다만, 단층 신경회로망은 선형분리 가능한 벡터의 집합만을 분리할 수 있으므로, 이러한 단층 신경회로망의 약점을 보강하기 위해 다층 신경회로망으로서, 멀티 레이어 퍼셉트론 형태의 신경회로망이 사용되었다. 다층 신경회로망은 입력층과 출력층 사이에 하나 이상의 중간층이 존재하는 신경망으로 서, 이 중간층을 은닉층(Hidden Layer)이라 부른다. 또한, 다층 신경회로망은 각 층내의 연결과 출력층에서 입력층으로의 직접적인 연결을 존재하지 않는 전방향의 네트워크이다.
이러한, 다층 신경회로망은 구조에 따라 Feedforword와 Recurrent 형태가 있다. Feedforword의 경우는 입력이 은닉층과 출력층을 거쳐 출력되지만, Recurrent 형태의 경우는 출력층이나 은닉층의 출력이 입력으로 다시 귀환되어 입력되는 경우이다.
이와 같은 다층 신경회로망을 통해 게임캐릭터의 무작위적인 행동이 가능하게 되며, 대부분의 다층 신경회로망은 오류 역전파 학습 알고리즘을 사용하여 학습 시킬 수 있다.
하기 실시예에서는 멀티 레이어 퍼셉트론 형태의 신경회로망을 통하여 게임 캐릭터의 사용자 조작 패턴 학습 방식을 제시하도록 한다.
도 1은 본 발명의 바람직한 실시예에 따른 사용자 조작 패턴 학습 장치의 구조를 도시한 블록도이다.
도 1을 참조하면, 사용자 조작 패턴 학습 장치는 제어부(100), 키입력부(105), 저장부(110), 디스플레이부(115)를 포함하며, 여기서 제어부(100)는 신경회로망(102)과, 학습 알고리즘(104)을 더 포함한다.
제어부(100)에서는 저장부(110)에 저장된 게임소프트웨어를 구동하며, 게임 실행 중 저장이 필요한 데이터를 저장부(110)에 전달하여 저장되도록 한다.
키입력부(105)는 사용자가 입력한 키에 해당하는 명령신호를 제어부(100)로 전달하는 것으로서, 사용자가 조작하게 되는 키입력부(105)는 키보드, 마우스, 조이스틱, 핸들 등 컴퓨터와 게임기의 입력 수단으로 사용될 수 있는 모든 기기의 적용이 가능하다. 이때, 사용자는 제어부(100)를 통해 구동된 게임의 현재 상황을 디스플레이부(115)를 통해 인지하며, 이에 해당하는 게임 제어를 수행하게 된다.
즉, 게임 캐릭터의 위치 제어 및 행동제어 등을 키 입력부(105)를 통해 수행하게 되며, 이렇게 입력된 정보는 제어부(100)로 전달된다.
저장부(110)는 사용자 조작 패턴 학습 장치를 구동하는 응용프로그램 및 게임 프로그램들을 저장하는 것으로서, 제어부(100)의 요청에 의해 저장된 정보를 제어부(100)에 제공한다.
한편, 제어부(100)는 구동된 게임에서 사용자의 행동 예측을 위해 각 게임 상황에 대해 사용자가 입력된 정보를 학습하게 된다. 즉, 신경회로망(102)에 각각의 게임 상황을 입력으로 설정하고, 각 상황에 따른 사용자의 하드웨어 조작 패턴으로서, 키입력부(105)로부터 제어부(100)로 전달되는 키입력신호를 신경회로망(102)의 출력으로 설정한다. 이때, 신경회로망(102)은 위에서 제시한 멀티 레이어 퍼셉트론 형태의 신경회로망으로 구현된다.
이러한 게임 상황을 신경회로망에 입력으로 하고, 게임 상황에 따른 사용자의 입력패턴을 출력으로 처리하는 과정을 반복적으로 수행하며, 수행되는 각각의 상황에 대한 사용자의 조작 패턴을 학습 알고리즘(104)의 오류 역전파 알고리즘을 통해 학습을 수행하도록 제어한다.
멀티 레이어 퍼셉트론 형태의 신경회로망에 오류 역전파 알고리즘을 이용한 학습방법은, 오류값이 학습과정의 성능지수로 설정되어 이 오류 값이 최소화 되는 과정으로 구성되는 것으로서, 입력층의 각 유니트에 입력 데이터를 제시하면, 이 신호는 각 유니트에 변화되어 중간층에 전달되고 최종적으로 출력층으로 출력된다. 이 출력값과 원하는 출력값을 비교하여 그 차이를 감소시키는 방향으로 연결강도를 조정하고, 상위층에서 역전파하여 하위층에서는 이를 근거로 다시 자기층의 연결강도를 조절해가는 것이다.
다시 말해 네트워크는 입력층에 주어진 입력패턴이 출력층에 전파되면 변환 출력값을 목표값과 비교하여 네트워크에서 출력된 값이 목표값과 일치하는 경우는 학습이 일어나지 않는다. 그러나 일치하지 않는 경우는 얻어진 출력값과 목표값의 차이를 감소시키는 방향으로 네트워크의 연결강도를 조절하여 학습을 수행하는 것이다.
이를 통해 제어부(100)가 학습된 정보를 이용하여 게임 캐릭터의 제어를 수행하는 경우, 사용자와 유사한 행동을 수행하게 된다. 즉, 각각의 게임 상황에 대해, 신경회로망(102)은 그 당시 사용자에 의해 눌려졌던 키 값에 가까운 값을 출력하게 된다. 이는 사용자가 게임 진행 시 제어하는 게임 캐릭터와 유사한 행동을 수행할 수 있으며, 사용자의 예측된 행동에 대응되는 행동을 수행하는 것이 가능하므로, 사용자가 게임을 진행함에 따라 반감될 수 있는 반복적인 게임의 패턴을, 사용자의 패턴을 토대로 계속 학습하여 대응해 나가는 것이 가능하므로, 사용자의 흥미를 높일 수 있다.
도 2는 본 발명의 바람직한 실시예에 따라 게임 캐릭터가 사용자 조작 패턴을 학습하는 방식을 도시한 도면이다.
도 2를 참조하면, 멀티레이어 퍼셉트론 신경회로망(102)의 입력으로는 게임 상황이 설정된다. 그리고 출력으로는 사용자의 하드웨어 조작이 출력된다. 도 2에서 ni는 학습에 필요한 입력의 개수, no는 출력의 개수이다.
게임 상황은 다음 설명과 같이 입력된다. 예를 들어, 캐릭터의 위치가 학습에 중요한 정보가 된다면, 캐릭터의 위치 x, y 두 개의 입력이 필요하며, 각각 실수 값으로 입력된다. 여기서 게임 상황 입력의 개수는 학습에 필요한 데이터 개수에 따라 달라질 수 있다.
사용자의 하드웨어 조작 출력은 다음과 같이 설정된다. 예를 들어, 키보드 조작으로 수행하는 게임이라면, 해당 게임에서 필요로 하는 키보드 키의 개수가 no가 되고, no 개의 출력이 필요하다. 즉, 해당 게임에서 a, s, d, f 키를 사용한다면, 출력의 개수는 4가 되고, 특정 게임 상황에서 사용자에 의해 눌려진 키는 1로, 사용자에 의해 눌려지지 않은 나머지 키는 0으로 설정되어 일반적인 오류 역전파 알고리즘으로 학습한다.
이와 같이 학습한 후, 신경회로망을 이용하여 캐릭터의 행동을 제어하면, 즉, 특정 게임 상황을 입력하는 경우, 학습 당시에 눌려졌던 키는 1에 가까운 값을 출력하고, 나머지 키는 0에 가까운 값을 출력하게 되어, 학습 당시에 사용자에 의해 눌려졌던 키를 판별할 수 있으므로, 결과적으로는 사용자의 조작을 흉내낼 수 있게 되며, 이를 통해 사용자의 조작에 대응되는 행동을 수행하는 것이 가능하다. 이때, 사용자의 하드웨어 조작 출력은 키보드뿐만 아니라, 마우스, 조이스틱, 버튼, 핸들 등 컴퓨터나 게임기의 다양한 입력 수단을 모두 적용하는 것이 가능하다.
도 3은 본 발명의 바람직한 실시예에 따라 게임 캐릭터가 사용자 조작 패턴을 학습하는 절차를 도시한 흐름도이다.
도 3을 참조하면, 300단계에서 제어부(100)는 저장부(110)에 저장된 게임프로그램을 구동하고, 302단계에서 제어부(100)는 신경회로망(102)에 입력으로 게임 상황정보를 설정한다. 여기서 게임 상황정보는 게임 캐릭터의 상황 정보로서, 게임 캐릭터의 위치 정보, 또는 게임 캐릭터의 행동 제어를 위한 정보가 될 수 있다.
이후, 304단계에서 제어부(100)는 게임 캐릭터의 상황에 따라 사용자의 하드웨어 조작에 의해 입력되는 신호 즉, 키 입력부(105)로부터 키 입력신호를 전달받고, 전달받은 키 입력 신호를 신경회로망(102)의 출력으로 설정한다.
이와 같이 레이어 퍼셉트론 형태의 신경회로망(102)에 입력으로는 게임의 현재 상태를 설정하고, 출력으로는 사용자의 하드웨어 조작 정보를 설정하며, 게임의 현재 상태에서 조작하는 사용자의 하드웨어 조작 정보는 오류 역전파 알고리즘을 학습 알고리즘(104)으로 사용하여 학습한다. 이에 306단계에서는 신경 회로망(102)에 입력 설정된 각 게임 상황에 따른 사용자의 하드웨어 조작 패턴을 신경 회로망(102)의 출력으로 설정하여 학습을 수행함으로써, 이후 학습된 정보를 토대로 신경회로망(102)을 이용하여 캐릭터의 행동을 제어하면, 각 게임 상황에 대한 사용자의 조작과 어느 정도 유사하게 제어됨을 알 수 있다.
이를 통해, 사용자가 게임을 진행해 나아감에 따라 제어부(100)는 사용자의 조작 패턴을 학습하게 되고, 학습된 패턴을 토대로 신경회로망(102)을 통해 게임 캐릭터의 행동을 제어하게 되므로, 상대방 캐릭터의 행동은 사용자의 예측된 행동에 따라 다르게 행동하는 것이 가능하게 된다.
이에 사용자는 상대방의 행동을 예측할 수 없으며, 상대방의 행동에 따라 사용자가 다르게 행동하게 되더라도 이 또한 학습되므로 다음에 같은 게임상황에서 상대 캐릭터는 또 다른 행동을 수행하게 되는 것이다.
이상 설명한 바와 같이, 본 발명은 게임 캐릭터의 사용자 조작 패턴 학습을 위하여 멀티 레이어 퍼셉트론 형태의 신경회로망에서 게임 상황을 입력으로 하고, 사용자의 하드웨어 조작을 출력으로 설정한 후, 일반적인 오류 역전파 알고리즘을 이용하여 학습함으로써, 특정 게임 상황에서 사용자가 어떤 하드웨어 조작을 수행했는지 학습하고, 이와 같은 과정을 반복함으로써 다양한 게임 상황에 대한 사용자의 조작 패턴을 게임 캐릭터가 학습하게 한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (8)

  1. 게임 캐릭터의 사용자 조작 패턴을 학습하기 위한 방법으로서,
    게임 프로그램을 구동하는 과정과,
    구동된 상기 게임 프로그램의 게임 상황 정보를 멀티 레이어 퍼셉트론 구조의 신경회로망에 입력으로 설정하는 과정과,
    상기 게임 상황 정보에 대응하는 사용자의 하드웨어 조작을 입력받은 경우, 이를 상기 신경 회로망의 출력으로 설정하는 과정과,
    각각의 게임 상황 정보에 따라 입력되는 사용자의 하드웨어 조작 패턴을 오류 역전파 알고리즘을 이용하여 학습하는 과정
    을 포함하는 게임 캐릭터의 사용자 조작 패턴 학습 방법.
  2. 제 1항에 있어서,
    상기 방법은,
    상기 신경회로망을 이용한 게임 캐릭터의 행동 제어시 상기 학습을 통해 생성된 정보를 이용하여 제어하는 과정
    을 더 포함하는 것을 특징으로 하는 게임 캐릭터의 사용자 조작 패턴 학습 방법.
  3. 제 1항에 있어서,
    상기 하드웨어는,
    컴퓨터 또는 게임기의 입력 수단으로 사용되는 키보드, 마우스, 조이스틱, 버튼, 핸들 중 어느 하나 인 것을 특징으로 하는 게임 캐릭터의 사용자 조작 패턴 학습 방법.
  4. 제 1항에 있어서,
    상기 게임 상황정보는,
    게임 캐릭터의 위치 또는 게임 캐릭터의 행동제어 정보인 것을 특징으로 하는 게임 캐릭터의 사용자 조작 패턴 학습 방법.
  5. 게임 캐릭터의 사용자 조작 패턴을 학습하기 위한 장치로서,
    저장된 게임 프로그램 정보를 제어부로 전달하는 저장부와,
    게임 상황에 따른 사용자 키 조작 정보를 입력받아 상기 제어부로 전달하는 키 입력부와,
    상기 게임 프로그램을 구동하여, 구동된 게임의 상황 정보를 멀티 레이어 퍼셉트론 구조의 신경회로망에 입력으로 설정하고, 상기 게임 상황 정보에 대응하는 사용자의 키 조작 정보를 상기 키 입력부로부터 입력받은 경우, 이를 상기 신경 회로망의 출력으로 설정하고, 각각의 게임 상황 정보에 따라 입력되는 사용자의 하드웨어 조작 패턴을 오류 역전파 알고리즘을 이용하여 학습하는 상기 제어부와,
    상기 제어부로 전달된 신호를 디스플레이하는 디스플레이부
    를 포함하는 게임 캐릭터의 사용자 조작 패턴 학습 방법.
  6. 제 5항에 있어서,
    상기 제어부는,
    상기 신경회로망을 이용한 게임 캐릭터의 행동 제어시 상기 학습을 통해 생성된 정보를 이용하여 제어하는 것을 특징으로 하는 게임 캐릭터의 사용자 조작 패턴 학습 장치.
  7. 제 5항에 있어서,
    상기 키입력부는,
    컴퓨터 또는 게임기의 입력 수단으로 사용되는 키보드, 마우스, 조이스틱, 버튼, 핸들 중 어느 하나 인 것을 특징으로 하는 게임 캐릭터의 사용자 조작 패턴 학습 장치.
  8. 제 5항에 있어서,
    상기 게임 상황정보는,
    게임 캐릭터의 위치 또는 게임 캐릭터의 행동제어 정보인 것을 특징으로 하는 게임 캐릭터의 사용자 조작 패턴 학습 장치.
KR1020080017264A 2008-02-26 2008-02-26 게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치 KR20090092007A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080017264A KR20090092007A (ko) 2008-02-26 2008-02-26 게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080017264A KR20090092007A (ko) 2008-02-26 2008-02-26 게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20090092007A true KR20090092007A (ko) 2009-08-31

Family

ID=41209195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080017264A KR20090092007A (ko) 2008-02-26 2008-02-26 게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20090092007A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055339A (zh) * 2016-06-08 2016-10-26 天津联众逸动科技发展有限公司 二打一游戏中确定计算机玩家出牌策略的方法
KR20210003687A (ko) * 2019-07-02 2021-01-12 일렉트로닉 아트 아이엔씨. 비디오 게임에서 플레이어 게임플레이를 모방하기 위한 커스텀 모델
US11369880B2 (en) 2016-03-08 2022-06-28 Electronic Arts Inc. Dynamic difficulty adjustment
US11406899B2 (en) 2019-03-27 2022-08-09 Electronic Arts Inc. Virtual character generation from image or video data
US11413539B2 (en) 2017-02-28 2022-08-16 Electronic Arts Inc. Realtime dynamic modification and optimization of gameplay parameters within a video game application
US11458399B2 (en) 2016-12-30 2022-10-04 Electronic Arts Inc. Systems and methods for automatically measuring a video game difficulty
US11532172B2 (en) 2018-06-13 2022-12-20 Electronic Arts Inc. Enhanced training of machine learning systems based on automatically generated realistic gameplay information

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11369880B2 (en) 2016-03-08 2022-06-28 Electronic Arts Inc. Dynamic difficulty adjustment
CN106055339A (zh) * 2016-06-08 2016-10-26 天津联众逸动科技发展有限公司 二打一游戏中确定计算机玩家出牌策略的方法
US11458399B2 (en) 2016-12-30 2022-10-04 Electronic Arts Inc. Systems and methods for automatically measuring a video game difficulty
US11413539B2 (en) 2017-02-28 2022-08-16 Electronic Arts Inc. Realtime dynamic modification and optimization of gameplay parameters within a video game application
US11532172B2 (en) 2018-06-13 2022-12-20 Electronic Arts Inc. Enhanced training of machine learning systems based on automatically generated realistic gameplay information
US11406899B2 (en) 2019-03-27 2022-08-09 Electronic Arts Inc. Virtual character generation from image or video data
KR20210003687A (ko) * 2019-07-02 2021-01-12 일렉트로닉 아트 아이엔씨. 비디오 게임에서 플레이어 게임플레이를 모방하기 위한 커스텀 모델

Similar Documents

Publication Publication Date Title
Yannakakis et al. Artificial intelligence and games
Pan et al. Multisource transfer double DQN based on actor learning
Ash The interface envelope: Gaming, technology, power
Champandard AI game development: Synthetic creatures with learning and reactive behaviors
Liapis et al. Orchestrating game generation
KR20210003687A (ko) 비디오 게임에서 플레이어 게임플레이를 모방하기 위한 커스텀 모델
KR20090092007A (ko) 게임 캐릭터의 사용자 조작 패턴 학습 방법 및 장치
Bowling et al. Machine learning and games
WO2006014560A2 (en) Real time context learning by software agents
JP2023502860A (ja) 情報処理方法、装置、コンピュータプログラム及び電子装置
US11344808B2 (en) Systems and methods for dynamically generating and modulating music based on gaming events, player profiles and/or player reactions
Bown Player Responses to a Live Algorithm: Conceptualising computational creativity without recourse to human comparisons?
CN109154948A (zh) 提供内容
Falandays et al. A potential mechanism for Gibsonian resonance: Behavioral entrainment emerges from local homeostasis in an unsupervised reservoir network
KR102617544B1 (ko) 사용자 체험을 관리하기 위한 시스템 및 그 방법
Buckland Source code's video game logic
KR20080052940A (ko) 게임 캐릭터 제어방법
Ensslin Video games as complex narratives and embodied metalepsis
Wittmann et al. What do games teach us about designing effective human-AI cooperation?-A systematic literature review and thematic synthesis on design patterns of non-player characters.
KR101108987B1 (ko) 공간 분할을 이용한 게임 캐릭터의 패턴 학습 장치 및 방법
Yuan Towards generalized accessibility of video games for the visually impaired
KR20080051328A (ko) 게임 캐릭터 형성방법
Kanervisto Advances in deep learning for playing video games
Karth et al. Generating playable rpg roms for the game boy
Yannakakis et al. Game AI panorama

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application