KR20080106898A - 상대적 스킬의 표시를 결정하는 방법, 장치 및 컴퓨터 프로그램 - Google Patents

상대적 스킬의 표시를 결정하는 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20080106898A
KR20080106898A KR1020087019513A KR20087019513A KR20080106898A KR 20080106898 A KR20080106898 A KR 20080106898A KR 1020087019513 A KR1020087019513 A KR 1020087019513A KR 20087019513 A KR20087019513 A KR 20087019513A KR 20080106898 A KR20080106898 A KR 20080106898A
Authority
KR
South Korea
Prior art keywords
player
players
factor graph
game
nodes
Prior art date
Application number
KR1020087019513A
Other languages
English (en)
Other versions
KR101312874B1 (ko
Inventor
토마스 민카
토레 케이에이치 그래펠
랄프 헤르브리히
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20080106898A publication Critical patent/KR20080106898A/ko
Application granted granted Critical
Publication of KR101312874B1 publication Critical patent/KR101312874B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0616—Means for conducting or scheduling competition, league, tournaments or rankings

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

컴퓨터 게임, 체스, 테니스 및 임의의 다른 적절한 유형의 게임과 같은 게임의 플레이어들의 상대적 스킬을 결정하기 위한 방법을 제공하려는 바람이 있다. 이전의 베이지안 스코어링 시스템(Bayesian Scoring system)이 Xbox Live(상표)에 구현되며 현재 상표명 TrueSkill(상표)로 상업적으로 입수가능하다. 본 출원인은 기존의 작업을 토대로 하고, 프로세싱 시간이 두드러지게 감소될 수 있도록 하기 위해 새로운 계산의 방법을 사용한다. 메시지 전달 기술들은, 복수의 플레이어들이 있는 복수의 팀들이 있는 경우에서도 업데이트된 스킬 신뢰의 계산이 신속하게 획득될 수 있도록 구성된다.
게임, 스킬 레벨, 플레이어, 팩터 그래프, 통계치, 랭킹, 상대적 스킬

Description

상대적 스킬의 표시를 결정하는 방법, 장치 및 컴퓨터 프로그램{DETERMINING RELATIVE SKILLS OF PLAYERS}
본 발명은 일반적으로 컴퓨터 게임 또는 임의의 다른 종류의 게임과 같은 게임의 플레이어들의 상대적 스킬(relative skill)을 결정하는 것에 관한 것이다. 구체적으로, 본 발명은, 플레이어들이 관여하는 복수의 게임의 결과에 기초하여, 베이지안 통계 기술을 이용하여 그 플레이어들의 랭킹을 정하는 것에 관한 것이지만, 이에 한정되지는 않는다.
컴퓨터 게임, 체스, 테니스 및 임의의 다른 종류의 게임과 같은 게임들의 플레이어들의 상대적 스킬을 결정할 수 있는 방식을 제공하고자 하는 바람이 있다. 이것은, 상대적 스킬의 표시(indication)가 가능한 한 정확하면서도 최종 사용자(즉, 게임 플레이어)에 의해 이해되고 받아들여질 수 있게 되는 방식으로 이루어질 필요가 있다. 게다가, 많은 플레이어가 관여하는 게임의 경우에서도, 또한 각각 많은 회원을 갖는 많은 플레이어 팀의 경우에서도, 상대적 스킬이 신속하게 결정될 필요가 있다. 그러한 상황들에서는, 전형적으로 계산상의 복잡도가 현저하게 증가하기 때문에, 상대적 스킬의 결정에는 특히 문제가 많게 된다. 플레이어는 인간 플레이어일 수도 있고 컴퓨터 프로그램일 수도 있다.
본 출원인이 2005년 1월 24일에 출원한 이전의 미국 특허 출원인 "Bayesian Scoring"에는, 게임의 결과에 기초하여 플레이어의 스킬의 표시를 결정하거나 그 랭킹을 정하는 시스템이 기술되어 있다. 스킬 레벨은 게임 환경에서의 플레이어의 진행상황(progress) 및/또는 지위(standing)를 추적하기 위해 사용될 수 있고/있거나, 장래의 게임을 위해 플레이어들을 서로 매치시키는 데에 사용될 수 있다. 본 출원인은 플레이어의 상대적 스킬의 표시를 결정하기 위해 베이지안 통계 기술을 사용하는 시스템을 기술하였다. 본 발명은 본 출원인의 이전의 작업에 기초하고 그를 확장하며, 구체적으로는 계산 시간이 단축될 수 있게 하는 새로운 계산 방법을 제공한다.
게임들에 대하여, 통계적 방식을 사용하는 랭킹 시스템이 이전에 제안되어 왔다. Arpad Elo에 의해 고안된 ELO 랭킹 시스템은 2-플레이어 게임에만 적합하다. 그러나, 매치(match)당 2보다 많은 플레이어를 갖는 게임 모드에서도 효과를 발휘하는 시스템을 제공할 것이 요구된다.
본 발명은 게임의 플레이어들의 상대적 스킬의 표시를 결정하기 위한 것으로서, 위에서 언급한 문제점들 중 하나 이상을 극복하거나 적어도 완화시킨 개선된 방법 및 장치를 제공하는 것을 목적으로 한다.
<발명의 개요>
이하에서는, 독자의 기본적인 이해를 제공하기 위하여, 본 명세서의 간략한 개요를 제시한다. 본 개요는 본 발명의 광범위한 개괄이 아니며, 본 발명의 핵심적인/중요한 구성요소를 식별하거나 본 발명의 범위를 정하기 위한 것도 아니다. 본 개요의 유일한 목적은 이하에 제시될 상세한 설명의 도입부로서, 본 명세서에 논의되는 일부 개념들을 간략화된 형태로 제시하는 것이다.
본 예는 게임의 적어도 제1 플레이어 및 제2 플레이어의 상대적 스킬(relative skill)의 표시를, 그 플레이어들이 관여하는 하나 이상의 게임의 결과에 기초하여 결정하는 방법을 제공한다. 이 방법은,
○ 각각의 플레이어에 대하여, 그 플레이어의 스킬에 관한 신뢰(belief)에 연관된 확률 분포를 기술하는 통계(statistics)에 액세스하는 단계,
○ 게임들 중 하나의 결과에 관한 정보를 수신하는 단계,
○ 수신된 결과에 관한 정보를 이용하여, 노드들을 포함하는 팩터 그래프(factor graph)를 형성하고, 통계를 이용하여 노드들 중 적어도 일부를 인스턴스화하는 단계, 및
○ 상기 팩터 그래프에 대하여 메시지 전달 기술(message passing techniques)을 이용하여, 각각의 플레이어에 연관된 통계를 갱신하는 단계
를 포함한다.
이에 대응하는 장치가 제공된다. 이 장치는, 게임의 적어도 제1 플레이어 및 제2 플레이어의 상대적 스킬의 표시를, 그 플레이어들이 관여하는 하나 이상의 게임의 결과에 기초하여 결정하기 위한 것으로서,
○ 각각의 플레이어에 대하여, 그 플레이어의 스킬에 관한 신뢰에 연관된 확률 분포를 기술하는 통계에 액세스하도록 구성된 입력
○ 게임들 중 하나의 결과에 관한 정보를 수신하도록 구성된 입력,
○ 수신된 결과에 관한 정보를 이용하여, 노드들을 포함하는 팩터 그래프를 형성하고, 통계를 이용하여 노드들 중 적어도 일부를 인스턴스화하기 위한 수단, 및
○ 팩터 그래프에 대하여 메시지 전달 기술을 이용하여, 각각의 플레이어에 연관된 통계를 갱신하도록 구성된 하나 이상의 프로세서
를 포함한다.
통계는 각각의 확률 분포를 기술하는 평균 및 분산을 적어도 포함하는 것이 바람직하다.
확률 분포는 가우시안(Gaussian)인 것이 바람직하다.
팩터 그래프는 비순환적(acyclic)인 것이 바람직하다.
팩터 그래프는 2가지 종류의 노드로 구성되며, 2 부류로 분할되는(bi-partite) 것이 바람직하다.
팩터 그래프에 대하여 적용되는 메시지 전달 기술은 실질적으로 베이지안 추론 프로세스(Bayesian inference process)를 수행하도록 구성되는 것이 유리하다.
바람직한 예에서, 팩터 그래프는 복수의 노드 그룹을 포함하고, 각각의 그룹은 특정 플레이어와 연관지어져 있으며, 직렬로 링크된 노드들을 포함한다. 다른 예에서, 팩터 그래프는 복수의 제2 노드 그룹을 포함하고, 각각의 제2 그룹은 플레이어들의 팀과 연관지어져 있다.
일례에서, 본 방법은 한 게임의 3 이상의 플레이어의 상대적 스킬의 표시를 결정하기 위한 것이다.
일부 예에서, 게임의 결과에 관한 정보는, 각각의 플레이어에 대하여, 그 플레이어가 게임에 참여한 시간의 길이의 표시를 더 포함하고, 통계는 그 정보에 기초하여 갱신된다.
일부 예에서, 게임의 결과에 관한 정보는 플레이어들의 부분적인 랭킹을 포함하고, 부분적인 랭킹은 복수의 다른 플레이어에 비교된 적어도 한 플레이어의 랭킹을 포함하고 복수의 다른 플레이어의 랭킹 정보는 포함하지 않으며, 상기 팩터 그래프는 랭킹된 플레이어에 연관된 노드와 랭킹되지 않은 플레이어들 각각에 연관된 노드 간에 링크가 생성되도록 형성된다.
본 예들은 컴퓨터 상에서 실행될 때, 기재된 방법 중 임의의 것의 단계들 모두를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램을 포함한다. 컴퓨터 프로그램은 컴퓨터 판독가능 매체 상에서 구현될 수 있다.
이 방법은, 저장 매체 상의 기계 판독가능한 형태로 된 소프트웨어에 의해 수행될 수 있다. 이 방법의 단계들이 임의의 적절한 순서로 또는 동시에 수행될 수 있도록, 소프트웨어는 병렬 프로세서 또는 직렬 프로세서에서의 실행에 적합하게 되어 있을 수 있다.
이것은, 소프트웨어가 개별적으로 거래가능한 가치있는 상품일 수 있음을 인정하는 것이다. "덤(dumb)" 또는 표준 하드웨어 상에서 실행되거나 그를 제어하여 원하는 기능들을 수행하는 소프트웨어를 포괄하도록 의도된다 (그러므로, 소프트웨어는 본질적으로 레지스터의 기능들을 정의하며, 따라서 표준 하드웨어에 결합되기 전이라도 레지스터라고 칭할 수 있다). 마찬가지의 이유로, 실리콘 칩을 설계하기 위해 사용되거나 범용 프로그래머블 칩을 구성하기 위해 사용되는 것과 같은 HDL(hardware description language)과 같이, 하드웨어의 구성을 "기술"하거나 정의하여, 원하는 기능을 수행하게 하는 소프트웨어를 포괄하도록 의도된다.
부수적인 특징들 중 다수는 첨부 도면들과 연계하여 이하의 상세한 설명을 참조하면 더 쉽게 이해될 수 있을 것이다.
본 발명은 첨부 도면들을 참조하여 이하의 상세한 설명으로부터 더 잘 이해될 것이다.
도 1은 스킬 신뢰(skill belief)를 나타내는 데에 이용된 예시적인 가우시안 분포.
도 2는 게임이 승패(win and loss)로 끝나는 경우 무승부 마진(draw margin) ε의 다양한 값들에 대한 함수 V의 플롯.
도 3은 게임이 승패로 끝나는 경우 무승부 마진ε의 다양한 값들에 대한 함수 W의 플롯.
도 4는 게임이 무승부로 끝나는 경우 무승부 마진ε의 다양한 값들에 대한 함수 V의 플롯.
도 5는 게임이 무승부로 끝나는 경우 무승부 마진ε의 다양한 값들에 대한 함수 W의 플롯.
도 6은 게임의 플레이어들의 상대적인 스킬의 표시를 결정하는 방법의 흐름 도.
도 7은 4개의 팀을 갖는 게임에 대한 팩터 그래프(factor graph)의 일 예.
도 8은 팩터 그래프의 순위 노드(order node)와 연관된 프로세스의 적용 전후의 가우시안 신뢰 분포를 도시하는 도면.
도 9는 화살표들이 스케쥴링(scheduling)을 나타내는 도 7의 팩터 그래프.
도 10-18은 예시적인 팩터 그래프들.
도 19는 부분적인 랭킹(partial ranking)을 위해 수정된 도 7의 팩터 그래프.
도 20은 게임의 플레이어들의 상대적 스킬의 표시를 결정하기 위한 장치의 개략도.
첨부 도면들에서 동일한 부분들을 나타내기 위해 동일한 참조부호들이 사용된다.
첨부된 도면들과 함께 후술된 상세한 설명부는 본 발명의 예들(examples)을 설명하기 위한 것이며, 본 발명의 예가 구성 또는 이용될 수 있는 유일한 형태들을 나타내기 위한 것은 아니다. 본 상세한 설명부는 본 발명의 예의 기능들 및 상기 예를 구성하고 동작시키기 위한 단계들의 시퀀스를 설명한다. 그러나, 동일하거나 균등한 기능들 및 시퀀스들이 다른 예들에 의해 달성될 수 있다.
본 출원인의 이전의 베이지안 스코어링 시스템(Bayesian Scoring system)은 Xbox Live(상표)로 구현되며 현재는 상품명 TrueSkill(상표)로 상용된다. 본 발명 은 본 출원인의 이전의 작업을 확장 및 증강하고 처리 시간(processing times)을 크게 감소시킬 수 있는 새로운 계산 방법을 이용한다. 본 발명의 이해를 돕기 위해 현재 이용 가능한 TrueSkill 시스템의 요약이 이제부터 제공된다.
대부분의 게임들은 게임의 목표들이 만족되었는지 여부를 판정하기 위한 메트릭(metric)을 그들의 루트(root)에 갖는다. 이것은, 둘 이상의 플레이어들을 포함하는 매치들의 경우("멀티플레이어 매치들"), 종종 매치 참가자들의 스킬들의 랭킹 방법들을 포함한다. 이것은 개별 매치들에서 "승리"하고, 전체적인 스킬 레벨이 더 넓은 커뮤니티에서 인식되고 인정되도록 하기 위하여, 플레이어들 간의 경쟁을 장려한다. 플레이어들은 그들이 아는 사람과 비교하여 또는 그들이 결코 플레이해본 적 없는 잠재적인 적들과 비교하여 자신의 스킬들을 평가하여, 흥미로운 매치들을 준비할 수 있기를 원할 수 있다. 참가 플레이어들에 대하여 승리할 가능성(chances)이 균형을 잃고 있다면 매치는 "흥미 없는(uninteresting)" 것으로 칭한다. 승리할 수 없거나 또는 패배할 수 없는 매치를 즐기는 사람은 거의 없기 때문이다. 반대로, 임의의 참가자가 승리할 수 있는 가능성이 비교적 균등한 매치들은 "흥미 있는(interesting)" 매치들로 간주된다.
TrueSkill 랭킹 시스템은 플레이어들의 랭킹을 정하기 위하여 베이지안 추론(Bayesian inference)으로 호칭되는 스킬을 이용하는 스킬 기반(skill-based) 랭킹 시스템이다.
이 시스템은, 각각의 플레이어에 대하여 단일의 고정된 스킬을 가정하지 않고, 평균(mean) μ 및 표준 편차(standard deviation) σ에 의해 고유하게 기술되 는 벨-커브 신뢰 분포(bell-curve belief distribution)(가우시안으로도 호칭함)를 사용하여 플레이어의 신뢰를 특징짓는다. 예시적인 신뢰 분포가 도 1에 도시된다. 소정 범위 내의 스킬 신뢰 분포 곡선 아래의 영역은 플레이어의 스킬이 그 범위 내에 있을 것이라는 신뢰에 대응함에 주목하자. 예를 들어, 도 1의 빗금친 영역은 플레이어의 스킬이 레벨 15와 20 사이에 있다는 신뢰를 나타낸다. 시스템이 플레이어의 스킬에 대하여 더 많이 학습함에 따라, σ는 더 작아지는 경향이 있어, 그 플레이어의 스킬을 보다 더 엄격하게 일괄하여 다룬다(more tightly bracketing). μ 및 σ값들에 대하여 생각하는 다른 방법은 그들의 스킬의 평가(assessment)와 연관된 "불확실성" 및 "평균 플레이어 스킬 신뢰"로 간주하는 것이다.
TrueSkill 랭킹 시스템이 가우시안 신뢰 분포를 이용하여 플레이어의 스킬을 특징 짓기 때문에, 모든 평균 스킬들(mean skills)(즉,μ들)은 항상 초기 σ의 ±4배 이내에 있을 것이다(보다 정확하게는 99.99%의 확률로).
TrueSkill 랭킹 시스템은 초기 불확실성을 1로 하여 모든 계산들을 수행할 수 있는데, 그 이유는 그렇게 하면 μ 및 σ는 단순히 그들을 승산함으로써 임의의 다른 범위로 스케일링될 수 있기 때문이다. 예를 들어, 모든 계산들이 초기 μ를 3으로 하고 σ를 1로 하여 이루어지는 것을 가정한다. 플레이어의 스킬을 50 "레벨들" 중 하나로 표현하기를 원한다면, μ 및 σ에 50/6=8.3을 승산하는데, 그 이유는 거의 모든 μ들은 초기 σ의 ±3배 이내에서 발생하기 때문이다.
두 플레이어들의 σ값이 유사하다고 가정할 때, 직관적으로 그들의 μ값들 간의 차이가 클수록 , 더 높은 μ값을 갖는 플레이어가 게임을 더 잘 수행할 가능 성(chance)이 더 커진다. 이 원리는 TrueSkill 랭킹 시스템에서 유효하다. 그러나, 이것은 더 큰 μ들을 갖는 플레이어들이 항상 승리할 것으로 예상되는 것을 의미하지는 않으며, 그들이 승리할 가능성은 더 작은 μ들을 갖는 플레이어들이 승리할 가능성보다 높다는 것을 의미하는 것이다. TrueSkill 랭킹 시스템은 단일의 매치에서의 성과(performance)는 플레이어의 스킬 주위에서(around the skill of the player) 변화하고 있으며, 게임 결과(게임에 참가하는 모든 플레이어들의 상대적 랭킹)는 그들의 성과에 의해 결정되는 것으로 가정한다. 따라서, TrueSkill 랭킹 시스템에서의 플레이어의 스킬은 많은 수의 게임들에 걸친 플레이어의 평균 성과로서 간주될 수 있다. 스킬을 중심으로 한 성과의 변화는, 원칙적으로, TrueSkill 랭킹 시스템의 구성 가능한 파라미터이다.
TrueSkill 랭킹 시스템은 게임 결과(모든 팀들의 상대적인 랭킹)에만 기초하여 μ 및 σ를 갱신할 것이며, 상기 시스템은 단순히 결과가 플레이어의 스킬 주위에서 변화하는 어떤 미관찰 성과에 기인하는 것으로 가정한다. 누군가 포인트 기반 게임을 하고 있고 승자가 다른 플레이어들을 열 배의 포인트 차이로 이기는 경우, 그 플레이어의 승리는 단지 1 포인트 차이로 승리한 경우와 차이 없이 득점될 것이다. 모든 매치는, 각각의 플레이어의 스킬 신뢰에 대한 더 많은 정보를 시스템에 제공하며, 이에 의해 보통은 σ가 낮아진다.
새로운 게임 결과에 대하여 모든 참가 플레이어들의 새로운 스킬 신뢰들을 결정하기 시작하기 전에, TrueSkill 랭킹 시스템은 각각의 플레이어의 스킬은 각각의 플레이어에 의해 플레이된 최종 게임과 현재 게임 사이에서 약간 변화할 수 있 다고 가정한다. 그러한 가정을 하는 것의 수학적 결과(mathematical consequence)는 스킬 불확실성(skill uncertainty) σ가 약간 증가될 것이라는 것이며, 그것의 양은, 원칙적으로, TrueSkill 랭킹 시스템의 구성 가능한 파라미터이다. 이 파라미터가 TrueSkill 시스템으로 하여금 시간에 따른 게이머들의 스킬 향상들을 추적하게 하고 스킬 불확실성 σ가 결코 0까지 감소하지 않을 것("모멘텀 유지")을 보장하는 것이다.
새로운 게임 결과에 대하여 모든 참가 플레이어들의 새로운 스킬 신뢰들을 결정하기 위하여, TrueSkill 랭킹 시스템은 참가 플레이어들의 주어진 스킬들에 대하여 관찰된 게임 결과의 확률을 결정하고 그것을 대응하는 스킬 신뢰들의 확률로 가중시킬 필요가 있다. 이것은 모든 가능한 성과들(그들의 확률에 의해 가중됨)에 걸쳐 평균을 구하고 그 성과들로부터 게임 결과를 도출함으로써 이루어지는데, 즉, 가장 높은 성과를 갖는 플레이어가 승자가 되고, 두 번째 높은 성과를 갖는 플레이어가 2위가 되는 것, 등이다. 두 플레이어들의 성과들이 서로 매우 근접하다면, TrueSkill 랭킹 시스템은 이 두 플레이어들 간의 결과를 무승부로 간주한다. TrueSkill 랭킹 시스템에 따르면, 주어진 리그에서 무승부를 규정하는 마진이 클수록, 무승부가 발생하기가 더 쉽다. 이 마진의 사이즈는 TrueSkill 랭킹 시스템의 구성 가능한 파라미터이며 게임 모드에 기초하여 조절된다. 예를 들면, 프로젝트 고담 레이싱(Project Gotham Racing) 3(상표)에서의 거리 레이스는 결코 무승부로 끝날 수 없는 한편(따라서 파라미터가 0으로 설정됨) 퍼펙트 다크 제로(Perfect Dark Zero)(상표)에서의 Capture-the-Flag 게임은 쉽게 무승부로 끝날 수 있다.
상기 가중 기술(weighting technique)(베이스(Bayes)의 법칙에 기초)에 의하여, 시스템은 게임에 참가하는 모든 플레이어에 대한 새로운 스킬 신뢰에 도달한다. 이 스킬 신뢰들은 더 이상 가우시안이 아니다. 따라서, TrueSkill 랭킹 시스템은 최적의 가우시안 근사(Gaussian approximation)를 결정한다. 결과적으로, 주어진 플레이어들의 μ값들은 그들이 능가한 각각의 적(opponent)에 대하여 증가하고, 그들이 패배한 각각의 적에 대하여 감소한다.
TrueSkill 랭킹 시스템 업데이트의 가장 간단한 경우는 2인 매치이다. μ 및 σ값들이 각각 (μA, σA) 및 (μB, σB)인 플레이어들 A(lice) 및 B(ob)을 가정한다. 게임이 종료되면, 업데이트 알고리즘은 승자(Alice 또는 Bob) 및 패자(Bob 또는 Alice)를 결정하고 다음의 업데이트 식들을 적용한다.
Figure 112008056987535-PCT00001
이 식들에서, 유일하게 알려지지 않은 것은
Figure 112008056987535-PCT00002
인데, 이것은 각각의 플레이어의 스킬 주위의 성과의 분산(variance)이다. 더욱이,ε은 게임 모드에 의존하는 상기의 무승부 마진이다. 함수
Figure 112008056987535-PCT00003
및
Figure 112008056987535-PCT00004
는 게임이 승패로 끝나면
Figure 112008056987535-PCT00005
로 주어지고,
게임이 무승부로 종료하면
Figure 112008056987535-PCT00006
로 주어진다. 심볼들 N 및 Φ는 각각 가우시안 분포 함수의 밀도 및 가우시안의 누적 분포 함수를 나타낸다. 심볼들 t 및 α는 단순히 함수들에 대한 인수들(arguments)이다. 이 함수들을 평가하기 위하여 Press et al., Numerical Recipes in C: the Art of Scientific Computing(2d. ed.), Cambridge, Cambridge University Press, ISBN-0-521-43108-5에 개시된 것들과 같은 임의의 적절한 수치적 또는 분석적 방법들이 이용될 수 있다.
Figure 112008056987535-PCT00007
의 값들을 변화시키기 위하여, 수치 적분(numerical integration)을 이용하여 획득된 이 함수들의 플롯들이 도 2 내지 5에 주어진다.
이들 업데이트 수식들에 대한 몇 가지 관찰 결과들이 있다.
● ELO 시스템과 유사하게, 평균 스킬 업데이트 식(mean skill update equation)에서 승자는 평균 스킬에 가산된
Figure 112008056987535-PCT00008
의 배수를 획득하고 패자는 평균 스킬에서 감산된
Figure 112008056987535-PCT00009
의 배수를 획득한다. 가중 팩터들(weighting factors)은 불확실성들의 총합에 대한 승자/패자의 불 확실성에 대략적으로 비례한다(
Figure 112008056987535-PCT00010
은 성과가 스킬 주위에서 변동하는 것에 기인한 불확실성이며
Figure 112008056987535-PCT00011
는 그들의 진정한 스킬들(true skills)에 대한 불확실성이다). 따라서, 평균 스킬에 대한 TrueSkill 랭킹 시스템의 업데이트 식이 제로섬(zero sum)으로 되는 것이 보장되지 않는 것을 주목한다.
● 양 플레이어들의 불확실성(승리/패배/무승부와 무관함)은
팩터
Figure 112008056987535-PCT00012
Figure 112008056987535-PCT00013
만큼 감소될 것이다. 다시, 더 큰 불확실성의 플레이어는 더 큰 감소를 얻는다.
● 게임 결과가 의외의 것이 아니었다면, 평균 스킬의 변화
Figure 112008056987535-PCT00014
, 및 불확실성의 감소 팩터
Figure 112008056987535-PCT00015
Figure 112008056987535-PCT00016
는 0에 가깝다.
○ 승패(Win/Loss) 승리자가 전체 불확실성에 비하여 훨씬 더 큰 평균 스킬을 가졌다면(따라서,
Figure 112008056987535-PCT00017
) 승리는 승리자에게 여분의 평균 스킬 포인트들(extra mean skill points)을 얻게 해주거나 임의의 불확실성을 제거할 수 없다. 게임 결과가 의외의 것이었다면 반대가 성립하는데, 즉 승리자가 더 작은 평균 스킬을 가졌다면(
Figure 112008056987535-PCT00018
),
Figure 112008056987535-PCT00019
에 비례하는 평균 포인트들은 승자/패자에/로부터 가산/감산된다.
○ 무승부(Draw) 양 플레이어가 비슷한 평균 스킬을 가졌다면(따라서
Figure 112008056987535-PCT00020
) 두 플레이어들은 이미 서로 충분히 가까운 것이며 평균 스킬 포인트 업데이트가 이루어질 필요가 없으므로, 불확실성은 감소되지 않는다. 그러나, 게임에 앞서 TrueSkill 랭킹 시스템에 의해 한 플레이어가 훨씬 더 강한 것으로 생각되었다면(즉,
Figure 112008056987535-PCT00021
), 그의 평균 스킬은 감소될 것이고 다른 플레이어의 평균 스킬은 증가될 것이며, 이는 사실상 그들의 두 평균 스킬을 서로 더 가깝게 한다.
팀 매치의 경우에, 팀의 스킬은 플레이어들의 스킬들의 함수인 것으로 가정된다. 바람직한 실시예에서, 이 함수는 합(sum)이다. 알고리즘은 2개 팀의 스킬들의 합을 결정하고 상술한 2개의 식을 사용하는데, 여기에서
Figure 112008056987535-PCT00022
및
Figure 112008056987535-PCT00023
는 각각 승리 팀 및 패배 팀의 평균 스킬 및 스킬 분산이다.
2개보다 많은 팀에 대한 업데이트 식은 수치 적분을 필요로 한다. 이 경우에, TrueSkill 랭킹 시스템은 이웃하는 랭킹에 있는 모든 팀들 간에 (즉, 첫번째 팀 대 두번째 팀, 두번째 팀 대 세번째 팀 등에) 2개의 팀 업데이트 식을 반복한다. V 및 W 함수에 필요한 수치 적분에 기인하여 계산 복잡도는 2개보다 많은 팀에 대하여는 3차원으로(cubically) 증가한다. 본 발명에서는, 복수의 팀 상황에 요구되는 계산을 감소시키기 위하여 메시지 전달 기술과 함께 팩터 그래프를 이용함으로써, 이를 다룬다.
도 6에서, 게임 플레이어들의 상대적인 스킬의 표시를 결정하기 위한 본 방법의 예가 설명된다. 본 방법은, 각각의 플레이에 대하여, 그 플레이어의 스킬에 대한 우리의 신뢰를 그 자체가 기술하는 확률 분포를 기술하는 통계(statistics)에 액세스하는 것(도 6의 박스 60 참조)을 포함한 것이다. 바람직한 실시예에서 스킬 신뢰를 나타내기 위하여 일차원 가우시안 분포(Gaussian distribution)를 사용한다. 예를 들어, 도 1은 앞서 설명한 가우시안 분포의 이러한 예를 도시한다. 가우시안 분포를 사용하면, 이러한 분포가 앞서 설명한 평균 및 표준 편차라는 2개의 통계에 의해 고유하게 표현될 수 있다는 이점을 얻는다. 또한, 2개의 가우시안 랜덤 변수의 합 자체가 계산을 단순화시킬 수 있게 하는 가우시안 랜덤 변수이다. 그러나, 스킬 신뢰를 나타내기 위하여 가우시안 분포를 사용하는 것이 필수적인 것은 아니다.
플레이어가 전에 플레이한 적이 있고, 그 플레이어에 대한 스킬 정보가 저장되어 있다면, 그 정보가 액세스된다. 새로운 플레이어의 경우에, 예를 들어 초기의 μ가 3이고, σ가 1인 관련 디폴트 통계를 갖는 디폴트 신뢰 분포를 사용한다. 임의의 적절한 디폴트 신뢰 분포가 사용된다.
게임 결과에 대한 정보가 획득되며(도 6의 박스 65 참조), 이는 통계와 함께 팩터 그래프(박스 61 참조)를 형성하는 데 이용된다. 팩터 그래프는 특정 플레이어들과 연관된 노드들을 포함하며, 그 노드들은 임의의 팀들 및 게임 결과에 기초하여 정렬된다(ordered). 팩터 그래프의 어떤 노드들은 액세스된 통계 정보로 인스턴스화된다(박스 62 참조). 그 후에, 베이지안 추론(Bayesian Inference)을 이용하여 통계를 업데이트하기 위하여 팩터 그래프에 대해 메시지 전달이 수행된다(박스 63 참조). 결과적으로 업데이트된 통계는 플레이어들의 상대적인 스킬의 신 뢰를 나타내고(박스 64 참조), 프로세스는 이후의 게임들에 대하여 반복될 수 있다.
팩터 그래프를 형성하는 프로세스에 대한 보다 상세한 사항은 도 7을 참조하여 이하에 설명된다. 팩터 그래프는 링크들(71)에 의해 연결된 노드들(70)을 포함한다. 이러한 노드들은 변수 노드들(원) 또는 팩터 노드들(사각형) 중 하나이다. 변수 노드들은 저장 위치를 나타내고 팩터 노드들은 계산 유닛들을 나타낸다. 팩터 노드들은 이후 설명될 계산 룰에 따라 그들의 이웃하는 변수 노드들로/로부터 정보를 기입 및 판독한다.
각각의 플레이어는 노드들의 세트에 연결된 이들의 스킬에 대한 변수 노드에 의해 나타내어지며, 노드들의 세트는 특정 게임에서 이들의 스킬 및 이들의 성과(performance)에 관한 것이다. 도 7에서, 이 노드들은 각각의 플레이어에 대하여 단일 열(single column)로 도시되고, 동일한 팀 상의 플레이어들은 인접한 열들에 노드들을 갖는다. 도 7에 도시된 예에서, 4개의 팀이 나타내어지며, 승리 팀은 단일 플레이어를 가지며 페이지의 좌측 상의 열(72)에 의해 나타내어진다. 2위 팀(73)은 3명의 플레이어들을 포함하고, 3위 팀(74)은 2명의 플레이어들을 포함하고 최하위 팀(75)은 4명의 플레이어들을 포함한다.
도 7에 도시한 바와 같이, 팩터 그래프는 바람직하게는 비순환적이다. 팩터 그래프는 바람직하게는 2 타입의 노드들을, 즉 변수 노드들 및 팩터 노드들을 포함하며, 두 부류로 분할된다(bipartite).
도면의 최상부(열 76)에 있는 팩터 노드들은 각각의 플레이어에 대한 신뢰 분포를 획득하기 위해 데이터베이스 또는 기타 저장소에 액세스하는 함수이다(또는 새로운 플레이어의 경우에는 디폴트 신뢰 분포를 사용함). 이러한 계산 유닛들은 플레이어 스킬 신뢰 분포를 기술하는 파라미터들을 대응하는 변수 노드들에 입력한다. 예를 들어, 가우시안 분포의 경우에는 각각의 변수 노드에 저장된 2개의 파라미터들(2개의 부동 소수점 숫자)이 있을 것이다. 변수 노드들의 다음 행(row), 즉 최상부의 리프 노드(leaf node)에 직렬로 연결된 원형 노드들(77)은 플레이어 스킬을 나타낸다. 이러한 각각의 노드들은 관련 플레이어에 대한 신뢰 분포를 기술하는 통계를 저장한다. 팩터 노드들의 다음 행은 본 예에서는 플레이어 스킬 + 잡음에 기초하여 플레이어 성과를 계산하는 계산 유닛들(78)이다. 즉, 유닛들(77)의 스킬 신뢰 분포는 이들의 분산 파라미터를 증가시킴으로써 수정되고, 그 결과는 플레이어 성과를 나타내는 변수 노드들의 행(79)에 저장된다. 기본적인 랜덤 변수에 잡음을 추가하는 것으로 간주될 수도 있지만, 이는 결정론적인 계산(deterministic computation)이다.
개별 플레이어 성과에 반하여 팀 성과의 표현을 획득하기 위하여, 열들은 도 7에 나타낸 바와 같이 결합된다. 예를 들어 2위 팀의 경우에는 이는 3명의 플레이어들을 갖는다. 이 팀의 성과는 3명의 플레이어들의 성과의 합으로 취해지며, 이는 행(80)에 있는 사각형 노드에 의해 나타내어진다. 이 계산의 결과는 행(81)에 있는 원형 노드에 저장된다. 따라서, 행(81)에는 플레이어당 하나의 노드가 아니라 팀당 하나의 노드가 존재한다. 가우시안 분포가 사용되는 경우에는, 합산 프로세스(summing process)의 결과 또한 가우시안 분포이다.
도 7에 도시된 바람직한 실시예에서, 노드는 각각의 개별 플레이어의 성과에 잡음이 추가되며, 플레이어 성과들이 그 후에 팀 성과를 형성한다. 그러나, 이는 필수적인 것은 아니다. 팀 스킬을 획득하기 위해 플레이어 스킬들을 우선 합한 다음에, 팀 성과를 획득하기 위해 잡음을 팀 스킬에 추가하는 것 또한 가능하다. 이러한 잡음은 개별 플레이어 성과 및/또는 합쳐진 성과에 추가될 수 있다.
팀 성과 차이는 행(82)에 있는 노드들에 의해 나타내어지고, 그 각각은 표시되어 있는대로 팀 성과 레이어(81)에서의 특정 노드들간의 차이로서 계산된다. 게임 결과가 팀의 전체 순서를 제공하는 경우에, 그 차이들은 순서 내의 연속되는 팀들 사이에서 계산된다. 팀들 간 무승부의 경우에는, 비긴 팀들은 그들끼리는 임의의 순서로 위치되며, 차이는 순서에서 연속하는 팀들간에 계산된다. 예를 들어 도 7에서, 여기에서의 게임 결과가 중간의 2개 팀들(73, 74)이 비긴 것이라면, 이러한 2개의 팀들을 나타내는 노드들이 교환되어 동등하게 유효한 팩터 그래프를 생성할 수 있다. 행(83)에 있는 원형 노드들은 팀 성과 차이 계산의 결과를 나타낸다. 가우시안 분포가 사용되는 경우에는, 차이 프로세스의 결과 또한 가우시안 분포이다.
그래프 내의 바닥 노드들은 팀 성과 차이를 (무승부가 아닌 경우에는) 무승부 마진(draw margin) ε보다 더 크게 하거나, (무승부인 경우에는) 절대값에서 무승부 마진보다 더 작게 하는 계산 프로세스를 나타내는 팩터 노드들이다. 이것은 도 8과 관련하여 더 상세하게 설명된다.
도 8은 예를 들어 도 7의 행(83)에 있는 노드에서 입수할 수 있는 팀 성과 차이에 대한 예시적인 신뢰 분포를 나타내는 (실선의 곡선(91)으로 표시한) 가우시안 분포를 도시한다. 이러한 가우시안 분포는 팀 성과 차이를 무승부 마진보다 더 크게 하는 표시자 함수(indicator function)에 의해, 도 8에 점선(90)으로 표시된 것으로 변형된다. 가우시안(91)이 음의 영역(92)으로 연장하는 꼬리를 가지며, 변형된 것은 음의 영역에서 매우 작은 꼬리만을 갖는 가우시안(90)을 생성함을 알 수 있다. 변형된 가우시안은 최초의 가우시안(93)보다는 좁은데, 즉 더 작은 편차를 가지며 그 평균은 또한 더 높다.
메시지 전달의 프로세스는 이웃 변수 노드들로부터 분포 파라미터들을 이용하여 계산 노드(도 7에서의 사각형 노드)와 연관된 계산을 수행하고 그 결과들을 이웃 변수 노드들(도 7에서의 원형 노드들) 중 하나로 전달하는 것을 포함한다. 그 결과를 전달하는 방향(프로세싱 스케쥴이라고도 함)을 이하 더욱 상세히 설명한다.
프로세싱 스케쥴은 3개의 국면으로 분할되는 것이 바람직하다: 전-프로세싱(pre-processing), 체인 프로세싱, 후-프로세싱(post-processing). 예시적인 전-프로세싱 스케쥴이 도 9에 도시되어 있다. 최상부 팩터 노드(행 76)에서 시작하여, 스킬 분포는 데이터베이스로부터 획득되거나 디폴트 값으로 설정되며, 팀 성과 행(행 81)에 도달할 때까지, 계산은 각각의 열을 따라 아래로 진행한다. 후 프로세싱은 전-프로세싱 스케쥴의 반대이지만, 행(77)에서의 플레이어 스킬에서 중지한다.
전-프로세싱의 일 단계 후에, 체인 프로세싱 스케쥴은 신뢰 분포가 변화를 중지할 때까지 반복된다. 예시적인 체인 스케쥴이 점선 화살표를 이용하여 도 8에 표시되었다. 모든 성과 차이가 바닥 팩터 노드들에 의해 부과되어진 조건을 만족할 때까지 체인 스케쥴은 팀들간에 성과 신뢰 분포를 앞뒤로 전달한다. 후-프로세싱 국면은 새로운 플레이어 스킬을 획득하기 위하여 성과 분포를 위쪽으로 전달한다. 프로세싱 스케쥴에서의 각각의 화살표는 자명하지 않은(non-trivial) 계산을 나타내며, 이러한 계산의 상세한 사항을 이하 설명한다. 도 7에 주어진 예에서, 모든 팩터 노드들(사각 계산 노드들)은, 최종 표시자 함수 노드(순서 팩터 노드들이라 함)를 제외하고는 정확하게 계산될 수 있으므로 정확한 팩터 노드들이다. 순서 팩터 노드들은 순서 제약을 구현하고, 이러한 노드들에 대하여, 진정한 팩터-대-변수(factor-to-variable) 메시지들이 더 이상 가우시안이 아니므로 관련된 업데이트 식은 정확하지 않다.
메시지 전달 프로세스에서의 화살표에 따른 계산을 수행하는 데 이용하기 위한 일반적인 업데이트 식을 이하에 제시한다. 도시한 가우시안 분포의 이용을 위해 이러한 일반적인 업데이트 식을 고쳤다.
가우시안 메시지를 이용한 팩터 노드 업데이트
도 10의 팩터 그래프를 고려한다.
메시지
Figure 112008056987535-PCT00024
및 마진의
Figure 112008056987535-PCT00025
를 업데이트하기를 원한다고 가정한다. 그러면 일반적인 업데이트 식들은 이하와 같다.
Figure 112008056987535-PCT00026
여기에서,
Figure 112008056987535-PCT00027
은 인수(argument)로서 동일한 모멘트(moment)를 갖는 가우시안 패밀리에서의 분포를 반환하며, 우변의 모든 양(quantity)들은 분포(distribution)가 되도록 정규화된다. 이하에서, 가우시안의 지수적 표현을 사용하였다. 즉,
Figure 112008056987535-PCT00028
이 밀도는 표준 밀도에 대해 이하의 관계를 갖는다.
Figure 112008056987535-PCT00029
정확한 팩터 노드의 경우에, 업데이트 식은 이하의 표로 주어진다.
Figure 112008056987535-PCT00030
Figure 112008056987535-PCT00031
순서 팩터 노드의 경우에, 업데이트 식은 이하의 표로 주어진다.
Figure 112008056987535-PCT00032
위의 표에 제시된 업데이트 식은 바람직한 예에서 1로 설정되는 가중치(weighting)를 나타낸다. 가중치가 1이 아닌 경우의 예들은 소제목 부분 플레이 하에서 아래에 논의된다. 또한, 업데이트 식들에서 v 및 w는 함수
Figure 112008056987535-PCT00033
및
Figure 112008056987535-PCT00034
에 대응하는데, 이들은 게임이 승패로 종료되는 경우,
Figure 112008056987535-PCT00035
로 주어지고, 또는 게임이 무승부로 종료되는 경우,
Figure 112008056987535-PCT00036
로 주어진다. 이들은 메시지 전달을 이용하지 않는 TrueSkill의 앞선 구현에서는 가우시안의 수치 근사 및 가우시안 누적 분포로부터 결정되었다.
도 9에 도시된 예에서, 체인 스케줄 동안의 메시지 전달은, 순위 팩터(order factor) 노드 업데이트 식 표의 제1 행의 업데이트 식을 이용한, 행(84)에 있는 노드들로부터 층(83)에 있는 노드들로의 순위 팩터 노드 업데이트를 포함한다. 무승부의 경우 팀 성과 차이의 절대값(modulus)은 잠재 무승부 값(latent draw value) ε 이하이도록 제약되고, 순위 팩터 노드 업데이트 식 표의 제2 행의 업데이트 식이 사용된다.
정확한 팩터 노드(exact factor node)의 경우, 계산 노드(사각형 노드)로부터 단일 변수 노드(원형 노드)로의 메시지 전달을 위해, 정확한 팩터 노드 업데이트 식 표의 제1 행의 업데이트 식들이 사용된다. 계산 노드로부터 두 개의 변수 노드로의 메시지 전달의 경우, 필요에 따라 표의 제2 또는 제3 행의 업데이트 식을 사용한다. 계산 노드로부터 세 개의 변수 노드로의 메시지 전달의 경우, 필요에 따라 표의 제4 및 제5 행의 업데이트 식이 사용된다.
부분 플레이
부분 플레이의 경우, 하나 이상의 플레이어들은 게임의 지속 기간보다 적은 시간 동안 게임에 참여한다. 플레이어들의 스킬 레벨에 대한 신뢰를 업데이트하는 데 있어 이를 참작하기 위해, 위에서 상술된 업데이트 식의 값들인 가중치들이 사용된다. 각 플레이어가 게임에 참여한 시간의 길이에 대한 정보를 이용함으로써 플레이어들에 대한 가중치의 적절한 값들을 설정하는 것이 가능하다.
예를 들어, 각각 두 명의 플레이어가 있는 두 팀의 게임에서, 제1 팀의 제1 플레이어는 전체 게임 시간의 75%에만 참여했을 수 있다. 이 경우, 남아있는 다른 세 명의 플레이어들에 대한 값인 1.0과 비교하여, 대응하는 값은 0.75이다.
부분 랭킹
게임의 결과가 한 플레이어에 대한 랭킹 또는 모든 플레이어들(또는 팀들)보다 적은 수의 플레이어들에 대한 랭킹만을 산출하는 경우, 팩터 그래프의 구조를 변경함으로써 이를 참작할 수 있다. 예를 들어, 자동차 경주 게임에서 제1, 제2 및 제3 참여자의 랭킹만이 알려질 수 있고 임의의 다른 플레이어들은 랭킹이 정해지지 않는다. 대안적으로, 승자의 ID는 알려질 수 있지만, 다른 플레이어들에 대한 랭킹은 제공되지 않을 수 있다. 이 경우, 구체적 예로서, 도 19에 도시된 바와 같이 팩터 그래프의 구조를 변경한다.
도 19는 승자와 2위 팀들이 알려졌지만 나머지 두 팀(190, 191)의 랭킹이 알 려지지 않는 경우를 도시한다. 팩터 그래프는 팀 성과 차이가 팀(190)과 팀(191) 사이에서 계산되는 대신 2위 팀과 팀(191) 사이에서 계산된다는 것을 제외하고는 도 7의 팩터 그래프와 동일하다. 따라서 팩터 그래프는 랭킹이 알려진 팀과 관련된 노드 및 랭킹이 알려지지 않은 각각의 팀들과 관련된 노드 사이에 링크를 포함한다. 도 19의 예에서 이들은 행(81)의 노드 tp1이 행(82)의 노드들
Figure 112008056987535-PCT00037
및
Figure 112008056987535-PCT00038
에 링크되는 것에 대응된다.
여기에 설명된 방법들을 구현하기 위해 임의의 적절한 장치가 사용될 수 있다. 예를 들어, 도 20은 게임의 적어도 제1 플레이어 및 제2 플레이어의 상대적 스킬 대한 표시(indication)를, 이들 플레이어가 관여하는 하나 이상의 게임들의 결과에 기초하여 결정하기 위한 장치의 개략도이며, 상기 장치는,
ο 각 플레이어에 대해, 그 플레이어의 스킬에 대한 신뢰와 관련된 확률 분포를 기술하는 통계(200)에 액세스하도록 구성된 입력부(206);
ο 게임들 중 하나의 결과(201)에 대한 정보를 수신하도록 구성된 입력부(207);
ο 노드들을 포함하는 팩터 그래프를 형성하기 위한 수단(203) -상기 그래프는 결과에 대해 수신한 정보를 이용하여 형성되고, 적어도 몇몇 노드들을 통계치로 인스턴스화함-; 및
ο 팩터 그래프에 대하여 메시지 전달 기술들을 이용함으로써 각 플레이어와 관련된 통계치들을 업데이트하도록 구성된 하나 이상의 프로세서(204)들
을 포함한다.
당업자들은 프로그램 명령어들을 저장하는 데 사용되는 저장 장치들이 네트워크에 걸쳐 분산될 수 있음을 이해할 것이다. 예를 들어, 원격 컴퓨터는 소프트웨어로서 기술되는 프로세스의 예를 저장할 수 있다. 로컬 또는 터미널 컴퓨터는 원격 컴퓨터를 액세스하여 프로그램을 실행하기 위해 소프트웨어의 일부 또는 전부를 다운로드할 수 있다. 대안적으로, 로컬 컴퓨터는 필요에 따라 소프트웨어의 부분들을 다운로드하거나, 몇몇 소프트웨어 명령어들을 로컬 터미널에서 그리고 몇몇 소프트웨어 명령어들은 원격 컴퓨터(또는 컴퓨터 네트워크)에서 실행할 수 있다. 당업자들은 당업자들에게 공지된 통상적인 기술들을 이용함으로써 소프트웨어 명령어들의 전부 또는 일부가 DSP와 같은 전용 회로, 프로그램가능한 논리 어레이 기타 등등에 의해 실행될 수 있음을 알 것이다.
여기에 설명된 바와 같은 상대적 스킬 레벨의 계산에 사용되도록 구성된 메시지 전달 기술들의 사용은 특히 분산 프로세싱에 적합하다. 이는 팩터 그래프의 임의의 특정 팩터 노드와 관련된 프로세싱이 주어진 프로세서에서 실행될 수 있고 결과들은 그래프의 다른 노드들과 관련된 계산들을 실행하는 다른 독립된 프로세서에 전달될 수 있기 때문이다. 이 독립된 프로세서들은 임의의 적절한 유형의 통신 네트워크를 통해 연결될 수 있고, 또는 함께 통합될 수도 있다.
당업자들에게 명백한 바와 같이, 여기에 주어진 임의의 범위 또는 장치 값은 추구하는 효과를 잃지 않고 확장 또는 변경될 수 있다.
여기에 설명된 방법의 단계들은 임의의 적절한 순서로 실행되거나, 적절하다 면 동시에 실행될 수 있다.
바람직한 실시예에 대한 상기의 설명은 예로서만 주어진 것이며 당업자들에 의해 다양한 변경들이 이루어질 수 있음을 이해해야 한다.

Claims (20)

  1. 게임의 적어도 제1 플레이어 및 제2 플레이어의 상대적 스킬(relative skill)의 표시를, 상기 플레이어들이 관여하는 하나 이상의 게임의 결과에 기초하여 결정하는 방법으로서,
    (ⅰ) 각각의 플레이어에 대하여, 그 플레이어의 스킬에 관한 신뢰(belief)에 연관된 확률 분포를 기술하는 통계(statistics)에 액세스하는 단계,
    (ⅱ) 상기 게임들 중 하나의 결과에 관한 정보를 수신하는 단계,
    (ⅲ) 상기 수신된 결과에 관한 정보를 이용하여, 노드들을 포함하는 팩터 그래프(factor graph)를 형성하고, 상기 통계로 상기 노드들 중 적어도 일부를 인스턴스화하는 단계, 및
    (ⅳ) 상기 팩터 그래프에 대하여 메시지 전달 기술(message passing techniques)을 이용하여, 각각의 플레이어에 연관된 통계를 갱신하는 단계
    를 포함하는, 상대적 스킬의 표시를 결정하는 방법.
  2. 제1항에 있어서, 상기 통계는 각각의 확률 분포를 기술하는 평균 및 분산을 적어도 포함하는, 상대적 스킬의 표시를 결정하는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 확률 분포는 가우시안(Gaussian)인, 상대적 스킬의 표시를 결정하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 팩터 그래프는 비순환적(acyclic)인, 상대적 스킬의 표시를 결정하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 팩터 그래프에 대하여 적용되는 상기 메시지 전달 기술은 베이지안 추론 프로세스(Bayesian inference process)를 수행하도록 구성되는, 상대적 스킬의 표시를 결정하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 팩터 그래프는 복수의 노드 그룹을 포함하고, 각각의 그룹은 특정 플레이어와 연관지어져 있으며, 직렬로 링크된 노드들을 포함하는, 상대적 스킬의 표시를 결정하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 팩터 그래프는 복수의 제2 노드 그룹을 포함하고, 각각의 제2 그룹은 플레이어들의 팀과 연관지어져 있는, 상대적 스킬의 표시를 결정하는 방법.
  8. 제6항 또는 제7항에 있어서, 상기 노드 그룹들은 에지들과 링크되며, 상기 링크의 순서(the order of the linking)는 게임의 결과를 반영하게 되는, 상대적 스킬의 표시를 결정하는 방법.
  9. 제8항에 있어서, 상기 노드 그룹들은 해당 플레이어들이 속하는 팀들에 기초하여 상기 팩터 그래프 내에서 순서화되는, 상대적 스킬의 표시를 결정하는 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 3 이상의 플레이어가 관여하는 게임들로부터 플레이어들의 상대적 스킬의 표시를 결정하는 단계를 포함하는, 상대적 스킬의 표시를 결정하는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 게임의 결과에 관한 정보는, 각각의 플레이어에 대하여, 그 플레이어가 게임에 참여한 시간의 길이의 표시를 더 포함하고, 상기 통계는 상기 정보에 기초하여 갱신되는, 상대적 스킬의 표시를 결정하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 게임의 결과에 관한 정보는 플레이어들의 부분적인 랭킹(partial ranking)을 포함하고, 상기 부분적인 랭킹은 복수의 다른 플레이어에 비교된 적어도 한 플레이어에 대한 순위 정보를 포함하고 상기 복수의 다른 플레이어 간의 순위 정보는 포함하지 않으며, 상기 팩터 그래프는 상기 적어도 한 플레이어에 연관지어진 노드와 상기 다른 플레이어들에 연관지어진 노드 간에 링크가 생성되도록 형성되는, 상대적 스킬의 표시를 결정하는 방법.
  13. 실행 시에, 제1항 내지 제12항 중 어느 한 항에 기재된 단계들 모두를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램.
  14. 제13항에 있어서, 상기 컴퓨터 프로그램은 컴퓨터 판독가능 매체 상에 구현되는 컴퓨터 프로그램.
  15. 게임의 적어도 제1 플레이어 및 제2 플레이어의 상대적 스킬(205)의 표시를, 상기 플레이어들이 관여하는 하나 이상의 게임의 결과(201)에 기초하여 결정하기 위한 장치(202)로서,
    (ⅰ) 각각의 플레이어에 대하여, 그 플레이어의 스킬에 관한 신뢰에 연관된 확률 분포를 기술하는 통계(200)에 액세스하도록 구성된 입력(206),
    (ⅱ) 상기 게임들 중 하나의 결과(201)에 관한 정보를 수신하도록 구성된 입력(207),
    (ⅲ) 상기 수신된 결과에 관한 정보를 이용하여, 노드들을 포함하는 팩터 그래프를 형성하고, 상기 통계로 상기 노드들 중 적어도 일부를 인스턴스화하기 위한 수단(203), 및
    (ⅳ) 상기 팩터 그래프에 대하여 메시지 전달 기술을 이용하여, 각각의 플레이어에 연관된 통계를 갱신하도록 구성된 하나 이상의 프로세서(204)
    를 포함하는, 상대적 스킬의 표시를 결정하는 장치.
  16. 제15항에 있어서, 상기 팩터 그래프는 비순환적인, 상대적 스킬의 표시를 결정하는 장치.
  17. 제15항 또는 제16항에 있어서, 상기 팩터 그래프에 대하여 적용되는 상기 메시지 전달 기술은 베이지안 추론 프로세스를 수행하도록 구성되는, 상대적 스킬의 표시를 결정하는 장치.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서, 상기 팩터 그래프는 복수의 노드 그룹을 포함하고, 각각의 그룹은 특정 플레이어와 연관지어져 있으며, 직렬로 링크된 노드들을 포함하는, 상대적 스킬의 표시를 결정하는 장치.
  19. 제15항 내지 제18항 중 어느 한 항에 있어서, 상기 팩터 그래프는 복수의 노드 그룹을 포함하고, 각각의 그룹은 플레이어들의 팀과 연관지어져 있는, 상대적 스킬의 표시를 결정하는 장치.
  20. 제18항 또는 제19항에 있어서, 상기 노드 그룹들은 에지들과 링크되며, 상기 링크의 순서는 게임의 결과를 반영하게 되는, 상대적 스킬의 표시를 결정하는 장치.
KR1020087019513A 2006-02-10 2007-01-16 상대적 스킬의 표시를 결정하는 방법, 장치 및 컴퓨터 프로그램 KR101312874B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06270014.1 2006-02-10
EP06270014A EP1862955A1 (en) 2006-02-10 2006-02-10 Determining relative skills of players
PCT/US2007/001096 WO2007094909A1 (en) 2006-02-10 2007-01-16 Determining relative skills of players

Publications (2)

Publication Number Publication Date
KR20080106898A true KR20080106898A (ko) 2008-12-09
KR101312874B1 KR101312874B1 (ko) 2013-09-30

Family

ID=36691863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087019513A KR101312874B1 (ko) 2006-02-10 2007-01-16 상대적 스킬의 표시를 결정하는 방법, 장치 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (1) US8538910B2 (ko)
EP (1) EP1862955A1 (ko)
JP (1) JP5297204B2 (ko)
KR (1) KR101312874B1 (ko)
CN (1) CN101379523A (ko)
WO (1) WO2007094909A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175726B2 (en) * 2005-01-24 2012-05-08 Microsoft Corporation Seeding in a skill scoring framework
EP1862955A1 (en) 2006-02-10 2007-12-05 Microsoft Corporation Determining relative skills of players
EP1970107A1 (en) * 2007-03-16 2008-09-17 British Sky Broadcasting Limited Interactive services
US20090093287A1 (en) * 2007-10-09 2009-04-09 Microsoft Corporation Determining Relative Player Skills and Draw Margins
JP4620722B2 (ja) * 2007-12-26 2011-01-26 富士通株式会社 データ配置制御プログラム、データ配置制御装置、データ配置制御方法、およびマルチノードストレージシステム
WO2009089447A1 (en) * 2008-01-11 2009-07-16 Topcoder, Inc. System and method for conducting competitions
US8157653B2 (en) * 2009-01-08 2012-04-17 Sony Computer Entertainment America Inc. Automatic player information generation for interactive entertainment
US8376834B2 (en) * 2010-05-07 2013-02-19 Microsoft Corporation Role assignment in multiplayer games
US8473437B2 (en) 2010-12-17 2013-06-25 Microsoft Corporation Information propagation probability for a social network
US9015073B2 (en) 2012-06-06 2015-04-21 Addepar, Inc. Controlled creation of reports from table views
US8788074B1 (en) * 2012-10-23 2014-07-22 Google Inc. Estimating player skill in games
US9105062B2 (en) 2012-12-13 2015-08-11 Addepar, Inc. Transaction effects
CN105144224B (zh) * 2013-04-29 2021-07-23 思奇里兹股份有限公司 确定游戏技巧因子
JP6313310B2 (ja) * 2013-09-02 2018-04-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2015150172A (ja) * 2014-02-13 2015-08-24 任天堂株式会社 情報共有システム、情報処理装置、プログラム及び情報共有方法
JP6348726B2 (ja) 2014-02-13 2018-06-27 任天堂株式会社 情報共有システム、情報処理装置、プログラム及び情報共有方法
US10248729B2 (en) 2014-05-28 2019-04-02 Bari Enterprises, Inc. Method and system of quantifying and qualifying athletic skills and competitive results in a social network
US9424333B1 (en) 2014-09-05 2016-08-23 Addepar, Inc. Systems and user interfaces for dynamic and interactive report generation and editing based on automatic traversal of complex data structures
US9244899B1 (en) 2014-10-03 2016-01-26 Addepar, Inc. Systems and user interfaces for dynamic and interactive table generation and editing based on automatic traversal of complex data structures including time varying attributes
US9218502B1 (en) 2014-10-17 2015-12-22 Addepar, Inc. System and architecture for electronic permissions and security policies for resources in a data system
US11443390B1 (en) 2015-11-06 2022-09-13 Addepar, Inc. Systems and user interfaces for dynamic and interactive table generation and editing based on automatic traversal of complex data structures and incorporation of metadata mapped to the complex data structures
US10732810B1 (en) 2015-11-06 2020-08-04 Addepar, Inc. Systems and user interfaces for dynamic and interactive table generation and editing based on automatic traversal of complex data structures including summary data such as time series data
US10372807B1 (en) 2015-11-11 2019-08-06 Addepar, Inc. Systems and user interfaces for dynamic and interactive table generation and editing based on automatic traversal of complex data structures in a distributed system architecture
KR102509237B1 (ko) 2016-03-15 2023-03-10 스킬즈 플랫폼 인크. 가상 토너먼트를 위한 동기화 모델
US11062569B2 (en) 2016-03-15 2021-07-13 Skillz Platform Inc. Across-match analytics in peer-to-peer gaming tournaments
CN114681914A (zh) 2016-03-16 2022-07-01 思奇里兹平台股份有限公司 流式传输视频数据的管理
US9956488B2 (en) * 2016-05-17 2018-05-01 International Business Machines Corporation System and method for video game skill level adjustment
US10449458B2 (en) 2016-12-30 2019-10-22 Microsoft Technology Licensing, Llc Skill matching for a multiplayer session
US11620877B2 (en) 2017-05-22 2023-04-04 Super Money Games, Inc. Skill-based wagering methods, devices and systems
US11430303B2 (en) 2017-05-22 2022-08-30 Super Money Games, Inc. Skill-based wagering methods, devices and systems
US10758808B2 (en) 2018-07-09 2020-09-01 Universal Athletic Testing, LLC Athleticism rating and performance measuring systems
US20200289942A1 (en) * 2019-03-12 2020-09-17 Microsoft Technology Licensing, Llc Producing a match for a multiplayer session
CN110368696B (zh) * 2019-08-15 2022-11-25 腾讯科技（深圳）有限公司 一种非对称游戏玩家能力获取方法、装置、设备及介质
CN110772797B (zh) * 2019-10-29 2021-09-28 腾讯科技（深圳）有限公司 一种数据处理方法、装置、服务器及可存储介质
GB2617956A (en) * 2020-12-29 2023-10-25 Super Money Games Inc Skill-based wagering methods, devices and systems
EP4079384A1 (en) 2021-04-22 2022-10-26 Morai Sp. z o.o. A method of creating ranking, a system for creating ranking and a ranking

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5697844A (en) 1986-03-10 1997-12-16 Response Reward Systems, L.C. System and method for playing games and rewarding successful players
US5221082A (en) 1992-02-05 1993-06-22 Ingolf Corporation Enhanced golf simulation system
US5779549A (en) 1996-04-22 1998-07-14 Walker Assest Management Limited Parnership Database driven online distributed tournament system
US5853324A (en) 1995-09-07 1998-12-29 Namco Ltd. Shooting game machine and method of computing the same
JP2001526550A (ja) 1995-11-22 2001-12-18 ウォーカー・アセット・マネージメント・リミテッド・パートナーシップ 暗号その他のプロトコルを使用するコンピュータにより生成された結果の遠隔的な監査
US5830064A (en) 1996-06-21 1998-11-03 Pear, Inc. Apparatus and method for distinguishing events which collectively exceed chance expectations and thereby controlling an output
US6074312A (en) 1997-07-28 2000-06-13 Dynamic Solutions International Golf handicap system and methods
JP3773698B2 (ja) 1999-03-17 2006-05-10 株式会社バンダイ 電子機器装置
DE59902261D1 (de) 1999-05-14 2002-09-12 Abb Research Ltd Verfahren und Einrichtung zur Zustandsschätzung
US6174237B1 (en) * 1999-05-21 2001-01-16 John H. Stephenson Method for a game of skill tournament
US6267687B1 (en) 1999-07-19 2001-07-31 Emil Alex Golf calculator
KR20000053909A (ko) 2000-05-08 2000-09-05 최우진 게임 순위 결정 방법
KR20020003634A (ko) * 2000-06-22 2002-01-15 이강민 온라인 게임의 랭킹서비스에서의 게이머 인증 시스템 및방법
KR20020007093A (ko) 2000-07-15 2002-01-26 양호철 인터넷을 이용한 자동 승패인식 기능을 갖는 일반게임중계 시스템 및 그의 중계방법
US6780103B2 (en) 2000-08-31 2004-08-24 Igt Gaming device having skill/perceived skill bonus round
US6443838B1 (en) 2000-09-06 2002-09-03 Scott Jaimet Method for defining outcomes of ensembles of games using a single number and without reference to individual game wins
GB2366878A (en) 2000-09-15 2002-03-20 Oxford Forecasting Services Lt Optimisation based on events possible outcomes
US6523828B2 (en) 2000-10-13 2003-02-25 Serge Lorenzin Game of chance and skill, method of play, game components, and game board
JP2002140455A (ja) 2000-10-31 2002-05-17 Konami Computer Entertainment Osaka:Kk ネットゲーム用サーバ装置、ネットゲーム進行制御方法及びネットゲーム進行制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US7313541B2 (en) 2000-11-03 2007-12-25 Jpmorgan Chase Bank, N.A. System and method for estimating conduit liquidity requirements in asset backed commercial paper
US6840861B2 (en) 2000-11-20 2005-01-11 Kent Wilcoxson Jordan Method and apparatus for interactive real time distributed gaming
US6874029B2 (en) * 2000-11-22 2005-03-29 Leap Wireless International, Inc. Method and system for mediating interactive services over a wireless communications network
AU2002245226A1 (en) 2001-01-09 2002-07-24 Topcoder, Inc. Systems and methods for coding competitions
US20020115488A1 (en) 2001-02-22 2002-08-22 Nicholas Berry System and method for conducting an online competition
WO2002077897A1 (en) 2001-03-13 2002-10-03 Minsoo Kang Digital map ranking system
US6640204B2 (en) 2001-04-06 2003-10-28 Barry E. Feldman Method and system for using cooperative game theory to resolve statistical joint effects
US6996444B2 (en) 2001-04-13 2006-02-07 Games, Inc. Rating method, program product and apparatus
KR20010069675A (ko) * 2001-04-26 2001-07-25 김종국 소그룹 순위 평가, 검색 시스템과 방법
US6468155B1 (en) 2001-05-08 2002-10-22 Skillgames, Inc. Systems and methods to facilitate games of skill for prizes played via a communication network
US20030158827A1 (en) * 2001-06-26 2003-08-21 Intuition Intelligence, Inc. Processing device with intuitive learning capability
JP2003117243A (ja) 2001-10-17 2003-04-22 Konami Co Ltd ゲーム進行制御プログラム、ゲーム進行制御方法及びビデオゲーム装置
US20030073471A1 (en) * 2001-10-17 2003-04-17 Advantage Partners Llc Method and system for providing an environment for the delivery of interactive gaming services
US8214741B2 (en) * 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
US20030228908A1 (en) * 2002-06-10 2003-12-11 Daniel Caiafa Statistics system for online console-based gaming
AU2003263928A1 (en) 2002-08-19 2004-03-03 Choicestream Statistical personalized recommendation system
JP2004298234A (ja) * 2003-03-28 2004-10-28 Univ Shizuoka 対戦組合せ装置、方法及びプログラム
US7416489B2 (en) 2003-05-08 2008-08-26 Smith Iii Jay System and method for scoring, ranking, and awarding cash prizes to interactive game players
US7798905B2 (en) * 2003-05-09 2010-09-21 Microsoft Corporation Method and apparatus for associating data with online game ratings
US20050087926A1 (en) 2003-09-26 2005-04-28 Aruze Corporation Gaming machine
US7614955B2 (en) 2004-03-01 2009-11-10 Microsoft Corporation Method for online game matchmaking using play style information
KR100539148B1 (ko) 2004-03-25 2005-12-26 주식회사 유웨이중앙교육 성적 정보 제공 방법 및 장치
AU2005237996A1 (en) 2004-04-16 2005-11-10 Gamelogic, Inc. System and method for conducting a game
JP3765821B2 (ja) 2004-04-26 2006-04-12 株式会社ナムコ ゲームシステム及びゲームシステムの制御方法
US7840288B2 (en) 2005-01-24 2010-11-23 Microsoft Corporation Player ranking with partial information
US20070112706A1 (en) 2005-01-24 2007-05-17 Microsoft Corporation Handicapping in a Bayesian skill scoring framework
US7846024B2 (en) 2005-01-24 2010-12-07 Micorsoft Corporation Team matching
US7050868B1 (en) 2005-01-24 2006-05-23 Microsoft Corporation Bayesian scoring
US8175726B2 (en) 2005-01-24 2012-05-08 Microsoft Corporation Seeding in a skill scoring framework
US7575433B2 (en) * 2006-01-03 2009-08-18 Spotrend Co., Ltd. Sports skill evaluation system
EP1862955A1 (en) 2006-02-10 2007-12-05 Microsoft Corporation Determining relative skills of players
US20070191110A1 (en) 2006-02-10 2007-08-16 Erick Van Allen Crouse Data acquisition software implementation and scientific analysis methods for sports statistics and phenomena

Also Published As

Publication number Publication date
KR101312874B1 (ko) 2013-09-30
WO2007094909A1 (en) 2007-08-23
CN101379523A (zh) 2009-03-04
US8538910B2 (en) 2013-09-17
EP1862955A1 (en) 2007-12-05
US20090227313A1 (en) 2009-09-10
JP2009525807A (ja) 2009-07-16
JP5297204B2 (ja) 2013-09-25

Similar Documents

Publication Publication Date Title
KR101312874B1 (ko) 상대적 스킬의 표시를 결정하는 방법, 장치 및 컴퓨터 프로그램
Minka et al. Trueskill 2: An improved bayesian skill rating system
US6669565B2 (en) Method of conducting a fantasy sports game
US6236900B1 (en) Method and system for internet-based, competitive event prediction
Dyte et al. A ratings based Poisson model for World Cup soccer simulation
EP1181081A1 (en) Method of staging a game of skill tournament
US20150105134A1 (en) Systems and methods for a combination lottery and fantasy sports league
Menke et al. A Bradley–Terry artificial neural network model for individual ratings in group competitions
Sziklai et al. The efficacy of tournament designs
Feng et al. How to split the pie: optimal rewards in dynamic multi-battle competitions
Ross et al. Shall we play a game?
Yen et al. Design and implementation of Chinese dark chess programs
Kaplan et al. March madness and the office pool
Larkey et al. Skill in games
Sela et al. On the optimal allocation of prizes in best-of-three all-pay auctions
Suznjevic et al. Application context based algorithm for player skill evaluation in MOBA games
US20090093287A1 (en) Determining Relative Player Skills and Draw Margins
Dockhorn et al. A decision heuristic for Monte Carlo tree search doppelkopf agents
Samothrakis et al. Predicting dominance rankings for score-based games
Stanescu Rating systems with multiple factors
Gangal et al. Analysis and prediction of football statistics using data mining techniques
WO2006062154A1 (ja) 順位決定システム
Dinh et al. Simulating competitiveness and precision in a tournament structure: A reaper tournament system
Favini The dark side of the board: advances in chess Kriegspiel
Chen et al. Challenging artificial intelligence with multiopponent and multimovement prediction for the card game Big2

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 7