KR100475247B1 - 증강현실 기술을 이용한 게임 장치 및 방법 - Google Patents

증강현실 기술을 이용한 게임 장치 및 방법 Download PDF

Info

Publication number
KR100475247B1
KR100475247B1 KR10-2001-0086501A KR20010086501A KR100475247B1 KR 100475247 B1 KR100475247 B1 KR 100475247B1 KR 20010086501 A KR20010086501 A KR 20010086501A KR 100475247 B1 KR100475247 B1 KR 100475247B1
Authority
KR
South Korea
Prior art keywords
game
user
tracker
augmented reality
monitor
Prior art date
Application number
KR10-2001-0086501A
Other languages
English (en)
Other versions
KR20030056302A (ko
Inventor
변기종
장병태
김주완
최정단
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2001-0086501A priority Critical patent/KR100475247B1/ko
Publication of KR20030056302A publication Critical patent/KR20030056302A/ko
Application granted granted Critical
Publication of KR100475247B1 publication Critical patent/KR100475247B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/205—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform for detecting the geographical location of the game platform
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실 기술에 관한 것으로, 상세하게는 다수가 동시에 게임을 할 수 있으며 위치 및 자세 데이터를 계산하는 트래커, 3차원 영상을 디스플레이하는 안경형 HMD (See-Through HMD), 실제와 같은 게임 화면을 제공하는 몰입형 모니터, 게임별 부가정보를 제공하는 AR 영상 시스템 그리고 증강현실 게임을 제공하는 게임 영상시스템으로 이루어져 사용자들에게 게임을 통하여 인간중심의 인터페이스 기술인 증강현실을 경험하고 보다 현실감있는 게임을 할 수 있는 증강현실 기술을 이용한 다중 게임 장치에 관한 것이다.
본 발명은 증강현실 게임 사용자의 위치정보를 파악하는 트래커, 3차원 화면과 각 게임 사용자에게 문자정보와 3D 그래픽 정보를 디스플레이하는 안경형 HMD, 실감있는 영상을 제공하기 위해 다수 개의 모니터를 사용하여 화면을 제공하는 몰입형 모니터, 트래커로부터 입력되는 위치정보를 수신하고, 위치정보에 따라 해당하는 증강현실 게임의 부가정보를 제공하는 AR 영상시스템, 모니터에 증강현실 게임용 화면을 제공하는 게임영상 시스템으로 이루어진다.

Description

증강현실 기술을 이용한 게임 장치 및 방법{Apparatus and method for augmented reality game}
본 발명은 증강현실 기술에 관한 것으로, 특히 다수가 동시에 게임을 할 수 있도록 위치 및 자세 데이터를 계산하는 트래커, 3차원 영상을 디스플레이하는 안경형 HMD , 실제와 같은 게임 화면을 제공하는 몰입형 모니터, 게임별 부가정보를 제공하는 AR(Augmented Rreality) 영상 시스템 그리고 증강현실 게임을 제공하는 게임 영상시스템으로 이루어져 사용자들에게 게임을 통하여 인간중심의 인터페이스 기술인 증강현실을 경험하고 보다 현실감있는 게임을 할 수 있는 증강현실 기술을 이용한 다중 게임 장치에 관한 것이다.
일반적으로 증강현실 기술은 사용자의 위치 및 주시 방향을 실시간 측정하여 사용자가 관측하는 시야에 속하는 대상 물체의 가상 세부 정보를 정합하여 실시간으로 제공하는 것이 핵심 기술이다.
증강현실 기술은 인간중심의 인터페이스 기술로서 방송, 교육, 훈련, 의료, 설계, 광고 등 다양한 분야에서 응용 되고 있으나 국내에서는 아직 적용된 사례가 없다.
종래의 한국특허 등록번호 1998-006979호의 "PC상에서의 몰입형 가상현실 구현 시스템" 은 가상현실을 이용한 게임시스템으로 PC상에서 자이로센서(gyro sensor)를 이용하여 머리의 움직임을 측정하고, 이에 따른 이미지를 입체로 사용자의 시야에 디스플레이 해 사용자가 가상의 공간에 몰입할 수 있도록 하는 시스템으로써, 응용분야는 몰입형 통신 환경 및 3차원 게임 분야이다.
또한, 종래의 일본특허 등록번호 1998-207130호 "시뮬레이터 및 이것을 이용한 게임 장치"는 시뮬레이터를 이용한 가상현실 게임 시스템으로, 시뮬레이터 내부의 화면을 통해 사용자에게 게임 영상을 디스플레이하고 시뮬레이터의 진동을 느끼게 되어있다. 선행특허는 시뮬레이터를 통하여 게임 영상과 시뮬레이터의 움직임을 통하여 현실감을 느낄 수 있는 것이다.
상술한 바와 같이, 게임은 아케이드, 콘솔, PC와 같은 외형상의 구분에서부터 RPG, 전략 시뮬레이션 등 많은 플랫폼과 장르에서 발전 중에 있다. 아케이드 게임에서는 최근 가상현실(Virtual Reality)기술 기반의 체감형 인터페이스를 이용하여 사용자가 실제와 같이 체험하며 게임을 즐길 수 있는 기술들이 발전 중에 있다.
그러나 이러한 종래의 게임들은 게임 화면과 게임 진행을 돕는 부가정보를 통합하여 제시하기 때문에 사용자에게 실제와 같은 게임 영상을 제공할 수 없다. 그리고 증강현실 기술을 이용한 게임도 개발되고 있으나 게임을 위해 커다란 물리적인 장비가 요구되고 개발 가능한 게임 내용에 제약이 있다.
또한, 증강현실 기술을 이용한 게임의 예로서 AR2 하키 게임을 들 수 있는데, 이 게임은 탁구대와 비슷한 지지대 양쪽 끝에 안경형 HMD (See-Through HMD)를 착용한 사용자들이 위치하게 되고 안경형 HMD 를 통하여 보는 가상의 하키 퍽을 쳐서 상대방의 골에 넣는 게임이다.
이상과 같이, 종래의 증강현실 기술을 이용한 게임은 별도의 물리적인 장비가 필요하고 게임의 내용도 제한된 문제점이 있다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 3차원 화면을 볼 수 있는 안경형 HMD, 안경형 HMD에 부착된 트래킹 센서로부터 위치 및 자세 데이터를 수신하여 제공하는 트래커, 실감을 느끼게 하기 위해 여러 모니터를 합쳐서 화면을 제공하는 멀티모니터나 프로젝션(projection) 또는 케이브(Cave)의 형태로 이루어진 몰입형 모니터, 안경형 HMD로 증강현실 게임 부가정보 영상을 제공하기 위한 AR 영상 시스템과 몰입형 모니터로 게임 영상을 제공하는 게임 영상시스템으로 사용자들에게 하나의 실제와 같은 게임 환경을 제공하고 각 사용자들의 게임 환경에 정합되는 부가정보를 증강현실 인터페이스를 통하여 제공하여 보다 현실감 있는 게임과 증강현실을 경험할 수 있는 증강현실 기술을 이용한 게임 장치를 제공하는 것을 그 목적으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명은, 게임 영상을 재생하는 몰입형 모니터; 게임 사용자의 머리 위치 및 자세정보를 제공하고, 상기 몰입형 모니터에 재생되는 게임 영상과 일치하는 증강현실 게임 부가정보를 제공하는 안경형 HMD; 정의된 위치에 고정되어 상기 안경형 HMD의 움임에 따라 게임 사용자의 위치 및 자세정보를 검보를 검출하는 트래커; 상기 트래커에 의해 검출된 게임 사용자의 위치 및 자세정보를 수신하여 설정된 데이터로부터 그 오차를 보정하고, 보정된 사용자의 위치 및 자세정보를 근거로 상기 게임에 필요한 부가정보를 상기 안경형 HMD로 전달하는 AR 영상시스템; 및 상기 몰입형 모니터에 게임영상을 제공하는 게임영상 시스템; 을 포함하며, 상기 게임 사용자는 상기 몰입형 모니터에서 재생되는 겜임영상과 정합하는 부가정보를 상기 안경형 HMD를 통해 제공받도록 하는 것을 특징으로 한다.
또한, 본 발명의 트래커는 사용자의 위치 및 자세 정보를 수신하는 트래킹 센서를 안경형 HMD에 구비하는 것을 특징으로 한다.
삭제
또한, 본 발명은 트래킹 센서를 안경형 HMD에 고정시키는 1 단계, 트래커의 좌표계중 Z축이 몰입형 모니터의 정면을 향하도록 임의의 위치에 고정시키는 2 단계, 안경형 HMD가 몰입형 모니터 화면의 정면을 향하도록 고정시키는 3 단계, 안경형 HMD의 좌표계와 트래커의 좌표계가 일치하도록 회전변환 행렬을 구하는 4 단계,안경형 HMD의 좌표계와 트래커의 좌표계가 일치하도록 위치변환 행렬을 구하는 5 단계, 4 단계의 행렬과 5단계의 행렬을 곱하여 트래커로부터 입력되는 위치 및 자세데이터와 실제의 사용자의 위치 및 자세 데이터의 차이를 계산하는 6 단계, 6 단계의 행렬의 결과 값으로 사용자의 위치 및 자세 데이터를 보정하는 7 단계로 이루어져 사용자의 위치 및 자세 보정하는 것이다.
이하, 본 발명에 따른 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 증강현실 게임 시스템을 개략적으로 도시한 것이다.
본 발명인 증강현실 게임 시스템은 실제와 같은 게임 환경을 제공하는 몰입형 모니터(30), 사용자의 머리 위치와 자세를 측정하는 트래커(10), 몰입형 모니터(30)의 게임환경과 정합될 부가 정보를 그래픽으로 제공하는 안경형 HMD(20)이다.
또한, 트래커(10)로부터 입력되는 사용자의 위치 및 자세 데이터를 위치 및 자세 보정모듈(42)에서 보정을 하여, 위치 및 자세 데이터에 따라 AR 게임영상을 생성하며 사용자별로 게임부가 정보를 제공하는 AR 영상 시스템(50), 게임 엔진을 게임영상 생성모듈(52)을 통해 게임 영상을 생성하여 제공하는 게임영상시스템(40)으로 구성된다.
본 발명에서는 게임 영상을 두 부분으로 나뉘어 진다. 첫 번째 부분은 몰입형 모니터(30)에 디스플레이 될 실제와 흡사한 게임 화면이다. 게임에 필요한 부가 정보들 이외에 게임 배경, 게임 캐릭터 등과 같은 요소들로 구성되어 있다.
두 번째 부분은 안경형 HMD(20)를 통하여 제공될 증강현실 화면으로 구성되어 있다.
예를 들어, 소규모의 특수 군인들이 건물에 투입되어 작전 수행을 하는 게임일 경우에 사용자들은 작전에 참여하는 군인들이 되고 실제와 같이 건물내부에서 움직이며 적과 교전을 하게 된다. 이때에 하나의 게임 화면을 통하여 사용자들은 건물의 내부, 적 등을 볼 수 있게 되고 증강현실 화면을 통하여 각 사용자들은 작전에 대한 세부 명령, 건물 내부의 중요 지점의 위치, 움직여야 할 방향 등의 그래픽 정보를 제공받는다.
이 때에 각 사용자들의 머리 위치와 자세에 관계없이 증강현실 화면 내의 가상 그래픽 정보는 게임 화면 내의 대상 물체와 항상 일치하여야 한다. 이를 위하여 각 사용자들의 머리 위치와 자세를 실시간으로 측정하기 위해 트래커(10) 모듈이 사용된다.
트래커(10)는 트래커 본체와 다수의 트래킹 센서(21)로 구성되어 있다. 먼저 트래커 본체는 미리 정해진 위치에 설치하고 트래킹 센서(21)는 각 사용자들이 착용할 안경형 HMD(20)에 설치하게 된다. 트래커(10)는 트래커 본체의 위치 및 자세를 기준으로 트래킹 센서(21)들로부터 사용자의 위치 및 자세를 실시간으로 제공한다.
상기와 같은 환경에서 먼저 안경형 HMD(20)를 착용하는 각 사용자들의 시점과 트래킹 센서(21) 사이의 위치 및 자세 차이를 계산한다. 이 차이는 변하지 않음으로 기구를 설치할 때 한번만 측정하면 된다.
다음에 트래커(10) 본체의 위치 및 자세와 같은 임의의 좌표를 기준으로 게임화면이 디스플레이 될 몰입형 모니터(30) 화면의 위치 및 자세를 측정한다.
증강현실 기술을 이용한 영상은 위의 임의의 기준 좌표를 기준하여 각 사용자에 맞는 게임 부가정보가 생성되게 되는데 앞에서 측정한 몰입형 모니터(30) 화면의 위치 및 자세에 일치하는 화면을 가상으로 생성한다.
그리고 각 사용자에게 맞는 가상의 몰입형 모니터(30) 화면에 Chroma-Keying 기법을 이용하여 게임영상과 정합될 증강현실 영상을 넣어 디스플레이 하는 것이다.
따라서 몰입형 모니터(30) 화면들은 임의 기준 좌표를 기준으로 정해진 위치 및 자세에 위치하게 된다. 또한 각 사용자들의 시점도 임의의 좌표를 기준으로 트래커(10) 본체의 위치 및 자세, 트래커 본체의 위치 및 자세를 기준으로 각 트래킹 센서(21)들의 위치 및 자세 그리고 트래킹 센서(21)와 안경형 HMD(20)를 착용한 사용자 시점 사이의 위치 및 자세 차이를 알고 있음으로 임의의 기준 좌표에 대한 각 사용자들의 시점을 알 수 있다.
따라서 사용자 시점의 변화에 관계없이 실제 게임 화면과 항상 정합되는 증강현실 게임 화면이 안경형 HMD(20)를 통하여 각 사용자들에게 전달된다. 이 구조에서 몰입형 모니터(30)는 일반 게임용 모니터를 사용할 수도 있고 몰입감을 위하여 멀티 모니터(Multi-Monitors) 또는 케이브(CAVE) 등의 적용도 가능하다.
또한 게임은 게임 영상 시스템(50)과 각 사용자 별로 AR 영상 시스템(40)로 구성되어 게임 영상 시스템(50)은 게임 영상을 생성하여 몰입형 모니터로 전달하고 AR 영상 시스템(40) 모듈은 각 사용자들에 맞는 증강현실 영상을 생성하여 안경형 HMD(20)에 전달하여 증강현실 기술을 이용한 게임을 하는 것이다.
도 2는 본 발명의 증강현실 게임 시스템의 상세 구성도이다.
구성은 트래커(10), 안경형 HMD (20), 몰입형모니터(30), 영상시스템(60)으로 이루어지며, 영상시스템(60)은 AR 영상 시스템(40)과 게임영상 시스템(50)으로 구성된다.
트래커(10)는 트래커 본체와 트래커 센서로 이루어 진다. 트래커(10)는 트래커의 좌표(Local Coodinate System)를 기준으로 한 트래킹 센서의 위치 및 자세를 실시간으로 제공한다. 트래커 본체는 사전에 정의한 위치에 설치되고 트래킹 센서는 안경형 HMD(20)에 부착되어 안경형 HMD(20)를 착용한 사용자의 머리가 움직일 때 트래킹 센서의 위치 및 자세를 실시간으로 제공하는 것이다.
안경형 HMD(20)는 헬맷의 형태로 되어 있는 사용자의 머리에 착용하게 된다. 안경형 HMD(20)에는 특수한 렌즈가 부착되어 있어서 사용자는 이 렌즈를 투과하여 시야에 들어오는 실제 사물들과 컴퓨터에서 생성된 가상의 이미지 등의 가상 부가정보를 같이 볼 수 있다.
또한, 다수의 사용자가 실시하는 가상현실 게임에서 사용자에게만 해당하는 부가정보를 볼 수 있다.
몰입형 모니터(30)는 게임에 사용되는 일반 모니터를 사용할 수 있으나 실감을 느낄 수 있도록 여러 모니터를 합쳐서 화면을 제공하는 멀티모니터나 프로젝션(projection) 또는 케이브(Cave)의 형태를 이용할 수 있다.
몰입형 모니터(30)는 게임을 하는 다수의 사용자가 공유하여 사용하는 것으로, 게임의 영상이 보여지며, 부가정보는 사용자 개인이 착용한 안경형 HMD(20)로 보여진다.
영상시스템(60)의 AR 영상시스템(50)은 게임의 영상을 생성시키는 AR 게임영상생성모듈과 트래커(10)로부터 입력되는 사용자의 위치 및 자세 보정하여 안경형 HMD(20)로 사용자의 위치 및 자세에 기반한 게임의 영상과 부가정보를 제공하는 것이다.
위치 및 자세 보정 모듈(42)은 실제 상용의 트래킹 센서가 제공하는 위치 및 자세 데이터의 오차를 보정하는 것이다. 또한, 트래커(10)가 제공하는 위치 및 자세 데이터는 사용자 시점의 위치 및 자세 데이터가 아니라 안경형 HMD(20)에 부착된 트래킹 센서의 위치 및 자세 데이터이다. 따라서 트래커(10)가 제공하는 위치 및 자세 데이터를 이용하여 사용자 시점의 위치 및 자세 데이터를 찾는 것이 필요하다. 위치 및 자세 보정 모듈은 이러한 트래커(10)의 오차를 보정하고 사용자 시점의 위치 및 자세를 계산하는 모듈이다.
트래킹 센서(21)와 사용자 시점의 위치 및 자세 차이 계산은 상술한 위치 및 자세 보정 모듈에서 설명한 것과 같이 트래커(10)가 제공하는 트래킹 센서(21)의 실시간 위치 및 자세 데이터는 사용자 시점의 위치 및 자세 데이터와는 차이가 있다.
이 차이를 알기 위해 먼저 트래킹 센서(21)를 안경형 HMD(20)에 고정시키고 트래커(10) 본체의 좌표계중에 Z축이 게임화면 정면을 향하도록 임의의 위치에 고정시킨다. 그리고 안경형 HMD(20)가 게임 화면의 정면을 향하도록 고정시킨다. 그러면 사용자 시점의 좌표계와 트래커 본체의 좌표계가 서로 일치하도록 회전시키는 메트릭스를 구한다. 다음으로 위치 변환을 위한 메트릭스를 계산한 이후 이들을 곱하여 트래커 본체의 좌표와 사용자 시점의 좌표 차이를 계산하는 것이다.
또한, 트래커(10)에서 송신되는 위치 및 자세 데이터는 많은 오차가 있으므로, 위치 및 자세 데이터의 오차 보정이 필요하다. 이러한 오차를 보정하기 위해 미리 게임환경에서 사용자가 움직이는 범위를 정의하고 범위 내에서 일정 간격으로 샘플을 취득한다.
샘플에는 트래킹 센서(21)의 위치 데이터와 실제 데이터를 기록한다. 그리고 실제 사용할 때, 트래커(10)가 제공하는 위치 데이터와 가장 가까운 샘플과 그 주위의 샘플을 찾고 이 샘플들에 대해 선형 보간법(linear interpolation)을 적용하여 오차를 보정한다.
위치 및 자세 보정 모듈(42)은 위의 두가지 방법에 의해서 사용자 시점의 위치 및 자세 데이터를 계산하는 것이다.
AR 게임 영상 생성모듈(44)은 위치 및 자세 보정 모듈(42)에서 제공하는 사용자 시점의 위치 및 자세 데이터를 기반으로 게임에 필요한 부가정보를 생성하여 안경형 HMD(20)를 통해 사용자에게 제공하는 것이다. 부가정보는 게임의 진행을 돕는 문자 정보 또는 3D 그래픽 정보이다. 사용자는 안경형 HMD(20)를 통하여 몰입형 모니터(30)와 부가정보가 정합된 것을 보며 게임을 진행하는 것이다.
게임용 증강 현실 이미지는 게임 부가정보를 의미하는데 사용자는 안경형 HMD(20)를 통하여 이 이미지를 몰입형 모니터(30)와 정합하여 보게된다.
먼저 트래커가 본체의 좌표 또는 임의의 좌표를 기준으로 한 몰입형 모니터 화면의 위치는 알고 있고 위치 및 자세 보정 모듈(42)로부터 사용자 시점의 위치 및 자세를 알고 있으므로 가상의 화면을 생성할 수 있다.
다음 게임 부가 정보를 생성하고 이를 가상의 화면에 Chroma-Keying 기법을 이용하여 맵핑한다. 위의 방법을 통하여 사용자는 사용자의 위치 및 자세에 관계없이 몰입형 모니터의 화면과 가상의 화면이 정합된 것을 보게 된다.
영상시스템(60)의 게임 영상 시스템(50)에는 게임 영상 생성 모듈(52)이 있으며 게임 영상을 생성하는 모듈로서 일반 게임 엔진이 제공하는 기능을 가지고 있으나 일반 게임에 들어가는 부가정보는 제외되며 게임 영상을 제공 하는 것이다.
상술한 바와 같이, 본 발명은 3차원화면을 디스플레이시키는 안경형 HMD(20)에 다수 개의 트래킹 센서(21)를 부착하여 사용자의 위치 및 자세 데이터를 수신하고, 해당 위치 및 자세 데이터에 따라 각 사용자에게 게임과 정합하는 부가정보를 영상이나 문자로 제공하는 AR 영상시스템(40)과 게임화면을 실감을 느낄 수 있도록 여러 모니터를 합쳐서 화면을 제공하는 멀티모니터나 프로젝션(projection)으로 이루어진 몰입형 모니터(30)와 게임 영상을 제공하는 게임 영상 시스템(50)으로 이루어져 증강현실 기술을 이용한 게임을 하는 것이다.
이상과 같이, 본 발명은 게임 화면과 증강현실 게임 화면으로 나누어서 게임 화면을 보다 현실감 있게 제공할 수 있으며, 게임을 통하여 일상생활에서 접하기 힘든 증강현실 기술을 사용자들이 접할 기회가 생기며,증강현실을 게임에 적용하기에 내용상의 제약이 많은 단점을 해소할 수 있는 효과가 있다.
도 1은 본 발명의 증강현실 게임 시스템의 구성도이다.
도 2는 본 발명의 증강현실 게임 시스템의 상세도.
<도면의 주요부분에 대한 설명>
10: 트래커(Tracker) 20: 안경형 HMD(See-Through HMD)
30: 몰입형 모니터 40: AR 영상 시스템
50: 게임 영상 시스템

Claims (5)

  1. 게임 영상을 재생하는 몰입형 모니터;
    게임 사용자의 머리 위치 및 자세정보를 제공하고, 상기 몰입형 모니터에 재생되는 게임 영상과 일치하는 증강현실 게임 부가정보를 제공하는 안경형 HMD;
    정의된 위치에 고정되어 상기 안경형 HMD의 움임에 따라 게임 사용자의 위치 및 자세정보를 검보를 검출하는 트래커;
    상기 트래커에 의해 검출된 게임 사용자의 위치 및 자세정보를 수신하여 설정된 데이터로부터 그 오차를 보정하고, 보정된 사용자의 위치 및 자세정보를 근거로 상기 게임에 필요한 부가정보를 상기 안경형 HMD로 전달하는 AR 영상시스템; 및
    상기 몰입형 모니터에 게임영상을 제공하는 게임영상 시스템; 을 포함하며,
    상기 게임 사용자는 상기 몰입형 모니터에서 재생되는 겜임영상과 정합하는 부가정보를 상기 안경형 HMD를 통해 제공받도록 하는 것을 특징으로 하는 증강현실 기술을 이용한 게임 장치.
  2. 제 1항에 있어서,
    상기 트래커는 상기 사용자의 위치 및 자세 정보를 수신하는 트래킹 센서를 상기 안경형 HMD에 구비하는 것을 특징으로 하는 증강현실 기술을 이용한 게임 장치.
  3. 삭제
  4. 트래킹 센서를 안경형 HMD에 고정시키는 1 단계;
    트래커의 좌표계중 Z축이 몰입형 모니터의 정면을 향하도록 임의의 위치에 고정시키는 2 단계;
    상기 안경형 HMD가 상기 몰입형 모니터 화면의 정면을 향하도록 고정시키는 3 단계;
    상기 안경형 HMD의 좌표계와 트래커의 좌표계가 일치하도록 회전변환 행렬을 구하는 4 단계;
    상기 안경형 HMD의 좌표계와 트래커의 좌표계가 일치하도록 위치변환 행렬을 구하는 5 단계;
    상기 4 단계의 행렬과 상기 5단계의 행렬을 곱하여 상기 트래커로부터 입력되는 위치 및 자세데이터와 실제의 사용자의 위치 및 자세 데이터의 차이를 계산하는 6 단계;
    상기 6 단계의 행렬의 결과 값으로 사용자의 위치 및 자세 데이터를 보정하는 7 단계; 를 포함하는 것을 특징으로 하는 사용자의 위치 및 자세 보정 방법.
  5. 제 4항에 있어서,
    상기 사용자의 위치 및 자세 데이터를 보정하는 7 단계는,
    상기 안경형 HMD를 착용하고 사용자가 움직이는 범위를 설정하는 단계;
    상기 범위에서 일정간격으로 상기 위치 및 자세데이터에 대한 샘플 데이터를 추출하는 단계;
    상기 샘플데이터에 대하여 선형보간법을 적용하여 오차를 보정하는 단계; 특징으로 하는 사용자의 위치 및 자세 보정 방법.
KR10-2001-0086501A 2001-12-28 2001-12-28 증강현실 기술을 이용한 게임 장치 및 방법 KR100475247B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0086501A KR100475247B1 (ko) 2001-12-28 2001-12-28 증강현실 기술을 이용한 게임 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0086501A KR100475247B1 (ko) 2001-12-28 2001-12-28 증강현실 기술을 이용한 게임 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20030056302A KR20030056302A (ko) 2003-07-04
KR100475247B1 true KR100475247B1 (ko) 2005-03-10

Family

ID=32214508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0086501A KR100475247B1 (ko) 2001-12-28 2001-12-28 증강현실 기술을 이용한 게임 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100475247B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101414147B1 (ko) * 2012-02-15 2014-07-01 (주)일렉콤 가상현실 사격 시뮬레이션 시스템
KR102314273B1 (ko) 2021-03-22 2021-10-19 안경익 증강현실과 gis를 이용한 증강객체 및 관광지 배경의 혼합현실 제공 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100648262B1 (ko) * 2004-05-03 2006-11-23 김학균 개인 정보 단말기를 이용하여 정보과다형 게임의과다정보를 디스플레이 하기 위한 장치
KR100863123B1 (ko) * 2005-11-17 2008-10-15 이휘성 가상 현실 서바이벌 게임 장치
KR100866847B1 (ko) * 2005-12-08 2008-11-04 한국전자통신연구원 트래커를 활용한 온라인 네트워크 대전 게임 시스템 및 그방법
KR100868733B1 (ko) * 2007-11-05 2008-11-13 광주과학기술원 증강현실 기반의 게임이 가능한 이동 단말기 및 이동단말기를 이용하여 증강현실 기반의 게임을 제공하는 방법
KR101640767B1 (ko) 2010-02-09 2016-07-29 삼성전자주식회사 이종 수행 환경을 위한 네트워크 기반의 실시간 가상 현실 입출력 시스템 및 가상 현실 입출력 방법
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
KR102501752B1 (ko) 2015-09-21 2023-02-20 삼성전자주식회사 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
KR101886276B1 (ko) 2016-09-30 2018-08-08 (주)모닝엔터컴 캐릭터를 활용한 증강현실 게임 장치
KR101904314B1 (ko) * 2016-11-15 2018-10-04 모테가 이노베이티브 인크 증강현실형 hmd를 이용한 전자 다트 서비스 제공방법
US11014001B2 (en) * 2018-03-05 2021-05-25 Sony Interactive Entertainment LLC Building virtual reality (VR) gaming environments using real-world virtual reality maps

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980019288A (ko) * 1998-03-04 1998-06-05 심우섭 PC 상에서의 몰입형 가상현실 시스템 구현(The implementation of VR system On PC.)
US5903395A (en) * 1994-08-31 1999-05-11 I-O Display Systems Llc Personal visual display system
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US6084556A (en) * 1995-11-28 2000-07-04 Vega Vista, Inc. Virtual computer monitor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903395A (en) * 1994-08-31 1999-05-11 I-O Display Systems Llc Personal visual display system
US6084556A (en) * 1995-11-28 2000-07-04 Vega Vista, Inc. Virtual computer monitor
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
KR19980019288A (ko) * 1998-03-04 1998-06-05 심우섭 PC 상에서의 몰입형 가상현실 시스템 구현(The implementation of VR system On PC.)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101414147B1 (ko) * 2012-02-15 2014-07-01 (주)일렉콤 가상현실 사격 시뮬레이션 시스템
KR102314273B1 (ko) 2021-03-22 2021-10-19 안경익 증강현실과 gis를 이용한 증강객체 및 관광지 배경의 혼합현실 제공 시스템

Also Published As

Publication number Publication date
KR20030056302A (ko) 2003-07-04

Similar Documents

Publication Publication Date Title
KR100475247B1 (ko) 증강현실 기술을 이용한 게임 장치 및 방법
Anthes et al. State of the art of virtual reality technology
CN107111340B (zh) 在虚拟或增强现实场景内进行用户交互的方法和系统
CN108292040B (zh) 优化头戴式显示器屏幕上的内容定位的方法
Azuma Augmented reality: Approaches and technical challenges
US8248462B2 (en) Dynamic parallax barrier autosteroscopic display system and method
JP3145059B2 (ja) 情報記憶媒体及び画像生成装置
Peck et al. Improved redirection with distractors: A large-scale-real-walking locomotion interface and its effect on navigation in virtual environments
EP1060772A2 (en) Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
JP2017078891A (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
JP2000350860A (ja) 複合現実感装置及び複合現実空間画像の生成方法
JP2002229730A (ja) 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
JP2000350859A (ja) マーカ配置方法及び複合現実感装置
Knoerlein et al. Visuo-haptic collaborative augmented reality ping-pong
CN111930223A (zh) 用于观看计算机生成的环境并与其互动的可移动显示器
EP4058870A1 (en) Co-located pose estimation in a shared artificial reality environment
US20180261120A1 (en) Video generating device, method of controlling video generating device, display system, video generation control program, and computer-readable storage medium
JP2002123840A (ja) 臨場感型仮想現実提供処理方法および装置
Greuter et al. Controlling viewpoint from markerless head tracking in an immersive ball game using a commodity depth-based camera
Hoffard et al. Skisim: A comprehensive study on full body motion capture and real-time feedback in vr ski training
JP2017142816A (ja) 同期サーバ及び同期方法
Tedjokusumo et al. Immersive multiplayer games with tangible and physical interaction
Lin Investigation of visual and game-playing performance under different genders, display and operation interfaces
KR20020015536A (ko) 인터넷을 이용한 가상현실 골프게임 시스템
JP2017142592A (ja) 同期サーバ及び同期方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090202

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee