KR101686576B1 - 가상 현실 시스템 및 이를 이용한 오디션 게임 시스템 - Google Patents

가상 현실 시스템 및 이를 이용한 오디션 게임 시스템 Download PDF

Info

Publication number
KR101686576B1
KR101686576B1 KR1020150111809A KR20150111809A KR101686576B1 KR 101686576 B1 KR101686576 B1 KR 101686576B1 KR 1020150111809 A KR1020150111809 A KR 1020150111809A KR 20150111809 A KR20150111809 A KR 20150111809A KR 101686576 B1 KR101686576 B1 KR 101686576B1
Authority
KR
South Korea
Prior art keywords
user
space
virtual
actual
sensor
Prior art date
Application number
KR1020150111809A
Other languages
English (en)
Other versions
KR20160018436A (ko
Inventor
그렉 반 쿠렌
소민철
사무엘 파리나 Iii
브라이언 상우 한
Original Assignee
그렉 반 쿠렌
소민철
사무엘 파리나 Iii
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 그렉 반 쿠렌, 소민철, 사무엘 파리나 Iii filed Critical 그렉 반 쿠렌
Publication of KR20160018436A publication Critical patent/KR20160018436A/ko
Application granted granted Critical
Publication of KR101686576B1 publication Critical patent/KR101686576B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/0429—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)

Abstract

본 발명의 가상 현실 시스템은, 적어도 둘 이상의 사용자가 실제로 이동 가능한 소정 면적을 가지고 현실 세계의 실제 공간 내에 정의된 적어도 하나의 플레이 그라운드 내에서의 상기 각 사용자의 실제 위치 및 시선 방향을 감지하기 위한 적어도 하나의 센서; 가상 공간의 영상을 표시하는 디스플레이를 구비하고, 상기 각 사용자의 양안을 감싸며 착용되는 헤드 마운트 장치; 상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 실제 공간 내에서의 상기 각 사용자의 실제 위치 및 시선 방향을 산출하는 트래킹 장치; 및 상기 각 사용자의 실제 위치 및 시선 방향에서 바라본, 상기 플레이 그라운드 내의 실제 객체들에 대응하여 형성한 상기 가상 공간의 영상을, 상기 각 사용자의 상기 헤드 마운트 장치로 전송하는 제어 장치;를 포함하고, 상기 제어 장치는, 어느 한 사용자의 실제 위치 및 시선 방향에 대응하는 실제 공간 내에 다른 사용자가 존재하는 경우, 상기 어느 한 사용자의 가상 공간에, 그 사용자들 간의 거리에 비례하는 크기로 실재하는 방향에 상기 다른 사용자에 대응하는 가상 객체를 표시한다.

Description

가상 현실 시스템 및 이를 이용한 오디션 게임 시스템{VIRTUAL REALITY SYSTEM AND AUDITION GAME SYSTEM USING THE SAME}
본 발명은 가상 현실 시스템에 관한 것으로, 보다 구체적으로 헤드 마운트 장치를 이용한 가상 현실 시스템에 관한 것이다.
본 출원은 2014년 08월 08일에 출원된 미국특허출원 14/455,464에 기초한 우선권을 주장하며, 해당 출원의 명세서 및 도면에 개시된 모든 내용은 본 출원에 원용된다.
가상 현실 시스템은 전형적으로, 가상 공간을 사용자에게 표시하는 출력 장치와, 사용자의 움직임을 입력받는 입력 장치와, 입력 장치로부터 입력된 사용자의 움직임을 반영하여 가상 공간을 변화시켜 출력 장치에 표시하는 제어 장치(예컨대 컴퓨터)로 이루어진다.
상기 출력 장치는 전형적으로 인간의 시각을 통해 가상 공간을 느낄 수 있도록 하는 표시 장치로서, 가장 단순하게는 컴퓨터 모니터(스크린)를 들 수 있고, 몰입감을 강화하기 위해 서라운드 스크린, 나아가 헤드 마운트 장치(head mounted device)를 사용하기도 한다. 헤드 마운트 장치는 전형적으로 사용자의 양안을 감싸도록 머리에 착용하는 장치로서, 좌우 양안 앞에 각각의 디스플레이를 구비하고, 좌우 디스플레이에는 각각 좌안 영상과 우안 영상을 표시함으로써 자연스럽게 3차원 영상을 표시한다. 특히, 헤드 마운트 장치의 경우, 사용자는 좌우안 영상으로 구현되는 3차원 영상인 가상 공간만을 볼 수 있기 때문에, 이 가상 공간 내에 자신이 실재하는 것처럼 느끼게 되어 가상 공간에의 몰입감의 측면에서 다른 어떤 출력 장치보다 우수하다.
또한, 출력 장치는 인간의 청각을 통해 가상 세계를 느낄 수 있도록 음향을 제공하는 스테레오 스피커를 더 포함할 수 있고(이어폰을 통해 사용자에게만 음향을 제공할 수도 있다), 바람이나 안개, 냄새와 같은 후각이나 촉각 자극을 제공하는 송풍기나 분무기 등을 더 포함하여 가상 세계의 현실감을 높일 수도 있다.
상기 입력 장치는 사용자가 가상 공간 내에서 이동하거나 움직이기 위해, 사용자가 실제 공간에서 움직일 때 사용자의 움직임을 감지하는 수단이다. 이 입력 장치로는, 가장 단순하게는 키보드, 마우스, 조이스틱과 같은 일반적인 컴퓨터 입력 장치부터, 사용자와 분리되어 설치되어 사용자를 촬영하는 카메라 센서, 사용자의 신체에 부착되어 사용자의 움직임을 감지하는 가속도 센서 등의 움직임 센서, 나아가 트레드밀이나 센서가 장착된 의자나 탈것과 같이 사용자의 제자리 보행이나 움직임을 가능하게 하면서 사용자의 보행이나 움직임을 감지하는 특별히 고안된 장치까지 다양한 장치를 사용할 수 있다.
그런데, 상기와 같이 다양한 출력 장치와 입력 장치 중 어느 것을 사용하더라도, 현재까지 개발된 가상 현실 시스템에서는, 사용자가 실제 공간에서 실제로 걷거나 뛰는 등의 이동을 할 수는 없다. 이는, 출력 장치로서 단순 모니터나 서라운드 모니터를 사용하는 경우에는 모니터가 일정 장소에 고정되어 설치될 수밖에 없고, 따라서 모니터 앞을 떠나서는 게임 등을 할 수가 없기 때문이다. 또한, 출력 장치로서 헤드 마운트 장치를 사용하는 경우에는 사용자가 실제 공간에서 이동하더라도 디스플레이가 항상 눈앞에 있기 때문에 이론상으로는 자유롭게 이동할 수 있지만, 사용자는 헤드 마운트 장치의 디스플레이에 의해 표시되는 가상 공간만을 볼 수 있고 헤드 마운트 장치 바깥의 현실 세계(실제 공간)의 지면이나 장애물을 볼 수 없는 상태이므로 실제로 걷거나 뛸 수는 없다.
따라서, 현재까지 헤드 마운트 장치를 이용하는 가상 현실 시스템에서는, 전술한 바와 같이 트레드밀이나 특별한 의자, 탈것과 같은 기껏해야 제자리에서의 움직임이 가능한 입력 장치를 사용하고 있는 실정이지만, 이러한 입력 장치들은 실제 공간에서의 사용자의 보행감이나 이동감을 제대로 반영하지 못하고 있어 게임 등의 재미와 현실감이 떨어지고, 사용자의 실제 운동이나 신체적 훈련에도 별 도움이 되지 못하고 있다.
최근에는 온라인으로 연결된 다수의 사용자가 같은 공간에서 동시에 게임을 즐길 수 있는 MMORPG(Massive Multiplayer Online Role Playing Game)가 큰 인기를 끌고 있다. 따라서 헤드 마운트 장치를 이용한 가상 현실 시스템도, 사용자 단독이 아닌, 여러 명의 사용자가 동시에 같은 가상 공간에서 게임 등을 할 수 있는 것이 요구될 것이다. 헤드 마운트 장치는 고정된 장치가 아니라 사용자에게 착용되므로 헤드 마운트 장치를 착용한 사용자는 자유롭게 이동이 가능하고, 따라서 실제 공간에서의 사용자의 이동이나 움직임이 가상 공간에 그대로 반영되면서 다른 사용자에게 영향을 줄 수 있는 다중 사용자 게임 등에 대한 요구가 예상된다.
한편, 최근에 출시된 '구글 글래스'와 같이 사용자의 눈앞에 정보를 표시하는 작은 디스플레이를 제공하여 현실 세계를 보면서 디스플레이에 의해 제공되는 정보도 볼 수 있는 장치가 제안되었다. 이러한 장치를 출력 장치로서 사용하게 되면 사용자는 실제 공간의 지면이나 장애물을 볼 수 있어 걷거나 뛰는 등 실제적인 이동이 가능하다. 그러나, 구글 글래스는 사용자의 시각에 비춰지는 현실 세계에 더해 보조적인 정보를 보여주는 유용한 수단이지만, 이를 이용한 시스템은 전술한 헤드 마운트 장치에 비해 가상 공간(상기 보조적인 정보가 가상 공간의 영상인 경우)에의 몰입성이 현저히 떨어져, 진정한 의미의 가상 현실 시스템이라 할 수 없다.
여기서, 구글 글래스 역시 머리에 착용하는 장치이므로 헤드 마운트 장치라 할 수 있는데, 본 출원에서 '헤드 마운트 장치'라 하면 가상 공간만을 볼 수 있는 몰입형 헤드 마운트 장치를 의미하고, 구글 글래스와 같이 현실 세계에 더해 보조적인 정보를 볼 수 있는 장치와는 구분된다.
이와 같이 현재까지 개발된 가상 현실 시스템에서는 가상 공간에의 몰입감과 실제 공간에서의 사용자의 실제 이동을 양립시키지 못하고 있다. 그리고, 헤드 마운트 장치를 이용한 가상 현실 시스템은 실제 공간에서의 사용자의 움직임이나 이동을 가상 공간에 반영하면서 여러 명의 사용자가 같은 가상 공간에서 서로에게 영향을 줄 수 있는 기능이 요구될 것이다.
최근 들어 방송통신기술의 발전으로 연예인들의 활동폭이 넓어지고 그들의 일상 생활이 방송 프로그램을 통해 많이 노출되면서 연예인 지망자가 늘어나고 있다. 일반인이 연예인이 되기 위해서는 전문 학원을 다니거나 기획사의 오프라인 오디션에 참가하는 등의 노력을 들여야 한다. 기획사들은 연예인 지망생을 선발하기 위해 일반인을 길거리에서 캐스팅하거나 주기적으로 오디션을 하여 연예인 지망생을 선발한다. 연예인 지망자가 스스로 노력을 할 때나, 기획사들이 직접 연예인 지망자를 물색하여 캐스팅할 때 등, 어느 경우에나 많은 시간과 비용 그리고 노력이 필요하다.
UCC(User Created Contents) 등과 같은 온라인 동영상 서비스 기술이 발전하면서 연예인 지망자들이 자기의 끼와 실력을 발휘할 수 있는 기회가 많아졌다. 연예인 지망자들은 모바일 폰이나 캠코더 등으로 자신의 노래하는 모습이나 춤추는 모습을 동영상으로 촬영한 후 유투브 등에 올려 대중의 관심을 유도하는 방식으로 연예인이 되기 위해 노력하고 있다. 그러나 이러한 온라인 오디션은 노래하는 모습 또는 춤추는 모습을 촬영한 동영상을 올려 놓은 후 단순히 클릭 수만으로 대중의 관심을 유도하는 것으로 참가자의 실력을 정확하게 평가하기 어렵다. 또한 포탈 사이트 등에서 제공하는 키워드 검색 등에 의한 인기순위는 오버추어와 같은 광고 기능에 의해 객관적이지 못한 문제점이 있다. 아울러 온라인에서 인기가 있는 사람이라도 기획사에 캐스팅될 경우 여전히 다년 간의 전문 트레이닝을 받아야 하고 기획사는 많은 비용과 시간을 투자해야 한다.
최근 방송 산업의 전 분야에 걸쳐 주목할 만한 현상 중의 하나가 이른바 리얼리티(reality)를 표방하는 방송 프로그램이 대중의 폭발적인 관심을 받고 있다는 점이다. 리얼리티 프로그램의 가장 핵심적인 요소는 사실성을 기반으로 하는 경쟁이라고 할 수 있다. 오디션 리얼리티 쇼는 리얼리티 프로그램의 세부 장르로서 주로 일반인 참가자를 대상으로 하기 때문에 기존의 오락 프로그램의 계보를 잇는 포맷으로 평가받고 있다.
미국에서는 가수 데뷔를 목표로 경연을 벌이는 오디션 프로그램인 <아메리칸 아이돌(American Idol)>이 2002년 FOX TV를 통해 방영되면서 많은 관심을 받았다. 이러한 오디션 프로그램들은 대형 기획사 및 방송사와 이해관계가 없는 일반인들에게 스타가 될 수 있는 새로운 기회를 제공한다. 그러나 이러한 오디션 프로그램은 리얼리티와 쇼가 결합된 형식의 프로그램으로서 참가자 캐스팅에서부터 편집 작업에 이르기까지 매우 상업적이고 오락적인 논리에 의해 치밀하게 구성된 서사적 재현물이라고 할 수 있고, 따라서 서사적 스토리를 갖고 있지 않은 참가자에게는 또다른 장애물이 되고 있다. 그리고 리얼리티를 표방하며 전국 단위 더 나아가 해외 참가자까지도 공개 오디션을 진행함으로써 막대한 비용과 시간이 투여되고 있고 예선을 위해 많은 참가자들이 모이기 때문에 참자가들이 자신의 끼와 실력을 뽑낼 기회가 매우 적은 것이 현실이다.
한편, 게임 산업의 발전과 유무선 통신 기술의 발전 등으로 역할 수행 게임(RPG:Role Playing Game)이 인기를 얻고 있다. RGP는 사용자가 이야기 속의 캐릭터들을 연기하며 즐기는 게임이다. 인터넷이 발전하면서 하나의 기기로만 즐길 수 있던 싱글 플레이(Single Play)에서 벗어나 다수의 사용자가 동시에 즐기는 멀티 플레이(Multi Play)가 도입되었고, MMORPG(Massively Multiplayer Online Role Playing Game) 또는 MORPG(Multiplayer Online Role Playing Game) 등으로 파생되었다. 이러한 류의 게임들이 인기를 얻는 이유에 대해 전문가들은 현실감을 꼽는다. 즉 RPG를 통해 가상 현실을 체험한다는 것이다. 그러나 현재까지의 RPG는 사용자가 컴퓨터 화면상에 출력된 3차원 입체 영상을 통해 가상 현실을 경험하는 테스크탑형 가상 현실을 제공하고 있어 현실감이 떨어지고, 가상 현실 공간에서 사용자 간에 단순히 전투를 수행하거나 팀 미션을 수행하고 또는 유전 단독으로 미션을 수행하는 방식에 머물러 있다.
본 발명은 헤드 마운트 장치를 착용한 사용자가 실제 공간에서 실제로 이동하면 가상 공간 내에서 실재하여 이동하고 있는 느낌을 부여함으로써 가상 공간에의 몰입감과 실제 공간에서의 실제 이동을 양립시키며 같은 가상 공간에서 복수의 사용자들이 서로에게 영향을 줄 수 있는 가상 현실 시스템을 제공한다.
또한, 본 발명은, 연예인 지망자를 모집하고 테스트하는 오프라인 오디션과 온라인 역할 수행 게임을 접목하여, 상기 가상 현실 시스템을 기반으로 연예인 지망자들이 몰입감이 높은 가상 현실 공간에서 오디션과 관련된 역할 수행 게임을 수행하도록 하여 끼와 재능을 보유한 연예인 지망자들이 기획사들에 캐스팅되어 데뷔할 수 있는 환경을 제공하는 가상 현실 기반의 오디션 게임 시스템을 제공한다.
본 발명의 일 측면에 따른 가상 현실 시스템은, 적어도 둘 이상의 사용자가 실제로 이동 가능한 소정 면적을 가지고 현실 세계의 실제 공간 내에 정의된 적어도 하나의 플레이 그라운드 내에서의, 상기 각 사용자의 실제 위치 및 시선 방향을 감지하기 위한 적어도 하나의 센서; 가상 공간의 영상을 표시하는 디스플레이를 구비하고, 상기 각 사용자의 양안을 감싸며 착용되는 헤드 마운트 장치; 상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 플레이 그라운드 내에서의 상기 각 사용자의 실제 위치 및 시선 방향을 산출하는 트래킹 장치; 및 상기 각 사용자의 실제 위치 및 시선 방향에서 바라본, 상기 플레이 그라운드 내의 실제 객체들에 대응하여 형성한 상기 가상 공간의 영상을, 상기 각 사용자의 상기 헤드 마운트 장치로 전송하는 제어 장치;를 포함하고, 상기 제어 장치는, 어느 한 사용자의 실제 위치 및 시선 방향에 대응하는 실제 공간 내에 다른 사용자가 존재하는 경우, 상기 어느 한 사용자의 가상 공간에, 그 사용자들 간의 거리에 비례하는 크기로 실재하는 방향에 상기 다른 사용자에 대응하는 가상 객체를 표시한다.
상기 적어도 하나의 센서는, 카메라 센서를 포함하고, 상기 제어 장치는, 상기 카메라 센서에 의해 촬영된 사용자의 영상으로부터 사용자의 형태를 분석하고 그 분석한 사용자의 형태에 대응하는 가상 객체를 상기 가상 공간에 표시할 수 있다.
상기 적어도 하나의 플레이 그라운드는, 서로 떨어져 설치된 동일한 크기 및 구조의 두 개의 플레이 그라운드를 포함하고, 각 플레이 그라운드에는 적어도 하나의 사용자가 위치하며, 상기 제어 장치는, 각 플레이 그라운드 내의 사용자의 실제 위치 및 시선 방향에 기초하여, 각 플레이 그라운드 내의 사용자의 헤드 마운트 장치로 전송하는 가상 공간에, 다른 플레이 그라운드 내의 사용자에 대응하는 가상 객체를 표시할 수 있다.
상기 제어 장치는, 어느 한 플레이 그라운드 내의 사용자의 실제 위치 및 시선 방향에 대응하는 다른 플레이 그라운드의 실제 공간에 다른 사용자가 존재하는 경우, 상기 어느 한 플레이 그라운드 내의 사용자의 가상 공간에, 그 사용자들 간의 거리에 비례하는 크기로 실재하는 방향에 상기 다른 사용자에 대응하는 가상 객체를 표시할 수 있다.
상기 적어도 하나의 플레이 그라운드는, 서로 떨어져 설치된 크기 및 구조가 다른 두 개의 플레이 그라운드를 포함하고, 각 플레이 그라운드에는 적어도 하나의 사용자가 위치하며, 상기 적어도 하나의 센서는, 상기 헤드 마운트 장치 및 상기 사용자들의 신체 중 적어도 하나에 장착된 가속도 센서 또는 자이로 센서를 포함하고, 상기 트래킹 장치는, 상기 가속도 센서 또는 자이로 센서로부터의 신호를 이용하여 각 사용자의 실제 공간 내에서의 활동 공간을 산출하고, 상기 제어 장치는, 상기 가상 공간의 영상에 상기 각 사용자의 활동 공간에 대응하는 영역을 표시할 수 있다.
상기 제어 장치는, 상기 가상 공간의 영상에, 상기 실제 공간 내에 존재하지 않는 가상 객체를 더 표시할 수 있다.
상기 적어도 하나의 센서는, 모션 인식 센서를 포함하고, 상기 트래킹 장치는, 상기 모션 인식 센서의 신호로부터 각 사용자의 움직임을 분석하며, 상기 제어 장치는, 상기 어느 한 사용자의 가상 공간에 표시되는 상기 다른 사용자에 대응하는 가상 객체를 상기 움직임의 분석 결과에 대응하여 움직이게 할 수 있다.
상기 적어도 하나의 센서는, 상기 헤드 마운트 장치 및 상기 사용자들의 신체 중 적어도 하나에 장착된 가속도 센서 또는 자이로 센서를 포함하고, 상기 트래킹 장치는, 상기 가속도 센서 또는 자이로 센서로부터의 신호를 입력받아 상기 사용자들의 실제 위치 및 시선 방향을 산출할 수 있다.
상기 트래킹 장치는, 상기 실제 공간의 좌표축과 상기 가속도 센서 또는 자이로 센서의 좌표축을 일치시키는 캘리브레이션을 수행할 수 있다.
상기 적어도 하나의 센서는, 카메라 센서를 포함하고, 상기 트래킹 장치는, 상기 카메라 센서가 촬영한 영상을 입력받아 상기 사용자들의 실제 위치 및 시선 방향을 산출할 수 있다.
상기 적어도 하나의 센서는, 상기 헤드 마운트 장치에 장착되고 특정 파장의 전자기파를 방출하는 방출 소자; 및 상기 전자기파를 검출하는 적어도 2개의 검출 소자;를 포함할 수 있다.
상기 방출 소자는, 소정 간격 이격된 2개의 방출 소자로 이루어지고, 상기 적어도 2개의 검출 소자 각각은, 상기 2개의 방출 소자로부터 방출된 전자기파를 모두 검출하여 상기 2개의 방출 소자의 위치를 감지하며, 상기 트래킹 장치는, 상기 적어도 2개의 검출 소자로부터의 신호를 입력받아 상기 2개의 방출 소자 각각의 위치를 산출하고, 상기 2개의 방출 소자의 위치의 중점을 사용자의 현재 위치로 산출하고, 상기 2개의 방출 소자의 위치의 수직 이등분선의 방향을 사용자의 시선 방향으로 산출할 수 있다.
상기 헤드 마운트 장치는, 사용자의 눈동자를 검출하는 수단을 포함하고, 상기 트래킹 장치는, 상기 눈동자 검출 수단으로부터의 신호를 입력받아 사용자의 눈동자 위치를 산출하고 이로부터 사용자가 현재 주시하는 주시점을 산출하며, 상기 제어 장치는, 상기 주시점에 초점을 맞춘 상기 가상 공간의 영상을 상기 헤드 마운트 장치로 전송할 수 있다.
상기 트래킹 장치는, 상기 헤드 마운트 장치 또는 상기 제어 장치 중 어느 하나에 설치될 수 있다.
본 발명의 다른 측면에 따른 가상 현실 기반의 오디션 게임 시스템은, 가상 공간의 영상을 표시하는 디스플레이를 구비하고 사용자의 양안을 감싸며 착용되는 헤드 마운트 장치; 실제 공간에 설치되어 상기 사용자의 위치 및 모션을 감지하는 적어도 하나의 센서; 상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 실제 공간 내에서의 상기 사용자의 실제 위치 및 시선 방향을 산출하는 트래킹 장치; 및 상기 가상 공간의 영상을 생성하고, 상기 산출된 사용자의 실제 위치 및 시선 방향에서 바라본 상기 가상 공간의 영상을 상기 헤드 마운트 장치로 전송하는 게임 서버;를 포함한다.
상기 게임 서버는, 상기 실제 공간 내의 상기 사용자에 대응하는 가상 객체를 상기 가상 공간의 영상에 더 표시하고, 상기 사용자의 모션에 대응하도록 상기 가상 객체를 변화시켜 표시할 수 있다.
상기 적어도 하나의 센서는, 상기 실제 공간 내의 상기 사용자 이외의 실제 객체의 위치 및 움직임을 감지하고, 상기 게임 서버는, 상기 실제 공간 내의 상기 사용자 이외의 실제 객체에 대응하는 가상 객체를 상기 가상 공간의 영상에 더 표시하고, 상기 실제 객체의 위치 및 움직임에 따라 상기 실제 객체에 대응하는 가상 객체를 변화시켜 표시할 수 있다.
상기 사용자 이외의 실제 객체의 위치 및 움직임을 감지하는 센서는 카메라 센서일 수 있다.
상기 게임 서버는, 상기 가상 공간의 영상에, 상기 실제 공간 내에 존재하지 않는 가상 객체를 더 표시할 수 있다.
상기 게임 서버는, 상기 가상 공간에서 이루어지는 상기 사용자의 게임 결과를 평가하여 레벨을 부여하고 평가 정보 및 레벨 정보를 데이터베이스에 저장할 수 있다.
상기 게임 서버는, 레벨 정보가 일정 레벨 이상인 사용자를 선별하고, 그 선별된 사용자의 평가 정보, 프로필 정보 및 게임 수행 영상 중 적어도 하나를 기획사 단말로 전송할 수 있다.
상기 게임 서버는, 상기 가상 공간에서 이루어지는 상기 사용자의 게임 결과에 대해 다른 사용자들로부터 평가 정보를 수신하여 데이터베이스에 저장하고, 일정한 기준 이상의 평가를 받은 사용자의 평가 정보, 프로필 정보 및 게임 수행 영상 중 적어도 하나를 기획사 단말로 전송할 수 있다.
상기 게임 서버는, 상기 가상 공간에서 게임을 진행할 때 사용될 아이템을 구입할 수 있는 쇼핑몰 서비스를 제공하고, 쇼핑몰 서비스를 통해 구매된 아이템을 상기 가상 공간에 적용할 수 있다.
상기 적어도 하나의 센서는, 상기 헤드 마운트 장치 및 상기 사용자의 신체 중 적어도 하나에 장착된 가속도 센서 또는 자이로 센서를 포함하고, 상기 트래킹 장치는, 상기 가속도 센서 또는 자이로 센서로부터의 신호를 입력받아 상기 사용자의 실제 위치 및 시선 방향을 산출할 수 있다.
상기 적어도 하나의 센서는, 카메라 센서를 포함하고, 상기 트래킹 장치는, 상기 카메라 센서가 촬영한 영상을 입력받아 상기 사용자의 실제 위치 및 시선 방향을 산출할 수 있다.
상기 적어도 하나의 센서는, 상기 헤드 마운트 장치에 장착되고 특정 파장의 전자기파를 방출하는 방출 소자; 및 상기 전자기파를 검출하는 적어도 2개의 검출 소자;를 포함할 수 있다.
상기 방출 소자는, 소정 간격 이격된 2개의 방출 소자로 이루어지고, 상기 적어도 2개의 검출 소자 각각은, 상기 2개의 방출 소자로부터 방출된 전자기파를 모두 검출하여 상기 2개의 방출 소자의 위치를 감지하며, 상기 트래킹 장치는, 상기 적어도 2개의 검출 소자로부터의 신호를 입력받아 상기 2개의 방출 소자 각각의 위치를 산출하고, 상기 2개의 방출 소자의 위치의 중점을 상기 사용자의 현재 위치로 산출하고, 상기 2개의 방출 소자의 위치의 수직 이등분선의 방향을 상기 사용자의 시선 방향으로 산출할 수 있다.
상기 헤드 마운트 장치는, 상기 사용자의 눈동자를 검출하는 수단을 포함하고, 상기 트래킹 장치는, 상기 눈동자 검출 수단으로부터의 신호를 입력받아 상기 사용자의 눈동자 위치를 산출하고 이로부터 사용자가 현재 주시하는 주시점을 산출하며, 상기 게임 서버는, 상기 주시점에 초점을 맞춘 상기 가상 공간의 영상을 상기 헤드 마운트 장치로 전송할 수 있다.
상기 트래킹 장치는, 상기 헤드 마운트 장치 또는 상기 게임 서버 중 어느 하나에 설치될 수 있다.
본 발명에 따르면, 헤드 마운트 장치를 착용한 복수의 사용자가 실제 공간 내에서 실제 이동하고 움직이면서 같은 가상 공간 내의 풍부한 가상 객체들을 활용하며 상호 영향을 주고 받을 수 있어, 가상 현실과 실제 세계가 결합된 새로운 차원의 엔터테인먼트 시스템이 가능해 진다.
또한, 본 발명에 따르면, 가상 공간에서의 몰입감과 실제 공간에서의 이동을 양립시킴으로써 오디션 게임 사용자들의 몰입감과 현실감을 극대화할 수 있고, 또한 연예인 지망자들에게 연예계에 진입할 수 있는 기회를 제공할 수 있으며, 연예 기획사들은 투자 비용을 줄이면서 끼와 재능을 가진 연예인 지망자들을 캐스팅할 수 있는 기회를 제공한다.
도 1은 본 발명의 일 응용예에 따른 가상 현실 시스템의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 2는, 도 1에 도시된 시스템에서 헤드 마운트 장치 내의 디스플레이에 표시되는 가상 공간의 영상의 일예를 도시한 도면이다.
도 3은 본 발명의 다른 응용예에 따른 가상 현실 시스템의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 4는, 도 3에 도시된 시스템에서 헤드 마운트 장치 내의 디스플레이에 표시되는 가상 공간의 영상의 일예를 도시한 도면이다.
도 5는, 본 발명의 또 다른 응용예에 따른 가상 현실 시스템의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 6은, 도 5에 도시된 시스템에서 헤드 마운트 장치 내의 디스플레이에 표시되는 가상 공간의 영상의 일예를 도시한 도면이다.
도 7은, 본 발명의 또 다른 응용예에 따른 가상 현실 시스템의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 8은, 도 7에 도시된 시스템에서 헤드 마운트 장치 내의 디스플레이에 표시되는 가상 공간의 영상의 일예를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 가상 현실 시스템의 기술적 구성을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 가상 현실 기반의 오디션 게임 시스템의 기술적 구성을 나타낸 도면이다.
도 11은 도 10의 게임 서버의 게임 운영 프로그램의 구성을 나타낸 도면이다.
도 12는 본 발명의 실시예에 따른 가상 현실 시스템에 적용되는 눈동자 위치 추적 기능을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 가상 현실 시스템에 대하여 상세히 설명하기로 한다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과하고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
전술한 종래기술에서 가상 공간에의 몰입감과 실제 공간에서의 실제 이동을 양립시키지 못한 가장 근본적인 이유는, 사용자가 몰입형 헤드 마운트 장치를 착용하면 현실 세계를 볼 수 없기 때문이다. 즉, 인간은 현실 세계를 특히 시각으로 감지하면서(더욱 바람직하게는, 사물의 입체감을 느끼는 3차원적 시각으로 감지하면서) 발을 내딛도록 학습되어 있는데, 헤드 마운트 장치는 현실 세계에 대한 시각을 차단한다. 따라서, 헤드 마운트 장치를 착용하고 가상 공간에 몰입하여 게임 등을 하는 종래의 가상 현실 시스템은, 사용자가 제자리에서 움직이는 것만을 허용해 왔다.
현재 RPG 등의 가상 현실 게임의 종류는 몰입형과 데스크탑형이 있다. 몰입형 가상 현실은 디스플레이 장비를 사람이 직접 착용하여 체험하는 것으로 실재감이 높다. 데스크탑형 가상 현실은 컴퓨터 화면상에 출력된 3차원 입체 영상을 통해 경험하는 것으로 몰입형 가상 현실에 비해 현실감이 떨어진다. 우리가 쉽게 접할 수 있는 RPG는 데스크탑형 가상 현실에 해당한다. 그러나 최근 Oculus, Sony Project Morpheus와 같은 가상 현실 체험 기기가 저렴한 가격에 보급되고 있고, Microsoft사의 kinect, Sony사의 Move 등과 같은 오디오와 모션을 인식할 수 있는 다양한 센서들이 널리 보급되고 있다.
본 발명에서 사용자는 이러한 가상 현실 체험 기기와 다양한 센서들을 이용하여 실제 공간에서 실제로 이동하면서도 가상 현실이 제공하는 풍부한 가상 객체(예컨대, 가상의 적군 등)를 체험할 수 있다. 또한 여러 명의 사용자가 실제 공간에서 가까운 거리에 함께 있거나 또는 각 사용자가 서로 보이지 않는 멀리 떨어진 실제 공간에 있으면서, 같은 가상 공간에서 서로에게 영향을 줄 수 있다. 이렇게 가상 공간에의 몰입감과 실제 공간에서의 다수의 사용자의 실제 이동을 양립시키기 위해서는 헤드 마운트 장치의 디스플레이가 표시하는 가상 공간이 실제 공간과 같은 크기와 시야로 사용자에게 시인되어야 할 필요가 있다.
본 발명은 이러한 가상 현실 체험 기기와 다양한 센서들을 이용하여 연예인 지망자, 즉 사용자들에게 몰입감이 높은 가상 현실 게임 공간을 제공하고, 사용자들은 이러한 가상 현실 게임 공간에서 자신의 끼와 재능을 뽑낼 수 있는 역할 게임을 수행한다. 본 발명은 사용자들이 가상 현실 게임 공간에서 주어지는 역할 게임을 수행하는 경우 이에 대한 평가 결과를 종합하여 기획사에 사용자의 정보와 함께 제공함으로써 사용자들이 기획사를 통해 캐스팅되어 데뷔할 수 있는 기회를 제공한다. 이를 위한 구체적인 수단과 방법은 후술하기로 하고, 본 발명에 따른 가상 현실 시스템의 구체적인 응용예들을 먼저 설명한다.
본 발명의 가상 현실 시스템은, 이에 한정되지는 않지만, 전형적으로 엔터테인먼트 시스템으로 매우 적합하게 구현될 수 있다. 여기서, 본 발명의 가상 현실을 이용한 '엔터테인먼트 시스템'이라 함은, 좁은 의미의 게임, 오락뿐만 아니라, 운동, 교육/훈련, 관람 등 사용자가 현실 세계에서 움직이면서 느낄 수 있는 모든 형태의 느낌을 가상 공간 내에서 재현할 수 있는 시스템을 포함하는 개념이다.
도 1은 본 발명에 따른 가상 현실 시스템을 서바이벌 게임 또는 슈팅(shooting) 게임 시스템에 응용한 경우의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 1에 도시된 본 발명의 일 응용예에 따른 가상 현실 시스템은, 현실 세계의 실제 공간 내에 두 명의 사용자(10, 20)가 실제로 이동 가능한 소정 면적(예컨대, 적어도 가로세로 수 미터)을 가지는 플레이 그라운드(100)를 가진다. 여기서, 플레이 그라운드(100)는, 예컨대 종래의 서바이벌 게임장과 같은 시설을 그대로 이용할 수도 있지만, 최소한의 장애물(110, 120)만을 가지거나, 가장 간단하게는 아무런 장애물 없이 단순히 탁트인 평지로 이루어질 수도 있다. 이렇게 장애물이 없는 평지만으로 플레이 그라운드(100)를 구성하더라도 본 발명에서는 헤드 마운트 장치(130)의 디스플레이에 표시되는 가상 공간의 가상 객체들을 얼마든지 활용할 수 있으므로 실제의 서바이벌 게임과 같은 또는 그 이상의 재미와 운동 효과를 제공할 수 있다. 다만, 플레이 그라운드(100)는, 서바이벌 게임의 속성상 사용자(10, 20)가 몸을 숨기거나 기댈 수 있는 장애물(110)을 가지는 것이 바람직하고, 나아가 평지가 아닌 요철이나 계단(120)과 같은 시설물이나 층 구조를 가질 수 있다. 도 1에 도시된 바와 같이, 두 사용자(10, 20)는 각각 헤드 마운트 장치(130)를 착용하고 있고 장난감 총을 휴대하고 있다. 장난감 총에는 후술하는 센서(910)가 장착된다.
도 2는, 사용자(10)가 플레이 그라운드(100) 안에서 도 1에 도시된 위치와 방향으로 서 있을 때, 헤드 마운트 장치(130) 내의 디스플레이에 표시되는 가상 공간(200)의 영상의 일예를 도시한 도면이다. 여기서, 가상 공간(200)은 실제 공간, 즉 플레이 그라운드(100) 내의 실제 객체들(지면 구조, 장애물이나 시설물)(110, 120)에 대응하여 실제 공간과 동일한 구조로 구축되어 있다(가상 공간(200)의 구축 방법은 후술한다). 그러나, 도 2에 도시된 바와 같이, 실제 공간(100)과 가상 공간(200)은 기본 구조가 동일하지만, 고정된 실제 객체들(110, 120)에 비해 이에 대응하는 가상 객체들(210, 220)은 훨씬 더 다채로우며, 실제 공간(100)에는 존재하지 않는 고정된 가상 객체(예컨대, 도 2에서 배경을 이루는 빌딩들(230))가 더 존재한다. 또한 실제 공간(110)에서 이동하는 다른 사용자(20)에 대응하는 가상 객체(250)가 가상 공간(200)에 존재한다. 나아가, 도 2에는 도시하지 않았지만, 실제 공간(100)에는 존재하지 않지만, 움직이는 가상 캐릭터(예컨대, 가상의 적군이나 아군)인 가상 객체가 가상 공간(200)에 더 존재할 수도 있다.
또한, 사용자(10)가 착용하고 있는 헤드 마운트 장치(130)의 디스플레이에 표시되는 가상 공간(200)에는, 사용자(10)가 실제 공간(100) 내에서 현재 위치와 방향에서 바라보았을 때, 그 시야에 들어오는 고정된 실제 객체들(110, 120)에 대응하는 가상 객체들(210, 220)과, 그리고 이동하는 다른 사용자(20)에 대응하는 가상 객체(250)가, 실제 공간(100)에서 사용자(10)와의 거리에 비례하는 크기로 실재하는 방향에 표시된다(이러한 표시 방법에 대해서는 후술한다). 즉, 사용자(10)가 고개를 좌우로 돌리거나 위아래로 들거나 내리면, 그에 대응하여 실제 공간(100) 내에서 사용자(10)가 주시하는 방향에 존재하는 지면이나 장애물, 다른 사용자 등의 실제 객체(110, 120, 20)에 대응되는 가상 객체(210, 220, 250)가 디스플레이의 중앙에 표시된다. 따라서, 사용자(10)는 가상 공간(200)의 지면과 가상 객체(210, 220, 250)를 마치 실제 공간(100)의 실제 지면과 실제 객체(110, 120, 20)처럼 시인하면서 자연스럽게 걷거나 뛰는 등의 이동을 할 수 있게 된다.
이와 같은 가상 공간(200)은 사용자(10)뿐만 아니라, 다른 사용자(20)의 헤드 마운트 장치(130)에도, 위에서 설명한 바와 동일한 방식으로 표시된다. 즉 다른 사용자(20)의 헤드 마운트 장치(130)의 디스플레이에, 실제 공간(100) 내의 고정된 실제 객체들(110, 120)에 대응되는 가상 객체들, 그리고 이동하는 사용자(10)에 대응하는 가상 객체가 가상 공간(200)에 표시되는데, 이때 실제 공간(100)에서 사용자(20)와의 거리에 비례하는 크기로 실재하는 방향에 해당 가상 객체들이 가상 공간(200)에 표시된다. 이렇게 실제 공간인 플레이 그라운드(100) 내에서 사용자들(10, 20)이 이동하게 되면, 후술하는 센서에 의해 변화된 사용자(10, 20)의 현재 위치와 주시하는 방향을 산출하고, 변화된 사용자(10, 20)의 위치와 방향에 대응하는 가상 공간(200)의 영상을 각 사용자(10, 20)의 헤드 마운트 장치(130)의 디스플레이에 표시한다.
사용자들(10, 20)은 가상 공간(200) 내에서 총으로 상대방을 사격함으로써 게임을 즐길 수 있다. 또는 사용자들(10, 20)은 서로 같은 편이 되어 가상 공간(200) 내에 가상의 적군이 출현하면 손에 들고 있는 총으로 사격함으로써 게임을 즐길 수 있다. 물론, 현실 세계에서 사용자들(10, 20)이 손에 들고 있는 것은 실제로는 사격 여부를 감지하는 센서(910)로서, 현실감을 주기 위해 장난감 총에 방아쇠 모양의 스위치와 총이 향하고 있는 방향을 감지할 수 있는 센서(910)를 부착하여, 현재 총이 향하고 있는 방향을 가상 공간(200) 내에서 조준점으로 표시할 수 있다. 그러면, 사용자들(10, 20)은 조준점으로 가상의 적군 또는 다른 사용자를 겨냥하여 사격하게 되고, 그때의 조준점과 가상의 적군 또는 다른 사용자가 일치하면 가상의 적군 또는 다른 사용자에 대응하는 가상 객체가 쓰러지도록 프로그래밍함으로써 게임의 재미와 현실감을 배가할 수 있다. 나아가, 디스플레이에 표시되는 가상 공간(200)의 영상에 게임의 현재 상태를 나타내는 정보(240), 예컨대 남은 게임 시간, 남은 총알 수, 남은 적군 수, 쓰러뜨린 적군 수, 피격 여부, 점수 등의 정보를 소정 위치에 표시할 수도 있다.
도 3은 본 발명에 따른 가상 현실 시스템을 복싱 게임 시스템에 응용한 경우의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 3에 도시된 응용예에 따른 가상 현실 시스템에서는, 플레이 그라운드(300-1, 300-2)가 실제 복싱 경기에 사용되는 사각 링과 유사한 링으로 구현된다. 도 3의 (a)에 도시된 플레이 그라운드(300-1)와 도 3의 (b)에 도시된 플레이 그라운드(300-2)는 동일한 모양과 크기로 구현되고 서로 떨어진 위치에 설치된다. 이때 본 예에서 플레이 그라운드(300-1, 300-2)는 실제 복싱 링을 그대로 사용할 수 있고, 반대로 단순한 평지로 구성하고, 링의 지주와 로프 등의 실제 객체(310)는 가상 객체로 구현할 수도 있다. 도 3의 (a)에 도시되 플레이 그라운드(300-1)에는 사용자(10)가 위치하고, 도 3의 (b)에 도시된 플레이 그라운드(300-1)에는 다른 사용자(20)가 위치하여, 현실 세계에서는 멀리 떨어져 있지만 가상 공간에서 상대방을 적으로 하여 권투 경기를 한다. 각 사용자(10, 20)는 헤드 마운트 장치(130)를 착용하고 있고 센서(920)를 양손에 파지한다.
도 4는 사용자(10)가 플레이 그라운드(300-1) 안에 서 있을 때, 헤드 마운트 장치(130) 내의 디스플레이에 표시되는 가상 공간(400)의 영상의 일예를 도시한 도면이다. 본 예에서도, 가상 공간(400)은 실제 공간, 즉 플레이 그라운드(300-1, 300-2) 내의 고정된 실제 객체들(플로어, 지주, 로프 등)(310)에 대응하여 실제 공간과 동일한 구조로 구축되어 있다. 그러나, 전술한 응용예에서와 같이, 실제 공간(300-1, 300-2)과 가상 공간(400)은 기본 구조가 동일하지만, 가상 공간(400)은 훨씬 더 다채로우며, 또한 실제 공간(300-2)에 존재하는 경기 상대인 다른 사용자(20)에 대응하는 가상 캐릭터(450)가 존재한다. 경기 상대인 다른 사용자(20)에 대응하는 가상 캐릭터(450)는 실제 공간(300-2)에서의 다른 사용자(20)의 움직임이나 이동에 맞춰 가상 공간(400)에서 움직이거나 이동한다. 그리고 실제 공간(300-1, 300-2)에는 존재하지 않는 움직이는 가상 객체로서 관중과 같은 가상 캐릭터(430)가 더 존재할 수 있다.
또한, 본 응용예에서도, 사용자(10)가 착용하고 있는 헤드 마운트 장치(130)의 디스플레이에 표시되는 가상 공간(400)에는, 사용자(10)가 실제 공간(300-1) 내에서 현재 위치와 방향에서 바라보았을 때 시야에 들어오는 실제 객체들(310)에 대응되는 가상 객체들(410)과 경기 상대인 다른 사용자(20)에 대응하는 가상 객체(450)가, 실제 공간(300-1, 300-2)에서 사용자(10)와의 거리에 비례하는 크기로 실재하는 방향에 표시된다. 그리고 사용자(10)의 움직임이나 이동에 동기하여 가상 공간(400)의 영상이 변화한다. 따라서, 사용자(10)는 가상 공간(400)의 지면과 가상 객체(410)를 마치 실제 공간(300-1)의 실제 지면과 실제 객체(310)처럼 시인하면서, 그리고 경기 상대인 다른 사용자(20)에 대응하는 가상 객체(450)를 보면서, 자연스럽게 스텝을 밟거나 이동할 수 있게 된다.
이와 같은 가상 공간(400)은 사용자(10)뿐만 아니라, 경기 상대인 다른 사용자(20)의 헤드 마운트 장치(130)에도, 위에서 설명한 바와 동일한 방식으로 표시된다. 즉 다른 사용자(20)의 헤드 마운트 장치(130)의 디스플레이에, 실제 공간(300-1, 300-2) 내의 고정된 실제 객체들(310)에 대응되는 가상 객체들, 그리고 이동하는 경기 상대인 사용자(10)에 대응하는 가상 객체가, 실제 공간(300-1, 300-2)에서 사용자(20)와의 거리에 비례하는 크기로 실재하는 방향에 표시된다. 이렇게 실제 공간인 플레이 그라운드(300-1, 300-2) 내에서 사용자들(10, 20)이 이동하게 되면, 후술하는 센서에 의해 변화된 사용자들(10, 20)의 현재 위치와 주시하는 방향을 산출하고, 변화된 사용자들(10, 20)의 위치와 방향에 대응하는 가상 공간(400)의 영상을 각 사용자(10, 20)의 헤드 마운트 장치(130)의 디스플레이에 표시한다.
본 응용예에서 두 명의 사용자(10, 20)가 권투 경기를 함에 있어서 각 사용자(10, 20)는 같은 실제 공간에 있지 않고 각각 떨어진 실제 공간에 존재한다. 따라서, 사용자는 경기 상대인 다른 사용자를 직접 가격할 수 없고, 경기 상대인 사용자에 대응하는 가상 객체를 가상 공간(400)에서 가격한다. 이때 상대 사용자를 가격하거나 상대 사용자로부터 피격됐을 때 진동 센서 등으로 타격감을 줄 수 있다. 또한 상대 사용자를 가격하였을 때, 상대 사용자에 대응하는 가상 객체(450)에, 센서(920)에 의해 감시되는 사용자의 주먹의 위치 및 속도 등과 상대 사용자의 위치를 감안하여 상대 사용자가 쓰러지는 등의 인터랙션을 줄 수 있다. 센서(920)에 의해 감지되는 사용자의 주먹의 위치 및 속도 등과 상대 사용자의 위치를 감안하여 펀치의 적중률 등을 산출하고, 그에 따라 상대 사용자가 넘어지게 하는 등의 영상은 프로그래밍으로 구현 가능하다. 또한, 전술한 응용예에서와 마찬가지로, 가상 공간(400)의 영상의 소정 위치에 가격 또는 피격 펀치의 적중률, 현재 라운드 수와 남은 시간 등의 현재 상태 정보를 표시함으로써, 게임의 재미와 현실감을 배가할 수 있다.
이와 같이, 본 발명의 가상 현실 시스템에 따르면, 사용자가 실제 공간 내에서 실제 이동하고 움직이면서 가상 공간 내의 풍부한 가상 객체들을 활용할 수 있고, 원격지의 다른 사용자와 같은 공간에 있는 것과 같은 효과를 제공하여, 가상 현실과 실제 세계가 결합된 새로운 차원의 엔터테인먼트 시스템이 가능해진다. 특히, 종래의 게임이 주로 앉아서 하거나 제자리에서의 움직임에 그침으로써, 신체발달 단계상 적절한 운동이 필요한 아동이나 청소년의 운동부족과 비정상적인 감성 형성이라는 폐해를 초래했던 것에 반해, 본 발명은 오락성의 부여와 함께 실제 운동을 가능하게 한다.
도 5는, 본 발명에 따른 가상 현실 시스템을 오디션 게임 시스템에 응용한 경우의 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 5를 참조하면, 현실 세계의 실제 공간 내에 사용자들(10, 20)이 실제로 이동 가능한 소정 면적(예컨대, 적어도 가로세로 수 미터)을 가지는 플레이 그라운드(500-1, 500-2)가 마련된다. 여기서, 플레이 그라운드(500-1, 500-2)는, 예컨대 전용의 노래 연습실 또는 댄스 연습실과 같은 시설을 그대로 이용할 수도 있지만 가장 간단하게는 가정 내의 방이나 거실과 같은 공간일 수도 있다. 도 5의 (a)에 도시된 플레이 그라운드(500-1)와 도 5의 (b)에 도시된 플레이 그라운드(500-2)는 동일한 모양과 크기로 구현되고 서로 떨어진 위치에 설치된다. 이와 같이 플레이 그라운드(500-1, 500-2)가 동일한 크기와 모양일 수도 있으나, 본 응용예에서는 반드시 그럴 필요는 없고 플레이 그라운드(500-1, 500-2)는 크기와 모양이 다를 수 있다. 다만, 플레이 그라운드(500-1, 500-2)의 크기와 모양이 다를 경우, 같은 가상 공간 내에서 두 사용자(10, 20)가 활동하기 위해서는, 두 사용자(10, 20)의 플레이 그라운드(500-1, 500-2), 즉 실제 공간 내에서의 활동 공간을 측정하고 그 활동 공간을 가상 공간 내에 표시하는 것이 바람직하다. 도 5의 (a)에 도시된 플레이 그라운드(500-1)에서 사용자(10)는 노래를 하고, 이를 위해 마이크(510)가 설치된다. 그리고 도 5의 (b)에 도시된 플레이 그라운드(500-2)에서 사용자(20)는 사용자(10)의 노래에 맞추어 춤을 춘다. 사용자들(10, 20)은 헤드 마운드 장치(130)를 착용하고 있다.
도 6은, 춤을 추는 사용자(20)가 플레이 그라운드(500-2) 안에서 도 5의 (b)에 도시된 위치와 방향으로 서 있을 때, 헤드 마운트 장치(130) 내의 디스플레이에 표시되는 가상 공간(600)의 영상의 일예를 도시한 도면이다. 여기서, 가상 공간(600)은 실제 공간, 즉 플레이 그라운드(500-1, 500-2)에 대응하여 실제 공간과 동일한 구조로 구축되어 있다. 가상 공간(600)은 실제 공간(500-1, 500-2)에 존재하는 고정된 실제 객체(510)에 대응하는 가상 객체(620)가 존재하고, 또한 실제 공간(500-1, 500-2)에는 존재하지 않는 가상 객체(예컨대, 도 6에서 청중들(610))가 존재한다. 또한 도 6은 사용자(20)의 위치 및 시선에 따른 가상 공간(600)으로서, 춤을 추는 사용자(20)의 위치는 노래를 하는 사용자(10)의 뒤이고 사용자(20)는 노래하는 사용자(10)를 바라보고 있으므로, 가상 공간(600)에는 노래하는 사용자(10)에 대응하는 가상 객체(630)가 존재한다. 플레이 그라운드(500-1, 500-2)의 크기와 모양이 동일하지 않아 각 사용자(10, 20)의 행동 공간을 미리 지정한 경우, 각 사용자(10, 20)의 헤드 마운트 장치(130)의 디스플레이에 표시되는 가상 공간(600)에는 해당 사용자의 실제 행동 공간에 대응하는 영역이 표시될 수 있다.
사용자(20)가 착용하고 있는 헤드 마운트 장치(130)의 디스플레이에 표시되는 가상 공간(600)에는, 사용자(20)가 실제 공간(500-2) 내에서 현재 위치에서 바라보는 방향에 존재하는 실제 객체들(10, 510)에 대응하는 가상 객체들(630, 620)이 표시되는데, 이때, 실제 공간(500-1, 500-2)에서 사용자(20)와의 거리에 비례하는 크기로 실재하는 방향에 표시된다. 즉, 사용자(20)가 고개를 좌우로 돌리거나 위아래로 들거나 내리면, 그에 대응하여 실제 공간(500-1, 500-2) 내에서 사용자(20)가 주시하는 방향에 존재하는 지면이나 물체 등의 실제 객체(10, 510)에 대응되는 가상 객체(630, 620)가 디스플레이의 중앙에 표시된다. 따라서, 사용자(20)는 가상 공간(600)의 지면과 가상 객체(630, 620)를 마치 실제 공간(500-1, 500-2)의 실제 지면과 실제 객체(10, 510)처럼 시인하면서 자연스럽게 춤을 추며 이동을 할 수 있게 된다. 이렇게 실제 공간인 플레이 그라운드(500-2) 내에서 사용자(20)가 사용자(10)의 노래에 맞추어 춤을 추면, 후술하는 센서들에 의해 변화된 사용자(20)의 현재 위치와 시선 방향 그리고 모션을 인식하고, 변화된 사용자(20)의 위치와 시선 방향에 대응하는 가상 공간(600)의 영상을 디스플레이에 표시한다.
이와 같은 가상 공간(600)은 사용자(20)뿐만 아니라, 도 5의 (a)의 플레이 그라운드(500-1)에 서 있는 사용자(10)의 헤드 마운트 장치(130)에도, 위에서 설명한 바와 동일한 방식으로 표시된다. 즉 사용자(10)의 헤드 마운트 장치(130)의 디스플레이에, 실제 공간(500-1) 내의 고정된 실제 객체(510)에 대응되는 가상 객체(620)가, 실제 공간(500-1)에서 사용자(10)와의 거리에 비례하는 크기로 실재하는 방향에 표시된다. 만약 노래하던 사용자(10)가 뒤에서 춤추는 사용자(20)의 방향으로 돌아설 경우, 가상 공간(600)에는 춤추는 사용자(20)에 대응하는 가상 객체가 해당 사용자(20)와 사용자(10) 사이의 거리에 따른 크기로 실재하는 방향에 표시된다.
이상의 도 5 및 도 6을 참조하여 설명한 응용예에서 사용자(10)가 노래한 오디오 파일과 노래하는 모습의 동영상 파일은, 오디션 게임 시스템 내에서 평가되고 평가 결과는 기획사들에게 제공될 수 있다.
도 7은, 본 발명에 따른 가상 현실 시스템을 오디션 게임 시스템에 응용한 경우의 다른 현실 세계에서의 구성을 개략적으로 도시한 사시도이다.
도 7을 참조하면, 현실 세계의 실제 공간 내에 사용자(10)가 앉을 수 있는 의자(710)가 마련된다. 여기서, 의자(710)가 마련된 공간은 예컨대 전용의 피아노 연습실과 같은 시설을 그대로 이용할 수도 있지만 가장 간단하게는 가정 내의 방이나 거실과 같은 의자(710)를 놓을 수 있는 공간일 수도 있다.
도 8은 사용자(10)가 도 7에 도시된 위치와 방향으로 앉아 있을 때, 헤드 마운트 장치(130) 내의 디스플레이에 표시되는 가상 공간(800)의 영상의 일예를 도시한 도면이다. 여기서, 가상 공간(800)은 실제 공간, 즉 사용자(10)가 위치하는 실제 공간과 동일한 구조가 아닌 말 그대로 가상 공간이다. 또는 사용자(10)가 전용의 피아노 연습실과 같은 공간에 위치하고 있다면 그 공간과 동일한 구조로 구축될 수 있다. 가상 공간(800)은 실제 공간에는 존재하지 않는 가상 객체(예컨대, 도 8에서 청중들(820) 및 좌석들(810))가 더 존재한다.
또한, 사용자(10)가 착용하고 있는 헤드 마운트 장치(130)의 디스플레이에 표시되는 가상 공간(800)에는 좌석들(810) 및 청중들(820)의 가상 객체뿐만 아니라, 사용자(10)가 연주할 가상의 피아노(830)가 표시된다. 이때 사용자(10)의 현재 위치, 자세 그리고 사용자(10)가 바라보는 방향에 따라 가상의 피아노(830)의 기본 위치가 설정된다. 또한 사용자(10)의 현재 위치에서 사용자(10)의 시야에 들어오는 실제 객체, 즉 사용자(10)의 손에 대응하는 가상 객체, 즉 가상의 손(840)이 실제 공간에서의 거리에 비례하는 크기로 실재하는 방향에 표시된다. 사용자(10)가 하얀 건반을 치다가 검은 건반을 칠 경우 그에 대응하여 가상 공간(800) 내의 가상의 손(840)은 가상의 피아노(830)의 하얀 건반에서 검은 건반으로 이동하다. 또한 사용자(10)가 고개를 좌우로 돌리거나 위아래로 들거나 내리면 그에 대응하여 가상 공간(800)의 모습도 시점이 변경되어 표시된다.
도 7 및 도 8을 참조한 설명에서 사용자(10)는 현실의 피아노가 아닌 가상의 피아노(830)를 이용하여 연주하는 것으로 설명하였으나, 현실의 피아노를 이용하여 연주할 수 있다. 즉, 사용자(10)가 실제 공간 내에서 현재 위치에서 바라보는 시야에 들어오는 현실의 피아노에 대응하는 가상의 피아노(830)를 가상 공간(800) 내에 표시한다. 이때 사용자(10)의 실제 공간 내에서의 현재 위치 및 시선 방향에 따라, 실제 공간 내에서 사용자(10)로부터 현실의 피아노까지의 거리에 비례하는 크기로 실재하는 방향에, 가상의 피아노(830)가 가상 공간(800)에 표시된다. 이와 같이 사용자(10)가 연주한 오디오 파일과 사용자(10)의 가상 공간(800) 내에서의 피아노 연주 모습의 동영상 파일은 오디션 게임 시스템 내에서 평가되고 평가 결과는 기획사들에 제공된다.
또한, 도 5 내지 도 8을 참조하여 설명한 예에서는 사용자(10)가 단독으로 노래를 하거나 연주를 하는 것을 설명하였으나 합주 또는 합창도 가능하다. 같은 실제 공간에서 적어도 두 명 이상의 사용자들이 합주 또는 합창을 하는 경우 각 사용자들은 헤드 마운트 장치(130)를 착용하고, 각 사용자에게 있어서 다른 사용자들은 실제 공간 내의 실제 객체로 인식되어 이에 대응하는 가상 객체가 가상 공간 내에 표시된다. 만약 적어도 두 명 이상의 사용자들이 서로 원격지에 존재하는 경우 합주 또는 합창을 시작하는 시점의 실제 위치를 기준으로 그 두 명 이상의 사용자들에 대응하는 가상 객체를 가상 공간에 서로 떨어뜨려 표시한다. 그리고 나서, 합주 또는 합창 시작 이후의 사용자들의 실제 이동 위치에 대응하여 가상 공간 내 가상 객체를 이동 표시함으로써 가상 공간 내에서 사용자들에 대응하는 가상 객체들이 서로 접촉 또는 충돌하는 것을 방지하고, 사용자들은 한 공간 내에서 합주 또는 합창하는 것과 같은 몰입감을 느끼게 된다.
다음으로, 본 발명에 따른 가상 현실 시스템에 필수적인 가상 공간(200, 400, 600, 800)을 구축하는 방법에 대해 설명한다.
본 발명에 따른 가상 현실 시스템은 현실 세계인 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2)를 포함하고, 사용자(10, 20)는 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2) 안에서 실제 공간을 보지 않으면서 걷거나 뛰는 등의 이동을 하게 된다. 따라서, 경계조차 없는 평면을 플레이 그라운드로 하는 경우를 제외하고는, 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2) 안에 있는 고정된 장애물 등의 실제 객체(110, 120, 310, 510)를 가상 공간(200, 400, 600, 800) 안에서 그에 대응하는 가상 객체(210, 220, 410, 620)로서 표시해야 한다.
따라서, 가상 공간(200, 400, 600, 800)을 구축하는 첫 번째 단계는 실제 공간인 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2)와 동일한 구조와 크기의 가상 공간(200, 400, 600, 800)의 프레임을 구축하는 단계이다. 가상 공간(200, 400, 600, 800)의 프레임을 작성하는 단계는, 전술한 바와 같이 헤드 마운트 장치(130)의 디스플레이가 좌우 양안 영상을 각각 표시하여 가상 공간을 3차원 입체 영상으로 표시하는 경우, 3차원 입체 영상 데이터를 구축하는 방법을 사용할 수 있다.
구체적으로, 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2)를 스캔하여 실제 공간의 깊이 정보를 구해 깊이 맵을 얻는다. 실제 공간의 깊이 정보를 구하는 가장 일반적인 방법은, 두 대의 카메라 센서를 이용하여 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2)를 스캔하여 촬영한 영상을 이용하는 스테레오 정합(stereo matching) 방법으로서, 두 영상에서 동일한 객체에 해당하는 화소간의 변위(disparity) 정보를 구함으로써 객체(실제 객체)들의 깊이 정보를 얻는다. 실제 공간의 깊이 정보를 구하는 다른 일반적인 방법은 실제 공간의 객체들에 대한 거리를 직접 측정하여 실제 공간의 깊이 맵을 얻는 방법이다. 즉, 적외선 또는 광 신호를 방사하는 깊이 카메라(depth camera)를 이용하여 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2)를 스캔하여, 반사되어 돌아오는 신호의 위상차로부터 객체들에 대한 거리, 즉 깊이 정보를 얻는다.
이렇게 하여 실제 공간인 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2)의 깊이 맵을 얻어 가상 공간의 프레임을 구축한 다음, 프레임 안에 존재하는 객체(아직까지는 실제 객체)들을 수정하고 렌더링(rendering)함으로써 실제 객체들에 대응하지만 훨씬 다채롭고 변화된 객체인 가상 객체들을 생성한다.
이어서, 실제 공간인 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2)에 존재하지 않는 순수한 가상 객체들(230, 430, 610, 810, 820, 830)을 만든다. 이 가상 객체들은 가상 공간(200, 400, 600, 800) 내에 고정된 배경 건물(도 2의 230)이나 가상 전시물, 또는 움직이는 가상 캐릭터(도 4의 430, 도 6의 610, 도 8의 820) 등을 포함한다. 이러한 순수한 가상 객체들을 만드는 과정은 전형적으로 디자인 작업이다. 또한, 가상 객체, 특히 움직이는 가상 캐릭터의 경우, 사용자(10, 20)의 행위나 움직임에 반응하여 어떻게 움직일 것인지 등을 프로그래밍한다. 이는 전형적으로 인터랙티브한 게임의 프로그래밍 작업과 같다.
이와 같이 구축된 가상 공간의 영상 데이터를 게임이나 관련 프로그램과 함께 제어 장치의 메모리에 저장함으로써 본 발명에 따른 가상 현실 시스템에서 사용할 수 있는 가상 공간의 구축이 완료된다.
이어서, 본 발명의 가상 현실 시스템을 구성하는 구체적인 요소에 대해, 도면을 참조하여 상세히 설명한다.
도 9는 본 발명의 일 실시예에 따른 가상 현실 시스템의 구성을 나타낸 도면이다. 도 9를 참조하면, 본 실시예에 따른 가상 현실 시스템의 물리적인 구성 요소들은 크게 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2), 헤드 마운트 장치(130), 적어도 하나의 센서(910, 920, 930, 950, 961, 962, 971, 972), 및 제어 장치(990)를 포함하고, 또한 트래킹 장치를 포함한다. 트래킹 장치는 도 9에 도시되어 있지 않다.
여기서 트래킹 장치는 헤드 마운트 장치(130) 또는 제어 장치(990) 중 어느 하나에 설치될 수 있고, 또는 헤드 마운트 장치(130)에 연결되는 셀룰러 폰이나 퍼스널 컴퓨터 등에 설치될 수 있다. 트래킹 장치는 하드웨어 또는 소프트웨어로 구현되거나 이들의 조합으로 구현될 수 있다. 트래킹 장치가 헤드 마운트 장치(130)에 설치되는 경우, 센서들의 신호는 헤드 마운트 장치(130)로 전송되고, 헤드 마운트 장치(130)의 트래킹 장치는 사용자(10, 20)의 위치 및 시선 방향, 그리고 실제 공간 내의 실제 객체들의 위치 및 모션 등을 분석하여 분석 결과를 헤드 마운트 장치(130)를 통해 제어 장치(990)로 전송한다. 트래킹 장치가 제어 장치(990)에 설치되는 경우, 센서들의 신호는 헤드 마운트 장치(130)를 통해 제어 장치(990)로 전송되거나, 또는 직접 제어 장치(990)로 전송되어, 트래킹 장치에 의해 분석된다.
헤드 마운트 장치(130)는 사용자(10, 20)의 양안을 감싸며 착용되고, 헤드 마운트 장치(130) 안쪽의 사용자의 양안에 대응하는 위치에는 전술한 가상 공간(200, 400, 600, 800)의 영상을 표시하는 디스플레이가 마련되어 있다. 또한 헤드 마운트 장치(130)는 적어도 하나 이상의 프로세서와 메모리를 포함하고 그리고 상기 메모리에는 소프트웨어 구성요소로서 운영 체제, 그래픽 모듈(명령어 세트), 게임 프로그램(명령어 세트)이 설치될 수 있다. 운영 체제는 예를 들어 다윈(Darwin), iOS, RTXC, LINUX, UNIX, OS X, WINDOWS 또는 VxWorks, 안드로이드 등과 같은 내장 운영체제일 수 있고, 일반적인 시스템 태스크(task)(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)를 제어 및 관리하는 소프트웨어를 포함한다. 그래픽 모듈은 헤드 마운트 장치(130)의 디스플레이 상에 그래픽을 제공하고 표시하기 위한 주지의 여러 소프트웨어 구성요소를 포함한다. "그래픽(graphics)"이란 용어는 텍스트, 웹 페이지, 아이콘(예컨대, 소프트 키를 포함하는 사용자 인터페이스 대상), 디지털 이미지, 비디오, 애니메이션, 2D/3D 데이터 등을 제한 없이 포함하여, 사용자에게 표시될 수 있는 모든 대상을 포함한다.
디스플레이는 사용자의 좌우 양안에 각각 대응하는 위치에 마련된 좌안용 디스플레이와 우안용 디스플레이로 구분되어 구현될 수 있다. 이렇게 하면 좌안용 디스플레이에는 사용자의 좌안에서 바라보았을 때의 객체 영상인 좌안 영상을, 우안용 디스플레이에는 사용자의 우안에서 바라보았을 때의 객체 영상인 우안 영상을 각각 표시함으로써, 셔터나 필터를 이용하여 입체표시를 보는 특수한 안경이나 디스플레이 표면에 부착하는 렌티큘러 시트 등의 별도의 수단이 없이도, 간편하게 3차원 입체 표시가 가능하다. 이러한 헤드 마운트 장치(130)는 이미 시판되어 널리 알려져 있으므로 그 기본적인 구성과 원리에 대한 상세한 설명은 생략한다.
또한, 헤드 마운트 장치(130)는 통신 모듈을 내장하여 통신망을 통해 제어 장치(990)와 통신을 수행하여 데이터를 송수신할 수 있다. 통신 모듈은 전자파를 송수신한다. 통신 모듈은 전기 신호를 전자파로 또는 그 반대로 변환하며 이 전자파를 통하여 통신 네트워크, 다른 이동형 게이트웨이 장치 및 통신 장치와 통신한다. 통신 모듈은 예를 들어 안테나 시스템, RF 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 오실레이터, 디지털 신호 처리기, CODEC 칩셋, 가입자 식별 모듈(subscriber identity module, SIM) 카드, 메모리 등을 포함할 수 있고 이에 한정되지 않는 이러한 기능을 수행하기 위한 주지의 회로를 포함할 수 있다. 통신 모듈은 셀룰러 전화 네트워크, 무선 LAN(Local Area Network) 및/또는 MAN(metropolitan area network)와 같은 무선 네트워크, 그리고 근거리 무선 통신에 의하여 다른 장치와 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), WCDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), Wi-MAX, 블루투스(Bluetooth), 지그비(zigbee), 엔에프씨(NFC:Near Field Communication), 또는 본 출원의 출원 시점에 아직 개발되지 않은 통신 프로토콜을 포함하는 기타 다른 적절한 통신 프로토콜을 포함하지만 이에 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술 중 어느 것을 이용할 수 있다. 또한 통신 모듈은 HDMI 케이블, USB 케이블 또는 유선 LAN(Local Area Network) 등과 같은 유선 네트워크를 통해 통신을 할 수 있다. 통신망은 이러한 무선 통신 또는 유선 통신 프로토콜을 지원하는 네트워크이다.
한편, 헤드 마운트 장치(130)에는 일반적인 헤드셋과 마찬가지로 이어폰 및/또는 마이크를 부가하여, 시각 이외에도 청각(음향)을 사용자(10, 20)에게 제공하거나, 사용자(10, 20)의 음성을 입력받아 다른 사용자 또는 가상 캐릭터와 대화를 하거나 시스템에 명령을 입력할 수도 있다.
본 실시예에서는 헤드 마운트 장치(130)가 통신 모듈을 내장하여 직접 통신망을 통해 제어 장치(990)와 통신하는 것으로 설명하나, 노트북, 퍼스널 컴퓨터 또는 셀룰러 폰 등의 사용자 단말을 통해 제어 장치(990)와 통신할 수 있다. 헤드 마운트 장치(130)가 사용자 단말을 통해 제어 장치(990)에 접속하여 게임 등을 진행하는 경우 상기 사용자 단말은 헤드 마운트 장치(130)의 기능을 보조하는 수단으로 이해하는 것이 바람직하다. 예컨대, 헤드 마운트 장치(130)에서 대용량의 데이터 처리가 어려운 경우, 사용자 단말에는 게임 프로그램이 설치되고 대부분의 게임 관련 연산 처리가 사용자 단말의 프로세서에서 실행되어 그 결과인 가상 공간의 그래픽 데이터를 상기 헤드 마운트 장치(130)로 전송하는 것을 예를 들 수 있다. 이하에서는 헤드 마운트 장치(130)에서 모든 동작을 처리하는 것을 가정하여 설명한다.
도 9에서 적어도 하나의 센서(910, 920, 930, 950, 961, 962, 971, 972)는 사용자(10, 20)의 형태 및 모션을 인식하고, 사용자(10, 20)의 현재 위치 및 시선 방향을 감지하기 위한 센서로서, 구체적인 응용예에 따라 다양하게 구성될 수 있다.
도 9에 도시된 센서(910)는, 전술한 도 1의 응용예에서 사용하는 사격 여부를 감지하고 총이 향하는 방향을 감지할 수 있는 센서 및/또는 사용자(10, 20)에게 타격감을 주는 등의 인터랙션을 제공하는 진동 센서 등을 포함한다. 총이 향하는 방향을 감지하는 센서로는 후술하는 가속도 센서나 자이로 센서를 활용할 수 있다. 진동 센서 등의 인터랙션을 위한 센서는 사용자(10, 20)에 착용될 수 있다. 진동 센서의 예는 압전 소자나 진동 모터를 들 수 있다.
도 9에 도시된 센서(920)는, 전술한 응용예에서 사용자들(10, 20)의 손에 파지되거나 사용자들(10, 20)의 복수의 관절 부위에 착용되는 모션 인식 센서이다. 이러한 모션 인식 센서(920)는 가속도 센서 또는 자이로 센서로 구현될 수 있다. 이러한 모션 인식 센서(920)는 사용자들(10, 20)의 손에 파지되거나, 또는 복수의 관절 부위에 착용됨으로써, 사용자들(10, 20)의 손 움직임이나 골격의 움직임을 감지할 수 있고 또한 사용자(10, 20)의 형태를 인식할 수 있다. 트래킹 장치는 모션 인식 센서(920)의 감지 신호에 따라 움직임을 분석하고 또한 사용자(10, 20)의 형태를 인식할 수 있다. 사용자(10, 20)의 복수의 관절 부위에 모션 인식 센서가 착용되면 그 모션 인식 센서들의 설치 위치에 따라 사용자(10, 20)의 개략적인 형태를 인식할 수 있다. 분석된 사용자들(10, 20)의 움직임 및 형태를 반영하여 가상 캐릭터(예컨대, 도 4 및 도 8의 가상의 손)의 행동을 변화시킬 수 있다.
도 9에 도시된 센서(930)는 사용자들(10, 20)의 현재 위치 및 시선 방향을 감지할 수 있고, 또한 사용자들(10, 20)의 형태 및 움직임을 인식하며, 또한 가상 공간을 구축하기 위한 카메라 센서이다. 예를 들어 카메라 센서(930)는 MS사의 키넥트(Kinect) 또는 일반적으로 알려진 비젼 시스템의 카메라를 들 수 있으나 여기에 제한되지 않는다. 카메라 센서(930)는 실제 공간 내의 특정 위치 또는 헤드 마운트 장치(130)에 적어도 하나 이상 설치될 수 있는데 사각지대를 고려하고 정확한 위치 및 방향 감지를 위해 복수 개 설치되는 것이 바람직하다. 카메라 센서(930)는 통신 모듈을 내장하여 촬영 영상을 트래킹 장치로 전송한다.
카메라 센서(930)는 깊이 카메라, 색상 카메라, 마이크로폰을 포함할 수 있다. 상기 깊이 카메라는 물체의 깊이를 측정하는 카메라로서 깊이 정보를 측정하여 깊이 영상을 출력한다. 바람직하게는 깊이 카메라는 적외선 패턴에 의하여 깊이 정보를 측정하는 카메라이다. 깊이 카메라는 적외선 송출부와 수신부로 구성되어 송출부에서 송출된 적외선이 물체에 맞고 반사되면, 수신부에서 반사되는 적외선을 수신하여 물체의 깊이를 측정한다. 색상 카메라는 통상의 RGB 카메라로서 물체의 색상 영상을 출력한다. 마이크로폰은 음성을 수신하여 전기 신호로 변환하는 장치이다.
카메라 센서(930)는 그 시야 범위 내의 영상을 촬영하여 트래킹 장치로 보낸다. 그러면 트래킹 장치는 카메라 센서(930)로부터 받은 촬영 영상으로부터 사용자들(10, 20) 및 헤드 마운트 장치(130)를 인식하고, 영상 내에서의 위치와 크기 및 형태로부터 헤드 마운트 장치(130)의 실제 공간 내의 현재 위치와 시선 방향을 산출할 수 있고, 또한 사용자들(10, 20)의 형태와 움직임을 인식할 수 있다. 이러한 과정은 화상 인식 알고리즘을 이용하여 수행되며, 화상 인식 알고리즘은 이미 널리 알려져 있으므로 그 상세한 설명은 생략한다. 실제 객체 간의 거리를 측정하는 대표적인 예로서, 스테레오 이미지들의 삼각법 분석 방법을 들 수 있다.
또한, 도 9에 도시된 센서(950)는, 헤드 마운트 장치(130)에 내장 또는 부착된 가속도 센서 또는 자이로 센서이다. 가속도 센서는 사용자(10, 20)가 움직임에 따라 헤드 마운트 장치(130)가 움직이면 그 가속도를 감지하는 센서로서, 이를 이용하여 사용자(10, 20)의 실제 공간 내에서의 현재 위치 및 시선 방향을 산출할 수 있다. 구체적으로, 헤드 마운트 장치(130)가 움직이면 가속도 센서는 그 가속도를 감지하여 x, y, z축 방향의 성분으로 분해하여 신호를 생성할 수 있고, 이를 적분하면 x, y, z축 방향의 속도를 산출할 수 있으며, 이를 다시 적분하면 헤드 마운트 장치(130)의 현재 위치, 즉 원점(초기 위치)을 기준으로 한 x, y, z축 상의 좌표를 구할 수 있다. 또한, 가속도와 속도는 크기와 방향을 가지는 물리량(즉, 벡터)이므로, 원점에서부터 현재까지 움직인 이력을 추적하면 헤드 마운트 장치(130)가 현재 향하고 있는 방향, 즉 사용자가 보고 있는 방향을 산출할 수 있다. 한편, 자이로 센서는, 헤드 마운트 장치(130)가 움직이면 회전축(x, y, z축)을 중심으로 회전한 각운동량이나 각속도를 측정하여 이를 전기적 신호로 출력하는 센서로서, 상기의 가속도 센서와 마찬가지로 사용자, 즉 헤드 마운트 장치(130)의 현재 위치와 향하고 있는 방향을 산출할 수 있다.
이를 위해 사용자(10, 20)가 원점에서 정면 또는 미리 정해진 특정 기준 방향을 향해 섰을 때, 초기화, 즉 실제 공간의 좌표축과 가속도 센서 또는 자이로 센서(950)의 좌표축을 일치시키는 캘리브레이션(calibration) 과정을 수행할 필요가 있다. 이러한 초기화 과정과, 사용자(10, 20)의 현재 위치 및 방향의 산출은 트래킹 장치가 가속도 센서 또는 자이로 센서(950)로부터의 신호를 입력받아 수행한다.
가속도 센서 또는 자이로 센서(950)는, 플레이 그라운드, 즉 실제 공간에서의 사용자의 활동 공간을 설정하고 이를 가상 공간에 반영하는데 이용될 수 있다. 예를 들어, 두 사용자가 원격지에서 하나의 동일한 가상 공간에서 활동하는데, 한 사용자는 춤을 추고 한 사용자는 노래를 하며 두 사용자가 실제 위치하는 플레이 그라운드의 크기 및 모양이 다를 경우(예를 들어, 각 사용자가 자신의 방에서 노래를 하거나 춤을 출 때), 각 사용자는 실제 공간 내에서 헤드 마운트 장치(130)를 이용하여 자신의 활동 공간을 설정한다. 예를 들어, 사용자는 헤드 마운트 장치(130)를 착용하고 실제 공간에서 네 군데의 지점으로 순차적으로 이동하며 센서(950)를 구동한다. 그러면 센서(950)는 네 군데 지점의 상대적 위치 정보를 생성하여 트래킹 장치로 전송한다. 트래킹 장치는 그 네 군데 지점의 상대적 위치 정보를 이용하여 사용자의 활동 공간의 크기를 산출하고, 제어 장치(990)는 각 사용자의 활동 공간을 가상 공간에 표시한다. 이때 제어 장치(990)는 가상 공간 내에서 각 사용자의 활동 공간이 겹치지 않도록 위치시켜 표시함으로써 가상 공간 내에서 각 사용자가 다른 사용자를 방해하지 않도록 한다.
사용자(10, 20)의 현재 위치 및 시선 방향을 감지하기 위한 센서의 다른 구성은 헤드 마운트 장치(130)에 장착되고 특정 파장의 전자기파(전형적으로 적외선)를 방출하는 방출 소자(961, 962)와, 실제 공간 내의 소정 위치에 설치되어 방출 소자(961, 962)로부터의 전자기파(적외선)를 검출하는 적어도 2개의 검출 소자(971, 972)를 들 수 있다. 여기서, 상기 방출 소자(961, 962)는 헤드 마운트 장치(130)의 바깥 표면에서 사용자의 양안에 대략 대응하는 위치에 각각 장착될 수 있다. 그리고, 2개의 검출 소자(971, 972)는 2개의 방출 소자(961, 962)로부터의 전자기파를 각각 검출하여 그로부터 2개의 방출 소자(961, 962) 각각의 위치를 감지한다. 그러면, 트래킹 장치는 2개의 검출 소자(971, 972)로부터의 신호를 입력받아 2개의 방출 소자(961, 962) 각각의 위치를 산출하고, 산출된 2개의 방출 소자(961, 962)의 위치의 중점을 헤드 마운트 장치(130)의 현재 위치로 산출하고, 또한 2개의 방출 소자(961, 962)의 위치의 수직 이등분선의 방향을 헤드 마운트 장치(130)가 현재 향하고 있는 방향, 즉 사용자(10, 20)가 보고 있는 방향으로 산출할 수 있다.
한편, 전술한 센서들의 구성은 어느 하나의 구성만을 독립적으로 활용할 수도 있지만, 응용예에 따라서 또는 정확도의 향상을 위해 2 이상의 센서 구성을 조합하여 활용할 수도 있다.
제어 장치(990)는 사용자(10, 20)와 분리되어 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2) 내부 또는 바깥에 설치되는 컴퓨터일 수 있고, 또는 서버 장치일 수 있다. 제어 장치(990)는 메모리, 메모리 제어기, 하나 이상의 프로세서, 주변 인터페이스, 입출력(I/O) 서브시스템, 디스플레이 장치, 입력 장치 및 통신 회로를 포함할 수 있다. 이러한 제어 장치(990)의 구성요소는 하나 이상의 통신 버스 또는 신호선을 통하여 통신하고, 그 여러 구성요소는 하나 이상의 신호 처리 및/또는 애플리케이션 전용 집적 회로(application specific integrated circuit)를 포함하여, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있다.
메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 일부 실시예에서, 메모리는 하나 이상의 프로세서로부터 멀리 떨어져 위치하는 저장 장치, 예를 들어 통신 회로 LAN(Local Area Network), WLAN(Wide LAN), SAN(Storage Area Network) 등, 또는 이들의 적절한 조합과 같은 통신 네트워크(도시하지 않음)를 통하여 액세스되는 네트워크 부착형(attached) 저장 장치를 더 포함할 수 있다. 프로세서 및 주변 인터페이스와 같은 구성요소에 의한 메모리로의 액세스는 메모리 제어기에 의하여 제어될 수 있다.
상기 주변 인터페이스는 제어 장치(990)의 입출력 주변 장치를 프로세서 및 메모리와 연결한다. 하나 이상의 프로세서는 다양한 소프트웨어 프로그램 및/또는 메모리에 저장되어 있는 명령어 세트를 실행하여 제어 장치(990)를 위한 여러 기능을 수행하고 데이터를 처리한다. 일부 실시예에서, 주변 인터페이스, 프로세서 및 메모리 제어기는 단일 칩 상에서 구현될 수 있고, 또는 별개의 칩으로 구현될 수 있다. 적어도 하나의 프로세서는 예를 들어 메모리로부터 검색된 명령어들을 이용하여, 제어 장치(990)의 컴포넌트 간의 입력 및 출력 데이터의 수신과 조작을 제어할 수 있다. 메모리에는 운영 체제, 게임 운영 프로그램(명령어 세트) 등이 설치될 수 있다.
제어 장치(990)는, 메모리 내에 본 발명에 따른 가상 현실 시스템의 가상 공간에 관한 정보 및 데이터와, 게임 프로그램 등을 저장해 두고, 프로세서를 통해 실행함으로써 사용자(10, 20)가 본 발명에 따른 가상 현실 시스템을 즐길 수 있도록 한다. 구체적으로, 제어 장치(990)는, 트래킹 장치에 의해 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2) 내에서의 사용자(10, 20)의 실제 위치 및 향하고 있는 방향이 산출되면, 사용자(10, 20)의 실제 위치 및 향하고 있는 방향에서 바라본 가상 공간(200, 400, 600, 800)의 영상을 헤드 마운트 장치(130)로 전송한다. 또한, 프로그램에 따라 가상 캐릭터나 가상 전시물 등의 가상 객체를 디스플레이에 표시하고, 트래킹 장치에 의해 분석된 사용자(10, 20)의 움직임에 따라 그에 대응하는 가상 객체의 변화된 영상을 헤드 마운트 장치(130)로 전송하여 디스플레이에 표시되도록 한다. 또한 제어 장치(990)는 가상 공간 내에 각 사용자가 설정한 실제 공간 내의 활동 공간에 대응하는 범위를 표시할 수 있다.
나아가, 제어 장치(990)는 사용자(10, 20)가 소지하는 스마트 폰, 태블릿 PC와 같은 휴대용 단말로 구현될 수도 있다. 즉, 휴대용 단말은 메모리, 프로세서, 입출력 인터페이스를 갖추고 있기 때문에 실질적으로 컴퓨터라고 할 수 있으며, 응용예에 따라서는 상대적으로 저용량의 프로그램과 데이터로 구성되는 가상 현실 시스템을 제어하는 제어 장치가 될 수 있다. 센서나 헤드 마운트 장치(130)를 휴대용 단말과 유선 또는 무선 인터페이스로 연결하고 필요한 응용 프로그램을 휴대용 단말에 설치함으로써 본 발명의 가상 현실 시스템을 구현할 수 있다. 최근의 스마트 폰에 내장된 가속도 센서 또는 자이로 센서를 활용할 수 있다. 도 3의 응용예에서 사용자(10)는 스마트 폰을 센서(920)로서 들고 권투를 할 수 있고, 스마트 폰에 내장된 가속도 센서 또는 자이로 센서로 사용자(10)의 움직임을 분석할 수 있다.
그밖에 본 발명에 따른 가상 현실 시스템을 구성하는 부가적인 물리적 요소들로는, 전술한 이어폰이나 스피커, 마이크, 송풍기나 분무기 등을 들 수 있다. 또한, 사용자는 슈팅 게임이나 복싱 게임 등과 같은 격투, 전투 게임에서의 피격감을 느낄 수 있도록 압전 소자나 진동 모터 등이 부착된 특수한 복장을 착용할 수도 있다.
다음으로, 본 발명에 따른 가상 현실 시스템을 즐기는 방법, 즉 본 발명의 동작에 대해 설명한다.
먼저, 사용자(10, 20)는 헤드 마운트 장치(130)와 위치 및 시선 방향을 감지하기 위한 센서(예컨대, 가속도 센서 또는 자이로 센서(950))를 착용하고, 본격적인 게임을 하기 전에, 전술한 캘리브레이션 과정을 수행한다. 즉, 적어도 두 명의 사용자(10, 20)는 동일한 구조의 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2)의 입구 또는 정해진 위치에서 정면 또는 정해진 방향을 향해 서서 소정 시간 동안 움직이지 않으면, 제어 장치(990)는 실제 공간(100, 300-1, 300-2, 500-1, 500-2)의 좌표축과 센서의 좌표축을 일치시킨다. 이때 적어도 두 명의 사용자(10, 20)가 함께 게임을 하므로 각 사용자(10, 20)는 서로 중첩되지 않는 위치에 선다.
카메라 센서(930)를 이용하여 사용자(10, 20)의 위치 및 시선 방향을 분석하는 경우 전술한 과정을 수행하지 않을 수 있다. 가상 공간은 실제 공간이 플레이 그라운드와 동일한 구조와 크기로 구축되어 있으므로, 카메라 센서(930)에 의해 촬영된 영상들의 분석을 통해 플레이 그라운드 내의 사용자(10, 20)의 위치 및 시선 방향을 분석할 수 있다. 사용자(10, 20)들은 최초에 서 있는 위치가 플레이 그라운드 내에서 중첩되지만 않으면 된다. 즉 제 1 플레이 그라운드에서 사용자(10)가 제 1 지정 위치(X1, Y1)에 서 있는다면, 제 2 플레이 그라운드에서 사용자(20)는 제 2 지정 위치(X2, Y2)에 서 있는다. 방출 소자 및 검출 소자(961, 962, 971, 972)를 이용하여 사용자(10, 20)의 위치 및 시선 방향을 분석할 경우에도 검출 소자(971, 972)의 위치는 알려진 고정된 위치이므로 초기 캘리브레이션 과정은 불필요할 수 있고, 카메라 센서(930)와 마찬가지로 사용자(10, 20)들은 최초에 서 있는 위치가 플레이 그라운드 내에서 중첩되지만 않으면 된다.
한편, 카메라 센서(930)를 이용하여 각 사용자(10, 20)를 촬영하고 각 사용자(10, 20)의 형태를 분석하여 사용자(10, 20)에 대응하는 가상 객체를 생성한다. 각 사용자(10, 20)에 대응하는 가상 객체를 형성하는 방법은, 앞서 가상 공간을 구축할 때와 동일한 방식으로, 각 사용자(10, 20)를 스캔하여 깊이 정보를 얻은 후 그 깊이 정보를 이용하여 각 사용자(10, 20)의 형태를 분석하고 이에 대응하는 3차원 가상 객체를 생성한다.
본격적인 게임을 시작하면, 즉 사용자(10, 20)가 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2) 안에서 움직이거나 이동을 하게 되면, 트래킹 장치는 센서(예컨대, 가속도 센서나 자이로 센서(950), 또는 카메라 센서(930) 또는 방출 소자 및 검출 소자(961, 962, 971, 972))로부터의 입력 신호로부터 사용자, 즉 헤드 마운트 장치(130)의 실제 위치와 향하는 방향(주시하는 방향)을 산출한다.
이어서, 제어 장치(990)는, 트래킹 장치에 의해 헤드 마운트 장치(130)의 실제 위치와 방향이 산출되면, 동일한 구조와 크기를 가지는 가상 공간(200, 400, 600, 800) 내의 동일한 위치와 방향에서 바라본 가상 공간의 영상을 생성하여 헤드 마운트 장치(130)로 전송하여 헤드 마운드 장치(130)의 디스플레이에 표시되도록 한다. 이 가상 공간의 영상을 생성하는 과정은 3차원 입체 애니메이션을 제작하는 과정과 동일한데, 구축된 가상 공간 내의 상기 위치에 상기 방향을 향하도록 가상의 카메라를 배치하고 가상의 카메라를 이용하여 그 시야에 들어오는 가상 공간의 영상을 캡쳐한다. 이때, 가상의 카메라는 3차원 입체 표시를 행하는 경우, 좌우 양안의 거리만큼 이격된 2대의 카메라로부터 각각 좌안 영상과 우안 영상을 캡쳐한다. 또한, 가상 카메라의 배율을, 실제 공간 내의 동일한 위치와 방향에서 인간의 시각으로 관찰되는 객체의 크기와 가상 카메라에 의해 캡쳐되는 영상에서의 가상 객체의 크기가 동일하게 되도록 조정해 둔다. 또한, 가상 공간의 영상을 캡쳐할 때, 적절한 조명 효과를 부여하여 가상 공간을 더욱 다채롭게 꾸밀 수 있다.
각 사용자(10, 20)의 헤드 마운트 장치(130)의 디스플레이에는 각 사용자(10, 20)의 현재 위치와 시선 방향에서 바라본 가상 공간(200, 400, 600, 800)이 표시된다. 이때, 가상 공간(200, 400, 600, 800)에는 각 사용자(10, 20)의 현재 위치와 시선 방향에서 본 실제 공간, 즉 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2) 내에 있는 고정된 실제 객체에 대응하는 가상 객체가 실제 공간에서의 거리에 비례하는 크기로 실재하는 방향에 표시된다. 또한 각 사용자(10, 20)의 현재 위치와 시선 방향에서 바라본 실제 공간에 다른 사용자(10, 20)가 실재하고 있는 경우, 가상 공간(200, 400, 600, 800)에는 다른 사용자(10, 20)에 대응하는 가상 객체가 실제 공간에서의 거리에 비례하는 크기로 실재하는 방향에 표시된다. 각 사용자(10, 20)의 실제 공간 내에서의 현재 위치와 시선 방향이 전술한 바와 같이 산출되므로, 실제 공간에서 제 1 사용자의 시선 방향에 제 2 사용자가 있고 움직이는 경우, 제 1 사용자의 디스플레이에 표시되는 가상 공간(200, 400, 600, 800)에는 제 2 사용자에 대응하는 가상 객체가 실제 움직임에 동기되어 표시되며 움직인다. 이때, 효과 음향 등을 이용하여 가상 공간에의 몰입감이나 현실감을 배가할 수도 있다.
이후, 실시간으로 또는 사용자(10, 20)의 움직임이 감지될 때마다, 트래킹 장치에 의해 헤드 마운트 장치(130)의 실제 위치와 향하는 방향이 산출되고, 제어 장치(990)는 그에 대응되는 가상 공간(200, 400, 600, 800)의 영상을 생성하여 헤드 마운트 장치(130)의 디스플레이에 표시하는 과정을 반복함으로써, 사용자(10, 20)가 플레이 그라운드(100, 300-1, 300-2, 500-1, 500-2) 안에서 움직이거나 이동하는 것과 가상 공간(200, 400, 600, 800) 안에서 움직이거나 이동하는 것을 동기시킨다. 한편, 게임 등의 프로그램의 진행 정도 및 센서에 의해 감지되는 사용자(10, 20)의 행위나 움직임에 따라 가상 캐릭터를 가상 공간 내에 등장시키고, 사용자의 행위나 움직임에 인터랙티브하게 변화시킬 수 있다.
이상의 실시예는 두 명의 사용자가 각각 위치하는 두 개의 플레이 그라운드의 크기와 모양이 동일한 경우이다. 그러나 두 개의 플레이 그라운드의 크기와 모양이 동일하지 않을 수 있다. 예를 들어, 제 1 사용자는 전용의 플레이 그라운드에 있고 제 2 사용자는 자신의 방에 있을 수 있다. 또는 두 명의 사용자가 각각 자신의 방에 있을 수 있다. 전자의 경우 자신의 방에 있는 위치하는 제 2 사용자는 자신의 방에서 활동 공간을 설정하여 가상 공간에 그 활동 공간에 대응하는 영역이 표시되도록 한다. 이때 가상 공간은 제 1 사용자가 위치하고 있는 전용의 플레이 그라운드를 토대로 만들어진 것이다. 후자의 경우 두 명의 사용자는 각자 자신의 방에서 활동 공간을 설정하여 가상 공간에 각 활동 공간에 대응하는 영역이 표시되도록 한다. 이때 가상 공간은 랜덤하게 선택된 가상 공간일 수 있다.
사용자는 헤드 마운트 장치(130)를 이용하여 자신의 활동 공간을 설정한다. 예를 들어, 사용자는 헤드 마운트 장치(130)를 착용하고 실제 공간에서 네 군데의 지점으로 순차적으로 이동하며 센서(950)를 구동한다. 그러면 센서(950)는 네 군데 지점의 상대적 위치 정보를 생성하여 트래킹 장치로 전송한다. 트래킹 장치는 그 네 군데 지점의 상대적 위치 정보를 이용하여 사용자의 활동 공간의 크기를 산출하고, 제어 장치(990)는 사용자의 활동 공간을 가상 공간에 표시한다. 제어 장치(990)는 사용자가 활동 공간을 넘어가는 경우 가상 공간에 알람을 표시할 수 있다. 이때 제어 장치(990)는 가상 공간 내에서 각 사용자의 활동 공간이 겹치지 않도록 위치시켜 표시함으로써 가상 공간 내에서 각 사용자가 다른 사용자를 방해하지 않도록 한다.
이로써, 본 발명에 의하면, 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립시키고 몰입감과 현실감을 극대화할 수 있다.
도 10은 본 발명의 일 실시예에 따른 가상 현실 기반의 오디션 게임 시스템의 구성을 나타낸 도면이다. 도 10에 있어서 도 9의 참조부호와 동일한 참조부호를 갖는 구성요소는 도 9를 참조하여 설명한 기능 및 동작을 모두 포함하므로 여기서는 상세한 설명을 생략한다.
도 10을 참조하면, 본 실시예에 따른 오디션 게임 시스템은, 오디션 게임을 관리하는 사업자의 장비인 게임 서버(1070)와 엔터테인먼트 기획사의 장비인 기획사 단말(1080)을 포함하고, 헤드 마운트 장치(130)는 통신망(1060)을 통해 게임 서버(1070)와 데이터를 송수신하고 게임 서버(1070)는 통신망(1060)을 통해 기획사 단말(1080)과 데이터를 송수신한다. 여기서 통신망(1060)은, 유선 통신망 또는 무선 통신망 등 이미 알려진 통신망 또는 향후 개발된 통신망을 모두 포함하는 것으로 이해되어야 한다. 여기서 기획사 단말(1080)은 스마트 폰이나 퍼스널 컴퓨터, 또는 태블릿 PC, 노트북 등을 포함한다.
앞서 트래킹 장치가 헤드 마운트 장치(130) 또는 제어 장치(990) 중 어느 하나에 설치될 수 있는 것처럼, 본 실시예에서 트래킹 장치는 헤드 마운트 장치(130) 또는 게임 서버(1070) 중 어느 하나에 설치될 수 있고, 또는 헤드 마운트 장치(130)에 연결되는 셀룰러 폰이나 퍼스널 컴퓨터 등에 설치될 수 있다.
게임 서버(1070)는 사용자의 헤드 마운트 장치(130)로 가상 현실 기반의 오디션 게임 환경을 제공하고 사용자들의 게임 수행 결과를 평가하여 평가 결과를 기획사 단말(1080)로 제공하는 장비이다. 게임 서버(1070)는 메모리, 메모리 제어기, 하나 이상의 프로세서, 주변 인터페이스, 입출력(I/O) 서브시스템, 디스플레이 장치, 입력 장치 및 통신 회로를 포함할 수 있다. 이러한 게임 서버(1070)의 구성요소는 하나 이상의 통신 버스 또는 신호선을 통하여 통신하고, 그 여러 구성요소는 하나 이상의 신호 처리 및/또는 애플리케이션 전용 집적 회로(application specific integrated circuit)를 포함하여, 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어 둘의 조합으로 구현될 수 있다.
게임 서버(1070)는 데이터베이스(DB)(1071)와 연결된다. 데이터베이스(1071)는 사용자(10, 20)의 가입 정보, 사용자(10, 20)의 게임 진행 정보(예컨대 레벨, 평가 정보 등), 오디션 게임을 위한 가상 현실 데이터 등을 포함한다. 여기서 가입 정보는 사용자의 아이디/패스워드, 신상 정보를 포함하는 프로필 정보를 포함할 수 있다. 프로필 정보는 키, 몸무게, 나이, 성별, 사용자의 얼굴, 전신 등에 대한 영상 데이터를 포함할 수 있다. 또한 가입 장보는 사용자가 진출하기를 희망하는 전문 분야를 더 포함할 수 있다. 예를 들어 전문 분야는 작곡, 작사, 가수, 연기자, 개그맨, VJ, 사진작가, 모델, 뮤지컬 배우, 연주자 등일 수 있다.
도 11은 본 발명의 일 실시예에 따른 게임 서버의 게임 운영 프로그램의 구성을 나타낸 도면이다. 도 11에 도시된 바와 같이, 게임 운영 프로그램은, 게임 환경 제공 모듈(1110), 평가 모듈(1120) 및 선별 모듈(1130)을 포함한다.
게임 환경 제공 모듈(1110)은 게임 사용자에게 해당 게임 사용자에 대응하는 아바타를 선택할 수 있는 인터페이스를 제공하고 그 인터페이스를 통해 아바타를 선택받아 그 정보를 데이터베이스(1071)에 저장한다. 여기서, 아바타는 레벨 정보를 포함하며, 레벨 정보는 하기에서 설명되는 게임 사용자의 오디션 정보에 대한 평가 정보에 따라 높아진다. 게임 사용자가 최초 회원 가입한 시점의 레벨 정보는 디폴트 값(예를 들어, 0 또는 초보 등)으로 설정될 수 있다.
게임 환경 제공 모듈(1110)은 오디션 게임을 위한 가상 공간(600, 800)을 구축하고 그 가상 공간(600, 800)의 데이터를 데이터베이스(1071)에 저장한다. 게임 환경 제공 모듈(1110)은 실제 공간과 동일한 구조의 크기의 가상 공간을 구축할 수 있고, 또는 실제 공간과 무관한 가상 공간을 구축할 수 있다. 실제 공간과 동일한 구조의 크기의 가상 공간을 구축하는 방법은 전술하였다.
게임 환경 제공 모듈(1110)은 게임 사용자가 피아노 연주와 같이 고정된 자세에서 게임을 할 수 있는 가상 공간(600, 800)을 구축하고 그 가상 공간(600, 800)의 데이터를 데이터베이스(1071)에 저장할 수 있다. 이때 게임 환경 제공 모듈(1110)은 가상 공간(600, 800) 내에 고정된 배경 건물이나 가상 전시물, 또는 움직이는 가상 캐릭터(예컨대 청중) 등을 만든다. 그리고 게임 환경 제공 모듈(1110)은 트래킹 장치로부터 실제 공간에서 게임 사용자가 게임에 이용할 도구, 예컨대 피아노 등의 악기, 손 등의 스캔 정보를 받아 상기 가상 공간(600, 800) 내에 그에 대응하는 가상 객체(830, 840)로서 표시한다.
게임 환경 제공 모듈(1110)은 이와 같이 구축된 가상 공간(600, 800)을 게임 사용자(10, 20)의 헤드 마운트 장치(130)로 제공하고 게임 사용자(10, 20)의 행위나 움직임에 반응하여 실시간으로 가상 공간(600, 800)을 업데이트하여 상기 헤드 마운트 장치(130)로 제공한다.
게임 환경 제공 모듈(1110)은 채팅방 서비스, 메신저 서비스, 길드 또는 클랜 게임 서비스 등과 같이 사용자들을 묶어줄 수 있는 다양한 커뮤니티 기능을 제공할 수 있다. 게임 환경 제공 모듈(1110)은 보편적으로 이미 서비스되고 있는 아케이드 게임, 롤 플레잉(role playing) 게임, 전략 시뮬레이션 게임, 슈팅 게임, 자동차 경주나 골프와 같은 스포츠 게임, 어드벤쳐 게임 등과 같은 형태로 경쟁(예컨대, 노래 경연, 댄스 배틀 등)과 커뮤니티를 함께 즐길 수 있도록 게임 환경을 제공할 수 있다.
또한, 게임 환경 제공 모듈(1110)은 자신의 아바타를 꾸미고, 노래 또는 댄스와 같이 게임을 진행할 때 음악과 스테이지, 그리고 게임 내에 영향을 주는 효과 아이템 등을 구입할 수 있는 쇼핑몰 서비스를 제공할 수 있다. 게임 환경 제공 모듈(1110)은 쇼핑몰 서비스를 통해 판매된 아이템을 가상 공간(600, 800) 내에 적용한다. 또한 게임 환경 제공 모듈(1110)은 게임 공간을 사용자의 레벨에 따라 나눌 수 있다. 예를 들어, 누구나 입장할 수 있는 곳, 높은 레벨의 사용자들만 입장할 수 있는 곳 등으로 게임 공간을 나눌 수 있다. 게임 환경 제공 모듈(1110)은 가상 공간(600, 800)에서 게임 사용자가 수행한 게임 결과 영상을 데이터베이스(571)에 저장한다.
평가 모듈(1120)은 가상 공간(600, 800)에서 이루어지는 게임 사용자의 게임 결과를 평가하고 그 평가 결과를 데이터베이스(1071)에 저장하고 또한 게임 사용자의 평가 정보를 각 게임 사용자에 상응하여 설정된 아바타의 레벨 정보에 반영하고 아바타의 레벨 정보를 상기 데이터베이스(1071)에 저장한다. 이러한 평가 모듈(1120)은 노래 평가 모듈, 춤 평가 모듈, 연기 평가 모듈, 외모 평가 모듈, 개그 평가 모듈, 사진 평가 모듈, 모델 평가 모듈, 뮤지컬 평가 모듈 등을 구비할 수 있다.
각 평가 모듈(1120)은 각 분야에 따라 다른 평가 기준을 가질 수 있다. 예를 들어 노래 평가 모듈은 평가 기준이 되는 음정, 박자, 음색 등의 데이터가 입력되어 있고, 사용자의 헤드 마운트 장치(130) 또는 실제 공간에 설치된 마이크 등을 통해 입력되는 데이터를 바탕으로 게임 사용자의 음정, 박자, 음색 등을 판단하여 게임 사용자가 가수로서의 자질을 가지고 있는지 평가할 수 있다. 이를 위해 게임 사용자는 헤드 마운트 장치(130) 또는 별도의 입력 장치를 통해 게임 유형을 선택할 수 있고, 게임 환경 제공 모듈(1110)은 게임 사용자가 선택한 게임 유형에 따라 가상 현실 기반의 게임 환경을 사용자의 헤드 마운트 장치(130)로 제공한다. 여기서 게임 유형은 작곡, 작사, 가수, 연기, 개그, VJ, 사진작가, 모델, 뮤지컬 배우, 연주 등일 수 있다.
또한, 각 평가 모듈(1120)은 게임 사용자의 평가 정보를 토대로 게임 사용자가 더욱 연습해야 할 부분을 알려줄 수 있다. 예를 들어 게임 사용자가 게임 유형을 가수로 선택하고, 게임 사용자의 게임 수행 결과를 평가한 결과 박자에 더 신경을 써야 할 것으로 평가한 경우, 박자에 더 신경을 유의하라는 평가 결과를 제공할 수 있다. 또한 게임 사용자가 부른 노래 중에서 어떤 부분이 틀렸는지에 대한 정보를 상세히 제공할 수 있다. 또한 각 평가 모듈(1120)은 게임 사용자에게 부족한 부분을 연습할 수 있는 게임을 제공할 수 있다. 각 평가 모듈(1120)은 게임 사용자의 평가 정보를 각 게임 사용자에 상응하여 설정된 아바타의 레벨 정보에 반영한다. 예를 들어 평가 정보를 분석한 결과 이전보다 우수해진 경우 게임 사용자의 아바타는 레벨업(level up)할 수 있다.
선별 모듈(1130)은 게임 사용자 중에서 레벨 정보가 일정 레벨 이상인 게임 사용자를 선별한다. 예를 들어 선별 모듈(1130)은 데이터베이스(1071)에 저장된 정보롤 토대로 게임 사용자 중에서 아바타의 레벨 정보가 10 레벨 이상인 게임 사용자를 선별한다. 이때, 선별 모듈(1130)은 각 평가 모듈로부터 획득된 각각의 평가 정보의 평균 또는 합을 미리 정해진 가중치로 변환하고, 변환된 가중치를 레벨 정보에 반영(즉, 가산)할 수 있다. 예를 들어 게임 사용자가 진출을 희망하는 전문 분야로 댄스 가수를 선택한 경우 선별 모듈(1130)은 노래 평가 및 춤 평가로부터 획득한 각각의 평가 정보의 평균 또는 합을 미리 정해진 가중치로 변환하고, 변환된 가중치를 레벨 정보에 반영할 수 있다.
또는, 선별 모듈(1130)은 게임 사용자들 중에서 다른 게임 사용자들로부터 일정한 점수 이상의 평가를 획득한 게임 사용자를 선별할 수 있다. 예를 들어, 각 게임 사용자들은 다른 게임 사용자들의 게임을 보고 여러 평가 툴을 통해 평가 점수를 부여할 수 있고, 이와 같이 부여된 평가 점수를 토대로 일정한 점수 이상을 갖는 게임 사용자를 선별할 수 있다. 또는 선별 모듈(1130)은 게임 사용자들 중 일부를 선택하여 온라인 게시판에 그 선택된 게임 사용자들의 게임 영상을 제공하고 온라인 투표 또는 온라인 평가의 결과를 집계하여 게임 사용자를 선별할 수 있다. 이때, 선별 모듈(1130)은 현재 시점에서 순위가 높은 순으로 게임 사용자의 오디션 정보 및 프로필 정보가 상위에 게시되도록 할 수 있고, 현재 시점에서 집계된 온라인 투표 또는 평가가 해당 게임 사용자의 오디션 정보 및 프로필 정보와 함께 게시되도록 할 수도 있다.
선별 모듈(1130)은 최종 선별된 게임 사용자의 오디션 정보(예컨대 게임 수행 영상), 프로필 정보 및 평가 정보를 기획사 단말(1080)로 전송한다. 선별 모듈(1130)은 기획사 단말(1080)로부터 특정 게임 사용자에 대한 미팅 요청이 수신되면 해당 게임 사용자의 디바이스, 예컨대 모바일 폰 등으로 이에 관한 사실을 단문 메시지 등으로 전송할 수 있다.
이상과 같이 본 발명에 의하면 가상 공간에서의 몰입감과 실제 공간에서의 이동을 양립시킴으로써 오디션 게임 사용자들의 몰입감과 현실감을 극대화할 수 있고, 또한 연예인 지망자들에게 연예계에 진입할 수 있는 기회를 제공할 수 있으며, 연예 기획사들은 투자 비용을 줄이면서 끼와 재능을 가진 연예인 지망자들을 캐스팅할 수 있는 기회를 제공한다.
한편, 인간의 시각은 매우 발달되어 있어, 최근에 3차원 입체 표시 기술이 눈부시게 발전했다고는 하지만, 여전히 인간의 시각에는 미치지 못하고 있다. 따라서, 본 발명의 실시예에서는 가상 공간의 현실감을 더욱 높일 수 있도록 눈동자 위치 추적 기술을 활용한다.
눈동자 위치 추적 기술은, 도 12의 (a)에 도시된 바와 같이, 좌안과 우안 각각의 눈동자(L, R)를 검출하고, 그로부터 도 12의 (b)에 도시된 바와 같이, 사용자가 주시하는 주시점을 산출하는 기술이다.
인간은 물체를 볼 때 보통 주시점이 얼굴의 정면 중앙, 즉 시야의 중앙에 들어오도록 주시점을 향해 고개를 돌린다. 그러나, 고개를 돌리지 않고 안구만을 굴려 시야의 모퉁이에 있는 주시점(P3)을 바라볼 수도 있다. 이때 좌우 양안의 눈동자(L, R)는 양안 각각의 중앙에서 주시점(P3)의 방향으로 이동하게 된다(L3, R3 참조).
나아가, 주시하는 방향은 동일하지만 그 방향에서 가까운 곳의 물체를 볼 때와 먼 곳의 물체를 볼 때에는 주시점이 서로 다르다(P1과 P2). 즉, 주시점이 먼 경우(P1)보다 가까운 경우(P2)에 양안의 눈동자간의 거리는 더 가까워진다(L1 및 R1에서 L2 및 R2로). 이러한 인간 시각의 특성으로부터, 좌우 양안의 눈동자(L, R) 위치를 검출함으로써 현재의 주시점을 파악할 수 있다.
또한, 인간의 눈은 먼 곳을 볼 때는 수정체를 얇게 하고, 가까운 곳을 볼 때는 수정체를 두껍게 하여 주시점의 거리에 따라 수정체의 초점거리를 조절하고, 그에 따라 망막에 맺히는 상의 초점이 달라진다.
따라서, 본 발명의 실시예에서는 사용자(10, 20)의 주시점을 산출하고, 그에 따라 가상 공간의 가상 카메라로부터 가상 공간의 영상을 생성할 때, 산출된 사용자(10, 20)의 주시점에 초점을 맞춘 영상을 생성하여 디스플레이에 표시하도록 한다.
이를 위해, 헤드 마운트 장치(130)는 사용자(10, 20)의 눈동자를 검출하는 수단을 포함한다. 구체적으로, 눈동자 검출 수단은 헤드 마운트 장치(130) 안쪽의 좌우 양안 각각의 앞쪽에 카메라 센서(바람직하게는 적외선 카메라)를 장착한다. 그리고, 트래킹 장치는 이 카메라 센서로부터 얻은 영상에서 전술한 화상 인식 알고리즘 등을 이용하여 좌우 양안의 눈동자 위치를 검출한다. 이렇게 검출된 양안의 눈동자 위치로부터 현재의 주시점을 산출한다. 이어서, 제어 장치(990) 또는 게임 서버(1070)는, 전술한 바와 같이, 가상 공간의 가상 카메라로부터 가상 공간을 캡쳐할 때, 상기 트래킹 장치에서 산출된 사용자(10, 20)의 주시점에 초점을 맞춘 영상을 생성하여 헤드 마운트 장치(130)의 디스플레이에 표시하도록 한다.
이로써 인간의 시각 특성에 더욱 가까운 가상 공간의 영상을 제공함으로써 가상 공간의 현실감을 더욱 높일 수 있다.
한편, 이러한 눈동자 위치 추적 기능을 적용하는 경우, 본 발명에 따른 가상 현실 시스템을 즐기기 위한 초기화, 즉 캘리브레이션 단계에서는, 사용자(10, 20)의 양안의 눈동자의 초기 위치를 검출해 두고 이를 기초로 주시점을 산출한다. 이때 초기 위치는 디스플레이에 표시되는 초기 영상의 복수의 점(예컨대, 상하좌우 모서리, 중앙 등)을 주시하도록 한 후 그때의 양안 눈동자 위치를 검출하여 복수의 초기 위치를 검출해 두는 것이 좋다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100, 300-1, 300-2, 500-1, 500-2 : 플레이 그라운드
10, 20 : 사용자
130 : 헤드 마운트 장치
910 : 진동 센서
920 : 모션 인식 센서
930 : 카메라 센서
950 : 가속도 센서 또는 자이로 센서
961, 962 : 방출 소자
971, 972 : 검출 소자
990 : 제어 장치
1060 : 통신망
1070 : 게임 서버
1080 : 기획사 단말
1071 : 데이터베이스

Claims (29)

  1. 가상 현실 시스템으로서,
    적어도 둘 이상의 사용자가 실제로 이동 가능한 소정 면적을 가지고 현실 세계의 실제 공간 내에 정의된 적어도 하나의 플레이 그라운드 내에서의, 상기 각 사용자의 실제 위치 및 시선 방향을 감지하기 위한 적어도 하나의 센서;
    가상 공간의 영상을 표시하는 디스플레이를 구비하고, 상기 각 사용자의 양안을 감싸며 착용되는 헤드 마운트 장치;
    상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 플레이 그라운드 내에서의 상기 각 사용자의 실제 위치 및 시선 방향을 산출하는 트래킹 장치; 및
    상기 각 사용자의 실제 위치 및 시선 방향에서 바라본, 상기 플레이 그라운드 내의 실제 객체들에 대응하여 형성한 상기 가상 공간의 영상을, 상기 각 사용자의 상기 헤드 마운트 장치로 전송하는 제어 장치;를 포함하고,
    상기 제어 장치는, 어느 한 사용자의 실제 위치 및 시선 방향에 대응하는 실제 공간 내에 다른 사용자가 존재하는 경우, 상기 어느 한 사용자의 가상 공간에, 그 사용자들 간의 거리에 비례하는 크기로 실재하는 방향에 상기 다른 사용자에 대응하는 가상 객체를 표시하는 가상 현실 시스템.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 센서는, 카메라 센서를 포함하고,
    상기 제어 장치는, 상기 카메라 센서에 의해 촬영된 사용자의 영상으로부터 사용자의 형태를 분석하고 그 분석한 사용자의 형태에 대응하는 가상 객체를 상기 가상 공간에 표시하는 것을 특징으로 하는 가상 현실 시스템.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 플레이 그라운드는, 서로 떨어져 설치된 동일한 크기 및 구조의 두 개의 플레이 그라운드를 포함하고, 각 플레이 그라운드에는 적어도 하나의 사용자가 위치하며,
    상기 제어 장치는,
    각 플레이 그라운드 내의 사용자의 실제 위치 및 시선 방향에 기초하여, 각 플레이 그라운드 내의 사용자의 헤드 마운트 장치로 전송하는 가상 공간에, 다른 플레이 그라운드 내의 사용자에 대응하는 가상 객체를 표시하는 것을 특징으로 하는 가상 현실 시스템.
  4. 제 3 항에 있어서,
    상기 제어 장치는,
    어느 한 플레이 그라운드 내의 사용자의 실제 위치 및 시선 방향에 대응하는 다른 플레이 그라운드의 실제 공간에 다른 사용자가 존재하는 경우, 상기 어느 한 플레이 그라운드 내의 사용자의 가상 공간에, 그 사용자들 간의 거리에 비례하는 크기로 실재하는 방향에 상기 다른 사용자에 대응하는 가상 객체를 표시하는 것을 특징으로 하는 가상 현실 시스템.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 플레이 그라운드는, 서로 떨어져 설치된 크기 및 구조가 다른 두 개의 플레이 그라운드를 포함하고, 각 플레이 그라운드에는 적어도 하나의 사용자가 위치하며,
    상기 적어도 하나의 센서는, 상기 헤드 마운트 장치 및 상기 사용자들의 신체 중 적어도 하나에 장착된 가속도 센서 또는 자이로 센서를 포함하고,
    상기 트래킹 장치는, 상기 가속도 센서 또는 자이로 센서로부터의 신호를 이용하여 각 사용자의 실제 공간 내에서의 활동 공간을 산출하고,
    상기 제어 장치는, 상기 가상 공간의 영상에 상기 각 사용자의 활동 공간에 대응하는 영역을 표시하는 것을 특징으로 하는 가상 현실 시스템.
  6. 제 1 항에 있어서,
    상기 제어 장치는, 상기 가상 공간의 영상에, 상기 실제 공간 내에 존재하지 않는 가상 객체를 더 표시하는 것을 특징으로 하는 가상 현실 시스템.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 센서는, 모션 인식 센서를 포함하고,
    상기 트래킹 장치는, 상기 모션 인식 센서의 신호로부터 각 사용자의 움직임을 분석하며,
    상기 제어 장치는, 상기 어느 한 사용자의 가상 공간에 표시되는 상기 다른 사용자에 대응하는 가상 객체를 상기 움직임의 분석 결과에 대응하여 움직이게 하는 것을 특징으로 하는 가상 현실 시스템.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 센서는, 상기 헤드 마운트 장치 및 상기 사용자들의 신체 중 적어도 하나에 장착된 가속도 센서 또는 자이로 센서를 포함하고,
    상기 트래킹 장치는, 상기 가속도 센서 또는 자이로 센서로부터의 신호를 입력받아 상기 사용자들의 실제 위치 및 시선 방향을 산출하는 것을 특징으로 하는 가상 현실 시스템.
  9. 제 8 항에 있어서,
    상기 트래킹 장치는, 상기 실제 공간의 좌표축과 상기 가속도 센서 또는 자이로 센서의 좌표축을 일치시키는 캘리브레이션을 수행하는 것을 특징으로 하는 가상 현실 시스템.
  10. 제 1 항에 있어서,
    상기 적어도 하나의 센서는, 카메라 센서를 포함하고,
    상기 트래킹 장치는, 상기 카메라 센서가 촬영한 영상을 입력받아 상기 사용자들의 실제 위치 및 시선 방향을 산출하는 것을 특징으로 하는 가상 현실 시스템.
  11. 제 1 항에 있어서,
    상기 적어도 하나의 센서는,
    상기 헤드 마운트 장치에 장착되고 특정 파장의 전자기파를 방출하는 방출 소자; 및
    상기 전자기파를 검출하는 적어도 2개의 검출 소자;를 포함하는 것을 특징으로 하는 가상 현실 시스템.
  12. 제 11 항에 있어서,
    상기 방출 소자는, 소정 간격 이격된 2개의 방출 소자로 이루어지고,
    상기 적어도 2개의 검출 소자 각각은, 상기 2개의 방출 소자로부터 방출된 전자기파를 모두 검출하여 상기 2개의 방출 소자의 위치를 감지하며,
    상기 트래킹 장치는, 상기 적어도 2개의 검출 소자로부터의 신호를 입력받아 상기 2개의 방출 소자 각각의 위치를 산출하고, 상기 2개의 방출 소자의 위치의 중점을 사용자의 현재 위치로 산출하고, 상기 2개의 방출 소자의 위치의 수직 이등분선의 방향을 사용자의 시선 방향으로 산출하는 것을 특징으로 하는 가상 현실 시스템.
  13. 제 1 항에 있어서,
    상기 헤드 마운트 장치는, 사용자의 눈동자를 검출하는 수단을 포함하고,
    상기 트래킹 장치는, 상기 눈동자 검출 수단으로부터의 신호를 입력받아 사용자의 눈동자 위치를 산출하고 이로부터 사용자가 현재 주시하는 주시점을 산출하며,
    상기 제어 장치는, 상기 주시점에 초점을 맞춘 상기 가상 공간의 영상을 상기 헤드 마운트 장치로 전송하는 것을 특징으로 하는 가상 현실 시스템.
  14. 제 1 항에 있어서,
    상기 트래킹 장치는, 상기 헤드 마운트 장치 또는 상기 제어 장치 중 어느 하나에 설치되는 것을 특징으로 하는 가상 현실 시스템.
  15. 가상 현실 기반의 오디션 게임 시스템으로서,
    가상 공간의 영상을 표시하는 디스플레이를 구비하고 사용자의 양안을 감싸며 착용되는 헤드 마운트 장치;
    실제 공간에 설치되어 상기 사용자의 위치 및 모션을 감지하는 적어도 하나의 센서;
    상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 실제 공간 내에서의 상기 사용자의 실제 위치 및 시선 방향을 산출하는 트래킹 장치; 및
    상기 가상 공간의 영상을 생성하고, 상기 산출된 사용자의 실제 위치 및 시선 방향에서 바라본 상기 가상 공간의 영상을 상기 헤드 마운트 장치로 전송하는 게임 서버;를 포함하고,
    상기 적어도 하나의 센서는,
    상기 헤드 마운트 장치에 장착되고 특정 파장의 전자기파를 방출하는 방출 소자; 및
    상기 전자기파를 검출하는 적어도 2개의 검출 소자;를 포함하는 오디션 게임 시스템.
  16. 가상 현실 기반의 오디션 게임 시스템으로서,
    가상 공간의 영상을 표시하는 디스플레이를 구비하고 사용자의 양안을 감싸며 착용되는 헤드 마운트 장치;
    실제 공간에 설치되어 상기 사용자의 위치 및 모션을 감지하는 적어도 하나의 센서;
    상기 적어도 하나의 센서로부터의 신호를 입력받아 상기 실제 공간 내에서의 상기 사용자의 실제 위치 및 시선 방향을 산출하는 트래킹 장치; 및
    상기 가상 공간의 영상을 생성하고, 상기 산출된 사용자의 실제 위치 및 시선 방향에서 바라본 상기 가상 공간의 영상을 상기 헤드 마운트 장치로 전송하는 게임 서버;를 포함하고,
    상기 헤드 마운트 장치는, 상기 사용자의 눈동자를 검출하는 수단을 포함하고,
    상기 트래킹 장치는,
    상기 눈동자 검출 수단으로부터의 신호를 입력받아 상기 사용자의 눈동자 위치를 산출하고 이로부터 사용자가 현재 주시하는 주시점을 산출하며,
    상기 게임 서버는,
    상기 주시점에 초점을 맞춘 상기 가상 공간의 영상을 상기 헤드 마운트 장치로 전송하는 오디션 게임 시스템.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 게임 서버는,
    상기 실제 공간 내의 상기 사용자에 대응하는 가상 객체를 상기 가상 공간의 영상에 더 표시하고, 상기 사용자의 모션에 대응하도록 상기 가상 객체를 변화시켜 표시하는 것을 특징으로 하는 오디션 게임 시스템.
  18. 제 17 항에 있어서,
    상기 적어도 하나의 센서는, 상기 실제 공간 내의 상기 사용자 이외의 실제 객체의 위치 및 움직임을 감지하고,
    상기 게임 서버는,
    상기 실제 공간 내의 상기 사용자 이외의 실제 객체에 대응하는 가상 객체를 상기 가상 공간의 영상에 더 표시하고, 상기 실제 객체의 위치 및 움직임에 따라 상기 실제 객체에 대응하는 가상 객체를 변화시켜 표시하는 것을 특징으로 하는 오디션 게임 시스템.
  19. 제 18 항에 있어서,
    상기 사용자 이외의 실제 객체의 위치 및 움직임을 감지하는 센서는 카메라 센서인 것을 특징으로 하는 오디션 게임 시스템.
  20. 제 15 항 또는 제 16 항에 있어서,
    상기 게임 서버는,
    상기 가상 공간의 영상에, 상기 실제 공간 내에 존재하지 않는 가상 객체를 더 표시하는 것을 특징으로 하는 오디션 게임 시스템.
  21. 제 15 항 또는 제 16 항에 있어서,
    상기 게임 서버는,
    상기 가상 공간에서 이루어지는 상기 사용자의 게임 결과를 평가하여 레벨을 부여하고 평가 정보 및 레벨 정보를 데이터베이스에 저장하는 것을 특징으로 하는 오디션 게임 시스템.
  22. 제 21 항에 있어서,
    상기 게임 서버는,
    레벨 정보가 일정 레벨 이상인 사용자를 선별하고, 그 선별된 사용자의 평가 정보, 프로필 정보 및 게임 수행 영상 중 적어도 하나를 기획사 단말로 전송하는 것을 특징으로 하는 오디션 게임 시스템.
  23. 제 15 항 또는 제 16 항에 있어서,
    상기 게임 서버는,
    상기 가상 공간에서 이루어지는 상기 사용자의 게임 결과에 대해 다른 사용자들로부터 평가 정보를 수신하여 데이터베이스에 저장하고, 일정한 기준 이상의 평가를 받은 사용자의 평가 정보, 프로필 정보 및 게임 수행 영상 중 적어도 하나를 기획사 단말로 전송하는 것을 특징으로 하는 오디션 게임 시스템.
  24. 제 15 항 또는 제 16 항에 있어서,
    상기 게임 서버는,
    상기 가상 공간에서 게임을 진행할 때 사용될 아이템을 구입할 수 있는 쇼핑몰 서비스를 제공하고, 쇼핑몰 서비스를 통해 구매된 아이템을 상기 가상 공간에 적용하는 것을 특징으로 하는 오디션 게임 시스템.
  25. 제 15 항 또는 제 16 항에 있어서,
    상기 적어도 하나의 센서는, 상기 헤드 마운트 장치 및 상기 사용자의 신체 중 적어도 하나에 장착된 가속도 센서 또는 자이로 센서를 포함하고,
    상기 트래킹 장치는,
    상기 가속도 센서 또는 자이로 센서로부터의 신호를 입력받아 상기 사용자의 실제 위치 및 시선 방향을 산출하는 것을 특징으로 하는 오디션 게임 시스템.
  26. 삭제
  27. 제 15 항 또는 제 16 항에 있어서,
    상기 적어도 하나의 센서는, 카메라 센서를 포함하고,
    상기 트래킹 장치는,
    상기 카메라 센서가 촬영한 영상을 입력받아 상기 사용자의 실제 위치 및 시선 방향을 산출하는 것을 특징으로 하는 오디션 게임 시스템.
  28. 제 15 항에 있어서,
    상기 방출 소자는, 소정 간격 이격된 2개의 방출 소자로 이루어지고,
    상기 적어도 2개의 검출 소자 각각은, 상기 2개의 방출 소자로부터 방출된 전자기파를 모두 검출하여 상기 2개의 방출 소자의 위치를 감지하며,
    상기 트래킹 장치는,
    상기 적어도 2개의 검출 소자로부터의 신호를 입력받아 상기 2개의 방출 소자 각각의 위치를 산출하고, 상기 2개의 방출 소자의 위치의 중점을 상기 사용자의 현재 위치로 산출하고, 상기 2개의 방출 소자의 위치의 수직 이등분선의 방향을 상기 사용자의 시선 방향으로 산출하는 것을 특징으로 하는 오디션 게임 시스템.
  29. 제 15 항 또는 제 16 항에 있어서,
    상기 트래킹 장치는,
    상기 헤드 마운트 장치 또는 상기 게임 서버 중 어느 하나에 설치되는 것을 특징으로 하는 오디션 게임 시스템.
KR1020150111809A 2014-08-08 2015-08-07 가상 현실 시스템 및 이를 이용한 오디션 게임 시스템 KR101686576B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/455,464 2014-08-08
US14/455,464 US9599821B2 (en) 2014-08-08 2014-08-08 Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space

Publications (2)

Publication Number Publication Date
KR20160018436A KR20160018436A (ko) 2016-02-17
KR101686576B1 true KR101686576B1 (ko) 2016-12-14

Family

ID=55264184

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150111809A KR101686576B1 (ko) 2014-08-08 2015-08-07 가상 현실 시스템 및 이를 이용한 오디션 게임 시스템
KR1020177003594A KR101926178B1 (ko) 2014-08-08 2015-08-07 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177003594A KR101926178B1 (ko) 2014-08-08 2015-08-07 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템

Country Status (3)

Country Link
US (1) US9599821B2 (ko)
KR (2) KR101686576B1 (ko)
WO (1) WO2016021997A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11154778B2 (en) * 2015-02-27 2021-10-26 Sony Interactive Entertainment Inc. Display control program, display control apparatus and display control method
US11660536B2 (en) 2015-02-27 2023-05-30 Sony Interactive Entertainment Inc. Display control program, display control apparatus and display control method
KR20240006373A (ko) 2022-07-06 2024-01-15 주식회사 와플코퍼레이션 오디션 관리 방법 및 이를 수행하는 장치

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9599821B2 (en) 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US11030806B2 (en) * 2014-11-15 2021-06-08 Vr Exit Llc Combined virtual and physical environment
US11054893B2 (en) * 2014-11-15 2021-07-06 Vr Exit Llc Team flow control in a mixed physical and virtual reality environment
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
JP6582419B2 (ja) 2015-01-27 2019-10-02 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10062208B2 (en) 2015-04-09 2018-08-28 Cinemoi North America, LLC Systems and methods to provide interactive virtual environments
US11237624B2 (en) * 2015-06-03 2022-02-01 James M. O'Neil System and method for adapting auditory biofeedback cues and gait analysis using wireless signals and digital responses
US10248188B2 (en) * 2015-06-03 2019-04-02 James M. O'Neil System and method for generating wireless signals and controlling digital responses from physical movement
US10335572B1 (en) * 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
US10885802B2 (en) 2015-08-07 2021-01-05 Gleim Conferencing, Llc System and method for validating honest test taking
JP2017062598A (ja) * 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10037085B2 (en) * 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
JP6952713B2 (ja) 2016-01-19 2021-10-20 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 反射を利用する拡張現実システムおよび方法
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
GB2548154A (en) * 2016-03-11 2017-09-13 Sony Computer Entertainment Europe Ltd Virtual reality
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
CA3021964A1 (en) * 2016-04-26 2017-11-02 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
KR101867153B1 (ko) * 2016-05-25 2018-06-12 민상규 가상 현실 겸용 핸드폰 케이스
US10254546B2 (en) 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
WO2018005673A1 (en) 2016-06-28 2018-01-04 Against Gravity Corp. Systems and methods providing temporary decoupling of user avatar synchronicity for presence enhancing experiences
EP3267288A1 (en) * 2016-07-08 2018-01-10 Thomson Licensing Method, apparatus and system for rendering haptic effects
US10636199B2 (en) 2016-07-20 2020-04-28 Google Llc Displaying and interacting with scanned environment geometry in virtual reality
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
CN106445156A (zh) * 2016-09-29 2017-02-22 宇龙计算机通信科技(深圳)有限公司 一种基于虚拟现实的智能家居控制的方法、装置以及终端
US10127728B2 (en) * 2016-09-30 2018-11-13 Sony Interactive Entertainment Inc. Facial feature views of user viewing into virtual reality scenes and integration of facial features into virtual reality views into scenes
CN106530620A (zh) * 2016-12-26 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种安全监测方法、装置、系统及虚拟现实设备
KR20180080012A (ko) * 2017-01-03 2018-07-11 주식회사 한국스포츠예술차세대플랫폼 소셜 네트워크 서비스를 이용한 실감형 음악연주 컨텐츠 생성·공유 장치 및 방법
CN108320332B (zh) * 2017-01-18 2020-02-07 腾讯科技（深圳）有限公司 虚拟角色的方位确定方法和装置
JP6654158B2 (ja) * 2017-01-23 2020-02-26 ティフォン インコーポレーテッドＴｙｆｆｏｎ Ｉｎｃ． 映像提供システム、映像提供方法及び映像提供プログラム
KR102000624B1 (ko) * 2017-01-26 2019-07-16 김종민 굴삭기 가상 현실 장치
GB2559547A (en) * 2017-02-02 2018-08-15 Sony Interactive Entertainment Europe Ltd Head-mounted apparatus and systems
KR102544062B1 (ko) * 2017-02-21 2023-06-16 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
CN110337318B (zh) * 2017-02-28 2024-06-14 奇跃公司 混合现实装置中的虚拟和真实对象记录
KR101843335B1 (ko) * 2017-03-31 2018-03-29 링크플로우 주식회사 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치
CN107045204A (zh) * 2017-04-06 2017-08-15 核桃智能科技（常州）有限公司 一种用于头戴式的智能显示器及其操控方法和佩戴方法
WO2018204980A1 (en) * 2017-05-11 2018-11-15 Yao Chang Yi Three dimensional tracking systems
CN107132657B (zh) * 2017-05-22 2023-06-30 歌尔科技有限公司 Vr一体机、手机、手机和vr一体机套装
US10242476B2 (en) * 2017-05-31 2019-03-26 Verizon Patent and Licensong Inc. Methods and systems for dynamically representing, within a virtual reality data stream being presented to a user, a proxy object that corresponds to an object in the real-world environment of the user
US10297087B2 (en) * 2017-05-31 2019-05-21 Verizon Patent And Licensing Inc. Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams
EP3413166B1 (en) * 2017-06-06 2023-06-21 Nokia Technologies Oy Rendering mediated reality content
PL3422145T3 (pl) 2017-06-28 2020-06-29 Nokia Technologies Oy Zapewnienie treści rzeczywistości wirtualnej
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
WO2019017976A1 (en) 2017-07-21 2019-01-24 Hewlett-Packard Development Company, L.P. PHYSICAL INPUT DEVICE IN VIRTUAL REALITY
KR102108962B1 (ko) * 2017-08-08 2020-05-12 한국과학기술연구원 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치 및 방법
KR102067774B1 (ko) * 2017-08-21 2020-01-17 주식회사 제이콥시스템 무빙 플레이트
CN107765953B (zh) * 2017-11-08 2023-08-22 网易（杭州）网络有限公司 信息的展示方法、装置、处理器及头戴式显示设备
CN207488953U (zh) * 2017-12-04 2018-06-12 深圳市易特科信息技术有限公司 虚拟现实场景模拟装置
US10338768B1 (en) 2017-12-10 2019-07-02 International Business Machines Corporation Graphical user interface for finding and depicting individuals
US10521961B2 (en) 2017-12-10 2019-12-31 International Business Machines Corporation Establishing a region of interest for a graphical user interface for finding and depicting individuals
US10818097B2 (en) 2017-12-12 2020-10-27 Disney Enterprises, Inc. Spatial position calculation system for objects in virtual reality or augmented reality environment
CN108014491A (zh) * 2017-12-15 2018-05-11 信利光电股份有限公司 一种vr游戏系统
KR102092464B1 (ko) 2017-12-26 2020-03-23 (주)스코넥엔터테인먼트 착용형 디스플레이 장치 및 이를 이용한 가상 현실 제어 시스템
KR101983249B1 (ko) * 2017-12-27 2019-08-28 주식회사 버넥트 대상물과의 거리에 따른 증강영상의 동적 표현기술이 적용된 증강현실 시스템
EP3736666B1 (en) * 2018-01-04 2024-06-05 Sony Group Corporation Information processing device, information processing method and program
WO2019143189A1 (en) 2018-01-18 2019-07-25 Samsung Electronics Co., Ltd. Electronic device and method of operating electronic device in virtual reality
KR102046351B1 (ko) * 2018-03-12 2019-12-02 한국기계연구원 증강현실을 이용한 착용형 로봇 제어시스템 및 이를 이용한 착용형 로봇 제어방법
CN110270091B (zh) * 2018-03-14 2023-03-10 京东方科技集团股份有限公司 虚拟现实设备、控制方法及存储介质
US11086124B2 (en) 2018-06-13 2021-08-10 Reavire, Inc. Detecting velocity state of a device
CN109200580A (zh) * 2018-07-17 2019-01-15 派视觉虚拟现实（深圳）软件技术有限公司 一种控制游戏角色远距离移动的方法、装置及设备
EP3827301A4 (en) 2018-07-23 2021-08-04 Magic Leap, Inc. MAPPING SYSTEM AND METHOD
IL260960B (en) 2018-08-02 2020-02-27 Rosolio Beery Simulation for in-flight training showing in a simulated environment
KR20200019486A (ko) * 2018-08-14 2020-02-24 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
KR102139749B1 (ko) * 2018-09-17 2020-07-31 주식회사 쓰리디팩토리 다중 사용자 가상 현실 체험 시스템
KR102032425B1 (ko) * 2018-09-18 2019-11-08 옥철식 광섬유 브래그 격자 센서 및 위치 추적 센서를 이용한 가상현실 게임시스템
CN109407834B (zh) * 2018-10-08 2021-12-03 京东方科技集团股份有限公司 电子设备、计算机设备、空间定位系统及方法
KR101972707B1 (ko) * 2018-10-08 2019-04-25 정용욱 Vr 체험부스 키트
KR102134744B1 (ko) * 2018-11-27 2020-07-16 문지원 가상현실을 통해 가상의 박람회를 제공하기 위한 장치 및 이를 위한 방법
KR102218089B1 (ko) * 2019-01-22 2021-02-19 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR102218091B1 (ko) * 2019-01-22 2021-02-19 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR102218088B1 (ko) * 2019-01-22 2021-02-19 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
WO2020203832A1 (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 境界表示制御装置、境界表示制御方法及びプログラム
US11023095B2 (en) 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
CN110727344B (zh) * 2019-09-18 2022-05-17 Oppo广东移动通信有限公司 虚拟现实系统、交互控制方法
KR20210061161A (ko) 2019-11-19 2021-05-27 (주)프론티스 가상공간에서의 교육을 위한 참관자 및 다자간 협업관리 시스템 및 동작 방법
US10705597B1 (en) 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
US11660528B2 (en) * 2020-03-12 2023-05-30 Reavire, Inc. Populating virtual objects in physical environments
CN111443812B (zh) * 2020-04-02 2023-06-09 深圳市瑞立视多媒体科技有限公司 基于vr的自由活动方法、vr装置、设备及存储介质
KR102513792B1 (ko) * 2020-06-19 2023-03-24 시크릿타운 주식회사 테마파크형 유아동용 증강현실 컨텐츠 제공 시스템
WO2022055821A1 (en) * 2020-09-11 2022-03-17 Sterling Labs Llc Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium
RU2761325C1 (ru) * 2020-09-18 2021-12-07 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Интерактивный тренажер для осуществления тренировок с помощью виртуальной реальности
KR102394156B1 (ko) * 2020-09-29 2022-05-03 김종명 물리 공간의 가상 할당을 이용한 전시 플랫폼 시스템
KR102313663B1 (ko) * 2020-12-24 2021-10-19 안형철 Vr명상시스템
CN114684176A (zh) * 2020-12-28 2022-07-01 观致汽车有限公司 控制方法、控制装置、车辆和存储介质
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
KR20220151408A (ko) * 2021-05-06 2022-11-15 안형철 Vr명상시스템
US11986739B2 (en) * 2021-07-09 2024-05-21 Gel Blaster, Inc. Smart target co-witnessing hit attribution system and method
US11813537B2 (en) * 2021-07-09 2023-11-14 Gel Blaster, Inc. Smart target co-witnessing hit attribution system and method
EP4366848A2 (en) * 2021-07-09 2024-05-15 Gel Blaster, LLC Extended-reality projectile-firing gaming system and method
US11994358B2 (en) 2021-07-09 2024-05-28 Gel Blaster, Inc. Toy projectile shooter firing mode assembly and system
US20240096033A1 (en) * 2021-10-11 2024-03-21 Meta Platforms Technologies, Llc Technology for creating, replicating and/or controlling avatars in extended reality
CN113963593B (zh) * 2021-10-28 2023-11-17 中国人民解放军战略支援部队航天工程大学 一种基于大空间虚拟现实的多兵军事训练考核系统
KR102461485B1 (ko) * 2022-05-24 2022-11-01 주식회사 야나두 메타버스 기반 4d 실감형 서비스를 제공하기 위한 시스템

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2109336C1 (ru) 1995-07-14 1998-04-20 Нурахмед Нурисламович Латыпов Способ погружения пользователя в виртуальную реальность и устройство для его реализации
US6012926A (en) 1996-03-27 2000-01-11 Emory University Virtual reality system for treating patients with anxiety disorders
US6388657B1 (en) 1997-12-31 2002-05-14 Anthony James Francis Natoli Virtual reality keyboard system and method
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US20010031662A1 (en) 2000-01-07 2001-10-18 Isaac Larian Personal electronic game
US7146084B2 (en) * 2003-06-16 2006-12-05 Cmc Electronics, Inc. Fiber optic light source for display devices
KR101101570B1 (ko) 2003-12-19 2012-01-02 티디비전 코포레이션 에스.에이. 데 씨.브이. 3차원 비디오게임 시스템
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
KR100964951B1 (ko) 2008-10-29 2010-06-21 에이알비전 (주) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
CA2662318C (en) * 2009-01-17 2014-12-02 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US20100182340A1 (en) 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
JP2010233671A (ja) * 2009-03-30 2010-10-21 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
US9182596B2 (en) * 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
WO2012007735A2 (en) * 2010-07-14 2012-01-19 University Court Of The University Of Abertay Dundee Improvements relating to viewing of real-time, computer-generated environments
WO2012026680A2 (ko) 2010-08-24 2012-03-01 Yun Sang Bum 가상현실 무도 장치 및 그 제어 방법
KR101036429B1 (ko) * 2010-08-24 2011-05-23 윤상범 가상현실 무도 수련장치 및 방법, 그 기록 매체
KR20120044461A (ko) 2010-10-28 2012-05-08 (주)브이엔에스텍 융합 현실을 이용한 가상 훈련 장치 및 방법
US10114451B2 (en) * 2011-03-22 2018-10-30 Fmr Llc Augmented reality in a virtual tour through a financial portfolio
TW201248423A (en) * 2011-05-17 2012-12-01 Ind Tech Res Inst Localization device and localization method with the assistance of augmented reality
US9274595B2 (en) * 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US10111197B2 (en) * 2011-11-02 2018-10-23 Navin Systems Ltd. Generating and using a location fingerprinting map
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US8638989B2 (en) * 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
KR101330711B1 (ko) * 2012-02-28 2013-11-19 (주)앤씨드 가상객체 정보교류 장치 및 방법과 이를 이용한 혼합형 서비스 제공 시스템
KR101333147B1 (ko) 2012-06-19 2013-11-26 에이알비전 (주) 융합 현실을 이용한 실내 집단훈련 지원시스템
EP2967322A4 (en) * 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
KR101348195B1 (ko) 2013-08-29 2014-01-07 이국진 홀로그램을 이용한 가상현실 4ｄ 영상사격 시스템
KR101393390B1 (ko) * 2013-12-03 2014-06-13 대한민국(방위사업청장) 전술훈련을 위한 충격조끼
US10613627B2 (en) * 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions
US9599821B2 (en) 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9779633B2 (en) 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11154778B2 (en) * 2015-02-27 2021-10-26 Sony Interactive Entertainment Inc. Display control program, display control apparatus and display control method
US11660536B2 (en) 2015-02-27 2023-05-30 Sony Interactive Entertainment Inc. Display control program, display control apparatus and display control method
KR20240006373A (ko) 2022-07-06 2024-01-15 주식회사 와플코퍼레이션 오디션 관리 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
KR20170033340A (ko) 2017-03-24
US9599821B2 (en) 2017-03-21
KR20160018436A (ko) 2016-02-17
WO2016021997A1 (ko) 2016-02-11
US20160041391A1 (en) 2016-02-11
KR101926178B1 (ko) 2018-12-06

Similar Documents

Publication Publication Date Title
KR101686576B1 (ko) 가상 현실 시스템 및 이를 이용한 오디션 게임 시스템
US9779633B2 (en) Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
JP6809830B2 (ja) プログラム及び電子機器
JP6955861B2 (ja) イベント制御システム及びプログラム
US10380798B2 (en) Projectile object rendering for a virtual reality spectator
US20190327392A1 (en) Spectator view into an interactive gaming world showcased in a live event held in a real-world venue
US20190073830A1 (en) Program for providing virtual space by head mount display, method and information processing apparatus for executing the program
CN102129343B (zh) 运动捕捉系统中的受指导的表演
JP7445798B2 (ja) ゲームシステム、ゲーム提供方法及びプログラム
JP6697846B2 (ja) ゲームシステム、サーバシステムおよびプログラム
US20150030305A1 (en) Apparatus and method for processing stage performance using digital characters
JP2015231443A (ja) プログラム及びゲームシステム
JP7369674B2 (ja) プログラム、方法、および視聴端末
JP2020157095A (ja) ゲームプログラム、ゲーム方法、および情報端末装置
JP7305599B2 (ja) プログラム
JP6785325B2 (ja) ゲームプログラム、方法、および情報処理装置
JP2021053179A (ja) プログラム、方法、および視聴端末
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
JP2020156739A (ja) ゲームプログラム、ゲーム方法、および情報端末装置
JP6722316B1 (ja) 配信プログラム、配信方法、コンピュータ、および視聴端末
JP7437480B2 (ja) プログラム、方法、およびコンピュータ
JP7051993B2 (ja) プログラム及び電子機器
JP2018140176A (ja) プログラム及びゲームシステム
JP7155227B2 (ja) プログラム、電子機器及び制御方法
JP2020166726A (ja) 視聴プログラム、視聴方法、および視聴端末

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant