KR20150014988A - 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐 - Google Patents

생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐 Download PDF

Info

Publication number
KR20150014988A
KR20150014988A KR1020147035903A KR20147035903A KR20150014988A KR 20150014988 A KR20150014988 A KR 20150014988A KR 1020147035903 A KR1020147035903 A KR 1020147035903A KR 20147035903 A KR20147035903 A KR 20147035903A KR 20150014988 A KR20150014988 A KR 20150014988A
Authority
KR
South Korea
Prior art keywords
motion capture
camera
actor
motion
orientation
Prior art date
Application number
KR1020147035903A
Other languages
English (en)
Inventor
마이클 뭄바우어
데이비드 무런트
Original Assignee
소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨
Publication of KR20150014988A publication Critical patent/KR20150014988A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Cardiology (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시각적 엔터테인먼트 프로그램의 가상 환경을 위한 장면을 생성하는 방법은, 생성된 장면 내에서 연기하는 배우의 시야와 움직임을 캡쳐하는 단계를 포함하며, 공간의 물리적 볼륨 내에서 상기 배우에 의해 착용된 헤드셋 카메라와 다수의 움직임 캡쳐 마커의 움직임을 추적하는 단계와; 상기 헤드셋 카메라의 움직임을 상기 가상 환경 내에서 동작하는 가상 캐릭터의 머리의 움직임으로 변환하는 단계와; 상기 다수의 움직임 캡쳐 마커의 움직임을 상기 가상 캐릭터의 신체의 움직임으로 변환하는 단계와; 상기 가상 캐릭터의 머리와 신체의 움직임을 사용하여 1인칭 시점의 샷을 생성하는 단계와; 상기 생성된 1인칭 시점의 샷을 상기 배우에 의해 착용된 헤드셋 카메라에 제공하는 단계를 포함한다.

Description

생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐{CAPTURING VIEWS AND MOVEMENTS OF ACTORS PERFORMING WITHIN GENERATED SCENES}
본 발명은 움직임 화상 및 비디오 게임에 관한 것이며, 보다 상세하게는 이러한 움직임 화상과 비디오 게임을 위해 생성된 장면 내에서 동작하는 가상 카메라의 연기(performance)를 시뮬레이션하는 것에 관한 것이다.
움직임 캡쳐 시스템은 실 물체의 움직임을 캡쳐하고 이를 컴퓨터로 생성된 대상 위에 맵핑하는데 사용된다. 이 시스템은 컴퓨터 그래픽(CG) 애니메이션을 생성하기 위한 소스 데이터로서 사용되는 디지털 표현을 생성하기 위한 움직임 화상과 비디오 게임의 제작에 종종 사용된다. 일반적인 움직임 캡쳐 시스템을 사용하는 세션에서, 배우(actor)는 여러 위치에 부착된 마커(marker)(예를 들어, 신체와 팔다리에 부착된 작은 반사 마커를 구비하는)를 가지는 슈트(suit)를 입고 디지털 카메라는 배우의 움직임을 레코드한다. 이 시스템은 각 프레임에서 배우의 슈트에 있는 마커의 위치(예를 들어, 공간 좌표로서)와 배향을 결정하기 위해 이미지를 분석한다. 마커의 위치를 추적하는 것에 의해 시스템은 시간에 따라 마커의 공간적 표현을 생성하고 움직이는 배우의 디지털 표현을 형성한다. 이 움직임은 디지털 모델에 적용되고, 이는 배우 및/또는 연기의 완전한 CG 표현을 생성하기 위해 텍스처되고 렌더링될 수 있다. 이 기술은 많은 대중적인 영화와 게임에서 현장감 있는 애니메이션을 제작하기 위해 특수 효과 회사에 의해 사용되어 왔다.
본 발명은 시각적 엔터테인먼트 프로그램의 가상 환경을 위한 장면(scene)을 생성하는 것을 제공한다. 일 구현예에서, 생성된 장면 내에서 연기하는 배우의 시야(view)와 움직임을 캡쳐하는 방법이 개시된다. 본 방법은, 공간의 물리적 볼륨 내에서 상기 배우에 의해 착용된 헤드셋 카메라와 복수의 움직임 캡쳐 마커의 움직임을 추적하는 단계와; 상기 헤드셋 카메라의 움직임을 상기 가상 환경 내에서 동작하는 가상 캐릭터의 머리의 움직임으로 변환하는 단계와; 상기 복수의 움직임 캡쳐 마커의 움직임을 상기 가상 캐릭터의 신체의 움직임으로 변환하는 단계와; 상기 가상 캐릭터의 머리와 신체의 움직임을 사용하여 1인칭 시점(point-of-view)을 생성하는 단계와; 상기 생성된 1인칭 시점의 샷을 상기 배우에 의해 착용된 상기 헤드셋 카메라에 제공하는 단계를 포함한다.
다른 구현예에서, 생성된 장면 내에서 연기하는 배우의 시야와 움직임을 캡쳐하는 방법이 개시된다. 본 방법은, 공간의 물리적 볼륨 내에서 상기 배우의 머리에 착용된 대상(object)의 위치와 배향을 추적하는 단계와; 공간의 물리적 볼륨 내에서 상기 배우의 신체에 착용된 움직임 캡쳐 마커의 위치를 추적하는 단계와; 상기 대상의 위치와 배향을 가상 환경 내에서 동작하는 가상 캐릭터의 머리의 움직임으로 변환하는 단계와; 상기 복수의 움직임 캡쳐 마커의 위치를 상기 가상 캐릭터의 신체의 움직임으로 변환하는 단계와; 상기 가상 캐릭터의 머리와 신체의 움직임을 사용하여 1인칭 시점의 샷을 생성하는 단계를 포함한다.
다른 구현예에서, 시각적 엔터테인먼트 프로그램의 가상 환경을 위한 장면을 생성하는 시스템이 개시된다. 본 시스템은, 공간의 물리적 볼륨 내에서 연기하는 배우에 의해 착용된 헤드셋 카메라 대상과 복수의 움직임 캡쳐 마커의 위치를 추적하도록 구성된 복수의 위치 추적기와; 상기 헤드셋 카메라 대상의 배향을 추적하도록 구성된 배향 추적기와; 저장 매체를 포함하는 프로세서를 포함하며, 상기 저장 매체는, 상기 프로세서로 하여금, 가상 환경을 포함하는 비디오 파일을 수신하게 하고; 상기 복수의 위치 추적기로부터 상기 헤드셋 카메라 대상과 상기 복수의 움직임 캡쳐 마커의 위치에 관한 추적 정보를 수신하게 하고; 상기 배향 추적기로부터 상기 헤드셋 카메라 대상의 배향에 관한 추적 정보를 수신하게 하고; 상기 헤드셋 카메라 대상의 위치와 배향을 상기 가상 환경 내에서 동작하는 가상 캐릭터의 머리의 움직임으로 변환하게 하고; 상기 복수의 움직임 캡쳐 마커의 위치를 상기 가상 캐릭터의 신체의 움직임으로 변환하게 하고; 상기 가상 캐릭터의 머리와 신체의 움직임을 사용하여 1인칭 시점의 샷을 생성하게 하고; 상기 생성된 1인칭 시점의 샷을 상기 배우에 의해 착용된 상기 헤드셋 카메라 대상에 제공하게 하는 실행가능한 명령을 포함하는 컴퓨터 프로그램을 저장한다.
다른 구현예에서, 시각적 엔터테인먼트 프로그램의 가상 환경을 위한 장면을 생성하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 저장 매체가 개시된다. 상기 컴퓨터 프로그램은, 컴퓨터로 하여금, 가상 환경을 포함하는 비디오 파일을 수신하게 하고; 상기 복수의 위치 추적기로부터 상기 헤드셋 카메라 대상과 상기 복수의 움직임 캡쳐 마커의 위치에 관한 추적 정보를 수신하게 하고; 상기 배향 추적기로부터 상기 헤드셋 카메라 대상의 배향에 관한 추적 정보를 수신하게 하고; 상기 헤드셋 카메라 대상의 위치와 배향을 상기 가상 환경 내에서 동작하는 가상 캐릭터의 머리의 움직임으로 변환하게 하고; 상기 복수의 움직임 캡쳐 마커의 위치를 상기 가상 캐릭터의 신체의 움직임으로 변환하게 하고; 상기 가상 캐릭터의 머리와 신체의 움직임을 사용하여 1인칭 시점의 샷을 생성하게 하고; 상기 생성된 1인칭 시점의 샷을 상기 배우에 의해 착용된 상기 헤드셋 카메라 대상에 제공하게 하는 실행가능한 명령을 포함한다.
본 발명의 다른 특징과 잇점은 이하 상세한 설명과 첨부 도면을 참조한 후에 이 기술 분야에 통상의 지식을 가진 자에게는 보다 용이하게 명백해질 것이다.
도 1은 완성의 중간 단계에서 가상 캐릭터를 도시하는 하나의 예시적인 장면(scene)을 도시하는 도면.
도 2는 도 1에 도시된 중간 단계에 있는 가상 캐릭터에 실제 같은 특징을 추가하는 하나의 예시적인 장면을 도시하는 도면.
도 3은 1인칭 시점의 샷(first person point-of-view shot)을 보여주는 하나의 예시적인 장면을 도시하는 도면.
도 4는 움직임 캡쳐 세션의 여러 다른 구성의 일례를 도시하는 도면.
도 5는 움직임 화상 및/또는 비디오 게임을 위해 생성된 장면 내에서 동작하는 배우에 의해 착용하는 헤드셋 카메라와 마커를 추적하기 위한 공간의 물리적 볼륨을 도시하는 도면.
도 6은 슈트에 부착된 다수의 움직임 캡쳐 마커를 구비하는 바디 슈트와 헤드셋 카메라를 착용한 배우의 일례를 도시하는 도면.
도 7은 움직임 캡쳐 세션을 수행하기 위한 공간의 물리적 볼륨의 일례의 구성을 도시하는 도면.
도 8은 배구의 머리의 움직임을 캡쳐하기 위해 하드웨어와 소프트웨어의 조합을 사용하는 헤드셋 카메라의 일례를 도시하는 도면.
도 9는 움직임 화상, 비디오 게임 및/또는 시뮬레이션을 위해 생성된 장면 내에서 연기하는 배우의 시야와 움직임을 캡쳐하는 방법을 예시하는 흐름도.
여기에 개시된 특정 구현예들은 움직임 화상, 비디오 게임, 시뮬레이션 및/또는 다른 시각적 엔터테인먼트 프로그램을 위해 생성된 장면 내에서 연기하는 배우의 시야와 움직임을 캡쳐하는 것을 제공한다. 일부 구현예에서, 생성된 장면 내에서 연기하는 하나를 초과하는 배우의 시야와 움직임이 캡쳐된다. 다른 구현예들은 생성된 장면 내에서 동작하는 헤드셋 카메라의 연기를 시뮬레이팅하는 것을 제공한다. 생성된 장면은 이 장면 내에서 연기하는 배우를 지원하기 위해 배우에 제공된다. 일부 구현예에서, 배우는 연기자, 게임 플레이어, 비디오 게임 및/또는 움직임 화상, 비디오 게임 및/또는 다른 시뮬레이션을 생성하는 시스템의 유저를 포함한다.
일 구현예에서, 생성된 장면은 배우에 가상 환경의 느낌을 제공하기 위해 배우에 의해 착용된 헤드셋 카메라에 제공된다. 헤드셋 카메라를 착용하는 배우는 움직임 캡쳐 볼륨에서 물리적으로 이동하며, 여기서 헤드셋의 물리적 움직임이 추적되고 가상 환경 내 배우의 시계(field of view)로 변환된다.
일부 구현예에서, 배우의 이 시계는 촬영 카메라의 시점의 샷으로 표현된다. 다른 구현예에서, 헤드셋을 착용하는 배우는 또한 움직임 캡쳐 마커의 세트를 가지는 바디 슈트를 착용하고 있을 수 있다. 움직임 캡쳐 마커의 물리적 움직임은 추적되고 가상 환경 내에서 배우의 움직임으로 변환된다. 배우와 헤드셋의 캡쳐된 움직임은 생성된 장면에 병합되어 가상 환경 내에서 동작하는 배우의 일련의 1인칭 시점의 샷을 생성한다. 헤드셋 카메라로 피드백된 1인칭 시점의 샷은 배우로 하여금 가상 환경 내에서 동작하는 캐릭터의 발과 손을 볼 수 있게 한다. 전술된 단계는 종종 1인칭 시점을 스토리 텔링(story telling)과 몰입형 게임 플레이(immersive game play)를 결합하는 방식으로 요구하는 게임에서 특히 유용하다.
일 구현예에서, 가상 캐릭터가 동작하는 가상 환경은 비디오 게임을 위해 생성된 가상 환경을 포함한다. 다른 구현예에서, 가상 캐릭터가 동작하는 가상 환경은 가상 장면이 라이브 액션 장면과 통합되는 움직임 화상을 위해 생성된 하이브리드 환경을 포함한다.
헤드셋 카메라는 물리적 카메라가 아니라 가상 환경에서 가상 카메라를 나타내는 물리적인 대상이라는 것이 주지되어야 한다. 물리적인 대상의 움직임(배향의 변화)은 가상 환경 내에서 동작하는 가상 캐릭터의 카메라 각도의 시점과 이 움직임을 상관시키기 위하여 추적된다.
전술된 구현예에서, 1인칭 시점의 샷은, 배우에 의해 착용된 헤드셋의 위치와 배향을 추적하는 단계와, 상기 위치와 배향을 가상 환경 내에서 배우의 시계로 변환하는 단계에 의해 캡쳐된다. 나아가, 배우에 의해 착용된 바디 슈트에 배치된 마커는 가상 환경에서 동작하는 배우의 움직임을 생성하기 위해 추적된다.
본 설명을 읽은 후에는 본 발명을 여러 구현예와 응용분야에서 구현하는 방법을 보다 명확히 알 수 있을 것이다. 그러나, 본 발명의 여러 구현예들이 본 명세서에 설명되어 있다 하더라도, 이들 구현예는 단지 예시로써 제시된 것일 뿐 발명을 제한하려는 것이 아니라는 것을 이해하여야 할 것이다. 그리하여, 여러 구현예의 이러한 상세한 설명은 본 발명의 범위를 제한하는 것으로 해석되어서는 아니된다.
보다 현장감 있고 실제 같은 애니메이션(종종 3D 애니메이션)을 제공하는 기술의 도래로 인해, 비디오 게임은 단순한 게임이라기 보다는 보다 대화식의 엔터테인먼트로 되고 있다. 나아가, 이 대화식 기능은 움직임 화상이나 여러 유형의 시뮬레이션과 같은 다른 엔터테인먼트 프로그램에 병합될 수 있다. 움직임 캡쳐 세션은 일련의 움직임 캡쳐 카메라를 사용하여 배우의 신체에 있는 마커를 캡쳐하고, 캡쳐된 마커를 컴퓨터로 변환하고, 이를 스켈레톤(skeleton)에 적용하여 그래픽 캐릭터를 생성하고, 실제 같은 특징을 그래픽 캐릭터에 추가한다. 예를 들어, 도 1 및 도 2는 움직임 캡쳐 세션을 사용하여 그래픽 캐릭터(도 1 참조) 위에 추가된 실제 같은 특징(도 2 참조)을 도시한다. 나아가, 비디오 게임을 위해 생성된 장면 내에서 연기하는 배우(예를 들어, 도 3에 도시된)의 1인칭 시점의 샷을 시뮬레이팅하는 것은 비디오 게임의 플레이어로 하여금 스토리에 수반되어 유지하는 것에 의해 게임 환경에 몰입되게 한다.
3D 환경으로 생성된 장면은 처음에는 필름 카메라 및/또는 움직임 캡쳐 카메라로 캡쳐되고, 처리되어, 물리적 비디오 카메라로 전달된다. 도 4는 움직임 캡쳐 세션의 여러 다른 구성의 일례를 도시한다. 대안적인 구현예에서, 장면은 (예를 들어, 키프레임 애니메이션을 사용하여) 컴퓨터 그래픽에 의해 생성된다.
일 구현예에서, 배우의 1인칭 시점의 샷은, 슈트에 부착된 다수의 움직임 캡쳐 마커(510)를 구비하는 바디 슈트와 헤드셋 카메라(502)를 착용하고 도 5에 도시된 바와 같은 공간(500)의 물리적 볼륨 내에서 연기하는 배우를 통해 생성된다. 도 6은 슈트에 부착된 다수의 움직임 캡쳐 마커를 구비하는 바디 슈트와 헤드셋 카메라를 착용하는 배우의 일례를 도시한다. 도 7은 움직임 캡쳐 세션을 수행하기 위한 공간의 물리적 볼륨의 하나의 예시적인 구성을 도시한다.
도 5의 예시된 구현예에서, 배우(520)에 의해 착용된 헤드셋 카메라(502)의 위치와 배향은 공간(500)의 물리적 볼륨 내에서 추적된다. 배우(520)의 1인칭 시점의 샷은 이후 헤드셋 카메라(502)의 움직임을 움직임 화상과 비디오 게임("3D 가상 환경")을 위해 생성된 장면 내에서 동작하는 사람의 머리의 움직임으로 변환하는 것에 의해 생성된다. 나아가, 배우(520)의 신체의 움직임이 배우에 의해 착용된 바디 슈트에 배치된 움직임 캡쳐 마커(510)를 추적하는 것에 의해 생성된다. 배우(520)의 1인칭 시점의 샷과 신체의 움직임으로부터 생성된 장면은 이후 배우에 의해 착용된 헤드셋 카메라(502)에 피드백되어 배우가 장면 내에서 연기하는 것을 지원한다(예를 들어, 가상 환경 내에서 동작하는 캐릭터의 손과 발이 시각화된다). 따라서, 이 피드백은 배우(520)로 하여금 가상 환경 내에서 캐릭터가 보는 것을 보게 하고 이러한 환경에서 가상으로 걸어가게 할 수 있다. 배우(520)는 가상 환경 내에 있는 캐릭터와 대상을 보고 이와 상호작용할 수 있다. 도 8은 배우의 머리의 움직임을 캡쳐하기 위해 하드웨어와 소프트웨어의 조합을 사용하는 헤드셋 카메라의 일례를 도시한다.
다시 도 5를 참조하면, 헤드셋 카메라(502)의 위치는 천장에 부착된 위치 추적기(540)를 사용하여 추적된다. 추적기(540)를 위한 지지부는 그리드 패턴(530)으로 배치된다. 추적기(540)는 또한 헤드셋 카메라(502)의 배향을 감지하는데 사용될 수 있다. 그러나, 일반적인 구성에서, 카메라(502)에 부착된 가속도계나 자이로스코프는 카메라(502)의 배향을 감지하는데 사용된다.
가상 환경을 위한 장면이 일단 생성되면, 헤드셋 카메라(502)의 추적된 움직임은 가상 환경 내에서 동작하는 캐릭터의 머리의 움직임으로 변환되고, 1인칭 시점(즉, 가상 캐릭터의 시점)의 샷이 계산되고 생성된다. 이들 1인칭 시점의 샷은 저장, 출력 및/또는 다른 목적, 예를 들어, 배우(520)가 가상 환경의 장면 내에서 연기하는 것을 지원하기 위해 헤드셋 카메라(502)에 피드백하기 위한 것과 같은 다른 목적을 위해 컴퓨터에 제공된다. 따라서, 1인칭 시점의 샷을 '생성하는' 방법은, 헤드셋 카메라(502)의 움직임(즉, 위치와 배향)과 공간(500)의 물리적 볼륨 내에서 배우(520)의 마커(510)의 움직임을 추적하는 단계와; 헤드셋 카메라(502)의 움직임을 배우(520)에 대응하는 가상 캐릭터의 머리의 움직임으로 변환하는 단계(즉, 가상 캐릭터는 배우에 대한 아바타로 사용된다)와; 마커(510)의 움직임을 가상 캐릭터의 신체 움직임으로 변환하는 단계와; 가상 캐릭터의 머리와 신체의 움직임을 사용하여 1인칭 시점의 샷을 생성하는 단계와; 생성된 1인칭 시점의 샷을 피드백하고 이를 헤드셋 카메라(502)에 디스플레이하는 단계를 포함한다. 생성된 샷은 피드백되고 유선이나 무선으로 헤드셋 카메라(502)의 디스플레이 위에 디스플레이될 수 있다.
요컨대, 움직임 화상, 비디오 게임 및/또는 시뮬레이션을 위해 생성된 가상 장면 내에서 연기하는 배우의 시야와 움직임을 캡쳐하는 시스템이 개시된다. 이 시스템은 위치 추적기, 배향 추적기, 프로세서, 저장 유닛 및 디스플레이를 포함한다. 위치 추적기는 헤드셋 카메라의 위치와 움직임 캡쳐 마커 세트를 추적하도록 구성된다. 배향 추적기는 헤드셋 카메라의 배향을 추적하도록 구성된다. 프로세서는 실행가능한 명령을 포함하는 컴퓨터 프로그램을 저장하는 저장 매체를 포함한다. 실행가능한 명령은 프로세서로 하여금, 다음 단계, 즉 헤드셋 카메라의 움직임을 움직임 화상이나 비디오 게임을 위해 생성된 장면 내에서 동작하는 가상 캐릭터의 머리의 움직임으로 변환하는 단계로서, 상기 가상 캐릭터의 시계는 물리적 헤드셋 카메라의 추적된 위치와 배향에 대응하여 생성되는, 헤드셋 카메라의 움직임을 가상 캐릭터의 머리의 움직임으로 변환하는 단계와; 움직임 캡쳐 마커의 움직임을 가상 캐릭터의 신체의 움직임으로 변환하는 단계와; 가상 캐릭터의 머리와 신체의 움직임을 사용하여 1인칭 시점의 샷을 생성하는 단계와; 생성된 1인칭 시점의 샷을 피드백하고 이를 헤드셋 카메라에 디스플레이하는 단계를 수행하게 한다.
전술된 바와 같이, 움직임 캡쳐 볼륨 내에서 연기하는 배우의 캡쳐된 1인칭 시점의 샷과 움직임은 생성된 가상 장면 내에서 동작하는 가상 캐릭터로 하여금 전방으로 이동하게 하고 멀어지게 하고 움직임 캡쳐된(또는 키프레임 애니메이팅된) 캐릭터나 대상 주위에서 이동하게 하여 가상 3D 환경의 현실감 있는 1인칭 시점을 생성하게 한다. 예를 들어, 도 5는 헤드셋 카메라(502)를 착용하고 공간(500)의 물리적 볼륨 내에서 연기하는 배우(520)를 도시한다. 카메라(502)는 천장 위에 있는 추적기(540)에 의해 추적된 위치와 카메라(502)에 부착된 센서에 의해 추적된 배향에 있으므로, 이들 추적된 정보는 프로세서로 전달되고, 프로세서는 가상 3D 환경 내에서 동작하는 가상 카메라의 시점과 움직임을 나타내는 비디오를 되송신한다. 이 비디오는 저장 유닛에 저장되고 헤드셋 카메라(502)에 디스플레이된다.
(배우의 시야와 움직임을 캡쳐하는) 헤드셋 카메라의 시뮬레이션이 전술된 본 발명의 여러 구현예를 통해 이용가능하게 이루어지기 전에, (생성된 장면을 제작하는) 움직임 캡쳐 세션이 카메라가 어디에 위치하게 되는지를 결정하는 것과 움직임 캡쳐 배우(또는 애니메이팅된 캐릭터)가 적절히 이동하는 방향을 지정하는 것을 수반한다. 그러나, 전술된 기술의 이용가능성에 따라, 배우의 움직임 뿐만 아니라 카메라의 위치와 각도는 움직임 캡쳐 세션(또는 애니메이션 키프레임 세션)이 완료된 후에 결정될 수 있다. 나아가, 헤드셋 카메라 시뮬레이션 세션이 실시간으로 수행될 수 있으므로, 다수의 헤드셋 카메라 시뮬레이션 세션은 최상의 카메라 움직임과 각도를 제공하는 특정 테이크(take)를 선택하기 전에 수행되고 레코드될 수 있다. 이 세션은 각 세션이 카메라의 움직임과 각도에 대하여 평가되고 비교될 수 있도록 레코드된다. 일부 경우에, 다수의 헤드셋 카메라 시뮬레이션 세션은 최상의 조합을 선택하기 위해 여러 다른 움직임 캡쳐 세션들 각각에 대해 수행될 수 있다.
도 9는 일 구현예에 따라 움직임 화상, 비디오 게임, 시뮬레이션 및/또는 다른 시각적 엔터테인먼트 프로그램을 위해 생성된 장면 내에서 연기하는 배우의 시야와 움직임을 캡쳐하는 방법을 예시하는 흐름도(900)를 도시한다. 도 9의 예시적인 구현예에서, 장면은 박스(910)에서 생성된다. 장면은 필름 카메라 또는 움직임 캡쳐 카메라로 이들을 캡쳐하는 것에 의해 생성되고, 처리되어 헤드셋 카메라(502)로 전달된다. 일 구현예에서, 생성된 장면은 가상 환경을 포함하는 비디오 파일로 전달된다.
박스(920)에서, 헤드셋 카메라와 마커의 움직임(즉, 위치와 배향)이 공간의 물리적 볼륨 내에서 추적된다. 전술된 바와 같이, 하나의 예시적인 구현예에서, 카메라(502)의 위치가 천장에 부착된 그리드 패턴(530)으로 배치된 위치 추적기(540)를 사용하여 추적된다. 헤드셋 카메라(502)에 부착된 추적기(540) 또는 가속도계/자이로스코프가 배향을 감지하는데 사용될 수 있다. 물리적 카메라(502)는 그 위치와 배향이 가상 환경 내에서 동작하는 가상 캐릭터의 머리의 움직임(즉, 시계)으로 적절히 변환될 수 있도록 위치와 배향이 추적된다
그리하여, 시각적 엔터테인먼트 프로그램을 위한 장면을 생성하는 것은 생성된 장면 내에서 연기하는 배우의 시야와 움직임을 캡쳐하는 움직임 캡쳐 세션을 수행하는 것을 포함한다. 일 구현예에서, 다수의 움직임 캡쳐 세션은 최상의 카메라 움직임과 각도를 제공하는 테이크를 선택하도록 수행된다. 다른 구현예에서, 다수의 움직임 캡쳐 세션은 각 세션이 평가되고 비교될 수 있도록 레코드된다.
헤드셋 카메라(502)의 움직임은 배우(520)에 대응하는 가상 캐릭터의 머리의 움직임으로 변환되고(박스 930), 마커(510)의 움직임은 (얼굴의 움직임을 포함하여) 가상 캐릭터의 신체 움직임으로 변환된다(박스 940). 따라서, 1인칭 시점의 샷을 생성하기 위해 헤드셋 카메라의 움직임을 가상 캐릭터의 머리의 움직임으로 변환하는 것은 헤드셋 카메라의 움직임을 가상 환경 내에서 동작하는 가상 캐릭터의 시계의 변화로 변환하는 것을 포함한다. 1인칭 시점의 샷은 박스(950)에서 가상 캐릭터의 머리와 신체의 움직임을 사용하여 생성된다. 생성된 1인칭 시점의 샷은 박스(960)에서 피드백되고 헤드셋 카메라(502)에 디스플레이된다.
다른 구현예에서, 공간의 물리적 볼륨 내에서 전체 카메라를 추적하는 구성은 플레이어가 게임 내에서 동작하는 가상 캐릭터의 일부를 플레이하는 게임이다. 이 구성은, 게임을 조정하는 프로세서와; 천장에 장착될 수 있는 위치 추적기와; 플레이어에 의해 착용된 헤드셋 카메라에 연결된 방향 추적기(예를 들어, 가속도계, 자이로스코프 등)와; 플레이어에 의해 연기된 액션의 1인칭 시점의 샷을 레코드하기 위해 프로세서에 연결된 레코드 디바이스를 포함한다. 하나의 구성에서, 프로세서는 Sony Playstation(등록상표)과 같은 게임 콘솔이다.
개시된 구현예의 상세한 설명은 이 기술 분야에 통상의 지식을 가진 자가 본 발명을 제조하거나 사용할 수 있게 하기 위해 제공된다. 이들 구현예에 대해 다수의 변형이 이 기술 분야에 통상의 지식을 가진 자에게는 용이하게 이루어질 수 있으므로 여기에 한정된 원리는 본 발명의 사상이나 범위를 벗어남이 없이 다른 구현예에도 적용될 수 있다. 예를 들어, 본 명세서가 움직임 화상과 비디오 게임을 위해 생성된 장면 내에서 연기하는 배우에 의해 착용된 헤드셋 카메라의 시야와 움직임을 캡쳐하는 것을 기술하고 있으나, 배우에 의해 착용된 카메라의 시야와 움직임은 콘서트, 파티, 쇼 및 집 보여주기(property viewing)와 같은 다른 응용에서 동작할 수 있다. 다른 예에서, 하나를 초과하는 헤드셋 카메라가 카메라(예를 들어, 각 플레이어가 서로 다른 움직임과 시야각을 가지고 있는 2명의 플레이어들 사이에 전투 장면을 시뮬레이션하기 위해 추적하는 2개의 카메라)를 착용하는 배우들 사이의 상호작용을 시뮬레이팅하기 위해 추적될 수 있다. 따라서, 본 발명은 본 명세서에 도시된 구현예로 제한하려고 의도된 것이 아니라 본 명세서에 개시된 원리와 신규한 특징과 일치하는 최광의 범위를 제공하려고 의도된 것이다.
본 발명의 여러 구현예는 전자 하드웨어, 컴퓨터 소프트웨어 또는 이들 기술의 조합으로 실현된다. 일부 구현예는 하나 이상의 컴퓨팅 디바이스에 의해 실행되는 하나 이상의 컴퓨터 프로그램을 포함한다. 일반적으로, 컴퓨팅 디바이스는 하나 이상의 프로세서, 하나 이상의 데이터 저장 성분(예를 들어, 휘발성 또는 비휘발성 메모리 모듈과, 하드 디스크 드라이브 및 플로피 디스크 드라이브, CD-ROM 드라이브, 및 자기 테이프 드라이브와 같은 영구적인 광학 및 자기 저장 디바이스), 하나 이상의 입력 디바이스(예를 들어, 게임 컨트롤러, 마우스 및 키보드), 및 하나 이상의 출력 디바이스(예를 들어, 디스플레이 디바이스)를 포함한다.
컴퓨터 프로그램은 영구적인 저장 매체에 통상적으로 저장된 후에 실행시에 메모리에 복제되는 실행가능한 코드를 포함한다. 적어도 하나의 프로세서는 규정된 순서로 메모리로부터 프로그램 명령을 검색하는 것에 의해 코드를 실행한다. 프로그램 코드를 실행할 때, 컴퓨터는 입력 및/또는 저장 디바이스로부터 데이터를 수신하고, 데이터에 대한 동작을 수행하며, 이후 최종 데이터를 출력 및/또는 저장 디바이스로 전달한다.
이 기술 분야에 통상의 지식을 가진 자라면 본 명세서에 기술된 여러 예시적인 모듈과 방법 단계들이 전자 하드웨어, 소프트웨어, 펌웨어 또는 전술된 것의 조합으로 구현될 수 있다는 것을 이해할 수 있을 것이다. 하드웨어와 소프트웨어의 상호 교체 가능성을 명확히 예시하기 위해 여러 예시적인 모듈과 방법 단계들은 본 명세서에서 일반적으로 그 기능적인 면에서 기술된 것이다. 이러한 기능이 하드웨드로 구현되는지 또는 소프트웨어로 구현되는지는 전체 시스템에 부과된 특정 애플리케이션과 디자인 제한사항에 따른다. 통상의 지식을 가진 자라면 각 특정 애플리케이션에 대해 여러 방식으로 기술된 기능을 구현할 수 있으나, 이러한 구현 결정은 본 발명의 범위를 벗어나는 것으로 해석되어서는 아니된다. 나아가, 모듈이나 단계 내에서 기능을 그룹화한 것은 설명의 편의를 위한 것이다. 특정 기능이 본 발명을 벗어남이 없이 하나의 모듈이나 단계로부터 다른 모듈이나 단계로 이동될 수 있다.
추가적으로, 본 명세서에 기술된 구현예와 관련하여 기술된 방법 단계나 기술은 하드웨어에 직접 구현되거나 프로세서에 의해 실행되는 소프트웨어 모듈에 구현되거나 2개의 조합으로 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래쉬 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 제거가능한 디스크, CD-ROM 또는 네트워크 저장 매체를 구비하는 저장 매체의 임의의 다른 형태로 존재할 수 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독하거나 이 저장 매체에 정보를 기록할 수 있도록 프로세서에 연결될 수 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수 있다. 프로세서와 저장 매체는 또한 ASIC 내에 존재할 수 있다.

Claims (24)

  1. 제1 움직임 캡쳐 세션이 시각적 엔터테인먼트 프로그램(visual entertainment program)의 가상의 환경을 위한 장면을 생성하는, 공간의 물리적 볼륨 내에서 적어도 한 명의 배우에 의해 착용된 다수의 움직임 캡쳐 마커를 기록하기 위한 상기 제1 움직임 캡쳐 세션을 수행하는 단계와;
    카메라 본체는 배우에 의해 착용된 카메라와 같은 대상(object)이며, 상기 카메라와 같은 대상은 장면 내에서 연기하는 배우의 움직임과 시야를 캡쳐링 및 렌더링 할 수 있게 하는 것을 특징으로 하는, 트랙(track)으로 제2 움직임 캡쳐 세션을 수행하며 상기 카메라 본체의 움직임을 기록하는 단계; 및
    상기 제2 움직임 캡쳐 세션 내에서 연기하는 배우가 상기 제1 움직임 캡쳐 세션 내에 생성된 장면을 보며 상기 제1 움직임 캡쳐 시스템과 제2 움직임 캡쳐 시스템 내에서 대상 및 배우와 상호작용 하는 것을 특징으로 하는, 가상의 움직임과 적어도 하나의 움직이는 화상 내에 있는 배우의 시야와 비디오 게임으로 상기 제2 움직임 캡쳐 세션 내의 장면 내에서 연기하는 배우의 움직임과 시야를 렌더링하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 카메라와 같은 대상의 움직임은 상기 카메라와 같은 대상의 위치와 배향을 계산함으로써 추적되는 것을 특징으로 하는 방법.
  3. 제2항에 있어서, 상기 카메라와 같은 대상의 위치는 공간의 물리적 볼륨 내에 위치한 위치 추적기(position tracker)를 사용함으로써 기록되는 것을 특징으로 하는 방법.
  4. 제2항에 있어서, 상기 카메라와 같은 대상의 배향은 상기 카메라와 같은 대상에 부착된 적어도 하나의 가속도계(accelerometers)와 자이로스코프(gyroscopes)를 사용함으로써 추적되는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 배우의 움직임과 시야를 렌더링하는 단계는 상기 카메라와 같은 대상의 움직임과 시야를 상기 가상의 환경 내에서 작동하는 가상 캐릭터의 시계(field of view)로 렌더링하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 제1 움직임 캡쳐 세션과 제2 움직임 캡쳐 세션의 동작은 최상의 카메라의 움직임과 각도를 제공하는 테이크(take)를 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서, 상기 제1 움직임 캡쳐 세션과 제2 움직임 캡쳐 세션은 각 세션이 평가되고 비교될 수 있도록 기록되는 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 배우의 움직임과 시야를 렌더링하는 단계는 상기 카메라와 같은 대상에 1인칭 시점의 샷(first person point-of-view shots)을 생성하는 단계와 상기 1인칭 시점의 샷을 상기 카메라와 같은 대상의 디스플레이로 피드백 하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서, 상기 생성된 1인칭 시점의 샷을 차후 사용을 위해 저장 유닛에 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제1 움직임 캡쳐 세션이 가상의 환경을 위한 장면을 생성하는, 공간의 물리적 볼륨 내에서 적어도 한 명의 배우에 의해 착용된 움직임 캡쳐 마커의 위치를 기록하기 위한 상기 제1 움직임 캡쳐 세션을 수행하는 단계와;
    카메라와 같은 대상이 장면 내에서 연기하는 배우의 시야, 위치 및 배향의 캡쳐링과 렌더링을 가능하게 하는 것을 특징으로 하는, 제2 움직임 캡쳐 세션을 트랙(track)으로 수행하고 배우에 부착되어 있는 카메라와 같은 대상의 시야, 위치, 배향을 기록하는 단계; 및
    상기 제2 움직임 캡쳐 세션 내에서 연기하는 배우가 상기 제1 움직임 캡쳐 세션 내에 생성된 장면을 보며 상기 제1 움직임 캡쳐 시스템과 제2 움직임 캡쳐 시스템 내에서 대상 및 배우와 상호작용하는 것을 특징으로 하는, 상기 제2 움직임 캡쳐 세션의 장면 내에서 연기하는 배우의 시야, 위치 및 배향을 가상의 위치, 배향 및 적어도 하나의 움직이는 화상 내에 있는 배우의 시야와 비디오 게임으로 렌더링하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제10항에 있어서, 상기 배우의 시야, 위치 및 배향을 렌더링하는 단계는 배우에 의해 착용된 상기 카메라와 같은 대상의 디스플레이에 1인칭 시점의 샷의 생성을 하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제10항에 있어서, 가상의 장면들이 라이브 액션(live action) 장면과 함께 통합된 움직이는 화상을 위한 복합 환경(hybrid environment)을 생성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 카메라 대상을 추적하기 위해 구성된 다수의 위치 추적기 및 배우에 부착된 다수의 움직임 캡쳐 마커와,
    제1 움직임 캡쳐 세션이 시각적 엔터테인먼트 프로그램(visual entertainment program)의 가상의 환경을 위한 장면을 생성하는, 상기 다수의 움직임 캡쳐 마커의 위치를 기록하기 위해 상기 제1 움직임 캡쳐 세션을 수행하도록 구성된 상기 다수의 위치 추적기의 제1 위치 추적기와,
    제2 움직임 캡쳐 세션 동안 상기 카메라 대상의 위치를 기록하기 위해 구성된 상기 다수의 위치 추적기의 제2 위치 추적기를 포함하며;
    상기 제2 움직임 캡쳐 세션 동안 장면에서 연기하는 배우의 시야, 위치 및 배향의 캡쳐링과 렌더링을 가능하게 하는 카메라 대상의 배향을 추적하고 기록하기 위해 구성된 배향 추적기를 포함하며;
    실행 가능한 명령어들을 포함하는 컴퓨터 프로그램을 저장하고 있는 저장 매체를 포함하는 프로세서를 포함하며,
    상기 프로세서가 실행하는 상기 실행 가능한 명령어들은:
    가상 환경을 포함하는 비디오 파일을 수신하게 하는 명령;
    상기 제1 위치 추적기로부터 상기 다수의 움직임 캡쳐 마커의 위치에 관한 추적 정보를 수신하는 명령;
    상기 다수의 움직임 캡쳐 마커의 위치를 가상의 환경 내에서 연기하는 배우에 대응하는 가상의 캐릭터의 움직임으로 변환시키는 명령;
    상기 제2 위치 추적기로부터 상기 카메라 대상의 위치에 대한 추적 정보를 수신하게 하는 명령;
    상기 배향 추적기로부터 상기 카메라 대상의 배향에 대한 추적 정보를 수신하게 하는 명령;
    상기 카메라 대상의 위치와 배향을 가상의 환경 내에서 연기하는 가상의 캐릭터의 가상의 움직임과 가상의 시야로 변환시키는 명령;
    상기 제2 움직임 캡쳐 세션 내에 생성된 상기 가상의 캐릭터의 가상의 움직임과 시야를 사용하는 1인칭 시점의 샷(first person point-of-view shots)을 생성하게 하는 명령; 및
    상기 1인칭 시점의 샷을, 상기 제2 움직임 캡쳐 세션 내에서 연기하고 상기 제1 움직임 캡쳐 세션 내에 생성된 장면을 바라보며 상기 제1 움직임 캡쳐 세션과 제2 움직임 캡쳐 세션에서 대상 및 배우와 상호작용하는 배우에 의해 착용된, 상기 카메라 대상에 제공하게 하는 명령을 포함하는 것을 특징으로 하는 시스템.
  14. 제13항에 있어서, 상기 시각적 엔터테인먼트 프로그램은 비디오 게임인 것을 특징으로 하는 시스템.
  15. 제13항에 있어서, 상기 시각적 엔터테인먼트 프로그램은 움직이는 화상인 것을 특징으로 하는 시스템.
  16. 제13항에 있어서, 상기 배향 추적기는 상기 카메라 대상에 부착된 적어도 하나의 가속도계(accelerometers)와 자이로스코프(gyroscopes)를 포함하는 것을 특징으로 하는 시스템.
  17. 제13항에 있어서, 상기 프로세서가 상기 카메라 대상의 위치와 배향을 가상 캐릭터의 머리의 움직임으로 변환하게 하도록 실행가능한 명령을 포함하는 프로세서는, 상기 프로세서가 상기 카메라 대상의 위치와 배향을 상기 가상 환경 내에서 동작하는 상기 가상 캐릭터의 시계의 변화로 변환하도록 하는 실행가능한 명령을 포함하는 것을 특징으로 하는 시스템.
  18. 제13항에 있어서, 차후에 사용하기 위해 상기 생성된 1인칭 시점의 샷을 저장하기 위한 저장 유닛을 더 포함하는 것을 특징으로 하는 시스템.
  19. 제13항에 있어서, 상기 프로세서는 상기 카메라 대상, 상기 다수의 위치 추적기, 및 상기 배향 추적기로부터 입력을 수신하도록 구성된 게임 콘솔인 것을 특징으로 하는 시스템.
  20. 제13항에 있어서, 상기 카메라 대상은 상기 제공된 1인칭 시점의 샷을 디스플레이하기 위한 디스플레이를 포함하는 것을 특징으로 하는 시스템.
  21. 장면을 생성하기 위한 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터 판독가능한 저장 매체로서, 상기 컴퓨터 프로그램은 다음의 실행가능한 명령들:
    가상 환경을 포함하는 비디오 파일을 수신하게 하는 명령;
    제1 위치 추적기가 다수의 움직임 캡쳐 마커의 위치를 기록하기 위한 제1 움직임 캡쳐 세션을 수행하게 하고, 상기 제1 움직임 캡쳐 세션이 가상의 엔터테인먼트 프로그램의 가상의 환경을 위한 장면을 생성하게 하는, 상기 제1 위치 추적기로부터 다수의 움직임 캡쳐 마커의 위치에 관한 추적 정보를 수신하게 하는 명령;
    상기 다수의 움직임 캡쳐 마커의 위치를 상기 가상의 환경 내에서 연기하는 배우에 대응하는 가상의 캐릭터의 움직임으로 변환시키는 명령;
    제2 움직임 캡쳐 세션 동안 카메라 대상의 위치를 기록하는 제2 위치 추적기로부터 상기 카메라 대상의 위치에 대한 추적 정보를 수신하게 하는 명령;
    상기 제2 움직임 캡쳐 세션 동안 상기 카메라 대상의 배향을 추적하고 기록하도록 구성된 배향 추적기로부터의 상기 카메라 대상의 배향에 대한 추적 정보를 수신하게 하는 명령;
    상기 카메라 대상의 위치와 배향을 상기 가상의 환경 내에서 작동하는 가상의 움직임 및 상기 가상의 캐릭터의 시야로 변환시키는 명령;
    상기 제2 움직임 캡쳐 세션 내에 생성된 상기 가상의 움직임과 가상의 캐릭터의 시야를 이용하는 1인칭 시점의 샷을 생성시키는 명령; 및
    상기 1인칭 시점의 샷을, 상기 제2 움직임 캡쳐 세션 내에서 연기하고 상기 제1 움직임 캡쳐 세션 내에 생성된 장면을 바라보며 상기 제1 움직임 캡쳐 세션과 제2 움직임 캡쳐 세션에서 대상 및 배우와 상호작용하는 배우에 의해 착용된, 상기 카메라 대상에 제공하게 하는 명령을 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능한 저장 매체.
  22. 제21항에 있어서, 컴퓨터가 상기 카메라 대상의 위치와 배향을 가상 캐릭터의 가상의 움직임으로 변환하게 하는 실행가능한 명령은 컴퓨터가 상기 카메라 대상의 위치와 배향을 상기 가상 환경 내에서 동작하는 상기 가상 캐릭터의 시계의 변화로 변환하게 하는 실행가능한 명령을 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능한 저장 매체.
  23. 제21항에 있어서, 컴퓨터가 상기 생성된 1인칭 시점의 샷을 상기 카메라 대상에 제공하게 하는 실행가능한 명령은 상기 1인칭 시점의 샷을 상기 카메라 대상의 디스플레이에 피드백하게 하는 실행가능한 명령을 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능한 저장 매체.
  24. 제21항에 있어서, 컴퓨터가 상기 생성된 1인칭 시점의 샷을 차후에 사용하기 위해 저장 유닛에 저장하게 하는 실행가능한 명령을 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능한 저장 매체.
KR1020147035903A 2010-01-22 2010-08-13 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐 KR20150014988A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/692,518 US20110181601A1 (en) 2010-01-22 2010-01-22 Capturing views and movements of actors performing within generated scenes
US12/692,518 2010-01-22
PCT/US2010/045536 WO2011090509A1 (en) 2010-01-22 2010-08-13 Capturing views and movements of actors performing within generated scenes

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127021910A Division KR20120120332A (ko) 2010-01-22 2010-08-13 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167008309A Division KR101748593B1 (ko) 2010-01-22 2010-08-13 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐

Publications (1)

Publication Number Publication Date
KR20150014988A true KR20150014988A (ko) 2015-02-09

Family

ID=44307111

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020127021910A KR20120120332A (ko) 2010-01-22 2010-08-13 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐
KR1020167008309A KR101748593B1 (ko) 2010-01-22 2010-08-13 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐
KR1020147035903A KR20150014988A (ko) 2010-01-22 2010-08-13 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020127021910A KR20120120332A (ko) 2010-01-22 2010-08-13 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐
KR1020167008309A KR101748593B1 (ko) 2010-01-22 2010-08-13 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐

Country Status (7)

Country Link
US (1) US20110181601A1 (ko)
EP (1) EP2526527A4 (ko)
KR (3) KR20120120332A (ko)
CN (1) CN102822869B (ko)
BR (1) BR112012018141A2 (ko)
RU (1) RU2544776C2 (ko)
WO (1) WO2011090509A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011104524A1 (de) * 2011-06-15 2012-12-20 Ifakt Gmbh Verfahren und Vorrichtung zum Ermitteln und Wiedergeben virtueller ortsbezogener Informationen für einen Raumbereich
US9536338B2 (en) * 2012-07-31 2017-01-03 Microsoft Technology Licensing, Llc Animating objects using the human body
KR102407283B1 (ko) * 2014-05-29 2022-06-10 네버마인드 캐피탈 엘엘씨 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
US9918136B2 (en) 2014-05-29 2018-03-13 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
CN104346973B (zh) * 2014-08-01 2015-09-23 西南大学 一种教学用4d智慧教室
CN104216381B (zh) * 2014-09-19 2016-07-06 西南大学 一种智慧教室
CN105869449B (zh) * 2014-09-19 2020-06-26 西南大学 一种4d教室
CN105741627B (zh) * 2014-09-19 2018-03-09 西南大学 一种4d教室
US10037596B2 (en) * 2014-11-11 2018-07-31 Raymond Miller Karam In-vehicle optical image stabilization (OIS)
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
JP6467039B2 (ja) * 2015-05-21 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
CN105338369A (zh) * 2015-10-28 2016-02-17 北京七维视觉科技有限公司 一种在视频中实时合成动画的方法和装置
CN105704507A (zh) * 2015-10-28 2016-06-22 北京七维视觉科技有限公司 一种在视频中实时合成动画的方法和装置
CN105338370A (zh) * 2015-10-28 2016-02-17 北京七维视觉科技有限公司 一种在视频中实时合成动画的方法和装置
US10692288B1 (en) * 2016-06-27 2020-06-23 Lucasfilm Entertainment Company Ltd. Compositing images for augmented reality
WO2018002698A1 (en) * 2016-06-30 2018-01-04 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
FR3054061B1 (fr) * 2016-07-13 2018-08-24 Commissariat Energie Atomique Procede et systeme pour la localisation et la reconstruction en temps reel de la posture d'un objet mouvant a l'aide de capteurs embarques
US10311917B2 (en) * 2016-07-21 2019-06-04 Disney Enterprises, Inc. Systems and methods for featuring a person in a video using performance data associated with the person
US10237537B2 (en) 2017-01-17 2019-03-19 Alexander Sextus Limited System and method for creating an interactive virtual reality (VR) movie having live action elements
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US11367198B2 (en) * 2017-02-07 2022-06-21 Mindmaze Holding Sa Systems, methods, and apparatuses for tracking a body or portions thereof
CN110892408A (zh) 2017-02-07 2020-03-17 迈恩德玛泽控股股份有限公司 用于立体视觉和跟踪的系统、方法和装置
GB2566923B (en) * 2017-07-27 2021-07-07 Mo Sys Engineering Ltd Motion tracking
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
CN110442239B (zh) * 2019-08-07 2024-01-26 泉州师范学院 基于动作捕捉技术的梨园戏虚拟现实再现方法
CN111083462A (zh) * 2019-12-31 2020-04-28 北京真景科技有限公司 基于双视点的立体渲染方法
US11457127B2 (en) * 2020-08-14 2022-09-27 Unity Technologies Sf Wearable article supporting performance capture equipment
CN112565555B (zh) * 2020-11-30 2021-08-24 魔珐(上海)信息科技有限公司 虚拟相机拍摄方法、装置、电子设备及存储介质
CN113313796B (zh) * 2021-06-08 2023-11-07 腾讯科技（上海）有限公司 场景生成方法、装置、计算机设备和存储介质
US20240096035A1 (en) * 2022-09-21 2024-03-21 Lucasfilm Entertainment Company Ltd. LLC Latency reduction for immersive content production systems
CN118781299A (zh) * 2023-03-31 2024-10-15 华为云计算技术有限公司 一种作业指导方法和云服务系统
CN117292094B (zh) * 2023-11-23 2024-02-02 南昌菱形信息技术有限公司 一种岩洞内演艺剧场的数字化应用方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
RU2161871C2 (ru) * 1998-03-20 2001-01-10 Латыпов Нурахмед Нурисламович Способ и система для создания видеопрограмм
US6176837B1 (en) * 1998-04-17 2001-01-23 Massachusetts Institute Of Technology Motion tracking system
JP3406965B2 (ja) * 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
GB2376397A (en) * 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
CN1409218A (zh) * 2002-09-18 2003-04-09 北京航空航天大学 虚拟环境生成方法
US7606392B2 (en) * 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
WO2007044301A2 (en) * 2005-10-04 2007-04-19 Intersense, Inc. Tracking objects with markers
US8217995B2 (en) * 2008-01-18 2012-07-10 Lockheed Martin Corporation Providing a collaborative immersive environment using a spherical camera and motion capture
US20090219291A1 (en) * 2008-02-29 2009-09-03 David Brian Lloyd Movie animation systems
US20090325710A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Dynamic Selection Of Sensitivity Of Tilt Functionality

Also Published As

Publication number Publication date
EP2526527A4 (en) 2017-03-15
CN102822869A (zh) 2012-12-12
BR112012018141A2 (pt) 2016-05-03
KR20120120332A (ko) 2012-11-01
KR20160042149A (ko) 2016-04-18
RU2544776C2 (ru) 2015-03-20
EP2526527A1 (en) 2012-11-28
WO2011090509A1 (en) 2011-07-28
RU2012136118A (ru) 2014-02-27
CN102822869B (zh) 2017-03-08
KR101748593B1 (ko) 2017-06-20
US20110181601A1 (en) 2011-07-28

Similar Documents

Publication Publication Date Title
KR101748593B1 (ko) 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐
US9299184B2 (en) Simulating performance of virtual camera
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
Murray Building virtual reality with unity and steamvr
US8411092B2 (en) 2D imposters for simplifying processing of plural animation objects in computer graphics generation
US20030227453A1 (en) Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data
Vera et al. Augmented mirror: interactive augmented reality system based on kinect
US20100156906A1 (en) Shot generation from previsualization of a physical environment
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
Song et al. An immersive VR system for sports education
JP7323751B2 (ja) ゲームシステム及びプログラム
JP2020107251A (ja) 画像生成システム及びプログラム
CN116233513A (zh) 虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备
CN114995642A (zh) 基于增强现实的运动训练方法、装置、服务器及终端设备
KR102685040B1 (ko) 사용자 움직임 기록 기반의 영상 제작 장치 및 방법
US20230274515A1 (en) Previsualization devices and systems for the film industry
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays
KR100684401B1 (ko) 가상현실 기반의 골프학습 장치, 그 방법 및 그 기록매체
Gomide Motion capture and performance
KR20240142975A (ko) Vr 게임 중계 시스템 및 방법
Pavel et al. The Design and Implementation of an Interactive Game-based Application using Augmented Reality Technology
BRPI0924523B1 (pt) Método e sistema para gerar sequências de vídeos em primeira pessoa, e, método para simular movimento de uma câmera virtual em um ambiente virtual
JP2002269585A (ja) 画像処理方法、画像処理装置、記憶媒体及びプログラム
JP2020107252A (ja) 画像生成システム及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20141222

Application number text: 1020127021910

Filing date: 20120822

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150323

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20150930

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20150323

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20150930

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20150522

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20160203

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20151230

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20150930

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20150522

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20150323

PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20160329

Application number text: 1020127021910

Filing date: 20120822

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20160504

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20160203

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Patent event date: 20150930

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20171109

Appeal identifier: 2016101002699

Request date: 20160504

J301 Trial decision

Free format text: TRIAL NUMBER: 2016101002699; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160504

Effective date: 20171109

PJ1301 Trial decision

Patent event code: PJ13011S01D

Patent event date: 20171109

Comment text: Trial Decision on Objection to Decision on Refusal

Appeal kind category: Appeal against decision to decline refusal

Request date: 20160504

Decision date: 20171109

Appeal identifier: 2016101002699