KR101276429B1 - 모션 캡처에서의 안구 운동 데이터 대체 장치 및 컴퓨터 판독 가능 저장 매체 - Google Patents

모션 캡처에서의 안구 운동 데이터 대체 장치 및 컴퓨터 판독 가능 저장 매체 Download PDF

Info

Publication number
KR101276429B1
KR101276429B1 KR1020087017921A KR20087017921A KR101276429B1 KR 101276429 B1 KR101276429 B1 KR 101276429B1 KR 1020087017921 A KR1020087017921 A KR 1020087017921A KR 20087017921 A KR20087017921 A KR 20087017921A KR 101276429 B1 KR101276429 B1 KR 101276429B1
Authority
KR
South Korea
Prior art keywords
eye movement
movement data
actor
motion capture
computer
Prior art date
Application number
KR1020087017921A
Other languages
English (en)
Other versions
KR20080085181A (ko
Inventor
레밍톤 스콧
데미안 고든
Original Assignee
소니 주식회사
소니 픽쳐스 엔터테인먼트, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사, 소니 픽쳐스 엔터테인먼트, 인크. filed Critical 소니 주식회사
Publication of KR20080085181A publication Critical patent/KR20080085181A/ko
Application granted granted Critical
Publication of KR101276429B1 publication Critical patent/KR101276429B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

모션 캡처에서 안구 운동 데이터를 대체하는 것은, 제2 액터에 대한 모션 데이터가 캡처되었던 모션 캡처 세션 직후에 제1 액터로부터 안구 운동 데이터를 캡처하는 단계로서, 제1 액터는 간섭 신호를 생성하는 안면 근육의 최소한의 운동으로 안구 운동 데이터만을 생성하도록 시연하는 단계와, 제1 액터로부터 캡처된 안구 운동 데이터를 모션 캡처 세션 동안에 획득된 모션 데이터와 조합하여 제2 액터를 위한 안구 운동 데이터로서 표현하는 단계를 포함한다.
모션 캡처, 안구 운동 데이터 대체, 액터, 애니메이터

Description

모션 캡처에서의 안구 운동 데이터 대체 장치 및 컴퓨터 판독 가능 저장 매체{APPARATUS FOR REPLACING EYE MOVEMENT DATA IN MOTION CAPTURE AND COMPUTER-READABLE STORAGE MEDIUM}
본 발명은 그래픽 및 애니메이션에 관한 것으로서, 좀더 구체적으로는, 모션 캡처를 통해 개발된 데이터를 사용해 그래픽 및 애니메이션에서의 안구 운동 데이터를 대체하는 것에 관한 것이다.
모션 캡처 시스템은 실제 오브젝트(real object)의 운동을 캡처하고 그것을 컴퓨터 생성 오브젝트(computer-generated object)상으로 매핑하는데 사용된다. 그러한 시스템은 흔히, 컴퓨터 그래픽 애니메이션을 생성하기 위한 소스 데이터로 사용하기 위해 오브젝트/사람의 디지털 표현을 생성하기 위한 모션 픽처 및 비디오 게임의 생산에 사용된다.
통상적인 모션 캡처 시스템은, 일정 볼륨의 공간을 둘러싸는 그리고 다양한 위치에 마커가 부착된(예를 들어, 몸통 및 팔다리에 작은 반사 마커가 부착된) 수트(suit)를 입고 있는 액터(actor)의 모션을 캡처하는, 다수의 고정형 모션 캡처 카메라를 포함한다. 카메라는, 마커를 조명하면서 상이한 각도로부터 액터의 운동을 기록한다. 그 다음, 시스템은 이미지를 분석하여, 각 프레임에서의 액터의 수트에 대한 마커의 (예를 들어, 공간 좌표로서의) 위치 및 방향을 판정한다. 마커 의 위치를 추적하는 것에 의해, 시스템은 시간에 따른 마커의 공간 표현을 생성하고 움직이고 있는 액터의 디지털 표현을 구축한다. 그 다음, 모션은 디지털 모델에 적용되는데, 디지털 모델은 이후에 텍스처링되고 렌더링되어 액터 및/또는 시연(performance)의 완전한 CG 표현을 생산할 수도 있다. 이 기술은 특수 효과 회사에 의해 다수의 인기있는 영화에서 사실적인 애니메이션을 생산하는데 사용되었다.
키프레이밍(keyframing)과 같은, 전통적인 애니메이션 기술에 대한 모션 캡처 시스템의 이점은 실시간 시각화(real-time visualization)의 역량이다. 생산 팀은, 최적 데이터를 캡처하기 위해 액터가 물리적 시연을 변경하는 것을 가능하게 하면서, 액터의 모션에 대한 공간 표현을 실시간 또는 거의 실시간으로 검토할 수 있다. 더 나아가, 모션 캡처 시스템은, 다른 애니메이션 기술을 사용해 쉽게 재생될 수 없는 물리 운동의 미묘한 차이를 검출하고, 그것에 의해, 자연스러운 운동을 좀더 정확하게 반영하는 데이터를 산출한다. 결과적으로, 모션 캡처 시스템을 사용해 수집된 소스 재료를 사용해서 생성된 애니메이션은 좀더 생동감있는 외관을 나타낼 것이다.
모션 캡처 시스템의 이러한 이점에도 불구하고, 전통적인 모션 캡처 시스템의 단점은, 마커가 액터의 안구에는 부착될 수 없기 때문에, 정확한 안구 모션을 캡처하기 어렵다는 것이다.
본 발명의 실시예는 모션 캡처에서 안구 운동 데이터를 대체하기 위한 것이다.
일 실시예에서, 모션 캡처에서 안구 운동 데이터를 대체하는 방법은, 제2 액터에 대한 모션 데이터가 캡처된 모션 캡처 세션 직후에 제1 액터로부터 안구 운동 데이터를 캡처하는 단계로서, 제1 액터는 간섭 신호를 생성하는 안면 근육의 최소한의 운동으로 안구 운동 데이터만을 생성하도록 시연하는 단계와, 제1 액터로부터 캡처된 안구 운동 데이터를 모션 캡처 세션 동안에 획득된 모션 데이터와 조합하여 제2 액터를 위한 안구 운동 데이터로서 표현하는 단계를 포함한다.
다른 실시예에서, 모션 캡처에서 안구 운동 데이터를 대체하는 방법은, 모션 캡처 세션 직후에 애니메이터(animator)로부터 안구 운동 데이터를 캡처하는 단계로서, 애니메이터는 간섭 신호를 생성하는 안면 근육의 최소한의 운동으로 안구 운동 데이터만을 생성하도록 시연중인 단계와, 모션 캡처 세션 동안에 캡처된 안구 운동 데이터를 애니메이터로부터 캡처된 안구 운동 데이터로 대체하는 단계를 포함한다.
또 다른 실시예에서, 모션 캡처에서 안구 운동 데이터를 대체하는 방법은, 모션 캡처 세션 직후에 애니메이터로부터 안구 운동 데이터를 광학적으로 캡처하는 단계와, 모션 캡처 세션 동안에 캡처된 안구 운동 데이터를 애니메이터로부터 광학적으로 캡처된 안구 운동 데이터로 대체하는 단계를 포함한다.
당업자라면, 다음의 상세한 설명 및 첨부 도면을 검토한 후에, 본 발명의 다른 사양 및 이점을 좀더 쉽게 이해할 수 있을 것이다.
본 발명의 구조 및 동작의 양자에 관한 본 발명의 세부 사항은, 유사한 참조 번호가 유사한 부분을 참조하는 첨부 도면을 연구하는 것에 의해 부분적으로 조금씩 수집될 수 있다.
도 1은 모션 캡처 시스템을 도시하는 블록도이다.
도 2는 안구 위치에 관해서 EOG(electro-oculogram) 전극쌍 및 그라운드 전극을 위해 지정된 위치를 나타낸다.
도 3은 사람 안구의 측단면도이다.
도 4a는, 쌍극자(즉, 안구)가 전방을 향하고 있을 때, 전극 사이에서 널(null)인 것으로 측정되는 전계를 나타낸다.
도 4b는 오른쪽으로 배향됨으로써 전극 사이에서 양전계를 유도하는 쌍극자를 나타낸다.
도 5a는 모션 캡처 세션의 일례를 나타낸다.
도 5b는 후행 프로세싱 세션(post processing session)의 일례를 나타낸다.
도 6은 모션 캡처에서 안구 운동 데이터를 대체하는 방법을 도시하는 흐름도이다.
도 7a는 컴퓨터 시스템 및 사용자의 표현을 나타낸다.
도 7b는, 안구 운동 데이터 대체 유닛을 포함하는, 도 7a에서의 컴퓨터 시스템의 일 실시예의 블록도를 나타낸다.
도 8은 안구 운동 데이터 대체 유닛을 도시하는 블록도이다.
본 발명의 실시예는 모션 캡처를 통해 개발된 데이터를 사용해 그래픽 및 애 니메이션에서 안구 운동 데이터를 대체하는 단계를 포함한다.
당업자라면, 이 설명을 읽고 난 후, 본 발명을 다양한 다른 실시예 및 다른 애플리케이션으로 구현하는 방법을 분명히 알 수 있을 것이다. 그러나, 본 발명의 다양한 실시예가 여기에서 설명되겠지만, 이러한 실시예는, 한정이 아닌, 단지 일례로써 제시된다는 것을 이해할 수 있어야 한다. 그에 따라, 다양한 다른 실시예에 대한 이러한 상세 설명이, 첨부된 청구항에서 개시된 바와 같은 본 발명의 범위 또는 폭을 제한하는 것으로 해석되어서는 안된다.
도 1은 모션 캡처 시스템(100)을 예시하는 블록도이다. 모션 캡처 시스템(100)은 N개의 모션 캡처("MOCAP") 카메라로부터의 입력 데이터를 프로세싱하도록 구성된 모션 캡처 프로세서(110)를 포함한다. 입력 데이터는 복수의 몸통 및 안면 마커로부터 캡처된 마커 데이터(marker data)를 포함한다. 또한, 모션 캡처 프로세서(110)는 적당한 전극 인터페이스(130)를 통해 복수의 안구 모션 전극쌍과 통신하도록 구성된다. 모션 캡처 프로세서(110)는, 연관된 데이터 파일을 저장할 수 있도록 구성된 데이터 저장 디바이스(120)를 갖춘 프로그램 가능한 컴퓨터를 더 포함할 수도 있다. 업계에 공지되어 있는 바와 같이, 하나 이상의 컴퓨터 워크스테이션이 네트워크를 사용해 모션 캡처 프로세서(110)에 접속되어, 다수의 그래픽 아티스트가 컴퓨터 그래픽 애니메이션을 생성하는 프로세스에서 저장 데이터 파일로 작업하는 것을 가능하게 할 수도 있다. 모션 캡처 프로세서(110)는 엔터테인먼트 산업을 위해 3D 그래픽 및 애니메이션의 생성을 가능하게 하는 상용 소프트웨어 패키지에 의해 제공되는 것과 같은 컴퓨터 그래픽 애니메이션 시스템을 더 포함할 수도 있다. 컴퓨터 그래픽 애니메이션 시스템은 모션 캡처 프로세서(110)와는 완전히 분리된 컴퓨터 하드웨어 및 소프트웨어 시스템을 포함할 수 있거나, 다른 방법으로, 공통의 하드웨어 및 소프트웨어 시스템의 일부로서 (예를 들어, "플러그-인"으로서) 모션 캡처 프로세서(110)와 통합될 수도 있다.
안구 모션 전극쌍은, 개개 전기 도체(150A, 150B 및 152A, 152B)를 통해 전극 인터페이스(130)에 접속되는 전극(140A, 140B 및 142A, 142B)을 포함한다. 또한, 그라운드 전극(144)도 전기 도체(154)를 통해 전극 인터페이스(130)에 접속된다. 일 실시예에서, 안구 모션은 안구로부터 EOG(electro-oculogram)를 획득하고 측정하는 것에 의해 검출된다.
도 2는 안구 위치에 관해서 EOG 전극쌍(140A, 140B, 142A, 142B) 및 그라운드 전극(144)을 위해 지정된 위치를 나타낸다. 안구에 인접한 (전극쌍(140A, 140B)에 적합한) 전극쌍 위치(210 및 212)는 안구의 왼쪽/오른쪽 운동과 연관된 신호를 검출하기에 적당하다. 안구 중 하나의 아래쪽 및 위쪽의 (전극쌍(전극쌍(142A, 142B)에 적합한) 전극쌍 위치(220 및 222)는 안구의 위/아래 운동과 연관된 신호를 검출하기에 적당하다. (그라운드 전극(144)에 적합한) 그라운드 전극 위치(230)는 이마에 배치된다. 그라운드 전극(144)은, 목, 어깨, 팔꿈치 등과 같이, 그것이 안면 근육의 활용 및 작용(application and action)과 간섭하지 않을 몸통 어디에든 고정될 수 있다는 것에 주의해야 한다. 이마는 그라운드 전극에 대해 편리한 위치를 대표하는데, 그라운드 전극이 안면 근육 작용과 간섭하지 않으면서 나머지 전극에 근접하게 위치하기 때문이다. 액터의 2개 안구를 표현하는 쌍극자는 평행하게 운동할 것이므로, 안구 중 하나로부터의 위/아래 모션만을 수집하면 된다. EOG 전극은, 미용 접착제를 사용하는 것과 같은, 전통적인 방식에 의해, 지정된 위치에서 액터의 피부 표면에 부착될 수 있다.
도 3은 사람 안구(300)의 측단면도이다. 각막(302)은 안구의 앞쪽 면에 배치되고, 오브젝트로부터 반사된 광선을 통과시키는 표면을 제공한다. 광선은 각막(302), 수정체(304), 및 유리체(312)에 의해 구부러지고, 회절되며, 포커싱된다. 안저(308)는, 망막(306)을 포함하는, 안구 안쪽의 오목한 부분을 제공한다. 수정체(302)는 오브젝트의 이미지를 망막(306) 쪽으로 포커싱하는데, 망막(306)은 광선을 시신경(310)을 통해 뇌로 전달되는 전기 펄스로 변환한다. 업계에 주지되어 있는 바와 같이, 각막(302)과 안저(308) 사이에는 전위가 존재한다. 이러한 전위는, 전계의 변화가 안구의 운동과 관련되도록 측정 가능 전계를 방출하는 쌍극자를 포함한다.
도 4a 및 도 4b는 전극쌍(140A, 140B)에 의해 둘러싸인 2개의 쌍극자를 예시한다. 2개의 쌍극자는 액터의 안구(400L, 400R) 각각에 대응된다. 도 4a에 도시된 바와 같이, 쌍극자(즉, 안구)가 전방을 향하고 있을 때, 전극(140A, 140B) 사이에서 측정되는 전계는 널(null)이다. 도 4b에서, 쌍극자는 오른쪽으로 배향되고, 그것에 의해, 전극(140A, 140B) 사이에서 양전계를 유도한다. 그라운드에 관한, 전극(140A, 140B) 사이의 전계 변화는 안구에 관한 적당한 위치 정보를 제공한다. 이러한 전계 변화는 공칭 전방(nominal forward direction)으로부터 대략 ±20도의 범위 동안 안구 운동에 관해서 거의 선형적인 상태를 유지한다.
다시 도 1을 참조하면, 모션 캡처 프로세서(110)는 EOG 전극에 의해 검출된 신호의 신호 프로세싱 및 증폭을 제공한다. 프로세싱된 신호는 액터의 머리 및 얼굴의 디지털 모델에서 안구를 애니메이트하는데 사용된다(예를 들어, 여기에 참고문헌으로서 포함되어 있는, 2004년 11월 8일에 출원된 "System and method for tracking facial muscle and eye motion for computer graphics animation"을 위한 미국 특허출원 제10/984,488호 참고). 그러나, 모션 캡처 세션 동안, 액터가 안면 근육을 활발하게 움직이는 경우, 근육 운동으로부터의 신호는 대체로 EOG 전극으로부터 검출된 신호와 간섭한다. 따라서, 이러한 문제점을 극복하기 위해, 캡처 세션 동안 캡처된 안구 운동 데이터는 후행 프로세싱에서, 흔히 (오디오 더빙과 유사한) "안구 더빙(eye dubbing)"이라고 하는 프로세스로, 애니메이터로부터 기록된 새로운 안구 운동 데이터로 대체될 수 있다.
일 실시예에서, 캡처 세션 동안 캡처된 안구 운동 데이터는 상술된 EOG 기술을 사용할 수 있고, 다음으로, 안구 운동 데이터는 후행 프로세싱에서 애니메이터로부터 기록된 새로운 안구 운동 데이터로 대체될 것이다. 다른 실시예에서, 모션 캡처 프로세서는 캡처 세션 동안 액터의 안구 운동을 무시하는데, 안구 운동 데이터는 후행 프로세싱에서 애니메이터로부터 기록된 데이터에 의해 공급될 것이기 때문이다.
도 5a에 도시된, (비트(beat)라고 하는) 모션 캡처 세션(500) 동안, 마커를 갖춘 수트를 착용중인 액터(510)는 캡처 볼륨(530)내에서 시연중이고 FOV(field of view;512)에 캡처 오브젝트(또는 다른 배경 오브젝트)의 그룹(520)을 가진다. 예시된 실시예에서, 캡처 오브젝트의 그룹(520)은 특정 방향(522)으로 이동중이다. 다른 실시예에서, 그룹(520)의 캡처 오브젝트는 서로 상이한 방향으로 움직일 수도 있다.
일 실시예에서, 액터(510)의 FOV(512)에서의 캡처 오브젝트의 그룹(520)은 동일한 캡처 볼륨(530)에서의 다른 액터 및 오브젝트를 포함한다. 그에 따라, 이 실시예에서는, 캡처 볼륨(530) 주위의 또는 액터(510) 상의 하나 이상의 카메라가 POV('point of view') 이미지(즉, 액터의 안구에 의해 관찰되는 이미지)를 캡처하고 기록한다. 다른 실시예에서, 캡처 오브젝트의 그룹(520)은 캡처 볼륨(530)의 바깥에서 캡처되거나 생성되는 가상의 캡처 오브젝트를 포함한다. 따라서, 이 실시예에서, POV 이미지는 오프라인으로 캡처/생성 및 기록되고, 액터는 가공/가상 오브젝트와 인터페이스하며 그에 반응한다. POV 이미지는 컴퓨터 시스템을 통해 컴퓨터 그래픽 이미지로서 생성될 수 있다.
도 5b를 참조하면, 모션 캡처 세션(500)이 종료된 후, 후행 프로세싱 세션(540)이 개시된다. 후행 프로세싱 세션(540)에서, 애니메이터(570)는 캡처 세션(500) 동안 액터(510)로부터 캡처된 안구 운동 데이터를 대체하기 위한 안구 운동 데이터를 생성하도록 시연한다. 애니메이터(570)는, 후행 프로세싱 세션에서, 안구 운동 데이터만을 생성하도록 시연중이므로, 간섭 신호를 생성하는 애니메이터의 안면 근육 운동은 최소한으로 유지될 것이다.
후행 프로세싱 세션(540)은, 애니메이터(570)가 EOG 전극을 도 2에 도시된 바와 유사한 구성으로 착용하는 단계를 포함한다. 그 다음, 애니메이터(570)는, 기록된 POV 이미지(550)를 디스플레이하는 가상 현실 고글(560)을 착용한다. 디스플레이되는 POV 이미지(550)는 가상 현실 고글(560)쪽으로 다운로드되거나 스트리밍될 수 있다. 따라서, 가상 현실 고글(560)로 인해, 애니메이터(570)는 액터(510)가 모션 캡처 세션(500) 동안에 보았거나 가상적으로 관찰하였을 것을 관찰할 수 있다. 후행 프로세서는, 가상 현실 고글(560)에 디스플레이되는 POV 이미지(550)에 반응하여 그 또는 그녀의 안구를 움직이는 애니메이터(570)의 안구 운동을 기록한다. 그 다음, 애니메이터(570)로부터 캡처되는 기록된 안구 운동 데이터는 액터(510)로부터 캡처되는 안구 운동 데이터를 대체하는데(즉, "안구 더빙"에) 사용된다.
도 6은 모션 캡처에서 안구 운동 데이터를 대체하는 방법을 예시하는 흐름도이다. 모션 캡처 세션 동안, 액터에 부착된 마커의 운동은 복수개의 모션 캡처 카메라에 의해 캡처된다. 더 나아가, 액터는 안면 근육을 활발하게 움직여 안면 운동 데이터를 생성한다. 상술한 바와 같이, 액터의 안구 운동 또한, 610에서, EOG 전극을 사용해 캡처된다. 더 나아가, 612에서는, POV 이미지가 캡처 또는 생성되고, 614에서는, 기록된다. 그 다음, 모션 캡처 세션이 종료된 후, 애니메이터는 액터로부터 캡처된 안구 운동 데이터를 대체하기 위한 안구 운동 데이터를 생성하도록 시연한다. 그에 따라, 616에서는, EOG 전극이 애니메이터에게 부착된다. 618에서는, POV 이미지가 가상 현실(VR) 고글 쪽으로 다운로드 또는 스트리밍된다. 620에서, 애니메이터는 VR 고글을 착용하고, 622에서는, 애니메이터의 안구 운동이 캡처된다. 액터의 안구 운동 데이터는, 624에서, 애니메이터의 안구 운동 데이터로 대체된다.
도 7a는 컴퓨터 시스템(700) 및 사용자(702)의 표현을 나타낸다. 사용자(702)는 모션 캡처 데이터를 프로세싱하는데 컴퓨터 시스템(700)을 사용할 수 있다. 컴퓨터 시스템(700)은, 모션 캡처 데이터를 동기화하고 프로세싱하는, 안구 운동 데이터 대체 유닛(712)을 저장하고 실행한다.
도 7b는, 안구 운동 데이터 대체 유닛(712)을 포함하는, 도 7a에서의 컴퓨터 시스템(700)의 일 실시예의 블록도를 나타낸다. 컴퓨터 시스템(700)은 제어기(710), 메모리(720), 저장 공간(730), 미디어 디바이스(740), 사용자 인터페이스(750), I/O(input/output) 인터페이스(760), 및 네트워크 인터페이스(770)를 포함한다. 이러한 컴포넌트는 공통 버스(780)에 의해 상호 접속된다. 다른 방법으로, 제어기가 중앙에 위치하는 스타 패턴(star pattern)과 같은, 상이한 접속 구성이 사용될 수도 있다.
제어기(710)는 프로그램 가능한 프로세서이고, 컴퓨터 시스템(700) 및 그것의 컴포넌트 동작을 제어한다. 제어기(710)는 메모리(720) 또는 (도시되지 않음) 내장된 제어기 메모리로부터 명령어를 로드하고, 이 명령어를 실행하여 시스템을 제어한다. 그것의 실행시에, 제어기(710)는 소프트웨어 시스템으로서 안구 운동 데이터 대체 유닛(712)을 제공한다. 다른 방법으로, 이 서비스는 제어기(710) 또는 컴퓨터 시스템(700)의 별도 컴포넌트로서 구현될 수도 있다.
메모리(720)는 컴퓨터 시스템(700)의 나머지 컴포넌트에 의한 사용을 위해 데이터를 일시적으로 저장한다. 일 실시예에서, 메모리(720)는 RAM으로서 구현된 다. 일 실시예에서, 메모리(720)는, 플래시 메모리 및/또는 ROM과 같은, 장기 또는 영구 메모리도 포함한다.
저장 공간(730)은, 안구 운동 데이터 대체 유닛(712)에 의해 사용되는 데이터를 저장하기 위한 것과 같이, 컴퓨터 시스템(700)의 나머지 컴포넌트에 의한 사용을 위해 데이터를 일시적으로 또는 장기적으로 저장한다. 일 실시예에서, 저장 공간(730)은 하드 디스크 드라이브이다.
미디어 디바이스(740)는 분리형 미디어를 수취하고, 삽입된 미디어에 대해 데이터를 판독 및/또는 기입한다. 일 실시예에서, 미디어 디바이스(740)는 광학 디스크 드라이브이다.
사용자 인터페이스(750)는 컴퓨터 시스템(700)의 사용자로부터 사용자 입력을 수용하고 사용자에게 정보를 제시하기 위한 컴포넌트를 포함한다. 일 실시예에서, 사용자 인터페이스(750)는 키보드, 마우스, 오디오 스피커, 및 디스플레이를 포함한다. 제어기(710)는 사용자로부터의 입력을 사용해 컴퓨터 시스템(700)의 동작을 조정한다.
I/O 인터페이스(760)는, 외부 저장 공간 또는 보조 디바이스(예를 들어, 프린터 또는 PDA)와 같은, 대응되는 I/O 디바이스에 접속하기 위한 하나 이상의 I/O 포트를 포함한다. 일 실시예에서, I/O 인터페이스(760)의 포트는, USB 포트, PCMCIA 포트, 직렬 포트, 및/또는 병렬 포트와 같은, 포트를 포함한다. 다른 실시예에서, I/O 인터페이스(760)는 외부 디바이스와 무선으로 통신하기 위한 무선 인터페이스를 포함한다.
네트워크 인터페이스(770)는, 이더넷 접속을 지원하는 RJ-45 또는 "Wi-Fi" 인터페이스(802.11)와 같은, 유선 및/또는 무선 네트워크 접속을 포함한다.
컴퓨터 시스템(700)은 컴퓨터 시스템에 통상적인 추가 하드웨어 및 소프트웨어(예를 들어, 전력, 냉각, 오퍼레이팅 시스템)를 포함하지만, 이러한 컴포넌트가 도 7b에서는 간략화를 위해 도시되어 있지 않다. 다른 실시예에서는, 컴퓨터 시스템의 상이한 구성(예를 들어, 상이한 버스 또는 저장 구성이나 다중 프로세서 구성)이 사용될 수도 있다.
도 8은 안구 운동 데이터 대체 유닛(800)을 예시하는 블록도이다. 예시된 실시예에서, 안구 운동 데이터 대체 유닛(800)은, 모션 캡처 세션 직후에 애니메이터로부터 안구 운동 데이터를 캡처하는 애니메이터 안구 운동 캡처 유닛(810)을 포함한다. 유닛(800)은, 캡처 세션 동안에 캡처된 모션 캡처 데이터를 수신하고 액터로부터의 안구 운동 데이터를 애니메이터 안구 운동 캡처 유닛(810)으로부터 수신되는 애니메이터의 안구 운동 데이터로 대체하는 대체 유닛(820)도 포함한다. 대체 유닛(820)으로부터의 결과 출력은 "안구 더빙된" 모션 캡처 데이터이다.
본 발명의 다양한 설명적인 실시예가 기술되었다. 그러나, 당업자라면, 추가 실시예도 가능하다는 것과 그것이 본 발명의 범위내에 해당된다는 것을 알 수 있을 것이다. 예를 들어, (EOG 전극을 사용하는 이외의) 상이한 기술이, 가상 환경에 응답하여 애니메이터의 안구 운동을 캡처하는데 사용될 수도 있다. 일례로서, 하나 이상의 디지털 카메라가 VR 고글에 내장되어, 디스플레이되는 POV 이미지에 응답하여 애니메이터의 안구 운동을 광학적으로 캡처한다. 다른 예로서, 하나 이상의 디지털 카메라가 애니메이터의 안구 앞쪽에 배치되어, 투명 VR 고글을 통해 애니메이터의 안구 운동을 광학적으로 캡처한다. 더 나아가, 본 실시예들은 액터를 모션 캡처 세션 동안에 시연중인 것으로서 그리고 애니메이터를 후행 프로세싱 세션 동안에 시연중인 것으로서 설명하지만, 2개 용어는 제1 액터 및 제2 액터로서 교체 가능하거나 양자의 세션이 단일 액터에 의해 시연될 수도 있다.
따라서, 본 발명이 상술된 실시예들로만 제한되는 것은 아니다.

Claims (28)

  1. 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체로서,
    제2 액터(actor)에 대한 모션 데이터가 캡처된 모션 캡처 세션 직후에 제1 액터로부터 안구 운동 데이터를 캡처하는 단계 - 상기 제1 액터는 간섭 신호를 생성하는 안면 근육의 최소한의 운동으로 상기 안구 운동 데이터만을 생성하도록 시연함 - 와,
    상기 제1 액터로부터 캡처된 상기 안구 운동 데이터를 상기 모션 캡처 세션 동안에 획득된 모션 데이터와 조합하여 상기 제2 액터에 대한 안구 운동 데이터로서 표현하는 단계
    를 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체.
  2. 제1항에 있어서,
    상기 모션 캡처 세션 동안에 상기 제2 액터로부터 안구 운동 데이터를 캡처하는 단계를 더 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체.
  3. 제2항에 있어서,
    상기 제2 액터로부터 안구 운동 데이터를 캡처하는 단계는 EOG 전극을 사용해 상기 제2 액터의 안구 운동을 지시하는 신호를 측정하는 단계를 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체.
  4. 제1항에 있어서,
    상기 제2 액터의 POV(point of view) 이미지를 캡처하고 기록하는 단계를 더 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체.
  5. 제1항에 있어서,
    상기 제2 액터의 POV(point of view) 이미지를 생성하고 기록하는 단계를 더 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체.
  6. 제1항에 있어서,
    상기 제1 액터로부터 안구 운동 데이터를 캡처하는 단계는,
    상기 제1 액터에게 EOG 전극을 부착하는 단계와,
    상기 제2 액터의 POV 이미지를 VR 고글 쪽으로 다운로드하는 단계와,
    상기 EOG 전극으로부터의 신호를 사용해 상기 제1 액터의 안구 운동을 측정하는 단계
    를 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체.
  7. 제6항에 있어서,
    상기 모션 캡처 세션 동안 상기 제2 액터로부터 안구 운동 데이터를 캡처하는 단계를 더 포함하며,
    상기 제2 액터는 안면 근육을 활발하게 움직여 안면 운동 데이터를 생성하는, 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체.
  8. 제7항에 있어서,
    상기 제1 액터로부터 캡처된 상기 안구 운동 데이터를 표현하는 단계는,
    상기 제2 액터로부터 캡처된 상기 안구 운동 데이터를 상기 제1 액터로부터 캡처된 상기 안구 운동 데이터로 대체하는 단계를 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체.
  9. 삭제
  10. 삭제
  11. 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 실행 방법은,
    액터에 대한 안구 운동 데이터가 캡처된 모션 캡처 세션 직후에 애니메이터(animator)로부터 안구 운동 데이터를 캡처하는 단계 - 상기 애니메이터는 간섭 신호를 생성하는 안면 근육의 최소한의 운동으로 상기 안구 운동 데이터만을 생성하도록 시연중임 - 와,
    상기 모션 캡처 세션 동안에 상기 액터로부터 캡처된 안구 운동 데이터를 상기 애니메이터로부터 캡처된 상기 안구 운동 데이터로 대체하는 단계
    를 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체.
  12. 삭제
  13. 삭제
  14. 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체로서, 상기 방법은,
    액터에 대한 안구 운동 데이터가 캡처된 모션 캡처 세션 직후에 애니메이터로부터 안구 운동 데이터를 광학적으로 캡처하는 단계와,
    상기 모션 캡처 세션 동안에 상기 액터로부터 캡처된 안구 운동 데이터를 상기 애니메이터로부터 광학적으로 캡처된 상기 안구 운동 데이터로 대체하는 단계
    를 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하는 컴퓨터 실행 방법이 저장된 컴퓨터 판독 가능 저장 매체.
  15. 삭제
  16. 삭제
  17. 모션 캡처에서 안구 운동 데이터를 대체하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은,
    컴퓨터로 하여금,
    제2 액터에 대한 모션 데이터가 캡처된 모션 캡처 세션 직후에 제1 액터로부터 안구 운동 데이터를 캡처하게 하는 실행 가능 명령어를 포함하고,
    상기 제1 액터는 간섭 신호를 생성하는 안면 근육의 최소한의 운동으로 상기 안구 운동 데이터만을 생성하도록 시연하는, 모션 캡처에서 안구 운동 데이터를 대체하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
  18. 제17항에 있어서,
    컴퓨터로 하여금, 상기 제1 액터로부터 캡처된 상기 안구 운동 데이터를 상기 모션 캡처 세션 동안에 획득된 모션 데이터와 조합하여 상기 제2 액터에 대한 안구 운동 데이터로서 표현하도록 하는 실행 가능 명령어를 더 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
  19. 제17항에 있어서,
    컴퓨터로 하여금, 상기 모션 캡처 세션 동안에 상기 제2 액터로부터 안구 운동 데이터를 캡처하게 하는 실행 가능 명령어를 더 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
  20. 제19항에 있어서,
    컴퓨터로 하여금 상기 제2 액터로부터 안구 운동 데이터를 캡처하게 하는 실행 가능 명령어는, 컴퓨터로 하여금 상기 제2 액터의 안구 운동을 지시하는 EOG 전극 신호를 측정하게 하는 실행 가능 명령어를 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
  21. 제17항에 있어서,
    컴퓨터로 하여금 상기 제2 액터의 POV(point of view) 이미지를 캡처하고 기록하게 하는 실행 가능 명령어를 더 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
  22. 제17항에 있어서,
    컴퓨터로 하여금 상기 제2 액터의 POV 이미지를 생성하고 기록하게 하는 실행 가능 명령어를 더 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
  23. 제17항에 있어서,
    컴퓨터로 하여금 상기 제1 액터로부터 안구 운동 데이터를 캡처하게 하는 실행 가능 명령어는, 컴퓨터로 하여금,
    상기 제2 액터의 POV 이미지를 VR 고글 쪽으로 다운로드하게 하고,
    상기 제1 액터에 부착된 EOG 전극으로부터의 신호를 사용해 상기 제1 액터의 안구 운동을 측정하게 하는 실행 가능 명령어를 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
  24. 제23항에 있어서,
    컴퓨터로 하여금 상기 모션 캡처 세션 동안 상기 제2 액터로부터 안구 운동 데이터를 캡처하게 하는 실행 가능 명령어를 더 포함하고,
    상기 제2 액터는 안면 근육을 활발하게 움직여 안면 운동 데이터를 생성하는, 모션 캡처에서 안구 운동 데이터를 대체하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
  25. 제24항에 있어서,
    컴퓨터로 하여금 상기 제1 액터로부터 캡처된 상기 안구 운동 데이터를 표현하게 하는 실행 가능 명령어는 컴퓨터로 하여금 상기 제2 액터로부터 캡처된 상기 안구 운동 데이터를 상기 제1 액터로부터 캡처된 상기 안구 운동 데이터로 대체하게 하는 실행 가능 명령어를 포함하는, 모션 캡처에서 안구 운동 데이터를 대체하기 위한 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체.
  26. 모션 캡처에서의 안구 운동 데이터 대체 장치로서,
    제2 액터에 대한 모션 데이터가 캡처된 모션 캡처 세션 직후에 제1 액터로부터 안구 운동 데이터를 캡처하기 위한 수단 - 상기 제1 액터는 간섭 신호를 생성하는 안면 근육의 최소한의 운동으로 상기 안구 운동 데이터만을 생성하도록 시연중임 - 과,
    상기 모션 캡처 세션 동안에 상기 제2 액터로부터 캡처된 안구 운동 데이터를 상기 제1 액터로부터 캡처된 상기 안구 운동 데이터로 대체하기 위한 수단
    을 포함하는, 모션 캡처에서의 안구 운동 데이터 대체 장치.
  27. 삭제
  28. 삭제
KR1020087017921A 2005-12-23 2006-12-22 모션 캡처에서의 안구 운동 데이터 대체 장치 및 컴퓨터 판독 가능 저장 매체 KR101276429B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US75347605P 2005-12-23 2005-12-23
US60/753,476 2005-12-23
US11/614,872 2006-12-21
US11/614,872 US7764283B2 (en) 2005-12-23 2006-12-21 Eye movement data replacement in motion capture
PCT/US2006/062575 WO2007076489A2 (en) 2005-12-23 2006-12-22 Eye movement data replacement in motion capture

Publications (2)

Publication Number Publication Date
KR20080085181A KR20080085181A (ko) 2008-09-23
KR101276429B1 true KR101276429B1 (ko) 2013-06-19

Family

ID=38193055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087017921A KR101276429B1 (ko) 2005-12-23 2006-12-22 모션 캡처에서의 안구 운동 데이터 대체 장치 및 컴퓨터 판독 가능 저장 매체

Country Status (8)

Country Link
US (1) US7764283B2 (ko)
EP (1) EP1964068A2 (ko)
JP (1) JP5021676B2 (ko)
KR (1) KR101276429B1 (ko)
AU (1) AU2006330460B2 (ko)
CA (1) CA2634980A1 (ko)
NZ (1) NZ569288A (ko)
WO (1) WO2007076489A2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144153B1 (en) * 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
US8736616B2 (en) * 2009-09-15 2014-05-27 Sony Corporation Combining multi-sensory inputs for digital animation
JP7084375B2 (ja) 2016-08-17 2022-06-14 ペズ，ギド，ピー 電気化学的エネルギー変換及び貯蔵のためのシステム及び方法
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US20210034318A1 (en) * 2019-07-31 2021-02-04 Vspatial, Inc. Shared volume computing architecture of a virtual reality environment and related systems and methods

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6231187B1 (en) * 1999-02-11 2001-05-15 Queen's University At Kingston Method and apparatus for detecting eye movement
KR20050103244A (ko) * 2003-03-13 2005-10-27 소니 픽쳐스 엔터테인먼트, 인크. 디지털 안면 모델을 애니메이팅하기 위한 시스템 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0812706B2 (ja) * 1993-03-25 1996-02-07 株式会社エイ・ティ・アール通信システム研究所 視線アニメーション表示装置
JPH0830803A (ja) * 1994-07-12 1996-02-02 Nippon Telegr & Teleph Corp <Ntt> 人物動画編集装置
AU6998996A (en) * 1995-10-08 1997-05-15 Face Imaging Ltd. A method for the automatic computerized audio visual dubbing of movies
US6044168A (en) * 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
CA2227361A1 (en) * 1998-01-19 1999-07-19 Taarna Studios Inc. Method and apparatus for providing real-time animation utilizing a database of expressions
US6351269B1 (en) * 1998-04-17 2002-02-26 Adobe Systems Incorporated Multiple image morphing
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US6950104B1 (en) 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
GB2412431B (en) 2004-03-25 2007-11-07 Hewlett Packard Development Co Self-calibration for an eye tracker

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6231187B1 (en) * 1999-02-11 2001-05-15 Queen's University At Kingston Method and apparatus for detecting eye movement
KR20050103244A (ko) * 2003-03-13 2005-10-27 소니 픽쳐스 엔터테인먼트, 인크. 디지털 안면 모델을 애니메이팅하기 위한 시스템 및 방법

Also Published As

Publication number Publication date
EP1964068A2 (en) 2008-09-03
AU2006330460A1 (en) 2007-07-05
NZ569288A (en) 2011-06-30
WO2007076489A2 (en) 2007-07-05
KR20080085181A (ko) 2008-09-23
JP5021676B2 (ja) 2012-09-12
US7764283B2 (en) 2010-07-27
US20070146368A1 (en) 2007-06-28
WO2007076489A3 (en) 2008-04-17
AU2006330460B2 (en) 2012-05-24
JP2009521759A (ja) 2009-06-04
CA2634980A1 (en) 2007-07-05

Similar Documents

Publication Publication Date Title
KR101455403B1 (ko) 얼굴 모션 데이터 캡쳐링 및 처리
JP5468047B2 (ja) デジタル顔モデルのアニメーション化のためのシステム及び方法
US10812693B2 (en) Systems and methods for motion capture
CN106170083B (zh) 用于头戴式显示器设备的图像处理
WO2022062680A1 (zh) 动画生成方法、装置、系统及存储介质
AU2005291927B2 (en) System and method for tracking facial muscle and eye motion for computer graphics animation
JP5235891B2 (ja) モーションピクチャにおける表面キャプチャリング
JP2021534516A (ja) 眼鏡用仮想試着システム及び方法
KR101276429B1 (ko) 모션 캡처에서의 안구 운동 데이터 대체 장치 및 컴퓨터 판독 가능 저장 매체
GB2546589A (en) Virtual training system
Woodward et al. A low cost framework for real-time marker based 3-D human expression modeling
CN116457883A (zh) 3d环境中的内容回放和修改
Akinjala et al. Animating human movement & gestures on an agent using Microsoft kinect
Xuan et al. SpecTracle: Wearable Facial Motion Tracking from Unobtrusive Peripheral Cameras
Nel Low-Bandwidth transmission of body scan using skeletal animation
GFY HMD-Based Facial Performance Capture

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee