KR20070057997A - 컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적시스템 및 방법 - Google Patents

컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적시스템 및 방법 Download PDF

Info

Publication number
KR20070057997A
KR20070057997A KR1020077009860A KR20077009860A KR20070057997A KR 20070057997 A KR20070057997 A KR 20070057997A KR 1020077009860 A KR1020077009860 A KR 1020077009860A KR 20077009860 A KR20077009860 A KR 20077009860A KR 20070057997 A KR20070057997 A KR 20070057997A
Authority
KR
South Korea
Prior art keywords
actor
emg
eog
data
eye
Prior art date
Application number
KR1020077009860A
Other languages
English (en)
Other versions
KR100917486B1 (ko
Inventor
마르크 사가르
레밍톤 스캇
Original Assignee
소니 픽쳐스 엔터테인먼트, 인크.
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 픽쳐스 엔터테인먼트, 인크., 소니 가부시끼 가이샤 filed Critical 소니 픽쳐스 엔터테인먼트, 인크.
Publication of KR20070057997A publication Critical patent/KR20070057997A/ko
Application granted granted Critical
Publication of KR100917486B1 publication Critical patent/KR100917486B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrotherapy Devices (AREA)

Abstract

움직임 추적 시스템은 근육 움직임을 검출하기 위한 표면 근전도(EMG) 검출 방법 및 눈 움직임을 검출하기 위한 전기안구도(EOG) 검출 방법을 이용하여 미묘한 얼굴 및 눈 움직임을 정확하게 포착할 수 있다. 검출된 근육 및 눈 움직임에 대응하는 신호들은 행위자에 의해 수행되는 것과 동일한 움직임을 나타내기 위해 애니메이트된 캐릭터를 제어하는데 사용된다. 움직임 추적 애니메이션 시스템의 실시예는 각 근육에 대응하는 복수의 위치에서 행위자의 피부면에 부착된 복수의 EMG 전극 쌍을 포함하고, 프로세서는 복수의 EMG 전극 쌍에 연동 결합된다. 프로세서는 복수의 EMG 전극 쌍으로부터 EMG 데이터를 얻는 단계를 수행하기 위한 프로그래밍 명령어를 포함한다. EMG 데이터는 행위 동안 행위자의 근육 움직임에 대응하는 전기적 신호를 포함한다. 프로그래밍 명령어는 근육 움직임의 디지털 모델을 제공하기 위해 EMG 데이터를 처리하는 단계 및 디지털 모델을 애니메이트된 캐릭터로 맵핑하는 단계를 더 포함한다. 본 발명의 또 다른 실시예에서, 복수의 EOG 전극 쌍은 행위자의 눈에 인접한 위치에서 행위자의 피부면에 부착된다. 프로세서는 복수의 EOG 전극 쌍에 연동 결합되고, 복수의 EOG 전극 쌍으로부터 EOG 데이터를 획득하는 단계를 수행하기 위한 프로그래밍 명령어를 더 포함한다. EOG 데이터는 행위 동안 행위자의 눈 움직임에 대응하는 전기적 신호를 포함한다. 프로그래밍 명령어는 EOG 데이터를 처리하는 단계 및 처리된 EOG 데이터를 애니메이트된 캐릭터에 매핑하는 단계를 더 포함한다. 결과적으로, 애니메이트된 캐릭터는 행위자와 동일한 근육 및 눈 움직임을 나타낼 것이다.
근전도(electromyography; EMG) 전극, 전기안구도(electrooculogram; EOG) 전극, 움직임 추적 프로세서(motion tracking processor), 전극 인터페이스

Description

컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적 시스템 및 방법{SYSTEM AND METHOD FOR TRACKING FACIAL MUSCLE AND EYE MOTION FOR COMPUTER GRAPHICS ANIMATION}
본 특허 출원은 미국 특허법 119조(c)에 의거 다음의 임시 특허출원에 대한 우선권 주장을 수반한다: (a) 2004년 10월 4일 출원된 출원번호 60/616,049 "안면 및 눈 움직임을 포착하기 위한 시스템 및 방법(SYSTEM AND METHOD FOR CAPTURING FACIAL AND EYE MOTION)" (b) 2004년 10월 1일 출원된 출원번호 60/615,268 "가상의 얼굴 포착없이 안면 특성 움직임을 추적하는 방법(TRACKING OF FACIAL FEATURE MOVEMENTS WITHOUT VISUAL FACE CAPTURE)"
본 발명은 3차원 그래픽 및 애니메이션에 관한 것이고, 특히, 컴퓨터 그래픽 애니메이션 제작에 사용되는, 카메라를 사용하지 않고 행위자의 안면 및 눈 움직임의 포착을 가능하게 하는 움직임 추적 시스템에 관한 것이다.
움직임 포착 시스템은 실제 물체의 움직임을 포착하고 이를 컴퓨터 상의 물체로 맵핑하는데 사용된다. 이러한 시스템은, 동화상 및 비디오 게임의 제작에 종종 사용되어, 컴퓨터 그래픽(CG) 애니메이션을 제작하기 위해 소스 데이터로 사용되는 사람의 디지털 표현(representation)을 만들기 위한 도구로 이용되고 있다. 일반적인 시스템에서, 행위자는 다양한 위치에 부착된 마커(marker)를 가지는 (예컨대, 몸통 및 손발에 부착된 작은 반사 마커를 가지는) 옷을 입고, 디지털 카메라는 마커를 조명하는 동안 여러 각도에서 행위자의 움직임을 기록한다. 그 후, 이 시스템은 각 프레임에서의 행위자 옷에 있는 마커의 (예컨대, 공간 좌표와 같은) 위치 및 방위(orientation)를 판단하기 위해 영상 분석을 수행한다. 마커 위치를 추적함으로써, 시스템은 시간에 따른 마커의 공간 표현을 만들고 움직이는 행위자의 디지털 표현을 형성한다. 이러한 움직임이 디지털 모델에 적용되어, 행위자 및/또는 행위의 완벽한 CG 표현을 제작하기 위해 텍스쳐화(textured)되어 렌더링된다. 이러한 기술은 특수 효과 회사가, 인기있는 많은 영화들 속의 놀라울 정도로 현실적인 애니메이션을 제작하는데 사용되어 왔다.
움직임 추적 시스템은 행위자의 안면 움직임 및 표정(예컨대, 웃음, 울음, 미소 등)의 표현을 만들기 위해 행위자의 안면 움직임 특징을 추적하는데 또한 사용된다. 신체 움직임을 포착할 때와 같이, 마커는 행위자의 얼굴에 부착되고 카메라는 행위자의 표정을 기록한다. 안면 움직임은 신체 움직임과 관련된 큰 근육에 비해 상대적으로 작은 근육과 관련되므로, 안면 마커는 일반적으로 신체 마커보다 훨씬 작고, 카메라는 일반적으로 신체 움직임을 포착하는데 통상 사용되는 카메라보다 더 높은 해상도를 가진다. 일반적으로 카메라는 행위자의 물리적 움직임이 제한되는 공통 평면에 정렬되어, 카메라의 초점이 행위자의 얼굴에 맞춰져 유지된다. 안면 움직임 포착 시스템은, 균일하게 안면 마커를 조명하고 카메라와 얼굴 사이의 상대적 움직임 정도를 최소화하도록 하기 위해 행위자에 물리적으로 부착된 헬멧 또는 다른 기구에 합체될 수 있다.
키프레이밍(keyframing)과 같은 기존 애니메이션 기술에 비해 움직임 포착 시스템은 실시간 시각화(real-time visualization) 성능을 가지는 장점이 있다. 제작 팀은 행위자 움직임의 공간 표현을 실시간 또는 실시간에 가깝게 검토할 수 있고, 최적의 데이터를 포착하기 위해 행위자로 하여금 물리적 행동을 변경하도록 할 수 있다. 또한, 움직임 포착 시스템은 다른 애니메이션 기술을 사용해서는 쉽게 제작될 수 없는 미묘한 뉘앙스의 물리적 움직임을 검출하고, 실제 움직임을 좀 더 정확히 반영하는 데이터를 생산한다. 결과적으로, 움직임 포착 시스템을 이용하여 수집된 소스 재료를 이용하여 제작된 애니메이션은 좀 더 사실 같은 외관을 나타낸다.
이러한 움직임 포착 시스템의 장점에도 불구하고, 기존 움직임 포착 시스템의 단점은 눈 움직임을 포착할 수 없다는 점이다. 마커는 행위자의 눈에 부착될 수 없기 때문에, 눈 움직임은 움직임 포착 카메라에 검출되지 않는다. 이 눈 움직임은 따라서 후속의 CG 애니메이션 프로세스 동안 추가되어야 한다. 이로 인해 애니메이션 프로세스는 좀 더 어려워지고, 애니메이션 제작 결과는 행위 동안 발생하는 미묘한 눈 움직임을 포함하지 않기 때문에 덜 현실적이 된다.
카메라에 의존하는 기존 움직임 포착 시스템의 또 다른 단점은 행위자의 움직임 데이터가 다른 물체들, 이를 테면, 소품 또는 다른 행위자들의 방해로 차단될 수 있다는 점이다. 특히, 신체 또는 안면 마커의 일부가 디지털 카메라의 시야에서 가려진다면, 해당 신체 및 안면 부분에 대한 데이터는 수집되지 않는다. 그 결 과 움직임 데이터에 차단(occlusion) 또는 구멍이 생긴다. 이 차단된 부분은 기존 컴퓨터 그래픽 기술을 이용하여 추후의 제작 동안에 채워질 수 있지만, 채워진 데이터는 실제 움직임 데이터 질에 미치지 못하고, 관객이 식별할 수 있을 정도의 애니메이션 결함을 가져온다. 이러한 문제를 피하기 위해, 기존 움직임 포착 시스템은 한번에 포착될 수 있는 물체의 수를, 예컨대, 단일 행위자로 제한한다. 행위자가 행동하는 특성은 다른 행위자 및 물체들과의 상호작용에 종종 의존하기 때문에, 이러한 방법에서도 여전히 움직임 데이터는 덜 현실적으로 보이게 된다. 더욱이, 이러한 개별적인 행동들을 자연스럽게 보이는 형태로 합치는 것은 어렵다.
연예 산업 이외의 영역에서도, 시각 카메라에 의존하지 않고 안면 근육 및/또는 눈 움직임을 포착하거나 추적하는 것이 바람직한 많은 다른 상황이 있다. 예를 들어, 자동 언어 인식 장치, 액세스 제어 시스템, 개인 프로필에 대한 검색 시스템 및 전기적 저장소 및 의료/치과 스크리닝 시스템들은 이러한 분석 기술을 사용할 수 있다. 안면 특징의 분석을 활용하는 언어 인식 시스템은 청각 언어 인식만을 활용하기 힘든 시끄러운 환경, 예컨대, 군 항공기 또는 공장 안에서와 같은 곳에 널리 적용될 수 있다. 이러한 각각의 잠재적 응용 기술을 실현시키기에는 개별적인 안면 특징을 유용한 전자 데이터로 정확하게 변환하는 효과적인 수단이 현재 부족하다. 이것은 개개인이 검출 설비에 대한 안면 방위를 계속적으로 변화시키는 경우 특히 문제가 된다.
따라서, 이러한 문제들 및 종래 기술의 다른 단점들을 극복하는 움직임 추적 시스템을 마련할 필요가 있다. 특히, 카메라의 사용 없이도 행위자의 미묘한 안면 및 눈 움직임을 정확하게 포착할 수 있는 움직임 추적 시스템을 마련할 필요가 있다.
본 발명은 미묘한 안면 및 눈 움직임을 정확하게 포착할 수 있는 움직임 추적 시스템을 제공함으로써 종래 기술의 단점을 극복한다. 본 발명은 근육 움직임을 검출하기 위한 표면 근전도(electromyography: EMG) 검출 방법 및 눈 움직임을 검출하기 위한 전기안구도(electrooculogram: EOG) 검출 방법을 이용한다. 검출된 근육 및 눈 움직임에 대응하는 신호들은 행위자가 수행하는 것과 동일한 움직임을 나타내도록 애니메이트된 캐릭터를 제어하는데 사용된다.
특히, 움직임 추적 애니메이션 시스템의 실시예는 행위자의 피부면의 각 근육에 대응하는 복수의 위치에 부착된 복수의 근전도(EMG) 전극 쌍과, 복수의 EMG 전극 쌍에 연동 결합된 프로세서를 포함한다. 이 프로세서는 복수의 EMG 전극 쌍으로부터 EMG 데이터를 획득하는 기능을 수행하기 위한 프로그래밍 명령어들을 포함한다. EMG 데이터는 행위자가 행동하는 동안의 근육 움직임에 대응하는 전기적 신호를 포함한다. 프로그래밍 명령어는 근육 움직임의 디지털 모델을 제공하기 위해 EMG 데이터를 처리하는 단계 및 디지털 모델을 애니메이트된 캐릭터로 맵핑하는 단계를 더 포함한다. 결과적으로, 애니메이트된 캐릭터는 행위자와 동일한 근육 움직임을 보일 것이다.
본 발명의 일 실시예에서, 복수의 전기안구도(EOG) 전극 쌍은 행위자의 눈에 인접한 위치에서 행위자의 피부면에 부착된다. 프로세서는 복수의 EOG 전극 쌍에 연동 결합되고, 복수의 EOG 전극 쌍으로부터 EOG 데이터를 획득하는 단계를 수행하기 위한 프로그래밍 명령어들을 더 포함한다. EOG 데이터는 행위자가 행동하는 동안의 눈 움직임에 대응하는 전기적 신호를 포함한다. 프로그래밍 명령어는 EOG 데이터를 처리하는 단계 및 처리된 EOG 데이터를 애니메이트된 캐릭터로 맵핑하는 단계를 더 포함한다. 이로써 애니메이트된 캐릭터는 행위자와 동일한 눈 움직임을 보인다.
당업자라면 다음의 상세한 설명의 바람직한 실시예를 통해, 컴퓨터 그래픽 애니메이션 제작에 사용되는, 행위자의 안면 및 눈 움직임을 포착할 수 있는 움직임 추적 시스템을 완전히 이해할 수 있을 뿐만 아니라 추가적인 이점 및 목적을 알 수 있다. 우선 간략히 기술될 첨부된 도면에는 참조부가 매겨질 것이다.
도 1은 본 발명의 일 실시예에 따른 움직임 추적 시스템을 도시한 블록 다이어그램.
도 2는 예시적인 전극 배치 위치를 포함하는 사람 안면 근육 구조의 정면도.
도 3은 본 발명의 일 실시예에 따라 근전도(electromyography: EMG) 신호를 사용하여 애니메이션 프레임을 제작하는 방법을 나타낸 도면.
도 4는 EMG 신호를 처리하는 방법을 나타낸 도면.
도 5는 캘리브레이션 포즈(calibration pose)를 처리하는 방법을 나타낸 도면.
도 6은 각막(cornea) 및 안저(ocular fundus) 사이에 존재하는 전위차를 보 여주는 사람 눈의 측면 단면도.
도 7a 및 도 7b는 눈 움직임에 따른 전기장 측정을 보여주는 개략도.
도 8은 안면 근육 전극 및 눈 전위 전극이 부착된 행위자의 사진.
도 9는 도 8의 행위자로부터 얻어진 안면 근육 및 눈 움직임 데이터를 이용하여 표현된 애니메이트된 캐릭터(animated character)를 도시한 도면.
아래에서 더 기술되는 바와 같이, 본 발명은 카메라를 사용하지 않고 행위자의 미묘한 안면 및 눈 움직임을 정확히 포착할 수 있는 움직임 추적 시스템을 충족시킨다. 다음의 상세한 설명에서, 동일한 도면 부호는 하나 이상의 도면에 도시된 동일한 요소를 기술하는데 사용된다.
우선 도 1을 참조하면, 블록 다이어그램은 본 발명의 일 실시예에 따른 움직임 추적 시스템(100)을 도시한다. 움직임 추적 시스템(100)은 적합한 전극 인터페이스(112)를 통해 복수의 안면 근육 전극쌍 및 복수의 눈 움직임 전극쌍과 통신하도록 되어있는 움직임 추적 프로세서(108)를 포함한다. 움직임 추적 프로세서(108)는 관련 데이터 파일들을 저장할 수 있도록 되어있는 데이터 기억 장치(106)를 가지는 프로그램가능한 컴퓨터를 더 포함할 수 있다. 공지기술에서와 같이, 컴퓨터 그래픽 애니메이션을 만드는 과정에서 복수의 그래픽 아티스트들이 저장된 데이터 파일들을 가지고 작업을 할 수 있도록 하기 위해, 하나 이상의 컴퓨터 워크스테이션이 네트워크를 이용하여 움직임 추적 프로세서(108)에 결합될 수 있다. 움직임 추적 프로세서(108)는, Alias|WavefrontTM에 의해 판매되는 Maya® 소프트웨어 제품 종류 또는 다른 유사 제품들과 같은, 엔터테인먼트 산업용의 3D 그래픽 및 애니메이션 제조를 가능하게 하는 상업적 소프트웨어 패키지가 제공하는 컴퓨터 그래픽 애니메이션 시스템을 더 포함할 수 있다. 컴퓨터 그래픽 애니메이션 시스템은 움직임 추적 프로세서(108)로부터 완전히 분리된 컴퓨터 하드웨어 및 소프트웨어 시스템을 포함할 수 있거나, 이와 달리, 공용 하드웨어 및 소프트웨어 시스템의 부분으로서 (예컨대, "플러그인"으로서) 움직임 추적 프로세서(108)와 함께 통합될 수 있다.
근육 전극 쌍은 각각의 전기적 컨덕터(1161, 1181 부터 116N, 118N)를 통해 전극 인터페이스(112)에 결합되는 전극(1201, 1221 부터 120N, 122N)을 포함한다. 또한 접지 전극(126)은 전기적 컨덕터(124)를 통해 전극 인터페이스(112)에 결합된다. 본 발명의 바람직한 실시예에서, 근육 전극 쌍은, 근육이 관절을 구부릴 때 발생하는, 근육 표면을 따라 이동하는 탈분극파(depolarization wave)에 기인한 전압차를 측정하는 표면 근전도(EMG) 전극을 포함한다. 표면 전극에 의해 검출되는 신호는 일반적으로 5㎷정도의 범위에 있다. 전극은 전기적 임펄스의 예상되는 방향과 정렬되어야(하거나 또는 제외되어야 하는 임펄스들과 수직이어야) 한다.
눈 움직임 전극 쌍은 각각의 전기적 컨덕터(1361, 1381 부터 1362, 1382)를 통해 전극 인터페이스(112)에 결합되는 전극(1321, 1341 부터 1322, 1342)을 포함한 다. 또한 접지 전극(144)은 전기 컨덕터(142)를 통해 전극 인터페이스(112)에 결합된다. 본 발명의 바람직한 실시예에서, 눈 움직임은 눈들로부터 전기안구도(electro-oculogram: EOG)를 측정하고 획득함으로써 검출된다.
도 2는 예시적으로 지정된 안면 근육 위치에 EMG 전극 쌍을 가지는 안면 근육 시스템을 나타내는 사람 해부 모델(200)이다. EMG 전극 쌍은 각 근육 그룹으로부터 데이터를 포착하는데 사용된다. 예를 들어, 전극 쌍 위치 1L은 왼쪽 안 이마를 올리는 담당을 하는 근육에 대응하고, 전극 쌍 위치 2L은 왼쪽 바깥 이마를 올리는 담당을 하는 근육에 대응하며, 전극 쌍 위치 3은 이마를 내리는 담당을 하는 근육에 대응한다. 전극 쌍은 화장 풀(cosmetic glue)을 사용하는 것과 같은 공지 방법에 의해 행위자의 피부 표면의 지정된 위치에 부착된다. 행위자에 의한 대응 근육들의 움직임은 대응 전극들에 의해 검출되는 관련 전기적 신호를 만든다. 사람들마다 근육들이 약간씩 다르기 때문에, 최적의 데이터 집합을 얻기 위해서는 각 행위자에 대한 전극들의 위치를 찾고 배치하는 실험이 어느 정도 필요하다.
의료 기술 분야에서 알려진 대로, 상단 안면 근육은 눈썹, 이마 및 눈꺼플의 위아래의 외관을 변경하는 것을 담당한다. 안면 상부의 전두근(frontalis muscles)은 두개골 상의 정적 삽입점(static insertion point)을 향해 등장으로(isotonically) 수축하여, 표면 세포 조직(즉, 피부)이 근육의 방향과 수직으로 모아지고 주름질 수 있게 된다. 하단 안면 근육은, 입술에서 광대뼈로의 각 방향으로 수축하는 큰광대근(Zygomaticus major muscles), 원형 또는 타원형이고 눈 주위에 있는 눈둘레근(Obicularis Oculi muscles), 입 주위에 있는 입둘레 근(Obicularis Oris muscles), 귀를 향해 수평으로 수축하는 볼근(Buccinator muscle), 여러가지 잡다한 동작을 제어하는 다른 근육들을 포함하는 여러 개의 별개의 그룹들로 이루어진다. 입의 근육은 특히 복잡한 근육 상호작용을 가진다. 입둘레근은 뼈에 연결되지 않은 괄약근이다. 세가지 주요 근육, 즉, 거근(M. Levator), 상순근(Labii Superioris), 비익근(Alaeque Nasi)이 이로부터 연결되며, 반면 협근(Buccinator)은 입의 주요 결절에 연결되고 수평으로 수축한다. 억제근(Depressor), 입꼬리내림금(Anguli Oris), 아래입술내림근(Depressor Labii Inferioris) 및 턱끝근(Mentalis) 각각은 비스듬하게 또는 수직으로 수축한다. 안면 표정은 이러한 상단 및 하단 안면 근육의 복잡하게 결합된 움직임에 의해 형성된다.
도 2는 또한 EOG 전극 쌍의 예시적으로 지정된 위치를 나타낸다. 눈에 인접한 전극 쌍 위치 EO1 및 EO2는 눈의 왼쪽/오른쪽 움직임과 관련된 신호를 검출하는데 적합하다. 한 쪽 눈의 위아래의 전극 쌍 위치 EO3 및 EO4는 눈의 위/아래 움직임과 관련된 신호를 검출하는데 적합하다. 접지 전극 위치 GD는 이마 위에 위치한다. 접지 전극은 목, 어깨, 팔꿈치 등과 같이, 안면 근육의 동작 및 적용에 방해를 하지 않는 몸의 임의의 부위에 부착될 수 있다. 이마는 안면 근육 동작을 방해하지 않고 다른 전극들에 근접해 있기 때문에, 접지 전극에 대해 알맞은 위치가 된다. 제2 접지 전극이 EMG 전극에 대해 필요할 수 있고, 이 제2 접지 전극은 EOG 접지 전극과 동일한 영역에 위치할 수 있다. 행위자의 두 눈을 표시하는 쌍극자들은 평행하게 움직이기 때문에, 한 쪽 눈으로부터만 위/아래 움직임을 수집하면 된 다. EMG 전극들과 마찬가지로, EOG 전극들은 화장 풀을 이용하는 것과 같은 공지방법으로 행위자의 피부 표면의 지정된 위치에 부착된다.
도 6을 간단히 참조하면, 사람 눈(600)의 측면 단면도가 도시되어 있다. 각막(602)은 눈의 전면에 위치하고, 물체로부터 반사된 광선을 투과시키는 표면을 제공한다. 광선은 각막(602), 수정체(604), 및 유리체(612)에 의해 구부러지고, 굴절되며, 모아진다. 안저(ocular fundus, 608)는 눈의 오목 내부를 제공하는데, 이는 망막(606)을 포함한다. 수정체(604)는 물체의 영상을 망막(606) 상에 초점을 맞추고, 망막은 광선을 전기적 임펄스로 변환하고 시신경(610)을 통해 뇌로 전송한다. 종래 기술에서 알 수 있듯이, 각막(602) 및 안저(608) 사이에 전위가 존재한다. 이 전위는 측정가능한 전기장을 방출하는 쌍극자를 포함하는데, 이 전기장의 변화는 눈의 움직임과 관련된다.
도 7a 및 7b는 전극 쌍(1361, 1381)에 의해 둘러싸인 두 개의 쌍극자를 도시한다. 두 쌍극자는 행위자의 눈(600L, 600R)에 각각 대응한다. 도 7a에서 표시된 바와 같이, 쌍극자(즉, 눈)들이 앞 방향(forward direction)으로 마주하고 있을 때, 전극(1361, 1381) 사이에서 측정된 전기장은 0이다. 도 7b에서 쌍극자들은 오른쪽으로 지향되고, 따라서 전극(1361, 1381) 사이에서 양의 전기장을 유도한다. 접지에 대한 전극(1361, 1381) 사이의 전기장 변화는 적절한 눈의 위치 정보를 제공한다. 전기장은 앞 방향으로부터 대략 ±20°의 범위의 눈 움직임에 대하여 상당히 선형적으로 된다.
도 1로 돌아와서, 움직임 추적 프로세서(108)는 EMG 및 EOG 전극에 의해 검출된 신호의 증폭 및 신호 처리를 제공한다. EMG 전극에 대하여, 신호 처리는 수신된 신호를 정류(rectification)하는 것을 포함한다. 원 신호(raw signal)는 이상(biphasic)이기 때문에, 이의 평균 값은 0이다. 정류에 의해 전류는 한쪽 방향으로만 흐르고, 음의 부분을 제로 축 위로 "뒤집어서(flip)", 전체 신호를 양으로 만든다. EOG 전극으로부터 수신된 신호의 위상 요소는 눈의 방향을 결정하는데 중요하고, 따라서 이들 신호를 정류하지 않는 일은 없다. 신호 처리는 또한 수신된 신호의 선형 포락선 검파(linear envelope detection) 및 필터링을 포함할 수 있다. EMG 신호는 실제로 여러 신호들 및 일부 잡음의 합성이다. 이러한 전압은 다양한 속도 또는 주파수로 오르내리면서 주파수 스펙트럼을 형성한다. 움직임 추적 프로세서(108)는 합성 신호를 필터링하고 움직임 아티팩트(artifact)와 같은 의미없고 불필요한 전기적 신호를 제거할 수 있다. 대부분의 EMG는 20에서 200㎐사이의 주파수 범위 내에 있다. 움직임 아티팩트는 10㎐ 미만의 주파수를 가지고, 잡음은 바람직한 EMG 범위보다 높은 주파수 범위를 가진다. 따라서, 움직임 아티팩트 및 잡음은 해당 신호를 대역통과 필터에 통과시킴으로써 제거될 수 있다. 전극 인터페이스(112) 및/또는 움직임 추적 프로세서(108)는 신호 처리에 적합한 정도가 되도록 수신된 신호를 증폭할 수 있다. 본 발명의 실시예에서, 전극 인터페이스는 Run Technologies에 의해 제작된 Myopac 시스템에 의해 제공될 수 있다.
도 3은 본 발명의 일 실시예에 따라 안면 추적 방법 구현 예를 도시한다. 이 방법은 단계(302)에서 EMG 신호를 얻는 것으로 개시되며, 이는 상기 논의된 바 와 같이 얼굴의 특정 부위에 전극을 배치하는 것을 포함한다. 예를 들어, 전극은 선택된 안면 근육 그룹들 위에 배치될 수 있다. 따라서, 행위자가 표정을 지으면, 관련 안면 근육들은 안면 근육의 움직임에 따른 근육 작동 전위(muscle action potential)를 발생시킨다. 얻어진 EMG 신호는 잘 동작하는 신호로 만들어지기 위해 단계(304)에서 처리된다. EMG 신호 처리는 안면 표정의 각 프레임에 대한 복수의 EMG 채널들을 처리하는 것을 포함한다. n 차원 "표정 공간(expression space)"을 정의하는 캘리브레이션 표정 또는 포즈의 집합(set of calibration expressions or poses)은 단계(306)에서 생성된다. 캘리브레이션 표정 또는 포즈는, 캘리브레이션 포즈 및 EMG 채널 값의 매트릭스 프로덕트(product)를 나타내는 매트릭스를 만들어 수학적으로 표현될 수 있다. 각 캘리브레이션 표정을 만들기 위해서, 행위자는 수집된 데이터를 캘리브레이션하기 위해 특정 분리된 근육 그룹들을 움직이게 한다. 예를 들어, 행위자가 눈썹을 위로 움직이고, 관련 EMG 전극으로부터의 신호를 측정한다. 대응하는 움직임의 디지털 모델을 달성하기 위해 캘리브레이션 인자(factor)가 검출된 신호에 가해질 수 있다. EMG 전극들의 위치는 좀 더 강한 신호를 검출하거나 인접한 EMG 센서와의 혼선을 피하기 위해 약간 변경될 수 있다. 각각의 다른 근육 그룹에 대하여 동일한 프로세스가 반복된다.
단계(308)에서 각 표정 구성요소에 대한 가중 계수들(weighted coefficients)을 생성하기 위해 계속적인 행동에 의한 EMG 신호는 캘리브레이션 표정에 맞추어진다. 가중 계수(x)들은 방정식 F(x)=B의 x값을 풀면 나오는데, 여기서 F는 단계(306)에서 생성된 캘리브레이션 표정의 집합이고, B는 단계(304)에서 처리된 각 프레임에 대한 복수의 EMG 채널이다. 단계(310)에서 각 얼굴 표정 구성요소에 대하여, 얼굴의 아날로그 3D 컴퓨터 그래픽 모델이 생성된다. 3D 컴퓨터 그래픽 모델은 여러 파라미터 집합을 이용하여 동일한 얼굴 표정을 나타낸다. 예컨대, 외형 좌표가 얼굴 표정을 나타내기 위한 파라미터로 사용될 수 있다. 또 다른 예로, 근육 세기가 얼굴 표정을 나타내기 위한 파라미터로 사용될 수 있다. 단계(312)에서 가중 구성요소가 3D 컴퓨터 그래픽 모델과 결합되면, 원래의 얼굴 표정 구조에 매칭되는 얼굴 표정 구조가 나온다. 단계(314)에서 얼굴 표정의 최종 외형은 파라미터 집합으로 구성된 3D 컴퓨터 그래픽 모델 및 가중 구성요소의 합으로 표현되고, 애니메이션 프레임으로 렌더링된다.
도 4는 상기 단계(304)에서 기술된 EMG 신호의 처리를 위한 전기적 회로를 좀 더 자세하게 도시하는 블록 다이어그램이다. 단계(402)에서 EMG 신호는 이를테면, 상기에서 실질적으로 기술된 바와 같이 안면 근육 상에 위치한 전극들을 이용하여 획득된다. 획득된 아날로그 EMG 신호는 A/D 컨버터(404)를 통해 디지털 신호로 전환된다. 고주파 통과 필터(406)는 EMG 신호를 필터링하고 정류기(408)는 EMG 신호를 정류한다. 잡음 제거 회로(410)를 통해 잡음은 정류된 EMG 신호에서 제거된다. 잡음이 감소된 신호는 적분기(412)에 의해 적분되고, 저주파 통과 필터(414)에 의해 필터링된다. 마지막으로, EMG 채널 값은 프로세서(416)에 의해 처리된다.
도 5는 상기 단계(306)에서 기술된 캘리브레이션 표정을 생성하기 위한 프로세스를 좀 더 자세히 도시한 흐름도이다. 단계(502)는 캘리브레이션 포즈를 위한 EMG 신호의 획득을 수행한다. 획득된 EMG 신호는 단계(504)에서 처리된다. 그리고 단계(506)는 n 차원 "표정 공간(expression space)"을 정의하는 캘리브레이션 표정 또는 포즈의 집합을 생성한다. 상기 언급된 바와 같이, 캘리브레이션 표정 또는 포즈는, 캘리브레이션 포즈 및 EMG 채널 값의 매트릭스 프로덕트를 나타내는 매트릭스를 만들어 수학적으로 표현될 수 있다.
도 8에, 복수의 EMG 및 EOG 전극들을 얼굴에 부착한 실제 행위자가 나타나 있다. 전극을 행위자의 얼굴에 부착한 채로, 행위자는 원하는 행위를 할 수 있다. 전극으로부터의 전기적 신호는 전극 인터페이스(112)에 의해 수신되고 처리되며, 도 9에 나타난 바와 같이, 애니메이션으로 처리하고 저장하기 위해 움직임 추적 프로세서(108)로 전달된다.
전극 컨덕터 다발은 행위자의 움직임을 편하게 하기 위해 함께 묶여 있을 수 있다. 전극 인터페이스(112)는 움직임 추적 프로세서(108)와 통신하기 위해 수많은 신호들을 단일 컨덕터로 다중 송신(multiplex)할 수 있다. 전극 인터페이스(112)가 전기 또는 광섬유 컨덕터에 의해 움직임 추적 프로세서(108)로 연결되거나, 행위자가 좀 더 자유롭게 움직일 수 있도록 무선 커넥션이 활용될 수 있다. 이와 달리, 전극 인터페이스(112)는 하드 디스크 드라이브 또는 플래시 메모리 모듈과 같은 기억 장치를 포함할 수 있는데, 이는 행위 데이터가 지역적으로(locally) 저장되고, 추후에 움직임 트래킹 프로세서(108)로 다운로드되게 한다. 본 발명의 실시예에서, 전극 컨덕터 다발이 행위자의 머리 뒤를 향하고 척추를 따라 아래로 전극 인터페이스(112)로 향한 채로, 전극 인터페이스(112)는 행위자의 등에 운반될 수 있다. 또 다른 대안으로, 전극 인터페이스(112)는 행위자가 쓴 모자에 운반될 수 있고, 이는 행위자가 전극 컨덕터 다발의 방해를 받지 않고 머리와 목을 자유롭게 움직일 수 있게 한다. 전극 및 컨덕터는 행위자의 얼굴에 딱 맞는 플렉서블(flexible) 마스크에 합쳐질 수 있다.
움직임 추적 프로세서는 공지 기술을 이용하여 애니메이션 캐릭터의 디지털 모델을 제작할 것이다. 디지털 모델은, 3차원(3D) 영상 파일 또는 디지털 모델을 제작하기 위해 함께 모아진, 다양한 각도에서 행위자를 찍은 복수의 디지털 사진들에 기초할 수 있다. 3D 영상 파일을 제작하기 위한 소프트웨어 툴은 상기 논의된 바와 같이 공지되어 있다. 예를 들어, 3D 안면 구조는, 각각 안면 구조의 일부 표면을 정의하는 복수의 스프라인(spline) 표면으로부터 생성될 수 있다. 스프라인 표면은 집합적으로 "와이어 프레임(wire frame)"으로 불리우는 개개의 라인 조각으로부터 형성된다. 안면 구조는 피부면 아래에 있는 서브-퍼시(sub-facie) 구조를 나타낸다. 애니메이트된 캐릭터를 제작하기 위한 계속적인 애니메이션 프로세스의 일 부분으로서, 원하는 텍스쳐(texture) 및 색을 가지는 외부 표면 조직은 이 서브-퍼시 구조에 가해진다. 안면 구조 모양은 애니메이트된 캐릭터에 의해 형성된 얼굴 표정을 제어할 것이다.
디지털 모델이 생성되면, 가상의 안면 근육 구조가 디지털 모델의 안면 구조에 오버레이(overlay)된다. 사람의 안면 근육 구조는 의학 분야에서 잘 알려져 있고, 각 근육의 위치 및 상호접속은 디지털 모델에 쉽게 맵핑될 수 있다. 근육 작용은, 복수의 대응 정점(vertex)을 재배치하도록 선택된 근육 벡터 또는 근육 벡터 그룹을 압축함으로써 디지털 모델에서 구현되고 따라서 디지털 모델의 표면을 고친다. 행위자로부터 포착된 안면 및 눈 움직임 데이터는 디지털 모델의 각 근육 벡터에 맵핑된다. 결과적으로, 애니메이트된 디지털 모델은 포착된 행위와 동일한 안면 및 눈 움직임을 나타낸다. 행위자의 동작 및 표정은 임의의 다른 종류의 애니메이트된 얼굴, 이를 테면, 아이, 동물, 또는 다르게 생긴 어른 얼굴에 맵핑될 수 있다.
상기 기재된 바와 같이, 움직임 추적 시스템은 안면 근육 및 눈 동작에 가까운 조정을 가능하게 할 것이다. 예를 들어, 눈 깜박임은 눈을 둘러싸고 있는 근육들에 대한 EMG 데이터의 스파이크(spike)로 검출될 것이다. 스파이크가 검출되었을 때, 애니메이션 프로세스는 이 데이터와 일치하도록 눈 깜박임을 집어넣을 수 있다. 이것은 애니메이션 결과의 사실성을 현저히 높인다. 본 발명의 구현은 카메라 또는 움직임 포착 용량을 필요로 하지 않기 때문에, 상기 기술된 움직임 추적 시스템은 기존의 안면 움직임 추적 시스템에 비해 장점을 가진다. 이것은 추적되어야 하는 얼굴이 시야에서 사라지더라도 구현을 할 수 있다는 것을 의미한다. 또한, 본 발명의 구현은, 최종 외형에 관계없이, 자동으로 포착 움직임을 근육 동작으로 파라미터화하고, 따라서 안면 움직임 포착 리-타겟팅(re-targeting)을 도와준다.
상기 기술은 안면 근육 움직임의 포착에 대해서만 설시하고 있지만, 신체 근육 움직임을 포착하는데 동일한 기술이 적용될 수 있다. 전극 쌍은 상기 안면 근육에 관해 기술된 것과 동일 방법으로 다양한 신체 근육 그룹에 부착될 수 있다. 마찬가지로, 행위자 신체에 전극을 부착시키는 것을 정확하고 쉽게 하기 위해, EMG 전극들이 배치된 몸에 맞는 신체 복장을 마련할 수 있다. 이러한 형태의 신체 근육 포착은, 관절의 회전에 더하여 근육 주름도 포착될 수 있다는 점에서, 시각 시스템을 이용하는 기존의 움직임 포착에 비해 훨씬 개선된 것이 될 수 있다. 이것은 사람 움직임의 좀더 실제 같은 애니메이션을 가져온다.
상기 기술된 눈 움직임 프로세스는 움직임을 포착하기 위해 시각 데이터를 사용하는 기존 움직임 포착 시스템과 함께 역시 사용될 수 있다. 눈 움직임은 시각적으로 포착된 신체와 동기화될 수 있고, 안면 움직임도 상기 기술된 것과 동일한 방법으로 동기화될 수 있다. 또한, 종래 시각 움직임 포착 시스템과 함께 사용되는 EMG 데이터 포착 시스템은 행위에 대하여 향상된 데이터를 제공하고, 행위 동안 시각 방해로 인해 시각 데이터가 제외된 경우 때때로 사용될 수 있다.
이상에서는 카메라의 사용없이 행위자의 안면 및 눈 움직임을 포착할 수 있는 시스템 및 방법의 바람직한 실시예를 기술하였으므로, 당업자라면 본 발명의 장점을 알 수 있을 것이다. 또한 본 발명의 범위 및 사상의 범위 내에서 다양한 수정, 변경, 및 대체 실시예를 고려할 수 있다. 본 발명은 다음의 청구항을 통해 정의된다.

Claims (16)

  1. 움직임 추적 애니메이션(motion tracking animation) 시스템으로서,
    행위자의 피부면의 각 근육들에 대응하는 복수의 위치에 부착된 복수의 근전도(electromyography: EMG) 전극 쌍; 및
    상기 복수의 EMG 전극 쌍에 연동(operatively) 결합된 프로세서
    를 포함하며,
    상기 프로세서는
    상기 복수의 EMG 전극 쌍으로부터 EMG 데이터를 획득하는 단계 - 상기 EMG 데이터는 상기 행위자가 행동하는 동안의 근육 움직임에 대응하는 전기적 신호를 포함함 -;
    상기 근육 움직임의 디지털 모델을 제공하기 위해 상기 EMG 데이터를 처리하는 단계; 및
    상기 디지털 모델을 애니메이트된 캐릭터(animated character)로 매핑하는 단계 - 상기 애니메이트된 캐릭터는 행위자와 동일한 근육 움직임을 보이게 됨 -
    를 수행하기 위한 프로그래밍 명령어들을 포함하는, 움직임 추적 애니메이션 시스템.
  2. 제1항에 있어서,
    상기 처리하는 단계는 상기 처리된 EMG 데이터에 부분적으로 기초하여 캘리브레이션 포즈 집합(set of calibration poses)을 생성하는 단계를 더 포함하는, 시스템.
  3. 제1항에 있어서,
    상기 획득하는 단계는 상기 전기적 신호를 정류하거나 필터링하거나 또는 정류 및 필터링 모두를 수행하는 단계를 더 포함하는, 시스템.
  4. 제1항에 있어서,
    상기 프로세서는 컴퓨터 그래픽 애니메이션 프로세서를 더 포함하는, 시스템.
  5. 제1항에 있어서,
    상기 복수의 EMG 전극들에 결합된 전극 인터페이스를 더 포함하고, 상기 전극 인터페이스는 상기 프로세서에 합성(composite) 신호를 제공하는, 시스템.
  6. 제5항에 있어서,
    상기 전극 인터페이스는 상기 행위자의 신체에 지니도록 되어있는, 시스템.
  7. 제5항에 있어서,
    상기 전극 인터페이스는 상기 행위자의 신체에 지니도록 되어있는, 시스템.
  8. 제5항에 있어서,
    상기 전극 인터페이스는 상기 프로세서로의 무선 접속부를 갖는, 시스템.
  9. 제1항에 있어서,
    상기 행위자의 눈에 인접한 위치에서 상기 행위자의 피부면에 부착되도록 된 복수의 전기안구도(electrooculogram; EOG) 전극 쌍을 더 포함하고, 상기 프로세서는 상기 복수의 EOG 전극 쌍에 연동 결합되며,
    상기 프로세서는
    상기 복수의 EOG 전극 쌍으로부터 EOG 데이터를 획득하는 단계 - 상기 EOG 데이터는 상기 행위자가 행동하는 동안의 눈 움직임에 대응하는 전기적 신호를 포함함 -;
    상기 EOG 데이터를 처리하는 단계; 및
    상기 처리된 EOG 데이터를 상기 애니메이트된 캐릭터로 매핑하는 단계 - 상기 애니메이트된 캐릭터는 상기 행위자와 동일한 눈 움직임을 보이게 됨 -
    를 수행하기 위한 프로그래밍 명령어들을 포함하는, 시스템.
  10. 제9항에 있어서,
    상기 EOG 전극들은 눈 움직임에 의해 만들어진 전기장 변화를 검출하는, 시 스템.
  11. 움직임 추적을 이용한 애니메이팅(animating) 방법으로서,
    행위자의 피부면의 각 근육에 대응하는 복수의 위치에 복수의 근전도(EMG) 전극 쌍을 부착시키는 단계;
    상기 복수의 EMG 전극 쌍으로부터 EMG 데이터를 획득하는 단계 - 상기 EMG 데이터는 상기 행위자가 행동하는 동안의 근육 움직임에 대응하는 전기적 신호를 포함함 -;
    상기 근육 움직임의 디지털 모델을 제공하기 위해 상기 EMG 데이터를 처리하는 단계; 및
    상기 디지털 모델을 애니메이트된 캐릭터로 매핑하는 단계 - 상기 애니메이트된 캐릭터는 상기 행위자와 동일한 근육 움직임을 보이게 됨 -
    를 포함하는, 움직임 추적을 이용한 애니메이팅 방법.
  12. 제11항에 있어서,
    상기 처리하는 단계는 상기 처리된 EMG 데이터에 부분적으로 기초하여 캘리브레이션 포즈 집합을 생성하는 단계를 더 포함하는, 방법.
  13. 제11항에 있어서,
    상기 획득하는 단계는 상기 전기적 신호를 정류하거나 필터링하거나 또는 정 류 및 필터링 모두를 수행하는 단계를 더 포함하는, 방법.
  14. 제11항에 있어서,
    상기 복수의 EMG 전극에 연동 결합된 전극 인터페이스를 상기 행위자의 신체에 지니게 하는 단계를 더 포함하는, 방법.
  15. 제11항에 있어서,
    상기 행위자의 피부면의 상기 행위자의 눈에 인접한 위치들에 복수의 전기안구도(EOG) 전극 쌍을 부착하는 단계를 더 포함하는, 방법.
  16. 제15항에 있어서,
    상기 복수의 EOG 전극 쌍으로부터 EOG 데이터를 획득하는 단계 - 상기 EOG 데이터는 상기 행위자가 행동하는 동안의 눈 움직임에 대응하는 전기적 신호를 포함함 -;
    상기 EOG 데이터를 처리하는 단계; 및
    상기 처리된 EOG 데이터를 상기 애니메이트된 캐릭터로 매핑하는 단계 - 상기 애니메이트된 캐릭터는 상기 행위자와 동일한 눈 움직임을 보이게 됨 -
    를 더 포함하는, 방법.
KR1020077009860A 2004-10-01 2005-09-29 컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적시스템 및 방법 KR100917486B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US61526804P 2004-10-01 2004-10-01
US60/615,268 2004-10-01
US61604904P 2004-10-04 2004-10-04
US60/616,049 2004-10-04
US10/984,488 US7554549B2 (en) 2004-10-01 2004-11-08 System and method for tracking facial muscle and eye motion for computer graphics animation
US10/984,488 2004-11-08

Publications (2)

Publication Number Publication Date
KR20070057997A true KR20070057997A (ko) 2007-06-07
KR100917486B1 KR100917486B1 (ko) 2009-09-16

Family

ID=36143086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077009860A KR100917486B1 (ko) 2004-10-01 2005-09-29 컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적시스템 및 방법

Country Status (8)

Country Link
US (1) US7554549B2 (ko)
EP (1) EP1797537B1 (ko)
JP (2) JP5047798B2 (ko)
KR (1) KR100917486B1 (ko)
AU (1) AU2005291927B2 (ko)
CA (1) CA2582451C (ko)
NZ (1) NZ554589A (ko)
WO (1) WO2006039497A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456695B1 (ko) * 2012-09-21 2014-11-04 연세대학교 산학협력단 교합력 측정 시스템
KR101633057B1 (ko) * 2015-04-22 2016-06-23 재단법인 실감교류인체감응솔루션연구단 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법
US9454839B2 (en) 2011-06-30 2016-09-27 Samsung Electronics Co., Ltd. Method and apparatus for expressing rigid area based on expression control points
KR20200119546A (ko) * 2019-04-10 2020-10-20 한양대학교 산학협력단 전자 장치, 아바타 얼굴 표정 표시 시스템 및 제어 방법
KR20210059162A (ko) * 2019-11-14 2021-05-25 한국생산기술연구원 안면의 동적 움직임 획득을 위한 마스크 및 이의 작동방법

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8654815B1 (en) 2004-04-02 2014-02-18 Rearden, Llc System and method for distributed antenna wireless communications
US10277290B2 (en) 2004-04-02 2019-04-30 Rearden, Llc Systems and methods to exploit areas of coherence in wireless systems
US9826537B2 (en) 2004-04-02 2017-11-21 Rearden, Llc System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters
US10425134B2 (en) 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US9819403B2 (en) 2004-04-02 2017-11-14 Rearden, Llc System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client
GB2438783B8 (en) 2005-03-16 2011-12-28 Lucasfilm Entertainment Co Ltd Three-dimensional motion capture
US7830384B1 (en) * 2005-04-27 2010-11-09 Image Metrics Limited Animating graphical objects using input video
US8659668B2 (en) 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US7978081B2 (en) 2006-01-09 2011-07-12 Applied Technology Holdings, Inc. Apparatus, systems, and methods for communicating biometric and biomechanical information
CN101473352A (zh) * 2006-04-24 2009-07-01 索尼株式会社 表演驱动的脸部动画
US7961947B2 (en) * 2006-07-28 2011-06-14 Sony Corporation FACS cleaning in motion capture
US8542236B2 (en) * 2007-01-16 2013-09-24 Lucasfilm Entertainment Company Ltd. Generating animation libraries
US8130225B2 (en) * 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
US8199152B2 (en) * 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US20080221487A1 (en) * 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
WO2008135863A2 (en) * 2007-05-03 2008-11-13 Motek Bv Method and system for real tlme interactive dynamic alignment of prosthetics
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
US9037530B2 (en) 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US8170656B2 (en) * 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US9325972B2 (en) 2008-09-29 2016-04-26 Two Pic Mc Llc Actor-mounted motion capture camera
US8289443B2 (en) * 2008-09-29 2012-10-16 Two Pic Mc Llc Mounting and bracket for an actor-mounted motion capture camera system
US9390516B2 (en) * 2008-09-29 2016-07-12 Two Pic Mc Llc Asynchronous streaming of data for validation
AU2009330607B2 (en) * 2008-12-04 2015-04-09 Cubic Corporation System and methods for dynamically injecting expression information into an animated facial mesh
US9142024B2 (en) * 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
US9275487B1 (en) * 2009-04-08 2016-03-01 Pixar Animation Studios System and method for performing non-affine deformations
JP5545574B2 (ja) * 2009-07-15 2014-07-09 国立大学法人 筑波大学 分類推定システムおよび分類推定プログラム
WO2011020446A1 (en) * 2009-08-21 2011-02-24 The Chinese University Of Hong Kong Systems and methods for reproducing body motions via networks
US8736616B2 (en) * 2009-09-15 2014-05-27 Sony Corporation Combining multi-sensory inputs for digital animation
KR101119618B1 (ko) 2011-01-31 2012-03-13 김응수 혀와 턱 운동을 이용한 의사 전달 시스템 및 운용 방법
JP2013048717A (ja) * 2011-08-31 2013-03-14 Sony Corp 画像処理装置及び方法、記録媒体、並びにプログラム
US9508176B2 (en) 2011-11-18 2016-11-29 Lucasfilm Entertainment Company Ltd. Path and speed based character control
US11189917B2 (en) 2014-04-16 2021-11-30 Rearden, Llc Systems and methods for distributing radioheads
WO2014113621A1 (en) * 2013-01-18 2014-07-24 Augment Medical, Inc. Gesture-based communication systems and methods for communicating with healthcare personnel
US9923657B2 (en) 2013-03-12 2018-03-20 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US9973246B2 (en) 2013-03-12 2018-05-15 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US10488535B2 (en) 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US10547358B2 (en) 2013-03-15 2020-01-28 Rearden, Llc Systems and methods for radio frequency calibration exploiting channel reciprocity in distributed input distributed output wireless communications
US10048748B2 (en) * 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
WO2016070653A1 (en) 2014-11-07 2016-05-12 Beijing Zhigu Rui Tuo Tech Co., Ltd. Dominant eye determining method and device
CA2975124C (en) * 2015-01-31 2024-02-13 Brian Lee Moffat Control of a computer via distortions of facial geometry
US20180107275A1 (en) * 2015-04-13 2018-04-19 Empire Technology Development Llc Detecting facial expressions
GB2537644A (en) * 2015-04-22 2016-10-26 Tintro Ltd Electronic equipment for the treatment and care of living beings
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
US10055948B2 (en) 2015-11-30 2018-08-21 Nike, Inc. Apparel with ultrasonic position sensing and haptic feedback for activities
WO2017184274A1 (en) * 2016-04-18 2017-10-26 Alpha Computing, Inc. System and method for determining and modeling user expression within a head mounted display
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
CN107518895B (zh) * 2016-06-22 2020-07-17 宁波工程学院 面向康复训练的同一肌肉检测方法
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US10515474B2 (en) 2017-01-19 2019-12-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
WO2018146558A2 (en) 2017-02-07 2018-08-16 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision and tracking
US10812693B2 (en) 2017-10-20 2020-10-20 Lucasfilm Entertainment Company Ltd. Systems and methods for motion capture
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
WO2019157360A1 (en) 2018-02-09 2019-08-15 Starkey Laboratories, Inc. Use of periauricular muscle signals to estimate a direction of a user's auditory attention locus
US20200090392A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Facial Expression Generation with Data Fusion
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11393149B2 (en) * 2020-07-02 2022-07-19 Unity Technologies Sf Generating an animation rig for use in animating a computer-generated character based on facial scans of an actor and a muscle model
CN113855019B (zh) * 2021-08-25 2023-12-29 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4320768A (en) * 1979-07-17 1982-03-23 Georgetown University Medical Center Computerized electro-oculographic (CEOG) system
US4690142A (en) * 1980-12-10 1987-09-01 Ross Sidney A Method and system for utilizing electro-neuro stimulation in a bio-feedback system
CA1213329A (en) * 1983-10-14 1986-10-28 Roger Broughton Muscle tone detector for sleep analysis
US4836219A (en) * 1987-07-08 1989-06-06 President & Fellows Of Harvard College Electronic sleep monitor headgear
EP0301790A3 (en) * 1987-07-24 1990-06-06 BioControl Systems, Inc. Biopotential digital controller for music and video applications
JP2648682B2 (ja) * 1992-07-17 1997-09-03 正重 古川 表情要素コードの再生表示及び情緒・表情の加工・発生装置
US5517021A (en) * 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JP3455921B2 (ja) * 1993-12-24 2003-10-14 日本電信電話株式会社 発声代行装置
JPH0934630A (ja) * 1995-07-13 1997-02-07 Suzuki Motor Corp コンピュータ入力装置
US5694939A (en) * 1995-10-03 1997-12-09 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Autogenic-feedback training exercise (AFTE) method and system
US6026321A (en) 1997-04-02 2000-02-15 Suzuki Motor Corporation Apparatus and system for measuring electrical potential variations in human body
US6324296B1 (en) 1997-12-04 2001-11-27 Phasespace, Inc. Distributed-processing motion tracking system for tracking individually modulated light points
US6032072A (en) * 1998-01-30 2000-02-29 Aspect Medical Systems, Inc. Method for enhancing and separating biopotential signals
US6249292B1 (en) * 1998-05-04 2001-06-19 Compaq Computer Corporation Technique for controlling a presentation of a computer generated object having a plurality of movable components
AU6043099A (en) * 1998-09-14 2000-04-03 Rutgers, The State University Of New Jersey Prosthetic, orthotic, and other rehabilitative robotic assistive devices actuated by smart materials
US6774885B1 (en) * 1999-01-20 2004-08-10 Motek B.V. System for dynamic registration, evaluation, and correction of functional human behavior
US6079829A (en) * 1999-11-04 2000-06-27 Bullwinkel; Paul E. Fiber optic eye-tracking system utilizing out-of-band light source
AU2001249517A1 (en) * 2000-03-27 2001-10-08 Massachusetts General Hospital Method and system for viewing kinematic and kinetic information
US6673027B2 (en) * 2000-04-13 2004-01-06 Peter Fischer Posture measurement and feedback instrument for seated occupations
US7925354B2 (en) * 2000-05-26 2011-04-12 Second Sight Medical Products, Inc. Video processing methods for improving visual acuity and/or perceived image resolution
US6720984B1 (en) * 2000-06-13 2004-04-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Characterization of bioelectric potentials
US6788333B1 (en) 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
FR2811792B1 (fr) * 2000-07-13 2002-12-06 France Telecom Procede d'animation faciale
AU2002223296A1 (en) * 2000-11-27 2002-06-03 Ding Huang Modeling object interactions and facial expressions
US20020188216A1 (en) * 2001-05-03 2002-12-12 Kayyali Hani Akram Head mounted medical device
US7012637B1 (en) 2001-07-27 2006-03-14 Be Here Corporation Capture structure for alignment of multi-camera capture systems
US20030215130A1 (en) 2002-02-12 2003-11-20 The University Of Tokyo Method of processing passive optical motion capture data
US7012634B2 (en) 2002-03-28 2006-03-14 Eastman Kodak Company System and method for calibrating an image capture device
US6702691B2 (en) 2002-08-12 2004-03-09 Callaway Golf Company Static pose fixture
US20040092801A1 (en) * 2002-11-13 2004-05-13 Budimir Drakulic System for, and method of, acquiring physiological signals of a patient
US7106358B2 (en) 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7068277B2 (en) * 2003-03-13 2006-06-27 Sony Corporation System and method for animating a digital facial model
US20050261559A1 (en) * 2004-05-18 2005-11-24 Mumford John R Wireless physiological monitoring system
US7447541B2 (en) * 2004-06-30 2008-11-04 Instrumentarium Corporation Monitoring subcortical responsiveness of a patient

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454839B2 (en) 2011-06-30 2016-09-27 Samsung Electronics Co., Ltd. Method and apparatus for expressing rigid area based on expression control points
KR101456695B1 (ko) * 2012-09-21 2014-11-04 연세대학교 산학협력단 교합력 측정 시스템
KR101633057B1 (ko) * 2015-04-22 2016-06-23 재단법인 실감교류인체감응솔루션연구단 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법
KR20200119546A (ko) * 2019-04-10 2020-10-20 한양대학교 산학협력단 전자 장치, 아바타 얼굴 표정 표시 시스템 및 제어 방법
US11106899B2 (en) 2019-04-10 2021-08-31 Industry University Cooperation Foundation Hanyang University Electronic device, avatar facial expression system and controlling method thereof
KR20210059162A (ko) * 2019-11-14 2021-05-25 한국생산기술연구원 안면의 동적 움직임 획득을 위한 마스크 및 이의 작동방법

Also Published As

Publication number Publication date
JP5047798B2 (ja) 2012-10-10
JP2011108281A (ja) 2011-06-02
JP5662203B2 (ja) 2015-01-28
AU2005291927B2 (en) 2009-11-12
EP1797537B1 (en) 2016-08-24
NZ554589A (en) 2010-09-30
AU2005291927A1 (en) 2006-04-13
EP1797537A4 (en) 2011-10-26
CA2582451A1 (en) 2006-04-13
EP1797537A2 (en) 2007-06-20
KR100917486B1 (ko) 2009-09-16
CA2582451C (en) 2012-03-06
US7554549B2 (en) 2009-06-30
WO2006039497A2 (en) 2006-04-13
JP2008515113A (ja) 2008-05-08
WO2006039497A3 (en) 2007-04-05
US20060071934A1 (en) 2006-04-06

Similar Documents

Publication Publication Date Title
KR100917486B1 (ko) 컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적시스템 및 방법
AU2006282764B2 (en) Capturing and processing facial motion data
JP5468047B2 (ja) デジタル顔モデルのアニメーション化のためのシステム及び方法
Lee et al. Realistic modeling for facial animation
KR101323966B1 (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
CN108369653A (zh) 使用眼睛特征的眼睛姿态识别
CN109313486A (zh) 脑波虚拟现实设备和方法
CN101069214A (zh) 为计算机图形动画制作跟踪面部肌肉和眼睛运动的系统和方法
US11055892B1 (en) Systems and methods for generating a skull surface for computer animation
Bach et al. Using interactive immersive VR/AR for the therapy of phantom limb pain
JPH0738873A (ja) 人物像の実時間認識合成方法
JP5021676B2 (ja) モーションキャプチャにおける眼球運動データ置換
KR102075079B1 (ko) 하이브리드 카메라 기반 동작 추적 장치 및 그 방법
Ami-Williams et al. Digitizing traditional dances under extreme clothing: The case study of eyo
Hamilton Facial Animation Driven by X-Ray Microbeam Data
Borghese Virtual reality and neural networks
GFY HMD-Based Facial Performance Capture

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120824

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130826

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140822

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150824

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180824

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190828

Year of fee payment: 11