KR101633057B1 - 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법 - Google Patents

헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법 Download PDF

Info

Publication number
KR101633057B1
KR101633057B1 KR1020150056698A KR20150056698A KR101633057B1 KR 101633057 B1 KR101633057 B1 KR 101633057B1 KR 1020150056698 A KR1020150056698 A KR 1020150056698A KR 20150056698 A KR20150056698 A KR 20150056698A KR 101633057 B1 KR101633057 B1 KR 101633057B1
Authority
KR
South Korea
Prior art keywords
wearer
measuring
motion
facial
face
Prior art date
Application number
KR1020150056698A
Other languages
English (en)
Inventor
권정흠
호메 데스티니
유범재
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to KR1020150056698A priority Critical patent/KR101633057B1/ko
Application granted granted Critical
Publication of KR101633057B1 publication Critical patent/KR101633057B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 눈 주위에 착용자의 얼굴과 접착하는 접착면을 구비한 헤드 마운트 디스플레이 장치에 있어서, 상기 접착면에 안전도를 측정하는 전극(EOG: electrooculogram, 이하 EOG)과 근전도를 측정하는 전극(EMG: electromyogram, 이하 EMG)을 구비한 것을 특징으로 하는 헤드 마운트 디스플레이 장치를 제공한다.
본 발명에 의하면, HMD에 의해 착용자의 얼굴이 가려짐에도 착용자의 표정을 확인할 수 있는 효과가 있다.

Description

헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법{Facial Motion Capture Method for Head-Mounted Display System}
본 발명은 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법 및 헤드 마운트 디스플레이 장치에 관한 발명으로서, 헤드 마운트 착용자의 표정 확인, 착용자의 아바타에 표정 반영, 착용자 구분 등을 위하여 헤드 마운트 착용자 얼굴의 움직임을 정밀하게 측정하는 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법 및 헤드 마운트 디스플레이 장치에 관한 발명이다.
헤드 마운티드 디스플레이 장치(HMD: Head-Mounted Display, 이하 HMD)는 착용자에게 영상을 제공하기 위하여 착용자의 안면에 착용하는 디스플레이 장치이다.
도 1은 HMD의 일 예의 사시도이다. HMD(100)는 착용자의 두 눈들 각각의 전면에 배치된 2개의 소형 디스플레이 광학 기구(120)를 갖는다. 각각의 디스플레이 광학 기구(120)는 양 눈에 서로 다른 영상을 제공하여 착용자가 시각 콘텐츠를 3차원적으로 볼 수 있도록 한다. 현재 군사용, 상업용 및 소비자 시장들에서 유통되고 있는 HDM 장치들은 한 쌍의 고글(goggle)/글래스 타입 또는 사용자의 헤드에 착용하는 헬멧(helmet) 타입이다. 현재 HMD 기술은 시각적인 몰입감을 제공하기 위해 사용자의 머리 위치를 실시간으로 감지하고 그 데이터를 이용한 영상처리의 고속화, 보다 현실적인 영상을 제공하기 위하여 디스플레이의 화질 개선이 빠르게 진행 중이다. HMD는 전기를 사용하기 때문에 전력선(130)으로 전력을 공급받을 수도 있으나, 내장된 축전지를 사용할 수도 있다.
HMD는 착용자 눈에 보이는 일부 환경을 가상현실 시스템을 통해 재구성하여 마치 착용자가 현실 세계가 아닌 다른 환경에 존재하는 착각을 제공할 수 있다. 따라서 이 기술은 가상현실과 상호작용할 수 있는 장치로 쓰일 수 있다. 이러한 하드웨어의 기술 고도화와 더불어 HMD를 이용한 콘텐츠 개발도 함께 진행되고 있다. 특히 휴먼-인터랙션 분야에서는 인간의 감성을 센싱하여 콘텐츠에 적용하거나 나를 대신하는 가상의 아바타를 다른 공간에 전송하여 원격의 사용자와 상호작용이 가능하도록 하는 기술도 함께 개발되고 있다. 특히 로컬 사용자의 전신을 센싱하여 원격지에 나를 대신하는 아바타를 조작하는 시도가 최근 이루어지고 있으나 몰입감 제공을 위하여 사용자의 눈 주위 전체를 덮어야 하는 HMD만의 외형적 한계로 인하여 사용자의 표정을 인식하여 표현하는 방법은 아직까지 전무하다.
본 발명은 이러한 HMD의 외형적 특성의 한계를 극복하여 사용자의 얼굴 근육의 움직임을 센싱하는 방법으로 HMD를 착용한 사용자의 표정을 인식하고 이를 아바타에 표현하는 방법이 필요하다.
한국공개특허 10-2013-0001102
본 발명은 HMD를 착용하여 안면이 가려진 상태에서 착용자의 얼굴 표정에 관한 정보를 추출하는데에 그 목적이 있다.
본 발명의 일 측면에 의하면, 눈 주위에 착용자의 얼굴과 접착하는 접착면을 구비한 헤드 마운트 디스플레이 장치에 있어서, 상기 접착면에 안전도를 측정하는 전극(EOG: electrooculogram, 이하 EOG)과 근전도를 측정하는 전극(EMG: electromyogram, 이하 EMG)을 구비한 것을 특징으로 하는 헤드 마운트 디스플레이 장치를 제공한다.
여기서, 상기 EOG는 상기 접착면 상에 상기 착용자의 눈과 같은 높이에 구비된 수평 EOG와 상기 착용자의 얼굴 중심으로부터 착용자의 눈과 같은 거리만큼 떨어진 위치인 상기 접착면 상에 구비된 수직 EOG일 수 있다.
여기서, 상기 수직 EOG는 한쪽 눈 위치에만 구비될 수 있다.
여기서, 상기 EOG는 두 눈의 위치를 측정하는 기준 EOG를 더 구비할 수 있다.
여기서, 상기 EMG는 상기 접착면의 주변에 환형으로 구비될 수 있다.
여기서, 상기 EMG는 상기 접착면에 2행으로 구비될 수 있다.
여기서, 상기 헤드 마운트 디스플레이 장치는 상기 착용자의 얼굴을 찍는 카메라를 하단에 구비할 수 있다.
여기서, 상기 접착면은 상기 착용자의 코 부위가 개방된 개방구를 구비할 수 있다.
여기서, 상기 EMG 및 상기 EOG로부터 전기신호를 수신하여, 얼굴의 움직임을 연산하는 연산부를 더 포함할 수 있다.
여기서, 상기 EMG, 상기 EOG 및 상기 카메라로부터 전기신호를 수신하여, 얼굴의 움직임을 연산하는 연산부를 더 포함할 수 있다.
본 발명의 또 다른 측면에 의하면, 착용자에게 가상현실을 제공하는 헤드 마운트 디스플레이어가 상기 착용자의 얼굴 표정을 인식하는 방법에 있어서, 상기 착용자의 얼굴 근육 움직임을 측정하는 안면움직임 측정단계; 상기 착용자의 안전도를 측정하는 전극(EOG: electrooculogram, 이하 EOG)으로부터 전기신호를 입력받아서 상기 착용자의 눈의 움직임을 측정하는 안구방향 측정단계; 상기 얼굴 근육 움직임과 상기 눈의 움직임을 결합하여 얼굴움직임을 측정하는 얼굴움직임 측정단계; 및 상기 얼굴움직임을 가상현실 내의 아바타의 얼굴움직임을 변환시키기 위한 파라미터로 변환시키는 안면파라미터 생성단계를 포함하는 것을 특징으로 하는 얼굴 모션 캡쳐 방법을 제공한다.
여기서, 착용자 하안의 사진을 입력받는 사진입력단계; 및 상기 하안 사진으로부터 상기 착용자를 인식하고 유저 정보를 호출하는 유저정보 호출단계를 상기 안면 움직임 측정단계 이전에 수행할 수 있다.
여기서, 상기 안면 움직임 측정단계는 근전도를 측정하는 전극(EMG: electromyogram, 이하 EMG)으로부터 전기신호를 입력받아서 상기 EMG 각각에 해당하는 근육의 움직임을 측정하는 상안측정단계; 및 상기 착용자의 입술 사진을 입력받아서 입주변 근육의 움직임을 측정하는 하안측정단계일 수 있다.
여기서, 상기 안면 움직임 측정단계는, 상기 상안측정단계에서 측정된 값과 상기 하안측정단계에서 측정된 값을 결합할 수 있다.
본 발명에 의하면, HMD에 의해 착용자의 얼굴이 가려짐에도 착용자의 표정을 확인할 수 있는 효과가 있다.
본 발명에 의하면, 얼굴 근육의 움직임을 정교하게 측정할 수 있다.
본 발명에 의하면, 가상현실에 있는 착용자의 아바타의 표정을 착용자의 표정과 같게 표현할 수 있다.
본 발명에 의하면, 착용자의 신원을 확인할 수 있다.
본 발명에 의하면, 착용자의 감정이나 시선을 확인할 수 있다.
도 1은 HMD의 일 형태를 나타낸 사시도이다.
도 2는 본 발명의 일 실시예에 따른 HMD를 착용면에서 바라본 정면도이다.
도 3은 본 발명의 일 실시예에 따른 HMD를 착용면에서 바라본 정면 사진이다.
도 4는 본 발명의 일 실시예에 따른 HMD를 사용하여 얼굴 모션 캡쳐 방법을 나타낸 순서도이다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 일방적으로 시각적 정보를 제공하기만 하던 HMD의 개량형으로서착용자와 접착하는 접착면을 얼굴 전면에 구비하고 접착면에 근육의 움직임을 확인할 수 있는 안전도(眼電圖)를 측정할 수 있는 전극(EOG: Electrooculogram, 이하 EOG)와 근전도(筋電圖)를 측정할 수 있는 전극(EMG: Electromyogram, 이하 EMG)을 부착하여 HMD착용자의 표정을 측정하는 헤드 마운트 디스플레이 장치를 제공한다.
도 2는 본 발명의 일 실시예에 따른 HMD를 착용면에서 바라본 정면도이다.
눈 주위에 착용자의 얼굴과 접착하는 접착면(210)을 구비한 헤드 마운트 디스플레이 장치(200)에 있어서, 상기 접착면(210)에 안전도를 측정하는 전극(EOG: electrooculogram, 이하 EOG; 220, 230, 235)과 근전도를 측정하는 전극(EMG: electromyogram, 이하 EMG; 250, 250)을 구비한 것을 특징으로 하는 헤드 마운트 디스플레이 장치를 제공한다.
EOG(220, 230, 235)은 한 쌍이 부착되어 양단간의 전극을 측정한다. 안구는 부착된 근육 및 구조가 방향성을 가지므로 안구가 가지는 전극도 방향성을 가진 쌍극자이다. 따라서 안구의 회전 방향에 따라 안구의 쌍극자가 회전하고 이 쌍극자 양단에 전극을 걸어주어 변화를 측정하면 안구의 방향을 측정할 수 있다. 한 쌍의 전극은 하나의 전극 변화를 산출하므로 하나의 방향(Coordinate)만을 특정할 수 있다. 따라서 안구의 방향을 설정하려면 상하, 좌우의 두가지 방향을 설정하여야 하므로 기본적으로 두 쌍의 EOG(220, 230)가 구비된다.
EMG(250, 250)는 근육이 수축하는 순간의 전기의 세기를 측정한다. 하나의 근육에 대하여 하나의 EMG(250, 250)가 부착되며 하나의 수치가 산출된다. 이때 전기의 세기는 근육을 수축하기 위하여 자극하는 전기의 세기를 의미할 뿐 해당 자극으로 인해 근육이 얼마나 움직이는지를 나타내는 것이 아니다. 따라서 근육의 움직임을 알기 위해서는 전기 세기에 따른 근육 움직임의 크기를 반영하여야 한다. 후술할 연산부는 전기의 세기에 따라 각 근육의 움직인 세기를 근육별로 저장하여 입력된 근전도의 크기를 환산할 수 있다.
상기 EOG(220, 230, 235)는 상기 접착면(210) 상에 상기 착용자의 눈과 같은 높이에 구비된 수평 EOG(220)와 상기 착용자의 얼굴 중심으로부터 착용자의 눈과 같은 거리만큼 떨어진 위치인 상기 접착면(210) 상에 구비된 수직 EOG(230)일 수 있다. EOG(220, 230, 235)는 눈이 일종의 쌍극자라는 점을 이용하여 눈 상하, 좌우에 부착되어 눈의 상하, 좌우 방향의 회전을 감지할 수 있다. 따라서 EOG(220, 230, 235)는 눈을 중심으로 상하에 부착되어 상하 움직임을 측정하는 수직 EOG(230)와 눈을 중심으로 좌우에 부착된 수평 EOG(220)일 수 있다.
수평 EOG(220)의 경우 한 눈의 양단에 부착되는 것이 바람직하다. 그러나 눈이 동시에 같은 방향으로 같은 양만큼 회전하므로, 두 눈의 서로 반대방향에 한 개씩 부착되는 것으로 대신할 수 있다. 접착면(210)이 눈 사이에 구비되는 경우 착용감이 나빠지기 쉽다. 따라서 접착면(210)은 얼굴의 외측에 구비된다. 이 접착면(210) 상, 두 눈의 외측면(왼쪽 눈의 왼쪽과 오른쪽 눈의 오른쪽)에 EOG를 부착하면 눈의 왼측면과 오른측면에 각각 전극을 연결한 것이 되어 눈의 좌우 회전을 측정할 수 있다.
상기 수직 EOG(230)는 한쪽 눈 위치에만 구비될 수 있다. 한쪽 눈의 상하 움직임만을 측정하는 것으로 양 눈의 움직임을 대신할 수 있기 때문이다.
상기 EOG는 두 눈의 위치를 측정하는 기준 EOG(235)를 더 구비할 수 있다. 착용자에 따라 눈의 위치가 상이할 수 있으므로, 수평 EOG(220)와 수직 EOG(230)를 이외에도 기준 EOG(235)를 구비하여 눈의 위치가 기설정된 위치에서 얼마나 벗어나 있는지 확인하여 측정치를 보정할 수 있다.
상기 EMG(250, 250)는 상기 접착면(210)의 주변에 환형으로 구비될 수 있다. EMG(250, 250)는 안면 전반에 퍼져있는 근육의 움직임을 측정한다. 근육은 수축 또는 이완만 할 수 있다. 따라서 이완된 위치에서 수축된 위치로만 얼굴 형태를 변환시킬 수 있다. 얼굴 근육은 일반적으로 한 부위에 하나의 근육이 수축되어 형태를 변환시키므로 HMD는 얼굴 전반에 걸쳐 하나씩의 EMG(250, 250)만을 구비하는 것으로 해당 부위의 움직임을 측정하는데에 충분하다. 특히 얼굴 형태를 주로 변화시키는 눈 주위와 광대뼈 주변의 근육의 움직임을 측정할 수 있도록 눈 위를 상단으로 광대뼈를 하단으로 하는 환형으로 EMG(250, 250)를 구비한다.
상기 EMG(250)는 2행으로 구비될 수 있다. 얼굴 근육은 양측에 각기 다른 근육이 있어서 다양하게 움직일 수 있다. 따라서 EMG(250)는 특정부위의 양측의 근육을 모두 측정해야 해당부위의 움직임을 정밀하게 측정할 수 있다. 따라서 접착면(210)에 부착된 EMG(250)는 2열로 구비하여 근육의 움직임을 측정해야 한다.
상기 헤드 마운트 디스플레이 장치(200)는 상기 착용자의 얼굴을 찍는 카메라(260)를 하단에 구비할 수 있다. 광대뼈 주위와 눈썹의 움직임을 측정하기 위하여 접착면(210)은 코를 중심 하단으로 하여 광대뼈와 눈썹을 상하 양 끝단으로 하는 환형으로 구비된다. 따라서 표정의 주된 구성요소라 할 수 있는 입모양은 EMG(250, 250)로 측정되지 못한다.
입모양을 별개의 EMG로 측정할 수도 있겠으나, 착용의 불편함 및 제작의 어려움이 있으므로, 카메라 영상을 분석하여 측정한다. 헤드 마운트 디스플레이 장치의 하단에 입을 찍을 수 있는 카메라(260)를 부착하여 입모양의 영상을 촬영한다. 이때 카메라(260)는 밝기에 상관없이 영상을 얻기 위하여 적외선, 또는 근적외선 카메라일 수 있다. 이 영상을 안면형태회귀분석(Facial shape regression)을 사용하여 3D 또는 2D상의 움직임 영상으로 변환시킨 값을 사용하여 하안의 움직임을 측정할 수 있다.
여기서, 상기 접착면(210)은 상기 착용자의 코 부위가 개방된 개방구를 구비할 수 있다. 접착면(210)은 광대뼈를 지나야 하므로, 필연적으로 양 광대뼈를 잇는 부분인 코를 가로지른다. 코는 근육을 움직여서 직접 움직일 수 없으므로 EMG(250, 250)로 측정할 필요가 없고, 코로 HMD(200)를 지탱할 수 있도록 접착면(210)은 코 부위에 개방구를 구비할 수 있다.
여기서, 상기 EMG(250, 250) 및 상기 EOG(220, 230, 235)로부터 전기신호를 수신하여, 얼굴의 움직임을 연산하는 연산부를 더 포함할 수 있다. EMG(250, 250)로부터 수신한 전기신호로부터 얼굴 각 부분에 있는 근육들의 움직임을 알 수 있다. 이를 기준으로 근육의 수축신호의 강도를 기준으로 실제 움직임을 연산한다. 근육의 크기 및 구조에 따라 수축신호의 세기가 곧바로 움직인 거리와 비례하지는 않기 때문이다. 각 근육의 움직임을 연산한 값을 기준으로 착용자의 표정 변화를 예측할 수 있으며, 가상 세계에서 착용자를 나타내는 아바타의 표정을 결정할 수 있다.
얼굴 각 부분의 움직임과 함께 표정을 결정짓는 것이 눈이다. 눈에서 안구의 위치는 시선을 결정짓는데, EOG(220, 230)는 안구의 방향을 측정할 수 있으므로 이를 표정 변화에 반영한다. 또한, 아바타의 시선의 방향을 결정할 수 있다.
여기서, 상기 EMG(250, 250), 상기 EOG(220, 230, 235) 및 상기 카메라로부터 전기신호를 수신하여, 얼굴의 움직임을 연산하는 연산부(미도시)를 더 포함할 수 있다. 얼굴 근육들과 시선이 결정되어도 입의 모양이 반영되지 않았다. 카메라(260)로부터 수신한 입의 모양을 분석하여 입술의 형태 변화를 반영하여 표정 변화를 측정한다. 가상 세계에서 착용자를 나타내는 아바타의 표정을 결정할 수 있다.
도 3은 본 발명의 일 실시예에 따른 HMD를 착용면에서 바라본 정면 사진이다.
도 2에서 나타낸 헤드 마운트 디스플레이 장치(200)의 실물 사진이다. 얼굴과 HMD가 접촉하는 부분에 폼(Foam) 재질의 접착면(210)을 부착하고 접착면(210)에는 연산부로 전기신호를 제공하며 착용자의 안면에 접촉하여 근전도 또는 안전도를 측정하는 EMG 및 EOG가 부착된다. EMG와 EOG의 접착상태를 유지하기 위하여 헤어벤드가 추가로 헤드 마운트 디스플레이 장치(200)에 구비될 수 있다.
도 4는 본 발명의 일 실시예에 따른 HMD를 사용하여 얼굴 모션 캡쳐 방법을 나타낸 순서도이다.
착용자에게 가상현실을 제공하는 헤드 마운트 디스플레이어가 상기 착용자의 얼굴 표정을 인식하는 방법에 있어서, 상기 착용자의 얼굴 근육 움직임을 측정하는 안면 움직임 측정단계(S425)상기 착용자의 안전도를 측정하는 전극(EOG: electrooculogram, 이하 EOG)으로부터 전기신호를 입력받아서 상기 착용자의 눈의 움직임을 측정하는 안구방향 측정단계(S450)상기 얼굴 근육 움직임과 상기 눈의 움직임을 결합하여 얼굴움직임을 측정하는 얼굴움직임 측정단계(S460)및 상기 얼굴움직임을 가상현실 내의 아바타의 얼굴움직임을 변환시키기 위한 파라미터로 변환시키는 안면파라미터 생성단계(S470)를 포함하는 것을 특징으로 하는 얼굴 모션 캡쳐 방법을 제공한다.
HMD의 전극들로부터 전기신호를 입력받아서 안면움직임 및 착용자의 눈의 움직임을 측정한다.(S425, S450) 각각 다른 장치에서 측정된 값으로 연산하는 것이므로 이들 값을 연산함에 있어서 어느 것을 먼저 연산하여도 무방하다.
안면 움직임 측정단계(S425)는 얼굴 각 근육 부위에 접하는 근전도를 측정하는 전극(EMG: electromyogram, 이하 EMG)으로부터 근육에 작용하는 전압을 측정하고, 이 전압에 의해 근육이 움직인 양을 계산하여 안면 움직임을 측정한다. 근육에 작용하는 전압이 있다면 근육이 움직이겠지만, 그 세기가 반드시 비례한 것은 아니므로 기측정된 전압과 근육의 움직임 간의 상관관계를 이용하여 근육의 움직임 양을 계산할 수 있다.
눈의 움직임을 측정한다.(S450) 안구는 후면과 전면에 전극의 크기가 상이한 쌍극자이다. 따라서 안구에 한쪽 방향의 전극을 걸어줄 경우 안구의 방향에 따라 계측되는 전극의 크기가 달라진다. 따라서 눈 양측에 전극을 측정하면 안구의 방향을 측정할 수 있다.
눈의 움직임과 안면움직임을 결합하여 얼굴움직임을 예측한다.(S460) 안면의 움직임과 눈의 움직임의 영상은 분절적인 전기신호를 기반으로 측정되므로, 연속적인 동작으로 보이지 않을 수 있다. 따라서 연화 필터(smooth filter)와 같은 처리로 움직임이 부드럽게 연결되도록 하고 머신 런닝(machine learning)을 하여 움직임을 분석, 결합할 수 있다.
HMD를 착용자가 착용할 때 항상 같은 부위에 전극이 닿도록 착용한다는 보장이 없다. 또한, 전극에 대응하는 얼굴 위치가 변했을 수도 있다. 따라서 안면의 움직임을 측정함에 앞서서, 착용자 하안의 사진을 입력받는 사진입력단계(S410)및 상기 하안 사진으로부터 상기 하안의 대칭성을 확인하여 착용상태를 점검하거나, 기저장된 착용자의 유저정보를 호출하는 단계(S420)를 수행한다. 이때, 착용자의 하안의 모양을 근거로 기저장된 하안 영상과 비교하여 유저정보를 구분할 수 있다.
표정을 결정하는 파라미터로 변환한다.(S470) 여기서 파라미터는 가상 세계에서 아바타의 얼굴의 각 부위가 움직이는 형태를 결정짓는 정보로서 눈의 방향, 얼굴 각 부위의 움직인 거리(위치)에 대한 정보이다. 이 파라미터를 이용하여 가상 세계에 있는 아바타의 얼굴 각 부위를 움직임으로써 착용자의 표정이 드러나도록 할 수 있다.
상기 안면 움직임 측정단계(S425)는 EMG으로부터 전기신호를 입력받아서 상기 EMG 각각에 해당하는 근육의 움직임을 측정하는 상안측정단계(S430)및 상기 착용자의 입술 사진을 입력받아서 입주변 근육의 움직임을 측정하는 하안 측정단계(S440)일 수 있다. 안면 움직임은 근전도로 측정할 수 있는 눈 주위와 근전도로 측정할 수 없어서 사진을 찍고 이 사진을 분석하여 측정할 수 있는 입주변으로 나눌 수 있다. 따라서 각각의 신호를 수신하여 각각 분석하여 상안과 하안의 움직임을 계산한다.
상기 안면 움직임 측정단계(S425)는 상기 상안측정단계(S430)에서 측정된 값과 상기 하안측정단계(S440)에서 측정된 값을 결합할 수 있다.
하안의 움직임은 카메라로 촬영된 영상을 안면형태회귀분석(2D,3D facial shape regression)을 사용하여 하안의 움직임을 정량화하여 측정할 수 있다.
결합시 상안의 움직임이 표정을 더 명확히 드러내므로 상안의 움직임에 가중치를 두어 결합할 수 있다.
이렇게 측정된 표정 값의 전형적인 패턴을 수집하여 착용자의 감정을 확인하는 것이 가능하며, EOG를 분석하여 안구의 방향을 측정할 수 있으므로 시선을 확인할 수 있다.
200: 헤드 마운트 디스플레이 장치 210: 접착면
220: 수평 EOG 230: 수직 EOG
235: 기준 EOG 250: EMG
260: 카메라

Claims (14)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 착용자에게 가상현실을 제공하는 헤드 마운트 디스플레이어가 상기 착용자의 얼굴 모션 캡쳐 방법에 있어서,
    상기 착용자의 얼굴 근육 움직임을 측정하는 안면움직임 측정단계;
    상기 착용자의 안전도를 측정하는 전극(EOG: electrooculogram, 이하 EOG)으로부터 전기신호를 입력받아서 상기 착용자의 눈의 움직임을 측정하는 안구방향 측정단계;
    상기 얼굴 근육 움직임과 상기 눈의 움직임을 결합하여 얼굴움직임을 측정하는 얼굴움직임 측정단계; 및
    상기 얼굴움직임을 가상현실 내의 아바타의 얼굴움직임을 변환시키기 위한 파라미터로 변환시키는 안면파라미터 생성단계;를 포함하되,
    상기 안면 움직임 측정단계는 근전도를 측정하는 전극(EMG: electromyogram, 이하 EMG)으로부터 전기신호를 입력받아서 상기 EMG 각각에 해당하는 근육의 움직임을 측정하는 상안측정단계; 및
    상기 착용자의 입술 사진을 입력받아서 입주변 근육의 움직임을 측정하는 하안측정단계인 것을 특징으로 하는 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법.
  12. 제11항에 있어서,
    착용자 하안의 사진을 입력받는 사진입력단계; 및
    상기 하안의 사진과 기저장된 사용자 정보를 비교하여 상기 착용자를 구분하고 해당하는 유저정보를 호출하는 유저정보 호출단계
    를 상기 안면 움직임 측정단계 이전에 수행하는 것을 특징으로 하는 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법.
  13. 삭제
  14. 제11항에 있어서,
    상기 안면 움직임 측정단계는,
    상기 상안측정단계에서 측정된 값과 상기 하안측정단계에서 측정된 값을 결합하는 것을 특징으로 하는 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법.

KR1020150056698A 2015-04-22 2015-04-22 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법 KR101633057B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150056698A KR101633057B1 (ko) 2015-04-22 2015-04-22 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150056698A KR101633057B1 (ko) 2015-04-22 2015-04-22 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법

Publications (1)

Publication Number Publication Date
KR101633057B1 true KR101633057B1 (ko) 2016-06-23

Family

ID=56353511

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150056698A KR101633057B1 (ko) 2015-04-22 2015-04-22 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법

Country Status (1)

Country Link
KR (1) KR101633057B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180056231A (ko) * 2016-11-18 2018-05-28 현대자동차주식회사 운전자 졸음 표정감지 장치, 그를 포함하는 시스템 및 그 방법
CN110198665A (zh) * 2016-11-16 2019-09-03 三星电子株式会社 电子设备及其控制方法
EP3527127A4 (en) * 2016-11-16 2019-11-20 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
KR20200007162A (ko) * 2018-07-12 2020-01-22 한양대학교 산학협력단 근전도 신호를 이용하는 감정 인식 방법 및 장치
KR20200043318A (ko) * 2020-04-07 2020-04-27 홍석우 안구 운동 및 감정 기반 ｈｍｄ
WO2020236147A1 (en) * 2019-05-20 2020-11-26 Hewlett-Packard Development Company, L.P. Signal combination of physiological sensor signals
KR20210035421A (ko) * 2019-09-24 2021-04-01 한양대학교 산학협력단 Hmd 착용자의 시선 추적 방법 및 착용자의 시선을 추적하는 헤드 마운트 디스플레이 장치
KR20210059162A (ko) * 2019-11-14 2021-05-25 한국생산기술연구원 안면의 동적 움직임 획득을 위한 마스크 및 이의 작동방법
CN113855019A (zh) * 2021-08-25 2021-12-31 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置
CN113924542A (zh) * 2019-06-14 2022-01-11 惠普发展公司， 有限责任合伙企业 用于确定情绪状态的头戴式耳机信号
KR20220014254A (ko) 2020-07-28 2022-02-04 박가람 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템
US11435826B2 (en) 2016-11-16 2022-09-06 Samsung Electronics Co., Ltd. Electronic device and control method thereof
US11768379B2 (en) 2020-03-17 2023-09-26 Apple Inc. Electronic device with facial sensors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001501346A (ja) * 1997-02-06 2001-01-30 モダン・カートゥーンズ・リミテッド バーチャルリアリティにおいて顔の動きを感知するためのシステム
KR20060026273A (ko) * 2004-09-20 2006-03-23 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR20070057997A (ko) * 2004-10-01 2007-06-07 소니 픽쳐스 엔터테인먼트, 인크. 컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적시스템 및 방법
US20130001102A1 (en) 2006-12-13 2013-01-03 Giuseppe Palleschi Process for the preparation of modified electrodes, electrodes prepared with said process, and enzymatic biosensors comprising said electrodes
JP2015060580A (ja) * 2013-09-20 2015-03-30 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001501346A (ja) * 1997-02-06 2001-01-30 モダン・カートゥーンズ・リミテッド バーチャルリアリティにおいて顔の動きを感知するためのシステム
KR20060026273A (ko) * 2004-09-20 2006-03-23 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR20070057997A (ko) * 2004-10-01 2007-06-07 소니 픽쳐스 엔터테인먼트, 인크. 컴퓨터 그래픽 애니메이션용 안면 근육 및 눈 움직임 추적시스템 및 방법
US20130001102A1 (en) 2006-12-13 2013-01-03 Giuseppe Palleschi Process for the preparation of modified electrodes, electrodes prepared with said process, and enzymatic biosensors comprising said electrodes
JP2015060580A (ja) * 2013-09-20 2015-03-30 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144124B2 (en) 2016-11-16 2021-10-12 Samsung Electronics Co., Ltd. Electronic device and control method thereof
CN110198665A (zh) * 2016-11-16 2019-09-03 三星电子株式会社 电子设备及其控制方法
EP3527127A4 (en) * 2016-11-16 2019-11-20 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
US11435826B2 (en) 2016-11-16 2022-09-06 Samsung Electronics Co., Ltd. Electronic device and control method thereof
KR102485324B1 (ko) * 2016-11-18 2023-01-06 현대자동차주식회사 운전자 졸음 표정감지 장치, 그를 포함하는 시스템 및 그 방법
KR20180056231A (ko) * 2016-11-18 2018-05-28 현대자동차주식회사 운전자 졸음 표정감지 장치, 그를 포함하는 시스템 및 그 방법
KR20200007162A (ko) * 2018-07-12 2020-01-22 한양대학교 산학협력단 근전도 신호를 이용하는 감정 인식 방법 및 장치
KR102216360B1 (ko) * 2018-07-12 2021-02-16 한양대학교 산학협력단 근전도 신호를 이용하는 감정 인식 방법 및 장치
WO2020236147A1 (en) * 2019-05-20 2020-11-26 Hewlett-Packard Development Company, L.P. Signal combination of physiological sensor signals
US11550392B2 (en) 2019-05-20 2023-01-10 Hewlett-Packard Development Company, L.P. Signal combination of physiological sensor signals
US11543884B2 (en) 2019-06-14 2023-01-03 Hewlett-Packard Development Company, L.P. Headset signals to determine emotional states
CN113924542A (zh) * 2019-06-14 2022-01-11 惠普发展公司， 有限责任合伙企业 用于确定情绪状态的头戴式耳机信号
KR102281909B1 (ko) * 2019-09-24 2021-07-23 한양대학교 산학협력단 Hmd 착용자의 시선 추적 방법 및 착용자의 시선을 추적하는 헤드 마운트 디스플레이 장치
KR20210035421A (ko) * 2019-09-24 2021-04-01 한양대학교 산학협력단 Hmd 착용자의 시선 추적 방법 및 착용자의 시선을 추적하는 헤드 마운트 디스플레이 장치
KR20210059162A (ko) * 2019-11-14 2021-05-25 한국생산기술연구원 안면의 동적 움직임 획득을 위한 마스크 및 이의 작동방법
KR102331694B1 (ko) 2019-11-14 2021-11-29 한국생산기술연구원 안면의 동적 움직임 획득을 위한 마스크 및 이의 작동방법
US11768379B2 (en) 2020-03-17 2023-09-26 Apple Inc. Electronic device with facial sensors
KR20200043318A (ko) * 2020-04-07 2020-04-27 홍석우 안구 운동 및 감정 기반 ｈｍｄ
KR102435408B1 (ko) 2020-04-07 2022-08-24 홍석우 안구 운동 및 감정 기반 ｈｍｄ
KR20220014254A (ko) 2020-07-28 2022-02-04 박가람 버스와 같은 차량에서 여행 가상현실 컨텐츠를 제공하는 방법 및 시스템
CN113855019A (zh) * 2021-08-25 2021-12-31 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置
CN113855019B (zh) * 2021-08-25 2023-12-29 杭州回车电子科技有限公司 基于eog、emg以及压电信号的表情识别方法和装置

Similar Documents

Publication Publication Date Title
KR101633057B1 (ko) 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법
CN106873778B (zh) 一种应用的运行控制方法、装置和虚拟现实设备
EP3807710B1 (en) Augmented reality display with frame modulation functionality
US20240105169A1 (en) Optical expression detection
CN107193383B (zh) 一种基于人脸朝向约束的二级视线追踪方法
US10092220B2 (en) System and method for motion capture
JP6845982B2 (ja) 表情認識システム、表情認識方法及び表情認識プログラム
JP6195894B2 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
JP2023082053A (ja) 反射を利用する拡張現実システムおよび方法
US20180107275A1 (en) Detecting facial expressions
CN104089606B (zh) 一种自由空间视线跟踪测量方法
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
CN103443742A (zh) 用于凝视和姿势接口的系统和方法
CN105487229A (zh) 多通道交互虚拟现实眼镜
KR102029219B1 (ko) 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치
KR20120060978A (ko) 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법
KR20130107981A (ko) 시선 추적 장치 및 방법
KR20160096392A (ko) 직관적인 상호작용 장치 및 방법
CN109982616A (zh) 用于支持至少一个用户执行个人护理活动的装置和方法
CN109584285B (zh) 一种显示内容的控制方法、装置及计算机可读介质
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP2023174820A (ja) ウェアラブル機器及び表示方法
JP5021676B2 (ja) モーションキャプチャにおける眼球運動データ置換
US11270451B2 (en) Motion parallax in object recognition
US11579690B2 (en) Gaze tracking apparatus and systems

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant