KR20020049382A - 표정 생성 시스템 및 이를 이용한 표정 생성 방법 - Google Patents

표정 생성 시스템 및 이를 이용한 표정 생성 방법 Download PDF

Info

Publication number
KR20020049382A
KR20020049382A KR1020000078539A KR20000078539A KR20020049382A KR 20020049382 A KR20020049382 A KR 20020049382A KR 1020000078539 A KR1020000078539 A KR 1020000078539A KR 20000078539 A KR20000078539 A KR 20000078539A KR 20020049382 A KR20020049382 A KR 20020049382A
Authority
KR
South Korea
Prior art keywords
facial expression
mark
facial
generating
server
Prior art date
Application number
KR1020000078539A
Other languages
English (en)
Inventor
고형석
최병원
Original Assignee
이형민
주식회사 사이렌스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이형민, 주식회사 사이렌스튜디오 filed Critical 이형민
Priority to KR1020000078539A priority Critical patent/KR20020049382A/ko
Publication of KR20020049382A publication Critical patent/KR20020049382A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

표정 생성 시스템 및 이를 이용한 표정 생성 방법에 관해 개시되어 있다. 본 발명은 표정 생성 대상에 대한 2차원 영상을 입력하기 위한 적어도 2대 이상의 영상 입력 수단과, 상기 영상 입력 장치를 통해서 입력되는 상기 2차원 영상의 처리 및 분석을 통해 상기 표정 생성 대상 각 부분의 3차원 위치를 계산하고, 이를 토대로 상기 표정 생성 대상을 컴퓨터 상에서 시뮬레이션할 수 있도록 상기 표정 생성 대상에 대한 컴퓨터 모델을 생성하고 상기 컴퓨터 모델로부터 상기 표정 생성 대상 각 부분의 변위를 결정하는 벡터 변위 계수를 계산하며, 상기 벡터 변위 계수의 변경에 따라 상기 컴퓨터 모델의 표정을 바꿀 수 있는 프로그램이 기록되어 있는 기록 매체를 구비하는 서버와, 상기 벡터 변위 계수의 정정 및 상기 서버로부터 출력되는 정보를 표시하는데 사용하는 입출력 수단을 구비하는 것을 특징으로 하는 표정 생성 시스템을 제공한다.

Description

표정 생성 시스템 및 이를 이용한 표정 생성 방법{System for generating face and method for generating using the same}
본 발명은 이미지 생성 시스템 및 이를 이용한 이미지 생성 방법에 관한 것으로써, 자세하게는 표정 생성 시스템 및 이를 이용한 표정 생성 방법에 관한 것이다.
컴퓨터 기술의 발전과 함께 다양한 컴퓨터가 널리 보급됨에 따라 작업이 대부분 수작업으로 이루어지던 애니메이션 작업도 컴퓨터를 이용한 자동화 작업으로 바뀌고 있다.
특히, 포토샵이나 캐드 등 컴퓨터를 보다 능동적으로 활용할 수 있는 소프트웨어가 지원됨에 따라 기존에는 불가능하거나 어려웠던 작업이 스크린 상에서 이루어질 수 있게 되었다. 예컨대, 애니메이션 작업에서 동일한 사람의 얼굴 표정을 다르게 그리고자 하는 경우, 기존에는 작업자가 직접 스케치하였으나, 지금은 컴퓨터를 이용하여 얼굴의 특정 부위를 원하는 형태로 변형할 수 있어 작업이 훨씬 편리하고 작업 시간도 짧아졌다. 이러한 작업은 애니메이션뿐만 아니라 실상의 경우에도 적용되고 있다. 대표적인 것이 변형 하고자 하는 실물 영상을 스캐너 등과 같은 입력 장치를 이용하여 컴퓨터에 읽어들인 후에 지원 프로그램을 이용하여 상기 실물 영상의 특정 부위를 변형하는 것인데, 예를 들면, 상기 실물 영상이 얼굴인 경우에는 코나 입이나 눈 또는 귀의 모양을 바꾸고 각 부분의 피부 색깔을 원하는 모양이나 색깔로 바꿀 수 있고, 상기 실물 영상이 전신인 경우, 가슴이나 허리, 다리 등과 같은 신체의 각 부분을 원하는 형태로 직접 변형하거나 다른 영상에서 원하는 부분을 가져와 합성하는 방법을 통해서 원하는 모습으로 바꿀 수도 있다.
이와 같이, 컴퓨터 등을 이용함으로써 얼굴 등과 같은 실상을 모니터 상에서 다양한 모습으로 변형시키는 것이 가능하다. 하지만, 현재의 방법으로는 컴퓨터를 이용한다고 하더라도 작업자가 입력된 영상의 각 부분을 컴퓨터에 기록된 자료의 범위내에서 변형할 수 있으므로, 원하는 형태가 해당 컴퓨터가 없는 경우에는 원하는 영상을 얻을 수 없게 된다. 또, 이와 같은 방법으로는 상기 입력된 영상을 보다다양하게 변형하는 것이 어려워, 보다 새로운 형태의 영상을 창출하는 것이 어렵게 된다. 더욱이, 이러한 영상 처리 기법은 항상 2차원 상에서 작업이 이루어지므로, 상기 입력된 영상의 변형은 2차원적인 작업에 머무르게 되어 입체적으로 영상을 변형하는 것은 어렵게 된다.
따라서, 본 발명이 이루고자하는 기술적 과제는 상술한 종래 기술의 문제점을 해소하기 위한 것으로서, 2차원적으로 입력된 영상을 3차원적인 입체 영상으로 창출하는 것이 가능하고, 장출된 3차원 영상을 매개 변수의 조정을 통해 사용자가 원하는 형태로 새롭게 변형할 수 있는 표정 생성 시스템을 제공함에 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 상기 시스템을 이용한 표정 생성 방법을 제공함에 있다.
도 1은 본 발명의 실시예에 의한 표정 생성 시스템의 구성도이다.
도 2는 본 발명의 실시예에 의한 표정 생성 시스템을 이용한 표정 생성 방법을 단계별로 나타낸 순서도이다.
*도면의 주요 부분에 대한 부호설명*
100:표정 생성 시스템 102:표정 생성 대상
104:영상 입력 수단 106:마크
108:서버 110:입출력 수단
110a:모니터 110b:키보드
상기 기술적 과제를 달성하기 위하여, 본 발명은 표정 생성 대상에 대한 2차원 영상을 입력하기 위한 적어도 3대 이상의 영상 입력 수단과, 상기 영상 입력 수단을 통해서 입력되는 상기 2차원 영상의 처리 및 분석을 통해 상기 표정 생성 대상 각 부분의 3차원 위치를 계산하고, 이를 토대로 상기 표정 생성 대상을 컴퓨터 상에서 시뮬레이션할 수 있도록 상기 표정 생성 대상에 대한 컴퓨터 모델을 생성하고 상기 컴퓨터 모델로부터 상기 표정 생성 대상 각 부분의 변위를 결정하는 변위 계수를 계산하며, 상기 변위 계수의 변경에 따라 상기 컴퓨터 모델의 표정을 바꿀 수 있는 프로그램이 기록되어 있고 이의 운용에 필요한 프로그램이 기록된 기록매체와 외부로부터 입력되는 자료를 저장하기 위한 데이터 베이스를 구비하는 서버와, 상기 변위 계수의 정정 및 상기 서버로부터 출력되는 정보를 표시하는데 사용하는 입출력 수단을 구비하는 것을 특징으로 하는 표정 생성 시스템을 제공한다.
여기서, 상기 표정 생성 대상은 표정을 다양하게 표현할 수 있는 표면을 갖는 생체로써, 사람의 얼굴이다.
상기 입출력 수단은 상기 정보의 표시에 사용되는 모니터와 상기 변위 계수의 정정을 위한 데이터 입력에 사용되는 키보드 또는 마우스이다.
상기 서버에 상기 서버로부터 입력되는 데이터를 오프라인으로 출력하기 위한 프린터 또는 온 라인 상으로 출력이 가능하고 저장이 가능한 비디오 녹화 장치가 연결되어 있다.
상기 서버에 인터넷 접속을 위한 프로그램 및 상기 인터넷에 접속된 상태로 상기 서버를 운영하는데 필요한 프로그램이 기록된 기록매체가 더 구비되어 있다.
상기 다른 기술적 과제를 달성하기 위하여, 본 발명은 표정 생성 대상의 각 부분의 3차원 위치 변화를 계산하는 제1 단계와, 상기 계산된 3차원 위치 변화를 바탕으로 상기 표정 생성 대상의 각 부분의 변위를 결정하는 근육 데이터를 생성하는 제2 단계와, 사용자의 요구에 따라 상기 근육 데이터를 수정하는 제3 단계와, 상기 수정된 근육 데이터를 적용하여 상기 표정 생성 대상의 새로운 표정을 생성하는 제4 단계를 포함하는 것을 특징으로 하는 표정 생성 방법을 제공한다.
이 과정에서, 상기 제1 단계는 상기 표정 생성 대상의 각 부분에 상기 각 부분의 움직임을 파악할 수 있는 마크를 부착하는 단계와, 상기 마크를 부착한 상태로 상기 표정 생성 대상의 서로 다른 표정을 기록하되, 각 표정을 서로 다른 방향에서 기록하는 단계와, 상기 서로 다른 방향에서 기록한 표정을 영상 처리하여 상기 각 마크의 2차원 위치 좌표를 계산하는 단계 및 상기 계산된 상기 각 마크의 2차원 위치 좌표를 분석하여 상기 각 마크의 3차원 위치를 계산하는 단계를 더 포함한다.
상기 제2 단계는 상기 표정 생성 대상의 표정근 움직임에 따른 상기 마크별 변위의 합을 계산하는 단계와, 상기 계산된 마크별 변위의 합을 상기 각 마크의 3차원 위치 계산 단계에서 계산되는 상기 각 마크의 변위에 대응시키는 단계 및 상기 대응으로부터 상기 표정근의 변화에 따른 상기 각 마크의 변위를 결정하는 변위 계수들을 계산함으로써 근육 데이터를 생성하는 단계를 더 포함한다. 상기 마크는 입사광을 역반사시키는 구이고, 상기 표정 생성 대상은 서로 다른 방향에 설치된 복수 카메라를 사용하여 촬영함으로써 기록한다.
이와 같이, 본 발명은 표정 생성 대상, 예컨대 얼굴 각 부분의 벡터 변위 계수를 구한 다음, 이들의 정정을 통해 상기 표정 생성 대상의 표정을 바꿀 수 있는 표정 생성 시스템 및 이를 이용한 표정 생성 방법을 제공한다. 따라서, 본 발명을 이용함으로써, 상기 표정 생성 대상, 예컨대 얼굴에 대해서 종래 기법으로는 생성하기 어려웠던 표정을 용이하게 생성할 수 있으며, 동일한 표정 변형이라도 보다 세밀하게 변형시킬 수 있다.
이하, 본 발명의 실시예에 의한 표정 생성 시스템 및 이를 이용한 표정 생성 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된영역들의 두께는 명세서의 명확성을 위해 과장되게 도시된 것이다.
먼저, 본 발명의 실시예에 의한 표정 생성 시스템에 대해 설명한다.
구체적으로, 도 1을 참조하면, 본 발명에 의한 표정 생성 시스템(100)은 새로운 표정을 생성하고자 하는 피사체(이하, '표정 생성 대상'이라 한다)(102)의 2차원 영상을 입력하기 위한 영상 입력 수단(104)을 포함한다. 영상 입력 수단(104)은 표정 생성 대상(102)의 영상을 기록할 수 있는 기록매체가 포함된 것으로써, 자기 테이프를 기록 매체로 사용하는 비디오 카메라가 바람직하지만, 디지털 기록 매체를 구비하는 디지털 카메라 등도 무방하다. 표정 생성 대상(102)은 사람의 얼굴이지만, 굳이 사람의 얼굴로 한정되지 않으며, 표정을 다양하게 표현할 수 있는 표면을 갖는 생체라면 어느 것이나 대상이 될 수 있다.
한편, 표정 생성 대상(102)의 각 부분에 마크(mark)(106)가 부착되어 있는데, 이것은 표정 생성 대상(102)의 표정 변화에 따른 마크(106) 부착 부분의 변위 정도를 측정하기 위한 것으로써, 표정 생성 대상(102)에 쉽게 부착될 수 있고 입사광을 역 반사시킬 수 있는 소형 구형 물체이다. 따라서, 촬영에 방해가 되지 않는 범위내에서 마크(106) 수가 많을수록 표정 생성 대상(102) 전체의 변형을 보다 정밀하게 나타낼 수 있다.
표정 생성 대상(102)의 입체 영상을 얻기 위해서 영상 입력 수단(104)은 적어도 3개 이상 구비하는 것이 바람직하다. 이때, 영상 입력 수단(104)의 구성은 동일한 카메라들로 구성하는 것이 바람직하지만, 서로 다른 카메라들로 구성할 수도 있다. 예컨대, 동일한 결과를 낼 수 있는 것이면, 복수개의 영상 입력 수단(104)은비디오 카메라와 디지털 카메라로 구성할 수도 있다. 마크(106)의 수와 함께 영상 입력 수단(104)의 수가 많을수록 표정 생성 대상(102)에 대한 보다 정밀한 입체 영상을 만들 수 있다. 즉, 표정 생성 대상(102)의 여러 표정에 대해 각 표정마다 여러 각도에서 촬영한 다음, 이를 분석함으로써 표정 변화에 의해 마크(106)가 부착된 부분이 어느 방향으로 얼마만큼 변위되었는지를 정확하게 알 수 있고, 이것으로부터 마크(106)가 부착된 부분의 3차원 위치 좌표를 얻을 수 있다. 이렇게 해서 표정 생성 대상(102)의 3차원 입체 영상을 얻을 수 있게 된다. 이러한 처리를 위해, 영상 입력 수단(104)은 서버(108)에 연결되어 있다. 서버(108)는 복수의 영상 입력 수단(104)을 통해서 입력되는 표정 생성 대상(106)의 2차원 영상의 처리 및 분석을 통해 표정 생성 대상(102)의 마크(106)가 부착된 부분의 3차원 위치를 계산하고, 이를 토대로 표정 생성 대상(102)을 컴퓨터 상에서 시뮬레이션(simulation)할 수 있도록 표정 생성 대상(102)에 대한 컴퓨터 모델을 생성하고 이것으로부터 표정 생성 대상(102)의 마크(106) 부착 부분의 벡터 변위 계수를 계산하며, 상기 벡터 변위 계수의 변경에 따라 표정 생성 대상(106)의 표정을 바꾸는 프로그램이 기록되어 있고 이의 운용에 필요한 프로그램이 기록된 기록매체를 구비한다. 또, 서버(108) 외부로부터 입력되는 자료를 저장하기 위한 데이터 베이스도 구비되어 있다.
서버(108)에 입출력 수단(110)이 구비되어 있는데 이것은 표정 생성 대상(102)의 표정을 바꾸기 위한 정정된 벡터 변위 계수를 입력하는데 사용하거나 서버(108)로부터 출력되는 정보를 표시하는데 사용된다. 이러한 입출력 수단(110)으로는 서버(108)에 연결된 모니터(110a)와 키보드(110b)이나 마우스(미도시)가 추가될 수 있다. 참조번호 112는 서버(108)로부터 입력되는 데이터를 오프 라인으로 출력하기 위한 프린터이다. 서버(108)에는 프린터(112)외에 온 라인 상으로 출력이 가능하고 저장이 가능한 비디오 녹화 장치(미도시)가 더 구비될 수 있다. 이외에 서버(108)는 웹 브라우저 등과 같은 인터넷 접속에 필요한 프로그램이 기록된 기록매체와 함께 상기 인터넷에 연결된 상태로 상기 서버(108)를 운영하는데 필요한 프로그램이 기록된 기록 매체도 구비한다. 따라서, 인터넷에 표정 생성 대상(102)에 대한 다양한 표정을 올릴 수 있고, 인터넷을 통해 상기한 표정 생성과 관련된 기록매체를 제공함으로써 인터넷 접속자가 원하는 피사체에 대한 다양한 표정을 생성시켜 주는 서비스를 제공할 수도 있다.
다음은 도 1에 도시한 본 발명의 실시예에 의한 표정 생성 시스템을 이용한 표정 생성 방법에 대해 설명한다.
도 2를 참조하면, 먼저 표정 생성 대상(102)에 입사광을 역반사시키는 구형체 마크(106)를 부착한다(200). 이어서, 마크(106)를 부착한 상태로 표정 생성 대상(102)의 여러 표정을 촬영한다(210). 이렇게 하는 것은 표정 생성 대상(102)의 마크(106)가 부착된 부분의 3차원 위치 좌표를 얻기 위한 것이므로, 상기 각 표정을 복수 카메라를 사용하여 서로 다른 방향에서 촬영하는 것이 바람직하다. 계속해서, 상기 복수 카메라, 예컨대 적어도 3대 이상의 카메라를 사용하여 서로 다른 방향에서 촬영한 표정 생성 대상(102)의 2차원 표정을 영상 처리하여 각 마크(106)의 2차원 위치 좌표를 계산한다(220). 표정 생성 대상(102)의 동일한 부분, 곧 동일한 마크(106)라 할 지라도 여러 방향에서 촬영한 2차원 영상을 통해서 보면, 그 변위가 촬영한 방향에서 다르게 나타난다. 구체적으로, 무표정한 상태에서 웃는 표정으로 얼굴의 표정이 바뀌는 경우를 예를 들면, 얼굴의 어느 한 부분에 부착된 마크(106)의 움직임은 얼굴을 정면에서 촬영한 2차원 영상에서 볼 때와 측면에서 촬영한 영상을 볼 때, 마크(106)의 변위 정도는 촬영한 방향에 따라 달라진다. 따라서, 여러 방향에서 촬영한 2차원 영상의 위치 좌표를 구하여 서로의 상관 관계를 고려하면, 마크(106)의 3차원 위치 좌표를 구할 수 있다. 이와 같이, 표정 생성 대상(102)의 여러 표정을 촬영할 때, 각 표정을 여러 방향에서 촬영한 다음, 촬영한 2차원 영상의 위치 좌표를 구하고 이를 바탕으로 마크(106)의 3차원 위치 좌표를 구하여 표정 생성 대상(102)의 3차원 입체 영상을 구한다(230). 표정 생성 대상(102)의 3차원 입체 영상을 구한 다음, 이를 토대로, 표정 생성 대상(102)을 컴퓨터에서 시뮬레이션할 수 있도록 표정 생성 대상(102)에 대한 컴퓨터 모델을 생성한다(240). 다음에는 상기 컴퓨터 모델 대응하는 수학적 모델을 만들어서 표정 생성 대상(102)의 각 부분의 3차원 위치 변화에 대응하는 근육 데이터를 생성한다(250). 이에 대한 수학적 모델은 다음과 같이 요약할 수 있다.
구체적으로, 상기 컴퓨터 얼굴 모델에 총 m개의 표정근이 있고, 어느 순간에 각 표정근의 변화정도가 ai라 하면, 얼굴 표면의 한 점이 움직이는 변위()는 얼굴에 있는 총 표정근의 변화에 기인한 상기 한 점이 격는 변위의 벡터 합으로써, 다음의 수학식 1로 표현할 수 있다. 이때, 표정근의 변화 정도(ai)의 범위는 [0, 1]로써 최대 1이고, 최소 0이다.
수학식 1에서,는 j번째 표정근이 변화할 때 얼굴 표면의 한점 j가 움직이는 변위로 미리 내정된 값이다. 이렇게 볼 때, 얼굴에 존재하는 표정근의 변화에 의한 상기 얼굴의 한 점의 변위는 상기 표정근의 변화 정도(ai)에 의해 결정된다고 볼 수 있다. 이하, 상기 표정근의 변화 정도(ai)를 얼굴의 한 점 i의 벡터 변위 계수라 한다. 이와 같이, 얼굴의 한 점의 변위는 이 점에 영향을 미치는 표정근의 변화를 결정하는 벡터 변위 계수만 구하면 알 수 있게 된다. 이러한 결과는 얼굴의 다른 모든 점에도 동일하게 적용할 수 있다.
곧, 표정 생성 대상(102)을 사람의 얼굴이라 하고, 상기 얼굴에 n개의 마크가 부착되어 있다라고 한다면, n개의 마크 변화는 다음 수학식 2에 나타낸 n개의 선형식으로 표현할 수 있다.
···
수학식 2에서내지값들은 상기 얼굴에 부착한 각 마크의 3차원에서의 변위이므로, 표정 생성 대상(102)의 3차원 입체 영상을 구하는 단계에서 얻어지는 마크(106)의 3차원 위치 좌표로부터 얻을 수 있는 각 마크(106)의 변위로 대치할 수 있다. 이후, 수학식 2의 n개의 선형식으로부터 각 마크(106)의 변위를 결정하는 m개의 벡터 변위 계수들(이하, '근육 데이터'라 한다)을 구한다. 이와 같은 과정은 상기한 시스템(100)의 서버(108)를 이용하여 수행할 수 있다. 상기 근육 데이터를 구한 후, 표정 생성 대상(102)의 표정을 수정하고자 하는 경우, 서버(108)에 연결된 입출력 수단(110)을 이용하여 표정 생성 대상(102)의 표정이 사용자가 원하는 모습이 되도록 상기 근육 데이터를 수정한다(260). 이렇게 수정된 근육 데이터를 상기한 컴퓨터 모델에 적용하여 적용함으로써, 최종적으로 상기 수정한 근육 데이터에 따른 표정 생성 대상(102)의 표정, 곧 새로운 얼굴 표정이 생성된다(270).
상기한 설명에서 많은 사항이 구체적으로 기재되어 있으나, 그들은 발명의 범위를 한정하는 것이라기보다, 바람직한 실시예의 예시로서 해석되어야 한다. 예들 들어 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 마크(106)로써 비원형 마크를 이용할 수 있을 것이며, 반도체 칩을 이용할 수도 있을 것이다. 또, 광반사를 이용하는 마크 대신 얼굴 각 부분의 표정 변화에 따라 그 부분에 부착된 마크에 흐르는 전류의 변화를 이용하는 표정 생성 시스템 및 이를 이용하는 표정 생성 방법을 제시할 수도 있을 것이다. 방법적인 측면에서 본 발명이 제시한방법은 얼굴의 전면뿐 아니라 얼굴의 일부분에만 적용할 수도 있다. 이와 같은 본 발명의 다양성으로 인해, 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고 특허 청구범위에 기재된 기술적 사상에 의해 정하여져야 한다.
상술한 바와 같이, 본 발명은 표정 생성 대상, 예컨대 얼굴 각 부분의 벡터 변위 계수를 구한 다음, 이들의 정정을 통해 상기 표정 생성 대상의 표정을 바꿀 수 있는 표정 생성 시스템 및 이를 이용한 표정 생성 방법을 제공한다. 따라서, 본 발명을 이용함으로써, 상기 표정 생성 대상, 예컨대 얼굴에 대해서 종래 기법으로는 생성하기 어려웠던 표정을 용이하게 생성할 수 있으며, 동일한 표정 변형이라도 보다 세밀하게 변형시킬 수 있다.

Claims (12)

  1. 표정 생성 대상에 대한 2차원 영상을 입력하기 위한 적어도 3대 이상의 영상 입력 수단;
    상기 영상 입력 장치를 통해서 입력되는 상기 2차원 영상의 처리 및 분석을 통해 상기 표정 생성 대상 각 부분의 3차원 위치를 계산하고, 이를 토대로 상기 표정 생성 대상을 컴퓨터 상에서 시뮬레이션할 수 있도록 상기 표정 생성 대상에 대한 컴퓨터 모델을 생성하고 상기 컴퓨터 모델로부터 상기 표정 생성 대상 각 부분의 변위를 결정하는 변위 계수를 계산하며, 상기 변위 계수의 변경에 따라 상기 컴퓨터 모델의 표정을 바꿀 수 있는 프로그램이 기록되어 있고 이의 운용에 필요한프로그램이 기록된 기록매체와 외부로부터 입력되는 자료를 저장하기 위한 데이터 베이스를 구비하는 서버; 및
    상기 변위 계수의 정정 및 상기 서버로부터 출력되는 정보를 표시하는데 사용하는 입출력 수단을 구비하는 것을 특징으로 하는 표정 생성 시스템.
  2. 제 1 항에 있어서, 상기 표정 생성 대상은 표정을 다양하게 표현할 수 있는 표면을 갖는 생체인 것을 특징으로 하는 표정 생성 시스템.
  3. 제 2 항에 있어서, 상기 표정 생성 대상은 사람의 얼굴인 것을 특징으로 하는 표정 생성 시스템.
  4. 제 1 항에 있어서, 상기 입출력 수단은 상기 정보의 표시를 위한 모니터와 상기 변위 계수의 정정을 위한 데이터 입력에 사용되는 키보드 또는 마우스인 것을 특징으로 하는 표정 생성 시스템.
  5. 제 1 항에 있어서, 상기 서버에 상기 서버로부터 입력되는 데이터를 오프라인으로 출력하기 위한 프린터 또는 온 라인 상으로 출력이 가능하고 저장이 가능한 비디오 녹화 장치가 연결되어 있는 것을 특징으로 하는 표정 생성 시스템.
  6. 제 1 항에 있어서, 상기 서버에 인터넷 연결을 위한 프로그램 및 상기 인터넷에 연결된 상태로 상기 서버를 운용하기 위한 프로그램이 기록된 기록매체가 구비되어 있는 것을 특징으로 하는 표정 생성 시스템.
  7. 표정 생성 대상의 각 부분의 3차원 위치 변화를 계산하는 제1 단계;
    상기 계산 결과를 바탕으로 상기 표정 생성 대상의 각 부분의 변위를 결정하는 근육 데이터를 생성하는 제2 단계;
    사용자의 요구에 따라 상기 근육 데이터를 수정하는 제3 단계; 및
    상기 수정된 근육 데이터를 적용하여 상기 표정 생성 대상의 새로운 표정을 생성하는 제4 단계를 포함하는 것을 특징으로 하는 표정 생성 방법.
  8. 제 7 항에 있어서, 상기 제1 단계는
    상기 표정 생성 대상의 각 부분에 상기 각 부분의 움직임을 파악할 수 있는 마크를 부착하는 단계;
    상기 마크를 부착한 상태로 상기 표정 생성 대상의 서로 다른 표정을 기록하되, 각 표정을 서로 다른 방향에서 기록하는 단계;
    상기 서로 다른 방향에서 기록한 표정을 영상 처리하여 상기 각 마크의 2차원 위치 좌표를 계산하는 단계; 및
    상기 계산된 상기 각 마크의 2차원 위치 좌표를 분석하여 상기 각 마크의 3차원 위치를 계산하는 단계를 더 포함하는 것을 특징으로 하는 표정 생성 방법.
  9. 제 7 항에 있어서, 상기 제2 단계는
    상기 표정 생성 대상의 표정근 움직임에 따른 상기 마크별 변위의 합을 계산하는 단계;
    상기 계산된 마크별 변위의 합을 상기 각 마크의 3차원 위치 계산 단계에서 계산되는 상기 각 마크의 변위에 대응시키는 단계; 및
    상기 대응으로부터 상기 표정근의 변화에 따른 상기 각 마크의 변위를 결정하는 변위 계수들을 계산함으로써 근육 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 표정 생성 방법.
  10. 제 9 항에 있어서, 상기 변위 계수 값은 0보다 크거나 같고, 1보다 작거나 같은 것을 특징으로 하는 표정 생성 방법.
  11. 제 8 항에 있어서, 상기 마크는 입사광을 역반사시키는 구인 것을 특징으로 하는 표정 생성 방법.
  12. 제 8 항에 있어서, 상기 표정 생성 대상은 서로 다른 방향에 설치된 복수 카메라를 사용하여 촬영함으로써 기록하는 것을 특징으로 하는 표정 생성 방법.
KR1020000078539A 2000-12-19 2000-12-19 표정 생성 시스템 및 이를 이용한 표정 생성 방법 KR20020049382A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000078539A KR20020049382A (ko) 2000-12-19 2000-12-19 표정 생성 시스템 및 이를 이용한 표정 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000078539A KR20020049382A (ko) 2000-12-19 2000-12-19 표정 생성 시스템 및 이를 이용한 표정 생성 방법

Publications (1)

Publication Number Publication Date
KR20020049382A true KR20020049382A (ko) 2002-06-26

Family

ID=27683351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000078539A KR20020049382A (ko) 2000-12-19 2000-12-19 표정 생성 시스템 및 이를 이용한 표정 생성 방법

Country Status (1)

Country Link
KR (1) KR20020049382A (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0896162A (ja) * 1994-09-21 1996-04-12 Atr Tsushin Syst Kenkyusho:Kk 表情再現装置
JPH09305798A (ja) * 1996-05-10 1997-11-28 Oki Electric Ind Co Ltd 画像表示装置
JPH10255070A (ja) * 1997-03-11 1998-09-25 Atr Chinou Eizo Tsushin Kenkyusho:Kk ３次元画像作成装置
JPH11213132A (ja) * 1998-01-27 1999-08-06 Atr Ningen Joho Tsushin Kenkyusho:Kk 任意表情を持つ３次元顔モデルの生成方法
KR20000037591A (ko) * 1998-12-01 2000-07-05 정선종 디지털 비디오 영상을 이용한 3차원 모델의 얼굴 표정애니메이션 방법
KR20020015229A (ko) * 2000-08-21 2002-02-27 변태권 캐리커쳐의 표정변형을 위한 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0896162A (ja) * 1994-09-21 1996-04-12 Atr Tsushin Syst Kenkyusho:Kk 表情再現装置
JPH09305798A (ja) * 1996-05-10 1997-11-28 Oki Electric Ind Co Ltd 画像表示装置
JPH10255070A (ja) * 1997-03-11 1998-09-25 Atr Chinou Eizo Tsushin Kenkyusho:Kk ３次元画像作成装置
JPH11213132A (ja) * 1998-01-27 1999-08-06 Atr Ningen Joho Tsushin Kenkyusho:Kk 任意表情を持つ３次元顔モデルの生成方法
KR20000037591A (ko) * 1998-12-01 2000-07-05 정선종 디지털 비디오 영상을 이용한 3차원 모델의 얼굴 표정애니메이션 방법
KR20020015229A (ko) * 2000-08-21 2002-02-27 변태권 캐리커쳐의 표정변형을 위한 방법 및 장치

Similar Documents

Publication Publication Date Title
Chen et al. Self-supervised learning of detailed 3d face reconstruction
US8014985B2 (en) Setting and visualizing a virtual camera and lens system in a computer graphic modeling environment
JP4679033B2 (ja) 深度マップのメジアン値融合のためのシステムおよび方法
Sieberth et al. Applying virtual reality in forensics–a virtual scene walkthrough
US20190095698A1 (en) Face Reconstruction from a Learned Embedding
US7239321B2 (en) Static and dynamic 3-D human face reconstruction
Choppin et al. The potential of the Microsoft Kinect in sports analysis and biomechanics
RU2586566C1 (ru) Способ отображения объекта
US6731287B1 (en) Method for animating a 3-D model of a face
US20020041285A1 (en) Non-linear morphing of faces and their dynamics
Kim et al. Dental training system using multi-modal interface
CN113538682B (zh) 模型训练、头部重建方法、电子设备及存储介质
US7428482B2 (en) Visualization and setting of a virtual camera and lens system in a computer graphic modeling environment
CN110458924A (zh) 一种三维脸部模型建立方法、装置和电子设备
Zickler et al. Reflectance Sharing: Image-based Rendering from a Sparse Set of Images.
WO2020156627A1 (en) The virtual caliper: rapid creation of metrically accurate avatars from 3d measurements
Medien Implementation of a low cost marker based infrared optical tracking system
KR20020049382A (ko) 표정 생성 시스템 및 이를 이용한 표정 생성 방법
JP2739447B2 (ja) しわの表現可能な三次元像生成装置
CA3169005A1 (en) Face mesh deformation with detailed wrinkles
Santhanam et al. Simulating 3-D lung dynamics using a programmable graphics processing unit
Schubert et al. Adaptive filtering of physical-virtual artifacts for synthetic animatronics
JP2002056407A (ja) 画像生成システム
US11295531B1 (en) System and method for generating interactive virtual image frames in an augmented reality presentation
Wang et al. Facial Photo-Guided Head Anatomy Modeling Based on Deep Learning and 2D/3D Shape Prior Model Registration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application