KR100301962B1 - 실시간 가상캐릭터 시스템 - Google Patents
실시간 가상캐릭터 시스템 Download PDFInfo
- Publication number
- KR100301962B1 KR100301962B1 KR1019990018697A KR19990018697A KR100301962B1 KR 100301962 B1 KR100301962 B1 KR 100301962B1 KR 1019990018697 A KR1019990018697 A KR 1019990018697A KR 19990018697 A KR19990018697 A KR 19990018697A KR 100301962 B1 KR100301962 B1 KR 100301962B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual character
- unit
- motion
- camera
- expression
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 135
- 230000008921 facial expression Effects 0.000 claims abstract description 50
- 230000014509 gene expression Effects 0.000 claims abstract description 36
- 238000006467 substitution reaction Methods 0.000 claims abstract description 20
- 230000003993 interaction Effects 0.000 claims abstract description 14
- 238000005452 bending Methods 0.000 claims abstract description 11
- 210000001145 finger joint Anatomy 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 13
- 210000003128 head Anatomy 0.000 claims description 11
- 238000002156 mixing Methods 0.000 claims description 11
- 210000002414 leg Anatomy 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 6
- 210000004709 eyebrow Anatomy 0.000 claims description 5
- 210000001624 hip Anatomy 0.000 claims description 4
- 210000004197 pelvis Anatomy 0.000 claims description 4
- 210000001513 elbow Anatomy 0.000 claims description 2
- 210000003127 knee Anatomy 0.000 claims description 2
- 210000002832 shoulder Anatomy 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
- H01R13/00—Details of coupling devices of the kinds covered by groups H01R12/70 or H01R24/00 - H01R33/00
- H01R13/44—Means for preventing access to live contacts
- H01R13/447—Shutter or cover plate
- H01R13/453—Shutter or cover plate opened by engagement of counterpart
- H01R13/4532—Rotating shutter
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
- H01R13/00—Details of coupling devices of the kinds covered by groups H01R12/70 or H01R24/00 - H01R33/00
- H01R13/73—Means for mounting coupling parts to apparatus or structures, e.g. to a wall
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
- H01R2103/00—Two poles
Landscapes
- Processing Or Creating Images (AREA)
Abstract
본 발명은 실시간 가상캐릭터 시스템에 관한 것으로, 특히 몸동작 제어부(1)는 몸동작 포착부(11)와 몸동작 대입부(12)로 구성하되, 상기 몸동작 대입부(12)는 중심위치 생성부(121), 지역적 역운동학부(122) 및 상호작용 가능성 추출부(123)으로 구성하여 동작 연기자의 몸 움직임에 따라 가상캐릭터의 몸을 실시간으로 움직이는데 특히 실제 연기자의 동작을 크기나 모양이 다른 가상캐릭터에 대입하여도 부드러운 가상캐릭터의 동작이 가능할 수 있도록 하고, 손동작 제어부(2)는 동작 연기자의 손가락 마디의 구부림 정보를 추출하여 손의 움직임을 제어할 수 있도록 하고, 얼굴 표정 제어부(3)는 표정 캡쳐용 카메라(31), 표정 포착부(32), 표정 대입부(33)로 구성하되, 표정 포착부(32)는 표정 추출부(321), 머리 추적부(322)로 구성하여 카메라를 통해 입력된 표정 연기자의 특징점 위치를 찾아내고 이를 가상캐릭터 얼굴에 대입함으로써 자연스러운 가상캐릭터 표정을 실시간으로 생성할 수 있도록 하고, 카메라 시스템(4)와 카메라 움직임 연동부(5)와 영상 합성부(6)는 가상캐릭터와 배경 그래픽 세트를 카메라 움직임과 연동시키면서 이를 크로마키 판넬 앞에 위치한 진행자와 자연스럽게 합성할 수 있도록 한 것이다.
Description
본 발명은 실시간 가상캐릭터 시스템에 관한 것으로, 더욱 상세히는 동작 연기자의 몸 관절에 부착된 3차원 센서를 통해 읽어들인 동작 정보를 이용하여 가상캐릭터의 몸동작을 실시간으로 제어하고, 표정 캡쳐용 카메라를 이용하여 표정 연기자의 얼굴 이미지를 읽어 들인 후 이를 이용하여 가상캐릭터의 얼굴 표정을 실시간으로 제어할 뿐 아니라, 가상캐릭터와 배경 그래픽 세트를 카메라 움직임에 연동시키면서 크로마키 판넬(chroma key panel)이라고 불리는 특수한 스크린(대부분 청색이다) 앞에 위치한 진행자와 자연스럽게 합성할 수 있도록 발명한 것이다.
종래의 가상캐릭터 시스템은 사전제작에 의해 가상캐릭터의 몸동작과 얼굴표정을 생성하기 때문에 가상캐릭터를 TV 생방송에 등장시켜 다른 출연자와 대화를 하거나 함께 춤을 추는 실시간 응용에는 매우 어렵고 단지 정해진 시나리오대로 동작을 연출하는 수동적인 가상캐릭터 기능만 가능하다.
이와 같은 사전제작에 의한 방법은 많은 제작시간을 투자하여 가상캐릭터를 실제 인간과 매우 흡사하고 정교하게 제작할 수 있지만 프레임별로 가상캐릭터를 애니메이션을 하여야 하므로 제작 시간이 많이 걸리고 TV 생방송에 적용하기가 어렵다.
또한 종래의 가상캐릭터 시스템은 가상캐릭터와 배경 그래픽 세트를 카메라 움직임(팬, 틸트, 줌, 위치이동)과 연동시킬 수 있는 기능이 없으므로 카메라 움직임에 따라 가상캐릭터와 배경 그래픽 세트를 진행자의 움직임과 자연스럽게 일치시킬 수 없다.
즉, 카메라를 이용하여 진행자를 촬영할 때 카메라의 움직임 데이터를 가상캐릭터와 배경 그래픽 세트의 움직임에 적용할 수가 없다.
그러나, 상기와 같은 문제점들을 해결하기 위해 최근 외국에서는 실시간 가상캐릭터 시스템을 개발하고 있으며, 가상캐릭터 몸동작 제어, 손동작 제어, 얼굴표정 제어, 카메라 연동 기능을 전부 통합하거나 혹은 부분적인 기능을 통합한 제품이 발표되고 있다.
따라서, 본 발명은 상기와 같은 종래 문제점을 해결하기 위하여 안출한 것으로, 실제 연기자의 동작과 표정을 포착하고 이를 대입함으로써 가상캐릭터 움직임을 실시간으로 제어하고, 가상캐릭터와 배경 그래픽 세트를 카메라 움직임에 연동시키면서 이를 진행자와 자연스럽게 합성할 수 있도록 하는 실시간 가상캐릭터 시스템을 제공하는데 그 목적이 있다.
이러한 본 발명의 목적은, 동작 연기자의 몸 움직임에 따라 가상캐릭터의 동작을 자연스럽게 움직이는 몸동작 제어부와; 동작연기자의 손 움직임에 따라 가상캐릭터의 손을 움직이는 손동작 제어부와; 표정 캡쳐용 카메라를 이용하여 입력한 표정 연기자의 얼굴 이미지를 이용하여 가상캐릭터의 얼굴 표정을 표현하는 얼굴 표정 제어부와; 카메라 움직임 데이터를 생성하여 그래픽 워크스테이션에 전달하는 카메라 시스템과; 가상캐릭터와 배경 그래픽 세트를 카메라 움직임과 연동시키는 카메라 움직임 연동부와; 가상캐릭터와 배경 그래픽 세트를 크로마키 판넬 앞에 위치한 진행자와 자연스럽게 합성할 수 있는 영상 합성부로 구성된 실기간 가상캐릭터 시스템에 있어서,
상기 몸동작 제어부는 동작 연기자의 관절에 부착한 동작 포착 장비의 3차원 센서를 이용하여 관절의 위치와 회전 정보를 알아내는 몸동작 포착부와; 포착된 관절 움직임 데이터를 대입하여 가상캐릭터의 관절을 자연스럽게 움직이는 몸동작 대입부로 구성하고, 손동작 제어부는 동작 연기자의 손에 장착된 장갑 모양의 손 움직임 포착 장비로부터 손가락 마디의 구부림 정보를 알아내는 손동작 포착부와; 포착된 손가락 정보를 대입하여 가상캐릭터의 손가락 관절을 움직이게 하는 손동작 대입부로 구성하고, 얼굴 표정 제어부는 연기자의 얼굴 표정을 입력하기 위한 표정 캡쳐용 카메라와; 입력된 얼굴 영상으로부터 각 얼굴 부분의 모양을 함축적으로 포함한 특징점들의 변위를 얻는 표정 포착부와; 얼굴 특징점들로부터 가상캐릭터의얼굴 제어점을 변형시키는 표정 대입부로 구성하고, 영상 합성부는 가상캐릭터와 배경 그래픽 세트를 카메라 출력과 합성할 때 그래픽 워크스테이션의 그래픽 처리 속도만큼 카메라 출력을 딜레이 시키는 프레임 딜레이부와; 카메라 출력 영상의 청색 부분을 제거한 후, 그 자리에 그래픽 워크스테이션의 출력 부분을 채움으로써 자연스러운 합성 화면을 만들어 내는 크로마키어부로 구성함으로써 달성할 수 있다.
따라서 실시간으로 연기자의 몸동작, 손 움직임 그리고 얼굴 표정을 포착하여 가상캐릭터의 몸동작과 얼굴 표정으로 연결함으로써 가상캐릭터를 생방송에 출연시켜 출연자와 상호작용이 있는 동작이 가능하며, 카메라 움직임에 연동시킬 수 있으므로 자연스럽게 가상캐릭터를 출연자와 합성할 수 있는 것이다.
도 1은 본 발명 장치의 전체 블록 구성도
도 2는 도 1중 몸동작 제어부와 손동작 제어부의 블록 구성도
도 3은 도 1중 얼굴표정 제어부와 영상 합성부의 블록 구성도
도 4는 본 발명 방법에 의해 관절 크기가 서로 다른 2가지의 가상캐릭터에 대한 동작 대입 결과를 나타내는 화면의 예시도
도 5는 본 발명 방법에 의해 얼굴 표정 포착의 5단계를 설명하는 과정도
도 6은 본 발명 방법에 의해 얼굴 표정 정보의 대입 결과를 나타내는 화면의 예시도
도면중 주요 부분에 대한 부호의 설명
1: 몸동작 제어부 2: 손동작 제어부
3: 얼굴표정 제어부 4: 카메라 시스템
5: 카메라 움직임 연동부 6: 영상 합성부
11: 몸동작 포착부 12: 몸동작 대입부
21: 손동작 포착부 22: 손동작 대입부
31: 표정 캡쳐용 카메라 32: 표정 포착부
33: 표정 대입부 61: 프레임 딜레이부
62: 크로마키어부 121: 중심위치 생성부
122: 지역적 역운동학부 123: 상호작용 가능성 추출부
124: 동작 혼합부 321: 표정 추출부
322: 머리 추적부
이하 본 발명의 바람직한 실시 예를 첨부된 도면에 의해 상세히 설명하기로 한다.
도 1은 본 발명 장치의 전체 블록 구성도를 나타낸 것이고, 도 2는 도 1중 몸동작 제어부와 손동작 제어부를 나타낸 것이고, 도 3은 도 1중 얼굴 표정 제어부와 영상 합성부를 나타낸 것이고, 도 4는 관절 크기가 서로 다른 2가지의 가상캐릭터에 대한 동작대입 예시도를 나타낸 것이고, 도 5는 얼굴 표정 포착의 5단계를 설명한 예시도를 나타낸 것이며, 도 6은 얼굴표정 정보를 대입한 결과의 예시도를 나타낸 것이다.
이에 따르면, 연기자 관절의 움직임에 따라 가상캐릭터의 관절 움직임을 제어하는 몸동작 제어부(1)와; 동작 연기자의 손가락 마디의 구부림 정보를 추출하여 손의 움직임을 제어하는 손동작 제어부(2)와; 표정 포착용 카메라로부터 입력된 표정 연기자의 얼굴 표정을 분석하여 가상캐릭터 표정을 생성하는 얼굴 표정 제어부(3)와; 카메라 움직임 데이터를 생성하여 그래픽 워크스테이션에 전달하는 카메라 시스템(4)과; 가상캐릭터와 배경세트의 움직임을 카메라 움직임에 연동시키는 카메라 움직임 연동부(5)와; 가상캐릭터와 배경 그래픽 세트를 카메라 영상과 합성하는 영상 합성부(6)으로 구성된 실시간 가상캐릭터 시스템에 있어서,
상기 몸동작 제어부(1)는 동작 연기자의 관절에 부착한 동작 포착 장비의 3차원 센서를 이용하여 관절의 위치와 회전 정보를 알아내는 몸동작 포착부(11)와; 포착된 관절 움직임 데이터를 대입하여 가상캐릭터의 관절을 자연스럽게 움직이는 몸동작 대입부(12)로 구성한다.
상기 몸동작 대입부(12)는 가상캐릭터의 크기나 모양이 실제 연기자와 다를 경우에 가상캐릭터의 말단 위치인 손과 다리의 위치가 왜곡되는 현상이 발생되므로 가상캐릭터의 손과 다리를 실제 연기자의 말단과 같은 위치에 놓이기 위해 가상캐릭터 중심인 골반의 위치를 결정하는 중심위치 생성부(121)와; 가상캐릭터의 말단이 지정된 위치에 도달할 수 있도록 어깨, 팔꿈치, 고관절, 무릎의 관절각을 결정하는 지역적 역운동학부(122)와; 가상캐릭터의 말단과 주변 환경 사이의 상호 가능성을 판단하는 상호작용 가능성 추출부(123)와; 상기 중심위치 생성부(121)와 지역적 역운동학부(122)와 상호작용 가능성 추출부(123)의 결과를 종합하여 상호 가능성이 적으면 관절각 기반의 동작의 비중을 크게 하고 거리가 가까워질수록 말단위치에 근거한 동작에 큰 가중치를 할당하여 가상캐릭터의 몸중심과 관절의 움직임을 생성하는 동작 혼합부(124)로 구성된 것을 특징으로 한다.
손동작 제어부(2)는 센서가 부착된 장갑 모양의 손 움직임 포착 장비로부터 손가락 마디의 구부림 정보를 알아내는 손동작 포착부(21)와; 포착된 손가락 정보를 대입하여 가상캐릭터의 손가락 관절을 움직이게 하는 손동작 대입부(22)로 구성된 것을 특징으로 한다.
얼굴 표정 제어부(3)는 연기자의 얼굴 표정을 입력하기 위한 표정 캡쳐용 카메라(31)와; 입력된 얼굴 영상으로부터 각 얼굴 부분의 모양을 함축적으로 포함한 특징점들의 변위를 실시간으로 얻는 표정 포착부(32)와; 얼굴 특징점들로부터 가상캐릭터의 얼굴 제어점을 변형시키는 표정 대입부(33)로 구성한다.
이때, 표정 포착부(32)는 입력된 얼굴 영상을 이용하여 얼굴의 특징점인 입, 눈, 눈썹 그리고 턱이 이루고 있는 특징점들의 위치를 찾아내는 표정 추출부(321)와; 실제 연기자의 머리가 움직이면 영상에 나타난 얼굴 모양이 바뀌므로 머리의 움직임을 추적하는 머리 추적부(322)로 구성한다.카메라 시스템부(4)는 크로마키 판넬 앞에 위치한 진행자의 영상을 출력하는 카메라 부분과 카메라의 움직임(팬, 틸트, 줌, 위치)을 데이터로 변환시키는 카메라 움직임 추출장치로 구성된다.카메라 움직임 연동부(5)는 카메라 시스템부(4)에서 발생되는 카메라 움직임 데이터를 가상환경의 가상카메라에 적용시킴으로써, 실제 카메라의 움직임에 따라 가상캐릭터 및 배경 그래픽 세트의 움직임을 연동시킨다.
영상 합성부(6)는 가상캐릭터와 배경 그래픽 세트를 카메라 출력 영상과 합성할 때 그래픽 워크스테이션의 그래픽 처리 속도만큼 카메라 출력 영상을 딜레이 시키는 프레임 딜레이부(61)와; 카메라 출력의 청색 부분을 제거한 후, 그 자리에 그래픽 워크스테이션의 출력 부분을 채움으로써 자연스러운 합성 화면을 만들어 내는 크로마키어부(62)로 구성한다.
이와 같이 구성된 본 발명 장치의 작용 효과를 상세히 설명하면 다음과 같다.
먼저, 가상캐릭터의 몸동작 제어부(1)는 동작 포착 장비로부터 얻어진 동작 정보들을 가상캐릭터 모델에 대입하여 동작 움직임을 생성한다.
동작 포착 장비는 자기장을 이용하여 14개 센서 각각에 대해 회전 각도와 위치를 이더넷(ethernet)을 통해 그래픽 워크스테이션에 초당 최대 144회 보낸다.
동작 포착 장비에서 제공하는 관절의 방향에 관한 정보를 가상캐릭터에 단순히 대입하게 되면 연기자의 자연스러운 동작을 유지할 수는 있지만 가상캐릭터의 말단 위치가 왜곡되는 현상이 발생하게 된다.
즉, 손과 발의 위치가 변함으로써 바닥에 닿아있어야 할 가상캐릭터의 발이 바닥에서 미끄러지거나 바닥을 뚫고 들어가고, 물체를 손으로 집을 때 손이 물체에 닿지 않거나 물체 속으로 들어가는 문제점이 빈번히 발생된다.
이런 현상은 가상캐릭터의 크기나 모양이 실제 연기자와 다를 경우 특히 심하게 발생된다.
이에 반해 동작 포착 장비에서 제공하는 관절의 위치에 관한 정보 즉 실제 연기자의 각 말단 위치를 사상캐릭터에 그대로 적용하면 말단위치의 왜곡이 적은 동작을 생성할 수 있지만 자연스러운 동작을 유지할 수가 없다.
따라서 몸동작 대입부(12)에서는 실제 연기자의 각 말단과 미리 정의된 환경의 상호작용 여부를 판단하고, 상호작용의 가능성이 높으면 말단의 위치를 대입한 동작의 비중을 크게 하고, 그렇지 않으면 실제 연기자의 각 관절각의 대입한 동작을 보다 큰 비중으로 혼합하면 두 경우 모두에 있어서 비교적 자연스러운 동작을 생성할 수 있다.
이를 위해 몸동작 대입부(12)에서는 가상캐릭터의 중심위치를 조절하는 중심위치 생성부(121)와; 말단의 위치를 대입하여 역운동학을 이용한 관절각을 계산하는 지역적 역운동학부(122)와; 각 말단과 환경의 상호작용 여부를 판단하는 상호작용 가능성 추출부(123)와; 결과를 혼합하여 동작을 생성하는 동작 혼합부(124)로 구성하였다.
중심위치 생성부(121)의 가상캐릭터 중심위치 조절은 가상캐릭터의 말단을 실제 연기자의 말단과 같은 위치에 놓이게 하기 위해 실시하는 것이다.
가상캐릭터의 중심 위치, 즉 골반 중심의 위치를 결정하는데 있어서 고려해야 할 점은 먼저 실제 연기자의 골반 중심의 위치를 가급적 유지하는 것이며, 가상캐릭터의 골반 중심 위치를 구하기 위해 각 말단이 도달할 수 있는 범위를 알아야 한다.
팔이나 다리에서 어깨나 고관절의 위치가 결정되었을 때 손과 발이 도달할 수 있는 범위는 각각 구의 형태로 나타나며, 이는 어깨나 고관절, 즉 지주(pivot)를 중심으로 하고 팔과 다리를 완전히 뻗었을 때의 길이를 반지름으로 하는 구를 의미하는데 이를 말단의 범위 구 라고 한다.
각 말단의 위치가 주어졌을 때 골반 중심을 범위 구 내부에 위치하게 하면 말단이 지정한 위치에 도달하게 할 수 있으므로 모든 말단이 지정한 장소에 위치하게 하기 위해서는 각 말단에 의해 얻어지는 네 개의 구의 교집합에 골반 중심을 위치시켜야 한다.
네 개의 구의 교집합이 존재하지 않을 경우에는 비교적 중요하지 않은 말단에서 얻어진 범위 구를 제거하여 나머지 말단의 조건을 만족하게 한다.
말단의 위치를 반드시 유지해야 하는 경우는 말단이 외부 물체와 상호작용 할 가능성이 높은 경우이기 때문에 비교적 상호작용의 가능성이 적은 말단에 의한 범위 구를 제거하며, 교집합이 나타날 때까지 범위 구를 제거하여 최종적으로 골반의 존재 범위를 구할 수 있다.
지역적 역운동학부(122)의 관절각 계산은 역운동학을 이용하여 말단 위치에 대한 관절각을 구하는 것이다.
역운동학을 인체에 적용하면 비교적 계산 시간이 많이 걸리므로 본 발명에서는 적용 범위를 팔과 다리로 제한하고 국지적으로 관절각을 계산함으로써 보다 빠르게 말단의 위치를 기반으로 하는 동작을 생성한다.
역운동학으로 얻어진 관절각은 여러 종류가 나오 수 있으므로 실제 연기자의 관절각과 위치를 참조하여 가급적 실제 연기자의 관절각과 비슷한 동작을 생성한다.
상호작용 가능성 추출부(123)의 상호작용 여부는 각 말단에 대하여 정의된 모든 환경과의 거리를 계산하고 이를 이용하여 상호 작용의 가능성을 계산한다.
실제 연기자의 동작에서 상호작용의 여부를 알아내기 위해서 먼저 상호작용의 대상이 되는 환경의 위치를 지정하여야 하며, 환경의 물체들이 비교적 간단한 형태의 기하 구조로 표현할 수 있기 때문에 빠르게 말단과 물체들과의 거리를 계산할 수 있다.
각각의 물체들과 말단의 거리가 얻어지면, 상호 작용 가능성을 계산할 수 있고, 상호 작용 가능성들 중 가장 큰 값이 말단이 상호 작용할 가능성이 된다.
동작 혼합부(124)의 혼합된 동작 생성은 외부 환경과의 상호 작용 가능성이 작으면 실제 연기자의 관절각을 중심으로 생성된 동작을 우선으로 하고, 그 값이 크면 말단의 위치에서 생성된 동작의 비중을 크게 하여 혼합하는 것으로, 적절한 동작 혼합은 두가지 경우에 있어서 비교적 자연스러운 동작을 얻는다.
관절각을 혼합하기 전에 먼저 골반의 방향과 몸통, 목, 머리 등의 관절각은 실제 연기자의 관절각을 그대로 대입하고, 나머지 사지의 각 관절각은 두 동작을 혼합한다.
도 4는 공을 던지는 동작을 관절의 비율이 크게 다른 두 가지 가상캐릭터에 대입한 결과를 나타내는 예시도로써, 관절의 차이에서 발생되는 말단위치의 왜곡 현상을 제거하고 가상캐릭터 중심위치를 조절할 뿐 아니라 관절각을 적절히 변화시켜 자유스러운 동작을 생성을 나타내고 있다.손동작 제어부(2)는 동작 연기자의 손에 장착된 장갑 모양의 손 움직임 포착 장비로부터 얻어진 정보들을 가상캐릭터의 손 모델에 대입하여 손의 움직임을 표현하는 것이다. 손 움직임 포착 장비는 손가락 관절과 손바닥에 18개의 센서를 지니고 있으며, 각각의 센서들은 손가락 관절과 손바닥의 구부림 정도를 데이터로 출력한다. 손동작 포착부(21)는 손 움직임 포착 장비로부터 구부림 데이터를 포착한다. 장갑을 착용한 실제 손과 가상캐릭터의 손 모델의 관절 비가 다를 경우에는 구부림 데이터 조율 과정에서 세심한 주의가 요구된다. 따라서 포착된 손가락 구부림 정보를 가상캐릭터 손가락에 적용하기 위해서는 손가락 관절각 대입을 위한 조율 작업을 거쳐야 한다. 손동작 대입부(22)는 손동작 포착부(21)에서 포착된 구부림 데이터를 조율 과정을 거쳐 가상캐릭터의 손 모델에 적절히 대입한다.
한편, 얼굴 표정 제어부(3)에서는 표정 캡쳐용 카메라를 이용하여 입력된 연기자의 얼굴 표정을 분석하여 얼굴 부분의 모양을 함축적으로 포함한 특징점들의 변위를 알아내고, 변형된 얼굴 특징점들로부터 가상캐릭터의 얼굴 제어점을 변형하여 표정을 생성한다.
이를 위해 표정 포착부(32)에서는 얼굴 각 부분의 모양을 나타내는 특징점들의 변위를 구하고, 연기자의 머리가 움직이면 영상에 나타난 얼굴 모양이 바뀌게되므로 얼굴 표정을 정확히 얻기 위한 머리 움직임을 추적한다.
특징점들의 변위를 구하기 위해 표정 추출부(321)는 입력영상을 쉽게 표정을 얻을 수 있는 영상으로 변환하고, 변환된 영상으로부터 얼굴 각 부분의 모양을 나타내는 곡선을 얻은 뒤, 그 곡선들로부터 추출한 특징점들의 변위를 얻는다.
실제 연기자나 조명 등의 환경이 바뀌더라도 영상으로부터 얼굴 각 부분을 쉽게 찾기 위해 영상의 색 정보를 변형하여 얼굴 각 부분과 주변 피부의 명도 차가 심한 명암 영상(gray-scale image)을 얻은 뒤, 변환된 영상으로부터 얼굴 각 부분의 모양을 구분한다.
그리고 얼굴 각 부분의 외곽선을 나타내는 간단한 매개 함수 곡선을 찾아낸 후 특징점들을 추출한다.
표정 추출 대상은 입, 눈, 눈썹, 그리고 턱이 해당되는데, 입은 입술과 피부의 경계선, 눈은 속눈썹이 이루는 눈꺼풀의 모양, 눈썹은 눈썹 아래 부분이 이루는 곡선, 그리고 턱은 턱의 외곽선에 대한 곡선을 찾음으로써 얼굴 각 부분의 모양을 얻을 수 있다.
영상의 외곽선을 나타내는 곡선이 에너지를 갖고, 그 에너지가 얼굴 각 부분의 경계선에 가까울수록 낮아진다면, 에너지 최소화법(energy minimization)을 이용하여 외곽선의 모양을 나타내는 곡선을 얻을 수 있다.
그러나 명도 변화율에 의한 에너지만을 이용하면, 찾고자 하는 외곽선과 비슷한 모양을 갖지만, 그 외곽선과는 전혀 다른 것을 찾을 수도 있는데, 예를 들어 입술의 바깥 선을 찾을 때, 입술의 안쪽 선을 찾을 수도 있다.
따라서, 곡선이 정확한 부분에 위치하게 하기 위해 명도 변화율에 의한 에너지 외에 얼굴 각 부분의 명도 정보를 이용하여 생성된 곡선의 내부와 외부 차감 곡선을 함께 사용한다.
머리 추적부(322)는 표정의 변화에 거의 영향을 받지 않는 점들을 기준점으로 정하여, 이들의 상관 관계를 이용하여 각각의 3차원 좌표를 얻음으로써 움직임을 추적한다.
안정적인 머리 추적 결과를 얻기 위해 여러 개의 기준점들 중 세 개를 선택하여 추적 결과를 얻는 과정을 반복하고, 각각의 추적 결과에 대한 안정적인 값을 구한다.
세 개의 기준점으로는 눈의 양 옆 끝점과 콧구멍으로 정의하였고, 이들 세 점을 이용한 추적은 위치 관계를 만족하는 점을 유일하게 결정하지 못하지만, 위치 관계 외에 머리 움직임에서 위치, 속도, 방향이 급격하게 일어나지 않는다는 성질을 함께 이용하여 이들의 변화가 가장 적은 해를 선택하여 올바른 3차원 좌표를 구한다.
도 5는 상기 표정 포착부(32)에서 실제 연기자의 표정을 포착하는 과정을 나타낸다.
한편, 표정 대입부(33)에서는 연기자 얼굴에 포착한 특징점의 변위로 이용하여 가상 캐릭터의 표정을 제어하는데, 특징점과 제어점의 변위가 서로 선형적이라는 사실에 착안하여 빠르고 유연하게 이들을 대응시키기 위해 선형 대응 함수를 이용한다.
선형 대응 함수를 이용하면 특징점과 제어점 간에 존재하는 크기의 차이를 보정할 수 있는데, 이때 정의역은 특징점들의 변위이고, 치역은 제어점들의 변위이다. 선형 대응 함수는 특징점들의 가중치를 구성 요소로 하는 행렬로 표현되며, 포착된 특징점 정보가 입력되었을 때, 선형 대응 함수를 나타내는 행렬을 곱하여 제어점 정보를 계산할 수 있다.
특징점 정보가 입력되었을 때, 선형 대응 함수를 곱한 제어점 정보= A x로 계산할 수 있다.
이러한 대응은 그 정의역과 치역이 제한되어 있지 않기 때문에 특징점과 제어점의 개수가 다른 경우에도 이용될 수 있으며, 또한에축 방향의 변위를 추가하면 제어점의 3차원적인 움직임도 인위적으로 생성할 수 있다.
이때, 몇 개의 중요한 표정을 샘플로 주는 훈련 과정이 필요한데, 이 훈련 과정은 실제 연기자의 특징적인 표정 샘플에 대하여 가상 캐릭터가 그 표정을 가장 잘 나타내게 하도록 제어점의 변위를 선택하는 것이다.
실제 연기자의 표정과 가상 캐릭터의 표정은 오로지 행렬로 정의되는 대응 함수에 의해 결정되기 때문에 훈련과정을 통해 대응 함수를 적절하게 구성하여 표정을 과장시키거나 완화시킨다.
제어점의 변위를 이용한 얼굴 표정 변형은 곡선의 변형기법을 이용하였는데, 얼굴에 있는 눈, 입술, 턱 등 대부분이 곡선으로 이루어져 있는 점을 감안하면 얼굴의 변형을 제어하는데 곡선이 매우 적합한 수단임을 알 수 있다.
표정 제어점을 매개변수 곡선(parametric curve)에 적용하면 매개변수(parametric curve) 특성에 의해 제어점이 곡선 위에 놓이지 않기 때문에 직접 제어를 할 수 없다.
따라서 B 스플라인(B-spline) 곡선 보간법을 사용하여 표정 제어점이 모두 곡선을 통과하게 하였으며 제어점에 의해 곡선을 직접 제어하였다.
도 6은 포착된 실제 연기자의 표정을 가상캐릭터에 대입한 결과를 나타낸 것으로써, 실제 연기자의 표정과 가상캐릭터의 표정이 일치됨을 알 수 있다.카메라 시스템부(4)에서는 실제 카메라를 이용하여 크로마키 판넬 앞에 위치한 진행자의 영상을 출력시키고, 이때 발생되는 카메라의 움직임(팬, 틸트, 줌, 위치)을 데이터로 변환시킨다. 실제 진행자를 촬영하는 카메라의 움직임을 가상환경의 가상카메라 움직임에 적용시키면, 진행자와 가상의 물체들이 실제 카메라의 움직임에 연동되는 효과를 낼 수 있다.카메라 움직임 연동부(5)는 카메라 시스템부(4)로부터 받아들인 카메라 움직임 데이터를 이용하여 가상카메라를 움직이며, 카메라 시스템부(4)와 RS-422 신호 규격으로 초당 60번의 데이터 스트림을 교류한다.영상 합성부(6)는 가상캐릭터와 배경 그래픽 이미지를 실제 카메라의 출력 영상과 합성한다. 그래픽 워크스테이션에서 가상캐릭터와 배경 세트를 그래픽으로 표현할 때 약 3-4프레임 정도의 제작 시간이 소용된다. 따라서 프레임 딜레이부(61)에서는 그래픽 이미지와 카메라 출력 영상을 일치시키기 위해 카메라 출력영상을 3-4프레임 딜레이 시킨다. 실제 연기자는 크로마키 판넬 앞에 위치하므로 카메라의 출력 영상과 그래픽 영상을 합성하기 위해서는 카메라 출력의 청색 부분을 제거해야 한다. 따라서 크로마키어부(62)는 카메라 출력의 청색 부분을 제거하고 그 부분에 그래픽 영상 채움으로써 자연스러운 합성 화면을 만든다.
이상에서 설명한 바와 같이 본 발명에 의하면, 동작 연기자의 동작 정보와 표정 연기자의 얼굴 영상을 이용하여 가상캐릭터의 몸 동작과 얼굴 표정을 실시간으로 제어할 뿐 아니라, 가상캐릭터와 배경 그래픽 세트를 카메라 움직임에 연동시키면서 크로마키 판넬(chroma key panel) 앞에 위치한 진행자와 자연스럽게 합성하는 실시간 가상캐릭터 시스템을 개발함으로써, 사전 제작 기법으로 가상캐릭터를 생성하는 시스템과는 달리 가상캐릭터를 TV 생방송에 등장시켜 다른 출연자와 대화를 하거나 함께 춤을 추는 실시간 응용이 가능하고, 연기자와 가상캐릭터의 체형 차이를 극복하는 몸동작 대입 기법을 이용하여 새로운 가상캐릭터 모델을 쉽게 적용할 수 있는 잇점이 있다.
Claims (3)
- 연기자 관절의 움직임에 따라 가상캐릭터의 관절 움직임을 제어하는 몸동작 제어부(1)와; 동작 연기자의 손가락 마디의 구부림 정보를 추출하여 손의 움직임을 제어하는 손동작 제어부(2)와; 카메라로부터 입력된 표정 연기자의 얼굴표정을 분석하여 가상캐릭터 얼굴 표정을 생성하는 얼굴 표정 제어부(3)와; 카메라 움직임 데이터를 생성하여 그래픽 워크스테이션에 전달하는 카메라 시스템(4)과; 가상캐릭터와 배경 그래픽 세트의 움직임을 카메라 움직임에 연동시키는 카메라 움직임 연동부(5)와; 가상캐릭터와 배경 그래픽 세트를 카메라 출력 영상과 합성하는 영상 합성부(6)으로 구성된 실시간 가상캐릭터 시스템에 있어서,상기 몸동작 제어부(1)는 동작 연기자의 관절에 부착한 동작 포착 장비의 3차원 센서를 이용하여 관절의 위치와 회전 정보를 알아내는 몸동작 포착부(11)와; 포착된 관절 움직임 데이터를 대입하여 가상캐릭터의 관절을 자연스럽게 움직이는 몸동작 대입부(12)로 구성하고, 손동작 제어부(2)는 센서가 부착된 장갑 모양의 손 움직임 포착 장비로부터 손가락 마디의 구부림 정보를 알아내는 손동작 포착부(21)와; 포착된 손가락 정보를 대입하여 가상캐릭터의 손가락 관절을 움직이게 하는 손동작 대입부(22)로 구성하고, 얼굴 표정 제어부(3)는 연기자의 얼굴 표정을 입력하기 위한 표정 캡쳐용 카메라(31)와; 입력된 얼굴 영상으로부터 각 얼굴 부분의 모양을 함축적으로 포함하고 있는 특징점들의 변위를 얻는 표정 포착부(32)와; 얼굴 특징점들로부터 가상캐릭터의 얼굴 제어점을 변형시키는 표정 대입부(33)로 구성한 것을 특징으로 한 실시간 가상캐릭터 시스템.
- 청구항 1에 있어서, 상기 몸동작 대입부(12)는 가상캐릭터의 크기나 모양이 실제 연기자와 다를 경우에 가상캐릭터의 말단 위치인 손과 다리의 위치가 왜곡되는 현상이 발생되므로 가상캐릭터의 손과 다리를 실제 연기자의 말단과 같은 위치에 놓이기 위해 가상캐릭터 중심인 골반의 위치를 결정하는 중심위치 생성부(121)와; 가상캐릭터의 말단을 지정된 위치에 도달할 수 있도록 어깨, 팔꿈치, 고관절, 무릎의 관절각을 결정하는 지역적 역운동학부(122)와; 가상캐릭터의 말단과 주변 환경 사이의 상호 가능성을 판단하는 상호작용 가능성 추출부(123)와; 상기 중심위치 생성부(121)와 지역적 역운동학부(122)와 상호작용 가능성 추출부(123)의 결과를 종합하여 상호 가능성이 적으면 관절각 기반의 동작의 비중을 크게 하고 거리가 가까워질수록 말단위치에 근거한 동작에 큰 가중치를 할당하여 가상캐릭터의 몸중심과 관절의 움직임을 생성하는 동작 혼합부(124)로 구성된 것을 특징으로 하는 실시간 가상캐릭터 시스템.
- 청구항 1에 있어서, 상기 표정 포착부(32)는 입력된 얼굴 영상을 이용하여 얼굴의 특징점인 입, 눈, 눈썹 그리고 턱이 이루고 있는 특징점들의 위치를 찾아내는 표정 추출부(321)와; 실제 연기자의 머리가 움직이면 영상에 나타난 얼굴 모양이 바뀌므로 머리의 움직임을 추적하는 머리 추적부(322)로 구성된 것을 특징으로 하는 실시간 가상캐릭터 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990018697A KR100301962B1 (ko) | 1999-05-24 | 1999-05-24 | 실시간 가상캐릭터 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990018697A KR100301962B1 (ko) | 1999-05-24 | 1999-05-24 | 실시간 가상캐릭터 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20000074633A KR20000074633A (ko) | 2000-12-15 |
| KR100301962B1 true KR100301962B1 (ko) | 2001-09-26 |
Family
ID=19587405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990018697A KR100301962B1 (ko) | 1999-05-24 | 1999-05-24 | 실시간 가상캐릭터 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100301962B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200052812A (ko) | 2019-06-20 | 2020-05-15 | (주)셀빅 | 가상 환경에 활동 캐릭터를 생성하기 위한 가상환경의 활동캐릭터 생성 방법 |
| KR20210034468A (ko) | 2019-09-20 | 2021-03-30 | (주)셀빅 | 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법 |
| KR20240086819A (ko) | 2022-12-09 | 2024-06-19 | (주)셀빅 | 캐릭터 애니메이션 생성방법 및 장치 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020017009A (ko) * | 2000-08-28 | 2002-03-07 | 박기봉 | 동영상 처리장치 |
| KR20020059078A (ko) * | 2000-12-30 | 2002-07-12 | 윤세영 | 다층구조의 3차원 캐릭터 구현방법 및 그에 관한프로그램을 포함하는 컴퓨터 기록매체 |
| KR100422470B1 (ko) * | 2001-02-15 | 2004-03-11 | 비쥬텍쓰리디(주) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 |
| WO2004051576A1 (en) * | 2002-12-03 | 2004-06-17 | Good N Joy Co., Ltd. | Method for manufacturing and supplying animation composed with real picture |
| KR100507780B1 (ko) | 2002-12-20 | 2005-08-17 | 한국전자통신연구원 | 고속 마커프리 모션 캡쳐 장치 및 방법 |
| US7869646B2 (en) | 2005-12-01 | 2011-01-11 | Electronics And Telecommunications Research Institute | Method for estimating three-dimensional position of human joint using sphere projecting technique |
| KR100701010B1 (ko) * | 2005-12-09 | 2007-03-29 | 한국전자통신연구원 | 가상 스튜디오를 이용한 인터넷 연동형 데이터 방송 시스템및 그 방법 |
| KR102412595B1 (ko) * | 2021-09-09 | 2022-06-24 | 주식회사 치즈앤 | 3d 캐릭터를 활용한 특수촬영물 제작 서비스 제공 방법 및 장치 |
-
1999
- 1999-05-24 KR KR1019990018697A patent/KR100301962B1/ko not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200052812A (ko) | 2019-06-20 | 2020-05-15 | (주)셀빅 | 가상 환경에 활동 캐릭터를 생성하기 위한 가상환경의 활동캐릭터 생성 방법 |
| KR20210034468A (ko) | 2019-09-20 | 2021-03-30 | (주)셀빅 | 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법 |
| KR20240086819A (ko) | 2022-12-09 | 2024-06-19 | (주)셀빅 | 캐릭터 애니메이션 생성방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20000074633A (ko) | 2000-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Achenbach et al. | Fast generation of realistic virtual humans | |
| KR102577472B1 (ko) | 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치 | |
| CN111968207B (zh) | 动画生成方法、装置、系统及存储介质 | |
| KR101323966B1 (ko) | 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법 | |
| KR101711736B1 (ko) | 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법 | |
| Theobalt et al. | Combining 2D feature tracking and volume reconstruction for online video-based human motion capture | |
| US6522332B1 (en) | Generating action data for the animation of characters | |
| KR20050103244A (ko) | 디지털 안면 모델을 애니메이팅하기 위한 시스템 및 방법 | |
| KR100301962B1 (ko) | 실시간 가상캐릭터 시스템 | |
| CN109829976A (zh) | 一种基于全息技术实时表演方法及其系统 | |
| CN108564643A (zh) | 基于ue引擎的表演捕捉系统 | |
| Bregler et al. | Video motion capture | |
| CN108227920A (zh) | 运动封闭空间追踪方法及追踪系统 | |
| Valente et al. | Face tracking and realistic animations for telecommunicant clones | |
| JPH10240908A (ja) | 映像合成方法 | |
| Yonemoto et al. | Real-time human motion analysis and IK-based human figure control | |
| WO2021240848A1 (ja) | ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム | |
| Gahlot et al. | Skeleton based human action recognition using Kinect | |
| Umenhoffer et al. | Facial animation retargeting framework using radial basis functions | |
| Zheng et al. | A model based approach in extracting and generating human motion | |
| KR20150044243A (ko) | 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법 | |
| CN112215928A (zh) | 基于视觉图像的动作捕捉方法及数字动画制作方法 | |
| JPH10302070A (ja) | 動き抽出処理方法，動き抽出処理装置およびプログラム記憶媒体 | |
| Wilhelms et al. | Human motion from active contours | |
| Yonemoto et al. | Real-time visually guided human figure control using IK-based motion synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20100331 Year of fee payment: 10 |
|
| LAPS | Lapse due to unpaid annual fee |