KR20020046515A - 웹과 오프라인에서 실시간 평면/입체 랜더링 기술 - Google Patents

Abstract

본 발명은 사용자의 요구에 의해 3차원 얼굴 표정 합성에서는 현재의 표정을 컴퓨터가 인식하거나 사람의 얼굴 표정을 합성합니다.

이를 위해 먼저 이차원 영상에 나타난 얼굴영상에서 얼굴의 특징점을 추출하고 간단하게 3D 와이어 프레임을 정합한 후 표정과 감정의 매핑은 사람의 기분과 얼굴 구조로부터 추출된 정보를 기반으로 생성된 감성데이터베이스를 이용합니다.

위 두가지 정보를 이용하여 현재 영상에 나타난 사람의 표정을 인식하거나 여러가지 얼굴표정을 합성, 실시간 렌더링 할 수 있습니다.

MPEG-4기술을 응용하였고, 알고리즘만으로 웹이나 오프라인에서 실시간 3D렌더링을 하는 엔진 개발로 가능해진 응용 분야이다.

MPEG-4기존기술의 국제 표준과 다른 특징을 갖고 있다.

첫째, 자연영상 뿐만 아닌 컴퓨터 그래픽을 포함한 합성영상의 부호화를 포함하고 있다.

둘째, 객체 기반 부호화 방법을 사용한다. 또한 이를 복합적으로 조합하기 위해 BIFS(binary format for scene description) 정보를 제공한다.

셋째, 상호작용에 기반 하여 융통성 있는 구조를 지향한다.

넷째, 서비스 측면의 수요에 따른 개발보다 향후 수요를 위한 개발이라는 성격이 강하다.

다섯째, 저속 통신망에 알맞도록 오류 내성이 강하다.

이러한 MPEG-4 SHNC FBA그룹에서의 표준화 작업을 하고 이를 이용하여 real world의 인간의 얼굴의 모습을 컴퓨터로 바로 받아들여 3D 객체화하고, 애니메이션을 구현하는 것을 본 프로그램의 기본적인 목적으로 삼는다.

■특징

3차원 와이어 프레임을 이용한 기술

3차원을 기반으로 했기 때문에 3차원의 장점을 이용 얼굴변형의 범위가 넓다.

유저들이 조작하기 쉬운 인터페이스를 가지고 있다.

와이어 프레임 정합 후에는 모든 아이템이 자동으로 처리가 가능하다.

기능 확장이 용이하다.

얼굴의 수백가지 골격의 변형이 가능하여 뛰어나 얼굴 합성은 물론 다양한 표정변화가 가능하다.

기술 활용 범위가 넓다.

(성형뿐만 아니라 얼굴 표정합성은 물론 메이크업,인테리어, 아바타 제작 등 활용할 수 있는 분야가 다양하다.)

2D사진을 가지고 3D입체 영상을 만들 수 있다.

2D & 3D 모두가능하다.

프로그램은 표준모델 한명의 화장데이타를 추출하여 수백만명에게 사용할 수있게끔 적용되게 설계되었습니다.

그러니 업데이트 시킬때도 표준 모델 한명에게 데이터를 추출하여 입력만 해주면 된다.

Description

웹과 오프라인에서 실시간 2D / 3D 렌더링기술{sat beauty.}

기존의 몽타쥬 합성이나 성형솔루션은 웹에서 실시간으로 구현이 힙들다.

기존의 3D 가속 하드웨어를 장착하지 않고 실시간 알고리즘만으로 3D렌더링이 가능한 엔진 개발로 웹에서도 3차원 영상을 실시간으로 서비스 할 수 있게 되었다. 작업을 통해 이루어지고 있는 3차원 영상 작성을 컴퓨터를 이용하여 쉽고 빠르게 작성할 수 있는 시스템 시스템이다. 많은 데이터베이스를 구축하지 않고도 여러 가지 화장이나 성형 코디네이션을 할 수 있다. 3차원 그래픽스 기술과 영상처리기법을 융합함으로써 각 부위의 교환, 합성과 얼굴 및 부위의 변형, 나이 변화, 표정 변화, 측면 얼굴의 합성이 가능하다. 또한 흑백 영상뿐 아니라 칼라 사진 영상에 대해서도 적용이 가능하다.

인물 사진 한 장으로 2차원 얼굴 영상자료를 혼합, 합성, 부분합성, 회전 등의 기능을 이용하여 3차원의 새로운 이미지를 생성한다.

3차원 얼굴 표정 합성에서는 현재의 표정을 컴퓨터가 인식하거나 사람의 얼굴 표정을 합성한다.

이를 위해 먼저 이차원 영상에 나타난 얼굴영상에서 얼굴의 특징점을 추출하고 간단하게 3D 와이어 프레임을 정합한 후 표정과 감정의 매핑은 사람의 기분과 얼굴 구조로부터 추출된 정보를 기반으로 생성된 감성데이터베이스를 이용한다.

위 두가지 정보를 이용하여 현재 영상이 나타난 사람의 표정을 인식하거나 여러 가지 얼굴표정을 합성할 수 있다.

이용자의 얼굴과 신체를 자신의 style에 맞게 치수등을 조정해 볼수 있다.

다양한 조합을 통해 수만가지의 캐릭터를 만들 수 있다.

(이미 구축되어있던 데이타베이스를 불러오는 타사이트와의 차이가 강점이다.)

다양한 옷의 코디네이션이 가능

자신의 사진을 디지털 카메라나 스캐너등으로 입력하여 자신에게 어울리는 메이크업을 정확한 위치에 실시간으로 Web등 에서 할 수 있다.

얼굴의 기본적인 눈, 코, 입의 성형은 물론 얼굴의 모든 부분을 성형할 수 있다.

VRML이나 Live picture와 같은 3D효과를 낼 수 있는 동시에 속도를 높일 수 있다.

도 1은 웹에서의 유저와 프로그램과의 연동 플로우 챠트이다.

.

■가상현실 시뮬레이터, 광고, 영화, 게임 등에 응용이 가능

■ 성형, 메이크업 & 코디네이션 프로그램

■ web & application프로그램

2년간 3D 기반 엔진개발에 착수, 이번에 처녀작으로 세상에 내놓은 성형, 메이크업 & 코디네이션 프로그램

<샛뷰티(Sat beauty)>는 on-line & off-line을 통해 얼굴 부위별 성형, 메이크업 상태와 의류 코디네이션등을 시뮬레이션해 볼 수 있는 프로그램.

샛커뮤니티의 성형, 메이크업 & 코디네이션 프로그램 <샛뷰티>를 이용하면 누구나 자신의 얼굴 사진을 입력시킨 후, 간단한 키보드 조작으로 눈, 코, 입, 볼 등에 다양한 메이크업을 시도해 자신의 화장 모습을 실제처럼 확인해 볼 수 있으며 , 3D기반 프로그램이기에 2D사진을 가지고 여러 가지 표정 및 움직임 등을 줄 수 있는점이 특징.

현재 프로그램 등록 (소프트웨어진흥원).

샛커뮤니티 <샛뷰티> 솔루션이 기존의 성형, 메이크업 & 코디네이션 프로그램과 다른 점은 크게 두 가지.

우선, 샛커뮤니티 <샛뷰티>의 최대 강점은 얼굴과 표정 인식 프로그램의 탁월함에 있음. "정밀 인물 변형 프로그램" 기법을 채용해 자연 상태의 얼굴 표정을 재현할 수 있어, 프로그램으로 할 수 있는 메이크업의 사실감이 "이보다 더 좋을 수는 없다"는 것.

3차원 얼굴 표정 합성에서는 현재의 표정을 컴퓨터가 인식하거나 사람의 얼굴 표정을 합성.

이를 위해 먼저 이차원 영상에 나타난 얼굴영상에서 얼굴의 특징점을 추출하고 간단하게 3D 와이어 프레임을 정합한 후 표정과 감정의 매핑은 사람의 기분과 얼굴 구조로부터 추출된 정보를 기반으로 생성된 감성데이터베이스를 이용.

위 두가지 정보를 이용하여 현재 영상에 나타난 사람의 표정을 인식하거나 여러 가지 얼굴표정을 합성.

얼굴 이미지를 부위로 세분화해 인식하여 화장, 성형과 표정을 나타낼 수 있도록 한 점, 그리고 이미지를 결정하는 눈, 눈썹, 입 등 주요 부위를 별도의 표정으로 생동감 있게 구현할 수 있어 다양한 표정의 자기 얼굴에 화장을 해보는 재미를 준다.

또 하나, 이용자 누구나 자신의 이미지 사진을 갖고 직접 화장 상태를 확인해 볼 수 있음.

기존 사이트처럼 개발자에 의해 미리 메이크업되어 입력된 잘 생기고 정형화된 모델 사진을 불러내는 것을 보며, 자신의 스타일과 매칭되는지 여부를 어렵게 연상해야 하는 것과는 차원이 다름.

그런 것은 준비된 컨텐츠.

자기 자신의 얼굴 사진을 모니터에 띄워놓음으로써 실제 거울을 보면서 화장하듯 다양한 화장을 시도해 볼 수 있음.

선글라스, 귀걸이와 코걸이 등 액세서리까지 끼워 시뮬레이션해 볼 수 있음.미소와 찡그림, 윙크, 등 다양한 감정 표현까지 합하면 하나의 얼굴을 가지고 할 수 있는 메이크업 경우의 수는 거의 무한대.

또한, 얼굴의 정면 사진으로 얼굴의 방향 변화를 줄수 있는 기능이 있음.

성형부분은 다른 사람의 부위를 가져와서 합성해 볼 수도 있고 미간조정, 눈각도. 눈크기, 코길이. 코높이, 코폭, 입술 크기와 입술두께등 얼굴에 관한 전반적인 성형을 on-ine & off-line에서 할 수 있음.

얼굴의 수 백개 골격을 폴리건 으로 인식하여 2D의 사진도 3D처럼 다양한 움직임을 실시간으로 합성해 낼 수 있음. 자신의 원래 모습과 변형후의 모습을 비교할 수 있음.

유저들에게 가장 쉬운 인터페이스로 제작 됐으며 무한대의 화장품 데이터베이스를 추가할 수 있음.

다양한 옷의 코디네이션 기능도 있음.

신체를 자신의 사이즈로 조절 하고 style에 맞게 조절 ( 가슴둘레, 허리둘레, 엉덩이 둘레, 팔길이, 팔두께, 다리길이, 다리두께 등 )한 후 의상을 코디네이션 할 수 있음.

앞모습, 뒷모습과 옆모습 사진 세장으로 빠른 3D 렌더링이 가능하다. 여기에 움직임을 넣을 수 있음.

VRML이나 Live picture와 같은 3D효과를 낼 수 있는 동시에 속도를 높일 수 있음.

다양한 골격구조 및 얼굴 구성요소 라이브러리등을 뽑아 낼 수 있는 데이터베이스 기능이 있어 고객의 정보를 저장하여 활용할 수 있음.

응용범위는 인테리어 시뮬레이션등 무궁무진.

SAT beauty는 프로그램 업데이트가 쉬워 단 한명의 인원으로 충분하며 유지보수 또한 원격으로 가능.

사진이미지를 통하여 , 3차원 모델을 생성해주는 이 제품의 특성을 이용, 자신과 매우 유사한 3차원 캐릭터를 제작하는 용도로 사용되며, 또한 고객의 캐릭터를 제작해주는 서비스를 제공하는 다양한 On-line & Offl-ine 가맹점들에게 제공될 수 있음.

자신의 변형 모습을 스티커 사진이나 일반 사진으로 출력할 수 있는 기능으로 합성스티커 사진이나 나만의 인테리어, 3D 비디오 폰 등으로 다양하게 활용 될 수 있음.

On-line으로 가맹점 간의 네트워크 망을 구축 하여 더욱 다양한 고객 정보를 공유하므로 보다 나은 서비스를 제공 할 수 있음.

의류 쇼핑몰과 의미가 상통하는 강력한 브랜드 이미지 구축이 가능하다.

전자 상거래에도 이용할 수 있어 상품 광고 효과를 높일 수 있음.

샛 커뮤니티는 이 온라인 솔루션을 국내외 성형, 메이크업 & 코디네이션 ON-line사업자, 제조 및 유통업계에 공급함은 물론, 미용 등 관련 서비스업계와의 제휴를 통해 오프라인 사업도 동시에 추진할 계획.

성형, 메이크업 & 코디네이션 솔루션 <샛뷰티>는 국내는 물론 현재로서는 해외 업계로서도 구현하지 못했던 프로그램.

성형, 메이크업 & 코디네이션은 사소한 부분에서까지 미를 표현해 보고 싶어하는 여성의 욕구와 감성의 표현.

이 솔루션, sat beauty는 다양한 감정과 표정을 살려내야 하는 "사람의 얼굴"을 대상으로 구현한 실시간 성형, 메이크업 & 코디네이션 합성 프로그램으로 이것의 개발 단계에서부터 이 점을 충분히 고려해 프로그램을 설계했으며, 앞으로 여성의 감성과 욕망을 모두 표현할 수 있는 토털 스타일 솔루션으로 기능을 확장할 계획.

Claims (10)

1. 웹과 오프라인에서 2D영상이 3D와이어 프레임에 의해 입체화되어 실시간으로 합성, 렌더링된다. 기존의 3D 가속 하드웨어를 장착하지 않고 실시간 알고리즘만으로 3D렌더링이 가능한 엔진 개발로 웹에서도 3차원 영상을 실시간으로 서비스 할 수 있게 되었다. 작업을 통해 이루어지고 있는 3차원 영상 작성을 컴퓨터를 이용하여 쉽고 빠르게 작성할 수 있는 시스템 이다.
2. 제 1 항에 있어서,

   웹상이나 오프라인에서 영상을 합성하거나 감성표현등의 표정을 만든다.
3. 제 1 항에 있어서,

   또한 흑백 영상뿐 아니라 칼라 사진 영상에 대해서도 적용이 가능하다.
4. 제 1 항에 있어서,

   인물 사진 한 장으로 2차원 얼굴 영상자료를 혼합, 합성, 부분합성, 회전 등의 기능을 이용하여 3차원의 새로운 이미지를 생성한다.

   3차원 얼굴 표정 합성에서는 현재의 표정을 컴퓨터가 인식하거나 사람의 얼굴 표정을 합성한다. 이를 위해 먼저 이차원 영상에 나타난 얼굴영상에서 얼굴의 특징점을 추출하고 간단하게 3D 와이어 프레임을 정합한 후 표정과 감정의 매핑은사람의 기분과 얼굴 구조로부터 추출된 정보를 기반으로 생성된 감성데이터베이스를 이용한다.

   위 두가지 정보를 이용하여 현재 영상에 나타난 사람의 표정을 인식하거나 여러 가지 얼굴표정을 합성할 수 있다.
5. 제 4 항에 있어서,

   이용자의 얼굴과 신체를 자신의 style에 맞게 치수등을 조정해 볼수 있다.

   다양한 옷의 코디네이션이 가능 하다. 사용자 이미지와 합성될 이비지의 크기나 위치가 달라도 상대적 위치를 인식하여 부위에 위류등이 렌더링된다.
6. 다양한 조합을 통해 수만가지의 캐릭터를 만들 수 있다.

   (이미 구축되어있던 데이타베이스를 불러오는 타사이트와의 차이가 강점이다.)
7. 자신의 사진을 디지털 카메라나 스캐너등으로 입력하여 자신에게 어울리는 메이크업을 정확한 위치에 실시간으로 Web등 에서 할 수 있다.
8. 얼굴의 기본적인 눈, 코, 입의 성형은 물론 얼굴의 모든 부분을 성형할 수 있다.
9. VRML이나 Live picture와 같은 3D효과를 낼 수 있는 동시에 속도를 높일 수 있다.
10. 많은 데이터베이스를 구축하지 않고도 여러 가지 화장이나 성형 코디네이션을 할 수 있다. 3차원 그래픽스 기술과 영상처리기법을 융합함으로써 각 부위의 교환, 합성과 얼굴 및 부위의 변형, 나이 변화, 표정 변화, 측면 얼굴의 합성이 가능하다.