KR20020038618A - 감성 기반의 동적인 개인 캐릭터 실시간 자동생성 기법 - Google Patents

Abstract

본 발명은 입력된 얼굴영상으로부터 표정 또는 감성이 포함된 자신의 캐릭터를 동적으로 자동 생성하고, 이를 실시간(real-time)으로 적용할 수 있는 동적인 개인 캐릭터 자동 생성 기술 방법에 관한 것이다.

본 발명에서 형성된 얼굴 영상은 인터넷 상의 아바타(Avatar)나 게임의 캐릭터 (Character)로 사용되어질 수 있으며, 얼굴의 형태 정보를 입력의 기본정보로 하여, 개인의 고유한 특징 정보뿐만 아니라 개인의 표정(감성) 정보를 추출해 내고 이를 활용하여 실시간으로 개인의 캐릭터에 적용할 수 있다는 특징이 있다. 이러한 합성영상은 개인을 대표하는 이미지로서 사용되어질 수 있으며 사이버 상에서 자신을 나타낼 수 있는 인터넷 통신분야, 게임 분야, 기타 산업 등에 응용이 가능하다.

Description

감성 기반의 동적인 개인 캐릭터 실시간 자동생성 기법{Real time dynamic personal character generation based on emotion}

본 발명은 얼굴 영상에 있어서의 기본 정보를 활용하여, 이를 아바타 또는 캐릭터에 보다 실감나는 합성영상을 구현하기 위한 장치 및 방법에 관한 것이다. 일반적으로 얼굴영상은 개인의 특징과 대표성을 가장 잘 표현할 수 있는 정보로서, 개인의 실제 얼굴 영상정보를 이용한 캐릭터 생성, 얼굴영상에서 표정정보가 포함된 정보 추출을 통한 보다 감성적인 캐릭터의 생성 등의 좀더 사실적인 요소를 사용자가 직접 구성할 수 있도록 하여 게임산업, 아바타를 이용한 인터넷 사업 등에 활용이 가능하다 . 특히, 인터넷의 H/W, S/W적인 발전으로 인하여 상대방과의 실시간 데이터 전송의 한계가 점차 확대되고 있는 추세인데, 이러한 인프라의 발전으로 인한 사용자의 요구는 점차 그 양질에 있어서 구체화/실감화되고 있기에 본 발명은 이러한 사용자의 요구를 충족시켜 줄 수 있다고 판단된다. 또한 얼굴영상을 이용한 캐릭터는 개인의 특징을 가장 적극적으로 표현할 수 있는 수단으로서 기존의 애니메이션이나 오락 등의 용도 이외에도 자신을 대표하는 상징물로서 사용되어 질 수 있기 때문에 게임 또는 인터넷 상의 아바타에서 자신을 표현하는 가장 효과적인 방식이다.

본 발명은 영상추출 기술, 영상인식 기술과 영상합성 기술 과 실시간 얼굴 특징점 추출기술 등의 기술과 이러한 기술을 통하여 감성(표정)정보가 포함된 캐릭터 이미지를 만들어내는 기술 등이 본 발명의 핵심이다.

본 발명은 상기 기술한 발명의 핵심기술들을 기반으로 이루어지는데, 우선 카메라로부터 입력된 사용자의 얼굴영상을 입력 데이터로 얼굴 영역의 위치와 크기를 선택하여 특징 추출을 위한 전처리를 하며, 전처리되어진 사용자의 얼굴 영상에서 특징추출 과정을 거친다. 이러한 과정 후 생성되어진 특징 추출 정보를 통하여 개인의 캐릭터 정보DB(database)에서 후보 캐릭터 요소들이 선정(Selection) 되고 이는 개인의 캐리커처와 같은 형태가 될 것이다. 이렇게 형성된 개인 캐릭터 정보는 개인의 주요한 캐릭터 정보로서 저장(이를 1차 또는 기본 캐릭터 정보라 칭함)되어지며 후에 2차 특징추출 후 이에 대한 정보 매핑(Mapping)시 기본 정보로서 사용되어진다. 이렇게 형성된 개인의 캐릭터 정보는 기존에 존재하는 몇몇 방식과유사하다고 할 수 있으나, 본 발명은 이러한 기본 정보에 얼굴 영상정보의 특징 추출시 개인의 표정정보까지 추출해 내어(이를 2차 또는 표정 캐릭터 정보라 칭함), 이를 먼저 구현한 1차 개인 캐릭터 영상정보에 추가하여 1차 개인 캐릭터 영상정보를 표정 또는 감성이 포함된 2차 개인캐릭터 영상정보로 갱신한다. 이러한 정보는 사용자가 PC나 기타 카메라(Camera)가 포함된 입력장치에 의하여 얼굴 영상정보를 입력시키는 순간 매번 실시간으로 2차 개인 캐릭터 영상정보를 생성하게 되며, 이는 온라인(On-line)상의 모든 시스템에서 공유할 수 있는 정보가 된다. 이러한 시스템은 현재 온라인 게임 분야에서 특히 개인 사용자의 아이템이나 캐릭터를 갱신하려는 사용자의 욕구를 충분히 충족시켜 줄 수 있을 뿐만 아니라, 감성적인 정보표현 및 전달 방법의 효과적인 방법이라고 할 수 있다.

대표도(도 1)는 본 발명의 전체 시스템 구조도를 나타낸 흐름도

도 2는 캐릭터 생성 과정에 대한 흐름도

도 3은 얼굴영상을 통한 캐릭터 생성 전체 흐름도

본 발명에서 감성 기반의 동적인 개인캐릭터 자동 생성 기법은 사용자가 CCD(Charge Coupled Device) 카메라가 장착된 클라이언트(Client) 시스템을 통하여 개인의 얼굴영상 정보를 입력하는 단계와, 이렇게 입력된 데이터를 통하여 1차 특징추출을 하고 그 결과 값으로 데이터베이스화되어 있는 저장된 얼굴 부분이미지 표본 패턴(Pattern) 과 패턴매칭(Pattern Matching)하는 단계(1차 얼굴인식 및 캐릭터 생성 ), 1차 얼굴영상 캐릭터 정보를 기반으로 사용자의 얼굴영상 가운데 표정 또는 감성을 나타내 주는 특징을 2차 특징추출하고 이를 1차 얼굴영상 캐릭터 정보에 적용하는 단계(2차 표정인식 및 캐릭터 생성), 마지막으로 이를 애플리케이션 (Application)에 적용하여 실제 사용하는 단계 등으로 구성되어 있다. 이러한4단계의 단계별 시스템 구성도는 아래 도1(대표도)과 같다.

아래 도1은 본 발명의 전체 시스템 구조도를 나타낸 것으로서, 위에 기술된 4 단계에 포함되는 시스템 구조를 나타낸 것이다. 여기서 사용자의 요구에 따라 얼굴영상정보를 입력받고 이를 통하여 게임과 같은 애플리케이션에서 사용자의 얼굴영상을 인식 -> 특징추출 -> 캐릭터를 생성 등의 과정을 수행하는 역할을 하는 클라이언트 (100), 이러한 클라이언트의 인식 및 추출과정 후 이를 서버에 있는 애플리케이션 데이터베이스에 존재하는 얼굴 부분 이미지들과 매핑하여 사용자의 캐릭터를 만들 수 있도록 해주는 서버(200), 위의 클라이언트와 서버간의 데이터를 서로 전송해 주고 온라인 게임과 같은 애플리케이션을 구동시킬 수 있는 네트워크환경(300) 등으로 구성되어 있다. 여기서, 본 발명을 적용시키기 위해서는 우선 다양한 형태의 캐릭터 요소(눈,코,입,얼굴형,머리모양 등)들의 데이터베이스를 서버(200)에서 미리 구축해 놓아야 하며, 특징추출 과정 후 이러한 특징추출 결과에 맞는 캐릭터를 선택하고, 선택되어진 캐릭터는 개인 PC에 임시 저장되어 져야 한다. 이렇게 저장하는 과정까지가 상기 대표도(도 1)의 얼굴인식 및 캐릭터 생성시스템(110)이 된다. 1차 캐릭터는 2차 특징추출을 통하여 표정을 감지할 수 있는 특징점들을 찾아내고 이를 1차 캐릭터와 혼합하여 표정정보를 갖는 2차 캐릭터를 만들어 내게 되는데 이는 표정인식 및 캐릭터 생성 시스템(120)에서 수행하게 된다. 이때 상기 목적을 달성하기 위한 본 발명의 부수적인 특징으로는 상기 과정에서 어떤 세부 특징추출된 결과에 대하여 동일한 유사도를 갖는 캐릭터 데이터가 복수개 추출되는 경우 사용자가 선택하도록 하는 사용자 선택모드를 포함하고 있다. 이는본 발명이 보안의 용도 등에 사용되는 패턴인식 시스템이 아닌 패턴을 통하여 캐릭터를 만들기 위함이 주요 목적이기 때문에 좀더 사실적이며 사용자 지향적인 표현을 위한 기능이기도 하다. 이러한 최종 결과물을 생성 활용할 수 있는 시스템은 실시간 사용자 캐릭터 생성 시스템(130)에서 수행하는 부분이다.

아래 첨부한 도 2를 참조하여 본 발명과 관련된 캐릭터 생성 과정에 관한 사항을 설명하도록 한다.

도 2는 캐릭터 생성시스템의 구조도이다. 우선 카메라에 의하여 입력된 입력 영상(100)은 전처리 과정을 거쳐 세그먼테이션(Segmentation)(210) 되어진다. 세그먼테이션은 일반적으로 필요한 얼굴영상을 추출하는 과정을 의미한다. 이러한 얼굴 영상에서 눈,코,입,얼굴형태,머리모양 등을의 특징을 소벨(Sobel) 연산기법을 통하여 추출(220)한 후, 얼굴형태를 분류(230) 한다. 이렇게 형성된 정보와 서버에 생성되어 저장되어 있는 캐릭터 부분영상을 매칭시켜 매핑되는 표본을 통하여 캐릭터 얼굴영상 정보(240)를 완성하게 된다. 이렇게 완성된 캐릭터 이미지는 도2의 결과물(400)과 같다. 이렇게 형성되는 얼굴 캐릭터 생성 알고리즘 가운데 얼굴 인식 부분의 알고리즘은 기존에 존재하는 것으로서 본 발명의 대상이 아니므로 일반적인 방법이라 할 수 있다.

이러한 도 2와 같은 알고리즘은 2차에 걸쳐 수행하게 되는데, 본 발명의 핵심요소라 할 수 있는 표정정보를 실시간으로 만들어내는 과정 또한 표정 정보를 인식할 수 있는 대표 특징점 몇가지를 제외하고는 상기 방법과 동일하다. 여기서 1차 캐릭터추출 정보는 사용자의 PC에 저장되어 차후, 사용자가 애플리케이션에 접속하여 상기의 과정을 거칠 때에는 자동으로 로딩(Loading)하여, 2차 표정정보 추출과 이를 서로 매핑하는 과정만 수행하면 된다. 즉, 게임의 예를 들어 사용자는 항상 자기 캐릭터 기본정보는 처음 한차례의 상기 캐릭터 생성 과정만 거치고, 그 후 매번 접속할 때마다 표정정보만을 갱신하여 기본 캐릭터에 표정정보를 추가하게 되고, 사용자는 접속시 카메라에 포착된 사용자의 감정(표정)이 포함된 캐릭터를 갖고 게임을 하게 된다. 이러한 경우는 통상 게임상의 캐릭터는 한번 선택하면 고정되어져 있고, 오직 아이템(Item)을 치장하는 기존의 방법에 비하여 새로운 발명요소라고 할 수 있다.

아래 그림 도 3은 캐릭터가 생성되는 일련의 과정 전체를 나타낸 그림이다. 우선 입력된 영상을 처리하는 입력인터페이스부(100)와 입력된 얼굴 영상정보를 통하여 1차 캐릭터를 생성하는 1차 캐릭터 생성부(200), 그리고 1차 캐릭터 생성부의 결과값과 입력인터페이스부(100)에 의하여 새롭게 입력되는 얼굴영상 정보를 이용하여 감정을 나타내 줄 수 있는 2차 캐릭터를 생성 하는 2차 캐릭터 생성부(300) 등으로 구성되어 있으며, 이렇게 생성된 캐릭터를 이용하여 게임과 같은 애플리케이션에 접속하는 절차(400, 500) 등이 있다. 좀더 구체적으로 상기 도 3을 설명하면 CCD 카메라에 의하여 입력된 얼굴영상(110) 정보는 얼굴영상 캡춰 (Capture)장비에 의하여 정지영상 정보를 얻게 된다. 이렇게 만들어진 사용자 얼굴영상 정보는 1차 캐릭터 생성부(200)의 입력단으로 입력되어진다. 우선 전처리부(210)를 통하여 입력된 얼굴영상의 잡음과 조명에 의하여 생성된 불규칙한 얼굴영상을 보다 잡음이 없는, 정교한 영상으로 만들게 되며 이 때 사용되는 필터로서 미디언필터(median filter)를 사용한다. 이렇게 필터링 처리된 영상정보 데이터는 소벨 연산기법을 통하여 얼굴의 특징부를 검출하게 되고(220), 이는 캐릭터 데이터베이스부 (230)에 있는 미리 만들어진 얼굴 부분 이미지들을 사용자 얼굴특징에 가장 적합한 적합도를 갖는 얼굴 부분이미지들을 선택하게 된다. 이 때 동일한 적합도를 갖는 캐릭터 데이터베이스의 부분 이미지들은 사용자에 의하여 수동으로 선택할 수 있도록 허용하여 보다 다양한 얼굴 영상을 만들 수 있도록 한다. 이렇게 형성된 얼굴영상 캐릭터(240)는 처음 1회 생성 후 저장(250) 되어지며, 이는 새로운 사용자가 신규버튼을 통하여 새롭게 캐릭터를 만들지 않는 한 계속 유지되어 재사용 된다. 사용자가 게임과 같은 애플리케이션에 재 접속 하면 1차 캐릭터 생성부 (200)에 의하여 생성된 정보와 새롭게 형성된 감정 정보를 포함한 얼굴 영상 정보를 합성하여 감정을 갖는 또다른 캐릭터를 만들어 내게 된다. 이는 도3의 우측의 일련의 과정(300)을 통하여 가능한데, 우선 기본적인 흐름도는 상기 1차 캐릭터 생성부(200)와 동일하다. 단 전처리과정(310) 후, 2차 특징점 검출부(320)의 특징 추출 시 사용자 얼굴의 감정 상태정보를 추출할 수 있도록 사용자 얼굴의 세부 특징정보(눈의 크기 정보, 입의 크기 정보, 입꼬리의 위치 정보)를 이용하여 사용자의 감정상태를 파악한다. 상기 3가지 중요 요소는 김성호(2000, 6)의 논문에서 발표한 기법으로서 패턴인식 알고리즘 자체는 본 발명의 요지와는 무관하므로 생략하기로 한다. 이렇게 형성된 감정을 갖는 캐릭터 정보는 게임과 같은 애플리케이션에 접속할 때마다 갱신되어지고, 이는 사용자간 캐릭터만으로 상대 사용자의 감정(기분,표정 요소 등)을 파악할 수 있는 특점을 갖는다. 아래 도 3의 특징 추출을 위하여 중요한 절차 가운데 하나가 세그먼테이션(Segmentation)이다. 세그먼테이션의 이상적인 결과는 인간이 인식하는 의미있는 물체를 추출해 내는 것이며, 본 발명에서는 기존의 보고된 논문(김성호,2000,6)의 자료를 참고하기로 한다. 이것은 이미지 처리나 분석 모듈에서 가장 먼저 수행해야 하는 과정이며 이 과정이 나머지 수행되어야 하는 모듈의 기초 데이터를 제공하는 주요 부분이다. 현재 여러 알고리즘의 세그먼테이션 기법들이 존재하나, 본 발명의 요지와는 무관한 것이므로 기존 알고리즘을 인용한 사항을 간략히 설명하고자 한다. 세그먼테이션의 부분 영역 추출 방법의 종류로는 에지(Edge) 기반기술, 클러스터링(Clustering) 기반 기술, 영역(Region) 기반 기술로 분류할 수 있다.

본 발명에서는 색상 및 영역특징 기반 부분 영역 추출 방법을 이용하며, 수행하는 절차는 두 단계로 구분하여 처리한다. 첫번째는 영역 성장(Region Growing )단계이며, 두 번째는 영역 결합(Region Merging) 단계이다. 영역 결합 단계는 다시 세분하여 잡음(Noise) 영역을 아웃영역으로 결합하는 단계와 분리된 부분영역간의 유사도에 따라 재결합하는 단계로 다시 구분할 수 있다. 본 발명의 입력된 얼굴영상 정보에서 윤곽선을 추출하여 윤곽선의 이진(Binary) 좌표점을 갖고 원 얼굴영상과 비교 대상 이미지의 위치와 형상에 대해 비교하는 방법이 있는데, 윤곽선을 추출하는 방법은 몇 가지 이론들이 있으나 정확한 윤곽선 추출 알고리즘은 연구대상 가운데 하나이다. 우선 1, 2차 미분을 통하여 기울기가 변하는 점을 윤곽선으로 검출하는 방법이 가장 기본적인 원리라고 할 수 있고, 그것을 응용한 방법들도 많이 제안되어 있다.

본 발명에서는 소벨(Sobel) 연산법을 이용하여 Edge를 추출한다. 소벨 연산법을 수학식으로 표현하면 아래 수학식 1과 같다.

G(x, y) = f(x+1, y-1) + 2 x f(x+1, y) + f(x+1, y+1) -

{ f(x-1, y-1) + 2 x f(x-1, y) + f(x-1, y+1)}

R(x, y) = G(x, y) + [f(x-1, y+1) + 2 x f(x, y+1) + f(x+1, y+1) -

{ f(x-1, y-1) + 2 x f(x, y-1) + f(x+1, y-1)}]

상기 수학식1 에 표시되어 있는 소벨 연산기법은 여러 논문에서 인용되어져온(김성호 논문 인용) 이미 존재하는 연산식 이므로 상세한 설명은 생략하겠으며, 각각의 얼굴영역정보와 같은 세부적인 얼굴의 특징을 추출하기 위하여 윤곽선을 추출하고, 눈, 코, 입, 눈썹과 같은 부분의 특징들을 수치로 나타낸 것이다.

각 특징 정보는 입력된 얼굴 영상의 부분영역에 대한 특징 정보를 포함한다. 부분영역에 대한 특징정보는 각 부분에 따라 추출 기준이 다르다. 눈은 눈동자를 기준으로 좌우의 크기와 눈꺼풀의 경사진 각도, 그리고 위로 올라간 눈과 아래로 처진 눈 등의 특징 정보를 추출한다. 구축된 데이터베이스는 동일 클래스를 분류하는데 이미지 분류란 검색 대상이 되는 이미지를 분류하여 검색되는 후보의 수를 줄이기 위하여, 의미 있는 특징들의 추출에 기반을 두고 사전에 정의된 클래스 가운데 하나로 할당하는 것을 말한다.

앞에서 하나의 영상에서 추출된 다수의 모양이 영역 특징정보에 따라 다수의 클래스에 할당된다. 즉, 눈을 예로 들자면 눈의 방향성으로 클래스를 형성하면,올라간 눈의 클래스 안에는 크기가 다른 다양한 눈이 있을 수 있다. 이러한 특징을 가진 특징정보를 이용하여 입력된 얼굴 영상은 다수의 클래스로 매핑되는데 각 특징정보가 해당하는 모든 클래스의 이미지를 검색하여 유사도를 계산하게 되며, 동일 유사도를 갖는 정보는 그대로 사용자에게 선택할 수 있도록 한다. 위와 같은 특징 추출법은 1차와 2차에 걸쳐 2차례 수행하게 되는데 2차 특징 추출부 에서는 눈의 크기와 입의 모양 등 2가지 요소에 중점을 두고 특징 추출을 한다. 이 2가지 요소는 인간의 감정(표정)을 나타내는 요소라 할 수 있다. 즉, 사람이 즐거울때에는 눈과 입의 크기가 약간 커지며, 피곤할 때나 화가 났을 때에는 눈의 크기가 작아진다거나, 입에 힘이 들어간다거나 하는 특징들을 2차 특징 추출부에서 인식하는 것이다.

하나의 입력된 얼굴 이미지는 얼굴 형태 이미지에 대한 특징정보와 각 부분영역의 특징정보가 독립적으로 클래스로 분류되므로 여러 클래스의 원소가 된다. 그래서 검색 시에는 입력된 얼굴 이미지의 각 특징정보에 따라 각 클래스들의 모든 원소를 검색하여 가져온다. 또한 본 발명에서는 얼굴 윤곽선도 추출하게 되는데 얼굴 윤곽에 맞는 형태를 찾아내고, 그 얼굴형 이미지에 찾아낸 눈, 코, 입, 눈썹 등을 올려 매핑하는 것으로 캐릭터 생성의 단계가 완성된다. 또한 여기서 사용자에 따라 안경, 독특한 헤어스타일 등의 다양한 악세서리 등도 포함되도록 데이터베이스를 구성한다.

이상의 설명에서와 같이 본 발명은 특정 얼굴영역을 인식하여 캐릭터를 만들고, 이렇게 만들어진 캐릭터에게 표정(감정) 정보를 실시간으로 매번 애플리케이션에 접속할 때마다 상대 사용자들에게 전달할 수 있다는 특징을 갖으며, 기타 캐릭터를 만드는 방법, 소벨 알고리즘 등은 기존 방식을 응용하였음을 밝혀둔다.

본 발명은 얼굴의 특징점을 1차, 2차 추출 후, 이를 합성하여 1차에 의하여 형성된 개인의 기본 캐릭터 영상정보에 표정 또는 감성이 포함된 개인의 2차 얼굴영상정보를 갱신함으로서 보다 감성적인 개인 캐릭터를 생성할 수 있도록 한다는 목적과 이를 통하여 온라인 또는 오프라인 시스템간 개인 캐릭터 정보를 공유할 때 보다 실감(Reality)나는, 정적(Dynamic)인 개인 캐릭터를 실시간으로 처리하게 되어, 개인의 속성을 최대한 효과적으로 전달할 수 있다는 효과가 있다.

또한 본 발명을 통하여, 차 후 서비스되어지는 모든 캐릭터 또는 아바타는 좀더 사실에 바탕을 둔 정보 전달이 가능하다고 판단된다. 즉, 기존의 방식은 텍스트 기반의 개인정보 전달방법, 개인의 속성과는 별로 무관한 몇개의 이미지정보를 조합한 개인 캐릭터 생성후 정보를 전달하는 방법 등이 그것이었으나, 본 발명으로 인하여 보다 사실적인, 구체적인 개인 정보전달 방법의 표현이 가능하다. 이는 얼굴영상을 통한 캐릭터 생성뿐만 아니라, 유형/무형의 기타 사물에 대해서도 실시간 특징추출 후 정보 생성/처리전달 방법으로서 응용되어질 수 있을 것이다.

Claims (3)

1. 게임과 같은 애플리케이션에서 실시간(Real-time)으로 개인 사용자의 캐릭터를 변경할 수 있는 전체과정과; 이때 개인 캐릭터의 표정(감정)을 사용자가 애플리케이션에 접속할 때마다 새롭게 인식하여, 기존의 고정된 캐릭터 형태가 아니라 사용자의 감성적 요소(표정, 기분 등)를 포함한 감성기반의 캐릭터를 생성하는 방법
2. 제 1항에 있어서, 감성 캐릭터를 아바타 형태 또는 게임상의 캐릭터 형태로서 실시간으로 생성/저장/온라인 상에서 공유하는 방법
3. 특징 추출 후 동일한 유사도를 갖는 캐릭터 데이터가 복수개 추출되는 경우 사용자가 선택모드로서 선택할 수 있는 것을 특징으로 하는 자동 얼굴영상정보 생성 방법