KR20030063574A - 제어점 조절 방식에 의한 얼굴 사진 제작 및 변형 시스템 - Google Patents

Abstract

본 발명은 카메라 없이 얼굴 사진을 제작하거나 사용자가 보유하고 있는 얼굴 사진상의 얼굴을 성형 또는 변형하는 시스템을 개발한다. 이 시스템의 목적은 기억상에 존재하는 인물 사진을 제작하고자 할 때, 또는 사진속에서 특정 얼굴사진 만을 변형하여 다른 모습으로 만들고자 할 때, 또는 얼굴의 성형 모습을 사진상에서 시험하여 보고자 할 때 사용하기 위함이다. 본 시스템에서, 얼굴을 구성하는 모든 요소들(눈, 코, 입, 얼굴 윤곽)은 각각의 제어점을 기준으로 하여 구성이 되며, 그 제어점의 위치 변화를 비교하여 구성 요소를 변형 또는 성형한다. 얼굴 변형의 방법으로는 시스템에서 제공되는 기본 샘플에 기반하여 새로운 얼굴을 만드는 과정과 사용자의 정면 얼굴사진을 기반으로 얼굴을 성형하는 과정, 그리고 배경이 포함된 사진으로부터 얼굴 부위만 추출하여 성형/변형하는 3가지의 방법이 있다.

Description

제어점 조절 방식에 의한 얼굴 사진 제작 및 변형 시스템{Facial photo making and transforming system using control points}

이 시스템의 목적은, 기억에 의존하여 인물사진을 제작하고자 할때, 또는 다수의 얼굴이 있는 배경이 포함된 사진 속에서 특정 얼굴 사진만을 변형하여 다른 모습으로 만들고자 할 때, 또는 얼굴의 성형 모습을 사진상에서 시험하여 보고자 할 때 사용하기 위함이다.

본 발명은 얼굴사진 제작 및 변형/성형 과정을 간편화하는데 초점을 맞춘 것으로, 수행과정은 다음과 같다. 먼저, 얼굴 구성요소의 제어점들을 이동시켜 제어점들로 구성된 스플라인(spline) 곡선과 구성요소의 외형을 근사시키는 제어점 초기화 과정을 수행한다. 제어점의 초기화 과정이 완료되면 마우스의 드래그(drag)와 클릭(click)에 의한 제어점의 위치 변화를 계산하여 새로운 윤곽과 피부 재질을 구성하고, 변형중 생긴 공백에 대해서는 보간(interpolation)을 수행하여 이미지를 완성한다.

현재 얼굴 성형 방법은 디지털 사진 전문 작업자에 의한 수동 변형 방법과 얼굴을 구성하는 요소들을 데이터베이스에 저장후 자신과 유사한 샘플을 선택하여 조합하는 방식과 구성요소 상에서의 제한된 성형만이 가능한 방법들이 있다. 전문 작업자에 의한 수동 변형의 경우 장시간이 소요되고 자신이 원하는 형태의 성형이 이루어지지 않을 가능성이 높으며, 데이터베이스로부터 조합형의 경우 많은 구성 요소 샘플이 필요하고 다양한 사람의 얼굴 표현이 불가능하며, 국한된 성형의 경우 사용자의 의지와는 상관없이 성형 가능한 구성요소만 성형할 수 있다는 한계가 있다.

본 발명은 기본 제공되는 샘플 사진을 변형하여 새로운 얼굴 이미지를 만들거나, 디지털 사진에서 얼굴의 각 구성요소인 귀, 눈, 코, 입, 얼굴 외형 등을 사용자의 의지대로 변형/성형할 수 있는 방법을 제공한다.

기본적으로 제공하는 남여 성별 샘플을 선택하거나 사용자에 의해 디지털 얼굴 사진 영상을 입력받는 제 1단계와; 사용자 얼굴사진 변형/성형의 경우 눈동자 위치를 기준으로 한 얼굴 영상의 정규화(크기변형 및 회전)와, 정규화된 사진상에서 제어점 이동에 의해 스플라인 곡선을 얼굴 구성요소별로 근사시키고, 구성요소 내에 피부 재질을 입히는 제2단계와; 얼굴의 피부 색상을 조절하고 화장 기법을 적용하는 제3단계와; 제작되거나 변형/성형된 디지털 얼굴 영상을 출력장치로부터 투사/인쇄하는 제4단계와; 최종 디지털 얼굴 영상을 저장하는 5단계를 포함하는 것을 특징으로 하고 있다.

얼굴의 각 구성요소를 새롭게 만들기 위해서는 입력 받은 얼굴 영상에 대한 사용자에 의해 위치 변화가 이루어진 제어점(스플라인을 구성하는 통제점들로부터 소수의 대표값을 추출하여 사용자가 구성요소 변형시 손쉽게 작동할 수 있도록 샘플화 된 점)으로부터 통제점을 구한다. 이렇게 구해진 변형전과 후의 통제점으로 구성요소를 이루는 스플라인을 만들고 각 픽셀들의 정보를 수집하여 변형된 위치만큼 회전과 이동 및 확대 또는 축소의 연산을 수행하여 성형된 얼굴을 구현한다.

얼굴 구성요소의 통제점 구성은 제어점을 기준으로 실제 사람의 얼굴을 구성하고 있는 눈, 코, 입, 귀, 외곽선의 객관성에 타당한 형태를 유지할 수 있는 스플라인을 유지하도록 제어점과 구성요소의 변동 한계점을 고려하여 통제점별 허용치를 규정하고 산출된 수학식을 적용하여 각각의 통제점을 계산한다.

통제점에 의해 구성요소의 형태가 규정되면 얼굴 화장을 하거나 얼굴의 색상을 바꾸는데 활용한다. 색상의 변화는 바탕이 되는 색상과 새로 덧붙여질 색상의 상관관계별로 비율계산을 하여 혼합하며 이는 정확한 얼굴의 구성요소를 프로그램상에서 이미 파악하고 있기 때문에 수동뿐 아니라 자동 연산도 가능하다.

도 1은 본 발명을 수행하기 위한 얼굴 제작 및 성형 시스템의 구성도이다.

도 2는 본 발명에 따라 얼굴을 제작/성형하는 과정을 흐름도로 나타낸 것이다.

도 3는 본 발명에서 사용할 제어점 설정 및 구성요소별 점유영역을 나타낸 것이다.

도 4는 본 발명에서 입의 축소된 제어점으로부터 새로운 스플라인을 형성하는 과정을 나타낸 것이다.

도 5는 본 발명에서 코의 축소된 제어점으로부터 새로운 스플라인을 형성하는 과정을 나타낸 것이다.

도 6는 본 발명에서 눈썹의 축소된 제어점으로부터 새로운 스플라인을 형성하는 과정을 나타낸 것이다.

이하, 첨부된 도면을 바탕으로 본 발명의 실시 예에 대하여 상세하게 설명한다.

본 발명의 특징은 시스템에서 기본 제공한 샘플 얼굴사진을 변형하여 새로운 얼굴을 제작하거나, 사용자의 사진을 입력받아 크기 및 수평도를 기준으로 영상을 정규화하고, 제어점들의 조절을 통해 스플라인 곡선이 얼굴 구성요소의 윤곽에 정합되면 이후 제어점의 위치 이동에 의해 얼굴의 구성요소 변형/성형이 가능하다. 윤곽선을 이루는 스플라인 곡선을 변형시키기 위하여 스플라인 곡선을 구성하는 모든 점들에 대해 조절을 하는 대신, 소수의 제어점 조절로 이 과정이 수행되므로 사용자는 손쉽고 빠르게 새로운 얼굴을 생성하거나 자신의 얼굴을 다양하게 성형할 수 있게 된다.

도 1은 본 발명에 따라 디지털 얼굴 영상을 생성 또는 성형하기 위한 시스템의 구성도로서 마우스, 키보드 및 영상입력기기 등의 입력 장치( 1 ), 입력정보와 영상정보를 처리하는 영상 처리 장치( 2 ), 처리된 영상정보를 화면으로 보여주거나 인쇄물로 출력할 수 있는 영상 출력 장치( 3 ), 영상 정보를 저장하는 영상 저장 장치( 4 )로 구성되어 있다.

도 2는 자체 제공 사진으로부터 새로운 얼굴을 생성하거나 사용자 사진으로부터 얼굴을 성형하는 과정을 흐름도로 나타낸 것이다. 이 과정의 차이는 자체 제공 사진의 경우 영상의 정규화 및 제어점의 설정이 되어있는 남여의 성별만 선택하면 되고, 증명사진을 입력하는 경우 두 눈동자의 위치 설정에 의해 영상을 정규화하고 이에 맞는 제어점을 설정하는 과정까지 포함되며, 사진에서 배경을 남기고 변형하는 경우에는 회전각 계산하는 과정을 포함하고 있다. 본 발명의 실시 예는 도 2를 위주로 한다.

단계 ( S1 )에서는 사용자가 선택한 얼굴 영상을 입력 받는다.

단계 ( S1-1 )에서는 입력받은 얼굴 사진 영상에서 자동 또는 수동의 방법으로 양쪽 눈동자의 위치 정보를 얻어 이를 바탕으로 얼굴 사진 영상을 정규화하는 과정을 거친다. 단계( S1-1 )를 통해서 입력된 얼굴 영상은 눈동자의 위치 정보에 의해서 사용자가 제어점을 수동으로 설정하기 편한 크기로 변형되고 회전된다.

단계 ( S1-2 )에서는 사용자가 사진에서 배경은 그대로 유지지한 상태에서 선택된 얼굴만을 변형하고자 할 경우 좌표축 회전계산을 위한 회전각을 계산한다.

단계 ( S1-3 )에서는 각 얼굴 구성요소의 형태와 위치 정보를 얻기 위해 단계( S1-1 )에서 조절된 얼굴 영상을 바탕으로 스플라인 곡선을 근사시키면서 제어점을 찾아 나간다. 눈, 코, 입, 얼굴 외곽선의 형태와 스플라인 곡선이 일치하도록 얼굴 구성 요소 각각의 스플라인 제어점을 조절하고 보편적인 얼굴 형태에 어긋남이 없이 제어점의 위치를 자동 수정한다. 제어점의 설정이 끝나게 되면 도 4와 같이 얼굴 각 구성요소가 점유하게 될 영역을 자동 설정하여 구성요소간 발생되는 간섭 효과를 사전에 방지한다.

단계 ( S2 )에서는 단계 ( S1 )을 거쳐 정규화 되고 제어점의 설정이 완료된 얼굴 사진을 가지고 얼굴 성형에 필요한 구성요소들의 제어점 위치 변화를 설정한다. 입력 장치인 마우스의 드래그(drag)와 클릭(click)에 의해 제어점의 위치 변화가 가능하며 이미 구성요소의 변형을 위한 필수 요건이 된다. 마우스의 조작은 많은 양의 변형이 필요한 경우에는 드래그(drag)에 의해 이루어지고 세밀한 조절을 위해서는 해당 제어점을 선택하여 마우스 클릭(click)으로 이루어지게 된다.

단계 ( S3 )에서는 각 구성요소 제어점의 위치 변화에 대한 정당성을 판단하게 되는데 도 3와 같이 단계 ( S1-2 )에서 자동 생성된 구성요소의 점유 영역을 벗어나서는 안 된다. 변화의 정당성에 위배될 경우 드래그(drag)나 클릭(click)된 제어점은 도 3의 구성요소 점유영역내 이동 가능한 최대값으로 자동계산되며 다시 단계 ( S2 )로 이동하여 단계 ( S3 )의 과정을 되풀이하게 된다.

단계 ( S4 )에서는 사용자의 요구에 의해 구성된 새로운 제어점들로 구성된 스플라인 곡선을 형성하고 이를 기반으로 해당 구성요소의 점유 영역내에서 각 픽셀의 정보를 재배치하게 된다.

도 4에서 ( A )는 입의 제어점 위치 정보를 나타내는 것이며, ( B )는 입의 외형과 근사하는 스플라인을 계산하기 위한 통제점을 나타내고 있고, ( C )는 상하 입술의 분리선을 나타내고 있다. ( A )의 0, 1, 2, 3과 ( B )의 0, 2, 4, 6은 서로 일치하게 되고, ( A )의 0, 4, 2와 ( C )의 0, 2, 4는 서로 일치하게 된다. ( B )의 1, 3, 5, 7의 값은 식 1을 따르고 ( C )의 1, 3의 값은 식 2를 따라 계산이 된다.

[수학식 1]

B_1x= A_0x+ 0.4 ×(A_4x- A_0x)

B_1y= A_2y+ 0.33333 ×(A_1y- A_0y)

B_3x= A_2x- 0.4 ×(A_2x- A_4x)

B_3y= A_2y- 0.33333 ×(A_1y- A_2y)

B_5x= A_2x- 0.4 ×(A_2x- A_4x)

B_5y= A_3y

B_7x= A_0x+ 0.4 ×(A_4x- A_0x)

B_7y= A_3y

[수학식 2]

C_1x= 0.5 ×(A_0x+ A_4x)

C_1y= A_4y- 0.6 ×(A_4y- A_0y)

C_3x= 0.5 ×(A_2x+ A_4x)

C_3y= A_4y- 0.6 ×(A_4y- A_2y)

여기서 첨자 숫자는 좌표점의 순번이고 첨자 x, y는 좌표축을 의미한다.

도 5에서 ( A )는 코의 제어점 위치 정보를 나타내는 것이며, ( B )는 코의 외형과 근사하는 스플라인을 계산하기 위한 통제점을 나타내고 있다. ( A )의 0, 2와 ( B )의 2, 6은 서로 일치하게 되고, ( B )의 0과 8은 단계 ( S1-1 )을 통해서 확정되면 값의 변화는 없고 스플라인을 형성하는 보조 역할만을 담당하게 된다. ( B )의 1, 3, 4, 5, 7의 값은 식 3에 따라 계산이 된다.

[수학식 3]

B_1y= A_3y

B_3x= A_1x- 0.8 ×(A_1x- A_0x)

B_3y= A_1y+ 0.1 ×(A_1y- B_0y)

B_4x= A_1x

B_4y= A_1y+ 0.1 ×(A_1y- B_0y)

B_5x= A_1x+ 0.8 ×(A_2x- A_1x)

B_5y= A_1y+ 0.1 ×(A_1y- B_0y)

B_7y= A_3y

도 6에서 ( A )는 눈썹의 제어점 위치 정보를 나타내는 것이며, ( B )는 눈썹의 외형과 근사하는 스플라인을 계산하기 위한 통제점을 나타내고 있다. ( A )의 0, 3, 2와 ( B )의 0, 2, 4는 서로 일치하게 되고, ( B )의 1, 3, 5, 6, 7의 값은 식 5에 따라 계산이 된다. 식 4는 식 5를 계산하기 위한 기본 수식이다.

[수학식 4]

[수학식 5]

B₁= Q(A₃, A₁, A₀)

B₃= Q(A₃, A₁, A₂)

B₅= Q(K(A_1x, 2 ×A_1y- A_3y), A₁, A₂)

B_6x= A_1x

B_6y= A_1y+ 0.66667 ×(A_3y- B_1y)

B₇= Q(K(A_1x, 2 ×A_1y- A_3x), A₁, A₀)

눈과 얼굴 외형의 제어점은 단계 ( S1-3 )에서 설정된 값을 적용한다.

위에서 구해진 제어점이 구성하는 스플라인 곡선을 기반으로 얼굴의 원영상 이미지로부터 새로운 얼굴 구성요소의 픽셀 정보를 재배치한다. 픽셀 정보의 재배치하는 과정은 최초 스플라인의 좌표와 최후 스플라인의 좌표를 비교하여 회전 및 이동 그리고 확/축소 알고리즘을 적용한다. 식 6은 이를 위한 매트릭스(matrix) 식이다.

[수학식 6]

이 식을 기본으로 구성된 스플라인 곡선들의 위치 변화를 추적하고 새롭게 매핑될 좌표들을 계산한 후 적용시킨다.

단계 ( S5 )에서는 새롭게 맵핑된 픽셀의 정보를 파악하고 맵핑에서 점유영역내에 주위 픽셀들의 정보를 분석하여 평균값 보간법에 의해 보간(interpolation)을 수행한다. 지금까지의 과정에서 위치 변화가 있는 제어점이 포함된 얼굴 구성요소는 제어점의 변화가 있을때마다 새로운 픽셀의 정보로 재배치되며 이는 단계 ( S6 )에서 사용자에게 디스플레이 하고 사용자가 원한다면 이미지 파일로 저장이 가능하다. 단계 ( S6-1 )에서는 지금까지 만들어진 얼굴에 쌍꺼풀이나 얼굴의 색상 등을 조절하고 준비된 팔레트로부터 화장의 효과를 가미할 수 있다. 쌍꺼풀의 경우 눈의 제어점으로부터 구성된 스플라인 곡선을 기반으로 눈썹과의 상관관계 등을 고려하여 새로운 선을 형성하는 것이고, 화장기법은 마우스의 이동을 추적하여 주위에 선택된 색상별로 블렌딩 효과를 추가하여 부드러운 화장이 가능토록 한다. 사용자가 단계 ( S2 )에서 ( S6 )까지 반복하고 싶다면 되돌아가면 되며 본 발명을 끝마치고 싶다면 종료를 하면 된다.

본 발명은 사용자가 타인의 얼굴을 만들 수도 있고 자신이 소유하고 있는 사진으로부터 사이버 얼굴 성형이 가능하여 자신의 얼굴에 불만이 있는 부분에 대해서 수정이 가능하여 인터넷 채팅이나 몽타주 사진 제작에 활용이 가능하다. 또한 친구의 사진이나 기억해두고 싶은 인물의 사진을 제작하는 엔터테인먼트용으로 활용할 수도 있다.

Claims (3)

1. 시스템에서 제공하는 표준 얼굴 사진을 이용하여 기억에 의존한 얼굴사진을 제작할 수 도 있고, 또는 얼굴이 포함된 사진을 입력 받아 사진속의 얼굴을 성형/변형하는 시스템 제작 방법에 있어서,

   사진 속에서 수동 또는 자동의 방법으로 사진 영상의 양쪽 눈동자 위치를 파악한 후 그 위치를 기준으로 얼굴 영상을 정규화(크기 및 회전변형)하고, 얼굴의 구성 요소별로 스플라인 곡선을 근사시켜 제어점을 초기 설정하는 1단계와; 얼굴내 각 구성 요소별 점유영역의 범위를 설정하는 2단계와; 얼굴 변형을 위한 제어점의 위치 변화에 따라 변형된 스플라인 곡선을 근사한 후, 얼굴의 구성요소 별로 픽셀의 정보(R,G,B)를 재배치하여 얼굴을 변형하는 3단계와; 얼굴의 색상을 바꾸거나 화장 효과를 가미하고 쌍꺼풀과 같은 부가적 성형을 수행하는 4단계를 포함하는 사이버 얼굴사진 제작 방법.
2. 제 1 항에 있어서, 스플라인 곡선의 제어점 설정시 사용자로부터 자동 또는 수동으로 입력받은 제어점들을 기반으로 하여, 스플라인의 제어점 수가 최소가 되도록 재계산하고 구성요소별 변형한계 범위를 설정하는 시스템.
3. 제 1 항에 있어서, 단체 사진이나 개인의 사진에서 배경은 그대로 유지한 상태에서, 선택된 얼굴을 추출하여, 얼굴의 회전각을 계산하고 회전각만큼 좌표축을회전시킨다. 얼굴 구성요소에 대한 스플라인의 근사는 회전된 축을 기준으로 하며, 변형된 얼굴을 원 사진에 정합시는 회전각만큼 역회전하여 변형을 완성하는 시스템.