KR102284305B1 - 인물 사진의 헤어스타일 합성 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 인물 사진의 헤어스타일 합성 시스템에 관한 것으로, 동일한 인물의 얼굴과 헤어스타일을 합성하여 합성에 따른 이질감이 없는 인물 사진의 헤어스타일 합성 시스템 및 그 방법을 제공하기 위한 것이다. 본 발명에 따른 인물 사진의 헤어스타일 합성 시스템은 동일한 인물이 촬영된 복수의 이미지가 저장되는 메모리부, 상기 이미지에서 상기 인물의 얼굴 및 헤어스타일을 각각 분리 및 추출하는 추출부 및 상기 추출부가 추출한 상기 얼굴 및 헤어스타일을 합성하여 이미지를 생성하는 합성부를 포함한다.

Description

인물 사진의 헤어스타일 합성 시스템 및 그 방법{HAIR STYLE COMPOSITION SYSTEM AND METHOD THE SAME}

본 발명은 인물 사진의 헤어스타일 합성 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 동일한 인물의 얼굴과 헤어스타일을 분리 추출하여 각각 합성하는 인물 사진의 헤어스타일 합성 시스템 및 그 방법에 관한 것이다.

취업을 위한 이력서 등을 작성하는데 있어서, 증명사진 등이 많이 첨부되어 이용되고 있다. 증명사진에서는 촬영 대상자의 헤어스타일이 대상자의 인상을 크게 변화시킨다. 따라서 다양한 헤어스타일을 가진 사진을 얻기 위해서는 헤어스타일을 변화시켜 촬영을 다회 차 실시한다.

다만, 헤어스타일의 변화를 주기위해 다회 차의 촬영을 진행함에 따라 촬영 대상자의 표정이 각각 다를 수 있으며, 원하는 표정이 담긴 사진과 원하는 헤어스타일이 담긴 사진이 각각 다를 수 있다.

한편, 포토샵 등 다양한 사진편집 프로그램 및 편집기술이 발달함에 따라 촬영 대상자가 촬영된 이미지와 기 촬영되어 저장된 타인의 헤어스타일 등을 합성하는 것이 가능해졌다. 따라서 원하는 표정이 담긴 대상자의 사진에 기 저장된 타인의 헤어스타일을 합성한 사진기법이 가능하다. 이때 기 저장된 타인의 헤어스타일을 인터넷망을 이용하여 다운로드 받는 방식도 개발이 되었다. 이렇듯 대상자의 얼굴과 타인의 헤어스타일을 합성함에 따라, 촬영횟수를 줄이며 원하는 표정과 헤어스타일이 담긴 사진을 얻기 위한 작업이 실시되고 있다.

그러나 서로 다른 인물의 얼굴과 헤어스타일을 합성함에 따라 동일한 인물의 헤어를 이용하지 않는 경우 큰 이질감을 느끼게 된다. 또한, 타인의 헤어스타일을 합성하는 경우 촬영 대상자 본래의 모습을 잃어버리는 등 단점이 존재한다.

대한민국 공개특허공보 제10-2005-0004536호 (2005. 01. 12. 공개)

따라서 본 발명의 목적은 동일한 인물의 얼굴과 헤어스타일을 합성하여 합성에 따른 이질감이 없는 인물 사진의 헤어스타일 합성 시스템 및 그 방법을 제공하는 데 있다.

상기 목적을 달성하기 위하여, 본 발명에 따른 인물 사진의 헤어스타일 합성 시스템은 동일한 인물이 촬영된 복수의 이미지가 저장되는 메모리부, 상기 복수의 이미지에서 상기 인물의 얼굴 및 헤어스타일을 각각 분리 및 추출하는 추출부 및 상기 추출부가 추출한 상기 얼굴 및 헤어스타일을 합성하여 이미지를 생성하는 합성부 를 포함한다.

상기 복수의 이미지는, 서로 다른 제1 이미지 및 제2 이미지를 포함하며, 상기 제1 이미지 및 상기 제2 이미지 각각은, 서로 다른 안면표정을 가진 제1 얼굴 및 제2 얼굴과, 서로 다른 제1 헤어스타일 및 제2 헤어스타일을 포함할 수 있다.

상기 추출부는, 상기 제1 얼굴 및 상기 제2 얼굴을 각각 추출하는 얼굴추출부 및 상기 제1 헤어스타일 및 상기 제2 헤어스타일을 각각 추출하는 헤어추출부를 포함할 수 있다.

상기 합성부는, 상기 제1 얼굴 또는 제2 얼굴과, 상기 제1 헤어스타일 및 제2 헤어스타일 중 어느 하나를 합성하여, 제3 이미지를 생성하는 것을 특징으로 한다.

상기 목적을 달성하기 위하여, 본 발명에 따른 인물 사진의 헤어스타일 합성 방법은, 복수의 이미지를 입력받는 단계, 상기 이미지 각각의 얼굴부와 헤어스타일부를 분리하여 추출하는 단계 및 각각 분리하여 추출된 상기 얼굴부와 상기 헤어스타일부를 합성하는 단계를 포함한다.

본 발명인 인물 사진의 헤어스타일 합성 시스템 및 그 방법에 따르면, 동일한 인물의 얼굴과 헤어스타일을 각각 합성함에 따라, 타인의 헤어스타일을 합성할 때 생길 수 있는 이질감을 크게 줄일 수 있다.

도 1은 본 발명에 따른 인물 사진의 헤어스타일 합성 시스템의 구성을 간략히 보여주는 블록도이다.
도 2 및 도 3은 본 발명인 인물 사진의 헤어스타일 합성 시스템에 의해 합성된 결과물을 보여주는 이미지이다.
도 4는 본 발명에 따른 얼굴분석부가 이미지의 얼굴을 분석하기 위한 특징점을 보여주기 위한 도면이다.
도 5는 본 발명에 따른 인물 사진의 헤어스타일 합성 방법의 흐름을 보여주는 순서도이다.
도 6은 본 발명에 따른 S111 단계를 더욱 상세히 보여주는 순서도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.

그리고 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명하고자 한다.

도 1은 본 발명인 인물 사진의 헤어스타일 합성 시스템(1000)의 구성을 보여주는 블록도이다.

도 1을 참조하면, 본 발명에 따른 인물 사진의 헤어스타일 합성 시스템(1000)은, 동일한 인물이 촬영된 복수의 이미지가 저장되는 메모리부(100), 이미지에서 인물의 얼굴 및 헤어스타일을 각각 분리 및 추출하는 추출부(200) 및 추출부(200)가 추출한 얼굴 및 헤어스타일을 합성하여 이미지를 생성하는 합성부(300)를 포함한다. 본 발명에 따른 인물 사진의 헤어스타일 합성 시스템(1000)은, 추출부(200), 합성부(300) 및 후술하게 될 얼굴분석부(400)를 포함하는 제어부(500)를 더 포함할 수 있다.

메모리부(100)에는 인물이 촬영된 복수의 이미지가 저장된다. 메모리부(100)에 저장되는 이미지는 인물이 중심이 되며, 주민등록증, 운전면허증, 여권 및 취업을 위한 이력서등에 첨부되는 사진(이하, ‘증명사진 등’)일 수 있다. 메모리부(100)에 저장되는 이미지는 각 용도를 위한 규격에 따라 촬영된 사진일 수 있다. 메모리부(100)에 저장되는 이미지는, 실시간으로 촬영되어 저장될 수 있다. 다만, 이에 한정되는 것은 아니고, 예를 들어, 기 촬영되어 저장된 사진일 수 있으며, 온라인에 저장된 사진을 통신망을 통해 내려받아 메모리부(100)에 저장된 사진일 수도 있다. 메모리부(100)에 저장되는 사진을 통신망을 통해 내려받는 경우 공지된 통신 인터페이스가 더 포함될 수 있다.

메모리부(100)에 저장되는 복수의 이미지는, 복수 개의 동일한 인물이 촬영된 사진일 수 있다. 각 이미지는 촬영 대상자(상기 ‘인물’)의 안면표정(顔面表情) 등을 포함하는 얼굴 및 헤어스타일을 포함한다.

증명사진 등에서는 안면표정과 헤어스타일이 매우 중요하다. 편집 기술의 발달로 인해 촬영 대상자의 안면표정 및 헤어스타일 등을 각각 보정하는 것이 가능하지만, 인위적으로 많은 부분을 보정하게 되면 본인의 모습을 잃게 된다. 따라서 최대한 사진의 보정을 제한하여 자연스러우며, 촬영 대상자 본연의 모습을 유지하여 촬영된 사진이 좋은 증명사진 등일 수 있다.

한편, 증명사진 등을 촬영하는 현장에서는 좋은 표정과 헤어스타일을 사진에 담기 위해 많은 노력을 들인다. 예를 들어, 촬영 대상자는 증명사진 등의 촬영을 위해 카메라 렌즈를 바라보며 다양한 표정을 각각 유지한다. 대부분의 촬영 대상자는 증명사진 등의 촬영 환경이 익숙하지 않기 때문에 좋은 표정을 카메라에 담기 위해 많은 노력을 들인다. 따라서 복수 회의 사진촬영 끝에 증명사진 등에 어울리는 안면표정(이하, ‘좋은 표정’)이 담긴 사진을 얻게 된다. 그러나 증명사진 등에 어울리는 표정이 담긴 사진의 헤어스타일은 좋은 표정이 담긴 사진을 찍을 당시 갖고 있는 단 하나의 헤어스타일로만 표현된다.

증명사진 등을 찍을 때 촬영 대상자의 헤어스타일에 따라서 사진 대상자의 분위기가 바뀔 수 있다. 예를 들어, 앞머리를 올리거나 옆으로 돌려 얼굴의 눈썹 위로부터 머리털이 난 아래까지의 부분(이하, ‘이마’)을 드러내는 사진은 활발하고 활동적인 분위기를 나타낼 수 있다. 반대로, 앞머리를 이마면의 일부 또는 전부를 덮도록 내리는 경우, 차분한 분위기를 나타낼 수 있다. 또한, 여성의 경우, 대개는, 앞머리가 있는 경우 귀여운 분위기를 포함할 수도 있다. 앞머리의 유무에 따른 분위기는 촬영 대상자의 얼굴 형태 및 안면표정에 따라 달라질 수 있으며, 앞머리의 스타일도 다양하다. 앞머리의 헤어스타일 외에도 다양한 헤어스타일에 따라 촬영 대상자의 분위기가 달라질 수 있다. 따라서 증명사진 등을 촬영할 때에는 다양한 헤어스타일을 변형하여 증명사진 등을 촬영한다.

좋은 표정이 담긴 사진은 얻었으나, 헤어스타일이 어울리지 않는 경우가 있을 수 있다. 또는 좋은 표정을 유지한 안면표정을 포함한 얼굴에 다른 헤어스타일이 적용된 사진을 원할 수 있다. 따라서 좋은 표정을 포함하는 촬영 대상자의 얼굴에 다양한 헤어스타일을 합성하게 되면, 다양한 헤어스타일의 좋은 표정이 담긴 복수의 이미지를 얻을 수 있게 된다.

한편, 촬영 대상자의 얼굴과 다른 사람의 헤어스타일을 합성하게 되면, 촬영 대상자 본연의 모습을 잃게 되고, 본인의 헤어스타일이 아니기 때문에 이질감을 가진 이미지를 얻을 수밖에 없다. 이와 같이 합성에 따른 이질감을 가진 이미지에 대한 문제는 동일한 촬영 대상자의 얼굴과 헤어스타일을 서로 합성하여 해결할 수 있다.

본 발명에 따른 메모리부(100)에는 동일한 인물이 촬영된 복수의 이미지가 저장될 수 있다. 메모리부(100)에 저장되는 복수의 이미지는, 일 실시예로서, 서로 다른 제1 이미지 및 제2 이미지를 포함할 수 있다. 예를 들어, 제1 이미지는 이마가 보이는 헤어스타일을 갖도록 촬영되고, 좋은 표정을 가진 이미지이다. 제2 이미지는 제1 이미지와 헤어스타일이 다른 모든 이미지 중 어느 하나일 수 있다. 제1 이미지 및 제2 이미지는 각각 얼굴과 헤어스타일을 포함한다. 제1 이미지와 제2 이미지는 각각 서로 다른 안면표정과 서로 다른 헤어스타일을 포함한다. 즉, 제1 이미지는 제1 얼굴 및 제1 헤어스타일을 포함하며, 제2 이미지는 제2 얼굴 및 제2 헤어스타일을 포함할 수 있다. 동일한 인물인 촬영 대상자라 하더라도 각 이미지마다 표정이 서로 다르며 헤어스타일도 서로 다를 수 있다. 메모리부(100)가 포함하는 제1 이미지 및 제2 이미지는 일정 기준으로 또는 임의로 선택될 수 있다.

본 발명에 따른 추출부(200)는, 메모리부(100)에 저장된 복수의 이미지의 안면표정을 포함한 얼굴 및 헤어스타일을 각각 분리하여 추출한다. 추출부(200)가 분리하여 추출한 얼굴 및 헤어스타일은 메모리부(100)에 저장될 수 있다. 분리되어 추출되는 안면표정을 포함한 얼굴은, 일 예로, 턱 끝에서 눈썹 상단까지 일 수 있다. 또는, 이마가 보이는 사진의 경우, 분리되어 추출되는 안면표정을 포함한 얼굴은, 턱 끝에서 머리털이 난 아래까지의 부분으로서, 앞머리에 의해 이마가 가려지지 않는 부분이 모두 포함될 수도 있다. 본 발명에 따른 얼굴은 턱 이하의 부분도 포함할 수 있다. 즉, 목 이하의 부분과 착용하고 있는 의상을 모두 포함할 수 있다. 촬영된 사진에서 촬영 대상자의 헤어부분과 촬영 대상자를 제외한 배경부분을 제외한 부분이 모두 얼굴에 포함될 수 있다.

추출부(200)가 추출하는 각 얼굴 및 헤어스타일은 이미지로서 메모리부(100)에 저장될 수도 있고, 또는 다양한 특징점들이 가지는 위치, 거리차 및 비율 등이 연산된 연산값으로도 메모리부(100) 또는 후술하게 될 데이터베이스부(미도시)에 저장될 수 있다. 추출부(200)가 추출하는 특징점에 대해서는 도 4를 참조하여 후술하도록 한다.

본 발명에 따른 추출부(200)는, 얼굴추출부(210) 및 헤어추출부(230)를 더 포함한다. 얼굴추출부(210)는, 제1 이미지 및 제2 이미지에서 각각 제1 얼굴 및 제2 얼굴을 추출한다. 헤어추출부(230)는, 제1 이미지 및 제2 이미지에서 각각 제1 헤어스타일과 제2 헤어스타일을 추출한다. 얼굴추출부(210)와 헤어추출부(230)가 각각 추출한 제1 얼굴, 제2 얼굴, 제1 헤어스타일 및 제2 헤어스타일은 각각 본 발명에 따른 메모리부(100)에 저장될 수 있다.

본 발명에 따른 합성부(300)는, 추출부(200)가 복수의 이미지에서 추출한 얼굴 및 헤어스타일을 각각 합성하여 제3 이미지를 생성하는 이미지생성부(310)를 포함한다. 이미지생성부(310)는, 일 실시예로서, 좋은 표정을 가지고 있는 제1 이미지로부터 추출된 제1 얼굴과 다양한 헤어스타일을 가지고 있는 복수의 이미지 중 선택된 제2 이미지로부터 추출된 제2 헤어스타일을 합성하여 제3 이미지를 생성한다. 제1 이미지는 이마를 덮지 않거나, 최소한으로 덮고 있는 헤어스타일을 가진 이미지인 것이 바람직하나 이에 한정되지는 않는다.

본 발명에 따른 합성부(300)는 이마면 상에서 이미지의 공백이 생기는 부분을 얼굴색과 가까운 색으로 보정하기 위해 RGB(Red, Green, Blue), HSB(Hue, Saturation, Brightness), CMYK(Cyan, Magenta, Yellow, Key(Black)) 및 색상에 관한 헥스(Hex) 코드가 저장되며, 색상과 관련하여 명도 및 채도를 변화시킬 수 있는 안면색상부(330)를 더 포함할 수 있다.

안면색상부(330)는 제1 이미지에서 헤어스타일 부분을 제외하여 추출된 제1 얼굴과, 복수의 이미지 중 선택된 제2 헤어스타일을 합성할 때, 이마면 상에서 이미지의 공백이 생기는 부분은 촬영 대상자의 얼굴색과 가까운 색으로 보정될 수 있다. 안면색상부(330)가 이마면 상(또는 얼굴 전체)에서 이미지의 공백이 생기는 부분을 촬영 대상자의 얼굴색과 가까운 색으로 보정하기 위해, 이미지의 공백 근처의 안면 색상을 추출할 수 있다. 안면색상부(330)에 의해 추출된 이미지 공백 근처의 안면 색상은, 이미지 공백 부분에 채워질 수 있다.

도 2 및 도 3은 본 발명인 인물 사진의 헤어스타일 합성 시스템(1000)에 의해 합성된 결과물을 보여주는 이미지이다. 도 2에는 본 발명에 따른 제1 이미지가 도시되어 있고, 도 3에는 합성에 의해 생성된 제 3 이미지가 도시되어 있다.

도 2를 참조하면, 제1 이미지는 좋은 표정을 포함하는 제1 얼굴(A) 및 이마를 드러내는 제1 헤어스타일(B)을 포함한다. 제1 이미지의 좋은 표정은 유지한 채 이마를 드러내는 제1 헤어스타일(B) 대신 다른 헤어스타일을 원하는 경우, 메모리부(100)에 저장된 동일한 인물이 촬영된 다른 복수의 이미지 중 하나를 제2 이미지로 선택한다. 본 발명에 따른 추출부(200)는, 전술한 바와 같이, 제1 이미지와 제2 이미지에서 제1 얼굴(A), 제2 얼굴(미도시), 제1 헤어스타일(B) 및 제2 헤어스타일(C)을 각각 추출한다.

도 3을 참조하면, 본 발명에 따른 합성부(300)가 포함하는 이미지생성부(310)는, 추출부(200)가 추출한 제1 얼굴(A)과 제2 헤어스타일(C)을 합성하여 제3 이미지를 생성한다. 도 3에 도시된 바와 같이, 안면 표정을 포함하는 얼굴 부분은 도 2에 도시된 제1 얼굴(A)로서 동일하지만, 도 2 및 도 3의 헤어스타일(B, C)은 각각 다른 것을 확인할 수 있다. 도 2 및 도 3에 도시된 제1 이미지와 제3 이미지 각각은 최종이미지일 수 있으며, 동일한 표정에 서로 다른 두 개의 헤어스타일이 적용된 증명사진 등 이미지를 얻을 수 있게 된다.

한편, 제2 이미지는 제1 이미지를 제외한 모든 이미지 중 선택된 하나의 이미지인 것으로 설명하였지만 이에 한정되는 것은 아니다. 예를 들어, 제2 이미지는 복수 개로 선택된 이미지 일 수 있다. 따라서 제1 이미지에서 추출된 제1 얼굴에 복수 개의 헤어스타일이 각각 합성될 수도 있는 것이다.

다시 도 1을 참조하면, 본 발명에 따른 인물 사진의 헤어스타일 합성 시스템(1000)은 촬영 대상자의 안면표정 및 얼굴형태를 분석하는 얼굴분석부(400)를 더 포함한다. 얼굴분석부(400)는 메모리부(100)에 저장된 촬영 대상자의 얼굴을 분석한다.

도 4는 본 발명에 따른 얼굴분석부(400)가 이미지의 얼굴을 분석하기 위한 특징점을 보여주기 위한 도면이다. 도 4에서는 도시의 편의상, 제1 특징점 내지 제75 특징점을 표현하기 위해 1 내지 75의 숫자를 사용하였다.

도 4를 참조하면, 본 발명에 따른 얼굴분석부(400)는 촬영 대상자의 얼굴을 분석하기 위해 메모리부(100)에 저장된 이미지에서 얼굴영역과 특징점들을 검출한다. 얼굴분석부(400)는 얼굴인식모듈을 포함할 수 있다.

메모리부(100)(또는 데이터베이스부)에 저장된 이미지에서 얼굴영역과 특징점들을 검출하는 것은 에이다부스트(Adaboost), SVM(Support Vector, Machine), AAM(Active Appearance Model) 등과 같은 얼굴인식 알고리즘을 통해 본 발명에 따른 제어부(500)에 의해 이루어지게 되는데, 이와 같이 얼굴영상에서 얼굴영역과 특징점을 검출하는 얼굴인식 알고리즘은 당해 기술분야에서 주지된 기술이므로 자세한 설명은 생략하기로 한다.

얼굴분석부(400)는 메모리부(100)에 저장된 복수의 이미지로부터 해당 이미지 각각에 포함되어 있는 촬영 대상자의 얼굴의 주요 특징들, 예를 들어, 두 눈 사이의 거리, 코의 길이와 너비, 턱 선의 길이, 얼굴의 대칭, 광대의 모양 등 얼굴의 특징을 나타낼 수 있는 다양한 특징값들을 추출하고 추출된 얼굴의 특징값을, 메모리부(100) 또는 후술하게될 데이터베이스부에 저장될 수 있다. 메모리부(100) 또는 데이터베이스부에 저장된 특징값은 해당 얼굴이 제1 이미지의 제1 얼굴과 동일한 인물의 얼굴인지 판단할 때 사용된다.

본 발명에 따른 얼굴분석부(400)는, 도 4에 도시된 바와 같이, 메모리부(100)에 저장된 각 이미지에서 제1 특징점 내지 제75 특징점을 검출할 수 있다. 다만, 이에 한정되는 것은 아니고 필요에 따라 더 적은 개수의 특징점 또는 더 많은 개수의 특징점을 검출할 수 있다.

도 4를 참조하면, 제1 특징점 내지 제13 특징점은 각각 촬영 대상자의 얼굴형태를 나타낼 수 있는 특징점(이하, ‘얼굴형태점’)이고, 제14 특징점 내지 제72 특징점은 각각 촬영 대상자의 안면표정을 나타낼 수 있는 특징점(이하, ‘안면표정점’)이다. 그리고, 제73, 제74 및 제75 특징점은 각각 콧망울의 중심, 눈과 눈의 중심 및 이마면의 중심을 나타내는 특징점(이하, ‘얼굴중심점’)이다.

얼굴분석부(400)는, 다시 도 1을 참조하면, 형태분석부(430), 동일인물판단부(450) 및 표정분석부(410)를 더 포함한다.

형태분석부(430)는, 촬영 대상자의 얼굴형태를 분석한다. 형태분석부(430)는 촬영 대상자의 얼굴형태를 나타내는 특징점인 얼굴형태점과, 콧망울, 눈 및 이마면의 중심을 나타내는 얼굴중심점간의 거리에 대한 비율로서 촬영 대상자의 얼굴형태를 분석한다. 예를 들어, 얼굴형태점인 제1 특징점 내지 제13 특징점을 각각 제73 특징점과 연결한 후, 각 거리를 연산한다. 또한, 얼굴형태점 각각과 제74 및 제75 특징점과 연결하여 마찬가지로 거리를 연산한다. 연산된 각 거리값의 비교를 통해 촬영 대상자의 얼굴형태의 분석이 가능하다. 형태분석부(430)는 메모리부(100)에 저장된 복수의 이미지에서 특징점을 이용하여 각각 얼굴형태를 분석한다.

형태분석부(430)가 촬영 대상자의 얼굴형태를 분석한 데이터는 제2 이미지를 선택하는 알고리즘에서 사용될 수 있다. 제2 이미지에서 추출되는 헤어스타일은 제1 이미지의 얼굴과 합성될 수 있다. 전술한 바와 같이, 얼굴과 헤어스타일의 합성 시 촬영 대상자의 얼굴과 타인의 헤어스타일이 합성되는 경우, 이질감이 느껴지는 이미지가 얻어진다. 따라서 제1 이미지와 제2 이미지는 동일한 일물이 촬영된 이미지인 것이 바람직하다.

본 발명에 따른 동일인물판단부(450)는, 형태분석부(430)가 연산한 얼굴형태점과 얼굴중심점 간 거리의 비를 이용하여, 복수의 이미지 중 동일 인물(촬영 대상자)이 포함된 이미지를 선택한다. 한편, 동일인물판단부(450)는 메모리부(100)에 저장된 복수의 이미지중 동일 인물이 포함된 이미지를 선택하는 것이 바람직하나 이에 한정되지는 않는다. 예를 들어, 얼굴형태점과 얼굴중심점 간거리의 비가 같은 이미지들을 그룹화할 수 있다. 이때, 얼굴형태점과 얼굴중심점간 거리의 비가 같다면, 동일 인물이 아니어도 얼굴 형태가 같은 것으로 판단할 수 있으며, 타인의 헤어스타일을 제1 이미지의 얼굴 즉, 제1 얼굴과 합성하여 제3 이미지를 생성할 수도 있다.

본 발명에 따른 형태분석부(430)는, 제1 이미지에서 추출된 제1 얼굴을 얼굴형태점과 얼굴중심점의 특징점간 거리 비례를 전술한 바와 같이 연산하고, 메모리부(100)에 저장된 복수의 이미지 중 제1 이미지를 제외한 다른 이미지의 얼굴을 특징점을 이용해 거리 비례의 연산 및 분석한 뒤, 제1 얼굴과 일치하는 거리 비례를 갖고 있는 이미지를 도출해낸다.

사람의 얼굴에서 표정은 변화될 수 있으나 정면을 바라보는 경우 얼굴형태는 변하지 않는다. 한편, 정면을 바라보는 이미지인 것을 판단하기 위해, 제2 특징점과 제30 특징점 사이의 거리와 제30 특징점과 제33 특징점 사이의 거리의 비가 0.5 : 1 인 경우 및 제12 특징점과 제39 특징점 사이의 거리와 제39 특징점과 제36 특징점 사이의 거리의 비가 0.5 : 1인 경우 정면을 바라보는 이미지인 것으로 판단할 수 있다.

제1 이미지의 증명사진 등이 정면을 바라보고 찍은 사진이 아니고 일정 각도를 갖도록 사선방향으로 촬영된 사진이라면, 마찬가지로 일정 각도를 갖도록 사선방향으로 촬영된 다른 이미지를 분석하여 추출하는 것이 가능하다. 예를 들어, 메모리부(100) 또는 데이터베이스부에 저장된 모든 이미지의 제2 특징점과 제30 특징점 사이의 거리, 제30 특징점과 제33 특징점 사이의 거리, 제33 특징점과 제36 특징점 사이의 거리, 제36 특징점과 제 39 특징점 사이의 거리, 제39 특징점과 제12 특징점 사이의 거리를 각각 연산한 뒤 연산된 거리의 비율이 동일한 이미지는 동일한 일정 각도를 갖도록 사선방향으로 촬영된 이미지인 것으로 판단할 수 있다. 다만, 이에 한정되지는 않고, 전술한 바와 같이 에이다부스트(Adaboost), SVM(Support Vector, Machine), AAM(Active Appearance Model) 등과 같은 얼굴인식 알고리즘을 통해 본 발명에 따른 제어부(500)에 의해 이루어지게 될 수도 있다.

전술한 바와 같이, 같은 각도와 방향을 가진 제2 이미지를 선택하여 제2 헤어스타일을 추출한 뒤 제1 이미지의 제1 얼굴과 합성하게 되면 이질감이 사라진 제3 이미지를 얻을 수 있다.

표정분석부(410)는 메모리부(100)에 저장된 복수의 이미지를 분석하여 좋은 표정을 갖고 있는 이미지를 선택해주는 기능을 제공한다.

표정분석부(410)는 얼굴의 기준이 되는 제1 이미지를 선택하기 위해서, 안면표정점을 이용하여 안면표정을 추출한다. 표정분석부(410)는 안면표정을 인식하기 위해 얼굴분석부(400)가 추출한 안면표정점 상호간의 각도, 거리 비율 정보를 이용한다. 표정분석부(410)는 학습데이터를 이용하여 학습된 랜덤 포레스트 기법을 이용할 수 있다. 랜덤 포레스트 기법은 머신러닝의 하나로 다수의 결정 트리들을 학습하는 앙상블 방법이다. 랜덤 포레스트 기법은 본 발명에 따른 제어부(500)에 의해 실행될 수 있다. 랜덤 포레스트 기법은 공지된 기술이므로 자세한 설명은 생략한다.

본 발명에 따른 표정분석부(410)는, 얼굴분석부(400)가 검출한 특징점을 이용하여 이미지에 담긴 촬영 대상자의 표정을 분석할 수 있다. 예를 들어, 제31 특징점과 제35 특징점 간의 거리, 제32 특징점 및 제34 특징점간의 거리, 제37 특징점과 제41 특징점 간의 거리 및 제38 특징점과 제41 특징점 간의 거리를 각각 연산하여, 연산된 이미지 중 가장 거리가 긴 이미지를 좋은 표정을 가진 이미지로 검출하여 선택할 수 있다. 또는 제57 특징점의 접선을 구한 뒤, 제54 특징점 및 제60 특징점에서 제57 특징점의 접선을 향해 수직으로 연장선을 내려 연산된 거리가 가장 긴 이미지를 미소를 띤 이미지 즉, 좋은 표정을 가진 이미지로 검출하여 선택할 수 있다. 이때, 제54 특징점 및 제60 특징점에서 제57 특징점의 접선을 향해 수직으로 내린 연장선의 길이의 비가 1:1인 이미지로 한정하여 좋은 표정을 가진 이미지로 검출하여 선택할 수 있다. 또한, 제6 특징점의 접선과 제8 특징점의 접선을 각각 연산한 뒤 제6 특징점의 접선과 제8 특징점의 접선의 각도가 70~80도(바람직하게는 75도)의 각도를 가진 이미지를 좋은 표정을 가진 이미지로 검출하여 선택할 수도 있다.

다만 이에 한정되지 않고, 본 발명에 따른 표정분석부(410)도, 형태분석부(430)와 같이 에이다부스트(Adaboost), SVM(Support Vector, Machine), AAM(Active Appearance Model) 등과 같은 얼굴인식 알고리즘을 통해 본 발명에 따른 제어부(500)에 의해 이루어지게 될 수도 있다.

본 발명에 따른 인물 사진의 헤어스타일 합성시스템은 데이터베이스부를 더 포함할 수 있다. 데이터베이스부에는 표정분석부(410)와 형태분석부(430)가 분석한 얼굴 특징과 관련된 데이터가 저장된다. 표정분석부(410)와 형태분석부(430)가 분석한 데이터는 딥러닝 알고리즘에 기반한다. 딥러닝은 인공신경망의 한계를 극복하기 위해 제안된 기계학습 방법이다. 딥러닝은 많은 데이터를 저장하고 비슷한 것끼리 분류하도록 하는 기술이다. 딥러닝 알고리즘은 CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등 공지된 알고리즘이 사용될 수 있으며, 에이다부스트(Adaboost), SVM(Support Vector, Machine), AAM(Active Appearance Model) 등과 같은 얼굴인식 알고리즘을 통해 본 발명에 따른 제어부(500)에 의해 이루어지게 될 수도 있다.

표정분석부(410)는 안면표정점으로부터 연산된 정보를 이용하여 촬영 대상자의 안면표정을 추출한다. 일반적으로 사람의 안면표정은 미소, 놀람, 분노, 경멸, 혐오, 공포 및 슬픔으로 대별할 수 있다.

본 발명에 따른 얼굴분석부(400)는 얼굴선택부(470)를 더 포함할 수 있다. 증명사진 등에서는 미소를 포함하는 안면표정을 필요로 하므로, 얼굴선택부(470)는 표정분석부(410)에 의해 분석된 메모리부(100)에 저장된 복수의 이미지에서 미소를 포함하고 있는 이미지를 제1 이미지로 선택한다. 제1 이미지는 복수 개의 이미지일 수 있다.

얼굴분석부(400)에 의해 제1 이미지가 선택되면, 전술한 형태분석부(430)에 의해 제1 이미지의 촬영 대상자와 동일한 인물의 이미지를 제2 이미지로 선택하고, 헤어추출부(230)에 의해 제2 이미지에서 추출한 제2 헤어스타일과 제1 얼굴을 합성하여 제3 이미지를 생성한다.

본 발명에 따른 인물 사진의 헤어스타일 합성 시스템(1000)은, 사용자 단말기(2000)로 이미지를 전송하기 위한 통신부(600)를 더 포함할 수 있다. 통신부(600)는, 유무선통신이 가능한 구성을 더 포함할 수 있다. 사용자 단말기(2000)와 통신부(600)의 무선통신 방법은 NFC, RF 통신, 블루투스, 지그비, 와이파이, 적외선 통신 등을 이용한 무선통신 방법이 사용될 수 있다. 사용자 단말기(2000)는 스마트폰, 컴퓨터, 노트북, 비콘(Beacon), 태블릿 PC 또는 무선 리모콘 등을 포함할 수 있다.

도 5는 본 발명에 따른 인물 사진의 헤어스타일 합성 방법의 순서를 보여주는 순서도이다.

도 5를 참조하면, 본 발명에 따른 인물 사진의 헤어스타일 합성 방법은, 복수의 이미지를 입력받는 단계(S101), 이미지 각각의 얼굴부와 헤어스타일부를 분리하여 추출하는 단계(S111) 및 각각 분리하여 추출된 얼굴부와 헤어스타일부를 합성하는 단계(S121)를 포함한다.

S101 단계는, 복수의 이미지를 입력받아 본 발명에 따른 메모리부(100)에 저장되는 단계이다. 전술한 바와 같이 복수의 이미지는 인물 중심의 증명사진 등 이미지이며, 동일한 인물, 즉, 동일한 촬영 대상자가 촬영된 사진일 수 있다. 복수의 이미지는 메모리부(100)에 기 저장된 이미지일 수 있으며, 기 저장되지 않고, 실시간으로 촬영되는 이미지 일 수도 있다.

S111 단계에서는, 메모리부(100)에 저장된 복수의 이미지 각각에서 얼굴부와 헤어스타일부를 분리하여 추출한다. 상세하게는, 제1 이미지와 제2 이미지 각각에서 제1 얼굴, 제1 헤어스타일, 제2 얼굴 및 제2 헤어스타일을 분리하여 추출한다. 얼굴부는 배경과 헤어부분을 제외한 나머지의 얼굴부분일 수 있으며, 일 예로 턱 끝부터 이마 상단의 머리털 아래부분까지 일 수 있으며, 이마면에서 헤어로 인해 덮이지 않은 부분을 모두 포함할 수 있다. 또한, 촬영 대상자의 얼굴 아래부분, 즉, 목 이하의 부분과 착용하고 있는 의상도 포함할 수 있다.

S111 단계 이후, S121 단계에서는, S110 단계에서 분리하여 추출한 얼굴부와 헤어스타일부를 합성한다. 상세하게는, 제1 얼굴과 제2 헤어스타일을 합성하여 제3 이미지를 생성한다.

본 발명에 따른 인물 사진의 헤어스타일 합성 방법은, S121 단계 이후, 제1 이미지와 합성하여 생성된 제3 이미지를 사용자 단말기(2000)로 전송하는 단계(S131)를 더 포함할 수 있다.

도 6은 본 발명에 따른 S111 단계를 더욱 상세히 보여주는 순서도이다.

도 6을 참조하면, 본 발명에 따른 S111 단계는, S101 단계에서 입력받은 복수의 이미지의 안면표정을 분석하여 좋은 표정을 갖고 있는 이미지를 선택하는 단계(S113), S113 단계에서 선택된 이미지에서 얼굴부를 추출하는 단계(S115), 입력받은 복수의 이미지에서 S115 단계에서 추출한 얼굴부와 동일한 얼굴형태를 가진 이미지를 선택하는 단계(S117), S117 단계에서 선택한 이미지에서 헤어스타일부를 추출하는 단계(S119)를 더 포함할 수 있다.

S113 단계는, S101 단계에서 입력받은 복수의 이미지에서 안면표정을 분석한다. 본 발명에 따른 얼굴분석부(400)에 의해 이미지 상에서 촬영 대상자의 각 특징점을 연산한다. 연산된 특징점 중 안면표정점을 분석하여 미소를 가진 좋은 표정을 선택한다. S113 단계에서 선택된 이미지는 제1 이미지로 결정될 수 있다.

S115 단계는, S113 단계에서 결정된 제1 이미지의 얼굴부를 추출한다. S115 단계에서 추출되는 얼굴부는 제1 얼굴이며, 본 발명에 따른 인물 사진의 헤어스타일 합성 방법에서 기준이 되는 얼굴부가 될 수 있다.

S117 단계는, S115 단계에서 추출된 제1 얼굴과 동일한 얼굴형태를 가진 이미지를 선택하기 위하여, 본 발명에 따른 형태분석부(430)는 메모리부(100)에 저장된 복수의 이미지의 얼굴형태를 분석한다. 분석결과 제1 얼굴과 동일한 얼굴형태를 가진 이미지를 선택하여 제2 이미지를 결정한다. 제2 이미지는 복수 개의 이미지일 수 있다. 바람직하게는, 제1 이미지와 제2 이미지의 촬영 대상자는 동일인이다. 다만, 이에 한정되지 않고, 예를 들어, 타인이지만 얼굴형태가 동일하거나 유사한 촬영 대상자의 이미지일 수 있다.

S119 단계는, S117 단계에서 결정된 제2 이미지에서 헤어스타일부를 추출하는 단계이다. S119 단계에서 추출된 헤어스타일부는 제2 헤어스타일로 결정된다.

S119 단계 이후, 전술한 제1 얼굴과 제2 헤어스타일을 합성하는 S121단계가 진행 될 수 있다.

본 명세서에서 인물 사진의 헤어스타일 합성 시스템(1000)이 포함하는 메모리부(100), 제어부(500), 통신부(600), 추출부(200), 얼굴추출부(210), 헤어추출부(230), 합성부(300), 이미지생성부(310), 안면색상부(330), 얼굴분석부(400), 표정분석부(410), 형태분석부(430), 동일인물판단부(450), 얼굴선택부(470) 등은 메모리에 저장된 연속된 수행과정들을 실행하는 프로세서들일 수 있다. 또는, 프로세서에 의해 구동되고 제어되는 소프트웨어 모듈들로서 동작할 수 있다. 나아가, 프로세서는 하드웨어 장치일 수 있다.

참고로, 본 발명의 일 실시예에 따른 인물 사진의 헤어스타일 합성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능매체에 기록될 수 있다. 상기 컴퓨터 판독가능매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용가능한 것일 수도 있다. 컴퓨터 판독가능매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체, 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

100 : 메모리부
200 : 추출부
210 : 얼굴추출부
230 : 헤어추출부
300 : 합성부
310 : 이미지생성부
330 : 안면색상부
400 : 얼굴분석부
410 : 표정분석부
430 : 형태분석부
450 : 동일인물판단부
470 : 얼굴선택부
500 : 제어부
600 : 통신부
1000 : 인물 사진의 헤어스타일 합성 시스템
2000 : 사용자 단말기

Claims (5)

1. 인물이 촬영된 복수의 이미지가 저장되는 메모리부; 상기 복수의 이미지에서 상기 인물의 얼굴 및 헤어스타일을 각각 분리 및 추출하는 추출부; 및 상기 추출부가 추출한 상기 얼굴 및 헤어스타일을 합성하여 이미지를 생성하는 합성부를 포함하는 인물 사진의 헤어스타일 합성 시스템에 있어서,
   상기 복수의 이미지는, 서로 다른 제1 이미지 및 제2 이미지를 포함하고,
   상기 제1 이미지 및 상기 제2 이미지 각각은, 서로 다른 안면표정을 가진 제1 얼굴 및 제2 얼굴과, 서로 다른 제1 헤어스타일 및 제2 헤어스타일을 포함하며,
   상기 추출부는,
   상기 제1 얼굴 및 상기 제2 얼굴을 각각 추출하는 얼굴추출부; 및
   상기 제1 헤어스타일 및 상기 제2 헤어스타일을 각각 추출하는 헤어추출부;
   를 포함하고,
   상기 합성부는, 상기 제1 얼굴과 상기 제2 헤어스타일을 합성하여, 제3 이미지를 생성하되,
   상기 합성부는, 상기 제1 얼굴과 상기 제2 헤어스타일을 합성할 때, 상기 제1 얼굴의 안면 색상을 추출하여 이미지의 공백이 생기는 부분을 보정하는 안면색상부를 더 포함하고,
   상기 시스템은, 상기 메모리부에 저장된 상기 이미지의 안면표정 및 얼굴형태를 분석하는 얼굴분석부를 더 포함하며,
   상기 얼굴분석부는,
   상기 이미지에서 표정을 분석하여 상기 제1 이미지를 선택하는 표정분석부;
   특징점을 이용하여 상기 얼굴형태를 분석하는 형태분석부; 및
   상기 형태분석부가 분석한 상기 얼굴형태를 통해 상기 메모리부에 저장된 복수의 이미지 중 상기 제1 이미지와 동일인물이 촬영된 제2 이미지를 선택하는 동일인물판단부;
   를 포함하는 것을 특징으로 하는, 인물 사진의 헤어스타일 합성 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 복수의 이미지를 입력받는 단계, 이미지 각각의 얼굴부와 헤어스타일부를 분리하여 추출하는 단계 및 각각 분리하여 추출된 상기 얼굴부와 상기 헤어스타일부를 합성하는 단계를 포함하는 인물 사진의 헤어스타일 합성 방법에 있어서,
   상기 복수의 이미지를 입력받는 단계에서, 상기 복수의 이미지는,
   서로 다른 제1 이미지 및 제2 이미지를 포함하며,
   상기 제1 이미지 및 상기 제2 이미지 각각은, 서로 다른 안면표정을 가진 제1 얼굴 및 제2 얼굴과, 서로 다른 제1 헤어스타일 및 제2 헤어스타일을 포함하고,
   상기 이미지 각각의 얼굴부와 헤어스타일부를 분리하여 추출하는 단계는,
   상기 제1 얼굴 및 상기 제2 얼굴을 각각 추출하는 단계; 및
   상기 제1 헤어스타일 및 상기 제2 헤어스타일을 각각 추출하는 단계를 포함하고,
   각각 분리하여 추출된 상기 얼굴부와 상기 헤어스타일부를 합성하는 단계는,
   상기 제1 얼굴과 상기 제2 헤어스타일을 합성하는 단계; 및
   상기 제1 얼굴의 안면 색상을 추출하여 이미지의 공백이 생기는 부분을 보정하는 단계;
   를 포함하며,
   상기 방법은, 복수의 이미지를 입력받는 단계 이후,
   상기 이미지에서 표정을 분석하여 상기 제1 이미지를 선택하는 단계;
   특징점을 이용하여 얼굴형태를 분석하는 단계; 및
   분석한 상기 얼굴형태를 통해 메모리부에 저장된 복수의 이미지 중 상기 제1 이미지와 동일인물이 촬영된 제2 이미지를 선택하는 단계를 포함하는 것을 특징으로 하는, 인물 사진의 헤어스타일 합성 방법.

Images