KR101820503B1 - 얼굴 인식 추론 기반 서비스 시스템, 그의 얼굴 인식 추론 방법 및 기록 매체 - Google Patents

Abstract

본 발명은 평면적인 얼굴 영상으로부터 측면 및 후면의 영상을 추론하고, 이를 기반으로 사용자에게 보다 입체적이고 사실적인 가상의 스타일링 서비스를 제공할 수 있는 얼굴 인식 추론 기반 서비스 시스템 및 방법, 그리고 그의 얼굴 인식 추론 방법에 관한 것으로서, 사용자의 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 얼굴 특징 정보로부터 얼굴의 유형 정보를 추출하고, 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론함에 의해 사용자의 얼굴을 인식한 후, 특정 스타일의 미용 오브젝트와 사용자의 정면, 측면 및 후면 얼굴 영상 중에서 하나 이상과 결합하여 가상 미용 모델링 영상을 생성하여 사용자에게 제공함으로써, 얼굴 인식 추론 기반으로 이루어지는 서비스를 제공한다.

Description

얼굴 인식 추론 기반 서비스 시스템, 그의 얼굴 인식 추론 방법 및 기록 매체{Service systembased on face recognition inference, and face recognition inference method and storage medium thereof}

본 발명은 평면적인 얼굴 정면 영상으로부터 측면 및 후면의 영상을 추론하고, 이를 기반으로 사용자에게 입체적이고 사실적인 가상의 스타일링 서비스를 제공할 수 있는 얼굴 인식 추론 기반 서비스 시스템 및 방법, 그리고 그의 얼굴 인식 추론 방법에 관한 것이다.

최근 사용자가 자신이 원하는 모바일 어플리케이션을 자유롭게 선택하여 설치할 수 있는 스마트폰이 급성장하면서, 이러한 모바일 어플리케이션을 자유롭게 거래할 수 있는 OMP(Open Market Place)까지 활성화되고 있으며, 이에 따라서 다양한 응용 프로그램 및 서비스의 개발이 이루어지고 있다.

이 중의 하나로서, 머리 모양을 가상을 바꿔볼 수 있도록 하는 가상 헤어 스타일링 서비스가 제공되고 있다.

그런데 기존의 가상 헤어 스타일링 서비스는, 사용자의 정면 영상만을 촬영하여, 정면 영상에 대한 가상 헤어 스타일링을 제공하고 있기 때문에, 사용자는 측면 및 후면의 모습까지 확인해 볼 수 없다.

측면이나 후면의 모습까지 서비스하기 위해서는, 사용자의 영상의 다양한 방향에서 촬영한 후, 이를 결합하여 사용자의 삼차원 영상을 생성하여야 하는데, 이 경우, 고가의 장비를 구비하여야 하기 때문에, 이에 따른 과다한 비용이 발생하는 문제점이 있다.

따라서, 고가의 장비를 이용하지 않고, 보다 저렴한 방법으로 사용자에게 다양한 가상 헤어 체험 서비스를 제공할 수 있도록 하기 위한 연구가 필요하다.

이에 본 발명은 평면적인 얼굴 정면 영상으로부터 측면 및 후면의 영상을 추론하고, 이를 기반으로 사용자에게 보다 입체적이고 사실적인 가상의 헤어 스타일링 서비스를 제공할 수 있는 얼굴 인식 추론 기반 서비스 시스템 및 방법, 그리고 그의 얼굴 인식 추론 방법을 제공하고자 한다.

본 발명은 상술한 과제를 해결하기 위한 수단으로서, 사용자의 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 얼굴 특징 정보로부터 얼굴의 유형 정보를 추출하고, 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론한 후, 특정 스타일의 미용 오브젝트와 사용자의 정면, 측면 및 후면 얼굴 영상 중에서 하나 이상과 결합하여 가상 미용 모델링 영상을 생성하는 서비스 장치; 및 사용자의 정면 얼굴 영상을 서비스 장치로 제공하고, 서비스 장치로부터 가상 미용 모델링 영상을 수신하여 사용자에게 출력하는 단말 장치를 포함하는 것을 특징으로 하는 얼굴 인식 추론 기반 서비스 시스템을 제공한다.

더하여, 본 발명은 상술한 과제를 해결하기 위한 다른 수단으로서, 네트워크를 통해서 단말 장치와 데이터를 송수신하는 통신부; 및 통신부를 통해 단말 장치로부터 사용자의 정면 얼굴 영상을 수신하고, 수신한 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 얼굴 특징 정보를 비교 분석하여 얼굴의 유형 정보를 추출한 후, 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하는 얼굴 인식부를 포함하는 것을 특징으로 하는 서비스 장치를 제공한다.

본 발명에 의한 서비스 장치는, 사용자의 정면, 측면 및 후면 얼굴 영상 중에서 하나 이상을 특정 미용 오브젝트와 결합하여 사용자의 정면, 측면 및 후면 중에서 하나 이상의 방향으로 표현되는 가상 미용 모델링 영상을 생성하여 단말 장치로 제공하는 가상 미용 서비스부를 더 포함할 수 있다.

본 발명에 의한 서비스 장치는, 얼굴 인식부에서 얼굴 특징 정보와 비교되고, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되는 다수의 얼굴 유형에 대한 정보를 저장하는 얼굴 유형 DB; 얼굴 인식부에서 얼굴 특징 정보 및 얼굴 유형 정보로부터 추론된 측면 및 후면 얼굴 영상을 저장하는 얼굴 영상 DB; 및 가상 미용 서비스부에서 이용될 다수의 미용 오브젝트를 저장하는 미용 오브젝트 DB 중에서 하나 이상을 구비하는 저장부를 더 포함할 수 있다.

더하여, 본 발명은 상술한 과제를 해결하기 위한 또 다른 수단으로서, 사용자의 조작에 따라 사용자 입력 신호를 발생하는 입력부; 사용자의 정면 얼굴 영상을 촬영하는 카메라부; 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 얼굴 특징 정보를 비교 분석하여 얼굴의 유형 정보를 추출한 후, 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하는 얼굴 인식 모듈을 포함하고, 사용자의 입력 신호에 따라서 카메라부를 제어하여 사용자의 정면 얼굴 영상을 획득하고, 얼굴 인식 모듈을 통해 획득한 사용자의 정면 얼굴 영상으로부터 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 생성하는 제어부; 및 제어부의 제어에 따라서 사용자의 정면 얼굴 영상, 측면 및 후면 얼굴 영상 중에서 하나 이상을 출력하는 출력부를 포함하는 것을 특징으로 하는 단말 장치를 제공한다.

본 발명에 의한 단말 장치에 있어서, 제어부는 사용자의 정면, 측면, 후면 얼굴 영상 중에서 하나 이상과 사용자가 선택한 미용 오브젝트를 결합하여 가상 미용 모델링 영상을 생성하는 가상 모델링 모듈을 더 포함할 수 있다.

본 발명에 의한 단말 장치는, 사용자의 정면 얼굴 영상, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되어 얼굴 특징 정보와 비교될 다수의 얼굴 유형 정보, 얼굴 특징 정보 및 얼굴 유형 정보를 결합하여 추론된 측면 및 후면 얼굴 영상, 다수의 미용 오브젝트 중에서 하나 이상을 구비하는 저장부를 더 포함할 수 있다.

본 발명에 의한 단말 장치는, 네트워크를 통해서 데이터를 송수신하는 통신부를 더 포함하고, 측면 및 후면 얼굴 영상 중에서 하나 이상에 대한 추론 또는 가상 미용 모델링 생성을 위한 데이터를 서비스 장치로부터 전송 받을 수 있다.

더하여, 본 발명은 상술한 과제를 해결하기 위한 또 다른 수단으로서, 사용자의 정면 얼굴 영상을 획득하는 단계; 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하는 단계; 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출하는 단계; 및 추출한 얼굴의 특징 정보와 얼굴의 유형 정보를 결합하여, 정면 얼굴에 대한 폴리곤을 생성하고, 이로부터 사용자의 측면 및 후면 얼굴 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 추론 방법을 제공한다.

본 발명에 의한 얼굴 인식 추론 방법에 있어서, 얼굴의 특징 정보를 추출하는 단계는, 정면 얼굴 영상으로부터 눈과 입을 추출하는 단계; 추출한 눈과 입을 역삼각형 형태로 연결하여 코 영역을 추출하는 단계; 코 영역 내에서 에지 및 색상 변화를 분석하여 코의 상세 정보를 추출하는 단계; 추출한 눈 위의 영역에서 색상 변화를 분석하여 눈썹을 추출하는 단계; 얼굴의 특징점 및 윤곽선을 추출하는 단계; 및 추출한 각 얼굴 부위에 대한 실측값 및 통계 정보를 결합하여, 폴리곤 생성을 위해 필요한 사용자의 얼굴 특징 정보를 추출하는 단계를 포함할 수 있다.

본 발명에 의한 얼굴 인식 추론 방법에 있어서, 얼굴의 유형 정보는 얼굴의 형태, 인종, 성별, 연령 중에서 하나 이상으로 분류될 수 있다.

본 발명에 의한 얼굴 인식 추론 방법에 있어서, 얼굴의 특징 정보는, 얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 이마의 높이 중에서 하나 이상을 포함할 수 있다.

더하여, 본 발명은 상술한 과제를 해결하기 위한 또 다른 수단으로서, 사용자의 정면 얼굴 영상을 획득하는 단계; 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하는 단계; 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출하는 단계; 추출한 얼굴의 특징 정보와 얼굴의 유형 정보를 결합하여, 정면 얼굴에 대한 폴리곤을 생성하고, 이로부터 상기 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 생성하는 단계; 사용자가 체험하기를 원하는 미용 오브젝트의 선택 정보를 입력 받는 단계; 사용자가 선택한 헤어 오브젝트를 사용자의 정면 얼굴 영상과, 측면 얼굴 영상 및 후면 얼굴 영상 중에서 하나 이상과 각각 결합하여 사용자의 정면, 측면 및 후면 방향 중 하나 이상의 방향으로 표현되는 가상 모델링 영상을 생성하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.

본 발명에 따르면, 일반 카메라를 통해 촬영된 사용자의 2차원 얼굴 영상만으로 사용자의 측면 얼굴 영상 및 후면 얼굴 영상 중에서 하나 이상을 추론함으로써, 고가의 장비 없이도 보다 입체적이고 사실적인 사용자 영상을 구현할 수 있으며, 더불어, 사용자의 정면 얼굴 영상으로부터 추론된 측면 얼굴 영상 및/또는 후면 얼굴 영상을 기반으로 얼굴 인식 기반의 다양한 응용 서비스를 제공할 수 있다.

더하여, 본 발명은 사용자의 정면 얼굴 영상으로부터 추론된 측면 얼굴 영상 및 후면 얼굴 영상을 헤어, 메이크업을 포함하는 다양한 가상 미용 체험 서비스에 적용함으로써, 사용자에게 정면 얼굴 영상의 촬영만으로 측면 및 후면을 포함하는 향상된 가상 미용 체험 서비스를 제공받을 수 있으며, 서비스 제공자는 가상 미용 체험 서비스 구현을 위한 비용을 절감할 수 있는 우수한 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 추론 기반 서비스 시스템을 나타낸 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 서비스 장치의 구성을 나타낸 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 서비스 장치에서의 얼굴 인식 추론 기반 서비스 방법을 나타낸 흐름도이다.
도 4는 본 발명의 다른 실시 예에 따른 단말 장치의 구성을 나타낸 블럭도이다.
도 5는 본 발명의 다른 실시 예에 따른 단말 장치에서의 얼굴 인식 추론 기반 서비스 방법을 나타낸 순서도이다.
도 6은 본 발명에 따른 서비스 방법에 적용된 얼굴 인식 추론 방법에 있어서, 특징 정보를 추출하는 상세 과정을 나타낸 순서도이다.
도 7은 본 발명에 따른 얼굴 인식 추론 방법에 있어서, 정면 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 과정을 설명하기 위한 예시도이다.
도 8은 본 발명에 따른 얼굴 인식 추론 방법에 있어서, 정면 얼굴 영상으로부터 측면 및 후면 얼굴 영상을 추론하는 과정을 설명하기 위한 예시도이다.
도 9는 본 발명에 따른 얼굴 인식 추론 기반 서비스 방법의 일 예를 나타낸 예시도이다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 추론 기반 서비스 시스템을 나타낸 블럭도이다.

도 1을 참조하면, 본 발명에 따른 얼굴 인식 추론 기반 서비스 시스템은, 네트워크(10)를 통해서 연결되는 서비스 장치(100) 및 단말 장치(200)를 포함하여 이루어진다.

여기서, 서비스 장치(100)는 본 발명에 따른 얼굴 인식 추론 방법을 적용하여, 사용자의 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 상기 얼굴 특징 정보로부터 얼굴의 유형 정보를 추출한 후, 상기 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론한다. 이를 위하여 서비스 장치(100)는 네트워크(10)를 통해서 단말 장치(200)로부터 사용자의 정면 얼굴 영상을 수신할 수 있으며, 상기 단말 장치(200)로부터 얼굴 인식 결과로서, 측면 및 후면 얼굴 영상 중에서 하나 이상을 제공할 수 있다. 여기서, 사용자의 정면 얼굴 영상으로부터 측면 및 후면 얼굴 영상의 추론하는 과정은 도 6에 도시된 바와 같이 이루어질 수 있으며, 이에 대한 설명은 나중에 더 구체적으로 설명하기로 한다.

더하여, 서비스 장치(100)는 상기 사용자의 정면 얼굴 영상과, 추론을 통해 생성된 사용자의 측면 및 후면 얼굴 영상을 얼굴 인식 기반으로 이루어지는 임의의 응용 서비스에 이용할 수 있다. 예를 들어, 서비스 장치(100)는 사용자의 영상과, 헤어 또는 메이크업과 관련된 미용 오브젝트를 결합하여 사용자에게 가상 미용 체험 서비스를 제공할 수 있다. 이때, 서비스 장치(100)는 상기 사용자의 정면 얼굴 영상으로부터 추론된 측면 및 후면 얼굴 영상을 이용함으로써, 사용자에게 정면뿐만 아니라, 측면 및 후면에 대한 가상 미용 모델링 영상을 제공할 수 있다. 즉, 고가의 장비를 이용하지 않고도, 평면적인 정면 얼굴 영상만으로, 보다 입체적이고 사실적인 가상 미용 서비스를 제공할 수 있게 된다.

이때, 단말 장치(200)는 상기 얼굴 인식 기반 서비스를 이용하려는 사용자가 이용하는 장치로서, 네트워크(10)를 통해서 상기 서비스 장치(100)에 접속하여, 상기 사용자의 정면 얼굴 영상을 서비스 장치(100)로 제공하고, 상기 서비스 장치(100)로부터 상기 가상 미용 모델링 영상을 수신하여 사용자에게 출력한다.

상술한 얼굴 인식 추론 기반 서비스 시스템에 있어서, 서비스 장치(100)는 서버-클라이언트 컴퓨팅 방식으로 동작할 수도 있고, 클라우드 컴퓨팅 기반으로 동작할 수도 있다. 예를 들어, 상기 서비스 장치(100)는 클라우드 컴퓨팅 기반으로 동작하는 하나 이상의 서버로 구현될 수 있다.

또한, 상기 서비스 장치(100)와 단말 장치(200)를 연결하는 네트워크(10)의 종류에는 특별히 제한되지 않는다. 예를 들어, 네트워크(10)는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망으로, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 일 수 있다. 또한, 네트워크(10)는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3 세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.

또한, 상기 단말 장치(200)는 사용자가 이용 가능한 통신 장치라면 어떠한 장치라도 이용될 수 있다. 예를 들면, 단말 장치(200)는 PC(Personal Computer), 노트북 컴퓨터, 휴대폰(mobile phone), 태블릿 PC, 내비게이션(navigation) 단말기, 스마트폰(smart phone), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 디지털방송 수신기를 포함할 수 있다. 물론 이는 예시에 불과할 뿐이며, 상술한 예 이외에도 현재 개발되어 상용화되었거나 향후 개발될 모든 통신이 가능한 장치를 포함하는 개념으로 해석되어야 한다.

다음으로, 도 2는 본 발명의 일 실시 예에 따른 서비스 장치(100)의 구성을 기능 단위로 구분하여 나타낸 블럭도이다.

도 2를 참조하면, 본 발명에 의한 서비스 장치(100)는, 통신부(110)와, 얼굴 인식부(120)와, 가상 미용 서비스부(130)와, 저장부(140)를 포함한다.

통신부(110)는 네트워크(10)를 통해서 데이터를 송수신하는 수단으로서, 더 구체적으로는 얼굴 인식 서비스를 제공받는 사용자의 단말 장치(200)와 데이터를 송수신한다.

얼굴 인식부(120)는 상기 통신부(110)를 통해 단말 장치(200)로부터 사용자의 정면 얼굴 영상을 수신하고, 수신한 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 추출한 얼굴 특징 정보를 비교 분석하여 얼굴의 유형 정보를 추출한 후, 상기 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론한다.

이러한 얼굴 인식부(120)는 도 6에 나타낸 얼굴 인식 방법에 따라서, 상기 사용자의 정면 얼굴 영상으로부터 측면 및 후면 얼굴 영상을 추론할 수 있다. 얼굴 인식부(120)는 사용자의 정면 얼굴 영상으로부터 추론된 측면 및 후면 얼굴 영상을 사용자의 요청에 따라서 단말 장치(200)에 제공할 수 있다.

상기 얼굴 인식부(120)는 특징 추출 모듈(121), 유형 추출 모듈(122) 및 영상 추론 모듈(123)을 포함하여 이루어질 수 있다.

상기 특징 추출 모듈(121)은 사용자의 정면 얼굴 영상으로부터 얼굴의 각 부위(눈, 코, 입, 눈썹, 윤곽, 이마, 턱 등) 별 특징을 나타내는 얼굴의 특징 정보를 추출한다. 더 구체적으로 설명하면, 특징 추출 모듈(121)은 사용자의 정면 얼굴 영상으로부터 먼저 눈과 입을 추출한다. 여기서, 눈의 추출은 먼저 동공을 추출한 후, 상기 동공을 기준으로 눈의 형상을 추출하는 형태로 이루어질 수 있다. 또한, 이러한 눈 및 입의 추출은 일반적인 얼굴 인식 기술을 이용하여 이루어질 수 있다. 이후 특징 추출 모듈(121)은, 추출한 눈과 입을 역삼각형 형태로 연결하여 코 영역을 추출하고, 상기 코 영역 내에서 에지 및 색상 변화를 분석하여 코의 상세 정보를 추출하며, 더하여, 상기 추출한 눈 위의 영역에서 색상 변화를 분석하여 눈썹을 추출하고, 더불어, 얼굴의 특징점 및 윤곽선을 추출하는 등, 얼굴의 각 부위별 상세 정보를 추출하며, 이렇게 상기 추출한 각 얼굴 부위로부터 실측된 값 및 통계 정보를 결합하여, 사용자의 얼굴 부위별로 특징 정보를 추출한다. 여기서 얼굴의 특징 정보는, 얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 이마의 높이 등 사용자의 정면 얼굴에 대한 폴리곤 생성을 위해 필요한 여러 정보를 포함한다.

다음으로, 상기 유형 추출 모듈(122)은 상기 특징 추출 모듈(121)에서 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 사용자의 얼굴과 매칭되는 얼굴의 유형 정보를 추출한다. 여기서, 얼굴의 유형 정보는, 다양한 사용자의 얼굴을 일정 기준에 따라 구분한 것으로서, 예를 들어, 형태(계란형, 둥근형, 네모형, 세모형 등), 인종(황인, 백인, 흑인, 혼혈 등), 성별(남, 여), 연령(유아기, 아동기, 청년기, 장년기, 노년기 등)으로 구분되는 얼굴의 유형을 정보를 의미한다.

마지막으로, 영상 추론 모듈(123)은 상기 특징 추출 모듈(121) 및 유형 추출 모듈(122)로부터 추출된 얼굴의 특징 정보와 얼굴의 유형 정보를 결합하여, 상기 사용자의 정면 얼굴에 대한 폴리곤을 생성하고, 이로부터 상기 사용자의 측면 및 후면 얼굴 영상을 추론한다. 이때, 기 학습된 얼굴 영상을 참조할 수 있다. 즉, 동일 얼굴의 유형에 대하여 이전에 추론되었거나 미리 설정되어 있는 측면 및 후면 얼굴 영상을 참조할 수 있다. 이때 상기 영상 추론 모듈(122)에서 생성하는 측면 및 후면 얼굴 영상은 3차원 혹은 2차원의 스틸 영상일 수 있으며, 특히 측면 얼굴 영상은 일정 각도 기준으로 더 세분화되어 구현될 수 있다. 예를 들면, 정면을 기준점으로 할 때, 0~60도의 제1 측면 얼굴 영상, 61~90도의 제2 측면 얼굴 영상, 90~140도의 제3 측면 영상이 생성될 수 있다.

이어서, 가상 미용 서비스부(130)는 네트워크(10)를 통해서 헤어 및 메이크업을 포함하는 미용 분야와 관련된 가상 체험 서비스를 제공하는 부분으로서, 더 구체적으로 설명하면, 상기 수신한 사용자의 정면 얼굴 영상 및 상기 얼굴 인식부(120)로부터 추론을 통해 생성된 측면 및 후면 얼굴 영상 중에서 하나 이상을 특정 미용 오브젝트와 결합하여 사용자의 정면, 측면 및 후면 중에서 하나 이상의 방향으로 표현되는 가상 미용 모델링 영상을 생성하여 단말 장치(200)로 제공한다. 예를 들어 설명하면, 가상 미용 서비스부(130)는 특정 스타일의 형상으로 이루어진 헤어 오브젝트를 상기 사용자의 정면, 후면, 측면 얼굴 영상 중에서 하나 이상과 결합하여, 사용자가 해당 헤어 오브젝트의 헤어 스타일로 변경했을 때의 모습의 하나 이상의 방향(정면, 측면, 후면)으로 모델링하여 제공한다.

그리고, 저장부(140)는 본 발명에 의한 얼굴 인식 추론 기반 서비스 장치(100)에서 얼굴 인식 추론 및 가상 미용 체험 서비스를 수행하는데 필요한 데이터를 저장한다. 더 구체적으로 설명하면, 저장부(140)는 상기 얼굴 인식부(120)에서 상기 얼굴 특징 정보와 비교되고, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되는 다수의 얼굴 유형에 대한 정보를 저장하는 얼굴 유형 DB와, 상기 얼굴 인식부(120)에서 얼굴 특징 정보 및 얼굴 유형 정보로부터 추론된 측면 및 후면 얼굴 영상을 저장하는 얼굴 영상 DB와, 상기 가상 미용 서비스부에서 이용될 다수의 미용 오브젝트를 저장하는 미용 오브젝트 DB 중에서 하나 이상을 저장하고, 상기 얼굴 인식부(120) 및 가상 미용 서비스부(130)의 요청에 따라서 요청된 정보를 제공한다. 이러한 저장부(140)는 램(RAM, Read Access Memory), 롬(ROM, Read Only Memory), 하드디스크(HDD, Hard Disk Drive), 플래시 메모리, CD-ROM, DVD 뿐만 아니라, 네트워크 접근 스토리지(NAS, Network Access Storage)와 같이 모든 종류의 저장 매체를 포함할 수 있다.

도 3은 본 발명의 일 실시 예에 따라서 상기 서비스 장치(100)를 통해 이루어지는 얼굴 인식 추론 기반 서비스 방법을 나타낸 메시지 흐름도이다.

도 3을 참조하면, 단말 장치(200)는 사용자 입력 신호에 따라서 서비스 장치(100)에 접속하여, 서비스를 요청한다(S105).

이에 서비스 장치(100)는 사용자 인증을 통해서 서비스 이용이 가능한 사용자 인지를 확인한 후, 상기 단말 장치(200)로 서비스를 허용한다는 응답을 전달한다(S110).

이후, 단말 장치(200)는 사용자의 정면 얼굴 영상을 획득하여, 서비스 장치(100)로 전송한다(S115, S120). 이는 단말 장치(200)가 서비스 장치(100)로부터의 요청에 따라서, 카메라부(230)를 동작시켜, 사용자의 정면 얼굴 영상을 촬영하거나, 저장부(260)에 기 저장된 사용자의 정면 얼굴 영상을 로딩하여, 서비스 장치(100)로 전송하는 형태로 이루어질 수 있다.

이어서, 서비스 장치(100)는, 수신한 사용자의 정면 얼굴 영상에 대한 얼굴 인식 과정을 실행하는데, 먼저, 얼굴 인식부(120)의 특징 추출 모듈(121)을 통해서 상기 수신한 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출한다(S125). 여기서 얼굴의 특징 정보는, 사용자의 정면 얼굴 영상으로부터 얼굴의 각 부위(눈, 코, 입, 눈썹, 윤곽, 이마, 턱 등) 별 특징을 나타내는 얼굴의 특징 정보를 의미하는 것으로서, 예를 들어, 얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 이마의 높이 등 사용자의 얼굴에 대한 폴리곤 생성을 위해 필요한 여러 정보를 포함한다. 이러한 얼굴의 특징 정보는 도 6에 도시된 바와 같은 과정을 통해서 추출될 수 있으며, 도 7은 도 6의 과정을 통해서 처리된 사용자의 정면 얼굴 영상을 예시한다. 도 7에서, 얼굴 영상 위에 나타난 각 점은 사용자의 정면 얼굴 영상으로부터 추출된 얼굴의 각 부위를 나타내는 특징점이며, 이러한 특징점을 연결하여, 얼굴의 각 부위를 표현할 수 있다.

다음으로, 얼굴 인식 기반 서비스 장치(100)의 얼굴 인식부(120)는 유형 추출 모듈(122)을 통해서, 상기 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출한다(S130). 여기서, 얼굴의 유형 정보는, 다양한 사용자의 얼굴을 일정 기준에 따라 구분한 것으로서, 예를 들어, 형태(계란형, 둥근형, 네모형, 세모형 등), 인종(황인, 백인, 흑인, 혼혈 등), 성별(남, 여), 연령(유아기, 아동기, 청년기, 장년기, 노년기 등)으로 구분되는 얼굴의 유형을 정보를 의미한다. 상기 단계(S130)는 기 설정된 다양한 얼굴 유형별 표준 정보와 상기 추출한 사용자 얼굴의 특징 정보를 비교하여, 그 매칭 결과에 따라서, 사용자의 얼굴 유형 정보를 추출하게 된다.

그리고, 서비스 장치(100)의 얼굴 인식부(120)는 영상 추론 모듈(123)을 통해서 상기 추출한 얼굴의 특징 정보와 유형 정보를 결합하여, 사용자의 정면 얼굴 영상에 대한 폴리곤을 생성하고, 이로부터 상기 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론을 통해 생성한다(S135). 상기 사용자의 측면 및 후면 얼굴 영상의 추론은 기 학습된 얼굴 영상들을 참조하여 이루어질 수 있다. 예를 들어, 상기 사용자의 정면 얼굴 영상에 대한 폴리곤을 생성 후, 상기 폴리곤을 지정된 각도로 회전시키고 기 학습된 얼굴 영상으로부터 추출된 얼굴 유형의 표준 얼굴에 대한 측면 영상과 후면 영상을 결합함으로써 이루어질 수 있다. 도 8은 상기 도 7과 같은 사용자 정면 얼굴 영상으로부터 생성된 사용자의 정면 얼굴 영상에 대한 폴리곤 및 이로부터 추론된 측면 얼굴 영상의 폴리곤을 예시한다. 도 8에서 (a)는 정면 얼굴 영상으로부터 생성된 폴리곤을 나타내며, (b)는 상기 폴리곤을 일정 각도 회전시켜, 측면 얼굴 영상에 대한 폴리곤을 도출한 상태를 나타낸다. 여기서, 서비스 장치(100)는 상기 추론한 측면 및 후면의 얼굴 영상 중에서 하나 이상을 단말 장치(200)에 제공할 수 있다.

이어서, 서비스 장치(100)는 상술한 얼굴 인식 결과를 이용하여 얼굴 인식 기반 서비스를 실행하는데, 이를 위해 단말 장치(200)로 가상 체험하고자 하는 미용 오브젝트의 선택을 요청하고(S140), 사용자의 미용 오브젝트 선택 정보를 포함하는 응답을 수신한다(S145).

상기 응답을 통해서 사용자가 가상으로 체험하고자 하는 미용 오브젝트를 확인한 서비스 장치(100)는 선택된 미용 오브젝트를 상기 사용자의 정면 얼굴 영상과, 상기 생성한 측면 및 후면 얼굴 영상 중에서 하나 이상과 각각 결합하여 사용자의 정면, 측면 및 후면 방향 중 하나 이상의 방향으로 표현되는 가상 미용 모델링 영상을 생성하고(S150), 생성한 가상 미용 모델링 영상을 단말 장치(200)로 전송한다(S155).

이에 단말 장치(200)는 수신한 가상 미용 모델링 영상을 사용자에게 출력한다(S160).

도 9는 상술한 과정을 통해서 제공되는 얼굴 인식 기반 서비스의 일 예를 나타낸 것으로서, 도시된 바와 같이, 본 발명에 의한 얼굴 인식 기반 서비스 장치(100)는 사용자의 정면 얼굴 영상(91)으로부터 사용자의 측면 얼굴 영상 및 후면 얼굴 영상을 추론함으로써, 선택된 헤어 오브젝트(92)를 착용한 사용자의 정면 모델링 영상(93)뿐만 아니라 측면 모델링 영상(94) 및 후면 모델링 영상(95)을 함께 제공할 수 있게 된다.

한편, 본 발명의 다른 실시 예에 있어서, 얼굴 인식 및 얼굴 인식 기반 서비스는 상술한 얼굴 인식 서비스 장치(100)의 개입 없이, 단말 장치(200) 위주로 실행될 수 있다.

도 4는 본 발명의 다른 실시 예에 따른 단말 장치(200)의 구성을 나타낸 블럭도이다.

도 4를 참조하면, 단말 장치(200)는 통신부(210)와, 입력부(220)와, 카메라부(230)와, 제어부(240)와, 출력부(250)와, 저장부(260)를 포함하여 이루어질 수 있다.

통신부(210)는 네트워크(10)를 통해서 데이터를 송수신하는 수단으로서, 특히 단말 장치(200)의 통신부(210)는 네트워크(10)를 통해 얼굴 인식 기반 서비스 장치(100)와 통신하여 얼굴 인식 및 얼굴 인식 기반 서비스 실행과 관련된 데이터를 송수신할 수 있다.

상기 입력부(220)는 사용자의 조작에 따라 사용자 입력 신호를 발생한다. 이러한 입력부(220)는 다양한 방식의 입력 수단으로 구현될 수 있다. 예를 들면, 입력부(220)는 키 입력 수단, 터치 입력 수단, 제스처 입력 수단, 음성 입력 수단 중에서 하나 이상을 포함할 수 있다. 키 입력 수단은, 키 조작에 따라서 해당 키에 대응하는 신호를 발생시키는 것으로서, 키패드, 키보드가 해당된다. 터치 입력 수단은, 사용자가 특정 부분을 터치하는 동작을 감지하여 입력 동작을 인식하는 것으로서, 터치 패드, 터치 스크린, 터치 센서를 들 수 있다. 제스처 입력 수단은, 사용자의 동작, 예를 들어, 단말 장치를 흔들거나 움직이는 동작, 단말 장치에 접근하는 동작, 눈을 깜빡이는 동작 등 지정된 특정 동작을 특정 입력 신호로 인식하는 것으로서, 지자기 센서, 가속도 센서, 카메라, 고도계, 자이로 센서, 근접 센서 중에서 하나 이상을 포함하여 이루어질 수 있다. 사용자는 입력부(220)를 통해서 얼굴 인식 또는 얼굴 인식 기반 서비스를 요청하거나, 얼굴 인식 기반 서비스를 위해 모델링 하고자 하는 특정 미용 오브젝트를 선택할 수 있다.

카메라부(230)는 영상을 촬영하는 수단으로서, 본 발명에 있어서, 얼굴 인식 및 얼굴 인식 기반 서비스에 사용할 사용자의 영상을 촬영하는데 이용될 수 있다. 특히, 상기 카메라부(230)는 사용자의 2차원 정면 얼굴 영상을 촬영한다.

제어부(240)는 입력부(220)를 통해 발생한 사용자 입력 신호에 따라서 단말 장치(200)의 동작 전반을 제어하고, 특정 기능을 실행한다. 상기 제어부(240)는 CPU 혹은 MPU 등을 포함하는 개념으로서, 운영 프로그램 및 응용 프로그램에 따라서 동작하여 다양한 기능을 실행할 수 있다. 본 발명에 있어서, 상기 제어부(240)는 얼굴 인식 추론 및 얼굴 인식 추론 기반 서비스 실행을 위해 얼굴 인식 모듈(241) 및 가상 모델링 모듈(242) 중에서 하나 이상을 포함한다.

상기 얼굴 인식 모듈(241)은, 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하고, 얼굴 특징 정보를 비교 분석하여 얼굴의 유형 정보를 추출한 후, 얼굴의 특징 정보 및 얼굴의 유형 정보를 결합하여 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론한다. 이에, 제어부(240)는 상기 사용자의 입력 신호에 따라서 상기 카메라부(230)를 제어하여 사용자의 정면 얼굴 영상을 획득하고, 상기 얼굴 인식 모듈(241)을 통해 상기 획득한 사용자의 정면 얼굴 영상으로부터 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하여 사용자에게 제공할 수 있다.

상기 가상 모델링 모듈(242)은 상기 사용자의 정면, 측면, 후면 얼굴 영상 중에서 하나 이상을 이용하여 얼굴 인식 기반 서비스를 실행하는 것으로서, 더 구체적으로는, 상기 사용자의 정면, 측면, 후면 얼굴 영상 중에서 하나 이상과 사용자가 선택한 미용 오브젝트를 결합하여 가상 미용 모델링 영상을 생성한다.

다음으로, 출력부(250)는 상기 제어부(240)의 제어에 따라서 단말 장치(200)의 동작 상태 및 동작 결과를 사용자에게 출력하는 부분으로서, 특히, 본 발명에 있어서, 사용자의 정면 얼굴 영상, 측면 및 후면 얼굴 영상 중에서 하나 이상, 그리고, 상기 사용자의 정면, 측면, 후면 얼굴 영상 중에서 하나 이상으로부터 생성된 가상 미용 모델링 영상을 사용자가 인식할 수 있도록 출력한다. 이러한 출력부(250)는 디스플레이 수단으로 구현될 수 있는데, 예를 들어, LCD((Liquid Crystal Display), TFT-LCD(Thin Film Transistor-Liquid Crystal Display), LED(Light Emitting Diodes), OLED(Organic Light Emitting Diodes), AMOLED(Active Matrix Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display), 3차원 디스플레이 중에서 어느 하나가 될 수 있다.

마지막으로, 단말 장치(200)의 저장부(260)는 단말 장치(200)의 동작에 필요한 데이터 및 프로그램을 저장하는 수단으로서, 기본적으로 상기 제어부(240)에 의해 실행될 운영 프로그램 및 응용 프로그램을 저장한다. 더하여, 저장부(260)는 얼굴 인식 추론 및 얼굴 인식 추론 기반 서비스를 실행하는데 필요한 데이터를 저장한다. 예를 들면, 사용자의 정면 얼굴 영상, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되어 상기 얼굴 인식 모듈(241)에서 상기 얼굴 특징 정보와 비교될 다수의 얼굴 유형 정보, 상기 얼굴 특징 정보 및 얼굴 유형 정보를 결합하여 추론된 측면 및 후면 얼굴 영상, 다수의 미용 오브젝트 중에서 하나 이상을 저장한다.

상술한 구성을 통해서 단말 장치(200)는 사용자의 2차원 정면 얼굴 영상을 촬영한 후, 이를 기반으로 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하여 사용자에게 제공하거나, 상기 정면 얼굴 영상, 측면 및 후면 얼굴 영상 중에서 하나 이상을 기반으로 얼굴 인식 기반 서비스를 실행하여 사용자에게 제공할 수 있다. 이때, 단말 장치(200)는 상기 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하는데 필요하거나, 얼굴 인식 기반 서비스를 제공하는데 필요한 데이터를 상기 통신부(210)를 통해서 얼굴 인식 서비스 장치로부터 전송 받아 저장부(260)에 저장할 수 있다.

이어서, 도 5는 상술한 단말 장치(200)를 기반으로 이루어지는 얼굴 인식 서비스 방법을 나타낸 순서도이다.

도 5를 참조하면, 단말 장치(200)는 먼저 사용자의 정면 얼굴 영상을 획득한다(S205). 이는 단말 장치(200)가 입력부(220)를 통해 발생한 사용자 입력 신호에 따라서, 카메라부(230)를 동작시켜, 사용자의 정면 얼굴 영상을 촬영함에 의해 이루어질 수 있다. 또한, 이는 단말 장치(200)가 사용자 입력 신호에 따라서 저장부(260)에 기 저장된 사용자의 정면 얼굴 영상을 로딩함에 의해 이루어질 수 있다.

이와 같이, 사용자의 정면 얼굴 영상이 획득되면, 단말 장치(200)는, 제어부(240)의 얼굴 인식 모듈(241)을 통해서 상기 획득한 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출한다(S210). 여기서 얼굴의 특징 정보는, 사용자의 정면 얼굴 영상으로부터 얼굴의 각 부위(눈, 코, 입, 눈썹, 윤곽, 이마, 턱 등) 별 특징을 나타내는 얼굴의 특징 정보를 의미하는 것으로서, 예를 들어, 얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 이마의 높이 등 사용자의 얼굴에 대한 폴리곤 생성을 위해 필요한 여러 정보를 포함한다. 이러한 얼굴의 특징 정보는 도 6에 도시된 바와 같은 과정을 통해서 추출될 수 있으며, 도 7은 도 6의 과정을 통해서 처리된 사용자의 정면 얼굴 영상을 나타낸다. 도 7에서, 얼굴 영상 위에 표시된 점은 사용자의 정면 얼굴 영상으로부터 추출된 얼굴의 각 부위를 나타내는 특징점이며, 이러한 특징점을 연결하여, 얼굴의 각 부위를 표현할 수 있다.

다음으로, 단말 장치(200)는 상기 추출한 얼굴의 특징 정보를 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출한다(S215). 여기서, 얼굴의 유형 정보는, 다양한 사용자의 얼굴을 일정 기준에 따라 구분한 것으로서, 예를 들어, 형태(계란형, 둥근형, 네모형, 세모형 등), 인종(황인, 백인, 흑인, 혼혈 등), 성별(남, 여), 연령(유아기, 아동기, 청년기, 장년기, 노년기 등)으로 구분되는 얼굴의 유형을 정보를 의미한다. 상기 단계(S215)는 기 설정된 다양한 얼굴 유형별 표준 정보와 상기 추출한 사용자 얼굴의 특징 정보를 비교하여, 그 매칭 결과에 따라서, 사용자의 얼굴 유형 정보를 추출하게 된다.

그리고, 단말 장치(200)는 상기 추출한 얼굴의 특징 정보와 유형 정보를 결합하여, 사용자의 정면 얼굴 영상에 대한 폴리곤을 생성하고, 이로부터 상기 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론한다(S220). 상기 사용자의 측면 및 후면 얼굴 영상의 추론은 기 학습된 얼굴 영상들을 참조하여 이루어질 수 있다. 예를 들어, 상기 사용자의 정면 얼굴 영상에 대한 폴리곤을 생성 후, 상기 폴리곤을 지정된 각도로 회전시키고 기 학습된 얼굴 영상으로부터 추출된 얼굴 유형의 표준 얼굴에 대한 측면 영상과 후면 영상을 결합함으로써 이루어질 수 있다. 도 8은 상기 도 7과 같은 사용자 정면 얼굴 영상으로부터 생성된 사용자의 정면 얼굴 영상에 대한 폴리곤 및 이로부터 추론된 측면 얼굴 영상의 폴리곤을 예시한다. 도 8에서 (a)는 정면 얼굴 영상으로부터 생성된 폴리곤을 나타내며, (b)는 상기 폴리곤을 일정 각도 회전시켜, 측면 얼굴 영상에 대한 폴리곤을 도출한 상태를 나타낸다.

이어서, 단말 장치(200)는 상술한 얼굴 인식 결과를 이용하여 얼굴 인식 기반 서비스를 실행하는데, 사용자 입력 신호에 따라서, 사용자가 가상으로 체험하고자 하는 미용 오브젝트를 선택한다(S225). 예를 들면, 특정 스타일의 헤어 오브젝트를 선택할 수 있다.

그리고, 단말 장치(200)는 선택한 미용 오브젝트를 상기 사용자의 정면 얼굴 영상과, 상기 생성한 측면 및 후면 얼굴 영상 중에서 하나 이상과 각각 결합하여 사용자의 정면, 측면 및 후면 방향 중 하나 이상의 방향으로 표현되는 가상 미용 모델링 영상을 생성하고(S230), 생성한 가상 미용 모델링 영상을 출력부(250)를 통해서 사용자에게 제공한다(S235).

도 9는 상기 단계(S225) 내지 단계(S30)를 통해서 제공되는 얼굴 인식 추론 기반 서비스의 일 예를 나타낸 것으로서, 본 발명의 사용자의 정면 얼굴 영상(91)으로부터 사용자의 측면 얼굴 영상 및 후면 얼굴 영상을 추론함으로써, 선택된 헤어 오브젝트(92)를 착용한 사용자의 정면 모델링 영상(93) 뿐만 아니라 측면 모델링 영상(94) 및 후면 모델링 영상(95)을 함께 제공할 수 있게 된다.

필요한 경우, 단말 장치(200)는 얼굴 인식 추론 및 얼굴 인식 추론 기반 서비스 실행을 위한 일부 동작, 예를 들어, 단계(210) 내지 단계(S220), 단계(S230) 중에서 하나 이상을 서비스 장치(100)를 통해 실행할 수도 있다.

도 6은 본 발명에 의한 얼굴 인식 추론 방법에 있어서 특징 정보 추출 과정을 나타낸 순서도이다. 이하에서 설명하는 방법은, 도 3의 단계(S125) 및 도 5의 단계(S210)에 적용될 수 있다.

도 6을 참조하여, 사용자의 정면 얼굴 영상으로부터 얼굴의 특징 정보를 추출하는 과정을 설명하면 다음과 같다.

먼저, 상기 도 3의 단계(S125) 또는 도 5의 단계(210)에서, 서비스 장치(100) 또는 단말 장치(200)는 사용자의 정지 얼굴 영상으로부터 기준이 되는 눈과 입을 추출한다(S305). 여기서, 눈은 먼저 동공을 추출한 후, 상기 동공을 기준으로 눈의 형상을 추출하는 형태로 이루어질 수 있으며, 이러한 눈 및 입의 추출은 일반적인 얼굴 인식 기술을 이용하여 이루어질 수 있다.

다음으로, 서비스 장치(100) 또는 단말 장치(200)는 추출한 눈과 입을 역삼각형 형태로 연결하여 코 영역을 추출하고(S310), 상기 코 영역 내에서 에지 및 색상 변화를 분석하여 코의 상세 정보를 추출한다(S315).

더하여, 서비스 장치(100) 또는 단말 장치(200)는 상기 추출한 눈 위의 영역에서 색상 변화를 분석하여 눈썹을 추출한다(S320).

더불어, 서비스 장치(100) 또는 단말 장치(200)는 사용자의 정면 얼굴 영상에서 얼굴의 특징점 및 윤곽선을 추출한다(S325).

도 7은 상술한 단계(S305~S325)를 통해서 사용자의 정면 얼굴 영상으로부터 얼굴의 특징 부위를 추출한 상태를 나타낸 예시도이다. 도 7에서 흰 점은 얼굴의 각 부위별 특징점을 나타내며, 이러한 특징점을 연결하여 각 얼굴 부위(예를 들어, 눈썹, 눈, 코, 입, 윤곽선 등)가 추출된다.

마지막으로, 상기 서비스 장치(100) 또는 단말 장치(200)는 상기 추출된 얼굴의 각 부위별 특징점을 기준으로, 얼굴의 각 부위별 실측 값 및 통계 정보를 결합하여, 사용자의 얼굴 부위별로 특징 정보를 추출한다(S330). 얼굴의 특징 정보는 상술한 바와 같이, 얼굴의 각 부위(눈, 코, 입, 눈썹, 윤곽, 이마, 턱 등) 별로, 폴리곤 생성을 위해 필요한 정보들, 예를 들어, 얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 이마의 높이를 포함한다. 상기 단계(S330)를 더 구체적으로 설명하면, 상기 추출된 얼굴의 유형 정보를 기반으로, 해당 유형에서 나타나는 통계치를 확인하고, 상기 통계치를 기반으로 추출된 얼굴의 부위별 특징점으로부터 실측 가능한 값으로서, 상기 얼굴의 특징 정보를 산출하게 된다. 예를 들면, 눈썹과 턱선을 가로지는 라인 간의 거리는 얼굴 전체 길이의 60% 이내라는 통계치에 따라서, 상기 분석된 사용자의 정면 얼굴 영상에서 눈썹을 가로지는 라인과 턱선을 가로지는 라인 간의 거리를 실측하고, 이를 상기 통계치에 적용하여 얼굴의 전체 길이를 도출한다. 마찬가지 방식으로, 코의 높이, 코의 길이, 입의 높이 등 얼굴의 특징 정보를 도출하게 된다.

본 발명에 따른 얼굴 인식 추론 방법 및 이를 이용한 얼굴 인식 추론 기반 서비스 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.

본 발명에 따르면, 일반 카메라 등을 통해 촬영된 사용자의 얼굴 영상만으로 사용자의 측면 얼굴 영상 및 후면 얼굴 영상 중에서 하나 이상을 추론함으로써, 고가의 장비 없이도 보다 사실적이고 입체적인 사용자의 영상을 획득할 수 있으며, 더불어, 사용자의 정면 얼굴 영상으로부터 추론된 측면 얼굴 영상 및/또는 후면 얼굴 영상을 기반으로 얼굴 인식 기반의 다양한 응용 서비스를 제공할 수 있다.

더하여, 본 발명은 사용자의 정면 얼굴 영상으로부터 추론된 측면 얼굴 영상 및 후면 얼굴 영상을 헤어, 메이크업을 포함하는 다양한 가상 미용 체험 서비스에 적용함으로써, 사용자에게 정면 얼굴 영상의 촬영만으로 측면 및 후면을 포함하는 향상된 가상 미용 체험 서비스를 제공받을 수 있으며, 서비스 제공자는 보다 사실적이고 입체적인 가상 미용 체험 서비스 구현을 위한 비용을 절감할 수 있는 우수한 효과가 있다.

100: 얼굴 인식 기반 서비스 장치 200: 단말 장치
110: 통신부 120: 얼굴 인식부 130: 가상미용 서비스부
140: 저장부 210: 통신부 220: 입력부
230: 카메라부 240: 제어부 250: 출력부
260: 저장부

Claims (13)

1. 사용자의 정면 얼굴 영상으로부터 각 부위별 특징점을 설정하여 상기 특징점을 기준으로 얼굴의 각 부위별 실측 값 및 통계정보를 이용하여, 얼굴 길이, 코의 높이, 입의 높이, 입의 길이, 눈의 길이, 이마길이의 예측 및 얼굴 부위별 특징 정보를 추출하고, 상기 얼굴 특징 정보로부터 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상을 포함하는, 기 분류된 얼굴 유형별 표준 정보와 상기 추출한 사용자 얼굴 특징 정보를 비교하여 얼굴의 유형 정보를 추출하고, 상기 얼굴의 특징 정보 및 얼굴의 유형 정보를 기초로 하여 상기 정면 얼굴에 대한 3차원 폴리곤을 생성하고, 기 학습된 얼굴 영상들을 참고하여, 3차원 폴리곤으로부터 사용자의 측면 및 후면 얼굴 영상을 추론한 후, 특정 스타일의 미용 오브젝트와 상기 사용자의 정면, 측면 및 후면 얼굴 영상 중에서 하나 이상과 결합하여 가상 미용 모델링 영상을 생성하는 서비스 장치; 및
   상기 사용자의 정면 얼굴 영상을 서비스 장치로 제공하고, 상기 서비스 장치로부터 상기 가상 미용 모델링 영상을 수신하여 사용자에게 출력하는 단말 장치를 포함하는 것을 특징으로 하는 얼굴 인식 추론 기반 서비스 시스템.
2. 네트워크를 통해서 단말 장치와 데이터를 송수신하는 통신부; 및
   상기 통신부를 통해 단말 장치로부터 사용자의 정면 얼굴 영상을 수신하고, 수신한 정면 얼굴 영상으로부터 각 부위별 특징점을 설정하여 상기 특징점을 기준으로 얼굴의 각 부위별 실측 값 및 통계정보를 이용하여, 얼굴 길이, 코의 높이, 입의 높이, 입의 길이, 눈의 길이, 이마길이의 예측 및 얼굴 부위별 특징 정보를 추출하고, 상기 얼굴 특징 정보로부터 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상을 포함하는, 기 설정된 얼굴 유형별 표준 정보와 상기 추출한 사용자 얼굴 특징 정보를 비교하여 얼굴의 유형 정보를 추출한 후, 상기 얼굴의 특징 정보 및 얼굴의 유형 정보를 기초로 하여 상기 정면 얼굴에 대한 3차원 폴리곤을 생성하고, 기 학습된 얼굴 영상들을 참고하여 3차원 폴리곤으로부터, 사용자의 측면 및 후면 얼굴을 추론하는 얼굴 인식부를 포함하는 것을 특징으로 하는 서비스 장치.
3. [청구항 3은(는) 설정등록료 납부시 포기되었습니다.]

   제2항에 있어서,
   상기 사용자의 정면, 측면 및 후면 얼굴 영상 중에서 하나 이상을 특정 미용 오브젝트와 결합하여 사용자의 정면, 측면 및 후면 중에서 하나 이상의 방향으로 표현되는 가상 미용 모델링 영상을 생성하여 단말 장치로 제공하는 가상 미용 서비스부를 더 포함하는 것을 특징으로 하는 서비스 장치.
4. [청구항 4은(는) 설정등록료 납부시 포기되었습니다.]

   제3항에 있어서,
   상기 얼굴 인식부에서 상기 얼굴 특징 정보와 비교되고, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되는 다수의 얼굴 유형에 대한 정보를 저장하는 얼굴 유형 DB;
   상기 얼굴 인식부에서 얼굴 특징 정보 및 얼굴 유형 정보로부터 추론된 측면 및 후면 얼굴 영상을 저장하는 얼굴 영상 DB; 및
   상기 가상 미용 서비스부에서 이용될 다수의 미용 오브젝트를 저장하는 미용 오브젝트 DB 중에서 하나 이상을 구비하는 저장부를 더 포함하는 것을 특징으로 하는 서비스 장치.
5. 사용자의 조작에 따라 사용자 입력 신호를 발생하는 입력부;
   사용자의 정면 얼굴 영상을 촬영하는 카메라부;
   정면 얼굴 영상으로부터 각 부위별 특징점을 설정하여 상기 특징점을 기준으로 얼굴의 각 부위별 실측 값 및 통계정보를 이용하여, 얼굴 길이, 코의 높이, 입의 높이, 입의 길이, 눈의 길이, 이마길이의 예측 및 얼굴 부위별 특징 정보를 추출하고, 얼굴 특징 정보로부터 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상을 포함하는, 기 설정된 얼굴 유형별 표준 정보와 상기 추출한 사용자 얼굴 특징 정보를 비교하여, 얼굴의 유형 정보를 추출한 후, 얼굴의 특징 정보 및 얼굴의 유형 정보를 기초로 하여, 상기 정면 얼굴에 대한 3차원 폴리곤을 생성하고, 기 학습된 얼굴 영상들을 참고하여, 3차원 폴리곤으로부터 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 추론하는 얼굴 인식 모듈을 포함하고, 상기 사용자의 입력 신호에 따라서 상기 카메라부를 제어하여 사용자의 정면 얼굴 영상을 획득하고, 상기 얼굴 인식 모듈을 통해 상기 획득한 사용자의 정면 얼굴 영상으로부터 사용자의 측면 및 후면 얼굴 영상 중에서 하나 이상을 생성하는 제어부; 및
   상기 제어부의 제어에 따라서 사용자의 정면 얼굴 영상, 측면 및 후면 얼굴 영상 중에서 하나 이상을 출력하는 출력부를 포함하는 것을 특징으로 하는 단말 장치.
6. [청구항 6은(는) 설정등록료 납부시 포기되었습니다.]

   제5항에 있어서, 상기 제어부는
   상기 사용자의 정면, 측면, 후면 얼굴 영상 중에서 하나 이상과 사용자가 선택한 미용 오브젝트를 결합하여 가상 미용 모델링 영상을 생성하는 가상 모델링 모듈을 더 포함하는 것을 특징으로 하는 단말 장치.
7. [청구항 7은(는) 설정등록료 납부시 포기되었습니다.]

   제5항에 있어서,
   사용자의 정면 얼굴 영상, 얼굴 형태, 인종, 성별, 연령 중에서 하나 이상으로 구분되어 상기 얼굴 인식 모듈에서 상기 얼굴 특징 정보와 비교될 다수의 얼굴 유형 정보, 상기 얼굴 특징 정보 및 얼굴 유형 정보를 결합하여 추론된 측면 및 후면 얼굴 영상, 다수의 미용 오브젝트 중에서 하나 이상을 구비하는 저장부를 더 포함하는 것을 특징으로 하는 단말 장치.
8. [청구항 8은(는) 설정등록료 납부시 포기되었습니다.]

   제6항에 있어서,
   네트워크를 통해서 데이터를 송수신하는 통신부를 더 포함하고,
   상기 측면 및 후면 얼굴 영상 중에서 하나 이상에 대한 추론 또는 가상 미용 모델링 생성을 위한 데이터를 서비스 장치로부터 전송 받는 것을 특징으로 하는 단말 장치.
9. 사용자의 정면 얼굴 영상을 획득하는 단계;
   상기 정면 얼굴 영상으로부터 각 부위별 특징점을 설정하여 상기 특징점을 기준으로 얼굴의 각 부위별 실측 값 및 통계정보를 이용하여, 얼굴 길이, 코의 높이, 입의 높이, 입의 길이, 눈의 길이, 이마길이의 예측 및 얼굴 부위별 특징 정보를 추출하는 단계;
   상기 추출한 얼굴의 특징 정보를 얼굴 형태, 인종, 성별 및 연령 중에서 하나 이상을 포함하는 것을 특징으로 하는 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출하는 단계; 및
   상기 추출한 얼굴의 특징 정보와 얼굴의 유형 정보를 결합하여, 정면 얼굴에 대한 폴리곤을 생성하고, 기 학습된 얼굴 영상들을 참고하여, 3차원 폴리곤으로부터 상기 사용자의 측면 및 후면 얼굴 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 추론 방법.
10. [청구항 10은(는) 설정등록료 납부시 포기되었습니다.]

    제9항에 있어서, 상기 얼굴의 특징 정보를 추출하는 단계는
    상기 정면 얼굴 영상으로부터 눈과 입을 추출하는 단계;
    추출한 눈과 입을 역삼각형 형태로 연결하여 코 영역을 추출하는 단계;
    상기 코 영역 내에서 에지 및 색상 변화를 분석하여 코의 상세 정보를 추출하는 단계;
    상기 추출한 눈 위의 영역에서 색상 변화를 분석하여 눈썹을 추출하는 단계;
    얼굴의 특징점 및 윤곽선을 추출하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 추론 방법.
11. 삭제
12. [청구항 12은(는) 설정등록료 납부시 포기되었습니다.]

    제9항에 있어서, 상기 얼굴의 특징 정보는
    얼굴의 전체 길이 및 폭, 턱 길이, 하안, 중안, 코의 높이, 코의 길이, 입의 높이, 입의 길이, 눈의 길이, 및 이마의 높이 중에서 하나 이상을 포함하는 것을 특징으로 하는 얼굴 인식 추론 방법.
13. [청구항 13은(는) 설정등록료 납부시 포기되었습니다.]

    사용자의 정면 얼굴 영상을 획득하는 단계;
    상기 정면 얼굴 영상으로부터 각 부위별 특징점을 설정하여 상기 특징점을 기준으로 얼굴의 각 부위별 실측 값 및 통계정보를 이용하여, 얼굴 길이, 코의 높이, 입의 높이, 입의 길이, 눈의 길이, 이마길이의 예측 및 얼굴 부위별 얼굴의 특징 정보를 추출하는 단계;
    상기 추출한 얼굴의 특징 정보를 얼굴 형태, 인종, 성별 및 연령 중에서 하나 이상을 포함하는 것을 특징으로 하는 기 분류된 유형과 비교하여, 얼굴의 유형 정보를 추출하는 단계;
    상기 추출한 얼굴의 특징 정보와 얼굴의 유형 정보를 결합하여, 정면 얼굴에 대한 3차원 폴리곤을 생성하고, 기 학습된 얼굴 영상들을 참고하여, 상기 정면 얼굴에 대한 3차원 폴리곤으로부터 상기 사용자의 측면 및 후면 얼굴 영상을 생성하는 단계;
    사용자가 체험하기를 원하는 미용 오브젝트의 선택 정보를 입력 받는 단계;
    사용자가 선택한 헤어 오브젝트를 상기 사용자의 정면 얼굴 영상과, 측면 얼굴 영상 및 후면 얼굴 영상 중에서 하나 이상과 각각 결합하여 사용자의 정면, 측면 및 후면 방향 중 하나 이상의 방향으로 표현되는 가상 모델링 영상을 생성하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.

Images