KR100791034B1 - Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof - Google Patents

Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof Download PDF

Info

Publication number
KR100791034B1
KR100791034B1 KR1020040069779A KR20040069779A KR100791034B1 KR 100791034 B1 KR100791034 B1 KR 100791034B1 KR 1020040069779 A KR1020040069779 A KR 1020040069779A KR 20040069779 A KR20040069779 A KR 20040069779A KR 100791034 B1 KR100791034 B1 KR 100791034B1
Authority
KR
South Korea
Prior art keywords
hairstyle
face
hair
server
molding
Prior art date
Application number
KR1020040069779A
Other languages
Korean (ko)
Other versions
KR20060020999A (en
Inventor
김원중
Original Assignee
(주)제니텀 엔터테인먼트 컴퓨팅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제니텀 엔터테인먼트 컴퓨팅 filed Critical (주)제니텀 엔터테인먼트 컴퓨팅
Priority to KR1020040069779A priority Critical patent/KR100791034B1/en
Publication of KR20060020999A publication Critical patent/KR20060020999A/en
Application granted granted Critical
Publication of KR100791034B1 publication Critical patent/KR100791034B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴인식 기반 헤어스타일 성형 방법 및 시스템에 관한 것으로, 모바일 폰, 디지털 카메라, 웹 카메라 등의 다양한 입력매체로부터 획득된 사람의 얼굴을 포함하는 동영상 또는 정지영상 등 디지털 이미지에서 얼굴 영역을 검출하고, 이로부터 얼굴을 특징 짓는 특징점을 추출하고, 이 결과를 이용하여 다양한 헤어스타일 이미지와 자동으로 합성을 제공하는 방법 및 그 시스템에 관한 것이다. 본 발명에 따르면 사용자는 유무선 인터넷 망을 통해서 헤어스타일 성형서버에 접속하고, 얼굴 사진을 포함하는 디지털 영상을 전송하거나 헤어스타일 성형서버에 기 저장된 디지털 영상을 요청하고, 헤어 DB로부터 사용자가 원하는 헤어스타일을 선택하고, 요청된 디지털 영상에서 얼굴 영역과 얼굴의 특징점을 자동으로 추출하여, 선택된 헤어스타일로 성형하여 출력 또는 전송하는 것을 특징으로 한다.The present invention relates to a facial recognition-based hairstyle shaping method and system for detecting a facial region in a digital image, such as a moving image or still image, including a human face obtained from various input media such as mobile phones, digital cameras, web cameras, etc. The present invention relates to a method and a system for extracting a feature point for characterizing a face from the same, and using the result, to automatically synthesize a variety of hairstyle images. According to the present invention, a user accesses a hairstyle molding server through a wired / wireless internet network, transmits a digital image including a face photo or requests a digital image previously stored in a hairstyle molding server, and a desired hairstyle from the hair DB. Select and automatically extract the face region and the feature points of the face from the requested digital image, and shape or output the shape to the selected hairstyle.

얼굴인식, 얼굴 특징점 추출, 헤어스타일 성형, 이미지 합성Facial recognition, facial feature extraction, hairstyle shaping, image compositing

Description

얼굴 인식기반 헤어스타일 성형 방법 및 시스템{Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof} Method and system for shaping hairstyle based on face recognition {Method of Hair-Style Shaping based-on Face Recognition and apparatus}             

도 1은 본 발명이 적용되는 얼굴인식 기반 헤어스타일 성형 시스템의 구성도,1 is a block diagram of a face recognition-based hairstyle molding system to which the present invention is applied,

도 2는 본 발명에 의한 얼굴인식 기반 헤어스타일 성형시스템 구성의 일실시예를 나타내는 블록도,Figure 2 is a block diagram showing an embodiment of the facial recognition based hairstyle molding system configuration according to the present invention,

도 3은 본 발명에 헤어스타일 성형서버(40)의 헤어스타일 성형 절차를 도시한 흐름도,3 is a flow chart illustrating a hairstyle molding procedure of the hairstyle molding server 40 in the present invention;

도 4는 본 발명에 의한 도3의 단계(400) 구성의 동작을 나타내는 흐름도,4 is a flow chart showing the operation of the configuration of step 400 of FIG.

도 5는 도4의 단계(420) 구성의 동작을 나타내는 흐름도5 is a flow chart showing operation of the configuration of step 420 of FIG.

도 6은 본 발명에 헤어스타일 성형서버(40)의 헤어스타일 등록 절차를 도시한 흐름도Figure 6 is a flow chart illustrating a hairstyle registration procedure of the hairstyle molding server 40 in the present invention

도 7은 본 발명에 의한 헤어 및 사용자 DB의 구성을 나타내는 구성도7 is a block diagram showing the configuration of the hair and the user DB according to the present invention

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10:사용자 단말기, 11:통신부,10: user terminal, 11: communication unit,

12:입력부, 13:표시부,12: input unit, 13: display unit,

20:관리자 단말기,20: administrator terminal,

30:웹서버, 31:제1통신부,30: web server, 31: first communication unit,

32:제어부, 33:제2통신부,32: control unit, 33: second communication unit,

34:과금처리부, 35:통계처리부,34: billing processing unit, 35: statistics processing unit,

40:헤어스타일성형서버, 41:제1통신부,40: hair style molding server, 41: first communication unit,

42:제2통신부, 43:제어부,42: second communication unit, 43: control unit,

44:얼굴영역검출부, 45:얼굴특징점검출부,44: face area detection unit, 45: face feature point detection unit,

46:헤어메타인덱스검출부, 47:이미지합성부,46: hair meta index detection unit, 47: image synthesis unit,

50:헤어스타일DB, 51:헤어정보저장부50: hair style DB, 51: hair information storage unit

본 발명은 의한 얼굴인식 기반 헤어스타일 성형 방법 및 시스템에 관한 것으로, 모바일폰, 디지털 카메라, 웹 카메라등의 다양한 입력매체로부터 획득된 사람의 얼굴을 포함하는 동영상 또는 정지영상등 디지털 이미지 에서 얼굴 영역을 검출하고, 이로부터 얼굴을 특징 짓는 특징점들을 추출하고, 이 결과를 이용하여 다양한 헤어스타일 이미지와 자동으로 합성을 제공하는 방법 및 그 시스템에 관한 것이다.The present invention relates to a face recognition-based hairstyle shaping method and system, and includes a face region in a digital image such as a moving image or a still image including a face of a person obtained from various input media such as a mobile phone, a digital camera, and a web camera. A method and system for detecting and extracting feature points characterizing a face therefrom and automatically providing composition with various hairstyle images using the results.

현재 온/오프라인상에서 사용 가능한 헤어스타일 변경을 위한 서비스들의 특징은 전문가 수준의 이미지 조작법을 필요로 한다는 것이다. 대부분의 일반 사용자들이 사용하기에는 사용법이 너무 힘든 경우가 대부분이다.A feature of services for changing hairstyles currently available on and offline is that they require professional image manipulation. In most cases, it is too difficult to use for most users.

특히, 얼굴사진 위에 다양한 헤어스타일을 적용한다는 것은 엄두도 내지 못 할 정도 이다.In particular, applying a variety of hairstyles on the face photo is not enough.

본 발명은 상기한 바와 같은 문제점을 감안하여 안출된 것으로서, 얼굴 인식 기술을 이용하여 일반 사용자들도 손쉽고, 정교한 헤어스타일을 변경 할 수 있는 방법 및 그 서비스를 제공하는 것을 목적으로 한다.The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a method and a service capable of easily changing a sophisticated hairstyle by a general user using face recognition technology.

본 발명은 사용자가 유무선 인터넷 망을 통해서 헤어스타일 성형 서버에 접속; 얼굴 사진을 포함하는 디지털 영상을 전송하거나 성형 서버에 기 저장된 디지털 영상을 요청; 헤어 DB로부터 사용자가 원하는 헤어스타일을 선택 하여 선택; 요청된 디지털 영상에서 얼굴 영역과 얼굴의 특징점을 자동으로 추출하여, 선택된 헤어스타일로 성형하여 출력 또는 전송하는 것을 특징으로 한다.
The present invention provides a user access to a hairstyle molding server via a wired or wireless Internet network; Transmitting a digital image including a face photo or requesting a digital image previously stored in a shaping server; Select the desired hairstyle from the hair DB; Automatically extract the facial region and the feature points of the face from the requested digital image, shaping the selected hairstyle and output or transmit.

또한 본 발명은 정지 영상 이미지뿐 아니라 웹 카메라 등의 동영상에서도 실시간으로 다양한 헤어스타일을 연출 할 수 있도록 하는 것을 다른 목적으로 한다.In addition, another object of the present invention is to be able to produce a variety of hairstyles in real time in a video such as a web camera, as well as still images.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일측면에 따르면, 얼굴 인식 기반 헤어스타일 성형 시스템에 있어서, 얼굴인식을 기반으로 한 자동 헤어스타일 이미지 합성 기능을 제공하는 헤어스타일 성형서버, 다양한 헤어스타일 이미지와 상기 헤어스타일 성형 서버에서 검출된 헤어 메타인덱스를 저장하는 헤어스타일 DB, 상기 헤어스타일 성형서버 및 헤어스타일 DB 컨텐츠 접속을 위한 유무선 마크업랭귀지(MarkUp-Language)를 제공하는 웹 서버 및 상기 웹 서버를 경유하여 헤어스타일 성형서버에 접속하여 복수의 디지털 이미지를 송신 또는 수신하는 사용자 단말기를 구비하며, 상기 헤어스타일 성형 서버는 사용자 단말기에 의하여 접속 요청된 웹 서버로부터 컨텐츠를 전송받아 자동으로 얼굴을 추출하고, 헤어스타일 이미지와 합성하여 요청한 사용자 단말기에 제공하는 것을 특징으로 하는 얼굴 인식 기반 헤어스타일 성형 시스템을 제공할 수 있다.
여기에서, 상기 헤어스타일 성형서버는, 복수의 디지털 이미지를 입력받아서 얼굴 특징을 이용해 메타인덱스를 생성하고, 복수의 헤어스타일 이미지를 입력받아 헤어 메타인덱스를 생성하고, 얼굴 및 헤어스타일 메타인덱스를 이용해서 자동으로 헤어스타일 성형하는 것을 특징으로 한다.
또한, 상기 복수의 디지털 이미지를 입력받아서 얼굴 특징을 이용해 메타 인덱스를 생성하는 것은, 얼굴을 포함하는 영역을 검출하고, 얼굴 영역으로부터 얼굴의 특징점을 검출하고, 얼굴의 특징점으로부터 얼굴 메타인덱스를 생성함으로써 이루어지는 것을 특징으로 한다.
또한, 상기 복수의 헤어스타일 이미지를 입력받아 헤어 메타인덱스를 생성하는 것은, 다양한 헤어스타일 이미지로부터 헤어 메타인덱스를 생성하고, 헤어 메타인덱스 정보를 구성함으로써 이루어지는 것을 특징으로 한다.In order to achieve the above object, according to an aspect of the present invention, in the facial recognition based hairstyle molding system, a hairstyle molding server that provides an automatic hairstyle image synthesis function based on facial recognition, various hair A hairstyle DB for storing a style image and a hair meta-index detected by the hairstyle shaping server, a web server for providing a wired / wireless markup-language for accessing the hairstyle shaping server and hairstyle DB contents, and the And a user terminal for transmitting or receiving a plurality of digital images by connecting to a hairstyle molding server via a web server, wherein the hairstyle molding server receives a content from a web server requested by the user terminal to automatically face the face. Extract and synthesize it with the hairstyle image It can provide face recognition based hair style molding system which comprises providing to the user terminal.
Here, the hairstyle shaping server receives a plurality of digital images to generate a meta index using facial features, receives a plurality of hairstyle images to generate a hair metaindex, and uses a face and a hairstyle metaindex. It is characterized by automatically forming a hairstyle.
In addition, generating a meta index by using the face features by receiving the plurality of digital images may include detecting a region including a face, detecting a feature point of the face from the face region, and generating a face metaindex from the feature point of the face. Characterized in that made.
In addition, the generation of the hair meta-index by receiving the plurality of hairstyle images is characterized in that the hair meta-index is generated from various hairstyle images and the hair meta-index information is configured.

삭제delete

이하, 도면을 참조하여 본 발명에 대하여 상세하게 설명한다.EMBODIMENT OF THE INVENTION Hereinafter, this invention is demonstrated in detail with reference to drawings.

도 1은 본 발명에 의한 얼굴인식 기반 헤어스타일 성형 시스템의 구성도이다.1 is a block diagram of a facial recognition-based hairstyle molding system according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 의한 헤어 성형 시스템은 가공된 결과를 출력하는 사용자 단말기(10)와 헤어스타일을 관리하는 관리자 단말기(20)와 얼굴 영상이미지에 사용자가 선택한 헤어스타일 컨텐츠를 합성하여 제공하는 헤어스타일 성형서버(40), 헤어스타일정보와 고객정보를 저장하는 DB(50)와 사용자의 접속 및 컨텐츠를 제공하는 웹서버(30)가 유무선 인터넷 망으로 연결되는 형태로 구성된다.As shown in FIG. 1, the hair forming system according to the present invention includes a user terminal 10 outputting a processed result, a manager terminal 20 managing a hairstyle, and a hairstyle content selected by a user on a face image. Hair style molding server 40 for synthesis and providing, DB (50) for storing the hair style information and customer information and the web server 30 for providing the user's connection and content is connected to the wired and wireless Internet network. .

상기 사용자 단말기(10)는 유무선 인터넷 망을 통해 웹 서버(30)에 접속하여 모바일 폰, 디지털 카메라, 웹 카메라 등의 다양한 입력매체로부터 획득된 사람의 얼굴을 포함하는 동영상 또는 정지영상 등 디지털 이미지를 요청하고, 헤어스타일 성형서버(40)로부터 전송된 컨텐츠를 출력하는 수단이다.The user terminal 10 accesses the web server 30 through a wired / wireless internet network to display a digital image such as a video or a still image including a face of a person obtained from various input media such as a mobile phone, a digital camera, a web camera, and the like. Means for requesting and outputting the content transmitted from the hairstyle shaping server 40.

즉, 상기 사용자 단말기(10)는 유무선 인터넷을 통한 입출력 수단으로서, 유무선 디지털 이미지 서비스와 관련된 스틸 이미지, 동영상 이미지의 출력이 가능하며, TCP/IP 통신이 가능한 유무선 데이터 통신 단말기이다.That is, the user terminal 10 is a wired / wireless data communication terminal capable of outputting still images and moving image images related to wired / wireless digital image services as TCP input / output means through wired / wireless internet.

상기 관리자 단말기(20)는 유무선 인터넷 망을 통해 웹 서버(30)에 접속하여 사용자에게 서비스될 헤어스타일을 등록하는 수단이며, 이 경우에 헤어스타일 성형서버(40)는 관리자 단말기(20)로부터 전송받은 헤어스타일에 대하여 헤어 메타인덱스를 생성하고 헤어스타일 DB(50)로 전송하며, 헤어스타일 DB(50)는 전송받은 헤어 메타인덱스를 저장한다The manager terminal 20 is a means for registering a hairstyle to be serviced to a user by accessing the web server 30 through a wired or wireless Internet network, in which case the hairstyle molding server 40 is transmitted from the manager terminal 20. Generates a hair metaindex for the received hairstyle and transmits it to the hairstyle DB 50, and the hairstyle DB 50 stores the received hair metaindex.

상기 웹 서버(30)는 통상의 인터넷 서비스를 제공하는 서버로, 사용자 단말기와 헤어스타일 성형서버(40)를 연결해주는 서버로, 상기 웹 서버(30)를 통해서 사용자는 헤어스타일 서버(40)에 접속이 가하여, 디지털 이미지를 전송할 수 있으며, 다양한 헤어스타일 컨텐츠를 조회/선택 및 헤어스타일 성형서버(40)로 켄텐츠 전송 및 합성된 이미지를 사용자 단말기로 전송하는 수단이다.The web server 30 is a server providing a general Internet service, a server connecting the user terminal and the hairstyle shaping server 40, the user through the web server 30 to the hairstyle server 40 A connection may be applied to transmit a digital image, and a means for searching / selecting various hairstyle contents and transmitting contents to the hairstyle shaping server 40 and the synthesized image to a user terminal.

상기 헤어스타일 성형서버(40)는 상기 사용자 단말기(10)로부터 요청 받은 디지털 이미지 와 웹 서버(40)를 통해서 선택된 헤어스타일 컨텐츠를 입력으로, 자동으로 얼굴의 특징점을 추출 및 실시간으로 이미지를 합성하여 사용자 단말기(10)에 제공하는 수단이다.The hairstyle molding server 40 inputs the digital image requested from the user terminal 10 and the selected hairstyle content through the web server 40, and automatically extracts facial feature points and synthesizes the image in real time. Means provided to the user terminal 10.

즉, 상기 헤어스타일 성형서버(40)는 본 발명의 특징인 자동으로 얼굴을 검출하고, 얼굴의 특징점을 검출, 소정의 기준에 따라 헤어 메타인덱스를 생성하여 선택된 헤어스타일과 자동으로 합성하는 기능을 수행하며, 합성된 최종 컨텐츠는 스틸 이미지(bmp,jpg,png 등)의 형태일 수도 있고, 동영상 이미지(jpg,sis,mpeg 등)의 형태일 수도 있다.That is, the hairstyle molding server 40 automatically detects a face which is a feature of the present invention, detects feature points of the face, and generates a hair meta-index according to a predetermined criterion to automatically synthesize the selected hairstyle. The synthesized final content may be in the form of a still image (bmp, jpg, png, etc.) or may be in the form of a video image (jpg, sis, mpeg, etc.).

상기 DB(50)는 관리자에 의해 제공된 헤어 이미지와 관련 헤어 메타인덱스의 형태로 저장 되며, 상기 웹 서버(30)를 통해서 제공되는 헤어 컨텐츠로서 다양한 스틸 이미지의 형태일 수 있다.The DB 50 is stored in the form of a hair image and an associated hair metaindex provided by an administrator, and may be in the form of various still images as hair content provided through the web server 30.

상기 유무선 인터넷망은 공지의 기술이며, 본 발명과 직접적인 관련이 없으므로 상세한 설명은 생략한다.The wired / wireless Internet network is a well-known technology, and thus a detailed description thereof will be omitted since it is not directly related to the present invention.

상기한 바와 같은 구성을 통하여 사용자가 요청한 컨텐츠를 실시간, 자동으로 합성하여 사용자의 단말기를 통하여 제공될 수 있다.Through the above configuration, the content requested by the user may be synthesized in real time and automatically and provided through the user's terminal.

도 2는 본 발명에 의한 얼굴인식 기반 헤어스타일 성형시스템(사용자측)의 블록 구성도이다.2 is a block diagram of a facial recognition-based hairstyle molding system (user side) according to the present invention.

도 1에서 상기한 바와 같이, 본 발명에 의한 얼굴인식 기반 헤어스타일 성형시스템은 사용자 단말기(10), 관리자 단말기(20), 웹 서버(30), 헤어스타일 성형서버(40) 및 헤어 DB(50)으로 구성된다. 또한 도 2에 도시된 바와 같이 사용자 단말기(10)는 입력부(12), 표시부(13) 및 통신부(11)로 구성되며, 상기 웹 서버(30)는 제1 통신부(31) 및 제 2 통신부(33)를 포함하여 구성된다. 또한 헤어스타일 성형서버(40)는 제어부(43), 얼굴영역 검출부(44), 얼굴 특징점 검출부(45), 이미지 합성부(46), 헤어 메타인덱스 검출부(47), 및 웹 서버와 연결된 제1 통신부(41), 헤어스타일 DB와 연결된 제 2통신부(42)로 구성되며, 상기 헤어스타일 DB(50)은 헤어정보 저장부(51)를 포함하여 구성된다.As described above in FIG. 1, the facial recognition based hairstyle molding system according to the present invention includes a user terminal 10, an administrator terminal 20, a web server 30, a hairstyle molding server 40, and a hair DB 50. It is composed of In addition, as shown in FIG. 2, the user terminal 10 includes an input unit 12, a display unit 13, and a communication unit 11, and the web server 30 includes a first communication unit 31 and a second communication unit ( 33). In addition, the hairstyle shaping server 40 may include a controller 43, a face region detector 44, a facial feature point detector 45, an image synthesizer 46, a hair metaindex detector 47, and a first server connected to a web server. It consists of a communication unit 41, the second communication unit 42 connected to the hairstyle DB, the hairstyle DB 50 is configured to include a hair information storage unit (51).

상기 사용자 단말기(10)는 사용자의 입력을 처리하는 입력부(12), 컨텐츠를 표시하는 표시부(13) 및 웹 서버(30)의 제 1 통신부(31)와 통신링크가 이루어져 데이터 송수신을 수행하는 통신부(11)로 구성되어진다.The user terminal 10 communicates with an input unit 12 for processing a user input, a display unit 13 for displaying content, and a first communication unit 31 of the web server 30 to perform data transmission and reception. It consists of (11).

상기 웹 서버(30)는 사용자측 단말기(10)로부터 컨텐츠 전송 요청을 처리하는 제 1 통신부(31)와 컨텐츠 전송 요청이 있는 경우, 헤어스타일 성형서버(40)측으로 전송하는 제2 통신부(33), 과금 처리부(34), 제어부(32)를 포함하여 구성된다. 상기 웹 서버(30)은 사용자 단말기(10)의 특성에 맞게 다양한 마크업 랭귀지(MarkUp Language)의 형태로 제공되어 진다.The web server 30 is the first communication unit 31 for processing the content transmission request from the user terminal 10 and the second communication unit 33 for transmitting to the hairstyle shaping server 40 side, if there is a content transmission request, The billing processing unit 34 and the control unit 32 is configured. The web server 30 is provided in various markup languages according to the characteristics of the user terminal 10.

상기 헤어스타일 성형서버(40)는 제1 통신부(41)는 웹 서버(30)의 제2 통신부(33)와 통신 링크가 이루어져 웹 서버(30)를 통해 사용자가 입력한 디지털 이미지 데이터 송수신을 수행하는 수단이며, 제 2 통신부는 헤어스타일 DB(50)의 헤어정보 저장부(51)와 통신 링크가 이루어져 헤어스타일 이미지와 헤어 메타인덱스를 송수신하는 수단이다. The hairstyle molding server 40 has a first communication unit 41 is a communication link with the second communication unit 33 of the web server 30 to perform the transmission and reception of the digital image data input by the user through the web server 30 The second communication unit is a means for communicating with the hair information storage unit 51 of the hairstyle DB 50 to transmit and receive the hairstyle image and the hair metaindex.

상기 제어부(43)는 사용자가 선택한 헤어스타일 이미지와 헤어 메타인덱스를 헤어스타일 DB(50)로부터 가져오는 기능을 수행하며, 상기 얼굴 특징점 검출부(45)를 통해서 검출된 얼굴의 특징점을 이용해 얼굴 메타인덱스를 추출하는 기능을 수행하는 수단이다. The control unit 43 performs a function of importing a hairstyle image selected by the user and a hair metaindex from the hairstyle DB 50, and using the facial feature index detected by the facial feature point detector 45. Means to perform the function of extracting.

상기 얼굴영역 검출부(44)는 입력된 사용자 디지털 이미지로부터 얼굴영역을 추출하는 수단이며, 상기 얼굴 특징점 검출부(45)는 얼굴영역 검출부(44)로부터 검출된 얼굴영역으로부터 얼굴의 특징점을 검출하는 기능을 수행하는 수단이다. The face area detector 44 is a means for extracting a face area from an input user digital image, and the face feature point detector 45 detects a feature point of a face from the face area detected by the face area detector 44. Means to perform.

상기 헤어 메타인덱스 검출부(46)는 관리자 단말기(20)로부터 수신한 헤어스타일로부터 얼굴에 위치할 헤어스타일의 헤어 메타인덱스를 미리 검출하는 기능을 수행하는 수단이다.The hair meta-index detecting unit 46 is a means for performing a function of previously detecting the hair meta-index of the hairstyle to be located on the face from the hairstyle received from the manager terminal 20.

상기 이미지 합성부(47)는 얼굴의 메타인덱스와 헤어 메타인덱스를 이용해 자동으로 합성하는 기능을 수행 및 합성된 사진의 크기 조절, 헤어스타일 위치의 수동 조절, 뽀샤시 처리등의 이미지 리터칭(retouching)등의 이미지 조절을 수행하는 수단이다. The image synthesizing unit 47 performs a function of automatically synthesizing a face using a meta index and a hair meta index, and resizes an image such as adjusting a size of a synthesized photo, manually adjusting a hairstyle position, and a pretty hair treatment. Means to perform image adjustments.

마지막으로 헤어스타일 DB(50)는 헤어스타일을 저장하는 헤어정보저장부(51)로 구성되며, 연령별/성별/인종에 따른 평균적인 메타 데이터를 기준으로 생성된 헤어 메타인덱스와 헤어 이미지를 저장하며, 본 발명인 헤어스타일 DB(50)에 저장되는 헤어 메타 데이터는 1. 양쪽 눈의 중간지점에서 얼굴영역이 위치하는 좌우측 끝점; 2. 양쪽 눈의 중간 지점에서 이마 부분의 길이; 3. 양쪽눈의 중간 지점에서 턱선까지의 길이로 구성되어진다.Finally, the hairstyle DB 50 is composed of a hair information storage unit 51 for storing the hairstyle, and stores the hair meta-index and the hair image generated based on the average metadata according to age, gender, and race. Hair metadata stored in the hairstylist DB 50 of the present invention include: 1. left and right end points at which face regions are located at midpoints of both eyes; 2. the length of the forehead portion at the midpoint of both eyes; 3. It consists of the length from the midpoint of both eyes to the jaw line.

도 3은 본 발명에 헤어스타일 성형서버(40)의 헤어스타일 성형 절차를 도시한 흐름도이다. 3 is a flowchart illustrating a hairstyle molding procedure of the hairstyle molding server 40 in the present invention.

본 발명에 의한 얼굴인식을 기반으로 하는 헤어스타일 성형서버(40)에서 수행되는 헤어스타일 성형 절차는 사용자의 인증을 위한 사용자인증단계(100), 신규 사진을 올리거나 기 저장된 얼굴 사진을 조회 및 선택하는 수단을 제공하는 사진 입력 및 선택 단계(200), 다양한 헤어스타일 정보를 조회하고 선택할 수 있는 수단을 제공하는 헤어스타일 선택 단계(300), 얼굴 사진과 헤어스타일의 자동 합성 기능의 수단을 제공하는 헤어스타일 성형 단계(400), 결과 전송 및 과금 단계(500)로 구성되어진다. The hairstyle molding procedure performed in the hairstyle molding server 40 based on face recognition according to the present invention is a user authentication step 100 for authenticating a user, uploading a new photo or viewing and selecting a pre-stored face photo. Photo input and selection step of providing a means for providing a step 200, Hair style selection step 300 for providing a means to look up and select a variety of hairstyle information, which provides a means of automatic composition of facial photos and hairstyles Hairstyling step 400, result transfer and charging step 500.

도 4는 본 발명에 의한 도 3의 단계(400) 구성의 동작을 나타내는 흐름도이다.4 is a flowchart illustrating the operation of the configuration of step 400 of FIG. 3 according to the present invention.

도 3에서 상기한 바와 같이, 헤어스타일 성형단계(400)는 이미지 전처리 단계(410), 얼굴영역 검출단계(420), 얼굴 특징점 검출 단계(430), 얼굴 메타인덱스 생성 단계(440), 헤어스타일 합성단계(450), 합성이미지 표시단계(460), 합성이미지조절단계(470)등으로 구성되어진다. As described above in FIG. 3, the hairstyle shaping step 400 includes an image preprocessing step 410, a face region detection step 420, a facial feature point detection step 430, a face metaindex generation step 440, and a hairstyle. Combination step 450, synthesized image display step 460, synthesized image adjustment step (470) and the like.

상기 이미지전처리단계(410)는 요청된 사용자 이미지에 대해 평활화, 명암조절 등의 방법을 통해서 보다 높은 수준의 이미지로 전처리하는 단계를 말하며, 얼굴영역 검출단계(420)는 전처리된 원 영상을 작은 영역으로 분할하고, 분할된 각 영역의 특징정보를 생성/추출 및 특징값을 학습, 학습된 결과로 얼굴 영역을 검출, 상기 검출된 얼굴 영역을 확인 및 조정하여 최종 얼굴 영역을 결정하는 과정을 포함하여 최적 얼굴 영역을 검출하는 단계를 말한다.The image preprocessing step 410 refers to a step of preprocessing a higher level image through a smoothing, contrast control, etc. method for the requested user image. The face region detecting step 420 is a small area of the preprocessed original image. And determining feature areas of the divided regions, generating / extracting feature information of each divided region, learning feature values, detecting a facial region from the learned result, and determining and adjusting the detected facial region to determine a final facial region. Detecting the optimal face area.

상기 얼굴 특징점 검출단계(430)는 전 과정(210)의 결과로부터 검출된 얼굴영역에서 눈, 눈썹, 코, 입, 얼굴의 에지(edge)등의 각 특징점을 검출하는 단계를 말한다.The facial feature point detection step 430 is a step of detecting each feature point such as an eye, an eyebrow, a nose, a mouth, and an edge of a face in the face region detected from the result of the entire process 210.

상기 얼굴 메타인덱스 생성단계(440)는 얼굴의 특징점을 이용하여 얼굴 메타인덱스를 생성하는 단계를 말한다. 이 단계에서 생성되는 얼굴 메타인덱스는 1. 양쪽 눈의 중간지점에서 얼굴영역이 위치하는 좌우측 끝점; 2. 양쪽 눈의 중간 지점에서 이마 부분의 길이; 3. 양쪽 눈의 중간 지점에서 턱선까지의 길이로 구성되어지는 것을 특징으로 한다.The face metaindex generation step 440 refers to a step of generating a face metaindex using facial feature points. The face metaindex generated in this step is characterized by: 1. left and right end points where face areas are located at the midpoints of both eyes; 2. the length of the forehead portion at the midpoint of both eyes; 3. It is composed of the length from the midpoint of both eyes to the jawline.

상기 헤어스타일 합성단계(450)는 얼굴의 메타인덱스와 헤어스타일의 메타인덱스를 이용하여 헤어스타일 이미지를 자동으로 확대,축소등의 이미지 변형기법을 적용하여 두 이미지를 실시간으로 합성하는 기능을 수행하는 단계를 말한다. The hairstyle synthesizing step 450 performs a function of synthesizing two images in real time by applying an image transformation technique such as automatically expanding and contracting a hairstyle image using a meta index of a face and a meta index of a hairstyle. Say step.

도 5는 도 4의 단계(420) 구성의 동작을 나타내는 흐름도이다.5 is a flowchart illustrating the operation of the configuration of step 420 of FIG.

상기 도 4의 단계(420)는 전처리된 원 영상을 작은 영역으로 분할하는 영역분할(420-1)단계, 영역분할 단계 후에 분할된 각 영역의 특징정보를 생성/추출하는 수단을 제공하는 특징정보 생성(420-2) 단계, 특징값을 학습, 학습된 결과로 얼굴 영역을 검출하는 특징정보학습(420-3)단계, 상기 검출된 얼굴 영역을 확인 및 조정하는 수단을 제공하는 얼굴영역 조정(420-4)단계 및 최종 얼굴 영역을 결정하는 과정을 포함하여 최적 얼굴 영역을 검출하는 단계로 구성된다.Step 420 of FIG. 4 is a region partitioning step 420-1 for dividing the preprocessed original image into small regions, and feature information providing means for generating / extracting feature information of each segmented area after the region partitioning step. A feature information learning step 420-3 of learning a feature value, detecting a face area as a result of the learning, and a face area adjustment providing a means for identifying and adjusting the detected face area; Step 420-4) and determining an optimal face area, including determining a final face area.

도 6은 본 발명에 헤어스타일 성형서버(40)의 헤어스타일 등록 절차를 도시한 흐름도이다.6 is a flowchart illustrating a hairstyle registration procedure of the hairstyle molding server 40 in the present invention.

본 발명에 의한 얼굴인식을 기반으로 한 헤어스타일 성형서버(40)에서 수행되는 헤어스타일 등록 절차는 관리자의 인증기능을 제공하는관리자 인증단계(600), 헤어 이미지 입력/선택 단계(700), 헤어 메타인덱스 생성단계(800), 헤어 성형 시물레이션 단계(900), 헤어 DB 저장단계(1000)로 구성되어진다.The hairstyle registration procedure performed in the hairstyle molding server 40 based on face recognition according to the present invention includes an administrator authentication step 600 for providing an administrator's authentication function, a hair image input / selection step 700, and hair Meta-index generation step 800, hair molding simulation step 900, hair DB storage step (1000).

도 7은 본 발명에 의한 헤어 및 사용자 DB의 구성을 나타내는 구성도이다.7 is a block diagram showing the configuration of the hair and the user DB according to the present invention.

상기 헤어스타일 DB(50-1)은 헤어 이미지(54)와 헤어 메타인덱스(55)로 구성어진다.The hairstyle DB 50-1 is composed of a hair image 54 and a hair metaindex 55.

상기 헤어 메타인덱스(55)는 연령별/성별/인종에 따른 평균적인 메타 데이터를 기준으로 생성되며, 1. 양쪽 눈의 중간지점에서 얼굴영역이 위치하는 좌우측 끝점; 2. 양쪽 눈의 중간 지점에서 이마 부분의 길이; 3. 양쪽 눈의 중간 지점에서 턱선까지의 길이로 구성되어지는 인덱스 정보를 저장하는 수단이다.The hair meta-index 55 is generated based on average metadata according to age / gender / race, and includes: 1. left and right end points at which face regions are located at midpoints of both eyes; 2. the length of the forehead portion at the midpoint of both eyes; 3. It is a means of storing index information consisting of the length from the midpoint of both eyes to the jawline.

본 발명에 의하면, 모바일 폰, 디지털 카메라, 웹 카메라 등의 다양한 입력매체로부터 획득된 사람의 얼굴을 포함하는 동영상 또는 정지영상 등 디지털 이미지 에서 얼굴 영역을 검출하고, 이로부터 얼굴을 특징 짓는 특징점을 추출하고, 이 결과를 이용하여 다양한 헤어스타일 이미지와 실시간, 자동으로 합성해볼 수 있다.According to the present invention, a face region is detected from a digital image such as a moving picture or a still image including a face of a person obtained from various input media such as a mobile phone, a digital camera, a web camera, and a feature point for characterizing a face is extracted therefrom. Using this result, you can synthesize various hairstyle images in real time and automatically.

특히, 이미지 조작 전문가가 아니라도 윈 클릭만으로 다양한 헤어스타일을 간편하게, 자동으로, 실시간으로 성형 할 수 있으며, 사용자 인터페이스에 제약이 많은 모바일 환경에서 특별한 이미지 저작 도구 없이도 손쉽게, 실시간으로 헤어스타일을 변경해 볼 수 있다.Especially, even if you are not an expert in image manipulation, you can make various hairstyles easily, automatically, and in real time with just a click of a window. In a mobile environment with limited user interface, you can easily change hairstyles in real time without special image authoring tools. Can be.

Claims (5)

얼굴 인식 기반 헤어스타일 성형 시스템에 있어서,In face recognition based hairstyle shaping system, 얼굴인식을 기반으로 한 자동 헤어스타일 이미지 합성 기능을 제공하는 헤어스타일 성형서버;Hairstyling molding server that provides an automatic hairstyle image compositing function based on facial recognition; 다양한 헤어스타일 이미지와 상기 헤어스타일 성형 서버에서 검출된 헤어 메타인덱스를 저장하는 헤어스타일 DB;A hairstyle DB for storing various hairstyle images and hair meta-index detected by the hairstyle shaping server; 상기 헤어스타일 성형서버 및 헤어스타일 DB 컨텐츠 접속을 위한 유무선 마크업랭귀지(MarkUp-Language)를 제공하는 웹 서버; 및 A web server providing a wired / wireless markup-language for accessing the hairstyle molding server and hairstyle DB contents; And 상기 웹 서버를 경유하여 헤어스타일 성형서버에 접속하여 복수의 디지털 이미지를 송신 또는 수신하는 사용자 단말기A user terminal which transmits or receives a plurality of digital images by accessing a hairstyle molding server via the web server. 를 구비하며, Equipped with 상기 헤어스타일 성형 서버는 사용자 단말기에 의하여 접속 요청된 웹 서버로부터 컨텐츠를 전송받아 자동으로 얼굴을 추출하고, 헤어스타일 이미지와 합성하여 요청한 사용자 단말기에 제공하는 것을 특징으로 하는 얼굴 인식 기반 헤어스타일 성형 시스템.The hairstyle shaping server receives a content from a web server requested by a user terminal to automatically extract a face, and synthesizes a hairstyle image to provide the requested user terminal to a facial recognition based hairstyle molding system. . 제1항에 있어서, The method of claim 1, 상기 헤어스타일 성형서버는, 복수의 디지털 이미지를 입력받아서 얼굴 특징을 이용해 메타인덱스를 생성하고, 복수의 헤어스타일 이미지를 입력받아 헤어 메타인덱스를 생성하고, 얼굴 및 헤어스타일 메타인덱스를 이용해서 자동으로 헤어스타일 성형하는 것The hairstyle molding server receives a plurality of digital images, generates a meta index using facial features, receives a plurality of hairstyle images, generates a hair metaindex, and automatically uses a face and a hairstyle metaindex. Hairstyle shaping 을 특징으로 하는 얼굴 인식 기반 헤어스타일 성형 시스템.Facial recognition based hairstyle molding system. 제2항에 있어서, The method of claim 2, 상기 복수의 디지털 이미지를 입력받아서 얼굴 특징을 이용해 메타 인덱스를 생성하는 것은, 얼굴을 포함하는 영역을 검출하고, 얼굴 영역으로부터 얼굴의 특징점을 검출하고, 얼굴의 특징점으로부터 얼굴 메타인덱스를 생성함으로써 이루어지는 것Generating a meta index by using the facial features by receiving the plurality of digital images is performed by detecting a region including a face, detecting a feature point of the face from the face region, and generating a face metaindex from the feature point of the face. 을 특징으로 하는 얼굴 인식 기반 헤어스타일 성형 시스템.Facial recognition based hairstyle molding system. 제2항에 있어서, The method of claim 2, 상기 복수의 헤어스타일 이미지를 입력받아 헤어 메타인덱스를 생성하는 것은,Generating the hair meta-index by receiving the plurality of hairstyle images, 다양한 헤어스타일 이미지로부터 헤어 메타인덱스를 생성하고, 헤어 메타인덱스 정보를 구성함으로써 이루어지는 것By creating a hair metaindex from various hairstyle images and constructing hair metaindex information 을 특징으로 하는 얼굴 인식 기반 헤어스타일 성형 시스템.Facial recognition based hairstyle molding system. 삭제delete
KR1020040069779A 2004-09-02 2004-09-02 Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof KR100791034B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040069779A KR100791034B1 (en) 2004-09-02 2004-09-02 Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040069779A KR100791034B1 (en) 2004-09-02 2004-09-02 Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20060020999A KR20060020999A (en) 2006-03-07
KR100791034B1 true KR100791034B1 (en) 2008-01-03

Family

ID=37127988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040069779A KR100791034B1 (en) 2004-09-02 2004-09-02 Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof

Country Status (1)

Country Link
KR (1) KR100791034B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498513B1 (en) * 2012-12-26 2015-03-13 주식회사 스타일솔루션 Method for providing virtual hairstyle using social network service

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101516465B1 (en) 2010-07-06 2015-05-04 한국전자통신연구원 Method and apparatus for making avatar
KR101287420B1 (en) * 2011-01-19 2013-07-18 임경근 Hairstyle simulation system and method
KR101987749B1 (en) * 2017-04-21 2019-06-11 에스케이플래닛 주식회사 Method and apparatus for virtual hair styling service
KR102193638B1 (en) * 2017-10-19 2020-12-23 주식회사 버츄어라이브 Method, system and non-transitory computer-readable recording medium for providing hair styling simulation service
CN112437117A (en) * 2020-11-04 2021-03-02 西安米克为正电子科技有限公司 Information pushing method based on barbershop environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054325A (en) * 2000-06-01 2000-09-05 임수열 providing method of hair production service and system for the same
KR20000064110A (en) * 2000-08-22 2000-11-06 이성환 Device and method for automatic character generation based on a facial image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054325A (en) * 2000-06-01 2000-09-05 임수열 providing method of hair production service and system for the same
KR20000064110A (en) * 2000-08-22 2000-11-06 이성환 Device and method for automatic character generation based on a facial image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498513B1 (en) * 2012-12-26 2015-03-13 주식회사 스타일솔루션 Method for providing virtual hairstyle using social network service

Also Published As

Publication number Publication date
KR20060020999A (en) 2006-03-07

Similar Documents

Publication Publication Date Title
KR102158233B1 (en) Method for Providing Augmented Make-up Service
CN106682632B (en) Method and device for processing face image
KR101768980B1 (en) Virtual video call method and terminal
WO2019104930A1 (en) Identity authentication method, electronic device and computer-readable storage medium
JP4449723B2 (en) Image processing apparatus, image processing method, and program
JP7020626B2 (en) Makeup evaluation system and its operation method
KR101733512B1 (en) Virtual experience system based on facial feature and method therefore
JP7101749B2 (en) Mediation devices and methods, as well as computer-readable recording media {MEDIATING APPARATUS, METHOD AND COMPANY REDABLE RECORDING MEDIA FORM THEREOF}
WO2015059559A1 (en) A method and a system for performing 3d-based identity verification of individuals with mobile devices
KR102009130B1 (en) The System Providing Diagnosis of Makeup and Question and Answer Service
KR101987749B1 (en) Method and apparatus for virtual hair styling service
KR101827998B1 (en) Virtual experience system based on facial feature and method therefore
CN113610723A (en) Image processing method and related device
KR100791034B1 (en) Method of Hair-Style Shaping based-on Face Recognition and apparatus thereof
JP4183536B2 (en) Person image processing method, apparatus and system
US20210217074A1 (en) Systems and methods for providing a style recommendation
KR102058190B1 (en) Apparatus for providing character service in character service system
CN116074618A (en) Intelligent photographing service method, system and storage medium for preventing portrait information leakage
WO2016131226A1 (en) Intelligent terminal and image processing method and apparatus therefor
CN110766631A (en) Face image modification method and device, electronic equipment and computer readable medium
KR101738896B1 (en) Fitting virtual system using pattern copy and method therefor
JP6140327B2 (en) Message transmission system, message transmission method, and program
KR20160128272A (en) Virtual Service System For Hair and Method thereof, and Device supporting the same
JP5904887B2 (en) Message transmission system, message transmission method, and program
KR20120102275A (en) Virtual service system for hair and method thereof, and device supporting the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20101228

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee