WO2013022226A2 - 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템 - Google Patents

고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템 Download PDF

Info

Publication number
WO2013022226A2
WO2013022226A2 PCT/KR2012/006177 KR2012006177W WO2013022226A2 WO 2013022226 A2 WO2013022226 A2 WO 2013022226A2 KR 2012006177 W KR2012006177 W KR 2012006177W WO 2013022226 A2 WO2013022226 A2 WO 2013022226A2
Authority
WO
WIPO (PCT)
Prior art keywords
customer
personal information
face
age
gender
Prior art date
Application number
PCT/KR2012/006177
Other languages
English (en)
French (fr)
Other versions
WO2013022226A4 (ko
WO2013022226A3 (ko
Inventor
이인권
Original Assignee
Lee In Kwon
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lee In Kwon filed Critical Lee In Kwon
Priority to US14/003,718 priority Critical patent/US20140140584A1/en
Publication of WO2013022226A2 publication Critical patent/WO2013022226A2/ko
Publication of WO2013022226A3 publication Critical patent/WO2013022226A3/ko
Publication of WO2013022226A4 publication Critical patent/WO2013022226A4/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Definitions

  • the present invention relates to a method and apparatus for generating customer personal information, a recording medium and a force system thereof.
  • the facial feature in the customer's face is detected from the image extracted from the image input through the image input means provided at one position on the POS terminal side, and the personal information such as the gender and age of the customer is detected using the facial feature.
  • the present invention relates to a method and apparatus for generating customer personal information, a recording medium, and a force system for generating various statistics based on personal information of a customer, such as customer gender and age-specific purchase information.
  • a pos terminal is a terminal for a system or a terminal dedicated to a store, and means a device that collects, stores, and transmits data regarding a brand name, a price, and the like at a point of sale at a retail store, a supermarket, and a large sales store.
  • POS terminals not only settle the amount of sales, but also collect and process various information and data necessary for retail management, so they are mainly used in most large-scale sales stores such as E-Mart and Home Plus.
  • the force terminal as described above is provided with a barcode reader which is an automatic barcode reading device.
  • the conventional POS terminal grasps the information based on the barcode displayed on the product packaging, and thus can be used for generating various statistical information based on the product, but based on the customer's personal information such as the age and gender of the customer It could not be utilized to generate various statistical information.
  • the conventional POS terminal could not be utilized for generating information based on personal information of the customer, such as information on age-specific preferences of a specific product and information on gender preference of a specific product.
  • An object of the present invention for solving the problem according to the prior art, by detecting the facial feature in the customer's face from the image extracted from the image input through the image input means provided at one position on the force terminal side, As the personal information such as gender and age of the customer is generated by using the customer personal information generation method and apparatus for generating various statistics based on the personal information of the customer such as the customer gender and age purchase information,
  • the present invention provides a recording medium and a force system.
  • a customer personal information generating method for a POS system consisting of a server or a network connected to the POS terminal, (a) is provided at a position on the side of the POS terminal Detecting a face region of the customer from an image extracted from an image input through an image input means; (b) detecting a facial feature point in the detected face region; And (c) estimating at least one of gender and age of the customer using the detected face region and the detected facial feature to generate human information.
  • a computer-readable recording medium having recorded thereon a program for executing each step of the customer personal information generating method.
  • a POS system using a customer personal information generating method.
  • One embodiment according to another aspect of the present invention is a customer personal information generating device for a POS system consisting of a server or a network connected to the POS terminal, the image input through the image input means provided at a position on the POS terminal side
  • a face region detection module for detecting a face region of the customer from the image extracted from the image
  • a facial feature point detection module for detecting a facial feature point in the detected face area
  • a personal information generation module configured to generate personal information by estimating at least one of gender and age of the customer by using the detected face region and the detected facial feature point.
  • a customer personal information generating method for a customer management system consisting of a server or a server connected to the customer-facing terminal, the image input means provided at one position of the customer-facing terminal
  • the facial feature of the customer is detected from the image extracted from the image input through the user to generate personal information of the customer regarding at least one of gender and age.
  • One embodiment according to another aspect of the present invention is a customer personal information generating device for a customer management system consisting of a server or a server connected to the customer-facing terminal, the image input means provided at one position of the customer-facing terminal.
  • the facial feature of the customer is detected from the image extracted from the image input through the user to generate personal information of the customer regarding at least one of gender and age.
  • the present invention as described above, by using the POS terminal installed in retail stores, supermarkets, large sales stores, etc., as well as various statistical information based on the product to generate the personal information of the customer, based on this to generate the personal statistics information There is an advantage that it can.
  • an asymmetric similar feature (harr-like feature) is used to detect the non-frontal face region, the detection reliability of the face region with respect to the non-frontal face is high, thereby increasing the tracking performance of the face region.
  • FIG. 1 is a block diagram showing a schematic configuration of an apparatus for generating customer identification information for generating customer personal information according to an embodiment of the present invention.
  • Figure 2a is a block diagram showing a first embodiment of the force system of the present invention.
  • Figure 2b is a block diagram showing a second embodiment of the force system of the present invention.
  • Figure 2c is a block diagram showing a third embodiment of the force system of the present invention.
  • Figure 2d is a block diagram showing a fourth embodiment of the force system of the present invention.
  • FIG. 3 is a photograph showing 28 feature points of a face in relation to the generation of customer personal information according to an embodiment of the present invention.
  • Figure 4a is a first picture showing an example screen of the UI module in connection with the generation of customer personal information according to an embodiment of the present invention.
  • Figure 4b is a second picture showing an example screen of the UI module in connection with the generation of customer personal information according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a process of a customer personal information generating method according to an embodiment of the present invention.
  • FIG. 6 is a view showing the basic shape of a conventional Harr-like feaure.
  • FIG. 7 is an exemplary photograph of a harr-like feaure for front face region detection in relation to customer personal information generation according to an embodiment of the present invention.
  • FIG. 8 is a photograph illustrating an example of a harr-like feaure for detecting a non-frontal face region in connection with generating customer personal information according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a newly added rectangular feaure in connection with generating customer personal information according to an embodiment of the present invention.
  • FIG. 10 is an exemplary photograph of a harr-like feaure selected from FIG. 9 for detection of a non-frontal face region in relation to customer personal information generation in accordance with one embodiment of the present invention.
  • FIG. 10 is an exemplary photograph of a harr-like feaure selected from FIG. 9 for detection of a non-frontal face region in relation to customer personal information generation in accordance with one embodiment of the present invention.
  • 11 is a feature probability curve in a training set for a conventional Harr-like feaure and Harr-like feaure applied to the present invention.
  • Figure 13 is a profile picture applied to the conventional ASM method for a low resolution or poor image quality.
  • 15 is a flowchart illustrating a gender estimation process of a method for generating customer personal information according to an embodiment of the present invention.
  • 16 is an exemplary photograph for defining a gender estimation face region in a gender estimation process of a method for generating customer personal information according to an embodiment of the present invention.
  • 17 is a flowchart illustrating an age estimation process of a method for generating customer personal information according to an embodiment of the present invention.
  • 18 is an exemplary photograph for defining an age estimation face region in an age estimation process of a method of generating customer personal information according to an embodiment of the present invention.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a block diagram showing a schematic configuration of an apparatus for generating customer personal information for generating customer personal information according to an embodiment of the present invention.
  • the customer personal information generating apparatus 1000 is installed with a program for generating personal information such as gender and age of a customer in a general computer system having a computing element such as a central processing unit, a system DB, a system memory, and an interface. And by driving it can be seen to implement the customer personal information generating method.
  • the force system of the present embodiment generates the personal information such as the gender and age of the customer from the image extracted from the image input through the image input means provided at one position on the POS terminal side, such as the customer gender, age-specific purchase information, etc. It is a system that can generate various statistics based on human information.
  • FIG. 2A is a block diagram showing a first embodiment of a POS system in which the customer personal information generating device of the present embodiment is implemented.
  • a local operating server 10 implemented in an embedded form in one force terminal 1 is configured and integrally implemented.
  • personal information obtained through the force terminal 1 may be transmitted to the local operating server 10 to be integrated and managed to generate statistical information.
  • 2B is a block diagram showing a second embodiment of the POS system in which the customer personal information generating device of the present embodiment is implemented.
  • the force system of the second embodiment includes a plurality of force terminals 1 and a local operating server 10 connected to each force terminal 1.
  • personal information obtained through each force terminal 1 may be transmitted to the local operating server 10 to be integrated and managed to generate statistical information.
  • 2C is a block diagram showing a third embodiment of the POS system in which the customer personal information generating device of the present embodiment is implemented.
  • a plurality of force terminals 1 provided in each of a plurality of chain stores, a central operating server connected via a network with each force terminal 1 of each chain store 20 is configured to include.
  • the personal information obtained through each force terminal 1 of each chain store is transmitted to the central operating server 20 through a network such as the Internet.
  • the central operation server 20 may generate statistical information by integrally managing human information.
  • FIG. 2D is a block diagram showing a fourth embodiment of the POS system in which the customer personal information generating device of the present embodiment is implemented.
  • the force system of the fourth embodiment includes a force terminal 1 and a local operating server 10, the force terminal 1, or the local operating server 10 respectively provided in a plurality of chain stores. It is configured to include a central operating server 20 connected via a network.
  • the personal information obtained through each force terminal 1 of each chain store is transmitted to the local operating server 10 and managed primarily.
  • personal information and related purchase information transmitted and managed to the local operation server 10 are transmitted to the central operation server 20 through a network such as the Internet.
  • the central operation server 20 may generate statistical information by collectively managing human information for all the chain stores.
  • the POS terminal can be understood to extend to a customer-type terminal of various forms from a broader perspective.
  • a terminal corresponding to a plurality of customers for example, an advertisement display terminal installed in a POS terminal corresponding to a customer's purchase of a product in a retail store, a supermarket, a large sales store, a subway, a bus stop, a building outer wall, and the like to display an advertisement screen. It may be understood to extend to the and the like.
  • the terminal may be extended to a terminal corresponding to a plurality of customers.
  • the content of the advertisement target product that the customer (or the potential customer) is interested in may be statistically generated as the potential purchase information instead of the purchase information.
  • the customer personal information generating device 1000 of the present embodiment includes a face region detection module 110.
  • the face region detection module 110 detects the face region of the customer from an image captured by an image input unit 180 provided at one position of the POS terminal, for example, an image input through a camera. .
  • the detection viewing angle may be all faces in the range of -80 to +80.
  • the image input means 180 may be installed, for example, on one side of the force terminal 1 toward the face of the customer.
  • the image input unit 180 may be a camera capable of capturing a face of a customer located in front of the customer in real time, and more preferably, a digital camera having an image sensor attached thereto.
  • the face region detection module 110 creates a YCbCr color model from the RGB color information of the extracted image.
  • the face region detection module 110 separates color information and brightness information from the created color model.
  • the face region detection module 110 detects a face candidate region based on the brightness information.
  • the face region detection module 110 defines a quadrangular feature point model for the detected face candidate region.
  • the face region detection module 110 performs a function of detecting a face region based on the training material trained by the AdaBoost learning algorithm on the quadrilateral feature point model.
  • the face region detection module 110 performs a function of determining the detected face region as a valid face region when the magnitude of the result value of the AdaBoost exceeds a predetermined threshold value.
  • the function of determining the detected face area as a valid face area when the magnitude of the result value of AdaBoost exceeds a predetermined threshold value is a separate face validity determination module.
  • the 120 may also be configured to function separately from other functions of the face region detection module 110.
  • the customer personal information generating device 1000 of the present embodiment also includes a facial feature detection module 130.
  • the face feature point detection module 130 is determined to be valid in the face area detection module 110 (or, if the face validity determination module 120 is configured separately, is determined to be valid in the validity determination module 120). Facial feature point detection is performed on the areas.
  • the facial feature detection module 130 may detect, for example, 28 facial feature points including a face viewing rotation angle, which can be defined for each position of an eyebrow, an eye, a nose, and a mouth.
  • the feature points (0, 1, 2, 3) defining the face region, the feature points (4, 5, 6, 7, 12, 13, 14, 15), eye points defining eyebrows 22, 23, 24, 25, 26, 27, nose defining points 10, 11, 16, 17, 18, mouth defining points 8, 9, 20, 21, and 19 may be detected as facial feature points.
  • the customer personal information generating device 1000 of the present embodiment also includes a gender estimation module 140.
  • the gender estimating module 140 estimates the gender of the customer using the detected face region.
  • the gender estimating module 140 performs a function of cutting the face region for gender estimation from the detected face region.
  • the gender estimating module 140 normalizes the size of the cropped face region image.
  • the gender estimating module 140 performs a function of normalizing the histogram.
  • the gender estimating module 140 performs a gender estimating function by a support vector machine (SVM) using a normalized image.
  • SVM support vector machine
  • the estimated gender information of the customer may be stored in the gender DB 145.
  • the customer personal information generating device 1000 of the present embodiment also includes an age estimation module 150.
  • the age estimation module 150 estimates the age of the customer by using the detected face region.
  • the age estimating module 150 cuts out an age estimating face region from the detected face region.
  • the age estimation module 150 performs a function of normalizing the size of the cropped face region image.
  • the age estimation module 150 performs a function of performing local illumination correction.
  • the age estimating module 150 constructs an input vector from a normalized image and performs projection on a nine-body space.
  • the age estimation module 150 performs a function of estimating age by using a quadratic regression.
  • the estimated age information of the customer may be stored in the age DB 155.
  • the gender estimating module 140 and the age estimating module 150 may be integrated to form a personal information generating module 145.
  • the customer personal information generating device 1000 of the present embodiment also includes a statistics generating module 160.
  • the statistical generation module 160 is based on the estimated personal information about the gender and age of the customer generated statistical information about at least one of the gender and age of the customer, the time based on the generated human information Performs a function of generating any one of the statistical information of the customer personnel information for each unit.
  • the customer personal information generating apparatus 1000 of the present embodiment also displays the setting (FIG. 4A) of the image input means 180 provided on one side of the POS terminal 1, the estimated age / gender result, and the like. 4B) is provided with a UI (User Interface) module 170 to enable.
  • UI User Interface
  • the UI module 170 further includes image capturing means 171, face information viewing means 172, personnel statistics viewing means 173, gender statistics viewing means 174, and age statistics viewing means 175. do.
  • the image capturing means 171 captures an image from an image input through the image input means 180.
  • the face information viewing unit 172 may be a display screen that graphically shows a face of a customer detected through the image input unit 180.
  • the user may check the face of the customer detected through the face information viewing means 172 on the screen to check whether the estimated gender or age is correct.
  • the person statistics viewing unit 173 may check statistical information about the customer person information for each time zone based on the generated personal information.
  • the gender statistics viewing unit 174 may check statistical information based on human information about the estimated gender of the customer.
  • the statistical information may be statistical information based on gender information of a customer such as information on gender preference of a specific product.
  • the age statistics viewing unit 175 may check statistical information based on human information about the estimated age of the customer.
  • the statistical information may be statistical information on which age information of a customer is based, such as information on an age-specific preference of a specific product.
  • the customer personal information generating apparatus 1000 of the present embodiment the face area detection module 110, face validity determination module 120, face feature detection module 130, gender estimation module 140 as described above , Age estimation module 150, statistics generation module 160, UI (User Interface) module 170, the image capturing means 171, face information viewing means 172, personnel statistics viewing means 173, gender statistics And a control module 100 for performing overall control of the viewing means 174, the age statistics viewing means 175, the image input means 180, and the purchase information input means 190.
  • UI User Interface
  • reference numeral 190 is a purchase information input means, for example, may be configured as a barcode reader, it may be directly connected to each server (10, 20) or may be connected through a force terminal.
  • FIG. 5 is a flowchart illustrating a process of a customer personal information generating method according to an embodiment of the present invention.
  • the customer personal information generating method starts from the start step (S10) of the generation process, the image capture step (S20), the face area detection step (S30), the face validity determination step (S40)
  • the facial feature detection step (S50), the gender estimation step (S60), the age estimation step (S70) and the result output step (S80) is made to end step (S90).
  • gender information estimated in the gender estimating step S60 may be stored in the gender DB S60 '.
  • Age information estimated in the age estimation step (S70) may be stored in the age DB (S70 ').
  • the image is captured in the image of the customer input through the image input means.
  • Image capture in the image input through the image input means for example, by using a sample grabber (SampleGrabber) of DirectX can be achieved by capturing an image from the image input through the image input means, a preferred example
  • the media type (MediaType) of the sample grabber can be set to RGB24.
  • a video converter filter is automatically attached to the front of the sample grabber filter so that the image captured by the sample grabber finally becomes RGB24.
  • mt.formattype FORMAT_VideoInfo
  • mt.majortype MEDIATYPE_Video
  • mt.subtype MEDIASUBTYPE_RGB24; // only accept 24-bit bitmaps
  • the face region of the customer is detected from an image captured and extracted from an image input through an image input means provided at one position on the POS terminal side.
  • a method for face detection for example, a knowledge-based method, a feature-based method, a template-matching method, an appearance-based method, and the like.
  • an appearance-based method is used.
  • the appearance-based method is a method of acquiring a face region and a non-face region from different images, learning the acquired regions to make a learning model, and comparing the input image and the learning model data to detect a face.
  • the appearance-based method is known as a relatively high performance method for front and side face detection.
  • a YCbCr color model is generated from the RGB color information of the extracted image, color information and brightness information are separated from the generated color model, and the face candidate area is determined by the brightness information. Detecting; (a2) defining a quadrilateral feature point model for the detected face candidate region, and detecting a face region based on learning data trained by the AdaBoost learning algorithm on the quadrilateral feature point model; And (a3) determining the detected face area as a valid face area when the size of the result value of AdaBoost (CF H (x) of Equation 1) exceeds a predetermined threshold value. do.
  • ⁇ A value used to finely adjust the error judgment rate of the strong classifier.
  • the AdaBoost learning algorithm is known as an algorithm that generates a strong classifier with high detection performance through linear combination of weak classifiers.
  • frontal face images the structural features unique to the face, such as eyes, nose and mouth, are evenly distributed throughout the image and are symmetrical.
  • the background area is mixed because it is not symmetrical and is concentrated in a narrow range and the face outline is not a straight line.
  • a new Haar- like feature similar to the existing Haar-like features but with asymmetry is added. Includes more like features.
  • Figure 6 is a basic form of the existing Harr-like feaure
  • Figure 7 is an exemplary photograph of Haar-like features selected for front face area detection according to an embodiment of the present invention
  • Figure 8 is a non-frontal face An example photograph of Haar-like features selected for area detection.
  • FIG. 9 shows a rectangular Haar-Like feature newly added by the present embodiment
  • FIG. 10 shows an example of Haar-Like features selected for non-face detection among the Haar-Like features of FIG. 9. have.
  • the Haar-Like feature of the present embodiment has an asymmetric shape, structure, and shape as shown in FIG. 12, and thus reflects the structural characteristics of the non-facial face. Excellent detection effect on the face.
  • FIG. 11 is a Haar-Like feature probability curve in a training set for a conventional Harr-like feaure and a Harr-like feaure applied to this embodiment.
  • A) is the present case
  • b) is the existing case
  • the probability curve corresponding to the case of the present embodiment is concentrated in a narrower range.
  • Haar-Like features added in this embodiment are effective in the face detection in view of the base classification rule.
  • FIG. 12 shows the variances and probability values of Kurtosis of the probability curves of newly added Haar-Like features and existing Haar-Like features in the training set of the non-facial face.
  • the har-like feature for detecting the face area further includes an asymmetric har-like feature for detecting the non-frontal face area. do.
  • the validity of the detected face is determined by comparing the magnitude of the result value of AdaBoost (CF H (x) of Equation 1) with a predetermined threshold value.
  • Equation 1 the size of CF H (x) can be used as an important factor for determining the validity of the face.
  • This value CF H (x) is a measure of how close the detected area is to the face and can be used to determine the validity of the face by setting a predetermined threshold value.
  • the predetermined threshold value may be empirically set using the learning face group.
  • the facial feature point is detected in the detected face region.
  • the facial feature detection step S50 is performed by searching for landmarks of an active shape model (ASM) method, and proceeds by using the AdaBoost algorithm to detect facial features.
  • ASM active shape model
  • the detection of the facial feature point (b1) defines the position of the current feature point as (x l , y l ), and all possible partial windows of n * n pixel size in the vicinity of the current feature point position. Classifying them into a classifier; (b2) calculating candidate positions of the feature points according to Equation 2 below; And (b3) setting (x ' l , y' l ) as a new feature point if the condition of Equation 3 is satisfied, and maintaining the position (x l , y l ) of the current feature point if not satisfied. It is configured to include.
  • N pass the number of steps through which the partial window has passed
  • a method for detecting a feature point of a face there are, for example, a method of individually detecting feature points and a method of simultaneously detecting a feature point in correlation.
  • this embodiment uses the Active Shape Model (ASM) method, which is a preferable method for face feature detection in terms of speed and accuracy. I use it.
  • ASM Active Shape Model
  • the feature point search of the existing ASM is a method using a profile at the feature point, detection is stable only in high quality images.
  • an image extracted from an image input through an image input means such as a camera may be obtained as a low resolution and low quality image.
  • the image is improved by searching for a feature point by the AdaBoost method. Feature points can be easily detected in an image.
  • FIG. 13 is a profile picture applied to an existing ASM method for an image having a low resolution or poor image quality.
  • FIG. 14 is a pattern picture around each mark point used in Adaboost for mark point search of the present invention.
  • facial feature points that can be defined for each position of an eyebrow, an eye, a nose, and a mouth may be detected. .
  • the feature points (0, 1, 2, 3) defining the face area, the feature points (4, 5, 6, 7, 12, 13, 14, 15) defining the eye, the feature points (22, 23, 24, 25, 26, 27), the feature points defining the nose (10, 11, 16, 17, 18) and the feature points defining the mouth (8, 9, 20, 21, 19) can be detected as facial feature points. have.
  • an image and facial feature point input S61
  • a gender estimation face area cropping S62
  • a cut out face area image size normalization S63
  • a histogram normalization S64
  • a method for sex estimation there are, for example, a view-based method using all of a human face and a geometric feature-based method using only geometric features of a face.
  • the gender estimation is performed by a view-based gender classification method using SVM (Support Vector Machine) learning to normalize the detected face region to form a facial feature vector and predict the gender therewith.
  • SVM Small Vector Machine
  • the SVM method may be classified into a support vector classifier (SVC) and a support vector regression (SVR).
  • SVC support vector classifier
  • SVR support vector regression
  • the sex estimating step (S60) specifically includes (c-a1) cutting out a face estimation region for gender estimation from the detected face region based on the detected face feature points; (c-a2) normalizing the size of the cut face sex estimation region; (c-a3) normalizing the histogram of the face region for gender estimation where the size is normalized; And (c-a4) constructing an input vector from the face region for gender estimation where the size and histogram are normalized, and estimating gender using a pre-learned SVM algorithm.
  • the face region is cut out using the input image and the facial feature point. For example, as shown in FIG. 16, half of the distance between the left and right eyes is reported as 1. Calculate the area of the face you want to crop.
  • the cut-out face region is normalized to 12 * 21 size.
  • step (c-a3) in order to minimize the effect of the illumination effect, histogram normalization is performed, in which the histogram is the same number of pixels having each density value.
  • a 252-dimensional input vector is constructed from a normalized 12 * 21 face image, and sex is estimated using a pre-trained SVM.
  • the gender is estimated as a male or a female if the calculated result of the classifier of Equation 4 is greater than zero.
  • y i The sex value of the i th test data, which is 1 for male and -1 for female.
  • the kernel function may use a Gaussian Radial Basis Function (GRBF) defined in Equation 5 below.
  • GRBF Gaussian Radial Basis Function
  • the kernel function may be a polynomial kernel in addition to a Gaussian Radial Basis Function (GRBF), and preferably a Gaussian Radial Basis Function (GRBF) in consideration of identification performance.
  • GRBF Gaussian Radial Basis Function
  • the SVM Small Vector Machine
  • the SVM is a classification method that derives the boundary of two groups in a group having two groups and is known as a learning algorithm for pattern classification and regression.
  • the basic learning principle of SVMs is to find an optimal linear hyperplane with minimal predictive classification errors for invisible test samples, that is, with good generalization performance.
  • the linear SVM uses a taxonomic method to find the linear function with the least order.
  • Equation 2 In order to determine the learning result uniquely, the following Equation 2 is restricted.
  • Equation 3 the minimum distance between the learning sample and the hyperplane is represented by the following Equation 3, so it is necessarily as shown in the following Equation 4.
  • Equation 5 Since w and b must be determined to maximize the minimum distance while fully identifying the learning sample, w and b are formulated as shown in Equation 5 below.
  • Equation 4 Minimizing the objective function maximizes the value of Equation 4, which is the minimum distance.
  • Equation 7 the constraint is shown in Equation 7 below.
  • K (x, x ') is a nonlinear kernel function
  • Adaboost method may be used in the above process, considering the performance and generalization performance of the classifier, it is more preferable to use the SVM method.
  • the performance is 10-15% lower than when tested by the SVM method.
  • an image and facial feature point input S71
  • an age estimation face area cropping S72
  • a cut out face area image size normalization S73
  • local illumination correction S74
  • the estimation of the age may specifically include: (c-b1) cutting out an age estimation face area from the detected face area based on the detected facial feature point; (c-b2) normalizing the size of the cut age estimation face region; (c-b3) performing local illumination correction on the age estimation face region where the size is normalized; (c-b4) constructing an input vector from the size normalized and locally-illuminated age estimation face region and generating a feature vector by projecting into a nine-body space; And (c-b5) estimating age by applying quadratic regression to the generated feature vectors.
  • step (c-b1) the face region is cut out using the input image and the facial feature point.
  • the face region is cut out from the binocular and the entrance point to the upper (0.8), the lower (0.2), the left (0.1), and the right (0.1), respectively.
  • the cut-out face region is normalized to 64 * 64 size.
  • step (c-b3) in order to reduce the influence of the lighting effect, local illumination correction is performed by the following equation (6).
  • I (x, y) (I (x, y) -M) / V * 10 + 127
  • the standard dispersion value (V) is a characteristic value representing the degree to which a certain amount of coincidence is scattered around the average value, and mathematically, the standard dispersion V is calculated as in Equation (9).
  • a 4096-dimensional input vector is constructed from a 64 * 64 face image, and a 50-dimensional feature vector is generated by projecting into a pre-learned manifold space.
  • the age estimation theory assumes that the characteristics of the human aging process reflected in the face image can be expressed in patterns according to any low dimensional distribution.
  • X is an input vector
  • Y is a feature vector
  • P is a projection matrix to Nida body trained using CEA.
  • X is an m ⁇ n matrix and x i represents every face image.
  • the manifold learning step is to obtain a projection matrix for representing the m-dimensional face vector as a d-dimensional face vector (aging feature vector), where d < m (d is much smaller than m).
  • the image order m is much larger than the number n of images.
  • m ⁇ m matrix XX T is a degenerate matrix.
  • C pca is an m ⁇ m matrix.
  • d matrix of eigenvectors are selected in order of eigenvalues to form matrix W PCA .
  • W PCA is an m ⁇ d matrix.
  • Ws denotes a relationship between face images belonging to the same age group and Wd denotes a relationship between face images belonging to different groups.
  • Dist (X i , X j ) is the same as Ref. 12 below.
  • the eigenvectors corresponding to the d largest eigenvalues of become CEA basis vectors.
  • W CEA is the m ⁇ d matrix.
  • the projective matrix P mat is defined as in Equation 15 below.
  • the projection matrix P mat is used to obtain aging characteristics for each face vector X.
  • step (c-b5) to estimate the age by applying the second regression is made by the following equation (7).
  • b o , b 1 , and b 2 are precomputed from the learning material as follows:
  • Equation 17 The second regression model is shown in Equation 17 below.
  • Is the age of the i-th learning image Is the feature vector of the i-th learning image.
  • N is the number of learning materials.
  • the sex information of the customer estimated by the above-described process is output to the gender DB and stored, and the age information of the customer is output to the age DB and stored.
  • the estimated gender information and age information may be output to the statistics generating module to generate statistics in real time.
  • Embodiments of the present invention include a computer readable recording medium including program instructions for performing various computer-implemented operations.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the recording medium may be one specially designed and configured for the present invention, or may be known and available to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks, and ROM, RAM, flash memory, and the like. Hardware devices specifically configured to store and execute the same program instructions are included.
  • the recording medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, or the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Geometry (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템에 관한 것으로서, 포스 단말과 일체 또는 네트워크 연결된 서버로 구성된 포스 시스템을 위한 고객 인적정보 생성방법으로서, (a) 상기 포스 단말 측의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 상기 고객의 얼굴영역을 검출하는 단계; (b) 상기 검출된 얼굴영역에서 얼굴특징점을 검출하는 단계; 및 (c) 상기 검출된 얼굴영역 및 상기 검출된 얼굴특징점을 이용하여 상기 고객의 성별 및 나이 중 적어도 하나의 정보를 추정하여 인적정보를 생성하는 단계;를 포함하여 구성된다.

Description

고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템
본 발명은 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템에 관한 것이다.
더욱 상세하게는, 포스 단말 측의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 고객 얼굴 내의 얼굴특징점을 검출하고, 이러한 얼굴특징점을 이용하여 고객의 성별과 나이와 같은 인적정보를 생성함에 따라 고객 성별, 연령별 구매정보 등과 같이 고객의 인적정보가 바탕이 되는 각종 통계를 생성할 수 있도록 하기 위한 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템에 관한 것이다.
일반적으로, 포스 단말(pos terminal)은 시스템용 단말 또는 매장 전용 단말로서, 소매점, 슈퍼마켓, 대형 판매 매장 등에서 판매 시점의 상품명이나 가격 등에 관한 데이터를 수집, 기억, 전송하는 장치를 의미한다.
이러한 포스 단말은 매상금액을 정산해 줄 뿐만 아니라 동시에 소매경영에 필요한 각종정보와 자료를 수집·처리해 주기 때문에 이마트, 홈플러스 등과 같은 대부분의 대형 판매 매장에서 주로 사용되고 있다.
상술한 바와 같은 포스 단말은 바코드 자동판독장치인 바코드 리더기가 구비되어 있다.
이러한 바코드 리더기가 제품포장지에 표시된 바코드를 읽게 되면 해당 상품의 각종 정보가 자동적으로 출력된다.
포스 단말을 사용하면 대형 판매 매장에서 판매되는 제품의 판매흐름을 단위 품목별로 파악할 수 있다.
또한, 포스 단말을 사용하면 신제품과 판촉제품의 판매경향과 시간대, 매출부진 상품, 유사품이나 경쟁제품과의 판매경향 등과 같은 정보를 세부적으로 파악할 수 있다.
또한, 포스 단말을 사용하면 판매가격과 판매량과의 상관관계, 주요공략 대상, 광고계획 등의 마케팅 전략을 효과적으로 수립할 수 있다.
그러나, 종래의 포스 단말은 제품포장지에 표시된 바코드를 기준으로 정보를 파악하므로, 제품을 기준으로 하는 각종 통계정보의 생성을 위해 활용이 가능하지만, 고객의 나이, 성별 등과 같은 고객의 인적정보를 바탕으로 하는 각종 통계정보의 생성을 위해서는 활용할 수 없었다.
즉, 종래의 포스 단말은 특정 제품의 나이별 선호도에 대한 정보, 특정 제품의 성별 선호도에 대한 정보 등과 같이 고객의 인적정보가 바탕이 되는 정보를 생성을 위해 활용할 수 없었다.
따라서, 제품을 기준으로 하는 각종 정보 이외에 고객을 기준으로 하여 인적정보가 바탕이 되는 정보의 생성하여 다양한 통계정보를 생성하기 위한 포스 단말 관련기술이 요구된다.
상기 종래 기술에 따른 문제점을 해결하기 위한 본 발명의 목적은, 포스 단말 측의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 고객 얼굴 내의 얼굴특징점을 검출하고, 이러한 얼굴특징점을 이용하여 고객의 성별과 나이와 같은 인적정보를 생성함에 따라 고객 성별, 연령별 구매정보 등과 같이 고객의 인적정보가 바탕이 되는 각종 통계를 생성할 수 있도록 하기 위한 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일실시예는, 포스 단말과 일체 또는 네트워크 연결된 서버로 구성된 포스 시스템을 위한 고객 인적정보 생성방법으로서, (a) 상기 포스 단말 측의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 상기 고객의 얼굴영역을 검출하는 단계; (b) 상기 검출된 얼굴영역에서 얼굴특징점을 검출하는 단계; 및 (c) 상기 검출된 얼굴영역 및 상기 검출된 얼굴특징점을 이용하여 상기 고객의 성별 및 나이 중 적어도 하나의 정보를 추정하여 인적정보를 생성하는 단계;를 포함하여 구성된다.
본 발명의 다른 측면에 따르면, 고객 인적정보 생성방법의 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 고객 인적정보 생성방법을 이용하는 포스 시스템이 제공된다.
본 발명의 다른 측면에 따른 일실시예는, 포스 단말과 일체 또는 네트워크 연결된 서버로 구성된 포스 시스템을 위한 고객 인적정보 생성장치로서, 포스 단말 측의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 상기 고객의 얼굴영역을 검출하는 얼굴영역 검출모듈; 상기 검출된 얼굴영역에서 얼굴특징점을 검출하는 얼굴특징점 검출모듈; 및 상기 검출된 얼굴영역 및 상기 검출된 얼굴특징점을 이용하여 상기 고객의 성별 및 나이 중 적어도 하나의 정보를 추정하여 인적정보를 생성하는 인적정보 생성모듈;을 포함하여 구성된다.
본 발명의 다른 측면에 따른 일실시예는, 고객 응대형 단말과 일체 또는 네트워크 연결된 서버로 구성된 고객 관리 시스템을 위한 고객 인적정보 생성방법으로서, 고객 응대형 단말의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 상기 고객의 얼굴특징을 검출하여 성별 및 나이 중 적어도 어느 하나에 관한 고객의 인적정보를 생성한다.
본 발명의 다른 측면에 따른 일실시예는, 고객 응대형 단말과 일체 또는 네트워크 연결된 서버로 구성된 고객 관리 시스템을 위한 고객 인적정보 생성장치로서, 고객 응대형 단말의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 상기 고객의 얼굴특징을 검출하여 성별 및 나이 중 적어도 어느 하나에 관한 고객의 인적정보를 생성한다.
상술한 바와 같은 본 발명은, 소매점, 슈퍼마켓, 대형 판매 매장 등에 설치된 포스 단말을 이용하여 제품을 기준으로 하는 각종 통계정보뿐만 아니라 고객의 인적정보를 생성하고, 이를 바탕으로 하는 인적통계정보를 생성할 수 있다는 이점이 있다.
또한, 하나의 영상입력수단(예를 들어, 카메라)만으로 고객의 성별, 나이에 관한 인적정보를 추정하여 생성할 수 있다는 이점이 있다.
또한, 검출된 얼굴영역이 유효한지 여부를 판정하고, 유효하다고 판정된 얼굴영역에 대해서 얼굴특징점을 검출하므로, 얼굴특징점의 검출 신뢰도가 높아 얼굴영역의 추적성능이 높아진다는 이점이 있다.
또한, 비정면 얼굴영역을 검출하기 위해 비대칭성의 하 라이크 피쳐(harr-like feature)를 이용하므로, 비정면 얼굴에 대한 얼굴영역의 검출 신뢰도가 높아 얼굴영역의 추적성능이 높아진다는 이점이 있다.
또한, 포스 단말 이외의 광고표시 단말 등에 적용함에 따라 폭넓은 고객에 대한 인적정보를 광범위하게 생성할 수 있다는 이점이 있다.
도 1은 본 발명의 일실시예에 따른 고객 인적정보 생성을 위한 고객 인정정보 생성장치의 개략적인 구성을 도시한 구성도.
도 2a는 본 발명의 포스 시스템의 제1실시예를 도시한 구성도.
도 2b는 본 발명의 포스 시스템의 제2실시예를 도시한 구성도.
도 2c는 본 발명의 포스 시스템의 제3실시예를 도시한 구성도.
도 2d는 본 발명의 포스 시스템의 제4실시예를 도시한 구성도.
도 3은 본 발명의 일실시예에 따른 고객 인적정보 생성과 관련하여, 얼굴의 28개 특징점을 표시한 사진.
도 4a는 본 발명의 일실시예에 따른 고객 인적정보 생성과 관련하여, UI모듈의 예시화면을 보여주는 제1사진.
도 4b는 본 발명의 일실시예에 따른 고객 인적정보 생성과 관련하여, UI모듈의 예시화면을 보여주는 제2사진.
도 5는 본 발명의 일실시예에 따른 고객 인적정보 생성방법의 과정을 도시한 순서도.
도 6은 기존의 Harr-like feaure의 기본 형태를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 고객 인적정보 생성과 관련하여, 정면 얼굴 영역 검출을 위한 Harr-like feaure의 예시 사진.
도 8은 본 발명의 일실시예에 따른 고객 인적정보 생성과 관련하여,비정면 얼굴 영역 검출을 위한 Harr-like feaure의 예시 사진.
도 9는 본 발명의 일실시예에 따른 고객 인적정보 생성과 관련하여, 새롭게 추가된 직4각 feaure를 도시한 도면.
도 10은 본 발명의 일실시예에 따른 고객 인적정보 생성과 관련하여,비정면 얼굴 영역 검출을 위해 도 9에서 선택된 Harr-like feaure의 예시 사진.
도 11은 기존의 Harr-like feaure와 본 발명에 적용된 Harr-like feaure에 대한 Training Set에서의 feature 확률곡선.
도 12는 비정면얼굴의 Training Set에서 새로 추가한 특징들과 기존 Harr-like feaure의 확률곡선의 분산과 Kurtosis의 평균값을 도시한 표.
도 13은 해상도가 낮거나 화질이 나쁜 화상에 대해 기존 ASM방법에 적용된 프로필사진.
도 14는 본 발명의 표식점탐색을 위한 Adaboost에 이용되는 각 표식점주변의 패턴사진.
도 15는 본 발명의 일실시예에 따른 고객 인적정보 생성방법의 성별 추정과정을 도시한 순서도.
도 16은 본 발명의 일실시예에 따른 고객 인적정보 생성방법의 성별 추정과정에서 성별추정용 얼굴영역을 정의하기 위한 예시사진.
도 17은 본 발명의 일실시예에 따른 고객 인적정보 생성방법의 나이 추정과정을 도시한 순서도.
도 18은 본 발명의 일실시예에 따른 고객 인적정보 생성방법의 나이 추정과정에서 나이추정용 얼굴영역을 정의하기 위한 예시사진.
본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다.
따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안된다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이다.
그러므로, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일실시예에 따른 고객 인적정보 생성을 위한 고객 인적정보 생성장치의 개략적인 구성을 도시한 구성도이다.
본 실시예의 고객 인적정보 생성장치(1000)는 중앙처리유닛, 시스템 DB, 시스템 메모리, 인터페이스 등의 컴퓨팅 요소를 구비한 통상의 컴퓨터 시스템에 고객의 성별과 나이와 같은 인적정보를 생성하는 프로그램의 설치 및 구동에 의해 고객 인적정보 생성방법을 구현하는 것으로 볼 수 있다.
이러한 컴퓨터 시스템으로서는, 후술하는 다양한 형태의 로컬 운영 서버 또는 중앙 운영 서버가 사용될 수 있다.
이러한 컴퓨터 시스템의 통상적 구성에 대한 설명은 생략하며, 이하에서는 본 발명의 실시예의 설명에 필요한 기능 관점의 구성을 중심으로 설명한다.
이하 상술한 바와 같은 본 실시예의 고객 인적정보 생성장치(1000)가 구현된 포스 시스템에 대하여 설명하도록 한다.
본 실시예의 포스 시스템은, 포스 단말 측의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 고객의 성별과 나이와 같은 인적정보를 생성함에 따라 고객 성별, 연령별 구매정보 등과 같이 고객의 인적정보가 바탕이 되는 각종 통계를 생성할 수 있는 시스템이다.
도 2a는 본 실시예의 고객 인적정보 생성장치가 구현된 포스 시스템의 제1실시예를 도시한 구성도이다.
제1실시예의 포스 시스템의 경우, 하나의 포스 단말(1)에 임베디드 형태로 구현된 로컬 운영 서버(10)가 구성되어 일체로 구현된다.
제1실시예의 포스 시스템의 경우, 포스 단말(1)을 통해 얻은 인적 정보가 상기 로컬 운영 서버(10)로 전송되어 통합적으로 관리하여 통계정보를 생성할 수 있다.
도 2b는 본 실시예의 고객 인적정보 생성장치가 구현된 포스 시스템의 제2실시예를 도시한 구성도이다.
도 2b에 도시된 바와 같이, 제2실시예의 포스 시스템은, 복수의 포스 단말(1), 각 포스 단말(1)과 연결된 로컬 운영 서버(10)를 포함하여 구성된다.
제2실시예의 포스 시스템의 경우, 각 포스 단말(1)을 통해 얻은 인적 정보가 상기 로컬 운영 서버(10)로 전송되어 통합적으로 관리하여 통계정보를 생성할 수 있다.
도 2c는 본 실시예의 고객 인적정보 생성장치가 구현된 포스 시스템의 제3실시예를 도시한 구성도이다.
한편, 도 2c에 도시된 바와 같이, 제3실시예의 포스 시스템은, 복수의 체인점에 각각 구비된 복수의 포스 단말(1), 각 체인점의 각 포스 단말(1)과 네트워크를 통해 연결된 중앙 운영 서버(20)를 포함하여 구성된다.
제3실시예의 포스 시스템의 경우, 각 체인점의 각 포스 단말(1)을 통해 얻은 인적 정보가 인터넷 등의 네트워크를 통해 중앙 운영 서버(20)로 전송된다.
이에 따라, 상기 중앙 운영 서버(20)가 통합적으로 인적 정보를 관리하여 통계정보를 생성할 수 있다.
도 2d는 본 실시예의 고객 인적정보 생성장치가 구현된 포스 시스템의 제4실시예를 도시한 구성도이다.
도 2d에 도시된 바와 같이, 제4실시예의 포스 시스템은, 복수의 체인점에 각각 구비된 포스 단말(1) 및 로컬 운영 서버(10), 상기 포스 단말(1) 또는 상기 로컬 운영 서버(10)에 네트워크를 통해 연결된 중앙 운영 서버(20)를 포함하여 구성된다.
제4실시예의 포스 시스템의 경우, 각 체인점의 각 포스 단말(1)을 통해 얻은 인적 정보가 상기 로컬 운영 서버(10)로 전송되어 1차적으로 관리된다.
또한, 상기 로컬 운영 서버(10)로 전송되어 관리되는 인적 정보 및 관련 구매 정보가 인터넷 등의 네트워크를 통해 중앙 운영 서버(20)로 전송된다.
따라서, 상기 중앙 운영 서버(20)가 전체 체인점에 대하여 통합적으로 인적 정보를 관리하여 통계정보를 생성할 수 있다.
한편, 상기 포스 단말은 좀더 넓은 관점에서 다양한 형태의 고객 대응형 단말로 확장하여 이해될 수 있다.
즉, 다수의 고객과 대응하는 단말, 예를 들어, 소매점, 슈퍼마켓, 대형 판매 매장 등에서 고객의 제품 구매에 대응하는 포스 단말이나 지하철, 버스정류장, 건물외벽 등에 설치되어 광고화면을 디스플레이하는 광고표시 단말 등으로 확장하여 이해될 수도 있다.
이러한 포스 단말, 광고표시 단말 이외에도 다수의 고객과 대응하는 단말로 확장하여 정의될 수 있다.
이때, 광고표시 단말의 경우, 예를 들어, 구매 정보 대신 고객(또는 잠재고객)이 관심을 갖는 광고 대상 제품의 내용을 잠재 구매 정보로서 통계 생성할 수 있다.
이하 상술한 바와 같은 포스 시스템에 구현되는 고객 인적정보 생성장치에 대하여 상세하게 설명하도록 한다.
본 실시예의 고객 인적정보 생성장치(1000)는 얼굴영역 검출모듈(110)을 구비한다.
상기 얼굴영역 검출모듈(110)은, 상기 포스 단말 측의 일 위치에 구비된 영상입력수단(180), 예를 들어, 카메라를 통해 입력되는 영상에서 캡쳐한 이미지로부터 상기 고객의 얼굴영역을 검출한다.
이때, 검출 보기각도는 -80 ~ +80 범위의 모든 얼굴들이 될 수 있다.
상기 영상입력수단(180)은, 예를 들어, 포스단말(1)의 일측에 고객의 얼굴을 향하여 설치될 수 있다.
상기 영상입력수단(180)은, 실시간으로 전방에 위치한 고객의 얼굴을 동영상으로 촬영할 수 있는 카메라, 더욱 바람직하게는, 이미지센서가 부착된 디지털 카메라가 될 수 있다.
본 실시예의 영상입력수단(180)은 하나만 구비되어도 후술하는 인적정보 생성을 할 수 있다.
상기 얼굴영역 검출모듈(110)은, 상기 추출된 이미지의 RGB 색 정보로부터 YCbCr 색 모델을 작성한다.
상기 얼굴영역 검출모듈(110)은, 작성된 색 모델에서 색 정보와 밝기 정보를 분리한다.
상기 얼굴영역 검출모듈(110)은, 상기 밝기 정보에 의하여 얼굴후보영역을 검출하는 기능을 수행한다.
상기 얼굴영역 검출모듈(110)은, 상기 검출된 얼굴후보영역에 대한 4각 특징점 모델을 정의한다.
상기 얼굴영역 검출모듈(110)은, 상기 4각 특징점 모델을 AdaBoost 학습 알고리즘에 의하여 학습시킨 학습자료에 기초하여 얼굴영역을 검출하는 기능을 수행한다.
상기 얼굴영역 검출모듈(110)은, 상기 AdaBoost의 결과값의 크기가 소정임계값을 초과하는 경우에 상기 검출된 얼굴영역을 유효한 얼굴영역으로 판정하는 기능을 수행한다.
한편, 상기 얼굴영역 검출모듈(110)의 기능 중에서, AdaBoost의 결과값의 크기가 소정임계값을 초과하는 경우에 상기 검출된 얼굴영역을 유효한 얼굴영역으로 판정하는 기능은, 별도의 얼굴유효성 판정모듈(120)을 구성하여 상기 얼굴영역 검출모듈(110)의 다른 기능과 별도로 기능할 수도 있음은 물론이다.
본 실시예의 고객 인적정보 생성장치(1000)는 또한, 얼굴특징점 검출모듈(130)을 구비한다.
상기 얼굴특징점 검출모듈(130)은, 상기 얼굴영역 검출모듈(110)에서 유효하다고 판단(또는, 얼굴유효성 판정모듈(120)이 별도 구성된 경우에는 유효성 판정모듈(120)에서 유효하다고 판단)된 얼굴영역들에 대하여 얼굴특징점 검출을 진행한다.
상기 얼굴특징점 검출모듈(130)은, 얼굴 보기회전각도를 포함한, 예를 들어, 눈썹, 눈, 코, 입의 각 위치에 대한 정의가 가능한 28개의 얼굴특징점을 검출할 수 있다.
본 실시예에서, 바람직하게, 도 3에 도시된 바와 같이, 얼굴영역을 정의하는 특징점(0, 1, 2, 3), 눈을 정의하는 특징점(4, 5, 6 ,7, 12, 13, 14, 15), 눈썹을 정의하는 특징점(22, 23, 24, 25, 26, 27), 코를 정의하는 특징점(10, 11, 16, 17, 18), 입을 정의하는 특징점(8, 9, 20, 21, 19)을 얼굴특징점으로 검출할 수 있다.
본 실시예의 고객 인적정보 생성장치(1000)는 또한, 성별 추정모듈(140)을 구비한다.
상기 성별 추정모듈(140)은 상기 검출된 얼굴영역을 이용하여 상기 고객의 성별을 추정한다.
상기 성별 추정모듈(140)은 상기 검출된 얼굴영역에서 성별 추정용 얼굴영역을 잘라내는 기능을 수행한다.
상기 성별 추정모듈(140)은 잘라낸 얼굴영역 이미지의 크기를 정규화하는 기능을 수행한다.
상기 성별 추정모듈(140)은 히스토그램을 정규화하는 기능을 수행한다.
상기 성별 추정모듈(140)은 정규화된 이미지를 이용하여 SVM(Support Vector Machine)에 의한 성별추정 기능을 수행한다.
추정된 고객의 성별정보는 성별 DB(145)에 저장될 수 있다.
본 실시예의 고객 인적정보 생성장치(1000)는 또한, 나이 추정모듈(150)을 구비한다.
상기 나이 추정모듈(150)은 상기 검출된 얼굴영역을 이용하여 상기 고객의 나이를 추정한다.
상기 나이 추정모듈(150)은 상기 검출된 얼굴영역에서 나이 추정용 얼굴영역을 잘라내는 기능을 수행한다.
상기 나이 추정모듈(150)은 잘라낸 얼굴영역 이미지의 크기를 정규화하는 기능을 수행한다.
상기 나이 추정모듈(150)은 국부적 조명보정을 하는 기능을 수행한다.
상기 나이 추정모듈(150)은 정규화된 이미지로부터 입력벡터를 구성하고 나이다양체 공간으로 사영하는 기능을 수행한다.
상기 나이 추정모듈(150)은 2차 회귀를 이용하여 나이를 추정하는 기능을 수행한다.
추정된 고객의 나이정보는 나이 DB(155)에 저장될 수 있다.
한편, 상기 성별 추정모듈(140)과 상기 나이 추정모듈(150)이 통합되어 인적정보 생성모듈(145)이 구성될 수 있다.
본 실시예의 고객 인적정보 생성장치(1000)는 또한, 통계 생성모듈(160)을 구비한다.
상기 통계 생성모듈(160)은 상기 추정되어 생성된 고객의 성별, 나이에 관한 인적정보에 근거하여 상기 고객의 성별 및 나이 중 적어도 하나의 정보에 관한 통계정보, 상기 생성된 인적정보에 근거하여 시간대별 고객 인원정보에 관한 통계정보 중 어느 하나의 통계정보를 생성하는 기능을 수행한다.
본 실시예의 고객 인적정보 생성장치(1000)는 또한, 상기 포스 단말(1)의 일측에 구비된 영상입력수단(180)의 설정(도 4a), 추정하여 생성된 나이/성별 결과 등을 디스플레이(도 4b)할 수 있도록 하는 UI(User Interface) 모듈(170)을 구비한다.
한편, 상기 UI 모듈(170)은 영상캡쳐수단(171), 얼굴정보 보기수단(172), 인원통계 보기수단(173), 성별통계 보기수단(174), 연령통계 보기수단(175)을 더 포함한다.
상기 영상캡쳐수단(171)은 영상입력수단(180)을 통해 입력되는 영상에서 이미지를 캡쳐한다.
상기 얼굴정보 보기수단(172)은 상기 영상입력수단(180)을 통해 검출된 고객의 얼굴을 그래픽적으로 보여주는 디스플레이 화면이 될 수 있다.
사용자는 상기 얼굴정보 보기수단(172)을 통해 검출된 고객의 얼굴을 화면으로 확인하여 추정된 성별이나 나이가 정확한지를 확인할 수 있다.
상기 인원통계 보기수단(173)은 상기 생성된 인적정보에 근거하여 시간대별 고객 인원정보에 관한 통계정보를 확인할 수 있다.
상기 성별통계 보기수단(174)은 상기 추정된 고객의 성별에 관한 인적정보에 근거한 통계정보를 확인할 수 있다.
예를 들어, 상기 통계정보는 특정 제품의 성별 선호도에 대한 정보 등과 같이 고객의 성별정보가 바탕이 되는 통계정보일 수 있다.
상기 연령통계 보기수단(175)은 상기 추정된 고객의 나이에 관한 인적정보에 근거한 통계정보를 확인할 수 있다.
예를 들어, 상기 통계정보는 특정 제품의 나이별 선호도에 대한 정보 등과 같이 고객의 나이정보가 바탕이 되는 통계정보일 수 있다.
한편, 본 실시예의 고객 인적정보 생성장치(1000)는 또한, 상술한 바와 같은 얼굴영역 검출모듈(110), 얼굴유효성 판정모듈(120), 얼굴특징점 검출모듈(130), 성별 추정모듈(140), 나이 추정모듈(150), 통계 생성모듈(160), UI(User Interface) 모듈(170)의 영상캡쳐수단(171), 얼굴정보 보기수단(172), 인원통계 보기수단(173), 성별통계 보기수단(174), 연령통계 보기수단(175), 영상입력수단(180), 구매정보입력수단(190)의 전반적인 제어를 수행하는 제어 모듈(100)을 구비한다.
한편, 도면부호 190은 구매정보입력수단으로서, 예를 들어, 바코드리더기로 구성될 수 있으며, 각 서버(10, 20)에 직접 연결되거나 포스 단말을 통해 연결될 수 있다.
도 5는 본 발명의 일실시예에 따른 고객 인적정보 생성방법의 과정을 도시한 순서도이다.
도시된 바와 같이 본 실시예에 의한 고객 인적정보 생성방법은, 생성 과정의 시작 단계(S10)로부터 출발하여, 이미지 캡쳐단계(S20), 얼굴영역 검출단계(S30), 얼굴유효성 판정단계(S40), 얼굴특징점 검출단계(S50), 성별 추정단계(S60), 나이 추정단계(S70), 결과 출력단계(S80)를 거쳐 종료 단계(S90)로 이뤄진다.
한편, 성별 추정단계(S60)에서 추정된 성별정보는 성별 DB에 저장(S60')될 수 있다. 나이 추정단계(S70)에서 추정된 나이정보는 나이 DB에 저장(S70')될 수 있다.
상기 이미지를 캡쳐단계(S20)에서는, 상기 영상입력수단을 통해 입력되는 고객의 영상에서의 이미지를 캡쳐한다.
상기 영상입력수단을 통해 입력되는 영상에서의 이미지 캡쳐는, 예를 들어, DirectX의 샘플 그래버(SampleGrabber)를 이용하여 영상입력수단을 통해 입력되는 영상에서 이미지를 캡쳐하는 방식으로 이뤄질 수 있고, 바람직한 일예로서, 샘플 그래버의 미디어형식(MediaType)을 RGB24로 설정할 수 있다.
한편, 영상입력수단의 영상포멧(format)이 RGB24와 다른 경우 샘플 그래버 필터의 앞단에 비디오 컨버터 필터(videoconverter filter)가 자동으로 붙어 최종적으로 샘플 그래버에서 캡쳐되는 이미지가 RGB24가 되도록 할 수 있다.
예를 들어,
AM_MEDIA_TYPE mt;
// Set the media type to Sample Grabber
ZeroMemory(&mt, sizeof(AM_MEDIA_TYPE));
mt.formattype = FORMAT_VideoInfo;
mt.majortype = MEDIATYPE_Video;
mt.subtype = MEDIASUBTYPE_RGB24; // only accept 24-bit bitmaps
hr = pSampleGrabber->SetMediaType(&mt);
와 같이 구성될 수 있다.
상기 얼굴영역 검출단계(S30)에서는, 상기 포스 단말 측의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 캡쳐하여 추출한 이미지로부터 상기 고객의 얼굴영역을 검출한다.
얼굴 검출을 위한 방법으로서, 예를 들어, 지식기반 방법(Knowledge-based), 특징기반방법(feature-based), 형판 정합(template-matching) 방법, 외형기반(Appearance-based)방법 등이 있다.
바람직하게, 본 실시예에서는 외형기반(Appearance-based)방법을 사용한다.
외형기반방법은 상이한 영상들에서 얼굴영역과 비얼굴영역을 획득하며, 획득된 영역들을 학습하여 학습모델을 만들고, 입력 영상과 학습모델자료를 비교하여 얼굴을 검출하는 방법이다.
상기 외형기반방법은 정면 및 측면 얼굴 검출에 대해서는 비교적 성능이 높은 방법으로 알려져 있다.
이러한 얼굴검출과 관련하여, Jianxin Wu, S.Charles Brubaker, Matthew D.Mullin, and James M.Rehg의 논문, "Fast Asymmetric Learning for Cascade Face Detection,"(IEEE Tran- saction on Pattern Analysis and Machine Intelligence, Vol.30, No.3, MARCH 2008.)와, Paul Viola, Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features"(Accepted Conference on Computer Vision and Pattern Recognition 2001.)등을 통해 이해될 수 있다.
한편, 본 실시예의 얼굴 영역 검출은, (a1) 상기 추출된 이미지의 RGB 색 정보로부터 YCbCr 색 모델을 작성하고, 작성된 색 모델에서 색 정보와 밝기 정보를 분리하며, 상기 밝기 정보에 의하여 얼굴후보영역을 검출하는 단계; (a2) 상기 검출된 얼굴후보영역에 대한 4각 특징점 모델을 정의하고, 상기 4각 특징점 모델을 AdaBoost 학습 알고리즘에 의하여 학습시킨 학습자료에 기초하여 얼굴영역을 검출하는 단계; 및 (a3) 상기 AdaBoost의 결과값(하기 수학식1의 CFH(x))의 크기가 소정임계값을 초과하는 경우에 상기 검출된 얼굴영역을 유효한 얼굴영역으로 판정하는 단계;를 포함하여 구성된다.
[수학식1]
Figure PCTKR2012006177-appb-I000001
(단, M:강분류기를 구성하고 있는 전체 약분류기의 개수
hm(x):m번째 약분류기에서의 출력값
θ:강분류기의 오류판정률을 보다 세밀하게 조절하는데 이용되는 값으로써 경험적으로 설정한다.)
AdaBoost 학습알고리즘은 약분류기의 선형적인 결합을 통하여 최종적으로 높은 검출 성능을 가지는 강분류기를 생성하는 알고리즘으로 알려져 있다.
본 실시예에서는 비정면얼굴에서의 검출성능을 보다 높이기 위해 기존의 대칭적인 Haar-Like feature 뿐만아니라 비정면얼굴의 비대칭특성을 고려한 새로운 feature들을 더 포함한다.
정면얼굴 화상에서는 눈, 코, 입과 같이 얼굴의 고유한 구조적 특성들이 화상에 전반적으로 골고루 분포되어 있으며 대칭적이다.
그렇지만, 비정면얼굴 화상에서는 대칭적이지 못하고 좁은 범위에 밀집되어 있으며 얼굴윤곽이 직선이 아니므로 배경영역이 많이 섞어져 있다.
따라서 기존의 대칭적인 Haar-Like feature 들만으로는 비정면얼굴에 대한 높은 검출성능을 얻을 수 없는 문제점을 극복하기 위해, 본 실시예에서는 기존의 Haar-like feature와 비슷하면서도 비대칭성을 부가한 새로운 Haar-Like feature 들을 더 포함한다.
이와 관련하여, 도 6은 기존의 Harr-like feaure 의 기본형태들이고, 도 7은 본 발명의 실시예에 의한 정면 얼굴 영역 검출을 위하여 선택된 Haar-like feature 들의 예시 사진이며, 도 8은 비정면 얼굴 영역 검출을 위하여 선택된 Haar-like feature 들의 예시 사진이다.
도 9는 본 실시예에 의하여 새롭게 추가된 직4각 Haar-Like feature 를 보여주고 있으며, 도 10은 도 9의 Haar-Like feature 중 비정면얼굴검출을 위해 선택된 Haar-Like feature 들의 예시를 보여주고 있다.
본 실시예의 Haar-Like feature는 기존의 대칭적인 Haar-Like feature와 다르게 도 12에 도시된 바와 같이 비대칭적인 형태,구조,모양으로 구성되어 비정면얼굴의 구조적특성을 잘 반영하고 있는 것으로 하여 비정면 얼굴에 대한 검출효과가 뛰어나다.
도 11은 기존의 Harr-like feaure와 본 실시예에 적용된 Harr-like feaure에 대한 Training Set에서의 Haar-Like feature 확률곡선이다.
ㄱ)은 본 실시예의 경우, ㄴ)은 기존의 경우이며, 도시된 바와 같이, 본 실시예의 경우에 해당하는 확률곡선이 보다 좁은 범위에 밀집되어 있다.
이것은 베이스분류규칙에 비추어 볼 때 본 실시예에서 추가된 Haar-Like feature 들이 비정면얼굴검출에서 효과적이라는 것을 의미한다.
도 12는 비정면얼굴의 Training Set에서 새로 추가한 특징들과 기존 Harr-like feaure의 확률곡선의 분산과 Kurtosis의 평균값을 도시한 표이다.
도 12는 비정면얼굴의 Training Set에서 새로 추가한 Haar-Like feature 들과 기존 Haar-Like feature 들의 확률곡선의 분산과 Kurtosis의 평균값을 보여주고 있다.
도 12를 통해 본 실시예에서 추가된 Haar-Like feature 들이 분산이 작고 Kurtosis가 크며 이것은 검출에서 효과적이라는 것을 알 수 있다.
상술한 바와 같이, 상기 (a2) 단계에서, 상기 얼굴영역 검출을 위한 하 라이크 피쳐(harr-like feature)는 비정면 얼굴영역을 검출하기 위한 비대칭성의 하 라이크 피쳐(harr-like feature)를 더욱 포함한다.
한편, 얼굴의 유효성을 판정하기 위한 방법으로서, 예를 들어, PCA(Principle Component Analysis)나 신경망을 이용한 방법 등이 있는데, 이러한 방법들은 속도가 느리고 별도의 해석을 필요로 한다는 단점이 있다.
따라서, 본 발명의 일실시예에서는, 상기 AdaBoost의 결과값(상기 수학식1의 CFH(x))의 크기와 소정임계값을 비교하여 검출된 얼굴의 유효성을 판정한다.
기존 AdaBoost방법에서는, 하기 참고식1과 같이 부호값만을 이용하였으나, 본 실시예에서는 그의 실제적인 크기를 이용하여 얼굴영역의 유효성을 판정한다.
Figure PCTKR2012006177-appb-I000002
………[참고식 1]
즉, 상기 수학식1에서, CFH(x)의 크기가 얼굴의 유효성을 판정하기 위한 중요한 요소로 활용될 수 있다.
이 값(CFH(x))은 검출된 영역이 얼굴에 얼마나 근사한가를 나타내는 척도로써 소정임계값을 설정하여 얼굴의 유효성판정에 이용할 수 있다.
이때, 소정임계값은 학습얼굴모임을 이용하여 경험적으로 설정할 수 있다.
상기 얼굴특징점 검출단계(S50)에서는, 상기 검출된 얼굴영역에서 얼굴특징점을 검출한다.
상기 얼굴특징점 검출단계(S50)는, ASM(active shape model) 방법의 특징점(landmark) 탐색에 의해 이뤄지되, AdaBoost 알고리즘을 이용하여 진행하여 얼굴특징점을 검출한다.
예를 들어, 상기 얼굴특징점의 검출은, (b1) 현재 특징점의 위치를 (xl, yl)라고 정의하고, 현재 특징점의 위치를 중심으로 그 근방에서 n*n 화소크기의 가능한 모든 부분창문들을 분류기로 분류하는 단계; (b2) 하기 수학식2에 의하여 특징점의 후보위치를 계산하는 단계; 및 (b3) 하기 수학식3의 조건을 만족하는 경우에는 (x'l, y'l)을 새로운 특징점으로 정하고, 만족하지 못하는 경우에는 현재 특징점의 위치(xl, yl)를 유지하는 단계;를 포함하여 구성된다.
[수학식2]
Figure PCTKR2012006177-appb-I000003
[수학식3]
Figure PCTKR2012006177-appb-I000004
(단, a:x축방향으로 탐색해나가는 최대근방거리
b:y축방향으로 탐색해나가는 최대근방거리
xdx , dy:(xl, yl)에서 (dx, dy)만큼 떨어진 점을 중심으로 하는 부분창문
Nall:분류기의 총계단수
Npass:부분창문이 통과된 계단수
c:끝까지 통과되지 못한 부분창문의 신뢰도값을 제한하기 위해 실험을 통해 얻은 1보다 작은 상수값)
얼굴의 특징점을 검출하기 위한 방법으로서, 예를 들어, 특징점들을 개별적으로 검출하는 방법과 특징점들의 상호연관속에서 동시에 검출해내는 방법 등이 있다.
개별적으로 특징점들을 검출하는 방법은 부분적인 가림이 있는 얼굴 화상들에서 검출오류가 많은 문제점이 있기 때문에, 본 실시예에서는 속도와 정확성에 있어서 얼굴 특징 검출에 바람직한 방법인 ASM(Active Shape Model) 방법을 이용한다.
이러한 ASM 방법에 대하여서는 T.F.Cootes, C.J.Taylor, D.H.Cooper, and J.Graham의 논문 “Active shape models: Their training and application” (CVGIP: Image Understanding, Vol.61, pp.38-59, 1995) 과 S.C.Yan, C.Liu, S.Z.Li, L.Zhu, H.J.Zhang, H.Shum, and Q.Cheng의 논문 “Texture-constrained active shape models”(In Proceedings of the First International Workshop on Generative-Model-Based Vision (with ECCV), May 2002), T.F.Cootes, G.J.Edwards, and C.J.Taylor의 논문 “Active appearance models”(In ECCV 98, Vol.2, pp.484-498, 1998) T.F.Cootes, G.Edwards, and C.J.Taylor의 논문 “Comparing Active Shape Models with Active Appearance Models” 등을 통해 이해될 수 있다.
한편, 기존 ASM의 특징점탐색은 특징점에서의 프로필(Profile)을 이용하는 방법이기 때문에 고품질의 화상에서만 검출이 안정적으로 이뤄진다.
일반적으로 카메라 등의 영상입력수단을 통해 입력되는 영상에서 추출된 이미지는 저해상도, 저품질의 이미지로서 얻어질 수 있는바, 본실시예에서는 AdaBoost방법에 의한 특징점탐색에 의해 이를 개선하여, 저해상도와 저품질의 화상에서도 특징점들을 용이하게 검출할 수 있도록 한다.
도 13은 해상도가 낮거나 화질이 나쁜 화상에 대해 기존 ASM방법에 적용된 프로필사진이고, 도 14는 본 발명의 표식점탐색을 위한 Adaboost에 이용되는 각 표식점주변의 패턴사진이다.
상기 얼굴특징점 검출단계(S50) 및 추정정보 생성단계(S400)에서는, 도 3에 도시된 바와 같이, 눈썹, 눈, 코, 입의 각 위치에 대한 정의가 가능한 28개의 얼굴특징점을 검출할 수 있다.
구체적으로, 얼굴영역을 정의하는 특징점(0, 1, 2, 3), 눈을 정의하는 특징점(4, 5, 6 ,7, 12, 13, 14, 15), 눈썹을 정의하는 특징점(22, 23, 24, 25, 26, 27), 코를 정의하는 특징점(10, 11, 16, 17, 18), 입을 정의하는 특징점(8, 9, 20, 21, 19)을 얼굴특징점으로 검출할 수 있다.
상기 성별 추정단계(S60)에서는, 도 15에 도시된 바와 같이, 이미지 및 얼굴특징점 입력(S61), 성별 추정용 얼굴영역 잘라냄(S62), 잘라낸 얼굴영역 이미지 크기 정규화(S63), 히스토그램 정규화(S64), SVM에 의한 성별추정(S65)의 과정으로 이뤄진다.
성별추정을 위한 방법으로서, 예를 들어, 사람의 얼굴 전부를 이용하는 보기 기반 방법과 얼굴의 기하학적인 특징들만을 이용하는 기하학적인 특징기반방법 등이 있다.
바람직한 일예로서, 상기 성별 추정은, SVM(Support Vector Machine)학습을 이용한 보기기반 성별 분류 방법으로써 검출된 얼굴 영역을 정규화하여 얼굴 특징벡터를 구성하고 그것으로 성별을 예측하는 과정으로 이뤄진다.
SVM방법은 SVC(Support Vector Classifier)와 SVR(Support Vector Regression)로 구분하여 볼 수 있다.
상기 성별 추정과 관련하여, Shumeet Baluja et al.”Boosting Sex Identification Performance”, Carnegie Mellon University, Computer Science Department(2005), Gutta, et al.“Gender and ethnic classification”.IEEE Int.Workshop on Automatic Face and Gesture Recognition, pages 194-199(1998)과, Moghaddam et al.“Learning Gender with Support Faces”.IEEE T.PAMI Vol.24, No.5(2002), 등을 통해 이해될 수 있다.
본 실시예에서, 성별 추정단계(S60)는 구체적으로, (c-a1) 상기 검출된 얼굴특징점을 기준으로 상기 검출된 얼굴영역에서 성별추정용 얼굴영역을 잘라내는 단계; (c-a2) 상기 잘라낸 성별추정용 얼굴영역의 크기를 정규화하는 단계; (c-a3) 상기 크기가 정규화된 성별추정용 얼굴영역의 히스토그램을 정규화하는 단계; 및 (c-a4) 상기 크기 및 히스토그램이 정규화된 성별추정용 얼굴영역으로부터 입력벡터를 구성하고 미리 학습된 SVM 알고리즘을 이용하여 성별을 추정하는 단계;를 포함하여 구성된다.
상기 (c-a1) 단계에서는, 입력된 이미지와 얼굴특징점을 이용하여 얼굴영역을 잘라내며, 예를 들어, 도 16에 도시된 바와 같이, 왼쪽눈귀와 오른쪽눈귀 사이의 거리의 절반을 1로 보고 자르려는 얼굴의 영역을 계산한다.
상기 (c-a2) 단계에서는, 예를 들어, 잘라낸 얼굴영역을 12 * 21 크기로 정규화한다.
상기 (c-a3) 단계에서는, 조명효과의 영향을 최소화하기 위하여 히스토그램을 매 농도값을 가지는 화소수를 동일하게 하는 과정인 히스토그램정규화를 한다.
상기 (c-a4) 단계에서는, 예를 들어, 정규화된 12 * 21 크기의 얼굴이미지로부터 252차원의 입력벡터를 구성하고, 미리 학습된 SVM을 이용하여 성별을 추정한다.
이때, 상기 성별의 추정은, 하기 수학식4의 분류기의 계산 결과값이 0보다 크면 남자, 아니면 여자로 판정한다.
[수학식4]
Figure PCTKR2012006177-appb-I000005
(단, M:표본자료의 개수,
yi:i번째 시험자료의 성별값으로써 남자이면 1 여자이면 -1로 설정한다,
αi:i번째 벡터의 계수,
x:시험자료,
xi:학습표본자료,
k:커널함수,
b:편차)
이때, 상기 커널함수는 하기 수학식5에 정의된 가우시안동경토대함수(GRBF, Gaussian Radial Basis Function)를 이용할 수 있다.
[수학식5]
Figure PCTKR2012006177-appb-I000006
(단, x:시험자료, x':학습표본자료, σ:분산정도를 나타내는 변수)
한편, 커넬함수로서는 가우시안동경토대함수(GRBF, Gaussian Radial Basis Function) 이외에 다항식커널 등을 사용할 수 있으며, 바람직하게, 식별성능을 고려하여 가우시안동경토대함수(GRBF, Gaussian Radial Basis Function)를 사용한다.
한편, SVM(Support Vector Machine) 방법은 두 개의 그룹을 가지는 모임에서 두 그룹의 경계선을 도출해내는 분류방법으로서 패턴분류와 회귀를 위한 학습 알고리즘으로 알려져 있다.
SVM들의 기초적인 학습원리는 눈에 보이지 않는 시험표본을 위한 예측분류오유가 최소로 되는, 즉, 좋은 일반화 성능을 가지는 최적의 선형초평면을 찾는 것이다.
이러한 원리에 기초하여 선형 SVM에서는 최소의 차수를 가지는 선형함수를 찾는 분류학적인 방법을 사용한다.
SVM의 학습문제는 선형제한붙은 2차원계획문제에 귀착된다.
학습표본을 x1,…,xi , 개개의 클래스라벨을 y1,…,yi이라고 하고 학습표본이 남자이면 y = 1 , 여자라면 y = -1 로 한다.
학습결과를 일의로 결정하기 위하여 하기 참고식2의 제약을 준다.
Figure PCTKR2012006177-appb-I000007
………[참고식2]
이러한 제약을 주면 학습표본과 초평면의 최소거리는, 하기 참고식3으로 표시되므로 반드시 하기 참고식4와 같이 된다.
Figure PCTKR2012006177-appb-I000008
………[참고식3]
Figure PCTKR2012006177-appb-I000009
………[참고식4]
w, b 는 학습표본을 완전히 식별하는 가운데서 최소거리를 최대로 하도록 결정해야 하므로 하기 참고식5와 같이 정식화된다.
Figure PCTKR2012006177-appb-I000010
………[참고식5]
목적함수를 최소화하는 것은 최소거리인 상기 식4의 값을 최대화하는 것으로 된다.
따라서 위의 목적함수를 최대화하는 지지벡터를 w와 편차 b를 계산한다.
커널을 이용한 SVM에서는 최적상수
Figure PCTKR2012006177-appb-I000011
을 하기 참고식6과 같이 결정한다.
Figure PCTKR2012006177-appb-I000012
………[참고식6]
이때 제한조건은 하기 참고식7과 같다.
Figure PCTKR2012006177-appb-I000013
………[참고식7]
여기서 K(x, x')는 비선형커널함수이다.
다음 편차를 하기 참고식8과 같이 계산한다.
Figure PCTKR2012006177-appb-I000014
………[참고식8]
상술한 바와 같은 방법에 의해 얻어진 상기 수학식4의 분류기에 대한 계산 결과값이 0보다 크면 남자, 아니면 여자로 판정되는 것이다.
한편, 상기 과정에서 Adaboost 방법을 사용할 수도 있으나, 분류기의 성능과 일반화 성능을 고려할 때, SVM 방법을 사용하는 것이 더욱 바람직하다.
예를 들어, 아시아인들의 얼굴들을 Adaboost 방법으로 학습시키고 유럽인들에 대하여 성별추정성능을 시험해보았을 때 SVM 방법으로 시험할 때보다 10 ~ 15%정도 성능이 내려가게 된다.
따라서, 충분한 학습자료가 주어지지 않은 조건에서 SVM 방법으로 성별추정을 진행하는 경우 높은 식별능력을 얻을 수 있다는 이점이 있다.
상기 나이 추정단계(S70)에서는, 도 17에 도시된 바와 같이, 이미지 및 얼굴특징점 입력(S71), 나이 추정용 얼굴영역 잘라냄(S72), 잘라낸 얼굴영역 이미지 크기 정규화(S73), 국부적 조명보정(S74), 나이다양체 공간으로 사영(S75), 2차 회귀를 적용하여 나이추정(S76)의 과정으로 이뤄진다.
나이 추정방법과 관련하여, Y.Fu, Y.Xu, and T.S.Huang의 논문, “Estimating human ages by manifold analysis of face pictures and regression on aging features,” in Proc.IEEE Conf.Multimedia Expo., 2007, pp.1383-1386과, G.Guo, Y.Fu, T.S.Huang, and C.Dyer의 논문, “Locally adjusted robust regression for human age estimation,” presented at the IEEEWorkshop on Applications of Computer Vision, 2008, A.Lanitis, C.Draganova, and C.Christodoulou의 논문, “Comparing different classifers for automatic age estimation,” IEEE Trans.Syst., Man, Cybern.B, Cybern., vol.34, no.1, pp.621-628, Feb.2004.등을 통해 이해할 수 있다.
본 실시예에서, 나이의 추정은 구체적으로, (c-b1) 상기 검출된 얼굴특징점을 기준으로 상기 검출된 얼굴영역에서 나이추정용 얼굴영역을 잘라내는 단계; (c-b2) 상기 잘라낸 나이추정용 얼굴영역의 크기를 정규화하는 단계; (c-b3) 상기 크기가 정규화된 나이추정용 얼굴영역의 국부적 조명보정을 하는 단계; (c-b4) 상기 크기 정규화 및 국부적 조명보정된 나이추정용 얼굴영역으로부터 입력벡터를 구성하고 나이다양체 공간으로 사영하여 특징벡터를 생성하는 단계; 및 (c-b5) 상기 생성된 특징벡터에 2차회귀를 적용하여 나이를 추정하는 단계;를 포함하여 구성된다.
상기 (c-b1) 단계에서는, 입력된 이미지와 얼굴특징점을 이용하여 얼굴영역을 잘라낸다.
예를 들어, 도 18에 도시된 바와 같이, 두눈귀 및 입귀점으로부터 위(0.8), 아래(0.2), 왼쪽(0.1), 오른쪽(0.1)로 각각 확장하여 얼굴영역을 잘라낸다.
상기 (c-b2) 단계에서는, 예를 들어, 잘라낸 얼굴영역을 64 * 64 크기로 정규화한다.
상기 (c-b3) 단계에서는, 조명효과의 영향을 줄이기 위하여, 하기 수학식6에 의해 국부적 조명보정이 이뤄진다.
[수학식6]
I(x,y)=(I(x,y)-M)/V*10 + 127
(단, I(x,y):(x,y)위치에서의 농담값, M:4*4 국부적 창문영역에서의 농담평균값, V:표준분산값)
상기 표준분산값(V)은 어떤 우연량의 값이 평균값주위에서 흩어지는 정도를 나타내는 특성값이며, 수학적으로 표준분산 V는 다음 식9와 같이 계산된다.
Figure PCTKR2012006177-appb-I000015
………[참고식9]
상기 (c-b4) 단계에서는, 예를 들어, 64 * 64 얼굴이미지로부터 4096차원의 입력벡터를 구성하고, 미리 학습된 나이다양체공간으로 사영하여 50차원의 특징벡터를 생성한다.
나이추정이론에서는 얼굴화상에 반영된 인간의 노화과정을 나타내는 특징들이 어떠한 저차원분포에 따르는 패턴들로 표시될 수 있다고 가정하며, 이때의 저차원특징공간을 나이다양체공간이라고 한다.
이로부터 나이추정에서 기본은 얼굴화상으로부터 나이다양체공간에로의 사영행렬을 추정하는 것이 기본이다.
CEA(Conformal Embedding Analysis)에 의한 나이다양체에로의 사영행렬 학습 알고리즘에 대하여 간략하게 설명한다.
Y=PTX………[참고식10]
상기 참고식10에서, X는 입력벡터, Y는 특징벡터이며 P는 CEA를 이용하여 학습된 나이다양체에로의 사영행렬이다.
이와 관련하여, Yun Fu Huang, T.S.의 논문, "Human Age Estimation With Regression on Discriminative Aging Manifold" in Multimedia, IEEE Transactions on, 2008, pp.578-584 등을 통해 이해할 수 있다.
n개의 얼굴이미지 x1, x2,…,xn을 X={x1,…, xn}∈Rm로 표시한다.
이때, X는 m×n 행렬이며 xi는 매 얼굴이미지를 나타낸다.
다양체학습단계는 m차원의 얼굴벡터를 d≪m(d는 m보다 훨씬 작다)인 d차원의 얼굴벡터(노화특징벡터)로 표현하기 위한 사영행렬을 구하는 것이다.
즉, yi= Pmat×xi 인 사영행렬 Pmat를 구하는 것이다. 여기서 {y1,…, yn}∈Rd이다. 여기서, d를 50으로 설정한다.
일반적으로 얼굴해석을 진행할 때, 이미지차수 m은 이미지개수 n보다 훨씬 더 크다.
그러므로 m×m행렬 XXT는 퇴화행렬이다. 이 문제를 극복하기 위해 처음에 PCA를 이용하여 얼굴이미지를 정보손실이 없는 부분공간으로 사영하며 결과 행렬 XXT는 불퇴화행렬로 된다.
(1) PCA 사영
n개의 얼굴벡터가 주어지면 이 얼굴벡터모임에 대한 공분산행렬 Cpca를 구한다. Cpca는 m×m 행렬이다.
공분산행렬 Cpca에 대한 Cpca×Eigenvector=Eigenvalue×Eigenvector인 고유값, 고유벡터 문제를 풀어서 m개의 고유값들과 m개의 m차원 고유벡터들을 얻는다.
다음 고유값이 큰 순서로 d개의 고유벡터를 선택하여 행렬 WPCA를 구성한다.
WPCA는 m×d 행렬이다.
(2) 무게행렬 Ws, Wd구성
Ws는 같은 나이그룹에 속하는 얼굴이미지들사이의 관계를 나타내며 Wd는 서로 다른 그룹에 속하는 얼굴이미지들사이의 관계를 나타낸다.
Figure PCTKR2012006177-appb-I000016
………[참고식11]
상기 참고식11에서, Dist(Xi,Xj)는 하기 참고식12와 같다.
……[참고식12]
(3) CEA토대벡터 계산
Figure PCTKR2012006177-appb-I000018
의 d개의 가장 큰 고유값에 대응하는 고유벡터가 CEA토대벡터로 된다.
Figure PCTKR2012006177-appb-I000019
……[참고식13]
(4) CEA 은페화
직교토대벡터들인 a1,…,ad가 계산되면 행렬 WCEA는 하기 참고식14와 같이 정의된다.
WCEA = [a1, a2, …, ad]………[참고식14]
식에서 WCEA은 m×d행렬이다.
이때 사영행렬 Pmat는 하기 참고식15와 같이 정의된다.
Pmat=WPCAWCEA………[참고식15]
사영행렬 Pmat를 이용하여 매 얼굴벡터 X에 대한 노화특징량을 얻어낸다.
x→y = Pmat T× x………[참고식16]
(단, y는 얼굴벡터 X에 대응하는 d차원벡터, 즉, 노화특징량임)
상기 (c-b5) 단계에서, 상기 2차회귀를 적용하여 나이를 추정하는 것은 하기 수학식7에 의해 이뤄진다.
[수학식7]
Figure PCTKR2012006177-appb-I000020
(단, bo, b1, b2:학습자료로부터 미리 계산된 회귀계수,
Y:시험자료로부터 참고식 16에 의하여 계산된 노화특징벡터,
L:추정 나이)
bo, b1, b2는 학습자료로부터 다음과 같이 미리 계산한다.
2차회귀모형은 하기 참고식17과 같다.
Figure PCTKR2012006177-appb-I000021
………[참고식17]
여기서
Figure PCTKR2012006177-appb-I000022
는 i번째 학습화상의 나이값이며
Figure PCTKR2012006177-appb-I000023
는 i번째 학습화상의 특징벡터이다.
이것은 벡터-행렬형식으로 하기 참고식18과 같이 표시된다.
Figure PCTKR2012006177-appb-I000024
………[참고식18]
여기서,
Figure PCTKR2012006177-appb-I000025
……[참고식19]
이며, n은 학습자료의 개수이다.
이때, 회귀상수
Figure PCTKR2012006177-appb-I000026
는 하기 참고식20과 같이 계산된다.
Figure PCTKR2012006177-appb-I000027
………[참고식20]
상기 결과 출력단계(S80)에서는, 상술한 바와 같은 과정에 의해 추정된 고객의 성별정보를 성별 DB로 출력하여 저장하고, 고객의 나이정보를 나이 DB로 출력하여 저장한다.
또는, 상술한 바와 같이 추정된 성별정보, 나이정보를 통계 생성모듈로 출력하여 실시간으로 통계를 생성하도록 할 수도 있다.
본 발명의 실시예 들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록매체를 포함한다.
상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 기록매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
상기 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
본 발명은 첨부된 도면을 참조하여 바람직한 실시예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 본 발명의 범주를 벗어남이 없이 많은 다양하고 자명한 변형이 가능하다는 것은 명백하다. 따라서 본 발명의 범주는 이러한 많은 변형예들을 포함하도록 기술된 특허청구범위에 의해서 해석돼야 한다.

Claims (20)

  1. 포스 단말과 일체 또는 네트워크 연결된 서버로 구성된 포스 시스템을 위한 고객 인적정보 생성방법으로서,
    (a) 상기 포스 단말 측의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 상기 고객의 얼굴영역을 검출하는 단계;
    (b) 상기 검출된 얼굴영역에서 얼굴특징점을 검출하는 단계; 및
    (c) 상기 검출된 얼굴영역 및 상기 검출된 얼굴특징점을 이용하여 상기 고객의 성별 및 나이 중 적어도 하나의 정보를 추정하여 인적정보를 생성하는 단계;를 포함하여 구성된 것을 특징으로 하는 고객 인적정보 생성방법.
  2. 제1항에 있어서,
    상기 (a) 단계는,
    (a1) 상기 추출된 이미지의 RGB 색 정보로부터 YCbCr 색 모델을 작성하고, 작성된 색 모델에서 색 정보와 밝기 정보를 분리하며, 상기 밝기 정보에 의하여 얼굴후보영역을 검출하는 단계; 및
    (a2) 상기 검출된 얼굴후보영역에 대한 4각 특징점 모델을 정의하고, 상기 4각 특징점 모델을 AdaBoost 학습 알고리즘에 의하여 학습시킨 학습자료에 기초하여 얼굴영역을 검출하는 단계;를 포함하여 구성된 것을 특징으로 하는 고객 인적정보 생성방법.
  3. 제2항에 있어서,
    상기 (a2) 단계 이후에
    (a3) 상기 AdaBoost의 결과값(하기 수학식1의 CFH(x))의 크기가 소정임계값을 초과하는 경우에 상기 검출된 얼굴영역을 유효한 얼굴영역으로 판정하는 단계;를 더 포함하여 구성된 것을 특징으로 하는 고객 인적정보 생성방법.
    [수학식1]
    Figure PCTKR2012006177-appb-I000028
    (단, M:강분류기를 구성하고 있는 전체 약분류기의 개수
    hm(x):m번째 약분류기에서의 출력값
    θ:강분류기의 오류판정률을 조절하는데 이용되는 값)
  4. 제2항에 있어서,
    상기 (a2) 단계에서,
    상기 얼굴영역 검출을 위한 하 라이크 피쳐(harr-like feature)는 비정면 얼굴영역을 검출하기 위한 비대칭성의 하 라이크 피쳐(harr-like feature)를 더욱 포함하는 것을 특징으로 하는 고객 인적정보 생성방법.
  5. 제1항에 있어서,
    상기 (b) 단계는,
    ASM(active shape model) 방법의 특징점(landmark) 탐색에 의해 이뤄지되, AdaBoost 알고리즘을 이용하여 진행하는 것을 특징으로 하는 고객 인적정보 생성방법.
  6. 제5항에 있어서,
    상기 얼굴특징점의 검출은,
    (b1) 현재 특징점의 위치를 (xl, yl)라고 정의하고, 현재 특징점의 위치를 중심으로 그 근방에서 n*n 화소크기의 부분창문들을 분류기로 분류하는 단계;
    (b2) 하기 수학식2에 의하여 특징점의 후보위치를 계산하는 단계; 및
    (b3) 하기 수학식3의 조건을 만족하는 경우에는 (x'l, y'l)을 새로운 특징점으로 정하고, 만족하지 못하는 경우에는 현재 특징점의 위치(xl, yl)를 유지하는 단계;를 포함하여 구성된 것을 특징으로 하는 고객 인적정보 생성방법.
    [수학식2]
    Figure PCTKR2012006177-appb-I000029
    [수학식3]
    Figure PCTKR2012006177-appb-I000030
    (단, a:x축방향으로 탐색해나가는 최대근방거리
    b:y축방향으로 탐색해나가는 최대근방거리
    xdx , dy:(xl, yl)에서 (dx, dy)만큼 떨어진 점을 중심으로 하는 부분창문
    Nall:분류기의 총계단수
    Npass:부분창문이 통과된 계단수
    c:끝까지 통과되지 못한 부분창문의 신뢰도값을 제한하기 위한 상수값)
  7. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 성별의 추정은,
    (c-a1) 상기 검출된 얼굴특징점을 기준으로 상기 검출된 얼굴영역에서 성별추정용 얼굴영역을 잘라내는 단계;
    (c-a2) 상기 잘라낸 성별추정용 얼굴영역의 크기를 정규화하는 단계;
    (c-a3) 상기 크기가 정규화된 성별추정용 얼굴영역의 히스토그램을 정규화하는 단계; 및
    (c-a4) 상기 크기 및 히스토그램이 정규화된 성별추정용 얼굴영역으로부터 입력벡터를 구성하고 미리 학습된 SVM 알고리즘을 이용하여 성별을 추정하는 단계;를 포함하여 구성된 것을 특징으로 하는 고객 인적정보 생성방법.
  8. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 나이의 추정은,
    (c-b1) 상기 검출된 얼굴특징점을 기준으로 상기 검출된 얼굴영역에서 나이추정용 얼굴영역을 잘라내는 단계;
    (c-b2) 상기 잘라낸 나이추정용 얼굴영역의 크기를 정규화하는 단계;
    (c-b3) 상기 크기가 정규화된 나이추정용 얼굴영역의 국부적 조명보정을 하는 단계;
    (c-b4) 상기 크기 정규화 및 국부적 조명보정된 나이추정용 얼굴영역으로부터 입력벡터를 구성하고 나이다양체 공간으로 사영하여 특징벡터를 생성하는 단계; 및
    (c-b5) 상기 생성된 특징벡터에 2차회귀를 적용하여 나이를 추정하는 단계;를 포함하여 구성된 것을 특징으로 하는 고객 인적정보 생성방법.
  9. 제1항에 있어서,
    상기 (c) 단계 이후에,
    (d) 각 고객의 성별 및 나이, 구매 시간, 구매 제품 중 적어도 2 이상의 정보를 상호 연관시켜 통계정보를 생성하는 단계를 더욱 포함하여 구성된 것을 특징으로 하는 고객 인적정보 생성방법.
  10. 제9항에 있어서,
    상기 구매 시간 또는 구매 제품 정보는 상기 포스 단말로부터 인식된 것을 특징으로 하는 고객 인적정보 생성방법.
  11. 제1항 내지 제10항 중의 어느 한 항에 기재된 방법의 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  12. 제1항 내지 제10항 중의 어느 한 항에 기재된 고객 인적정보 생성방법을 이용하는 포스 시스템.
  13. 제12항에 있어서,
    상기 포스 단말, 상기 포스 단말과 연결된 로컬 운영 서버를 포함하여 구성된 것을 특징으로 하는 포스 시스템.
  14. 제12항에 있어서,
    복수의 체인점에 각각 구비된 상기 포스 단말, 상기 포스 단말과 네트워크를 통해 연결된 중앙 운영 서버를 포함하여 구성된 것을 특징으로 하는 포스 시스템.
  15. 제12항에 있어서,
    복수의 체인점에 각각 구비된 포스 단말 및 로컬 운영 서버, 상기 포스 단말 또는 상기 로컬 운영 서버에 네트워크를 통해 연결된 중앙 운영 서버를 포함하여 구성된 것을 특징으로 하는 포스 시스템.
  16. 포스 단말과 일체 또는 네트워크 연결된 서버로 구성된 포스 시스템을 위한 고객 인적정보 생성장치로서,
    포스 단말 측의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 상기 고객의 얼굴영역을 검출하는 얼굴영역 검출모듈;
    상기 검출된 얼굴영역에서 얼굴특징점을 검출하는 얼굴특징점 검출모듈; 및
    상기 검출된 얼굴영역 및 상기 검출된 얼굴특징점을 이용하여 상기 고객의 성별 및 나이 중 적어도 하나의 정보를 추정하여 인적정보를 생성하는 인적정보 생성모듈;을 포함하여 구성된 것을 특징으로 하는 고객 인적정보 생성장치.
  17. 제16항에 있어서,
    각 고객의 성별 및 나이, 구매 시간, 구매 제품 중 적어도 2 이상의 정보를 상호 연관시켜 통계정보를 생성하는 통계 생성모듈을 더욱 포함하여 구성된 것을 특징으로 하는 고객 인적정보 생성장치.
  18. 제17항에 있어서,
    상기 구매 시간 또는 구매 제품 정보는 상기 포스 단말로부터 인식된 것을 특징으로 하는 고객 인적정보 생성장치.
  19. 고객 응대형 단말과 일체 또는 네트워크 연결된 서버로 구성된 고객 관리 시스템을 위한 고객 인적정보 생성방법으로서,
    고객 응대형 단말의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 상기 고객의 얼굴특징을 검출하여 성별 및 나이 중 적어도 어느 하나에 관한 고객의 인적정보를 생성하는 것을 특징으로 하는 고객 인적정보 생성방법.
  20. 고객 응대형 단말과 일체 또는 네트워크 연결된 서버로 구성된 고객 관리 시스템을 위한 고객 인적정보 생성장치로서,
    고객 응대형 단말의 일 위치에 구비된 영상입력수단을 통해 입력되는 영상에서 추출한 이미지로부터 상기 고객의 얼굴특징을 검출하여 성별 및 나이 중 적어도 어느 하나에 관한 고객의 인적정보를 생성하는 것을 특징으로 하는 고객 인적정보 생성장치.
PCT/KR2012/006177 2011-08-09 2012-08-02 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템 WO2013022226A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/003,718 US20140140584A1 (en) 2011-08-09 2012-08-02 Method and apparatus for generating personal information of client, recording medium thereof, and pos systems

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110078962A KR101216115B1 (ko) 2011-08-09 2011-08-09 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템
KR10-2011-0078962 2011-08-09

Publications (3)

Publication Number Publication Date
WO2013022226A2 true WO2013022226A2 (ko) 2013-02-14
WO2013022226A3 WO2013022226A3 (ko) 2013-04-04
WO2013022226A4 WO2013022226A4 (ko) 2013-05-30

Family

ID=47669046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/006177 WO2013022226A2 (ko) 2011-08-09 2012-08-02 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템

Country Status (3)

Country Link
US (1) US20140140584A1 (ko)
KR (1) KR101216115B1 (ko)
WO (1) WO2013022226A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138967A (zh) * 2015-08-05 2015-12-09 三峡大学 基于人眼区域活动状态的活体检测方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101449744B1 (ko) * 2013-09-06 2014-10-15 한국과학기술원 영역 기반 특징을 이용한 얼굴 검출 장치 및 방법
JP6270182B2 (ja) * 2014-07-17 2018-01-31 Ｎｅｃソリューションイノベータ株式会社 属性要因分析方法、装置、およびプログラム
US20170092150A1 (en) * 2015-09-30 2017-03-30 Sultan Hamadi Aljahdali System and method for intelligently interacting with users by identifying their gender and age details
CN107346408A (zh) * 2016-05-05 2017-11-14 鸿富锦精密电子(天津)有限公司 基于脸部特征的年龄识别方法
US11199907B2 (en) 2017-05-29 2021-12-14 Abhinav Arvindkumar AGGARWAL Method and a system for assisting in performing financial services
US11169661B2 (en) 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
CN109886095A (zh) * 2019-01-08 2019-06-14 浙江新再灵科技股份有限公司 一种基于视觉的轻型卷积神经网络的乘客属性识别系统及方法
CN110659615A (zh) * 2019-09-26 2020-01-07 上海依图信息技术有限公司 基于人脸识别的客群流量及结构化分析系统及方法
US11816668B2 (en) * 2022-01-03 2023-11-14 Bank Of America Corporation Dynamic contactless payment based on facial recognition

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070049501A (ko) * 2005-11-08 2007-05-11 삼성전자주식회사 성별을 이용한 얼굴 인식 방법 및 장치
JP2007257585A (ja) * 2006-03-27 2007-10-04 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2010020666A (ja) * 2008-07-14 2010-01-28 Seiko Epson Corp 広告効果計測システム、広告効果計測装置、広告効果計測装置の制御方法およびそのプログラム
KR20110029805A (ko) * 2009-09-16 2011-03-23 한국전자통신연구원 시각 기반 사용자 연령대 구분 및 추정 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070049501A (ko) * 2005-11-08 2007-05-11 삼성전자주식회사 성별을 이용한 얼굴 인식 방법 및 장치
JP2007257585A (ja) * 2006-03-27 2007-10-04 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2010020666A (ja) * 2008-07-14 2010-01-28 Seiko Epson Corp 広告効果計測システム、広告効果計測装置、広告効果計測装置の制御方法およびそのプログラム
KR20110029805A (ko) * 2009-09-16 2011-03-23 한국전자통신연구원 시각 기반 사용자 연령대 구분 및 추정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138967A (zh) * 2015-08-05 2015-12-09 三峡大学 基于人眼区域活动状态的活体检测方法和装置
CN105138967B (zh) * 2015-08-05 2018-03-27 三峡大学 基于人眼区域活动状态的活体检测方法和装置

Also Published As

Publication number Publication date
WO2013022226A4 (ko) 2013-05-30
WO2013022226A3 (ko) 2013-04-04
US20140140584A1 (en) 2014-05-22
KR101216115B1 (ko) 2012-12-27

Similar Documents

Publication Publication Date Title
WO2013022226A2 (ko) 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템
WO2013009020A2 (ko) 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치
WO2019085495A1 (zh) 微表情识别方法、装置、系统及计算机可读存储介质
WO2018143707A1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
WO2019216593A1 (en) Method and apparatus for pose processing
WO2015102361A1 (ko) 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
WO2018143630A1 (ko) 상품을 추천하는 디바이스 및 방법
WO2015133699A1 (ko) 객체 식별 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
WO2018048054A1 (ko) 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치
WO2018062647A1 (ko) 정규화된 메타데이터 생성 장치, 객체 가려짐 검출 장치 및 그 방법
WO2020141729A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2018155999A2 (en) Moving robot and control method thereof
WO2021132851A1 (ko) 전자 장치, 두피 케어 시스템 및 그들의 제어 방법
WO2019027240A1 (en) ELECTRONIC DEVICE AND METHOD FOR PROVIDING A RESEARCH RESULT THEREOF
EP3740936A1 (en) Method and apparatus for pose processing
WO2017188800A1 (ko) 이동 로봇 및 그 제어방법
WO2015088179A1 (ko) 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치
EP3440593A1 (en) Method and apparatus for iris recognition
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
AU2020244635B2 (en) Mobile robot control method
WO2020235852A1 (ko) 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
WO2020106010A1 (ko) 이미지 분석 시스템 및 분석 방법
WO2017119578A1 (en) Method for providing services and electronic device thereof
WO2021157902A1 (en) Device-free localization robust to environmental changes
AU2018310111B2 (en) Electronic device and method for providing search result thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12821548

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 14003718

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16/06/2014)

122 Ep: pct application non-entry in european phase

Ref document number: 12821548

Country of ref document: EP

Kind code of ref document: A2