WO2015141892A1 - 사용자 인식 방법 및 장치 - Google Patents

사용자 인식 방법 및 장치 Download PDF

Info

Publication number
WO2015141892A1
WO2015141892A1 PCT/KR2014/003922 KR2014003922W WO2015141892A1 WO 2015141892 A1 WO2015141892 A1 WO 2015141892A1 KR 2014003922 W KR2014003922 W KR 2014003922W WO 2015141892 A1 WO2015141892 A1 WO 2015141892A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
feature
current
identifier
existing
Prior art date
Application number
PCT/KR2014/003922
Other languages
English (en)
French (fr)
Inventor
유병인
김원준
한재준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2015141892A1 publication Critical patent/WO2015141892A1/ko
Priority to US15/234,457 priority Critical patent/US20160350610A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems

Definitions

  • the following description relates to a user recognition technology for recognizing a user based on image data and audio data.
  • Existing user recognition system uses biometric information such as face, fingerprint, iris, voice to recognize the user.
  • the user recognition system determines who the user is by comparing the biometric information of the user input through the initial setting process and the recognized biometric information.
  • the user is mainly recognized using pre-stored biometric information.
  • the biometric information of the new user is registered in the user recognition system.
  • a method of recognizing a user may include extracting a user feature of a current user from input data; Estimating an identifier of the current user based on the extracted user feature; And when there is no identifier corresponding to the current user, generating an identifier for the current user and updating user data based on the generated identifier and the extracted user feature.
  • estimating the identifier of the current user may include determining a similarity between the current user and an existing user stored in user data based on the extracted user feature; And determining whether an identifier corresponding to the current user exists based on the similarity.
  • the updating of the user data may include performing unsupervised learning based on the extracted user feature and a user feature of an existing user stored in the user data. .
  • estimating the identifier of the current user may include determining a similarity between the current user and an existing user stored in user data based on the extracted user feature; Assigning an identifier of the existing user to the current user when the similarity satisfies a preset condition; And updating user data regarding the existing user based on the extracted user feature.
  • estimating an identifier of the current user may include determining a mid-level feature based on a plurality of user features extracted for the current user; And estimating the identifier of the current user based on the intermediate level feature.
  • a method of recognizing a user may include extracting a user area of a current user from image data; Extracting a user feature of the current user from the user area; Estimating an identifier of the current user based on the extracted user feature and prestored user data; And performing unsupervised learning or updating user data about an existing user included in the user data according to the estimation result.
  • a user recognition apparatus including: a user feature extractor configured to extract a user feature of a current user from input data; A user identifier estimator for estimating an identifier of the current user based on the extracted user feature; And a user data updater for generating an identifier for the current user and updating user data based on the generated identifier and the extracted user feature when the identifier corresponding to the current user does not exist.
  • the user identifier estimator may include a similarity determiner that determines a similarity between the current user and an existing user stored in user data based on the extracted user feature.
  • the similarity determination unit may include a middle level feature determination unit that determines a middle level feature based on a plurality of user features extracted for the current user.
  • the user data updater may include an unsupervised learning performer that performs unsupervised learning based on the generated identifier and the extracted user feature.
  • the user feature extractor may include a preprocessor that extracts a user area of the current user from the image data and converts the extracted user area into another color model.
  • FIG. 1 is a diagram illustrating a configuration of a user recognition apparatus according to an exemplary embodiment.
  • FIG. 2 is a flowchart illustrating a user recognition method according to an exemplary embodiment.
  • FIG. 3 is a diagram for describing an example of extracting a clothing feature of a user, according to an exemplary embodiment
  • FIG. 4 is a diagram for describing a process of determining an intermediate level feature, according to an exemplary embodiment.
  • FIG. 5 is a flowchart illustrating a process of determining a user label based on an intermediate level feature, according to an exemplary embodiment.
  • FIG. 6 is a diagram for describing a process of extracting a user feature, according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating a process of determining a user label based on respective user characteristics according to an embodiment.
  • FIG. 8 is a flowchart illustrating a process of updating a classifier of a cluster based on the extracted user feature, according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating a process of performing unsupervised learning according to an embodiment.
  • FIG. 10 is a flowchart illustrating a user recognition method according to another embodiment.
  • FIG. 11 is a flowchart illustrating a user recognition method according to another embodiment.
  • FIG. 1 is a diagram illustrating a configuration of a user recognition apparatus 100 according to an exemplary embodiment.
  • the user recognition apparatus 100 may estimate the number of users based on input data (for example, image data, audio data, etc.), and may recognize the users separately from each other.
  • the user recognition apparatus 100 may determine who the user is based on various visual and auditory features of the user without using face information of the user. By using various features of the user for user recognition, the user recognition apparatus 100 may effectively recognize the same user even if the user's clothes, body shape, moving path, or the surrounding environment such as lighting changes.
  • the user recognition apparatus 100 may set a category or a cluster for the new user through unsupervised learning and update user data that is already stored. If the user recognition apparatus 100 determines that the current user, which is a target to be recognized, corresponds to the existing user, the user recognition apparatus 100 may update the data of the existing user based on information extracted from the current user. Accordingly, the user recognition apparatus 100 may recognize the user even if there is no separate learning and information on the user, and may continuously update the user data.
  • the user recognition apparatus 100 may include a user feature extractor 110, a user identifier estimator 120, and a user data updater 130.
  • the user feature extractor 110 may extract a feature of the user from input data such as image data and audio data. For example, the user feature extractor 110 may divide image data or audio data for each user and extract a user feature of the current user from the divided image data or the divided audio data. For example, if a plurality of users exist in the image data, the user feature extractor 110 may divide a user area for each user and extract a user feature from each user area. According to another embodiment, the user feature extractor 110 may first remove noise included in the image data or the audio data before extracting the user feature from the image data or the audio data.
  • the user feature extractor 110 may extract a user feature of the current user's face, clothing, hair style, body shape, gait, and the like.
  • the user feature extractor 110 may extract a patch area of the current user from the image data in order to extract the user feature of the garment.
  • the patch area represents a small area composed of 12 (x) x 12 (y) and the like.
  • the user feature extractor 110 may extract color information and shape information from the extracted patch area, and determine a user feature regarding a garment of the current user based on the extracted color information and shape information. The process of extracting the user feature of the garment will be described in more detail with reference to FIG. 3.
  • the user feature extractor 110 may extract an attribute of the current user's hair region from the image data to extract a user feature of the hairstyle.
  • attributes related to hair areas include hair color, hair volume, hair length, hair texture, surface area covered by hair, Hairline, hair symmetry, and the like.
  • the user feature extractor 110 extracts a landmark as a feature point of the current user's body form from the image data, and extracts a landmark of the current user based on the extracted surrounding information of the current user's body.
  • User body shape feature distribution may be determined.
  • the user feature extractor 110 may extract a feature from image data using random detection, a feature extraction method such as a scale invariant feature transform (SIFT), a speeded up robust feature (SURF), or a dense sampling method.
  • SIFT scale invariant feature transform
  • SURF speeded up robust feature
  • a user's landmark can be extracted.
  • the user feature extractor 110 may determine a user feature of the body shape of the current user based on the body feature distribution.
  • the user feature extracting unit 110 is a gait energy image (Gait Energy Image, GEI), Enhanced GEI, Active Energy Image, gait to extract the user characteristics of the gait Images such as a Gait Flow Image and changes over time such as a current user's height and steps can be used.
  • the user feature extractor 110 combines an image such as a GEI, a change over time of a key, and a change over time of a gait width (eg, a width signal for a gait) signal, height signal, etc.), but the scope of the embodiment is not limited by a specific method.
  • the user feature extractor 110 may extract user features such as voice prints and footsteps of the current user from the audio data.
  • the gate is a unique feature that each user has and does not change over time. Footsteps have unique characteristics depending on the user's habits, body type, weight, and types of shoes preferred by the user.
  • the user feature extractor 110 may further include a preprocessor 140 that performs a preprocessing process of the image data before the user feature is extracted.
  • the preprocessor 140 may extract the user area of the current user from the image data, and convert the extracted user area into another color model.
  • the preprocessor 140 may convert the extracted user area of the current user into another color model such as a Hue-Saturation-Value (HSV).
  • HSV Hue-Saturation-Value
  • the preprocessor 140 may use a Hue channel and a saturation channel that are robust to changes in illumination in the color model of the HSV, and may not use the Value channel, but the scope of the embodiment is not limited by the use of a specific channel.
  • the user feature extractor 110 may extract a user feature of the current user from the image data on which the preprocessing process is performed. In the same manner as described above, the user feature of the current user may be extracted from the image data on which the preprocessing process is performed.
  • the user identifier estimator 120 may estimate an identifier of the current user, such as a user label, based on a user feature extracted from the current user. The user identifier estimator 120 may determine whether the current user corresponds to an existing user included in the user data based on the extracted user feature, and estimate the identifier of the current user based on the determination result. For example, the user identifier estimator 120 may determine whether an identifier corresponding to the current user exists based on the user data. If there is no identifier corresponding to the current user, the user identifier estimator 120 may generate a new identifier for the current user.
  • the user data updater 130 may perform unsupervised learning or update user data about an existing user included in the user data according to the estimation result of the user identifier estimator 120.
  • the user data updater 130 may include an unsupervised learning performer 170 performing unsupervised learning.
  • the user data updater 130 may update the user data based on the generated identifier and the user feature extracted from the current user.
  • the user identifier estimator 120 may include a similarity determiner 150.
  • the similarity determining unit 150 may determine a similarity between the current user and an existing user stored in the user data based on the user feature extracted from the current user.
  • the similarity between the current user and the existing user indicates the probability that the current user is matched with the existing user. High similarity for a particular existing user indicates that the current user is more likely to match a specific existing user, and low similarity for a specific existing user indicates that the current user is less likely to match a specific existing user.
  • the user data may include characteristic data of specific users distinguished from each other.
  • the user data may include user A's user feature data, user B's user feature data, user C's user feature data, and the like.
  • user A, user B, and user C form different clusters, and each cluster may include characteristic data about the corresponding user.
  • User data can be added with clusters for new users, and the boundaries between each cluster can change through learning.
  • the user identifier estimator 120 may allocate an identifier of the existing user to the current user when the similarity between the current user and the existing user satisfies a preset condition. For example, the user identifier estimator 120 may determine, as an identifier of the current user, an identifier of an existing user that is greater than a preset threshold and has the greatest similarity among existing users. Thereafter, the user data updater 130 may update the user data about the existing user based on the user feature extracted from the current user.
  • the user identifier estimator 120 may assign a new identifier different from the identifier of the existing user to the current user. For example, the user identifier estimator 120 may allocate a new identifier different from the identifiers of the existing users to the current user when the similarities for the existing users are all below a preset threshold. Thereafter, the unsupervised learning performer 170 may perform unsupervised learning based on a new identifier assigned to the current user, a user feature extracted from the current user, and a user feature of the existing user stored in the user data. For example, the unsupervised learning performer 170 may perform unsupervised learning on user data using K-means clustering, SOM (Self Organized MAP), and the like.
  • the user identifier estimator 120 may determine the identifier of the existing user as the identifier of the current user. For example, the similarity determiner 150 may calculate a similarity between the user feature extracted from the current user and the user feature of each existing user included in the user data, and the user identifier estimator 120 may be based on the calculated similarity. It may be determined whether the user feature extracted from the current user is a new feature. If it is determined that the user feature extracted from the current user is not a new feature but a user feature of the existing user, the user identifier estimator 120 may determine the identifier of the existing user as the identifier of the current user.
  • the user data updater 130 may update user data about an existing user corresponding to the current user based on the user feature extracted from the current user. For example, when it is determined that the current user corresponds to the existing user A, the user data updater 130 recognizes the current user as the user A, and the feature data about the user A based on the user feature extracted from the current user. Can be updated.
  • the user identifier estimator 120 may assign an identifier different from that of the existing user to the current user.
  • the unsupervised learning performer 170 may perform unsupervised learning based on a user feature extracted from a current user and a user feature of an existing user. For example, if it is determined that the current user does not correspond to any existing users included in the user data, the user identifier estimator 120 may assign a new identifier different from the identifiers of the existing users to the current user. . Thereafter, the non-supervised learning performer 170 may add a cluster regarding the new identifier to the user data and perform unsupervised learning based on the user feature extracted from the current user and the user feature of the existing users.
  • the similarity determining unit 150 determines a first similarity between the current user and each existing user stored in the user data for each user feature extracted from the current user and based on the first similarity determined for each user feature.
  • a second similarity can be determined for each existing user.
  • the user identifier estimator 120 may determine, as the identifier of the current user, the identifier of the existing user having the second largest similarity among the second similarities with respect to the existing users and having a second similarity above a preset threshold.
  • the user data updater 130 may update the feature data of the existing user based on the user feature extracted from the current user.
  • the user identifier estimator 120 may allocate a new identifier different from the identifier of the existing user to the current user when the second similarities for the existing users are smaller than a preset threshold.
  • the unsupervised learning performer 170 may perform unsupervised learning based on the user feature extracted from the current user.
  • the similarity determination unit 150 determines whether the current user and the existing user for the hairstyle are existing. First similarity between user A, first similarity between current user and existing user A for body type, first similarity between current user and existing user B for hairstyle, and first similarity between current user and existing user B for body type Can be determined. Thereafter, the similarity determining unit 150 determines the second similarity between the current user and the existing user A based on the first similarity between the current user and the existing user A with respect to the hairstyle and the first similarity between the current user and the existing user A with respect to the body type.
  • Similarity may be determined, and a second similarity between the current user and the existing user B may be determined based on the first similarity between the current user and the existing user B for the hairstyle and the first similarity between the current user and the existing user B for the body type.
  • the user identifier estimator 120 may recognize the current user as the existing user A when the second similarity between the current user and the existing user A is greater than the second similarity between the current user and the existing user B and larger than a preset threshold. have.
  • the user data updater 130 may update a classifier for the existing user A based on the user's characteristics of the hairstyle and body type extracted from the current user.
  • the user identifier estimator 120 assigns a new identifier C to the current user, and the current user. Can be recognized as the new user C.
  • the non-supervised learning performing unit 170 is based on the clusters of the existing users A, B, and the new user C, and the user data of the hairstyle and body type extracted from the current user and the previously stored feature data of the existing users A and B. Based on unsupervised learning can be performed. As a result of unsupervised learning, cluster boundaries for feature data of existing users A and B may change.
  • the similarity determiner 150 may include a middle level feature determiner 160.
  • the mid-level feature determiner 160 may generate a mid-level feature based on the user features extracted from the current user, and the user identifier estimator 120 may present the mid-level feature based on the current feature.
  • the identifier of the user can be estimated.
  • the intermediate level feature determiner 160 vectorizes a plurality of user features extracted from the current user by combining a plurality of user features extracted from the current user or generates a codeword generated from the training data. Vectorization may be performed on the plurality of user features extracted from the current user based on.
  • the similarity determining unit 150 may determine the similarity between the current user and the existing user based on the intermediate level feature.
  • the user identifier estimator 120 may determine, as the identifier of the current user, the identifier of the existing user having the largest similarity among the existing users and having a similarity equal to or greater than a preset threshold.
  • the user data updater 130 may update the feature data of the existing user based on the user feature extracted from the current user.
  • the user identifier estimator 120 may allocate a new identifier different from the identifier of the existing user to the current user when the similarities with respect to the existing users are smaller than the preset threshold.
  • the unsupervised learning performer 170 may perform unsupervised learning based on the user feature extracted from the current user.
  • the middle level feature determiner 160 simply combines and vectorizes the extracted current user's hairstyle and body user features, or intermediates the user features of the current user's hair style and body shape through a bag of words method. Can be converted to features.
  • the similarity determining unit 150 may determine the similarity between the current user and the existing user A and the similarity between the current user and the existing user B based on the intermediate level feature.
  • the user identifier estimator 120 may recognize the current user as the existing user A when the similarity between the current user and the existing user A is greater than the similarity between the current user and the existing user B and larger than a preset threshold.
  • the user data updater 130 may update the classifier of the existing user A based on the user's characteristics of the hairstyle and body type extracted from the current user.
  • the user identifier estimator 120 assigns a new identifier C to the current user, and assigns the current user to the new user C.
  • the non-supervised learning performing unit 170 is based on the clusters of the existing users A, B, and the new user C, and the user data of the hairstyle and body type extracted from the current user and the previously stored feature data of the existing users A and B. Based on unsupervised learning can be performed.
  • FIG. 2 is a flowchart illustrating a user recognition method according to an exemplary embodiment.
  • the user recognition apparatus may divide input data such as image data, audio data, and the like for each user.
  • the user recognition apparatus may extract a user area of the current user from image data and audio data divided for each user, and may convert the color model of the extracted user area.
  • the user recognition device may remove noise from the image data and the audio data.
  • the user recognition apparatus may extract a multi-modal feature of the user from input data divided for each user.
  • the user recognition apparatus may extract a feature for a hair style, a feature for a clothing, a feature for a body, a feature for a gate, a feature for walking, and the like from input data divided for each user.
  • the user recognition apparatus may estimate a user label based on the extracted multiple features.
  • the user recognition device may determine whether a feature of the current user extracted from image data or audio data is a new feature that has not been previously identified. For example, the user recognition apparatus determines a similarity between the current user and the existing users included in the user data based on the extracted features of the current user and the feature data of the existing users included in the user data, and based on the determined similarity. It may be determined whether the extracted feature is a feature of a new user not previously identified.
  • step 250 if the similarity between the feature extracted from the current user and the feature extracted from the existing user included in the user data is low, the user recognition device recognizes the current user as a new user, and a new user label for the current user. Can be generated. As a new user label is created, a cluster corresponding to the new user label may be added to the user data.
  • the apparatus for recognizing a user may perform unsupervised clustering such as K-means clustering based on features extracted from a current user and feature data of existing users included in the user data.
  • User data may be initially generated through a separate user registration procedure or may be generated through unsupervised clustering without a separate user registration procedure. For example, initially 0 users are registered in the user data, and a feature extracted from the user is determined to be a new feature, so that a new user label generation step and an unsupervised clustering step may be performed. As a result, even if a separate user registration procedure is not performed, feature data for users can be accumulated in user data.
  • the user recognition apparatus may assign a user label of the existing user to the current user.
  • the user recognition apparatus may update the cluster property of the corresponding existing user based on the feature extracted from the current user.
  • the user recognition apparatus may output a new user label generated in operation 250 or a user label of an existing user assigned to the current user in operation 270 as the user label of the current user.
  • FIG. 3 is a diagram for describing an example of extracting a clothing feature of a user, according to an exemplary embodiment
  • the user recognition apparatus may sample or extract the patch area 320 from the user area 310 of the current user. For example, sampling of the patch region 320 extracts a main position using a method of extracting a patch region at a random position, a scale invariant feature transform (SIFT), a speeded up robust feature (SURF), and the like. A method of extracting a patch region at a location, a dense sampling method, or the like may be used.
  • the compaction extraction method extracts a large number of patch regions at regular intervals without specific conditions, and sufficient information can be extracted from the user region through the compaction extraction method.
  • the user recognition apparatus may use various factors included in the patch region using MoG (Mixture of Gaussian) or MoFA (Mixture of Factor Analysis). Can be separated.
  • MoG Matture of Gaussian
  • MoFA Matture of Factor Analysis
  • Equation 1 K is the number of mixed Gaussian distribution, Is the weight of the kth Gaussian distribution, Is the mean of the kth Gaussian distribution, Is the standard deviation of the kth Gaussian distribution, and Norm is the normal Gaussian distribution expressed as the mean and standard deviation. Is a parameter representing a mixture of Gaussian distributions. Given is the probability of the data x. The probability of data x is given It may be represented by MoG (Mixture of Gaussian).
  • the user recognition apparatus may extract color information 340 such as a color histogram, shape information 350 such as Modified Census Transform (MCT), and Histogram of Oriented Gradient (Hog) from each patch region.
  • the user recognition apparatus may determine a garment characteristic of the current user based on the color information 340 and the shape information 350 extracted from the patch area 320.
  • FIG. 4 is a diagram for describing a process of determining an intermediate level feature, according to an exemplary embodiment.
  • the user recognition device may extract user characteristics such as a clothes descriptor, a body descriptor, a hairstyle descriptor, a walk descriptor, and the like from the image data.
  • the user recognition apparatus may extract user characteristics such as a voiceprint descriptor and a footstep descriptor from audio data.
  • the user recognition device may configure the intermediate level feature based on user features such as the extracted clothing descriptor, body descriptor, hair style descriptor, gait descriptor, glottal descriptor, and footstep descriptor.
  • the mid level feature can be configured in a variety of ways.
  • the user recognition apparatus may configure the intermediate level feature through vectorization by simple combination of each extracted user features.
  • the user recognition apparatus may configure a bag of words (BoW) from codewords generated by pre-clustering feature data that may appear from various learning data.
  • the BoW method is a method of expressing a feature extracted from image data as a visual word through vector quantization and expressing it as a specific value.
  • the apparatus for recognizing a user may configure multiple features extracted from a current user using various methods as intermediate level features, and the scope of the embodiments is not limited by a specific method.
  • FIG. 5 is a flowchart illustrating a process of determining a user label based on an intermediate level feature, according to an exemplary embodiment.
  • the apparatus for recognizing a user may determine a similarity between the current user and existing users including user data based on the intermediate level feature.
  • the user recognition apparatus may input an intermediate level feature and calculate a probability that the current user is matched with the existing user by using a classifier for the existing users.
  • the user recognition apparatus may calculate a probability that the mid level feature belongs to each cluster by using a classifier of clusters corresponding to each existing users.
  • the number of existing users registered in the user data is 2, each existing user has a user label of A and B, and the Probabilistic Density Function (PDF) Pr (x) for each user feature is If so, the probability according to the intermediate level feature x may be defined as the similarity.
  • PDF Probabilistic Density Function
  • the multivariate Gaussian Distribution PDF may be used as the probability distribution function. If the probability distribution function is applied to the Naive bayes classifier, it can be expressed as Equation 2 below.
  • x) represents the probability that the user label of the current user is c, given the intermediate level feature x
  • c) is the likelihood, The probability of the intermediate level feature x from the probability distribution function.
  • P (c) represents prior probability.
  • the Deep Belief Network (DBN), Deep Boltzman Machine (DBM), Convolutional Neural Network (CNN), Random Forest, etc. are used to determine the probability that the mid-level features belong to a specific class. Can be.
  • the apparatus for recognizing a user may determine whether the similarity degree for each existing user is smaller than a preset threshold.
  • the user recognition apparatus may output, as a user label of the current user, a user label of an existing user that is greater than a preset threshold and has the largest similarity among similarities with respect to existing users.
  • the user recognition apparatus may recognize the current user as a new user and generate a new user label for the current user.
  • the user recognition device may output the newly generated user label as a user label of the current user.
  • FIG. 6 is a diagram for describing a process of extracting a user feature, according to an exemplary embodiment.
  • the user recognition device may extract user characteristics such as a clothes descriptor, a body descriptor, a hairstyle descriptor, a walk descriptor, and the like from the image data.
  • the user recognition apparatus may extract user characteristics such as a voiceprint descriptor and a footstep descriptor from audio data.
  • the user recognition device does not configure user features such as a clothes descriptor, a body descriptor, a hair style descriptor, a gait descriptor, a gated descriptor, and a footstep descriptor as a middle level feature, and independently performs each user feature to perform a user recognition process. Can be.
  • FIG. 7 is a flowchart illustrating a process of determining a user label based on respective user characteristics according to an embodiment.
  • the apparatus for recognizing a user may determine a first similarity between the current user and existing users including user data according to user characteristics.
  • the user recognition apparatus may determine a first similarity between the current user and the existing user cup using the individual feature classifier of the existing users including the user data. For example, if the number of existing users included in the user data is K, and there are F user features extracted from the current user, the number of feature classifiers for the existing users may be K ⁇ F.
  • the user recognition apparatus may determine a second similarity degree for existing users using Bayesian Estimation or weighted averaging.
  • the user recognition device may determine a second similarity between the specific existing user and the current user based on the first similarities of the specific existing user determined by the individual feature classifier.
  • the user recognition apparatus may determine the second similarity degree using Bayesian estimation as shown in Equation 3 below.
  • Equation 3 P i (c
  • x) represents the probability that the user label of the current user is c for all extracted user features.
  • the apparatus for recognizing a user may determine a second similarity of the average form using a weighted average as shown in Equation 4 below.
  • Equation 4 P i (c
  • x) represents the probability that the user label of the current user is c for all extracted user features.
  • the apparatus for recognizing a user may determine whether a second similarity degree for each existing user is smaller than a preset threshold.
  • the apparatus for recognizing a user may output a user label of an existing user that is greater than a preset threshold and has the largest second similarity among second similarities for existing users as the user label of the current user. .
  • the user recognition apparatus may recognize the current user as a new user and generate a new user label for the current user.
  • the user recognition device may output the generated user label as a user label of the current user.
  • FIG. 8 is a flowchart illustrating a process of updating a classifier of a cluster based on the extracted user feature, according to an exemplary embodiment.
  • Clusters for existing users included in the user data may be incrementally learned. If the current user is recognized as a specific existing user among the existing users included in the user data, the user recognition apparatus may update the cluster of the specific existing user stored in the user data based on the user feature extracted from the current user. In FIG. 8, it is assumed that the current user is recognized as the existing user A. FIG.
  • the apparatus for recognizing a user may input a user feature extracted from a current user into a cluster database for an existing user A included in user data.
  • the user recognition apparatus may update the classifier of the cluster corresponding to the existing user A based on the user feature extracted from the current user. As the classifier of the cluster is updated, the decision boundaries of the cluster for each existing user included in the user data may change over time.
  • the user recognition apparatus may output the user label of A as the user label of the current user.
  • FIG. 9 is a flowchart illustrating a process of performing unsupervised learning according to an embodiment.
  • the user recognition device may generate a new user identifier for the current user and add a cluster corresponding to the generated user identifier to the user data. . Based on the added cluster, the user features of existing users included in the user data and the user features extracted from the current user can be clustered again. K-means clustering, SOM, etc. may be used as the non-supervisory clustering, and FIG. 9 will be described based on K-means clustering.
  • the user recognition apparatus may read cluster data included in the user data. It is assumed that the user data includes three clusters corresponding to each user label A, B, C, including the cluster for the new user.
  • the apparatus for recognizing a user may assign a user label to each feature data based on the distance between each feature data and the center of each cluster for existing users. For example, the user recognition apparatus may calculate a distance between the centers of the clusters corresponding to the respective user labels A, B, and C and the feature data, and assign a user label of the cluster having the closest distance to the feature data.
  • the user recognition apparatus may assign a user label to each feature data based on Equations 5 and 6 below.
  • K denotes the number of clusters
  • N denotes the total number of feature data.
  • m k represents the mean of a cluster as the center of a k th cluster.
  • the user label C (i) assigned to the feature data i may be determined based on the distance between the center of the cluster and the feature data.
  • the user recognition apparatus may update an attribute of each cluster.
  • the user recognition device may map N feature data to respective clusters until a specific criterion is satisfied.
  • the user recognition apparatus may determine whether a stop condition of unsupervised learning is satisfied. For example, the user recognition device may determine that the boundary between clusters no longer changes, or reaches a preset number of iterations, or that the sum of the distances to the cluster center closest to each feature data is greater than the preset threshold. In small cases, it may be determined that the stop condition is satisfied.
  • the user recognition apparatus may update the feature classifier of each cluster.
  • the user recognition device may update classifiers for each user feature included in each cluster.
  • FIG. 10 is a flowchart illustrating a user recognition method according to another embodiment.
  • the user recognition apparatus may extract a user feature of the current user from the input data.
  • the input data may include image data, audio data, and the like in which one or a plurality of users appear.
  • the user recognition apparatus may divide a user area for each user and extract a user feature from each user area.
  • the user recognition device may extract user features such as a face, clothes, a hairstyle, a body shape, a gait of a current user from image data, and extract user features such as a voiceprint or footsteps from audio data.
  • the apparatus for recognizing a user may estimate an identifier of the current user based on a user feature extracted from the current user.
  • the user recognition apparatus may determine the similarity between the current user and the existing user stored in the user data based on the user feature extracted from the current user, and estimate the identifier of the current user based on the determined similarity.
  • the user recognition apparatus may determine whether an identifier corresponding to the current user exists.
  • the user recognition apparatus may determine whether an identifier corresponding to the current user exists among identifiers of existing users included in the user data.
  • the user recognition apparatus may determine whether an identifier corresponding to the current user exists by calculating a similarity between the user feature extracted from the current user and the user feature of existing users included in the user data.
  • the user recognition device may generate a new identifier for the current user. For example, if the similarity between the current user and the existing user does not satisfy a preset condition, the user recognition apparatus may assign an identifier different from that of the existing user to the current user. The user recognition apparatus may assign a new identifier different from the identifiers of the existing users to the current user when the similarities for the existing users are all below a preset threshold. Thereafter, in step 1060, the user recognition device may update user data. For example, the user recognition device may perform unsupervised learning based on a new identifier assigned to the current user, a user feature extracted from the current user, and a user feature of the existing user. In detail, the user recognition apparatus may add a cluster regarding a new identifier to user data and perform unsupervised learning based on a user feature extracted from a current user and a user feature of existing users.
  • the user recognition apparatus may assign an identifier of the existing user to the current user. If the similarity between the current user and the existing user satisfies a preset condition, the user recognition apparatus may assign an identifier of the existing user to the current user. For example, the user recognition apparatus may determine, as an identifier of the current user, an identifier of an existing user that is greater than a preset threshold and has the greatest similarity among the existing users. Alternatively, the user recognition apparatus may calculate a similarity between the user feature extracted from the current user and the user feature of each existing user included in the user data, and whether the user feature extracted from the current user is a new feature based on the calculated similarity.
  • the user recognition apparatus may determine the identifier of the existing user as the identifier of the current user. Thereafter, in step 1060, the user recognition apparatus may update user data about an existing user corresponding to the current user based on the user feature extracted from the current user.
  • FIG. 11 is a flowchart illustrating a user recognition method according to another embodiment.
  • the user recognition apparatus may extract a user area of the current user from the image data.
  • the user recognition apparatus may extract a user feature of the current user from the user area.
  • the user recognition device may extract user characteristics such as a face, clothes, a hairstyle, a body shape, a gait, and the like of the current user from the user area.
  • the user recognition apparatus may extract user characteristics such as voiceprints and footsteps from audio data for the current user.
  • the user recognition apparatus may estimate an identifier of the current user based on the extracted user feature and prestored user data. For example, the user recognition apparatus determines the similarity between the current user and the existing user stored in the user data based on the user feature extracted from the current user, and the correspondence between the current user and the existing user based on the similarity for each existing user. It can be determined. The user recognition apparatus may determine whether there is an existing user corresponding to the current user, and if the existing user corresponding to the current user does not exist, may assign a new identifier different from the identifier of the existing user to the current user. On the contrary, when there is an existing user corresponding to the current user, the user recognition apparatus may determine the identifier of the corresponding existing user as the identifier of the current user.
  • the apparatus for recognizing a user may perform unsupervised learning or update user data regarding an existing user included in the user data according to the estimation result of operation 1130. If there is no existing user corresponding to the current user, the user recognition apparatus may perform unsupervised learning based on the user feature extracted from the current user and the user feature of the existing user. As a result of unsupervised learning, user data may be reconstructed based on new identifiers for current users and identifiers for existing users.
  • the user recognition apparatus may update user data about the existing user corresponding to the current user based on the user feature extracted from the current user.
  • the apparatus and method according to the embodiment may be implemented in the form of program instructions that may be performed by one or more processors or through various computer means, and may be recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Magneto-optical media and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

사용자 인식 방법 및 장치가 개시된다. 사용자 인식 장치는 입력 데이터로부터 현재 사용자의 사용자 특징을 추출하고, 추출된 사용자 특징에 기초하여 현재 사용자의 식별자를 추정할 수 있다. 사용자 인식 장치는 무감독 학습을 통해 별도의 절차 없이도 사용자 인식을 수행할 수 있고, 사용자 데이터를 지속적으로 갱신할 수 있다.

Description

사용자 인식 방법 및 장치
아래의 설명은 이미지 데이터, 오디오 데이터에 기초하여 사용자를 인식하는 사용자 인식 기술에 관한 것이다.
기존의 사용자 인식 시스템은 사용자를 인식하기 위해 얼굴, 지문, 홍채, 음성 등의 생체 정보를 이용한다. 사용자 인식 시스템은 초기 설정 과정을 통해 입력된 사용자의 생체 정보와 인식된 생체 정보를 비교하여 사용자가 누구인지를 결정한다. 가정, 사무실 등의 제한적인 공간에서는 주로 미리 저장된 생체 정보를 이용하여 사용자를 인식하고, 신규 사용자가 추가되는 경우에는 신규 사용자의 생체 정보를 사용자 인식 시스템에 등록한다.
일실시예에 따른 사용자 인식 방법은, 입력 데이터로부터 현재 사용자의 사용자 특징을 추출하는 단계; 상기 추출된 사용자 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계; 및 상기 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 상기 현재 사용자에 대한 식별자를 생성하고, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인식 방법에서, 상기 현재 사용자의 식별자를 추정하는 단계는, 상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 및 상기 유사도에 기초하여 현재 사용자에 대응되는 식별자가 존재하는지 여부를 결정하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인식 방법에서, 상기 사용자 데이터를 업데이트하는 단계는, 상기 추출된 사용자 특징과 상기 사용자 데이터에 저장된 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인식 방법에서, 상기 현재 사용자의 식별자를 추정하는 단계는, 상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 상기 유사도가 미리 설정된 조건을 만족시키는 경우, 상기 기존 사용자의 식별자를 상기 현재 사용자에 할당하는 단계; 및 상기 추출된 사용자 특징에 기초하여 상기 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인식 방법에서, 상기 현재 사용자의 식별자를 추정하는 단계는, 상기 현재 사용자에 대해 추출된 복수의 사용자 특징들에 기초하여 중간 레벨 특징(mid-level feature)을 결정하는 단계; 및 상기 중간 레벨 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계를 포함할 수 있다.
다른 실시예에 따른 사용자 인식 방법은, 이미지 데이터에서 현재 사용자의 사용자 영역을 추출하는 단계; 상기 사용자 영역으로부터 상기 현재 사용자의 사용자 특징을 추출하는 단계; 상기 추출된 사용자 특징 및 미리 저장된 사용자 데이터에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계; 및 상기 추정 결과에 따라 무감독 학습을 수행하거나 또는 상기 사용자 데이터에 포함된 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인식 장치는, 입력 데이터부터 현재 사용자의 사용자 특징을 추출하는 사용자 특징 추출부; 상기 추출된 사용자 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 사용자 식별자 추정부; 및 상기 상기 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 상기 현재 사용자에 대한 식별자를 생성하고, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트하는 사용자 데이터 업데이트부를 포함할 수 있다.
일실시예에 따른 사용자 인식 장치에서, 상기 사용자 식별자 추정부는, 상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 유사도 결정부를 포함할 수 있다.
일실시예에 따른 사용자 인식 장치에서, 상기 유사도 결정부는, 상기 현재 사용자에 대해 추출된 복수의 사용자 특징들에 기초하여 중간 레벨 특징을 결정하는 중간 레벨 특징 결정부를 포함할 수 있다.
일실시예에 따른 사용자 인식 장치에서, 상기 사용자 데이터 업데이트부는, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 무감독 학습을 수행하는 무감독 학습 수행부를 포함할 수 있다.
일실시예에 따른 사용자 인식 장치에서, 상기 사용자 특징 추출부는, 상기 이미지 데이터에서 현재 사용자의 사용자 영역을 추출하고, 상기 추출된 사용자 영역을 다른 컬러 모델로 변환하는 전처리부를 포함할 수 있다.
도 1은 일실시예에 따른 사용자 인식 장치의 구성을 도시한 도면이다.
도 2는 일실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
도 3은 일실시예에 따른 사용자의 의복 특징을 추출하는 일례를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 중간 레벨 특징을 결정하는 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 중간 레벨 특징에 기초하여 사용자 레이블을 결정하는 과정을 도시한 흐름도이다.
도 6은 일실시예에 따른 사용자 특징을 추출하는 과정을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 각각의 사용자 특징들에 기초하여 사용자 레이블을 결정하는 과정을 도시한 흐름도이다.
도 8은 일실시예에 따른 추출된 사용자 특징에 기초하여 클러스터의 분류기를 업데이트하는 과정을 도시한 흐름도이다.
도 9는 일실시예에 따른 무감독 학습을 수행하는 과정을 도시한 흐름도이다.
도 10은 다른 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
도 11은 또 다른 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 사용자 인식 방법은 사용자 인식 장치에 의해 수행될 수 있으며, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 사용자 인식 장치(100)의 구성을 도시한 도면이다.
사용자 인식 장치(100)는 입력 데이터(예를 들어, 이미지 데이터, 오디오 데이터 등)에 기초하여 사용자의 수를 추정하고, 사용자 간에 서로 구분하여 인식할 수 있다. 사용자 인식 장치(100)는 사용자의 얼굴 정보를 이용하지 않더라도 사용자의 다양한 시각적 특징, 청각적 특징에 기초하여 사용자가 누구인지를 결정할 수 있다. 사용자 인식 장치(100)는 사용자 인식을 위해 사용자의 다양한 특징을 이용함으로써, 사용자의 옷, 체형, 이동 경로 등이 변하거나 또는 조명 등의 주변 환경이 변하더라도 동일 사용자를 효과적으로 인식할 수 있다.
사용자 인식 장치(100)는 새로운 사용자가 인식된 경우, 무감독 학습(unsupervised learning)을 통해 새로운 사용자에 대한 카테고리 또는 클러스터를 설정하고, 이미 저장되어 있는 사용자 데이터를 업데이트할 수 있다. 사용자 인식 장치(100)는 인식하려는 대상인 현재 사용자가 기존 사용자에 대응한다고 결정한 경우에는, 현재 사용자로부터 추출한 정보에 기초하여 기존 사용자의 데이터를 업데이트할 수 있다. 이에 따라, 사용자 인식 장치(100)는 사용자에 대한 별도의 사전 학습, 정보가 없더라도 사용자를 인식할 수 있고, 사용자 데이터를 지속적으로 업데이트할 수 있다.
도 1을 참조하면, 사용자 인식 장치(100)는 사용자 특징 추출부(110), 사용자 식별자 추정부(120) 및 사용자 데이터 업데이트부(130)를 포함할 수 있다.
사용자 특징 추출부(110)는 이미지 데이터, 오디오 데이터 등과 같은 입력 데이터로부터 사용자의 특징을 추출할 수 있다. 예를 들어, 사용자 특징 추출부(110)는 이미지 데이터 또는 오디오 데이터를 사용자별로 분할하고, 분할된 이미지 데이터 또는 분할된 오디오 데이터로부터 현재 사용자의 사용자 특징을 추출할 수 있다. 예를 들어, 사용자 특징 추출부(110)는 이미지 데이터에 복수의 사용자들이 존재하는 경우, 사용자별로 사용자 영역을 분할하고, 각 사용자 영역에서 사용자 특징을 추출할 수 있다. 다른 실시예에 따르면, 사용자 특징 추출부(110)는 이미지 데이터 또는 오디오 데이터에서 사용자 특징을 추출하기 전에, 이미지 데이터 또는 오디오 데이터에 포함된 노이즈를 먼저 제거할 수도 있다.
사용자 특징 추출부(110)는 이미지 데이터로부터 현재 사용자의 얼굴, 의복(clothing), 헤어 스타일(hair style), 체형(body shape), 걸음걸이(gait) 등의 사용자 특징을 추출할 수 있다.
일실시예에 따르면, 사용자 특징 추출부(110)는 의복의 사용자 특징을 추출하기 위해, 이미지 데이터에서 현재 사용자의 패치(patch) 영역을 추출할 수 있다. 패치 영역은 12(x) x 12(y) 등으로 구성된 작은 영역을 나타낸다. 사용자 특징 추출부(110)는 추출된 패치 영역으로부터 컬러 정보 및 형태 정보를 추출하고, 추출된 컬러 정보 및 형태 정보에 기초하여 현재 사용자의 의복에 관한 사용자 특징을 결정할 수 있다. 의복의 사용자 특징을 추출하는 과정은 도 3에서 보다 자세히 설명하도록 한다.
사용자 특징 추출부(110)는 헤어 스타일의 사용자 특징을 추출하기 위해, 이미지 데이터에서 현재 사용자의 헤어 영역에 관한 속성을 추출할 수 있다. 예를 들어, 헤어 영역에 관한 속성은 헤어 컬러(hair color), 헤어 부피(hair volume), 헤어 길이(hair length), 헤어 텍스쳐(hair texture), 헤어가 차지하는 표면적(surface area covered by hair), 헤어라인(hairline), 헤어 대칭성(hair symmetry) 등을 포함할 수 있다.
사용자 특징 추출부(110)는 체형의 사용자 특징을 추출하기 위해, 이미지 데이터에서 현재 사용자의 체형에 관한 특징점으로서 랜드마크(landmark)를 추출하고, 추출된 랜드마크의 주변 정보에 기초하여 현재 사용자의 체형 특징 분포(user body shape feature distribution)를 결정할 수 있다. 예를 들어, 사용자 특징 추출부(110)는 랜덤 검출, SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature) 등의 특징점 추출 방법, 또는 밀집 추출(dense sampling) 방법을 이용하여 이미지 데이터에서 사용자의 랜드마크를 추출할 수 있다. 사용자 특징 추출부(110)는 체형 특징 분포에 기초하여 현재 사용자의 체형에 대한 사용자 특징을 결정할 수 있다.
일실시예에 따르면, 사용자 특징 추출부(110)는 걸음걸이의 사용자 특징을 추출하기 위해, 걸음걸이 에너지 이미지(Gait Energy Image, GEI), Enhanced GEI, 활동 에너지 이미지(Active Energy Image), 걸음걸이 흐름 이미지(Gait Flow Image) 등의 이미지와 현재 사용자의 키, 걸음걸이 폭 등의 시간에 따른 변화 정보를 이용할 수 있다. 사용자 특징 추출부(110)는 GEI 등의 이미지, 키의 시간에 따른 변화, 및 걸음걸이 폭의 시간에 따른 변화를 결합하여 걸음걸이의 사용자 특징(예를 들어, 걸음걸이에 대한 너비 신호(width signal), 높이 신호(height signal) 등)을 결정할 수 있으나, 특정 방법에 의해 실시예의 범위가 제한되는 것은 아니다.
사용자 특징 추출부(110)는 오디오 데이터로부터 현재 사용자의 성문(voice print), 발소리(footstep) 등의 사용자 특징을 추출할 수 있다. 성문은 사용자마다 가지고 있는 고유 특징으로, 시간이 흐르더라도 변하지 않는 특성을 가진다. 발소리는 사용자의 습관, 체형, 체중, 사용자가 선호하는 신발의 종류 등에 따라 고유한 특징을 가지고 있다.
다른 실시예에 따르면, 사용자 특징 추출부(110)는 사용자 특징이 추출되기 이전에 이미지 데이터의 전처리 과정을 수행하는 전처리부(140)를 추가적으로 포함할 수 있다. 전처리부(140)는 이미지 데이터에서 현재 사용자의 사용자 영역을 추출하고, 추출된 사용자 영역을 다른 컬러 모델(color model)로 변환할 수 있다. 예를 들어, 전처리부(140)는 추출된 현재 사용자의 사용자 영역을 HSV(Hue-Saturation-Value) 등의 다른 컬러 모델로 변환할 수 있다. 전처리부(140)는 HSV의 컬러 모델에서 조명 변화에 강인한 Hue 채널 및 Saturation 채널을 이용하고, Value 채널은 이용하지 않을 수 있으나, 특정 채널의 이용에 의해 실시예의 범위가 제한되지는 않는다. 사용자 특징 추출부(110)는 전처리 과정이 수행된 이미지 데이터로부터 현재 사용자의 사용자 특징을 추출할 수 있다. 앞서 설명한 것과 동일한 방법을 통해 전처리 과정이 수행된 이미지 데이터로부터 현재 사용자의 사용자 특징이 추출될 수 있다.
사용자 식별자 추정부(120)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 사용자 레이블(user label)과 같은 현재 사용자의 식별자를 추정할 수 있다. 사용자 식별자 추정부(120)는 추출된 사용자 특징에 기초하여 현재 사용자와 사용자 데이터에 포함된 기존 사용자 간의 대응 여부를 판단하고, 판단 결과에 기초하여 현재 사용자의 식별자를 추정할 수 있다. 예를 들어, 사용자 식별자 추정부(120)는 사용자 데이터에 기초하여 현재 사용자에 대응하는 식별자가 존재하는지 여부를 판단할 수 있다. 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 사용자 식별자 추정부(120)는 현재 사용자에 대한 새로운 식별자를 생성할 수 있다. 사용자 데이터 업데이트부(130)는 사용자 식별자 추정부(120)의 추정 결과에 따라 무감독 학습을 수행하거나 또는 사용자 데이터에 포함된 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다. 사용자 데이터 업데이트부(130)는 무감독 학습을 수행하는 무감독 학습 수행부(170)를 포함할 수 있다. 현재 사용자에 대한 새로운 식별자가 생성된 경우, 사용자 데이터 업데이트부(130)는 생성된 식별자와 현재 사용자로부터 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트할 수 있다.
사용자 식별자 추정부(120)는 유사도 결정부(150)를 포함할 수 있다. 유사도 결정부(150)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도(likelihood)를 결정할 수 있다. 현재 사용자와 기존 사용자 간의 유사도는 현재 사용자가 기존 사용자에 매칭될 확률을 나타낸다. 특정 기존 사용자에 대한 유사도가 높다는 것은 현재 사용자가 특정 기존 사용자에 매칭될 확률이 높다는 것을 나타내고, 특정 기존 사용자에 대한 유사도가 낮다는 것은 현재 사용자가 특정 기존 사용자에 매칭될 확률이 낮다는 것을 나타낸다.
사용자 데이터는 서로 구별되는 특정 사용자들의 특징 데이터들을 포함할 수 있다. 예를 들어, 사용자 데이터는 사용자 A의 사용자 특징 데이터, 사용자 B의 사용자 특징 데이터, 사용자 C의 사용자 특징 데이터 등을 포함할 수 있다. 사용자 데이터에서, 사용자 A, 사용자 B, 사용자 C는 서로 다른 클러스터(cluster)를 형성하고, 각 클러스터에는 해당 사용자에 관한 특징 데이터를 포함할 수 있다. 사용자 데이터에는 새로운 사용자에 대한 클러스터가 추가될 수 있고, 각 클러스터들 간의 경계는 학습을 통해 변할 수 있다.
사용자 식별자 추정부(120)는 현재 사용자와 기존 사용자 간의 유사도가 미리 설정된 조건을 만족시키는 경우, 기존 사용자의 식별자를 현재 사용자에 할당할 수 있다. 예를 들어, 사용자 식별자 추정부(120)는 미리 설정된 임계값보다 크고, 기존 사용자들에 대한 유사도 중 가장 큰 유사도를 가지는 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 그 후, 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다.
사용자 식별자 추정부(120)는 현재 사용자와 기존 사용자 간의 유사도가 미리 설정된 조건을 만족시키지 않는 경우, 현재 사용자에 기존 사용자의 식별자와 다른 새로운 식별자를 할당할 수 있다. 예를 들어, 사용자 식별자 추정부(120)는 기존 사용자들에 대한 유사도들이 모두 미리 설정된 임계값 이하인 경우, 기존 사용자들의 식별자들과 다른 새로운 식별자를 현재 사용자에 할당할 수 있다. 그 후, 무감독 학습 수행부(170)는 현재 사용자에 할당된 새로운 식별자, 현재 사용자로부터 추출된 사용자 특징, 및 사용자 데이터에 저장된 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다. 예를 들어, 무감독 학습 수행부(170)는 K-means 클러스터링, SOM(Self Organized MAP) 등을 이용하여 사용자 데이터에 대해 무감독 학습을 수행할 수 있다.
사용자 식별자 추정부(120)는 현재 사용자에 대응되는 기존 사용자가 존재하는 경우, 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 예를 들어, 유사도 결정부(150)는 현재 사용자로부터 추출된 사용자 특징과 사용자 데이터에 포함된 각 기존 사용자의 사용자 특징 간의 유사도를 계산할 수 있고, 사용자 식별자 추정부(120)는 계산된 유사도에 기초하여 현재 사용자로부터 추출된 사용자 특징이 새로운 특징인지 여부를 결정할 수 있다. 현재 사용자로부터 추출된 사용자 특징이 새로운 특징이 아닌, 기존 사용자의 사용자 특징이라고 결정한 경우, 사용자 식별자 추정부(120)는 해당 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 그 후, 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자에 대응되는 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다. 예를 들어, 현재 사용자가 기존 사용자 A에 대응되는 것으로 결정된 경우, 사용자 데이터 업데이트부(130)는 현재 사용자를 사용자 A로 인식하고, 현재 사용자로부터 추출된 사용자 특징에 기초하여 사용자 A에 관한 특징 데이터를 업데이트할 수 있다.
사용자 식별자 추정부(120)는 현재 사용자에 대응되는 기존 사용자가 존재하지 않는 경우, 현재 사용자에 기존 사용자의 식별자와 다른 식별자를 할당할 수 있다. 무감독 학습 수행부(170)는 현재 사용자로부터 추출된 사용자 특징과 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다. 예를 들어, 현재 사용자가 사용자 데이터에 포함된 어느 기존 사용자들과도 대응되지 않는 것으로 결정된 경우, 사용자 식별자 추정부(120)는 현재 사용자에 기존 사용자들의 식별자들과 다른 새로운 식별자를 할당할 수 있다. 그 후, 무감독 학습 수행부(170)는 사용자 데이터에 새로운 식별자에 관한 클러스터를 추가하고, 현재 사용자로부터 추출된 사용자 특징과 기존 사용자들의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다.
이하에서는, 현재 사용자의 식별자를 추정하는 과정을 보다 자세히 설명하도록 한다.
일실시예에 따르면, 유사도 결정부(150)는 현재 사용자로부터 추출된 사용자 특징별로 현재 사용자와 사용자 데이터에 저장된 각 기존 사용자들 간의 제1 유사도를 결정하고, 사용자 특징별 결정된 제1 유사도에 기초하여 각각의 기존 사용자들에 대한 제2 유사도를 결정할 수 있다. 사용자 식별자 추정부(120)는 기존 사용자들에 대한 제2 유사도들 중 가장 크고, 미리 설정된 임계값 이상의 제2 유사도를 가지는 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 현재 사용자에 기존 사용자의 식별자가 할당된 경우, 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 기존 사용자의 특징 데이터를 업데이트할 수 있다. 사용자 식별자 추정부(120)는 기존 사용자들에 대한 제2 유사도들이 미리 설정된 임계값보다 작은 경우, 기존 사용자의 식별자와 다른 새로운 식별자를 현재 사용자에 할당할 수 있다. 새로운 식별자가 현재 사용자에 할당된 경우, 무감독 학습 수행부(170)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다.
예를 들어, 이미지 데이터로부터 현재 사용자의 헤어 스타일과 체형의 사용자 특징이 추출되었고, 기존 사용자로서 사용자 A와 사용자 B가 존재한다고 가정하면, 유사도 결정부(150)는 헤어 스타일에 대한 현재 사용자와 기존 사용자 A 간의 제1 유사도, 체형에 대한 현재 사용자와 기존 사용자 A 간의 제1 유사도, 헤어 스타일에 대한 현재 사용자와 기존 사용자 B 간의 제1 유사도, 및 체형에 대한 현재 사용자와 기존 사용자 B 간의 제1 유사도를 결정할 수 있다. 그 후, 유사도 결정부(150)는 헤어 스타일에 대한 현재 사용자와 기존 사용자 A 간의 제1 유사도와 체형에 대한 현재 사용자와 기존 사용자 A 간의 제1 유사도에 기초하여 현재 사용자와 기존 사용자 A 간의 제2 유사도를 결정하고, 헤어 스타일에 대한 현재 사용자와 기존 사용자 B 간의 제1 유사도와 체형에 대한 현재 사용자와 기존 사용자 B 간의 제1 유사도에 기초하여 현재 사용자와 기존 사용자 B 간의 제2 유사도를 결정할 수 있다. 사용자 식별자 추정부(120)는 현재 사용자와 기존 사용자 A 간의 제2 유사도가 현재 사용자와 기존 사용자 B 간의 제2 유사도보다 크고, 미리 설정된 임계값보다 큰 경우, 현재 사용자를 기존 사용자 A로 인식할 수 있다. 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 헤어 스타일, 체형의 사용자 특징에 기초하여 기존 사용자 A에 관한 분류기(classifier)를 업데이트할 수 있다. 현재 사용자와 기존 사용자 A 간의 제2 유사도와 현재 사용자와 기존 사용자 B 간의 제2 유사도가 모두 미리 설정된 임계값 이하인 경우, 사용자 식별자 추정부(120)는 현재 사용자에 새로운 식별자 C를 할당하고, 현재 사용자를 새로운 사용자 C로 인식할 수 있다.
무감독 학습 수행부(170)는 기존 사용자 A, B 및 새로운 사용자 C에 관한 클러스터를 기반으로, 현재 사용자로부터 추출된 헤어 스타일, 체형의 사용자 특징과 미리 저장된 기존 사용자 A, B의 특징 데이터들에 기초하여 무감독 학습을 수행할 수 있다. 무감독 학습의 결과로서, 기존 사용자 A, B의 특징 데이터들에 대한 클러스터 경계가 변할 수 있다.
다른 실시예에 따르면, 유사도 결정부(150)는 중간 레벨 특징 결정부(160)를 포함할 수 있다. 중간 레벨 특징 결정부(160)는 현재 사용자로부터 추출된 사용자 특징들에 기초하여 중간 레벨 특징(mid-level feature)를 생성할 수 있고, 사용자 식별자 추정부(120)는 중간 레벨 특징에 기초하여 현재 사용자의 식별자를 추정할 수 있다. 예를 들어, 중간 레벨 특징 결정부(160)는 현재 사용자로부터 추출된 복수의 사용자 특징들을 결합하는 것에 의해 현재 사용자로부터 추출된 복수의 사용자 특징들을 벡터화하거나 또는 학습 데이터로부터 생성된 코드워드(codeword)에 기초하여 현재 사용자로부터 추출된 복수의 사용자 특징들을 벡터화(vectorization)할 수 있다. 유사도 결정부(150)는 중간 레벨 특징에 기초하여 현재 사용자와 기존 사용자간의 유사도를 결정할 수 있다. 사용자 식별자 추정부(120)는 기존 사용자들에 대한 유사도들 중 가장 크고, 미리 설정된 임계값 이상의 유사도를 가지는 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 현재 사용자에 기존 사용자의 식별자가 할당된 경우, 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 기존 사용자의 특징 데이터를 업데이트할 수 있다. 사용자 식별자 추정부(120)는 기존 사용자들에 대한 유사도들이 미리 설정된 임계값보다 작은 경우, 기존 사용자의 식별자와 다른 새로운 식별자를 현재 사용자에 할당할 수 있다. 새로운 식별자가 현재 사용자에 할당된 경우, 무감독 학습 수행부(170)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다.
예를 들어, 이미지 데이터로부터 현재 사용자의 헤어 스타일과 체형의 사용자 특징이 추출되었고, 기존 사용자 A, B가 존재한다고 가정한다. 중간 레벨 특징 결정부(160)는 추출된 현재 사용자의 헤어 스타일과 체형의 사용자 특징들을 단순 결합하고 벡터화하거나 또는 BoW(Bag of Words) 방식을 통해 현재 사용자의 헤어 스타일과 체형의 사용자 특징들을 중간 레벨 특징으로 변환할 수 있다. 유사도 결정부(150)는 중간 레벨 특징에 기초하여 현재 사용자와 기존 사용자 A 간의 유사도와 현재 사용자와 기존 사용자 B 간의 유사도를 결정할 수 있다. 사용자 식별자 추정부(120)는 현재 사용자와 기존 사용자 A 간의 유사도가 현재 사용자와 기존 사용자 B 간의 유사도보다 크고, 미리 설정된 임계값보다 큰 경우, 현재 사용자를 기존 사용자 A로 인식할 수 있다. 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 헤어 스타일, 체형의 사용자 특징에 기초하여 기존 사용자 A에 관한 분류기를 업데이트할 수 있다. 현재 사용자와 기존 사용자 A 간의 유사도와 현재 사용자와 기존 사용자 B 간의 유사도가 모두 미리 설정된 임계값 이하인 경우, 사용자 식별자 추정부(120)는 현재 사용자에 새로운 식별자 C를 할당하고, 현재 사용자를 새로운 사용자 C로 인식할 수 있다. 무감독 학습 수행부(170)는 기존 사용자 A, B 및 새로운 사용자 C에 관한 클러스터를 기반으로, 현재 사용자로부터 추출된 헤어 스타일, 체형의 사용자 특징과 미리 저장된 기존 사용자 A, B의 특징 데이터들에 기초하여 무감독 학습을 수행할 수 있다.
도 2는 일실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
단계(210)에서, 사용자 인식 장치는 이미지 데이터, 오디오 데이터 등과 같은 입력 데이터를 사용자별로 분할할 수 있다. 사용자 인식 장치는 사용자별로 분할된 이미지 데이터 및 오디오 데이터에서 현재 사용자의 사용자 영역을 추출하고, 추출된 사용자 영역의 컬러 모델을 변환할 수 있다. 또는, 사용자 인식 장치는 이미지 데이터 및 오디오 데이터에서 노이즈를 제거할 수도 있다.
단계(220)에서, 사용자 인식 장치는 사용자별로 분할된 입력 데이터로부터 사용자의 다중 특징(multi-modal feature)을 추출할 수 있다. 예를 들어, 사용자 인식 장치는 사용자 별로 분할된 입력 데이터로부터 헤어 스타일에 대한 특징, 의복에 대한 특징, 체형에 대한 특징, 성문에 대한 특징, 걸음걸이에 대한 특징 등을 추출할 수 있다.
단계(230)에서, 사용자 인식 장치는 추출된 다중 특징에 기초하여 사용자 레이블을 추정할 수 있다.
구체적으로, 단계(240)에서, 사용자 인식 장치는 이미지 데이터 또는 오디오 데이터로부터 추출된 현재 사용자의 특징이 이전에 식별되지 않은 새로운 특징인지 여부를 결정할 수 있다. 예를 들어, 사용자 인식 장치는 추출된 현재 사용자의 특징과 사용자 데이터에 포함된 기존 사용자들의 특징 데이터에 기초하여 현재 사용자와 사용자 데이터에 포함된 기존 사용자들 간의 유사도를 결정하고, 결정된 유사도에 기초하여 추출된 특징이 이전에 식별되지 않은 새로운 사용자의 특징인지 여부를 결정할 수 있다.
단계(250)에서, 현재 사용자로부터 추출된 특징과 사용자 데이터에 포함된 기존 사용자로부터 추출된 특징 간의 유사도가 낮은 경우, 사용자 인식 장치는 현재 사용자를 새로운 사용자로 인식하고, 현재 사용자에 대한 새로운 사용자 레이블을 생성할 수 있다. 새로운 사용자 레이블이 생성됨에 따라, 사용자 데이터에 새로운 사용자 레이블에 대응하는 클러스터가 추가될 수 있다.
단계(260)에서, 사용자 인식 장치는 현재 사용자로부터 추출된 특징과 사용자 데이터에 포함된 기존 사용자들의 특징 데이터에 기초하여 K-means 클러스터링 등과 같은 무감독 클러스터링(unsupervised clustering)을 수행할 수 있다.
사용자 데이터는 초기에 별도의 사용자 등록 절차를 통해 생성되거나 또는 별도의 사용자 등록 절차 없이도 무감독 클러스터링을 통해 생성될 수 있다. 예를 들어, 초기에는 사용자 데이터에 0명의 사용자가 등록되어 있고, 사용자로부터 추출된 특징이 새로운 특징인 것으로 결정되어 새로운 사용자 레이블 생성 단계 및 무감독 클러스터링 수행 단계가 수행될 수 있다. 그 결과, 별도의 사용자 등록 절차가 수행되지 않더라도, 사용자 데이터에 사용자들에 대한 특징 데이터가 축적될 수 있다.
단계(270)에서, 현재 사용자로부터 추출된 특징과 사용자 데이터에 포함된 기존 사용자로부터 추출된 특징 간의 유사도가 높은 경우, 사용자 인식 장치는 해당 기존 사용자의 사용자 레이블을 현재 사용자에 할당할 수 있다. 사용자 인식 장치는 현재 사용자로부터 추출된 특징에 기초하여 해당 기존 사용자의 클러스터 속성을 업데이트할 수 있다.
단계(280)에서, 사용자 인식 장치는 단계(250)에서 생성된 새로운 사용자 레이블 또는 단계(270)에서 현재 사용자에 할당된 기존 사용자의 사용자 레이블을 현재 사용자의 사용자 레이블로서 출력할 수 있다.
도 3은 일실시예에 따른 사용자의 의복 특징을 추출하는 일례를 설명하기 위한 도면이다.
사용자 인식 장치는 현재 사용자의 사용자 영역(310)에서 패치(patch) 영역(320)을 샘플링 또는 추출할 수 있다. 예를 들어, 패치 영역(320)의 샘플링은 랜덤 위치에서 패치 영역을 추출하는 방법, SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature) 등을 이용하여 주요 위치를 추출하고, 추출된 주요 위치에서 패치 영역을 추출하는 방법, 또는 밀집 추출(Dense Sampling) 방법 등이 이용될 수 있다. 밀집 추출 방법은 특정 조건 없이, 일정한 간격으로 많은 수의 패치 영역을 추출하는 방법으로, 밀집 추출 방법을 통해 사용자 영역에서 충분한 정보가 추출될 수 있다.
추출된 패치 영역의 정보는 다양한 요인(factor)들이 혼합되어 존재하기 때문에, 사용자 인식 장치는 MoG(Mixture of Gaussian) 또는 MoFA(Mixture of Factor Analysis) 등을 이용하여 패치 영역에 포함된 다양한 요인들을 서로 분리할 수 있다. 도 3에서는, MoG(330)를 이용하는 일례가 도시되어 있다. MoG(330)는 아래의 수학식 1과 같이 나타낼 수 있다.
Figure PCTKR2014003922-appb-I000001
수학식 1에서, K 는 혼합된 Gaussian 분포의 개수,
Figure PCTKR2014003922-appb-I000002
는 k 번째 Gaussian 분포의 가중치,
Figure PCTKR2014003922-appb-I000003
는 k 번째 Gaussian 분포의 평균,
Figure PCTKR2014003922-appb-I000004
는 k 번째 Gaussian 분포의 표준편차, Norm은 평균과 표준편차로 표현되는 정규 Gaussian 분포를 나타낸다.
Figure PCTKR2014003922-appb-I000005
는 Gaussian 분포의 혼합을 나타내는 파라미터
Figure PCTKR2014003922-appb-I000006
가 주어졌을 때 데이터 x의 확률을 나타낸다. 데이터 x의 확률은 주어진
Figure PCTKR2014003922-appb-I000007
Figure PCTKR2014003922-appb-I000008
로 나타내는 MoG(Mixture of Gaussian)로 표현될 수 있다.
사용자 인식 장치는 각 패치 영역으로부터 컬러 히스토그램(color histogram) 등의 컬러 정보(340), MCT(Modified Census Transform) 및 HoG(Histogram of Oriented Gradient) 등의 형태 정보(350)를 추출할 수 있다. 사용자 인식 장치는 패치 영역(320)으로부터 추출된 컬러 정보(340), 형태 정보(350)에 기초하여 현재 사용자의 의복 특징을 결정할 수 있다.
도 4는 일실시예에 따른 중간 레벨 특징을 결정하는 과정을 설명하기 위한 도면이다.
사용자 인식 장치는 이미지 데이터로부터 의복 디스크립터(descriptor), 체형 디스크립터, 헤어 스타일 디스크립터, 걸음걸이 디스크립터 등의 사용자 특징을 추출할 수 있다. 또한, 사용자 인식 장치는 오디오 데이터로부터 성문 디스크립터, 발소리 디스크립터 등의 사용자 특징을 추출할 수 있다. 사용자 인식 장치는 추출된 의복 디스크립터, 체형 디스크립터, 헤어 스타일 디스크립터, 걸음걸이 디스크립터, 성문 디스크립터, 발소리 디스크립터 등의 사용자 특징들에 기초하여 중간 레벨 특징을 구성할 수 있다. 중간 레벨 특징은 다양한 방법을 통해 구성될 수 있다.
예를 들어, 사용자 인식 장치는 추출된 각 사용자 특징들의 단순 결합에 의한 벡터화를 통해 중간 레벨 특징을 구성할 수 있다. 다른 예로, 사용자 인식 장치는 다양한 학습 데이터로부터 나타날 수 있는 특징 데이터를 미리 클러스터링하여 생성한 코드워드로부터 BoW(Bag of Words)를 구성할 수 있다. BoW 방식은 이미지 데이터에서 추출한 특징을 벡터 양자화를 통해 시각적 단어(visual word)로 표현하여 특정한 값으로 나타내는 방식이다. 이 외에도, 사용자 인식 장치는 다양한 방법을 이용하여 현재 사용자로부터 추출한 다중 특징을 중간 레벨 특징으로 구성할 수 있으며, 특정 방법에 의해 실시예의 범위가 제한되는 것은 아니다.
도 5는 일실시예에 따른 중간 레벨 특징에 기초하여 사용자 레이블을 결정하는 과정을 도시한 흐름도이다.
단계(510)에서, 사용자 인식 장치는 중간 레벨 특징에 기초하여 현재 사용자와 사용자 데이터 포함된 기존 사용자들 간의 유사도를 결정할 수 있다. 사용자 인식 장치는 중간 레벨 특징을 입력으로 하고, 기존 사용자들에 대한 분류기를 이용하여 현재 사용자가 기존 사용자에 매칭될 확률을 계산할 수 있다. 사용자 인식 장치는 각 기존 사용자들에 대응하는 클러스터의 분류기를 이용하여 중간 레벨 특징이 각 클러스터에 속할 확률을 계산할 수 있다.
예를 들어, 사용자 데이터에 등록된 기존 사용자의 수가 2이고, 각 기존 사용자가 A와 B의 사용자 레이블을 가지며, 각각의 사용자 특징에 대한 확률 분포 함수(Probabilistic Density Function, PDF) Pr(x)를 가지는 경우, 중간 레벨 특징 x 에 따른 확률을 유사도로 정의할 수 있다. 예를 들어, 확률 분포 함수는 Multivariate Gaussian Distribution PDF 등이 이용될 수 있다. 확률 분포 함수를 순수 베이즈 분류기(Naive bayes classifier)에 적용하면 다음의 수학식 2와 같이 나타낼 수 있다.
Figure PCTKR2014003922-appb-I000009
Figure PCTKR2014003922-appb-I000010
수학식 2에서, P(c|x)는 중간 레벨 특징 x가 주어졌을 때, 현재 사용자의 사용자 레이블이 c일 확률을 나타내고, P(x|c)는 유사도(likelihood)로서, 사용자 레이블 c에 대한 확률 분포 함수로부터 중간 레벨 특징 x가 가지는 확률을 의미한다. P(c)는 사전 확률(prior probability)를 나타낸다. 이 외에도, 중간 레벨 특징이 특정 클래스에 속할 확률을 결정하기 위해 RBM(Restricted Boltzman Machine)기반의 DBN(Deep Belief Network), DBM(Deep Boltzman Machine), CNN(Convolutional Neural Network), Random Forest 등이 이용될 수 있다.
단계(520)에서, 사용자 인식 장치는 각 기존 사용자들에 대한 유사도가 미리 설정된 임계값보다 작은지 여부를 판단할 수 있다.
단계(530)에서, 사용자 인식 장치는 미리 설정된 임계값보다 크고, 기존 사용자들에 대한 유사도들 중 가장 큰 유사도를 가지는 기존 사용자의 사용자 레이블을 현재 사용자의 사용자 레이블로서 출력할 수 있다.
단계(540)에서, 사용자 인식 장치는 기존 사용자들에 대한 유사도들이 모두 미리 설정된 임계값 이하인 경우, 현재 사용자를 새로운 사용자로 인식하고, 현재 사용자에 대한 새로운 사용자 레이블을 생성할 수 있다. 사용자 인식 장치는 새로이 생성된 사용자 레이블을 현재 사용자의 사용자 레이블로서 출력할 수 있다.
도 6은 일실시예에 따른 사용자 특징을 추출하는 과정을 설명하기 위한 도면이다.
사용자 인식 장치는 이미지 데이터로부터 의복 디스크립터, 체형 디스크립터, 헤어 스타일 디스크립터, 걸음걸이 디스크립터 등의 사용자 특징을 추출할 수 있다. 또한, 사용자 인식 장치는 오디오 데이터로부터 성문 디스크립터, 발소리 디스크립터 등의 사용자 특징을 추출할 수 있다. 사용자 인식 장치는 의복 디스크립터, 체형 디스크립터, 헤어 스타일 디스크립터, 걸음걸이 디스크립터, 성문 디스크립터, 발소리 디스크립터 등의 사용자 특징들을 중간 레벨 특징으로 구성하지 않고, 각 사용자 특징들을 독립적으로 이용하여 사용자 인식 과정을 수행할 수 있다.
도 7은 일실시예에 따른 각각의 사용자 특징들에 기초하여 사용자 레이블을 결정하는 과정을 도시한 흐름도이다.
단계(710)에서, 사용자 인식 장치는 사용자 특징별로 현재 사용자와 사용자 데이터 포함된 기존 사용자들 간의 제1 유사도를 결정할 수 있다. 사용자 인식 장치는 사용자 데이터 포함된 기존 사용자들의 개별 특징 분류기를 이용하여 현재 사용자와 기존 사용잔 간의 제1 유사도를 결정할 수 있다. 예를 들어, 사용자 데이터에 포함된 기존 사용자의 수가 K 이고, 현재 사용자로부터 추출된 사용자 특징이 F개인 경우, 기존 사용자들에 대한 특징 분류기의 수는 K x F 개가 존재할 수 있다.
단계(720)에서, 사용자 인식 장치는 베이지안 추정(Bayesian Estimation) 또는 가중 평균(weighted averaging)을 이용하여 기존 사용자들에 대한 제2 유사도를 결정할 수 있다. 사용자 인식 장치는 개별 특징 분류기에 의해 결정된 특정 기존 사용자의 제1 유사도들에 기초하여 특정 기존 사용자와 현재 사용자 간의 제2 유사도를 결정할 수 있다. 예를 들어, 사용자 인식 장치는 다음의 수학식 3과 같은 베이지안 추정을 이용하여 제2 유사도를 결정할 수 있다.
Figure PCTKR2014003922-appb-I000011
수학식 3에서, Pi(c|x)는 추출된 사용자 특징이 F 개 있을 때, 사용자 특징 i 에서 현재 사용자의 사용자 레이블이 c일 확률을 나타낸다. P(c|x)는 추출된 모든 사용자 특징에 대해 현재 사용자의 사용자 레이블이 c일 확률을 나타낸다.
다른 예로, 사용자 인식 장치는 다음의 수학식 4와 같은 가중 평균을 이용하여 평균 형태의 제2 유사도를 결정할 수 있다.
Figure PCTKR2014003922-appb-I000012
수학식 4에서, Pi(c|x)는 추출된 사용자 특징이 F 개 있을 때, 사용자 특징 i 에서 현재 사용자의 사용자 레이블이 c일 확률을 나타낸다. P(c|x)는 추출된 모든 사용자 특징에 대해 현재 사용자의 사용자 레이블이 c일 확률을 나타낸다.
단계(730)에서, 사용자 인식 장치는 각 기존 사용자들에 대한 제2 유사도가 미리 설정된 임계값보다 작은지 여부를 판단할 수 있다.
단계(740)에서, 사용자 인식 장치는 미리 설정된 임계값보다 크고, 기존 사용자들에 대한 제2 유사도들 중 가장 큰 제2 유사도를 가지는 기존 사용자의 사용자 레이블을 현재 사용자의 사용자 레이블로서 출력할 수 있다.
단계(750)에서, 사용자 인식 장치는 기존 사용자들에 대한 제2 유사도들이 모두 미리 설정된 임계값 이하인 경우, 현재 사용자를 새로운 사용자로 인식하고, 현재 사용자에 대한 새로운 사용자 레이블을 생성할 수 있다. 사용자 인식 장치는 생성된 사용자 레이블을 현재 사용자의 사용자 레이블로서 출력할 수 있다.
도 8은 일실시예에 따른 추출된 사용자 특징에 기초하여 클러스터의 분류기를 업데이트하는 과정을 도시한 흐름도이다.
사용자 데이터에 포함된 기존 사용자들에 대한 클러스터들은 점진적으로 학습(incremental learning)될 수 있다. 현재 사용자가 사용자 데이터에 포함된 기존 사용자들 중 특정 기존 사용자로 인식되는 경우, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 사용자 데이터에 저장된 특정 기존 사용자의 클러스터를 업데이트할 수 있다. 도 8에서는 현재 사용자가 기존 사용자 A로 인식되었다고 가정한다.
단계(810)에서, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징을 사용자 데이터에 포함된 기존 사용자 A에 대한 클러스터 데이터베이스에 입력할 수 있다.
단계(820)에서, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 기존 사용자 A에 대응되는 클러스터의 분류기를 업데이트할 수 있다. 클러스터의 분류기가 업데이트됨에 따라, 사용자 데이터에 포함된 각 기존 사용자들에 대한 클러스터의 결정 경계 (Decision Boundaries)는 시간에 따라 변경될 수 있다.
단계(830)에서, 사용자 인식 장치는 현재 사용자의 사용자 레이블로서 A의 사용자 레이블을 출력할 수 있다.
도 9는 일실시예에 따른 무감독 학습을 수행하는 과정을 도시한 흐름도이다.
사용자 인식 장치는 현재 사용자가 사용자 데이터에 포함된 기존 사용자가 아닌 새로운 사용자로 인식한 경우, 현재 사용자에 대한 새로운 사용자 식별자를 생성하고, 생성된 사용자 식별자에 대응되는 클러스터를 사용자 데이터에 추가할 수 있다. 추가된 클러스터에 기초하여 사용자 데이터에 포함된 기존 사용자들의 사용자 특징들 및 현재 사용자로부터 추출된 사용자 특징은 다시 클러스터링될 수 있다. 무감독 클러스터링으로 K-means 클러스터링, SOM 등이 이용될 수 있고, 도 9에서는 K-means 클러스터링에 기초하여 설명하도록 한다.
단계(910)에서, 사용자 인식 장치는 사용자 데이터에 포함된 클러스터 데이터를 판독할 수 있다. 사용자 데이터는 새로운 사용자에 대한 클러스터를 포함하여 각 사용자 레이블 A, B, C에 대응하는 3 개의 클러스터들을 포함하고 있다고 가정한다.
단계(920)에서, 사용자 인식 장치는 기존 사용자들에 대한 각 클러스터의 중심과 각 특징 데이터 간의 거리에 기초하여 각 특징 데이터에 사용자 레이블을 할당할 수 있다. 예를 들어, 사용자 인식 장치는 각 사용자 레이블 A, B, C에 대응하는 클러스터들의 중심과 특징 데이터 간의 거리를 계산하고, 가장 가까운 거리를 가지는 클러스터의 사용자 레이블을 해당 특징 데이터에 할당할 수 있다.
예를 들어, 사용자 인식 장치는 다음의 수학식 5와 수학식 6에 기초하여 각 특징 데이터에 사용자 레이블을 할당할 수 있다.
Figure PCTKR2014003922-appb-I000013
수학식 5와 수학식 6에서, K는 클러스터의 수를 나타내고, N은 전체 특징 데이터의 수를 나타낸다. mk는 k번째 클러스터의 중심으로서 클러스터의 평균을 나타낸다. 수학식 6에서와 같이, 특징 데이터 i에 할당되는 사용자 레이블 C(i)은 클러스터의 중심과 특징 데이터 간의 거리에 기초하여 결정될 수 있다.
단계(930)에서, 사용자 인식 장치는 각 클러스터의 속성을 업데이트할 수 있다. 사용자 인식 장치는 특정 기준을 만족할 때까지 N 개의 특징 데이터들을 각 클러스터들에 매핑(mapping)할 수 있다.
단계(940)에서, 사용자 인식 장치는 무감독 학습의 정지 조건을 만족하는지 여부를 결정할 수 있다. 예를 들어, 사용자 인식 장치는 클러스터들 간의 경계가 더 이상 변화하지 않는 경우, 또는 미리 설정된 반복 횟수에 도달한 경우, 또는 각 특징 데이터에 가장 가까운 클러스터 중심과의 거리들의 합이 미리 설정된 임계값보다 작은 경우에 정지 조건을 만족하는 것으로 결정할 수 있다.
단계(950)에서, 무감독 학습의 정지 조건을 만족하는 경우, 사용자 인식 장치는 각 클러스터의 특징 분류기를 업데이트할 수 있다. 사용자 인식 장치는 각 클러스터에 포함된 각 사용자 특징들에 대한 분류기들을 업데이트할 수 있다.
도 10은 다른 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
단계(1010)에서, 사용자 인식 장치는 입력 데이터로부터 현재 사용자의 사용자 특징을 추출할 수 있다. 입력 데이터는 하나 또는 복수의 사용자가 나타난 이미지 데이터, 오디오 데이터 등을 포함할 수 있다. 사용자 인식 장치는 이미지 데이터에 복수의 사용자들이 존재하는 경우, 각 사용자별로 사용자 영역을 분할하고, 각 사용자 영역에서 사용자 특징을 추출할 수 있다. 예를 들어, 사용자 인식 장치는 이미지 데이터로부터 현재 사용자의 얼굴, 의복, 헤어 스타일, 체형, 걸음걸이 등의 사용자 특징을 추출하고, 오디오 데이터로부터 성문, 발소리 등의 사용자 특징을 추출할 수 있다.
단계(1020)에서, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자의 식별자를 추정할 수 있다. 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하고, 결정된 유사도에 기초하여 현재 사용자의 식별자를 추정할 수 있다.
단계(1030)에서, 사용자 인식 장치는 현재 사용자에 대응하는 식별자가 존재하는지 여부를 결정할 수 있다. 사용자 인식 장치는 사용자 데이터에 포함된 기존 사용자들의 식별자들 중 현재 사용자에 대응하는 식별자가 존재하는지 여부를 결정할 수 있다. 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징과 사용자 데이터에 포함된 기존 사용자들의 사용자 특징 간의 유사도를 계산하는 것에 의해 현재 사용자에 대응하는 식별자가 존재하는지 여부를 결정할 수 있다.
현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 단계(1040)에서, 사용자 인식 장치는 현재 사용자에 대한 새로운 식별자를 생성할 수 있다. 예를 들어, 현재 사용자와 기존 사용자 간의 유사도가 미리 설정된 조건을 만족시키지 않는 경우, 사용자 인식 장치는 현재 사용자에 기존 사용자의 식별자와 다른 식별자를 할당할 수 있다. 사용자 인식 장치는 기존 사용자들에 대한 유사도들이 모두 미리 설정된 임계값 이하인 경우, 기존 사용자들의 식별자들과 다른 새로운 식별자를 현재 사용자에 할당할 수 있다. 그 후, 단계(1060)에서, 사용자 인식 장치는 사용자 데이터를 업데이트할 수 있다. 예를 들어, 사용자 인식 장치는 현재 사용자에게 할당된 새로운 식별자, 현재 사용자로부터 추출된 사용자 특징, 및 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다. 구체적으로, 사용자 인식 장치는 사용자 데이터에 새로운 식별자에 관한 클러스터를 추가하고, 현재 사용자로부터 추출된 사용자 특징과 기존 사용자들의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다.
현재 사용자에 대응하는 기존 사용자의 식별자가 존재하는 경우, 단계(1050)에서, 사용자 인식 장치는 기존 사용자의 식별자를 현재 사용자에 할당할 수 있다. 사용자 인식 장치는 현재 사용자와 기존 사용자 간의 유사도가 미리 설정된 조건을 만족시키는 경우, 기존 사용자의 식별자를 현재 사용자에 할당할 수 있다. 예를 들어, 사용자 인식 장치는 미리 설정된 임계값보다 크고, 기존 사용자들에 대한 유사도 중 가장 큰 유사도를 가지는 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 또는, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징과 사용자 데이터에 포함된 각 기존 사용자의 사용자 특징 간의 유사도를 계산할 수 있고, 계산된 유사도에 기초하여 현재 사용자로부터 추출된 사용자 특징이 새로운 특징인지 여부를 결정할 수 있다. 현재 사용자로부터 추출된 사용자 특징이 새로운 특징이 아닌, 기존 사용자의 사용자 특징이라고 결정한 경우, 사용자 인식 장치는 해당 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 그 후, 단계(1060)에서, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자에 대응하는 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다.
도 11은 또 다른 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
단계(1110)에서, 사용자 인식 장치는 이미지 데이터에서 현재 사용자의 사용자 영역을 추출할 수 있다.
단계(1120)에서, 사용자 인식 장치는 사용자 영역으로부터 현재 사용자의 사용자 특징을 추출할 수 있다. 예를 들어, 사용자 인식 장치는 사용자 영역으로부터 현재 사용자의 얼굴, 의복, 헤어 스타일, 체형, 걸음걸이 등의 사용자 특징을 추출할 수 있다. 또한, 사용자 인식 장치는 현재 사용자에 대한 오디오 데이터로부터 성문, 발소리 등의 사용자 특징을 추출할 수도 있다.
단계(1130)에서, 사용자 인식 장치는 추출된 사용자 특징 및 미리 저장된 사용자 데이터에 기초하여 현재 사용자의 식별자를 추정할 수 있다. 예를 들어, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하고, 각 기존 사용자들에 대한 유사도에 기초하여 현재 사용자와 기존 사용자 간의 대응 여부를 판단할 수 있다. 사용자 인식 장치는 현재 사용자에 대응하는 기존 사용자가 존재하는지 여부를 판단하고, 현재 사용자에 대응하는 기존 사용자가 존재하지 않는 경우, 현재 사용자에 기존 사용자의 식별자와 다른 새로운 식별자를 할당할 수 있다. 반대로, 현재 사용자에 대응하는 기존 사용자가 존재하는 경우, 사용자 인식 장치는 대응되는 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다.
단계(1140)에서, 사용자 인식 장치는 단계(1130)의 추정 결과에 따라 무감독 학습을 수행하거나 또는 사용자 데이터에 포함된 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다. 현재 사용자에 대응하는 기존 사용자가 존재하지 않는 경우, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징과 상기 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다. 무감독 학습의 결과로서, 사용자 데이터는 현재 사용자에 대한 새로운 식별자와 기존 사용자들에 대한 식별자들에 기초하여 재구성될 수 있다.
현재 사용자에 대응하는 기존 사용자가 존재하는 경우, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자에 대응되는 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다.
실시예에 따른 장치 및 방법은 하나 이상의 프로세서(processor)에 의해 수행되거나 또는 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (25)

  1. 입력 데이터로부터 현재 사용자의 사용자 특징을 추출하는 단계;
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계; 및
    상기 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 상기 현재 사용자에 대한 식별자를 생성하고, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트하는 단계
    를 포함하는 사용자 인식 방법.
  2. 제1항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 및
    상기 유사도에 기초하여 현재 사용자에 대응되는 식별자가 존재하는지 여부를 결정하는 단계
    를 포함하는 사용자 인식 방법.
  3. 제1항에 있어서,
    상기 사용자 데이터를 업데이트하는 단계는,
    상기 추출된 사용자 특징과 상기 사용자 데이터에 저장된 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행하는 단계
    를 포함하는 사용자 인식 방법.
  4. 제1항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 및
    상기 유사도가 미리 설정된 조건을 만족시키는 경우, 상기 기존 사용자의 식별자를 상기 현재 사용자에 할당하는 단계를 포함하고,
    상기 사용자 데이터를 업데이트하는 단계는,
    상기 추출된 사용자 특징에 기초하여 상기 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계
    를 포함하는 사용자 인식 방법.
  5. 제1항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 현재 사용자에 대해 추출된 복수의 사용자 특징들에 기초하여 중간 레벨 특징(mid-level feature)을 결정하는 단계; 및
    상기 중간 레벨 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계
    를 포함하는 사용자 인식 방법.
  6. 제5항에 있어서,
    상기 중간 레벨 특징을 결정하는 단계는,
    상기 현재 사용자로부터 추출된 복수의 사용자 특징들을 단순 결합하고 벡터화하는 단계
    를 포함하는 사용자 인식 방법.
  7. 제5항에 있어서,
    상기 중간 레벨 특징을 결정하는 단계는,
    학습 데이터로부터 생성된 코드워드에 기초하여 상기 현재 사용자로부터 추출된 복수의 사용자 특징들을 벡터화하는 단계
    를 포함하는 사용자 인식 방법.
  8. 제5항에 있어서,
    상기 중간 레벨 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 중간 레벨 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자들 간의 유사도를 결정하는 단계; 및
    상기 기존 사용자들에 대한 유사도들 중 가장 크고, 미리 설정된 임계값 이상의 유사도를 가지는 기존 사용자의 식별자를 상기 현재 사용자의 식별자로 결정하는 단계
    를 포함하는 사용자 인식 방법.
  9. 제5항에 있어서,
    상기 중간 레벨 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 중간 레벨 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자들 간의 유사도를 결정하는 단계; 및
    상기 기존 사용자들에 대한 유사도들이 미리 설정된 임계값보다 작은 경우, 상기 기존 사용자의 식별자와 다른 식별자를 상기 현재 사용자에 할당하는 단계
    를 포함하는 사용자 인식 방법.
  10. 제1항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 현재 사용자로부터 추출된 사용자 특징별로 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 및
    상기 사용자 특징별로 결정된 유사도에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계
    를 포함하는 사용자 인식 방법.
  11. 제10항에 있어서,
    상기 사용자 특징별로 결정된 유사도에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 사용자 특징별로 상기 현재 사용자와 사용자 데이터에 저장된 각 기존 사용자들 간의 제1 유사도를 결정하는 단계;
    상기 사용자 특징별로 결정된 제1 유사도에 기초하여 각각의 기존 사용자들에 대한 제2 유사도를 결정하는 단계;
    상기 기존 사용자들에 대한 제2 유사도들 중 가장 크고, 미리 설정된 임계값 이상의 제2 유사도를 가지는 기존 사용자의 식별자를 상기 현재 사용자의 식별자로 결정하는 단계; 및
    상기 기존 사용자들에 대한 제2 유사도들이 미리 설정된 임계값보다 작은 경우, 상기 기존 사용자의 식별자와 다른 식별자를 상기 현재 사용자에 할당하는 단계
    를 포함하는 사용자 인식 방법.
  12. 제1항에 있어서,
    상기 사용자 특징을 추출하는 단계는,
    이미지 데이터로부터 현재 사용자의 의복(clothing), 헤어 스타일(hair style), 체형(body shape), 및 걸음걸이(gait) 중 적어도 하나를 추출하거나 또는 오디오 데이터로부터 현재 사용자의 성문(voice print), 및 발소리(footstep) 중 적어도 하나를 추출하는 단계
    를 포함하는 사용자 인식 방법.
  13. 제1항에 있어서,
    상기 입력 데이터는,
    이미지 데이터 및 오디오 데이터 중 적어도 하나를 포함하고,
    상기 사용자 특징을 추출하는 단계는,
    상기 이미지 데이터 및 상기 오디오 데이터 중 적어도 하나를 사용자별로 분할하는 단계; 및
    상기 분할된 이미지 데이터 및 상기 분할된 오디오 데이터 중 적어도 하나로부터 현재 사용자의 사용자 특징을 추출하는 단계
    를 포함하는 사용자 인식 방법.
  14. 제1항에 있어서,
    상기 현재 사용자의 사용자 특징을 추출하는 단계는,
    이미지 데이터에서 현재 사용자의 사용자 영역을 추출하는 단계; 및
    상기 추출된 사용자 영역을 다른 컬러 모델로 변환하는 단계
    를 포함하는 사용자 인식 방법.
  15. 제1항에 있어서,
    상기 현재 사용자의 사용자 특징을 추출하는 단계는,
    이미지 데이터에 나타난 현재 사용자의 사용자 영역에서 패치(patch) 영역을 추출하는 단계;
    상기 추출된 패치 영역으로부터 컬러 정보 및 형태(shape) 정보를 추출하는 단계; 및
    상기 컬러 정보 및 형태 정보에 기초하여 상기 현재 사용자의 의복에 관한 사용자 특징을 결정하는 단계
    를 포함하는 사용자 인식 방법.
  16. 제1항에 있어서,
    상기 현재 사용자의 사용자 특징을 추출하는 단계는,
    이미지 데이터에서 상기 현재 사용자의 체형에 관한 랜드마크(landmark)를 추출하는 단계;
    상기 추출된 랜드마크의 주변 정보에 기초하여 상기 현재 사용자의 체형 특징 분포를 결정하는 단계; 및
    상기 체형 특징 분포에 기초하여 상기 현재 사용자의 체형에 대한 사용자 특징을 결정하는 단계
    를 포함하는 사용자 인식 방법.
  17. 제1항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  18. 이미지 데이터에서 현재 사용자의 사용자 영역을 추출하는 단계;
    상기 사용자 영역으로부터 상기 현재 사용자의 사용자 특징을 추출하는 단계;
    상기 추출된 사용자 특징 및 미리 저장된 사용자 데이터에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계; 및
    상기 추정 결과에 따라 무감독 학습을 수행하거나 또는 상기 사용자 데이터에 포함된 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계
    를 포함하는 사용자 인식 방법.
  19. 제18항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 현재 사용자에 대응되는 기존 사용자가 존재하지 않는 경우, 상기 현재 사용자에 상기 기존 사용자의 식별자와 다른 식별자를 할당하는 단계를 포함하고,
    상기 무감독 학습을 수행하는 단계는,
    상기 추출된 사용자 특징과 상기 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행하는 단계
    를 포함하는 사용자 인식 방법.
  20. 제18항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 현재 사용자에 대응되는 기존 사용자가 존재하는 경우, 상기 기존 사용자의 식별자를 상기 현재 사용자의 식별자로 결정하는 단계를 포함하고,
    상기 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계는,
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자에 대응되는 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계
    를 포함하는 사용자 인식 방법
  21. 입력 데이터부터 현재 사용자의 사용자 특징을 추출하는 사용자 특징 추출부;
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 사용자 식별자 추정부; 및
    상기 상기 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 상기 현재 사용자에 대한 식별자를 생성하고, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트하는 사용자 데이터 업데이트부
    를 포함하는 사용자 인식 장치.
  22. 제21항에 있어서,
    상기 사용자 식별자 추정부는,
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 유사도 결정부
    를 포함하는 사용자 인식 장치.
  23. 제22항에 있어서,
    상기 유사도 결정부는,
    상기 현재 사용자에 대해 추출된 복수의 사용자 특징들에 기초하여 중간 레벨 특징을 결정하는 중간 레벨 특징 결정부
    를 포함하는 사용자 인식 장치.
  24. 제21항에 있어서,
    상기 사용자 데이터 업데이트부는,
    상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 무감독 학습을 수행하는 무감독 학습 수행부
    를 포함하는 사용자 인식 장치.
  25. 제21항에 있어서,
    상기 사용자 특징 추출부는,
    이미지 데이터에서 현재 사용자의 사용자 영역을 추출하고, 상기 추출된 사용자 영역을 다른 컬러 모델로 변환하는 전처리부
    를 포함하는 사용자 인식 장치.
PCT/KR2014/003922 2014-03-18 2014-05-02 사용자 인식 방법 및 장치 WO2015141892A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/234,457 US20160350610A1 (en) 2014-03-18 2016-08-11 User recognition method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140031780A KR102222318B1 (ko) 2014-03-18 2014-03-18 사용자 인식 방법 및 장치
KR10-2014-0031780 2014-03-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/234,457 Continuation US20160350610A1 (en) 2014-03-18 2016-08-11 User recognition method and device

Publications (1)

Publication Number Publication Date
WO2015141892A1 true WO2015141892A1 (ko) 2015-09-24

Family

ID=54144842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/003922 WO2015141892A1 (ko) 2014-03-18 2014-05-02 사용자 인식 방법 및 장치

Country Status (3)

Country Link
US (1) US20160350610A1 (ko)
KR (1) KR102222318B1 (ko)
WO (1) WO2015141892A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065534A1 (zh) * 2014-10-28 2016-05-06 中国科学院自动化研究所 一种基于深度学习的歩态识别方法
US10129262B1 (en) * 2016-01-26 2018-11-13 Quest Software Inc. Systems and methods for secure device management
KR102376110B1 (ko) * 2017-06-13 2022-03-17 주식회사 한화 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템
US11194330B1 (en) * 2017-11-03 2021-12-07 Hrl Laboratories, Llc System and method for audio classification based on unsupervised attribute learning
CN107992795B (zh) * 2017-10-27 2021-08-31 江西高创保安服务技术有限公司 基于人口信息库与实名通话记录的团伙及其头目识别方法
CN107978311B (zh) * 2017-11-24 2020-08-25 腾讯科技（深圳）有限公司 一种语音数据处理方法、装置以及语音交互设备
US10170135B1 (en) * 2017-12-29 2019-01-01 Intel Corporation Audio gait detection and identification
CN110096941A (zh) * 2018-01-29 2019-08-06 西安科技大学 一种基于siamese网络的步态识别系统
KR20200067421A (ko) * 2018-12-04 2020-06-12 삼성전자주식회사 데이터를 학습하여 사용자를 식별하는 사용자 예측 모델을 생성하는 방법, 상기 모델을 적용한 전자 장치, 및 상기 모델을 적용하는 방법
KR20200107555A (ko) * 2019-03-08 2020-09-16 에스케이텔레콤 주식회사 영상 분석 장치, 방법 및 이에 이용되는 영상 분석 모델의 생성 방법
US11853450B2 (en) * 2019-11-05 2023-12-26 Saudi Arabian Oil Company Detection of web application anomalies using machine learning
CN110782904A (zh) * 2019-11-07 2020-02-11 四川长虹电器股份有限公司 智能语音设备的用户账号切换方法
CN111428690B (zh) * 2020-04-21 2022-08-09 桂林电子科技大学 一种基于步态信号拓扑分析的身份认证方法
US11488382B2 (en) * 2020-09-10 2022-11-01 Verb Surgical Inc. User presence/absence recognition during robotic surgeries using deep learning
KR102341848B1 (ko) * 2020-12-18 2021-12-22 동국대학교 산학협력단 스마트 추종체를 위한 뒤태 기반 사용자 인식 시스템 및 방법
US11816932B1 (en) * 2021-06-29 2023-11-14 Amazon Technologies, Inc. Updating identification data in automated user-identification systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060063599A (ko) * 2004-12-07 2006-06-12 한국전자통신연구원 사용자 인식 시스템 및 그 방법
US7542590B1 (en) * 2004-05-07 2009-06-02 Yt Acquisition Corporation System and method for upgrading biometric data
KR20110023496A (ko) * 2009-08-31 2011-03-08 엘지전자 주식회사 사용자를 인식하여 기능을 제공하는 방송 수신기의 제어 방법 및 그 방법을 채용한 방송 수신기
JP2011154415A (ja) * 2010-01-26 2011-08-11 Hitachi Ltd 生体認証システム
JP2011175587A (ja) * 2010-02-25 2011-09-08 Nippon Telegr & Teleph Corp <Ntt> ユーザ判定装置、方法、プログラム及びコンテンツ配信システム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
JP3439359B2 (ja) * 1998-12-18 2003-08-25 日本電気株式会社 個人識別方法、個人識別装置および記録媒体
EP1156430A2 (en) * 2000-05-17 2001-11-21 Matsushita Electric Industrial Co., Ltd. Information retrieval system
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
JP5067595B2 (ja) * 2005-10-17 2012-11-07 ソニー株式会社 画像表示装置および方法、並びにプログラム
US7864989B2 (en) * 2006-03-31 2011-01-04 Fujifilm Corporation Method and apparatus for adaptive context-aided human classification
US20070237364A1 (en) * 2006-03-31 2007-10-11 Fuji Photo Film Co., Ltd. Method and apparatus for context-aided human identification
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
TW200907827A (en) * 2007-08-08 2009-02-16 Acer Inc System and method for performing objects with bio-characteristics recognition
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
US20120117086A1 (en) * 2007-09-13 2012-05-10 Semiconductor Insights Inc. Method of bibliographic field normalization
KR100947027B1 (ko) * 2007-12-28 2010-03-11 한국과학기술원 가상음장을 이용한 다자간 동시 통화 방법 및 그 기록매체
KR20100056280A (ko) * 2008-11-19 2010-05-27 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US20100191689A1 (en) * 2009-01-27 2010-07-29 Google Inc. Video content analysis for automatic demographics recognition of users and videos
KR101710626B1 (ko) * 2010-11-04 2017-02-27 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
KR101760258B1 (ko) * 2010-12-21 2017-07-21 삼성전자주식회사 얼굴 인식 장치 및 그 방법
US9443511B2 (en) * 2011-03-04 2016-09-13 Qualcomm Incorporated System and method for recognizing environmental sound
US8380711B2 (en) * 2011-03-10 2013-02-19 International Business Machines Corporation Hierarchical ranking of facial attributes
JP5891613B2 (ja) * 2011-06-15 2016-03-23 オムロン株式会社 情報処理装置および方法、並びにプログラム
EP2769502A4 (en) * 2011-10-18 2015-07-08 Intel Corp METHOD, SYSTEMS AND DEVICES FOR FACILITATING A CLIENT-BASED AUTHENTICATION
KR101844291B1 (ko) * 2012-01-16 2018-04-03 삼성전자주식회사 신체 자세군 생성 장치 및 방법
KR101971697B1 (ko) * 2012-02-24 2019-04-23 삼성전자주식회사 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치
US9372874B2 (en) * 2012-03-15 2016-06-21 Panasonic Intellectual Property Corporation Of America Content processing apparatus, content processing method, and program
CN103310339A (zh) * 2012-03-15 2013-09-18 凹凸电子（武汉）有限公司 身份识别装置和方法以及支付系统和方法
EP2680616A1 (en) * 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof
JP6016489B2 (ja) * 2012-07-09 2016-10-26 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム
TWI456515B (zh) * 2012-07-13 2014-10-11 Univ Nat Chiao Tung 融合人臉辨識及語音辨識之身份辨識系統、其方法及其服務型機器人
JP2014060647A (ja) * 2012-09-19 2014-04-03 Sony Corp 情報処理システム及びプログラム
CN103973441B (zh) * 2013-01-29 2016-03-09 腾讯科技（深圳）有限公司 基于音视频的用户认证方法和装置
JP5975293B2 (ja) * 2013-02-22 2016-08-23 富士ゼロックス株式会社 認証装置及びプログラム
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법
JP6013241B2 (ja) * 2013-03-18 2016-10-25 株式会社東芝 人物認識装置、及び方法
JP5851651B2 (ja) * 2013-03-21 2016-02-03 株式会社日立国際電気 映像監視システム、映像監視方法、および映像監視装置
US20140341443A1 (en) * 2013-05-16 2014-11-20 Microsoft Corporation Joint modeling for facial recognition
US9720934B1 (en) * 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542590B1 (en) * 2004-05-07 2009-06-02 Yt Acquisition Corporation System and method for upgrading biometric data
KR20060063599A (ko) * 2004-12-07 2006-06-12 한국전자통신연구원 사용자 인식 시스템 및 그 방법
KR20110023496A (ko) * 2009-08-31 2011-03-08 엘지전자 주식회사 사용자를 인식하여 기능을 제공하는 방송 수신기의 제어 방법 및 그 방법을 채용한 방송 수신기
JP2011154415A (ja) * 2010-01-26 2011-08-11 Hitachi Ltd 生体認証システム
JP2011175587A (ja) * 2010-02-25 2011-09-08 Nippon Telegr & Teleph Corp <Ntt> ユーザ判定装置、方法、プログラム及びコンテンツ配信システム

Also Published As

Publication number Publication date
US20160350610A1 (en) 2016-12-01
KR102222318B1 (ko) 2021-03-03
KR20150108673A (ko) 2015-09-30

Similar Documents

Publication Publication Date Title
WO2015141892A1 (ko) 사용자 인식 방법 및 장치
CN109961051B (zh) 一种基于聚类和分块特征提取的行人重识别方法
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR100543707B1 (ko) 서브그룹별 ｐｃａ 학습을 이용한 얼굴인식방법 및 장치
KR100804678B1 (ko) 비디오 인물별 신 분류 방법 및 그 시스템
Ramanan et al. Leveraging archival video for building face datasets
CN109558810B (zh) 基于部位分割与融合目标人物识别方法
WO2013048160A1 (ko) 얼굴 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
TW201822076A (zh) 用於訓練神經網路之方法、電腦程式產品及裝置
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
JPWO2010004958A1 (ja) 個人認証システム、個人認証方法
CN112464730B (zh) 一种基于域无关前景特征学习的行人再识别方法
WO2013073805A1 (ko) 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP2007272897A (ja) 文脈支援型人間識別のためのデジタル画像処理方法および装置
Ahmed et al. Appearance-based arabic sign language recognition using hidden markov models
CN112487886A (zh) 一种有遮挡的人脸识别方法、装置、存储介质及终端
CN111046732A (zh) 一种基于多粒度语义解析的行人重识别方法及存储介质
WO2019111550A1 (ja) 人物照合装置、方法、及び非一時的なコンピュータ可読媒体
KR102261054B1 (ko) 카메라에 연결되는 고속 얼굴 인식 장치
TW201604821A (zh) 協作性人臉標註方法以及協作性人臉標註系統
CN110852152A (zh) 一种基于数据增强的深度哈希行人重识别方法
CN110751027A (zh) 一种基于深度多示例学习的行人重识别方法
WO2021040287A1 (ko) 사람 재식별 장치 및 방법
KR20200060942A (ko) 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법
CN115497124A (zh) 身份识别方法和装置及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14886404

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14886404

Country of ref document: EP

Kind code of ref document: A1