KR102222318B1 - 사용자 인식 방법 및 장치 - Google Patents

사용자 인식 방법 및 장치 Download PDF

Info

Publication number
KR102222318B1
KR102222318B1 KR1020140031780A KR20140031780A KR102222318B1 KR 102222318 B1 KR102222318 B1 KR 102222318B1 KR 1020140031780 A KR1020140031780 A KR 1020140031780A KR 20140031780 A KR20140031780 A KR 20140031780A KR 102222318 B1 KR102222318 B1 KR 102222318B1
Authority
KR
South Korea
Prior art keywords
user
current
identifier
current user
existing
Prior art date
Application number
KR1020140031780A
Other languages
English (en)
Other versions
KR20150108673A (ko
Inventor
유병인
김원준
한재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140031780A priority Critical patent/KR102222318B1/ko
Priority to PCT/KR2014/003922 priority patent/WO2015141892A1/ko
Publication of KR20150108673A publication Critical patent/KR20150108673A/ko
Priority to US15/234,457 priority patent/US20160350610A1/en
Application granted granted Critical
Publication of KR102222318B1 publication Critical patent/KR102222318B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems

Abstract

사용자 인식 방법 및 장치가 개시된다. 사용자 인식 장치는 입력 데이터로부터 현재 사용자의 사용자 특징을 추출하고, 추출된 사용자 특징에 기초하여 현재 사용자의 식별자를 추정할 수 있다. 사용자 인식 장치는 무감독 학습을 통해 별도의 절차 없이도 사용자 인식을 수행할 수 있고, 사용자 데이터를 지속적으로 갱신할 수 있다.

Description

사용자 인식 방법 및 장치{USER RECOGNITION METHOD AND APPARATUS}
아래의 설명은 이미지 데이터, 오디오 데이터에 기초하여 사용자를 인식하는 사용자 인식 기술에 관한 것이다.
기존의 사용자 인식 시스템은 사용자를 인식하기 위해 얼굴, 지문, 홍채, 음성 등의 생체 정보를 이용한다. 사용자 인식 시스템은 초기 설정 과정을 통해 입력된 사용자의 생체 정보와 인식된 생체 정보를 비교하여 사용자가 누구인지를 결정한다. 가정, 사무실 등의 제한적인 공간에서는 주로 미리 저장된 생체 정보를 이용하여 사용자를 인식하고, 신규 사용자가 추가되는 경우에는 신규 사용자의 생체 정보를 사용자 인식 시스템에 등록한다.
일실시예에 따른 사용자 인식 방법은, 입력 데이터로부터 현재 사용자의 사용자 특징을 추출하는 단계; 상기 추출된 사용자 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계; 및 상기 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 상기 현재 사용자에 대한 식별자를 생성하고, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인식 방법에서, 상기 현재 사용자의 식별자를 추정하는 단계는, 상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 및 상기 유사도에 기초하여 현재 사용자에 대응되는 식별자가 존재하는지 여부를 결정하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인식 방법에서, 상기 사용자 데이터를 업데이트하는 단계는, 상기 추출된 사용자 특징과 상기 사용자 데이터에 저장된 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인식 방법에서, 상기 현재 사용자의 식별자를 추정하는 단계는, 상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 상기 유사도가 미리 설정된 조건을 만족시키는 경우, 상기 기존 사용자의 식별자를 상기 현재 사용자에 할당하는 단계; 및 상기 추출된 사용자 특징에 기초하여 상기 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인식 방법에서, 상기 현재 사용자의 식별자를 추정하는 단계는, 상기 현재 사용자에 대해 추출된 복수의 사용자 특징들에 기초하여 중간 레벨 특징(mid-level feature)을 결정하는 단계; 및 상기 중간 레벨 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계를 포함할 수 있다.
다른 실시예에 따른 사용자 인식 방법은, 이미지 데이터에서 현재 사용자의 사용자 영역을 추출하는 단계; 상기 사용자 영역으로부터 상기 현재 사용자의 사용자 특징을 추출하는 단계; 상기 추출된 사용자 특징 및 미리 저장된 사용자 데이터에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계; 및 상기 추정 결과에 따라 무감독 학습을 수행하거나 또는 상기 사용자 데이터에 포함된 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계를 포함할 수 있다.
일실시예에 따른 사용자 인식 장치는, 입력 데이터부터 현재 사용자의 사용자 특징을 추출하는 사용자 특징 추출부; 상기 추출된 사용자 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 사용자 식별자 추정부; 및 상기 상기 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 상기 현재 사용자에 대한 식별자를 생성하고, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트하는 사용자 데이터 업데이트부를 포함할 수 있다.
일실시예에 따른 사용자 인식 장치에서, 상기 사용자 식별자 추정부는, 상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 유사도 결정부를 포함할 수 있다.
일실시예에 따른 사용자 인식 장치에서, 상기 유사도 결정부는, 상기 현재 사용자에 대해 추출된 복수의 사용자 특징들에 기초하여 중간 레벨 특징을 결정하는 중간 레벨 특징 결정부를 포함할 수 있다.
일실시예에 따른 사용자 인식 장치에서, 상기 사용자 데이터 업데이트부는, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 무감독 학습을 수행하는 무감독 학습 수행부를 포함할 수 있다.
일실시예에 따른 사용자 인식 장치에서, 상기 사용자 특징 추출부는, 상기 이미지 데이터에서 현재 사용자의 사용자 영역을 추출하고, 상기 추출된 사용자 영역을 다른 컬러 모델로 변환하는 전처리부를 포함할 수 있다.
도 1은 일실시예에 따른 사용자 인식 장치의 구성을 도시한 도면이다.
도 2는 일실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
도 3은 일실시예에 따른 사용자의 의복 특징을 추출하는 일례를 설명하기 위한 도면이다.
도 4는 일실시예에 따른 중간 레벨 특징을 결정하는 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 중간 레벨 특징에 기초하여 사용자 레이블을 결정하는 과정을 도시한 흐름도이다.
도 6은 일실시예에 따른 사용자 특징을 추출하는 과정을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 각각의 사용자 특징들에 기초하여 사용자 레이블을 결정하는 과정을 도시한 흐름도이다.
도 8은 일실시예에 따른 추출된 사용자 특징에 기초하여 클러스터의 분류기를 업데이트하는 과정을 도시한 흐름도이다.
도 9는 일실시예에 따른 무감독 학습을 수행하는 과정을 도시한 흐름도이다.
도 10은 다른 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
도 11은 또 다른 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 사용자 인식 방법은 사용자 인식 장치에 의해 수행될 수 있으며, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 사용자 인식 장치(100)의 구성을 도시한 도면이다.
사용자 인식 장치(100)는 입력 데이터(예를 들어, 이미지 데이터, 오디오 데이터 등)에 기초하여 사용자의 수를 추정하고, 사용자 간에 서로 구분하여 인식할 수 있다. 사용자 인식 장치(100)는 사용자의 얼굴 정보를 이용하지 않더라도 사용자의 다양한 시각적 특징, 청각적 특징에 기초하여 사용자가 누구인지를 결정할 수 있다. 사용자 인식 장치(100)는 사용자 인식을 위해 사용자의 다양한 특징을 이용함으로써, 사용자의 옷, 체형, 이동 경로 등이 변하거나 또는 조명 등의 주변 환경이 변하더라도 동일 사용자를 효과적으로 인식할 수 있다.
사용자 인식 장치(100)는 새로운 사용자가 인식된 경우, 무감독 학습(unsupervised learning)을 통해 새로운 사용자에 대한 카테고리 또는 클러스터를 설정하고, 이미 저장되어 있는 사용자 데이터를 업데이트할 수 있다. 사용자 인식 장치(100)는 인식하려는 대상인 현재 사용자가 기존 사용자에 대응한다고 결정한 경우에는, 현재 사용자로부터 추출한 정보에 기초하여 기존 사용자의 데이터를 업데이트할 수 있다. 이에 따라, 사용자 인식 장치(100)는 사용자에 대한 별도의 사전 학습, 정보가 없더라도 사용자를 인식할 수 있고, 사용자 데이터를 지속적으로 업데이트할 수 있다.
도 1을 참조하면, 사용자 인식 장치(100)는 사용자 특징 추출부(110), 사용자 식별자 추정부(120) 및 사용자 데이터 업데이트부(130)를 포함할 수 있다.
사용자 특징 추출부(110)는 이미지 데이터, 오디오 데이터 등과 같은 입력 데이터로부터 사용자의 특징을 추출할 수 있다. 예를 들어, 사용자 특징 추출부(110)는 이미지 데이터 또는 오디오 데이터를 사용자별로 분할하고, 분할된 이미지 데이터 또는 분할된 오디오 데이터로부터 현재 사용자의 사용자 특징을 추출할 수 있다. 예를 들어, 사용자 특징 추출부(110)는 이미지 데이터에 복수의 사용자들이 존재하는 경우, 사용자별로 사용자 영역을 분할하고, 각 사용자 영역에서 사용자 특징을 추출할 수 있다. 다른 실시예에 따르면, 사용자 특징 추출부(110)는 이미지 데이터 또는 오디오 데이터에서 사용자 특징을 추출하기 전에, 이미지 데이터 또는 오디오 데이터에 포함된 노이즈를 먼저 제거할 수도 있다.
사용자 특징 추출부(110)는 이미지 데이터로부터 현재 사용자의 얼굴, 의복(clothing), 헤어 스타일(hair style), 체형(body shape), 걸음걸이(gait) 등의 사용자 특징을 추출할 수 있다.
일실시예에 따르면, 사용자 특징 추출부(110)는 의복의 사용자 특징을 추출하기 위해, 이미지 데이터에서 현재 사용자의 패치(patch) 영역을 추출할 수 있다. 패치 영역은 12(x) x 12(y) 등으로 구성된 작은 영역을 나타낸다. 사용자 특징 추출부(110)는 추출된 패치 영역으로부터 컬러 정보 및 형태 정보를 추출하고, 추출된 컬러 정보 및 형태 정보에 기초하여 현재 사용자의 의복에 관한 사용자 특징을 결정할 수 있다. 의복의 사용자 특징을 추출하는 과정은 도 3에서 보다 자세히 설명하도록 한다.
사용자 특징 추출부(110)는 헤어 스타일의 사용자 특징을 추출하기 위해, 이미지 데이터에서 현재 사용자의 헤어 영역에 관한 속성을 추출할 수 있다. 예를 들어, 헤어 영역에 관한 속성은 헤어 컬러(hair color), 헤어 부피(hair volume), 헤어 길이(hair length), 헤어 텍스쳐(hair texture), 헤어가 차지하는 표면적(surface area covered by hair), 헤어라인(hairline), 헤어 대칭성(hair symmetry) 등을 포함할 수 있다.
사용자 특징 추출부(110)는 체형의 사용자 특징을 추출하기 위해, 이미지 데이터에서 현재 사용자의 체형에 관한 특징점으로서 랜드마크(landmark)를 추출하고, 추출된 랜드마크의 주변 정보에 기초하여 현재 사용자의 체형 특징 분포(user body shape feature distribution)를 결정할 수 있다. 예를 들어, 사용자 특징 추출부(110)는 랜덤 검출, SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature) 등의 특징점 추출 방법, 또는 밀집 추출(dense sampling) 방법을 이용하여 이미지 데이터에서 사용자의 랜드마크를 추출할 수 있다. 사용자 특징 추출부(110)는 체형 특징 분포에 기초하여 현재 사용자의 체형에 대한 사용자 특징을 결정할 수 있다.
일실시예에 따르면, 사용자 특징 추출부(110)는 걸음걸이의 사용자 특징을 추출하기 위해, 걸음걸이 에너지 이미지(Gait Energy Image, GEI), Enhanced GEI, 활동 에너지 이미지(Active Energy Image), 걸음걸이 흐름 이미지(Gait Flow Image) 등의 이미지와 현재 사용자의 키, 걸음걸이 폭 등의 시간에 따른 변화 정보를 이용할 수 있다. 사용자 특징 추출부(110)는 GEI 등의 이미지, 키의 시간에 따른 변화, 및 걸음걸이 폭의 시간에 따른 변화를 결합하여 걸음걸이의 사용자 특징(예를 들어, 걸음걸이에 대한 너비 신호(width signal), 높이 신호(height signal) 등)을 결정할 수 있으나, 특정 방법에 의해 실시예의 범위가 제한되는 것은 아니다.
사용자 특징 추출부(110)는 오디오 데이터로부터 현재 사용자의 성문(voice print), 발소리(footstep) 등의 사용자 특징을 추출할 수 있다. 성문은 사용자마다 가지고 있는 고유 특징으로, 시간이 흐르더라도 변하지 않는 특성을 가진다. 발소리는 사용자의 습관, 체형, 체중, 사용자가 선호하는 신발의 종류 등에 따라 고유한 특징을 가지고 있다.
다른 실시예에 따르면, 사용자 특징 추출부(110)는 사용자 특징이 추출되기 이전에 이미지 데이터의 전처리 과정을 수행하는 전처리부(140)를 추가적으로 포함할 수 있다. 전처리부(140)는 이미지 데이터에서 현재 사용자의 사용자 영역을 추출하고, 추출된 사용자 영역을 다른 컬러 모델(color model)로 변환할 수 있다. 예를 들어, 전처리부(140)는 추출된 현재 사용자의 사용자 영역을 HSV(Hue-Saturation-Value) 등의 다른 컬러 모델로 변환할 수 있다. 전처리부(140)는 HSV의 컬러 모델에서 조명 변화에 강인한 Hue 채널 및 Saturation 채널을 이용하고, Value 채널은 이용하지 않을 수 있으나, 특정 채널의 이용에 의해 실시예의 범위가 제한되지는 않는다. 사용자 특징 추출부(110)는 전처리 과정이 수행된 이미지 데이터로부터 현재 사용자의 사용자 특징을 추출할 수 있다. 앞서 설명한 것과 동일한 방법을 통해 전처리 과정이 수행된 이미지 데이터로부터 현재 사용자의 사용자 특징이 추출될 수 있다.
사용자 식별자 추정부(120)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 사용자 레이블(user label)과 같은 현재 사용자의 식별자를 추정할 수 있다. 사용자 식별자 추정부(120)는 추출된 사용자 특징에 기초하여 현재 사용자와 사용자 데이터에 포함된 기존 사용자 간의 대응 여부를 판단하고, 판단 결과에 기초하여 현재 사용자의 식별자를 추정할 수 있다. 예를 들어, 사용자 식별자 추정부(120)는 사용자 데이터에 기초하여 현재 사용자에 대응하는 식별자가 존재하는지 여부를 판단할 수 있다. 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 사용자 식별자 추정부(120)는 현재 사용자에 대한 새로운 식별자를 생성할 수 있다. 사용자 데이터 업데이트부(130)는 사용자 식별자 추정부(120)의 추정 결과에 따라 무감독 학습을 수행하거나 또는 사용자 데이터에 포함된 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다. 사용자 데이터 업데이트부(130)는 무감독 학습을 수행하는 무감독 학습 수행부(170)를 포함할 수 있다. 현재 사용자에 대한 새로운 식별자가 생성된 경우, 사용자 데이터 업데이트부(130)는 생성된 식별자와 현재 사용자로부터 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트할 수 있다.
사용자 식별자 추정부(120)는 유사도 결정부(150)를 포함할 수 있다. 유사도 결정부(150)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도(likelihood)를 결정할 수 있다. 현재 사용자와 기존 사용자 간의 유사도는 현재 사용자가 기존 사용자에 매칭될 확률을 나타낸다. 특정 기존 사용자에 대한 유사도가 높다는 것은 현재 사용자가 특정 기존 사용자에 매칭될 확률이 높다는 것을 나타내고, 특정 기존 사용자에 대한 유사도가 낮다는 것은 현재 사용자가 특정 기존 사용자에 매칭될 확률이 낮다는 것을 나타낸다.
사용자 데이터는 서로 구별되는 특정 사용자들의 특징 데이터들을 포함할 수 있다. 예를 들어, 사용자 데이터는 사용자 A의 사용자 특징 데이터, 사용자 B의 사용자 특징 데이터, 사용자 C의 사용자 특징 데이터 등을 포함할 수 있다. 사용자 데이터에서, 사용자 A, 사용자 B, 사용자 C는 서로 다른 클러스터(cluster)를 형성하고, 각 클러스터에는 해당 사용자에 관한 특징 데이터를 포함할 수 있다. 사용자 데이터에는 새로운 사용자에 대한 클러스터가 추가될 수 있고, 각 클러스터들 간의 경계는 학습을 통해 변할 수 있다.
사용자 식별자 추정부(120)는 현재 사용자와 기존 사용자 간의 유사도가 미리 설정된 조건을 만족시키는 경우, 기존 사용자의 식별자를 현재 사용자에 할당할 수 있다. 예를 들어, 사용자 식별자 추정부(120)는 미리 설정된 임계값보다 크고, 기존 사용자들에 대한 유사도 중 가장 큰 유사도를 가지는 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 그 후, 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다.
사용자 식별자 추정부(120)는 현재 사용자와 기존 사용자 간의 유사도가 미리 설정된 조건을 만족시키지 않는 경우, 현재 사용자에 기존 사용자의 식별자와 다른 새로운 식별자를 할당할 수 있다. 예를 들어, 사용자 식별자 추정부(120)는 기존 사용자들에 대한 유사도들이 모두 미리 설정된 임계값 이하인 경우, 기존 사용자들의 식별자들과 다른 새로운 식별자를 현재 사용자에 할당할 수 있다. 그 후, 무감독 학습 수행부(170)는 현재 사용자에 할당된 새로운 식별자, 현재 사용자로부터 추출된 사용자 특징, 및 사용자 데이터에 저장된 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다. 예를 들어, 무감독 학습 수행부(170)는 K-means 클러스터링, SOM(Self Organized MAP) 등을 이용하여 사용자 데이터에 대해 무감독 학습을 수행할 수 있다.
사용자 식별자 추정부(120)는 현재 사용자에 대응되는 기존 사용자가 존재하는 경우, 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 예를 들어, 유사도 결정부(150)는 현재 사용자로부터 추출된 사용자 특징과 사용자 데이터에 포함된 각 기존 사용자의 사용자 특징 간의 유사도를 계산할 수 있고, 사용자 식별자 추정부(120)는 계산된 유사도에 기초하여 현재 사용자로부터 추출된 사용자 특징이 새로운 특징인지 여부를 결정할 수 있다. 현재 사용자로부터 추출된 사용자 특징이 새로운 특징이 아닌, 기존 사용자의 사용자 특징이라고 결정한 경우, 사용자 식별자 추정부(120)는 해당 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 그 후, 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자에 대응되는 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다. 예를 들어, 현재 사용자가 기존 사용자 A에 대응되는 것으로 결정된 경우, 사용자 데이터 업데이트부(130)는 현재 사용자를 사용자 A로 인식하고, 현재 사용자로부터 추출된 사용자 특징에 기초하여 사용자 A에 관한 특징 데이터를 업데이트할 수 있다.
사용자 식별자 추정부(120)는 현재 사용자에 대응되는 기존 사용자가 존재하지 않는 경우, 현재 사용자에 기존 사용자의 식별자와 다른 식별자를 할당할 수 있다. 무감독 학습 수행부(170)는 현재 사용자로부터 추출된 사용자 특징과 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다. 예를 들어, 현재 사용자가 사용자 데이터에 포함된 어느 기존 사용자들과도 대응되지 않는 것으로 결정된 경우, 사용자 식별자 추정부(120)는 현재 사용자에 기존 사용자들의 식별자들과 다른 새로운 식별자를 할당할 수 있다. 그 후, 무감독 학습 수행부(170)는 사용자 데이터에 새로운 식별자에 관한 클러스터를 추가하고, 현재 사용자로부터 추출된 사용자 특징과 기존 사용자들의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다.
이하에서는, 현재 사용자의 식별자를 추정하는 과정을 보다 자세히 설명하도록 한다.
일실시예에 따르면, 유사도 결정부(150)는 현재 사용자로부터 추출된 사용자 특징별로 현재 사용자와 사용자 데이터에 저장된 각 기존 사용자들 간의 제1 유사도를 결정하고, 사용자 특징별 결정된 제1 유사도에 기초하여 각각의 기존 사용자들에 대한 제2 유사도를 결정할 수 있다. 사용자 식별자 추정부(120)는 기존 사용자들에 대한 제2 유사도들 중 가장 크고, 미리 설정된 임계값 이상의 제2 유사도를 가지는 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 현재 사용자에 기존 사용자의 식별자가 할당된 경우, 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 기존 사용자의 특징 데이터를 업데이트할 수 있다. 사용자 식별자 추정부(120)는 기존 사용자들에 대한 제2 유사도들이 미리 설정된 임계값보다 작은 경우, 기존 사용자의 식별자와 다른 새로운 식별자를 현재 사용자에 할당할 수 있다. 새로운 식별자가 현재 사용자에 할당된 경우, 무감독 학습 수행부(170)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다.
예를 들어, 이미지 데이터로부터 현재 사용자의 헤어 스타일과 체형의 사용자 특징이 추출되었고, 기존 사용자로서 사용자 A와 사용자 B가 존재한다고 가정하면, 유사도 결정부(150)는 헤어 스타일에 대한 현재 사용자와 기존 사용자 A 간의 제1 유사도, 체형에 대한 현재 사용자와 기존 사용자 A 간의 제1 유사도, 헤어 스타일에 대한 현재 사용자와 기존 사용자 B 간의 제1 유사도, 및 체형에 대한 현재 사용자와 기존 사용자 B 간의 제1 유사도를 결정할 수 있다. 그 후, 유사도 결정부(150)는 헤어 스타일에 대한 현재 사용자와 기존 사용자 A 간의 제1 유사도와 체형에 대한 현재 사용자와 기존 사용자 A 간의 제1 유사도에 기초하여 현재 사용자와 기존 사용자 A 간의 제2 유사도를 결정하고, 헤어 스타일에 대한 현재 사용자와 기존 사용자 B 간의 제1 유사도와 체형에 대한 현재 사용자와 기존 사용자 B 간의 제1 유사도에 기초하여 현재 사용자와 기존 사용자 B 간의 제2 유사도를 결정할 수 있다. 사용자 식별자 추정부(120)는 현재 사용자와 기존 사용자 A 간의 제2 유사도가 현재 사용자와 기존 사용자 B 간의 제2 유사도보다 크고, 미리 설정된 임계값보다 큰 경우, 현재 사용자를 기존 사용자 A로 인식할 수 있다. 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 헤어 스타일, 체형의 사용자 특징에 기초하여 기존 사용자 A에 관한 분류기(classifier)를 업데이트할 수 있다. 현재 사용자와 기존 사용자 A 간의 제2 유사도와 현재 사용자와 기존 사용자 B 간의 제2 유사도가 모두 미리 설정된 임계값 이하인 경우, 사용자 식별자 추정부(120)는 현재 사용자에 새로운 식별자 C를 할당하고, 현재 사용자를 새로운 사용자 C로 인식할 수 있다.
무감독 학습 수행부(170)는 기존 사용자 A, B 및 새로운 사용자 C에 관한 클러스터를 기반으로, 현재 사용자로부터 추출된 헤어 스타일, 체형의 사용자 특징과 미리 저장된 기존 사용자 A, B의 특징 데이터들에 기초하여 무감독 학습을 수행할 수 있다. 무감독 학습의 결과로서, 기존 사용자 A, B의 특징 데이터들에 대한 클러스터 경계가 변할 수 있다.
다른 실시예에 따르면, 유사도 결정부(150)는 중간 레벨 특징 결정부(160)를 포함할 수 있다. 중간 레벨 특징 결정부(160)는 현재 사용자로부터 추출된 사용자 특징들에 기초하여 중간 레벨 특징(mid-level feature)를 생성할 수 있고, 사용자 식별자 추정부(120)는 중간 레벨 특징에 기초하여 현재 사용자의 식별자를 추정할 수 있다. 예를 들어, 중간 레벨 특징 결정부(160)는 현재 사용자로부터 추출된 복수의 사용자 특징들을 결합하는 것에 의해 현재 사용자로부터 추출된 복수의 사용자 특징들을 벡터화하거나 또는 학습 데이터로부터 생성된 코드워드(codeword)에 기초하여 현재 사용자로부터 추출된 복수의 사용자 특징들을 벡터화(vectorization)할 수 있다. 유사도 결정부(150)는 중간 레벨 특징에 기초하여 현재 사용자와 기존 사용자간의 유사도를 결정할 수 있다. 사용자 식별자 추정부(120)는 기존 사용자들에 대한 유사도들 중 가장 크고, 미리 설정된 임계값 이상의 유사도를 가지는 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 현재 사용자에 기존 사용자의 식별자가 할당된 경우, 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 기존 사용자의 특징 데이터를 업데이트할 수 있다. 사용자 식별자 추정부(120)는 기존 사용자들에 대한 유사도들이 미리 설정된 임계값보다 작은 경우, 기존 사용자의 식별자와 다른 새로운 식별자를 현재 사용자에 할당할 수 있다. 새로운 식별자가 현재 사용자에 할당된 경우, 무감독 학습 수행부(170)는 현재 사용자로부터 추출된 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다.
예를 들어, 이미지 데이터로부터 현재 사용자의 헤어 스타일과 체형의 사용자 특징이 추출되었고, 기존 사용자 A, B가 존재한다고 가정한다. 중간 레벨 특징 결정부(160)는 추출된 현재 사용자의 헤어 스타일과 체형의 사용자 특징들을 단순 결합하고 벡터화하거나 또는 BoW(Bag of Words) 방식을 통해 현재 사용자의 헤어 스타일과 체형의 사용자 특징들을 중간 레벨 특징으로 변환할 수 있다. 유사도 결정부(150)는 중간 레벨 특징에 기초하여 현재 사용자와 기존 사용자 A 간의 유사도와 현재 사용자와 기존 사용자 B 간의 유사도를 결정할 수 있다. 사용자 식별자 추정부(120)는 현재 사용자와 기존 사용자 A 간의 유사도가 현재 사용자와 기존 사용자 B 간의 유사도보다 크고, 미리 설정된 임계값보다 큰 경우, 현재 사용자를 기존 사용자 A로 인식할 수 있다. 사용자 데이터 업데이트부(130)는 현재 사용자로부터 추출된 헤어 스타일, 체형의 사용자 특징에 기초하여 기존 사용자 A에 관한 분류기를 업데이트할 수 있다. 현재 사용자와 기존 사용자 A 간의 유사도와 현재 사용자와 기존 사용자 B 간의 유사도가 모두 미리 설정된 임계값 이하인 경우, 사용자 식별자 추정부(120)는 현재 사용자에 새로운 식별자 C를 할당하고, 현재 사용자를 새로운 사용자 C로 인식할 수 있다. 무감독 학습 수행부(170)는 기존 사용자 A, B 및 새로운 사용자 C에 관한 클러스터를 기반으로, 현재 사용자로부터 추출된 헤어 스타일, 체형의 사용자 특징과 미리 저장된 기존 사용자 A, B의 특징 데이터들에 기초하여 무감독 학습을 수행할 수 있다.
도 2는 일실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
단계(210)에서, 사용자 인식 장치는 이미지 데이터, 오디오 데이터 등과 같은 입력 데이터를 사용자별로 분할할 수 있다. 사용자 인식 장치는 사용자별로 분할된 이미지 데이터 및 오디오 데이터에서 현재 사용자의 사용자 영역을 추출하고, 추출된 사용자 영역의 컬러 모델을 변환할 수 있다. 또는, 사용자 인식 장치는 이미지 데이터 및 오디오 데이터에서 노이즈를 제거할 수도 있다.
단계(220)에서, 사용자 인식 장치는 사용자별로 분할된 입력 데이터로부터 사용자의 다중 특징(multi-modal feature)을 추출할 수 있다. 예를 들어, 사용자 인식 장치는 사용자 별로 분할된 입력 데이터로부터 헤어 스타일에 대한 특징, 의복에 대한 특징, 체형에 대한 특징, 성문에 대한 특징, 걸음걸이에 대한 특징 등을 추출할 수 있다.
단계(230)에서, 사용자 인식 장치는 추출된 다중 특징에 기초하여 사용자 레이블을 추정할 수 있다.
구체적으로, 단계(240)에서, 사용자 인식 장치는 이미지 데이터 또는 오디오 데이터로부터 추출된 현재 사용자의 특징이 이전에 식별되지 않은 새로운 특징인지 여부를 결정할 수 있다. 예를 들어, 사용자 인식 장치는 추출된 현재 사용자의 특징과 사용자 데이터에 포함된 기존 사용자들의 특징 데이터에 기초하여 현재 사용자와 사용자 데이터에 포함된 기존 사용자들 간의 유사도를 결정하고, 결정된 유사도에 기초하여 추출된 특징이 이전에 식별되지 않은 새로운 사용자의 특징인지 여부를 결정할 수 있다.
단계(250)에서, 현재 사용자로부터 추출된 특징과 사용자 데이터에 포함된 기존 사용자로부터 추출된 특징 간의 유사도가 낮은 경우, 사용자 인식 장치는 현재 사용자를 새로운 사용자로 인식하고, 현재 사용자에 대한 새로운 사용자 레이블을 생성할 수 있다. 새로운 사용자 레이블이 생성됨에 따라, 사용자 데이터에 새로운 사용자 레이블에 대응하는 클러스터가 추가될 수 있다.
단계(260)에서, 사용자 인식 장치는 현재 사용자로부터 추출된 특징과 사용자 데이터에 포함된 기존 사용자들의 특징 데이터에 기초하여 K-means 클러스터링 등과 같은 무감독 클러스터링(unsupervised clustering)을 수행할 수 있다.
사용자 데이터는 초기에 별도의 사용자 등록 절차를 통해 생성되거나 또는 별도의 사용자 등록 절차 없이도 무감독 클러스터링을 통해 생성될 수 있다. 예를 들어, 초기에는 사용자 데이터에 0명의 사용자가 등록되어 있고, 사용자로부터 추출된 특징이 새로운 특징인 것으로 결정되어 새로운 사용자 레이블 생성 단계 및 무감독 클러스터링 수행 단계가 수행될 수 있다. 그 결과, 별도의 사용자 등록 절차가 수행되지 않더라도, 사용자 데이터에 사용자들에 대한 특징 데이터가 축적될 수 있다.
단계(270)에서, 현재 사용자로부터 추출된 특징과 사용자 데이터에 포함된 기존 사용자로부터 추출된 특징 간의 유사도가 높은 경우, 사용자 인식 장치는 해당 기존 사용자의 사용자 레이블을 현재 사용자에 할당할 수 있다. 사용자 인식 장치는 현재 사용자로부터 추출된 특징에 기초하여 해당 기존 사용자의 클러스터 속성을 업데이트할 수 있다.
단계(280)에서, 사용자 인식 장치는 단계(250)에서 생성된 새로운 사용자 레이블 또는 단계(270)에서 현재 사용자에 할당된 기존 사용자의 사용자 레이블을 현재 사용자의 사용자 레이블로서 출력할 수 있다.
도 3은 일실시예에 따른 사용자의 의복 특징을 추출하는 일례를 설명하기 위한 도면이다.
사용자 인식 장치는 현재 사용자의 사용자 영역(310)에서 패치(patch) 영역(320)을 샘플링 또는 추출할 수 있다. 예를 들어, 패치 영역(320)의 샘플링은 랜덤 위치에서 패치 영역을 추출하는 방법, SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature) 등을 이용하여 주요 위치를 추출하고, 추출된 주요 위치에서 패치 영역을 추출하는 방법, 또는 밀집 추출(Dense Sampling) 방법 등이 이용될 수 있다. 밀집 추출 방법은 특정 조건 없이, 일정한 간격으로 많은 수의 패치 영역을 추출하는 방법으로, 밀집 추출 방법을 통해 사용자 영역에서 충분한 정보가 추출될 수 있다.
추출된 패치 영역의 정보는 다양한 요인(factor)들이 혼합되어 존재하기 때문에, 사용자 인식 장치는 MoG(Mixture of Gaussian) 또는 MoFA(Mixture of Factor Analysis) 등을 이용하여 패치 영역에 포함된 다양한 요인들을 서로 분리할 수 있다. 도 3에서는, MoG(330)를 이용하는 일례가 도시되어 있다. MoG(330)는 아래의 수학식 1과 같이 나타낼 수 있다.
Figure 112014026068607-pat00001
수학식 1에서, K 는 혼합된 Gaussian 분포의 개수,
Figure 112014026068607-pat00002
는 k 번째 Gaussian 분포의 가중치,
Figure 112014026068607-pat00003
는 k 번째 Gaussian 분포의 평균,
Figure 112014026068607-pat00004
는 k 번째 Gaussian 분포의 표준편차, Norm은 평균과 표준편차로 표현되는 정규 Gaussian 분포를 나타낸다.
Figure 112014026068607-pat00005
는 Gaussian 분포의 혼합을 나타내는 파라미터
Figure 112014026068607-pat00006
가 주어졌을 때 데이터 x의 확률을 나타낸다. 데이터 x의 확률은 주어진
Figure 112014026068607-pat00007
(K,
Figure 112014026068607-pat00008
,
Figure 112014026068607-pat00009
,
Figure 112014026068607-pat00010
)로 나타내는 MoG(Mixture of Gaussian)로 표현될 수 있다.
사용자 인식 장치는 각 패치 영역으로부터 컬러 히스토그램(color histogram) 등의 컬러 정보(340), MCT(Modified Census Transform) 및 HoG(Histogram of Oriented Gradient) 등의 형태 정보(350)를 추출할 수 있다. 사용자 인식 장치는 패치 영역(320)으로부터 추출된 컬러 정보(340), 형태 정보(350)에 기초하여 현재 사용자의 의복 특징을 결정할 수 있다.
도 4는 일실시예에 따른 중간 레벨 특징을 결정하는 과정을 설명하기 위한 도면이다.
사용자 인식 장치는 이미지 데이터로부터 의복 디스크립터(descriptor), 체형 디스크립터, 헤어 스타일 디스크립터, 걸음걸이 디스크립터 등의 사용자 특징을 추출할 수 있다. 또한, 사용자 인식 장치는 오디오 데이터로부터 성문 디스크립터, 발소리 디스크립터 등의 사용자 특징을 추출할 수 있다. 사용자 인식 장치는 추출된 의복 디스크립터, 체형 디스크립터, 헤어 스타일 디스크립터, 걸음걸이 디스크립터, 성문 디스크립터, 발소리 디스크립터 등의 사용자 특징들에 기초하여 중간 레벨 특징을 구성할 수 있다. 중간 레벨 특징은 다양한 방법을 통해 구성될 수 있다.
예를 들어, 사용자 인식 장치는 추출된 각 사용자 특징들의 단순 결합에 의한 벡터화를 통해 중간 레벨 특징을 구성할 수 있다. 다른 예로, 사용자 인식 장치는 다양한 학습 데이터로부터 나타날 수 있는 특징 데이터를 미리 클러스터링하여 생성한 코드워드로부터 BoW(Bag of Words)를 구성할 수 있다. BoW 방식은 이미지 데이터에서 추출한 특징을 벡터 양자화를 통해 시각적 단어(visual word)로 표현하여 특정한 값으로 나타내는 방식이다. 이 외에도, 사용자 인식 장치는 다양한 방법을 이용하여 현재 사용자로부터 추출한 다중 특징을 중간 레벨 특징으로 구성할 수 있으며, 특정 방법에 의해 실시예의 범위가 제한되는 것은 아니다.
도 5는 일실시예에 따른 중간 레벨 특징에 기초하여 사용자 레이블을 결정하는 과정을 도시한 흐름도이다.
단계(510)에서, 사용자 인식 장치는 중간 레벨 특징에 기초하여 현재 사용자와 사용자 데이터 포함된 기존 사용자들 간의 유사도를 결정할 수 있다. 사용자 인식 장치는 중간 레벨 특징을 입력으로 하고, 기존 사용자들에 대한 분류기를 이용하여 현재 사용자가 기존 사용자에 매칭될 확률을 계산할 수 있다. 사용자 인식 장치는 각 기존 사용자들에 대응하는 클러스터의 분류기를 이용하여 중간 레벨 특징이 각 클러스터에 속할 확률을 계산할 수 있다.
예를 들어, 사용자 데이터에 등록된 기존 사용자의 수가 2이고, 각 기존 사용자가 A와 B의 사용자 레이블을 가지며, 각각의 사용자 특징에 대한 확률 분포 함수(Probabilistic Density Function, PDF) Pr(x)를 가지는 경우, 중간 레벨 특징 x 에 따른 확률을 유사도로 정의할 수 있다. 예를 들어, 확률 분포 함수는 Multivariate Gaussian Distribution PDF 등이 이용될 수 있다. 확률 분포 함수를 순수 베이즈 분류기(Naive bayes classifier)에 적용하면 다음의 수학식 2와 같이 나타낼 수 있다.
Figure 112014026068607-pat00011
수학식 2에서, P(c|x)는 중간 레벨 특징 x가 주어졌을 때, 현재 사용자의 사용자 레이블이 c일 확률을 나타내고, P(x|c)는 유사도(likelihood)로서, 사용자 레이블 c에 대한 확률 분포 함수로부터 중간 레벨 특징 x가 가지는 확률을 의미한다. P(c)는 사전 확률(prior probability)를 나타낸다. 이 외에도, 중간 레벨 특징이 특정 클래스에 속할 확률을 결정하기 위해 RBM(Restricted Boltzman Machine)기반의 DBN(Deep Belief Network), DBM(Deep Boltzman Machine), CNN(Convolutional Neural Network), Random Forest 등이 이용될 수 있다.
단계(520)에서, 사용자 인식 장치는 각 기존 사용자들에 대한 유사도가 미리 설정된 임계값보다 작은지 여부를 판단할 수 있다.
단계(530)에서, 사용자 인식 장치는 미리 설정된 임계값보다 크고, 기존 사용자들에 대한 유사도들 중 가장 큰 유사도를 가지는 기존 사용자의 사용자 레이블을 현재 사용자의 사용자 레이블로서 출력할 수 있다.
단계(540)에서, 사용자 인식 장치는 기존 사용자들에 대한 유사도들이 모두 미리 설정된 임계값 이하인 경우, 현재 사용자를 새로운 사용자로 인식하고, 현재 사용자에 대한 새로운 사용자 레이블을 생성할 수 있다. 사용자 인식 장치는 새로이 생성된 사용자 레이블을 현재 사용자의 사용자 레이블로서 출력할 수 있다.
도 6은 일실시예에 따른 사용자 특징을 추출하는 과정을 설명하기 위한 도면이다.
사용자 인식 장치는 이미지 데이터로부터 의복 디스크립터, 체형 디스크립터, 헤어 스타일 디스크립터, 걸음걸이 디스크립터 등의 사용자 특징을 추출할 수 있다. 또한, 사용자 인식 장치는 오디오 데이터로부터 성문 디스크립터, 발소리 디스크립터 등의 사용자 특징을 추출할 수 있다. 사용자 인식 장치는 의복 디스크립터, 체형 디스크립터, 헤어 스타일 디스크립터, 걸음걸이 디스크립터, 성문 디스크립터, 발소리 디스크립터 등의 사용자 특징들을 중간 레벨 특징으로 구성하지 않고, 각 사용자 특징들을 독립적으로 이용하여 사용자 인식 과정을 수행할 수 있다.
도 7은 일실시예에 따른 각각의 사용자 특징들에 기초하여 사용자 레이블을 결정하는 과정을 도시한 흐름도이다.
단계(710)에서, 사용자 인식 장치는 사용자 특징별로 현재 사용자와 사용자 데이터 포함된 기존 사용자들 간의 제1 유사도를 결정할 수 있다. 사용자 인식 장치는 사용자 데이터 포함된 기존 사용자들의 개별 특징 분류기를 이용하여 현재 사용자와 기존 사용잔 간의 제1 유사도를 결정할 수 있다. 예를 들어, 사용자 데이터에 포함된 기존 사용자의 수가 K 이고, 현재 사용자로부터 추출된 사용자 특징이 F개인 경우, 기존 사용자들에 대한 특징 분류기의 수는 K x F 개가 존재할 수 있다.
단계(720)에서, 사용자 인식 장치는 베이지안 추정(Bayesian Estimation) 또는 가중 평균(weighted averaging)을 이용하여 기존 사용자들에 대한 제2 유사도를 결정할 수 있다. 사용자 인식 장치는 개별 특징 분류기에 의해 결정된 특정 기존 사용자의 제1 유사도들에 기초하여 특정 기존 사용자와 현재 사용자 간의 제2 유사도를 결정할 수 있다. 예를 들어, 사용자 인식 장치는 다음의 수학식 3과 같은 베이지안 추정을 이용하여 제2 유사도를 결정할 수 있다.
Figure 112014026068607-pat00012
수학식 3에서, Pi(c|x)는 추출된 사용자 특징이 F 개 있을 때, 사용자 특징 i 에서 현재 사용자의 사용자 레이블이 c일 확률을 나타낸다. P(c|x)는 추출된 모든 사용자 특징에 대해 현재 사용자의 사용자 레이블이 c일 확률을 나타낸다.
다른 예로, 사용자 인식 장치는 다음의 수학식 4와 같은 가중 평균을 이용하여 평균 형태의 제2 유사도를 결정할 수 있다.
Figure 112014026068607-pat00013
수학식 4에서, Pi(c|x)는 추출된 사용자 특징이 F 개 있을 때, 사용자 특징 i 에서 현재 사용자의 사용자 레이블이 c일 확률을 나타낸다. P(c|x)는 추출된 모든 사용자 특징에 대해 현재 사용자의 사용자 레이블이 c일 확률을 나타낸다.
단계(730)에서, 사용자 인식 장치는 각 기존 사용자들에 대한 제2 유사도가 미리 설정된 임계값보다 작은지 여부를 판단할 수 있다.
단계(740)에서, 사용자 인식 장치는 미리 설정된 임계값보다 크고, 기존 사용자들에 대한 제2 유사도들 중 가장 큰 제2 유사도를 가지는 기존 사용자의 사용자 레이블을 현재 사용자의 사용자 레이블로서 출력할 수 있다.
단계(750)에서, 사용자 인식 장치는 기존 사용자들에 대한 제2 유사도들이 모두 미리 설정된 임계값 이하인 경우, 현재 사용자를 새로운 사용자로 인식하고, 현재 사용자에 대한 새로운 사용자 레이블을 생성할 수 있다. 사용자 인식 장치는 생성된 사용자 레이블을 현재 사용자의 사용자 레이블로서 출력할 수 있다.
도 8은 일실시예에 따른 추출된 사용자 특징에 기초하여 클러스터의 분류기를 업데이트하는 과정을 도시한 흐름도이다.
사용자 데이터에 포함된 기존 사용자들에 대한 클러스터들은 점진적으로 학습(incremental learning)될 수 있다. 현재 사용자가 사용자 데이터에 포함된 기존 사용자들 중 특정 기존 사용자로 인식되는 경우, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 사용자 데이터에 저장된 특정 기존 사용자의 클러스터를 업데이트할 수 있다. 도 8에서는 현재 사용자가 기존 사용자 A로 인식되었다고 가정한다.
단계(810)에서, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징을 사용자 데이터에 포함된 기존 사용자 A에 대한 클러스터 데이터베이스에 입력할 수 있다.
단계(820)에서, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 기존 사용자 A에 대응되는 클러스터의 분류기를 업데이트할 수 있다. 클러스터의 분류기가 업데이트됨에 따라, 사용자 데이터에 포함된 각 기존 사용자들에 대한 클러스터의 결정 경계 (Decision Boundaries)는 시간에 따라 변경될 수 있다.
단계(830)에서, 사용자 인식 장치는 현재 사용자의 사용자 레이블로서 A의 사용자 레이블을 출력할 수 있다.
도 9는 일실시예에 따른 무감독 학습을 수행하는 과정을 도시한 흐름도이다.
사용자 인식 장치는 현재 사용자가 사용자 데이터에 포함된 기존 사용자가 아닌 새로운 사용자로 인식한 경우, 현재 사용자에 대한 새로운 사용자 식별자를 생성하고, 생성된 사용자 식별자에 대응되는 클러스터를 사용자 데이터에 추가할 수 있다. 추가된 클러스터에 기초하여 사용자 데이터에 포함된 기존 사용자들의 사용자 특징들 및 현재 사용자로부터 추출된 사용자 특징은 다시 클러스터링될 수 있다. 무감독 클러스터링으로 K-means 클러스터링, SOM 등이 이용될 수 있고, 도 9에서는 K-means 클러스터링에 기초하여 설명하도록 한다.
단계(910)에서, 사용자 인식 장치는 사용자 데이터에 포함된 클러스터 데이터를 판독할 수 있다. 사용자 데이터는 새로운 사용자에 대한 클러스터를 포함하여 각 사용자 레이블 A, B, C에 대응하는 3 개의 클러스터들을 포함하고 있다고 가정한다.
단계(920)에서, 사용자 인식 장치는 기존 사용자들에 대한 각 클러스터의 중심과 각 특징 데이터 간의 거리에 기초하여 각 특징 데이터에 사용자 레이블을 할당할 수 있다. 예를 들어, 사용자 인식 장치는 각 사용자 레이블 A, B, C에 대응하는 클러스터들의 중심과 특징 데이터 간의 거리를 계산하고, 가장 가까운 거리를 가지는 클러스터의 사용자 레이블을 해당 특징 데이터에 할당할 수 있다.
예를 들어, 사용자 인식 장치는 다음의 수학식 5와 수학식 6에 기초하여 각 특징 데이터에 사용자 레이블을 할당할 수 있다.
Figure 112014026068607-pat00014
Figure 112014026068607-pat00015
수학식 5와 수학식 6에서, K는 클러스터의 수를 나타내고, N은 전체 특징 데이터의 수를 나타낸다. mk는 k번째 클러스터의 중심으로서 클러스터의 평균을 나타낸다. 수학식 6에서와 같이, 특징 데이터 i에 할당되는 사용자 레이블 C(i)은 클러스터의 중심과 특징 데이터 간의 거리에 기초하여 결정될 수 있다.
단계(930)에서, 사용자 인식 장치는 각 클러스터의 속성을 업데이트할 수 있다. 사용자 인식 장치는 특정 기준을 만족할 때까지 N 개의 특징 데이터들을 각 클러스터들에 매핑(mapping)할 수 있다.
단계(940)에서, 사용자 인식 장치는 무감독 학습의 정지 조건을 만족하는지 여부를 결정할 수 있다. 예를 들어, 사용자 인식 장치는 클러스터들 간의 경계가 더 이상 변화하지 않는 경우, 또는 미리 설정된 반복 횟수에 도달한 경우, 또는 각 특징 데이터에 가장 가까운 클러스터 중심과의 거리들의 합이 미리 설정된 임계값보다 작은 경우에 정지 조건을 만족하는 것으로 결정할 수 있다.
단계(950)에서, 무감독 학습의 정지 조건을 만족하는 경우, 사용자 인식 장치는 각 클러스터의 특징 분류기를 업데이트할 수 있다. 사용자 인식 장치는 각 클러스터에 포함된 각 사용자 특징들에 대한 분류기들을 업데이트할 수 있다.
도 10은 다른 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
단계(1010)에서, 사용자 인식 장치는 입력 데이터로부터 현재 사용자의 사용자 특징을 추출할 수 있다. 입력 데이터는 하나 또는 복수의 사용자가 나타난 이미지 데이터, 오디오 데이터 등을 포함할 수 있다. 사용자 인식 장치는 이미지 데이터에 복수의 사용자들이 존재하는 경우, 각 사용자별로 사용자 영역을 분할하고, 각 사용자 영역에서 사용자 특징을 추출할 수 있다. 예를 들어, 사용자 인식 장치는 이미지 데이터로부터 현재 사용자의 얼굴, 의복, 헤어 스타일, 체형, 걸음걸이 등의 사용자 특징을 추출하고, 오디오 데이터로부터 성문, 발소리 등의 사용자 특징을 추출할 수 있다.
단계(1020)에서, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자의 식별자를 추정할 수 있다. 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하고, 결정된 유사도에 기초하여 현재 사용자의 식별자를 추정할 수 있다.
단계(1030)에서, 사용자 인식 장치는 현재 사용자에 대응하는 식별자가 존재하는지 여부를 결정할 수 있다. 사용자 인식 장치는 사용자 데이터에 포함된 기존 사용자들의 식별자들 중 현재 사용자에 대응하는 식별자가 존재하는지 여부를 결정할 수 있다. 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징과 사용자 데이터에 포함된 기존 사용자들의 사용자 특징 간의 유사도를 계산하는 것에 의해 현재 사용자에 대응하는 식별자가 존재하는지 여부를 결정할 수 있다.
현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 단계(1040)에서, 사용자 인식 장치는 현재 사용자에 대한 새로운 식별자를 생성할 수 있다. 예를 들어, 현재 사용자와 기존 사용자 간의 유사도가 미리 설정된 조건을 만족시키지 않는 경우, 사용자 인식 장치는 현재 사용자에 기존 사용자의 식별자와 다른 식별자를 할당할 수 있다. 사용자 인식 장치는 기존 사용자들에 대한 유사도들이 모두 미리 설정된 임계값 이하인 경우, 기존 사용자들의 식별자들과 다른 새로운 식별자를 현재 사용자에 할당할 수 있다. 그 후, 단계(1060)에서, 사용자 인식 장치는 사용자 데이터를 업데이트할 수 있다. 예를 들어, 사용자 인식 장치는 현재 사용자에게 할당된 새로운 식별자, 현재 사용자로부터 추출된 사용자 특징, 및 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다. 구체적으로, 사용자 인식 장치는 사용자 데이터에 새로운 식별자에 관한 클러스터를 추가하고, 현재 사용자로부터 추출된 사용자 특징과 기존 사용자들의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다.
현재 사용자에 대응하는 기존 사용자의 식별자가 존재하는 경우, 단계(1050)에서, 사용자 인식 장치는 기존 사용자의 식별자를 현재 사용자에 할당할 수 있다. 사용자 인식 장치는 현재 사용자와 기존 사용자 간의 유사도가 미리 설정된 조건을 만족시키는 경우, 기존 사용자의 식별자를 현재 사용자에 할당할 수 있다. 예를 들어, 사용자 인식 장치는 미리 설정된 임계값보다 크고, 기존 사용자들에 대한 유사도 중 가장 큰 유사도를 가지는 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 또는, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징과 사용자 데이터에 포함된 각 기존 사용자의 사용자 특징 간의 유사도를 계산할 수 있고, 계산된 유사도에 기초하여 현재 사용자로부터 추출된 사용자 특징이 새로운 특징인지 여부를 결정할 수 있다. 현재 사용자로부터 추출된 사용자 특징이 새로운 특징이 아닌, 기존 사용자의 사용자 특징이라고 결정한 경우, 사용자 인식 장치는 해당 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다. 그 후, 단계(1060)에서, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자에 대응하는 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다.
도 11은 또 다른 실시예에 따른 사용자 인식 방법을 도시한 흐름도이다.
단계(1110)에서, 사용자 인식 장치는 이미지 데이터에서 현재 사용자의 사용자 영역을 추출할 수 있다.
단계(1120)에서, 사용자 인식 장치는 사용자 영역으로부터 현재 사용자의 사용자 특징을 추출할 수 있다. 예를 들어, 사용자 인식 장치는 사용자 영역으로부터 현재 사용자의 얼굴, 의복, 헤어 스타일, 체형, 걸음걸이 등의 사용자 특징을 추출할 수 있다. 또한, 사용자 인식 장치는 현재 사용자에 대한 오디오 데이터로부터 성문, 발소리 등의 사용자 특징을 추출할 수도 있다.
단계(1130)에서, 사용자 인식 장치는 추출된 사용자 특징 및 미리 저장된 사용자 데이터에 기초하여 현재 사용자의 식별자를 추정할 수 있다. 예를 들어, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하고, 각 기존 사용자들에 대한 유사도에 기초하여 현재 사용자와 기존 사용자 간의 대응 여부를 판단할 수 있다. 사용자 인식 장치는 현재 사용자에 대응하는 기존 사용자가 존재하는지 여부를 판단하고, 현재 사용자에 대응하는 기존 사용자가 존재하지 않는 경우, 현재 사용자에 기존 사용자의 식별자와 다른 새로운 식별자를 할당할 수 있다. 반대로, 현재 사용자에 대응하는 기존 사용자가 존재하는 경우, 사용자 인식 장치는 대응되는 기존 사용자의 식별자를 현재 사용자의 식별자로 결정할 수 있다.
단계(1140)에서, 사용자 인식 장치는 단계(1130)의 추정 결과에 따라 무감독 학습을 수행하거나 또는 사용자 데이터에 포함된 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다. 현재 사용자에 대응하는 기존 사용자가 존재하지 않는 경우, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징과 상기 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행할 수 있다. 무감독 학습의 결과로서, 사용자 데이터는 현재 사용자에 대한 새로운 식별자와 기존 사용자들에 대한 식별자들에 기초하여 재구성될 수 있다.
현재 사용자에 대응하는 기존 사용자가 존재하는 경우, 사용자 인식 장치는 현재 사용자로부터 추출된 사용자 특징에 기초하여 현재 사용자에 대응되는 기존 사용자에 관한 사용자 데이터를 업데이트할 수 있다.
실시예에 따른 장치 및 방법은 하나 이상의 프로세서(processor)에 의해 수행되거나 또는 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (25)

  1. 입력 데이터로부터 현재 사용자의 사용자 특징을 추출하는 단계;
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계; 및
    상기 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 상기 현재 사용자에 대한 식별자를 생성하고, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트하는 단계
    를 포함하고,
    상기 현재 사용자의 사용자 특징을 추출하는 단계는,
    이미지 데이터에 나타난 현재 사용자의 사용자 영역에서 패치(patch) 영역을 추출하는 단계;
    상기 추출된 패치 영역으로부터 컬러 정보 및 형태(shape) 정보를 추출하는 단계; 및
    상기 컬러 정보 및 형태 정보에 기초하여 상기 현재 사용자의 의복에 관한 사용자 특징을 결정하는 단계
    를 포함하는
    사용자 인식 방법.
  2. 제1항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 및
    상기 유사도에 기초하여 현재 사용자에 대응되는 식별자가 존재하는지 여부를 결정하는 단계
    를 포함하는 사용자 인식 방법.
  3. 제1항에 있어서,
    상기 사용자 데이터를 업데이트하는 단계는,
    상기 추출된 사용자 특징과 상기 사용자 데이터에 저장된 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행하는 단계
    를 포함하는 사용자 인식 방법.
  4. 제1항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 및
    상기 유사도가 미리 설정된 조건을 만족시키는 경우, 상기 기존 사용자의 식별자를 상기 현재 사용자에 할당하는 단계를 포함하고,
    상기 사용자 데이터를 업데이트하는 단계는,
    상기 추출된 사용자 특징에 기초하여 상기 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계
    를 포함하는 사용자 인식 방법.
  5. 제1항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 현재 사용자에 대해 추출된 복수의 사용자 특징들에 기초하여 중간 레벨 특징(mid-level feature)을 결정하는 단계; 및
    상기 중간 레벨 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계
    를 포함하는 사용자 인식 방법.
  6. 제5항에 있어서,
    상기 중간 레벨 특징을 결정하는 단계는,
    상기 현재 사용자로부터 추출된 복수의 사용자 특징들을 단순 결합하고 벡터화하는 단계
    를 포함하는 사용자 인식 방법.
  7. 제5항에 있어서,
    상기 중간 레벨 특징을 결정하는 단계는,
    학습 데이터로부터 생성된 코드워드에 기초하여 상기 현재 사용자로부터 추출된 복수의 사용자 특징들을 벡터화하는 단계
    를 포함하는 사용자 인식 방법.
  8. 제5항에 있어서,
    상기 중간 레벨 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 중간 레벨 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자들 간의 유사도를 결정하는 단계; 및
    상기 기존 사용자들에 대한 유사도들 중 가장 크고, 미리 설정된 임계값 이상의 유사도를 가지는 기존 사용자의 식별자를 상기 현재 사용자의 식별자로 결정하는 단계
    를 포함하는 사용자 인식 방법.
  9. 제5항에 있어서,
    상기 중간 레벨 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 중간 레벨 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자들 간의 유사도를 결정하는 단계; 및
    상기 기존 사용자들에 대한 유사도들이 미리 설정된 임계값보다 작은 경우, 상기 기존 사용자의 식별자와 다른 식별자를 상기 현재 사용자에 할당하는 단계
    를 포함하는 사용자 인식 방법.
  10. 제1항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 현재 사용자로부터 추출된 사용자 특징별로 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 및
    상기 사용자 특징별로 결정된 유사도에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계
    를 포함하는 사용자 인식 방법.
  11. 입력 데이터로부터 현재 사용자의 사용자 특징을 추출하는 단계;
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계; 및
    상기 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 상기 현재 사용자에 대한 식별자를 생성하고, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트하는 단계를 포함하고,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 현재 사용자로부터 추출된 사용자 특징별로 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 단계; 및
    상기 사용자 특징별로 결정된 유사도에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계를 포함하고,
    상기 사용자 특징별로 결정된 유사도에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 사용자 특징별로 상기 현재 사용자와 사용자 데이터에 저장된 각 기존 사용자들 간의 제1 유사도를 결정하는 단계;
    상기 사용자 특징별로 결정된 제1 유사도에 기초하여 각각의 기존 사용자들에 대한 제2 유사도를 결정하는 단계;
    상기 기존 사용자들에 대한 제2 유사도들 중 가장 크고, 미리 설정된 임계값 이상의 제2 유사도를 가지는 기존 사용자의 식별자를 상기 현재 사용자의 식별자로 결정하는 단계; 및
    상기 기존 사용자들에 대한 제2 유사도들이 미리 설정된 임계값보다 작은 경우, 상기 기존 사용자의 식별자와 다른 식별자를 상기 현재 사용자에 할당하는 단계
    를 포함하는 사용자 인식 방법.
  12. 제1항에 있어서,
    상기 사용자 특징을 추출하는 단계는,
    이미지 데이터로부터 현재 사용자의 의복(clothing), 헤어 스타일(hair style), 체형(body shape), 및 걸음걸이(gait) 중 적어도 하나를 추출하거나 또는 오디오 데이터로부터 현재 사용자의 성문(voice print), 및 발소리(footstep) 중 적어도 하나를 추출하는 단계
    를 포함하는 사용자 인식 방법.
  13. 제1항에 있어서,
    상기 입력 데이터는,
    이미지 데이터 및 오디오 데이터 중 적어도 하나를 포함하고,
    상기 사용자 특징을 추출하는 단계는,
    상기 이미지 데이터 및 상기 오디오 데이터 중 적어도 하나를 사용자별로 분할하는 단계; 및
    상기 분할된 이미지 데이터 및 상기 분할된 오디오 데이터 중 적어도 하나로부터 현재 사용자의 사용자 특징을 추출하는 단계
    를 포함하는 사용자 인식 방법.
  14. 제1항에 있어서,
    상기 현재 사용자의 사용자 특징을 추출하는 단계는,
    이미지 데이터에서 현재 사용자의 사용자 영역을 추출하는 단계; 및
    상기 추출된 사용자 영역을 다른 컬러 모델로 변환하는 단계
    를 포함하는 사용자 인식 방법.
  15. 삭제
  16. 제1항에 있어서,
    상기 현재 사용자의 사용자 특징을 추출하는 단계는,
    이미지 데이터에서 상기 현재 사용자의 체형에 관한 랜드마크(landmark)를 추출하는 단계;
    상기 추출된 랜드마크의 주변 정보에 기초하여 상기 현재 사용자의 체형 특징 분포를 결정하는 단계; 및
    상기 체형 특징 분포에 기초하여 상기 현재 사용자의 체형에 대한 사용자 특징을 결정하는 단계
    를 포함하는 사용자 인식 방법.
  17. 제1항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  18. 이미지 데이터에서 현재 사용자의 사용자 영역을 추출하는 단계;
    상기 사용자 영역으로부터 상기 현재 사용자의 사용자 특징을 추출하는 단계;
    상기 추출된 사용자 특징 및 미리 저장된 사용자 데이터에 기초하여 상기 현재 사용자의 식별자를 추정하는 단계; 및
    상기 추정 결과에 따라 무감독 학습을 수행하거나 또는 상기 사용자 데이터에 포함된 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계
    를 포함하고,
    상기 현재 사용자의 사용자 특징을 추출하는 단계는,
    이미지 데이터에 나타난 현재 사용자의 사용자 영역에서 패치(patch) 영역을 추출하는 단계;
    상기 추출된 패치 영역으로부터 컬러 정보 및 형태(shape) 정보를 추출하는 단계; 및
    상기 컬러 정보 및 형태 정보에 기초하여 상기 현재 사용자의 의복에 관한 사용자 특징을 결정하는 단계
    를 포함하는
    사용자 인식 방법.
  19. 제18항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 현재 사용자에 대응되는 기존 사용자가 존재하지 않는 경우, 상기 현재 사용자에 상기 기존 사용자의 식별자와 다른 식별자를 할당하는 단계를 포함하고,
    상기 무감독 학습을 수행하는 단계는,
    상기 추출된 사용자 특징과 상기 기존 사용자의 사용자 특징에 기초하여 무감독 학습을 수행하는 단계
    를 포함하는 사용자 인식 방법.
  20. 제18항에 있어서,
    상기 현재 사용자의 식별자를 추정하는 단계는,
    상기 현재 사용자에 대응되는 기존 사용자가 존재하는 경우, 상기 기존 사용자의 식별자를 상기 현재 사용자의 식별자로 결정하는 단계를 포함하고,
    상기 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계는,
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자에 대응되는 기존 사용자에 관한 사용자 데이터를 업데이트하는 단계
    를 포함하는 사용자 인식 방법.
  21. 입력 데이터부터 현재 사용자의 사용자 특징을 추출하는 사용자 특징 추출부;
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자의 식별자를 추정하는 사용자 식별자 추정부; 및
    상기 현재 사용자에 대응하는 식별자가 존재하지 않는 경우, 상기 현재 사용자에 대한 식별자를 생성하고, 상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 사용자 데이터를 업데이트하는 사용자 데이터 업데이트부
    를 포함하고,
    상기 사용자 특징 추출부는,
    이미지 데이터에 나타난 현재 사용자의 사용자 영역에서 패치(patch) 영역을 추출하고, 상기 추출된 패치 영역으로부터 컬러 정보 및 형태(shape) 정보를 추출하고, 상기 컬러 정보 및 형태 정보에 기초하여 상기 현재 사용자의 의복에 관한 사용자 특징을 결정하는,
    사용자 인식 장치.
  22. 제21항에 있어서,
    상기 사용자 식별자 추정부는,
    상기 추출된 사용자 특징에 기초하여 상기 현재 사용자와 사용자 데이터에 저장된 기존 사용자 간의 유사도를 결정하는 유사도 결정부
    를 포함하는 사용자 인식 장치.
  23. 제22항에 있어서,
    상기 유사도 결정부는,
    상기 현재 사용자에 대해 추출된 복수의 사용자 특징들에 기초하여 중간 레벨 특징을 결정하는 중간 레벨 특징 결정부
    를 포함하는 사용자 인식 장치.
  24. 제21항에 있어서,
    상기 사용자 데이터 업데이트부는,
    상기 생성된 식별자 및 상기 추출된 사용자 특징에 기초하여 무감독 학습을 수행하는 무감독 학습 수행부
    를 포함하는 사용자 인식 장치.
  25. 제21항에 있어서,
    상기 사용자 특징 추출부는,
    이미지 데이터에서 현재 사용자의 사용자 영역을 추출하고, 상기 추출된 사용자 영역을 다른 컬러 모델로 변환하는 전처리부
    를 포함하는 사용자 인식 장치.
KR1020140031780A 2014-03-18 2014-03-18 사용자 인식 방법 및 장치 KR102222318B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140031780A KR102222318B1 (ko) 2014-03-18 2014-03-18 사용자 인식 방법 및 장치
PCT/KR2014/003922 WO2015141892A1 (ko) 2014-03-18 2014-05-02 사용자 인식 방법 및 장치
US15/234,457 US20160350610A1 (en) 2014-03-18 2016-08-11 User recognition method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140031780A KR102222318B1 (ko) 2014-03-18 2014-03-18 사용자 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150108673A KR20150108673A (ko) 2015-09-30
KR102222318B1 true KR102222318B1 (ko) 2021-03-03

Family

ID=54144842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140031780A KR102222318B1 (ko) 2014-03-18 2014-03-18 사용자 인식 방법 및 장치

Country Status (3)

Country Link
US (1) US20160350610A1 (ko)
KR (1) KR102222318B1 (ko)
WO (1) WO2015141892A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223582B2 (en) * 2014-10-28 2019-03-05 Watrix Technology Gait recognition method based on deep learning
US10129262B1 (en) * 2016-01-26 2018-11-13 Quest Software Inc. Systems and methods for secure device management
KR102376110B1 (ko) * 2017-06-13 2022-03-17 주식회사 한화 딥 네트워크 구조 및 딥 러닝 기반 영상 인식 시스템
US11194330B1 (en) * 2017-11-03 2021-12-07 Hrl Laboratories, Llc System and method for audio classification based on unsupervised attribute learning
CN107992795B (zh) * 2017-10-27 2021-08-31 江西高创保安服务技术有限公司 基于人口信息库与实名通话记录的团伙及其头目识别方法
CN107978311B (zh) * 2017-11-24 2020-08-25 腾讯科技（深圳）有限公司 一种语音数据处理方法、装置以及语音交互设备
US10170135B1 (en) * 2017-12-29 2019-01-01 Intel Corporation Audio gait detection and identification
CN110096941A (zh) * 2018-01-29 2019-08-06 西安科技大学 一种基于siamese网络的步态识别系统
KR20200067421A (ko) * 2018-12-04 2020-06-12 삼성전자주식회사 데이터를 학습하여 사용자를 식별하는 사용자 예측 모델을 생성하는 방법, 상기 모델을 적용한 전자 장치, 및 상기 모델을 적용하는 방법
KR20200107555A (ko) * 2019-03-08 2020-09-16 에스케이텔레콤 주식회사 영상 분석 장치, 방법 및 이에 이용되는 영상 분석 모델의 생성 방법
US11853450B2 (en) * 2019-11-05 2023-12-26 Saudi Arabian Oil Company Detection of web application anomalies using machine learning
CN110782904A (zh) * 2019-11-07 2020-02-11 四川长虹电器股份有限公司 智能语音设备的用户账号切换方法
CN111428690B (zh) * 2020-04-21 2022-08-09 桂林电子科技大学 一种基于步态信号拓扑分析的身份认证方法
US11488382B2 (en) * 2020-09-10 2022-11-01 Verb Surgical Inc. User presence/absence recognition during robotic surgeries using deep learning
KR102341848B1 (ko) * 2020-12-18 2021-12-22 동국대학교 산학협력단 스마트 추종체를 위한 뒤태 기반 사용자 인식 시스템 및 방법
US11816932B1 (en) * 2021-06-29 2023-11-14 Amazon Technologies, Inc. Updating identification data in automated user-identification systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272897A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 文脈支援型人間識別のためのデジタル画像処理方法および装置
US20110051999A1 (en) * 2007-08-31 2011-03-03 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
US20130246270A1 (en) * 2012-03-15 2013-09-19 O2 Micro Inc. Method and System for Multi-Modal Identity Recognition
JP2014016826A (ja) * 2012-07-09 2014-01-30 Canon Inc 画像処理装置、及び画像処理方法、プログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
JP3439359B2 (ja) * 1998-12-18 2003-08-25 日本電気株式会社 個人識別方法、個人識別装置および記録媒体
EP1156430A2 (en) * 2000-05-17 2001-11-21 Matsushita Electric Industrial Co., Ltd. Information retrieval system
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
US7542590B1 (en) * 2004-05-07 2009-06-02 Yt Acquisition Corporation System and method for upgrading biometric data
KR20060063599A (ko) * 2004-12-07 2006-06-12 한국전자통신연구원 사용자 인식 시스템 및 그 방법
JP5067595B2 (ja) * 2005-10-17 2012-11-07 ソニー株式会社 画像表示装置および方法、並びにプログラム
US7864989B2 (en) * 2006-03-31 2011-01-04 Fujifilm Corporation Method and apparatus for adaptive context-aided human classification
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
TW200907827A (en) * 2007-08-08 2009-02-16 Acer Inc System and method for performing objects with bio-characteristics recognition
US20120117086A1 (en) * 2007-09-13 2012-05-10 Semiconductor Insights Inc. Method of bibliographic field normalization
KR100947027B1 (ko) * 2007-12-28 2010-03-11 한국과학기술원 가상음장을 이용한 다자간 동시 통화 방법 및 그 기록매체
KR20100056280A (ko) * 2008-11-19 2010-05-27 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US20100191689A1 (en) * 2009-01-27 2010-07-29 Google Inc. Video content analysis for automatic demographics recognition of users and videos
KR20110023496A (ko) * 2009-08-31 2011-03-08 엘지전자 주식회사 사용자를 인식하여 기능을 제공하는 방송 수신기의 제어 방법 및 그 방법을 채용한 방송 수신기
JP5286297B2 (ja) * 2010-01-26 2013-09-11 株式会社日立製作所 生体認証システム
JP5250576B2 (ja) * 2010-02-25 2013-07-31 日本電信電話株式会社 ユーザ判定装置、方法、プログラム及びコンテンツ配信システム
KR101710626B1 (ko) * 2010-11-04 2017-02-27 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
KR101760258B1 (ko) * 2010-12-21 2017-07-21 삼성전자주식회사 얼굴 인식 장치 및 그 방법
US9443511B2 (en) * 2011-03-04 2016-09-13 Qualcomm Incorporated System and method for recognizing environmental sound
US8380711B2 (en) * 2011-03-10 2013-02-19 International Business Machines Corporation Hierarchical ranking of facial attributes
JP5891613B2 (ja) * 2011-06-15 2016-03-23 オムロン株式会社 情報処理装置および方法、並びにプログラム
WO2013058781A1 (en) * 2011-10-18 2013-04-25 Intel Corporation Methods, systems and apparatus to facilitate client-based authentication
KR101844291B1 (ko) * 2012-01-16 2018-04-03 삼성전자주식회사 신체 자세군 생성 장치 및 방법
KR101971697B1 (ko) * 2012-02-24 2019-04-23 삼성전자주식회사 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치
US9372874B2 (en) * 2012-03-15 2016-06-21 Panasonic Intellectual Property Corporation Of America Content processing apparatus, content processing method, and program
EP2680615B1 (en) * 2012-06-25 2018-08-08 LG Electronics Inc. Mobile terminal and audio zooming method thereof
TWI456515B (zh) * 2012-07-13 2014-10-11 Univ Nat Chiao Tung 融合人臉辨識及語音辨識之身份辨識系統、其方法及其服務型機器人
JP2014060647A (ja) * 2012-09-19 2014-04-03 Sony Corp 情報処理システム及びプログラム
CN103973441B (zh) * 2013-01-29 2016-03-09 腾讯科技（深圳）有限公司 基于音视频的用户认证方法和装置
JP5975293B2 (ja) * 2013-02-22 2016-08-23 富士ゼロックス株式会社 認証装置及びプログラム
JP6013241B2 (ja) * 2013-03-18 2016-10-25 株式会社東芝 人物認識装置、及び方法
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법
JP5851651B2 (ja) * 2013-03-21 2016-02-03 株式会社日立国際電気 映像監視システム、映像監視方法、および映像監視装置
US20140341443A1 (en) * 2013-05-16 2014-11-20 Microsoft Corporation Joint modeling for facial recognition
US9720934B1 (en) * 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272897A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 文脈支援型人間識別のためのデジタル画像処理方法および装置
US20110051999A1 (en) * 2007-08-31 2011-03-03 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
US20130246270A1 (en) * 2012-03-15 2013-09-19 O2 Micro Inc. Method and System for Multi-Modal Identity Recognition
JP2014016826A (ja) * 2012-07-09 2014-01-30 Canon Inc 画像処理装置、及び画像処理方法、プログラム

Also Published As

Publication number Publication date
KR20150108673A (ko) 2015-09-30
WO2015141892A1 (ko) 2015-09-24
US20160350610A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
KR102222318B1 (ko) 사용자 인식 방법 및 장치
KR102190484B1 (ko) 인식기 학습 방법 및 장치, 데이터 인식 방법 및 장치
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
US10242249B2 (en) Method and apparatus for extracting facial feature, and method and apparatus for facial recognition
US8340439B2 (en) Image conversion method and apparatus, and pattern identification method and apparatus
US9053358B2 (en) Learning device for generating a classifier for detection of a target
WO2014029099A1 (en) I-vector based clustering training data in speech recognition
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
JP5251205B2 (ja) 住所認識装置
Ong et al. Learning sequential patterns for lipreading
JP7173379B2 (ja) 話者認識システムおよびその使用方法
Abboud et al. Biometric templates selection and update using quality measures
JP2017084006A (ja) 画像処理装置およびその方法
KR102399673B1 (ko) 어휘 트리에 기반하여 객체를 인식하는 방법 및 장치
Kisku et al. Feature level fusion of biometrics cues: Human identification with Doddington’s Caricature
KR100852630B1 (ko) 비디오 영상에서 확률적 접근법을 이용한 생체인식방법
Histograms Bi-level classification of color indexed image histograms for content based image retrieval
KR20160069027A (ko) 감성 기반의 영상 색인 시스템 및 방법
Mustafa et al. An Efficient Lip-reading Method Using K-nearest Neighbor Algorithm
KR20100109752A (ko) 지문 인식 장치 및 방법
Haritha et al. Face recognition algorithm based on doubly truncated gaussian mixture model using hierarchical clustering algorithm
Lu et al. Hybrid Relative attributes based on sparse coding for zero-shot image classification
Li et al. Beyond bag of words: Combining generative and discriminative models for natural scene categorization
CN111310712B (zh) 一种基于指纹词袋特征的快速搜索方法
JP7341962B2 (ja) 学習データ収集装置、学習装置、学習データ収集方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant