KR101276204B1 - 멀티모달 융합을 위한 환경변수 측정방법 - Google Patents

멀티모달 융합을 위한 환경변수 측정방법 Download PDF

Info

Publication number
KR101276204B1
KR101276204B1 KR1020100044142A KR20100044142A KR101276204B1 KR 101276204 B1 KR101276204 B1 KR 101276204B1 KR 1020100044142 A KR1020100044142 A KR 1020100044142A KR 20100044142 A KR20100044142 A KR 20100044142A KR 101276204 B1 KR101276204 B1 KR 101276204B1
Authority
KR
South Korea
Prior art keywords
image
voice
distance
input
registered
Prior art date
Application number
KR1020100044142A
Other languages
English (en)
Other versions
KR20110124644A (ko
Inventor
김혜진
김도형
지수영
이재연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100044142A priority Critical patent/KR101276204B1/ko
Priority to US13/017,582 priority patent/US20110282665A1/en
Publication of KR20110124644A publication Critical patent/KR20110124644A/ko
Application granted granted Critical
Publication of KR101276204B1 publication Critical patent/KR101276204B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

멀티모달 융합을 위한 환경변수 측정방법이 제공된다. 환경변수 측정방법은 적어도 하나 이상의 등록 모달리티를 준비하는 단계, 적어도 하나 이상의 입력 모달리티를 받는 단계, 하나의 등록 모달리티로서의 등록 영상의 조도를 기준으로 하나의 입력 모달리티로서의 입력 영상에 대한 영상관련환경변수를 계산하는 단계, 및 영상관련환경변수를 기설정된 기준값과 비교하고 그 비교 결과에 따라 입력 영상을 폐기하거나 또는 인식 데이터로서 출력하는 단계를 포함한다.

Description

멀티모달 융합을 위한 환경변수 측정방법{METHOD FOR MEASURING ENVIRONMENTAL PARAMETERS FOR MULTI-MODAL FUSION}
본 발명은 멀티모달 융합을 위한 환경변수 측정방법에 관한 것이다.
본 발명은 지식경제부 IT원천기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-037-01, 과제명: u-로봇 HRI 솔루션 및 핵심 소자 기술 개발].
종래의 멀티모달 융합 사용자 인식(multi-modal fusion user recognition) 방법은 복수의 멀티모달 정보를 인식률로 융합하거나 특징값(feature)으로 융합하는 방법들이 주를 이루고 있다. 융합의 목적이 여러 데이터를 합하여 더 나은 성능을 얻는 것이라고 할 때, 각각의 인체의 감각적 양상 즉 모달리티(modality) 데이터의 특성상, 그 인식률이 낮아지는 환경은 각기 서로 다르다. 예를 들면, 얼굴 인식률의 경우 역광과 같은 조건에서 인식률이 낮아지고, 화자 인식률의 경우 SNR(signal-to-noise ratio)이 높은 조건에서 인식률이 낮아진다.
이와 같이, 사용자 인식에 있어서 인식률이 낮아지는 환경은 잘 알려져 있다. 하지만, 이러한 환경 변수를 사용자 인식 시스템에 반영하여 사용자 인식 성능을 높이지는 못하고 있다. 그것은 사용자 인식에 있어서 시시각각 달라지는 환경을 인식률에 영향을 주는 변수로서 측정하기가 어렵기 때문이다.
본 발명의 목적은 실제 환경에서의 입력 영상, 입력 음성, 또는 이들 모두의 신뢰도를 실시간으로 측정할 수 있는 멀티모달 융합을 위한 환경변수 측정방법을 제공하는 데 있다.
상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 따르면, 적어도 하나 이상의 등록 모달리티를 준비하는 제1 단계; 적어도 하나 이상의 입력 모달리티를 받는 제2 단계; 적어도 하나 이상의 등록 모달리티 중 등록 영상의 조도를 기준으로 적어도 하나 이상의 입력 모달리티 중 입력 영상에 대한 영상관련환경변수를 계산하는 제3 단계; 및 영상관련환경변수를 기설정된 기준값과 비교하고, 비교 결과에 따라 입력 영상을 폐기하거나 또는 인식 데이터로서 출력하는 제4 단계를 포함하는 멀티모달 융합을 위한 환경변수 측정방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 사용자 인식을 위한 등록 음성을 준비하는 제1 단계; 사용자 인식을 위한 입력 음성을 받는 제2 단계; 등록 음성을 기준으로 입력 음성에 대한 음성관련환경변수를 추출하는 제3 단계; 및 추출된 음성관련환경변수를 기설정된 기준값과 비교하고, 비교 결과에 따라 입력 음성을 폐기하거나 인식 데이터로서 출력하는 제4 단계를 포함하는 멀티모달 융합을 위한 환경변수 측정방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 사용자 인식을 위한 등록 영상 및 등록 음성을 준비하는 제1 단계; 사용자 인식을 위한 입력 영상 및 입력 음성을 각각 받는 제2 단계; 등록 영상을 기준으로 입력 영상에 대한 영상관련환경변수를 추출하는 제3 단계; 등록 음성을 기준으로 입력 음성에 대한 음성관련환경변수를 추출하는 제4 단계; 및 추출된 영상관련환경변수와 음성관련환경변수를 기설정된 기준값과 각각 비교하고, 비교 결과에 따라 입력 영상만, 입력 음성만, 또는 입력 영상과 입력 음성 모두를 폐기하거나 인식 데이터로서 출력하는 제5 단계를 포함하는 멀티모달 융합을 위한 환경변수 측정방법이 제공된다.
본 발명의 실시예에 따르면, 실제 환경에서 음성, 영상, 또는 이들 모두의 퀄러티(quality)를 실시간으로 측정할 수 있는 멀티모달 융합을 위한 환경변수 측정방법을 제공할 수 있다. 즉, 환경을 직접 측정하는 기존의 방식과 달리, 등록된 사용자 인식 정보를 토대로 입력된 인식 데이터의 사용자 환경을 실시간으로 측정하기 때문에 멀티모달 융합에서 사용자 인식에 대한 가중치나 파라미터로서 사용할 수 있다. 다시 말하면, 사용자 인식에 있어서 입력 데이터의 퀄러티에 대한 신뢰도를 제공하는 방안이 될 수 있다. 게다가, 극단적으로 좋지 않은 입력 데이터의 경우, 입력된 인식 데이터의 폐기나 새로운 인식 데이터의 입력을 간단히 판단할 수 있으므로, 상호작용이 가능한 사용자 인식 시스템에서 시스템의 속도 향상이나 불필요한 연산 방지 등에 유용하게 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티모달 융합을 위한 환경변수 측정방법에 대한 순서도이다.
도 2는 도 1의 멀티모달 융합을 위한 환경변수 측정방법에 채용가능한 등록 얼굴 영상의 일례를 나타내는 도면이다.
도 3은 도 1의 멀티모달 융합을 위한 환경변수 측정방법에 있어서 다양한 입력 영상에 대한 얼굴 인식 과정을 설명하기 위한 도면이다.
도 4는 도 3의 다양한 입력 영상에 대한 밝기를 설명하기 위한 도면이다.
도 5는 도 1의 멀티모달 융합을 위한 환경변수 측정방법에 있어서 조명 거리에 따른 BrightRate을 설명하기 위한 그래프이다.
도 6은 도 1의 멀티모달 융합을 위한 환경변수 측정방법에 있어서, BrightRate에 따른 인식 에러율을 나타내는 그래프이다.
이하, 첨부한 도면들 및 후술되는 내용을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 용어 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 멀티모달 융합을 위한 환경변수 측정방법에 대한 순서도이다.
이하의 설명에서, 환경변수 측정장치는 기본적으로 본 실시예에 따른 멀티모달 융합을 위한 환경 변수를 측정하고, 측정한 환경 변수를 토대로 얼굴 인식, 화자 식별, 또는 이들 모두를 수행할 수 있는 기능 또는 이러한 기능을 포함한 구성부를 구비하는 장치를 지칭한다. 그리고, 환경변수 측정장치에 입력되는 입력 영상, 입력 음성, 또는 이들 모두는 입력 모달리티(modality)로 언급될 수 있다.
도 1을 참조하면, 본 실시예에 따른 환경변수 측정방법이 채용된 얼굴 인식 장치 또는 사용자 인식 시스템(미도시; 이하, 환경변수 측정장치라고 함)에 얼굴 인식을 위한 입력 영상(input images)이 존재하면(S110), 환경변수 측정장치는 먼저 입력 영상을 그레이 영상(gray images)으로 변환(transform)한다(S120).
상기 단계(S120)에서, 입력 영상을 그레이 영상으로 변환한 것은 이후의 단계에서 입력 영상에 대한 등록 영상으로부터의 거리의 변화량(variance of distances from the enrolled images)을 좀더 정확하게 구하기 위한 것이다. 다시 말해서, 그것은 등록 영상을 기준으로 입력 영상에 대한 밝기 비율이나 밝기 영역을 명확하게 구분하기 위한 것이다.
다음, 환경변수 측정장치는 등록 영상을 기준으로 입력 영상에 대한 영상관련 환경변수를 구한다(S130). 본 실시예에서, 입력 영상에 대한 영상관련 환경변수를 "BrightRate"이라 한다. BrightRate을 수식으로 나타내면 수학식 1과 같다.
Figure 112010030324052-pat00001
수학식 1에서, Ienroll은 등록 영상을 나타내고, Itest는 테스트 영상 또는 입력 영상을 나타낸다. 수학식 1에 나타낸 바와 같이, 본 실시예의 환경변수 측정장치에서는 등록 영상 Ienroll과 테스트 영상 Itest의 디스턴스 놈(distance norm)을 구하고, 구해진 디스컨스 놈 값의 변화량(variance)이 입력 영상에 대한 영상관련 환경변수 즉, BrightRate이 된다.
전술한 디스턴스 놈(distance norm)은 Absolute distance(1-norm distance), Euclidean distance(2-norm distance), Minkowski distance(p-norm distance), Chebyshev distance, Mahalanobis distance, Hamming distance, Lee distance, Levenshtein distance 등 모든 가능한 거리 계산 방법들 중 적어도 어느 하나에 의해 계산될 수 있다.
다음, 화자 식별을 위한 입력 음성(input voice)이 존재하면(S140), 환경변수 측정장치는 등록 음성을 기준으로 입력 음성에 대한 음성관련 환경변수를 구한다(S150). 본 실시예에서, 입력 음성에 대한 음성관련 환경변수를 "NoiseRate"이라 한다. NoiseRate을 수식으로 나타내면 수학식 2와 같다.
Figure 112010030324052-pat00002
수학식 2에서, Xclean(t)는 사용자를 등록(enrollment)하는 환경에서의 등록 음성 또는 목적 음성(target speech)을 나타내고, Xcurrent(t)는 임의의 환경에서의 입력 음성을 나타낸다.
상기 단계(S150)에 따르면, SNR(signal-to-noise ratio)의 측정은 어렵지만, 등록시의 입력 음성 즉 목적 음성이 순수 신호(signal)라는 가정하에서 목적 음성을 토대로 입력 음성의 환경 변수를 측정할 수 있다.
이러한 본 실시예의 환경변수 측정방법은 예컨대 화자 식별을 위해 SNR을 이용하는 방법의 대안 방법이 될 수 있다. 즉, SNR 측정은 어떤 구간이 신호 구간이고 어떤 구간이 잡음 구간인지를 구하기 어렵기 때문에 환경의 SNR 측정으로 화자 인식이 어렵다는 단점이 있다. 하지만, 본 실시예의 NoiseRate은 등록시의 목적 음성이 순수 신호라는 가정하에서 입력 음성의 환경 변수를 측정하므로 신호 구간과 잡음 구간의 구분이 용이한 장점이 있다.
다음, 상기 단계들(S130, S150)에서 각각 얻은 BrightRate, NoiseRate, 또는 이들 모두가 기설정된 기준값(threshold)에 미달되는지를 판단한다(S160). 기준값은 BrightRate의 경우 얼굴 인식 가능한 입력 데이터로서의 최대 임계값으로 설정될 수 있고, NoiseRate의 경우 화자 인식 가능한 입력 데이터로서의 최대 임계값으로 설정될 수 있다. 예컨대, 기준값은 사용자 식별의 한계를 고려할 때, NoiseRate의 경우 20㏈ 이하에서 설정될 수 있다.
다음, 상기 단계(S160)의 판단 결과, BrightRate, NoiseRate, 또는 이들 모두가 기준값보다 크면, 해당 입력 데이터는 폐기되거나 사용할 수 없음이 사용자 등에게 통지된다(S170).
또한, 상기 단계(S160)의 판단 결과, BrightRate, NoiseRate, 또는 이들 모두가 기준값과 같거나 작으면, 해당 입력 데이터는 얼굴 인식을 수행하는 유닛이나 화자 식별을 수행하는 유닛에 전달되어 사용자 식별용 데이터로써 사용된다(S180). 예컨대, 사용자 식별용 데이터는 정규화된 얼굴, 정규화된 음성, 또는 이들 모두에 대한 특징 추출값(feature extraction)을 포함할 수 있다.
이와 같이, 본 실시예에 따르면, 얼굴 인식이나 화자 식별을 위한 입력 모달리티에 대한 환경 변수를 등록 모달리티에 기초하여 측정함으로써 입력 데이터에 대한 신뢰도를 신속히 판단할 수 있고, 그것에 의해 사용자 인식 시스템의 성능을 향상시킬 수 있다.
전술한 바와 같이, 본 실시예에서는, 등록된 사용자 인식 정보를 토대로 환경 변수를 적용함으로써 효율적으로 멀티 모달 정보를 혼합하는 방법을 제공한다. 본 알고리즘의 주요한 특징은 특정 환경 조건이 특정 모달리티에 대한 낮은 정확도를 유발할 수 있고, 나머지 모달리티가 그러한 조건에 영향을 미치지 않는다는 데 기초한다. 또한, 본 실시예는 화자 식별, 얼굴 인식, 또는 이들 모두가 등록 과정(enrollment step)을 사용하는 점에 기초한다. 즉, 조합 오디오-비주얼 처리 결과로서 환경 변수에 근거하여 신뢰할 수 있는 특징을 구별적으로 선택하는 것은 본 실시예의 주된 기술적 특징 중 하나이다.
이하에서는 전술한 실시예에 대하여 실제의 다양한 입력 영상들을 예를 들어 좀더 구체적으로 설명한다.
도 2는 도 1의 멀티모달 융합을 위한 환경변수 측정방법에 채용가능한 등록 얼굴 영상의 일례를 나타내는 도면이다. 도 3은 도 1의 멀티모달 융합을 위한 환경변수 측정방법에 있어서 다양한 입력 영상에 대한 얼굴 인식 과정을 설명하기 위한 도면이다. 도 4는 도 3의 다양한 입력 영상에 대한 밝기를 설명하기 위한 도면이다.
도 2, 도 3, 및 도 4에 도시한 얼굴 영상들은 예일-B 데이터베이스에서 얻은 것이다. 예일-B 데이터베이스는 여러 방향에서 조도가 변화된 얼굴 영상들을 포함한다. 또한, 예일-B 데이터베이스는 그레이 영상들을 포함한다. 도 4의 영상들(a) 내지 (f)는 도 3의 (a) 내지 (f) 라인의 왼쪽 첫번째 컬럼의 영상들에 각각 대응된다.
도 3의 왼쪽 첫번째 컬럼에 도시된 그레이 영상들은 도 1의 2번째 단계(S120)에서의 그레이 영상에 대응할 수 있다. 도 3의 2번째와 3번째 컬럼 영상들은 도 2의 노멀 입력 영상 즉 등록 영상(200)에 대한 X축과 Y축의 상대적인 밝기를 각각 나타낸다. 본 실시예에서는 도 2의 노멀 입력 영상을 등록 영상(200)으로 가정한다.
입력 영상의 조도가 등록 영상의 조도와 동일하거나 유사하다면, 입력 영상의 조도 라인의 기울기는 등록 영상의 조도 라인의 기울기에 근접하게 된다.
따라서, BrightRate이 미리 설정한 영상 인식 기준의 최대치인 기준값(threshold)보다 크면, 입력 영상은 버려지고, 새로운 입력 영상을 위해 사용자에게 빛 조건을 변화시켜 입력 영상을 준비하도록 주문 또는 요청할 수 있다.
도 3에 있어서, 첫번째 컬럼에서 첫번째 라인(a)의 영상은 대단히 어둡고, 따라서 코 주변의 픽셀들을 제외한 모든 픽셀은 블랙에 대단히 가깝다. 본 실시예에서 첫번째 라인(a)의 영상은 무시될 수 있다.
2번째 라인(b)의 영상은 거의 균일한 조도 변화를 가진다. 즉, 2번째 라인(b)의 영상은 X축과 Y축 방향에서 거의 일정한 조도 변화(uniformed illumination change)를 가진다. 따라서, 2번째 라인(b)의 영상에 대한 BrightRate 값은 상대적으로 작고, 그것에 의해 다른 영상들에 비해 해당 입력 영상의 신뢰도가 높음을 알 수 있다.
3번째 라인(c) 및 5번째 라인(e)의 영상들은 수직 방향의 빛 변화보다 수평 방향의 빛 변화에 의해 영향을 받는다. 따라서, 3번째 라인(c) 및 5번째 라인(e)의 영상들은 각각 수직 방향에서의 BrightRate 값보다 더 큰 수평 방향에서의 BrightRate 값을 가진다.
그리고, 4번째 라인(d) 및 6번째 라인(f)의 영상들은 수평 방향의 빛 변화에 의해 큰 영향을 받는다. 즉, 4번째 라인(d) 및 6번째 라인(f)의 영상들은 대응하는3번째 라인(c) 및 5번째 라인(e)의 영상들의 수평 방향에서의 BrightRate 값보다 더 큰 수평 방향에서의 BrightRate 값을 가진다. 따라서, 4번째 라인(d) 및 6번째 라인(f)의 영상들에 대한 BrightRate 값은 3번째 라인(c) 및 5번째 라인(e)의 영상들에 대한 BrightRate 값보다 크며, 그것에 의해 4번째 라인(d) 및 6번째 라인(f)의 영상들에 대한 신뢰도는 3번째 라인(c) 및 5번째 라인(e)의 영상들에 대한 신뢰도보다 낮음을 알 수 있다.
이와 같이, 본 실시예에서는 등록된 영상과 테스트 영상(또는 입력 영상) 사이의 거리의 변화량으로서 신규한 개념, BrightRate를 제공한다. BrightRate은 적어도 조도에 따라서 등록된 영상을 기준으로 입력 영상의 상대적인 변화를 최대 거리로 정규화하여 표시한다. 따라서, 입력 영상의 신뢰도를 손쉽게 판단할 수 있다.
도 5는 도 1의 멀티모달 융합을 위한 환경변수 측정방법에 있어서 조명 거리에 따른 BrightRate을 설명하기 위한 도면이다. 도 6은 도 1의 멀티모달 융합을 위한 환경변수 측정방법에 있어서, BrightRate에 따른 인식 에러율을 나타내는 그래프이다.
도 5의 (a), (b), 및 (c)에 있어서, 세로축은 BrightRate, 가로축은 조명 거리(illumination distance)를 나타내며, (a)는 x-축 방향에서의 변화, (b)는 y-축 방향에서의 변화, 및 (c)는 x-축과 y-축의 두 방향 모두에서의 변화를 나타낸다.
BrightRate는 도 5에 도시한 바와 같이 조명 거리가 약 1.5미터보다 작을 때 큰 값을 가지고, 도 6에 도시한 바와 같이, BrightRate이 높으면, 얼굴 인식에서 에러율이 높음을 알 수 있다.
한편, 1초에 30개 이상의 영상을 얻을 수 있고, 또한 규칙적으로 조명을 켜고 끌 수 있는 현재의 환경에서 더 이상 나쁜 조건의 입력 영상을 사용하여 얼굴 인식을 수행하는 것을 고려할 필요가 없다. 따라서, 등록 영상을 기준으로 실시간으로 입력 영상의 조도 비율이나 조도 영역의 차이 또는 변화량을 측정함으로써 손쉽게 사용자 인식을 위한 입력 데이터의 신뢰도를 판단할 수 있다.
전술한 실시예에 따르면, BrightRate 및 NoiseRate를 함께 채용함으로써, 주변의 잡음과 주변의 빛을 고려하는 경우에도 멀티모달 인식율을 상승시킬 수 있다.
위에서 설명한 바와 같이, 본 실시예에서는 얼굴 인식에 있어서 빛의 방향을 결정하거나 별도로 그림자를 보정할 필요없이 입력된 얼굴 영상을 기등록된 기준 영상의 환경 변수 기반으로 정규화함으로써 실시간으로 실제 입력된 영상 속의 노이즈 성분을 제거하고, 그것으로부터 입력 영상에 대한 얼굴 인식을 효과적으로 수행할 수 있다.
또한, 전술한 얼굴 인식과 유사한 방식으로 음성 인식에 있어서 입력된 음성 데이터를 기등록된 기준 데이터의 환경 변수 기반으로 정규화함으로써 실시간으로 실제 입력된 음성 속의 노이즈 성분을 제거하고, 그것으로부터 입력 음성에 대한 화자 인식을 효과적으로 수행할 수 있다.
게다가, 전술한 얼굴 인식을 위한 환경 변수와 음성 인식을 위한 환경 변수를 융합함으로써 사용자 인식의 에러율을 현저하게 낮출 수 있다. 또한, 이러한 본 실시예의 기술에 따르면, 사용자 인식의 멀티모달 융합에 있어서 가중치나 파라메터로 사용할 수 있으며, 입력 정보의 신뢰도를 높일 수 있으므로 사용자 인식 시스템의 처리 속도나 성능을 향상시킬 수 있다.
이상에서와 같이 상세한 설명과 도면을 통해 본 발명의 최적 실시예를 개시하였다. 용어들은 단지 본 발명을 설명하기 위한 목적에서 사용된 것이며, 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 본 명세서로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (15)

  1. 적어도 하나의 등록 모달리티를 준비하는 제1 단계;
    적어도 하나의 입력 모달리티를 받는 제2 단계;
    상기 적어도 하나의 등록 모달리티 중 등록 영상의 조도를 기준으로 상기 적어도 하나의 입력 모달리티 중 입력 영상의 영상관련환경변수를 계산하는 제3 단계; 및
    상기 영상관련환경변수를 기설정된 기준값과 비교하고, 비교 결과에 따라 상기 입력 영상을 폐기하거나 또는 인식 데이터로서 출력하는 제4 단계
    를 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
  2. 제1항에 있어서,
    상기 입력 영상을 그레이 영상으로 변환하는 단계
    를 더 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
  3. 제2항에 있어서,
    상기 제3 단계는 상기 등록 영상과 상기 입력 영상 간의 디스턴스 놈(distance norm)을 구하는 단계를 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
  4. 제3항에 있어서,
    상기 디스턴스 놈(distance norm)은 absolute distance(1-norm distance), Euclidean distance(2-norm distance), Minkowski distance(p-norm distance), Chebyshev distance, Mahalanobis distance, hamming distance, Lee distance, Levenshtein distance, 또는 이들의 조합을 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
  5. 제1항에 있어서,
    상기 등록 모달리티는 사용자 인식을 위한 상기 입력 영상의 비교 기준이 되는 상기 등록 영상과, 또 다른 입력 모달리티로서의 입력 음성의 비교 기준이 되는 등록 음성을 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
  6. 제5항에 있어서,
    상기 입력 음성에 대하여 수학식 2에 의해 음성관련환경변수(NoiseRate)를 구하는 단계를 더 포함하는 멀티모달 융합을 위한 환경변수 측정방법:
    [수학식 2]
    Figure 112010030324052-pat00003

    (여기서, Xclean(t)는 사용자를 등록하는 환경에서의 상기 등록 음성을 나타내고, Xcurrent(t)는 임의의 환경에서의 상기 입력 음성을 나타냄).
  7. 사용자 인식을 위한 등록 음성을 준비하는 제1 단계;
    상기 사용자 인식을 위한 입력 음성을 받는 제2 단계;
    상기 등록 음성을 기준으로 상기 입력 음성에 대한 음성관련환경변수를 추출하는 제3 단계; 및
    추출된 상기 음성관련환경변수를 기설정된 기준값과 비교하고, 비교 결과에 따라 상기 입력 음성을 폐기하거나 인식 데이터로서 출력하는 제4 단계
    를 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
  8. 제7항에 있어서,
    상기 음성관련환경변수(NoiseRate)를 수학식 2에 따라 구하는 단계
    를 더 포함하는 멀티모달 융합을 위한 환경변수 측정방법:
    [수학식 2]
    Figure 112010030324052-pat00004

    (여기서, Xclean(t)는 사용자를 등록하는 환경에서의 상기 등록 음성을 나타내고, Xcurrent(t)는 임의의 환경에서의 상기 입력 음성을 나타냄).
  9. 제7항에 있어서,
    상기 제1 단계는 20㏈ 이상의 SNR 환경에서 상기 등록 음성을 준비하는 단계
    를 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
  10. 사용자 인식을 위한 등록 영상 및 등록 음성을 준비하는 제1 단계;
    상기 사용자 인식을 위한 입력 영상 및 입력 음성을 각각 받는 제2 단계;
    상기 등록 영상을 기준으로 상기 입력 영상에 대한 영상관련환경변수를 추출하는 제3 단계;
    상기 등록 음성을 기준으로 상기 입력 음성에 대한 음성관련환경변수를 추출하는 제4 단계; 및
    추출된 상기 영상관련환경변수와 상기 음성관련환경변수를 기설정된 기준값과 각각 비교하고, 비교 결과에 따라 상기 입력 영상만, 상기 입력 음성만, 또는 상기 입력 영상과 상기 입력 음성 모두를 폐기하거나 인식 데이터로서 출력하는 제5 단계를 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
  11. 제10항에 있어서,
    상기 입력 영상을 그레이 영상으로 변환하는 단계
    를 더 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
  12. 제10항에 있어서,
    상기 제3 단계는 수학식 1에 의해 상기 등록 영상과 상기 입력 영상 간의 디스턴스 놈(distance norm)을 연산하는 단계
    를 포함하는 멀티모달 융합을 위한 환경변수 측정방법:
    [수학식 1]
    Figure 112010030324052-pat00005

    (여기서, Ienroll은 등록 영상을 나타내고, Itest는 테스트 영상 또는 입력 영상을 나타내며, 연산된 상기 디스턴스 놈 값의 변화량(variance)은 상기 입력 영상에 대한 환경 변수인 BrightRate을 나타냄).
  13. 제12항에 있어서,
    상기 디스턴스 놈(distance norm)은 absolute distance(1-norm distance), Euclidean distance(2-norm distance), Minkowski distance(p-norm distance), Chebyshev distance, Mahalanobis distance, hamming distance, Lee distance, Levenshtein distance, 또는 이들의 조합을 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
  14. 제10항에 있어서,
    상기 제4 단계는 상기 음성관련환경변수(NoiseRate)를 수학식 2에 따라 구하는 단계를 더 포함하는 멀티모달 융합을 위한 환경변수 측정방법:
    [수학식 2]
    Figure 112010030324052-pat00006

    (여기서, Xclean(t)는 사용자를 등록하는 환경에서의 상기 등록 음성을 나타내고, Xcurrent(t)는 임의의 환경에서의 상기 입력 음성을 나타냄).
  15. 제14항에 있어서,
    상기 제1 단계는 20㏈ 이상의 SNR 환경에서 상기 등록 음성을 준비하는 단계
    를 포함하는 멀티모달 융합을 위한 환경변수 측정방법.
KR1020100044142A 2010-05-11 2010-05-11 멀티모달 융합을 위한 환경변수 측정방법 KR101276204B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100044142A KR101276204B1 (ko) 2010-05-11 2010-05-11 멀티모달 융합을 위한 환경변수 측정방법
US13/017,582 US20110282665A1 (en) 2010-05-11 2011-01-31 Method for measuring environmental parameters for multi-modal fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100044142A KR101276204B1 (ko) 2010-05-11 2010-05-11 멀티모달 융합을 위한 환경변수 측정방법

Publications (2)

Publication Number Publication Date
KR20110124644A KR20110124644A (ko) 2011-11-17
KR101276204B1 true KR101276204B1 (ko) 2013-06-20

Family

ID=44912543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100044142A KR101276204B1 (ko) 2010-05-11 2010-05-11 멀티모달 융합을 위한 환경변수 측정방법

Country Status (2)

Country Link
US (1) US20110282665A1 (ko)
KR (1) KR101276204B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832669A (zh) * 2017-10-11 2018-03-23 广东欧珀移动通信有限公司 人脸检测方法及相关产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11899765B2 (en) * 2019-12-23 2024-02-13 Dts Inc. Dual-factor identification system and method with adaptive enrollment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070075644A (ko) * 2006-01-13 2007-07-24 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
KR20080049394A (ko) * 2006-11-30 2008-06-04 한국전자통신연구원 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
KR20080100097A (ko) * 2007-05-11 2008-11-14 포항공과대학교 산학협력단 2차원 정준상관 분석법을 이용한 얼굴 인식 방법
KR20090107666A (ko) * 2008-04-10 2009-10-14 연세대학교 산학협력단 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7441263B1 (en) * 2000-03-23 2008-10-21 Citibank, N.A. System, method and computer program product for providing unified authentication services for online applications
US6567775B1 (en) * 2000-04-26 2003-05-20 International Business Machines Corporation Fusion of audio and video based speaker identification for multimedia information access
US6498970B2 (en) * 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
US7113169B2 (en) * 2002-03-18 2006-09-26 The United States Of America As Represented By The Secretary Of The Air Force Apparatus and method for a multiple-user interface to interactive information displays
US20030212552A1 (en) * 2002-05-09 2003-11-13 Liang Lu Hong Face recognition procedure useful for audiovisual speech recognition
US20040151347A1 (en) * 2002-07-19 2004-08-05 Helena Wisniewski Face recognition system and method therefor
US20060136744A1 (en) * 2002-07-29 2006-06-22 Lange Daniel H Method and apparatus for electro-biometric identity recognition
US7457745B2 (en) * 2002-12-03 2008-11-25 Hrl Laboratories, Llc Method and apparatus for fast on-line automatic speaker/environment adaptation for speech/speaker recognition in the presence of changing environments
US8344849B2 (en) * 2005-07-11 2013-01-01 Volvo Technology Corporation Method for performing driver identity verification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070075644A (ko) * 2006-01-13 2007-07-24 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
KR20080049394A (ko) * 2006-11-30 2008-06-04 한국전자통신연구원 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
KR20080100097A (ko) * 2007-05-11 2008-11-14 포항공과대학교 산학협력단 2차원 정준상관 분석법을 이용한 얼굴 인식 방법
KR20090107666A (ko) * 2008-04-10 2009-10-14 연세대학교 산학협력단 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832669A (zh) * 2017-10-11 2018-03-23 广东欧珀移动通信有限公司 人脸检测方法及相关产品
CN107832669B (zh) * 2017-10-11 2021-09-14 Oppo广东移动通信有限公司 人脸检测方法及相关产品

Also Published As

Publication number Publication date
KR20110124644A (ko) 2011-11-17
US20110282665A1 (en) 2011-11-17

Similar Documents

Publication Publication Date Title
US8819015B2 (en) Object identification apparatus and method for identifying object
CN107918768B (zh) 光学指纹识别方法、装置及电子设备
CN107633237B (zh) 图像背景分割方法、装置、设备及介质
KR20160119932A (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
KR20190030151A (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
EP3679490B1 (en) Query refinement to embed context in a query
US20130100267A1 (en) Apparatus and method for recognizing fingerprints
JP2011103111A (ja) 視聴覚を結合した動作認識システムおよびその認識方法
US9514351B2 (en) Processing a fingerprint for fingerprint matching
JP2012084112A (ja) ノイズ及び環境による影響を抑制することが可能な顔認識方法
WO2017206914A1 (zh) 指纹识别方法、指纹识别系统、及电子设备
US9947323B2 (en) Synthetic oversampling to enhance speaker identification or verification
JP2017167624A (ja) 画像処理装置、画像処理方法、およびプログラム
US9349071B2 (en) Device for detecting pupil taking account of illuminance and method thereof
US20210186370A1 (en) Automated and objective symptom severity score
JP2020184331A (ja) ライブネス検査方法及び装置、顔認証方法及び装置
KR102434703B1 (ko) 생체 이미지 처리 방법 및 이를 포함한 장치
JP2005309765A (ja) 画像認識装置、画像抽出装置、画像抽出方法及びプログラム
CN111860196A (zh) 手部作业动作评分装置、方法及计算机可读存储介质
US8810362B2 (en) Recognition system and recognition method
KR101276204B1 (ko) 멀티모달 융합을 위한 환경변수 측정방법
US10755074B2 (en) Latent fingerprint pattern estimation
KR101070442B1 (ko) 다중 레벨 얼굴 인식을 이용한 얼굴 인증 시스템 및 인증 방법
US8055062B2 (en) Information processing apparatus, information processing method, and program
US20230066499A1 (en) Method for establishing defect detection model and electronic apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 7