KR100532129B1 - 음성 인식을 위한 입술영역 검출 및 이를 이용한입술모양정보 획득방법 - Google Patents

음성 인식을 위한 입술영역 검출 및 이를 이용한입술모양정보 획득방법 Download PDF

Info

Publication number
KR100532129B1
KR100532129B1 KR10-2003-0057475A KR20030057475A KR100532129B1 KR 100532129 B1 KR100532129 B1 KR 100532129B1 KR 20030057475 A KR20030057475 A KR 20030057475A KR 100532129 B1 KR100532129 B1 KR 100532129B1
Authority
KR
South Korea
Prior art keywords
lip
color
image
face
color similarity
Prior art date
Application number
KR10-2003-0057475A
Other languages
English (en)
Other versions
KR20050019599A (ko
Inventor
양현승
정지년
박현진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR10-2003-0057475A priority Critical patent/KR100532129B1/ko
Publication of KR20050019599A publication Critical patent/KR20050019599A/ko
Application granted granted Critical
Publication of KR100532129B1 publication Critical patent/KR100532129B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 음성인식을 위해 입술영역을 검출하고 특징을 추출하여 입술모양정보를 획득하여 이를 음성인식에 이용할 수 있도록 하는 방법에 관한 것이다.
본 발명에 따른 입술모양정보 획득방법은, 색상과 색상별 입술색상확률값을 저장한 입술색유사도테이블과, 입술모양의 패턴을 학습한 패턴분류기가 구축된 상태에서, 얼굴영상이 입력되면 상기 입력 얼굴영상을 상기 입술색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 입술색유사도영상획득단계와; 상기 입술색 유사도 영상에서 무게중심을 계산하여 입술 초기 위치를 추정하는 입술초기위치추정단계와; 상기 입술 초기 위치를 중심으로 일정 범위에 대해 상기 패턴분류기에서의 정합도를 계산하고, 정합도가 가장 높은 위치를 입술위치로 설정하는 입술위치설정단계와; 상기 입술위치설정단계에서 설정된 입술위치의 영상에 대해서 PCA((Principal Component Analysis) 계수를 추출하여 입술특징을 추출하는 입술특징추출단계를 포함한다.

Description

음성 인식을 위한 입술영역 검출 및 이를 이용한 입술모양정보 획득 방법{lip region segmentation and feature extraction method for Speech Recognition}
본 발명은 입술모양정보를 획득하는 방법에 관한 것으로서, 보다 상세하게는 음성인식을 위해 입술영역을 검출하고 특징을 추출하여 입술모양정보를 획득하여 해당 입술모양정보로부터 음성인식에 유용한 정보를 제공하는 방법에 관한 것이다.
일반적으로 음성인식기는 소리로 된 음성만을 인식 대상으로 하지만, 최근 들어 잡음하 인식 성능의 향상을 위해 소리와 영상을 동시에 처리하여 음성 인식을 수행하는 기술이 제안되고 있다. 이와 같이 입 영상으로부터 음성을 인식하기 위해서는 입술모양정보를 획득하는 기술이 필수적이다.
입술모양정보를 획득하기 위해서는 입 영상으로부터 입술의 위치를 검출한 후, 검출된 입술에 대해 입술모양정보를 획득한다.
영상으로부터 입술위치를 검출하는 종래의 방법은, 입술색상분포를 추정하여 이를 바탕으로 영상에서 입술에 해당하는 점들을 구분하며, 이 점들이 모여있는 것을 찾아내어 입술을 찾는 방법이다. 그러나, 영상의 특성상 조명에 의한 입술색의 편차 또는 사람간의 차이로 인한 입술색의 편차가 크며, 경우에 따라서는 입술색이 피부색과 크게 다르지 않기 때문에 입술에 해당하는 픽셀을 정확히 구분하기가 쉽지 않다.
이러한 문제점을 해결하기 위한 입술위치를 검출하는 종래의 다른 방법으로서, 기하학적 입술모양 모델을 만들어서 주어진 영상과의 정합도를 계산하여 미리 만든 입술모양모델과 가장 근사한 영상의 영역을 찾는 방법이 있다. 그러나, 이 방법의 경우 최적의 입술모양모델을 찾기가 쉽지 않으며, 모델의 변형을 위한 파라미터 조절에 많은 노력이 들기 때문에 정확한 입술위치 검출 성능을 보장할 수가 없다.
입술모양 정보를 획득하는 종래의 방법으로는 영상기반 접근방법과 모양정보기반 접근방법이 있다. 첫 번째 영상기반 접근방법은 주어진 영상을 그대로 입술모양 특징 추출에 사용하거나 이를 좌표계 변환하고 영상의 주요 정보만을 압축하여 이를 입술모양정보로 사용하는 방법이다. 이 방법은 모양정보기반 접근방법에 비해 제공해주는 정보량이 풍부하나, 영상 자체를 사용하기 때문에 입술위치 검출에 오차가 있을 경우에는 정확한 입술모양정보를 얻을 수 없는 단점이 있다. 두 번째 모양정보기반 접근방법은 입술의 기하학적 모양을 분석하여 이를 입술특징으로 사용하는 방법이며, 입술 검출시 얻은 입술모양 파라메터들이 입술특징이 된다. 그러나, 이 방법은 정보량이 적어서 인식에 사용하기 곤란한 단점이 있다.
상기한 종래기술의 문제점을 해결하기 위하여 안출된 본 발명의 목적은, 얼굴색 및 입술색 분포모델학습 결과와 보조벡터기(Support Vector Machine)를 사용한 패턴분류기를 이용하여 얼굴영역 및 입술위치를 검출하는 방법을 제공하기 위한 것이다.
또한, 본 발명의 다른 목적은, 구성요소해석법(Principle Component Analysis)을 이용하여 입술모양정보를 획득하는 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 입술위치 학습방법은, 예제 얼굴영상이 입력되고 상기 예제 얼굴영상의 입술영역이 지정되면, 상기 예제 얼굴영상의 하반부영역의 색상분포 히스토그램을 계산하고 상기 지정된 입술영역의 색상분포 히스토그램을 계산하는 히스토그램계산단계와;
상기 얼굴 하반부영역의 색상분포 히스토그램과 상기 입술영역의 색상분포 히스토그램을 이용하여, 각 색상별 입술색상확률을 구하는 입술색상확률계산단계와;
상기 색상과 색상별 입술색상확률을 입술색유사도테이블로 구축하는 입술색유사도테이블생성단계와;
상기 다양한 입술모양의 예제와 반례를 이용하여 입술모양에 대한 패턴분류기를 학습시키는 패턴분류기학습단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따르면 상술한 바와 같은 입술위치 학습방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
또한, 본 발명의 한 실시예에 따른 입술모양정보 획득방법은, 색상과 색상별 입술색상확률값을 저장한 입술색유사도테이블과, 입술모양의 패턴을 학습한 패턴분류기가 구축된 상태에서,
얼굴영상이 입력되면, 상기 입력 얼굴영상을 상기 입술색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 입술색유사도영상획득단계와;
상기 입술색 유사도 영상에서 무게중심을 계산하여 입술 초기 위치를 추정하는 입술초기위치추정단계와;
상기 입술 초기 위치를 중심으로 일정 범위에 대해 상기 패턴분류기에서의 정합도를 계산하고, 정합도가 가장 높은 위치를 입술위치로 설정하는 입술위치설정단계와;
상기 입술위치설정단계에서 설정된 입술위치의 영상에 대해서PCA((Principal Component Analysis) 계수를 추출하여 입술특징을 추출하는 입술특징추출단계를 포함한 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 입술모양정보 획득방법은, 색상과 색상별 얼굴색상확률값을 저장한 얼굴색유사도테이블과, 색상과 색상별 입술색상확률값을 저장한 입술색유사도테이블과, 입술모양의 패턴을 학습한 패턴분류기가 구축된 상태에서,
영상이 입력되면, 상기 입력 영상을 상기 얼굴색유사도테이블에 적용하여 얼굴색 유사도 영상을 얻는 얼굴색유사도영상획득단계와;
상기 얼굴색 유사도 영상을 이진화하고 타원 모양으로 필터링하여 얼굴영역을 분할하는 얼굴영역분할단계와;
상기 입력 영상의 상기 얼굴영역 영상을 상기 입술색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 입술색유사도영상획득단계와;
상기 입술색 유사도 영상에서 무게중심을 계산하여 입술 초기 위치를 추정하는 입술초기위치추정단계와;
상기 입술 초기 위치를 중심으로 일정 범위에 대해 상기 패턴분류기에서의 정합도를 계산하고, 정합도가 가장 높은 위치를 입술위치로 설정하는 입술위치설정단계와;
상기 입술위치설정단계에서 설정된 입술위치의 영상에 대해서PCA((Principal Component Analysis) 계수를 추출하여 입술특징을 추출하는 입술특징추출단계를 포함한 것을 특징으로 한다.
또한, 본 발명의 또 다른 실시예에 따른 입술모양정보 획득방법은, 예제 영상에 대해 특정색의 얼굴색상확률값을 학습하여 색상과 색상별 얼굴색상확률값을 얼굴색유사도테이블로 구축하는 얼굴색분포모델학습단계와;
예제 얼굴영상에 대해 특정색의 입술색상확률값을 학습하여 색상과 색상별 입술색상확률값을 입술색유사도테이블로 구축하는 입술색분포모델학습단계와;
예제 입술모양 영상에 대해 입술모양의 패턴을 학습하는 패턴분류기학습단계와;
영상이 입력되면, 상기 입력 영상을 상기 얼굴색유사도테이블에 적용하여 얼굴색 유사도 영상을 얻는 얼굴색유사도영상획득단계와;
상기 얼굴색 유사도 영상을 이진화하고 타원 모양으로 필터링하여 얼굴영역을 분할하는 얼굴영역분할단계와;
상기 입력 영상의 상기 얼굴영역 영상을 상기 입술색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 입술색유사도영상획득단계와;
상기 입술색 유사도 영상에서 무게중심을 계산하여 입술 초기 위치를 추정하는 입술초기위치추정단계와;
상기 입술 초기 위치를 중심으로 일정 범위에 대해 상기 패턴분류기에서의 정합도를 계산하고, 정합도가 가장 높은 위치를 입술위치로 설정하는 입술위치설정단계와;
상기 입술위치설정단계에서 설정된 입술위치의 영상에 대해서PCA((Principal Component Analysis) 계수를 추출하여 입술특징을 추출하는 입술특징추출단계를 포함한 것을 특징으로 한다.
또한, 본 발명에 따르면 상술한 바와 같은 입술모양정보 획득방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 입술위치 학습방법 및 입술모양정보 획득방법을 보다 상세하게 설명하면 다음과 같다.
도 1은 본 발명이 적용되는 입술모양정보 획득 시스템을 도시한 구성 블록도이다. 도 1을 참조하면, 본 발명을 위한 입술모양정보 획득 시스템은 영상획득장치(110)와, 디스플레이장치(120)와, 신호처리장치(130)를 구비한다.
영상획득장치(110)는 피사체를 촬영하여 영상신호를 생성하여 신호처리장치(130)에게 제공하는 장치로서, CCD(Charge Coupled Device) 카메라, 디지털 카메라, 또는 동영상 처리장치 등이 이에 해당된다.
신호처리장치(130)는 영상획득장치(110)로부터 제공되는 영상신호를 신호처리하여 입술모양정보를 획득하는 장치로서, 영상프레임획득부(131)와, 얼굴색분포모델학습부(132)와, 입술색분포모델학습부(133)와, 저장부(134)와, 얼굴색유사도영상획득부(135)와, 얼굴영역검출부(136)와, 입술색유사도영상획득부(137)와, 입술위치추적부(138)와, 입술특징추출부(139)와, 제어부(140)를 구비한다.
영상프레임획득부(131)는 영상획득장치(110)로부터 입력되는 동영상신호를 한 프레임씩 분리한다. 영상프레임획득부(131)는 학습모드시 입력되는 영상 신호를 얼굴색분포모델학습부(132) 또는 입술색분포모델학습부(133)에게 제공하고, 실행모드시 입력되는 영상 신호를 얼굴색유사도영상획득부(135)에게 제공한다.
얼굴색분포모델학습부(132)는 입력 영상 신호의 프레임별 각 픽셀들의 RGB색상을 파악하고, 각 픽셀들의 RGB색상을 HSV(Hue-Saturation-Value) 색상공간의 HS(Hue/Saturation) 색상값으로 변환시키고 이 HS 색상값을 바탕으로 각 색상에 대한 얼굴색 유사도를 산출하여, 산출한 색상에 대한 얼굴색상확률(얼굴색유사도)을 얼굴색유사도테이블로 구현하여 저장부(134)에 저장한다. 이와 같이 RGB 색상을 HSV 색상공간의 HS 색상으로 변환시키는 것은 이 HSV 색상공간이 다른 색상공간에 비해 얼굴색과 입술색을 비교적 잘 분류해주기 때문이다.
입술색분포모델학습부(133)는 입력 얼굴 영상의 각 색상에 대한 입술색 유사도를 산출하여, 산출한 색상에 대한 입술색상확률(입술색유사도)을 입술색유사도테이블로 구현하여 저장부(134)에 저장한다.
저장부(134)는 얼굴색유사도테이블과 입술색유사도테이블을 저장한다.
얼굴색유사도영상획득부(135)는 영상프레임획득부(131)로부터 입력되는 영상 프레임과 저장부(134)에 저장된 얼굴색유사도테이블을 참조하여 현재 프레임의 모든 픽셀에 대해 얼굴색 유사도를 계산한다.
얼굴영역검출부(136)는 얼굴색유사도영상획득부(135)에 의해 얻어진 각 픽셀의 얼굴색 유사도를 기반으로 그레이 영상을 구성하고, 그레이 영상을 이진화 및 타원근사를 통해 얼굴의 위치와 크기를 한정하여 얼굴영역을 추출한다.
입술색유사도영상획득부(137)는 얼굴영역검출부(136)로부터 입력되는 얼굴영역 영상과 저장부(134)에 저장된 입술색유사도테이블을 참조하여 현재 얼굴영역의 모든 픽셀에 대해 입술색 유사도를 계산한다.
입술위치추적부(138)는 입술색유사도영상획득부(137)에 의해 얻어진 각 픽셀의 입술색유사도영상에 대해서 무게중심을 계산하고 입술위치를 추적한다.
입술특징추출부(139)는 입술위치추적부(138)에 의해 추적된 입술위치에 대해 구성요소해석법(Principle Component Analysis)을 이용하여 입술특징을 추출한다.
제어부(140)는 장치의 전반적인 동작을 제어하며, 디스플레이장치(120)는 신호처리장치(130)의 각 구성요소에 의해 처리된 결과를 화면에 표시한다.
이하, 도 2를 참조하여 본 발명의 한 실시예에 따른 입술모양정보 획득방법을 설명한다. 본 발명은 학습모드시 샘플 영상을 이용하여 색분포 학습을 통해 얼굴영역 및 입술영역 검출을 위한 학습을 하고, 이후 실행모드시 입력 영상에 대해 얼굴영역을 추출하고 입술특징을 추출한다.
사용자가 학습모드를 선택하면(S201), 얼굴색 혹은 입술색 학습인 지를 확인하고(S202), 얼굴색분포모델학습부(132) 또는 입술색분포모델학습부(133)는 얼굴색분포모델 학습 서브루틴(S203) 혹은 입술색분포모델 학습 서브루틴(S204)을 실행한다. 한편, 사용자가 학습모드가 아닌 실행모드를 선택하면(S201), 입력 영상에 대해 얼굴영역 추출 서브루틴(S205)과 입술특징 추출 서브루틴(S206)을 수행한다.
도 3은 본 발명의 한 실시예에 따른 얼굴색분포모델학습부(132)의 얼굴색분포모델 학습 서브루틴의 상세한 동작 흐름도이다. 색상을 이용하여 얼굴영역을 분할하기 위해서는 어떤 색상이 얼굴영역을 구성하는 지에 대한 지식이 필요하다. 이 지식은 경험을 통해 대략적인 값으로 얻어질 수 있으나, 통계적인 관찰 결과를 통해 얼굴색을 학습하는 것이 가장 정확하다. 특정 색상이 얼굴색 인지는 얼굴색상확률(얼굴색유사도)로 표시할 수 있으며, 통계적 관찰 결과를 통해 특정 색상의 얼굴색상확률(얼굴색유사도)를 구할 수 있다. 도 3은 얼굴색분포모델학습부(132)가 각 색상의 얼굴색상확률(얼굴색유사도)을 구하는 과정이다.
도 3을 참조하면, 예제 영상이 입력되면(S301), 입력되는 예제 영상 프레임에 대해 각 픽셀의 RGB색상을 파악하고 RGB색상을 HS 색상으로 변환시킨다(S302). 그리고, 사용자로부터 얼굴영역이 지정되기를 대기한다(S303). 사용자로부터 얼굴영역이 지정되면(S303), 영상 전체의 색상분포히스토그램 FB(C)를 계산하여 앞서 구해진 FB(C)와 누적 합산하고(S304), 사용자에 의해 지정된 얼굴영역의 색상분포히스토그램 FF(C)를 계산하여 앞서 구해진 FF(C)와 누적 합산한다(S305). 상기한 단계 S301 내지 단계 S305를 모든 예제 영상에 대해 반복 처리한다(S306).
다음, 모든 색상값에 대해 얼굴색상확률 PF(C)를 아래의 수학식 1에 적용하여 계산한다(S307). 각 색상값에 대한 얼굴색상확률 정보들이 얼굴색분포모델이 된다.
임의의 색상 c1의 경우, 영상 전체를 구성하는 픽셀 중 색상 c1을 가지는 픽셀의 개수 FB(c1)와, 해당 프레임의 얼굴영역을 구성하는 픽셀 중 색상 c1을 가지는 픽셀의 개수 FF(c1)를 수학식 1에 적용하면, 해당 색상 c1이 얼굴색일 확률 PF(c1)이 얻어진다. 여기서, FB(c1)을 색상 c1의 얼굴 관찰 빈도수라고 하고, FF(c1)을 색상 c1의 얼굴 분류 빈도수라고 한다.
다음, 단계 S307에서 얻어진 얼굴색 모델을 가우시안 콘볼루션(Gaussian Convolution)하여 얼굴색분포모델을 일반화한다(S308). 가우시안 콘볼루션하는 이유를 설명하면, 단계 S307에서 구해진 얼굴색분포모델은 이산(Discrete)적인데 이는 관찰 경험에 제약이 따르기 때문이다. 즉, 미처 관찰하지 못했거나, 관찰은 하였으나 편향된 관찰을 하기 때문에 얼굴색분포모델이 이산적으로 얻어진다. 따라서, 도 4와 같이 이산적인 얼굴색분포모델을 가우시안 콘볼루션하여 선형적으로 변환함으로써, 마치 모든 색상에 대해 관찰한 것과 같은 효과를 얻는다.
다음, 이렇게 일반화된 얼굴색분포모델에 대해 HS값을 색인으로 하고 색상값과 얼굴색상확률(얼굴색유사도)을 매칭시켜서 얼굴색유사도테이블에 저장한다(S309).
상기한 얼굴색유사도테이블은 학습 동작에 의해 점차적으로 얼굴색상에 대한 색상유사도 정보를 누적하여 보유하는데, 이는 어떠한 색이 얼굴색인 지를 점차적으로 학습하는 것이다. 따라서, 얼굴색유사도테이블에 학습 데이터가 누적됨에 따라, 촬영시의 조명을 반영한 색상이나, 사람마다 각기 다른 피부색이 반영된 색상이 학습되기 때문에, 얼굴색유사도테이블은 조명이나 피부색에 영향을 받지 않고 얼굴영역을 파악할 수 있도록 하는 유용한 자료로 이용될 수 있다.
도 5는 본 발명의 한 실시예에 따른 입술색분포모델학습부(133)의 입술색분포모델 학습 서브루틴의 상세한 동작 흐름도이다. 입술색분포모델을 학습하는 서브루틴은 얼굴색분포모델 학습 서브루틴과 유사하다. 차이점이 있다면, 얼굴색분포모델 학습 서브루틴에서는 관찰 빈도수가 영상전체를 구성하는 픽셀 중 임의의 색상을 가지는 픽셀의 개수를 의미하고, 분류 빈도수가 얼굴영역을 구성하는 픽셀 중 임의의 색상을 가지는 픽셀의 개수를 의미하지만, 입술색분포모델 학습 서브루틴에서는 관찰 빈도수가 얼굴 하반부를 구성하는 픽셀 중 임의의 색상을 가지는 픽셀의 개수를 의미하고, 분류 빈도수가 입술영역을 구성하는 픽셀 중 임의의 색상을 가지는 픽셀의 개수를 의미한다.
도 5를 참조하여 입술색분포모델 학습 서브루틴을 설명한다. 예제 얼굴영상이 입력되면(S501), 입력되는 예제 얼굴영상 프레임에 대해 각 픽셀의 RGB색상을 파악하고 RGB색상을 HS 색상으로 변환시킨다(S502). 그리고, 사용자로부터 입술영역이 지정되기를 대기한다(S503). 사용자로부터 입술영역이 지정되면(S503), 얼굴 하반부 영역의 색상분포히스토그램 Flf(C)를 계산하여 앞서 구해진 Flf(C)와 누적 합산하고(S504), 사용자에 의해 지정된 입술영역의 색상분포히스토그램 Flip(C)를 계산하여 앞서 구해진 Flip(C)와 누적 합산한다(S505). 상기한 단계 S501 내지 단계 S505를 모든 예제 얼굴영상에 대해 반복 처리한다(S506).
다음, 모든 색상값에 대해 입술색상확률 Plip(C)를 아래의 수학식 2에 적용하여 계산한다(S507). 각 색상값에 대한 입술색상확률 정보들이 입술색분포모델이 된다.
임의의 색상 c1의 경우, 얼굴 하반부를 구성하는 픽셀 중 색상 c1을 가지는 픽셀의 개수 Flf(c1)와, 입술영역을 구성하는 픽셀 중 색상 c1을 가지는 픽셀의 개수 Flip(c1)를 수학식 2에 적용하면, 해당 색상 c1이 입술색일 확률 Plip(c1)이 얻어진다. 여기서, Flf(c1)을 색상 c1의 입술 관찰 빈도수라고 하고, Flip(c1)을 색상 c1의 입술 분류 빈도수라고 한다.
다음, 단계 S507에서 얻어진 입술색 모델을 가우시안 콘볼루션(Gaussian Convolution)하여 입술색분포모델을 일반화한다(S508). 여기서, 가우시안 콘볼루션하는 이유는 앞서 설명한 얼굴색분포모델을 일반화하는 이유와 동일하다.
다음, 이렇게 일반화된 입술색분포모델에 대해 HS값을 색인으로 하고 색상값과 입술색상확률(입술색유사도)을 매칭시켜서 입술색유사도테이블에 저장한다(S509).
다음, 입술모양 예제와 반례를 이용하여 SVM(Support Vector Machine)을 학습한다(S510). 이때, SVM에 사용된 커널은 가우시안 커널로서, 수학식 3과 같이 표시된다. 이렇게 학습된 SVM 패턴 분류기는 추후 입술위치를 미세 조정하는 과정에 사용된다.
상술한 바와 같이 얼굴색과 입술색에 대한 학습을 한 후, 사용자가 실행모드를 실행시키면 얼굴영역 추출 서브루틴과 입술특징 추출 서브루틴이 수행되는데, 도 6은 본 발명의 한 실시예에 따른 얼굴영역 추출 서브루틴을 도시한 동작 흐름도이다.
본 발명에서는 입력 영상에 대해 영상의 각 픽셀에 대해 얼굴색유사도테이블을 적용하여 색상유사도를 얻고, 얻어진 색상유사도값으로부터 도 7에 도시된 바와 같이 그레이영상을 구성한다. 그리고, 이 영상을 통해 얼굴의 위치를 파악하고 이진화 및 타원 근사를 통해 얼굴의 위치와 크기를 얻는다. 이러한 얼굴영역 추출과정을 좀 더 상세하게 설명한다.
영상이 입력되면(S601), 입력된 영상의 RGB색상을 HSV색상으로 변환한다(S602). 그리고, 입력 영상의 각 픽셀에 대해 얼굴색유사도테이블에 적용하여 색상유사도를 구하고 얼굴색유사도영상을 얻는다(S603). 그리고, 얻어진 얼굴색 유사도영상을 이진화하고(S604), 이진화된 얼굴색 유사도영상을 타원모양으로 필터링하여 얼굴영역을 분할한다(S605).
얼굴영역은 타원으로 근사될 수 있다. 따라서, 그레이 영상인 얼굴색 유사도영상을 이진화를 통해 얼굴영역을 구분하고, 이를 타원으로 추정하여 얼굴영역을 검출한다. 이때, 이진화된 영상은 다수의 잡영이 들어 있으므로, 무게중심과 모멘트 계산을 통해 타원으로 얼굴영역을 근사하여 얼굴영역을 추출한다. 모멘트 계산을 통해 얼굴의 타원영역을 추출하는 식은 아래와 같다.
먼저, 영상의 y방향으로의 이차 모멘트를 yy, 2차 혼합 모멘트를 xy, x방향으로의 이차 모멘트를 xx라고 할 때, 그 값은 아래의 수학식 4와 같이 구한다.
위의 식에서 A는 얼굴영역으로 되어 있는 픽셀의 개수를 의미한다. 타원의 영역을 나타내는 수식이 수학식 5일 때, 수학식 5를 구성하는 계수 d, e, f는 수학식 6과 같이 계산된다.
타원의 식을 구한 후, 타원의 내부의 점을 얼굴영역으로 삼고, 이에 대해 입술위치 검출 및 특징추출과정을 수행한다. 이를 위해, 분할된 얼굴영역의 HSV영상을 추출하여 입술특징 추출 서브루틴으로 제공하는데, 타원으로 근사화된 얼굴영역이 도 8에 도시된다.
앞의 얼굴영역 추출 서브루틴에 의해 구해진 얼굴영역에 대해 입술의 위치를 찾고, 특징을 추출하는 과정을 수행하는데, 도 9는 본 발명의 한 실시예에 따른 입술특징 추출 서브루틴을 도시한 동작 흐름도이다.
위의 얼굴영역 추출 서브루틴에서 검출된 얼굴은 거리에 따른 크기 차이가 있기 때문에 이를 상쇄해 주기 위해 크기 표준화를 수행한다(S901). 표준화는 얼굴의 폭을 기준으로 수행하며, 원래의 얼굴 폭-길이의 비는 일정하게 유지되도록 한다.
다음, 얼굴영역의 HSV 영상의 입술색 유사도 영상을 구한다(S902). 이때, 얼굴 전체 영역에 대해 입술색 유사도 영상을 구하지 않고, 얼굴 하반부만을 대상으로 입술색유사도테이블을 이용하여 입술색 유사도 영상을 얻는다. 그리고, 구해진 입술색 유사도 영상에 대해서 무게중심을 계산하고 이를 입술의 초기 위치로 추정한다(S903). 유사도 영상의 각 점의 입술 유사도 값을 I(x,y)라고 할 때, 입술의 초기 위치 (Cx, Cy)는 아래의 수학식 7과 같이 계산된다.
그 후, 앞에서 찾은 입술의 초기 위치 (Cx, Cy)에서 x, y로 일정 범위에 대해 입술의 위치를 미세하게 검색한다. 지정된 범위 내에서 매칭 중심을 옮겨 가며 영상을 획득하고, 획득된 영상을 SVM 패턴 분류기에 입력하여 해당 영상이 입술인지 아닌 지를 판별한다. 즉, 검색범위의 모든 점을 이동하면서 SVM 패턴 분류기의 출력인 입술 정합도값을 계산하고(S904), 그 중 가장 큰 정합도를 갖는 위치를 입술 위치로 설정한다(S905).
상기와 같이 얼굴영상으로부터 입술위치를 추출하는 과정이 도 10에 도시된다. 도 10의 가장 왼쪽에 위치한 그림은 입술색 유사도 영상이고, 그 옆의 그림은 유사도 영상의 무게중심 계산을 통해 구한 입술의 위치이다. 또한, 그 옆의 그림은 초기 입술의 위치로부터 일정 범위의 검색을 통해 계산된 SVM 입술 정합도값이며, 마지막으로 가장 오른쪽 그림은 SVM 입술 정합도값에 의해 조정된 입술의 위치를 나타낸다.
다음, 단계 S905에서 설정된 입술 위치로부터 입술영상을 추출하고(S906), 추출된 입술영상으로부터 PCA를 이용하여 입술영상을 표현하기 위한 기저(basis)를 추출한다. 추출된 기저를 이용하면 입술영상에 대해서 도 11에 도시된 바와 같이 기저와 PCA 계수 c1, c2, …, cn을 얻을 수 있으며(S907), 이 PCA 계수(c 1, c2, …, cn)를 입술 특징으로 출력한다(S908). 이 PCA(Principal Component Analysis)는 특정 부류의 신호(예를 들면 얼굴영상, 입술영상)를 구성하는 구성요소(Principal Component)를 찾는 방법으로서, 신호가 어떤 기본 신호의 조합으로 구성되어 있는 지를 통계적으로 분석하는 방법이다. 이 구성요소를 편의상 기저(basis)라고 한다. 이 PCA에 관한 상세한 설명은 신경망 관련 서적(SimonHaykin, “Neural Networks”, Prenctice Hall)에 기술되어 있다.
입력 영상이 M장의 프레임으로 구성된 동영상인 경우, N차원 벡터 M개를 계산하여 입술특징으로 제공한다.
그러나, 추출된 특징은 화자간에 상이하므로, 이를 어느 정도 상쇄해주기 위해서 M장의 영상에 대해 평균벡터를 구한 후, 이로부터의 차이로 입술특징을 표현하는 것이 바람직하다. 따라서, 최종적으로 입술특징 c’은 아래의 수학식 8과 같이 계산된다.
이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
이상과 같이 본 발명에 따르면 입술위치를 빠르고 정확하게 검출할 수 있기 때문에, 입 모양을 이용한 문자 인식에 적용가능할 수 있는 효과가 있다.
도 1은 본 발명이 적용되는 입술모양정보 획득 시스템을 도시한 구성 블록도,
도 2는 본 발명의 한 실시예에 따른 입술모양정보 획득방법을 도시한 동작 흐름도,
도 3은 본 발명의 한 실시예에 따른 얼굴색분포모델학습부의 얼굴색분포모델 학습 서브루틴의 상세한 동작 흐름도,
도 4는 이산적인 얼굴색분포모델을 가우시안 콘볼루션하여 선형적으로 변환하는 과정을 도시한 도면,
도 5는 본 발명의 한 실시예에 따른 입술색분포모델학습부의 입술색분포모델 학습 서브루틴의 상세한 동작 흐름도,
도 6은 본 발명의 한 실시예에 따른 얼굴영역 추출 서브루틴을 도시한 동작 흐름도,
도 7은 입력 영상에 대해 얼굴색유사도테이블을 적용하여 얼굴색 유사도 및 그레이 영상을 구성하는 과정을 도시한 도면,
도 8은 타원으로 근사화된 얼굴영역을 도시한 도면,
도 9는 본 발명의 한 실시예에 따른 입술특징 추출 서브루틴을 도시한 동작 흐름도,
도 10은 얼굴영상으로부터 입술위치를 추출하는 과정을 도시한 도면,
도 11은 PCA 계수를 이용한 영상 표현과정을 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 간단한 설명>
110; 영상획득장치 120; 디스플레이장치
130; 신호처리장치 131; 영상프레임획득부
132; 얼굴색분포모델학습부 133; 입술색분포모델학습부
134; 저장부 135; 얼굴색유사도영상획득부
136; 얼굴영역검출부 137; 입술색유사도영상획득부
138; 입술위치추적부 139; 입술특징추출부
140; 제어부

Claims (23)

  1. 예제 얼굴영상이 입력되고 상기 예제 얼굴영상의 입술영역이 지정되면, 상기 예제 얼굴영상의 하반부영역의 색상분포 히스토그램을 계산하고 상기 지정된 입술영역의 색상분포 히스토그램을 계산하는 히스토그램계산단계와;
    상기 얼굴 하반부영역의 색상분포 히스토그램과 상기 입술영역의 색상분포 히스토그램을 이용하여, 각 색상별 입술색상확률을 구하는 입술색상확률계산단계와;
    상기 색상과 색상별 입술색상확률을 입술색유사도테이블로 구축하는 입술색유사도테이블생성단계와;
    상기 다양한 입술모양의 예제와 반례를 이용하여 입술모양에 대한 패턴분류기를 학습시키는 패턴분류기학습단계를 포함한 것을 특징으로 하는 입술위치 학습방법.
  2. 제 1 항에 있어서, 상기 예제 얼굴영상을 RGB 색상공간에서 HSV 색상공간으로 변환한 후 상기 히스토그램계산단계를 수행하는 것을 특징으로 하는 입술위치 학습방법.
  3. 제 1 항에 있어서, 상기 입술색상확률계산단계에서 구해진 각 색상별 입술색상확률을 가우시안 콘볼루션하여 입술색분포모델을 일반화한 후 상기 입술색유사도테이블을 구축하는 것을 특징으로 하는 입술위치 학습방법.
  4. 컴퓨터에,
    예제 얼굴영상이 입력되고 상기 예제 얼굴영상의 입술영역이 지정되면, 상기 예제 얼굴영상의 하반부영역의 색상분포 히스토그램을 계산하고 상기 지정된 입술영역의 색상분포 히스토그램을 계산하는 히스토그램계산단계와;
    상기 얼굴 하반부영역의 색상분포 히스토그램과 상기 입술영역의 색상분포 히스토그램을 이용하여, 각 색상별 입술색상확률을 구하는 입술색상확률계산단계와;
    상기 색상과 색상별 입술색상확률값을 입술색유사도테이블로 구축하는 입술색유사도테이블생성단계와;
    상기 다양한 입술모양의 예제와 반례를 이용하여 입술모양에 대한 패턴분류기를 학습시키는 패턴분류기학습단계를 포함한 입술위치 학습방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  5. 색상과 색상별 입술색상확률값을 저장한 입술색유사도테이블과, 입술모양의 패턴을 학습한 패턴분류기가 구축된 상태에서,
    얼굴영상이 입력되면, 상기 입력 얼굴영상을 상기 입술색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 입술색유사도영상획득단계와;
    상기 입술색 유사도 영상에서 무게중심을 계산하여 입술 초기 위치를 추정하는 입술초기위치추정단계와;
    상기 입술 초기 위치를 중심으로 일정 범위에 대해 상기 패턴분류기에서의 정합도를 계산하고, 정합도가 가장 높은 위치를 입술위치로 설정하는 입술위치설정단계와;
    상기 입술위치설정단계에서 설정된 입술위치의 영상에 대해서PCA((Principal Component Analysis) 계수를 추출하여 입술특징을 추출하는 입술특징추출단계를 포함한 것을 특징으로 하는 입술모양정보 획득방법.
  6. 색상과 색상별 얼굴색상확률값을 저장한 얼굴색유사도테이블과, 색상과 색상별 입술색상확률값을 저장한 입술색유사도테이블과, 입술모양의 패턴을 학습한 패턴분류기가 구축된 상태에서,
    영상이 입력되면, 상기 입력 영상을 상기 얼굴색유사도테이블에 적용하여 얼굴색 유사도 영상을 얻는 얼굴색유사도영상획득단계와;
    상기 얼굴색 유사도 영상을 이진화하고 타원 모양으로 필터링하여 얼굴영역을 분할하는 얼굴영역분할단계와;
    상기 입력 영상의 상기 얼굴영역 영상을 상기 입술색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 입술색유사도영상획득단계와;
    상기 입술색 유사도 영상에서 무게중심을 계산하여 입술 초기 위치를 추정하는 입술초기위치추정단계와;
    상기 입술 초기 위치를 중심으로 일정 범위에 대해 상기 패턴분류기에서의 정합도를 계산하고, 정합도가 가장 높은 위치를 입술위치로 설정하는 입술위치설정단계와;
    상기 입술위치설정단계에서 설정된 입술위치의 영상에 대해서PCA((Principal Component Analysis) 계수를 추출하여 입술특징을 추출하는 입술특징추출단계를 포함한 것을 특징으로 하는 입술모양정보 획득방법.
  7. 예제 영상에 대해 특정색의 얼굴색상확률값을 학습하여 색상과 색상별 얼굴색상확률값을 얼굴색유사도테이블로 구축하는 얼굴색분포모델학습단계와;
    예제 얼굴영상에 대해 특정색의 입술색상확률값을 학습하여 색상과 색상별 입술색상확률값을 입술색유사도테이블로 구축하는 입술색분포모델학습단계와;
    예제 입술모양 영상에 대해 입술모양의 패턴을 학습하는 패턴분류기학습단계와;
    영상이 입력되면, 상기 입력 영상을 상기 얼굴색유사도테이블에 적용하여 얼굴색 유사도 영상을 얻는 얼굴색유사도영상획득단계와;
    상기 얼굴색 유사도 영상을 이진화하고 타원 모양으로 필터링하여 얼굴영역을 분할하는 얼굴영역분할단계와;
    상기 입력 영상의 상기 얼굴영역 영상을 상기 입술색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 입술색유사도영상획득단계와;
    상기 입술색 유사도 영상에서 무게중심을 계산하여 입술 초기 위치를 추정하는 입술초기위치추정단계와;
    상기 입술 초기 위치를 중심으로 일정 범위에 대해 상기 패턴분류기에서의 정합도를 계산하고, 정합도가 가장 높은 위치를 입술위치로 설정하는 입술위치설정단계와;
    상기 입술위치설정단계에서 설정된 입술위치의 영상에 대해서PCA((Principal Component Analysis) 계수를 추출하여 입술특징을 추출하는 입술특징추출단계를 포함한 것을 특징으로 하는 입술모양정보 획득방법.
  8. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 입력되는 얼굴영상의 크기를 표준화한 후 상기 입술색유사도영상획득단계를 수행하는 것을 특징으로 하는 입술모양정보 획득방법.
  9. 제 5 항에 있어서, 상기 입력되는 얼굴영상을 RGB 색상공간에서 HSV 색상공간으로 변환한 후 상기 입술색유사도영상획득단계를 수행하는 것을 특징으로 하는 입술모양정보 획득방법.
  10. 제 6 항 또는 제 7 항에 있어서, 상기 입력되는 영상을 RGB 색상공간에서 HSV 색상공간으로 변환한 후 상기 얼굴색유사도영상획득단계를 수행하는 것을 특징으로 하는 입술모양정보 획득방법.
  11. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 입술색유사도영상획득단계는 상기 입력 얼굴영상의 하반부 영역에 대해 상기 얼굴색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 것을 특징으로 하는 입술모양정보 획득방법.
  12. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 입술초기위치추정단계는 아래의 수식에 의해 상기 입술 초기 위치(Cx, Cy)를 구하는 것을 특징으로 하는 입술모양정보 획득방법.
    [수식]
    여기서, I(x,y)는 상기 입술색 유사도 영상의 각 픽셀값이다.
  13. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서, 연속되는 다수의 입술영상에 대해 상기 입술색유사도영상획득단계 내지 입술특징추출단계를 반복 수행하여 상기 각각의 입술영상에 대해 상기 입술특징을 추출하여 특징벡터로 표시하고, 상기 다수의 입술영상에 대해 평균벡터를 구한 후 상기 각 특징벡터와 상기 평균벡터와의 차이를 입술특징으로 설정하는 것을 입술특징표준화단계를 더 포함한 것을 특징으로 하는 입술모양정보 획득방법.
  14. 제 6 항 또는 제 7 항에 있어서, 상기 얼굴영역분할단계는 상기 얼굴색 유사도 영상의 이진화 영상에 대해 아래의 수식을 적용하여 얼굴의 타원 영역을 추출하는 것을 특징으로 하는 입술모양정보 획득방법.
    [수식]
    여기서, 이고,
    이며,
    yy는 영상의 y방향으로의 이차 모멘트, xy는 2차 혼합 모멘트, xx는 영상의 x방향으로의 이차 모멘트, A는 얼굴영역으로 되어 있는 픽셀의 개수이다.
  15. 제 7 항에 있어서, 상기 얼굴색분포모델학습단계는,
    상기 예제 영상의 얼굴영역이 지정되면, 상기 예제 영상의 전체 영역의 색상분포 히스토그램을 계산하고 상기 지정된 얼굴영역의 색상분포 히스토그램을 계산하는 히스토그램계산단계와;
    상기 영상 전체 영역의 색상분포 히스토그램과 상기 얼굴영역의 색상분포 히스토그램을 이용하여, 상기 색상별 얼굴색상확률을 구하는 얼굴색상확률계산단계와;
    상기 색상과 색상별 얼굴색상확률을 상기 얼굴색유사도테이블로 구축하는 얼굴색유사도테이블생성단계를 포함한 것을 입술모양정보 획득방법.
  16. 제 15 항에 있어서, 상기 예제 영상을 RGB 색상공간에서 HSV 색상공간으로 변환한 후 상기 히스토그램계산단계를 수행하는 것을 특징으로 하는 입술모양정보 획득방법.
  17. 제 15 항에 있어서, 상기 얼굴색상확률계산단계에서 구해진 각 색상별 얼굴색상확률을 가우시안 콘볼루션하여 얼굴색분포모델을 일반화한 후 상기 얼굴색유사도테이블을 구축하는 것을 특징으로 하는 입술모양정보 획득방법.
  18. 제 7 항에 있어서, 상기 입술색분포모델학습단계는,
    상기 예제 얼굴영상의 입술영역이 지정되면, 상기 예제 얼굴영상의 하반부영역의 색상분포 히스토그램을 계산하고 상기 지정된 입술영역의 색상분포 히스토그램을 계산하는 히스토그램계산단계와;
    상기 얼굴 하반부영역의 색상분포 히스토그램과 상기 입술영역의 색상분포 히스토그램을 이용하여, 각 색상별 입술색상확률을 구하는 입술색상확률계산단계와;
    상기 색상과 색상별 입술색상확률을 입술색유사도테이블로 구축하는 입술색유사도테이블생성단계를 포함한 것을 특징으로 하는 입술모양정보 획득방법.
  19. 제 18 항에 있어서, 상기 예제 얼굴영상을 RGB 색상공간에서 HSV 색상공간으로 변환한 후 상기 히스토그램계산단계를 수행하는 것을 특징으로 하는 입술모양정보 획득방법.
  20. 제 18 항에 있어서, 상기 입술색상확률계산단계에서 구해진 각 색상별 입술색상확률을 가우시안 콘볼루션하여 입술색분포모델을 일반화한 후 상기 입술색유사도테이블을 구축하는 것을 특징으로 하는 입술모양정보 획득방법.
  21. 색상과 색상별 입술색상확률값을 저장한 입술색유사도테이블과, 입술모양의 패턴을 학습한 패턴분류기가 구축된 컴퓨터에,
    얼굴영상이 입력되면, 상기 입력 얼굴영상을 상기 입술색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 입술색유사도영상획득단계와;
    상기 입술색 유사도 영상에서 무게중심을 계산하여 입술 초기 위치를 추정하는 입술초기위치추정단계와;
    상기 입술 초기 위치를 중심으로 일정 범위에 대해 상기 패턴분류기에서의 정합도를 계산하고, 정합도가 가장 높은 위치를 입술위치로 설정하는 입술위치설정단계와;
    상기 입술위치설정단계에서 설정된 입술위치의 영상에 대해서PCA((Principal Component Analysis) 계수를 추출하여 입술특징을 추출하는 입술특징추출단계를 포함한 입술모양정보 획득방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  22. 색상과 색상별 얼굴색상확률값을 저장한 얼굴색유사도테이블과, 색상과 색상별 입술색상확률값을 저장한 입술색유사도테이블과, 입술모양의 패턴을 학습한 패턴분류기가 구축된 컴퓨터에,
    영상이 입력되면, 상기 입력 영상을 상기 얼굴색유사도테이블에 적용하여 얼굴색 유사도 영상을 얻는 얼굴색유사도영상획득단계와;
    상기 얼굴색 유사도 영상을 이진화하고 타원 모양으로 필터링하여 얼굴영역을 분할하는 얼굴영역분할단계와;
    상기 입력 영상의 상기 얼굴영역 영상을 상기 입술색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 입술색유사도영상획득단계와;
    상기 입술색 유사도 영상에서 무게중심을 계산하여 입술 초기 위치를 추정하는 입술초기위치추정단계와;
    상기 입술 초기 위치를 중심으로 일정 범위에 대해 상기 패턴분류기에서의 정합도를 계산하고, 정합도가 가장 높은 위치를 입술위치로 설정하는 입술위치설정단계와;
    상기 입술위치설정단계에서 설정된 입술위치의 영상에 대해서PCA((Principal Component Analysis) 계수를 추출하여 입술특징을 추출하는 입술특징추출단계를 포함한 입술모양정보 획득방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  23. 컴퓨터에,
    예제 영상에 대해 특정색의 얼굴색상확률값을 학습하여 색상과 색상별 얼굴색상확률값을 얼굴색유사도테이블로 구축하는 얼굴색분포모델학습단계와;
    예제 얼굴영상에 대해 특정색의 입술색상확률값을 학습하여 색상과 색상별 입술색상확률값을 입술색유사도테이블로 구축하는 입술색분포모델학습단계와;
    예제 입술모양 영상에 대해 입술모양의 패턴을 학습하는 패턴분류기학습단계와;
    영상이 입력되면, 상기 입력 영상을 상기 얼굴색유사도테이블에 적용하여 얼굴색 유사도 영상을 얻는 얼굴색유사도영상획득단계와;
    상기 얼굴색 유사도 영상을 이진화하고 타원 모양으로 필터링하여 얼굴영역을 분할하는 얼굴영역분할단계와;
    상기 입력 영상의 상기 얼굴영역 영상을 상기 입술색유사도테이블에 적용하여 입술색 유사도 영상을 얻는 입술색유사도영상획득단계와;
    상기 입술색 유사도 영상에서 무게중심을 계산하여 입술 초기 위치를 추정하는 입술초기위치추정단계와;
    상기 입술 초기 위치를 중심으로 일정 범위에 대해 상기 패턴분류기에서의 정합도를 계산하고, 정합도가 가장 높은 위치를 입술위치로 설정하는 입술위치설정단계와;
    상기 입술위치설정단계에서 설정된 입술위치의 영상에 대해서PCA((Principal Component Analysis) 계수를 추출하여 입술특징을 추출하는 입술특징추출단계를 포함한 입술모양정보 획득방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2003-0057475A 2003-08-20 2003-08-20 음성 인식을 위한 입술영역 검출 및 이를 이용한입술모양정보 획득방법 KR100532129B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2003-0057475A KR100532129B1 (ko) 2003-08-20 2003-08-20 음성 인식을 위한 입술영역 검출 및 이를 이용한입술모양정보 획득방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0057475A KR100532129B1 (ko) 2003-08-20 2003-08-20 음성 인식을 위한 입술영역 검출 및 이를 이용한입술모양정보 획득방법

Publications (2)

Publication Number Publication Date
KR20050019599A KR20050019599A (ko) 2005-03-03
KR100532129B1 true KR100532129B1 (ko) 2005-12-01

Family

ID=37228826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0057475A KR100532129B1 (ko) 2003-08-20 2003-08-20 음성 인식을 위한 입술영역 검출 및 이를 이용한입술모양정보 획득방법

Country Status (1)

Country Link
KR (1) KR100532129B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100924795B1 (ko) * 2007-12-18 2009-11-03 한국전자통신연구원 입술움직임 영상 판별 방법 및 그 장치
KR100957194B1 (ko) * 2008-06-24 2010-05-11 동명대학교산학협력단 인간과 단말기간의 마우스 인터페이스 시스템 및 제어방법
US8559712B2 (en) 2010-09-13 2013-10-15 Hewlett-Packard Development Company, L.P. Processing an image of a person's face
WO2012127477A1 (en) 2011-03-21 2012-09-27 Hewlett-Packard Development Company, L.P. Lip activity detection
CN108446641A (zh) * 2018-03-22 2018-08-24 深圳市迪比科电子科技有限公司 一种基于机器学习的口形图像识别系统及通过面纹识别发声的方法
KR102244967B1 (ko) * 2019-06-11 2021-04-27 서강대학교산학협력단 음성인식 장치 및 음성인식 장치의 동작방법
JP7015009B2 (ja) * 2019-12-19 2022-02-02 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
KR20050019599A (ko) 2005-03-03

Similar Documents

Publication Publication Date Title
US10372226B2 (en) Visual language for human computer interfaces
JP4251719B2 (ja) 複数人物が存在する場合の人間の顔のロバスト追跡システム
US7869631B2 (en) Automatic skin color model face detection and mean-shift face tracking
KR20160143494A (ko) 현저성 정보 취득 장치 및 현저성 정보 취득 방법
CN106960181B (zh) 一种基于rgbd数据的行人属性识别方法
Liew et al. Lip contour extraction from color images using a deformable model
JP2003030667A (ja) イメージ内で目を自動的に位置決めする方法
KR100422709B1 (ko) 영상 의존적인 얼굴 영역 추출방법
CN106778517A (zh) 一种监控视频序列图像车辆再识别的方法
JPH10320562A (ja) 人間の顔の検出システムおよび検出方法
JP6527421B2 (ja) 人物認識装置及びそのプログラム
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
Kheirkhah et al. A hybrid face detection approach in color images with complex background
JP4625949B2 (ja) 物体追跡方法および物体追跡装置ならびにプログラム
JP2017102622A (ja) 画像処理装置、画像処理方法及びプログラム
KR101932008B1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
KR100532129B1 (ko) 음성 인식을 위한 입술영역 검출 및 이를 이용한입술모양정보 획득방법
Izzah et al. Translation of sign language using generic fourier descriptor and nearest neighbour
JP2007115109A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
Graf et al. Robust recognition of faces and facial features with a multi-modal system
KR101408344B1 (ko) 얼굴 검출 장치
Singh et al. Template matching for detection & recognition of frontal view of human face through Matlab
Liu et al. Automatic dynamic template tracking of inner lips based on CLNF
KR101621304B1 (ko) 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법 및 시스템
CN113450369B (zh) 一种基于人脸识别技术的课堂分析系统及方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111108

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20111129

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee