KR20130067465A - 특징점을 이용한 얼굴방향 추적 장치 및 그 방법 - Google Patents

특징점을 이용한 얼굴방향 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR20130067465A
KR20130067465A KR1020110134919A KR20110134919A KR20130067465A KR 20130067465 A KR20130067465 A KR 20130067465A KR 1020110134919 A KR1020110134919 A KR 1020110134919A KR 20110134919 A KR20110134919 A KR 20110134919A KR 20130067465 A KR20130067465 A KR 20130067465A
Authority
KR
South Korea
Prior art keywords
tracking
face
feature point
tracking filter
angle
Prior art date
Application number
KR1020110134919A
Other languages
English (en)
Inventor
최진하
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020110134919A priority Critical patent/KR20130067465A/ko
Publication of KR20130067465A publication Critical patent/KR20130067465A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 특징점을 이용한 얼굴방향 추적 장치 및 그 방법에 관한 것으로, 정면영상에서 추출한 특징점의 위치를 기준으로 상기 특징점이 이동한 거리를 나타내는 얼굴각에 따라 적어도 하나 이상의 추적필터를 적용하여 얼굴방향을 추적함으로써, 각각의 얼굴각 범위에서 최적의 성능을 나타내는 추적필터를 적용할 수 있어 최상의 얼굴방향 추적 성능을 발휘할 수 있는, 특징점을 이용한 얼굴방향 추적 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 적어도 하나 이상의 추적필터를 저장하는 추적필터 저장수단; 얼굴의 정면영상에서 특징점을 추출하는 특징점 추출수단; 상기 특징점 추출수단이 추출한 특징점의 이동각도(이하, 얼굴각)를 산출하는 얼굴각 산출수단; 및 상기 얼굴각 산출수단이 산출한 얼굴각에 상응하는 추적필터를 적용하여 얼굴방향을 추적하는 얼굴방향 추적수단을 포함한다.

Description

특징점을 이용한 얼굴방향 추적 장치 및 그 방법{APPARATUS AND METHOD FOR TRACKING FACIAL DIRECTION USING FEATURE POINT}
본 발명은 특징점을 이용한 얼굴방향 추적 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 정면영상에서 추출한 특징점의 위치를 기준으로 상기 특징점이 이동한 거리를 나타내는 얼굴각에 따라 적어도 하나 이상의 추적필터를 적용하여 얼굴방향을 추적하는, 특징점을 이용한 얼굴방향 추적 장치 및 그 방법에 관한 것이다.
영상 처리와 해석에 있어서, 인간의 얼굴은 시각적인 판별과 신원확인에 대한 중요한 요소이다. 1990년대 초부터 얼굴인식과 얼굴 표정 해석에 대한 분석이 광범위하게 개발되어왔다.
최근에 영상의 흐름 속에서 얼굴검색과 신원확인을 위하여, 엠펙 세븐(MPEG-7) 얼굴 서술자(face descriptor)들이 제안되어 왔다. 종래의 얼굴인식 알고리즘에 반하여 상기 얼굴 서술자의 주요한 기능은 가능한 한 신속하고 효과적으로 조회 이미지와 똑같은 얼굴 이미지들을 검색하는 것이다.
얼굴인식기술이란 정지영상이나 동영상에 존재하는 한 사람 이상의 얼굴에 대하여 주어진 얼굴 데이터베이스를 이용하여 그 신원을 확인하는 기술을 일컫는다.
이러한 얼굴 인식 기술은 다른 생체인식기술인 지문인식 등과 다르게 자신의 신체 일부를 인식장치에 직접 접촉시키지 않아도 되고 생체정보의 획득방법에서 강제성이 적지만, 얼굴은 조명 및 포즈(자세)의 변화에 따라 자체의 변화가 심하고 주변환경에 매우 민감하기 때문에 인식률이 타 생체인식 기술에 비해 낮은 단점이 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 정면영상에서 추출한 특징점의 위치를 기준으로 상기 특징점이 이동한 거리를 나타내는 얼굴각에 따라 적어도 하나 이상의 추적필터를 적용하여 얼굴방향을 추적함으로써, 각각의 얼굴각 범위에서 최적의 성능을 나타내는 추적필터를 적용할 수 있어 최상의 얼굴방향 추적 성능을 발휘할 수 있는, 특징점을 이용한 얼굴방향 추적 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 적어도 하나 이상의 추적필터를 저장하는 추적필터 저장수단; 얼굴의 정면영상에서 특징점을 추출하는 특징점 추출수단; 상기 특징점 추출수단이 추출한 특징점의 이동각도(이하, 얼굴각)를 산출하는 얼굴각 산출수단; 및 상기 얼굴각 산출수단이 산출한 얼굴각에 상응하는 추적필터를 적용하여 얼굴방향을 추적하는 얼굴방향 추적수단을 포함한다.
또한 상기 목적을 달성하기 위한 본 발명의 방법은, 추적필터 저장수단이 적어도 하나 이상의 추적필터를 저장하는 단계; 특징점 추출수단이 얼굴의 정면영상에서 특징점을 추출하는 단계; 얼굴각 산출수단이 상기 추출된 특징점의 이동각도(이하, 얼굴각)를 산출하는 단계; 및 얼굴방향 추적수단이 상기 산출된 얼굴각에 상응하는 추적필터를 적용하여 얼굴방향을 추적하는 얼굴방향 추적단계를 포함한다.
상기와 같은 본 발명은, 정면영상에서 추출한 특징점의 위치를 기준으로 상기 특징점이 이동한 거리를 나타내는 얼굴각에 따라 적어도 하나 이상의 추적필터를 적용하여 얼굴방향을 추적함으로써, 각각의 얼굴각 범위에서 최적의 성능을 나타내는 추적필터를 적용할 수 있어 최상의 얼굴방향 추적 성능을 발휘할 수 있는 효과가 있다.
도 1 은 본 발명에 따른 특징점을 이용한 얼굴방향 추적 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 추적필터의 적용 범위에 대한 일예시도,
도 3 은 본 발명에 따른 얼굴각 산출 과정에 대한 일예시도,
도 4 는 본 발명에 따른 특징점을 이용한 얼굴방향 추적 방법에 대한 일실시예 흐름도이다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 특징점을 이용한 얼굴방향 추적 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 특징점을 이용한 얼굴방향 추적 장치은, 추적필터 저장부(10), 특징점 추출부(20), 얼굴각 산출부(30), 및 얼굴방향 추적부(40)를 포함한다.
상기 각 구성요소들에 대해 살펴보면, 먼저 추적필터 저장부(10)는 얼굴방향을 추적하는데 이용되는 적어도 하나 이상의 추적필터를 구비하고 있다. 이때 각 추적필터는 해당 얼굴각 범위에서 최적의 추적 성능을 발휘한다.
일예로, 도 2에 도시된 바와 같이 제 1 추적필터는 정면영상에서 추출한 특징점의 위치(0도)를 기준으로 상기 특징점이 이동한 거리를 나타내는 얼굴각이 일예로 -45도 ~ 45도 구간(210)에서 최적의 성능을 보이고, 제 2 추적필터는 정면영상에서 추출한 특징점의 위치를 기준으로 상기 특징점이 이동한 거리를 나타내는 얼굴각이 일예로 30도 ~ 60도 구간(220) 및 -30도 ~ -60도 구간(미도시)에서 최적의 성능을 보인다.
이때, 제 1 추적필터와 제 2 추적필터가 겹치는 구간, 즉 30도 ~ 45도 구간 및 -30도 ~ -45도 구간에서는 각 추적필터를 통해 추적한 결과를 상호 보완하여 최종 결과를 산출한다. 여기서, 추적필터는 칼만 필터 등을 포함하며, 추적필터 자체에 대한 기술은 주지 관용의 기술로서 본 발명의 요지가 아니므로 그 상세 설명을 생략한다.
특징점 추출부(20)는 얼굴의 정면영상에서 특징점(눈, 코, 입 등)을 추출한다. 즉, 특징점 추출부(20)는 주지 관용의 기술인 아다부스트(AdaBoost) 알고리즘을 이용하여 특징점을 추출한다.
얼굴각 산출부(30)는 특징점 추출부(20)에서 추출된 특징점의 이동각도(이하, 얼굴각)를 산출한다.
즉, 얼굴각 산출부(30)는 도 3에 도시된 바와 같이, 얼굴의 형태를 원형으로 가정하여 하기의 [수학식 1]을 이용하여 특징점(일예로 입)의 이동각도(θ)를 산출한다.
[수학식 1]
θ = SIN-1(x/R)
얼굴방향 추적부(40)는 얼굴각 산출부(30)에서 산출된 얼굴각(θ)에 상응하는 추적필터를 적용하여 얼굴방향을 추적한다. 여기서, 얼굴방향 추적 자체에 대한 기술은 주지 관용의 기술을 이용한다.
또한, 얼굴방향 추적부(40)는 제 1 추적필터와 제 2 추적필터가 적용되는 구간이 중첩되는 경우, 즉 30도 ~ 45도 구간 및 -30도 ~ -45도 구간에서는 제 1 추적필터의 추적 결과와 제 2 추적필터의 추적 결과를 상호 보완하여 최종적으로 얼굴방향을 추적한다.
도 4 는 본 발명에 따른 특징점을 이용한 얼굴방향 추적 방법에 대한 일실시예 흐름도이다.
먼저, 추적필터 저장부(10)는 적어도 하나 이상의 추적필터를 저장한다(401).
이후, 특징점 추출부(20)가 얼굴의 정면영상에서 특징점을 추출한다(402).
이후, 얼굴각 산출부(30)가 특징점 추출부(20)에서 추출된 특징점의 이동각도(이하, 얼굴각)를 산출한다(403).
이후, 얼굴방향 추적부(40)가 얼굴각 산출부(30)에서 산출된 얼굴각에 상응하는 추적필터를 적용하여 얼굴방향을 추적한다(404).
이러한 과정을 통해, 각각의 얼굴각 범위에서 최적의 성능을 나타내는 추적필터를 적용할 수 있어 최상의 얼굴방향 추적 성능을 발휘할 수 있다.
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
10 : 추적필터 저장부
20 : 특징점 추출부
30 : 얼굴각 산출부
40 : 얼굴방향 추적부

Claims (5)

  1. 적어도 하나 이상의 추적필터를 저장하는 추적필터 저장수단;
    얼굴의 정면영상에서 특징점을 추출하는 특징점 추출수단;
    상기 특징점 추출수단이 추출한 특징점의 이동각도(이하, 얼굴각)를 산출하는 얼굴각 산출수단; 및
    상기 얼굴각 산출수단이 산출한 얼굴각에 상응하는 추적필터를 적용하여 얼굴방향을 추적하는 얼굴방향 추적수단
    을 포함하는 특징점을 이용한 얼굴방향 추적 장치.
  2. 제 1 항에 있어서,
    상기 추적필터 저장수단은,
    상기 얼굴각이 제 1 구간에서 최적의 성능을 보이는 제 1 추적필터; 및
    상기 얼굴각이 제 2 구간에서 최적의 성능을 보이는 제 2 추적필터
    를 포함하는 특징점을 이용한 얼굴방향 추적 장치.
  3. 제 2 항에 있어서,
    상기 얼굴방향 추적수단은,
    상기 제 1 구간 및 상기 제 2 구간이 중첩되는 구간에서는 상기 제 1 추적필터의 추적 결과와 상기 제 2 추적필터의 추적 결과를 상호 보완하여 최종적으로 얼굴방향을 추적하는 것을 특징으로 하는 특징점을 이용한 얼굴방향 추적 장치.
  4. 추적필터 저장수단이 적어도 하나 이상의 추적필터를 저장하는 단계;
    특징점 추출수단이 얼굴의 정면영상에서 특징점을 추출하는 단계;
    얼굴각 산출수단이 상기 추출된 특징점의 이동각도(이하, 얼굴각)를 산출하는 단계; 및
    얼굴방향 추적수단이 상기 산출된 얼굴각에 상응하는 추적필터를 적용하여 얼굴방향을 추적하는 얼굴방향 추적단계
    를 포함하는 특징점을 이용한 얼굴방향 추적 방법.
  5. 제 4 항에 있어서,
    상기 얼굴방향 추적단계는,
    제 1 추적필터와 제 2 추적필터가 적용되는 구간이 중첩되는 경우, 상기 제 1 추적필터의 추적 결과와 상기 제 2 추적필터의 추적 결과를 상호 보완하여 최종적으로 얼굴방향을 추적하는 것을 특징으로 하는 특징점을 이용한 얼굴방향 추적 방법.
KR1020110134919A 2011-12-14 2011-12-14 특징점을 이용한 얼굴방향 추적 장치 및 그 방법 KR20130067465A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110134919A KR20130067465A (ko) 2011-12-14 2011-12-14 특징점을 이용한 얼굴방향 추적 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110134919A KR20130067465A (ko) 2011-12-14 2011-12-14 특징점을 이용한 얼굴방향 추적 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20130067465A true KR20130067465A (ko) 2013-06-24

Family

ID=48863289

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110134919A KR20130067465A (ko) 2011-12-14 2011-12-14 특징점을 이용한 얼굴방향 추적 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20130067465A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475424A (zh) * 2016-07-12 2018-08-31 微软技术许可有限责任公司 用于3d面部跟踪的方法、装置和系统
WO2019088651A1 (ko) * 2017-10-30 2019-05-09 명홍철 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
US10915736B2 (en) 2018-12-04 2021-02-09 Samsung Electronics Co., Ltd. Image processing method and apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475424A (zh) * 2016-07-12 2018-08-31 微软技术许可有限责任公司 用于3d面部跟踪的方法、装置和系统
CN108475424B (zh) * 2016-07-12 2023-08-29 微软技术许可有限责任公司 用于3d面部跟踪的方法、装置和系统
WO2019088651A1 (ko) * 2017-10-30 2019-05-09 명홍철 소스 비디오 내에서 관심 동영상을 추출하는 장치 및 방법
US10915736B2 (en) 2018-12-04 2021-02-09 Samsung Electronics Co., Ltd. Image processing method and apparatus
US11538277B2 (en) 2018-12-04 2022-12-27 Samsung Electronics Co., Ltd. Image processing method and apparatus
US11972634B2 (en) 2018-12-04 2024-04-30 Samsung Electronics Co., Ltd. Image processing method and apparatus

Similar Documents

Publication Publication Date Title
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN106133752B (zh) 眼睛注视跟踪
WO2015165365A1 (zh) 一种人脸识别方法及系统
Feng et al. Features extraction from hand images based on new detection operators
Oprisescu et al. Automatic static hand gesture recognition using tof cameras
US9582711B2 (en) Robot cleaner, apparatus and method for recognizing gesture
KR102349059B1 (ko) 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
WO2019033576A1 (zh) 人脸姿态检测方法、装置及存储介质
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11218629B2 (en) Tracking system and method thereof
KR20130067465A (ko) 특징점을 이용한 얼굴방향 추적 장치 및 그 방법
Guerra-Segura et al. Study of the variability of the Leap Motion’s measures for its use to characterize air strokes
Radlak et al. Blink detection based on the weighted gradient descriptor
KR101482850B1 (ko) 손 모양 인식 방법 및 그 장치
Vieriu et al. Background invariant static hand gesture recognition based on Hidden Markov Models
KR101492933B1 (ko) 눈 인식 장치 및 방법
CN105430342A (zh) 基于内容的视频特征提取与视频结构化处理方法
US9633259B2 (en) Apparatus and method for recognizing iris
Mehta et al. Regenerating vital facial keypoints for impostor identification from disguised images using CNN
Jiang et al. A dynamic gesture recognition method based on computer vision
My et al. Real time face tracking and pose estimation using an adaptive correlation filter for human-robot interaction
KR101342018B1 (ko) 대표 특징을 이용한 실시간 객체 인식 및 추적 방법과 그 장치
Gossain et al. A novel approach to enhance object detection using integrated detection algorithms
Usabiaga et al. Recognizing simple human actions using 3D head movement
KR20200119586A (ko) 귀 인식 기반 신원확인 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal