KR20180013725A - 얼굴 검출 추적 방법, 얼굴 검출 추적 장치, 로봇 헤드의 회전 제어 방법 및 로봇 헤드의 회전 제어 시스템 - Google Patents

얼굴 검출 추적 방법, 얼굴 검출 추적 장치, 로봇 헤드의 회전 제어 방법 및 로봇 헤드의 회전 제어 시스템 Download PDF

Info

Publication number
KR20180013725A
KR20180013725A KR1020170091353A KR20170091353A KR20180013725A KR 20180013725 A KR20180013725 A KR 20180013725A KR 1020170091353 A KR1020170091353 A KR 1020170091353A KR 20170091353 A KR20170091353 A KR 20170091353A KR 20180013725 A KR20180013725 A KR 20180013725A
Authority
KR
South Korea
Prior art keywords
face
tracking
image
current frame
frame image
Prior art date
Application number
KR1020170091353A
Other languages
English (en)
Other versions
KR101881820B1 (ko
Inventor
지왠
슝유?
슝유?w
Original Assignee
유비테크 로보틱스 코프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유비테크 로보틱스 코프 filed Critical 유비테크 로보틱스 코프
Publication of KR20180013725A publication Critical patent/KR20180013725A/ko
Application granted granted Critical
Publication of KR101881820B1 publication Critical patent/KR101881820B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴 검출 추적 방법, 얼굴 검출 추적 장치, 로봇 헤드의 회전 제어 방법 및 로봇 헤드의 회전 제어 시스템을 공개한다. 상기 얼굴 검출 추적 방법은, 이미지를 수집하여 상기 이미지에 대하여 깊이 검출 처리를 행하여, 상기 이미지의 각 화소점의 깊이값을 취득하는 스텝과, 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정하는 스텝과, 상기 얼굴 후보영역에 대하여 얼굴을 검증하여, 상기 현재 프레임 이미지의 얼굴 테두리를 결정하는 스텝과, 상기 현재 프레임 이미지의 얼굴 테두리와 추적 얼굴 테두리에 근거하여, 상기 현재 프레임 이미지의 추적 테두리를 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝을 포함한다. 상기 얼굴 검출 추적 방법은 틀리게 검출되는 비율을 감소시키는 것에 유리하고, 얼굴 검출 정확도를 향상시킨다. 상기 로봇 헤드의 회전 제어 방법은 상기 얼굴 검출 추적 방법을 이용하여 얼굴을 검출함으로써, 로봇 헤드의 회전과정이 원활하게 진행되고, 회전과정에서 중단현상이 나타나는 것을 억제한다.

Description

얼굴 검출 추적 방법, 얼굴 검출 추적 장치, 로봇 헤드의 회전 제어 방법 및 로봇 헤드의 회전 제어 시스템{FACE DETECTION TRACKING METHOD AND DEVICE AND ROBOT HEAD ROTATION CONTROL METHOD AND SYSTEM}
본 발명은 얼굴 인식 영역에 관한 것으로서, 특히, 얼굴 검출 추적 방법, 얼굴 검출 추적 장치, 로봇 헤드의 회전 제어 방법 및 로봇 헤드의 회전 제어 시스템에 관한 것이다.
컴퓨터 시각 기술이 날마다 발전함에 따라, 컴퓨터 시각 기술은, 사람들의 일상생활에 광범위하게 적용되고 있다. 예를 들면, 로봇은, 컴퓨터 시각 기술에 의해 제어됨으로써, 시각기능을 가지게 되고, 여러 가지 검출, 판단, 식별 및 측정 등 스마트 조작을 구현할 수 있다. 종래의 로봇은 내부에 촬상장치가 설치되고, 얼굴 검출 기술과 결합하여, 로봇의 카메라에 의해 수집된 이미지 중의 얼굴을 검출하고, 또한 기계적 운동에 의해 얼굴을 추적할 수 있기 때문에, 로봇 헤드를 얼굴의 이동에 의해 회전시킬 수 있다.
그러나, 종래의 얼굴 검출 추적 방법은 틀리게 검출되는 비율이 높기 때문에, 얼굴이 아닌 것을 얼굴로 쉽게 검출할 수 있다. 종래의 얼굴 검출 추적 방법에 의해 로봇 헤드의 회전을 제어할 경우, 얼굴을 틀리게 검출하는 비율이 높기 때문에, 로봇 헤드의 회전 동작이 정확하지 않아서, 회전 중에 쉽게 중단된다.
중국 공개특허 제102411368호, 공개일 2012년 04월 11일, 제목: 로봇의 능동 얼굴 추적방법과 추적 시스템.
상기의 종래기술의 문제점을 해결하기 위하여, 본 발명은 얼굴 검출 추적 방법 및 장치, 로봇 헤드의 회전 제어 방법 및 시스템을 제공한다.
상기의 문제점을 해결하기 위하여, 본 발명은 하기와 같은 기술방안을 채용한다.
본 발명의 실시 예에 따른 얼굴 검출 추적 방법은, 이미지를 수집하고, 상기 이미지에 대하여 깊이 검출 처리를 행하여, 상기 이미지 중의 각 화소점의 깊이값을 취득하는 스텝과, 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정하는 스텝과, 상기 얼굴 후보영역에 대하여 얼굴 검출을 행하여, 상기 현재 프레임 이미지의 얼굴 테두리를 결정하는 스텝과, 상기 현재 프레임 이미지의 얼굴 테두리와 추적 얼굴 테두리에 근거하여, 상기 현재 프레임 이미지의 추적 테두리를 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝을 포함한다.
바람직하게는, 상기 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정하는 스텝에 있어서, 상기 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여, 각 화소점에 대응하는 검출 윈도우를 결정하는 스텝과, 상기 검출 윈도우에 근거하여 상기 검출 윈도우와 인접하는 인접 윈도우를 결정하는 스텝과, 상기 검출 윈도우와 상기 인접 윈도우가 상기 얼굴 후보영역의 마스크 조건을 만족하는지 아닌지를 판단하는 스텝과, 마스크 조건을 만족시킬 경우, 상기 검출 윈도우를 상기 얼굴 후보영역으로 하는 스텝을 포함한다.
바람직하게는, 상기 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여, 각 화소점에 대응하는 검출 윈도우를 결정하는 스텝은, 상기 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여, 각 화소점에 대응하는 얼굴 폭을 결정하는 스텝과, 각 화소점을 중심으로 하고, 상기 화소점에 대응하는 얼굴 폭을 변의 길이로 하여, 정방형을 형성하는 검출 테두리를 상기 화소점에 대응하는 검출 윈도우로 하는 스텝을 포함한다.
바람직하게는, 상기 검출 윈도우에 근거하여, 상기 검출 윈도우와 인접하는 인접 윈도우를 결정하는 스텝은, 상기 검출 윈도우의 왼쪽, 오른쪽과 위쪽에서, 상기 검출 윈도우를 둘러싸는 왼쪽 윈도우, 오른쪽 윈도우와 위쪽 윈도우를 각각 결정하는 스텝을 포함한다. 상기 왼쪽 윈도우, 오른쪽 윈도우와 위쪽 윈도우는, 상기 검출 윈도우와 제1프리셋 폭을 두고 설치된다.
바람직하게는, 상기 얼굴 후보영역의 마스크 조건은, 상기 검출 윈도우의 평균 깊이값과 화소점의 깊이값의 차이의 절대치가 제1한계값보다 작고, 또한 상기 인접 윈도우의 평균 깊이값과 화소점의 깊이값의 차의 절대치가 제2한계값보다 작은 조건을 포함한다. 상기 제1한계값은, 상기 제2한계값보다 작다.
바람직하게는, 상기 현재 프레임 이미지의 얼굴 테두리와 추적 얼굴 테두리에 근거하여, 상기 현재 프레임 이미지의 추적 테두리를 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝은, 상기 현재 프레임 이미지가 제1프레임 이미지인지 아닌지를 판단하는 스텝과, 상기 현재 프레임 이미지가 제1프레임 이미지이라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 상기 현재 프레임 이미지의 추적 테두리로 결정하고, 상기 현재 프레임 이미지의 테두리 내의 얼굴을 추적하는 스텝과, 상기 현재 프레임 이미지가 제1프레임 이미지가 아니라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리가 상기 추적 얼굴 테두리의 면적 이상인지 아닌지를 판단하는 스텝과, "Yes"라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리가 상기 현재 프레임 이미지의 추적 테두리라고 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝과, "No"라고 판단했을 경우, 상기 추적 얼굴 테두리와 상기 현재 프레임 이미지의 얼굴 테두리에 대하여 교차 영역을 계산하고, 상기 교차 영역 내의 추적 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝을 포함한다.
바람직하게는, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝은, 그 전의 프레임 이미지로부터 복수의 목표 이미지와 배경 이미지를 수집하고, 상기 목표 이미지와 상기 배경 이미지를 멀티스케일로 변환하여 멀티스케일 이미지 추출 특징을 얻고, 저밀도 측정 매트릭스를 이용하여 상기 멀티스케일 이미지 추출 특징에 대하여 차원 축소 시켜서 차원 축소 특징을 얻고, 상기 차원 축소 특징에 의해 나이브 베이즈 분류기를 트레이닝하는 스텝과, 상기 현재 프레임 이미지의 목표 윈도우의 주변에 있는 복수의 스캔 윈도우의 목표 이미지를 스캔하여, 상기 목표 이미지의 멀티스케일 이미지 추출 특징을 추출하고, 상기 저밀도 측정 매트릭스를 이용하여 상기 멀티스케일 이미지 추출 특징에 대하여 차원 축소 시켜서 차원 축소 특징을 얻고, 상기 나이브 베이즈 분류기를 이용하여 상기 차원 축소 특징을 분류하고, 분류된 것 중 분수가 최대인 윈도우를 현재 프레임 이미지의 목표 윈도우로 하는 스텝을 포함한다.
본 발명은 로봇 헤드의 회전 제어 방법을 제공한다. 상기 방법은, 이미지의 중심영역을 미리 설정하는 스텝과, 상기 얼굴 검출 추적 방법에 의해 상기 현재 프레임 이미지의 추적 테두리를 결정하는 스텝과, 로봇 헤드의 회전을 제어하여, 상기 현재 프레임 이미지의 추적 테두리를 상기 중심영역으로 이동시키는 스텝을 포함한다.
바람직하게는, 로봇 헤드의 회전을 제어하여, 상기 현재 프레임 이미지의 추적 테두리를 상기 중심영역으로 이동시키는 스텝은, 상기 추적 테두리의 중심에 대한 상기 중심영역의 중심의 수평 편차도(deviation degree) 및 수직 편차도를 계산하는 스텝과, 로봇 헤드를 제어하여 수평방향에 따라 수평 편차도만큼 회전 시키고 또한 수직방향에 따라 수직 편차도만큼 회전시킴으로써, 상기 중심영역의 중심과 상기 추적 테두리의 중심을 중첩시키는 스텝을 포함한다.
바람직하게는, 상기 로봇 헤드의 회전을 제어하여, 상기 현재 프레임 이미지의 추적 테두리를 상기 중심영역으로 이동시키는 스텝은, 로봇 헤드를 수평방향과 수직방향에 때라 회전하도록 제어하여, 추적 테두리의 중심을 상기 중심영역의 경계범위 내에 위치시키는 스텝을 포함한다.
본 발명의 실시 예에 따른 얼굴 검출 추적 장치는, 이미지를 수집하여 상기 이미지의 깊이 검출 처리를 행하여, 상기 이미지 중 각 화소점의 깊이값을 취득하기 위한 깊이 검출 처리 모듈과, 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정하기 위한 얼굴 후보영역 결정 모듈과, 상기 얼굴 후보영역에 대하여 얼굴 검증을 행하여, 상기 현재 프레임 이미지의 얼굴 테두리를 결정하기 위한 얼굴 테두리 결정 모듈과, 상기 현재 프레임 이미지의 얼굴 테두리와 추적 얼굴 테두리에 근거하여, 상기 현재 프레임 이미지의 추적 테두리를 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하기 위한 얼굴 추적 모듈을 포함한다.
바람직하게는, 상기 얼굴 후보영역 결정 모듈은, 상기 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여, 각 화소점에 대응하는 검출 윈도우를 결정하기 위한 검출 윈도우 결정 서브 모듈과, 상기 검출 윈도우에 근거하여 상기 검출 윈도우와 인접하는 인접 윈도우를 결정하기 위한 인접 윈도우 결정 서브 모듈과, 상기 검출 윈도우와 상기 인접 윈도우가 상기 얼굴 후보영역의 마스크 조건을 만족시키는지 아닌지를 판단하기 위한 마스크 조건 판단 서브 모듈과, 상기 검출 윈도우와 상기 인접 윈도우가 상기 얼굴 후보영역의 마스크 조건을 만족시킬 경우, 상기 검출 윈도우를 상기 얼굴 후보영역으로 결정하는 후보영역 결정 서브 모듈을 포함한다.
바람직하게는, 상기 얼굴 추적 모듈은, 상기 현재 프레임 이미지가 제1프레임 이미지인지 아닌지를 판단하는 판단 모듈과, 상기 현재 프레임 이미지가 제1프레임 이미지이라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 상기 현재 프레임 이미지의 추적 테두리로 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 제1판단 처리 모듈과, 상기 현재 프레임 이미지가 제1프레임 이미지가 아니라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리가 상기 추적 얼굴 테두리의 면적 이상인지 아닌지를 판단하기 위한 제2판단 처리 모듈과, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리가 상기 추적 얼굴 테두리의 면적 이상이라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 상기 현재 프레임 이미지의 추적 테두리로 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하기 위한 제1추적 테두리 결정 모듈과, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리가 상기 추적 얼굴 테두리의 면적보다 작다고 판단했을 경우, 상기 추적 얼굴 테두리와 상기 현재 프레임 이미지의 얼굴 테두리의 교차 영역을 계산하고, 상기 교차 영역 내의 추적 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하기 위한 제2추적 테두리 결정 모듈을 포함한다.
본 발명의 실시 예에 따른 로봇의 회전 제어 시스템은, 이미지의 중심영역을 미리 설정하는 중심영역 미리 설정 모듈과, 상기 현재 프레임 이미지의 추적 테두리를 결정하기 위한 얼굴 검출 추적 장치와, 로봇 헤드의 회전을 제어하여, 상기 현재 프레임 이미지의 추적 테두리를 상기 중심영역으로 이동시키기 위한 헤드 회전 제어 모듈을 포함한다.
본 발명은 종래 기술에 비교하여 하기에 기재된 장점을 가진다.
본 발명의 실시 예에 따른 얼굴 검출 인증 방법 및 얼굴 검출 인증 장치에 있어서, 이미지를 수집하고, 수집된 이미지에 대하여 깊이 검출 처리를 행하여, 이미지의 각 화소점의 깊이값을 결정하고, 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정한다. 다음에, 얼굴 후보영역 내에서 얼굴 검출을 행하여 현재 프레임 이미지의 얼굴 테두리를 결정함으로써, 틀리게 검출되는 비율을 감소시키고, 얼굴 검출의 정확도를 증가시키는데 유리하다. 마지막으로, 현재 프레임 이미지의 얼굴 테두리에 근거하여, 현재 프레임 이미지의 추적 테두리를 결정하고, 추적 테두리 내의 얼굴을 추적하여, 검출된 얼굴의 연속성을 보증할 수 있다.
본 발명의 실시 예에 따른 로봇 헤드의 회전 제어 방법 및 로봇 헤드의 회전 제어 시스템은, 이미지의 중심영역을 미리 설정하고, 얼굴 검출 추적 방법에 의해 현재 프레임 이미지의 추적 테두리를 결정하고, 로봇 헤드를 제어하여 회전시켜서 추적 테두리를 중심영역으로 이동시킨다. 상기 로봇 헤드의 회전 제어 방법은, 현재 프레임 이미지의 추적 테두리와 이미지의 중심영역의 위치에 근거하여, 로봇의 좌우 회전이나 상하 회전을 제어함으로써, 로봇의 움직임이 더 활발해진다. 얼굴 검출 추적 방법에 의해 현재 프레임 이미지의 추적 테두리를 결정함으로써, 로봇 헤드의 회전과정이 원활하게 진행되고, 회전과정에서 중단현상이 나타나는 것을 억제한다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도1은 본 발명의 제1실시예에 관한 얼굴 검출 추적 방법을 나타내는 플로우차트이다.
도2는 본 발명의 제1실시예에 관한 얼굴 검출 추적 방법을 나타내는 다른 플로우차트이다.
도3은 본 발명의 제1실시예에 관한 검출 윈도우와 인접 윈도우를 나타내는 도면이다.
도4는 본 발명의 제2실시예에 관한 로봇 헤드의 회전 제어 방법을 나타내는 플로우차트이다.
도5는 본 발명의 제2실시예에 관한 수집된 현재 프레임 이미지를 나타내는 도면이다.
도6은 본 발명의 제3실시예에 관한 얼굴 검출 추적 장치의 원리를 설명하기 위한 도면이다.
도7은 본 발명의 제4실시예에 관한 로봇의 회전 제어 시스템의 원리를 설명하기 위한 도면이다.
이하, 본 발명의 기술 특징, 목적과 효과를 더 명확하게 하기 위하여, 도면을 참조하면서, 본 발명의 구체적인 실시방식을 상세하게 설명한다.
(제1실시예)
도1은, 본 발명의 제1실시예에 관한 얼굴 검출 추적 방법을 나타내는 플로우차트이다. 도2는, 본 발명의 제1실시예에 관한 얼굴 검출 추적 방법을 나타내는 다른 플로우차트이다. 도1에 나타내는 바와 같이, 얼굴 검출 추적 방법은, 스텝S11, 스텝S12, 스텝S13, 스텝S14를 포함한다.
스텝S11에 있어서, 이미지를 수집하고 이미지에 대하여 깊이 검출 처리를 행하여, 이미지의 각 화소점의 깊이값을 취득한다. 여기에서, 각 프레임 이미지는, I×J개의 화소점을 가진다. 이미지의 각 화소점(i, j)은, 제i행 제j열의 화소점을 나타낸다. 화소점(i, j)의 깊이값은, d(i, j)이다. 본 실시예에 있어서, 깊이 센서를 이용하여 수집된 이미지에 대하여 깊이 검출 처리를 행하여, 각 화소점(i, j)의 깊이값d(i, j)을 취득한다.
스텝S12에 있어서, 현재 프레임 이미지의 각 화소점(i, j)의 깊이값d(i, j)에 근거하여, 얼굴 후보영역을 결정한다. 여기에서, 상기 얼굴 후보영역은, 얼굴이 존재할 수 있는 영역이다. 더욱이, 얼굴 검출 방법에 의해, 얼굴 후보영역에 대하여 얼굴 검출을 행함으로써, 얼굴 검출의 정확도를 증가시키는데 유리하다. 구체적으로는, 스텝S12는, 스텝S121, 스텝S122, 스텝S123, 스텝S124를 포함한다.
스텝S121에 있어서, 현재 프레임 이미지의 각 화소점(i, j)의 깊이값d(i, j)에 근거하여, 각 화소점에 대응하는 검출 윈도우w1를 결정한다. 구체적으로, 현재 프레임 이미지의 각 화소점(i, j)의 깊이값d(i, j)에 근거하여, 각 화소점(i, j)에 대응하는 얼굴 폭s(i, j)을 결정한다. 더욱이, 각 화소점(i, j)을 중심으로 하고, 화소점(i, j)에 대응하는 얼굴 폭s(i, j)을 변의 길이로 하여, 정방형을 형성하는 검출 테두리를 화소점(i, j)에 대응하는 검출 윈도우w1로 한다. 그 중에서, 각 화소점(i, j)에 대응하는 얼굴 폭s(i, j)=깊이 센서의 초점 거리f×얼굴의 평균 폭
Figure pat00001
÷화소점의 깊이값d(i, j)이고, 즉,
Figure pat00002
이다.
스텝S122에 있어서, 검출 윈도우w1에 근거하여 검출 윈도우w1과 인접하는 인접 윈도우를 결정한다. 인접 윈도우는, 검출 윈도우w1의 왼쪽에 설치된 왼쪽 윈도우w2와, 검출 윈도우w1의 오른쪽에 설치된 오른쪽 윈도우w3과, 검출 윈도우w1의 위쪽에 설치된 위쪽 윈도우w4를 포함한다. 구체적으로, 스텝S122에서는, 도3에 도시된 바와 같이, 검출 윈도우w1의 왼쪽, 오른쪽과 위쪽은, 검출 윈도우w1를 둘러싸는 왼쪽 윈도우w2, 오른쪽 윈도우w3, 위쪽 윈도우w4를 각각 결정한다. 그리고, 왼쪽 윈도우w2, 오른쪽 윈도우w3, 위쪽 윈도우w4와 검출 윈도우w1의 간격은 제1소정폭이다. 본 실시예에 있어서, 제1소정폭이 1/4얼굴 폭s(i, j)일 경우, 1/4얼굴 폭s(i, j)은, 얼굴 후보영역과 비 얼굴 후보영역의 경계이다. 왼쪽 윈도우w2와 오른쪽 윈도우w3은 한쪽이 1/2얼굴 폭s(i, j)이고, 다른 쪽이 5/4 얼굴 폭s(i, j)인 사각형이다. 왼쪽 윈도우w2의 아래쪽 및 오른쪽 윈도우w3의 아래쪽과 검출 윈도우w1의 아래쪽은 일치하다. 위쪽 윈도우w4는, 한쪽이 1/2 얼굴 폭s(i, j)이고, 다른 쪽이 5/2 얼굴 폭s(i, j)인 사각형이다. 위쪽 윈도우w4의 왼쪽과 왼쪽 윈도우w2의 왼쪽이 일치하다. 위쪽 윈도우w4의 오른쪽과 오른쪽 윈도우w3의 오른쪽이 일치하다. 본 실시예에서, 검출 윈도우w1과 인접 윈도우(왼쪽 윈도우w2, 오른쪽 윈도우w3과 위쪽 윈도우w4를 포함)의 각 변의 길이는 경험에 의한 값이고, 얼굴 후보영역의 마스크 조건m(i, j)과 관련된다.
스텝S123에 있어서, 검출 윈도우w1과 인접 윈도우가 얼굴 후보영역의 마스크 조건m(i, j)을 만족시키는지 아닌지를 판단한다. 인접 윈도우는, 왼쪽 윈도우w2, 오른쪽 윈도우w3, 위쪽 윈도우w4를 포함한다. 얼굴 후보영역의 마스크 조건m(i, j)는, 검출 윈도우w1의 평균 깊이값μw1(i, j)과 화소점의 깊이값d(i, j)의 차의 절대치가 제1한계값τ1보다 작고, 또한 인접 윈도우의 평균 깊이값(왼쪽 윈도우의 평균 깊이값μw2(i, j), 오른쪽 윈도우의 평균 깊이값μw3(i, j), 위쪽 윈도우의 평균 깊이값μw4(i, j)를 포함)과 화소점의 깊이값d(i, j)의 차의 절대치가 제2한계값τ2보다 작다. 그 중에서, 제1한계값τ1은, 제2한계값τ2보다 작다. 만약,
Figure pat00003
, 또한
Figure pat00004
,
Figure pat00005
,
Figure pat00006
경우, 얼굴 후보영역의 마스크 조건m(i, j)는 1이고, 검출 윈도우w1이 존재하는 화소점은 얼굴 후보영역으로 된다. 반대일 경우에는, 얼굴 후보영역의 마스크 조건m(i, j)는 0이고, 검출 윈도우w1이 존재하는 화소점은 얼굴 후보영역이 아니다. 본 실시예에서는, 제1한계값τ1이 100mm이고, 제2한계값τ2가 200mm이다.
검출 윈도우의 평균 깊이값=검출 윈도우w1내의 모든 화소점의 깊이값d(i, j)과 대응하는 화소점의 유효 깊이 측정값V(i, j)의 곱셈의 합에서, 모든 화소점의 유효 깊이 측정값V(i, j)의 합과 상수ε의 합을 나눗셈한 것이다.
인접 윈도우의 평균 깊이값=인접 윈도우내의 모든 화소점의 깊이값d(i, j)과 대응하는 화소점의 유효 깊이 측정값V(i, j)의 곱셈의 합에서, 모든 화소점의 유효 깊이 측정값V(i, j)의 합과 상수ε의 합을 나눗셈한 것이다. 여기에서, 화소점의 유효 깊이 측정값은 0 또는 1이고, 상수는 0이 아니다. 한편, 검출 윈도우w1, 왼쪽 윈도우w2, 오른쪽 윈도우w3과 위쪽 윈도우w4의 평균 깊이값은,
Figure pat00007
에 의해 계산된다.
여기에서, ε은, 나눗셈 값이 0이 되는 것을 피하기 위하여 상수이다.
구체적으로, 화소점의 유효 깊이 측정값은, 아래의 스텝에 의해 결정된다. 먼저, 화소점의 깊이값d(i, j)이 0보다 크고 또한 제3한계값T보다 작은지 아닌지를 판단한다. 만약 “Yes”라고 판단했을 경우, 화소점의 유효 깊이 측정값은 1이다. “아니오”라고 판단했을 경우, 화소점의 유효 깊이 측정값은 0이 된다. 여기에서, 제3한계값T=깊이 센서의 초점 거리f×얼굴의 평균 폭
Figure pat00008
÷최소 얼굴 폭
Figure pat00009
에 의하여 계산된 값이다. 한편, 화소점의 깊이값d(i, j)가 제3한계값T보다 클 경우에는, 상기 화소점의 검출 윈도우s(i, j)의 크기는 최소 얼굴 폭
Figure pat00010
보다 작고, 얼굴 검출시에 상기 검출 윈도우s(i, j)를 식별할 수 없다. 본 실시예에서, 최소 얼굴 폭
Figure pat00011
을 20pixel로, T를 4. 5m로 설정한다.
스텝S124에 있어서, 얼굴 후보영역의 마스크 조건을 만족시킬 경우, 검출 윈도우w1가 얼굴 후보영역으로 된다. 즉, 검출 윈도우w1내의 각 화소점의 깊이값d(i, j)는 가까운 값이고, 왼쪽 윈도우w2, 오른쪽 윈도우w3, 위쪽 윈도우w4의 각 화소점의 깊이값d(i, j)과 검출 윈도우w1의 각 화소점의 깊이값d(i, j)은 차가 크기 때문에, 검출 윈도우w1와 인접 윈도우가 얼굴 후보영역의 마스크 조건m(i, j)을 만족시킬 경우, 검출 윈도우w1을 얼굴 후보영역으로 인식한다.
스텝S13에 있어서, 얼굴 후보영역에 대하여 얼굴 검출을 행하여, 현재 프레임 이미지의 얼굴 테두리를 결정한다. 본 실시예에서, Viola-Jones 얼굴 검출 산출법에 의해, 수집된 얼굴 후보영역에 대하여 얼굴 검출을 행한다. Viola-Jones산출법에서는, 적분이미지를 이용하여 이미지의 특정값을 추출함으로써, 얼굴 검출의 속도를 일정한 정도로 빠르게 할 수 있다. 더욱이, Viola-Jones산출법은 Adaboost분류기의 특징을 이용하여 특징을 선별하고, 가장 유용한 특징을 보류하고, 검출시의 연산의 복잡함을 줄임으로써, 얼굴 검출의 속도를 빠르게 할 수 있다. Adaboost분류기는, Viola-Jones산출법에 의해 개선되어, 캐스캐이드(Cascade)형Adaboost분류기로 변환되기 때문에, 얼굴 검출의 정확도를 높일 수 있다. 한편, 얼굴 검출 추적 방법에서는, 본 실시예에 의한 Viola-Jones산출법에 의해, 수집된 얼굴 후보영역에 대하여 얼굴 검출을 행하여, 각 프레임 이미지의 얼굴 테두리를 결정해도 좋지만, 이것에 한정되지 않는다.
스텝S14에 있어서, 현재 프레임 이미지의 얼굴 테두리와 추적 얼굴 테두리에 근거하여, 현재 프레임 이미지의 추적 테두리를 결정하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다. 추적 얼굴 테두리는 얼굴 추적 산출법에 의해 현재 프레임 이미지로부터 추적된 얼굴 테두리이다. 한편, 스텝S14에서는, 그 전의 프레임 이미지로부터 추적된 얼굴 테두리를 그 후의 프레임 이미지의 추적 얼굴 테두리로 하기 때문에, 수집된 임의의 프레임 이미지에 얼굴이 존재하지 않을 때, 연속되는 여러개의 프레임 이미지의 얼굴 검출 결과가 연속되지 않는 것을 억제한다. 스텝S14는, 구체적으로 스텝S141, 스텝S142, 스텝S143, 스텝S144, 스텝S145를 포함한다.
스텝S141에 있어서, 현재 프레임 이미지가 제1프레임 이미지인지 아닌지를 판단한다.
스텝S142에 있어서, 현재 프레임 이미지가 제1프레임 이미지일 경우, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 확정하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다. 한편, 현재 프레임 이미지가 제1프레임 이미지일 경우, 추적 얼굴 테두리가 현재 프레임 이미지 중의 얼굴 테두리로 된다. 현재 프레임 이미지 중에 1개 또는 여러개의 얼굴 테두리가 존재할 수 있고, 각 얼굴 테두리의 면적은 그 폭과 높이의 곱셈이고, 이때, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 선택하여 현재 프레임 이미지의 추적 테두리로 하고, 또한 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다.
스텝S143에 있어서, 현재 프레임 이미지가 제1프레임 이미지가 아닐 경우, 그 전의 프레임 이미지 중 면적이 최대인 얼굴 테두리의 면적이 추적 얼굴 테두리의 면적 이상인지 아닌지를 판단한다. 여기에서, 추적 얼굴 테두리의 면적은 그 폭과 높이의 곱셈이다.
스텝S144에 있어서, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리의 면적이 추적 얼굴 테두리의 면적 이상일 경우, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리가 현재 프레임 이미지의 추적 테두리로 결정하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다.
스텝S145에 있어서, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리의 면적이 추적 얼굴 테두리의 면적보다 작을 경우, 추적 얼굴 테두리와 현재 프레임 이미지의 얼굴 테두리의 교차 영역을 계산하고, 교차 영역 내의 추적 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다. 추적 얼굴 테두리와 얼굴 후보영역에 교차 영역이 존재하지 않을 경우, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다. 이 때, 원래의 추적 얼굴 테두리는, 얼굴이 사라진다.
구체적으로는, 압축 추적 산출법(Compressive Tracking)에 의해, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다. 압축 추적 산출법은, 구체적으로 아래의 스텝을 포함한다.
먼저, 그 전의 프레임 이미지로부터, 복수의 목표 이미지와 배경 이미지를 수집한다. 목표 이미지와 배경 이미지를 멀티스케일 변환하여 멀티스케일 이미지 추출 특징을 얻는다. 다음에, 저밀도 측정 매트릭스를 이용하여 멀티스케일 이미지 추출 특징에 대하여 차원 축소 시켜서 차원 축소 특징을 얻는다. 차원 축소 특징에 의해 나이브 베이즈 분류기를 트레이닝하여, 현재 프레임 이미지의 목표 윈도우를 선별한다. 여기에서, 목표 이미지는 현재 프레임 이미지의 추적 테두리 내서 수집된 이미지고, 각 목표 이미지는 다르다. 따라서, 배경 이미지는, 현재 프레임 이미지의 추적 테두리 밖에서 수집된 이미지고, 각 배경 이미지는 다르다.
다음에, 현재 프레임 이미지의 목표 윈도우의 주변에 있는 복수의 스캔 윈도우의 목표 이미지를 스캔하고, 스캔 윈도우의 목표 이미지의 멀티스케일 이미지 추출 특징을 추출하여, 현재 프레임 이미지의 전체를 스캔하는 것을 억제한다. 다음에, 동일한 저밀도 측정 매트릭스를 이용하여 멀티스케일 이미지 추출 특징에 대하여 차원 축소시켜서 차원 축소 특징을 얻는다. 그리고, 현재 프레임 이미지로부터 트레이닝된 나이브 베이즈 분류기를 이용하여 차원 축소 특징을 분류하고, 분류된 것 중 분수가 최대인 윈도우를 그 다음의 프레임 이미지의 목표 윈도우로 인정하고, 현재의 프레임 이미지로부터 그 다음의 프레임 이미지를 추적하는 것을 구현한다. 현재 프레임 이미지의 목표 윈도우의 주변에서 복수의 스캔 윈도우의 목표 이미지를 수집하여, 멀티스케일 이미지 추출 특징을 추출하고, 다음에, 멀티스케일 이미지 추출 특징에 대하여 차원 축소시키고, 나이브 베이즈 분류기를 트레이닝하여 분류를 행하여, 현재의 프레임 이미지로부터 그 다음의 프레임 이미지를 추적하는 것을 구현한다. 그 결과, 얼굴 추적 산출법의 처리 범위를 축소시키고, 처리 속도를 빠르게 할 수 있다.
본 실시예에 관한 얼굴 검출 인증 방법에 있어서, 수집된 이미지에 대하여 깊이 검출 처리를 행하여, 이미지의 각 화소점의 깊이값을 결정하고, 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정한다. 다음에, 얼굴 후보영역 내에서 얼굴을 검출하여 현재 프레임 이미지의 얼굴 테두리를 결정함으로써, 틀리게 검출되는 비율을 감소시키고, 검출 정확도를 높이는데 유리하다. 그 다음, 현재 프레임 이미지의 얼굴 테두리에 근거하여, 현재 프레임 이미지의 추적 테두리를 결정하고, 추적 테두리 내의 얼굴을 추적하여, 검출된 얼굴의 연속성을 보증할 수 있다.
(제2실시예)
도4는, 본 실시예의 로봇 헤드의 회전 제어 방법을 나타내는 플로우차트이다. 로봇에는 이미지를 수집하기 위한 촬상장치와, 이미지의 깊이를 검출하기 위한 깊이 센서와 프로세서가 내장된다. 상기 로봇 헤드의 회전 제어 방법은, 주요하게 프로세서에 의해 실행되고, 스텝S21, 스텝S22, 스텝S23을 포함한다.
스텝S21에 있어서, 이미지의 중심영역을 미리 설정한다. 도5에 도시된 바와 같이, 현재 프레임 이미지의 좌측 아래쪽을 원점O로 하여 좌표계OXY를 정의하고, 상기 미리 설정된 이미지는 폭이 w, 높이가 h이다. 미리 설정된 이미지의 중심영역의 폭이 0. 1w, 높이가 0. 1h일 경우, 미리 설정된 이미지의 중심영역의 중심이 미리 설정된 이미지의 중심에 위치하기 때문에, 미리 설정된 이미지의 중심영역의 중심A의 좌표는(0. 5w, 0. 5h)이다. 따라서, 중심영역의 좌측 아래쪽 좌표가(0. 45w, 0. 45h), 좌측 위쪽 좌표가(0. 45w, 0. 55h), 우측 아래쪽 좌표가(0. 55w, 0. 45h), 우측 위쪽 좌표가(0. 55w, 0. 55h)이다. 미리 설정된 이미지의 중심영역의 경계범위 중 폭의 범위가(0. 45w~0. 55w), 높이의 범위가(0. 45h~0. 55h)이다.
스텝S22에 있어서, 제1실시예에 관한 얼굴 검출 추적 방법에 근거하여, 현재 프레임 이미지의 추적 테두리를 결정하고, 추적 테두리의 중심을 결정함으로써, 현재 프레임 이미지의 추적 테두리의 중심B의 좌표(x0, y0)를 실시간으로 읽는다. 한편, 제1실시예에 관한 얼굴 검출 추적 방법에 의해 얼굴을 추적할 경우, 먼저, 이미지의 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정하고, 다음에, 얼굴 후보영역에 대하여 얼굴을 검출함으로써, 틀리게 검출되는 비율을 감소시키고, 얼굴 검출의 정확도를 높이는데 유리하다. 현재 프레임 이미지의 얼굴 테두리에 근거하여, 현재 프레임 이미지의 추적 테두리를 결정하여 추적 테두리 내의 얼굴을 추적함으로써, 로봇 헤드의 회전과정이 원활하게 진행되고, 회전과정에서 중단현상이 나타나는 것을 억제한다.
스텝S23에 있어서, 로봇 헤드의 회전을 제어하여, 현재 프레임 이미지의 추적 테두리를 중심영역으로 이동시킨다. 수집된 현재 프레임 이미지의 추적 테두리가 이동하면, 로봇 헤드를 제어하여 회전 시켜서, 현재 프레임 이미지의 추적 테두리를 중심영역에 유지시키고, 얼굴의 이동에 따라서 로봇 헤드가 회전되는 것을 구현한다.
스텝S23에 있어서, 아래의 스텝에 의해 구현되어도 좋다. 추적 테두리의 중심에 대한 중심영역의 중심의 수평 편차도와 수직 편차도를 계산하고, 로봇 헤드를 제어하여 수평방향에 따라 수평 편차도만큼 회전 시키고 또한 수직방향에 따라 수직 편차도만큼 회전 시킴으로써, 중심영역의 중심과 추적 테두리의 중심을 중첩시킨다.
도 5에 있어서, 수평 편차도가∠ABD, 수직 편차도가∠ABC이고, A(0. 5w, 0. 5h), B(x0, y0)일 경우,
Figure pat00012
,
Figure pat00013
,
Figure pat00014
이다. 코사인 법칙에 의해,
Figure pat00015
이기 때문에, 수평 편차도가
Figure pat00016
이다. 동일한 이유로,
Figure pat00017
때문에, 수직 편차도가
Figure pat00018
이다. 본 실시예에 있어서, 로봇 헤드를 제어하여 수평방향으로 수평 편차도∠ABD만큼 이동시키고, 로봇 헤드를 제어하여 수직방향으로 수직 편차도∠ABC만큼 이동시키면, 로봇에 의해 수집된 현재 프레임 이미지의 추적 테두리의 중심B와 중심영역의 중심A가 중첩되어, 로봇 헤드가 검출된 얼굴의 이동에 따라 회전하고, 로봇의 움직임이 더 활발해진다.
스텝S23에 있어서, 다음의 스텝에 의해 구현되어도 좋다. 로봇 헤드를 제어하여 수평방향과 수직방향에 따라 회전시켜서, 추적 테두리의 중심을 중심영역의 경계범위 내에 위치시킨다. 로봇은 현재 프레임 이미지의 추적 테두리의 중심B의 좌표(x0, y0)를 실시간으로 읽고, x0과 중심영역의 경계범위의 폭 범위(0. 45w~0. 55w)를 비교하고, y0과 중심영역의 경계범위의 높이 범위(0. 45h~0. 55h)를 비교한다. x0<0. 45w일 경우, 로봇 헤드를 제어하여 왼쪽으로 회전 시킨다. x0>0. 55w일 경우, 로봇 헤드를 제어하여 오른쪽으로 회전 시킨다. y0<0. 45h일 경우, 로봇 헤드를 제어하여 아래로 머리를 숙이게 한다. y0>0. 55h일 경우, 로봇 헤드를 제어하여 위쪽으로 머리를 들게 한다. 추적 얼굴이 이미지의 중심영역에 있을 경우, 로봇 헤드는 움직이지 않은 상태를 유지한다. 이 방법에 의하면, 로봇 헤드가 검출된 얼굴의 이동에 따라 회전하는 과정이 간단해지고, 계산량이 적어지고, 제어 속도가 빠르다.
본 실시예에 관한 로봇 헤드의 회전 제어 방법에 있어서, 촬상장치를 내장하여 이미지를 수집하고, 또한 이미지의 중심영역을 미리 설정하고, 얼굴 검출 추적 방법에 의해 현재 프레임 이미지의 추적 테두리를 결정하고, 로봇 헤드를 제어하여 회전 시킴으로써, 추적 테두리를 중심영역으로 이동시킨다. 더욱이, 상기 로봇 헤드의 회전 제어 방법은, 현재 프레임 이미지의 추적 테두리와 이미지의 중심영역의 위치에 근거하여, 로봇을 제어하여 좌우측으로 회전시키거나 상하측으로 회전시킴으로써, 로봇의 움직임이 더 활발한 형상으로 된다. 얼굴 검출 추적 방법에 의해 현재 프레임 이미지의 추적 테두리를 결정함으로써, 로봇 헤드의 회전과정이 원활하게 진행되고, 회전과정에서 중단현상이 나타나는 것을 억제한다.
(제3실시예)
도6은, 본 발명의 제3실시예에 관한 얼굴 검출 추적 장치(1)의 원리를 설명하기 위한 도면이다. 도6에 도시된 바와 같이, 상기 얼굴 검출 추적 장치(1)는, 깊이 검출 처리 모듈(10)과, 얼굴 후보영역 결정 모듈(20)과, 얼굴 테두리 결정 모듈(30)과, 얼굴 추적 모듈(40)을 포함한다.
깊이 검출 처리 모듈(10)은, 이미지를 수집하고 또한 이미지의 깊이 검출 처리를 행하여, 이미지의 각 화소점의 깊이값을 취득한다. 각 프레임 이미지는, I×J개의 화소점으로 형성되고, 이미지의 각 화소점(i, j)은, 제i행 제j열의 화소점인 것을 나타내고, 화소점(i, j)의 깊이값은, d(i, j)이다. 본 실시예에 있어서, 깊이 센서를 이용하여 수집된 이미지에 대하여 깊이 검출 처리를 행하여, 각 화소점(i, j)의 깊이값d(i, j)을 취득한다.
얼굴 후보영역 결정 모듈(20)은, 현재 프레임 이미지의 각 화소점(i, j)의 깊이값d(i, j)에 근거하여, 얼굴 후보영역을 결정한다. 얼굴 후보영역은, 얼굴이 존재할 가능성이 있는 영역이고, 더욱이, 얼굴 검출 방법을 통하여, 얼굴 후보영역에 대하여 얼굴 검출을 행하기 때문에, 얼굴 검출의 정확도를 증가시키는데 유리하다. 얼굴 후보영역 결정 모듈(20)은, 검출 윈도우 결정 서브 모듈(21)과, 인접 윈도우 결정 서브 모듈(22)과, 마스크 조건 판단 서브 모듈(23)과, 후보영역 결정 서브 모듈(24)을 포함한다.
검출 윈도우 결정 서브 모듈(21)은, 현재 프레임 이미지의 각 화소점(i, j)의 깊이값d(i, j)에 근거하여, 각 화소점에 대응하는 검출 윈도우w1를 결정한다. 구체적으로는, 현재 프레임 이미지의 각 화소점(i, j)의 깊이값d(i, j)에 근거하여, 각 화소점(i, j)에 대응하는 얼굴 폭s(i, j)을 결정한다. 더욱이, 각 화소점(i, j)을 중심으로써, 화소점(i, j)에 대응하는 얼굴 폭s(i, j)을 변의 길이로 하고, 정방형으로 형성된 검출 테두리를 화소점(i, j)에 대응하는 검출 윈도우w1로 한다. 한편, 각 화소점(i, j)에 대응하는 얼굴 폭s(i, j)=깊이 센서의 초점 거리f×얼굴의 평균 폭
Figure pat00019
÷화소점의 깊이값d(i, j)이고, 즉,
Figure pat00020
이다.
인접 윈도우 결정 서브 모듈(22)은, 검출 윈도우w1에 근거하여 검출 윈도우w1와 인접하는 인접 윈도우를 결정한다. 인접 윈도우는, 검출 윈도우w1의 왼쪽에 설치된 왼쪽 윈도우w2와, 검출 윈도우w1의 오른쪽에 설치된 오른쪽 윈도우w3와, 검출 윈도우w1의 위쪽에 설정된 위쪽 윈도우w4를 포함한다. 도3에 도시된 바와 같이, 검출 윈도우w1의 왼쪽, 오른쪽과 위쪽은, 검출 윈도우w1를 둘러싸는 왼쪽 윈도우w2, 오른쪽 윈도우w3, 위쪽 윈도우w4를 각각 결정하고, 왼쪽 윈도우w2, 오른쪽 윈도우w3, 위쪽 윈도우w4와 검출 윈도우w1의 사이의 간격은, 1/N얼굴 폭s(i, j)이다. 여기에서, N는 1보다 큰 정수이다.
본 실시예에 있어서, 왼쪽 윈도우w2, 오른쪽 윈도우w3, 위쪽 윈도우w4와 검출 윈도우w1의 사이의 간격이 1/4얼굴 폭s(i, j)일 경우, 1/4얼굴 폭s(i, j)은, 얼굴 후보영역과 비얼굴 후보영역의 경계로 된다. 왼쪽 윈도우w2와 오른쪽 윈도우w3은, 한쪽 변이 1/2얼굴 폭s(i, j)이고, 다른 쪽 변이 5/4의 얼굴 폭s(i, j)인 사각형이고, 왼쪽 윈도우w2의 아래쪽 변과 오른쪽 윈도우w3의 아래쪽 변은 검출 윈도우w1의 아래쪽 변과 일치하다. 위쪽 윈도우w4는, 한쪽 변이 1/2얼굴 폭s(i, j)이고, 다른 쪽 변이 5/2얼굴 폭s(i, j)인 사각형이다. 위쪽 윈도우w4의 왼쪽 변과 왼쪽 윈도우w2의 왼쪽 변이 일치하고, 위쪽 윈도우w4의 오른쪽 변과 오른쪽 윈도우w3의 오른쪽 변이 일치하다. 본 실시예에 있어서, 검출 윈도우w1과 인접 윈도우(왼쪽 윈도우w2, 오른쪽 윈도우w3과 위쪽 윈도우w4를 포함)의 각 변의 길이는 경험에 의한 값을 채용하고, 얼굴 후보영역의 마스크 조건m(i, j)과 관련된다.
마스크 조건 판단 서브 모듈(23)은, 검출 윈도우w1과 인접 윈도우가 얼굴 후보영역의 마스크 조건m(i, j)을 만족시키는지 아닌지를 판단한다. 인접 윈도우는, 왼쪽 윈도우w2, 오른쪽 윈도우w3와 위쪽 윈도우w4를 포함한다. 구체적으로, 얼굴 후보영역의 마스크 조건m(i, j)는, 검출 윈도우w1의 평균 깊이값μw1(i, j)과 화소점의 깊이값d(i, j)의 차의 절대치가 제1한계값τ1보다 작고, 인접 윈도우의 평균 깊이값(왼쪽 윈도우의 평균 깊이값μw2(i, j), 오른쪽 윈도우의 평균 깊이값μw3(i, j), 위쪽 윈도우의 평균 깊이값μw4(i, j)을 포함)과 화소점의 깊이값d(i, j)의 차의 절대치가 제2한계값τ2보다 작다. 한편, 제1한계값τ1은, 제2한계값τ2보다 작다. 만약,
Figure pat00021
, 또한
Figure pat00022
,
Figure pat00023
,
Figure pat00024
경우, 얼굴 후보영역의 마스크 조건 m(i, j)는 1이고, 검출 윈도우w1에 위치하는 화소점은 얼굴 후보영역이다. 반대일 경우, 얼굴 후보영역의 마스크 조건m(i, j)는 0이고, 검출 윈도우w1에 위치하는 화소점은 얼굴 후보영역이 아니다. 본 실시예에서는, 제1한계값τ1이 100mm이고, 제2한계값τ2가 200mm이다.
검출 윈도우의 평균 깊이값은, 검출 윈도우w1내의 모든 화소점의 깊이값d(i, j)과 대응하는 화소점의 유효 깊이 측정값V(i, j)의 곱셈의 합에서, 모든 화소점의 유효 깊이 측정값V(i, j)의 합계와 상수ε의 합을 나눗셈한 값이다. 인접 윈도우의 평균 깊이값은, 인접 윈도내의 모든 화소점의 깊이값d(i, j)과 대응하는 화소점의 유효 깊이 측정값V(i, j)의 곱셈 합에서, 모든 화소점의 유효 깊이 측정값V(i, j)의 합계와 상수ε의 합을 나눗셈한 값이다. 여기에서, 화소점의 유효 깊이 측정값이 0 또는 1이고, 상수가 0이 아니다. 한편, 검출 윈도우w1, 왼쪽 윈도우w2, 오른쪽 윈도우w3와 위쪽 윈도우w4의 평균 깊이값은, 아래의 식
Figure pat00025
에 의해 계산한다. 여기에서, ε은, 나눗셈 값이 0이 되는 것을 피하기 위하여 상수이다.
구체적으로, 화소점의 유효 깊이 측정값은, 아래의 스텝에 의해 결정된다. 화소점의 깊이값d(i, j)이 0보다 크고 또한 제3한계값T보다 작은지 아닌지를 판단한다. 만약"Yes"이면, 화소점의 유효 깊이 측정값은 1이다. 만약"No"이면, 화소점의 유효 깊이 측정값은 0이 된다. 여기에서, 제3한계값T=깊이 센서의 초점 거리f×얼굴의 평균 폭
Figure pat00026
÷최소 얼굴 폭
Figure pat00027
이다. 만약 화소점의 깊이값d(i, j)이 제3한계값T보다 클 경우, 이 화소점의 검출 윈도우s(i, j)의 크기는 최소 얼굴 폭
Figure pat00028
보다 작고, 얼굴 검출시에 검출 윈도우s(i, j)를 식별할 수 없다. 본 실시예에서는, 최소 얼굴 폭
Figure pat00029
를 20pixel, T를 4. 5m로 설정한다.
후보영역 결정 서브 모듈(24)은, 검출 윈도우w1와 인접 윈도우가 얼굴 후보영역의 마스크 조건m(i, j)을 만족시킬 경우, 검출 윈도우w1를 얼굴 후보영역으로 결정한다. 한편, 검출 윈도우w1내의 각 화소점의 깊이값d(i, j)은 가까운 값이고, 왼쪽 윈도우w2, 오른쪽 윈도우w3, 위쪽 윈도우w4의 각 화소점의 깊이값d(i, j)과 검출 윈도우w1의 각 화소점의 깊이값d(i, j)의 차는 크다. 때문에, 검출 윈도우w1과 인접 윈도우가 얼굴 후보영역의 마스크 조건m(i, j)을 만족시킬 경우, 검출 윈도우w1가 얼굴 후보영역이라고 인식된다.
얼굴 테두리 결정 모듈(30)은, 얼굴 후보영역에 대하여 얼굴 검출을 행하여, 현재 프레임 이미지의 얼굴 테두리를 결정한다. 본 실시예에서, Viola-Jones얼굴 검출 산출법에 의하여 수집된 얼굴 후보영역에 대하여 얼굴 검출을 행한다. Viola-Jones산출법은, 적산이미지를 이용하여 이미지의 특징값을 추출하고, 얼굴 검출의 속도를 어느 정도로 빠르게 할 수 있다. 더욱이, Viola-Jones산출법은 Adaboost분류기의 특징을 이용하여 특징을 선별하여, 가장 유용한 특징을 보류하고, 검출시에 연산이 복잡해지는 것을 감소시킴으로써, 얼굴 검출 속도를 더 빠르게 할 수 있다. Adaboost분류기는, Viola-Jones산출법에 의해 개선되어, 캐스캐이드(Cascade)형 Adaboost분류기로 변환되기 때문에, 얼굴 검출의 정확도를 높일 수 있다. 한편, 얼굴 검출 추적 방법은, 본 실시예의 Viola-Jones산출법에 의해, 수집된 얼굴 후보영역에 대하여 얼굴 검출을 행하고, 각 프레임 이미지의 얼굴 테두리를 결정해도 좋지만, 이것에 한정되지 않는다.
얼굴 추적 모듈(40)은, 현재 프레임 이미지의 얼굴 테두리와 추적 얼굴 테두리에 근거하여, 현재 프레임 이미지의 추적 테두리를 결정하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다. 추적 얼굴 테두리는, 얼굴 추적 산출법에 의해 현재 프레임 이미지로부터 추적된 얼굴 테두리이다. 구체적으로, 얼굴 추적 모듈(40)은, 그 전의 프레임 이미지 중 추적된 얼굴 테두리를 그 다음의 프레임 이미지의 추적 얼굴 테두리로 하기 때문에, 수집된 임의의 프레임 이미지 중 얼굴이 존재하지 않을 때, 연속되는 몇 장의 프레임 이미지의 얼굴 검출 결과가 연속되지 않은 것을 억제한다. 얼굴 추적 모듈(40)은, 판단 모듈(41)과, 제1판단 처리 모듈(42)과, 제2판단 처리 모듈(43)과, 제1추적 테두리 결정 모듈(44)과, 제2추적 테두리 결정 모듈(45)을 포함한다.
판단 모듈(41)은, 현재 프레임 이미지가 제1프레임 이미지인지 아닌지를 판단한다.
제1판단 처리 모듈(42)은, 현재 프레임 이미지가 제1프레임 이미지일 경우, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 결정하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다. 현재 프레임 이미지가 제1프레임 이미지일 경우, 추적 얼굴 테두리는 현재 프레임 이미지 중의 얼굴 테두리이다. 현재 프레임 이미지 중 1개 이상의 얼굴 테두리가 존재할 경우, 각 얼굴 테두리의 면적은 그 폭과 높이의 곱셈이고, 이때, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 선택하여 현재 프레임 이미지의 추적 테두리로 하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다.
제2판단 처리 모듈(43)은, 현재 프레임 이미지가 제1프레임 이미지가 아닐 경우, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리의 면적이 추적 얼굴 테두리의 면적 이상인지 아닌지를 판단한다. 여기에서, 추적 얼굴 테두리의 면적은, 그 폭과 높이의 곱셈이다.
제1추적 테두리 결정 모듈(44)은, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리의 면적이 추적 얼굴 테두리의 면적 이상일 경우, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 결정하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다.
제2추적 테두리 결정 모듈(45)은, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리의 면적이 추적 얼굴 테두리의 면적보다 작을 경우, 추적 얼굴 테두리와 현재 프레임 이미지의 얼굴 테두리의 교차 영역을 계산하고, 교차 영역 내의 추적 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다. 만약, 추적 얼굴 테두리와 얼굴 후보영역에 교차 영역이 존재하지 않을 경우, 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 하고, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다. 이 때, 원래의 추적 얼굴 테두리는, 사라진 얼굴로 된다.
구체적으로, 압축 추적 산출법(Compressive Tracking)에 의해, 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적한다. 압축 추적 산출법은, 구체적으로 아래의 스텝을 포함한다.
먼저, 그 전의 프레임 이미지로부터, 복수장의 목표 이미지와 배경 이미지를 수집한다. 목표 이미지와 배경 이미지를 멀티스케일 변환하여 멀티스케일 이미지 추출 특징을 얻는다. 저밀도 측정 매트릭스를 이용하여 멀티스케일 이미지 추출 특징에 대하여 차원 축소 시켜서 차원 축소 특징을 얻는다. 차원 축소 특징을 이용하여 나이브 베이즈 분류기를 트레이닝하여, 현재 프레임 이미지의 목표 윈도우를 선별한다. 여기에서, 목표 이미지는, 현재 프레임 이미지의 추적 테두리 내에서 수집된 이미지고, 각 목표 이미지는 다르다. 따라서, 배경 이미지는, 현재 프레임 이미지의 추적 테두리 밖에서 수집된 이미지고, 각 배경 이미지는 다르다.
현재 프레임 이미지의 목표 윈도우의 주변에 있는 복수의 스캔 윈도우의 목표 이미지를 스캔하고, 스캔 윈도우의 목표 이미지의 멀티스케일 이미지 추출 특징을 추출함으로써, 현재 프레임 이미지의 전체를 스캔하는 것을 억제한다. 동일한 저밀도 측정 매트릭스를 이용하여 멀티스케일 이미지 추출 특징에 대하여 차원 축소 시켜서 차원 축소 특징을 얻는다. 현재 프레임 이미지로부터 트레이닝된 나이브 베이즈 분류기를 이용하여 차원 축소 특징을 분류하고, 분류된 것 중 분수가 최대인 윈도우를 그 다음의 프레임 이미지의 목표 윈도우로 인정하여, 현재의 프레임 이미지로부터 그 다음의 프레임 이미지를 추적하는 것을 구현한다. 현재 프레임 이미지의 목표 윈도우의 주변에서 복수의 스캔 윈도우의 목표 이미지를 수집하여 멀티스케일 이미지 추출 특징을 추출하고, 그 다음에, 멀티스케일 이미지 추출 특징에 대하여 차원 축소 시키고, 나이브 베이즈 분류기를 트레이닝하여 분류함으로써, 현재의 프레임 이미지로부터 그 다음의 프레임 이미지를 추적하는 것을 구현한다. 그 결과, 얼굴 추적 산출법의 처리 범위를 축소시키고, 처리 속도를 빠르게 할 수 있다.
본 실시예에 관한 얼굴 검출 인증 장치(1)는, 깊이 검출 처리 모듈(10)에 의해, 수집된 이미지에 대하여 깊이 검출 처리를 행하여, 이미지의 각 화소점의 깊이값을 결정한다. 얼굴 후보영역 결정 모듈(20)에 의해, 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정한다. 얼굴 테두리 결정 모듈(30)에 의해, 얼굴 후보영역 내에서 얼굴을 검출하여 현재 프레임 이미지의 얼굴 테두리를 결정함으로써, 틀리게 검출되는 비율을 저하시키고, 얼굴 검출의 정확도를 향상시키는데 유리하다. 마지막으로, 얼굴 추적 모듈(40)에 의해, 현재 프레임 이미지의 얼굴 테두리에 근거하여, 현재 프레임 이미지의 추적 테두리를 결정하고, 추적 테두리 내의 얼굴을 추적함으로써, 검출된 얼굴의 연속성을 보증할 수 있다.
(제4실시예)
도7은, 본 발명의 제4실시예에 관한 로봇의 회전 제어 시스템의 원리를 설명하기 위한 도면이다. 로봇에는, 이미지를 수집하기 위한 촬상장치와, 이미지의 깊이를 검출하기 위한 깊이 센서와 프로세서가 내장된다. 로봇의 회전 제어 시스템은, 중심영역 미리 설정 모듈(50)과, 얼굴 검출 추적 장치(1)와, 헤드 회전 제어 모듈(60)을 포함한다.
중심영역 미리 설정 모듈(50)은, 이미지의 중심영역을 미리 설정한다. 도5에 도시된 바와 같이, 현재 프레임 이미지의 좌측 아래쪽을 원점O로 하는 좌표계OXY를 정의하고, 미리 설정된 이미지의 폭을 w, 높이를 h로 한다. 미리 설정된 이미지의 중심영역의 폭이 0. 1w, 높이가 0. 1h일 경우, 미리 설정된 이미지의 중심영역의 중심이 미리 설정된 이미지의 중심에 위치하기 때문에, 미리 설정된 이미지의 중심영역의 중심A의 좌표는(0. 5w, 0. 5h)이다. 따라서, 중심영역의 좌측 아래쪽의 좌표는(0. 45w, 0. 45h)이고, 좌측 위쪽의 좌표는(0. 45w, 0. 55h)이고, 우측 아래쪽의 좌표는(0. 55w, 0. 45h)이고, 우측 위쪽의 좌표는(0. 55w, 0. 55h)이다. 미리 설정된 이미지의 중심영역의 경계범위에 있어서, 폭의 범위는(0. 45w~0. 55w)이고, 높이 범위는(0. 45h~0. 55h)이다.
얼굴 검출 추적 장치, 즉, 제3실시예에 관한 얼굴 검출 추적 장치는, 현재 프레임 이미지의 추적 테두리를 결정하고, 테두리의 중심을 결정하고, 현재 프레임 이미지의 추적 테두리의 중심B의 좌표(x0, y0)를 실시간으로 읽는다. 제1 실시예에 관한 얼굴 검출 추적 방법에 의해 얼굴을 추적할 경우, 먼저, 이미지의 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정하고, 그 다음, 얼굴 후보영역에 대하여 얼굴을 검출함으로써, 틀리게 검출되는 비율을 저감시키고, 얼굴 검출의 정확도를 높이는데 유리하다. 현재 프레임 이미지의 얼굴 테두리에 근거하여, 현재 프레임 이미지의 추적 테두리를 결정하여 추적 테두리 내의 얼굴을 추적함으로써, 로봇 헤드의 회전과정이 원활하게 진행되고, 회전과정에서 중단현상이 나타나는 것을 억제하는 것에 유리하다.
헤드 회전 제어 모듈(60)은, 로봇 헤드의 회전을 제어하여, 현재 프레임 이미지의 추적 테두리를 중심영역으로 이동시킨다. 수집된 현재 프레임 이미지의 추적 테두리가 이동하면, 로봇 헤드를 제어하여 회전시키기 때문에, 현재 프레임 이미지의 추적 테두리를 중심영역에 유지시키고, 얼굴의 이동에 따라 로봇 헤드가 회전되는 것을 구현할 수 있다.
헤드 회전 제어 모듈(60)은, 추적 테두리의 중심에 대한 중심영역의 중심의 수평 편차도와 수직 편차도를 계산하고, 로봇 헤드를 제어하여 수평방향에 따라 수평 편차도만큼 회전시키고 또한 수직방향에 따라 수직 편차도만큼 회전 시킴으로써, 중심영역의 중심과 추적 테두리의 중심을 중첩시킨다.
도 5에 있어서, 수평 편차도는 ∠ABD이고, 수직 편차도는 ∠ABC이고, 그 중에서, A(0. 5w, 0. 5h), B(x0, y0)일 경우,
Figure pat00030
,
Figure pat00031
,
Figure pat00032
이다. 코사인 법칙에 의해,
Figure pat00033
이기 때문에, 수평 편차도는
Figure pat00034
이다. 이와 같이,
Figure pat00035
이기 때문에, 수직 편차도는
Figure pat00036
이다. 본 실시예에 있어서, 로봇 헤드를 제어하여 수평방향으로 수평 편차도∠ABD만금 이동시키고, 또한 수직방향으로 수직 편차도∠ABC만큼 이동시키면, 로봇에 의해 수집된 현재 프레임 이미지의 추적 테두리의 중심B와 중심영역의 중심A가 중첩된다. 따라서, 로봇 헤드는 검출된 얼굴의 이동에 따라 회전 하고, 로봇의 움직임이 더 활발해진다.
헤드 회전 제어 모듈(60)은, 로봇 헤드를 제어하여 수평방향과 수직방향에 따라 회전 시키기 때문에, 추적 테두리의 중심이 중심영역의 경계범위 내에 위치한다. 로봇은, 현재 프레임 이미지의 추적 테두리의 중심B의 좌표(x0, y0)를 실시간으로 읽어, x0과 중심영역의 경계범위의 폭 범위(0. 45w~0. 55w)를 비교한다. y0과 중심영역의 경계범위의 높이 범위(0. 45h~0. 55h)를 비교한다. x0<0. 45w일 경우, 로봇 헤드를 제어하여 왼쪽으로 회전시킨다. x0>0. 55w일 경우, 로봇 헤드를 제어하여 오른쪽으로 회전시킨다. y0<0. 45h일 경우, 로봇 헤드를 제어하여 머리를 아래로 숙이게 한다. y0>0. 55일 경우, 로봇 헤드를 제어하여 머리를 위쪽으로 들게 한다. 추적 얼굴이 이미지의 중심영역에 있을 경우, 로봇 헤드는 움직이지 않는 상태를 유지한다. 이 방법에 의하면, 로봇 헤드가 검출된 얼굴의 이동에 따라 회전하는 과정이 간단해지고, 계산량이 적어지고, 제어 속도가 빠르다.
본 실시예에 관한 로봇 헤드의 회전 제어 시스템에 있어서, 중심영역 미리 설정 모듈(50)에 내장된 촬상장치에 이미지를 수집하여 이미지의 중심영역을 미리 설정한다. 제3실시예에 관한 얼굴 검출 추적 장치(1)에 의해 현재 프레임 이미지의 추적 테두리를 결정한다. 그 다음, 헤드 회전 제어 모듈(60)에 의해 로봇 헤드를 회전시켜서 추적 테두리를 중심영역으로 이동시킨다. 이 로봇 헤드의 회전 제어 시스템은, 현재 프레임 이미지의 추적 테두리와 이미지의 중심영역의 위치에 근거하여, 로봇을 제어하여 좌우 또는 상하로 회전시키기 때문에, 로봇의 움직임이 더 활발해진다. 얼굴 검출 추적 장치에 의해 현재 프레임 이미지의 추적 테두리를 결정함으로써, 로봇 헤드의 회전과정이 원활하게 진행되고, 회전과정에서 중단현상이 나타나는 것을 억제한다.
본 발명은 상기의 구체적 실시 예를 통하여 설명되었지만, 이것은 본 발명을 한정하는 것이 아니고, 당업자라면 본 발명의 범위를 일탈하지 않는 전제하에서, 본 발명에 대하여 각종 변동과 동등한 대체를 할 수 있다는 것을 이해하여야 한다. 특정 정황이나 구체적인 상태에 관하여, 본 발명에 대하여 각종 수정을 할 수 있으나, 본 발명의 범위를 이탈하지 않는다. 때문에, 본 발명은, 상술한 공개된 구체적 실시예에 한정되지 않고, 본 발명의 특허청구의 범위 내에 속하는 모든 실시방식을 포함한다.
1: 얼굴 검출 추적 장치
10: 깊이 검출 처리 모듈
20: 얼굴 후보영역 결정 모듈
21: 검출 윈도우 결정 서브 모듈
22: 인접 윈도우 결정 서브 모듈
23: 마스크 조건 판단 서브 모듈
24: 후보영역 결정 서브 모듈
30: 얼굴 테두리 결정 모듈
40: 얼굴 추적 모듈
41: 판단 모듈
42: 제1판단 처리 모듈
43: 제2판단 처리 모듈
44: 제1추적 테두리 결정 모듈
45: 제2추적 테두리 결정 모듈
50: 중심영역 미리 설정 모듈
60: 헤드 회전 제어 모듈

Claims (14)

  1. 얼굴 검출 추적 방법에 있어서:
    이미지를 수집하여 상기 이미지에 대하여 깊이 검출 처리를 행하여, 상기 이미지의 각 화소점의 깊이값을 취득하는 스텝과;
    현재 프레임 이미지의 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정하는 스텝과;
    상기 얼굴 후보영역에 대하여 얼굴을 검증하여, 상기 현재 프레임 이미지의 얼굴 테두리를 결정하는 스텝과;
    상기 현재 프레임 이미지의 얼굴 테두리와 추적 얼굴 테두리에 근거하여, 상기 현재 프레임 이미지의 추적 테두리를 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝을 포함하는 것을 특징으로 하는 얼굴 검출 추적 방법.
  2. 제1항에 있어서,
    상기 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정하는 스텝은,
    상기 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여, 각 화소점에 대응하는 검출 윈도우를 결정하는 스텝과;
    상기 검출 윈도우에 근거하여 상기 검출 윈도우와 인접되는 인접 윈도우를 결정하는 스텝과;
    상기 검출 윈도우와 상기 인접 윈도우가 상기 얼굴 후보영역의 마스크 조건을 만족시키는지 아닌지를 판단하는 스텝과;
    마스크 조건을 만족시킬 경우, 상기 검출 윈도우를 상기 얼굴 후보영역으로 하는 스텝을 포함하는 얼굴 검출 추적 방법.
  3. 제2항에 있어서,
    상기 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여, 각 화소점에 대응하는 검출 윈도우를 결정하는 스텝은,
    상기 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여, 각 화소점에 대응하는 얼굴 폭을 결정하는 스텝과;
    각 화소점을 중심으로써, 상기 화소점에 대응하는 얼굴 폭을 변의 길이로 하여 형성되는 정방형의 검출 테두리를, 상기 화소점에 대응하는 검출 윈도우로 하는 스텝을 포함하는 것을 특징으로 하는 얼굴 검출 추적 방법.
  4. 제3항에 있어서,
    상기 검출 윈도우에 근거하여, 상기 검출 윈도우와 인접되는 인접 윈도우를 결정하는 스텝은,
    상기 검출 윈도우의 왼쪽, 오른쪽과 위쪽에 있어서, 상기 검출 윈도우를 둘러싸는 왼쪽 윈도우, 오른쪽 윈도우와 위쪽 윈도우를 각각 결정하는 스텝을 포함하고;
    상기 왼쪽 윈도우, 오른쪽 윈도우와 위쪽 윈도우는, 상기 검출 윈도우와 제1프리셋 폭을 가지고 설정되는 것을 특징으로 하는 얼굴 검출 추적 방법.
  5. 제4항에 있어서,
    상기 얼굴 후보영역의 마스크 조건은, 상기 검출 윈도우의 평균 깊이값과 화소점의 깊이값의 차의 절대치는 제1한계값보다 작고, 또한 상기 인접 윈도우의 평균 깊이값과 화소점의 깊이값의 차의 절대치는 제2한계값보다 작은 조건을 포함하고,
    상기 제1한계값은 상기 제2한계값보다 작은 것을 특징으로 하는 얼굴 검출 추적 방법.
  6. 제1항 내지 제5항의 어느 한 항에 있어서,
    상기 현재 프레임 이미지의 얼굴 테두리와 추적 얼굴 테두리에 근거하여, 상기 현재 프레임 이미지의 추적 테두리를 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝은,
    상기 현재 프레임 이미지가 제1프레임 이미지인지 아닌지를 판단하는 스텝과;
    상기 현재 프레임 이미지가 제1프레임 이미지이라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 상기 현재 프레임 이미지의 추적 테두리라고 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝과;
    상기 현재 프레임 이미지가 제1프레임 이미지가 아니라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리가 상기 추적 얼굴 테두리의 면적 이상인지 아닌지를 판단하는 스텝과;
    "Yes"일 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 상기 현재 프레임 이미지의 추적 테두리로 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝과;
    "No"일 경우, 상기 추적 얼굴 테두리와 상기 현재 프레임 이미지의 얼굴 테두리의 교차 영역을 계산하고, 상기 교차 영역 내의 추적 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝을 포함하는 것을 특징으로 하는 얼굴 검출 추적 방법.
  7. 제6항에 있어서,
    상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하는 스텝은,
    전의 프레임 이미지로부터 복수의 목표 이미지와 배경 이미지를 수집하고, 상기 목표 이미지와 상기 배경 이미지에 대하여 멀티스케일로 변환하여 멀티스케일 이미지 추출 특징을 얻고, 저밀도 측정 매트릭스를 이용하여 상기 멀티스케일 이미지의 추출 특징에 대하여 차원 축소시켜서 차원 축소 특징을 얻고, 상기 차원 축소 특징에 의해 나이브 베이즈 분류기를 트레이닝하는 스텝과;
    상기 현재 프레임 이미지의 목표 윈도우의 주변에 있는 복수의 스캔 윈도우의 목표 이미지를 스캔하고, 상기 목표 이미지의 멀티스케일 이미지의 추출 특징을 추출하고, 상기 저밀도 측정 매트릭스를 이용하여 상기 멀티스케일 이미지 추출 특징에 대하여 차원 축소시켜서 차원 축소 특징을 얻고, 상기 나이브 베이즈 분류기를 이용하여 상기 차원 축소 특징을 분류하고, 분류된 것 중 분수가 최대인 윈도우를 현재 프레임 이미지의 목표 윈도우로 하는 스텝을 포함하는 것을 특징으로 얼굴 검출 추적 방법.
  8. 로봇 헤드의 회전 제어 방법에 있어서:
    이미지의 중심영역을 미리 설정하는 스텝과;
    제1항 내지 제7항의 어느 한 항에 기재된 얼굴 검출 추적 방법에 의해 상기 현재 프레임 이미지의 추적 테두리를 결정하는 스텝과;
    로봇 헤드의 회전을 제어하여, 상기 현재 프레임 이미지의 추적 테두리를 상기 중심영역으로 이동시키는 스텝을 포함하는 것을 특징으로 하는 로봇 헤드의 회전 제어 방법.
  9. 제8항에 있어서,
    로봇 헤드의 회전을 제어하여, 상기 현재 프레임 이미지의 추적 테두리를 상기 중심영역으로 이동시키는 스텝은,
    상기 추적 테두리의 중심에 대한 상기 중심영역의 중심의 수평 편차도 및 수직 편차도를 계산하는 스텝과;
    로봇 헤드를 제어하여 수평방향에 따라 수평 편차도만큼 회전시키고 또한 수직방향에 따라 수직 편차도만큼 회전 시킴으로써, 상기 중심영역의 중심과 상기 추적 테두리의 중심을 중첩시키는 스텝을 포함하는 것을 특징으로 하는 헤드의 회전 제어 방법.
  10. 제8항에 있어서,
    상기 로봇 헤드의 회전을 제어하여, 상기 현재 프레임 이미지의 추적 테두리를 상기 중심영역으로 이동시키는 스텝은,
    로봇 헤드를 제어하여 수평방향과 수직방향에 따라 회전 시킴으로써, 추적 테두리의 중심을 상기 중심영역의 경계범위 내에 위치시키는 스텝을 포함하는 것을 특징으로 하는 로봇 헤드의 회전 제어 방법.
  11. 얼굴 검출 추적 장치에 있어서:
    이미지를 수집하여 상기 이미지의 깊이 검출 처리를 행하고, 상기 이미지 중 각 화소점의 깊이값을 취득하기 위한 깊이 검출 처리 모듈과;
    현재 프레임 이미지의 각 화소점의 깊이값에 근거하여 얼굴 후보영역을 결정하기 위한 얼굴 후보영역 결정 모듈과;
    상기 얼굴 후보영역에 대하여 얼굴을 검증을 행하고, 상기 현재 프레임 이미지의 얼굴 테두리를 결정하기 위한 얼굴 테두리 결정 모듈과;
    상기 현재 프레임 이미지의 얼굴 테두리와 추적 얼굴 테두리에 근거하여, 상기 현재 프레임 이미지의 추적 테두리를 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하기 위한 얼굴 추적 모듈을 포함하는 것을 특징으로 하는 얼굴 검출 추적 장치.
  12. 제11항에 있어서,
    상기 얼굴 후보영역 결정 모듈은,
    상기 현재 프레임 이미지의 각 화소점의 깊이값에 근거하여, 각 화소점에 대응하는 검출 윈도우를 결정하기 위한 검출 윈도우 결정 서브 모듈과;
    상기 검출 윈도우에 근거하여 상기 검출 윈도우와 인접하는 인접 윈도우를 결정하기 위한 인접 윈도우 결정 서브 모듈과;
    상기 검출 윈도우와 상기 인접 윈도우가 상기 얼굴 후보영역의 마스크 조건을 만족시키는지 아닌지를 판단하기 위한 마스크 조건 판단 서브 모듈과;
    상기 검출 윈도우와 상기 인접 윈도우가 상기 얼굴 후보영역의 마스크 조건을 만족할 경우, 상기 검출 윈도우를 상기 얼굴 후보영역으로 결정하는 후보영역 결정 서브 모듈을 포함하는 것을 특징으로 하는 얼굴 검출 추적 장치.
  13. 제11항에 있어서,
    상기 얼굴 추적 모듈은,
    상기 현재 프레임 이미지가 제1프레임 이미지인지 아닌지를 판단하기 위한 판단 모듈과;
    상기 현재 프레임 이미지가 제1프레임 이미지이라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 상기 현재 프레임 이미지의 추적 테두리로 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하기 위한 제1판단 처리 모듈과;
    상기 현재 프레임 이미지가 제1프레임 이미지가 아니라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리가 상기 추적 얼굴 테두리의 면적 이상인지 아닌지를 판단하기 위한 제2판단 처리 모듈과;
    상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리가 상기 추적 얼굴 테두리의 면적 이상이라고 판단했을 경우, 상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리를 상기 현재 프레임 이미지의 추적 테두리로 결정하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하기 위한 제1추적 테두리 결정 모듈과;
    상기 현재 프레임 이미지 중 면적이 최대인 얼굴 테두리가 상기 추적 얼굴 테두리의 면적보다 작다고 판단했을 경우, 상기 추적 얼굴 테두리와 상기 현재 프레임 이미지의 얼굴 테두리의 교차 영역을 계산하고, 상기 교차 영역 내의 추적 얼굴 테두리를 현재 프레임 이미지의 추적 테두리로 하고, 상기 현재 프레임 이미지의 추적 테두리 내의 얼굴을 추적하기 위한 제2추적 테두리 결정 모듈을 포함하는 것을 특징으로 하는 얼굴 검출 추적 장치.
  14. 로봇 헤드의 회전 제어 시스템에 있어서:
    이미지의 중심영역을 미리 설정하기 위한 중심영역 미리 설정 모듈과;
    상기 현재 프레임 이미지의 추적 테두리를 결정하기 위한, 제11항 내지 제13항의 어느 한 항에 기재된 얼굴 검출 추적 장치와;
    로봇 헤드의 회전을 제어하여, 상기 현재 프레임 이미지의 추적 테두리를 상기 중심영역으로 이동시키기 위한 헤드 회전 제어 모듈을 포함하는 것을 특징으로 하는 로봇 헤드의 회전 제어 시스템.
KR1020170091353A 2016-07-29 2017-07-19 얼굴 검출 추적 방법, 얼굴 검출 추적 장치, 로봇 헤드의 회전 제어 방법 및 로봇 헤드의 회전 제어 시스템 KR101881820B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610619340.1A CN106250850B (zh) 2016-07-29 2016-07-29 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统
CN201610619340.1 2016-07-29

Publications (2)

Publication Number Publication Date
KR20180013725A true KR20180013725A (ko) 2018-02-07
KR101881820B1 KR101881820B1 (ko) 2018-07-25

Family

ID=57606883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170091353A KR101881820B1 (ko) 2016-07-29 2017-07-19 얼굴 검출 추적 방법, 얼굴 검출 추적 장치, 로봇 헤드의 회전 제어 방법 및 로봇 헤드의 회전 제어 시스템

Country Status (4)

Country Link
US (1) US9892312B1 (ko)
JP (1) JP6165959B1 (ko)
KR (1) KR101881820B1 (ko)
CN (1) CN106250850B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111168667A (zh) * 2019-12-13 2020-05-19 天津大学 基于贝叶斯分类器的机器人控制方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106550136B (zh) * 2016-10-26 2020-12-29 努比亚技术有限公司 一种人脸提示框的追踪显示方法及移动终端
CN108227906B (zh) * 2016-12-22 2021-04-23 深圳大森智能科技有限公司 一种人机交互方法及装置
CN106780558B (zh) * 2016-12-27 2020-05-12 成都通甲优博科技有限责任公司 基于计算机视觉的点生成无人机目标初始跟踪框的方法
CN106650682B (zh) * 2016-12-29 2020-05-01 Tcl集团股份有限公司 一种人脸追踪的方法及装置
CN106875415B (zh) * 2016-12-29 2020-06-02 北京理工雷科电子信息技术有限公司 一种动态背景中弱小动目标的连续稳定跟踪方法
CN106886216B (zh) * 2017-01-16 2020-08-14 深圳前海勇艺达机器人有限公司 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN108932731B (zh) * 2017-05-24 2021-02-05 上海云从企业发展有限公司 基于先验信息的目标跟踪方法及系统
KR102113591B1 (ko) 2017-09-12 2020-05-22 선전 구딕스 테크놀로지 컴퍼니, 리미티드 얼굴 검출 활성화 방법, 얼굴 검출 활성화 장치 및 전자 장치
US10778939B2 (en) * 2017-09-22 2020-09-15 Facebook, Inc. Media effects using predicted facial feature locations
CN109788185A (zh) * 2017-11-13 2019-05-21 郑宇杰 影像追踪装置及其影像追踪方法
CN107977636B (zh) * 2017-12-11 2021-11-30 北京小米移动软件有限公司 人脸检测方法及装置、终端、存储介质
CN108177146A (zh) * 2017-12-28 2018-06-19 北京奇虎科技有限公司 机器人头部的控制方法、装置及计算设备
CN109992008A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种机器人的目标跟随方法及装置
CN109063593A (zh) * 2018-07-13 2018-12-21 北京智芯原动科技有限公司 一种人脸跟踪方法及装置
CN109146906B (zh) * 2018-08-22 2021-03-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109871760B (zh) * 2019-01-15 2021-03-26 北京奇艺世纪科技有限公司 一种人脸定位方法、装置、终端设备及存储介质
CN111854107A (zh) * 2019-04-24 2020-10-30 杭州萤石软件有限公司 空气净化器的智能控制方法、装置及空气净化器
CN110503042B (zh) * 2019-08-23 2022-04-19 Oppo广东移动通信有限公司 图像处理方法、装置以及电子设备
CN110991250B (zh) * 2019-11-06 2023-04-25 江苏科技大学 融合颜色干扰模型与遮挡模型的人脸跟踪方法和跟踪系统
CN111444850B (zh) * 2020-03-27 2023-11-14 北京爱笔科技有限公司 一种图片检测的方法和相关装置
US11232315B2 (en) 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
CN111783632B (zh) * 2020-06-29 2022-06-10 北京字节跳动网络技术有限公司 针对视频流的人脸检测方法、装置、电子设备及存储介质
CN111738193A (zh) * 2020-06-29 2020-10-02 湖南国科微电子股份有限公司 人脸抓拍方法和人脸抓拍系统
CN112183351B (zh) * 2020-09-28 2024-03-29 普联国际有限公司 结合肤色信息的人脸检测方法、装置、设备及可读存储介质
CN113284166A (zh) * 2021-04-15 2021-08-20 阳光暖果（北京）科技发展有限公司 一种基于深度级联神经网络的高速人脸跟踪方法及系统
CN114310935B (zh) * 2021-12-16 2023-08-04 杭州申昊科技股份有限公司 基于巡检机器人的轨道状态检测系统、机器人以及方法
CN116895047B (zh) * 2023-07-24 2024-01-30 北京全景优图科技有限公司 一种快速的人流量监控方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171929A (ja) * 2004-12-14 2006-06-29 Honda Motor Co Ltd 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US20080212836A1 (en) * 2003-05-29 2008-09-04 Kikuo Fujimura Visual Tracking Using Depth Data
CN102411368A (zh) 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
KR20130068343A (ko) * 2011-12-15 2013-06-26 한국산업기술대학교산학협력단 지능적 다중 객체 추적 알고리즘 기반의 다중 ｐｔｚ 카메라 제어 시스템 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100589114C (zh) * 2007-12-29 2010-02-10 北京中星微电子有限公司 图像中最大人脸的跟踪装置和方法
CN101605269B (zh) * 2009-07-10 2010-09-29 清华大学 一种密集深度图像跟踪的方法和装置
JP5438601B2 (ja) * 2010-06-15 2014-03-12 日本放送協会 人物動作判定装置およびそのプログラム
US8836777B2 (en) * 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
CN103020580B (zh) * 2011-09-23 2015-10-28 无锡中星微电子有限公司 快速人脸检测方法
JP2014106732A (ja) * 2012-11-27 2014-06-09 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
US9754154B2 (en) * 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9792491B1 (en) * 2014-03-19 2017-10-17 Amazon Technologies, Inc. Approaches for object tracking
CN103870824B (zh) * 2014-03-28 2017-10-20 海信集团有限公司 一种在人脸检测跟踪过程中的人脸捕捉方法及装置
CN105116994B (zh) * 2015-07-07 2019-05-31 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人追踪方法和追踪装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212836A1 (en) * 2003-05-29 2008-09-04 Kikuo Fujimura Visual Tracking Using Depth Data
JP2006171929A (ja) * 2004-12-14 2006-06-29 Honda Motor Co Ltd 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
CN102411368A (zh) 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
KR20130068343A (ko) * 2011-12-15 2013-06-26 한국산업기술대학교산학협력단 지능적 다중 객체 추적 알고리즘 기반의 다중 ｐｔｚ 카메라 제어 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김우열 외 2명. 깊이 정보를 이용한 템플릿 매칭 기반의 고속 얼굴 추적 방법. 방송공학회논문지, Vol. 18, No. 3, 2013년, pp. 349-361.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111168667A (zh) * 2019-12-13 2020-05-19 天津大学 基于贝叶斯分类器的机器人控制方法
CN111168667B (zh) * 2019-12-13 2022-08-05 天津大学 基于贝叶斯分类器的机器人控制方法

Also Published As

Publication number Publication date
US20180032794A1 (en) 2018-02-01
KR101881820B1 (ko) 2018-07-25
CN106250850A (zh) 2016-12-21
JP6165959B1 (ja) 2017-07-19
US9892312B1 (en) 2018-02-13
JP2018018489A (ja) 2018-02-01
CN106250850B (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
KR20180013725A (ko) 얼굴 검출 추적 방법, 얼굴 검출 추적 장치, 로봇 헤드의 회전 제어 방법 및 로봇 헤드의 회전 제어 시스템
US20210191524A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US10747988B2 (en) Method and device for face tracking and smart terminal
US10941019B2 (en) User detection system and image processing device
JP4516516B2 (ja) 人物検出装置、人物検出方法及び人物検出プログラム
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
KR100651034B1 (ko) 대상 물체 검출 시스템 및 그 방법
JP4874150B2 (ja) 移動物体追跡装置
JP5931662B2 (ja) 道路状況監視装置、及び道路状況監視方法
KR20110064117A (ko) 얼굴 정면포즈 판단 방법
KR101279561B1 (ko) 깊이정보 기반 고속 고정밀 얼굴 검출 및 추적 방법
JP2008242571A (ja) 物体検出装置
TWI415032B (zh) Object tracking method
JP2021022315A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017142735A (ja) 車両用の歩行者動作識別装置
JP5288440B2 (ja) 人体検出装置及び人体検出方法
WO2020010620A1 (zh) 波浪识别方法、装置、计算机可读存储介质和无人飞行器
JP2008250772A (ja) 移動物体追跡装置
KR102434397B1 (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
CN114862913A (zh) 基于人工智能网络的机器视觉目标定位方法
JP2011248525A (ja) 物体の検出装置及びその検出方法
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
KR101313879B1 (ko) 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant