KR20140074201A - 추적 장치 - Google Patents

추적 장치 Download PDF

Info

Publication number
KR20140074201A
KR20140074201A KR1020130143131A KR20130143131A KR20140074201A KR 20140074201 A KR20140074201 A KR 20140074201A KR 1020130143131 A KR1020130143131 A KR 1020130143131A KR 20130143131 A KR20130143131 A KR 20130143131A KR 20140074201 A KR20140074201 A KR 20140074201A
Authority
KR
South Korea
Prior art keywords
unit
eye
image
sub
frame
Prior art date
Application number
KR1020130143131A
Other languages
English (en)
Inventor
히로시 오이시
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20140074201A publication Critical patent/KR20140074201A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 하드웨어에 의한 처리에 적합한 눈의 인식 추적 처리를 제공한다.
본 발명의 일 실시 형태로서, 영상 정보를 연속하는 프레임의 형식으로 취득하는 영상 정보 취득부, 및 상기 취득된 영상 정보의 하나의 프레임보다 축소된 복수 개의 서브 영상들을 생성하고, 눈의 영상과의 라이크리후드를 산출하여 큰 라이크리후드의 서브 영상에 의해 눈 위치를 결정하는 추적부를 포함하고, 상기 추적부는, 상기 하나의 프레임보다 시간적으로 전에 취득된 영상 정보의 하나의 프레임으로부터 결정된 위치를 참조하여, 생성하는 서브 영상의 위치를 결정하는 추적 장치를 제공한다.

Description

추적 장치{TRACKING DEVICE}
본 발명은 물체를 인식하고, 추적하는 장치에 관한 것으로, 특히 눈을 인식하고 추적하는 장치에 것이다.
얼굴 인식 및 얼굴 부위 인식의 기술은 예로부터 연구되어 온 분야이다. 최근, 현저한 발전을 보이고 있는 통계적 학습 알고리즘의 실용화에 의해, 얼굴 인식 및 얼굴 부위 인식의 기술의 응용은 여러 곳에서 이루어지고 있다. 특히, 디지털 카메라나 감시 카메라에 있어서의 응용은 널리 알려져 있다. 또한, 얼굴 부위 인식 기술의 일부인 눈의 인식 추적 기술도, 차량 적재 카메라에 의한 깜박 졸음 판정이나 3D Display에 있어서의 시점 위치에 따른 렌더링 처리 등 다양한 응용 범위를 생각할 수 있다.
예를 들어, 눈의 추적 기술에 대해서는, 특허문헌 1에 개시가 되어 있다.
[선행기술문헌]
[특허문헌1]일본국 특허 공개 제 2010-41526호 공보
그러나, 얼굴 인식 및 얼굴 부위 인식의 기술이나 눈의 인식 추적 기술에 있어서의 처리에는, 통상 매우 복잡하고 동시에 방대한 연산 처리가 요구되기 때문에, 일반적으로는 소프트웨어를 사용하여 처리되는 경우가 많다. 한편으로, 이러한 처리를 하드웨어에 의해 리얼타임으로 처리하고자 하는 요구도 증가하고 있고, 범용적인 응용에 대한 리얼타임 처리 가능한 눈의 인식 추적 처리의 하드웨어의 개발이 중요하게 되어 왔다.
여기에서, 본 발명의 목적 중의 하나로서, 하드웨어에 의한 처리에 적합한 눈의 인식 추적 처리에 대해서 개시한다.
본 발명의 일 실시 형태로서, 영상 정보를 연속하는 프레임의 형식으로 취득하는 영상 정보 취득부; 및 상기 취득된 영상 정보의 하나의 프레임보다 축소된 복수 개의 서브 영상들을 생성하고, 눈의 영상과의 라이크리후드를 산출하여 큰 라이크리후드의 서브 영상에 의해 눈 위치를 결정하는 추적부를 포함하고, 상기 추적부는, 상기 하나의 프레임보다 시간적으로 전에 취득된 영상 정보의 하나의 프레임에 의해 결정된 위치를 참조하여, 생성하는 서브 영상의 위치를 결정하는 추적 장치를 제공한다.
이 형태의 추적 장치는, 시간적으로 한 프레임 전에 취득된 프레임으로부터 결정된 눈의 위치를 참조하여 다음 프레임에 있어서의 눈의 위치를 결정하므로, 눈의 탐색 범위를 좁힐 수 있고, 고속 처리가 가능해 진다.
또한, 추적부가 생성하는 상기 복수 개의 서브 영상들의 크기는 동일한 것이 바람직하다.
이것에 의해, 서브 영상의 처리에 필요한 시간을 일정하게 할 수 있고, 본 발명의 일 실시 형태에 따른 추적 장치를 하드웨어에 의한 실현에 적합한 구성으로 할 수 있다.
또한, 상기 추적부는, 상기 취득된 영상 정보의 상기 하나의 프레임에 가우시안 필터를 주고, 픽셀들을 솎아 내서 상기 복수 개의 서브 영상들 각각을 생성하여도 좋다.
가우시안 필터를 사용함으로써, 픽셀을 솎아 내도 서브 영상과 원래의 영상의 부분과의 차이를 작게 할 수 있고, 추적 성능을 향상시킬 수 있다.
또한, 추적부는, 상기 복수 개의 서브 영상들 각각으로부터 양안 중의 각각의 라이크리후드를 산출하고, 상기 양안의 거리, 한쪽 눈의 폭, 상기 양안을 잇는 직선이 수평선과 이루는 각도를 파라메터로서 갖는 모델을 생성하고, 상기 눈 위치를 결정하여도 좋다.
일반적으로, 사람의 영상을 인식하는 때는, 양안이 촬영되므로, 양안의 모델을 생성함으로써, 추적 성능을 더욱 향상시킬 수 있다.
또한, 추적부는, 상기 파라메터에 대한 파티클 필터를 사용하여 상기 복수 개의 서브 영상들의 각 위치를 결정하여도 좋다.
이것에 의해, 눈의 복수의 후보 위치들을 생성하고 관리하여 추적할 수 있고, 추적 성능을 더욱 향상시킬 수 있다.
또한, 파티클 필터는, 프레임이 취득되는 주기 기간 내에 상기 추적부가 상기 눈 위치를 결정할 수 있는 수의 서브 영상의 위치를 생성하여도 좋다.
이것에 의해, 프레임의 주기를 단위로서 동작시키는 것이 가능해지고, 하드웨어화에 적합한 추적 장치를 제공할 수 있다.
본 발명에 의해, 하드웨어에 의한 처리에 적합한 눈의 인식 추적 처리를 제공할 수 있다.
도 1은 본 발명의 일 실시 형태에 따른 추적 장치의 기능 블럭도이다.
도 2는 본 발명의 일 실시 형태에 따른 추적 장치의 얼굴 인식 추출부의 처리를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 형태에 따른 추적 장치의 라이크리후드 계산부의 처리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 형태에 따른 추적 장치의 라이크리후드 계산부의 처리를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 형태에 따른 추적 장치의 후보 좌표 생성부의 처리를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 형태에 따른 추적 장치에 의한 처리의 플로우챠트이다.
도 7은 본 발명의 일 실시 형태에 따른 추적 장치를 실현하기 위한 하드웨어 구성 도면이다.
도 8은 본 발명의 일 실시 형태에 따른 추적 장치를 실현하기 위한 하드웨어 구성에 있어서의 타이밍차트이다.
이하에 본 발명을 실시하기 위한 형태에 대해서 도면을 참조하면서 설명을 행한다. 또한, 본 발명은, 이하에 설명이 되는 형태에 한정되지 않고, 여러 가지의 변형을 행하여도 실시하는 것이 가능하다.
도 1은, 본 발명의 일 실시 형태에 따른 추적 장치의 기능 블럭도의 일 예를 나타낸다. 추적 장치(100)는, 영상 취득부(101), 얼굴 인식 추출부(102), 및 추적부(103)를 갖는다.
영상 취득부(101)는, 영상 정보를 취득한다. 영상 정보는, 바람직하게는 프레임 단위로 취득된다. 예를 들어, 매초 30 프레임의 비율로 영상 정보의 취득이 된다. 영상 정보는, 추적 장치(100)에 구비된 카메라 등의 촬영 장치에 의해 취득할 수 있거나, 추적 장치(100)에 접속된 촬영 장치나 영상 정보 재생 장치로부터 취득할 수 있다.
얼굴 인식 추출부(102)는, 영상 취득부(101)에 의해 취득된 영상 정보에 얼굴 영상이 포함되어 있는지 여부를 판정하고, 얼굴 영상이 포함되어 있으면, 눈을 포함하는 영상의 영역을 추출한다. 또한, 얼굴 인식 추출부(102)는, 본 발명의 일 실시 형태에 따른 추적 장치(100)에 구비되어 있을 필요는 없고, 추적 장치(100)와는 다른 장치로서 실현되고, 추적부(103)에 접속되어 있어도 좋다.
얼굴 인식 추출부(102)는, 도 1에 나타내는 바와 같이, 얼굴 영역 인식부(104)와 눈 영역 추출부(105)를 구비하고 있어도 좋다. 얼굴 영역 인식부(104)는, 영상 취득부(101)에 의해 취득된 영상 정보에 얼굴 영상이 포함되어 있는지 여부를 판정하고, 얼굴 영상이 포함되어 있으면, 얼굴 영상의 영역을 추출한다. 예를 들어, 도 2 (a)에 나타내는 바와 같이, 영상 취득부(101)에 의해 취득된 영상 정보(200)에 얼굴(201)이 포함되어 있으면, 얼굴 영상 영역(202)을 추출한다. 이 경우, 영역(202)에는, 얼굴의 양안이 포함되도록 하는 것이 바람직하다. 또한, 영상 취득부(101)에 의해 취득된 영상 정보에 얼굴 영상이 포함되어 있는지 여부를 판정하는 처리로서는, 공지의 것을 임의로 사용할 수 있다.
눈 영역 추출부(105)는, 얼굴 영역 인식부(104)에 의해 추출된 얼굴 영상 영역(202)으로부터 양안(양쪽 눈)을 포함하는 영역(203)을 추출한다. 양안을 포함하는 영역(203)은, 일반적으로, 얼굴 영상 영역(202)보다도 작기 때문에, 다음에 설명하는 추적부(103)의 탐색 영역을 작게 할 수 있고, 고속으로 추적의 처리를 행할 수 있다. 또한, 얼굴 영역 인식부(104)에 의해 추출된 얼굴 영상 영역(202)으로부터 양안을 포함하는 영역(203)을 추출하는 처리로서는, 공지의 것을 임의로 사용할 수 있다.
또한, 얼굴 인식 추출부(102)는, 도 1에 나타내는 바와 같이, 얼굴 영역 인식부(104)와 눈 영역 추출부(105)의 2단계의 처리를 행할 필요는 없고, 얼굴 인식의 결과로 얻을 수 있는 양안의 위치의 파라메터 등을 사용하여, 영상 취득부(101)에 의해 취득된 영상 정보(200)로부터, 양안을 포함하는 영역(203)을 직접 추출하여도 좋다.
추적부(103)는, 얼굴 인식 추출부(102)에 의해 추출된 양안을 포함하는 영역으로부터, 양안의 위치를 초기의 양안의 위치로서 검출하고, 또한, 검출된 양안의 위치부터 다음 프레임에 있어서의 양안의 위치의 후보를 생성하고, 다음 프레임에 있어서의 양안의 위치를 검출한다. 또한, 검출되는 양안의 위치는 하나로 한정할 필요는 없다. 복수의 위치들을 검출한 경우에는, 그 후의 추적에 의해, 눈이 아닌 것으로 판명된 단계에서 위치 정보를 파기 등을 하면 좋다.
추적부(103)는, 도 1에 나타내는 바와 같이, 라이크리후드(likelihood) 계산부(106), 파라메터 생성부(109), 및 후보 좌표 생성부(110)를 갖는다.
라이크리후드 계산부(106)는, 영역(203) 내의 후보 좌표로부터, 후보 좌표를 포함하는 서브 영상을 추출하고, 서브 영상이 눈의 영상인 것에 대해서의 라이크리후드 (유사도 혹은 확률)를 계산한다. 후보 좌표는, 얼굴 인식 추출부(102)에 의해 얼굴 인식이 행하여졌을 때에 눈의 위치로서 계산되는 좌표와 이하에 설명되는 후보 좌표 생성부(110)에 의해 산출되는 좌표 중의 어느 한 쪽 또는 양쪽이다. 후보 좌표 생성부(110)에 의한 처리가 행하여지지 않을 때에는, 후보 좌표는, 얼굴 인식 추출부(102)에 의해 얼굴 인식이 행하여졌을 때에 눈의 위치로서 계산되는 좌표로 된다. 눈의 위치는, 예를 들어 눈이 중심으로서 정의할 수 있다. 이 때, 라이크리후드 계산부(106)는, 후보 좌표를 포함하는 우안(오른쪽 눈)의 후보 서브 영상 및 좌안(왼쪽 눈)의 후보 서브 영상 각각을 추출하고, 눈의 모델 및 샘플 영상 등과의 유사도를 계산하고, 후보 좌표에 대하여 계산한 라이크리후드를 대응시킨다.
또한, 후보 좌표 생성부(110)는, 뒤에 설명되는 파라메터 생성부(109)에 의해 생성되는 양안의 모델 정보로부터, 우안 및 좌안 각각의 후보 중심 좌표를 산출한다.
라이크리후드 계산부(106)는, 도 1에 나타내는 바와 같이, ESF부(107)와, LDA부(108)를 갖고 있어도 좋다.
ESF부(107)는, 양안을 포함하는 영역(203)의 영상 정보로부터, 예를 들어 16×16 픽셀의 서브 영상을 생성하고, 밝기의 분포로부터 눈으로서 판정될 때의 라이크리후드를 산출한다. 또한, 양안을 포함하는 영역(203)으로부터, 예를 들어 16×16 픽셀의 서브 영상을 생성하는 때는, 양안을 포함하는 영역(203)의 영상 정보의 부분 영상을 특정하고, 특정된 부분 영상으로부터 픽셀을 솎아 냄(thin out)으로써, 16×16 픽셀의 서브 영상을 생성할 수 있다. 크기가 일정한 서브 영상을 생성함으로써, 하드웨어의 처리를 행할 때의 처리 시간을 일정하게 할 수 있고, 타이밍의 조정이 용이하게 된다. 또한, 16×16 픽셀의 서브 영상의 생성 전의 영역(203)의 영상에 가우시안 필터를 실시함으로써, 픽셀의 솎아냄에 관계 없이, 눈의 인식 정밀도를 올릴 수 있고, 추적 성능을 올릴 수 있다.
또한, 서브 영상을 생성하기 위한 영상 정보의 부분 영상의 특정은, 예를 들어, 부분 영상을 사각형으로 하는 경우에, 사각형의 좌측 위의 좌표, 폭 및 높이를 생성하여 행하고, 복수의 특정들을 행할 수 있다. 이 생성은, 예를 들어 얼굴 인식 추출부(102)에 의해 추출이 행하여졌을 때의 양안의 좌표 정보에 기초하여 행하거나, 뒤에 설명하는 후보 좌표 생성부(110)가 산출하는 우안 및 좌안 각각의 중심 좌표에 기초하여 행하는 것이 가능하다..
도 3을 참조하여, ESF부(107)에 의해, 밝기의 분포로부터 눈으로서 판정될 때의 라이크리후드의 산출의 일 예에 대해서 설명한다. 도 3은, 눈의 영상의 구조의 일 예를 나타낸다. 도 3에 있어서, 부호(301)는, 눈의 동공과 홍채 부분(C1)이고, 부호(302 및 303)의 부분(C2) 보다도 밝기가 작아진다. 여기에서, 라이크리후드의 일 예로서, C1의 중심점(304)의 좌표를 (x, y)라 하는 경우, 라이크리후드 ESF(x, y)는,
ESF(x, y) = σ2b/σ2T
로서 산출된다. 또한,
σ2b= n1(m1 - m) 2 + n2(m2 - m) 2
σ2T = ∑x∈C(x - m)2
이고, n1은 부분C1의 픽셀의 총수이고, n2은 부분C2의 픽셀의 총수이며, m1은 부분C1의 밝기(luminance)의 평균이고, m2는 부분C2의 밝기(luminance)의 평균이며, m은 부분C의 밝기(luminance)의 평균이다. 또한, C은, 부분C1과 부분C2의 합집합이다.
ESF부(107)는, 상기한 바와 같이 산출된 라이크리후드의 값이 큰 상위, 예를 들어, 10개의 서브 영상들을 추출할 수 있다. 이상과 같이 산출되는 라이크리후드를 사용함으로써, 생생한 눈의 판정을 실시할 수 있다.
LDA부(108)는, ESF부(107)에 의해, 검출된 부분 영상으로부터, 선형 판별 분석(Linear Discrimination Analysis)을 행하고, 눈의 판정의 정밀도를 높인다.
LDA부(108)는, 구체적으로는, 미리, 눈의 영상과 눈이 아닌 영상을 다차원 영역으로 선형 변환하여 둔다. 예를 들어, 상술한 바와 같이 ESF부(107)에 있어서 16×16 픽셀의 서브 영상을 사용하는 경우에는, 16×16 픽셀의 크기의 눈의 영상과 눈이 아닌 영상을 준비한다. 각각의 영상은, 16×16 = 256 차원의 점을 나타내고 있는 것으로 생각되므로, 각 영상의 점에 대하여 선형 변환을 행함으로써, 예를 들어 32차원의 공간의 점으로 변환한다.
도 4는, 변환된 32 차원의 공간의 점을 나타낸다. 점(401)은, 눈이 아닌 샘플 영상을 32 차원의 공간의 점으로 변환한 결과를 나타내고, 이러한 눈이 아닌 샘플 영상을 32 차원의 공간의 점으로 변환한 점이 클러스터(403)를 형성하고 있다. 또한, 점(402)은, 눈의 샘플 영상을 32 차원의 공간의 점으로 변환한 결과를 나타내고, 이러한 눈의 샘플 영상을 32 차원의 공간의 점으로 변환한 점이 클러스터(404)를 형성하고 있다.
여기에서, ESF부(107)에 의해 라이크리후드의 값이 큰 것으로 판단된 상위 10개의 서브 영상들에 대해서, 각각의 서브 영상을 32 차원의 점(405)으로 변환하고, 클러스터(403)와의 거리(406) 및 클러스터(404)와의 거리(407)를 산출하고, 거리에 따라서, 눈의 샘플 영상과의 라이크리후드를 판단한다. 점(405)과 클러스터(403 및 404)와의 거리(406 및 407)는, 예를 들어, 점(405)과 클러스터(403 및 404)의 각 중심점까지의 거리로서 정의할 수 있다. 여기에서, 예를 들어, 클러스터(403)까지의 거리(406)가 클러스터(404)까지의 거리(407)보다 작으면, 그 서브 영상은 눈의 영상이 아니라고 판단하고, 그렇지 않으면, 그 서브 영상은 눈의 영상이라고 판단한다.
이상에 의해, 라이크리후드 계산부(106)에 의해 눈의 후보 중심 좌표에 대하여 라이크리후드를 결정하여 대응시킬 수 있다.
파라메터 생성부(109)는, 라이크리후드 계산부(106)에 의해 구해진 라이크리후드에 기초하여 눈의 모델 정보를 생성한다. 눈의 모델 정보는, 도 5에 나타내는 바와 같이, 각각의 눈의 중심(501 및 502)의 좌표에서, 양안의 중심간의 거리(L) (예를 들어, 영상 정보에서의 픽셀수), 각각의 눈의 폭(S) (예를 들어, 영상 정보에서의 픽셀수), 각각의 눈의 중심(501 및 502)을 잇는 직선(503)이 수평선(504)과 이루는 각 θ 및 각각의 눈의 중심(501 및 502)의 중점(양안의 중점)의 좌표를 포함한다. L, S, θ 중점의 좌표 등의 파라메터 값들을 사용하여 다음 프레임에 있어서의 눈의 위치를 예측하고, 눈의 모델 정보를 생성한다. 예측의 방법으로서는, 이제까지의, L, S, θ 중점의 좌표의 값의 이력을 구하여 변동 방향을 산출하거나, 파티클 필터의 수법을 이용하거나 할 수 있다. 파티클 필터의 수법으로서는, 우안의 중점의 좌표를 (xR, yR), 좌안의 중점의 좌표를 (xL, yL), 양안의 중점의 좌표를 (xC, yC)로 한 경우에, 라이크리후드(likelihood(xC, yC, L, S, θ))를
Likelihood(xC, yC, L, S, θ)
= ESF(xR, yR)×ESF(xL, yL)
로 정의하고, 다음 프레임에 있어서의 눈의 위치의 후보를 생성한다. 이 경우, Likelihood(xC, yC, L, S,θ)가 높은 후보는, 그대로 사용된다. 단, 유사 난수(pseudo random number)가 부가되어도 좋다. 또한, Likelihood(xC, yC, L, S,θ)가 작은 후보는 파기된다.
파라메터 생성부(109)가 생성한 모델의 정보(파라메터의 값 등)는, 후보 좌표 생성부(110)로 전달된다.
후보 좌표 생성부(110)는, 파라메터 생성부(109)에 의해 생성된 모델의 정보로부터, 우안 및 좌안 각각의 후보 중심 좌표를 산출한다. 예를 들어 도 5를 참조하면, 우안의 후보 중심 좌표(501)의 X좌표는, 중점(505)의 X좌표에 - (Lcosθ)/2를 가산하여 산출되고, 그 Y좌표는, 중점(505)의 Y좌표에 (Lsinθ)/2를 가산하여 산출된다.
도 6은, 본 실시 형태에 따른 추적 장치에 의한 처리를 설명하는 플로우챠트이다. 스텝S601의 처리로서, 얼굴 인식 추출부(102)는 영상 취득부(101)에 의해 영상을 취득하고, 스텝S602의 처리로서, 예를 들어 얼굴 영역 인식부(104)에 의해 얼굴 인식을 행한다. 스텝S603에 있어서, 얼굴이 인식된 것인지 여부를 판단하고, 얼굴이 인식되어 있지 않으면, 스텝S601로 되돌아 간다.
얼굴이 인식되면, 스텝S604의 처리로서, 예를 들어 눈 영역 추출부(105)에 의해, 양안을 포함하는 영역의 영상을 추출한다. 스텝S605의 처리로서, 라이크리후드 계산부(106)에 의해, 눈의 후보 좌표에 대하여 라이크리후드를 계산한다. 스텝S606의 처리로서, 파라메터 생성부(109)에 의해, 눈의 모델 정보를 생성한다. 그리고, 스텝S607의 처리로서, 후보 좌표 생성부(110)에 의해, 눈의 후보 좌표를 생성한다.
스텝S608의 처리로서, 영상 취득부(101)로부터, 추적부(103)가 다음 영상 정보의 프레임을 취득한다. 스텝S609의 처리로서 처리를 종료할 것 인지 여부를 판단하고, 그렇지 않으면, 스텝S604로 되돌아 간다.
또한, 스텝S606의 처리의 파라메터 생성부(109)에 의한 처리에 있어서, Likelihood(xC, yC, L, S, θ)의 값이 소정의 값을 하회하거나, 눈의 모델 정보의 생성이 곤란한 경우에는, 스텝S601로 되돌아 가도 좋다. 또한, 예를 들어 ESF부(107)에서 산출되는 라이크리후드의 최대치가 특정한 값을 하회하거나, LDA부(108)에 의해, 서브 영상이 눈이 아닌 영상의 클러스터에 속하거나 하는 등의 조건이 성립한 경우에도, 스텝S601로 되돌아 가도 좋다.
도 7은, 도 1에 나타내는 추적 장치(100)를 주로 하드웨어에 의해 구성할 때의 구성도의 일 예이다.
영상 취득부(101)에 대응하여, 프레임 버퍼(702)가 배치되고, 취득된 영상이 프레임 단위로 프레임 버퍼(702)에 저장된다.
또한, 도 7에 있어서는, 얼굴 영역 인식부(104)에 대응하는 하드웨어는 명시되고 있지 않고, 도시하지 않는 얼굴 영역 인식부(104)에 대응하는 하드웨어에 의해 인식된 얼굴 영상의 정보, 구체적으로는 양안을 포함하는 사각형 등의 좌표 정보가 얼굴 인식 정보 수신부(703)에 의해 수신된다. 수신된 얼굴 인식 정보는, 전송부(704) 및 파티클 필터부(705)로 전송된다.
파티클 필터부(705)는, 파라메터 생성부(109)에 대응하는 하드웨어이고, 그 다음 탐색의 파라메터를 생성한다.
전송부(704)는, 얼굴 인식 정보 수신부(703)에 의해 수신된 얼굴 인식 정보에 의해 특정되는 영역을 프레임 버퍼(702)로부터 리드하고, 라이크리후드 계산부(106) 및 후보 좌표 생성부(110)에 대응하는 하드웨어(706-1, 706-2)로 전송한다. 또한, 도 7에 있어서는, 라이크리후드 계산부(106) 및 후보 좌표 생성부(110)에 대응하는 하드웨어(706-1, 706-2) 2개를 나타내고 있지만, 라이크리후드 계산부(106) 및 후보 좌표 생성부(110)에 대응하는 하드웨어는 2 개로 한정되지 않고, 임의의 수를 구비할 수 있다. 라이크리후드 계산부(106) 및 후보 좌표 생성부(110)에 상당하는 각각의 하드웨어는, 예를 들어, 영상에 포함되는 얼굴이 복수 존재할 경우에, 복수의 얼굴의 각각을 분담하거나, 파티클 필터부(705)에서 생성하는 파라메터의 일부를 각각 분담하거나 한다.
전송부(704)로부터 전송된 영역은, 임시 메모리(710)에 저장된다. 그리고, 라이크리후드 계산부(106)에 대응하는 하드웨어로서의 좌안 추출부(711)와 우안 추출부(712)로 영역이 전송된다. 좌안 추출부(711)와 우안 추출부(712) 각각은, 영역으로부터 좌안의 영상과 우안의 영상을 추출한다. 이 때, 좌안 추출부(711)와 우안 추출부(712)는, 추적 제어부(713)에 의한 제어를 받는다.
추적 제어부(713)는, 파티클 필터부(705)에 의해 얻을 수 있는 파라메터를 참조하고, ESF부(107)에 대응하는 좌안 ESF부(714)와 우안 ESF부(715)를 동작시키고, 또한, LDA부(108)에 대응하는 좌안 LDA부(716)과 우안 LDA부(717)를 동작시키고, 좌안 및 우안의 서브 영상들을 추출하고, 라이크리후드를 계산하고, 결과를 파티클 필터부(705)로 피드백하는 동시에, 결과를 출력부(707)로 출력한다.
도 8은, 도 7에 구성도를 나타내는 하드웨어의 동작의 타이밍 차트의 일 예이다. 구간(801)이 1프레임의 시간의 길이를 나타내고, 시간 구간(802)에 있어서, n번째의 프레임 데이터가 카메라 등의 촬영 장치에 의해 취득되거나, 혹은, 영상 정보 재생 장치로부터 취득된다. 취득된 프레임 데이터는, 얼굴 인식을 행하는 하드웨어 등으로 전송되고, 또한, 한 프레임 전의 프레임(n-1번째의 프레임)이 프레임 버퍼(702)에 저장된다.
또한, 시간 구간(803)에 있어서, 얼굴 인식의 결과가 얼굴 인식 정보 수신부(703)에 의해 수신된다. 또한, 얼굴 인식은, n-1번째의 프레임 데이터에 의해 행하여진다.
시간 구간(804)에 있어서, 전송부(704)로부터 양안을 포함하는 영역의 영상이 임시 메모리(710)로 전송된다. 또한, 시간 구간(805)에 있어서, 파티클 필터부(705)에 의해 파라메터가 생성된다. 생성되는 파라메터의 수는, 시간 구간(805)의 뒤로부터 구간(801)의 끝까지 라이크리후드 계산부(106)외 후보 좌표 생성부(110)가 처리할 수 있는 수가 상한으로 된다. 따라서, 라이크리후드 계산부(106) 및 후보 좌표 생성부(110)에 대응하는 하드웨어를 증설함으로써, 많은 파라메터를 처리할 수 있고, 추적 정밀도를 올릴 수 있다.
파티클 필터부(705)에 의해 생성된 파라메터 각각을 사용하여 시간 구간(806)에 있어서, 탐색과 모델화가 행하여진다.
100 : 추적 장치 101 : 영상 취득부
102 : 얼굴 인식 추출부 103 : 추적부
104 : 얼굴 영역 인식부 105 : 눈 영역 추출부
106 : 라이크리후드 계산부 107 : ESF부
108 : LAD부 109 : 파라메터 생성부
110 : 후보 좌표 생성부 702 : 프레임 버퍼
703 : 얼굴 인식 정보 수신부 704 : 전송부
705 : 파티클 필터부 707 : 출력부
710 : 임시 메모리 711 : 좌안 추출부
712 : 우안 추출부 713 : 추적 제어부
714 : 좌안 ESF부 715 : 우안 ESF부
716 : 좌안 LDA부 717 : 우안 LDA부

Claims (6)

  1. 영상 정보를 연속하는 프레임의 형식으로 취득하는 영상 정보 취득부; 및
    상기 취득된 영상 정보의 하나의 프레임보다 축소된 복수 개의 서브 영상들을 생성하고, 눈의 영상과의 라이크리후드를 산출하여 큰 라이크리후드의 서브 영상에 의해 눈 위치를 결정하는 추적부를 포함하고,
    상기 추적부는, 상기 하나의 프레임보다 시간적으로 전에 취득된 영상 정보의 하나의 프레임에 의해 결정된 위치를 참조하여, 생성하는 서브 영상의 위치를 결정하는 추적 장치.
  2. 제 1 항에 있어서,
    상기 추적부가 생성하는 상기 복수 개의 서브 영상들의 크기는 서로 동등한 것을 특징으로 하는 추적 장치.
  3. 제 1 항 있어서,
    상기 추적부는, 상기 취득된 영상 정보의 상기 하나의 프레임에 가우시안 필터를 실시하고, 픽셀들을 솎아 내어 상기 복수 개의 서브 영상들 각각을 생성하는 추적 장치.
  4. 제 1 항 있어서,
    상기 추적부는,
    상기 복수 개의 서브 영상들 각각으로부터 양안 각각의 라이크리후드를 산출하고,
    상기 양안의 거리, 한쪽 눈의 폭, 상기 양안을 잇는 직선이 수평선과 이루는 각도를 파라메터로서 갖는 모델을 생성하고, 상기 눈 위치를 결정하는 추적 장치.
  5. 제 4 항에 있어서,
    상기 추적부는,
    상기 파라메터에 대한 파티클 필터를 사용하여 상기 복수 개의 서브 영상들의 각 위치를 결정하는 추적 장치.
  6. 제 5 항에 있어서,
    상기 파티클 필터는, 프레임이 취득되는 주기 기간 내에 상기 추적부가 상기 눈 위치를 결정할 수 있는 수의 서브 영상의 위치를 생성하는 추적 장치.
KR1020130143131A 2012-12-07 2013-11-22 추적 장치 KR20140074201A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012267902A JP2014116716A (ja) 2012-12-07 2012-12-07 追尾装置
JPJP-P-2012-267902 2012-12-07

Publications (1)

Publication Number Publication Date
KR20140074201A true KR20140074201A (ko) 2014-06-17

Family

ID=50881005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130143131A KR20140074201A (ko) 2012-12-07 2013-11-22 추적 장치

Country Status (3)

Country Link
US (1) US9323989B2 (ko)
JP (1) JP2014116716A (ko)
KR (1) KR20140074201A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346801B (zh) * 2013-08-02 2018-07-20 佳能株式会社 图像构图评估装置、信息处理装置及其方法
CN105721739B (zh) * 2014-12-04 2020-04-10 富泰华工业（深圳）有限公司 屏幕影像画面防抖系统及方法
CN111164961A (zh) * 2017-08-02 2020-05-15 深圳传音通讯有限公司 一种智能终端的图像处理系统及图像处理方法
CN109660662B (zh) * 2018-12-04 2021-07-16 联想(北京)有限公司 一种信息处理方法和终端
JP7138199B2 (ja) * 2019-01-30 2022-09-15 富士フイルム株式会社 顔領域検出装置、撮像装置、顔領域検出方法、及び顔領域検出プログラム
JP7365862B2 (ja) * 2019-11-08 2023-10-20 Kddi株式会社 物体追跡装置及び方法
US11627370B1 (en) * 2021-12-28 2023-04-11 Kt Corporation Converting video according to status of user device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004530A (ja) 2003-06-12 2005-01-06 Digital Fashion Ltd 瞬き検出装置、瞬き検出プログラム及び瞬き検出方法
US7650034B2 (en) * 2005-12-14 2010-01-19 Delphi Technologies, Inc. Method of locating a human eye in a video image
US7634108B2 (en) * 2006-02-14 2009-12-15 Microsoft Corp. Automated face enhancement
US7620216B2 (en) * 2006-06-14 2009-11-17 Delphi Technologies, Inc. Method of tracking a human eye in a video image
KR101169533B1 (ko) * 2008-01-16 2012-07-30 아사히 가세이 가부시키가이샤 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP2009182624A (ja) 2008-01-30 2009-08-13 Victor Co Of Japan Ltd 目標追尾装置
WO2009098894A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 電子カメラおよび画像処理方法
JP5027030B2 (ja) 2008-03-25 2012-09-19 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5116605B2 (ja) 2008-08-07 2013-01-09 国立大学法人 千葉大学 自動追尾装置
JP5279517B2 (ja) 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
JP2010165052A (ja) * 2009-01-13 2010-07-29 Canon Inc 画像処理装置及び画像処理方法
US8774498B2 (en) * 2009-01-28 2014-07-08 Xerox Corporation Modeling images as sets of weighted features
US8571271B2 (en) * 2011-05-26 2013-10-29 Microsoft Corporation Dual-phase red eye correction
US9075453B2 (en) * 2011-12-29 2015-07-07 Khalifa University of Science, Technology & Research (KUSTAR) Human eye controlled computer mouse interface
US9165180B2 (en) * 2012-10-12 2015-10-20 Microsoft Technology Licensing, Llc Illumination sensitive face recognition

Also Published As

Publication number Publication date
JP2014116716A (ja) 2014-06-26
US20140161313A1 (en) 2014-06-12
US9323989B2 (en) 2016-04-26

Similar Documents

Publication Publication Date Title
KR20140074201A (ko) 추적 장치
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
KR100799990B1 (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
CN110378838B (zh) 变视角图像生成方法，装置，存储介质及电子设备
JP6030617B2 (ja) 画像処理装置および画像処理方法
CN111160295B (zh) 基于区域引导和时空注意力的视频行人重识别方法
CN103530599A (zh) 一种真实人脸和图片人脸的区别方法和系统
WO2006106465A2 (en) Method and device for three-dimentional reconstruction and rendering
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
JP6157165B2 (ja) 視線検出装置及び撮像装置
CN111652900A (zh) 基于场景流的客流量的计数方法、系统及设备、存储装置
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
CN113065506B (zh) 一种人体姿态识别方法及系统
WO2020263277A1 (en) Landmark temporal smoothing
CN113158942A (zh) 一种运动人体行为检测的分割算法及装置
KR101711307B1 (ko) 깊이정보 기반의 안면인식 휴대장치 또는 컴퓨터 기기 잠금해제시스템
CN117576217B (zh) 一种基于单实例图像重建的物体位姿估计方法
CN112926498B (zh) 基于多通道融合和深度信息局部动态生成的活体检测方法及装置
CN116205952B (zh) 人脸识别与跟踪的方法、装置、电子设备及存储介质
Kim et al. A fast and accurate face tracking scheme by using depth information in addition to texture information
CN111563912B (zh) 一种行人追踪系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right