KR102495359B1 - 객체 트래킹 방법 및 장치 - Google Patents

객체 트래킹 방법 및 장치 Download PDF

Info

Publication number
KR102495359B1
KR102495359B1 KR1020170141332A KR20170141332A KR102495359B1 KR 102495359 B1 KR102495359 B1 KR 102495359B1 KR 1020170141332 A KR1020170141332 A KR 1020170141332A KR 20170141332 A KR20170141332 A KR 20170141332A KR 102495359 B1 KR102495359 B1 KR 102495359B1
Authority
KR
South Korea
Prior art keywords
input image
type
target object
reliability
wavelength band
Prior art date
Application number
KR1020170141332A
Other languages
English (en)
Other versions
KR20190050876A (ko
Inventor
허진구
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170141332A priority Critical patent/KR102495359B1/ko
Priority to US16/013,614 priority patent/US10755420B2/en
Priority to CN201810755172.8A priority patent/CN109727271B/zh
Priority to EP18183086.0A priority patent/EP3477540A1/en
Priority to JP2018193230A priority patent/JP7163129B2/ja
Publication of KR20190050876A publication Critical patent/KR20190050876A/ko
Priority to US16/936,958 priority patent/US10977801B2/en
Priority to US17/227,806 priority patent/US11676421B2/en
Application granted granted Critical
Publication of KR102495359B1 publication Critical patent/KR102495359B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Abstract

객체 트래킹 방법 및 장치가 개시된다. 일 실시예에 따른 객체 트래킹 방법은 제1 파장 대역의 광에 기초한 제1 유형의 입력 영상에서 대상 객체를 검출하고, 대상 객체의 검출 정보를 이용하여 제1 유형의 입력 영상에서 대상 객체를 트래킹하고, 제1 유형의 입력 영상 및 데이터베이스를 비교하여 제1 유형의 입력 영상의 신뢰도를 측정하고, 제1 유형의 입력 영상의 신뢰도 및 임계치를 비교하여 제2 파장 대역의 광에 기초한 제2 유형의 입력 영상에서 대상 객체를 트래킹하는 단계들을 포함한다.

Description

객체 트래킹 방법 및 장치{METHOD AND APPARATUS FOR TRACKING OBJECT}
아래 실시예들은 객체 트래킹 방법 및 장치에 관한 것이다.
객체 트래킹을 위해 일반적으로 카메라로 획득한 영상에서 객체를 검출하고, 객체에 관한 대표적인 특징점을 추출하고, 특징점을 이용하여 매 프레임마다 객체의 좌표를 추출할 수 있다. 한편, 원활한3D 시청을 위해서는 양 눈의 3차원 좌표가 필요하다. 양 눈의 3차원 좌표를 획득하기 위해, 양 눈의 2차원 정보, 얼굴의 회전 정보 및 양 눈 사이의 거리(inter pupil distance)가 이용될 수 있다. 양 눈의 3차원 좌표를 매 프레임마다 추출함으로써 양 눈의 위치를 트래킹할 수 있고, 양 눈의 위치에 맞추어 3D 영상을 생성할 수 있다.
일 실시예에 따르면, 객체 트래킹 방법은 제1 파장 대역의 광에 기초한 제1 유형의 입력 영상에서 대상 객체를 검출하는 단계; 상기 제1 유형의 입력 영상에서 상기 대상 객체가 검출된 경우, 상기 대상 객체의 검출 정보를 이용하여 상기 제1 유형의 입력 영상에서 상기 대상 객체를 트래킹하는 단계; 상기 제1 유형의 입력 영상 및 제1 데이터베이스를 비교하여 상기 제1 유형의 입력 영상의 신뢰도를 측정하는 단계; 및 상기 제1 유형의 입력 영상의 신뢰도가 제1 임계치보다 낮은 경우, 상기 검출 정보를 이용하여 제2 파장 대역의 광에 기초한 제2 유형의 입력 영상에서 상기 대상 객체를 트래킹하는 단계를 포함한다.
상기 제1 파장 대역은 가시선 대역을 포함하고, 상기 제2 파장 대역은 적외선 대역을 포함할 수 있다. 상기 제1 유형의 입력 영상 및 상기 제2 유형의 입력 영상은 적외선 차단 필터가 제거된 카메라를 통해 획득될 수 있고, 상기 객체 트래킹 방법은 상기 제1 유형의 입력 영상의 신뢰도가 상기 제1 임계치보다 낮은 경우, 적외선 대역의 광을 제공하는 적외선 광원을 제어하는 단계를 더 포함할 수 있다. 상기 제1 파장 대역이 가시선 영역을 포함하는 경우, 상기 적외선 광원을 제어하는 단계는 상기 적외선 광원을 활성화시키는 단계를 포함할 수 있다. 상기 제1 데이터베이스는 미리 정해진 기준보다 높은 신뢰도를 갖고, 상기 제1 파장 대역의 광에 기초하여 획득된 적어도 하나의 제1 참조 영상을 포함할 수 있다.
상기 객체 트래킹 방법은 상기 제2 유형의 입력 영상 및 제2 데이터베이스를 비교하여 상기 제2 유형의 입력 영상의 신뢰도를 측정하는 단계; 및 상기 제2 유형의 입력 영상의 신뢰도가 제2 임계치보다 낮은 경우, 상기 제1 유형의 입력 영상 또는 제2 유형의 입력 영상에서 상기 대상 객체를 검출하는 단계를 더 포함할 수 있다. 상기 제2 데이터베이스는 미리 정해진 임계치보다 높은 신뢰도를 갖고, 상기 제2 파장 대역의 광에 기초하여 획득된 적어도 하나의 제2 참조 영상을 포함할 수 있다.
상기 객체 트래킹 방법은 상기 제1 유형의 입력 영상에서 상기 대상 객체가 검출되지 않은 경우, 상기 제2 유형의 입력 영상에서 상기 대상 객체를 검출하는 단계를 더 포함할 수 있다. 상기 객체 트래킹 방법은 상기 제2 유형의 입력 영상에서 상기 대상 객체가 검출된 경우, 상기 대상 객체의 검출 정보를 이용하여 상기 제2 유형의 입력 영상에서 상기 대상 객체를 트래킹하는 단계; 상기 제2 유형의 입력 영상 및 제2 데이터베이스를 비교하여 상기 제2 유형의 입력 영상의 신뢰도를 측정하는 단계; 및 상기 제2 유형의 입력 영상의 신뢰도가 제2 임계치보다 낮은 경우, 상기 검출 정보를 이용하여 상기 제1 유형의 입력 영상에서 상기 대상 객체를 트래킹하는 단계를 더 포함할 수 있다.
상기 제1 유형의 입력 영상에서 대상 객체를 검출하는 단계는 에러 데이터에 기초하여 미리 학습된 제1 검출기를 이용하여 수행될 수 있고, 상기 에러 데이터는 트레이닝 데이터 중에 상기 대상 객체의 검출이 완료되지 못한 데이터, 및 상기 트레이닝 데이터 중에 다른 객체가 상기 대상 객체로 잘못 검출된 데이터 중 적어도 하나를 포함할 수 있다.
상기 검출 정보는 상기 제1 유형의 입력 영상의 제1 프레임에서 상기 대상 객체에 대응하는 검출 영역을 포함할 수 있고, 상기 제1 유형의 입력 영상에서 상기 대상 객체를 트래킹하는 단계는 상기 검출 영역을 이용하여 상기 제1 유형의 입력 영상의 제2 프레임에서 상기 대상 객체를 트래킹하는 단계를 포함할 수 있다.
일 실시예에 따르면, 객체 트래킹 장치는 프로세서; 및 상기 프로세서에서 읽을 수 있는 명령어를 포함하는 메모리를 포함하고, 상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는 제1 파장 대역의 광에 기초한 제1 유형의 입력 영상에서 대상 객체를 검출하고, 상기 제1 유형의 입력 영상에서 상기 대상 객체가 검출된 경우 상기 대상 객체의 검출 정보를 이용하여 상기 제1 유형의 입력 영상에서 상기 대상 객체를 트래킹하고, 상기 제1 유형의 입력 영상 및 제1 데이터베이스를 비교하여 상기 제1 유형의 입력 영상의 신뢰도를 측정하고, 상기 제1 유형의 입력 영상의 신뢰도가 제1 임계치보다 낮은 경우 상기 검출 정보를 이용하여 제2 파장 대역의 광에 기초한 제2 유형의 입력 영상에서 상기 대상 객체를 트래킹한다.
도 1은 일 실시예에 따른 객체 트래킹 장치를 나타낸 블록도.
도 2는 일 실시예에 따른 객체 트래킹 방법을 나타낸 동작 흐름도.
도 3은 일 실시예에 따른 신뢰도 측정기의 동작을 나타낸 도면.
도 4는 일 실시예에 따른 입력 영상의 신뢰도를 측정하는 과정을 나타낸 도면.
도 5는 일 실시예에 따른 트래킹 영역을 이용하여 객체를 트래킹하는 과정을 나타낸 도면.
도 6은 일 실시예에 따른 품질 측정 기반의 트래커를 나타낸 블록도.
도 7은 일 실시예에 따른 트레이닝 장치를 나타낸 블록도.
도 8은 일 실시예에 따른 검출기들의 학습 과정을 나타낸 블록도.
도 9는 일 실시예에 따른 제1 파장 대역의 광에 기초한 입력 영상에서 대상 객체를 트래킹하는 트래커를 트레이닝하는 과정을 나타낸 도면.
도 10은 일 실시예에 따른 제2 파장 대역의 광에 기초한 입력 영상에서 대상 객체를 트래킹하는 트래커를 트레이닝하는 과정을 나타낸 도면.
도 11은 일 실시예에 따른 스테레오 카메라를 이용한 객체 트래킹 방법을 나타낸 동작 흐름도.
도 12는 일 실시예에 따른 영상 처리 장치를 나타낸 블록도.
아래 개시되어 있는 특정한 구조 또는 기능들은 단지 기술적 개념을 설명하기 위한 목적으로 예시된 것으로서, 아래 개시와는 달리 다른 다양한 형태로 실시될 수 있으며 본 명세서의 실시예들을 한정하지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 객체 트래킹 장치를 나타낸 블록도이다. 도 1을 참조하면, 객체 트래킹 장치(100)는 영상 처리 장치(110), 카메라(120) 및 적외선 광원(130)을 포함한다. 객체 트래킹 장치(100)는 카메라(120)를 통해 획득한 입력 영상에서 대상 객체(150)를 검출하고, 검출된 대상 객체(150)를 트래킹할 수 있다. 일 실시예에 따르면 대상 객체(150)는 사용자의 눈일 수 있고, 객체 트래킹 장치(100)는 입력 영상에서 사용자의 눈을 대상 객체(150)로서 높은 정밀도로 트래킹할 수 있다. 대상 객체(150)는 사용자의 눈 이외에, 얼굴, 손과 같은 신체 부위, 및 차량, 자전거와 같은 물체를 포함할 수 있다. 아래에서는 대상 객체(150)가 사용자의 눈인 경우에 관해 설명하겠으나 아래의 설명은 대상 객체(150)가 사용자의 눈 이외의 다른 것인 경우에도 적용될 수 있다.
무안경식 3D을 제공하기 위해 사용자의 눈 위치가 요구된다. 무안경식 3D 장치는 카메라를 통해 사용자의 눈을 트래킹하여 눈 위치에 대응하는 3D 영상을 출력할 수 있다. 3D HUD(head up display)는 네비게이션 정보, 악천후에서 운전 보조를 위한 정보, 및 위험 상황이나 위험 대상을 윈드쉴드(windshield)에 표시할 수 있다. 3D HUD에서 3D 정보가 도로 상에 정확히 표현되는 것이 중요하므로, 눈 위치가 지속적으로 정밀하게 검출될 필요가 있다. 예를 들어, 조도가 낮은 환경이나 안경과 같은 장애물이 존재하는 환경에서도 눈 위치가 지속적으로 정밀하게 검출될 수 있어야 한다. 크로스토크(crosstalk)에 따라 사용자에게 잘못된 3D 정보가 제공될 경우 교통사고와 같은 생명에 위험한 상황이 발생될 수 있기 때문이다. 객체 트래킹 장치(100)는 조도가 낮은 환경이나 안경과 같은 장애물이 존재하는 환경 등 다양한 환경에서 촬영된 입력 영상에서 이러한 대상 객체(150)를 트래킹할 수 있다.
카메라(120)는 대상 객체(150)를 촬영하여 영상 처리 장치(110)에 입력 영상을 제공할 수 있다. 영상 처리 장치(110)는 입력 영상에서 대상 객체(150)를 트래킹하여 대상 객체(150)의 좌표를 결정할 수 있다. 카메라(120)는 싱글 카메라이거나, 혹은 스테레오 카메라일 수 있다. 카메라(120)가 싱글 카메라인 경우 영상 처리 장치(110)는 입력 영상에서 대상 객체(150)의 2D 좌표를 추출할 수 있고, 이를 사용자의 IPD(inter pupil distance)와 조합하여 대상 객체(150)의 3D 좌표를 결정할 수 있다. 카메라(120)가 스테레오 카메라인 경우, 영상 처리 장치(110)는 적어도 두 위치에서 촬영된 입력 영상들로부터 대상 객체(150)의 2D 좌표들을 추출할 수 있고, 삼각 측량 방식을 통해 대상 객체(150)의 3D 좌표를 결정할 수 있다.
카메라(120)는 제1 파장 대역의 광에 기초하여 제1 유형의 입력 영상을 생성하고, 제2 파장 대역의 광에 기초하여 제2 유형의 입력 영상을 생성할 수 있다. 카메라(120)는 가시선을 이용하는 비주얼 카메라(visual camera) 및 적외선을 이용하는 IR 카메라(Infrared camera)의 역할을 할 수 있다. 다시 말해, 카메라(120)는 가시선 및 적외선을 모두 이용할 수 있는 하이브리드 카메라일 수 있다. 예를 들어, 카메라(120)에서 적외선 차단 필터(IR cut filter)가 제거될 수 있고, 카메라(120)는 가시선이 제공되는 환경에서는 가시선을 이용하여 대상 객체(150)를 촬영하고, 적외선이 제공되는 환경에서는 적외선을 이용하여 대상 객체(150)를 촬영할 수 있다. 일례로, 카메라(120)는 하이브리드 방식의 스테레오 카메라일 수 있다.
비주얼 카메라의 경우 저조도에서 대상 객체(150)를 트래킹하는데 한계가 있을 수 있다. 저조도 환경에서 비주얼 카메라로 대상 객체(150)를 트래킹하기 위해, 비주얼 카메라의 프레임 레이트(frame rate)를 낮추거나 조리개를 개방할 수 있다. 이 경우, 낮은 프레임 레이트로 인해 카메라 지연(camera latency)이나 영상 흐림(image blurring)이 발생할 수 있다. 저조도 환경에서 IR 카메라가 이용될 수 있으나, IR 카메라가 이용될 경우 지속적인 IR의 사용에 따른 안전 문제가 있을 수 있고, 안경에 의해 눈 주위에 백점(white spot)이 나타나거나, 강한 외광이 존재하는 환경에서 대상 객체(150)의 검출 정확도가 감소될 수 있다.
카메라(120)는 상황에 따라 적절하게 비주얼 카메라로 동작하거나 IR 카메라로 동작할 수 있다. 예를 들어, 영상 처리 장치(110)가 가시선에 기초한 입력 영상으로 대상 객체(150)의 검출에 실패한 경우 카메라(120)는 적외선에 기초하여 대상 객체(150)를 촬영할 수 있다. 이와 같이 카메라(120)가 IR 카메라로 동작하는 경우, 적외선 촬영을 위해 적외선 광원(130)이 활성화될 수 있고, 적외선 광원(130)은 활성화 상태에서 적외선 대역의 광을 제공할 수 있다. 카메라(120)에서 적외선 차단 필터가 제거되어 있으므로, 카메라(120)는 적외선에 기초하여 대상 객체(150)를 촬영할 수 있다. 또한, 영상 처리 장치(110)가 가시선에 기초한 입력 영상의 신뢰도가 떨어진다고 판단할 경우, 카메라(120)는 적외선에 기초하여 대상 객체(150)를 촬영할 수 있다.
조도가 높은 경우 가시선 영상을 이용하는 것이 반드시 트래킹에 유리한 것이 아닐 수 있고, 조도가 낮은 경우 적외선 영상을 이용하는 것이 반드시 트래킹에 유리한 것도 아닐 수 있다. 예를 들어, 조도가 낮은 경우라도 가시선 영상을 이용하는 것이 트래킹에 유리한 상황이 존재할 수 있다. 다시 말해, 조도 값으로 카메라(120)가 이용할 파장 대역을 결정하는 것은 트래킹의 정확도를 보장할 수 없다.
실시예에 따르면 입력 영상의 신뢰도를 출력하도록 트레이닝된 신뢰도 측정기를 이용하여 입력 영상의 신뢰도를 측정하고, 입력 영상의 신뢰도에 따라 모달리티(modality)를 스위칭할 수 있다. 여기서, 모달리티는 특정한 파장 대역과 관련된 장치 또는 동작을 나타낼 수 있다. 입력 영상의 신뢰도가 높다는 것은 입력 영상을 이용한 트래킹 과정의 신뢰도가 높다는 것을 포함할 수 있다. 신뢰도 측정기를 통해 신뢰도가 낮게 측정되는 경우 모달리티를 스위칭하여 트래킹 과정의 신뢰도를 향상시킬 수 있다. 신뢰도 측정기를 이용할 경우, 단순히 조도에 의존하는 것보다 트래킹의 정밀도가 향상될 수 있다.
객체 트래킹 장치(100)는 차량의 3D HUD 디바이스를 위해 운전자의 눈 위치를 트래킹하거나, TV나 모바일 디바이스와 같은 디스플레이 디바이스의 3D 디스플레이에서 시청자의 눈 위치를 트래킹하기 위해 이용될 수 있다. 또한, 객체 트래킹 장치(100)는 운전자의 시점, 운전자의 시선 추적 상태를 모니터링하는데 이용될 수 있다.
객체 트래킹 장치(100)는 검출 모드에서 대상 객체(150)를 검출하고, 검출된 대상 객체(150)의 영역 정보를 이용하여 트래킹 모드에서 대상 객체(150)를 트래킹한다. 예를 들어, 제1 프레임에서 객체가 검출된 경우 객체 트래킹 장치(100)는 검출 정보를 생성하고, 검출 정보를 이용하여 제2 프레임에서 대상 객체(150)를 트래킹할 수 있다. 여기서, 제2 프레임은 제1 프레임의 다음 프레임일 수 있고, 검출 정보는 검출된 대상 객체(150)에 대응하는 검출 영역을 포함할 수 있다. 객체 트래킹 장치(100)가 트래킹 모드에 진입할 경우, 입력 영상의 전체 영역이 아닌 일부 영역에서 대상 객체(150)를 검출하게 되므로 대상 객체(150)를 검출하기 위한 리소스가 절약될 수 있다.
일 실시예에 따르면, 객체 트래킹 장치(100)는 검출 모드에서 에러 데이터 기반으로 트레이닝된 검출기(detector)를 이용할 수 있다. 에러 데이터는 객체 검출의 난이도가 높은 트레이닝 데이터를 의미하며, 에러 데이터를 이용하여 검출기를 트레이닝함으로써 검출기의 검출 성능을 향상시킬 수 있다. 예를 들어, 에러 데이터는 트레이닝 데이터 중에 대상 객체(150)의 검출이 완료되지 못한 데이터, 및 트레이닝 데이터 중에 다른 객체가 대상 객체(150)로 잘못 검출된 데이터 중 적어도 하나를 포함할 수 있다. 대상 객체(150)의 검출이 완료되지 못했다는 것은 대상 객체(150)의 검출에 실패한 것을 의미할 수 있다.
일 실시예에 따르면, 객체 트래킹 장치(100)는 트래킹 모드에서 품질 기반으로 트레이닝된 트래커(tracker)를 이용할 수 있다. 품질 측정기는 입력 영상의 품질에 따라 입력 영상을 분류할 수 있다. 예를 들어, 품질 측정기는 입력 영상을 높은 품질, 중간 품질 및 낮은 품질 중 어느 하나로 분류할 수 있다. 입력 영상의 품질은 트래킹 난이도를 포함할 수 있다. 트래커는 높은 품질의 입력 영상에서 대상 객체(150)를 트래킹하도록 트레이닝된 제1 트래커, 중간 품질의 입력 영상에서 대상 객체(150)를 트래킹하도록 트레이닝된 제2 트래커, 및 낮은 품질의 입력 영상에서 대상 객체(150)를 트래킹하도록 트레이닝된 제3 트래커를 포함할 수 있다. 품질 측정기가 입력 영상의 품질을 측정하면 측정된 품질에 대응하는 트래커가 대상 객체(150)를 트래킹할 수 있다. 품질 기반으로 트레이닝된 트래커를 이용할 경우 트래킹의 정밀도가 향상될 수 있다.
도 2는 일 실시예에 따른 객체 트래킹 방법을 나타낸 동작 흐름도이다. 아래에서 가시선 카메라에 의해 사용되는 파장 대역, 다시 말해 가시선 대역을 포함하는 대역은 제1 파장 대역으로 지칭될 수 있고, IR 카메라에 의해 사용되는 파장 대역, 다시 말해 적외선 대역을 포함하는 대역은 제2 파장 대역으로 지칭될 수 있다. 또한, 제1 파장 대역과 관련된 장치 또는 동작은 제1 모달리티로 지칭될 수 있고, 제2 파장 대역과 관련된 장치 또는 동작은 제2 모달리티로 지칭될 수 있다.
아래의 설명은 입력 영상을 제공하는 카메라가 싱글 카메라인 경우 및 스테레오 카메라인 경우 모두에 적용될 수 있다. 예를 들어, 싱글 카메라가 이용되는 경우 아래의 설명은 싱글 카메라에 관해 그대로 적용될 수 있고, 스테레오 카메라가 이용되는 경우 아래의 설명은 스테레오 카메라를 구성하는 각 카메라에 관해 적용될 수 있다.
도 2를 참조하면, 단계(210)에서 객체 트래킹 장치는 현재 모달리티에 기초하여 입력 영상에서 대상 객체를 검출한다. 현재 모달리티는 제1 모달리티 또는 제2 모달리티일 수 있다. 예를 들어, 현재 모달리티가 제1 모달리티인 경우, 객체 트래킹 장치는 제1 파장 대역의 광에 기초한 제1 유형의 입력 영상을 획득하고, 제1 유형의 입력 영상에서 대상 객체를 검출할 수 있다. 현재 모달리티는 미리 정해진 조건에 따라 단계(240) 또는 단계(290)에서 스위칭될 수 있다. 아래에서는 현재 모달리티가 제1 모달리티에서 시작되는 것을 가정하여 설명하겠으나, 아래의 설명은 현재 모달리티가 제2 모달리티에서 시작되는 경우에도 유사하게 적용될 수 있다.
단계(220)에서 객체 트래킹 장치는 제1 유형의 입력 영상에서 대상 객체가 검출되었는지를 결정한다. 제1 유형의 입력 영상에서 대상 객체가 검출된 경우 객체 트래킹 장치의 동작 모드가 검출 모드에서 트래킹 모드로 전환되고, 단계(250)가 수행될 수 있다. 제1 유형의 입력 영상에서 대상 객체가 검출되지 않은 경우, 단계(230) 및 단계(240)가 수행될 수 있다. 아래에서는 단계(210)에서 제1 유형의 입력 영상에서 대상 객체가 검출된 경우 및 제1 유형의 입력 영상에서 대상 객체가 검출되지 않은 경우에 관해 설명한다.
<제1 유형의 입력 영상에서 대상 객체가 검출되지 않은 경우>
제1 유형의 입력 영상에서 대상 객체가 검출되지 않은 경우, 객체 트래킹 장치는 단계(230)에서 광원 및 카메라 중 적어도 하나를 제어하고, 단계(240)에서 모달리티를 스위칭한다. 예를 들어, 제1 유형의 입력 영상에서 대상 객체가 검출되지 않은 경우, 객체 트래킹 장치는 적외선 광원을 활성화시키고 현재 모달리티를 제1 모달리티에서 제2 모달리티로 스위칭할 수 있다. 그 밖에, 단계(230)에서 카메라의 ISO, 셔터 속도(shutter speed), 조리개(aperture) 등이 조절될 수 있다.
제1 모달리티에서는 제1 파장 대역의 광에 기초한 제1 유형의 입력 영상에 기초한 동작이 수행되고, 제2 모달리티에서는 제2 파장 대역의 광에 기초한 제2 유형의 입력 영상에 기초한 동작이 수행될 수 있다. 예를 들어, 단계(240)에서 현재 모달리티가 제1 모달리티에서 제2 모달리티로 스위칭된 경우, 객체 트래킹 장치는 단계(210)에서 제2 유형의 입력 영상을 획득하고, 제2 유형의 입력 영상에서 대상 객체를 검출할 수 있다. 그 이후, 객체 트래킹 장치는 단계(220)에서 제2 유형의 입력 영상에서 대상 객체가 검출되었는지를 결정하고, 제2 유형의 입력 영상에서 대상 객체가 검출된 경우 동작 모드를 검출 모드에서 트래킹 모드로 전환하고, 단계(250)를 수행할 수 있다. 만약 제2 유형의 입력 영상에서 대상 객체가 검출되지 않은 경우, 객체 트래킹 장치는 단계(230) 및 단계(240)를 수행할 수 있다.
제2 유형의 입력 영상에서 대상 객체가 검출된 경우, 객체 트래킹 장치는 단계(250)에서 대상 객체의 검출 정보를 이용하여 제2 유형의 입력 영상에서 대상 객체를 트래킹할 수 있다. 여기서, 검출 정보는 앞선 단계(210)에서 제2 유형의 입력 영상에서 대상 객체가 검출됨에 따라 생성된 것일 수 있다. 객체 트래킹 장치는 단계(260)에서 제2 유형의 입력 영상 및 제2 데이터베이스를 비교하여 제2 유형의 입력 영상의 신뢰도를 측정하고, 제2 유형의 입력 영상의 신뢰도가 제2 임계치보다 낮은 경우, 단계(270), 단계(280) 및 단계(290)를 수행할 수 있다. 제1 유형의 입력 영상의 신뢰도와 비교되는 임계치는 제1 임계치로 지칭될 수 있고, 제2 유형의 입력 영상의 신뢰도와 비교되는 임계치는 제2 임계치로 지칭될 수 있다.
제2 유형의 입력 영상의 신뢰도가 제2 임계치보다 낮은 결과, 단계(290)에서 현재 모달리티가 제2 모달리티에서 제1 모달리티로 전환된 경우, 단계(250)에서 객체 트래킹 장치는 제1 유형의 입력 영상에서 대상 객체를 트래킹할 수 있다. 제2 데이터베이스는 미리 정해진 임계치보다 높은 신뢰도를 갖고, 제2 파장 대역의 광에 기초하여 획득된 적어도 하나의 제2 참조 영상을 포함할 수 있다. 따라서, 제2 유형의 입력 영상은 제2 데이터베이스에 유사할수록 신뢰도가 높게 측정될 수 있다.
객체 트래킹 장치는 검출 정보를 이용하여 대상 객체를 트래킹할 수 있다. 여기서, 검출 정보는 앞선 단계(210)에서 제2 유형의 입력 영상에서 대상 객체가 검출됨에 따라 생성된 것일 수 있다. 일 실시예에 따르면, 검출 정보는 검출 정보가 생성된 모달리티에 무관하게 이용될 수 있다. 예를 들어, 제2 모달리티에서 검출 정보가 생성된 경우, 생성된 검출 정보는 제1 모달리티에서도 이용될 수 있다. 검출 정보의 검출 영역은 일정한 영역을 나타내므로, 입력 영상의 사이즈가 동일하다면 현재 모달리티에 무관하게 이용될 수 있기 때문이다.
<제1 유형의 입력 영상에서 대상 객체가 검출된 경우>
제1 유형의 입력 영상에서 대상 객체가 검출된 경우, 객체 트래킹 장치는 검출 영역을 포함하는 검출 정보를 생성할 수 있다. 단계(250)에서 객체 트래킹 장치는 제1 유형의 입력 영상의 다음 프레임을 획득하고, 획득된 프레임에서 대상 객체를 트래킹할 수 있다. 객체 트래킹 장치는 검출 정보를 이용하여 대상 객체를 트래킹 할 수 있다.
단계(260)에서 객체 트래킹 장치는 제1 유형의 입력 영상 및 제1 데이터베이스를 비교하여 제1 유형의 입력 영상의 신뢰도를 측정하고, 제1 유형의 입력 영상의 신뢰도 및 제1 임계치를 비교할 수 있다. 제1 데이터베이스는 미리 정해진 기준보다 높은 신뢰도를 갖고, 제1 파장 대역의 광에 기초하여 획득된 적어도 하나의 제1 참조 영상을 포함할 수 있다. 따라서, 제1 유형의 입력 영상은 제1 데이터베이스에 유사할수록 신뢰도가 높게 측정될 수 있다.
제1 유형의 입력 영상의 신뢰도가 제1 임계치보다 높은 경우 단계(250)이 수행될 수 있다. 다시 말해, 제1 유형의 입력 영상의 신뢰도가 제1 임계치보다 높은 경우 제1 모달리티를 통한 트래킹 모드가 지속될 수 있다. 객체 트래킹 장치는 제1 유형의 입력 영상의 다음 프레임을 획득하고, 획득된 프레임에서 대상 객체를 트래킹할 수 있다. 제1 유형의 입력 영상의 신뢰도가 지속적으로 높게 측정되는 경우 객체 트래킹 장치는 제1 유형의 입력 영상의 연속적인 프레임들을 계속 획득하여 제1 유형의 입력 영상에서 대상 객체를 트래킹할 수 있다.
제1 유형의 입력 영상의 신뢰도가 제1 임계치보다 낮은 경우, 단계(270)을 통해 모든 모달리티가 체크되었는지 확인된 이후, 단계(280) 및 단계(290)이 수행될 수 있다. 여기서, 모든 모달리티는 제1 모달리티 및 제2 모달리티를 포함할 수 있다. 예를 들어, 제1 모달리티에 따른 신뢰도가 낮은 경우라도 트래킹 모드를 바로 벗어나지 않고, 제2 모달리티로 트래킹 모드를 진행할 수 있다. 제1 모달리티 및 제2 모달리티 모두에서 신뢰도가 낮게 측정되는 경우 트래킹 모드를 벗어나 검출 모드가 수행될 수 있다. 따라서, 단계(270)에서 모든 모달리티가 체크된 것으로 확인될 경우 단계(210)을 통해 검출 모드가 수행될 수 있고, 아직 일부 모달리티만 체크된 것으로 확인될 경우 단계(280) 및 단계(290)가 수행될 수 있다.
객체 트래킹 장치는 단계(280)에서 광원 및 카메라 중 적어도 하나를 제어하고, 단계(290)에서 모달리티를 스위칭할 수 있다. 예를 들어, 제1 유형의 입력 영상에서 대상 객체가 검출되지 않은 경우, 객체 트래킹 장치는 적외선 광원을 활성화시키고 현재 모달리티를 제1 모달리티에서 제2 모달리티로 스위칭할 수 있다. 그 밖에, 단계(280) 및 단계(290)에는 전술된 단계(230) 및 단계(240)에 관한 설명이 적용될 수 있다.
단계(290)에서 현재 모달리티가 제1 모달리티에서 제2 모달리티로 스위칭된 경우, 객체 트래킹 장치는 단계(250)에서 제2 유형의 입력 영상으로 다음 프레임을 획득하고, 획득된 프레임에서 대상 객체를 트래킹할 수 있다. 객체 트래킹 장치는 검출 정보를 이용하여 대상 객체를 트래킹 할 수 있다. 여기서, 검출 정보는 앞선 단계(210)에서 제1 유형의 입력 영상에서 대상 객체가 검출됨에 따라 생성된 것일 수 있다.
단계(260)에서 객체 트래킹 장치는 제2 유형의 입력 영상 및 제2 데이터베이스를 비교하여 제2 유형의 입력 영상의 신뢰도를 측정하고, 제2 유형의 입력 영상의 신뢰도 및 제2 임계치를 비교할 수 있다. 제2 유형의 입력 영상의 신뢰도가 제2 임계치보다 낮은 경우, 단계(270)이 수행될 수 있다. 제1 모달리티 및 제2 모달리티가 모두 체크된 경우, 트래킹 모드를 벗어나 단계(210)에서 검출 모드가 시작될 수 있다. 검출 모드가 새롭게 시작되는 경우, 현재 모달리티가 유지되거나, 혹은 스위칭될 수 있다. 앞선 예시에서 객체 트래킹 장치는 계속하여 제2 모달리티로 동작하거나, 혹은 현재 모달리티를 제2 모달리티에서 제1 모달리티로 전환하여 제1 모달리티로 동작할 수 있다. 따라서, 단계(210)에서 객체 트래킹 장치는 현재 모달리티에 따라 제1 유형의 입력 영상 또는 제2 유형의 입력 영상에서 대상 객체를 검출할 수 있다.
도 3은 일 실시예에 따른 신뢰도 측정기의 동작을 나타낸 도면이다. 도 3을 참조하면, 신뢰도 측정기(310)는 입력 영상 및 데이터베이스(320)를 비교하여 입력 영상의 신뢰도를 출력한다. 객체 트래킹 장치는 신뢰도 측정기(310)를 이용하여 입력 영상의 신뢰도를 측정하거나, 아래에서 설명되는 신뢰도 측정기(310)의 동작을 직접적으로 수행할 수 있다.
데이터베이스(320)는 제1 데이터베이스(321) 및 제2 데이터베이스(323)를 포함한다. 입력 영상이 제1 모달리티에 대응하는 경우 신뢰도 측정기(310)는 입력 영상 및 제1 데이터베이스(321)를 비교할 수 있고, 입력 영상이 제2 모달리티에 대응하는 경우 신뢰도 측정기(310)는 입력 영상 및 제2 데이터베이스(323)를 비교할 수 있다. 제1 데이터베이스(321)는 미리 정해진 기준보다 높은 신뢰도를 갖고, 제1 파장 대역의 광에 기초하여 획득된 적어도 하나의 제1 참조 영상을 포함할 수 있다. 제2 데이터베이스(323)는 미리 정해진 기준보다 높은 신뢰도를 갖고, 제1 파장 대역의 광에 기초하여 획득된 적어도 하나의 제1 참조 영상을 포함할 수 있다. 일 실시예에 따르면, 품질 기반으로 학습된 트래커에 의해 높은 신뢰도를 갖는 것으로 분류된 참조 영상들로 데이터베이스(320)가 구성될 수 있다.
도 4는 일 실시예에 따른 입력 영상의 신뢰도를 측정하는 과정을 나타낸 도면이다. 참조 영상(410)은 입력 영상(420)의 모달리티에 따라 제1 데이터베이스 또는 제2 데이터베이스에서 획득될 수 있다. 예를 들어, 입력 영상(420)이 제2 유형인 경우, 참조 영상(410)은 제2 데이터베이스에서 획득될 수 있다. 참조 영상(410)의 수는 객체 트래킹 장치의 성능이나 요구되는 트래킹 정밀도 등에 따라 결정될 수 있다.
객체 트래킹 장치는 참조 영상(410)에서 광역 특징들(global features, 411) 및 지역 특징들(local features, 413)을 추출하고, 입력 영상(420)에서 광역 특징들(421) 및 지역 특징들(423)을 추출할 수 있다. 광역 특징들(411, 421)의 수는 l이고, 지역 특징들(413, 423)의 수는 m이고, l + m = n인 것을 가정한다. n은 참조 영상(410)에서 추출된 특징들의 수, 및 입력 영상(420)에서 추출된 특징들의 수를 나타낼 수 있다. l, m, n은 모두 자연수이다.
객체 트래킹 장치는 광역 특징들(411, 421) 및 지역 특징들(413, 423) 각각에 관해 평균 값(mean) 및 표준 값(std)을 계산할 수 있다. 예를 들어, 객체 트래킹 장치는 광역 특징들(411)에 관해 평균 값들(G_gf1_mean 내지 G_gfl_mean) 및 표준 값들(G_gf1_std 내지 G_gfl_std)을 계산할 수 있고, 광역 특징들(421)에 관해 평균 값들(I_gf1_mean 내지 I_gfl_mean) 및 표준 값들(I_gf1_std 내지 I_gfl_std)을 계산할 수 있다. 또한, 객체 트래킹 장치는 지역 특징들(413)에 관해 평균 값들(G_lf1_mean 내지 G_lfm_mean) 및 표준 값들(G_lf1_std 내지 G_lfm_std)을 계산할 수 있고, 지역 특징들(423)에 관해 평균 값들(I_lf1_mean 내지 I_lfm_mean) 및 표준 값들(I_lf1_std 내지 I_lfm_std)을 계산할 수 있다.
객체 트래킹 장치는 계산된 평균 값들 및 표준 값들에 기초하여 특징들 간의 거리를 계산할 수 있다. 예를 들어, 특징들 간의 거리는 아래 수학식 1을 통해 계산될 수 있다.
Figure 112017106663284-pat00001
수학식 1에서 d_i는 참조 영상의 i번째 특징 및 입력 영상의 i번째 특징 간의 거리를 나타내고, I_gfi_mean은 입력 영상의 i 번째 광역 특징의 평균 값을 나타내고, I_gfi_std는 입력 영상의 i 번째 광역 특징의 표준 값을 나타내고,G_gfi_mean은 참조 영상의 i 번째 광역 특징의 평균 값을 나타내고, G_gfi_std는 참조 영상의 i 번째 광역 특징의 표준 값을 나타낸다. I_lfi_mean은 입력 영상의 i 번째 지역 특징의 평균 값을 나타내고, I_lfi_std는 입력 영상의 i 번째 지역 특징의 표준 값을 나타내고, G_lfi_mean은 참조 영상의 i 번째 지역 특징의 평균 값을 나타내고, G_lfi_std는 참조 영상의 i 번째 지역 특징의 표준 값을 나타낸다.
객체 트래킹 장치는 특징들 간의 거리에 기초하여 특징들의 점수를 계산할 수 있다. 예를 들어, 특징들의 점수는 아래 수학식 2를 통해 계산될 수 있다.
Figure 112017106663284-pat00002
수학식 2에서 F_score_i는 i 번째 특징의 점수를 나타내고, d_i는 참조 영상의 i번째 특징 및 입력 영상의 i번째 특징 간의 거리를 나타내고, d_i_max는 d_i의 최대 값을 나타내고, d_i_min은 d_i의 최소 값을 나타낸다.
객체 트래킹 장치는 특징들의 점수를 가중 평균하여 입력 영상의 신뢰도를 계산할 수 있다. 예를 들어, 입력 영상의 신뢰도는 아래 수학식 3을 통해 계산될 수 있다.
Figure 112017106663284-pat00003
수학식 3에서 S는 입력 영상의 신뢰도를 나타내고, F_score_k는 k번째 특징 점수를 나타내고, w_k는 k번째 가중치를 나타내고, n은 추출된 특징들의 수를 나타내고, k는 연산 인덱스를 나타낸다. 객체 트래킹 장치는 도 4를 참조하여 설명된 방법을 통해 입력 영상의 신뢰도를 측정할 수 있다.
도 5는 일 실시예에 따른 트래킹 영역을 이용하여 객체를 트래킹하는 과정을 나타낸 도면이다. 대상 객체를 트래킹하기 위해, 객체 트래킹 장치는 제1 프레임(F1)에서 대상 객체에 대응하는 것으로 추정되는 검출 영역을 결정한다. 검출 영역은 위치 및 사이즈로 특정될 수 있다. 실시예에 따라, 검출 영역의 사이즈는 미리 정해질 수 있고, 검출 영역의 위치가 객체 트래킹 장치에 의하여 결정될 수 있다.
객체 트래킹 장치는 제1 프레임(F1)에서 검출 영역으로부터 대상 객체에 관한 특징점들을 추출함으로써 대상 객체를 정렬한다. 예를 들어, 객체 트래킹 장치는 제1 프레임(F1)에서 검출 영역에 해당하는 부분의 영상으로부터 대상 객체의 형상을 나타내는 특징점들을 추출함으로써, 대상 객체의 기하학적 구조(geometric structure)를 식별할 수 있다. 객체 트래킹 장치는 대상 객체를 정렬한 이후에, 상기 특징점들에 기초하여 대상 객체를 트래킹하기 위한 트래킹 영역(510)을 결정한다. 일 측에 따르면, 객체 트래킹 장치는 상기 특징점들을 중심에 포함하는 영역을 트래킹 영역으로 결정할 수 있다. 객체 트래킹 장치는 트래킹 영역(510)을 이용하여 제2 프레임(F2)에서 대상 객체를 트래킹할 수 있다. 다시 말해, 프레임(F1)의 신뢰도가 임계치에 비해 높은 경우, 프레임(F2)에서는 객체 검출이 다시 수행되지 않을 수 있다.
프레임(F2)에서 대상 객체는 프레임(F1)에서의 대상 객체의 위치에 비하여 우측 상단에 위치할 수 있다. 객체 검출 장치는 프레임(F2)에서 트래킹 영역(510)으로부터 대상 객체의 특징점들을 추출한다. 객체 트래킹 장치는 프레임(F2)에서 트래킹 영역(510)으로부터 추출된 특징점들에 기초하여 새로운 트래킹 영역(520)을 결정한다. 예를 들어, 객체 트래킹 장치는 트래킹 영역(510)에서 추출된 특징점들을 중심에 포함하는 영역을 트래킹 영역(520)으로 결정할 수 있다. 프레임(F3)에서도 프레임(F2)에서와 동일하게 트래킹 영역(520)으로부터 대상 객체의 특징점들이 추출되고, 새로운 트래킹 영역(530)을 결정될 수 있다. 이와 같이, 입력 영상의 신뢰도가 임계치에 비해 높은 경우, 객체 트래킹 장치는 트래킹 모드에서 대상 객체를 지속적으로 트래킹할 수 있다.
객체 트래킹 장치는 대상 객체를 트래킹할 때 검출기의 사용을 최소화할 수 있다. 검출기의 사용을 최소화하는 이유는 검출기의 검출 동작에 소모되는 컴퓨팅 자원 때문이다. 검출기는 대상 객체를 검출하기 위해 입력 영상의 전체 영역을 스캔하므로, 검출기의 검출 동작에는 컴퓨팅 자원이 크게 소모될 수 있다.
객체 트래킹 장치는 입력 영상에 포함된 대상 객체를 트래킹면서 대상 객체의 위치 정보를 출력할 수 있다. 예를 들어, 대상 객체의 위치 정보는 사용자의 눈 위치를 포함할 수 있다. 객체 트래킹 장치는 입력 영상에 포함된 복수의 프레임들에서 대상 객체를 트래킹하고, 각각의 프레임들에 관하여 사용자의 눈 위치를 출력할 수 있다. 눈 위치는 2차원 또는 3차원 좌표로 특정될 수 있다.
도 6은 일 실시예에 따른 품질 측정 기반의 트래커를 나타낸 블록도이다. 도 6을 참조하면, 트래커(620)는 제1 트래커(611), 제2 트래커(613) 및 제3 트래커(615)을 포함한다. 아래에서는 설명의 편의를 위해 트래커(620)가 세 개의 서브 트래커들을 포함하는 것으로 설명하겠으나, 트래커(620)는 두 개 또는 네 개 이상의 서브 트래커들을 포함할 수 있다. 서브 트래커들은 서로 다른 품질을 갖는 영상들을 학습할 수 있다. 예를 들어, 제1 트래커(611)는 높은 품질의 영상을 학습할 수 있고, 제2 트래커(613)는 중간 품질의 영상을 학습할 수 있고, 제3 트래커(615)는 낮은 품질의 영상을 학습할 수 있다.
객체 트래킹 장치는 입력 영상의 품질을 측정하고, 입력 영상 및 입력 영상의 품질 정보를 트래커(620)에 입력할 수 있다. 객체 트래킹 장치는 품질 측정기(610)를 이용하여 입력 영상의 품질을 측정할 수 있다. 트래커(620)는 서브 트래커들 중에 입력 영상의 품질 정보에 대응하는 서브 트래커를 선택하고, 선택된 서브 트래커에 입력 영상을 제공할 수 있다. 예를 들어, 입력 영상의 품질이 높은 경우, 높은 품질의 영상을 학습한 제1 트래커(611)에 입력 영상을 제공할 수 있다. 입력 영상을 제공 받은 서브 트래커는 입력 영상에서 대상 객체를 트래킹할 수 있다.
도 7은 일 실시예에 따른 트레이닝 장치를 나타낸 블록도이다. 도 7을 참조하면, 트레이닝 장치(700)는 프로세서(710) 및 메모리(720)를 포함한다. 메모리(720)는 뉴럴 네트워크(725), 및 프로세서(710)에서 읽을 수 있는 명령어를 포함할 수 있다. 뉴럴 네트워크(725)는 검출기, 트래커, 신뢰도 측정기 및 품질 측정기에 대응할 수 있다. 상기 명령어가 프로세서(710)에서 실행되면, 프로세서(710)는 뉴럴 네트워크(725)를 위한 트레이닝시킬 수 있다. 뉴럴 네트워크(725)를 트레이닝시킨다는 것은 뉴럴 네트워크(725)의 파라미터를 트레이닝 시키는 것, 뉴럴 네트워크(725)를 갱신하는 것, 혹은 뉴럴 네트워크(725)의 파라미터를 갱신하는 것을 포함할 수 있다. 메모리(720)는 같이 트레이닝 동작에 필요한 데이터 및 트레이닝이 완료된 상태의 뉴럴 네트워크(725)를 저장할 수 있다.
도 8은 일 실시예에 따른 검출기들의 학습 과정을 나타낸 블록도이다. 도 8을 참조하면, 제1 샘플 검출기(810)는 제1 트레이닝 데이터에서 대상 객체를 검출하고, 제1 샘플 검출기(810)의 출력에 기초하여 제1 에러 데이터(831)가 구성된다. 제1 트레이닝 데이터는 제1 파장 대역에 기초한 영상들로 구성될 수 있고, 제1 샘플 검출기(810)는 제1 파장 대역에 기초한 영상들에서 대상 객체를 검출하도록 미리 트레이닝될 수 있다. 제2 샘플 검출기(820)는 제2 트레이닝 데이터에서 대상 객체를 검출하고, 제2 샘플 검출기(820)의 출력에 기초하여 제2 에러 데이터(833)가 구성된다. 제2 트레이닝 데이터는 제2 파장 대역에 기초한 영상들로 구성될 수 있고, 제2 샘플 검출기(820)는 제2 파장 대역에 기초한 영상들에서 대상 객체를 검출하도록 미리 트레이닝될 수 있다.
에러 데이터베이스(830)는 제1 에러 데이터(831) 및 제2 에러 데이터(833)를 저장한다. 에러 데이터는 객체 검출의 난이도가 높은 트레이닝 데이터를 의미하며, 에러 데이터를 이용하여 검출기를 트레이닝함으로써 검출기의 검출 성능을 향상시킬 수 있다. 예를 들어, 에러 데이터는 트레이닝 데이터 중에 대상 객체의 검출이 완료되지 못한 데이터, 및 트레이닝 데이터 중에 다른 객체가 대상 객체로 잘못 검출된 데이터 중 적어도 하나를 포함할 수 있다. 제1 에러 데이터(831)는 제1 파장 대역에 기초한 영상들 중에 객체 검출의 난이도가 높은 것을 포함할 수 있고, 제2 에러 데이터(833)는 제2 파장 대역에 기초한 영상들 중에 객체 검출의 난이도가 높은 것을 포함할 수 있다.
제1 검출기(840)는 제1 에러 데이터(831)로 트레이닝될 수 있고, 제2 검출기(850)는 제2 에러 데이터(833)로 트레이닝될 수 있다. 따라서, 제1 검출기(840)는 제1 파장 대역의 영상들 중 객체 검출 난이도가 높은 영상에서 대상 객체를 검출할 수 있는 성능을 보유할 수 있고, 제2 검출기(850)는 제2 파장 대역의 영상들 중 객체 검출 난이도가 높은 영상에서 대상 객체를 검출할 수 있는 성능을 보유할 수 있다. 객체 트래킹 장치는 제1 유형의 입력 영상에서 대상 객체를 검출하기 위해 제1 검출기(840)를 이용할 수 있고, 제2 유형의 입력 영상에서 대상 객체를 검출하기 위해 제2 검출기(850)를 이용할 수 있다. 다시 말해, 객체 트래킹 장치는 모달리티 별로 학습된 검출기들을 이용하여 입력 영상에서 대상 객체를 검출할 수 있다.
도 9는 일 실시예에 따른 제1 파장 대역의 광에 기초한 입력 영상에서 대상 객체를 트래킹하는 트래커를 트레이닝하는 과정을 나타낸 도면이다. 도 9를 참조하면, 트레이닝 데이터(910)는 높은 품질 데이터(921), 중간 품질 데이터(923) 및 낮은 품질 데이터(925)로 분류될 수 있다. 트레이닝 데이터(910)는 제1 파장 대역의 광에 기초하여 촬영된 영상들이다. 트레이닝 데이터(910)는 품질 측정기를 통해 분류될 수 있다. 눈이 선명하게 표현된 영상은 높은 품질 데이터(921)로 분류될 수 있고, 이보다 눈이 덜 선명하게 표현된 영상은 중간 품질 데이터(923)로 분류될 수 있고, 낮은 조도에서 촬영된 영상, 혹은 눈의 중심이 불확실하게 표현된 영상은 낮은 품질의 데이터(925)로 분류될 수 있다.
제1 트래커(931)는 높은 품질 데이터(921)에 기초하여 트레이닝될 수 있고, 제2 트래커(933)는 중간 품질 데이터(923)에 기초하여 트레이닝될 수 있고, 제3 트래커(935)는 낮은 품질 데이터(925)에 기초하여 트레이닝될 수 있다. 제1 트래커(931) 내지 제3 트래커(935) 각각은 서브 트래커로 지칭될 수 있으며, 제1 트래커(931) 내지 제3 트래커(935)의 트레이닝이 완료된 버전이 도 6을 통해 설명된 제1 트래커(611) 내지 제3 트래커(615)에 대응될 수 있다.
설명의 편의를 위해 이와 같이 품질 기반으로 트레이닝된 트래커를 멀티 모델로 지칭한다. 멀티 모델은 싱글 모델에 비해 높은 트래킹 성능을 발휘할 수 있으며, 멀티 모델로 도 3을 통해 설명된 제1 데이터베이스(321)를 구성할 경우 입력 영상의 신뢰도를 높은 성능으로 측정할 수 있다. 예를 들어, 멀티 모델은 일정한 트레이닝 데이터 세트를 테스트하여 테스트 에러 별로 분류할 수 있다. 트레이닝 데이터 세트가 에러가 낮은 제1 그룹, 에러가 보통인 제2 그룹 및 에러가 높은 제3 그룹으로 분류된 경우, 제1 그룹으로 제1 데이터베이스(321)기 구성될 수 있다.
도 10은 일 실시예에 따른 제2 파장 대역의 광에 기초한 입력 영상에서 대상 객체를 트래킹하는 트래커를 트레이닝하는 과정을 나타낸 도면이다. 도 10을 참조하면, 트레이닝 데이터(1010)는 높은 품질 데이터(1021), 중간 품질 데이터(1023) 및 낮은 품질 데이터(1025)로 분류될 수 있다. 트레이닝 데이터(1010)는 제2 파장 대역의 광에 기초하여 촬영된 영상들이다. 트레이닝 데이터(1010)는 품질 측정기를 통해 분류될 수 있다. 눈이 선명하게 표현된 영상은 높은 품질 데이터(1021)로 분류될 수 있고, 약한 안경 반사를 포함하거나, 눈이 덜 선명하게 표현된 영상은 중간 품질 데이터(1023)로 분류될 수 있고, 강한 안경 반사를 포함하거나, 눈의 중심이 불확실하게 표현된 영상은 낮은 품질의 데이터(1025)로 분류될 수 있다.
제4 트래커(1031)는 높은 품질 데이터(1021)에 기초하여 트레이닝될 수 있고, 제5 트래커(1033)는 중간 품질 데이터(1023)에 기초하여 트레이닝될 수 있고, 제6 트래커(1035)는 낮은 품질 데이터(1025)에 기초하여 트레이닝될 수 있다. 제4 트래커(1031) 내지 제6 트래커(1035)로 구성된 멀티 모델을 이용하여 도 3을 통해 설명된 제2 데이터베이스(323)가 구성될 수 있다. 예를 들어, 멀티 모델은 일정한 트레이닝 데이터 세트를 테스트하여 트레이닝 데이터 세트를 에러가 낮은 제4 그룹, 에러가 보통인 제5 그룹 및 에러가 높은 제6 그룹으로 분류할 수 있고, 제4 그룹으로 제2 데이터베이스(323)가 구성될 수 있다.
도 11은 일 실시예에 따른 스테레오 카메라를 이용한 객체 트래킹 방법을 나타낸 동작 흐름도이다. 스테레오 카메라는 제1 카메라를 통해 제1 입력 영상을 생성하고, 제2 카메라를 통해 제2 입력 영상을 생성할 수 있다. 예를 들어, 제1 카메라 및 제2 카메라는 제1 모달리티에서 제1 파장 대역의 광에 기초하여 제1 유형의 제1 입력 영상 및 제1 유형의 제2 입력 영상을 생성할 수 있다. 단계들(1110, 1111, 1112, 1113, 1114)은 제1 입력 영상에 기초하여 수행될 수 있고, 단계들(1120, 1121, 1122, 1123, 1124)은 제2 입력 영상에 기초하여 수행될 수 있다. 단계들(1110, 1111, 1112, 1113, 1114) 및 단계들(1120, 1121, 1122, 1123, 1124)은 서로 동기화 상태에서 수행될 수 있다. 아래에서는 현재 모달리티가 제1 모달리티에서 시작되는 경우를 설명한다.
객체 트래킹 장치는 단계(1110)에서 제1 유형의 제1 입력 영상을 획득하여 제1 유형의 제1 입력 영상에서 대상 객체를 검출하고, 단계(1120)에서 제1 유형의 제2 입력 영상을 획득하여 제1 유형의 제2 입력 영상에서 대상 객체를 검출한다. 객체 트래킹 장치는 단계들(1111, 1121)에서 대상 객체의 검출 여부를 결정한다. 대상 객체가 검출된 경우 단계들(1112, 1122)가 수행되고, 대상 객체가 검출되지 않은 경우 단계들(1130, 1131)이 수행된다. 제1 유형의 제1 입력 영상 및 제1 유형의 제2 입력 영상 중 어느 하나에서라도 대상 객체가 검출되지 않은 경우, 단계들(1130, 1131)이 수행될 수 있다. 단계들(1130, 1131)에서 객체 트래킹 장치는 광원 및 카메라 중 적어도 하나를 제어하고, 모달리치를 스위칭한다.
객체 트래킹 장치는 단계(1112)에서 제1 유형의 제1 입력 영상의 다음 프레임을 획득하고 제1 유형의 제1 입력 영상의 다음 프레임에서 대상 객체를 트래킹하고, 단계(1122)에서 제1 유형의 제2 입력 영상의 다음 프레임을 획득하고 제1 유형의 제2 입력 영상의 다음 프레임에서 대상 객체를 트래킹한다. 객체 트래킹 장치는 검출 정보를 이용하여 대상 객체를 트래킹할 수 있다.
객체 트래킹 장치는 단계들(1113, 1123)에서 입력 영상들의 신뢰도를 측정하고, 측정된 신뢰도 및 임계치를 비교한다. 신뢰도가 임계치보다 높은 경우 단계들(1114, 1124)이 수행될 수 있고, 신뢰도가 임계치보다 낮은 경우 단계들(1140, 1141)이 수행될 수 있다. 제1 유형의 제1 입력 영상 및 제1 유형의 제2 입력 영상 중 어느 하나라도 임계치보다 낮은 신뢰도로 측정된 경우 단계들(1140, 1141)이 수행될 수 있다. 신뢰도가 임계치보다 낮게 측정되고, 모든 모달리티가 체크된 경우 단계들(1110, 1120)이 수행될 수 있다. 그 밖에, 스테레오 카메라를 이용한 객체 트래킹 방법에는 도 2를 통해 설명된 내용이 적용될 수 있다.
도 12는 일 실시예에 따른 영상 처리 장치를 나타낸 블록도이다. 도 12를 참조하면, 영상 처리 장치(1200)는 프로세서(1210) 및 메모리(1220)를 포함한다. 메모리(1220)는 객체 트래킹을 위한 데이터 및 프로세서(1210)에서 읽을 수 있는 명령어를 포함할 수 있다. 객체 트래킹을 위한 데이터는 트레이닝이 완료된 검출기, 트래커, 신뢰도 측정기 및 품질 측정기를 포함할 수 있다. 메모리(1220) 내 명령어가 프로세서(1210)에서 실행되면, 프로세서(1210)는 객체 트래킹을 위한 동작을 수행할 수 있다. 예를 들어, 프로세서(1210)는 제1 파장 대역의 광에 기초한 제1 유형의 입력 영상에서 대상 객체를 검출하고, 제1 유형의 입력 영상에서 대상 객체가 검출된 경우 대상 객체의 검출 정보를 이용하여 제1 유형의 입력 영상에서 대상 객체를 트래킹하고, 제1 유형의 입력 영상 및 제1 데이터베이스를 비교하여 제1 유형의 입력 영상의 신뢰도를 측정하고, 제1 유형의 입력 영상의 신뢰도가 제1 임계치보다 낮은 경우 검출 정보를 이용하여 제2 파장 대역의 광에 기초한 제2 유형의 입력 영상에서 대상 객체를 트래킹할 수 있다. 그 밖에, 영상 처리 장치(1200)에는 도 1 내지 도 11을 통해 설명된 내용이 적용될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 현재 모달리티를 제1 파장 대역의 광을 이용하는 제1 모달리티로 설정하는 단계;
    상기 제1 파장 대역의 광에 기초한 제1 유형의 입력 영상에서 대상 객체를 검출하는 단계;
    상기 제1 유형의 입력 영상에서 상기 대상 객체가 검출된 경우, 상기 대상 객체의 검출 정보를 이용하여 상기 제1 유형의 입력 영상에서 상기 대상 객체를 트래킹하는 단계;
    뉴럴 네트워크에 입력되는 영상의 신뢰도를 출력하도록 트레이닝된 상기 뉴럴 네트워크의 상기 제1 유형의 입력 영상에 대한 출력에 기초하여 상기 제1 유형의 입력 영상의 신뢰도를 측정하는 단계;
    상기 제1 유형의 입력 영상의 신뢰도가 지속적으로 높게 측정되는 경우, 상기 제1 유형의 입력 영상의 연속적인 프레임들을 계속 획득하여 상기 제1 유형의 입력 영상에서 상기 대상 객체를 추적하는 단계;
    상기 제1 유형의 입력 영상의 신뢰도가 제1 임계치보다 낮은 경우, 상기 현재 모달리티를 제2 파장 대역의 광을 이용하는 제2 모달리티로 설정하는 단계;
    상기 검출 정보를 이용하여 상기 제2 파장 대역의 광에 기초한 제2 유형의 입력 영상에서 상기 대상 객체를 트래킹하는 단계;
    상기 뉴럴 네트워크의 상기 제2 유형의 입력 영상에 대한 출력에 기초하여 상기 제2 유형의 입력 영상의 신뢰도를 측정하는 단계;
    상기 제2 유형의 입력 영상의 신뢰도가 지속적으로 높게 측정되는 경우, 상기 제2 유형의 입력 영상의 연속적인 프레임들을 계속 획득하여 상기 제2 유형의 입력 영상에서 상기 대상 객체를 추적하는 단계; 및
    상기 제2 유형의 입력 영상의 신뢰도가 제2 임계 값보다 낮은 경우, 상기 현재 모달리티를 상기 제1 모달리티로 설정하는 단계
    를 포함하는 객체 트래킹 방법.
  2. 제1항에 있어서,
    상기 제1 파장 대역은 가시선 대역을 포함하고, 상기 제2 파장 대역은 적외선 대역을 포함하는, 객체 트래킹 방법.
  3. 제1항에 있어서,
    상기 제1 유형의 입력 영상 및 상기 제2 유형의 입력 영상은 적외선 차단 필터가 제거된 카메라를 통해 획득되고,
    상기 제1 유형의 입력 영상의 신뢰도가 상기 제1 임계치보다 낮은 경우, 적외선 대역의 광을 제공하는 적외선 광원을 제어하는 단계를 더 포함하는,
    객체 트래킹 방법.
  4. 제3항에 있어서,
    상기 제1 파장 대역이 가시선 영역을 포함하는 경우, 상기 적외선 광원을 제어하는 단계는 상기 적외선 광원을 활성화시키는 단계를 포함하는, 객체 트래킹 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 제1 유형의 입력 영상에서 대상 객체를 검출하는 단계는 에러 데이터에 기초하여 미리 학습된 제1 검출기를 이용하여 수행되고,
    상기 에러 데이터는 트레이닝 데이터 중에 상기 대상 객체의 검출이 완료되지 못한 데이터, 및 상기 트레이닝 데이터 중에 다른 객체가 상기 대상 객체로 잘못 검출된 데이터 중 적어도 하나를 포함하는,
    객체 트래킹 방법.
  11. 제1항에 있어서,
    상기 검출 정보는 상기 제1 유형의 입력 영상의 제1 프레임에서 상기 대상 객체에 대응하는 검출 영역을 포함하고,
    상기 제1 유형의 입력 영상에서 상기 대상 객체를 트래킹하는 단계는 상기 검출 영역을 이용하여 상기 제1 유형의 입력 영상의 제2 프레임에서 상기 대상 객체를 트래킹하는 단계를 포함하는,
    객체 트래킹 방법.
  12. 제1항 내지 제4항, 제10항, 및 제11항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 저장매체.
  13. 프로세서; 및
    상기 프로세서에서 읽을 수 있는 명령어를 포함하는 메모리
    를 포함하고,
    상기 명령어가 상기 프로세서에서 실행되면, 상기 프로세서는
    현재 모달리티를 제1 파장 대역의 광을 이용하는 제1 모달리티로 설정하고,
    상기 제1 파장 대역의 광에 기초한 제1 유형의 입력 영상에서 대상 객체를 검출하고, 상기 제1 유형의 입력 영상에서 상기 대상 객체가 검출된 경우 상기 대상 객체의 검출 정보를 이용하여 상기 제1 유형의 입력 영상에서 상기 대상 객체를 트래킹하고, 뉴럴 네트워크에 입력되는 영상의 신뢰도를 출력하도록 트레이닝된 상기 뉴럴 네트워크의 상기 제1 유형의 입력 영상에 대한 출력에 기초하여 상기 제1 유형의 입력 영상의 신뢰도를 측정하고, 상기 제1 유형의 입력 영상의 신뢰도가 지속적으로 높게 측정되는 경우, 상기 제1 유형의 입력 영상의 연속적인 프레임들을 계속 획득하여 상기 제1 유형의 입력 영상에서 상기 대상 객체를 추적하고,
    상기 제1 유형의 입력 영상의 신뢰도가 제1 임계치보다 낮은 경우, 상기 현재 모달리티를 제2 파장 대역의 광을 이용하는 제2 모달리티로 설정하고, 상기 검출 정보를 이용하여 상기 제2 파장 대역의 광에 기초한 제2 유형의 입력 영상에서 상기 대상 객체를 트래킹하고, 상기 뉴럴 네트워크의 상기 제2 유형의 입력 영상에 대한 출력에 기초하여 상기 제2 유형의 입력 영상의 신뢰도를 측정하고, 상기 제2 유형의 입력 영상의 신뢰도가 지속적으로 높게 측정되는 경우, 상기 제2 유형의 입력 영상의 연속적인 프레임들을 계속 획득하여 상기 제2 유형의 입력 영상에서 상기 대상 객체를 추적하고,
    상기 제2 유형의 입력 영상의 신뢰도가 제2 임계 값보다 낮은 경우, 상기 현재 모달리티를 상기 제1 모달리티로 설정하는, 객체 트래킹 장치.
  14. 제13항에 있어서,
    상기 제1 파장 대역은 가시선 대역을 포함하고, 상기 제2 파장 대역은 적외선 대역을 포함하는, 객체 트래킹 장치.
  15. 제13항에 있어서,
    상기 제1 파장 대역의 광에 기초하여 상기 제1 유형의 입력 영상을 생성하고, 상기 제2 파장 대역의 광에 기초하여 상기 제2 유형의 입력 영상을 생성하는 카메라; 및
    적외선 대역의 광을 제공하는 적외선 광원
    을 더 포함하는, 객체 트래킹 장치.
  16. 제15항에 있어서,
    상기 제1 파장 대역이 가시선 영역을 포함하는 경우, 상기 제1 유형의 입력 영상의 신뢰도가 상기 제1 임계치보다 낮은 것에 대응하여 상기 적외선 광원은 활성화되는, 객체 트래킹 장치.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020170141332A 2017-10-27 2017-10-27 객체 트래킹 방법 및 장치 KR102495359B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020170141332A KR102495359B1 (ko) 2017-10-27 2017-10-27 객체 트래킹 방법 및 장치
US16/013,614 US10755420B2 (en) 2017-10-27 2018-06-20 Method and apparatus for tracking object
CN201810755172.8A CN109727271B (zh) 2017-10-27 2018-07-11 用于跟踪对象的方法和设备
EP18183086.0A EP3477540A1 (en) 2017-10-27 2018-07-12 Method and apparatus for tracking object
JP2018193230A JP7163129B2 (ja) 2017-10-27 2018-10-12 オブジェクトトラッキング方法及び装置
US16/936,958 US10977801B2 (en) 2017-10-27 2020-07-23 Method and apparatus for tracking object
US17/227,806 US11676421B2 (en) 2017-10-27 2021-04-12 Method and apparatus for tracking object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170141332A KR102495359B1 (ko) 2017-10-27 2017-10-27 객체 트래킹 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190050876A KR20190050876A (ko) 2019-05-14
KR102495359B1 true KR102495359B1 (ko) 2023-02-02

Family

ID=63113319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170141332A KR102495359B1 (ko) 2017-10-27 2017-10-27 객체 트래킹 방법 및 장치

Country Status (5)

Country Link
US (3) US10755420B2 (ko)
EP (1) EP3477540A1 (ko)
JP (1) JP7163129B2 (ko)
KR (1) KR102495359B1 (ko)
CN (1) CN109727271B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102565277B1 (ko) 2017-11-24 2023-08-09 삼성전자주식회사 영상 복원 장치 및 방법
US11820289B2 (en) * 2018-07-31 2023-11-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
JP2021535564A (ja) * 2018-08-27 2021-12-16 シグニファイ ホールディング ビー ヴィSignify Holding B.V. 物体検出アルゴリズムで使用する光源を調整するためのシステム及び方法
KR102608471B1 (ko) 2018-11-06 2023-12-01 삼성전자주식회사 눈 추적 방법 및 장치
KR102650332B1 (ko) 2018-12-12 2024-03-22 삼성전자주식회사 3차원 영상을 표시하는 장치 및 방법
KR20210073135A (ko) 2019-12-10 2021-06-18 삼성전자주식회사 눈 복원 기반의 눈 추적 방법 및 장치
CN112544072A (zh) * 2019-12-13 2021-03-23 深圳市大疆创新科技有限公司 设备/集成设备的工作方法、装置、可移动设备、介质
CN111815669B (zh) * 2020-06-23 2023-02-28 浙江大华技术股份有限公司 目标跟踪方法、目标跟踪装置及存储装置
CN112132864B (zh) * 2020-09-21 2024-04-09 大连遨游智能科技有限公司 基于视觉的机器人跟随方法及跟随机器人
CN112581507A (zh) * 2020-12-31 2021-03-30 北京澎思科技有限公司 目标跟踪方法、系统及计算机可读存储介质
CN113327273B (zh) * 2021-06-15 2023-12-19 中国人民解放军火箭军工程大学 一种基于可变窗函数相关滤波的红外目标跟踪方法
DE102022123295A1 (de) 2022-09-13 2024-03-14 Zf Cv Systems Global Gmbh Stereovisions-System, Fahrerassistenzsystem und Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen
CN116912290B (zh) * 2023-09-11 2023-12-15 四川都睿感控科技有限公司 一种记忆增强的难易视频运动小目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296382A (ja) 2004-04-13 2005-10-27 Honda Motor Co Ltd 視線検出装置
US20100182433A1 (en) 2007-10-17 2010-07-22 Hitachi Kokusai Electric, Inc. Object detection system
US20150309568A1 (en) * 2012-11-27 2015-10-29 Kyocera Corporation Electronic apparatus and eye-gaze input method
JP2017028655A (ja) * 2015-07-28 2017-02-02 日本電気株式会社 追跡システム、追跡方法および追跡プログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4457474B2 (ja) 2000-04-04 2010-04-28 ソニー株式会社 情報記録装置、情報再生装置、情報記録方法、情報再生方法、および情報記録媒体、並びにプログラム提供媒体
JP3450801B2 (ja) 2000-05-31 2003-09-29 キヤノン株式会社 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム
GB2373943A (en) 2001-03-28 2002-10-02 Hewlett Packard Co Visible and infrared imaging camera
US6985179B2 (en) * 2001-03-30 2006-01-10 Intel Corporaiton Determining image quality for improving object trackability
US7206435B2 (en) 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
JP3728503B2 (ja) * 2002-03-29 2005-12-21 国土交通省国土技術政策総合研究所長 データ確信度を用いたセンサ選択方法とこれを用いた道路交通監視システム
US7194114B2 (en) * 2002-10-07 2007-03-20 Carnegie Mellon University Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder
EP1693782B1 (en) 2005-02-21 2009-02-11 Mitsubishi Electric Information Technology Centre Europe B.V. Method for facial features detection
US8066375B2 (en) 2005-10-10 2011-11-29 Tobii Technology Ab Eye tracker having an extended span of operating distances
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
CN100498821C (zh) * 2007-07-06 2009-06-10 哈尔滨工程大学 运动背景的红外图像实时目标识别与跟踪器及方法
WO2014152463A1 (en) * 2013-03-15 2014-09-25 Cyberheart, Inc. Apparatus and method for real-time tracking of tissue structures
US20120206335A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based direct control of external devices with feedback
US9033510B2 (en) * 2011-03-30 2015-05-19 Carl Zeiss Meditec, Inc. Systems and methods for efficiently obtaining measurements of the human eye using tracking
CA3105924C (en) * 2011-12-21 2022-06-28 Catherine M. Shachaf System for imaging lesions aligning tissue surfaces
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
EP2709060B1 (en) 2012-09-17 2020-02-26 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
JP2016532396A (ja) 2013-09-03 2016-10-13 シーイング マシーンズ リミテッド 低電力眼追跡システムおよび眼追跡方法
US9430040B2 (en) 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
US9501701B2 (en) * 2014-01-31 2016-11-22 The Charles Stark Draper Technology, Inc. Systems and methods for detecting and tracking objects in a video stream
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
DE102014204845A1 (de) 2014-03-17 2015-09-17 Bayerische Motoren Werke Aktiengesellschaft Dynamische Wellenlängenanpassung von Eye-Tracking Beleuchtungen
JP6331785B2 (ja) * 2014-07-08 2018-05-30 日本電気株式会社 物体追跡装置、物体追跡方法および物体追跡プログラム
US20160011657A1 (en) 2014-07-14 2016-01-14 Futurewei Technologies, Inc. System and Method for Display Enhancement
KR102281149B1 (ko) 2014-10-22 2021-07-23 삼성전자주식회사 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법
US10146797B2 (en) * 2015-05-29 2018-12-04 Accenture Global Services Limited Face recognition image data cache
US10141618B2 (en) 2015-07-15 2018-11-27 Hyundai Motor Company System and method of cooling high voltage battery
KR102415503B1 (ko) 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
CN105279772B (zh) * 2015-10-23 2018-02-09 中国运载火箭技术研究院 一种红外序列图像的可跟踪性判别方法
EP3370493B1 (en) * 2015-10-29 2022-11-30 Fuji Corporation Base plate position searching device and component mounting machine
JP2017084307A (ja) * 2015-10-30 2017-05-18 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US10152121B2 (en) * 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
KR102476897B1 (ko) 2016-10-05 2022-12-12 삼성전자주식회사 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
US10698204B1 (en) * 2017-10-16 2020-06-30 Facebook Technologies, Llc Immersed hot mirrors for illumination in eye tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296382A (ja) 2004-04-13 2005-10-27 Honda Motor Co Ltd 視線検出装置
US20100182433A1 (en) 2007-10-17 2010-07-22 Hitachi Kokusai Electric, Inc. Object detection system
US20150309568A1 (en) * 2012-11-27 2015-10-29 Kyocera Corporation Electronic apparatus and eye-gaze input method
JP2017028655A (ja) * 2015-07-28 2017-02-02 日本電気株式会社 追跡システム、追跡方法および追跡プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Torresan 등, Advanced surveillance systems: combining video and thermal imagery for pedestrian detection, SPIE.(2014.04.12.)*

Also Published As

Publication number Publication date
EP3477540A1 (en) 2019-05-01
CN109727271B (zh) 2023-09-22
US10977801B2 (en) 2021-04-13
JP7163129B2 (ja) 2022-10-31
US11676421B2 (en) 2023-06-13
US20200357124A1 (en) 2020-11-12
US20190130579A1 (en) 2019-05-02
US20210233253A1 (en) 2021-07-29
JP2019083004A (ja) 2019-05-30
US10755420B2 (en) 2020-08-25
KR20190050876A (ko) 2019-05-14
CN109727271A (zh) 2019-05-07

Similar Documents

Publication Publication Date Title
KR102495359B1 (ko) 객체 트래킹 방법 및 장치
US10753758B2 (en) Top-down refinement in lane marking navigation
US11170525B2 (en) Autonomous vehicle based position detection method and apparatus, device and medium
KR101278430B1 (ko) 실시간으로 몇몇 사람들의 눈을 인식하고 추적하기 위한 방법 및 회로 장치
US9650025B2 (en) Systems and methods for braking a vehicle based on a detected object
US20210073557A1 (en) Systems and methods for augmenting upright object detection
JP4811259B2 (ja) 視線方向推定装置及び視線方向推定方法
US20200089976A1 (en) Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
JP2010244194A (ja) 物体識別装置
CN110658916A (zh) 目标跟踪方法和系统
US20200320720A1 (en) Dynamic object tracking
US11763539B2 (en) System and method for displaying spatial information in the field of view of a driver of a vehicle
RU2018118363A (ru) Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения
KR102254384B1 (ko) 딥 러닝 기반 운전자 시선 추적 장치 및 방법
CN115797736A (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
KR102608471B1 (ko) 눈 추적 방법 및 장치
US11694345B2 (en) Moving object tracking using object and scene trackers
US11062462B2 (en) Detection of visual tracker divergence
CN116052136B (zh) 分心检测方法、车载控制器和计算机存储介质
KR20170085933A (ko) 비착용형 시선추적기의 응시점 보정 장치 및 방법
JP2023088294A (ja) 事前訓練されたオブジェクト分類器を再訓練するためのシステム、方法、及びコンピュータプログラム
CN111221414A (zh) 信息处理方法、信息处理装置和电子设备
KR20230001615A (ko) 운전자 상태 경고 시스템을 통해 주차 보조 시스템에 연계되는 딥러닝 영상 합성기술 기반 졸음운전 시뮬레이션 플랫폼
KR20230174360A (ko) 운전자 보조 장치 및 운전자 보조 방법
KR20180137193A (ko) 헤드업 디스플레이의 표시 위치 조절 장치 및 그 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant